차세대무전기 최초양산 품질확보를 위한 자동화시험장비 유효성 검증 사례

서론

ATE란 컴퓨터 등을 이용해서 복잡한 시험장비(멀티미터, 신호분석기, 신호발생기 등)를 제어하여 양산품 생산 환경에서 제품의 규격조건을 자동으로 시험하고 분석할 수 있는 장비이다. 이는 대량생산 환경에서 수작업 대비 높은 효율성과 정확성을 제공하며, 신속한 데이터 처리 및 결과 분석을 통해 제품의 품질향상과 불량률을 최소화하는데 기여할 수 있고, 반복적인 테스트를 자동화함으로써 생산성을 향상할 수 있는 핵심 도구로 자리 잡고 있다. 현재 국방기술품질원에서는 군수품 품질경영 기본규정에 따라 자동화 시험장비를 포함한 시험 및 측정 장비의 유효성과 검교정 체계를 확인하고 있으나 연간 수천대 이상이 납품되는 통신무기체계 생산/검사 수행을 위한 추가적인 리스크 제거 및 관리가 필요하다고 판단되어 다음과 같은 유효성 검증과정을 수행하였다. 본 기고문에서는 통신무기체계 최초 양산사업에서 검증한 세가지 방안 및 결과에 대해 공유하고자 한다.

ATE 유효성 검증 방법

자동 및 수동 결과 비교

ATE의 유효성을 검증하기 위한 첫번째 방법으로 ATE 자동 및 수동시험 결과 비교를 수행하였다. 통신무기체계 형별 품질적합성, A, B 그룹시험을 입회하여 시험 후 데이터 비교를 수행하였으며 동일 시료의 자동 및 수동결과 측정값 차이가 절대값 Abs(3) 이상인 항목에 대해 추가 검토를 수행하였다. 이때 절대값 Abs(3)은 일반적으로 3dB 기준 허용오차의 상한선을 고려하여 설정했다.

측정시스템 오차(Gage R&R)

두번째 방법으로 Gage R&R을 수행하여 유효성을 검증하였다. Gage R&R은 측정시스템 분석(Measurement System Analysis, 이하 MSA)에 사용되는 방법으로 측정시스템의 변동성을 파악하여, 제품이나 공정에서 측정시스템이 얼마나 정확하고 신뢰성 있게 작동하는지 평가하기 위해 사용한다. Gage R&R의 구성요소는 반복성(Repeatability)과 재현성(Reproducibility)이 있는데 반복성은 동일한 작업자가 동일한 측정 장비로 같은 샘플을 여러 번 측정했을 때 데이터의 일관성을 평가하며 주로 측정 장비 자체의 변동을 나타내며, 재현성은 다른 작업자나 환경에서 동일한 샘플을 측정했을 때 데이터의 일관성을 평가하는 것으로 측정시스템의 외부 요인(작업자, 환경 등)에 의한 변동을 나타낸다. 따라서 ATE의 유효성 점검에서는 고정된 하드웨어에 소프트웨어 구성으로 외부요인의 영향을 받지 않도록 설계되어 있으며, 작업자의 변경이 없으므로 반복성 검증만 가능하다. 검증 대상이 정해지면 일반적으로 품질 및 측정시스템 개선의 표준지침서로 활용되는 자동차 산업품질협의회 측정시스템 분석(AIAG MSA)을 인용하여 표1의 방법으로 수행하고 표2의 기준에 따라 평가한다.

다만, ATE에는 감쇠값, 케이블체결, 대상 장비 및 계측기 안정성, 설비 노후 및 손상, 측정 타이밍 및 측정값 흔들림 등 여러 저하 요인들이 있으며, 수동 상호변조(Passive inter modulation, 이하 PIM)라 하는 RF시스템에서 수동부품(커넥터, 케이블, 안테나 등)에 의해 발생하는 비선형 왜곡 신호의 영향을 받아 측정값이 불안정하며 일정하지 않은 편차가 발생할 수 있어 정확한 분석에 제한될 수 있는 한계가 있을 수 있다.

ATE 정합성 점검

마지막 방법으로 ATE의 정합성 검증수행을 위해 아래의 표3와 같이 시험 구성도, 계측기 검교정 여부, 시험항목 반영 여부, SW 관리 검증, 임의 고장유발 시 오류 검출 여부, 그리고 일반사항에 대한 검증을 수행하였다.

검증 대상 및 계획/결과

검증 대상 및 계획

통신무기체계 생산 및 검사를 위한 ATE는 주장비 및 구성품 포함 총 13종으로 구성되어있고 그중 L사 2종, 협력사 11종의 ATE에 대한 유효성 점검을 수행하였다.

’24년 6월부터 유효성 검증을 계획하여 진행하였고, 자동 및 수동시험 비교를 진행했고 품질적합성, A, B 그룹 수동시험 결과와 자동시험 결과를 수집하였다. 다음은 측정시스템 오차를 진행하여 표1의 기준에 따라 동일 ATE로 시료 10EA 3회 반복을 통해 반복성을 확인하였다. 마지막으로 ATE 정합성 점검 확인 후 수집된 데이터를 기반으로 시험결과 데이터 검증을 진행하여 ’24년 11월까지 완료하였다.

검증 결과

자동 및 수동시험 결과 중 L사의 시험결과 기준 자동/수동 측정값의 절대값 차이가 Abs(3) 이상인 항목은 전체 시험 항목 중 85개 항목이 검출되었으며, 협력사 5곳의 11종 ATE는 53개의 항목이 검출되었다. L사 85개 항목에 대해서 재검증을 수행한 결과 대부분 측정값과의 편차는 발생했지만, 규격대비 마진값이 충분하여 현 상태 유지로 판단하였다. 다만, 2개 항목은 오디오 신호분석기 설정 개선 및 시험절차 수정을 통한 QAR 변경이 필요함을 확인할 수 있었다. 협력사의 경우 53개 항목이 검출되었고 재검증결과 규격대비 마진값이 충분하여 현 상태 유지로 판단하였다.

두 번째 항목으로 측정시스템 오차 검증의 결과로 L사 시험결과 품질적합성, A, B그룹을 포함하여 전체 2,816개 시험항목 분석결과 30% 이하는 1,877개, 30% 이상 939개로 분석되었다. 일반적으로 %Gage R&R값이 30%를 초과한 측정 장비는 사용이 제한되나 ATE의 RF 특성(Noise, 측정환경, 수동부품 등)의 영향성 등을 고려해 추가분석을 수행하였다. %Gage R&R값이 30% 초과 항목에 대한 추가분석 방법으로 규격 내 데이터가 얼마나 균일하게 분포되어 있는지 분석했고, 아래 표7의 같이 %공차, 장비규격 대비 측정 결과값의 분포범위%, MAX편차%, 공정능력(Ppk, Cpk)를 구하여 추가검증을 수행했다.

추가분석 결과 측정 데이터는 상대적으로 규격 내에 조밀하게 분포하고 있으며, 높은 공정능력(Ppk, Cpk) 값을 확인할 수 있었다.

협력사들의 측정시스템 오차검증 결과의 경우 전체 시험 항목 6,982개 중 30%이상 5,619개, 30%이하 1,363개로 분석되었고 그중 30%를 초과한 %Gage R&R 값에 대한 추가분석을 수행하였다. 추가분석 방안으로 R&R 검증 시 부품(시료)가 변경될 때 RF 모듈의 특성으로 인한 불균일한 데이터가 추출되고 반복 수 3회 또한 RF 모듈의 일관된 데이터를 추출하기에 제한된다고 판단하였다. 따라서, 전체 시험횟수 30번을 변경시키지 않는 선에서 시료수(10EA→3EA)는 감소 반복수(3회→10회)는 증가시켜 재검증하였다. 재검증 결과 모든 추가분석 시험항목에 대해 %Gage R&R 30% 이내로 들어오는 것으로 확인하여 유효성을 확인하였다.

마지막 항목인 ATE 정합성 점검결과는 L사의 경우 임의 고장유발을 통한 오류검출 1건, 일반사항 1건의 개선사항을 식별하여 S/W 최신화 및 유효성 점검절차서 상세화 등을 통한 조치를 완료하였다. 협력사 5사 11종 ATE의 경우 임의 고장유발 오류검출 1건, SW 검증 1건, 일반사항 7건의 개선사항을 식별했고 S/W 최신화 및 관리강화 방안 수립을 통해 조치 완료하였다.

결론

안정적인 통신무기체계 최초양산품 품질확보를 위해 ATE 자동화 시험장비에 대한 자동, 수동 시험결과 비교, 측정시스템 오차, 정합성 검증의 세 가지 방법을 수행하였다. 위의 검증과정을 통해 QAR, S/W 최신화, 점검 절차서 수정 등을 통해 ATE 시험장비를 개선하고 신뢰성을 확인할 수 있었다. 다만, 측정시스템 오차의 경우, RF 및 오디오 시험 항목은 측정시스템 오차(Gage R&R)로 분석하기에 수동 상호변조, Noise, 측정환경, 계측기 오차 등으로 인해 같은 측정환경에서도 데이터의 반복성의 차이가 발생할 수 있음을 확인했고 추가검증을 통해 데이터의 신뢰성을 확인할 수 있었다. 이번 검증과정은 ATE 자동화 시험장비에 적용한 대한 유효성 검증만을 수행하였으나, 다양한 시험치구를 활용하는 생산 및 검사장비에 적용하여 제품의 품질과 생산성 개선에 기여할 수 있는 방법이 될 수 있다고 생각된다.