국방품질연구회(DQS)가 전하는 품질 인사이트

DQS 매거진

탐색적 요인분석을 활용한 소규모 사업체 맞춤형 프로세스 검토 방안 연구

2024. 01. 31

글. 국방기술품질원 기동화력4팀 고동현 연구원

품질에 대한 정의는 산업의 발전과 함께 변화해 왔다. 과거 단순히 제품의 규격 충족 여부를 확인하는 것이었다면, 현재 4차 산업혁명과 함께 고객 중심의 접근이 강화되었다. 이러한 변화는 품질보증 기관의 업무 확장으로 이어졌고, 품질에 시간의 개념을 고려한 신뢰성이 대두됨에 따라 품질의 영역은 더욱 넓어졌다. 그러나 업무의 지속적 확장으로 품질보증 기관은 인력 활용과 업무의 효율성이라는 새로운 문제에 직면하게 됐다. 이러한 문제는 국방 품질에서도 예외는 아니다. 국방기술품질원(이하 기품원)은 양산단계의 품질보증 활동에서 개발단계와 운영유지단계로 품질보증 활동의 영역을 확장하였다. 최근에는 방산 수출 증대와 AI·사이버·우주 무기체계 등 첨단무기체계의 등장으로 기품원의 업무가 다변화되고 있다. 따라서 한정된 자원으로 품질보증 업무의 효율성을 제고하기 위한 방안을 모색할 필요가 있다.

서론

산업의 발전과 함께 품질의 영역이 확장됨에 따라 기품원은 양산단계의 품질보증 활동에서 개발단계와 운영유지단계로 품질보증 활동의 영역을 확장하였고, 신뢰성 센터를 설립하는 등 산업의 변화에 대응하였다. 최근에는 방산 수출 증대와 AI·사이버·우주 무기체계 등 첨단무기체계의 등장으로 기품원의 업무는 더욱 다변화되고 있다. 이러한 업무의 지속적 확장으로 기품원은 한정된 자원으로 품질보증 업무의 효율성을 제고하기 위한 방안을 모색할 필요가 있다. 기품원과 유사한 해외 기관에서는 계약 건수 증가, 업무 범위의 지속적 확장에 따라 인력 활용과 업무의 효율성을 제고하기 위한 방안을 수립하여 수행하고 있다. 미국 국방계약관리국(DCMA)은 양산단계 품질보증활동 시 개별 품목에 대한 제품확인감사는 최소화하고 있으며, 프로세스 검토의 중요성을 강조하고 있다. 북대서양조약기구(NATO)의 경우에도 제품확인감사는 위험도가 높은 품목에만 한정하고 있다. 최근 기품원에서도 양산단계 품질보증활동 효율화 방안을 수립하였고, 결함을 식별하여 완제품의 수락 여부를 결정하는 제품확인감사 위주에서 결함을 예방하는 품질경영체제 평가 및 프로세스 검토 위주로 품질보증 활동을 전환하고 있다. 그러나 유지부품을 생산하는 소규모 사업체의 경우 기술적, 경제적 등 현실적인 문제로 대부분 품질경영체제가 미구축되어 있으며, 체계업체에 초점을 둔 프로세스 검토를 적용하기에도 한계가 있다. 따라서 소규모 사업체에 적용할 수 있는 프로세스 검토 방안이 필요하다.

이론적 배경

국방 서비스품질 분석 결과

국내 서비스산업 분야는 서비스품질 경영기법을 통해 고객의 만족도 향상을 위한 연구가 활발하게 진행 중이다. 산업의 발전과 함께 고객 중심의 접근이 강화되면서 국방 분야에서도 고객만족 개념이 도입되었다. 따라서 ‘22년도에 국방 서비스품질 요소 중 만족도 증가 폭이 큰 요소를 식별하고, 선별적인 재투자를 통해 고객만족도를 제고 하기 위해 방위산업에 종사하는 100인 미만 소기업에 대한 국방 서비스품질 분석을 수행하였다. 그 결과 우선 개선요소(PCSI 1순위)로 “개선 요구내용의 실현가능성(프로세스 검토)”가 선정되었으며. 이는 소규모 사업체에 적합한 프로세스 검토 방안의 필요성을 보여준다[1].

그림 1. 소기업 국방 서비스품질 분석 결과

요인분석

사회과학분야의 논문에서 활용되는 통계분석 중 요인분석(factor analysis)은 매우 중요한 위치를 차지하고 있다. 요인분석은 설문지나 검사지를 이용하여 개인이나 집단의 특성을 연구하는데 널리 사용되는 자료분석기법 중 하나이다[2]. 통계분석 과정에서 변수들 간의 상관관계나 인과관계를 검정하기 전에 선행되는 절차로 매우 번잡하고 어려운 과정을 거치게 되며, 이 과정에서 설명력이 낮은 변수가 제거되는 변수정제 과정이 수반 된다. 요인분석은 측정변수들 간의 상호 관련성을 분석해서 이들 간에 공통적으로 작용하는 요인을 추출하여 정보의 손실을 최소화 한 상태에서 전체 측정변수를 대별할 수 있는 변수의 수를 축약하는 기법이다. 따라서 요인분석을 활용하면 주어진 많은 정보를 몇 개의 핵심적인 요인으로 축약하여 정보에 대한 이해력을 높일 수 있고 추가적인 분석이 가능하다[3-4].

그림 2. 요인분석의 종류

요인분석은 탐색적 요인분석(exploratory factor analysis)과 확인적 요인분석(confirmatory factor analysis)으로 나뉘며, 통상적으로 요인분석이라 함은 탐색적 요인분석을 의미한다. 탐색적 요인분석은 SPSS, SAS등의 프로그램에서 수행되는 기법으로 변수들 간의 구조를 조사하고, 통계적 효율성을 높이기 위해 변수와 요인 간의 관계가 이론적으로 정립되지 않거나, 논리적으로 체계화되지 않은 상태에서 주로 활용된다. 따라서 탐색적 요인분석에서는 모든 측정변수가 모든 요인들로부터 영향을 받는다고 가정하고, 이를 바탕으로 어떤 요인과 상관관계가 높은 측정변수들을 하나의 요인으로 추출하여 변수를 축약하는 과정을 거치게 된다. 이러한 특징으로 탐색적 요인분석은 이론적 배경이나 선행연구에 근거하기보다는 데이터가 보여주는 결과 자체를 그대로 받아들이게 되므로 이론 생성과정에 가깝고, 데이터 지향적인 성격을 가진다[5].

한편, 확인적 요인분석은 탐색적 요인분석과 대별되는 개념으로 구조방정식모델을 구현하는 프로그램 중 하나인 AMOS 프로그램에서 수행되는 기법이다. 측정변수와 잠재변수 간의 관계 및 잠재변수 간의 관계를 검정 및 확인하며, 분석 전에 요인의 수와 이들 요인을 구성하는 측정변수가 미리 지정된 상태에서 분석이 이루어진다. 따라서 확인적 요인분석에는 강력한 이론적 배경이나 선행연구를 바탕으로 특정한 측정변수는 반드시 관련 요인으로부터만 영향을 받고 다른 요인과는 연관되지 않는 것으로 가정된다. 이러한 특징으로 확인적 요인분석은 이론 검증과정에 가깝고, 이론 지향적인 성격을 가진다[6].

본 연구는 요인과 변수 간의 관계가 논리적으로 체계화되지 않은 상태에서 불필요한 변수를 제거 및 축약하여 소규모 사업체에 적합한 프로세스 검토 항목 도출이 목적이므로 탐색적 요인분석을 분석 도구로 선정하였다.

프로세스 검토

프로세스 검토 정의

프로세스(process)란 의도된 결과를 만들어 내기 위해 입력을 사용하여 상호 관련되거나 상호작용되는 활동의 집합을 뜻하며, 좁은 의미로 ‘공정’이라고 해석하여 성형 공정, 압출 공정, 납땜 공정 등과 같은 제조의 한 단계를 말하거나 업무와 관련한 ‘절차 또는 규칙’을 의미하기도 한다. 즉, 프로세스는 제조, 사무, 서비스 등의 일에서 일정한 투입물(Input)이 들어가서 요구되는 결과물(Output)로 변화시켜주는 활동(Activity)을 수행하는 하나의 시스템이라고 할 수 있다(통계적 공정관리, 민영사).

이러한 의미에서 프로세스 검토(Process review)는 일련의 프로세스(Process) 과정 중 생산·제조 분야의 의도된 결과를 만들어 내기 위해 입력을 사용하여 상호 관련되거나, 상호 작용하는 활동의 적절성(Suitability), 충족성(Adequacy) 및 효과성(Effectiveness)을 확인하는 활동이라 할 수 있다. 적절성이란 프로세스의 입력과 활동들을 확인하여 규정된 입력과 활동으로 요구사항(규격)을 충족하는 제품을 일관되게 생산할 수 있는지를 의미하며, 충족성은 특정한 프로세스에 대해 규정된 사항이 생산현장에서 그대로 실행되고 있는지를 의미한다. 마지막으로 효과성은 프로세스 출력물(outputs; 제품)에 대한 검사 및 시험을 실시하여 규정된 요구사항(규격)을 충족하는지를 의미한다[7].

프로세스 검토 한계점

기품원은 업체가 제품을 생산하는 과정에서 발생하는 많은 문제점을 식별해 내기 위해 프로세스 요소 전반에 대한 검토를 진행한다. 계약업체는 제품생산에 앞서 품질보증계획에 상세 공정흐름도 또는 업체 프로세스 검토 계획을 포함하여 기품원에 제출하게 되고 이를 바탕으로 업체의 생산·제조 프로세스가 계약요구조건을 지속적으로 충족시키기에 적합하고, 주요 제조 프로세스를 지원하는 프로세스가 적절한지를 확인한다. 이를 통해 단순 반복적인 제품확인감사를 효율적으로 관리하고, 계약요구조건에 적합한 제품의 출력과 계약이행의 신뢰도를 유지한다. 기품원의 프로세스 검토 매뉴얼에 따르면 정부품질보증계획 수립 시 업체에서 제출한 상세 공정흐름도를 바탕으로 제품의 성능에 중요한 영향을 미치는 공정, 불량률이 높은 공정, 검증이 필요하다고 판단되는 공정을 프로세스 검토 대상으로 선정하도록 정의한다. 검토 대상 식별시 고려할 사항으로는 “계약 요구조건 관련 프로세스”, “업체 내부결함 발생률이 높은 품목의 관련 프로세스”, “사용자불만 및 시정조치 발생 품목의 관련 프로세스”, “최종검사/시험 관련 프로세스” 등을 정의하고 있다. 여기서 “계약요구조건 관련 프로세스”는 외주관리, 위변조품 관리, 검교정 관리 등 일반적으로 지원 프로세스를 뜻한다[7].

방위산업에 종사하는 대기업, 중기업들은 통계적 공정관리(Statistical Process Control, 이하 SPC)를 기반으로 공정을 관리하고 있어 계약업체가 제출한 공정능력지수를 검토하여 불안정한 공정의 장비교체, 공정변경 등의 시정을 요구할 수 있다. 또한, 규격의 요구조건을 만족하기 위한 시험시설을 갖추고 있어 시험 준비 절차, 시험 중 데이터 획득의 신뢰성 등의 시험 관련 프로세스가 잘 정립되어 있다. 따라서 매뉴얼에 따라 위험대상을 식별하고, 프로세스 검토를 진행하여 프로세스의 적절성, 효과성, 충족성을 확인하여 개선을 요구할 수 있다. 그러나 유지부품을 생산하는 소규모 사업체는 계약적 특성상 다품종 소량 생산으로 SPC를 위한 데이터에 한계가 있고, 경제적인 이유로 SPC를 위한 시스템이 미구축된 업체가 대다수이다. 제품을 생산하기 위한 일부공정 및 특수공정은 주로 하도급을 통해 이루어지며, 자체시험시설이 부재한 업체가 많아 대부분 공인시험기관 및 협력업체를 통해 시험을 진행한다. 또한, 기업의 규모상 개인이 여러 업무를 맡게 되므로 제조 프로세스는 물론 지원 프로세스 조차 미흡한 경우가 많다. 이와 같은 사유로 프로세스 검토 매뉴얼에 따라 소규모 사업체에 적용하기 위한 프로세스 검토 대상 선정에 어려움이 있다. 따라서 소규모 사업체의 현실적인 여건을 고려한 프로세스 검토 항목 선정이 필요할 것으로 판단되며, 탐색적 요인분석을 통해 항목을 도출하고자 한다.

연구방법

프로세스 검토 범위 설정

프로세스 검토 매뉴얼을 소규모 사업체에 적용하기 위해선 소규모 사업체의 현실적인 여건을 고려한 프로세스 검토 항목 선정이 중요할 것으로 판단된다. 따라서 소규모 사업체 프로세스 검토 항목 도출을 위한 탐색적 요인분석에 활용할 프로세스 검토 범위를 설정하기 위해 기준을 ① 소규모 사업체에 적합한 항목 ② 소규모 사업체에 이용가치가 있는 정보 ③ 향후 품질경영체제 구축에 도움이 되는 정보로 세워 분석하였다. 기품원이 프로세스 검토 결과에 대해 시정을 요구했을 때 소규모 사업체가 시정 가능한 범위여야 하며, 소규모 사업체가 프로세스 검토 결과를 적극 반영하기 위해선 유용성 측면도 고려가 필요하다. 기동화력4팀 담당업체 기준 소규모 사업체 내에 국방 품질경영체제(DQMS) 인증 업체는 15%에 불과하나 ISO 9001 인증 업체는 90% 이상으로 조사되었다. 품질경영체제는 프로세스를 포함하는 개념이며, 국방 품질경영체제(DQMS)는 ISO 9001항목에 국방 특수 요구사항(24항목)을 추가하여 개발된 시스템 체제이다. 이러한 점을 종합적으로 고려하면 방위산업에 종사하는 소규모 사업체에게 국방 특수 요구사항(24항목)은 프로세스 검토 범위로 적합하며 충분히 유용한 정보라고 판단된다. 따라서 표 1과 같이 국방 특수 요구사항(24항목)을 탐색적 요인분석을 위한 프로세스 검토 범위로 설정하였다.

번호 항목
1 품질매뉴얼
2 윤리경영
3 내부시험
4 교육훈련
5 제품 및 프로세스의 수락기준의 문서화
6 품질보증활동계획서
7 형상식별
8 형상통제
9 형상확인
10 형상자료유지
11 위조 또는 변조의 방지
12 의심되는 미승인 부품의 사용방지
13 외부에서 제공되는 프로세스, 제품 및 서비스의 검증
14 생산 프로세스 검토
15 특수공정에 대한 관리
16 작업지침서
17 소프트웨어 장입 프로세스 관리
18 예방보전
19 보관 및 재고
20 손상 및 열화
21 사용자불만 및 품질정보 등의 처리
22 불합격품의 관리
23 내부심사원 자격
24 생산 프로세스 개선

표 1. 국방 특수요구사항 24항목

설문지 개발

설정한 프로세스 검토 범위로부터 탐색적 요인분석을 통해 소규모 사업체에 적합한 프로세스 검토 항목을 도출하기 위한 설문지를 개발하였다. 평정법으로 리커트 5점 척도를 활용하였으며, 설문대상은 100인 미만 소규모 사업체 종사자로 선정하였다. 설문 문항은 총 6문항으로 적절성 1문항, 유용성 2문항, 실현 가능성 3문항으로 구성하였다. 적절성 문항은 탐색적 요인분석으로 독립변수를 추출하기 위해 설정하였으며, 유용성 문항은 매개변수로 종속변수에 미치는 영향을 확인하기 위해 설정하였다. 마직막으로 실현 가능성 문항은 종속변수로 회귀분석을 통해 매개효과를 검정하기 위해 설정하였다.

모형 설문 문항
독립변수 소규모 사업체에 대한 프로세스 검토 항목으로 적절한지 평가
매개변수 계약이행간 품질보증활동에 도움이 되는지 평가
DQMS 인증 구축에 도움이 되는지 평가
종속변수 행정적, 경제적, 기술적 실현가능성 평가

표 2. 설문 문항

탐색적 요인분석

탐색적 요인분석을 통해 의미가 있는 소수의 요인을 도출하는 과정은 다음과 같다. 첫째, 설문 조사로 수집된 데이터를 KMO검정, Barlett 검정을 통해 적합성을 검토한다. 둘째, 요인분석을 통해 요인들 간의 상호관계를 분석하고 공통적인 항목(요인)으로 묵어 불필요한 항목(요인)을 제거한다. 셋째, 크론바흐 알파를 활용하여 요인분석 결과에 대한 신뢰도 분석을 실시하며 최종적으로 프로세스 검토 범위 중 소규모 사업체에 적합한 프로세스 검토 항목을 도출한다.

그림 3. 탐색적 요인분석 과정

회귀 분석

탐색적 요인분석은 가설 검증과 같은 모집단 특성 추정이 불가하다는 한계가 있다. 이에 회귀분석을 통해 가설 검증을 진행한다. 앞서 프로세스 검토 범위 설정 시 3가지 기준을 세웠고 탐색적 요인분석을 통해 소규모 사업체에 적합한 프로세스 검토 항목을 도출한다. 나아가 프로세스 검토 항목의 유용성(소규모 사업체에 이용가치가 있는 정보, 향후 품질경영체제 구축에 도움이 되는 정보)이 소규모 사업체가 프로세스 검토의 개선요구를 실현하는데 유의한 영향을 주는지 확인하기 위해 회귀분석을 수행한다.

그림 4. 회귀분석 연구 모형

탐색적 요인분석으로 도출한 프로세스 검토 항목을 독립변수로 설정하고, 유용성을 매개변수, 실현 가능성을 종속변수로 설정하여 독립변수가 매개변수를 매개하여 종속변수에 유의한 영향을 주는지 매개효과 분석을 통해 가설을 검정한다. 매개효과 검증방법 다음과 같다. 독립변수가 매개변수 및 종속변수에 미치는 영향이 유의한지 확인한다. 그리고 매개변수가 종속변수에 미치는 영향이 유의한지 확인하며, 최종적으로 독립변수의 표준화 계수 베타값이 2단계보다 3단계에서 감소하는지 확인하여 매개효과를 검증한다.

구분 독립변수 종속변수 매개효과 성립조건
1단계 독립변수 매개변수 독립변수가 매개변수에 통계적으로 유의함
2단계 독립변수 종속변수 독립변수가 종속변수에 통계적으로 유의함
1단계 매개변수 종속변수 매개변수가 종속변수에 통계적으로 유의함

표 2. 회귀분석 검증 방법

결론

산업의 발전과 함께 품질의 영역이 확장됨에 따라 기품원은 양산단계 품질보증활동 효율화 방안으로 품질경영체제 평가 및 프로세스 검토 위주로 품질보증 활동을 전환하고 있다. 그러나 유지부품을 생산하는 소규모 사업체의 경우 기술적, 경제적 등 현실적인 문제로 대부분 품질경영체제가 미구축되어 있으며, 체계업체에 초점을 둔 프로세스 검토를 적용하기에도 한계가 있다. 따라서 소규모 사업체에 적용할 수 있는 프로세스 검토 방안이 필요하다.

본 기고문에서는 소규모 사업체에 적합한 프로세스 검토 항목 도출을 위한 연구 방안을 소개하였다. 가설을 바탕으로 프로세스 검토 범위를 설정하고, 탐색적 요인분석을 통해 소규모 사업체에 적합한 프로세스 검토 항목을 도출한다. 이후 도출된 항목을 독립변수로하여 기존에 세운 가설을 검증하기 위해 회귀분석을 수행한다. 최종적으로 회귀분석을 통해 가설을 검증하고 이를 토대로 소규모 사업체 맞춤형 프로세스 검토 방안을 목표로 한다. 현재 탐색적 요인분석을 위한 설문지를 개발하여 기동화력센터가 담당하는 100인미만의 소규모 사업체에 배포하였으며, 45개 업체로부터 설문 데이터를 획득하였다. 향후 요인분석을 위한 충분한 데이터가 모이면 이를 취합하여 탐색적 요인분석으로 요인을 도출하여 소규모 사업체 맞춤형 프로세스 검토 방안을 수립할 예정이다.

참고문헌
  • 1. Nam, Yoon-Wook, Ko, Dong-Hyeon, Kim, Hyun-Min, Lee, Kowan-Woo, "Analysis of Defense Service Quality using PCSI Index and an Empirical Comparative Analysis - Focusing on Small Businesses less than 100 Empolyees." Korean Society for Quality Management 60(1), pp. 37-54, 2023.
  • 2. Kim, Cheong-tag, "Misuse of Exploratory Factory Analysis and Its Remedies" Korean Association for Survey Research 17(1), pp. 1-29, 2016.
  • 3. Choi, Chang-Ho, You, Yen-Yoo, "The Study on the comparative analysis of EFA and CFA." Journal of Digital Convergence 15(10), pp. 103-111, 2017.
  • 4. Lee, Hun-Yeong, "The Research Methodology" Cunng Ram, 2015.
  • 5. Stapleton, C. D. "Basic concepts and procedures of confirmatory factor analysis", Paper presented at the annual meeting of the Southwest Educational Research Association, Austin, TX, January, pp. 23-25, 1997.
  • 6. Van Prooijen, J.W,& Van der Kloot, W.A, "Confirmatory analysis of exploratively obtained factor structures." Educational and psychological Measurement, 61(5), pp. 777-792, 2001.
  • 7. 국방기술품질원, "Process Review Manual." 2023.