국방품질연구회(DQS)가 전하는 품질 인사이트
DQS 매거진
국방규격 개선사업 만족도에 영향을 미치는 결정요인 분석
2023. 06. 29
글. 국방기술품질원 표준연구실 김영현 선임연구원
따라서 본 연구는「국방규격 개선사업」의 기술변경 개선성과 중 만족도에 미치는 결정요인을 분석하고, 국방규격 개선사업의 제도개선 방안을 제언하였다.
연구 결과, 형상통제관리기관과 군수품 제조기업은 국방규격 개선사업 만족도를 제고하는 개선성과 요인으로 “생산성 향상”과 “품질보증애로해소”를 주요 결정요인으로 인식하고 있으며. 특히 군수품 제조기업의 경우 “장비가동률향상”도 주요 결정요인의 하나로 인식하고 있었다.
서론
무기체계는 장기간 연구개발을 통해 획득되는 특성상 최신의 민간 신기술을 수용하기에 한계가 있다[1]. 이러한 신기술과의 역전현상은 국방규격 제정 이후 최신규격과의 불일치, 적용 부품의 단종 등의 문제로 발현되고 있다. 특히 기존 국방규격 및 기술자료에 인용된 원·부자재, 시험방법 등은 품질보증 활동과 밀접한 관계가 있지만, 제한된 인력과 예산으로 운영되고 있는 현재의 업무체계에서는 신기술의 최신화 정보가 반영된 국방 기술자료의 신속한 기술변경 처리에 한계가 있다. 이러한 문제점을 극복하기 위해 방위사업청은 “국방표준발전 종합대책”을 수립하였으며, 2016년부터 「국방규격 개선사업」을 통해 운용유지단계의 노후화된 국방규격을 개선해오고 있다.
하지만, 지난 6년간의 추진된「국방규격 개선사업」의 성과평가는 기술변경 개선 횟수, 수량 등의 양적(Quantitative) 성과에 머물러 있어, 이해관계자의 의견이 반영된 질적(Qualitative) 관점의 기술변경 항목별 만족도는 확인할 수 없었다. 이러한 만족도 평가의 부재는 사업의 적절성과 실효성을 평가하기에 제한되며, 중·장기적인 국방표준화정책의 사업관리 기획 및 운영에 제약사항으로 발생 될 수 있다. 따라서 현시점에서 이해관계자들의 의견이 반영된「국방규격 개선사업」의 개선성과별 만족도에 대한 객관적이고 정량적인 평가가 필요하다.
본 연구는「국방규격 개선사업」의 개선성과 중 만족도에 미치는 결정요인을 분석하고, 연구가설 검정을 통해 국방규격 개선사업의 제도개선 방안을 제언한다.
국방규격 개선사업 추진현황
2016년부터 시행된 「국방규격 개선사업」은 군수품의 가동률 제고와 품질향상을 도모하기 위해 운영유지단계의 불합리한 국방규격에 대해 원자재 수급의 애로사항 해결, 인용규격의 최신화 및 현실화 개선 등을 지원하고 있다.
사업 대상은 운영·유지단계의 활성 상태로 분류된 2급 기술변경이 가능한 국방규격서, 도면, 품질보증요구서(QAR, Quality Assurance Report)이다.
대상 품목의 선정은 기동, 유도무기, 총포, 탄약, 항공, 함정, 물자의 군수품 분류 중 소요군 요청품목, 다빈도 고장발생 품목, 사용자 불만 및 납기 지체품목 등을 고려하여 확정하고 있다.
2016년부터 2021년까지 검토된 기술변경 국방규격서, 도면, QAR는 다음의 표 1과 같다. 국방규격서(Defense standards)는 1,820종 중 691종(38%), 도면과 QAR는 361,332건 중 199,453건(55.2%)이 기술변경 되었다.
Category | Defense standards | Drawing, QAR |
---|---|---|
Target | 1,820 | 361,332 |
Technology changes | 691 | 199,453 |
Ratio(%) | 38 | 55.2 |
그리고 국방규격의 군수분야별 기술변경은 다음의 표 2와 같이 기동(40.35%), 특수무기(17.62%), 통신전자(12.39%), 항공(8.18%), 탄약(6.57%) 등의 빈도순으로 진행되었다.
해당 현황을 종합적으로 살펴보면, 최근 6년간 국방규격 개선사업을 통해 진행된 기술자료의 기술변경은 기동분야에 중점을 둔 것으로 분석된다.
Category | Frequency | Ratio(%) |
---|---|---|
Mobil Weapons | 80,474 | 40.35 |
Special Weapons | 35,150 | 17.62 |
Communication Electronics | 24,703 | 12.39 |
Aircraft | 16,319 | 8.18 |
Ammunition | 13,113 | 6.57 |
Firepower | 13,043 | 6.54 |
Naval Ship | 6,875 | 3.45 |
General Equipment | 6,397 | 3.21 |
Others | 1,135 | 0.57 |
Communication | 981 | 0.49 |
Rubber Leather | 576 | 0.29 |
Equipment and Bedding | 431 | 0.22 |
Chemical | 158 | 0.08 |
Supply | 47 | 0.02 |
Hand Tool | 26 | 0.01 |
Badge and Marks | 15 | 0.01 |
Clothing | 9 | 0.00 |
Engineer Supply | 1 | 0.00 |
Total | 199,453 | 100.00 |
또한 기술변경 시 제안된 주요 내용은 다음의 표 3과 같이 ‘규격자료 현실화 및 수정 보완’ 사유가 97.57%로, 전체 기술변경 중 가장 높은 비중을 차지하였다. 이 결과는 최근 6년간 국방규격 개선사업의 기술변경 중점을 ‘규격 현실화 및 수정’ 부문에 두고 시행되었음을 시사한다.
Category | Frequency | Ratio(%) |
---|---|---|
Realization and modification of standards data / Supplementation | 445,214 | 97.57 |
Product Improvement / Local Manufacturing | 6,073 | 1.33 |
Improve development and design deficiencies | 2,721 | 0.60 |
Production facilities, processes | 1,769 | 0.39 |
Reliability, durability, operational convenience | 316 | 0.07 |
Resolving quality defects and improving operability | 110 | 0.02 |
No reason for change | 89 | 0.02 |
Maintenance | 14 | 0.003 |
interoperability | 8 | 0.002 |
연구가설 및 분석방법
분석자료 및 방법
본 연구에서는 2016년부터 2022년까지 국방규격 개선사업에 참여한 형상통제관리기관, 군수업체 이해관계자 153명을 대상으로 응답자 기본사항, 기술변경 개선성과별 만족도, 사업의 전반적 만족도에 대해 설문을 조사하였다.
조사결과 신뢰구간 95%, 표본오차 ±10% 수준에서 62명(40.5%)이 응답하여, 분석을 위한 표본의 수로 적정하였다.
수집된 자료는 STATA 17.0을 사용하여 다음과 같은 방법으로 분석하였다.
조사대상자의 일반적인 특성을 분석하기 위하여 빈도분석 및 평균을 분석하고, 기술변경 개선성과의 만족도가 국방규격 개선사업 전체 만족도에 영향을 미치는 결정요인을 도출하기 위해 다중회귀분석(Multiple Regression Model Analysis)을 통해 추정하였다.
변수정의
종속변수(Dependent Variable)로 활용된 국방규격 개선사업의 전반적인 만족도는 사업의 신뢰도(AQ1), 후속조치 만족도(AQ2), 이해도(AQ3), 필요성(AQ4), 전문성(AQ5), 업무절차 확립성(AQ6)의 만족도를 리커드 5점 척도(1=매우 불만족, 5=매우 만족)로 구성하여 조사를 진행하였으며, 조사된 결과는 회귀모형 종속변수로 활용하기 위해 각 설문 항목의 합을 평균값(mean)으로 산출하여 연속변수(AQ_total_mean)로 변환하였다.
독립변수(Independent Variable)로 활용된 개선성과는 개선사업의 목적인 신뢰성 및 완성도 제고(CQ1), 납기지체 해소(CQ2), 원자재 및 부품 수급성 개선(CQ3), 장비 가동률 향상(CQ4), 정비성 및 편의성 향상(CQ5), 생산성 향상(CQ6), 품질보증활동 애로 해소(CQ7), 성적서 위·변조 예방(CQ8), 운용 및 획득 비용 절감(CQ9) 항목으로 구성하여 변수로 정의하였다.
국방규격 개선사업의 전반적인 만족도(AQ1-AQ6)와 개선성과(CQ1-CQ9) 만족도의 설문 문항에 대한 신뢰도 수준을 측정하기 위해 Cronbach's alpha[2]에 의한 내적 일관성을 검정한 결과, 평균 0.92 이상으로 산출되어 설문 문항으로의 신뢰수준은 적정하였다. 그리고 변수들의 요인적재량(Factor Cumulative)도 0.5 이상(LR test 547.16 prob>chi2=0.000)으로 산출되어 요인(Factor) 활용 변수로도 적절하였다.
이해관계자에 따른 설문 응답 결과는 연령 또는 근무경력 수준, 전문분야 등에 따라 분석모형에 영향을 미칠 수 있다[3]. 따라서 본 연구에서는 연령과 집단특성을 통제변수로 채택하였으며, 설문조사를 통해 수집된 이해관계자의 경력 수준(work_year, 1=5년 이하, 2=6~10년, 3=11~15년, 4=16~20년, 5=21년 이상)와 기술분야(tech_seg, 1=총포/탄약, 2=기동장비, 3=유도전자, 4=함정, 5=항공, 6=물자, 7=표준화, 8=기타)를 통제변수(Control Variable)로 활용하였다.
연구가설
국방규격 개선사업 만족도에 영향을 미치는 결정요인 분석은 다음의 그림 1과 같이 다중회귀모형으로 설계하고 연구가설 을 도출하였다.
H1 : 개선성과 만족도는 국방규격 개선사업의 전반적인 만족도에 영향을 미칠 것이다.
분석결과
기술통계량
분석모형에 활용된 변수의 기술통계량은 다음의 표 4와 같다.
종속변수인 국방규격 개선사업의 전반적인 만족도는 평균(mean) 3.73 수준이고, 최소(Min) 2.5에서 최대(Max) 4.83 수준이다.
독립변수인 개선성과별 만족도는 9개의 속성으로 구분된다. 분석결과 신뢰성 및 완성도 제고(CQ1)와 성적서 위·변조 예방(CQ8)은 5점 척도 기준으로 평균 이상의 만족도를 보이며, 납기지체 해소(CQ2), 원자재 및 부품 수급성 개선(CQ3), 장비 가동률 향상(CQ4), 정비성 및 편의성 향상(CQ5), 생산성 향상(CQ6), 품질보증활동 애로 해소(CQ7), 운용 및 획득 비용 절감(CQ9)은 평균 수준의 만족도를 보인다.
분석모형에서 통제변수로 활용된 설문조사 참여자의 근무경력 수준은 평균 15~20년(mean=4.03) 수준으로, 연구모형에서 활용된 표본대상은 관련 분야에 대한 경험과 이해도가 높음을 알 수 있다.
Variable | Obs(N) | Mean | Std. dev. | Min | Max | |
---|---|---|---|---|---|---|
Dependent Variable | AQ_total_mean | 62 | 3.73 | 0.51 | 2.5 | 4.83 |
AQ1 | 62 | 3.77 | 0.76 | 2 | 5 | |
AQ2 | 62 | 3.43 | 0.86 | 1 | 5 | |
AQ3 | 62 | 3.52 | 0.84 | 1 | 5 | |
AQ4 | 62 | 4.19 | 0.74 | 3 | 5 | |
AQ5 | 62 | 3.73 | 0.87 | 2 | 5 | |
AQ6 | 62 | 3.73 | 0.73 | 2 | 5 | |
Independent Variable | CQ1 | 62 | 3.94 | 0.88 | 1 | 5 |
CQ2 | 62 | 3.65 | 0.96 | 1 | 5 | |
CQ3 | 62 | 3.65 | 0.96 | 1 | 5 | |
CQ4 | 62 | 3.68 | 0.86 | 1 | 5 | |
CQ5 | 62 | 3.76 | 0.95 | 1 | 5 | |
CQ6 | 62 | 3.71 | 0.91 | 1 | 5 | |
CQ7 | 62 | 3.74 | 0.99 | 1 | 5 | |
CQ8 | 62 | 3.92 | 0.75 | 2 | 5 | |
CQ9 | 62 | 3.60 | 0.91 | 1 | 5 | |
Control Variable | work_year | 62 | 4.03 | 1.29 | 1 | 5 |
tech_seg | 62 | 3.03 | 2.05 | 1 | 8 |
다중회귀분석 결과
개선성과별 국방규격 개선사업의 만족도에 영향을 미치는 결정요인 분석은 다중회귀분석을 활용하였다.
회귀모형 분석에 앞서, 회귀모형의 자기상관 관계를 확인하였다. 검정결과 Durbin-watson 값이 1.82로 검정통계량 2에 가까워 서로 상관관계가 없었으며, 측정된 종속변수와 서로 독립되었다. 그리고 다중공선성 문제를 진단하기 위해 분산팽창계수(VIF, Variance Inflation Factor)를 검정한 결과 VIF=2.61로 분석되었다. 분산팽창계수는 회귀모형의 다중공선성을 진단하기 위한 지수로 Myer(1990)는 회귀분석의 검정할 수 있는 임계값을 10으로 제시하고 있다[4]. 검정결과 다음의 표 5와 같이 독립변수 간 상관관계가 없는 것으로 분석되었다.
Variable | VIF | 1/VIF | |
---|---|---|---|
Independe-nt variable | CQ1 | 3.87 | 0.26 |
CQ2 | 3.41 | 0.29 | |
CQ3 | 3.37 | 0.29 | |
CQ4 | 3.33 | 0.300 | |
CQ5 | 2.88 | 0.35 | |
CQ6 | 2.73 | 0.37 | |
CQ7 | 2.6 | 0.39 | |
CQ8 | 2.44 | 0.41 | |
CQ9 | 1.70 | 0.59 | |
Control Variable | work_year | 1.24 | 0.80 |
tech_seg | 1.16 | 0.86 | |
Mean VIF | 2.61 |
회귀모형 분석결과의 강건성(Robustness)을 고려하기 위해 다음의 표 6과 같이 분석그룹을 군수품 제조업체 그룹과 전체 그룹(형상통제관리기관+군수품 제조업체 그룹)으로 구분하여 분석하였으며, 변수의 설정에 따른 추정값을 검정하기 위해 Model 1부터 Model 8까지 구분하여 추정하였다. 군수품 제조업체 그룹의 Model 1(F=6.49, p=0.000), Model 2(F=6.21, p=0.000), Model 3(F=6.13, p=0.000), Model 4(F=5,59, p=0.000)의 4개 모형은 F 검정결과, 유의수준 범위(p<0.01)에서 적절하였으며, 독립변수의 설명은 약 60%의 설명력을 나타냈다. 국방규격 개선사업 만족도에 영향을 미치는 결정요인 검정결과 장비 가동률 향상(CQ4, Model 1 : β=0.430, Model 2 : β=0.495, Model 3 : β=0.411, Model 4 : β=0.469), 생산성 향상(CQ6, Model 1 : β=0.120, Model 2 : β=0.117, Model 3 : β=0.118), 품질보증활동 애로 해소(CQ7, Model 1 : β=0.348, Model 2 : β=0.356, Model 3 : β=0.353, Model 4 : β=0.363)가 유의수준 범위(p<0.01)에서 영향을 미치는 요인으로 식별되었다.
전체 그룹의 Model 5(F=3.89, p=0.000), Model 6(F=3.55, p=0.000), Model 7(F=3.72, p=0.000), Model 8(F=3,40, p=0.000)의 4개 모형도 유의수준 범위(p<0.01)에서 모형이 적합하였으며, 독립변수의 설명력은 약 40%를 나타냈다. 종속변수에 영향을 미치는 결정요인은 생산성 향상(CQ6, Model 5 : β=0.161, Model 2 : β=0.166, Model 3 : β=0.170, Model 4 : β=0.179)과 품질보증활동 애로 해소(CQ7, Model 1 : β=0.152, Model 2 : β=0.148, Model 3 : β=0.164, Model 4 : β=0.161)가 유의수준 범위(p<0.01) 내에서 추정되었다.
따라서 연구가설 에서 주장한 개선성과별 국방규격 개선사업 만족도 영향을 미치는 결정요인에 대해 일부 채택할 수 있었다.
이상과 같이 전체 그룹과 군수품 제조업체의 만족도 영향요인을 나누어 살펴보면, 군수품 제조업체는 국방규격 개선사업 만족도에 미치는 영향 결정요인으로 장비 가동률 향상(CQ4), 생산성 향상(CQ6), 품질보증 애로 해소(CQ7)가 주요 결정요인으로, 전체 그룹에서는 생산성 향상(CQ6)과 품질보증 애로 해소(CQ7)가 국방규격 개선사업 만족도의 결정요인으로 설명된다.
Robust standard errors in parentheses
*** p<0.01, ** p<0.05, * p<0.1
VARIABLES | Munitions manufacturer | Munitions manufacturer & Configuration control agency | ||||||
---|---|---|---|---|---|---|---|---|
Model 1 | Model 2 | Model 3 | Model 4 | Model 5 | Model 6 | Model 7 | Model 8 | |
coef(std.err) | coef(std.err) | coef(std.err) | coef(std.err) | coef(std.err) | coef(std.err) | coef(std.err) | coef(std.err) | |
work_year |
|
-0.0971* |
|
-0.102* |
|
-0.02 |
|
-0.03 |
|
-0.05 |
|
-0.05 |
|
-0.05 |
|
-0.06 | |
tech_seg |
|
|
0.02 | 0.03 |
|
|
0.03 | 0.03 |
|
|
-0.03 | -0.03 |
|
|
-0.03 | -0.03 | |
CQ1 | -0.01 | -0.01 | 0.00 | 0.01 | 0.05 | 0.05 | 0.05 | 0.05 |
-0.14 | -0.12 | -0.15 | -0.13 | -0.12 | -0.12 | -0.12 | -0.12 | |
CQ2 | -0.05 | -0.08 | -0.05 | -0.07 | 0.07 | 0.06 | 0.08 | 0.07 |
-0.13 | -0.12 | -0.13 | -0.13 | -0.12 | -0.13 | -0.12 | -0.13 | |
CQ3 | -0.08 | -0.06 | -0.07 | -0.05 | -0.08 | -0.07 | -0.08 | -0.07 |
-0.09 | -0.10 | -0.09 | -0.10 | -0.08 | -0.08 | -0.07 | -0.08 | |
CQ4 | 0.430** | 0.495*** | 0.411** | 0.469** | 0.09 | 0.09 | 0.06 | 0.07 |
-0.17 | -0.17 | -0.19 | -0.18 | -0.13 | -0.14 | -0.14 | -0.15 | |
CQ5 | -0.19 | -0.206* | -0.19 | -0.206* | -0.04 | -0.04 | -0.03 | -0.03 |
-0.13 | -0.12 | -0.13 | -0.12 | -0.12 | -0.12 | -0.12 | -0.12 | |
CQ6 | 0.120* | 0.117* | 0.118* | 0.11 | 0.161** | 0.166*** | 0.170** | 0.179*** |
-0.06 | -0.07 | -0.06 | -0.07 | -0.07 | -0.06 | -0.07 | -0.06 | |
CQ7 | 0.348*** | 0.356*** | 0.353*** | 0.363*** | 0.152* | 0.148* | 0.164* | 0.161* |
-0.11 | -0.11 | -0.11 | -0.12 | -0.09 | -0.09 | -0.09 | -0.09 | |
CQ8 | -0.12 | -0.10 | -0.14 | -0.13 | -0.07 | -0.06 | -0.07 | -0.05 |
-0.08 | -0.08 | -0.09 | -0.09 | -0.09 | -0.09 | -0.09 | -0.08 | |
CQ9 | -0.05 | -0.07 | -0.05 | -0.06 | 0.01 | 0.01 | 0.00 | -0.01 |
-0.09 | -0.10 | -0.09 | -0.10 | -0.09 | -0.09 | -0.09 | -0.10 | |
Constant | 2.308*** | 2.546*** | 2.299*** | 2.545*** | 2.464*** | 2.497*** | 2.372*** | 2.406*** |
-0.353 | -0.408 | -0.353 | -0.402 | -0.359 | -0.383 | -0.346 | -0.361 | |
Observations | 49 | 49 | 49 | 49 | 62 | 62 | 62 | 62 |
R-squared | 0.6 | 0.634 | 0.602 | 0.64 | 0.398 | 0.401 | 0.408 | 0.413 |
F | 6.49*** | 6.21*** | 6.13*** | 5.59*** | 3.89*** | 3.55*** | 3.72*** | 3.40*** |
결론
본 연구는 국방규격 개선사업 만족도에 영향을 미치는 기술변경 개선성과의 결정요인을 다중회귀분석 등의 정량적 분석방법론을 활용하여 분석하였으며, 다음과 같은 시사점을 도출하였다.
형상통제관리기관과 군수품 제조기업은 국방규격 개선사업 만족도를 제고하는 개선성과 요인으로 “생산성 향상”과 “품질보증 애로 해소”를 주요 결정요인으로 인식하고 있었다. 특히 군수품 제조기업의 경우 “장비 가동률 향상”도 주요 결정요인의 하나로 인식하고 있었다. 결과적으로 이해관계자들이 인식하는 국방규격 개선사업 만족도에 영향을 미치는 개선성과의 만족도 결정요인으로 “생산성 향상”, “품질보증 애로 해소”가 주요 결정요인으로 도출할 수 있다. 하지만 이러한 연구 결과는 국방규격 개선사업의 정책 추진에 있어 특정 개선성과에만 집중될 수 있는 점도 시사한다. 따라서, 사업의 중·장기적인 국방표준화정책 추진과 안정적인 사업운영을 위해 품질 원인 해결 및 운영 개선, 신뢰성 및 내구성, 상호운영성 개선 등과 같은 개선성과 제고를 위한 다변화 전략을 모색해야 하며, 국방규격 개선사업의 만족도 향상을 위한 다각적인 노력과 후속연구가 추진되어야 할 것으로 판단된다.
본 연구는 분산분석, 독립표본 t-검정, 다중회귀모형 등 통계적 분석방법론을 활용하여 국방규격 개선사업의 개선성과별 만족도에 따른 주요 결정요인을 분석하였다. 이를 통해 국방표준화연구 분야의 확장성을 여는 계기를 마련하였으며, 다각적인 관점에서의 결정요인 분석과 시사점을 도출할 수 있었다. 특히 이러한 결과는 실효성 있는 사업기획 추진과 효율적인 사업관리 운영, 중·장기적인 국방표준화정책 발전 수립에 기여할 것으로 생각된다.
하지만 연구 결과 도출에 있어 한계점도 존재하였다. 본 연구에서는 국방규격 개선사업의 만족도 결정요인으로 개선성과 만족도만을 고려하고 있어, 사업 전반적인 효율성과 효과성 성과 측면을 고려한 분석과 시사점 도출에는 한계가 있었다. 이러한 한계점은 효율성 측정을 위한 투입, 산출변수 등의 추가자료 수집과 효과성 측정을 위한 평가모형 개발 등의 후속연구를 통해 보완될 수 있을 것으로 판단된다.
- 참고문헌
-
- 1. Jeon, J. Y., "A Study on the Introduction of Advanced Technology in the Realm of Defense", Journal of the Korea Academia-Industrial cooperation Society, 21(5), pp. 249 – 256, 2020.
- 2. Cronbach, L. J., Shavelson, R. J. J. E., & measurement, "My current thoughts on coefficient alpha and successor procedures". 64(3), pp. 391-418, 2004.
- 3. Lee, M. C, Jung, T. H., "Participation in public procurement and firm growth : Focusing on the moderating effect of firm age", Journal of Technology Innovation, 29(3), pp 91-119, 2021.
- 4. Myers, R. H., "Classical and modern regression with applications (Vol. 2): Duxbury press Belmont", CA, 1990.