국방품질연구회(DQS)가 전하는 품질 인사이트

DQS 매거진

국방규격 개선사업 만족도에 영향을 미치는 결정요인 분석

2023. 06. 29

글. 국방기술품질원 표준연구실 김영현 선임연구원

무기체계는 장기간 연구개발을 통해 획득되는 특성상 최신의 민간 신기술을 수용하기에 한계가 있다. 이러한 신기술과의 역전현상은 국방규격 제정 이후 최신규격과의 불일치, 적용 부품의 단종 등의 문제로 발현되고 있다. 이에 국방기술품질원은 2016년부터「국방규격 개선사업」을 통해 운용유지단계의 노후화된 국방규격을 개선해오고 있지만 지난 6년간의 추진된「국방규격 개선사업」의 성과평가는 기술변경 개선 횟수, 수량 등의 양적(Quantitative) 성과에 머물러 있어, 이해관계자의 의견이 반영된 질적(Qualitative) 관점의 기술변경 항목별 만족도는 확인할 수 없었다.
따라서 본 연구는「국방규격 개선사업」의 기술변경 개선성과 중 만족도에 미치는 결정요인을 분석하고, 국방규격 개선사업의 제도개선 방안을 제언하였다.
연구 결과, 형상통제관리기관과 군수품 제조기업은 국방규격 개선사업 만족도를 제고하는 개선성과 요인으로 “생산성 향상”과 “품질보증애로해소”를 주요 결정요인으로 인식하고 있으며. 특히 군수품 제조기업의 경우 “장비가동률향상”도 주요 결정요인의 하나로 인식하고 있었다.

서론

무기체계는 장기간 연구개발을 통해 획득되는 특성상 최신의 민간 신기술을 수용하기에 한계가 있다[1]. 이러한 신기술과의 역전현상은 국방규격 제정 이후 최신규격과의 불일치, 적용 부품의 단종 등의 문제로 발현되고 있다. 특히 기존 국방규격 및 기술자료에 인용된 원·부자재, 시험방법 등은 품질보증 활동과 밀접한 관계가 있지만, 제한된 인력과 예산으로 운영되고 있는 현재의 업무체계에서는 신기술의 최신화 정보가 반영된 국방 기술자료의 신속한 기술변경 처리에 한계가 있다. 이러한 문제점을 극복하기 위해 방위사업청은 “국방표준발전 종합대책”을 수립하였으며, 2016년부터 「국방규격 개선사업」을 통해 운용유지단계의 노후화된 국방규격을 개선해오고 있다.

하지만, 지난 6년간의 추진된「국방규격 개선사업」의 성과평가는 기술변경 개선 횟수, 수량 등의 양적(Quantitative) 성과에 머물러 있어, 이해관계자의 의견이 반영된 질적(Qualitative) 관점의 기술변경 항목별 만족도는 확인할 수 없었다. 이러한 만족도 평가의 부재는 사업의 적절성과 실효성을 평가하기에 제한되며, 중·장기적인 국방표준화정책의 사업관리 기획 및 운영에 제약사항으로 발생 될 수 있다. 따라서 현시점에서 이해관계자들의 의견이 반영된「국방규격 개선사업」의 개선성과별 만족도에 대한 객관적이고 정량적인 평가가 필요하다.

본 연구는「국방규격 개선사업」의 개선성과 중 만족도에 미치는 결정요인을 분석하고, 연구가설 검정을 통해 국방규격 개선사업의 제도개선 방안을 제언한다.

국방규격 개선사업 추진현황

2016년부터 시행된 「국방규격 개선사업」은 군수품의 가동률 제고와 품질향상을 도모하기 위해 운영유지단계의 불합리한 국방규격에 대해 원자재 수급의 애로사항 해결, 인용규격의 최신화 및 현실화 개선 등을 지원하고 있다.

사업 대상은 운영·유지단계의 활성 상태로 분류된 2급 기술변경이 가능한 국방규격서, 도면, 품질보증요구서(QAR, Quality Assurance Report)이다.

대상 품목의 선정은 기동, 유도무기, 총포, 탄약, 항공, 함정, 물자의 군수품 분류 중 소요군 요청품목, 다빈도 고장발생 품목, 사용자 불만 및 납기 지체품목 등을 고려하여 확정하고 있다.

2016년부터 2021년까지 검토된 기술변경 국방규격서, 도면, QAR는 다음의 표 1과 같다. 국방규격서(Defense standards)는 1,820종 중 691종(38%), 도면과 QAR는 361,332건 중 199,453건(55.2%)이 기술변경 되었다.

Category Defense standards Drawing, QAR
Target 1,820 361,332
Technology changes 691 199,453
Ratio(%) 38 55.2

표 1. 국방규격 개선사업 대상 기술자료 및 기술변경 현황(2016-2021)

그리고 국방규격의 군수분야별 기술변경은 다음의 표 2와 같이 기동(40.35%), 특수무기(17.62%), 통신전자(12.39%), 항공(8.18%), 탄약(6.57%) 등의 빈도순으로 진행되었다.

해당 현황을 종합적으로 살펴보면, 최근 6년간 국방규격 개선사업을 통해 진행된 기술자료의 기술변경은 기동분야에 중점을 둔 것으로 분석된다.

Category Frequency Ratio(%)
Mobil Weapons 80,474 40.35
Special Weapons 35,150 17.62
Communication Electronics 24,703 12.39
Aircraft 16,319 8.18
Ammunition 13,113 6.57
Firepower 13,043 6.54
Naval Ship 6,875 3.45
General Equipment 6,397 3.21
Others 1,135 0.57
Communication 981 0.49
Rubber Leather 576 0.29
Equipment and Bedding 431 0.22
Chemical 158 0.08
Supply 47 0.02
Hand Tool 26 0.01
Badge and Marks 15 0.01
Clothing 9 0.00
Engineer Supply 1 0.00
Total 199,453 100.00

표 3. 기술변경 내용

또한 기술변경 시 제안된 주요 내용은 다음의 표 3과 같이 ‘규격자료 현실화 및 수정 보완’ 사유가 97.57%로, 전체 기술변경 중 가장 높은 비중을 차지하였다. 이 결과는 최근 6년간 국방규격 개선사업의 기술변경 중점을 ‘규격 현실화 및 수정’ 부문에 두고 시행되었음을 시사한다.

Category Frequency Ratio(%)
Realization and modification of standards data / Supplementation 445,214 97.57
Product Improvement / Local Manufacturing 6,073 1.33
Improve development and design deficiencies 2,721 0.60
Production facilities, processes 1,769 0.39
Reliability, durability, operational convenience 316 0.07
Resolving quality defects and improving operability 110 0.02
No reason for change 89 0.02
Maintenance 14 0.003
interoperability 8 0.002

표 3. 기술변경 내용

연구가설 및 분석방법

분석자료 및 방법

본 연구에서는 2016년부터 2022년까지 국방규격 개선사업에 참여한 형상통제관리기관, 군수업체 이해관계자 153명을 대상으로 응답자 기본사항, 기술변경 개선성과별 만족도, 사업의 전반적 만족도에 대해 설문을 조사하였다.

조사결과 신뢰구간 95%, 표본오차 ±10% 수준에서 62명(40.5%)이 응답하여, 분석을 위한 표본의 수로 적정하였다.
수집된 자료는 STATA 17.0을 사용하여 다음과 같은 방법으로 분석하였다.

조사대상자의 일반적인 특성을 분석하기 위하여 빈도분석 및 평균을 분석하고, 기술변경 개선성과의 만족도가 국방규격 개선사업 전체 만족도에 영향을 미치는 결정요인을 도출하기 위해 다중회귀분석(Multiple Regression Model Analysis)을 통해 추정하였다.

변수정의

종속변수(Dependent Variable)로 활용된 국방규격 개선사업의 전반적인 만족도는 사업의 신뢰도(AQ1), 후속조치 만족도(AQ2), 이해도(AQ3), 필요성(AQ4), 전문성(AQ5), 업무절차 확립성(AQ6)의 만족도를 리커드 5점 척도(1=매우 불만족, 5=매우 만족)로 구성하여 조사를 진행하였으며, 조사된 결과는 회귀모형 종속변수로 활용하기 위해 각 설문 항목의 합을 평균값(mean)으로 산출하여 연속변수(AQ_total_mean)로 변환하였다.

독립변수(Independent Variable)로 활용된 개선성과는 개선사업의 목적인 신뢰성 및 완성도 제고(CQ1), 납기지체 해소(CQ2), 원자재 및 부품 수급성 개선(CQ3), 장비 가동률 향상(CQ4), 정비성 및 편의성 향상(CQ5), 생산성 향상(CQ6), 품질보증활동 애로 해소(CQ7), 성적서 위·변조 예방(CQ8), 운용 및 획득 비용 절감(CQ9) 항목으로 구성하여 변수로 정의하였다.

국방규격 개선사업의 전반적인 만족도(AQ1-AQ6)와 개선성과(CQ1-CQ9) 만족도의 설문 문항에 대한 신뢰도 수준을 측정하기 위해 Cronbach's alpha[2]에 의한 내적 일관성을 검정한 결과, 평균 0.92 이상으로 산출되어 설문 문항으로의 신뢰수준은 적정하였다. 그리고 변수들의 요인적재량(Factor Cumulative)도 0.5 이상(LR test 547.16 prob>chi2=0.000)으로 산출되어 요인(Factor) 활용 변수로도 적절하였다.

이해관계자에 따른 설문 응답 결과는 연령 또는 근무경력 수준, 전문분야 등에 따라 분석모형에 영향을 미칠 수 있다[3]. 따라서 본 연구에서는 연령과 집단특성을 통제변수로 채택하였으며, 설문조사를 통해 수집된 이해관계자의 경력 수준(work_year, 1=5년 이하, 2=6~10년, 3=11~15년, 4=16~20년, 5=21년 이상)와 기술분야(tech_seg, 1=총포/탄약, 2=기동장비, 3=유도전자, 4=함정, 5=항공, 6=물자, 7=표준화, 8=기타)를 통제변수(Control Variable)로 활용하였다.

연구가설

국방규격 개선사업 만족도에 영향을 미치는 결정요인 분석은 다음의 그림 1과 같이 다중회귀모형으로 설계하고 연구가설 을 도출하였다.

그림 1. 연구 모델

H1 : 개선성과 만족도는 국방규격 개선사업의 전반적인 만족도에 영향을 미칠 것이다.

분석결과

기술통계량

분석모형에 활용된 변수의 기술통계량은 다음의 표 4와 같다.

종속변수인 국방규격 개선사업의 전반적인 만족도는 평균(mean) 3.73 수준이고, 최소(Min) 2.5에서 최대(Max) 4.83 수준이다.

독립변수인 개선성과별 만족도는 9개의 속성으로 구분된다. 분석결과 신뢰성 및 완성도 제고(CQ1)와 성적서 위·변조 예방(CQ8)은 5점 척도 기준으로 평균 이상의 만족도를 보이며, 납기지체 해소(CQ2), 원자재 및 부품 수급성 개선(CQ3), 장비 가동률 향상(CQ4), 정비성 및 편의성 향상(CQ5), 생산성 향상(CQ6), 품질보증활동 애로 해소(CQ7), 운용 및 획득 비용 절감(CQ9)은 평균 수준의 만족도를 보인다.

분석모형에서 통제변수로 활용된 설문조사 참여자의 근무경력 수준은 평균 15~20년(mean=4.03) 수준으로, 연구모형에서 활용된 표본대상은 관련 분야에 대한 경험과 이해도가 높음을 알 수 있다.

Variable Obs(N) Mean Std. dev. Min Max
Dependent Variable AQ_total_mean 62 3.73 0.51 2.5 4.83
AQ1 62 3.77 0.76 2 5
AQ2 62 3.43 0.86 1 5
AQ3 62 3.52 0.84 1 5
AQ4 62 4.19 0.74 3 5
AQ5 62 3.73 0.87 2 5
AQ6 62 3.73 0.73 2 5
Independent Variable CQ1 62 3.94 0.88 1 5
CQ2 62 3.65 0.96 1 5
CQ3 62 3.65 0.96 1 5
CQ4 62 3.68 0.86 1 5
CQ5 62 3.76 0.95 1 5
CQ6 62 3.71 0.91 1 5
CQ7 62 3.74 0.99 1 5
CQ8 62 3.92 0.75 2 5
CQ9 62 3.60 0.91 1 5
Control Variable work_year 62 4.03 1.29 1 5
tech_seg 62 3.03 2.05 1 8

표 4. 기술통계량

다중회귀분석 결과

개선성과별 국방규격 개선사업의 만족도에 영향을 미치는 결정요인 분석은 다중회귀분석을 활용하였다.

회귀모형 분석에 앞서, 회귀모형의 자기상관 관계를 확인하였다. 검정결과 Durbin-watson 값이 1.82로 검정통계량 2에 가까워 서로 상관관계가 없었으며, 측정된 종속변수와 서로 독립되었다. 그리고 다중공선성 문제를 진단하기 위해 분산팽창계수(VIF, Variance Inflation Factor)를 검정한 결과 VIF=2.61로 분석되었다. 분산팽창계수는 회귀모형의 다중공선성을 진단하기 위한 지수로 Myer(1990)는 회귀분석의 검정할 수 있는 임계값을 10으로 제시하고 있다[4]. 검정결과 다음의 표 5와 같이 독립변수 간 상관관계가 없는 것으로 분석되었다.

Variable VIF 1/VIF
Independe-nt variable CQ1 3.87 0.26
CQ2 3.41 0.29
CQ3 3.37 0.29
CQ4 3.33 0.300
CQ5 2.88 0.35
CQ6 2.73 0.37
CQ7 2.6 0.39
CQ8 2.44 0.41
CQ9 1.70 0.59
Control Variable work_year 1.24 0.80
tech_seg 1.16 0.86
Mean VIF 2.61  

표 5. 회귀모형의 다중공선성 진단 결과

회귀모형 분석결과의 강건성(Robustness)을 고려하기 위해 다음의 표 6과 같이 분석그룹을 군수품 제조업체 그룹과 전체 그룹(형상통제관리기관+군수품 제조업체 그룹)으로 구분하여 분석하였으며, 변수의 설정에 따른 추정값을 검정하기 위해 Model 1부터 Model 8까지 구분하여 추정하였다. 군수품 제조업체 그룹의 Model 1(F=6.49, p=0.000), Model 2(F=6.21, p=0.000), Model 3(F=6.13, p=0.000), Model 4(F=5,59, p=0.000)의 4개 모형은 F 검정결과, 유의수준 범위(p<0.01)에서 적절하였으며, 독립변수의 설명은 약 60%의 설명력을 나타냈다. 국방규격 개선사업 만족도에 영향을 미치는 결정요인 검정결과 장비 가동률 향상(CQ4, Model 1 : β=0.430, Model 2 : β=0.495, Model 3 : β=0.411, Model 4 : β=0.469), 생산성 향상(CQ6, Model 1 : β=0.120, Model 2 : β=0.117, Model 3 : β=0.118), 품질보증활동 애로 해소(CQ7, Model 1 : β=0.348, Model 2 : β=0.356, Model 3 : β=0.353, Model 4 : β=0.363)가 유의수준 범위(p<0.01)에서 영향을 미치는 요인으로 식별되었다.

전체 그룹의 Model 5(F=3.89, p=0.000), Model 6(F=3.55, p=0.000), Model 7(F=3.72, p=0.000), Model 8(F=3,40, p=0.000)의 4개 모형도 유의수준 범위(p<0.01)에서 모형이 적합하였으며, 독립변수의 설명력은 약 40%를 나타냈다. 종속변수에 영향을 미치는 결정요인은 생산성 향상(CQ6, Model 5 : β=0.161, Model 2 : β=0.166, Model 3 : β=0.170, Model 4 : β=0.179)과 품질보증활동 애로 해소(CQ7, Model 1 : β=0.152, Model 2 : β=0.148, Model 3 : β=0.164, Model 4 : β=0.161)가 유의수준 범위(p<0.01) 내에서 추정되었다.

따라서 연구가설 에서 주장한 개선성과별 국방규격 개선사업 만족도 영향을 미치는 결정요인에 대해 일부 채택할 수 있었다.

이상과 같이 전체 그룹과 군수품 제조업체의 만족도 영향요인을 나누어 살펴보면, 군수품 제조업체는 국방규격 개선사업 만족도에 미치는 영향 결정요인으로 장비 가동률 향상(CQ4), 생산성 향상(CQ6), 품질보증 애로 해소(CQ7)가 주요 결정요인으로, 전체 그룹에서는 생산성 향상(CQ6)과 품질보증 애로 해소(CQ7)가 국방규격 개선사업 만족도의 결정요인으로 설명된다.

Robust standard errors in parentheses
*** p<0.01, ** p<0.05, * p<0.1

VARIABLES Munitions manufacturer Munitions manufacturer & Configuration control agency
Model 1 Model 2 Model 3 Model 4 Model 5 Model 6 Model 7 Model 8
coef(std.err) coef(std.err) coef(std.err) coef(std.err) coef(std.err) coef(std.err) coef(std.err) coef(std.err)
work_year

 

-0.0971*

 

-0.102*

 

-0.02

 

-0.03

 

-0.05

 

-0.05

 

-0.05

 

-0.06
tech_seg

 

 

0.02 0.03

 

 

0.03 0.03

 

 

-0.03 -0.03

 

 

-0.03 -0.03
CQ1 -0.01 -0.01 0.00 0.01 0.05 0.05 0.05 0.05
-0.14 -0.12 -0.15 -0.13 -0.12 -0.12 -0.12 -0.12
CQ2 -0.05 -0.08 -0.05 -0.07 0.07 0.06 0.08 0.07
-0.13 -0.12 -0.13 -0.13 -0.12 -0.13 -0.12 -0.13
CQ3 -0.08 -0.06 -0.07 -0.05 -0.08 -0.07 -0.08 -0.07
-0.09 -0.10 -0.09 -0.10 -0.08 -0.08 -0.07 -0.08
CQ4 0.430** 0.495*** 0.411** 0.469** 0.09 0.09 0.06 0.07
-0.17 -0.17 -0.19 -0.18 -0.13 -0.14 -0.14 -0.15
CQ5 -0.19 -0.206* -0.19 -0.206* -0.04 -0.04 -0.03 -0.03
-0.13 -0.12 -0.13 -0.12 -0.12 -0.12 -0.12 -0.12
CQ6 0.120* 0.117* 0.118* 0.11 0.161** 0.166*** 0.170** 0.179***
-0.06 -0.07 -0.06 -0.07 -0.07 -0.06 -0.07 -0.06
CQ7 0.348*** 0.356*** 0.353*** 0.363*** 0.152* 0.148* 0.164* 0.161*
-0.11 -0.11 -0.11 -0.12 -0.09 -0.09 -0.09 -0.09
CQ8 -0.12 -0.10 -0.14 -0.13 -0.07 -0.06 -0.07 -0.05
-0.08 -0.08 -0.09 -0.09 -0.09 -0.09 -0.09 -0.08
CQ9 -0.05 -0.07 -0.05 -0.06 0.01 0.01 0.00 -0.01
-0.09 -0.10 -0.09 -0.10 -0.09 -0.09 -0.09 -0.10
Constant 2.308*** 2.546*** 2.299*** 2.545*** 2.464*** 2.497*** 2.372*** 2.406***
-0.353 -0.408 -0.353 -0.402 -0.359 -0.383 -0.346 -0.361
Observations 49 49 49 49 62 62 62 62
R-squared 0.6 0.634 0.602 0.64 0.398 0.401 0.408 0.413
F 6.49*** 6.21*** 6.13*** 5.59*** 3.89*** 3.55*** 3.72*** 3.40***

표 6. 회귀모형 분석 결과

결론

본 연구는 국방규격 개선사업 만족도에 영향을 미치는 기술변경 개선성과의 결정요인을 다중회귀분석 등의 정량적 분석방법론을 활용하여 분석하였으며, 다음과 같은 시사점을 도출하였다.

형상통제관리기관과 군수품 제조기업은 국방규격 개선사업 만족도를 제고하는 개선성과 요인으로 “생산성 향상”과 “품질보증 애로 해소”를 주요 결정요인으로 인식하고 있었다. 특히 군수품 제조기업의 경우 “장비 가동률 향상”도 주요 결정요인의 하나로 인식하고 있었다. 결과적으로 이해관계자들이 인식하는 국방규격 개선사업 만족도에 영향을 미치는 개선성과의 만족도 결정요인으로 “생산성 향상”, “품질보증 애로 해소”가 주요 결정요인으로 도출할 수 있다. 하지만 이러한 연구 결과는 국방규격 개선사업의 정책 추진에 있어 특정 개선성과에만 집중될 수 있는 점도 시사한다. 따라서, 사업의 중·장기적인 국방표준화정책 추진과 안정적인 사업운영을 위해 품질 원인 해결 및 운영 개선, 신뢰성 및 내구성, 상호운영성 개선 등과 같은 개선성과 제고를 위한 다변화 전략을 모색해야 하며, 국방규격 개선사업의 만족도 향상을 위한 다각적인 노력과 후속연구가 추진되어야 할 것으로 판단된다.

본 연구는 분산분석, 독립표본 t-검정, 다중회귀모형 등 통계적 분석방법론을 활용하여 국방규격 개선사업의 개선성과별 만족도에 따른 주요 결정요인을 분석하였다. 이를 통해 국방표준화연구 분야의 확장성을 여는 계기를 마련하였으며, 다각적인 관점에서의 결정요인 분석과 시사점을 도출할 수 있었다. 특히 이러한 결과는 실효성 있는 사업기획 추진과 효율적인 사업관리 운영, 중·장기적인 국방표준화정책 발전 수립에 기여할 것으로 생각된다.

하지만 연구 결과 도출에 있어 한계점도 존재하였다. 본 연구에서는 국방규격 개선사업의 만족도 결정요인으로 개선성과 만족도만을 고려하고 있어, 사업 전반적인 효율성과 효과성 성과 측면을 고려한 분석과 시사점 도출에는 한계가 있었다. 이러한 한계점은 효율성 측정을 위한 투입, 산출변수 등의 추가자료 수집과 효과성 측정을 위한 평가모형 개발 등의 후속연구를 통해 보완될 수 있을 것으로 판단된다.

참고문헌
  • 1. Jeon, J. Y., "A Study on the Introduction of Advanced Technology in the Realm of Defense", Journal of the Korea Academia-Industrial cooperation Society, 21(5), pp. 249 – 256, 2020.
  • 2. Cronbach, L. J., Shavelson, R. J. J. E., & measurement, "My current thoughts on coefficient alpha and successor procedures". 64(3), pp. 391-418, 2004.
  • 3. Lee, M. C, Jung, T. H., "Participation in public procurement and firm growth : Focusing on the moderating effect of firm age", Journal of Technology Innovation, 29(3), pp 91-119, 2021.
  • 4. Myers, R. H., "Classical and modern regression with applications (Vol. 2): Duxbury press Belmont", CA, 1990.