국방품질연구회(DQS)가 전하는 품질 인사이트

DQS 매거진

정부품질보증활동 연계 강화를 위한 품질관리수준 평가제도 개선방안 연구

2023. 05. 25

글. 김기목 국방기술품질원 지휘정찰개발품질팀 연구원

본 연구는 방위사업품질관리규정에 따라 국방기술품질원(이하 기품원)이 수행하는 무기체계 연구개발단계 품질관리수준(LQM) 평가제도를 소개하고 현실태와 개선방안에 대하여 서술하였다. 현행 품질관리수준 평가의 기준은 연구개발사업의 기술적 위험도와 사업비 규모 두가지로써 LQMⅠ,Ⅱ,Ⅲ로 구분하며 LQMⅡ,Ⅲ 사업은 품질통제점(QCG) 검토를 수행한다. 현 평가 기준은 업무와의 연관성이 떨어져 단순히 QCG 검토를 수행하는 사업과 수행하는 않는 사업을 구분하는 역할만을 하고 있으며 양산이 있어 QCG 검토가 필요한 사업임에도 사업비가 작아 LQMⅠ으로 분류되는 사례가 발생한다. 또한 기술적 위험도는 기본계획단계에서 판단이 제한되어 객관적인 평가에 어려움이 있으며 LQMⅡ와 Ⅲ사업 간의 업무 범위의 차별성이 떨어진다. 따라서 품질관리수준 평가 기준을 사업유형, 방위사업청의 정부품질보증업무 위탁범위, 체계 복잡성으로 두고 양산이 있는 사업을 중심으로 연구개발단계 품질관리를 수행할 수 있도록 제도적 개선을 통해 효율적인 개발단계 품질관리를 수행할 수 있도록 제안한다.

품질관리수준(LQM) 제도

품질관리수준(LQM) 제도는 방위사업청 훈령 방위사업 품질관리 규정에 정의되어 있다. 먼저 제13조(체계개발 단계 품질관리) 2항에 통합사업관리팀은 체계개발단계 품질을 확보하기 위하여 품질관리수준(LQM)을 결정하게 되어 있다. 이후 14조(품질관리 수준 결정)에 품질관리 수준을 결정하는 절차가 규정되어 있다.

품질관리수준은 통합사업관리팀에서 작성하는 체계개발기본계획의 품질관리계획에 포함되어야 하며 이를 위해 통합사업관리팀은 기품원에 품질관리수준 평가를 요청해야 한다. 기품원은 품질관리수준 평가를 위해 통합사업관리팀에게 운용요구서, 탐색개발 결과보고서, 선행연구 결과보고서 등을 요청하여 검토하고 유사 무기체계의 품질이력을 분석하여 체계개발위험평가를 수행한다. 기품원은 체계개발위험평가 결과와 사업규모(비용)을 고려하여 품질관리 수준을 평가하여 통합사업관리팀으로 제출한다. 이때 품질관리수준 평가를 위한 세부기준은 기품원이 정하고 이는 기품원 지침 무기체계 연구개발단계 품질관리 기술지원 지침에 규정되어 있다.

품질관리수준은 표 1과 같이 기술적 위험 수준과 사업비를 기준으로 결정된다. 사업비 항목은 연구개발 총사업비 850억 원과 3000억 원을 기준으로 고, 중, 저를 판단한다. 기술적 위험 수준은 기술성숙도 평가 결과, 운용요구서 구체화, 연구개발 주관형태, 유사 무기체계 이력을 검토하고 각 검토기준에 따라 점수를 부여하여 3점과 6점을 기준으로 고, 중, 저를 평가한다. 품지관리수준은 평가결과에 따라 LQMⅠ, Ⅱ, Ⅲ로 구분되며 각 품질관리 수준에 따른 품질관리 활동 범위는 표 2와 같다.

구분 기술적 위험성
연구개발 총 사업비 850억 미만 LQM I LQM I LQM II
8850억~3000억 LQM I LQM II LQM III
3000억 이상 LQM II LQM III LQM III

표 1. 품질관리수준(LQM) 종합 평가표

LQM 구분
품질관리지원팀(QMST) 품질통제점(QCG)
I 미운영 미적용
II 미운영 적용
III 운영 적용

표 2. 품질관리수준에 따른 품질관리 활동

기품원은 LQMⅠ 사업에서 개발품질관리 담당자를 지정하여 품질관리지원 업무를 수행하고 LQMⅡ 사업에서는 품질관리, 형상관리, 신뢰성 3개 분야 각각 담당자를 지정하여 업무를 수행한다. LQMⅢ 사업은 품질관리지원팀(QMST : Quality Management Support Team)을 구성하는데 분야별 담당자와 통합사업관리팀 담당자, 그리고 개발품질팀장을 포함하여 운영한다. 품질통제점(QCG : Quality Control Gate) 검토는 LQMⅠ 사업에서는 수행하지 않고 LQMⅡ,Ⅲ 사업에서만 수행한다.

결국, 품질관리수준 제도는 연구개발사업의 기술적 위험성과 비용을 고려하여 연구개발사업의 품질관리 위험도를 판단하고 그에 따라 정부의 자원을 효율적으로 투입하여 전체 연구개발사업의 품질을 높이는 데 목적이 있다고 볼 수 있다.

분야 LQM 분류사업
I II III 소계
26 (63%) 9 (22%) 6 (15%) 41
지휘·정찰 8 5 3 16
유도·탄약 4 3 1 8
기동·화력 9 1 - 10
항공 5 - 2 7

표 3. 연구개발사업 품질관리수준 현황

분야 기술적 위험도
10 (24%) 25 (65%) 6 (11%) 41
I 9 16 1 26
II 1 7 1 9
III - 2 4 6

표 4. 품질관리수준 기술적 위험도 평가결과

분야 사업비
28 (68%) 8 (19%) 5 (12%) 41
I 24 2 - 26
II 2 6 1 9
III 2 - 4 6

표 5. 품질관리수준 사업비용 평가 결과

그림 1. 연구개발사업 LQM 현황 및 평가 결과

품질관리수준 제도 적용 현황

2022년 6월 기준, 기품원이 참여하여 품질관리 지원업무를 수행하고 있는 사업 중 품질관리수준 제도를 적용하여 품질관리 중인 사업은 표 3과 같다. 총 41개 사업 중 LQMⅠ 사업이 26개 63%로 가장 많고 LQMⅠ,Ⅱ 사업이 각각 9개 22%, 6개 15%이다. 각 사업의 품질관리수준 평가 시 적용된 기술적 위험도와 사업 비용의 통계는 각각 표 4와 표 5와 같다. 기술적 위험도는 위험도 중이 25개 65%로 가장 많고 하와 상이 각각 10개 24%, 6개 11%이다. 사업비용은 850억 원 이하인 하 사업이 28개 68%로 가장 많고 중, 상이 각각 8개 19%, 5개 12%이다. 그림1은 표3, 4, 5의 내용을 그래프로 정리한 것이다.

품질관리수준 제도개선 필요성

먼저 그림 1을 보면 LQMⅠ, Ⅱ, Ⅲ의 분포가 대체로 사업비용의 하, 중, 상의 분포를 따른다는 것을 알 수 있다. LQMⅢ로 평가된 6개 사업의 세부 내용을 보면 사업비용이 3500억 원 이상으로 사업비용이 상이 사업이 4개, 그 외는 품질관리수준 평가 결과 LQMⅡ이나 통합사업관리팀과의 협의를 통해 LQMⅢ로 조정·평가된 사업이다. 품질관리수준 평가와 사업비용 평가가 일치하는 사업의 비율은 약 83%로, 대부분의 사업이 비용에 따라 품질관리수준이 결정된다는 것을 알 수 있다. 사업비용이 클수록 사업의 위험도가 크다는 것도 논리적인 접근일 수 있으나, 사용자 관점과 양산단계 정부품질보증관점에서의 품질위험도는 연구개발비용과 무관한 경우가 많다. 예를 들어 사업 규모가 작아 중소기업이 연구개발을 수행하는 경우, 대기업이 수행하는 중간규모의 연구개발사업보다 품질위험도가 높다고 판단할 수도 있다. 이렇게 연구개발비용에 따라 품질관리 수준이 결정되는 경향은 65%의 사업의 기술적 위험도가 중으로 평가되었기 때문이다. 품질관리수준이 평가되는 기본계획단계에서 기술적 위험도를 판단하기 어렵고 기술적 위험도 평가 기준이 모호하며 평가자의 의견이 반영될 여지가 있다.

또한, 품질관리수준 평가와 연구개발단계에서 정부의 품질관리 활동의 연계성이 부족하다. 품질관리수준 평가가 연구개발사업에 미치는 가장 큰 영향은 QCG 검토 수행 여부이다. QCG 검토는 연구개발단계에서 정부의 대표적인 품질관리 활동으로 볼 수 있는데, 사업의 약 2/3가 LQMⅠ으로 분류되어 QCG 검토를 수행하지 않는다. QCG 검토는 제조성숙도평가(MRA : Manufacturing Readiness Assessment) 기반의 세부항목들을 다수 포함하고 있으며, QCG제도의 발전 방향 또한 MRA와의 연계성을 강화해 나가는 데에 초점을 두고 있다. MRA와의 연계성을 생각한다면 후속양산사업이 예정된 연구개발사업들은 QCG검토를 수행하는 것이 타당하다. 그러나 현재 LQMⅠ 사업 중 73%(19개 사업)가 후속양산이 예정되어 있지만 QCG검토를 수행하지 않는다.

마지막으로, LQMⅡ 사업과 LQMⅢ 사업에서 정부품질관리 활동의 차별성이 부족하다. LQMⅢ 사업에서만 구성되는 QMST는 활동의 정의가 명확하지 않고 그 역할이 모호하여 현재 사업의 담당자가 추가 지정되는 효과밖에 얻지 못하고 있다. QMST 운영 여부를 제외하면 LQMⅡ와 Ⅲ사업은 연구개발 간 QCG검토를 3회 수행하고 주요 기술검토 회의 시 기술지원과 산출물 검토를 수행하는 등 동일한 정부품질관리 업무범위를 갖는다.

품질관리수준 제도 개선방안

앞서 서술한 품질관리수준 평가제도 개선 필요성에 따라, 품질관리수준 평가제도 개선안을 아래의 표 6, 표 7과 같이 제안한다.

LQM 구분기준 수행업무범위
I 국과연주관, 시제전력화 기술지원업무
II 업체주관 양산 + 규정근거 품질관리
III 업체주관 양산 + 추가위탁업무 + 사업계획 상 위탁업무

표 6. 품질관리수준 평가제도 개선안 1안

LQM 구분기준 수행업무범위
I 국과연주관, 시제전력화 기술지원업무
II 업체주관 양산(단일체계), 시제전력화(복합체계) + 규정근거 품질관리
III 업체주관 양산(복합체계) + 규정근거 품질관리
업체주관 양산 / 시제전력화(복합) + 추가위탁업무 + 사업계획 상 위탁업무

표 7. 품질관리수준 평가제도 개선안 2안

표 6의 품질관리수준 평가제도 개선안은 평가 기준은 후속 양산사업의 유무와 연구개발주관기관, 그리고 통합사업관리팀 추가 위탁업무 유무 3개이다. 먼저 국방과학연구소 주관 연구개발사업과 후속양산사업이 없는 연구개발사업을 LQMⅠ으로 평가한다. 이후 후속양산이 있는 연구개발사업들은 기본 LQMⅡ로 평가하고, 체계개발기본계획 작성 시 통합사업관리팀과의 협의를 통해 추가 위탁업무가 발생한 경우 LQMⅢ로 평가한다. 추가 위탁업무의 예시로는 2급 형상통제심의 주관, 시제품 수락검사 등이 있다.

표 7의 품질관리수준 평가제도 개선안 2안은 1안의 평가 기준에서 체계복잡성을 추가하였다. 체계개발 대산 무기체계의 복잡성과 사업의 특수성을 고려할 수 있도록 사업 담당자의 판단이 작용할 수 있는 기준이다. 평가의 유연성을 확보할 수 있는 기준을 추가하여 사업의 특성에 맞는 적합한 품질관리수준 평가를 유도한다. 후속양산은 없지만 체계복잡성이 높은 연구개발사업을 LQMⅡ로 평가하고 후속 양산이 있는 사업 중 체계복잡성이 높은 사업을 LQMⅢ로 평가하여 여 개발단계 정부품질관리 활동의 범위를 넓히고 강화하는 효과가 기대된다.

방안 평가요소 장단점 비교분석
장점 단점
현행
  • 사업비
  • 기술위험
  • 업무량 제어 용이
  • 제도개선 불필요
  • 기술위험도 판단 모호
  • 업무 연계성 약함
개선안 1안
  • 사업유형
  • 위탁범위
  • 양산업무 연계성 강화
  • 평가 기준 단순·명확
  • 시제전력화 품질관리 약화
  • 과다위탁 시, 업무 과중
2안
  • 사업유형
  • 위탁범위
  • 체계 복잡성
  • 시제전력화 품질관리 보완
  • 적정 인시수 산정 용이
  • 과다위탁 시, 업무 과중
  • 복합체계 범위 정의 필요

표 8. 품질관리수준 평가제도 개선안 비교

제안한 각 개선안의 장단점을 표 8에 비교 분석하였다. 개선안 1안의 장점은 사업유형과 위탁업무 유무로 품질관리수준을 평가하므로 명확하고 객관적인 평가가 가능하다. 또한, 후속양산이 있는 연구개발사업에 집중하여 양산품질보증 단계와의 연계성을 높일 수 있다. 그러나 후속양산이 없는 시제전력화사업에 대해서는 기존보다 정부품질관리가 약화될 수 있으며 통합사업관리팀이 업무위탁이 과다할 경우 인력이 부족할 위험이 있다. 개선안 2안의 경우, 체계 복잡성을 평가 기준으로 추가하여 1안보다 사업특성에 맞는 정교한 평가가 가능할 것으로 예상되며, 1안의 단점인 시제전력화사업의 품질관리를 강화할 수 있다는 장점이 있다. 그러나 체계 복잡성 판단의 기준이 모호할 수 있으며 평가자의 주관에 따라 결과가 바뀔 수 있다는 단점이 있다.

결론 및 기대효과

LQM
변경전 사업수(현행기준) 26(63%) 9(22%) 6(14%)
변경후 사업수(1안 기준) 10(24%) 25(60%) 6(14%)

표 9. LQM 평가제도 개선안에 따른 사업수

표 9는 41개 사업에 대해 품질관리수준 평가제도 개선안 1안을 적용하여 평가한 결과이다. LQMⅠ 사업이 기존 63%에서 24%로 감소하였고, LQMⅡ 사업은 기존 22%에서 60%로 증가하였다. LQMⅢ 사업의 수는 동일하다. 개선안 적용 시 정부품질관리 활동의 중심이 후속양산이 있는 업체주관 연구개발사업으로 이동한다. 이를 통해 후속양산사업을 포함한 총수명주기비용 절감이 가장 효과적 품질통제점 검토를 수행하는 사업의 비율이 기존 36%에서 74%로 크게 늘어 제도의 실효성을 확보하고 제조성숙도평가 및 최초양산과의 연계성을 높일 수 있을 것으로 기대된다. 또한, 보다 명확한 기준으로 품질관리수준 평가의 객관성을 확보할 수 있으며, LQMⅡ 사업과 LQMⅢ 사업의 업무의 차별성 또한 확보할 수 있을 것으로 기대된다.

참고문헌
  • 1. 방위사업청, 훈령 제794호 방위사업 품질관리 규정, 2023.3.9.
  • 2. 국방기술품질원, 지침 기획조정팀-1392 무기체계 연구개발단계 품질관리 기술지원 지침, 2021.4.23.