국방품질연구회(DQS)가 전하는 품질 인사이트

DQS 매거진

운용단계 무기체계 SW결함 환류를 위한 SW위험관리맵

2023. 07. 21

글. 엄원용 국방기술품질원 SWIT연구실 선임연구원

IT산업 기술개발에 따라 무기체계에서 소프트웨어(Software, 이하 SW)가 차지하는 비중과 복잡도가 날로 증가하고 있다. 동시에 SW결함으로 무기체계의 운용이 제한되는 사례가 빈번히 발생하고 있다. 그러나 이와 같은 결함이 새로운 무기체계 개발로 환류는 제한적으로 이뤄지고 있고 이에 따라 유사한 SW결함이 반복적으로 발생하고 있다. 이를 해소하기 위해 무기체계 개발단계 참여 인력이 효율적으로 운용단계의 SW결함을 확인할 수 있는 위험관리맵을 제시한다. 이를 위해 운용단계에서 발생한 SW결함을 데이터베이스로 구축하고 부체계 및 개발단계별로 내용을 분석하여 시각화한다. 위험관리맵은 SW비전문가도 SW결함의 영향도를 쉽게 이해할 수 있고, 개발단계별 위험요소를 도출하는데 기여할 것으로 기대된다.

서론

IT산업 기술의 개발로 무기체계에서 SW가 차지하는 중요도와 비중이 증가하고 있다. 이에 따라 SW 결함에 따른 무기체계의 오작동도 증가하는 추세다. 이는 운용중인 무기체계의 SW 기술문서 개정 건수를 통해 확인할 수 있다. 그림1을 통해 2013년부터 2022년까지 SW 기술문서 개정 건수를 확인할 수 있다. 가로축은 연도를 의미하고, 세로축은 연도별 개정 건수를 나타낸다. 그림1의 그래프의 세부내용은 표1을 통해 확인할 수 있다. 2013년 16건에서 2021년 260건, 2022년 329건으로 SW 기술문서 개정이 증가 추세임을 확인할 수 있다. SW 기술문서 개정 건수는 방위사업청의 국방표준종합정보시스템(KDSIS)에서 획득한 데이터다.

SW 기술문서 개정은 형상통제를 통해 이루어진다. 형상통제란 무기체계 개발 시 제한된 기간과 예산 등으로 인해 다양한 운용환경을 반영하지 못하는 설계, 예기치 못한 운용자의 실수 등으로 발생하는 오작동을 정정하기 위한 활동이다. 형상통제는 기술변경, 규격 완화 및 면제 세 종류로 분류한다. 기술변경은 작전 운용성능에 영향을 미치거나 전력화 일정 및 비용 변동이 예상되는 경우 Ⅰ급, 이 외에는 Ⅱ급으로 구분한다.

Year Number of SW document revision
2013 16
2014 76
2015 73
2016 113
2017 65
2018 63
2019 117
2020 206
2021 260
2022 329

표 1. 연도별 SW 기술문서 개정 건수

국방기술품질원(이하 기품원) SW 기술지원부서는 기술변경 시 SW 결함 수정내용의 타당성 검토 등의 기술지원을 수행하고 있다. SW 기술변경은 대부분 양산계약 건별로 이뤄지고 있어, 전체 기술변경 내용에 대한 파악이 제한된다. 이에 기품원 SW 기술지원부서에서는 운용중인 무기체계의 SW 결함에 대해 종합적인 관리를 위해 기술변경 주요 내용을 데이터베이스(Database, DB)로 구축하였다. 또한 구축한 DB를 개발단계에 효과적으로 환류하기 위한 방안으로 SW위험관리맵을 제시 한다.

SW 기술변경 데이터베이스

기품원 SW 기술지원부서는 품질보증부서로부터 검토 요청받은 SW 기술변경의 원인, 조치결과 등을 DB로 구축하였다. DB는 기술변경 제안서에 기술된 내용과 이를 기반으로 SW 기술지원인력이 분석한 내용으로 구성된다. 먼저 기술변경 제안서 내용으로 해당 결함이 발생 된 무기체계 및 부체계명을 식별하고, 해당 결함의 현실태와 제안기관이 분석한 발생 원인 그리고 조치내용을 DB화한다. SW 기술지원인력은 위 내용을 기초로 국방전력발전업무훈령에 따라 무기체계를 구분하며 결함이 발생한 원인을 분류하고 결함이 유입된 시점을 분석한다. 추가로 해당 결함이 무기체계에 미치는 영향도를 분석하여 DB화한다.

결함의 발생 원인은 대분류, 중분류 2단계로 구분하여 분류한다. 대분류는 ‘요구사항 미흡’, ‘설계 미흡’, ‘구현 미흡’, ‘시험 미흡’, ‘규격화자료 오류’ 그리고 ‘기능 개선’ 6종류로 구분하였다. 대분류 별 하위 결함 발생 원인은 표2와 같이 구분하였다. 결함이 유입된 시점은 결함의 발생 원인의 대분류와 연관하여 ‘요구사항 분석단계’, ‘설계 단계’, ‘구현 단계’, ‘시험평가 단계’, ‘규격화 단계’, ‘운용유지 단계’ 6종류로 구분하였다.

결함의 영향도는 결함이 발생했을 때 무기체계에 미치는 영향을 기준으로 ‘H', 'M', 'L' 세 종류로 분류하였다. 영향도 'H'는 제품의 기능 수행 중 해당 결함으로 고장이 발생하여 전체기능이 동작하지 않아 더이상 어떤 기능도 수행할 수 없는 상태로 정의한다. ’M'은 기능이 성공적으로 완료되지 않거나 구현되지 않은 경우 또는 기능이 동작은 하지만 수행 결과가 예상결과와 일치하지 않은 경우로 정의하였다. 마지막으로 'H', 'M' 에 해당하지 않는 사용자인터페이스(User Interface, UI)나 입력 범위 제한 기능 등의 경미한 결함은 'L'로 정의하여 구분하였다. 영향도는 기술변경 제안서에 작성된 결함의 현 상태 등을 참고하여 SW 기술지원인력이 분류한다.

최종적으로 구축한 SW 기술변경 DB는 ①무기체계 분류(대,중,소), ②무기체계명(도번), ③부체계명(도번), ④결함현황, ⑤결함의 발생원인, ⑥개선내용, ⑦결함원인 분류(대,중), ⑧결합유입시점, ⑨결함의영향 으로 구성된다.

대분류 중분류
요구사항 미흡 요구사항 내용 누락
요구사항 미흡
설계 미흡 설계 누락
설계 미흡
설계 오류
구현 미흡 불필요한 코드
데이터처리 미흡
기능 미흡
기능 미구현
단순 오기
시험 미흡 계획 미흡
수행 미흡
결과 및 후속조치 미흡
규격화자료 오류 내용 누락
문서 오기
타문서와 연계 미흡
KDSIS 등재 미흡
기능 개선 상용SW 업데이트
호환성 개선
성능개량사업
개발이후 소요군 추가 요구

표 2. 결함의 발생 원인 분류표

SW 기술변경 DB는 결함이 발생한 원인, 영향도 등을 체계적으로 관리할 수 있는 장점이 있다. 하지만 DB가 방대해질수록 관련 내용 식별이 어려우며 개발단계 시점별 또는 부체계별 위험요소 식별이 제한 된다. 또한 DB내용은 SW 전문용어 위주로 작성되어 있어 비전공자들이 참고하기에는 부적합하다는 한계가 있다.

SW 위험관리맵

SW 위험관리맵 개요

위험지도(Heat Map)는 지역별 위험도를 수치 데이터로 만들고 데이터값을 색상으로 변환하여 지도에 표시하는 방법으로 홍수, 지진 등의 지역별 위험요소를 쉽게 파악하기 위한 용도로 사용한다. 이를 응용하면 SW 기술변경 DB의 내용을 효과적으로 시각화할 수 있을 것으로 판단하여 SW 위험관리맵을 개발하였다.

SW 위험관리맵은 각 무기체계와 관련된 SW 결함들을 쉽게 확인할 수 있도록 기술변경 DB 내용을 정리하여 시각화한 자료로 정의한다. 무기체계의 전체형상과 위험지도와 같이 부체계 및 개발단계별 위험점수를 시각화하여 제시하며, 각 부체계를 선택할 경우 기술변경 DB의 세부내용을 보여주도록 구성한다. 무기체계별로 SW 위험관리맵을 제작 후 유사무기 체계개발 시점에 활용하면 사업관리자 및 기술지원인력 등에게 SW 기술변경 DB 내용을 효과적으로 환류할 수 있을 것이다. 이를 통해 유사한 SW 결함을 예방할 수 있을 것으로 기대된다.

SW 위험관리맵 구성

그림2는 전차체계를 예를 들어 구성한 SW 위험관리맵의 개념도이다. AAA부터 EEE까지 5가지의 부체계로 구성되었으며 AAA 부체계를 선택한 상황으로 가정하였다.

그림 2. AAA부체계가 선택되었을 때를 가정한 전차 체계의 SW 위험관리맵 개념도

화면의 좌상단에는 체계 전체형상과 개략적인 부체계의 구성을 전시한다. 우상단에는 SW 결함 DB의 내용을 이용하여 계산한 부체계 및 개발단계별 위험점수를 시각화하여 보여준다. 위험점수가 가장 높은 부분을 제일 진하게 표시한다. 예시 개념도의 경우 AAA부체계의 구현단계의 위험도가 가장 높다고 판단할 수 있다.

화면 좌하단에는 선택된 부체계의 형상을 전시한다. 우하단에는 선택된 부체계의 SW 기술변경 DB내용을 전시하여 필요한 경우 세부내용을 파악할 수 있도록 한다. 기술변경 연도, 도면번호, 제조사, SW결함의 원인, 유입시점 등 DB 구성의 내용을 모두 확인할 수 있다.

위험점수

SW 위험관리맵 제작을 위해 가장 중요한 것은 부체계 및 개발단계별 위험점수를 계산하고 이를 시각화하는 것이다. 이를 위해 부체계의 결함 유입시점 별 위험도를 정량화해야 한다. 정량화된 위험도를 위험점수라 정의한다. 위험점수는 결함이 많이 발생한 개발단계의 부체계가 높다고 판단할 수 있다. 또한 SW 기술변경 DB중 결함의 영향이 높을수록 위험도가 높다고 판단할 수 있다. 이 두 가지 요인을 이용하여 다음과 같은 방법으로 위험점수를 계산한다. ①영향도에 따라 SW 기술변경 DB 항목별 점수를 할당한다. 이때 영향도 ‘H'는 3점, 'M'은 2점, 마지막으로 ’L'은 1점으로 하였다. ②할당된 점수를 부체계 및 개발단계별 발생빈도로 합산한다. ③합산값 중 최대값을 이용하여 정규화한다.

그림3은 A, B 두 개의 부체계로 구성된 무기체계의 예로, SW 결함 유입시점 및 결함의 영향도가 (a)와 같다면 결함별 할당점수는 (b)와 같다. 이를 부체계 및 개발단계별 위험도 합산점수는 (c)와 같으며 최종적인 위험점수는 (d)와 같이 계산될 것이다.

SW 위험관리맵에는 위의 방법으로 계산한 위험점수에 따라 명도를 다르게 하여 표현한다. 위험점수가 가장 높은 1.0을 가장 높은 명도로 표현하고 가장 낮은 0을 가장 낮은 명도로 표현하면 위험점수를 색상을 통해 한눈에 확인할 수 있다.

그림 3. 위험점수 계산 예시

위험점수 측정 결과

SW 기술변경 DB 내용을 이용하여 일부 무기체계의 SW 위험점수를 시각화하였다. 사용된 DB는 2017년부터 2022년까지 SW 기술변경 2,540건으로 구성되었다.

그림4는 30㎜ 대공포의 결과이다. 2022년까지 기술변경이 발생한 부체계는 15종이며 발생한 SW 기술변경 건수는 212건이었다. 전체적으로 구현단계에서 SW 결함이 많이 유입된 것을 확인 할 수 있고, “시험세트,전자계통용(운용제어장치정비장비)”와 “추적장치,전자광학식”에 위험요소가 많다는 것을 알 수 있다.

그림 4. 30㎜대공포 SW 위험지수 시각화 결과

그림5는 항공관제레이더의 결과다. SW 기술변경 건수는 54건으로 5종의 부체계에서 발생했다. 항공관제레이더 역시 구현단계에서 SW 결함이 대다수 유입된 것을 확인할 수 있다. 특히 “처리부”와 “정비사콘솔”의 구현단계에 많은 위험요소가 있음을 알 수 있다.

그림 5. 항공관제레이더 SW 위험지수 시각화 결과

결론

운용단계 중 발생한 SW 기술변경을 개발단계등으로 환류하기 위한 SW 위험관리맵을 제시하였다. 이를 위해 SW 기술변경 제안내용을 분석하여 DB로 구축하였고 이를 이용해 부체계 및 개발단계 별 위험지수를 측정하여 시각화하여 관련 전문지식이 없어도 손쉽게 무기체계의 위험요소를 식별할 수 있도록 하였다. 이를 통해 신규 무기체계 개발 시 운용 간 식별된 결함과 유사한 결함을 예방할 수 있을 것이다.

향후 발전 방안으로 인공지능을 이용하여 SW 기술변경 제안내용을 분석하여 DB 구축을 위한 인력 및 비용을 절감하고 자 한다. 또한 무기체계 개발비용을 반영하여 결함 예방에 따른 경제효과를 계산하는 기능추가를 계획 중이다.

참고문헌
  • 1. A. Jadhav, R. Sonar, "Analytic Hierarchy Process (AHP), Weighted Scoring Method (WSM), and Hybrid Knowledge Based System (HKBS) for Software Selection: A Comparative Study," Second International Conference on Emerging Trends in Engineering and Technology, Nagpur, India, pp. 991-997, 2009.
  • 2. J. W. Oh, J. K. Kim, J. Yu, J. H. Yun, C. H. Song, "Research on DB Construction and Utilization Measure to Analyze the Cause of Weapon System Software Engineering Change and Derive Improvement Plan", Journal of the Korea Academy-Industrial cooperation Society, 22(4), pp. 331-337, 2021.
  • 3. J. W. Oh, J. H. Yun, J. K. Kim, J. Yu, "Research on the Strengthen Quality Management in the Development Stage of the Analysis of the Causes of Software Engineering Change - Focused on Land Weapon System Source Code Through", Journal of the Korea Academia-Industrial cooperation Society, 23(7) pp. 265-271, 2022.
  • 4. W. Eom, J. Oh, .J. Yun, J. Kim, "A Study of Efficient Feedback Method for Weapon Systems Software Defection", Journal of Korea Academia-Industrial cooperation Society, 24(3), pp.159-165, 2023