전투력 극대화를 위한 숨겨진 열쇠, HSI를 말하다#4

들어가기에 앞서

HRL(Human Readiness Level)은 시스템 획득 과정에서 인간이 시스템 내에서 안전하고 효과적으로 작동할 수 있는지를 평가하고 추적하기 위해 9단계로 구성된 척도이다. 본 기고에서 다루는 HRL은 아직 국내에서 통일된 공식 국문 용어가 정립되어 있지 않다. 기술성숙도(TRL, Technology Readiness Level) 및 제조성숙도(MRL, Manufacturing Readiness Level)와 같이 ‘인간성숙도’ 또는 내포하는 의미를 기반으로 ‘인간 요소 준비도’, ‘운용자 통합성 평가’ 등으로 번역될 수 있으나 제도적 도입과 실무 활용이 본격화되기 전까지는 불필요한 혼란을 줄이기 위해 원어 약칭인 HRL을 그대로 사용하고자 한다.

HRL의 등장

미 국방부는 회계감사원(GAO)의 권고에 따라 1999년 기술성숙도 수준(TRL) 9단계 척도를 채택하였으며, 이를 통해 신기술을 시스템에 적용하기 전에 높은 성숙도를 입증하는 것이 사업 성공 가능성을 높인다는 결론을 도출하였다. 이러한 사업 성공에도 불구하고, 운영과정에서 발생되는 대부분의 시스템 문제는 기술 자체보다는 인간과 관련된 요인에서 기인하는 경우가 많은 것이 현실이다. 이는 원자력 발전소 사고의 최대 45%, 항공기 사고의 60%, NASA 사고의 80%가 시스템의 불완전이 아닌 인간 요인으로부터 발생한 사실에서 확인할 수 있다. 이러한 관점에서 TRL이 아무리 높다고 하더라도, 운용자나 유지관리자가 해당 시스템의 기술을 효과적으로 사용하거나 관리할 수 있는 준비가 되어있지 않다면, 해당 체계의 운영 측면에서 준비도는 기대와 달리 훨씬 낮을 수 있다는 문제의식이 제기되었다. 이러한 배경에서, 인간 중심의 통합관점에서 체계 성숙도를 평가할 수 있는 HRL이 등장하게 되었다.

“기술이 의도한 대로 작동하는가(TRL)” vs. “인간이 의도한 대로 기술을 사용할 수 있는가(HRL)?”

2010년 Hector Acosta 박사는 기술성숙도 평가 시 인적요소의 고려를 장려하기 위해 처음 HRL(Human Systems Integration) 개념을 제안하였고, 2014년 미 해군의 O’Neil이 HSI 상태 평가를 위해 TRL과 거의 동일한 방식의 CHIEF(Combined Human Input Evaluation Framework) 모델을 제시하였다. 또한 2013년부터 미 공군의 Mica Endsley 박사가 HRL의 중요성을 주장했고, 2015년 Phillips를 포함한 미 국방부 HSI 워킹그룹(HSI Working Group)에 의해 HRL 개념이 더 구체적으로 정의되고 설명되었다. 이후 2020년에는 HRL 표준 제정을 위한 공식 위원회가 구성되었고, 이를 기반으로 2021년 ANSI/HFES 400-2021, "Human Readiness Level Scale in the System Development Process"가 제정되어 HRL 개념이 표준화되었다.

HRL 척도 정의

HRL은 TRL과 마찬가지로 인간이 사용할 수 있는 시스템의 준비상태를 단일 숫자로 표현할 수 있다. 그러나 TRL과 HRL 등급은 주요 의사 결정 시점(마일스톤)에서 동시에 보고하게 되어있지만, 각 등급은 독립적이라는 점에 유의해야 한다. 총수명주기 관점에서 각 단계에서 등급별 정의를 표 1에 나타내었다. HRL 1~3단계는 기초연구 및 개발, HRL 4~6단계는 기술 시연, 그리고 HRL 7~9단계는 양산 및 배치/운영에 속한다. 다음 등급으로 진입하기 위해서는 자격을 갖춘 전문가가 인적 성과에 관한 판단을 수행하고, 이를 통해 사용자가 준비되지 않은 기술이 현장에 배치될 위험을 줄이게 된다.

헬멧 장착형 디스플레이 사례를 통한 HRL 척도 이해

HRL에 대한 이해를 돕기 위해, 샌디아 국립연구소(2021)에서 HRL 설명을 위해 작성한 헬멧 장착형 디스플레이(HMD, Helmet Mounted Display) 사례 보고서를 통해 추가적인 설명을 하고자 한다.

HRL 1
개발의 추진에 앞서 인간 중심의 설계를 위한 기본 원칙, 특성, 성능 및 행동을 관찰하는 단계이다. 새로 개발될 HMD로 인한 착용감 저하나 과도한 무게 증가, 디스플레이 해상도 부족으로 인한 시각적 피로감 등 인적요인 측면에서 발생할 수 있는 잠재적 문제와 위험을 식별하고 이를 중점 연구 분야로 선정한다.

HRL 2
인간중심 설계에 대한 가이드라인이 정의되는 단계이다. 대표적으로 HMD의 설계를 위해 적용해야하는 신체적 특징의 가이드라인을 적용하게 되는데, 그 예로서 머리 치수(크기)의 5번째에서 95번째 백분위 수(percentile)에 대한 수용여부 등이 결정된다.

HRL 3
인간중심의 설계 요구사항을 수립(작성)하는 단계이다. 인간의 조작을 효율적으로 지원하고 운영의 효과성 극대화를 위해 HMD의 이미지 품질에 대한 기능적 요구사항이 결정된다.

HRL 4
실질적인 연구개발의 도입단계로서, 모델링, 파트-과업(Part-Task)으로 시험 및 HSI 도메인에 대한 트레이드 오프 연구가 진행된다. 이를 위해 요구조건 중 하나였던, 이미지에 품질을 기존 시스템과 비교하여 실험실 환경에서 평가하고, 그 결과를 정량적인 데이터 형태로 수집한다.

HRL 5
임무 수행간 운영 환경을 고려한 시뮬레이터를 프로토타입으로 제작하여 요구성능의 반영여부를 실험을 하는 단계이다. 따라서 고정형 시뮬레이터에서 HMD의 디스플레이를 착용하고, 사용자의 정신적 업무 부하 및 만족도와 같은 인적성능 지표를 평가하게 된다.

HRL 6
인간-시스템의 설계가 완전히 성숙된 단계로서, HRL 5와 달리 모션 비행 시뮬레이터를 활용하여 진동 등의 영향까지 고려된 상태에서 HMD의 이미지 품질 및 화면 떨림과 현상을 객관적인 지표와 함께, 인간-시스템의 통합 체계로서의 성능 요구조건에 대한 만족도를 평가하게 된다.

HRL 7
시스템(하드웨어- 소프트웨어)이 완성된 단계에서 대표 사용자가 통제된 운영 환경에서 시험하는 단계이다. 실제 환경에서 정해진 시나리오에 따라 대표 사용자가 HMD를 착용한 상태에서 임무(활동)를 수행하면서 다양한 데이터를 수집하게 된다.

HRL 8
개발된 시스템(하드웨어- 소프트웨어)에 대한 최종적인 테스트 단계로서, 설계 결과에 대해 검증하고 승인하는 단계이다. 이를 위해 개발된 제품이 인적 성능의 요구조건을 충족하는지 DT&E 동안 지표로써 평가한다.

HRL 9
운영 환경에 배치되어 사용하는 단계이다. 야전 배치 후 전문가들이 HMD 문제를 지속적으로 해결하기 위해 인간 중심의 평가를 계속해서 수행한다.

HRL과 TRL 불일치로 인한 위험 평가

이상적으로는 설계 및 개발 활동에서 TRL과 HRL 수준이 일치되도록 하는 것이 유리하다. 만약 TRL과 HRL 등급이 일치하지 않으면 개발단계와 불일치 정도에 따라 다양한 수준의 프로그램 위험이 발생할 수 있다. 일반적으로 특정 프로그램에 대한 인적 시스템 작업은 기술 성숙에 초점을 맞춘 기술 작업과 함께 수행되어야 한다. 프로그램 성공과 관련된 위험과 시스템의 사용자에 대한 위험을 최소화하려면 TRL과 HRL 척도 간의 1:1 매핑(그림 2)에서 볼 수 있듯이 HRL 척도를 통한 진행 상황이 TRL 척도를 통한 진행 상황과 밀접하게 반영되어야 한다.

그러나 실제로는 (1) HRL 등급이 TRL 등급 보다 뒤처지거나, (2) TRL 등급이 HRL 등급보다 뒤처지는 경우가 발생할 수 있다. 이때 전자의 경우 추후 변경에 많은 비용이 발생하거나 기술적 제약 등으로 인적 요구사항을 적절히 해결할 수 없게 된다. 반면 후자의 경우에는 인적요소가 이미 반영되어 있다는 의미가 되므로, 프로그램 종료 후의 인간중심의 설계 미흡에 따른 위험성은 존재하지 않을 수 있다(이미 고려가 되어 있다는 의미가 될 수 있음).

HRL 프레임워크의 적용사례

수명주기단계에서 운영 또는 관리 미숙 등으로 고장이 발생할 경우 심각한 결과를 초래할 수 있으므로 인적요소를 시스템과 통합하여 고려하는 것은 기술적인 위험을 완화하고 비용을 최소화하며 시스템의 성능과 안전을 최적화하는 데 매우 중요한 역할을 한다. 이를 위해 HFES/ANSI 400 표준에서 HRL의 개념이 도입되고 있는데, 그림 3은 HRL에 있어서 HSI에 대한 이론적인 프레임워크를 도식화한 것이다.

그림 3에서 보면 HSI의 입력은 도면, 시뮬레이션 또는 물리적 표현과 같이 지정된 HRL 내에서 평가대상의 기술적 상태를 포함하게 되는데, 프레임워크의 핵심은 입력을 기반으로 프로세스를 실행하면 관련한 HSI 산출물이 출력된다는 것이다. 이때 산출물은 주로 인적요소에 대한 평가결과와 권장사항으로 구성되는데, 여기에서는 워크로드 평가, 사용성^* 테스트, 인간-시스템 성능 테스트가 포함된다. 그림 4는 이에 관한 구체적인 사례를 나타낸 것으로, 설문지 설계, 배포 및 수집, 후속 데이터 분석의 주요한 단계가 포함된다. 이때 인간-시스템 성능 테스트와 개인차 분석이라는 두 가지 HSI 프로세스가 진행되며, 여기에는 실험설계, 평가방법론 개발, 통계 분석의 필수 단계로부터 요구사항에 대한 전문가의 분석과 모델 검증이 진행되는 것을 알 수 있다.

그림 4를 좀 더 자세히 보면, HRL 4는 정적 작업의 테스트로써 개발단계 초기에 전문가 검토 및 사용자 경험 조사를 통해 요구사항 분석과 사용성 테스트가 진행된다. 그리고 인적 요소에 대한 테스트와 인터뷰, 통계 분석 등을 통해 인간-시스템 통합에 대한 검토가 진행된다. HRL 5에서는 프로토 타입을 테스트 하는 것으로 인간-시스템 성능, 업무량, 개인차, 사용성 등에 대한 테스트가 진행되며, 4단계의 결과를 바탕으로 주관적인 워크로드 결과를 도출하게 된다. 그리고 여러 직무나 작업에 대한 협업 과정을 통해 실제로 구현되는 현장에서의 검증이 수행된다. 그리고 연구개발의 마지막 단계라 할 수 있는 HRL 6에서는 성숙된 인터페이스(시뮬레이터)에서 운영 테스트가 수행된다. 이를 위해 사용성 테스트와 함께 표준 척도(예 : NASA-TLX(Task Load Index))를 이용한 평가를 통해 기능을 최적화할 수 있는 운영 권장 사항이 도출된다.

맺음말

민간은 물론 국방분야에서 인적 요인을 고려하지 않아 발생하는 사고가 여전히 반복되고 있다. 이는 설계단계에서 우발 상황에 대한 운용자의 대처 능력을 충분히 반영하지 못했거나, 운용자의 특성을 고려한 설계 기준이 미흡했을 수도 있고, 조작 실수나 관리 소홀, 교육훈련 부족 등 운용 과정에서의 문제가 원인일 수 있다. 어떠한 원인이더라도 이는 곧 체계의 안전성과 운용성 저하로 연결된다.

이러한 문제를 구조적으로 해결하기 위해서는 HSI(Human Systems Integration)의 제도적 도입이 필요하다. HSI는 단순한 편의성 확보를 넘어서 작전 수행 능력 향상, 인적 자원 감소에 따른 운용유지 비용 절감, 시스템 안전성 확보를 동시에 달성할 수 있는 전략이다. 하지만 현장에서는 HSI의 필요성만으로 업무 적용이 어렵다. 적용 범위나 수준을 정량적으로 판단할 기준이 없기 때문이다. 이 부분을 보완할 수 있는 개념이 바로 HRL(Human Readiness Level)이다. HRL은 개발 단계별로 인적 요소의 준비 수준을 평가하고, 다음 단계로의 진입 가능 여부를 판단할 수 있도록 설계된 도구이다. 기술성숙도(TRA)나 제조성숙도(MRA)와 동일한 구조를 갖추고 있어 군수품 획득 절차에 통합 적용이 가능하다.

다만, HRL이 표준화된 지는 오래되지 않아, 현재까지 적용 사례는 제한적일 수 밖에 없다. 그러나 약 15년간의 연구와 논의를 거쳐 개발된 개념으로, 군수품 개발에 있어 충분히 활용 가능한 평가 기준으로 자리잡을 수 있다. 이를 위해 감항인증, 시스템안전, 신뢰성 분야에서 평가업무를 수행하는 국방기술품질원이 중심이되어 HRL 기반의 HSI 연구를 추진하는 것은 매우 타당해 보인다.

NASA는 TRL을 개발하고 제도화하는데 22년(1969~1991년)이 걸렸고, 미 국방부 역시 이를 체계적으로 채택하기까지 8년(1999년)을 더 소요했다. 한국 방위사업청도 2012년에서야 TRA 업무지침을 마련해 기반을 정비한 바 있다. 이처럼 HRL 역시 개발과 제도화에 오랜 시간이 필요한 만큼, 지금부터 준비를 시작해야 실제 적용이 가능한 시점에 즉시 활용할 수 있다.

HSI는 더 이상 선택사항이 아니다. 국방 획득 체계를 인간 중심으로 전환하고, 체계의 안전성과 운용성을 높이며, 비용 절감까지 실현할 수 있는 필수 전략이다. 따라서 지금이야말로 HRL을 중심으로 한 HSI 정착 전략을 수립하고, 관련 연구를 본격적으로 추진해야할 시점이다.