KR102045569B1

KR102045569B1 - 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법

Info

Publication number: KR102045569B1
Application number: KR1020180066212A
Authority: KR
Inventors: 이성환; 이석민; 김정우
Original assignee: 고려대학교 산학협력단
Priority date: 2017-06-08
Filing date: 2018-06-08
Publication date: 2019-12-02
Also published as: KR20180134310A

Abstract

본 발명의 일 측면에 따른 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법은 조종사의 상태 정보에 기반하여 조종 대상체의 조정에 필요한 임무 수행 능력을 평가하는 조종사 상태의 통합 감시 제어 장치에 의해 수행되는 조종사의 임무 수행 능력 유도 방법에 있어서, 상기 조종 대상체의 제어 장치와 연계하여 주변 환경 정보를 측정하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 측정하는 신호 측정 단계; 상기 주변 환경 정보를 조종사의 상태 평가를 위한 각성 상태 평가 모델에 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하는 정보 산출 단계; 및 상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따라 각성 유도 피드백 신호를 제공하는 각성 상태 평가 및 피드백 제공 단계를 포함하는 것이다.

Description

조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법{APPRATUS FOR CONTROLLING INTEGRATED SUPERVISORY OF PILOTS STATUS AND METHOD FOR GUIDING TASK PERFORMANCE ABILITY OF PILOTS USING THE SAME}

본 발명은 조종사의 생체 신호에 영향을 미치는 주변 환경 정보를 반영하여 조종사의 각성 상태를 모니터링 함으로써 지속적인 조종 임무 수행 가능성을 예측하여 조종사의 각성 상태를 유지하도록 하는 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법에 관한 것이다.

최근, 유인/무인 항공기의 기술이 발전함에 따라 조종사 역할의 중요성이 증대되고 있지만, 항공기 조종사들은 3D 공간 회전 등의 임무 복잡성, 장시간 비행으로 인한 임무 지속 시간 증가, 외부 환경에서 발생하는 강한 소음 및 진동 등으로 인해 피로도가 증가하고, 주의력이 저하되어 주된 임무인 비행에 집중하기 어려운 환경에 자주 노출되고 있다.

현재 무인 항공기 시장은 급속도로 성장하고 있지만, 사고율이 유인 항공기기에 비해 10~100배 이상의 높은 수치를 보이고 있고, 사고 원인의 38% 정도는 인적 요인에 의해 발생한다고 알려져 있다.

조종사의 인지 상태 변화에 따른 유인/무인 항공기의 사고를 예방하기 위해 조종사의 신체 및 정신 상태에 대한 객관적 평가의 필요성이 증대되고 있다. 따라서, 유인/무인 항공기 조종사 및 운용자의 안전한 임무 수행과 사고 예방을 위해 객관적으로 조종사의 각성 상태를 평가할 수 있는 방법이 필요하다.

종래에는 조종사의 주관적 판단 및 자기보고식 설문을 통해 조종사의 각성 상태를 평가하였는데, 이는 개인차로 인해 객관적 지표로 사용하기에 신뢰도가 낮으며, 조종사의 정확한 각성 상태 파악이 어렵다는 문제점이 있다. 또한, 조종사 상태에 따라 비행 시작 여부 및 운전 중단을 결정하는 것은 매우 중요하다. 그러나, 공군의 경우에 군사 분야의 특성상 개인의 주관적인 판단에 따라 비행 취소를 결정하는 것이 어렵고, 그로 인해 민용 항공기에 비해 사고 발생 가능성이 높을 수 밖에 없다는 문제점이 있다.

한편, 종래에는 객관적인 생화학 검사 방법을 사용하여 조종사의 각성 상태를 평가하는 방법이 제시되었다. 그러나, 혈청, 소변, 아드레날린, 코티졸 등을 이용한 생화학적 검사 방법은 조종사의 주의를 분산시키며, 비행 중에 조종사 상태의 실시간 감시가 불가능하다는 문제점이 있다.

이러한 문제점들을 해결하기 위해 다중 생체 신호를 이용한 조종사의 각성 상태를 평가하는 기술로서, 대한민국 등록특허 제10-1663922호(조종사 상태 모니터링 시스템) 및 대한민국 공개특허제10-2017-0000630호(조종사 생체 정보에 따른 임무 조정을 위한 항공 시스템)은 뇌파, 호흡, 맥박, 피부 전기활동, 심전도 등의 조종사의 생체 신호를 이용하여 비행중 각성 상태를 감지할 수 있는 기술을 개시하고 있다.

그러나, 종래의 다중 생체 신호를 이용한 조종사의 각성 상패를 평가하는 기술은 부주의한 인지 상태에 대해 주변 환경 요소를 고려하지 않고 있어 실제 비행 환경에 적용하기 어렵다는 문제점이 있다. 즉, 실제 비행 환경에서는 안개나 눈 등의 기상 악화 또는 높은 고도로 인해 평상시와 다른 패턴의 생체신호가 발생할 가능성이 높기 때문에 기존의 학습된 모델을 이용하여 조종사의 각성 상태를 감지할 경우, 실제 비행 환경 변화가 반영되지 않아 조종사의 상태를 정확히 인지하기 어렵게 된다.

또한, 종래의 다중 생체 신호를 이용한 조종사의 각성 상태를 평가하는 기술은 다중 생체신호들간의 상관 관계를 고려하지 않고, 각 생체신호를 독립적으로 분석하여 조종사의 각성 상태를 분석하고 있어 정확한 조종사의 상태를 파악하는데 한계가 있다.

대형 항공기의 경우, 조종사 상태에 따라 대형 사고가 유발될 수 있어 조종사 상태를 정확히 파악하여 사고를 미연에 방지하는 것이 매우 중요하다. 따라서, 조종사의 컨디션 및 정신 상태가 비행 임무 수행이 가능한 상황인지를 초기에 판단하고, 이를 지속적으로 감시할 수 있는 장치가 필요하다.

대한민국 등록특허 제10-1663922호(조종사 상태 모니터링 시스템)

대한민국 공개특허제10-2017-0000630호(조종사 생체 정보에 따른 임무 조정을 위한 항공 시스템)

본 발명의 일 실시예는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 하는 조종사의 다양한 생체 신호를 이용하여 각성 상태를 평가하는 각성 상태 평가 모델에 주변 환경 정보를 실시간 반영하여 조종사의 각성 상태에 따른 임무 수행 능력을 예측하고, 감각자극을 통해 조종사가 각성 상태를 유지할 수 있도록 하는 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 조종사의 임무 수행 능력 유도 방법은, 조종사의 상태 정보에 기반하여 조종 대상체의 조정에 필요한 임무 수행 능력을 평가하는 조종사 상태의 통합 감시 제어 장치에 의해 수행되는 조종사의 임무 수행 능력 유도 방법에 있어서, 상기 조종 대상체의 제어 장치와 연계하여 주변 환경 정보를 측정하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 측정하는 신호 측정 단계; 상기 주변 환경 정보를 조종사의 상태 평가를 위한 각성 상태 평가 모델에 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하는 정보 산출 단계; 및 상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따라 각성 유도 피드백 신호를 제공하는 각성 상태 평가 및 피드백 제공 단계를 포함하는 것이다.

본 발명의 다른 측면에 따른 조종사 상태의 통합 감시 제어 장치는, 조종사의 상태 정보에 기반하여 조종 대상체의 조정에 필요한 임무 수행 능력을 평가 및 유도하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 조종 대상체의 제어 장치와 연계하여 주변 환경 정보를 수집하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집한 후 조종사의 상태 평가를 위한 각성 상태 평가 모델에 상기 주변 환경 정보를 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하며, 상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따른 각성 유도 피드백 신호를 제공하는 것이다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 주변 환경 정보를 실시간 반영하고 다중 생체 신호 사이의 상관관계를 고려하여 조종사의 각성 상태를 분석함으로써 객관적으로 조종사의 각성 상태를 평가할 수 있고, 임무 수행 능력을 정량적으로 예측할 수 있어 현재 조종사 각성 상태에 적합한 피드백을 제공할 수 있다.

또한, 본 발명은 조종사의 임무 투입 가능성 여부 및 지속적인 임무 수행이 가능성을 정량적으로 예측할 수 있고, 조종사의 각성 상태 수준에 따라 강도와 세기에 변화를 주면서 각성 유도에 필요한 피드백을 제공하여 사고를 미연에 방지할 수 있으며, 효율적인 조종대상체의 운용에 기여할 수 있다.

도 1은 본 발명의 일 실시예에 따른 조종사 상태의 통합 감시 제어 장치를 설명하는 블록도이다.
도 2는 도 1의 일부 구성요소인 프로세서를 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 조종사의 임무 수행 능력 유도 방법을 설명하는 순서도이다.
도 4는 도 3에 의해 조종사 각성 상태의 평가 및 유도를 위한 전체적인 흐름을 설명하는 도면이다.
도 5는 도 3의 정준 상관 관계 분석을 통한 변량 생성 과정을 설명하는 그래프이다.
도 6은 본 발명의 정준상관관계 분석을 통한 다중 생체신호 특징 융합 과정을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 각성 상태 평가 모델을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 조종사의 각성 상태 유도를 위한 뉴로 피드백 흐름을 설명하는 도면이다.
도 9는 헤드 마운트 디스플레이 장치의 가상 환경을 이용한 조종사의 각성 상태 평가 시나리오를 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 ‘부(部)’ 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.

도 1은 본 발명의 일 실시예에 따른 조종사 상태의 통합 감시 제어 장치를 설명하는 블록도이다.

도 1을 참고하면, 조종사 상태의 통합 감시 제어 장치(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스 (140)를 포함한다.

통신 모듈(110)은 통신망과 연동하여 사용자 단말에 통신 인터페이스를 제공하는데, 사용자 단말로부터 전송되는 데이터 요청을 수신하고, 이에 대한 응답으로서 사용자 단말에 데이터를 송신하는 역할을 수행할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(120)는 조종사의 임무 수행 능력 유도 방법을 수행하기 위한 프로그램이 기록된다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(130)는 조종사의 임무 수행 능력 유도 방법을 제공하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 2 및 도 3을 참조하여 후술하기로 한다.

여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2 는 도 1의 일부 구성요소인 프로세서를 설명하는 블록도이다.

도 2를 참고하면, 프로세서(130)는 주변 환경 정부 수집부(131), 생체신호 수집부(132), 특징정보 추출부(133), 신호 융합부(134), 각성 상태 평가부(135) 및 피드백 제어부(136)를 포함한다.

주변 환경 정보 수집부(131)는 조종 대상체의 제어 장치(200)와 연계하여 광량정보, 비행 정보, 소음 정보 등의 주변 환경 정보를 수집한다. 주변 환경 정보 수집부(131)는 조종 대상체에 설치된 광량 센서, 속도 센서, 소음센서 등의 센서들을 이용하여 주변 환경 정보가 측정되면, 조종 대상체의 제어 장치(200)와 연계하여 센서에서 측정된 주변 환경 정보를 입력받게 된다.

생체신호 수집부(132)는 조종사에 장착되는 센서 장치(300)를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집한다.

센서 장치(300)는 10-20 국제 전극 배치 방법에 따라 Cz, c3, c4, Oz, 03, 04 등의 채널에서 뇌파 신호를 추출하는 뇌파 측정용 마이크로 칩이 내장된 헤드셋이나 헤드 밴드 등의 비침습적 센서, 심박수, 혈압, 맥박, 호흡 등을 측정하는 웨어러블 장치인 스마트 밴드, 조종사의 안구 둘레에 안구와 수평 또는 수직 방향이 되도록 부착되어 눈의 깜빡임 또는 안구 움직임 성분을 측정하는 복수 개의 센서 등을 포함한다.

뇌파 신호는 시냅스의 전기적 활동에 따른 전기적 신호를 의미하는 것으로서, 뇌파의 주파수에 따른 대역별 특성, 시간 영역에서의 특성 등은 사용자가 어떤 의도 및 상태인지에 따라 변화하게 된다. 뇌파 신호는 주파수와 전압에 따라 델타파, 쎄타파, 알파파, 베타파, 감마파 등으로 나누어지고, 각 신호 범위에 따라 사용자의 상태 정보를 나타낸다. 예를 들어, 사람의 정신적 인지 인지 상태를 측정할 경우, 델타파, 쎄타파, 알파파, 감마파가 포함된 1~30Hz로 대역폭 필터링을 적용한다.

안구 움직임 신호는 안구 운동시 안구 주변 근육의 전기적 활동에 의해 발생되는 신호로서, 안구 둘레에 복수 개의 센서를 부착시켜 측정하고, 몸이나 머리의 움직임 등으로 인해 유발되는 신호의 잡음을 제거하기 위해 0.5~10Hz의 대역폭 필터링을 적용한다. 잡음이 제거된 안구 움직임 신호는 피로도에 따른 조종사의 눈 깜빡임 정도를 측정할 수 있도록 한다.

특징정보 추출부(133)는 복수의 생체 신호들 사이의 높은 상호 정보량을 가지는 변수를 선택하여 각 생체신호 별로 조종사 각성 상태와 관련이 높은 특징 정보를 추출한다.

신호 융합부(134)는 추출된 개별 특징 정보들을 다중 생체 신호들 사이의 상관 관계를 고려하여 결합한 융합 특징 정보를 산출한다.

각성 상태 평가부(135)는 주변 환경 정보를 실시간 반영하여 주변 환경에 강인한 분류기를 통해 조종사의 각성 상태를 분류한다.

피드백 제어부(136)는 평가된 조종사의 각성 상태 수준에 따라 적합한 피드백을 제공하여 조종사가 지속적으로 최적의 각성 상태를 유지할 수 있도록 한다. 예를 들어, 피로도가 높은 조종사의 집중도를 향상시키기 위해 SSVEP(Steady State Visually Evoked Potential) 등의 각성 뇌파 유도 자극을 제시한다. 또한, 피드백 제어부(136)는 현재 조종사의 각성 상태에 대한 뇌파 활성화를 시각화하여 조종사 스스로 각성 상태를 유도하는 뉴로 피드백 시스템을 포함한 감각자극 출력 장치(400)를 통해 조종사의 각성 상태를 유도할 수 있다.

감각자극 출력 장치(400)는 감각 유도 피드백 신호 가 입력되면 화면에 뇌파 활성화 정도에 따라 색상에 변화를 줄 수 있는 헤드 마운트 디스플레이, 헤드 업 마운트 장치, 조종 대상체의 계기판 등을 이용한 시각적인 출력장치, 감각 유도 피드백 신호 가 입력되면 조종사의 각성 상태 수준에 따라 소리의 세기를 변화시키는 헤드폰이나 조종 대상체의 스피커 등의 청각적인 출력장치, 감각 유도 피드백 신호 가 입력되면 조종사의 각성 상태 수준에 따라 진동의 세기를 변화시키는 스마트 밴드 나 조종대상체의 의자 등이 촉각적인 출력장치를 포함한다.

한편, 데이터베이스(140)에는 수집된 주변 환경 정보, 생체 신호들, 조종사의 각성 상태 평가 결과 등이 저장된다.

도 3은 본 발명의 일 실시예에 따른 조종사의 임무 수행 능력 유도 방법을 설명하는 순서도이고, 도 4는 도 3에 의해 조종사 각성 상태의 평가 및 유도를 위한 전체적인 흐름을 설명하는 도면이며, 도 5는 도 3의 정준 상관 관계 분석을 통한 변량 생성 과정을 설명하는 그래프이다.

도 3및 도 4를 참고하면, 조종사의 임무 수행 능력 유도 방법은, 조종사의 신체에 부착된 센서 장치(300)를 통해 뇌파, 안구 움직임, 피부 전기활동, 호흡 등의 다양한 생체 신호를 수집한다(S310).

프로세서(130)는 수집된 생체 신호에서 머리와 몸의 움직임 등에 의한 잡음 성분을 제거하는 신호 전처리 과정을 수행하고, 신호 전처리 과정을 거친 생체 신호를 분석하여 조종사의 각성 상태를 가장 잘 나타낼 수 있는 특징 정보를 추출한다(S320).

프로세서(130)는 머리와 몸의 움직임 등에 의한 근육 움직임에 의한 잡음 신호의 시간-주파수 성분을 파악하여 안구 움직임 신호를 포함한 기타 생체 신호와 잡은 신호를 선형 분리하거나 독립 성분 분석법을 이용하여 잡음 신호를 제거한다.

프로세서(130)는 잡은 신호를 제거한 생체 신호를 시간-공간 주파수 영역에서 분석하는데, 심박수, 혈압, 맥박 등의 물리적인 생체 신호는 정량적으로 평가 가능하며, 피부 전기 활동 신호, 안구 움직임 신호 및 뇌파 신호는 약 1500ms 정도의 이동창을 생성한 후 이동창을 실시간 이동하면서 각 구간 내에서 채널마다 진폭(Amplitude)값을 특징 정보로 각각 추출한다.

조종사의 각성 상태 정도에 따라 생체 신호들 사이의 변화는 긴밀한 상관 관계를 가지고 있다. 따라서, 프로세서(130)는 다변량 사이의 상관 계수를 측정하기 위해 정준 상관 관계 분석을 수행하고, 정준 상관 관계 분석을 통해 다변량 사이의 상관 계수를 최대화할 수 있는 특징 조합 방식으로 다중 생체 신호의 특징 정보를 융합한 융합 특징 정보를 산출한다(S330).

일반적으로, 상관 관계 분석 방법은 변량과 변량간의 관계 분석을 정량화하는 것으로서, 특정 생체 신호(변량 X)와 조종사의 각성 상태(변량 Y)에 대한 상관 관계 분석을 통해 연관성이 파악되면 특정 변량 X가 변화할 때 다른 변량 Y가 어떻게 변화하는지 예측이 가능하다.

예를 들어, 심박수와 조종사의 피로 상태는 음이 상관 관계에 있기 때문에 조종사의 심박수가 상승하면 피로감이 저하된다. 심박수 80bpm(bit per minute)를 기준으로 심박수가 상승할 경우에 조종사의 피로감이 저하된 상태이고, 80bpm을 기준으로 심박수가 하강할 경우에 피로감이 상승한 상태라고 판단할 수 있다.

정준 상관 관계 분석 방법(Canonical correlation Analysis, CCA)은 각 변수 그룹에 속한 변수들의 선형 결합의 상관계수를 이용하여 변량 X와 변량 Y간의 연관성을 최대하는 것이 가능하도록 변수 그룹들간의 연관성을 파악할 수 있다. 즉, 변량 X와 변량 Y이 관계성을 최대화하는 것이 가능한 변량 U와 변량 V를 생성하고, U=aX, V=bY로 표현한다. 여기서, a와 b는 선형결합들 사이의 상관관계가 최대가 되도록 하는 가중치를 나타낸다. 따라서, 변량 U와 변량 V는 변량 X와 변량 Y 간의 선형결합변수가 된다.

도 6은 본 발명의 정준상관관계 분석을 통한 다중 생체신호 특징 융합 과정을 설명하는 도면이다.

도 6을 참고하면, X={x1, x2, x3, …,xn}, Y={y1, y2, t3, …,ym}에 대한 정준 상관 관계 분석 시, 도 5에 도시된 바와 같이, a={a1, a2, a3, …,an}, b={b1, b2, b3, …, bm}이므로 U=aX={(a1, x1), (a2, x2), (a3, x3), …, (an, xn)}, V=bY={(b1, y1), (b2, y2), (b3, y3), …, (bn, ym)}이 된다. 여기서, x1, x2, …, xn은 심박수 정보, EEG 특징 정보, 호흡 정보, 피부 전기 활동 등의 생체 신호이고, y1, y2, …, ym은 조종사의 각성 상태 종류 또는 각성 상태 수준으로 정의할 수 있다.

특정한 각성 상태를 인식할 경우, 각각의 생체 신호가 해당 각성 상태에 기여하는 정도가 다를 수 있지만, 단순한 선형 결합 등을 활용하여 상관 관계 분석을 수행하면 상관관계가 낮거나 없는 다중 생체 신호의 특징 정보로 인해 전체적인 평가 성능이 저하될 수 있다.

따라서, 프로세서(130)는 다중 생체 신호와 특정한 각성 상태와의 관계성을 고려하여 특정 한 각성 상태와 높은 상관 관계에 있는 생체 신호를 각성 상태 평가 모델에 반영한다.

예들 들어, EEG Power Spectrum Density (PSD), Galvanic Skin Response(GSR), 흡기 호흡량(RESP)으로 조종사의 각성 상태 중 피로도(Karolinska Sleepiness Scale, KSS)를 예측할 경우, PSD 120 dB, GSR 100 μS, 호흡량 100 mL일 때 KSS가 1이고, PSD 300 dB, GSR -200 μS, 호흡량 200 mL 일 때 KSS 9이며, PSD 200 dB, GSR -250 μS, 호흡량 150 mL일 때 KSS 4 라고 한다.

PSD 250 dB, GSR 200 μS, 호흡량 160 mL 일 때 KSS 6을 예측하고자 할 때 모든 다중 생체 신호를 선형적으로 결합하여 활용한다면 KSS와 상관성이 없는 것으로 추정되는 GSR로 인해 각성 상태 평가에 대한 성능이 저하될 가능성이 있다.

표 1은 가중치 벡터에 따라 KSS 값을 예측하기 위한 것으로서, 가중치는 Vec_n(w_1, w_2, w_3)이고, KSS와 상관성이 높은 EEG의 가중치를 높게 설정한 가중치 벡터는 Vec_n =PSD*w_1+ GSR * w_2 + RESP * w_3이라고 한다.

[표 1]

표 1에 나타나 있듯이, Vec_3의 경우, KSS값에 따라 총합이 선형적으로 증가하는 것을 알 수 있다. 이와 같이, 가중치 벡터는 각 변량에 대해 가중치가 일정할 때 보다 KSS와 상관성이 높은 EEG의 가중치가 높을 수록 총합의 연관성이 상승하게 된다. 프로세서(130)는 정준 상관 관계 분석 방법 외에도 가중치를 구하는 방법들을 활용하여 변량 간의 관계성을 극대화하는 것이 가능하다.

다시 도 3을 참조하면, 프로세서(130)는 주변 환경에 따라 조종사의 생체 신호 자체가 크게 변화할 수 있으므로, 생체 신호에 영향을 주는 주변 환경 정보들을 정량적으로 측정하여 각성 상태 평가 모델에 반영한다(S340).

즉, 광량의 감소로 인해 주변 시야가 어두워진 밤에 발현되는 생체 신호와 주변 환경이 매우 밝아 시야가 선명한 낮에 발현되는 생체 신호는 다양한 주변 환경 요인으로 인해 큰 차이가 발생할 수 있다. 따라서, 프로세서(130)는 광센서를 통해 측정된 광량 정보, 속도 센서를 통해 측정된 비행 정보 등을 수집하고, 이러한 주변 환경 정보에 의해 각성 상태 평가 모델의 성능 편차가 최소화될 수 있도록 주변 환경 정보를 정규화하여 각성 상태 평가 모델의 바이어스로 입력한다.

도 7은 본 발명의 일 실시예에 따른 각성 상태 평가 모델을 설명하는 도면이다.

도 7을 참고하면, 각성 상태 평가 모델은 다층 인공신경망 구조로서, 다층 인공 신경망은 입력층, 은닉층 및 출력층으로 구성된 뉴런들의 망이다. 이러한 각성 상태 평가 모델은 각 뉴런의 입력 신호에 가중치가 곱해진 값이 다음 뉴런으로 전달되는 과정들이 반복되어 최종 출력값을 내는 구조로 이루어져 있다.

각성 상태 평가 모델은 순회 합성곱 신경망(Recurrent Convolutional Neural Network, RCNN) 모델로서 하기한 수학식 1을 이용하고, 주변 환경 정보는 수학식 2와 같이 바이어스에 입력되어 주변 환경 변화에 강인한 분류기가 되도록 설계된다.

[수학식 1]

[수학식 2]

이러한 각성 상태 평가 모델은 공간적 특징 추출 사이에 시간에 따른 신호 변화를 탐지할 수 있도록 합성곱(Convolutional) 계층 사이에 순회 신경망 구조를 삽입하여 문맥적 정보를 반영한다.

다시 도 3을 참조하면, 프로세서(130)는 각성 상태 평가 모델을 이용하여 다양한 생체 신호의 특징 정보들이 융합된 융합 특징 정보를 통해 각성 상태를 분석하여 실시간 조종사의 각성 상태 수준을 평가한다(S350). 프로세서(130)는 AUC(Area Under Curve) 점수를 이용하여 수 ms의 시간 간격마다 조종사의 각성 상태를 평가하고, 개별적인 평가 정확성을 t-test 및 p-value 등이 통계적 기법으로 산출한다.

조종사의 각성 상태는 주의력, 피로도, 정신적 작업 부하, 무의식 등을 포함하지만 이에 한정되지는 않는다. 여기서, 피로도는 졸음과 같이 직접적으로 신체 상태 변화를 유발하여 비행 임무 수행에 영향을 주는 것으로서, 특정 상황에 대한 인지 반응 속도와 주관적인 지표 등을 활용하여 측정 및 평가 가능하다. 주의력은 비행 임무 외의 기타 요인으로 인해 비행 임무 수행에 영향을 주는 것으로서 무전 교신이나 특정 시각 자극에 대한 반응 등을 활용하여 측정 및 평가 가능하며, 정신적 작업 부하는 계기판 판독과 같은 복잡한 비행 업무로 인해 항공기 제어 능력에 영향을 주는 것으로서 계기판 판독 난이도 및 정확도를 이용하여 측정 및 평가 가능하다.

이와 같이, 프로세서는 조종 대상체와 관련된 임무 수행 능력에 적합한 각성 상태 수준을 상관 관계의 분석 결과를 포함한 객관적 지표와 피로도 측정 결과 또는 설문 결과를 포함한 주관적 지표를 기준으로 단계별로 설정할 수 있다.

그리고, 프로세서(130)는 각성 상태의 평가 결과에 따라 현재 조종사의 각성 상태가 높은 수준일 경우 임무 수행에 적합한 상태로 판단하고, 조종사의 각성 상태가 낮은 수준일 경우에 각성 상태 수준에 따라 적합한 감각 유도 피드백 신호 를 출력하여 조종사의 각성 상태를 높일 수 있도록 한다(S360, S370).

예를 들어, 프로세서(130)는 장시간 비행 등의 이유로 피로도가 증가하고, 집중력이 저하된 조종사의 각성 상태를 유도하기 위해 감각 유도 피드백 신호를 발생한다. 이때, 프로세서(130)는 State Visually Evoked Potential(SSVEP), Steady State Auditory Evoked Potential(SSAEP), Steady State Somatosensory Evoked Potential(SSSEP) 등의 각성 뇌파 유도 자극 및 알람 형태의 자극 피드백이 포함된다. 뉴로 피드백은 각성 상태 정도와 관련된 뇌파 활성화 정도를 조종사가 실시간으로 확인하면서 본인 스스로 뇌파 생성 능력을 조절하도록 훈련하는 시스템을 포함한다.

도 8은 본 발명의 일 실시예에 따른 조종사의 각성 상태 유도를 위한 뉴로 피드백 흐름을 설명하는 도면이다.

도 8에 도시된 바와 같이, 프로세서는 감각 유도 피드백 신호를 통해 뉴로 피드백 시스템에 전달하여 조종사의 각성을 유도하면서 실시간 뇌파 신호를 획득한다(S810, S820). 또한, 프로세서(130)는 각성 상태를 파악하기 위해 전두엽과 후두엽의 세타 및 알파 밴드에서 뇌파 신호를 측정하여 특징값을 추출하고, 각성 상태 평가 모델을 통해 학습된 분류기에 추출한 특징값 을 입력한다(S830, S840).

프로세서(130)는 분류기에서 분류된 결과를 획득하고(S850), 현재 조종사의 각성 상태 수준, 즉 집중력 정도를 시각화하여 출력함으로써 조종사 스스로 뇌파를 조절하도록 한다(S860). 그리고, 프로세서(130)는 현재 조종사의 각성 상태 수준에 따라 실시간 조종사의 각성 상태 유도를 위한 감각 유도 피드백 신호를 생성하여 뉴로 피드백 시스템에 전달한다.

뉴로 피드백 시스템 외에도 감각자극 출력 장치(400)는 스마트 워치 등의 웨어러블 디바이스, 조종 대상체 내의 디스플레이 수단 등을 이용하여 조종사의 임무 수행에 방해가 되지 않는 범위 내에서 시각 자극을 제공할 수 있다. 또한, 감각자극 출력 장치(400)는 경고음 등의 청각 자극, 진동 등의 촉각 자극 등의 다양한 형태로 자극을 제공할 수 있다.

프로세서(130)는 데이터베이스(140)에 축적된 데이터를 이용하여 개인별 최적화된 조종사의 각성 상태의 분류기를 제공할 수 있으며, 새로운 조종사에서 향상된 분류기를 제공할 수 있다. 이때, 데이터베이스(140)에는 복수의 생체 신호, 생체 신호의 개별 특징 정보, 융합 특징 정보, 각성 상태 수준, 피드백 제어 과정 중 다양한 변수들 등이 저장된다.

조종사의 각성 상태는 실제 비행이 아닌 가상 환경, 즉 시뮬레이션 환경, 헤드 마운트 디스플레이, 헤드 업 마운트의 증강/가상 현실 환경에서도 평가할 수 있다.

도 9는 헤드 마운트 디스플레이 장치의 가상 환경을 이용한 조종사의 각성 상태 평가 시나리오를 설명하는 도면이다.

도 9에 도시된 바와 같이, 실제 비행 환경과 유사한 시각적 환경을 언제 어디서나 구축이 가능한 헤드 마운트 디스플레이 장치를 이용하여 조종사의 각성 상태를 평가할 수 있다.

즉, 도 9의 (a)는 조종사에게 인식되는 화면이고, 도 9의 (b)는 헤드 마운트 디스플레이 장치에서 사용자에게 제공하는 화면으로서, 아이 트랙킹 기술을 활용하여 조종사 눈의 위치를 현재 조정/운영 상태 정보로 획득할 수 있고, 현재 조정/운영 상태 정보를 토대로 조종사의 다양한 생체 신호와 주변 환경 정보를 이용하여 각성 상태를 평가할 수 있다.

이와 같이, 본 발명은 유인/무인 항공기 외에도 대중교통, 자동차 등의 다양한 조종 대상체의 조종사들의 각성 상태를 객관적으로 평가할 수 있는 방법으로 활용될 수 있다. 또한, 조종사의 각성 상태에 대한 평가 결과를 기반으로 하여 임무 스케줄링이 가능하고, 조종사별로 최적의 임무 부여를 통해 임무 수행 효율 및 성공률을 향상시킬 수 있다.

이상에서 설명한 본 발명의 실시예에 따른 조종사의 임무 수행 능력 유도 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 조사 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수도 있다.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 조종사 상태의 통합 감시 제어 장치 110: 통신 모듈
120: 메모리 130: 프로세서
131 : 주변 환경 정보 수집부 132 : 생체신호 수집부
133 : 특징 정보 수집부 134 : 신호 융합부
135 : 각성 상태 평가부 136 : 피드백 제어부
200 : 조종대상체의 제어 장치 300 : 센서 장치
400 : 감각자극 출력장치

Claims

조종사의 상태 정보에 기반하여 조종 대상체의 조정에 필요한 임무 수행 능력을 평가하는 조종사 상태의 통합 감시 제어 장치에 의해 수행되는 조종사의 임무 수행 능력 유도 방법에 있어서,
상기 조종 대상체의 제어 장치와 연계하여 주변 환경 정보를 측정하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 측정하는 신호 측정 단계;
상기 주변 환경 정보를 조종사의 상태 평가를 위한 각성 상태 평가 모델에 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하는 정보 산출 단계; 및
상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따라 각성 유도 피드백 신호를 제공하는 각성 상태 평가 및 피드백 제공 단계를 포함하되,
상기 정보 산출 단계는,
상기 각성 상태 평가 모델이 가중치와 바이어스 형태로 제공되고, 상기 주변 환경 정보를 바이어스로 입력하며, 상기 생체 신호별로 조종사의 각성 상태에 기여하는 정도를 가중치로 정의하고,
상기 적어도 하나 이상의 생체 신호를 변량 X, 상기 조종사의 각성 상태를 변량 Y로 설정하며, 상기 변량 X와 변량 Y의 연관성을 각 변수 그룹에 속한 변수들의 선형 결합의 상관계수를 이용하는 정준상관관계분석(Canonical correlation Analysis)을 수행하여 산출하는 것인, 조종사의 임무 수행 능력 유도 방법.
삭제
삭제
제 1 항에 있어서,
상기 정보 산출 단계는, 상기 변량 X와 변량 Y의 선형결합들 사이의 상관관계가 최대가 되도록 가중치(a, b)를 설정하여 선형결합변수인 U=aX, V=bY의 변량을 각각 생성하는 것인, 조종사의 임무 수행 능력 유도 방법.
제 1 항에 있어서,
상기 각성 상태 평가 및 피드백 제공 단계는, 상기 조종 대상체와 관련된 임무 수행 능력에 적합한 각성 상태 수준을 상기 상관 관계의 분석 결과를 포함한 객관적 지표와 피로도 측정 결과 또는 설문 결과를 포함한 주관적 지표를 기준으로 설정하는 것인, 조종사의 임무 수행 능력 유도 방법.
제 1 항에 있어서,
상기 각성 상태 평가 및 피드백 제공 단계는, 상기 각성 상태 수준에 따른 각성 유도 피드백 신호의 생성시, 상기 상관 관계 분석 결과로 생성된 상관 계수와 조종사의 각성 상태와 상관관계가 높은 생체 신호를 우선 순위 정보로 하여 생성되는 것인, 조종사의 임무 수행 능력 유도 방법.
제 1 항에 있어서,
상기 각성 상태 평가 및 피드백 제공 단계는,
상기 각성 유도 피드백 신호에 의해 동작되고, 조종사의 각성 상태를 유도하는 감각자극 출력 장치를 통해 조종사의 각성 상태 수준에 따라 각성 상태를 유도하는 것인, 조종사의 임무 수행 능력 유도 방법.
제 7항에 있어서,
상기 각성 유도 피드백 신호는 조종사의 피드백 반응에 따라 상기 감각자극 출력장치의 촉각자극, 청각 자극, 시각 자극을 포함한 감각 자극이 동시 출력 또는 순차 출력이 결정되는 것인, 조종사의 임무 수행 능력 유도 방법.
제8항에 있어서,
상기 각성 유도 피드백 신호는 조종사의 각성 상태 수준에 따라 강도와 시간차를 다르게 설정하여 촉각 자극, 청각 자극, 시각 자극의 순서로 자극 출력을 진행하는 것인, 조종사의 임무 수행 능력 유도 방법.
조종사의 상태 정보에 기반하여 조종 대상체의 조정에 필요한 임무 수행 능력을 평가 및 유도하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
상기 조종 대상체의 제어 장치와 연계하여 주변 환경 정보를 수집하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집한 후 조종사의 상태 평가를 위한 각성 상태 평가 모델에 상기 주변 환경 정보를 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하며, 상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따른 각성 유도 피드백 신호를 제공하되,
상기 융합 특징 정보는,
상기 적어도 하나 이상의 생체 신호를 변량 X, 상기 조종사의 각성 상태를 변량 Y로 설정하며, 상기 변량 X와 변량 Y의 연관성을 각 변수 그룹에 속한 변수들의 선형 결합의 상관계수를 이용하는 정준상관관계분석(Canonical correlation Analysis)을 수행하여 산출되는 것인, 조종사 상태의 통합 감시 제어 장치.
제10항에 있어서,
상기 프로세서는,
상기 조종 대상체의 제어 장치와 통신하여 광량 정보, 비행 정보를 포함한 주변 환경 정보를 수집하는 주변환경 정보 수집부;
상기 조종사에 장착된 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집하는 생체신호 수집부;
상기 적어도 하나 이상의 생체 신호의 잡음 성분을 제거한 후 시간-공간 주파수 영역에서 분석하여 각 생체신호마다 개별 특징 정보를 추출하는 특징정보 추출부;
상기 추출된 개별 특징 정보들을 다중 생체 신호들 사이의 상관 관계를 고려하여 융합 특징 정보로 결합하는 신호 융합부;
상기 융합 특징 정보를 이용하여 조종사의 각성 상태 수준을 평가하는 각성 상태 평가부; 및
상기 평가된 조종사의 각성 상태 수준에 따라 시각 자극, 청각 자극, 촉각 자극을 포함한 감각 자극을 제공하기 위한 감각 유도 피드백 신호 를 생성 출력하는 피드백 제어부를 포함하는 것인, 조종사 상태의 통합 감시 제어 장치.
삭제
제11항에 있어서,
상기 각성 상태 평가부는, 상기 각성 상태 평가 모델을 통해 각성 상태 수준을 실시간 분류하고, 상기 분류된 각성 상태 수준을 민감도와 특이도를 고려한 AUC(Area Under Curve) 점수를 평가척도로 사용하여 기설정된 시간 간격마다 조종사의 각성 상태를 평가하는 것인, 조종사 상태의 통합 감시 제어 장치.
제11항에 있어서,
상기 감각 유도 피드백 신호에 따라 촉각자극, 청각 자극, 시각 자극을 포함한 감각 자극을 동시 출력 또는 순차 출력되도록 하는 감각자극 출력장치를 더 포함하는 것인, 조종사 상태의 통합 감시 제어 장치.