KR102200441B1 - Hmd 기반 혼합 현실 기술을 이용한 모의 항공 cpt 시뮬레이터 시스템 - Google Patents

Abstract

본 발명은 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템에 관한 것으로, 본 발명에 따르면, HMD(Head Mounted Display) 기반 혼합 현실 기술을 이용한 모의 항공 CPT(Cockpit Procedure Training) 시뮬레이터 시스템에 있어서, 사용자가 착석하여 모의 비행을 할 수 있도록 하고, 사용자가 제어 신호를 입력하는 제어모듈 및 계기판을 포함하는 조종부; 상기 사용자가 착용하고, 상기 사용자가 바라보는 조종부의 내부 및 외부에 대한 실영상을 촬영하는 카메라 및 상기 사용자에게 실영상과 가상영상을 합성한 혼합영상을 제공하는 HMD를 포함하는 디스플레이부; 상기 제어모듈의 제어 신호에 따라 가상영상을 생성하고 계기판을 제어하며, 상기 카메라로부터 실영상을 수신받아 혼합영상을 생성하여 상기 HMD에 혼합영상을 전송하는 시뮬레이터 서버 및 사용자 데이터를 입력받을 수 있고 모의 비행 결과를 제공하는 관리자단말을 포함하는 모의 항공 CPT 시뮬레이터 시스템을 제공할 수 있다.

Description

HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템{Simulated aviation Cockpit Procedure Training simulator system using Head Mounted Display based mixed reality technology}

본 발명은 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템에 관한 것으로, 더욱 자세하게는 실영상과 가상영상을 혼합한 혼합영상을 사용자에게 제공하여 모의 비행을 할 수 있도록 하여, 저비용으로 현실감과 몰입감을 극대화할 수 있도록 하는 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템에 관한 것이다.

일반적으로, 비행시뮬레이터 시스템은 비행 성능 테스트 및 조종사의 모의 비행 훈련을 수행하도록 구비된 장치로서, 통상 그 구성은 실제 항공기의 조종실과 동일한 비행 조종기기들과 그 제어 장치를 구비한 조종실 시스템과 그 조종실 시스템에 각종 비행조건 설정 및 비행 지시를 전달하고 그 비행 과정을 모니터링하기 위한 교관실 시스템 및 조종실 시스템과 교관실 시스템에서 발생하는 시뮬레이션관련 데이터를 공유 메모리를 통해 실시간 처리하고 전송하기 위한 시뮬레이션 호스트 컴퓨터 시스템으로 이루어진다

이러한 기존 비행시뮬레이터 시스템은 현실감을 제공하기 위해 돔(Dome) 형 조종실 구조물을 사용하고, 고출력 모션 플랫폼을 적용하여 시뮬레이터 무게가 매우 무겁고 제작 비용이 많이 들며 공간활용도가 저하되는 문제가 있었다.

이에 가상 현실을 이용한 장비가 비행시뮬레이터 시스템에 적용되었으나, 가상 현실을 바라보고 있는 상태에서 각종 조종석의 제어장비를 실질적으로 조작하기에는 어려움이 있는 문제가 있었다.

이러한 문제를 해결하기 위해, Data Glove를 이용한 대안이 개발되었으나 기존 시뮬레이터 대비 현실감이 떨어지는 문제가 있었다.

상기와 같은 문제를 해결하고자, 본 발명은 실영상과 가상영상을 혼합한 혼합영상을 사용자에게 제공하여 모의 비행을 할 수 있도록 하여, 저비용으로 현실감과 몰입감을 극대화할 수 있도록 하는 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템을 제공하는 데 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템은, HMD(Head Mounted Display) 기반 혼합 현실 기술을 이용한 모의 항공 CPT(Cockpit Procedure Training) 시뮬레이터 시스템에 있어서, 사용자가 착석하여 모의 비행을 할 수 있도록 하고, 사용자가 제어 신호를 입력하는 제어모듈 및 계기판을 포함하는 조종부; 상기 사용자가 착용하고, 상기 사용자가 바라보는 조종부의 내부 및 외부에 대한 실영상을 촬영하는 카메라 및 상기 사용자에게 실영상과 가상영상을 합성한 혼합영상을 제공하는 HMD를 포함하는 디스플레이부; 상기 제어모듈의 제어 신호에 따라 가상영상을 생성하고 계기판을 제어하며, 상기 카메라로부터 실영상을 수신받아 혼합영상을 생성하여 상기 HMD에 혼합영상을 전송하는 시뮬레이터 서버 및 사용자 데이터를 입력받을 수 있고 모의 비행 결과를 제공하는 관리자단말을 포함하는 모의 항공 CPT 시뮬레이터 시스템을 제공할 수 있다.

여기서, 상기 시뮬레이터 서버는 훈련 시나리오를 제공하는 모의훈련모듈; 상기 제어모듈의 제어 신호와 상기 모의훈련모듈로부터 훈련 시나리오를 수신받아 가상영상과 비행 및 계기 데이터를 생성하는 가상환경 생성모듈; 상기 카메라 및 가상환경 생성모듈로부터 각각 수신받은 실영상과 가상영상을 합성하여 혼합영상을 생성하는 장면합성모듈 및 상기 가상환경 생성모듈로부터 가상영상, 비행 및 계기 데이터를 수신받아 계기판에 가상영상 및 비행 및 계기 데이터를 출력하는 계기판넬 시현모듈을 포함하는 모의 항공 CPT 시뮬레이터 시스템을 제공할 수 있다.

또한, 상기 시뮬레이터 서버는 상기 제어모듈로부터 제어 신호를 수신받는 수신모듈 및 상기 수신모듈로부터 제어 신호를 수신받아 상기 가상환경 생성모듈로 제어신호를 전달하는 연동모듈을 더 포함할 수 있다.

또한, 상기 가상환경 생성모듈은 상기 비행 및 계기 데이터를 상기 모의훈련모듈로 전송하고, 상기 모의훈련모듈은 상기 비행 및 계기 데이터를 수신받아 설정된 훈련 시나리오에 따른 모의 비행 결과를 생성하고 상기 관리자단말로 전송하는 것을 특징으로 한다.

또한, 상기 디스플레이부는 상기 사용자가 바라보는 방향에 따른 방위각을 측정하는 방위각측정부를 더 포함하고, 상기 가상환경 생성모듈은 상기 방위각측정부로부터 방위각을 수신받아 상기 제어 신호 및 훈련 시나리오와 방위각에 따라 가상영상을 생성하는 것을 특징으로 한다.

또한, 상기 장면합성 모듈은 상기 카메라로부터 수신받은 실영상을 채도값을 이용해 처리하여 변환영상을 획득하고, 변환영상에 실영상 및 가상영상을 합성하여 혼합영상을 생성하는 것을 특징으로 한다.

또한, 상기 장면합성 모듈은 상기 카메라로부터 수신받은 실영상을 각 픽셀마다 채도값을 계산하고, 상기 실영상의 각 픽셀의 채도값을 이용하여 이진 영상으로 변환하고, 변환영상에서 조종부의 내부와 외부의 경계선을 검출하고, 상기 경계선이 구해진 변환영상에서 경계선의 불필요한 에지성분을 제거하고, 상기 에지성분이 제거된 변환영상에서 조종부의 내부 영역과 외부 영역을 분리하고, 상기 변환영상의 분리된 내부 영역에 실영상의 조종부의 내부를 합성하며, 조종부의 내부가 합성된 변환영상을 필터링 한 후 분리된 외부 영역에 가상영상을 합성하여 혼합영상을 생성하는 것을 특징으로 한다.

또한, 상기 장면합성 모듈은 실영상의 각 픽셀의 채도값을 계산할 때 하기 식 1을 이용하여 구하는 것을 특징으로 한다.

[식 1]

채도값(S) = 1-3/(R+G+B) * min(R, G, B)

또한, 상기 장면합성 모듈은 상기 변환영상에서 조종부의 내부 영역과 외부 영역을 분리할 시, 하나의 픽셀을 시작점으로 플러드 필(Flood Fill) 연산을 수행하여 변환영상에서 조종부의 내부 영역과 외부 영역을 분리하는 것을 특징으로 한다.

또한, 상기 장면합성 모듈은 하나의 픽셀을 시작점으로 플러드 필(Flood Fill) 연산을 수행하여 변환영상에서 조종부의 내부 영역과 외부 영역을 분리할 때, 상기 하나의 픽셀로 상기 특정 임계값의 1/n에 해당하는 밝기 값을 지닌 픽셀을 사용하는 것을 특징으로 한다.

(n은 2 이상의 정수이다.)

또한, 상기 계기판넬 시현모듈은 가상영상, 비행 및 계기 데이터가 위치해야 되는 각각 모니터의 좌표값에 따라 가상영상, 비행 및 계기 데이터에 해당좌표값을 설정하고, 해당좌표값이 설정된 가상영상, 비행 및 계기 데이터를 계기판에 전송하여 다수의 모니터에 가상영상, 비행 및 계기 데이터가 일정 위치에 출력되도록 하는 것을 특징으로 한다.

상기와 같은 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템은 실영상과 가상영상을 혼합한 혼합영상을 사용자에게 제공하여 모의 비행을 할 수 있도록 하여, 실질적으로 사용자가 제어모듈을 조작하여 모의비행을 하고 현실감있는 영상 제공으로 현실감과 몰입감을 극대화할 수 있도록 한다.

또한, 돔 형상 등의 공간을 구현하는 구조물이 필요하지 않아, 설치가 용이하고 공간활용도가 향상되며, 제작비용을 감소시킬 수 있다.

도 1은 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템을 나타낸 구성도.
도 2는 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템의 장면합성모듈의 혼합영상 생성 과정에 따른 순서도.
도 3의 (a) 및 (b)는 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템의 실영상 및 혼합영상.

이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.

본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 본 발명의 실시 예를 첨부한 도 1 내지 도 3을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템을 나타낸 구성도이고, 도 2는 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템의 장면합성모듈의 혼합영상 생성 과정에 따른 순서도이며, 도 3의 (a) 및 (b)는 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템의 실영상 및 혼합영상이다.

본 발명은 HMD(Head Mounted Display) 기반 혼합 현실 기술을 이용한 모의 항공 CPT(Cockpit Procedure Training) 시뮬레이터 시스템에 관한 것으로, 실영상과 가상영상을 혼합한 혼합영상을 사용자에게 제공해 모의 비행을 할 수 있도록 하여, 저비용으로 현실감과 몰입감이 극대화된 모의 항공 CPT(Cockpit Procedure Training)을 제공하고자 한다.

도 1을 참조하면, 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템은 조종부(1), 디스플레이부(2), 시뮬레이터 서버(3) 및 관리자단말(4)을 포함할 수 있다.

먼저, 조종부(1)는 사용자가 착석하여 모의 비행을 할 수 있도록 형성된 모의 조종석 장치로, 제어모듈(10) 및 계기판(11)을 포함할 수 있다.

여기서, 사용자는 교관, 교육생, 조종사 등으로 모의 항공 CPT(Cockpit Procedure Training)를 받고자 하는 사람일 수 있다.

제어모듈(10)은 사용자가 제어 신호를 입력하여 모의 비행을 할 수 있도록 전원스위치 및 조종버튼 등을 포함할 수 있다. 이에 사용자는 모의 비행 시 제어모듈(10)에 제어 신호를 입력하여 비행을 제어할 수 있고, 제어모듈(10)은 제어 신호를 입력 받아 시뮬레이터 서버(3)로 제어 신호를 전달할 수 있다.

계기판(11)은 모의 비행 시 가상영상, 비행 및 계기 데이터를 사용자에게 제공하는 것으로, 시뮬레이터 서버(3)의 계기판넬 시현모듈(35)로부터 가상영상, 비행 및 계기 데이터를 수신받아 출력할 수 있다.

이때, 계기판(11)은 다수의 모니터를 포함하여 수신받은 가상영상, 비행 및 계기 데이터를 영상으로 출력할 수 있다.

여기서, 다수의 모니터는 각각 좌표값을 가질 수 있다.

디스플레이부(2)는 사용자의 머리에 착용되어, 사용자가 바라보는 환경을 촬영할 수 있고, 사용자에게 혼합영상을 제공할 수 있다.

이때, 디스플레이부(2)는 모자, 안경 등 형상으로 형성될 수 있으나, 이에 한정되지 않고 머리에 착용할 수 있는 형태라면 모두 적용될 수 있다.

이를 위해, 디스플레이부(2)는 카메라(20), HMD(21) 및 방위각측정부(22)를 포함할 수 있다.

카메라(20)는 사용자가 바라보는 환경을 실시간으로 촬영하여 실영상을 획득할 수 있는 것으로, 즉, 사용자가 바라보는 조종부(1)의 내부 및 외부에 대한 실영상을 촬영할 수 있다.

또한, 카메라(20)는 촬영한 실영상을 시뮬레이터 서버(3)의 장면합성모듈(34)로 전송할 수 있다.

HMD(21)는 시뮬레이터 서버(3)의 장면합성모듈(34)로부터 실영상과 가상영상을 합성한 혼합영상을 수신받아 사용자에게 혼합영상을 제공할 수 있다.

여기서, HMD(21)는 머리 착용 디스플레이(Head Mounted Display)로, 안경처럼 사용자 눈에 쓰여져 혼합영상을 제공하기 때문에 사용자가 혼합영상을 실제로 보고 있는 환경처럼 느낄 수 있다.

방위각측정부(22)는 사용자가 바라보는 방향에 따른 방위각을 측정할 수 있다. 즉, 사용자의 머리 움직임에 대한 방위각을 측정하여 사용자가 바라보는 방향에 대한 정보를 획득할 수 있는 것이다.

또한, 방위각측정부(22)는 측정된 방위각을 가상환경 생성모듈(33)로 전송할 수 있다. 이에 가상환경 생성모듈(33)은 제어 신호 및 훈련 시나리오 외에 사용자가 바라보는 방향을 고려하여 가상환경을 생성할 수 있어 사용자의 현실감 및 몰입감이 더욱 극대화될 수 있다.

시뮬레이터 서버(3)는 제어모듈(10)의 제어 신호에 따라 가상영상을 생성하고 계기판(11)을 제어하며, 카메라(20)로부터 실영상을 수신받아 혼합영상을 생성하여 HMD(21)에 혼합영상을 전송할 수 있다.

이와 같이 시뮬레이터 서버(3)는 사용자가 혼합영상을 제공받고 모의 비행, 즉 모의 항공 CPT(Cockpit Procedure Training)를 할 수 있도록, 모의훈련모듈(30), 수신모듈(31), 연동모듈(32), 가상환경 생성모듈(33), 장면합성모듈(34) 및 계기판넬 시현모듈(35)을 포함할 수 있다.

모의훈련모듈(30)은 훈련 시나리오를 가상환경 생성모듈(33)로 제공할 수 있다.

훈련 시나리오는 이륙, 비행, 착륙, 비상상황 등을 포함하여 구성될 수 있으며, 이는 관리자단말(4)을 통해 사용자, 관리자 등이 다양하게 설정, 변경 및 관리할 수 있다.

구체적으로, 모의훈련모듈(30)은 모의훈련 데이터베이스(미도시)를 포함하여, 훈련 시나리오, 사용자 데이터, 모의 비행 결과 등을 저장할 수 있다.

이에, 모의훈련모듈(30)은 관리자단말(4)로부터 사용자 데이터, 훈련 시나리오를 입력받아 모의훈련 데이터베이스(미도시)에 저장할 수 있다.

또한, 모의훈련모듈(30)은 가상환경 생성모듈(33)로부터 가상영상, 비행 및 계기 데이터를 수신받아 설정된 훈련 시나리오에 따른 모의 비행 결과를 생성할 수 있다.

이와 같이 생성된 모의 비행 결과를 모의훈련 데이터베이스(미도시)에 저장시킬 수 있고, 관리자단말(4)로 전송하여 관리자, 사용자에게 모의 비행 결과를 제공할 수 있다.

수신모듈(31)은 제어모듈(10)로부터 제어 신호를 수신받아 연동모듈(32)로 제어 신호를 전달할 수 있다.

이때, 수신모듈(31)은 제어모듈(10)에서 연동모듈(32)로 제어 신호를 전달하기 위한 인터페이스로, 제어 신호 처리 장치 또는 소프트웨어로 구성되어 제어모듈(10)로부터 제어 신호를 수신받을 수 있다.

여기서 수신모듈(31)은 제어모듈(10)로부터 제어 신호를 시리얼 통신(CAN, RS232, RS485 등) 또는 이더넷 통신(TCP/UDP) 프로토콜을 통해 수신 받을 수 있으나, 이에 한정되지 않고 다른 통신 프로토콜들도 적용될 수 있다.

연동모듈(32)은 수신모듈(31)로부터 제어 신호를 수신받아 가상환경 생성모듈(33)로 전송할 수 있다.

이러한 연동모듈(32)은 제어모듈(10)로부터 전달된 제어 신호를 가상환경 생성모듈(33)이 받아들일 수 있는 형태로 전달하는 것으로, 수신모듈(31)과 가상환경 생성모듈의 매개체 역할을 할 수 있다.

가상환경 생성모듈(33)은 제어모듈(10)의 제어 신호와 모의훈련모듈(30)로부터 훈련 시나리오를 수신받아 가상영상과 비행 및 계기 데이터를 생성할 수 있다.

이때, 제어 신호는 수신모듈(31)과 연동모듈(32)을 통해 전달받을 수 있다.

또한, 가상환경 생성모듈(33)은 디스플레이부(2)의 방위각측정부(22)로부터 방위각을 수신받아 제어신호 및 훈련 시나리오와 함께 이용하여 가상영상과 비행 및 계기 데이터를 생성함으로써, 더 현실감이 높은 혼합영상을 생성할 수 있도록 한다.

또한, 가상환경 생성모듈(33)은 생성된 가상영상을 장면합성모듈(34)로 전송할 수 있고, 가상환경, 비행 및 계기 데이터를 계기판넬 시현모듈(35)로 전송할 수 있다.

또한, 가상환경 생성모듈(33)은 가상영상, 비행 및 계기 데이터를 모의훈련모듈(30)로 전송할 수 있다.

장면합성모듈(34)은 카메라(20) 및 가상환경 생성모듈(33)로부터 각각 수신받은 실영상과 가상환경을 합성하여 혼합영상을 생성할 수 있다.

본 발명에서 HMD 기반 혼합 현실 기술을 이용하여 모의 항공 CPT 시뮬레이터 시스템을 구현하기 위해서는 현실감이 극대화된 혼합영상의 제공이 무엇보다 중요하다고 할 수 있다.

이를 위해, 장면합성모듈(34)은 카메라(20)로부터 수신받은 실영상에서 조종부(1)의 내부와 외부에 해당하는 영역을 분리하여 외부영역에 가상영상을 합성하는 것으로 혼합영상을 생성할 수 있다.

이때, 본 발명에서는 조종부(1)의 내부가 검은색, 흰색, 회색의 무채색으로 구성되고, 무채색으로 표현되는 색상들은 채도 값이 0에 가깝게 표현되는 것을 참고하여, 장면합성모듈(34)이 채도를 이용하여 조종부(1)의 내부와 외부를 분리해 효과적으로 실영상에서 조종부(1)의 내부영역과 외부영역을 분리하여 합성할 수 있도록 설계하였다.

즉, 장면합성모듈(34)은 카메라(20)로부터 수신받은 실영상을 채도값을 이용해 처리하여 변환영상을 획득하고, 변환영상에 실영상 및 가상영상을 합성하여 혼합영상을 생성할 수 있다.

이에 대해 도 2를 참조하여 구체적으로 설명하기로 한다.

장면합성모듈(34)은 도 2에 도시된 바와 같이, 채도(Saturation) 값 계산, 이진 영상(Binary Image) 변환, 경계선 검출, 에지성분 제거, 영역 분리, 이미지 매팅(Image Matting), 혼합영상 생성 순으로 처리하여 혼합영상을 생성할 수 있다.

구체적으로, 장면합성모듈(34)은 카메라(20)로부터 실영상을 수신받으면 채도(Saturation) 값 계산을 수행한다. 즉, 카메라(20)로부터 수신받은 실영상을 각 픽셀마다 채도값을 계산할 수 있다.

이때, 장면합성모듈(34)은 실영상의 각 픽셀의 채도값을 계산할 때 하기 식 1을 이용하여 각 픽셀마다 채도값을 구할 수 있다.

[식 1]

채도값(S) = 1-3/(R+G+B) * min(R, G, B)

이때, 실영상에서 조종부(1)의 외부에 무채색이 존재하지 않도록 설정하여야 한다. 이는 무채색인 조종부(1)의 내부와 무채색이 아닌 조종부(1)의 외부를 채도만으로 구분할 수 있도록 하기 위한 것이다.

이에 채도만으로 도 2의 (a)에 나와있는 사진과 같이 실영상에서 조종부(1)의 대략적인 윤곽을 파악할 수 있다.

그 다음, 장면합성모듈(34)은 채도 값 계산 수행 후, 이진 영상(Binary Image) 변환을 수행할 수 있다.

장면합성모듈(34)은 실영상을 실영상의 각 픽셀의 채도값과 특정 임계값의 비교를 통해 밝기에 따른 이진 영상(Binary Image)으로 변환할 수 있다.

여기서 모든 픽셀들은 0 내지 255의 채도값 범위 안에서 채도값을 가지므로, 특정 임계값은 0 내지 255의 채도값 범위 안에서 설정될 수 있다.

즉, 장면합성모듈(34)은 기설정된 특정 임계값보다 픽셀의 채도값이 크면 검정, 작으면 흰색으로 변경하는 것으로 이진 처리하여 실영상을 이진 영상으로 변환하여 변환영상을 획득할 수 있다.

이에 도 2의 (b)에 나와있는 사진과 같이 조종부(1)의 내부와 외부의 경계를 구할 수 있다.

변환된 이진 영상은 2개의 밝기 값으로 이루어져 이후 수행할 연산의 복잡성을 감소시키는 효과를 줄 수 있다.

그 다음, 장면합성모듈(34)은 이진 영상으로 변환된 변환영상에 경계선 검출을 수행할 수 있다. 이를 통해, 변환영상에서 조종부의 내부와 외부의 경계선을 검출하는 것이다.

장면합성모듈(34)은 변환영상에 픽셀마다 비교되는 임계값을 적응적으로 변화시키는 적응 임계값(Adaptive Threshold) 방식을 적용하여 조종부(1)의 내부와 외부의 경계선을 검출할 수 있다.

즉, 장면합성모듈(34)은 변환영상의 각 픽셀의 채도값과 NxN 영역의 가우시안 밝기 평균으로 결정되는 임계값의 비교를 통해 변환영상을 처리하여, 변환영상에서 조종부의 내부와 외부의 경계선을 효과적으로 검출할 수 있다.

이는 실영상을 하나의 특정 임계값으로 처리할 경우 처리가 잘 이루어지는 부분과 잘 이루어지지 않는 부분이 존재하게 되기 때문에, 이를 보완하기 위해 실영상을 영역으로 나누고, 영역별 맞춤 임계값인 적응 임계값을 이용하는 것이다.

더 설명하자면, 조종부(1)의 내부와 외부의 경계선은 대각선, 직선, 유선 등으로 다양하게 이루어져 있기 때문에 획일화된 단일 임계값으로는 정확한 경계선을 검출할 수 없다.

따라서, 장면합성모듈(34)은 경계선 검출 시 적응 임계값 즉, NxN 영역의 가우시안 밝기 평균으로 결정되는 임계값을 적용하여 도 2의 (c)에 나와있는 사진과 같이 정확한 경계선을 검출할 수 있는 것이다.

그 다음, 장면합성모듈(34)은 경계선이 구해진 변환영상에 에지성분 제거를 수행할 수 있다. 여기서, 모폴로지 연산이 사용될 수 있으나, 이에 한정되지 않는다.

즉, 장면합성모듈(34)은 경계선이 구해진 변환영상에 모폴로지 연산을 적용하여 경계선의 불필요한 에지성분을 제거하여 더 공고한 경계선을 얻을 수 있다.

이 과정을 더 구체적으로 설명하면, 모폴로지 연산은 침식 연산과 팽창 연산의 연속적인 실행으로 구성되는데, 장면합성모듈(34)이 변환영상에 침식 연산을 적용할 경우 변환영상의 경계선에서 불필요한 에지(edge)성분들이 제거되는 반면 상대적으로 굵은 경계선은 제거되지 않고 가늘어지게 된다.

그리고 장면합성모듈(34)이 변환영상에 팽창 연산을 적용할 경우 가늘어진 경계선이 다시 원 상태로 회복되어 경계선이 더욱 더 공고해지는 것이다.

그 다음, 장면합성모듈(34)은 불필요한 에지성분을 제거한 변환영상에 영역 분리를 수행할 수 있다.

이는 변환영상에서 조종부의 내부 영역과 외부영역을 분리하는 과정이다. 여기서, 플러드 필(Flood Fill) 연산이 적용될 수 있으나, 이에 한정되지 않는다.

장면합성모듈(34)은 변환영상의 하나의 픽셀을 시작점으로 플러드 필(Flood Fill) 연산을 수행하여, 변환영상에서 조종부(1)의 내부 영역과 외부 영역을 분리할 수 있다. 이때, 하나의 픽셀로 상기 특정 임계값의 1/n에 해당하는 밝기 값을 지닌 픽셀을 사용할 수 있다.

여기서, n은 2 이상의 정수이고, 10이 바람직하나, 이에 한정되지 않고, 사용자에 의해 용이하게 변경되어 설정될 수 있다.

여기서 플러드 필(Flood Fill) 연산은 시작 픽셀의 밝기 값과 동일한 밝기 값을 지니는 픽셀이 주변에 있을 경우 시작 픽셀과 이웃 픽셀을 특정한 색으로 채우는 연산이며, 주변에 동일한 밝기 값을 지닌 픽셀이 더 이상 존재하지 않을 때 연산이 종료된다.

장면합성모듈(34)은 플러드 필 연산을 수행할 시 2개의 값을 가진 변환영상에서 2개 중 하나의 값을 가진 픽셀을 기설정된 일정값을 가진 픽셀로 채우고 2개 중 다른 하나의 값을 가진 픽셀을 만났을 때 연산을 종료할 수 있다.

이에 변환영상에서 조종부(1)의 내부 영역만 기설정된 일정값을 가진 픽셀로 채워질 수 있다.

이에 따라 변환영상은 도 2의 (e)의 사진과 같이 조종부(1)의 내부 영역과 외부 영역으로 분리될 수 있다.

그 다음, 장면합성모듈(34)은 조종부(1)의 내부 영역과 외부 영역으로 분리된 변환영상에 이미지 매팅(Image Matting)을 수행할 수 있다.

즉, 이미지 매팅은 영상내에서 특정한 영역들을 어떠한 기준을 가지고 정교하게 추출, 분리, 합성하는 과정을 의미한다.

즉, 장면합성모듈(34)은 변환영상에서 일정값을 가진 픽셀로 채워진 조종부(1)의 내부 영역에 실영상의 조종부(1)의 내부를 합성할 수 있다. 그 결과는 도 2의 (f)의 사진과 같을 수 있다.

마지막으로, 장면합성모듈(34)은 조종부(1)의 내부가 합성된 변환영상을 필터링 한 후 분리된 외부 영역에 가상영상을 합성하여 혼합영상을 생성할 수 있다. 그 결과는 도 2의 (g) 및 (h)의 사진과 같다.

여기서, 내부가 합성된 변환영상을 필터링 하는 것은 합성에 의해 형성될 수 있는 이질감을 제거하여 현실감이 우수한 혼합영상을 제공하고자 하는 것이다.

이때, 장면합성모듈(34)은 바이레터럴 필터(Bilateral Filter)를 이용하여 변환영상을 필터링 하는 것이 바람직하나, 이에 한정되지 않는다.

바이레터럴 필터는 경계선의 날카로움을 유지하면서 영상 내 다른 영역을 부드럽게 만들어줄 수 있다.

이에 장면합성모듈(34)은 가상영상을 합성하기 전에 변환영상에 상기와 같은 바이레터럴 필터를 적용한 후 가상영상을 합성함으로써, 혼합영상에 존재할 수 있는 이질감을 제거할 수 있고, 본 발명의 모의 항공 CPT 시뮬레이터 시스템은 사용자에게 현실감이 높은 혼합영상을 제공할 수 있는 것이다.

이와 같이 장면합성모듈(34)은 도 3의 (a)와 같은 실영상을 상기에서 설명한 과정을 통해 처리하고 가상영상을 합성하여, 도 3의 (b)와 같은 혼합영상을 생성할 수 있다.

계기판넬 시현모듈(35)은 가상환경 생성모듈(33)로부터 가상영상, 비행 및 계기 데이터를 수신받아 계기판(11)의 다수 모니터에 가상영상, 비행 및 계기 데이터를 출력할 수 있다.

이때, 계기판넬 시현모듈(35)은 좌표값을 가지는 다수의 모니터에 가상영상, 비행 및 계기 데이터가 각각 일정한 위치에 위치할 수 있도록, 가상영상, 비행 및 계기 데이터가 위치해야 되는 각각 모니터의 좌표값에 따라 가상영상, 비행 및 계기 데이터에 해당좌표값을 설정할 수 있다.

또한, 계기판넬 시현모듈(35)은 해당좌표값이 설정된 가상영상, 비행 및 계기 데이터를 계기판(11)에 전송하여 다수의 모니터에 가상영상, 비행 및 계기 데이터가 출력되도록 한다.

이에 가상영상, 비행 및 계기 데이터가 다수의 모니터 중 항상 동일한 위치에 출력되도록 할 수 있다.

관리자단말(4)은 사용자, 관리자로부터 사용자 데이터를 입력받을 수 있고, 시뮬레이터 서버(3)의 모의훈련모듈(30)로부터 모의 비행 결과를 수신받아 사용자, 관리자 등에게 제공할 수 있다.

여기서 관리자는 모의 항공 CPT를 감독하는 사람일 수 있으며, 시스템을 통괄하는 사람, 교관 등일 수 있다.

이러한 관리자단말(4)은 PC 외 모바일 단말, 태블릿, PDA(Personal Digital Assistant) 등일 수 있으며, 이에 한정되지는 않는다.

상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 HMD 기반 혼합 현실 기술을 이용한 모의 항공 CPT 시뮬레이터 시스템은 실영상과 가상영상을 혼합한 혼합영상을 사용자에게 제공하여 모의 비행을 할 수 있도록 하여, 실질적으로 사용자가 제어모듈을 조작하여 모의비행을 하고 현실감있는 영상 제공으로 현실감과 몰입감을 극대화할 수 있도록 한다.

또한, 돔형상 등의 공간을 구현하는 구조물이 필요하지 않아, 설치가 용이하고 공간활용도가 향상되며, 제작비용을 감소시킬 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

1: 조종부
10: 제어모듈
11: 계기판
2: 디스플레이부
20: 카메라
21: HMD
22: 방위각측정부
3: 시뮬레이터 서버
30: 모의훈련모듈
31: 수신모듈
32: 연동모듈
33: 가상환경 생성모듈
34: 장면합성모듈
35: 계기판넬 시현모듈
4: 관리자단말

Claims (10)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. HMD(Head Mounted Display) 기반 혼합 현실 기술을 이용한 모의 항공 CPT(Cockpit Procedure Training) 시뮬레이터 시스템에 있어서,
   사용자가 착석하여 모의 비행을 할 수 있도록 하고, 사용자가 제어 신호를 입력하는 제어모듈 및 계기판을 포함하는 조종부;
   상기 사용자가 착용하고, 상기 사용자가 바라보는 조종부의 내부 및 외부에 대한 실영상을 촬영하는 카메라 및 상기 사용자에게 실영상과 가상영상을 합성한 혼합영상을 제공하는 HMD를 포함하는 디스플레이부;
   상기 제어모듈의 제어 신호에 따라 가상영상을 생성하고 계기판을 제어하며, 상기 카메라로부터 실영상을 수신받아 혼합영상을 생성하여 상기 HMD에 혼합영상을 전송하는 시뮬레이터 서버 및
   사용자 데이터를 입력받을 수 있고 모의 비행 결과를 제공하는 관리자단말을 포함하고,
   상기 시뮬레이터 서버는,
   훈련 시나리오를 제공하는 모의훈련모듈;
   상기 제어모듈의 제어 신호와 상기 모의훈련모듈로부터 훈련 시나리오를 수신받아 가상영상과 비행 및 계기 데이터를 생성하는 가상환경 생성모듈;
   상기 카메라 및 가상환경 생성모듈로부터 각각 수신받은 실영상과 가상영상을 합성하여 혼합영상을 생성하는 장면합성모듈 및
   상기 가상환경 생성모듈로부터 가상영상, 비행 및 계기 데이터를 수신받아 계기판에 가상영상 및 비행 및 계기 데이터를 출력하는 계기판넬 시현모듈을 포함하고,
   상기 장면합성 모듈은,
   상기 카메라로부터 수신받은 실영상을 각 픽셀마다 채도값을 계산하고,
   상기 실영상의 각 픽셀의 채도값을 이용하여 이진 영상으로 변환하고, 변환영상에서 조종부의 내부와 외부의 경계선을 검출하고,
   상기 경계선이 구해진 변환영상에서 경계선의 불필요한 에지성분을 제거하고,
   상기 에지성분이 제거된 변환영상에서 조종부의 내부 영역과 외부 영역을 분리하고,
   상기 변환영상의 분리된 내부 영역에 실영상의 조종부의 내부를 합성하며,
   조종부의 내부가 합성된 변환영상을 필터링 한 후 분리된 외부 영역에 가상영상을 합성하여 혼합영상을 생성하는 것을 특징으로 하는 모의 항공 CPT 시뮬레이터 시스템.
   
7. 제6항에 있어서,
   상기 장면합성 모듈은,
   실영상의 각 픽셀의 채도값을 계산할 때 하기 식 1을 이용하여 구하는 것을 특징으로 하는 모의 항공 CPT 시뮬레이터 시스템.
   [식 1]
   채도값(S) = 1-3/(R+G+B) * min(R, G, B)
   
8. 제6항에 있어서,
   상기 장면합성 모듈은,
   상기 변환영상에서 조종부의 내부 영역과 외부 영역을 분리할 시, 하나의 픽셀을 시작점으로 플러드 필(Flood Fill) 연산을 수행하여 변환영상에서 조종부의 내부 영역과 외부 영역을 분리하는 것을 특징으로 하는 모의 항공 CPT 시뮬레이터 시스템.
   
9. 제8항에 있어서,
   상기 장면합성 모듈은,
   하나의 픽셀을 시작점으로 플러드 필(Flood Fill) 연산을 수행하여 변환영상에서 조종부의 내부 영역과 외부 영역을 분리할 때,
   상기 하나의 픽셀로 특정 임계값의 1/n에 해당하는 밝기 값을 지닌 픽셀을 사용하는 것을 특징으로 하는 모의 항공 CPT 시뮬레이터 시스템.
   (n은 2 이상의 정수이다.)
   
10. 제6항에 있어서,
    상기 계기판넬 시현모듈은,
    상기 가상영상, 비행 및 계기 데이터가 위치해야 되는 계기판의 각 모니터의 좌표값에 따라 가상영상, 비행 및 계기 데이터에 해당좌표값을 설정하고, 해당좌표값이 설정된 가상영상, 비행 및 계기 데이터를 계기판에 전송하여 다수의 모니터에 가상영상, 비행 및 계기 데이터가 일정 위치에 출력되도록 하는 것을 특징으로 하는 모의 항공 CPT 시뮬레이터 시스템.

Images