KR101026411B1

KR101026411B1 - 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법

Info

Publication number: KR101026411B1
Application number: KR1020090128161A
Authority: KR
Inventors: 임준호
Original assignee: 엘아이지넥스원 주식회사
Priority date: 2009-12-21
Filing date: 2009-12-21
Publication date: 2011-04-07

Abstract

본 발명은 헬멧 장착 디스플레이 시스템에 표시된 각종 항법 정보 및 전투 정보를 정확하고 신속하게 선택 및 제어할 수 있는 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법에 관한 것이다. 이를 위하여 발명의 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치는, 외부 영상 및 데이터를 표시하는 표시부와; 사용자 영상을 촬영하는 촬영부와; 상기 촬영된 사용자 영상으로부터 두 개의 특징점을 인식하고, 상기 두 개의 특징점을 근거로 상기 표시부에 표시된 데이터를 선택하는 제어부로 구성된다.

헬멧 장착 디스플레이 시스템, 사용자 동작 인식

Description

헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법{INPUT APPARATUS OF Helmet Mounted Display (HMD) System AND METHOD THEREOF}

본 발명은 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법에 관한 것이다.

일반적으로, 헬멧 장착 디스플레이 시스템(Helmet Mounted Display System)은 항공기의 정보를 헬멧의 바이저(Visor) 또는 고글(goggle) 상에 시현하여 조종사로 하여금 정보의 활용도를 높일 수 있는 장비이다. 차세대 항공기 개발에 있어서 헬멧 장착 디스플레이 시스템의 활용 방안은 그 범위가 확대되고 있으며, 항공기 운용에 있어서 필수적인 장비이다.

종래의 헬멧 장착 디스플레이 시스템은 주간에 "See-Through" 특성의 바이저(Visor)를 통하여 조종사에게 외부 영상을 제공한다. 이때, 헬멧 장착 디스플레이 시스템은 항공기내 장착된 헬멧 자세 추적 장치를 통하여 조종사가 주시하는 방향을 고려하여 외부영상과 동기화를 이룬다. 또한, 헬멧 장착 디스플레이 시스템은 야간에 나이트 비전 카메라(Night Vision Camera)를 통해 외부영상을 제공함으로써 조종사가 야간에 외부 영상을 확인할 수 있다.

종래의 헬멧 장착 디스플레이 시스템에서 제공하는 영상정보는 항공기간에 전투정보의 시현이 주목적이었으나 기술의 발전으로 항공기내 다기능 시현기(Multi-Function Display: MFD)에서 전시하던 각종 항법 정보 및 다양한 전투정보들을 포함하려는 추세이다.

그러나 종래의 헬멧 장착 디스플레이 시스템은 각종 정보를 시현하는데 그 목적이 있을 뿐 시현정보를 선택, 변경할 수 있는 입력장치가 없다. 기존에 다기능 시현기(MFD)의 경우, 조종사의 조종스틱에 장착된 컨트롤러를 통하여 커서를 이동 및 선택하는 방법으로 각종 항법 정보 및 전투정보를 선택하였으나 이를 헬멧 장착 디스플레이에 적용하기에는 각종 항법 정보 및 전투정보를 정확히 선택하거나 빠르게 선택하기 어려운 문제점이 있다.

본 발명의 목적은, 헬멧 장착 디스플레이 시스템에 표시된 각종 항법 정보 및 전투 정보를 정확하고 신속하게 선택할 수 있는 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법을 제공하는 데 있다.

본 발명의 다른 목적은, 헬멧 장착 디스플레이 시스템에 표시된 각종 항법 정보 및 전투 정보를 정확하고 신속하게 제어할 수 있는 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법을 제공하는 데 있다.

상기 목적들을 달성하기 위한 본 발명의 실시예들에 따른 헬멧 장착 디스플레이 시스템의 입력 장치는, 외부 영상 및 데이터를 표시하는 표시부와; 사용자 영상을 촬영하는 촬영부와; 상기 촬영된 사용자 영상으로부터 두 개의 특징점을 인식하고, 상기 두 개의 특징점을 근거로 상기 표시부에 표시된 데이터를 선택하는 제어부로 구성된다.

본 발명의 실시예들에 따른 헬멧 장착 디스플레이 시스템의 입력 장치는, 헬멧 장착 디스플레이 시스템에 장착되고, 외부 영상 및 데이터를 표시하는 표시부와; 헬멧 장착 디스플레이 시스템에 장착되고, 사용자 영상을 촬영하는 촬영부와; 상기 촬영된 사용자 영상에서 사용자 윤곽을 추출하는 윤곽 추출부와; 상기 추출된 윤곽이 저장부에 미리설정된 사용자 엄지 및 검지 윤곽과 매칭되는지를 판단하고, 상기 추출된 윤곽이 상기 미리설정된 사용자 엄지 및 검지 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식하는 인식부와; 상기 추출된 윤곽으로부터 두 개의 특징점을 인식하고, 상기 두 개의 특징점이 상기 표시부에 표시된 데이터 중에서 제1 데이터에 위치할 때 상기 제1 데이터를 선택하는 제어부를 포함하며, 상기 두 개의 특징점은 상기 사용자 엄지의 끝점 및 검지의 끝점인 것을 특징으로 한다.

본 발명의 실시예들에 따른 헬멧 장착 디스플레이 시스템의 입력 방법은, 헬멧 장착 디스플레이 시스템에 장착된 표시부에 외부 영상 및 데이터를 표시하는 단계와; 상기 헬멧 장착 디스플레이 시스템에 장착된 카메라를 통해 사용자 영상을 촬영하는 단계와; 상기 촬영된 사용자 영상에서 사용자 윤곽을 추출하는 단계와; 상기 추출된 윤곽이 저장부에 미리설정된 사용자 엄지 및 검지 윤곽과 매칭되는지를 판단하는 단계와; 상기 추출된 윤곽이 상기 미리설정된 사용자 엄지 및 검지 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식하는 단계와; 상기 추출된 윤곽으로부터 두 개의 특징점을 인식하는 단계와; 상기 두 개의 특징점이 상기 표시부에 표시된 데이터 중에서 제1 데이터에 위치할 때 상기 제1 데이터를 선택하는 단계를 포함하며, 여기서, 상기 두 개의 특징점은 상기 사용자 엄지의 끝점 및 검지의 끝점인 것을 특징으로 한다.

본 발명의 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법은, 카메라를 통해 촬영된 영상으로부터 사용자 동작을 인식하고, 그 인식된 사용자 동작을 근거로 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 선택함으로써, 사용자(전투기 조종사)가 원하는 데이터를 쉽고 신속하게 선택할 수 있는 효과가 있다.

본 발명의 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법은, 카메라를 통해 촬영된 영상으로부터 사용자 동작을 인식하고, 그 인식된 사용자 동작을 근거로 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 선택하고, 그 선택된 데이터를 제어함으로써, 사용자(전투기 조종사)가 원하는 데이터를 쉽고 신속하게 제어할 수 있는 효과도 있다.

이하에서는, 헬멧 장착 디스플레이 시스템에 표시된 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 정확하고 신속하게 선택 및 제어할 수 할 수 있는 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법의 실시예를 도1 내지 도9를 참조하여 상세히 설명한다.

도1은 본 발명의 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법을 설명하기 위한 헬멧 타입을 나타낸 도이다.

도1에 도시한 바와 같이, 본 발명의 실시예에 따른 헬멧 장착 디스플레이 시스템은 바이저(Visor) 타입 또는 고글(Goggle) 타입의 헬멧에 적용될 수 있으며, 상기 헬멧에는 주간 또는 야간용 카메라가 장착된다.

도2는 본 발명의 실시예들에 따른 헬멧 장착 디스플레이 시스템의 입력 장치를 나타낸 구성도이다.

도2에 도시한 바와 같이, 본 발명의 실시예들에 따른 헬멧 장착 디스플레이 시스템의 입력 장치는, 외부 영상(예를 들면, 항공기 외부 영상(지형지물)) 및 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 표시하는 표시부(예를 들면, 바이저)(11)와; 사용자 영상(예를 들면, 조종사의 손가락)을 촬영하는 촬영부(14)와; 상기 촬영된 사용자 영상으로부터 사용자 동작(예를 들면, 손가락의 움직임)을 인식하고, 상기 인식한 사용자 동작에 따라 상기 표시부(11)에 표시된 데이터를 선택 및 제어하는 제어부(13)로 구성된다.

상기 제어부(13)는 상기 촬영된 영상에서 사용자 윤곽을 추출하는 윤곽 추출부(13B)와; 상기 추출된 윤곽이 저장부(12)에 미리저장된 윤곽(예를 들면, 사용자의 엄지 및 검지)과 매칭되는지를 판단하고, 상기 추출된 윤곽이 상기 미리설정된 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식하는 인식부(13A)를 포함한다. 여기서, 상기 제어부(13)는 상기 추출된 윤곽이 저장부(12)에 미리저장된 윤곽(예를 들면, 사용자의 엄지 및 검지)과 매칭될 때 상기 추출된 윤곽의 특징점(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)을 인식하고, 상기 인식한 특징점이 두 개(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)일 때 상기 인식한 두 개의 특징점을 상기 표시부(11)에 표시된 외부 영상 및 데이터 상에 표시하고, 상기 인식한 두 개의 특징점이 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터의 위치에 존재할 때 상기 제1 데이터를 선택한다.

상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터가 선택되었을 때 상기 선택된 데이터를 실행한다. 예를 들면, 상기 제어부(13)는 상기 제1 데이터가 항공기 속도를 표시하기 위한 데이터일 때 상기 제1 데이터가 선택되면 항공기 속도를 표시하거나, 상기 제1 데이터가 항공기 위치를 표시하기 위한 데이터일 때 상기 제1 데이터가 선택되면 항공기 위치를 표시한다.

상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터를 제어한다. 예를 들면, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 통신 채널을 나타내는 데이터 또는 수치를 나타내는 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 미리설정된 움직임(예를 들면, 시계 방향 또는 반시계 방향)과 동일할 때 상기 추적한 움직임에 따라 상기 통신 채널을 증가시키거나 감소시키고, 수치를 확대하거나 축소한다.

상기 제어부(13)는 통신부(15)를 통해 상기 외부 영상(예를 들면, 항공기 외부 영상(지형지물)) 및 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 수신하고, 그 수신한 상기 외부 영상(예를 들면, 항공기 외부 영상(지형지물)) 및 데이터를 상기 표시부(11)에 표시할 수도 있다. 여기서, 상기 사용자의 손의 형상 및/또는 움직임을 인식하는 기술 기술은 미국 특허 번호 US6,191,773에 개시되어 있다.

이하에서는, 카메라를 통해 촬영된 영상으로부터 사용자 동작을 인식하고, 그 인식된 사용자 동작을 근거로 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 선택함으로써, 사용자(전투기 조종사)가 원하는 데이터를 쉽고 신속하게 선택할 수 있는 본 발명의 제1 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법을 도2 및 도3을 참조하여 설명한다.

도3은 본 발명의 제1 실시예들에 따른 헬멧 장착 디스플레이 시스템의 입력 방법을 나타낸 흐름도이다.

먼저, 상기 표시부(예를 들면, 바이저)(11)는 인터페이스 또는 통신부(15)를 통해 수신된 외부 영상(예를 들면, 항공기 외부 영상(지형지물)) 및 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 표시한다(S11).

상기 촬영부(14)는 헬멧의 좌측 또는 우측에 장착되며, 피사체(예를 들면, 사용자(조종사)의 손가락)을 촬영하고(S12), 그 촬영한 피사체(사용자 영상)를 상기 제어부(13)의 윤곽 추출부(13B)에 출력한다.

상기 윤곽 추출부(13B)는 상기 촬영된 피사체 영상에서 사용자 윤곽을 추출하고(S13), 상기 추출한 사용자 윤곽을 상기 인식부(13A)에 출력한다. 예를 들면, 상기 윤곽 추출부(13B)는 상기 촬영된 피사체 영상에서 사용자(조종사)의 손가락 윤곽을 추출하고, 그 추출한 손가락 윤곽을 상기 인식부(13A)에 출력한다.

상기 인식부(13A)는 상기 추출된 윤곽이 저장부(12)에 미리저장된 윤곽(예를 들면, 사용자의 엄지 및 검지)과 매칭되는지를 판단하고(S14), 상기 추출된 윤곽이 상기 미리설정된 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식한 다. 예를 들면, 상기 인식부(13A)는 상기 추출된 윤곽이 저장부(12)에 미리저장된 사용자의 엄지 및 검지와 매칭되는지를 판단하고, 상기 추출된 윤곽이 상기 미리저장된 사용자의 엄지 및 검지와 매칭될 때 상기 표시부(11)에 표시된 데이터를 선택하기 위한 준비 과정으로 인식한다.

상기 제어부(13)는 상기 추출된 윤곽이 상기 저장부(12)에 미리저장된 윤곽(예를 들면, 사용자의 엄지 및 검지)과 매칭될 때 상기 추출된 윤곽의 특징점(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)을 인식하고(S15), 상기 인식한 특징점이 두 개(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)인지를 판단한다(S16). 여기서, 상기 사용자의 손의 형상 및/또는 움직임을 인식하는 기술 자체는 미국 특허 번호 US6,191,773에도 개시되어 있으므로, 이에 대한 상세한 설명은 생략한다.

상기 제어부(13)는 상기 인식한 특징점이 두 개(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)일 때 상기 인식한 두 개의 특징점을 상기 표시부(11)에 표시된 외부 영상 및 데이터 상에 표시하고, 상기 인식한 두 개의 특징점이 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터의 위치에 존재하는지를 판단한다(S17).

상기 제어부(13)는 상기 인식한 두 개의 특징점이 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터의 위치에 존재할 때 상기 제1 데이터를 선택한다(S18).

상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터가 선택되었을 때 상기 선택된 데이터를 실행한다(S19). 예를 들면, 상기 제어부(13)는 상기 제1 데이터가 항공기 속도를 표시하기 위한 데이터일 때 상기 제1 데이터가 선택되면 항공기 속도를 표시하거나, 상기 제1 데이터가 항공기 위치를 표시하기 위한 데이터일 때 상기 제1 데이터가 선택되면 항공기 위치를 표시한다.

도4는 본 발명의 제1 실시예들에 따라 데이터를 선택하기 위한 방법을 나타낸 예시도 이다.

도4에 도시한 바와 같이, 상기 헬멧의 좌측 및/또는 우측에 장착된 상기 촬영부(카메라)(14)는 사용자(조종사)의 손가락을 촬영하고, 그 촬영한 사용자 손가락을 상기 제어부(13)의 윤곽 추출부(13B)에 출력한다. 상기 윤곽 추출부(13B)는 상기 촬영된 사용자 손가락 윤곽을 추출하고(S13), 상기 추출한 사용자 손가락 윤곽을 상기 인식부(13A)에 출력한다. 여기서, 상기 제어부(13)는 사용자의 엄지와 검지의 끝점이 인식된 후 그 인식된 엄지의 끝점과 검지의 끝점이 서로 다른 위치에 존재할 때 데이터 선택 준비과정으로 인식하고, 그 인식된 엄지의 끝점과 검지의 끝점이 서로 동일한 위치에 존재할 때 데이터 선택 완료 과정으로 인식한다.

도5는 본 발명의 제1 실시예들에 따라 데이터 선택 준비 과정을 나타낸 예시도 이다.

도5에 도시한 바와 같이, 상기 제어부(13)는 외부 영상(예를 들면, 항공기 외부 영상(지형지물)) 및 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 표시한 표시부(예를 들면, 바이저)(11) 상에 상기 인식한 두 개의 특징점(붉은색 원점)을 표시한다. 여기서, 상기 제어부(13)는 상기 인식한 두 개의 특징점이 서로 다른 위치에 존재할 때 데이터 선택 준비과정으로 인식한다.

도6은 본 발명의 제1 실시예들에 따라 데이터 선택 완료 과정을 나타낸 예시 도 이다.

도6에 도시한 바와 같이, 상기 제어부(13)는 외부 영상(예를 들면, 항공기 외부 영상(지형지물)) 및 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 표시한 표시부(예를 들면, 바이저)(11) 상에 상기 인식한 두 개의 특징점(붉은색 원점)을 표시한다. 여기서, 상기 제어부(13)는 상기 인식한 두 개의 특징점이 특정 데이터의 위치(서로 동일한 위치)에 존재할 때 그 데이터를 선택 및 실행한다.

상기 제어부(13)는 데이터(예를 들면, 각종 항법 정보 및 전투 정보)뿐만 아니라 외부 영상(예를 들면, 항공기 외부 영상(지형지물))을 상기 인식한 두 개의 특징점(붉은색 원점)을 통해 선택 및 제어(예를 들면, 영상 이동 및 확대/축소)할 수도 있다. 예를 들면, 상기 제어부(13)는 항공기 외부에 장착된 EO(Electro Optical)/IR(Infra-Red)과 같은 영상 장비를 통해 촬영된 감시 정찰 영상을 HMD(표시부) 상에 표시한 후 조종사가 원하는 영상 부분을 선택한 후 엄지와 검지를 시계방향으로 한 바퀴 회전 시 그 선택된 영상을 부분 확대 또는 반 시계 방향으로 한 바퀴 회전시 그 선택된 영상을 부분 축소할 수도 있다.

이하에서는, 카메라를 통해 촬영된 영상으로부터 사용자 동작을 인식하고, 그 인식된 사용자 동작을 근거로 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 선택 및 제어함으로써, 사용자(전투기 조종사)가 원하는 데이터를 쉽고 신속하게 선택 및 제어할 수 있는 본 발명의 제2 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법을 도2 및 도7을 참조하여 설명한다.

도7은 본 발명의 제2 실시예들에 따른 헬멧 장착 디스플레이 시스템의 입력 방법을 나타낸 흐름도이다.

먼저, 상기 표시부(예를 들면, 바이저)(11)는 인터페이스 또는 통신부(15)를 통해 수신된 외부 영상(예를 들면, 항공기 외부 영상(지형지물)) 및 데이터(예를 들면, 각종 항법 정보 및 전투 정보)를 표시한다(S21).

상기 촬영부(14)는 헬멧의 좌측 또는 우측에 장착되며, 피사체(예를 들면, 사용자(조종사)의 손가락)을 촬영하고(S22), 그 촬영한 피사체(사용자 영상)를 상기 제어부(13)의 윤곽 추출부(13B)에 출력한다.

상기 윤곽 추출부(13B)는 상기 촬영된 피사체 영상에서 사용자 윤곽을 추출하고(S23), 상기 추출한 사용자 윤곽을 상기 인식부(13A)에 출력한다. 예를 들면, 상기 윤곽 추출부(13B)는 상기 촬영된 피사체 영상에서 사용자(조종사)의 손가락 윤곽을 추출하고, 그 추출한 손가락 윤곽을 상기 인식부(13A)에 출력한다.

상기 인식부(13A)는 상기 추출된 윤곽이 저장부(12)에 미리저장된 윤곽(예를 들면, 사용자의 엄지 및 검지)과 매칭되는지를 판단하고(S24), 상기 추출된 윤곽이 상기 미리설정된 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식한다. 예를 들면, 상기 인식부(13A)는 상기 추출된 윤곽이 저장부(12)에 미리저장된 사용자의 엄지 및 검지와 매칭되는지를 판단하고, 상기 추출된 윤곽이 상기 미리저장된 사용자의 엄지 및 검지와 매칭될 때 상기 표시부(11)에 표시된 데이터를 선택하기 위한 준비 과정으로 인식한다.

상기 제어부(13)는 상기 추출된 윤곽이 상기 저장부(12)에 미리저장된 윤곽(예를 들면, 사용자의 엄지 및 검지)과 매칭될 때 상기 추출된 윤곽의 특징점(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)을 인식하고(S25), 상기 인식한 특징점이 두 개(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)인지를 판단한다(S26).

상기 제어부(13)는 상기 인식한 특징점이 두 개(예를 들면,사용자의 엄지의 끝점 및 검지의 끝점)일 때 상기 인식한 두 개의 특징점을 상기 표시부(11)에 표시된 외부 영상 및 데이터 상에 표시하고, 상기 인식한 두 개의 특징점이 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터의 위치에 존재하는지를 판단한다(S27).

상기 제어부(13)는 상기 인식한 두 개의 특징점이 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터의 위치에 존재할 때 상기 제1 데이터를 선택한다(S28).

상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 제1 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적한다(S29).

상기 제어부(13)는 상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터를 제어한다. 예를 들면, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 통신 채널을 나타내는 데이터 또는 수치를 나타내는 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 미리설정된 움직임(예를 들면, 시계 방향 또는 반시계 방향)과 동일할 때 상기 추적한 움직임에 따라 상기 통신 채널을 증가시키거나 감소시키고, 수치를 확대하거나 축소한다.

도8은 본 발명의 제2 실시예들에 따라 통신 주파수 채널을 제어하기 위한 방법을 나타낸 예시도 이다.

도8에 도시한 바와 같이, 상기 제어부(13)는 상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터(통신 주파수 채널을 나타내는 데이터)를 제어한다. 예를 들면, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 통신 주파수 채널을 나타내는 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 시계 방향으로 회전했을 때(8-1) 상기 추적한 움직임에 따라 상기 통신 채널을 증가시키거나 감소시킨다. 반면, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 통신 주파수 채널을 나타내는 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 반시계 방향으로 회전했을 때(8-2) 상기 추적한 움직임에 따라 상기 통신 채널을 감소시키거나 증가시킨다. 여기서, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 통신 주파수 채널을 나타내는 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 위, 아래, 왼쪽, 오른쪽 방향으로 이동했을 때 상기 추적한 움직임에 따라 상기 통신 채널을 감소시키거나 증가시킬 수도 있다.

도9는 본 발명의 제2 실시예들에 따라 비행 속도 데이터를 확대 또는 축소하기 위한 방법을 나타낸 예시도 이다.

도9에 도시한 바와 같이, 상기 제어부(13)는 상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터(예를 들면, 비행 속도 데이터)를 제어한다. 예를 들면, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 비행 속도 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 시계 방향으로 회전했을 때(9-1) 상기 추적한 움직임에 따라 상기 비행 속도 데이터(비행 속도 수치)를 확대 또는 축소한다. 반면, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 상기 비행 속도 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 반시계 방향으로 회전했을 때(9-2) 상기 추적한 움직임에 따라 상기 비행 속도 데이터(비행 속도 수치)를 축소 또는 확대한다. 여기서, 상기 제어부(13)는 상기 인식한 두 개의 특징점에 의해 상기 표시부(11)에 표시된 데이터 중에서 상기 비행 속도 데이터가 선택된 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 그 추적한 움직임이 위, 아래, 왼쪽, 오른쪽 방향으로 이동했을 때 상기 추적한 움직임에 따라 상기 비행 속도 데이터를 확대 또는 축소할 수도 있다.

한편, 조종사의 엄지 끝과 검지 끝을 용이하게 인식할 수 있도록 조종사 장갑의 손가락 끝(엄지 끝과 검지 끝)을 발광/발열 물질로 코팅하거나, 센서를 장착하여 그 조종사 장갑의 손가락 끝(엄지 끝과 검지 끝)의 위치를 주간용 또는 야간용 카메라(Night Vision 카메라)를 통해 정확하게 인식할 수도 있다.

이상에서 상세히 설명한 바와 같이, 본 발명의 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법은, 외부 영상 및 데이터를 표시부(헬멧 장착 디스플레이 시스템)에 표시하고, 촬영부를 통해 사용자 영상을 촬영하고, 상 기 촬영된 사용자 영상으로부터 두 개의 특징점을 인식하고, 상기 두 개의 특징점을 근거로 상기 표시부에 표시된 데이터를 선택함으로써, 헬멧 장착 디스플레이 시스템에 표시된 각종 항법 정보 및 전투 정보를 정확하고 신속하게 선택할 수 있다.

본 발명의 실시예에 따른 헬멧 장착 디스플레이 시스템의 입력 장치 및 그 방법은, 외부 영상 및 데이터를 표시부(헬멧 장착 디스플레이 시스템)에 표시하고, 촬영부를 통해 사용자 영상을 촬영하고, 상기 촬영된 사용자 영상으로부터 두 개의 특징점을 인식하고, 상기 두 개의 특징점을 근거로 상기 표시부에 표시된 데이터를 제어함으로써, 헬멧 장착 디스플레이 시스템에 표시된 각종 항법 정보 및 전투 정보를 정확하고 신속하게 제어할 수 있다.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도6은 본 발명의 제1 실시예들에 따라 데이터 선택 완료 과정을 나타낸 예시도 이다.

*도면의 주요부에 대한 부호의 설명

11: 표시부 12: 저장부

13: 제어부 13A: 인식부

13B: 윤곽 추출부 14: 촬영부

15: 통신부

Claims

외부 영상 및 데이터를 표시하는 표시부와;

사용자 영상을 촬영하는 촬영부와;

상기 촬영된 사용자 영상으로부터 상기 사용자의 엄지 끝점 및 검지 끝점인 두 개의 특징점을 인식하고, 상기 두 개의 특징점을 근거로 상기 표시부에 표시된 데이터를 선택하는 제어부를 포함하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
제1항에 있어서, 상기 외부 영상은 항공기 외부 영상이며, 상기 데이터는 항법 정보 및 전투 정보인 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
제1항에 있어서, 상기 제어부는,

상기 촬영된 사용자 영상에서 사용자 윤곽을 추출하는 윤곽 추출부와;

상기 추출된 윤곽이 저장부에 미리설정된 사용자의 엄지 및 검지 윤곽과 매칭되는지를 판단하고, 상기 추출된 윤곽이 상기 미리설정된 사용자의 엄지 및 검지 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식하는 인식부를 포함하고,

상기 추출된 윤곽으로부터 상기 두 개의 특징점을 인식하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
삭제
삭제
제1항에 있어서, 상기 제어부는,

상기 두 개의 특징점이 상기 표시부에 표시된 데이터 중에서 제1 데이터에 위치할 때 상기 제1 데이터를 선택하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
제6항에 있어서, 상기 제어부는,

상기 인식한 두 개의 특징점에 의해 상기 제1 데이터가 선택한 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터를 제어하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
제7항에 있어서, 상기 제어부는,

상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터의 수치를 변경하거나 상기 선택된 제1 데이터를 확대 또는 축소하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
헬멧 장착 디스플레이 시스템에 장착되고, 외부 영상 및 데이터를 표시하는 표시부와;

헬멧 장착 디스플레이 시스템에 장착되고, 사용자 영상을 촬영하는 촬영부와;

상기 촬영된 사용자 영상에서 사용자 윤곽을 추출하는 윤곽 추출부와;

상기 추출된 윤곽이 저장부에 미리설정된 사용자 엄지 및 검지 윤곽과 매칭되는지를 판단하고, 상기 추출된 윤곽이 상기 미리설정된 사용자 엄지 및 검지 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식하는 인식부와;

상기 추출된 윤곽으로부터 상기 사용자의 엄지 끝점 및 검지 끝점인 두 개의 특징점을 인식하고, 상기 두 개의 특징점이 상기 표시부에 표시된 데이터 중에서 제1 데이터에 위치할 때 상기 제1 데이터를 선택하는 제어부를 포함하는 헬멧 장착 디스플레이 시스템의 입력 장치.
제9항에 있어서, 상기 제어부는,

상기 인식한 두 개의 특징점에 의해 상기 제1 데이터가 선택한 후 상기 인식한 두 개의 특징점의 움직임을 추적하고, 상기 추적한 움직임이 미리설정된 움직임 과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터를 제어하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
제10항에 있어서, 상기 제어부는,

상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터의 수치를 변경하거나 상기 선택된 제1 데이터를 확대 또는 축소하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 장치.
헬멧 장착 디스플레이 시스템에 장착된 표시부에 외부 영상 및 데이터를 표시하는 단계와;

상기 헬멧 장착 디스플레이 시스템에 장착된 카메라를 통해 사용자 영상을 촬영하는 단계와;

상기 촬영된 사용자 영상에서 사용자 윤곽을 추출하는 단계와;

상기 추출된 윤곽이 저장부에 미리설정된 사용자 엄지 및 검지 윤곽과 매칭되는지를 판단하는 단계와;

상기 추출된 윤곽이 상기 미리설정된 사용자 엄지 및 검지 윤곽과 매칭될 때 상기 추출된 윤곽을 사용자 동작으로서 인식하는 단계와;

상기 추출된 윤곽으로부터 상기 사용자의 엄지 끝점 및 검지 끝점인 두 개의 특징점을 인식하는 단계와;

상기 두 개의 특징점이 상기 표시부에 표시된 데이터 중에서 제1 데이터에 위치할 때 상기 제1 데이터를 선택하는 단계를 포함하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 방법.
제12항에 있어서,

상기 인식한 두 개의 특징점에 의해 상기 제1 데이터가 선택한 후 상기 인식한 두 개의 특징점의 움직임을 추적하는 단계와;

상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터를 제어하는 단계를 더 포함하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 방법.
제13항에 있어서, 상기 선택된 제1 데이터를 제어하는 단계는,

상기 추적한 움직임이 미리설정된 움직임과 동일할 때 상기 추적한 움직임에 따라 상기 선택된 제1 데이터의 수치를 변경하거나 상기 선택된 제1 데이터를 확대 또는 축소하는 단계를 포함하는 것을 특징으로 하는 헬멧 장착 디스플레이 시스템의 입력 방법.