KR102048354B1 - 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법 - Google Patents

무선 헬멧에서의 영상 디스플레이 장치 및 그 방법 Download PDF

Info

Publication number
KR102048354B1
KR102048354B1 KR1020190083254A KR20190083254A KR102048354B1 KR 102048354 B1 KR102048354 B1 KR 102048354B1 KR 1020190083254 A KR1020190083254 A KR 1020190083254A KR 20190083254 A KR20190083254 A KR 20190083254A KR 102048354 B1 KR102048354 B1 KR 102048354B1
Authority
KR
South Korea
Prior art keywords
wireless
helmet
wireless helmet
image
movement
Prior art date
Application number
KR1020190083254A
Other languages
English (en)
Inventor
곽재섭
박매훈
Original Assignee
한화시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템(주) filed Critical 한화시스템(주)
Priority to KR1020190083254A priority Critical patent/KR102048354B1/ko
Application granted granted Critical
Publication of KR102048354B1 publication Critical patent/KR102048354B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Helmets And Other Head Coverings (AREA)

Abstract

본 발명은 전차나 장갑차 등의 운용을 담당하는 운용자가 착용하는 헬멧의 HMD에 360도 전 방향의 영상 및 헬멧을 착용한 운용자의 움직임에 따른 해당 방향의 영상을 HMD에 디스플레이하는 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법에 관한 것으로서, 상기 장치는, 운용자의 머리에 착용하여, 운용자의 머리 움직임을 감지하고, 감지된 움직임 방향에 대응하는 외부 영상을 무선 네트워크를 통해 전장 단말기로 요청하고, 상기 요청에 대응하는 움직임 방향에 대응하는 외부 영상을 전장 단말기로부터 수신하여 디스플레이하는 무선 헬멧; 전차나 장갑차 등 외부의 서로 다른 위치에 장착된 다수의 카메라로부터 각 방향에 대한 외부 촬영 영상을 합성하여 360도 전 방향 외부 파노라마 영상을 생성하고, 생성된 파노라마 영상에 원격에서 제공되는 표적(아군 및 적군)정보 및 장애물 정보를 합성하여 증강 영상을 생성하며, 상기 무선 헬멧으로부터 요청된 움직임 방향에 대응하는 영상만을 추출하여 상기 무선 헬멧으로 무선 네트워크를 통해 전송하는 전장 단말기를 포함할 수 있다.

Description

무선 헬멧에서의 영상 디스플레이 장치 및 그 방법{Apparatus and method for displaying images in a wireless helmet}
본 발명은 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법에 관한 것으로서, 특히 전차나 장갑차 등의 운용을 담당하는 운용자가 착용하는 헬멧의 HMD(Head Mounted Display)에 360도 전 방향의 영상, 및 헬멧을 착용한 운용자의 헬멧 움직임에 따른 해당 방향의 증강 영상을 HMD에 디스플레이하는 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법에 관한 것이다.
현대전은 전장에서 벌어지는 전장정보를 다양한 감시 정찰 자원을 통하여 공유, 식별, 판단하여 즉각적인 정밀타격으로 적을 무력화시키는 전술로 진화하고 있다.
따라서, 지휘소에서는 전술 지휘 자동화 체계를 통하여 전장을 한눈에 보면서 판단하고, 최전선 소분대 전투원들과 통신망을 통하여 전장 정보를 공유하고 효과적인 임무수행과 생존력을 증대시킬 수 있는 통신체계가 요구되고 있다
이러한 작전을 위하여 전투 부대에서는 무전기를 전투병의 X밴드 어깨 끈에 장착하여 음성 통신용으로 사용하고 있다.
그러나, 현 운용 무전기는 무게와 긴 안테나 사용으로 기동시 흔들림과 돌출된 형태로 파손위험 증가 및 전투수행 시 실시간 기도비닉 의사전달을 제한하는 문제점이 있다. 또한, 작전 중 머리 걸이 송수화기나 이어 마이크를 사용하는 경우에도, 연결선 길이가 어깨에서부터 귀까지 길게 노출되어 외부에 걸려 빠지거나, 좌우로 고개를 돌릴 경우 연결선에 의한 행동 반경이 제한되고 있다.
이러한 문제점을 해결하기 위하여 X밴드 어깨 끈에 장착한 무전기를 사용하지 않고, 무전 기능(음성 입, 출력 기능)이 장착된 헬멧을 사용하고 있다.
이러한 헬멧은 스피커와 마이크가 장착되고, 전차나 장갑차 내부의 전장 단말기와 유선(인터컴)으로 연결되어 다른 운용자로부터 입력되는 음성을 전장 단말기를 통해 수신하여 스피커를 통해 출력하는 구조로 이루어져 있다.
따라서, 헬멧과 전장 단말기간 인터컴(유선)으로 연결되어 있기 때문에 행동이 자유롭지 못하는 문제점이 있다. 즉, 헬멧을 착용한 상태에서 외부로 이동할 경우에는 전장 단말기와 연결된 유선 연결을 차단하고 이동하거나, 헬멧을 벗고 이동하여야 하기 때문에 해당 운용자와 전차나 장갑차 내부의 운용자간 음성 통신이 단절되는 문제점이 있다.
또한, 전차나 장갑차내에서 헬멧을 착용하고 운용 시, 음성 통신만이 가능하기 때문에 외부 전 방향 상황을 감시하기 위해서는 직접 외부로 나와 확인해야 하는 번거로운 문제점이 있다.
따라서, 본 발명은 상기한 문제점을 해결하기 위한 것으로 본 발명의 목적은, 헬멧과 전차나 장갑차 내부 전장 단말기간 무선으로 음성 통신뿐 아니라, 전차나 장갑차 등의 운용을 담당하는 운용자가 착용하는 헬멧의 HMD에 360도 전 방향의 영상 및 헬멧을 착용한 운용자의 움직임에 따른 해당 방향의 증강영상을 HMD에 디스플레이하는 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 장치는, 운용자의 머리에 착용하여, 운용자의 머리 움직임을 감지하고, 감지된 움직임 방향에 대응하는 외부 영상을 무선 네트워크를 통해 전장 단말기로 요청하고, 상기 요청에 대응하는 움직임 방향에 대응하는 외부 영상을 전장 단말기로부터 수신하여 디스플레이하는 무선 헬멧; 전차나 장갑차 등 외부의 서로 다른 위치에 장착된 다수의 카메라로부터 각 방향에 대한 외부 촬영 영상을 합성하여 360도 전 방향 외부 파노라마 영상을 생성하고, 생성된 파노라마 영상에 원격에서 제공되는 표적(아군 및 적군)정보 및 장애물 정보를 합성하여 증강 영상을 생성하며, 상기 무선 헬멧으로부터 요청된 움직임 방향에 대응하는 영상만을 추출하여 상기 무선 헬멧으로 무선 네트워크를 통해 전송하는 전장 단말기를 포함할 수 있다.
상기 무선 헬멧은, 무선 헬멧의 움직임을 감지하는 움직임 감지부; 상기 움직임 감지부에서 감지된 움직임 방향을 판단하여, 무선 헬멧의 움직임 방향에 대한 증강 영상을 무선 네트워크를 통해 상기 전장 단말기로 요청하고, 상기 요청에 따라 전장 단말기로부터 무선 네트워크를 통해 전송된 무선 헬멧의 움직임 방향에 대응하는 증강 영상을 수신하는 제어부; 및 상기 제어부를 통해 수신된 헬멧의 움직임 방향에 대응하는 증강 영상을 디스플레이하는 HMD를 포함할 수 있다.
상기 움직임 감지부는, 무선 헬멧의 움직임 방향을 감지하는 지자기 센서; 및 무선 헬멧 착용자 시선의 움직임을 촬영하는 초소형 카메라를 포함할 수 있다.
상기 무선 헬멧은, 무선 헬멧의 전방 위치에 설치되어 화면 전환 또는 메뉴 선택을 위한 무선 헬멧 착용자의 손 제스처를 촬영하는 카메라; 및 상기 카메라로부터 촬영된 무선 헬멧 착용자의 손 제스처를 인식하여 상기 제어부로 제공하는 제스처 인식부를 더 포함할 수 있다.
상기 손 제스처를 촬영하는 카메라는 CCD 카메라 또는 IR 카메라일 수 있다.
상기 제어부는, 상기 제스처 인식부로부터 인식된 무선 헬멧 착용자의 손 제스처에 의해 선택된 메뉴에 대한 정보를 무선 네트워크를 통해 전장 단말기로 요청하고, 요청에 따라 전장 단말기에서 전송하는 손 제스처에 의해 선택된 메뉴에 대한 화면 정보를 상기 HMD에 디스플레이할 수 있다.
상기 무선 헬멧은, 무선 헬멧 착용자의 음성을 입력하는 음성 입력부; 다른 무선 헬멧 착용자의 음성신호를 출력하는 음성 출력부; 및 상기 음성 입력부를 통해 입력된 무선 헬멧 착용자의 음성을 신호 처리하여 무선 네트워크를 통해 전장 단말기로 전송하고, 전장 단말기로부터 전송되는 다른 무선 헬멧 착용자의 음성을 신호 처리하여 상기 음성 출력부로 출력하는 음성 처리부를 더 포함할 수 있다.
상기 전장 단말기는, 전차나 장갑차 등 외부의 서로 다른 위치에 장착된 다수의 카메라로부터 각 방향에 대한 외부 촬영 영상을 합성하여 360도 전 방향 외부 파노라마 영상을 생성하는 영상 합성부; 상기 생성된 파노라마 영상에 원격에서 제공되는 표적(아군 및 적군)정보 및 장애물 정보를 합성하여 증강 영상을 생성하는 증강 처리부; 상기 증강 처리된 영상을 디스플레이하는 디스플레이부; 상기 증강 처리된 영상을 저장하는 저장부; 및 상기 무선 헬멧으로부터 요청한 무선 헬멧 움직임 방향에 대응하는 영상만을 상기 저장부로부터 추출하여 상기 무선 헬멧으로 무선 네트워크를 통해 전송하는 제어부를 포함할 수 있다.
한편, 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 방법은, 운용자의 머리에 착용된 무선 헬멧에서, 무선 헬멧의 움직임을 감지하고, 감지된 움직임 방향에 대응하는 외부 영상을 무선 네트워크를 통해 요청하고, 상기 요청에 대응하는 움직임 방향에 대응하는 외부 영상을 디스플레이하는 단계; 및 전장 단말기에서, 전차나 장갑차 등 외부의 서로 다른 위치에 장착된 다수의 카메라로부터 각 방향에 대한 외부 촬영 영상을 합성하여 360도 전 방향 외부 파노라마 영상을 생성하고, 생성된 파노라마 영상에 원격에서 제공되는 표적(아군 및 적군)정보 및 장애물 정보를 합성하여 증강 영상을 생성하며, 상기 무선 헬멧으로부터 요청한 움직임 방향에 대응하는 영상만을 추출하여 상기 무선 헬멧으로 무선 네트워크를 통해 전송하는 단계를 포함할 수 있다.
상기 외부 영상을 디스플레이하는 단계는, 무선 헬멧의 움직임을 감지하는 단계; 상기 감지된 움직임 방향을 판단하여, 무선 헬멧의 움직임 방향에 대한 증강 영상을 무선 네트워크를 통해 상기 전장 단말기로 요청하는 단계; 상기 요청에 따라 전장 단말기로부터 무선 네트워크를 통해 전송된 무선 헬멧의 움직임 방향에 대응하는 증강 영상을 수신하는 단계; 및 상기 수신된 헬멧의 움직임 방향에 대응하는 증강 영상을 무선 헬멧의 HMD에 디스플레이하는 단계를 포함할 수 있다.
상기 무선 헬멧의 움직임을 감지하는 단계에서 움직임 감지는, 무선 헬멧의 움직임 방향을 감지하는 지자기 센서; 및 무선 헬멧 착용자의 시선의 움직임을 촬영하는 초소형 카메라를 이용하여 감지할 수 있다.
한편, 본 발명에 따른 무선 헬멧에서의 영상 디스플레이 방법은, 화면 전환 또는 메뉴 선택을 위한 무선 헬멧 착용자의 손 제스처를 촬영하는 단계; 상기 촬영된 무선 헬멧 착용자의 손 제스처를 인식하여 인식된 손 제스처에 의해 선택된 화면 전환 및 메뉴 선택 명령어를 전장 단말기로 전송하는 단계; 및 상기 전송된 명령에 대응하는 정보를 전장 단말기로부터 수신하여 상기 무선 헬멧의 HMD에 디스플레이하는 단계를 더 포함할 수 있다.
상기 손 제스처의 촬영은, 무선 헬멧 전방 위치에 설치된 CCD 카메라 또는 IR 카메라를 이용할 수 있다.
상기 전송하는 단계는, 전차나 장갑차 등 외부의 서로 다른 위치에 장착된 다수의 카메라로부터 각 방향에 대한 외부 촬영 영상을 합성하여 360도 전 방향 외부 파노라마 영상을 생성하는 단계; 상기 생성된 파노라마 영상에 원격에서 제공되는 표적(아군 및 적군)정보 및 장애물 정보를 합성하여 증강 영상을 생성하는 단계; 상기 증강 처리된 영상을 메모리에 저장하고, 디스플레이장치에 디스플레이하는 단계; 및 상기 무선 헬멧으로부터 요청한 무선 헬멧 움직임 방향에 대응하는 영상만을 상기 저장부로부터 추출하여 상기 무선 헬멧으로 무선 네트워크를 통해 전송하는 단계를 포함할 수 있다.
상기 방법은, 무선 헬멧 착용자의 음성을 마이크를 통해 입력하는 단계; 및 상기 입력된 무선 헬멧 착용자의 음성을 신호 처리하여 무선 네트워크를 통해 전장 단말기로 전송하고, 전장 단말기로부터 전송되는 다른 무선 헬멧 착용자의 음성을 신호 처리하여 음성 출력부를 통해 출력하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 헬멧과 전차나 장갑차 내부 전장 단말기간 무선으로 음성 통신을 수행함으로써, 운용자가 전차나 장갑차 외부로 이동시에도 자유롭게 음성 통신이 가능한 효과가 있다.
또한, 본 발명에 따른 전차나 장갑차 등의 운용을 담당하는 운용자가 착용하는 헬멧의 HMD에 360도 전 방향의 영상 및 헬멧을 착용한 운용자의 움직임에 따른 해당 방향의 증강 영상을 HMD에 디스플레이하여 줌으로써, 전차나 장갑차 내, 외부에서도 용이하게 외부 상황을 감시할 수 있는 이점이 있다.
즉, 본 발명에 따르면, 기동차량, 무인차량, 상용의 승무원이 필요한 체계 등 다수의 운용자가 운용하는 시스템에서 HMD를 통한 영상 및 메시지 공유가 가능하고 차량 외부로 무선 운용이 가능한 헬멧을 제공하여 다양한 운용 환경을 제공할 수 있는 효과가 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시 예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 무선 헬멧과 전장 단말기간의 네트워크 연결관계를 나타낸 도면.
도 2는 본 발명에 따른 무선 헬멧에서의 HMD에 영상이 디스플레이되는 방법에 대한 일 예시도.
도 3은 운용자가 전차나 장갑차 하차 시, 무선 정보 유지 상태를 설명하기 위한 도면.
도 4는 본 발명에 따른 무선 헬멧에서의 영상 디스플레이 장치에 대한 내부 상세 블록 구성을 나타낸 도면.
도 5는 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 방법에 있어서, 전장 단말기 측에서 수행되는 방법에 대한 동작 플로우챠트를 나타낸 도면.
도 6은 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 방법에 있어서, 무선 헬멧 측에서 수행되는 방법에 대한 동작 플로우챠트를 나타낸 도면.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법에 대하여 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시 예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시 예에 따른 무선 헬멧과 전장 단말기간의 네트워크 연결관계를 나타낸 도면이고, 도 2는 본 발명에 따른 무선 헬멧에서의 HMD에 영상이 디스플레이되는 방법에 대한 일 예시도이며, 도 3은 운용자가 전차나 장갑차 하차 시, 무선 정보 유지 상태를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명에 따른 무선 헬멧은 전차나 장갑차에 탑승한 조종수, 전차장, 사수들, 탄약수들의 머리에 착용하고, 상기 각 무선 헬멧은 전차나 장갑차 내부에 장착된 전장 단말기와 무선으로 통신을 수행하도록 구성될 수 있다. 따라서, 도 3에 도시된 바와 같이 무선 헬멧을 착용한 운용자가 전차나 장갑차 외부로 이동하여도 지속적으로 통신 상태를 유지할 수 있는 것이다.
또한, 도 1에는 도시되지 않았지만. 전차나 장갑차 외부에는 360도 전 방향 영상을 촬영할 수 있는 다수의 카메라가 설치될 수 있다.
상기 전장 단말기는 원격의 지휘 통제 장치와 무선으로 연결되고, 원격의 지휘 통지 장치로부터 전송되는 전장 정보, 전문 정보, 표적(아군/적군) 정보 등을 수신하여 전장 단말기의 디스플레이 장치에 디스플레이할 수 있으며, 해당 정보를 무선 헬멧으로 전송하여 도 2에 도시된 바와 같이 무선 헬멧의 HMD에 디스플레이할 수 있다.
또한, 전장 단말기 운용자는 무선으로 연결된 각 무선 헬멧 착용자와 음성 통신을 수행하여 지휘 정보, 통제 정보 등을 음성으로 송수신할 수 있다.
또한, 전장 단말기는 상기 다수의 카메라들을 통해 촬영된 전 방향 영상을 합성하여 파노라마 영상을 구성하고, 구성된 파노라마 영상을 전장 단말기의 디스플레이 장치에 디스플레이하여 내부 운용자가 외부 전 방향의 상황을 모니터링할 수 있도록 할 수 있다.
또한, 전장 단말기는 상기 구성된 파노라마 영상을 증강 처리하여 파노라마 영상 또는 지도 화면에 원격 지휘 통제장치로부터 수신된 아군 및 적군 정보, 장애물 정보를 합성하여 디스플레이장치에 디스플레이하면서 해당 영상을 저장장치에 저장할 수 있으며, 증강 처리된 파노라마 영상을 무선 통신을 통해 접속된 다수의 무선 헬멧으로 전송하여 무선 헬멧의 HMD에 디스플레이할 수 있다.
그리고, 무선 헬멧은 무선 헬멧의 움직임, 및 무선 헬멧을 착용한 운용자의 시선의 움직임을 감지할 수 있는 장치를 구성하여, 감지된 움직임 정보를 무선 통신을 통해 전장 단말기로 전송한다.
전장 단말기는 무선 헬멧으로부터 무선으로 전송된 움직임 정보를 이용하여 해당 무선 헬멧의 움직임 방향 및 위치에 상응하는 증강 처리된 영상을 무선 헬멧으로 전송할 수 있다.
무선 헬멧은 전장 단말기로부터 전송된 증강 처리된 영상 즉, 운용자 무선 헬멧의 움직임에 따른 방향과 위치에 대한 실시간 영상을 수신하여 HMD에 디스플레이할 수 있다. 따라서, 무선 헬멧을 착용한 운용자가 전차나 장갑차 내부에서도 원하는 방향의 외부 실시간 영상을 모니터링 할 수 있는 것이다.
한편, 무선 헬멧은 무선 헬멧 외부 앞 부분에 카메라(예를 들어 CCD 또는 IR 카메라)를 설치하여 무선 헬멧을 착용한 운용자의 손동작(제스처)을 인식하여 HMD에 디스플레이된 다수의 메뉴들 중 원하는 메뉴를 선택하여 선택된 메뉴에 대응하는 정보를 전장 단말기로 요청할 수 있다.
따라서, 전장 단말기는 무선 헬멧의 요청에 따라 해당 메뉴에 대한 정보를 정보 요청 무선 헬멧으로 전송하고, 해당 무선 헬멧은 해당 정보를 HMD에 디스플레이할 수 있는 것이다.
이와 같은 본 발명에 따른 무선 헬멧과, 전장 단말기의 구성 및 각 구성에 대한 동작에 대하여 도 4를 참조하여 상세하게 살펴보기로 하자.
도 4는 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 장치에 대한 블록 구성을 나타낸 도면이다.
도 4를 참조하면, 본 발명은, 전차나 장갑차 내의 다수의 운용자 예를 들면, 조종수, 전차장, 사수, 탄약수들의 머리에 착용하는 무선 헬멧(100), 전차나 장갑차 내부에 설치되어 무선 헬멧(100) 및 원격의 지휘 통제 장치(미도시)와 무선 통신하는 전장 단말기(200) 및 전차 외부에 서로 다른 위치에 각각 설치되어 360도 전 방향 영상을 촬영하는 다수의 카메라(300, 31, 32, 33)를 포함할 수 있다.
상기 무선 헬멧(100)은 움직임 감지부(110), 카메라(120), 제스처 인식부(130), 제어부(140), HMD(150), 음성 입력부(160), 음성 출력부(170), 음성 처리부(180) 및 통신부(190)를 포함할 수 있다.
한편, 전장 단말기(200)는 통신부(210), 제어부(220), 영상 합성부(230), 디스플레이부(240), 증강 처리부(250) 및 저장부(260)를 포함할 수 있다.
먼저, 전차나 장갑차 외부의 서로 다른 위치에 설치된 다수의 카메라(300, 310, 320, 330)를 통해 촬영된 서로 다른 방향의 촬영 영상은 전장 단말기(200)의 영상 합성부(230)로 제공된다.
영상 합성부(230)는 각 카메라(300, 310, 320, 330)를 통해 촬영 서로 다른 각 방향에 대한 영상을 합성하여 파노라마 영상을 생성하여 증강 처리부(250)로 제공한다.
제어부(220)는 통신부(210)를 통해 무선 헬멧(100)으로부터 전송되는 음성 신호를 처리하여 다른 운용자들이 착용한 무선 헬멧으로 전송한다.
그리고, 제어부(220)는 통신부(210)를 통해 원격 지휘 통제 장치로부터 전송된 전장 정보, 아군/적군 위치 정보, 장애물 정보 등 다수의 정보를 수신하여 해당 정보를 디스플레이부(240)에 지도 정보와 함께 디스플레이하거나, 증강 처리부(250)로 제공한다.
증강 처리부(250)는 상기 영상 합성부(230)에서 합성된 실시간 전 방향 파노라마 영상에 아군/적군 정보, 장애물 정보를 합성하는 증강 처리한 후, 처리된 증강 영상을 저장부(260)에 저장함과 동시에 해당 영상을 선택적으로 디스플레이부(240)에 디스플레이한다. 여기서, 디스플레이부(240)는 운용자의 메뉴 선택에 따라 화면을 분할하여 지도 정보, 전장 정보, 증강 영상(표적정보가 포함된 파노라마 외부 영상)을 각각 표시할 수도 있고, 전장 단말기(200) 운용자의 메뉴 선택에 따라 화면 전환을 통해 각각의 정보를 하나의 화면에 디스플레이할 수도 있음을 이해해야 할 것이다.
또한, 제어부(220)는 무선 헬멧(100)으로부터 무선 헬멧(100)의 움직임에 따른 방향에 대응하는 증강 영상 요청이 있는 경우, 해당 무선 헬멧(100)의 움직임 방향에 상응하는 증강 영상을 저정부(260)로부터 리드하여 통신부(210)를 통해 무선 헬멧(100)으로 전송할 수 있다.
한편, 무선 헬멧(100)의 음성 입력부(160)는 무선 헬멧(100) 착용자의 음성신호를 입력할 수 있는 마이크이며, 입력된 운용자의 음성신호를 음성 처리부(180)를 통해 제어부(140)로 제공한다.
또한, 음성 출력부(170)는 이어셋으로서, 음성 처리부(180)를 통해 수신되는 다른 운용자의 음성 신호를 출력할 수 있다. 여기서, 음성 처리부(180), 음성 입력부(160) 및 음성 출력부(170)의 기능은 일반적으로 공지된 기술로서, 상세 설명을 생략하기로 한다.
한편, 무선 헬멧(100)의 움직임 감지부(110)는 무선 헬멧(100)을 착용한 운용자의 무선 헬멧 움직임(예를 들어, 고개 좌, 우, 상, 하 움직임) 및 무선 헬멧(100) 착용 운용자의 시선의 움직임을 감지하여 감지된 신호를 제어부(140)로 제공할 수 있다. 여기서, 상기 움직임 감지부(110)는 GPS, 지자기 센서, 초소형 카메라를 포함할 수 있으며, 상기 지자기 센서는 무선 헬멧의 움직임 방향을 감지하는 센서이고, 초소형 카메라는 운용자의 눈동자의 상, 하, 좌, 우 움직임을 감지하여 운용자의 시선 방향을 감지하는 것이다.
제어부(140)는 상기한 움직임 감지부(110)에서 제공되는 무선 헬멧의 움직임 및 운용자의 시선 움직임 감지 신호를 이용하여 무선 헬멧(100)의 움직임 방향 데이터 및 운용자 시선 움직임 데이터를 암호화하여 통신부(190)를 통해 전장 단말기(200)로 무선 전송한다.
제어부(140)는 상기 무선 헬멧(100)의 움직임 방향 데이터 및 운용자 시선 움직임 데이터의 전송에 따라 전장 단말기(200)로부터 해당 무선 헬멧(100)의 움직임 방향 및 시선 움직임 방향에 대응되는 증강 영상을 수신하여 HMD(150)에 도 2와 같이 디스플레이한다.
또한, 카메라(120)는 무선 헬멧(100)의 앞 부분에 설치된 것으로, 무선 헬멧(100)을 착용한 운용자의 손 제스처를 촬영하여 촬영된 제스처 영상을 제스처 인식부(130)로 제공한다. 상기한 손 제스처는 HMD(150) 화면에서 원하는 메뉴를 선택하기 위한 제스처다.
제스처 인식부(130)는 상기 카메라(120)에 의해 촬영된 영상으로부터 무선 헬멧(100) 착용 운용자의 손 선택 위치를 인식하여 해당 인식 정보를 제어부(140)로 제공한다.
제어부(140)는 상기 제스처 인식부(130)에서 제공되는 제스처 인식 정보를 분석하여 무선 헬멧(100) 착용 운용자가 어느 위치의 메뉴를 선택하였는지를 분석한다.
제어부(140)는 분석 결과에 따라 해당 메뉴에 대한 화면 정보를 전장 단말기(200)로 통신부(190)를 통해 요청하고, 전장 단말기(200)로부터 해당 메뉴에 대한 화면 정보를 통신부(190)를 통해 수신하여 해당 선택 메뉴에 대한 화면 정보를 HMD(150)에 디스플레이한다.
상기와 같이 구성된 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 장치의 동작을 순차적으로 상세하게 설명하기로 한다. 상세 설명에 앞서, 무선 헬멧(100)과 전장 단말기(200)간의 음성 통신 동작에 대해서는 이미 공지된 기술적 사상으로서 상세 설명은 생략하기로 한다.
먼저, 전장 단말기(200)의 제어부(220)는 도면에는 도시되지 않았지만, GPS 장치를 통해 수신된 정보를 이용하여 현재 위치에 따른 지도 정보를 생성하여 디스플레이부(20)에 지도 정보를 디스플레이하고, 통신부(210)를 통해 원격의 지휘 통제 장치로부터 전장 정보, 훈련/작전에 대한 전문 정보를 수신하여 해당 정보를 디스플레이부(240)에 각각 디스플레이할 수 있다.
또한, 전장 단말기(200)의 제어부(220)는 상기 지도 정보 및 전장 정보, 훈련/작전에 대한 전문 정보를 통신부(210)를 통해 무선 헬멧(100)으로 전송하고, 무선 헬멧(100)의 제어부(140)는 통신부(190)를 통해 수신되는 지도 정보, 전장 정보, 훈련/작전에 대한 전문 정보를 HMD(150)에 동일하게 디스플레이할 수 있다.
한편, 전장 단말기(200)의 영상 합성부(230)는 전차나 장갑차 외부 서로 다른 위치에 각각 설치된 다수의 카메라(300, 310, 320, 330)에서 각각 촬영된 각 방향의 외부 영상을 합성하여 360도 전 방향 파노라마 영상을 생성한 후, 생성된 360도 전 방향 파노라마 영상을 증강 처리부(250)로 제공한다.
이때, 증강 처리부(250)는 제어부(220)로부터 원격의 지휘 통제 장치로부터 수신된 아군/적군 정보, 장애물 정보를 상기 생성된 360도 전 방향 파노라마 영상과 합성하여 증강 처리한 후, 저장부(260)에 저장함과 동시에 디스플레부(240)에 디스플레이한다. 이때, 제어부(220)는 무선 헬멧(100)의 움직임에 따라 해당 방향의 영상 요청이 있는 경우, 상기 증강 처리된 360도 전 방향 파노라마 영상 중 상기 무선 헬멧(100)의 움직임에 따른 해당 방향의 영상만을 저장부(260)로부터 추출하여 무선 헬멧(100)으로 전송하여 무선 헬멧(100)의 HMD(150)에 디스플레이할 수 있다.
이하, 무선 헬멧(100)에서 무선 헬멧(100)의 움직임에 따라 해당 움직임 방향에 대한 외부 실시간 영상을 전장 단말기(200)로 요청하는 동작에 대하여 살펴보자.
먼저, 무선 헬멧(100)의 움직임 감지부(110)는 무선 헬멧(100)을 착용한 운용자의 무선 헬멧 움직임(예를 들어, 고개 좌, 우, 상, 하 움직임) 및 무선 헬멧(100) 착용 운용자의 시선의 움직임을 감지하여 감지된 신호를 제어부(140)로 제공할 수 있다. 여기서, 상기 움직임 감지부(110)는 GPS, 지자기 센서, 초소형 카메라를 포함할 수 있으며, 상기 지자기 센서는 무선 헬멧의 움직임 방향을 감지하는 센서이고, 초소형 카메라는 운용자의 눈동자의 상, 하, 좌, 우 움직임을 감지하여 운용자의 시선 방향을 감지하는 것이다.
제어부(140)는 상기한 움직임 감지부(110)에서 제공되는 무선 헬멧의 움직임 및 운용자의 시선 움직임 감지 신호를 이용하여 무선 헬멧(100)의 움직임 방향 데이터 및 운용자 시선 움직임 데이터를 암호화하여 통신부(190)를 통해 전장 단말기(200)로 무선 전송한다.
이에, 전장 단말기(200)의 제어부(220)는 상기 무선 헬멧(100)으로부터 전송된 암호화된 무선 헬멧(100)의 움직임 방향 데이터 및 운용자의 시선 움직임 데이터를 복호화한 후, 복호화된 무선 헬멧(100)의 움직임 방향 데이터 및 운용자 시선 움직임 데이터에 대응하는 방향의 증강 영상을 저장부(260)로부터 리드 또는 증강 처리부(250)로부터 현재 처리된 실시간 영상으로부터 해당 방향에 대한 영상만을 추출하여 통신부(210)를 통해 무선 헬멧(100)으로 전송한다.
무선 헬멧(100)의 제어부(140)는 상기 무선 헬멧(100)의 움직임 방향 데이터 및 운용자 시선 움직임 데이터의 전송에 따라 전장 단말기(200)로부터 해당 무선 헬멧(100)의 움직임 방향 및 시선 움직임 방향에 대응되는 위치의 증강 영상을 수신하여 HMD(150)에 도 2와 같이 디스플레이한다. 여기서, 상기 HMD(150)에는 증강 영상이 디스플레이되는 영역 및 다수의 메뉴 및 전장 정보가 디스플레이되는 영역으로 분할되어 디스플레이될 수 있으며, 상기 증강 영상의 위치 및 방향에 아군이나 적군의 위치 및 장애물 정보가 포함되는 경우 해당 영상에는 아군 및 적군의 표식 및 장애물 정보도 해당 위치에 디스플레이된다. 한편, 메뉴 선택에 따라 증강 영상과 전장 정보에 대한 영상을 선택적으로 화면 전환하여 디스플레이할 수도 있다.
이와 같이, 증강 영상을 HMD(150)에 디스플레이하고 있는 상태에서, 무선 헬멧(100)을 착용하고 있는 운용자가 화면 전환 또는 다른 정보의 모니터링을 위해 메뉴를 선택하는 동작에 대하여 살펴보자.
먼저, 무선 헬멧(100)의 앞 부분에 설치된 카메라(120)를 이용하여 무선 헬멧(100)을 착용한 운용자의 손 제스처를 촬영하고, 촬영된 제스처 영상을 제스처 인식부(130)로 제공한다. 상기한 손 제스처는 HMD(150) 화면에서 원하는 메뉴를 선택하기 위한 제스처다.
제스처 인식부(130)는 상기 카메라(120)에 의해 촬영된 영상으로부터 무선 헬멧(100) 착용 운용자의 손의 선택 위치를 인식하여 해당 인식 정보를 제어부(140)로 제공한다.
제어부(140)는 상기 제스처 인식부(130)에서 제공되는 제스처 인식 정보를 분석하여 무선 헬멧(100) 착용 운용자가 어느 위치의 메뉴를 선택하였는지를 분석한다.
제어부(140)는 분석 결과에 따라 해당 메뉴에 대한 화면 정보를 전장 단말기(200)로 통신부(190)를 통해 요청하고, 전장 단말기(200)로부터 해당 메뉴에 대한 화면 정보를 통신부(190)를 통해 수신하여 해당 선택 메뉴에 대한 화면 정보를 HMD(150)에 디스플레이하는 것이다.
상기한 본 발명의 바람직한 실시 에에 따른 무선 헬멧에서의 영상 디스플레이 장치의 동작과 상응하는 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 방법을 도 5 및 도 6을 참조하여 무선 헬멧에서의 처리 방법과 전장 단말기에서의 처리 방법을 각각 구분하여 순차적으로 설명하기로 한다.
도 5는 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 방법에 있어서, 전장 단말기에서의 처리 방법에 대한 동작 플로우챠트를 나타낸 도면이다. 여기서, 원격 지휘 통제 장치로부터 수신된 지도 정보 및 각종 전장 정보를 디스플레이하는 동작은 이미 공지된 일반적인 기술적 사상으로서 이하의 설명에서는 생략하고, 무선 헬멧의 움직임에 따른 영상 처리 및 전송 동작에 대해서만 순차적으로 설명하기로 한다.
도 5를 참조하면, 먼저 전차나 장갑차 외부 서로 다른 위치에 각각 설치된 다수의 카메라를 이용하여 외부 각 방향(전 방향)에 대한 영상을 촬영한다(S501).
이어, 상기 S501 단계에서 각 카메라를 통해 촬영한 각 방향의 촬영 영상을 합성하여 360도 전 방향 파노라마 영상을 생성한다(S502).
그리고, 원격의 지휘 통제 시스템에서 제공하는 표적(아군/적군) 위치 정보, 장애물 정보들을 상기 생성된 영상에 합성하여 증강 영상을 생성한다(S503)
이어, 생성된 증강 영상을 전장 단말기내 메모리에 저장하고, 전장 단말기의 디스플레이 장치에 디스플레이할 수 있다(S504).
이 상태에서, 무선 헬멧으로부터 무선 헬멧의 움직임 감지 및 무선 헬멧 착용자의 시건 움직임 감지에 따른 해당 방향의 영상 요청이 있는지 판단한다(S505).
판단 결과, 무선 헬멧으로부터 무선 헬멧의 움직임 및 시선 움직임 감지에 따른 해당 방향의 영상 요청이 있는 경우, 무선 헬멧의 움직임 방향 및 운용자 시선 움직임 방향에 대한 증강 영상을 메모리로부터 추출하여 무선 헬멧으로 전송한다(S506).
한편, 무선 헬멧에서의 동작에 대하여 도 6을 참조하여 단계적으로 살펴보자.
도 6은 본 발명의 바람직한 실시 예에 따른 무선 헬멧에서의 영상 디스플레이 방법에 있어서, 무선 헬멧에서의 처리 방법에 대한 동작 플로우챠트를 나타낸 도면이다.
도 6을 참조하면, 먼저 무선 헬멧을 착용한 운용자의 무선 헬멧 움직임(예를 들어, 고개 좌, 우, 상, 하 움직임) 및 무선 헬멧을 착용한 운용자의 시선의 움직임을 감지할 수 있다(S601). 여기서, 상기 무선 헬멧의 움직임 및 운용자의 시선 움직임 감지는 GPS, 지자기 센서, 초소형 카메라를 이용할 수 있으며, 상기 지자기 센서는 무선 헬멧의 움직임 방향을 감지하는 센서이고, 초소형 카메라는 운용자의 눈동자의 상, 하, 좌, 우 움직임을 감지하여 운용자의 시선 방향을 감지하는 것이다.
무선 헬멧의 움직임 또는 무선 헬멧 착용자의 시선 움직임이 발생되었는지 판단한다(S602).
판단 결과, 무선 헬멧의 움직임 또는 무선 헬멧 착용자의 시선 움직임이 발생한 경우, 무선 헬멧의 움직임 방향 또는 착용자 시선의 움직임 방향에 대응하는 증강 영상을 전장 단말기로 요청한다(S603).
상기 요청에 따라 도 5의 S506단계를 통해 전송된 해당 무선 헬멧 움직임 방향에 대한 증강 영상이 수신되었는지 판단한다(S604).
판단 결과, 전장 단말기로부터 무선으로 무선 헬멧의 움직임 방향에 대응하는 증강 영상이 수신되는 경우, 해당 수신된 증강 영상을 무선 헬멧의 HMD에 디스플레이한다(S605). 여기서, HMD는 상기 수신된 증강 영상 및 각종 전장 정보, 메뉴 정보 등이 각각 서로 다른 화면에 디스플레이될 수 있으며, 하나의 화면에 무선 헬멧의 메뉴 선택에 따라 해당 정보가 디스플레이될 수 있다.
이어, 사용자로부터 메뉴 선택 또는 화면 전환을 위한 손 제스처를 감지하여 손 제스처가 인식된 경우, 인식된 손 제스처에 대한 선택 위치를 판단한다(S606).
이어, 상기 판단된 인식된 손 제스처에 대한 선택 위치의 메뉴에 대한 화면 정보를 전장 단말기로 요청한다(S607).
이에, 전장 단말기로부터 선택 메뉴에 대한 화면 정보를 수신하여, HMD에 디스플레이하는 것이다(S608).
결국, 본 발명에 따른 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법에 따르면, 헬멧과, 전차나 장갑차 내부 전장 단말기간 무선으로 음성 통신을 수행함으로써, 운용자가 외부로 전차나 장갑차 이동 시에도 자유롭게 음성 통신이 가능하다.
또한, 본 발명은, 전차나 장갑차등의 운용을 담당하는 운용자가 착용하는 헬멧의 HMD에 360도 전 방향의 영상 및 헬멧을 착용한 운용자의 움직임에 따른 해당 방향의 영상을 HMD에 디스플레이하여 줌으로써, 전차나 장갑차 내부에서도 용이하게 외부 상황을 감시할 수 있다. 즉, 기동차량, 무인차량, 사용의 승무원이 필요한 체계 등 다수의 운용자가 운용하는 시스템에서 HMD를 통한 영상 및 메시지 공유가 가능하고 차량 외부로 무선 운용이 가능한 헬멧을 제공하여 다양한 운용 환경을 제공할 수 있는 것이다.
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합되어 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서와 같이, 본 발명에 따른 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 무선 헬멧
110 : 움직임 감지부
120, 300, 310, 320, 330 : 카메라
130 : 제스처 인식부
140 : 제어부
150 : HMD
160 : 음성 입력부
170 : 음성 출력부
180 : 음성 처리부
190, 210 : 통신부
200 : 전장 단말기
220 : 제어부
230 : 영상 합성부
240 : 디스플레이부
250 : 증강 처리부
260 : 저장부

Claims (15)

  1. 운용자의 머리에 착용하여, 운용자의 머리 움직임을 감지하고, 감지된 움직임 방향에 대응하는 외부 영상을 무선 네트워크를 통해 전장 단말기로 요청하고, 상기 요청에 대응하는 움직임 방향에 대응하는 외부 영상을 전장 단말기로부터 수신하여 디스플레이하는 무선 헬멧; 및
    전장 단말기를 포함하되,
    상기 전장 단말기는,
    전차나 장갑차 등 외부의 서로 다른 위치에 장착된 다수의 카메라로부터 각 방향에 대한 외부 촬영 영상을 합성하여 360도 전 방향 외부 파노라마 영상을 생성하는 영상 합성부;
    상기 생성된 파노라마 영상에 원격에서 제공되는 표적(아군 및 적군)정보 및 장애물 정보를 합성하여 증강 영상을 생성하는 증강 처리부;
    상기 증강 처리된 영상을 디스플레이하는 디스플레이부;
    상기 증강 처리된 영상을 저장하는 저장부; 및
    상기 무선 헬멧으로부터 요청한 무선 헬멧 움직임 방향에 대응하는 영상만을 상기 저장부로부터 추출하여 상기 무선 헬멧으로 무선 네트워크를 통해 전송하는 제어부를 포함하는 것인 무선 헬멧에서의 영상 디스플레이 장치.
  2. 제1항에 있어서,
    상기 무선 헬멧은,
    무선 헬멧의 움직임을 감지하는 움직임 감지부;
    상기 움직임 감지부에서 감지된 움직임 방향을 판단하여, 무선 헬멧의 움직임 방향에 대한 증강 영상을 무선 네트워크를 통해 상기 전장 단말기로 요청하고, 상기 요청에 따라 전장 단말기로부터 무선 네트워크를 통해 전송된 무선 헬멧의 움직임 방향에 대응하는 증강 영상을 수신하는 제어부; 및
    상기 제어부를 통해 수신된 헬멧의 움직임 방향에 대응하는 증강 영상을 디스플레이하는 HMD를 포함하는 것인 무선 헬멧에서의 영상 디스플레이 장치.
  3. 제2항에 있어서,
    상기 움직임 감지부는,
    무선 헬멧의 움직임 방향을 감지하는 지자기 센서; 및
    무선 헬멧 착용자 시선의 움직임을 촬영하는 초소형 카메라를 포함하는 것인 무선 헬멧에서의 영상 디스플레이 장치.
  4. 제2항에 있어서,
    상기 무선 헬멧은,
    무선 헬멧의 전방 위치에 설치되어 화면 전환 또는 메뉴 선택을 위한 무선 헬멧 착용자의 손 제스처를 촬영하는 카메라; 및
    상기 카메라로부터 촬영된 무선 헬멧 착용자의 손 제스처를 인식하여 상기 제어부로 제공하는 제스처 인식부를 더 포함하는 것인 무선 헬멧에서의 영상 디스플레이 장치.
  5. 제4항에 있어서,
    상기 손 제스처를 촬영하는 카메라는 CCD 카메라 또는 IR 카메라인 것인 무선 헬멧에서의 영상 디스플레이 장치.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 제스처 인식부로부터 인식된 무선 헬멧 착용자의 손 제스처에 의해 선택된 메뉴에 대한 정보를 무선 네트워크를 통해 전장 단말기로 요청하고, 요청에 따라 전장 단말기에서 전송하는 손 제스처에 의해 선택된 메뉴에 대한 화면 정보를 상기 HMD에 디스플레이 하는 것인 무선 헬멧에서의 영상 디스플레이 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 무선 헬멧은,
    무선 헬멧 착용자의 음성을 입력하는 음성 입력부;
    다른 무선 헬멧 착용자의 음성신호를 출력하는 음성 출력부;
    상기 음성 입력부를 통해 입력된 무선 헬멧 착용자의 음성을 신호 처리하여 무선 네트워크를 통해 전장 단말기로 전송하고, 전장 단말기로부터 전송되는 다른 무선 헬멧 착용자의 음성을 신호 처리하여 상기 음성 출력부로 출력하는 음성 처리부를 더 포함하는 것인 무선 헬멧에서의 영상 디스플레이 장치.
  9. 운용자의 머리에 착용된 무선 헬멧에서, 무선 헬멧의 움직임을 감지하고, 감지된 움직임 방향에 대응하는 외부 증강 영상을 무선 네트워크를 통해 요청하는 단계;
    전장 단말기에서, 전차나 장갑차 등 외부의 서로 다른 위치에 장착된 다수의 카메라로부터 각 방향에 대한 외부 촬영 영상을 합성하여 360도 전 방향 외부 파노라마 영상을 생성하는 단계;
    전잔 단말기에서, 상기 생성된 파노라마 영상에 원격에서 제공되는 표적(아군 및 적군)정보 및 장애물 정보를 합성하여 증강 영상을 생성하는 단계;
    전장 단말기에서, 상기 증강 처리된 영상을 메모리에 저장하고, 디스플레이장치에 디스플레이하는 단계; 및
    전장 단말기에서, 상기 무선 헬멧으로부터 요청한 무선 헬멧 움직임 방향에 대응하는 외부 증강 영상만을 저장부로부터 추출하여 상기 무선 헬멧으로 무선 네트워크를 통해 전송하는 단계; 및
    무선 헬멧에서, 상기 전장 단말기로부터 전송된 무선 헬멧의 움직임 방향에 대응하는 외부 증강 영상을 디스플레이하는 단계를 포함하는 것인 무선 헬멧에서의 영상 디스플레이 방법.
  10. 제9항에 있어서,
    상기 외부 증강 영상을 무선 네트워크를 통해 요청하는 단계는,
    무선 헬멧의 움직임을 감지하는 단계; 및
    상기 감지된 움직임 방향을 판단하여, 무선 헬멧의 움직임 방향에 대한 증강 영상을 무선 네트워크를 통해 상기 전장 단말기로 요청하는 단계를 포함하고,
    상기 무선 헬멧에서, 외부 증강 영상을 디스플레이하는 단계는,
    상기 전장 단말기로부터 무선 네트워크를 통해 전송된 무선 헬멧의 움직임 방향에 대응하는 증강 영상을 수신하는 단계; 및
    상기 수신된 헬멧의 움직임 방향에 대응하는 증강 영상을 무선 헬멧의 HMD에 디스플레이하는 단계를 포함하는 것인 무선 헬멧에서의 영상 디스플레이 방법.
  11. 제10항에 있어서,
    상기 무선 헬멧의 움직임을 감지하는 단계에서 움직임 감지는,
    무선 헬멧의 움직임 방향을 감지하는 지자기 센서; 및 무선 헬멧 착용자의 시선의 움직임을 촬영하는 초소형 카메라를 이용하여 감지하는 것인 무선 헬멧에서의 영상 디스플레이 방법.
  12. 제10항에 있어서,
    무선 헬멧에서, 화면 전환 또는 메뉴 선택을 위한 무선 헬멧 착용자의 손 제스처를 촬영하는 단계;
    무선 헬멧에서, 상기 촬영된 무선 헬멧 착용자의 손 제스처를 인식하여 인식된 손 제스처에 의해 선택된 화면 전환 및 메뉴 선택 명령어를 전장 단말기로 전송하는 단계; 및
    무선 헬멧에서, 상기 전송된 명령에 대응하는 정보를 전장 단말기로부터 수신하여 상기 무선 헬멧의 HMD에 디스플레이하는 단계를 더 포함하는 것인 무선 헬멧에서의 영상 디스플레이 방법.
  13. 제12항에 있어서,
    상기 손 제스처의 촬영은, 무선 헬멧 전방 위치에 설치된 CCD 카메라 또는 IR 카메라를 이용하여 촬영하는 것인 무선 헬멧에서의 영상 디스플레이 방법.
  14. 삭제
  15. 제9항에 있어서,
    무선 헬멧에서, 무선 헬멧 착용자의 음성을 마이크를 통해 입력하는 단계;
    무선 헬멧에서, 상기 입력된 무선 헬멧 착용자의 음성을 신호 처리하여 무선 네트워크를 통해 전장 단말기로 전송하고, 전장 단말기로부터 전송되는 다른 무선 헬멧 착용자의 음성을 신호 처리하여 음성 출력부를 통해 출력하는 단계를 더 포함하는 것인 무선 헬멧에서의 영상 디스플레이 방법.
KR1020190083254A 2019-07-10 2019-07-10 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법 KR102048354B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190083254A KR102048354B1 (ko) 2019-07-10 2019-07-10 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190083254A KR102048354B1 (ko) 2019-07-10 2019-07-10 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102048354B1 true KR102048354B1 (ko) 2020-01-23

Family

ID=69368929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190083254A KR102048354B1 (ko) 2019-07-10 2019-07-10 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102048354B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102298623B1 (ko) * 2020-04-29 2021-09-06 현대로템 주식회사 Hmd를 활용한 전차의 상황인식시스템
KR20210120522A (ko) 2020-03-27 2021-10-07 현대로템 주식회사 전투차량용 헬멧 위치 인식장치
CN114500971A (zh) * 2022-02-12 2022-05-13 北京蜂巢世纪科技有限公司 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质
WO2022240003A1 (ko) * 2021-05-14 2022-11-17 주식회사 피앤씨솔루션 증강현실 hmd를 이용한 전차용 전방위 외부 관측 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087292A (ko) * 2016-01-20 2017-07-28 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
KR20170107137A (ko) * 2016-03-14 2017-09-25 윤승훈 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
KR20180095324A (ko) * 2017-02-17 2018-08-27 엘지전자 주식회사 글래스 타입의 이동 단말기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087292A (ko) * 2016-01-20 2017-07-28 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
KR20170107137A (ko) * 2016-03-14 2017-09-25 윤승훈 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
KR20180095324A (ko) * 2017-02-17 2018-08-27 엘지전자 주식회사 글래스 타입의 이동 단말기

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210120522A (ko) 2020-03-27 2021-10-07 현대로템 주식회사 전투차량용 헬멧 위치 인식장치
KR102298623B1 (ko) * 2020-04-29 2021-09-06 현대로템 주식회사 Hmd를 활용한 전차의 상황인식시스템
WO2022240003A1 (ko) * 2021-05-14 2022-11-17 주식회사 피앤씨솔루션 증강현실 hmd를 이용한 전차용 전방위 외부 관측 시스템
KR20220155150A (ko) * 2021-05-14 2022-11-22 주식회사 피앤씨솔루션 증강현실 hmd를 이용한 전차용 전방위 외부 관측 시스템
KR102495641B1 (ko) * 2021-05-14 2023-02-06 주식회사 피앤씨솔루션 증강현실 hmd를 이용한 전차용 전방위 외부 관측 시스템
CN114500971A (zh) * 2022-02-12 2022-05-13 北京蜂巢世纪科技有限公司 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质

Similar Documents

Publication Publication Date Title
KR102048354B1 (ko) 무선 헬멧에서의 영상 디스플레이 장치 및 그 방법
US20200360806A1 (en) Accessory switch method and apparatus in virtual environment, device, and storage medium
US9245389B2 (en) Information processing apparatus and recording medium
US10569874B2 (en) Flight control method and apparatus
US20210260479A1 (en) Operation control method and apparatus, electronic device, and storage medium
AU2013293081B2 (en) Wireless immersive simulation system
US20160309124A1 (en) Control system, a method for controlling an uav, and a uav-kit
US20200106818A1 (en) Drone real-time interactive communications system
EP3299925B1 (en) Method, apparatus and system for controlling unmanned aerial vehicle
KR102125299B1 (ko) 전투차량용 전장상황인식 시스템 및 방법
WO2014115393A1 (ja) 画像表示装置及び画像表示方法、並びに画像表示システム
KR102102643B1 (ko) 글래스 타입 단말기
KR20160148374A (ko) 이동 단말기 및 이의 제어방법
KR20130086192A (ko) 스마트안경을 이용한 무인항공기 제어와 조종시스템
US10337830B2 (en) Portable optical device with interactive wireless remote capability
US20180229669A1 (en) Vehicle-mounted 360 degree field of view surveillance systems
CN109803110B (zh) 一种图像处理方法、终端设备及服务器
CN110622089A (zh) 跟随控制方法、控制终端及无人机
EP2912835A1 (en) Remote surveillance sensor apparatus
KR101784095B1 (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
KR20150089340A (ko) 이동단말기, 이동단말기용 거치대 그리고 이들을 이용한 영상 촬영방법
JP2022003777A (ja) カメラシステム
KR20170081349A (ko) 드론 및 이를 제어하는 이동 단말기
KR100562414B1 (ko) 사이버 포인터 시스템 및 그 제어방법
JP2023531849A (ja) オーディオ認識を行う拡張現実デバイスおよびその制御方法