KR102149455B1 - 헬멧 장치 및 그 동작 방법 - Google Patents

헬멧 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102149455B1
KR102149455B1 KR1020180147691A KR20180147691A KR102149455B1 KR 102149455 B1 KR102149455 B1 KR 102149455B1 KR 1020180147691 A KR1020180147691 A KR 1020180147691A KR 20180147691 A KR20180147691 A KR 20180147691A KR 102149455 B1 KR102149455 B1 KR 102149455B1
Authority
KR
South Korea
Prior art keywords
target
images
image
display
detected
Prior art date
Application number
KR1020180147691A
Other languages
English (en)
Other versions
KR20200068054A (ko
Inventor
이준희
양동원
김성준
최준성
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020180147691A priority Critical patent/KR102149455B1/ko
Publication of KR20200068054A publication Critical patent/KR20200068054A/ko
Application granted granted Critical
Publication of KR102149455B1 publication Critical patent/KR102149455B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H1/00—Personal protection gear
    • F41H1/04—Protection helmets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N5/369—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Helmets And Other Head Coverings (AREA)

Abstract

일부 실시예에 따르면, 복수의 CCD/CMOS 센서들, IR 센서, 복수의 CCD/CMOS 센서들 및 IR 센서 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행하고, 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행하는 제어부 및 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 표적에 대한 탐지 및 분류의 결과와 함께 화면에 디스플레이하는 디스플레이를 포함하는, 헬멧 장치가 개시된다.

Description

헬멧 장치 및 그 동작 방법{helmet apparatus and operating method for the same}
본 개시는 헬멧 장치 및 그 동작 방법에 관한 것이다.
전자 장치의 연산 처리 능력이 증대되면서도 소형화가 가능해짐에 따라 사물 인터넷(Internet of Things: IoT), 증강현실(Augmented Reality: AR), 인공지능(Artificial Intelligence: AI) 등과 같은 첨단 기술의 상용화가 진행되고 있다. 예를 들어, HMD(Head Mounted Display) 장치, NUI(Natural User Interface) 장치 등의 착용형 장치 기반의 가상현실 및 증강현실 관련 기술 분야의 발전이 가속화되고 있다. 착용형 장치의 일 예로서, 스마트 헬멧은 사용자의 머리를 보호하는 본래의 용도 외에도 통신 기능, 정보 처리 기능, 알람 기능 등을 사용자에게 제공할 수 있다. 이와 같이, 사용자에게 다양한 편의를 제공하는 스마트 헬멧은 산업현장뿐만 아니라 작전환경에서도 활용될 수 있다.
작전환경에서 병사들은 접근하는 적군 또는 이동하는 전차 등과 같은 다양한 위험요소에 노출될 수 있으나, 병사 개인이 전방위의 위험요소를 동시에 인지하는 것은 불가능에 가깝다. 병사가 사전에 위험요소를 감지하고 대처할 수 있다면, 병사의 생존 확률이 증가될 수 있고, 성공적인 작전수행이 가능할 수 있다. 따라서, 병사가 사전에 위험요소를 감지하고 대처할 수 있도록 도움을 주는 기능이 탑재된 착용형 장치에 대한 기술이 요구될 수 있다.
다양한 실시예들은 헬멧 장치 및 그 동작 방법을 제공하는데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 헬멧 장치는, 각각이 사용자 주변의 적어도 일 영역을 촬영하도록 배치되는 복수의 CCD/CMOS 센서들; 상기 사용자의 전방을 촬영하도록 배치되는 IR 센서; 상기 복수의 CCD/CMOS 센서들 및 상기 IR 센서 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행하고, 상기 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행하는 제어부; 및 상기 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 상기 표적에 대한 탐지 및 분류의 결과와 함께 화면에 디스플레이하는 디스플레이를 포함할 수 있다.
상기 제어부는, 상기 영상합성처리를 수행하는 제1 프로세서; 및 상기 제1 프로세서와 병렬적으로 동작하여 상기 표적에 대한 탐지 및 분류를 수행하는 제2 프로세서를 포함할 수 있다.
상기 제어부는, 상기 획득된 영상들에 대해 상기 복수의 CCD/CMOS 센서들 및 상기 IR 센서의 움직임을 보상하고, 상기 움직임 보상이 수행된 영상들로부터 배경 영상 모델을 추출하고, 상기 추출된 배경 영상 모델에 기초하여 이동 물체를 탐지하며, 상기 탐지된 이동 물체를 상기 표적으로 결정할 수 있다.
또한, 상기 제어부는, 상기 이동 물체를 탐지하는 과정의 전 또는 후에 상기 움직임 보상이 수행된 영상들에 대한 형태학적 필터링을 수행할 수 있다.
한편, 상기 제어부는, 상기 표적에 대응되는 영상이 입력됨에 따라 기 정의된 복수의 표적 유형들 중에서 하나를 선택하도록 미리 학습된 뉴럴 네트워크를 이용하여 상기 표적의 유형을 분류할 수 있다.
상기 기 정의된 복수의 표적 유형들은 사람, 전차, 비행기 및 클러터 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 디스플레이가 상기 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 화면에 디스플레이할 때, 상기 탐지된 표적을 바운딩 박스(bounding box)로 표시하고, 상기 탐지된 표적의 유형을 아이콘 또는 태그로 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 획득된 영상들 중 상기 디스플레이를 통해 디스플레이되지 않고 있는, 상기 360도 영상의 나머지 일부에 대응되는 영상들에 대해서도 상기 표적에 대한 탐지를 수행하고, 상기 나머지 일부에 대응되는 영상들에서 상기 표적이 탐지된 경우 사용자에게 알람을 제공할 수 있다.
또한, 상기 제어부는, 상기 알람에 대응한 사용자 입력에 기초하여 상기 나머지 일부에 대응되는 영상들을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 헬멧 장치는 시선감지센서를 더 포함하고, 상기 사용자 입력은 상기 시선감지센서에 의해 감지된 상기 사용자의 시선의 기 설정된 이동 패턴에 대응될 수 있다.
또한, 다른 측면에 따른 방법은, 복수의 CCD/CMOS 센서들 및 IR 센서 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행하는 단계; 상기 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행하는 단계; 및 상기 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 상기 표적에 대한 탐지 및 분류의 결과와 함께 화면에 표시하는 단계를 포함할 수 있다.
또한, 또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 기록매체를 포함할 수 있다.
본 개시는 헬멧 장치 및 그 동작 방법을 제공할 수 있다. 구체적으로, 본 개시에 따른 헬멧 장치 및 그 동작 방법은 복수의 CCD/CMOS 센서들 및 IR 센서 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행하고, 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행하며, 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 표적에 대한 탐지 및 분류의 결과와 함께 화면에 디스플레이할 수 있다. 이에 따라, 헬멧 장치를 착용한 사용자(예를 들어, 병사)는 전방에 나타난 표적의 위치 및 정보를 보다 쉽게 파악할 수 있다.
또한, 본 개시에 따른 헬멧 장치 및 그 동작 방법은 디스플레이를 통해 디스플레이되지 않고 있는, 360도 영상의 나머지 일부에 대응되는 영상들에 대해서도 표적에 대한 탐지를 수행하고, 나머지 일부에 대응되는 영상들에서 표적이 탐지된 경우 사용자에게 알람을 제공할 수 있다. 이에 따라, 헬멧 장치를 착용한 사용자는 전방뿐만 아니라 시야가 확보되지 않는 후방에 나타난 표적에 대해서도 신속한 대처가 가능하다.
한편, 본 개시에 따른 헬멧 장치는 적어도 둘 이상의 프로세서들을 포함할 수 있고, 둘 이상의 프로세서들을 이용하여 영상합성처리 및 표적에 대한 탐지 및 분류를 병렬적으로 수행함으로써 영상 처리에 요구되는 시간을 감소시키고, 사용자에게 합성 영상 및 표적에 대한 정보를 신속하게 제공할 수 있다.
도 1은 일부 실시예에 따른 헬멧 장치의 구조를 나타내는 도면이다.
도 2는 일부 실시예에 따른 헬멧 장치를 위에서 내려본 평면도이다.
도 3은 일부 실시예에 따른 헬멧 장치가 표적에 대한 탐지 및 분류를 수행하는 과정의 일 예를 설명하기 위한 도면이다.
도 4는 일부 실시예에 따른 헬멧 장치가 표적에 대한 탐지 및 분류를 수행하는 과정의 다른 예를 설명하기 위한 도면이다.
도 5은 일부 실시예에 따른 헬멧 장치의 구성을 나타내는 블록도이다.
도 6은 일부 실시예에 따른 헬멧 장치의 동작 방법을 나타내는 흐름도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 하기 설명은 실시예들을 구체화하기 위한 것일 뿐 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 당해 기술분야의 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 헬멧 장치 및 그 동작 방법에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일부 실시예에 따른 헬멧 장치의 구조를 나타내는 도면이다.
헬멧 장치(10)는 사용자의 머리에 착용 가능한 HMD 디바이스일 수 있다. 도 1을 참조하면, 헬멧 장치(10)는 내피 커버(105), 복수의 CCD(Charged-Coupled Device)/CMOS(Complementary Metal Oxide Semiconductor) 센서들(110), IR(Infrared Ray) 센서(120), 제어부(125), 디스플레이(130), 브라켓(135) 및 외피 커버(140)를 포함할 수 있다. 한편, 도 1에 도시된 헬멧 장치(10)에는 본 실시예와 관련된 구성들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 헬멧 장치(10)에 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들어, 헬멧 장치(10)는 통신 안테나, GPS 센서, 마이크, 스피커 등을 더 포함할 수 있다. 또한, 헬멧 장치(10)는 입력 장치(미도시) 및 메모리(미도시)를 더 포함할 수 있다.
입력 장치는 사용자가 시스템을 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력 장치는 사용자 손목에 장착되는 형태일 수 있고, 텍스트 입력 및 운용화면의 확대/축소와 관련된 입력을 수신할 수 있다. 다만, 이에 제한되는 것은 아니고, 입력 장치는 키 패드(key pad), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등일 수 있다.
메모리는 헬멧 장치(10) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리는 헬멧 장치(10)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리는 헬멧 장치(10)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다.
메모리는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다. 메모리는 헬멧 장치(10) 내부에 배치될 수 있다. 예를 들어, 메모리는 제어부(125) 내부에 배치될 수 있다. 다만, 이에 제한되는 것은 아니다. 예를 들어, 메모리는 헬멧 장치(10)에 액세스될 수 있는 외부의 다른 스토리지 디바이스를 포함할 수 있다.
복수의 CCD/CMOS 센서들(110) 각각은 CCD 영상 센서 및 CMOS 영상 센서 중 적어도 하나를 포함할 수 있다. 복수의 CCD/CMOS 센서들(110) 각각은 360도 전방위 영상을 생성하기 위해 처리되는 영상 데이터를 획득할 수 있다. 예를 들어, 복수의 CCD/CMOS 센서들(110)은 헬멧 장치(10)를 착용한 사용자 주변의 적어도 일 영역을 촬영하도록 배치될 수 있다. 이하 도 2를 참조하여 복수의 CCD/CMOS 센서들(110)의 배치구조를 보다 상세히 설명한다.
도 2는 일부 실시예에 따른 헬멧 장치를 위에서 내려본 평면도이다.
도 2를 참조하면, 헬멧 장치(10)가 6개의 CCD/CMOS 센서들(110a 내지 110f)를 포함하는 예시가 도시되어 있다. 6개의 CCD/CMOS 센서들(110a 내지 110f) 각각은 60도 이상의 영상각을 가질 수 있고, 헬멧 장치(10)의 중심을 기준으로 60도 간격으로 서로 이격되어 배치될 수 있다. 6개의 CCD/CMOS 센서들(110a 내지 110f)로부터 획득된 6개 영역들에 대한 영상들은 파노라믹 영상 합성 처리를 통해 360도 전방위 파노라마 영상으로 합성될 수 있다. 6개 영역들에 대한 영상들 중 인접하는 두 영상들의 중첩 영역에 대해 KLT(kanade-lucas-tomasi) 추적이 수행될 수 있고, RANSAC(RANdom Sample Consensus), LMEDS(Least Median of Squares) 등의 방법을 통해 기하학적 변환 파라미터가 계산될 수 있다. 예를 들어, 6개 채널들에 대해 6개의 변환 파라미터가 추출될 수 있고, 각 영상에 변환 파라미터 연산이 수행됨에 따라 합성영상이 생성될 수 있다. 이 때, 복수의 CCD/CMOS 센서들(110) 각각에 의해 획득되는 영상은 컬러 영상일 수 있다.
한편, 헬멧 장치(10)는 야간이나 악천후 환경에서도 사용자가 시야를 확보할 수 있도록 적외선을 이용하여 대상을 촬영하는 IR 센서(120)를 더 포함할 수 있다. IR 센서(120)는 헬멧 장치(10)를 착용한 사용자의 전방을 촬영하는 CCD/CMOS 센서(110a)의 옆에 배치되어, 사용자의 전방을 촬영할 수 있다. 6개의 CCD/CMOS 센서들(110a 내지 110f) 중 적어도 하나로부터 획득된 영상들 및 IR 센서(120)로부터 획득된 영상은 이종 영상합성처리를 통해 합성될 수 있다. 이종 영상합성처리를 위해 Pseudo 색상 오버레이가 수행될 수 있다.
한편, 도 2에는 헬멧 장치(10)가 6개의 CCD/CMOS 센서들을 포함하고, 1개의 IR 센서를 포함하는 실시예에 대해서 도시되어 있으나, 이는 예시에 불과할 뿐이다. 헬멧 장치(10)에 포함되는 CCD/CMOS 센서들의 개수는 CCD/CMOS 센서들의 영상각들의 합이 360도 이상이기만 하면 어떠한 개수라도 상관없다. 예를 들어, CCD/CMOS 센서들은 6개가 보다 많을 수도 있고, 적을 수도 있다. 또한, IR 센서도 2개 이상일 수 있으며, IR 센서가 2개 이상인 경우 IR 센서들 중 어느 하나는 후방을 촬영하기 위해 헬멧 장치(10)의 후면에 배치될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
다시 도 1로 돌아와서, 제어부(125)는 시스템을 제어하기 위한 전반적인 역할을 할 수 있다. 예를 들어, 제어부(125)는 복수의 CCD/CMOS 센서들(110), IR 센서(120) 및 디스플레이(130) 각각의 동작을 제어할 수 있다. 또한, 제어부(125)는 복수의 CCD/CMOS 센서들(110), IR 센서(120) 및 디스플레이(130) 외에 헬멧 장치(10)에 포함되는 다양한 구성요소들의 동작을 제어할 수 있다.
제어부(125)는 복수의 CCD/CMOS 센서들(110) 및 IR 센서(120) 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행하고, 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행할 수 있다. 한편, 제어부(125)는 적어도 둘 이상의 프로세서들에 의하여 구현될 수 있다. 예를 들어, 제어부(125)는 영상합성처리를 수행하는 제1 프로세서를 포함하고, 제1 프로세서와 병렬적으로 동작하여 표적에 대한 탐지 및 분류를 수행하는 제2 프로세서를 포함할 수 있다. 본 개시에 따른 헬멧 장치(10)는 둘 이상의 프로세서들을 이용하여 영상합성처리 및 표적에 대한 탐지 및 분류를 병렬적으로 수행함으로써 영상 처리에 요구되는 시간을 감소시키고, 사용자에게 합성 영상 및 표적에 대한 정보를 신속하게 제공할 수 있다.
한편, 제어부(125)에 포함되는 적어도 둘 이상의 프로세서들 각각은 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로 프로세서와 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 제어부(125)는 헬멧 장치(10)의 후면에 배치되어 복수의 CCD/CMOS 센서들(110), IR 센서(120) 및 디스플레이(130)와 유선 또는 무선으로 연결될 수 있다. 다만, 이에 반드시 제한되는 것은 아니고, 제어부(125)는 임의의 적절한 위치에 배치될 수도 있다.
디스플레이(130)는 헬멧 장치(10)에서 처리되는 정보를 표시하는 장치를 의미할 수 있다. 디스플레이(130)는 헬멧 장치(10)에서 사용자의 얼굴에 대면하는 방향에 배치될 수 있다. 디스플레이(130)는 복수의 CCD/CMOS 센서들(110) 및 IR 센서(120)로부터 획득된 영상들에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 디스플레이할 수 있다. 디스플레이(130)는 사용자의 가시영역을 고려하여 360도 영상 중 적어도 일부를 화면에 디스플레이할 수 있다. 예를 들어, 디스플레이(130)는 360도 영상 중 전방 180도 단위의 영상을 화면에 디스플레이할 수 있다. 전방 180도 단위의 영상은 복수의 CCD/CMOS 센서들(110) 중 3개의 CCD/CMOS 센서들 또는 IR 센서(120)로부터 획득된 영상들에 기초하여 생성될 수 있다.
또한, 디스플레이(130)는 360도 영상 중 적어도 일부를 표적에 대한 탐지 및 분류의 결과와 함께 디스플레이할 수 있다. 이에 따라, 헬멧 장치(10)를 착용한 사용자는 전방에 나타난 표적의 위치 및 정보를 보다 쉽게 파악할 수 있다. 한편, 디스플레이(130)는 360도 영상 중 적어도 일부 및 표적에 대한 탐지 및 분류 결과를 화면에 디스플레이하는 것 외에 다양한 영상, 사진 등을 표시할 수도 있다. 예를 들어, 디스플레이(130)는 지도, 영상 외에도 사용자에게 효율적인 인터페이스를 제공하기 위한 다양한 텍스트, 심볼, 각종 메뉴, 전시 정보 등을 포함하는 UI(User interface)를 화면에 표시할 수 있다.
브라켓(135)은 헬멧 장치(10)의 전면에 배치되어 디스플레이(130)를 고정하는 연결 구조를 의미할 수 있다. 일 예에서, 브라켓(135)은 필요에 따라 디스플레이(130)를 위로 젖힐 수 있도록 힌지(hinge) 구조를 포함할 수 있다. 다만, 반드시 이에 제한되는 것은 아니고, 브라켓(135)은 디스플레이(130)를 헬멧 장치(10)에 고정하고, 필요에 따라 이동 가능하게 하는 임의의 적절한 구조를 가질 수 있다.
외피 커버(140)는 내피 커버(105)의 상단 방향에서 내피 커버(105)와 결합되어 내피 커버(105)에 부착되는 복수의 CCD/CMOS 센서들(110), IR 센서(120) 및 제어부(125)를 보호할 수 있다.
지금까지 헬멧 장치(10)의 일 예시에 대해 상세히 설명하였으나, 전술한 예시에 반드시 제한되는 것은 아니다. 헬멧 장치(10)의 전술할 구성들 중 일부 구성은 생략 또는 변경될 수 있고, 헬멧 장치(10)에 전술한 구성들 외에 다른 구성이 추가될 수도 있음은 통상의 기술자라면 쉽게 이해할 것이다. 이하에서는 도 3 및 도 4를 참조하여 헬멧 장치(10)가 표적에 대한 탐지 및 분류를 수행하는 과정을 보다 상세히 설명한다.
도 3은 일부 실시예에 따른 헬멧 장치가 표적에 대한 탐지 및 분류를 수행하는 과정의 일 예를 설명하기 위한 도면이다.
제어부(125)는 표적에 대한 탐지 및 분류에 앞서, 복수의 CCD/CMOS 센서들(110) 및 IR 센서(120) 중 적어도 하나로부터 획득된 영상들에 대해 공간적 필터링을 수행함으로써 획득된 영상들의 노이즈를 제거할 수 있다. 전술한 노이즈 제거는 제어부(125)에 포함되는 제1 프로세서 및 제2 프로세서 중 어느 하나에 의해 수행될 수 있으며, 제1 프로세서 및 제2 프로세서 외의 다른 프로세서에 의해 수행될 수도 있다.
제어부(125)에 포함된 제1 프로세서는 노이즈가 제거된 영상들에 기초하여 표적 탐지를 수행할 수 있다. 예를 들어, 제어부(125)는 획득된 영상들에 대해 복수의 CCD/CMOS 센서들(110) 및 IR 센서(120)의 움직임을 보상하고, 움직임 보상(Motion compensation)이 수행된 영상들로부터 배경 영상 모델을 추출하고, 추출된 배경 영상 모델에 기초하여 이동 물체를 탐지하며, 탐지된 이동 물체를 표적으로 결정할 수 있다. 한편, 제어부(125)는 이동 물체 탐지의 정확도를 증가시키기 위해 이동 물체를 탐지하는 과정의 전 또는 후에 움직임 보상이 수행된 영상들에 대한 형태학적 필터링을 수행할 수 있다. 제1 프로세서는 탐지된 표적에 대응되는 영상을 제2 프로세서에 전달할 수 있다.
제어부(125)에 포함된 제2 프로세서는 표적에 대응되는 영상이 입력됨에 따라 기 정의된 복수의 표적 유형들 중에서 하나를 선택하도록 미리 학습된 뉴럴 네트워크를 이용하여 표적의 유형을 분류할 수 있다. 뉴럴 네트워크는 2개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(Deep Neural Network: DNN) 또는 n-계층 뉴럴 네트워크(n-layers neural networks)일 수 있다. 예를 들어, 뉴럴 네트워크는 Convolutional Neural Networks(CNN)일 수 있다. 다만, 반드시 이에 제한되는 것은 아니며, 뉴럴 네트워크는 Recurrent Neural Networks(RNN), Deep Belief Networks, Restricted Boltzman Machines 등을 포함할 수도 있다.
뉴럴 네트워크는 지도 학습(Supervised learning) 또는 강화 학습(Reinforcement learning)을 통해 학습될 수 있다. 예를 들어, 뉴럴 네트워크는 각각이 표적 영상 및 표적 유형을 매칭한 복수의 훈련 데이터 쌍들을 이용하여 표적 영상이 입력되었을 때 대응되는 표적 유형을 출력하도록 학습될 수 있다. 다만, 이에 반드시 제한되는 것은 아니고, 뉴럴 네트워크는 비지도 학습(unsupervised learning)을 통해 학습될 수도 있다. 한편, 기 정의된 복수의 표적 유형들은 사람, 전차, 비행기 및 클러터 중 적어도 하나를 포함할 수 있다. 다만, 이에 제한되는 것은 아니며, 기 정의된 표적 유형들은 필요에 따라 다양한 유형들을 더 포함할 수 있다.
제2 프로세서는 탐지된 표적에 대한 추론(inference)을 통해 표적이 기 정의된 표적 유형들 중 어느 하나에 해당하는지 분류할 수 있고, 탐지된 표적이 기 정의된 표적 유형들에 해당하지 않는 경우 기타로 분류할 수도 있다.
제어부(125)는 표적에 대한 탐지 및 분류를 완료한 후 표적에 대한 정보를 디스플레이(130)로 전달할 수 있다. 예를 들어, 도 3을 참조하면 제어부(125)는 디스플레이(130)가 영상합성처리를 통해 생성된 360도 영상의 적어도 일부(예를 들어, 전방 180도 영상)를 화면(30)에 디스플레이할 때, 탐지된 표적(310)을 바운딩 박스(bounding box)(312)로 표시하고, 탐지된 표적(310)의 유형을 아이콘 또는 태그(314)로 표시하도록 디스플레이(130)를 제어할 수 있다.
도 4는 일부 실시예에 따른 헬멧 장치가 표적에 대한 탐지 및 분류를 수행하는 과정의 다른 예를 설명하기 위한 도면이다.
제어부(125)는 획득된 영상들 중 디스플레이(130)를 통해 디스플레이되지 않고 있는, 360도 영상의 나머지 일부에 대응되는 영상들(예를 들어, 후방 180도 영상)에 대해서도 표적에 대한 탐지를 수행하고, 나머지 일부에 대응되는 영상들에서 표적이 탐지된 경우 사용자에게 알람을 제공할 수 있다. 예를 들어, 도 4를 참조하면, 디스플레이(130)가 전방 180도 영상(410)을 디스플레이하고 있던 중에 후방에서 표적이 탐지된 경우 제어부(125)는 후방 표적 탐지라는 알람(405)을 표시하도록 디스플레이(130)를 제어할 수 있다.
제어부(125)는 알람(405)에 대응한 사용자 입력에 기초하여 나머지 일부에 대응되는 영상들, 예를 들어, 후방 180도 영상(420)을 표시하도록 디스플레이(130)를 제어할 수 있다. 후방 180도 영상(420)에서 탐지된 표적(425)은 바운딩 박스로 표시될 수 있고, 탐지된 표적(425)의 유형도 아이콘 또는 태그로 표시될 수 있다. 이에 따라, 본 개시에 따른 헬멧 장치(10)를 착용한 사용자는 전방뿐만 아니라 시야가 확보되지 않는 후방에 나타난 표적에 대해서도 신속한 대처가 가능하다.
한편, 제어부(125)는 탐지된 표적의 유형이 클러터로 분류되는 경우 표적이 탐지되었다는 알람을 제공하지 않을 수 있다. 클러터는 지면, 해면, 빗방울 등의 물체로부터 반사되어 수신되는 원치 않는 신호이므로, 불필요한 알람에 의해 사용자가 혼동될 수 있기 때문이다.
일부 실시예에 따르면, 헬멧 장치(10)는 시선감지센서를 더 포함할 수 있다. 이 경우, 디스플레이(130)를 통해 디스플레이되는 영상을 전환하기 위한 사용자 입력은 시선감지센서에 의해 감지된 사용자의 시선의 기 설정된 이동 패턴에 대응될 수 있다. 예를 들어, 제어부(125)는 감지된 사용자의 시선에 기초하여 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시하는지 여부를 판단하고, 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시한다고 판단되는 경우 사용자의 시선 방향으로 화면에 표시되는 영상을 전환할 수 있다. 다만, 이에 제한되는 것은 아니며, 영상 전환을 위한 사용자 입력은 기 설정된 시간 안에 특정 횟수 이상의 눈 깜빡임에 대응될 수 있고, 기 설정된 시간 안에 특정 거리 이상의 시선 이동에 대응될 수도 있다.
도 5은 일부 실시예에 따른 헬멧 장치의 구성을 나타내는 블록도이다.
도 5를 참조하면, 도 1에 도시된 헬멧 장치(10)의 구성들 중 자동 표적 탐지 및 분류를 수행하는데 이용되는 헬멧 장치(10)의 구성들이 도시되어 있다. 헬멧 장치(10)는 6개의 CCD/CMOS 센서들(110a 내지 110f), IR 센서(120), 제어부(125) 및 디스플레이(130)를 포함할 수 있다. 제어부(125)는 입력영상 보정, 표적탐지/추적, 영상합성 처리, 시선추적 처리, 영상전시 처리, UI 도시처리, 영상 압축, 영상 복원, 무선 통신 처리 등 다양한 동작을 수행할 수 있다.
예를 들어, 제어부(125)는 IR 센서(120)로부터 IR 영상을 획득하고, 6개의 CCD/CMOS 센서들(110a 내지 110f)로부터 CCD/CMOS 영상들을 획득할 수 있다. 제어부(125)는 획득된 영상들에 대해 영상 보정을 수행한 후 표적탐지 및 영상합성처리를 병렬적으로 수행할 수 있다. 제어부(125)는 표적탐지를 통해 표적영상을 생성하고, 생성된 표적영상에 대해 표적분류를 수행함으로써 표적 정보를 획득할 수 있다. 또한, 제어부(125)는 영상합성처리를 통해 생성된 합성영상에 표적정보를 추가함으로써 최종적인 전시영상을 생성할 수 있다. 제어부(125)는 생성된 전시영상을 디스플레이(130)로 전달할 수 있다.
한편, 헬멧 장치(10)는 전술한 구성들 외에 무선통신장치(미도시)를 더 포함할 수 있다. 헬멧 장치(10)는 무선통신장치를 통해 제어부(125)에 의해 생성된 전시영상을 다른 단말로 송신할 수 있고, 다른 단말로부터 생성된 영상을 수신할 수도 있다. 이에 따라, 헬멧 장치(10)를 착용한 사용자와 다른 병사들 간에 영상과 전장정보가 공유될 수 있다.
도 6은 일부 실시예에 따른 헬멧 장치의 동작 방법을 나타내는 흐름도이다.
도 6을 참조하면, 헬멧 장치의 동작 방법은 도 1 및 도 5에 도시된 헬멧 장치(10)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 헬멧 장치(10)에 관하여 위에서 도 1 내지 도 5를 참조하여 서술된 내용은 도 6의 헬멧 장치의 동작 방법에도 적용됨을 알 수 있다.
단계 610에서, 헬멧 장치는 복수의 CCD/CMOS 센서들 및 IR 센서 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행할 수 있다.
단계 620에서, 헬멧 장치는 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행할 수 있다. 예를 들어, 헬멧 장치는 획득된 영상들에 대해 복수의 CCD/CMOS 센서들 및 IR 센서의 움직임을 보상하고, 움직임 보상이 수행된 영상들로부터 배경 영상 모델을 추출하고, 추출된 배경 영상 모델에 기초하여 이동 물체를 탐지하며, 탐지된 이동 물체를 표적으로 결정할 수 있다. 헬멧 장치(10)는 이동 물체를 탐지하는 과정의 전 또는 후에 움직임 보상이 수행된 영상들에 대한 형태학적 필터링을 수행할 수도 있다.
헬멧 장치는 표적에 대응되는 영상이 입력됨에 따라 기 정의된 복수의 표적 유형들 중에서 하나를 선택하도록 미리 학습된 뉴럴 네트워크를 이용하여 표적의 유형을 분류할 수 있다. 기 정의된 복수의 표적 유형들은 사람, 전차, 비행기 및 클러터 중 적어도 하나를 포함할 수 있다. 다만, 이에 제한되는 것은 아니다. 한편, 전술한 단계 610 및 단계 620은 병렬적으로 수행될 수 있다.
단계 630에서, 헬멧 장치는 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 표적에 대한 탐지 및 분류의 결과와 함께 화면에 표시할 수 있다. 예를 들어, 헬멧 장치는 디스플레이가 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 화면에 디스플레이할 때, 탐지된 표적을 바운딩 박스로 표시하고, 탐지된 표적의 유형을 아이콘 또는 태그로 표시하도록 디스플레이를 제어할 수 있다.
또한, 헬멧 장치는 획득된 영상들 중 디스플레이를 통해 디스플레이되지 않고 있는, 360도 영상의 나머지 일부에 대응되는 영상들에 대해서도 표적에 대한 탐지를 수행하고, 나머지 일부에 대응되는 영상들에서 표적이 탐지된 경우 사용자에게 알람을 제공할 수 있다. 헬멧 장치는 알람에 대응한 사용자 입력에 기초하여 나머지 일부에 대응되는 영상들을 표시하도록 디스플레이를 제어할 수 있다. 헬멧 장치가 시선감지센서를 더 포함하는 경우 사용자 입력은 시선감지센서에 의해 감지된 사용자의 시선의 기 설정된 이동 패턴에 대응될 수 있다. 다만, 이에 제한되는 것은 아니다.
한편, 전술한 헬멧 장치(10)의 동작 방법은 그 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다. 컴퓨터로 읽을 수 있는 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (12)

  1. 각각이 사용자 주변의 적어도 일 영역을 촬영하도록 배치되는 복수의 CCD/CMOS 센서들;
    상기 사용자의 전방을 촬영하도록 배치되는 IR 센서;
    상기 복수의 CCD/CMOS 센서들 및 상기 IR 센서 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행하고, 상기 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행하는 제어부; 및
    상기 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 상기 표적에 대한 탐지 및 분류의 결과와 함께 화면에 디스플레이하는 디스플레이를 포함하고,
    상기 제어부는,
    상기 획득된 영상들에 대해 상기 복수의 CCD/CMOS 센서들 및 상기 IR 센서의 움직임을 보상하고, 상기 움직임 보상이 수행된 영상들로부터 배경 영상 모델을 추출하고, 상기 추출된 배경 영상 모델에 기초하여 이동 물체를 탐지하며, 상기 탐지된 이동 물체를 상기 표적으로 결정하고,
    상기 표적에 대응되는 영상이 입력됨에 따라, 기 정의된 복수의 표적 유형들 중에서 하나를 선택하도록 미리 학습된 뉴럴 네트워크를 이용하여 상기 표적의 유형을 분류하며,
    상기 획득된 영상들 중 상기 디스플레이를 통해 디스플레이되지 않고 있는, 상기 360도 영상의 나머지 일부에 대응되는 영상들에 대해서도 상기 표적에 대한 탐지를 수행하고, 상기 나머지 일부에 대응되는 영상들에서 상기 표적이 탐지된 경우 사용자에게 알람을 제공하되, 상기 표적의 유형이 클러터로 분류되는 경우에는 상기 표적이 탐지되었다는 알람을 제공하지 않는, 헬멧 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 영상합성처리를 수행하는 제1 프로세서; 및
    상기 제1 프로세서와 병렬적으로 동작하여 상기 표적에 대한 탐지 및 분류를 수행하는 제2 프로세서를 포함하는, 헬멧 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 이동 물체를 탐지하는 과정의 전 또는 후에 상기 움직임 보상이 수행된 영상들에 대한 형태학적 필터링을 수행하는, 헬멧 장치.
  5. 삭제
  6. 제 1항에 있어서,
    상기 기 정의된 복수의 표적 유형들은 사람, 전차 및 비행기 중 적어도 하나를 더 포함하는, 헬멧 장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 디스플레이가 상기 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 화면에 디스플레이할 때, 상기 탐지된 표적을 바운딩 박스(bounding box)로 표시하고, 상기 탐지된 표적의 유형을 아이콘 또는 태그로 표시하도록 상기 디스플레이를 제어하는, 헬멧 장치.
  8. 삭제
  9. 제 1항에 있어서,
    상기 제어부는,
    상기 알람에 대응한 사용자 입력에 기초하여 상기 나머지 일부에 대응되는 영상들을 표시하도록 상기 디스플레이를 제어하는, 헬멧 장치.
  10. 제 9항에 있어서,
    상기 헬멧 장치는 시선감지센서를 더 포함하고,
    상기 사용자 입력은 상기 시선감지센서에 의해 감지된 상기 사용자의 시선의 기 설정된 이동 패턴에 대응되는, 헬멧 장치.
  11. 헬멧 장치의 동작 방법에 있어서,
    복수의 CCD/CMOS 센서들 및 IR 센서 중 적어도 하나로부터 획득된 영상들에 대한 영상합성처리를 수행하는 단계;
    상기 획득된 영상들로부터 표적에 대한 탐지 및 분류를 수행하는 단계; 및
    상기 영상합성처리를 통해 생성된 360도 영상의 적어도 일부를 상기 표적에 대한 탐지 및 분류의 결과와 함께 디스플레이의 화면에 표시하는 단계를 포함하고,
    상기 방법은,
    상기 획득된 영상들에 대해 상기 복수의 CCD/CMOS 센서들 및 상기 IR 센서의 움직임을 보상하고, 상기 움직임 보상이 수행된 영상들로부터 배경 영상 모델을 추출하고, 상기 추출된 배경 영상 모델에 기초하여 이동 물체를 탐지하며, 상기 탐지된 이동 물체를 상기 표적으로 결정하는 단계;
    상기 표적에 대응되는 영상이 입력됨에 따라, 기 정의된 복수의 표적 유형들 중에서 하나를 선택하도록 미리 학습된 뉴럴 네트워크를 이용하여 상기 표적의 유형을 분류하는 단계;
    상기 획득된 영상들 중 상기 디스플레이를 통해 디스플레이되지 않고 있는, 상기 360도 영상의 나머지 일부에 대응되는 영상들에 대해서도 상기 표적에 대한 탐지를 수행하는 단계; 및
    상기 나머지 일부에 대응되는 영상들에서 상기 표적이 탐지된 경우 사용자에게 알람을 제공하되, 상기 표적의 유형이 클러터로 분류되는 경우에는 상기 표적이 탐지되었다는 알람을 제공하지 않는 단계를 더 포함하는, 방법.
  12. 제 11항의 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020180147691A 2018-11-26 2018-11-26 헬멧 장치 및 그 동작 방법 KR102149455B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147691A KR102149455B1 (ko) 2018-11-26 2018-11-26 헬멧 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147691A KR102149455B1 (ko) 2018-11-26 2018-11-26 헬멧 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20200068054A KR20200068054A (ko) 2020-06-15
KR102149455B1 true KR102149455B1 (ko) 2020-08-28

Family

ID=71081486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147691A KR102149455B1 (ko) 2018-11-26 2018-11-26 헬멧 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102149455B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2017045443A (ja) * 2015-08-28 2017-03-02 株式会社タカラトミー 頭部装着型ディスプレイを備えた情報処理装置
JP2017517232A (ja) * 2014-06-06 2017-06-22 コングスベルグ ディフェンス＆エアロスペース アクティーゼルスカブ 少なくとも１つの観測エリアをリモートモニタリングするシステム及び方法
JP6289762B1 (ja) * 2016-12-26 2018-03-07 三菱電機株式会社 映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム
JP2018169746A (ja) * 2017-03-29 2018-11-01 本田技研工業株式会社 物体認識装置および物体認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2017517232A (ja) * 2014-06-06 2017-06-22 コングスベルグ ディフェンス＆エアロスペース アクティーゼルスカブ 少なくとも１つの観測エリアをリモートモニタリングするシステム及び方法
JP2017045443A (ja) * 2015-08-28 2017-03-02 株式会社タカラトミー 頭部装着型ディスプレイを備えた情報処理装置
JP6289762B1 (ja) * 2016-12-26 2018-03-07 三菱電機株式会社 映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム
JP2018169746A (ja) * 2017-03-29 2018-11-01 本田技研工業株式会社 物体認識装置および物体認識方法

Also Published As

Publication number Publication date
KR20200068054A (ko) 2020-06-15

Similar Documents

Publication Publication Date Title
US11275480B2 (en) Dynamic interactive objects
US10402984B2 (en) Monitoring
US9256324B2 (en) Interactive operation method of electronic apparatus
US20210173490A1 (en) Cursor Mode Switching
US9152853B2 (en) Gesture recognition in vehicles
KR102433931B1 (ko) 움직임 인식 방법 및 움직임 인식 장치
US20160026261A1 (en) Machine-learning based tap detection
US9747696B2 (en) Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
KR102347249B1 (ko) 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
KR102285915B1 (ko) 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
KR20180067724A (ko) 이동형 원격현전 로봇과의 인터페이싱
JP5703194B2 (ja) ジェスチャ認識装置、その方法、及び、そのプログラム
WO2020226696A1 (en) System and method of generating a video dataset with varying fatigue levels by transfer learning
US20230342943A1 (en) Object segmentation and feature tracking
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
EP3757878A1 (en) Head pose estimation
CN117957851A (zh) 针对电子设备的感兴趣区域捕获
KR102096191B1 (ko) 모니터링
EP4341797A1 (en) Audio enhanced augmented reality
KR102149455B1 (ko) 헬멧 장치 및 그 동작 방법
EP3246793A1 (en) Virtual reality display
Shankar et al. A low-cost monocular vision-based obstacle avoidance using SVM and optical flow
US20220358689A1 (en) Curated contextual overlays for augmented reality experiences
Lin Human-Robot perception for collaborative operations of Industrial Mobile Robots
CN115993927A (zh) 基于手势识别的屏幕显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant