WO2021172833A1 - 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체 - Google Patents

물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2021172833A1
WO2021172833A1 PCT/KR2021/002202 KR2021002202W WO2021172833A1 WO 2021172833 A1 WO2021172833 A1 WO 2021172833A1 KR 2021002202 W KR2021002202 W KR 2021002202W WO 2021172833 A1 WO2021172833 A1 WO 2021172833A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
control unit
sharpness
vehicle
Prior art date
Application number
PCT/KR2021/002202
Other languages
English (en)
French (fr)
Inventor
박지훈
유현성
이상호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Publication of WO2021172833A1 publication Critical patent/WO2021172833A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H11/00—Defence installations; Defence devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H7/00—Armoured or armed vehicles
    • F41H7/02—Land vehicles with enclosing armour, e.g. tanks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

본 발명은 차량에 설치되고, 상기 차량의 전방을 촬영하는 영상 촬영 장치 및 영상 출력 장치와 연동되며, 상기 영상 촬영 장치에서 촬영된 제1 영상에 포함된 제1 물체를 인식하는 물체 인식 장치로, 상기 영상 촬영 장치로부터 촬영된 상기 제1 영상을 수신하는 영상 수신부; 및 상기 제1 영상에 포함된 상기 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체의 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 상기 영상 출력 장치에 출력하는 제어부를 포함한다.

Description

물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
본 발명은 영상에 포함된 물체를 인식하는 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
종래에는, 차량의 조준경 운용을 위해 운용 인원이 개입해야 하는 문제점이 있다.
그리고, 자동 표적 추적을 지원하는 장치에서는 상관추적·중심추적과 같은 방식을 사용하고 있어 대상 표적의 상태와 환경에 의존적이고, 가려진 정도에 따라 성능이 저하되는 문제점이 있다.
또한, 기존의 차량에 배치된 조준경은 이미 완성된 기기 체계의 일부로 탑재되어 수정과 보완에 큰 비용이 소요된다.
따라서, 기존의 조준경 성능을 무인운용 수준으로 향상시키고, 정찰용 드론과 연계하여 전력화된 기기 체계의 운용개념을 확장시킬 수 있는 확장성이 향상된 물체 인식 장치가 요구된다.
본 발명의 목적은 기존의 차량에 설치될 수 있어 적용성 및 확장성이 높은 물체 인식 장치를 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 인공지능 알고리즘을 통해 기존 영상을 이용하여 물체를 탐지 및 추적할 수 있어 자동화 성능을 극대화할 수 있는 물체 인식 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 측면에 따른 차량에 설치되어, 상기 차량의 전방을 촬영하는 영상 촬영 장치 및 영상 출력 장치와 연동되며, 상기 영상 촬영 장치에서 촬영된 제1 영상에 포함된 제1 물체를 인식하는 물체 인식 장치는, 상기 영상 촬영 장치로부터 촬영된 상기 제1 영상을 수신하는 영상 수신부 및 상기 제1 영상에 포함된 상기 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 상기 영상 출력 장치에 출력하는 제어부를 포함한다.
여기서, 상기 제어부를 통해 제어되고, 상기 차량의 전방을 비행하여 제2 영상을 촬영해 상기 제어부에 전송하는 무인기 및 상기 무인기로부터 상기 제2 영상을 수신하는 제1 통신부를 더 포함하며, 상기 제2 영상은, 상기 무인기가 상기 제어부를 통해 입력받은 비행경로를 주행하며 상기 차량의 전방을 상측에서 촬영한 영상이다.
여기서, 상기 무인기는, 상기 제2 영상을 촬영하는 영상 촬영부, 상기 제2 영상을 상기 제1 통신부로 전송하는 제2 통신부를 포함하고, 상기 비행경로는, 상기 제어부가 상기 차량의 전방을 포함하는 영역에서 복수의 포인트를 지정하고, 상기 복수의 포인트를 순차적으로 연결하여 생성한 경로이다.
여기서, 상기 제어부는, 상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체인 경우, 상기 제2 물체의 상기 제2 정보를 이용하여 상기 제1 물체의 자세 변화를 상기 제1 영상에 적용한다.
여기서, 상기 제어부는, 상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체가 아닌 경우, 상기 제2 물체의 상기 제2 정보를 상기 제1 영상의 좌표로 변환하여 상기 제1 영상에 적용한다.
여기서, 상기 제어부는, 상기 제1 영상 및 상기 제2 영상의 선명도를 측정하고, 상기 제1 영상의 선명도와 상기 제2 영상의 선명도를 기 설정된 기준값과 각각 비교하여 상기 차량의 시야 방해 상황을 판단한다.
여기서, 상기 제어부는, 상기 제1 영상의 선명도와 상기 제2 영상의 선명도가 모두 상기 기준값 미만인 경우, 자연적 요인으로 인한 시야 방해 상황으로 판단한다.
여기서, 상기 제어부는, 상기 자연적 요인으로 인한 시야 방해 상황으로 판단된 경우, 상기 무인기의 고도가 낮아지도록 상기 비행경로를 생성한다.
여기서, 상기 제어부는, 상기 제1 영상의 선명도가 상기 기준값 미만이고, 상기 제2 영상의 선명도가 상기 기준값 이상인 경우, 인위적 요인으로 인한 시야 방해 상황으로 판단한다.
여기서, 상기 제어부는, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여 상기 제1 영상과 상기 제2 영상 각각에서 상기 제1 영상에 포함된 상기 제1 물체의 종류와 상기 제2 영상에 포함된 상기 제2 물체의 종류를 인식한다.
본 발명의 목적을 실현하기 위한 또 다른 측면에 따른 물체 인식 장치에서 수행되는 물체 인식 방법에 있어서, 영상 수신부가 외부의 영상 촬영 장치로부터 촬영된 제1 영상을 수신하는 단계, 제1 통신부가 상기 물체 인식 장치의 영상 촬영부로부터 촬영된 제2 영상을 수신하는 단계 및 제어부가 상기 제1 영상에 포함된 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 외부의 영상 출력 장치에 출력하는 단계를 포함한다.
여기서, 상기 제어부가, 상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체인 경우, 상기 제2 물체의 상기 제2 정보를 이용하여 상기 제1 물체의 자세 변화를 상기 제1 영상에 적용하는 단계를 더 포함한다.
여기서, 상기 제어부가, 상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체가 아닌 경우, 상기 제2 물체의 상기 제2 정보를 상기 제1 영상의 좌표로 변환하여 상기 제1 영상에 적용하는 단계를 더 포함한다.
여기서, 상기 제어부가, 상기 제1 영상 및 상기 제2 영상의 선명도를 측정하고, 상기 제1 영상의 선명도와 상기 제2 영상의 선명도를 기 설정된 기준값과 각각 비교하여 상기 차량의 시야 방해 상황을 판단하는 단계를 더 포함한다.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 영상 수신부가 외부의 영상 촬영 장치로부터 촬영된 제1 영상을 수신하는 단계, 제1 통신부가 상기 물체 인식 장치의 영상 촬영부로부터 촬영된 제2 영상을 수신하는 단계 및 제어부가 상기 제1 영상에 포함된 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 외부의 영상 출력 장치에 출력하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
본 발명의 일 측면에 따른 물체 인식 장치에 따르면,
첫째, 기존의 차량에 설치될 수 있어 적용성 및 확장성이 높다.
둘째, 알고리즘을 통해 기존 영상을 이용하여 물체를 탐지 및 추적할 수 있어 자동화 성능을 극대화할 수 있다.
셋째, 제1 영상에 포함된 제1 물체와 제2 영상에 포함된 제2 물체가 동일 물체인지 판단하여 물체 인식의 정확도를 높일 수 있다.
넷째, 제1 영상과 제2 영상의 선명도를 이용하여 외부 시야 상황을 판단할 수 있어 외부 상황에 대한 판단의 정확도를 높일 수 있다.
도 1은 본 발명의 일 측면에 따른 물체 인식 장치를 개략적으로 나타낸 개념도이다.
도 2a및 도 2b는 제1 영상과 제2 영상의 예시도이다.
도 3은 식별 프레임이 적용된 제1 영상의 예시도이다.
도 4는 식별 프레임 및 제1 정보가 적용된 제1 영상의 예시도이다.
도 5는 식별 프레임이 적용된 제2 영상의 예시도이다.
도 6은 외부 시야 상황이 적용된 제1 영상의 예시도이다.
도 7은 제2 영상의 예시도이다.
도 8은 외부 시야 상황이 적용된 제1 영상의 예시도이다.
도 9는 식별 프레임, 제1 정보 및 외부 시야 상황이 적용된 제1 영상의 예시도이다.
도 10 및 도 11은 본 발명의 다른 측면에 따른 물체 인식 방법을 나타낸 흐름도이다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성 요소는 과장되거나 생략되거나 개략적으로 도시되었다.
본 발명은 차량(10)에 설치되고, 차량(10)의 전방을 촬영하는 영상 촬영 장치(11) 및 영상 출력 장치(12)와 연동되며, 영상 촬영 장치(11)에서 촬영된 제1 영상(1)에 포함된 제1 물체를 인식하는 물체 인식 장치(100)에 관한 것이다.
여기서, 차량(10)은 전차 또는 장갑차를 포함하는 인원 수송과 임무 수행이 가능한 차량을 의미한다.
도 1 내지 도 9를 참조하면, 본 발명의 물체 인식 장치(100)는 영상 수신부(110), 제1 통신부(120), 무인기(130) 및 제어부(140)를 포함한다.
물체 인식 장치(100)는 차량(10)에 설치되어, 차량(10)의 전방을 촬영하는 영상 촬영 장치(11) 및 영상 출력 장치(12)와 연동되어, 영상 촬영 장치(11)에서 촬영된 제1 영상에 포함된 제1 물체를 인식한다.
영상 수신부(110)는 영상 촬영 장치(11)로부터 촬영된 제1 영상(1)을 수신하고, 제1 통신부(120)는 후술 할 무인기(130)로부터 제2 영상(2)을 수신한다.
영상 촬영 장치(11)는 CCD 센서 및 IR 센서일 수 있다.
여기서, 제1 영상(1)은 도 2a에 도시된 것처럼 차량(10)의 전방을 촬영한 영상으로, 3차원 좌표 평면에서 YZ 평면으로 표현될 수 있다.
무인기(130)는 후술할 제어부(140)를 통해 제어되고, 차량(10)의 전방을 비행하여 제2 영상(2)을 촬영해 제어부(140)로 전송한다.
무인기(130)는 영상 촬영부(131), 비행부(132) 및 제2 통신부(133)를 포함한다.
영상 촬영부(131)는 제2 영상(2)을 촬영하고, 비행부(132)는 무인기(10)의 본체로써 비행경로에 따라 자율 주행하며, 제2 통신부(133)는 제2 영상(2)을 제1 통신부(120)로 전송한다.
여기서, 제2 영상(2)은 제어부(140)를 통해 입력받은 비행경로를 주행하여, 도 2b에 도시된 것처럼 차량(10)의 전방을 상측에서 촬영한 영상이며, 3차원 좌표 평면에서 XY 평면으로 표현될 수 있다.
그리고, 비행경로는, 제어부(140)가 차량의 전방을 포함하는 영역에서 복수의 포인트를 지정하고, 복수의 포인트를 순차적으로 연결하여 생성한 경로이며, 제어부(140)는 무인기(130)의 고도를 설정할 수 있다.
제어부(140)는 제1 영상(1)에 포함된 제1 물체를 인식하여 피아식별하고, 식별 결과에 따라 제1 물체가 적인 경우, 제1 영상(1)에서 제1 물체에 대응되는 영역에 제1 식별 프레임(141)을 적용하여, 제1 물체에 대한 제1 정보를 수집하고, 제1 물체에 대한 제1 식별 프레임(141)과 제1 정보를 제1 영상(1)에 적용하여 영상 출력 장치(12)에 출력한다.
여기서, 영상 출력 장치(12)는 목표물을 사격하기 위해 목표물을 조준할 수 있도록 제1 영상이 출력되는 장치이다.
제1 정보는 제1 물체의 종류, 이동 방향 및 이동 속도와 제1 물체가 제1 영상(1) 내에 위치하는 위치 정보가 될 수 있다. 하지만 이에 한정되는 것은 아니며, 차량(10)이 제1 물체를 사격하기 위해 목표를 조준하는데 요구되는 모든 정보가 될 수 있다.
예를들어, 제어부(140)가 제1 영상(1)에 포함된 제1 물체의 피아식별한 다음 적으로 인식하면, 도 3에 도시된 것처럼 제1 물체에 제1 식별 프레임(141)을 적용할 수 있고, 제1 물체의 종류를 파악하여 표시할 수 있으며, 판단된 종류의 정확도를 수치로 표현할 수 있다.
그리고, 제어부(140)가 제1 물체에 대한 제1 정보를 측정하고, 식별 프레임(141)과 제1 정보를 제1 영상(1)에 적용하면, 도 4에 도시된 것처럼 제1 식별 프레임(141)과 제1 영상(1)의 중심점을 기준으로 좌우 및 상하로 이동된 정도를 함께 표시할 수 있다.
도 4에서는 팬(pan)과 틸트(tilt) 값으로 나타내었지만 이에 한정되는 것은 아니며, 제1 물체의 위치를 나타낼 수 있는 모든 정보로 표시할 수 있다.
그리고, 제어부(140)는 제2 영상(2)에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 제1 물체와 제2 물체가 동일 물체인지 판단하며, 제1 물체와 제2 물체가 동일 물체인 경우, 제2 물체의 제2 정보를 이용하여 제1 물체의 자세 변화를 제1 영상(1)에 적용한다. 여기서, 제2 정보는 위치 정보를 포함한다.
예를 들어 설명하면, 도 5에 도시된 제2 영상(2)에 포함된 제2 물체를 인식하고 제2 식별 프레임(142)을 적용한다.
그리고, 제1 물체와 제2 물체가 동일 물체인지 판단한다. 여기서, 동일 물체인지 판단하는 과정은, 제1 영상(1)은 3차원 좌표에서 YZ 평면으로 나타낼 수 있고, 제2 영상(2)은 3차원 좌표에서 XY 평면으로 나타낼 수 있다.
그러면, 제1 영상(1)과 제2 영상(2)은 Y 좌표를 공유하게 되는데, Y 좌표를 이용하여 제1 물체와 제2 물체가 동일 물체인지 판단할 수 있다.
제1 물체와 제2 물체가 동일 물체로 판단되면, 제어부(140)는 제1 물체의 자세 변화를 제1 영상(1)에 적용한다.
반면, 제1 물체와 제2 물체가 동일 물체로 판단되지 않으면, 제어부(140)는 제2 물체의 제2 정보를 제1 영상(1)의 좌표로 변환하여 제1 영상에 적용한다.
이는, XY평면에 나타낸 제2 물체를 YZ평면에 대응되는 위치로 전환하여 제1 영상(1)에 적용한다.
또한, 제어부(140)는 제1 영상(1)의 선명도와 제2 영상(2)의 선명도를 측정하고, 제1 영상(1)의 선명도와 제2 영상(2)의 선명도를 기 설정된 기준값과 각각 비교하여 외부 시야에 대한 차량의 시야 방해 상황을 판단한다.
외부 시야에 대한 차량의 시야 방해 상황은 정상 상황, 인위적 요인으로 인한 시야 방해 상황 및 자연적 요인으로 인한 시야 방해 상황 세가지로 분류될 수 있다.
먼저, 정상 상황은 제1 영상(1)의 선명도와 제2 영상(2)의 선명도 모두 기준값 이상인 경우이다.
인위적 요인으로 인한 시야 방해 상황은, 제1 영상(1)의 선명도가 기준값 미만이고, 제2 영상(2)의 선명도가 기준값 이상인 경우이다.
예를들어, 제1 영상(1)이 도 2a에 도시된 것처럼 촬영되고, 제2 영상(2)이 도 2b에 도시된 것처럼 촬영됐다면, 차량(10)의 전방에 보여지는 시야는 도 2a처럼 보이나, 무인기(130)에 의해 촬영된 제2 영상(2)은 도 2b처럼 나타나면 차량(10)의 전방만 시야를 방해받고 있으므로 이는 인위적 요인으로 인한 시야 방해라고 볼 수 있다.
여기서, 인위적 요인은 연막탄 및 발연기 등과 같은 화학적 조합에 의한 장치를 포함하며, 자연적으로 발생되지 않은 시야 방해 상황을 의미한다.
그리고, 제어부(140)는 도 6에 도시된 것처럼 인위적 요인으로 인한 시야 방해상황을 제1 영상(1)에 적용한다.
자연적 요인으로 인한 시야 방해 상황은, 제1 영상(1)과 제2 영상(2)의 선명도 모두 기준값 미만인 경우이다.
예를들어, 제1 영상(1)이 도 2a에 도시된 것처럼 촬영되고, 제2 영상(2)이 도 7에 도시된 것처럼 촬영됐다면, 차량(10)의 전방에 보여지는 시야와 무인기(130)에 의해 촬영된 시야 모두 방해받고 있으므로 이는 자연적 요인으로 인한 시야 방해라고 볼 수 있다.
여기서, 자연적 요인으로 인한 시야 방해 상황은 안개와 같은 상황일 수 있다.
제어부(140)는 도 8에 도시된 것처럼 자연적 요인으로 인한 시야 방해상황을 제1 영상(1)에 적용하고, 무인기(130)의 고도를 낮춰 제2 영상(2)을 촬영한다.
그리고, 제어부(140)는 도 9에 도시된 것처럼 제1 물체에 대한 정보 및 외부 시야 상황에 대한 정보를 제1 영상(1)에 적용하여 나타낼 수 있다.
또한, 제어부(140)는 콘볼루션 신경망(Convolutional Neural Network)을 이용하여 제1 영상(1) 및 제2 영상(2) 각각에서 제1 영상(1)에 포함된 제1 물체의 종류와 및 제2 영상(2)에 포함된 제2 물체의 종류를 인식한다.
그러므로, 제어부(140)는 제1 물체 또는 제2 물체의 종류를 인식하는 동작을 이전의 인식 결과를 이용하여 수행할 수 있다.
도 10 및 도 11을 참조하면, 본 발명의 일 실시예에 따른 물체 인식 방법은, 물체 인식 장치에서 수행되며, 구체적으로, 물체 인식 장치에 포함되는 적어도 하나의 프로세서에서 수행될 수 있다.
여기서, 프로세서는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
단계 S100에서 영상 수신부가 외부의 영상 촬영 장치로부터 촬영된 제1 영상을 수신한다.
단계 S200에서 제1 통신부가 상기 물체 인식 장치의 영상 촬영부로부터 촬영된 제2 영상을 수신한다.
단계 S300에서 제어부가 상기 제1 영상에 포함된 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 외부의 영상 출력 장치에 출력한다.
단계 S400에서 제어부가, 상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 제1 물체와 상기 제2 물체가 동일 물체인지 판단한다.
구체적으로, 단계 S410에서 제1 물체와 상기 제2 물체가 동일 물체인지 판단하고, 제1 물체와 상기 제2 물체가 동일 물체인 경우, 단계 S420에서 제2 물체의 상기 제2 정보를 이용하여 상기 제1 물체의 자세 변화를 상기 제1 영상에 적용한다.
제1 물체와 상기 제2 물체가 동일 물체가 아닌 경우, 단계 S420에서 상기 제2 물체의 상기 제2 정보를 상기 제1 영상의 좌표로 변환하여 상기 제1 영상에 적용한다.
단계 S500에서 상기 제어부가, 상기 제1 영상 및 상기 제2 영상의 선명도를 측정하고, 상기 제1 영상의 선명도와 상기 제2 영상의 선명도를 기 설정된 기준값과 각각 비교하여 상기 차량의 시야 방해 상황을 판단한다.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 영상 수신부가 외부의 영상 촬영 장치로부터 촬영된 제1 영상을 수신하는 단계, 제1 통신부가 상기 물체 인식 장치의 영상 촬영부로부터 촬영된 제2 영상을 수신하는 단계 및 제어부가 상기 제1 영상에 포함된 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 외부의 영상 출력 장치에 출력하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체를 제공한다.
이러한 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. 차량에 설치되어, 상기 차량의 전방을 촬영하는 영상 촬영 장치 및 영상 출력 장치와 연동되며, 상기 영상 촬영 장치에서 촬영된 제1 영상에 포함된 제1 물체를 인식하는 물체 인식 장치에 있어서,
    상기 영상 촬영 장치로부터 촬영된 상기 제1 영상을 수신하는 영상 수신부; 및
    상기 제1 영상에 포함된 상기 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 상기 영상 출력 장치에 출력하는 제어부를 포함하는 물체 인식 장치.
  2. 제1항에 있어서,
    상기 제어부를 통해 제어되고, 상기 차량의 전방을 비행하여 제2 영상을 촬영해 상기 제어부에 전송하는 무인기; 및
    상기 무인기로부터 상기 제2 영상을 수신하는 제1 통신부를 더 포함하며,
    상기 제2 영상은,
    상기 무인기가 상기 제어부를 통해 입력받은 비행경로를 주행하며 상기 차량의 전방을 상측에서 촬영한 영상인 것을 특징으로 하는 물체 인식 장치.
  3. 제2항에 있어서,
    상기 무인기는,
    상기 제2 영상을 촬영하는 영상 촬영부;
    상기 제2 영상을 상기 제1 통신부로 전송하는 제2 통신부를 포함하고,
    상기 비행경로는,
    상기 제어부가 상기 차량의 전방을 포함하는 영역에서 복수의 포인트를 지정하고, 상기 복수의 포인트를 순차적으로 연결하여 생성한 경로인 것을 특징으로 하는 물체 인식 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체인 경우, 상기 제2 물체의 상기 제2 정보를 이용하여 상기 제1 물체의 자세 변화를 상기 제1 영상에 적용하는 것을 특징으로 하는 물체 인식 장치.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체가 아닌 경우, 상기 제2 물체의 상기 제2 정보를 상기 제1 영상의 좌표로 변환하여 상기 제1 영상에 적용하는 것을 특징으로 하는 물체 인식 장치.
  6. 제2항에 있어서,
    상기 제어부는,
    상기 제1 영상 및 상기 제2 영상의 선명도를 측정하고, 상기 제1 영상의 선명도와 상기 제2 영상의 선명도를 기 설정된 기준값과 각각 비교하여 상기 차량의 시야 방해 상황을 판단하는 것을 특징으로 하는 물체 인식 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제1 영상의 선명도와 상기 제2 영상의 선명도가 모두 상기 기준값 미만인 경우, 자연적 요인으로 인한 시야 방해 상황으로 판단하는 것을 특징으로 하는 물체 인식 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 자연적 요인으로 인한 시야 방해 상황으로 판단된 경우, 상기 무인기의 고도가 낮아지도록 상기 비행경로를 생성하는 것을 특징으로 하는 물체 인식 장치.
  9. 제6항에 있어서,
    상기 제어부는,
    상기 제1 영상의 선명도가 상기 기준값 미만이고, 상기 제2 영상의 선명도가 상기 기준값 이상인 경우, 인위적 요인으로 인한 시야 방해 상황으로 판단하는 것을 특징으로 하는 물체 인식 장치.
  10. 제2항에 있어서,
    상기 제어부는,
    콘볼루션 신경망(Convolutional Neural Network)을 이용하여 상기 제1 영상과 상기 제2 영상 각각에서 상기 제1 영상에 포함된 상기 제1 물체의 종류와 상기 제2 영상에 포함된 상기 제2 물체의 종류를 인식하는 것을 특징으로 하는 물체 인식 장치.
  11. 물체 인식 장치에서 수행되는 물체 인식 방법에 있어서,
    영상 수신부가 외부의 영상 촬영 장치로부터 촬영된 제1 영상을 수신하는 단계;
    제1 통신부가 상기 물체 인식 장치의 영상 촬영부로부터 촬영된 제2 영상을 수신하는 단계; 및
    제어부가 상기 제1 영상에 포함된 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 외부의 영상 출력 장치에 출력하는 단계;를 포함하는 물체 인식 방법.
  12. 제11항에 있어서,
    상기 제어부가, 상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체인 경우, 상기 제2 물체의 상기 제2 정보를 이용하여 상기 제1 물체의 자세 변화를 상기 제1 영상에 적용하는 단계;를 더 포함하는 물체 인식 방법.
  13. 제11항에 있어서,
    상기 제어부가, 상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 수집하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체가 아닌 경우, 상기 제2 물체의 상기 제2 정보를 상기 제1 영상의 좌표로 변환하여 상기 제1 영상에 적용하는 단계;를 더 포함하는 물체 인식 방법.
  14. 제11항에 있어서,
    상기 제어부가, 상기 제1 영상 및 상기 제2 영상의 선명도를 측정하고, 상기 제1 영상의 선명도와 상기 제2 영상의 선명도를 기 설정된 기준값과 각각 비교하여 상기 차량의 시야 방해 상황을 판단하는 단계;를 더 포함하는 물체 인식 방법.
  15. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록매체로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    영상 수신부가 외부의 영상 촬영 장치로부터 촬영된 제1 영상을 수신하는 단계;
    제1 통신부가 상기 물체 인식 장치의 영상 촬영부로부터 촬영된 제2 영상을 수신하는 단계; 및
    제어부가 상기 제1 영상에 포함된 제1 물체를 식별하고, 식별 결과에 따라 상기 제1 영상에서 상기 제1 물체에 대응되는 영역에 식별 프레임을 적용하여, 상기 제1 물체에 대한 제1 정보를 수집하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 외부의 영상 출력 장치에 출력하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
PCT/KR2021/002202 2020-02-25 2021-02-22 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체 WO2021172833A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200023180A KR102136273B1 (ko) 2020-02-25 2020-02-25 물체 인식 장치
KR10-2020-0023180 2020-02-25

Publications (1)

Publication Number Publication Date
WO2021172833A1 true WO2021172833A1 (ko) 2021-09-02

Family

ID=71832849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002202 WO2021172833A1 (ko) 2020-02-25 2021-02-22 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
KR (1) KR102136273B1 (ko)
WO (1) WO2021172833A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102136273B1 (ko) * 2020-02-25 2020-07-21 국방과학연구소 물체 인식 장치
KR102339783B1 (ko) * 2021-02-02 2021-12-16 한화시스템 주식회사 정보 제공 장치 및 정보 제공 방법
KR102339782B1 (ko) * 2021-02-02 2021-12-16 한화시스템 주식회사 정보 제공 장치 및 정보 공유 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266126A1 (en) * 2007-10-09 2010-10-21 The Trustees Of Columbia University In The City Of New York Friend or foe detection
KR20120001732A (ko) * 2009-03-13 2012-01-04 배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크. 차량에 탑재가능한 촬상 시스템 및 방법
KR20140011964A (ko) * 2012-07-18 2014-01-29 한국전자통신연구원 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법
KR101738553B1 (ko) * 2016-08-29 2017-06-08 (주)세이프어스드론 공중 정찰용 무인 비행체, 이를 이용한 무인 방어 시스템 및 방법
US20190025858A1 (en) * 2016-10-09 2019-01-24 Airspace Systems, Inc. Flight control using computer vision
KR102136273B1 (ko) * 2020-02-25 2020-07-21 국방과학연구소 물체 인식 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266126A1 (en) * 2007-10-09 2010-10-21 The Trustees Of Columbia University In The City Of New York Friend or foe detection
KR20120001732A (ko) * 2009-03-13 2012-01-04 배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크. 차량에 탑재가능한 촬상 시스템 및 방법
KR20140011964A (ko) * 2012-07-18 2014-01-29 한국전자통신연구원 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법
KR101738553B1 (ko) * 2016-08-29 2017-06-08 (주)세이프어스드론 공중 정찰용 무인 비행체, 이를 이용한 무인 방어 시스템 및 방법
US20190025858A1 (en) * 2016-10-09 2019-01-24 Airspace Systems, Inc. Flight control using computer vision
KR102136273B1 (ko) * 2020-02-25 2020-07-21 국방과학연구소 물체 인식 장치

Also Published As

Publication number Publication date
KR102136273B1 (ko) 2020-07-21

Similar Documents

Publication Publication Date Title
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2017030259A1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2017018744A1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
WO2021187793A1 (ko) 카메라와 레이더 센서 융합 기반 3차원 객체 검출을 위한 전자 장치 및 그의 동작 방법
WO2015115802A1 (ko) 깊이 정보 추출 장치 및 방법
WO2017078213A1 (ko) 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
WO2020218717A1 (ko) 어라운드 뷰 장치
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
WO2019147024A1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
WO2023120818A1 (ko) 자율주행차량이 혼재된 교통흐름 제어를 위한 교통흐름 제어 장치 및 이를 이용하는 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2014003509A1 (ko) 증강 현실 표현 장치 및 방법
WO2018012879A1 (ko) 차량 운전 보조장치
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2020218716A1 (ko) 자동 주차 장치 및 자동 주차 방법
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2020246652A1 (ko) 얼굴인증을 이용한 게이트 제어 방법 및 시스템
WO2023033327A1 (ko) 의심지역으로 설정된 지역에서 촬영된 영상만을 신속하게 확인할 수 있는 관제 시스템 및 서비스 방법.
WO2013162198A1 (ko) 감시 장치 및 제어 방법
WO2022035127A1 (ko) 로봇 및 그 제어 방법
KR102559603B1 (ko) 주차유도 표시장치를 내장한 토탈 보안 및 주차유도 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21760607

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21760607

Country of ref document: EP

Kind code of ref document: A1