KR102136273B1 - Object Recognition Apparatus - Google Patents

Object Recognition Apparatus Download PDF

Info

Publication number
KR102136273B1
KR102136273B1 KR1020200023180A KR20200023180A KR102136273B1 KR 102136273 B1 KR102136273 B1 KR 102136273B1 KR 1020200023180 A KR1020200023180 A KR 1020200023180A KR 20200023180 A KR20200023180 A KR 20200023180A KR 102136273 B1 KR102136273 B1 KR 102136273B1
Authority
KR
South Korea
Prior art keywords
image
control unit
sharpness
information
recognition apparatus
Prior art date
Application number
KR1020200023180A
Other languages
Korean (ko)
Inventor
박지훈
이상호
유현성
위경철
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020200023180A priority Critical patent/KR102136273B1/en
Application granted granted Critical
Publication of KR102136273B1 publication Critical patent/KR102136273B1/en
Priority to PCT/KR2021/002202 priority patent/WO2021172833A1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H11/00—Defence installations; Defence devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H7/00—Armoured or armed vehicles
    • F41H7/02—Land vehicles with enclosing armour, e.g. tanks
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • B64C2201/127—
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

The present invention relates to an object recognition device installed on a tank or armored vehicle and interlocked with an image output device and an image photographing device for photographing the front of the tank or armored vehicle, and recognizes a first object included in a first image captured by the image photographing device. The object recognition device includes: an image receiving unit for receiving the first image captured from the image photographing device; and a control unit recognizes the first object included in the first image to identify friend or foe, and when the first object is the foe, an identification frame is applied to the first object, and measures first information including location information and identification information of the first object, applies the identification frame and the first information to the first image and output device.

Description

물체 인식 장치 {Object Recognition Apparatus}Object recognition device {Object Recognition Apparatus}

본 발명은 영상에 포함된 물체를 인식하는 물체 인식 장치에 관한 것이다.The present invention relates to an object recognition device that recognizes an object included in an image.

종래에는, 전차 또는 장갑차의 조준경 운용을 위해 운용 인원이 개입해야 하는 문제점이 있다.In the related art, there is a problem that an operating personnel must intervene to operate the sight of the tank or armored vehicle.

그리고, 자동 표적 추적을 지원하는 장치에서는 상관추적·중심추적과 같은 방식을 사용하고 있어 대상 표적의 상태와 환경에 의존적이고, 가려진 정도에 따라 성능이 저하되는 문제점이 있다. In addition, in a device supporting automatic target tracking, a method such as correlation tracking and center tracking is used, which is dependent on the state and environment of the target target, and has a problem of deteriorating performance depending on the degree of occlusion.

또한, 기존의 전차 또는 장갑차에 배치된 조준경은 이미 완성된 무기 체계의 일부로 탑재되어 체계장비의 수정과 보완에 큰 비용이 소요된다.In addition, the sights placed on existing tanks or armored vehicles are mounted as part of an already completed weapon system, which takes a great cost to modify and supplement system equipment.

따라서, 기존의 조준경 성능을 무인운용 수준으로 향상시키고, 정찰용 드론과 연계하여 전력화된 무기체계의 운용개념을 확장시킬 수 있는 확장성이 향상된 물체 인식 장치가 요구된다.Therefore, there is a need for an object recognition device with improved scalability that can improve the performance of the existing sight-scope to an unmanned operation level and expand the operational concept of a powered weapon system in conjunction with a reconnaissance drone.

본 발명의 목적은 기존의 전차 또는 장갑차에 설치될 수 있어 적용성 및 확장성이 높은 물체 인식 장치를 제공하는 것이다.An object of the present invention is to provide an object recognition device having high applicability and expandability because it can be installed on an existing tank or armored vehicle.

또한, 본 발명의 또 다른 목적은 인공지능 알고리즘을 통해 기존 영상을 이용하여 물체를 탐지 및 추적할 수 있어 자동화 성능을 극대화할 수 있는 물체 인식 장치를 제공하는 것이다.In addition, another object of the present invention is to provide an object recognition device capable of maximizing automation performance by detecting and tracking an object using an existing image through an artificial intelligence algorithm.

상기한 본 발명의 목적을 실현하기 위한 하나의 특징에 따른 물체 인식 장치는, 전차 또는 장갑차에 설치되고, 상기 전차 또는 장갑차의 전방을 촬영하는 영상 촬영 장치 및 영상 출력 장치와 연동되며, 상기 영상 촬영 장치에서 촬영된 제1 영상에 포함된 제1 물체를 인식하는 장치로, 상기 영상 촬영 장치로부터 촬영된 상기 제1 영상을 수신하는 영상 수신부; 및 상기 제1 영상에 포함된 상기 제1 물체를 인식하여 피아식별하고, 상기 제1 물체가 적인 경우, 상기 제1 물체에 식별 프레임을 적용하며, 상기 제1 물체에 대한 제1 정보를 측정하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 상기 영상 출력 장치에 출력하는 제어부를 포함한다.The object recognition device according to one feature for realizing the object of the present invention is installed in a tank or armored vehicle, interlocked with an image photographing device and an image output device for photographing the front of the tank or the armored vehicle, and photographing the image An apparatus for recognizing a first object included in a first image photographed by a device, the apparatus comprising: an image receiving unit receiving the first image photographed from the image photographing device; And recognizing and identifying the first object included in the first image, if the first object is the enemy, apply an identification frame to the first object, measure first information about the first object, And a control unit that applies the identification frame and the first information to the first image and outputs the image to the image output device.

그리고, 상기 제어부를 통해 제어되고, 상기 전차 또는 장갑차의 전방을 비행하여 제2 영상을 촬영해 상기 제어부에 전송하는 무인기; 및 상기 무인기로부터 상기 제2 영상을 수신하는 제1 통신부를 더 포함하며,And, it is controlled through the control unit, flying the front of the tank or armored vehicle to take a second image and transmits it to the control unit; And a first communication unit receiving the second image from the unmanned aerial vehicle,

상기 제2 영상은, 상기 제어부를 통해 입력받은 비행경로를 주행하여 상기 전차 또는 장갑차의 전방을 상측에서 촬영한 영상일 수 있다.The second image may be an image obtained by driving the flight path input through the control unit and photographing the front of the tank or armored vehicle from the upper side.

상기 무인기는, 상기 제2 영상을 촬영하는 영상 촬영부; 상기 비행경로에 따라 자율 주행하는 비행부; 및 상기 제2 영상을 상기 제1 통신부로 전송하는 제2 통신부를 포함하고,The unmanned aerial vehicle, an image photographing unit for photographing the second image; A flight unit that autonomously drives along the flight path; And a second communication unit transmitting the second image to the first communication unit,

상기 비행경로는, 상기 제어부로부터 복수의 포인트를 입력받고, 상기 복수의 포인트를 순차적으로 연결한 경로일 수 있다.The flight path may be a path that receives a plurality of points from the control unit and sequentially connects the plurality of points.

그리고, 상기 제어부는, 상기 제2 영상에 포함된 제2 물체를 인식하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체인 경우, 상기 제2 물체의 위치 정보를 이용하여 상기 제1 물체의 움직임 변화를 상기 제1 영상에 적용할 수 있다.Then, the control unit recognizes the second object included in the second image, determines whether the first object and the second object are the same object, and the first object and the second object are the same object The motion change of the first object may be applied to the first image by using the location information of the second object.

또한, 상기 제어부는, 상기 제1 물체와 상기 제2 물체가 동일 물체가 아닌 경우, 상기 제2 물체의 위치 정보를 상기 제1 영상의 관점으로 변환하여 상기 제1 영상에 적용할 수 있다.In addition, when the first object and the second object are not the same object, the controller may convert position information of the second object into a viewpoint of the first image and apply it to the first image.

그리고, 상기 제어부는, 상기 제1 영상 및 상기 제2 영상의 선명도를 측정하고, 상기 제1 영상과 상기 제2 영상의 선명도를 비교하여 외부 시야 상황을 판단할 수 있다.In addition, the controller may measure the sharpness of the first image and the second image, and compare the sharpness of the first image and the second image to determine an external viewing situation.

또한, 상기 제어부는, 상기 제1 영상의 선명도와 상기 제2 영상의 선명도가 기준값 미만인 경우, 자연적 요인으로 인한 시야 방해 상황으로 판단할 수 있다.In addition, when the sharpness of the first image and the sharpness of the second image are less than a reference value, the controller may determine a situation in which a visual field is disturbed due to natural factors.

또한, 상기 제어부는, 상기 자연적 요인으로 인한 시야 방해 상황으로 판단된 경우, 상기 무인기의 고도를 낮춰 상기 제2 영상을 촬영할 수 있다.In addition, when it is determined that the visual field is caused by the natural factor, the controller may lower the altitude of the unmanned aerial vehicle and photograph the second image.

또한, 상기 제어부는, 상기 제1 영상의 선명도가 기준값 미만이고, 상기 제2 영상의 선명도가 기준값 이상인 경우, 인위적 요인으로 인한 시야 방해 상황으로 판단할 수 있다.In addition, when the sharpness of the first image is less than a reference value and the sharpness of the second image is greater than or equal to a reference value, the controller may determine that the visual interference is caused by an artificial factor.

또한, 상기 제어부는, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여 상기 제1 영상 및 상기 제2 영상에 포함된 정보를 추출할 수 있다.In addition, the control unit may extract information included in the first image and the second image using a convolutional neural network.

본 발명의 실시예에 따른 물체 인식 장치에 따르면,According to the object recognition device according to an embodiment of the present invention,

첫째, 기존의 전차 또는 장갑차에 설치될 수 있어 적용성 및 확장성이 높다.First, it can be installed on existing tanks or armored vehicles, so it has high applicability and expandability.

둘째, 알고리즘을 통해 기존 영상을 이용하여 물체를 탐지 및 추적할 수 있어 자동화 성능을 극대화할 수 있다.Second, it is possible to detect and track an object using an existing image through an algorithm to maximize automation performance.

셋째, 제1 영상에 포함된 제1 물체와 제2 영상에 포함된 제2 물체가 동일 물체인지 판단하여 물체 인식의 정확도를 높일 수 있다.Third, it is possible to increase the accuracy of object recognition by determining whether the first object included in the first image and the second object included in the second image are the same object.

넷째, 제1 영상과 제2 영상의 선명도를 이용하여 외부 시야 상황을 판단할 수 있어 외부 상황에 대한 판단의 정확도를 높일 수 있다.Fourth, it is possible to determine the external viewing situation by using the sharpness of the first image and the second image, thereby improving the accuracy of the judgment on the external situation.

도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 개략적으로 나타낸 개념도이다.
도 2는 제1 영상과 제2 영상의 예시도이다.
도 3은 식별 프레임이 적용된 제1 영상의 예시도이다.
도 4는 식별 프레임 및 제1 정보가 적용된 제1 영상의 예시도이다.
도 5는 식별 프레임이 적용된 제2 영상의 예시도이다.
도 6은 외부 시야 상황이 적용된 제1 영상의 예시도이다.
도 7은 제2 영상의 예시도이다.
도 8은 외부 시야 상황이 적용된 제1 영상의 예시도이다.
도 9는 식별 프레임, 제1 정보 및 외부 시야 상황이 적용된 제1 영상의 예시도이다.1 is a conceptual diagram schematically showing an object recognition apparatus according to an embodiment of the present invention.
2 is an exemplary view of a first image and a second image.
3 is an exemplary view of a first image to which an identification frame is applied.
4 is an exemplary view of a first image to which an identification frame and first information are applied.
5 is an exemplary view of a second image to which an identification frame is applied.
6 is an exemplary view of a first image to which an external viewing situation is applied.
7 is an exemplary view of a second image.
8 is an exemplary view of a first image to which an external viewing situation is applied.
9 is an exemplary view of an identification frame, first information, and a first image to which an external viewing situation is applied.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성 요소는 과장되거나 생략되거나 개략적으로 도시되었다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that, in the accompanying drawings, the same components are denoted by the same reference numerals as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the subject matter of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated.

본 발명은 전차 또는 장갑차(10)에 설치되고, 전차 또는 장갑차(10)의 전방을 촬영하는 영상 촬영 장치(11) 및 영상 출력 장치(12)와 연동되며, 영상 촬영 장치(11)에서 촬영된 제1 영상(1)에 포함된 제1 물체를 인식하는 장치로,The present invention is installed on the tank or armored vehicle 10, and is interlocked with the image photographing apparatus 11 and the image output device 12 for photographing the front of the tank or the armored vehicle 10, and photographed by the image photographing apparatus 11 A device for recognizing a first object included in the first image (1),

도 1 내지 도 9를 참조하면, 본 발명의 물체 인식 장치(100)는 영상 수신부(110), 제1 통신부(120), 무인기(130) 및 제어부(140)를 포함한다.1 to 9, the object recognition apparatus 100 of the present invention includes an image receiving unit 110, a first communication unit 120, an unmanned aerial vehicle 130, and a control unit 140.

영상 수신부(110)는 영상 촬영 장치(11)로부터 촬영된 제1 영상(1)을 수신하고, 제1 통신부(120)는 후술 할 무인기(130)로부터 제2 영상(2)을 수신한다.The image receiving unit 110 receives the first image 1 photographed from the image photographing apparatus 11, and the first communication unit 120 receives the second image 2 from the drone 130 to be described later.

영상 촬영 장치(11)는 CCD 센서 및 IR 센서일 수 있다.The image photographing device 11 may be a CCD sensor and an IR sensor.

여기서, 제1 영상(1)은 도 2의 (a)에 도시된 것처럼 전차 또는 장갑차(10)의 전방을 촬영한 영상으로, 3차원 좌표 평면에서 YZ 평면으로 표현될 수 있다.Here, the first image 1 is an image of the front of the tank or armored vehicle 10 as illustrated in FIG. 2A, and may be expressed in a YZ plane in a three-dimensional coordinate plane.

무인기(130)는 후술할 제어부(140)를 통해 제어되고, 전차 또는 장갑차(10)의 전방을 비행하여 제2 영상(2)을 촬영해 제어부(140)로 전송한다.The unmanned aerial vehicle 130 is controlled through the control unit 140 which will be described later, and photographs the second image 2 by flying in front of the tank or armored vehicle 10 and transmits it to the control unit 140.

무인기(130)는 영상 촬영부(131), 비행부(132) 및 제2 통신부(133)를 포함한다.The unmanned aerial vehicle 130 includes an image photographing unit 131, a flight unit 132, and a second communication unit 133.

영상 촬영부(131)는 제2 영상(2)을 촬영하고, 비행부(132)는 비행경로에 따라 자율 주행하며, 제2 통신부(133)는 제2 영상(2)을 제1 통신부(120)로 전송한다.The image photographing unit 131 photographs the second image 2, the flight unit 132 autonomously travels along the flight path, and the second communication unit 133 transmits the second image 2 to the first communication unit 120 ).

여기서, 제2 영상(2)은 제어부(140)를 통해 입력받은 비행경로를 주행하여, 도 2의 (b)에 도시된 것처럼 전차 또는 장갑차(10)의 전방을 상측에서 촬영한 영상이며, 3차원 좌표 평면에서 XY 평면으로 표현될 수 있다.Here, the second image 2 is an image obtained by driving the flight path received through the control unit 140 and photographing the front of the tank or armored vehicle 10 from the upper side as shown in FIG. It can be expressed as an XY plane in a dimensional coordinate plane.

그리고, 비행경로는, 제어부(140)로부터 복수의 포인트를 입력받고, 복수의 포인트를 순차적으로 연결한 경로이며, 제어부(140)로부터 고도를 설정받을 수 있다.In addition, the flight path is a path that receives a plurality of points from the control unit 140 and sequentially connects the plurality of points, and may set an altitude from the control unit 140.

제어부(140)는 제1 영상(1)에 포함된 제1 물체를 인식하여 피아식별하고, 제1 물체가 적인 경우, 제1 물체에 제1 식별 프레임(141)을 적용하며, 제1 물체에 대한 제1 정보를 측정하고, 제1 물체에 대한 제1 식별 프레임(141)과 제1 정보를 제1 영상(1)에 적용하여 영상 출력 장치(12)에 출력한다.The controller 140 recognizes and recognizes the first object included in the first image 1, and when the first object is the enemy, applies the first identification frame 141 to the first object, and applies the first object to the first object. The first information about the first object is measured, and the first identification frame 141 and the first information for the first object are applied to the first image 1 and output to the image output device 12.

여기서, 영상 출력 장치(12)는 목표물을 사격하기 우해 목표물을 조준할 수 있도록 제1 영상이 출력되는 장치이다.Here, the image output device 12 is a device that outputs the first image so that the target can be aimed when the target is fired.

제1 정보는 제1 물체의 종류, 이동 방향 및 이동 속도와 제1 물체가 제1 영상(1) 내에 위치하는 위치 정보가 될 수 있다. 하지만 이에 한정되는 것은 아니며, 전차 또는 장갑차(10)가 제1 물체를 사격하기 위해 목표를 조준하는데 요구되는 모든 정보가 될 수 있다.The first information may be the type of the first object, a moving direction and a moving speed, and position information on which the first object is located in the first image 1. However, it is not limited thereto, and may be all information required for the tank or the armored vehicle 10 to aim the target to shoot the first object.

예를들어, 제어부(140)가 제1 영상(1)에 포함된 제1 물체의 피아식별한 다음 적으로 인식하면, 도 3에 도시된 것처럼 제1 물체에 제1 식별 프레임(141)을 적용할 수 있고, 제1 물체의 종류를 파악하여 표시할 수 있으며, 판단된 종류의 정확도를 수치로 표현할 수 있다.For example, if the control unit 140 recognizes the first object included in the first image 1 and then recognizes it as an enemy, the first identification frame 141 is applied to the first object as shown in FIG. 3. It can be displayed by grasping the type of the first object, and can express the accuracy of the determined type with a numerical value.

그리고, 제어부(140)가 제1 물체에 대한 제1 정보를 측정하고, 식별 프레임(141)과 제1 정보를 제1 영상(1)에 적용하면, 도 4에 도시된 것처럼 제1 식별 프레임(141)과 제1 영상(1)의 중심점을 기준으로 좌우 및 상하로 이동된 정도를 함께 표시할 수 있다. Then, when the control unit 140 measures the first information on the first object and applies the identification frame 141 and the first information to the first image 1, the first identification frame ( 141) and the degree of movement to the left and right and up and down based on the center point of the first image 1 may be displayed together.

도 4에서는 팬(pan)과 틸트(tilt) 값으로 나타내었지만 이에 한정되는 것은 아니며, 제1 물체의 위치를 나타낼 수 있는 모든 정보로 표시할 수 있다.In FIG. 4, the pan and tilt values are shown, but the present invention is not limited thereto, and may be displayed as all information capable of indicating the location of the first object.

그리고, 제어부(140)는 제2 영상(2)에 포함된 제2 물체를 인식하고, 제1 물체와 제2 물체가 동일 물체인지 판단하며, 제1 물체와 제2 물체가 동일 물체인 경우, 제2 물체의 위치 정보를 이용하여 제1 물체의 움직임 변화를 제1 영상(1)에 적용한다.Then, the control unit 140 recognizes the second object included in the second image 2, determines whether the first object and the second object are the same object, and when the first object and the second object are the same object, The motion change of the first object is applied to the first image 1 using the position information of the second object.

예를 들어 설명하면, 도 5에 도시된 제2 영상(2)에 포함된 제2 물체를 인식하고 제2 식별 프레임(142)을 적용한다. For example, to describe, the second object included in the second image 2 shown in FIG. 5 is recognized and the second identification frame 142 is applied.

그리고, 제1 물체와 제2 물체가 동일 물체인지 판단한다. 여기서, 동일 물체인지 판단하는 과정은, 제1 영상(1)은 3차원 좌표에서 YZ 평면으로 나타낼 수 있고, 제2 영상(2)은 3차원 좌표에서 XY 평면으로 나타낼 수 있다.Then, it is determined whether the first object and the second object are the same object. Here, in the process of determining whether the object is the same, the first image 1 may be represented by the YZ plane in 3D coordinates, and the second image 2 may be represented by the XY plane in 3D coordinates.

그러면, 제1 영상(1)과 제2 영상(2)은 Y 좌표를 공유하게 되는데, Y 좌표를 이용하여 제1 물체와 제2 물체가 동일 물체인지 판단할 수 있다.Then, the first image 1 and the second image 2 share the Y coordinate, and it is possible to determine whether the first object and the second object are the same object using the Y coordinate.

제1 물체와 제2 물체가 동일 물체로 판단되면, 제어부(140)는 제1 물체의 움직임 변화를 제1 영상(1)에 적용한다.When the first object and the second object are determined to be the same object, the controller 140 applies a change in motion of the first object to the first image 1.

반면, 제1 물체와 제2 물체가 동일 물체로 판단되지 않으면, 제어부(140)는 제2 물체의 위치 정보를 제1 영상(1)의 관점으로 변환하여 제1 영상에 적용한다.On the other hand, if the first object and the second object are not determined to be the same object, the control unit 140 converts the position information of the second object to the viewpoint of the first image 1 and applies it to the first image.

이는, XY평면에 나타낸 제2 물체를 YZ평면에 대응되는 위치로 전환하여 제1 영상(1)에 적용한다.This is applied to the first image 1 by converting the second object shown in the XY plane to a position corresponding to the YZ plane.

또한, 제어부(140)는 제1 영상(1)의 선명도와 제2 영상(2)의 선명도를 측정하고, 제1 영상(1)의 선명도와 제2 영상(2)의 선명도를 비교하여 외부 시야에 대한 상황을 판단한다.In addition, the controller 140 measures the sharpness of the first image 1 and the sharpness of the second image 2, and compares the sharpness of the first image 1 and the sharpness of the second image 2 to obtain an external field of view. Judge the situation.

외부 시야에 대한 상황은 정상 상황, 인위적 요인으로 인한 시야 방해 상황 및 자연적 요인으로 인한 시야 방해 상황 세가지로 분류될 수 있다.The situation for the external field of view can be classified into three categories: a normal situation, a visual disturbance situation due to an artificial factor, and a visual disturbance situation due to a natural factor.

먼저, 정상 상황은 제1 영상(1)의 선명도와 제2 영상(2)의 선명도 모두 기준값 이상인 경우이다.First, the normal situation is a case where both the sharpness of the first image 1 and the sharpness of the second image 2 are greater than or equal to a reference value.

인위적 요인으로 인한 시야 방해 상황은, 제1 영상(1)의 선명도가 기준값 미만이고, 제2 영상(2)의 선명도가 기준값 이상인 경우이다.The visual disturbance situation due to an artificial factor is a case where the sharpness of the first image 1 is less than the reference value and the sharpness of the second image 2 is greater than or equal to the reference value.

예를들어, 제1 영상(1)이 도 2의 (a)에 도시된 것처럼 촬영되고, 제2 영상(2)이 도 2의 (b)에 도시된 것처럼 촬영됐다면, 전차 또는 장갑차(10)의 전방에 보여지는 시야는 도 2의 (a)처럼 보이나, 무인기(130)에 의해 촬영된 제2 영상(2)은 도 2의 (b)처럼 나타나면 전차 또는 장갑차(10)의 전방만 시야를 방해받고 있으므로 이는 인위적 요인으로 인한 시야 방해라고 볼 수 있다. For example, if the first image 1 was photographed as shown in FIG. 2(a) and the second image 2 was photographed as shown in FIG. 2(b), the tank or armored vehicle 10 The field of view seen in front of the vehicle is shown as (a) of FIG. 2, but when the second image 2 taken by the unmanned aerial vehicle 130 is shown in FIG. 2 (b), only the front of the tank or armored vehicle 10 is visible. As it is being disturbed, it can be regarded as an obstruction of vision due to artificial factors.

여기서, 인위적 요인은 연막탄 및 발연기 등과 같은 화학적 조합에 의한 장치를 포함하며, 자연적으로 발생되지 않은 시야 방해 상황을 의미한다.Here, artificial factors include devices by chemical combinations, such as smoke bombs and smoke, and refer to situations in which visual disturbances do not occur naturally.

그리고, 제어부(140)는 도 6에 도시된 것처럼 인위적 요인으로 인한 시야 방해상황을 제1 영상(1)에 적용한다. And, as shown in FIG. 6, the controller 140 applies a visual disturbance situation due to an artificial factor to the first image 1.

자연적 요인으로 인한 시야 방해 상황은, 제1 영상(1)과 제2 영상(2)의 선명도 모두 기준값 미만인 경우이다.The situation in which the visual field is disturbed due to a natural factor is a case where both the sharpness of the first image 1 and the second image 2 is less than a reference value.

예를들어, 제1 영상(1)이 도 2의 (a)에 도시된 것처럼 촬영되고, 제2 영상(2)이 도 7에 도시된 것처럼 촬영됐다면, 전차 또는 장갑차(10)의 전방에 보여지는 시야와 무인기(130)에 의해 촬영된 시야 모두 방해받고 있으므로 이는 자연적 요인으로 인한 시야 방해라고 볼 수 있다.For example, if the first image 1 is photographed as shown in FIG. 2(a) and the second image 2 is photographed as shown in FIG. 7, it is shown in front of the tank or armored vehicle 10. Since both the field of view and the field of view taken by the unmanned aerial vehicle 130 are obstructed, this can be regarded as a disturbance of field due to natural factors.

여기서, 자연적 요인으로 인한 시야 방해 상황은 안개와 같은 상황일 수 있다.Here, the view obstruction due to natural factors may be a fog-like situation.

제어부(140)는 도 8에 도시된 것처럼 자연적 요인으로 인한 시야 방해상황을 제1 영상(1)에 적용하고, 무인기(130)의 고도를 낮춰 제2 영상(2)을 촬영한다.8, the controller 140 applies a visual disturbance situation due to a natural factor to the first image 1 and lowers the altitude of the unmanned aerial vehicle 130 to photograph the second image 2.

그리고, 제어부(140)는 도 9에 도시된 것처럼 제1 물체에 대한 정보 및 외부 시야 상황에 대한 정보를 제1 영상(1)에 적용하여 나타낼 수 있다.In addition, as illustrated in FIG. 9, the control unit 140 may display information on the first object and information on an external viewing situation by applying it to the first image 1.

또한, 제어부(140)는 콘볼루션 신경망(Convolutional Neural Network)을 이용하여 제1 영상(1) 및 제2 영상(2)에 포함된 정보를 추출한다.In addition, the control unit 140 extracts information included in the first image 1 and the second image 2 using a convolutional neural network.

그러므로, 제어부(140)는 제1 물체 또는 제2 물체의 종류를 인식하는 동작을 이전의 인식 결과를 이용하여 수행할 수 있다. Therefore, the control unit 140 may perform an operation of recognizing the type of the first object or the second object using the previous recognition result.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the above embodiments, those skilled in the art understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. Will be able to.

1...제1 영상 2...제2 영상
10...전차 또는 장갑차 11...영상 촬영 장치
12...영상 출력 장치 110...영상 수신부
120...제1 통신부 130...무인기
131...영상 촬영부 132...비행부
133...제2 통신부 140...제어부
141...제1 식별 프레임 142...제2 식별 프레임1...first video 2...second video
10...tank or armored vehicle 11...image capture device
12...Video output device 110...Video receiver
120... first communication unit 130... UAV
131...Video shooting unit 132...Flight
133...second communication unit 140...control unit
141... first identification frame 142... second identification frame

Claims (10)

전차 또는 장갑차에 설치되고, 상기 전차 또는 장갑차의 전방을 촬영하는 영상 촬영 장치 및 영상 출력 장치와 연동되며, 상기 영상 촬영 장치에서 촬영된 제1 영상에 포함된 제1 물체를 인식하는 장치로,
상기 영상 촬영 장치로부터 촬영된 상기 제1 영상을 수신하는 영상 수신부; 및
상기 제1 영상에 포함된 상기 제1 물체를 인식하여 피아식별하고, 상기 제1 물체가 적인 경우, 상기 제1 물체에 식별 프레임을 적용하며, 상기 제1 물체에 대한 제1 정보를 측정하고, 상기 식별 프레임과 상기 제1 정보를 상기 제1 영상에 적용하여 상기 영상 출력 장치에 출력하는 제어부를 포함하고,
상기 제어부를 통해 제어되고, 상기 전차 또는 장갑차의 전방을 비행하여 제2 영상을 촬영해 상기 제어부에 전송하는 무인기; 및
상기 무인기로부터 상기 제2 영상을 수신하는 제1 통신부를 더 포함하며,
상기 제2 영상은,
상기 제어부를 통해 입력받은 비행경로를 주행하여 상기 전차 또는 장갑차의 전방을 상측에서 촬영한 영상이고,
상기 무인기는,
상기 제2 영상을 촬영하는 영상 촬영부;
상기 비행경로에 따라 자율 주행하는 비행부; 및
상기 제2 영상을 상기 제1 통신부로 전송하는 제2 통신부를 포함하고,
상기 비행경로는,
상기 제어부로부터 복수의 포인트를 입력받고, 상기 복수의 포인트를 순차적으로 연결한 경로인 것을 특징으로 하는 물체 인식 장치.A device installed in a tank or armored vehicle, interlocked with an image photographing device and an image output device that photographs the front of the tank or the armored vehicle, and recognizes a first object included in the first image captured by the image photographing device,
An image receiving unit receiving the first image captured from the image photographing apparatus; And
Recognize and recognize the first object included in the first image, and if the first object is the enemy, apply an identification frame to the first object, measure first information about the first object, And a control unit that applies the identification frame and the first information to the first image and outputs it to the image output device,
A drone controlled by the control unit and flying the front of the tank or armored vehicle to shoot a second image and transmit the image to the control unit; And
Further comprising a first communication unit for receiving the second image from the drone,
The second image,
It is an image taken from the upper side of the tank or armored vehicle by driving the flight path received through the control unit.
The drone,
An image photographing unit for photographing the second image;
A flight unit that autonomously drives along the flight path; And
And a second communication unit transmitting the second image to the first communication unit,
The flight path,
An object recognition apparatus characterized by being a path that receives a plurality of points from the control unit and sequentially connects the plurality of points. 삭제delete 삭제delete 제1항에 있어서,
상기 제어부는,
상기 제2 영상에 포함된 제2 물체를 인식하여 제2 정보를 측정하고, 상기 제1 물체와 상기 제2 물체가 동일 물체인지 판단하며, 상기 제1 물체와 상기 제2 물체가 동일 물체인 경우, 상기 제2 물체의 위치 정보를 이용하여 상기 제1 물체의 움직임 변화를 상기 제1 영상에 적용하는 것을 특징으로 하는 물체 인식 장치.According to claim 1,
The control unit,
Recognizing the second object included in the second image, measuring second information, determining whether the first object and the second object are the same object, and when the first object and the second object are the same object , Applying a change in motion of the first object to the first image using the location information of the second object. 제4항에 있어서,
상기 제어부는,
상기 제1 물체와 상기 제2 물체가 동일 물체가 아닌 경우, 상기 제2 물체의 위치 정보를 상기 제1 영상의 관점으로 변환하여 상기 제1 영상에 적용하는 것을 특징으로 하는 물체 인식 장치.According to claim 4,
The control unit,
When the first object and the second object are not the same object, an object recognition apparatus characterized in that the position information of the second object is converted to a viewpoint of the first image and applied to the first image. 제1항에 있어서,
상기 제어부는,
상기 제1 영상 및 상기 제2 영상의 선명도를 측정하고, 상기 제1 영상과 상기 제2 영상의 선명도를 비교하여 외부 시야 상황을 판단하는 것을 특징으로 하는 물체 인식 장치.According to claim 1,
The control unit,
An object recognition apparatus comprising measuring the sharpness of the first image and the second image, and comparing the sharpness of the first image and the second image to determine an external viewing situation. 제6항에 있어서,
상기 제어부는,
상기 제1 영상의 선명도와 상기 제2 영상의 선명도가 기준값 미만인 경우, 자연적 요인으로 인한 시야 방해 상황으로 판단하는 것을 특징으로 하는 물체 인식 장치.The method of claim 6,
The control unit,
When the sharpness of the first image and the sharpness of the second image are less than a reference value, the object recognition apparatus is characterized in that it is judged as a visual disturbance situation due to natural factors. 제7항에 있어서,
상기 제어부는,
상기 자연적 요인으로 인한 시야 방해 상황으로 판단된 경우, 상기 무인기의 고도를 낮춰 상기 제2 영상을 촬영하는 것을 특징으로 하는 물체 인식 장치.The method of claim 7,
The control unit,
When it is determined that the view is disturbed due to the natural factor, the object recognition apparatus characterized by taking the second image by lowering the altitude of the unmanned aerial vehicle. 제6항에 있어서,
상기 제어부는,
상기 제1 영상의 선명도가 기준값 미만이고, 상기 제2 영상의 선명도가 기준값 이상인 경우, 인위적 요인으로 인한 시야 방해 상황으로 판단하는 것을 특징으로 하는 물체 인식 장치.The method of claim 6,
The control unit,
If the sharpness of the first image is less than the reference value, and the sharpness of the second image is greater than or equal to the reference value, the object recognition apparatus is characterized in that it is determined as a visual disturbance situation due to artificial factors. 제1항에 있어서,
상기 제어부는,
콘볼루션 신경망(Convolutional Neural Network)을 이용하여 상기 제1 영상 및 상기 제2 영상에 포함된 정보를 추출하는 것을 특징으로 하는 물체 인식 장치.According to claim 1,
The control unit,
An object recognition apparatus characterized by extracting information included in the first image and the second image using a convolutional neural network.
KR1020200023180A 2020-02-25 2020-02-25 Object Recognition Apparatus KR102136273B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200023180A KR102136273B1 (en) 2020-02-25 2020-02-25 Object Recognition Apparatus
PCT/KR2021/002202 WO2021172833A1 (en) 2020-02-25 2021-02-22 Object recognition device, object recognition method and computer-readable recording medium for performing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200023180A KR102136273B1 (en) 2020-02-25 2020-02-25 Object Recognition Apparatus

Publications (1)

Publication Number Publication Date
KR102136273B1 true KR102136273B1 (en) 2020-07-21

Family

ID=71832849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200023180A KR102136273B1 (en) 2020-02-25 2020-02-25 Object Recognition Apparatus

Country Status (2)

Country Link
KR (1) KR102136273B1 (en)
WO (1) WO2021172833A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172833A1 (en) * 2020-02-25 2021-09-02 국방과학연구소 Object recognition device, object recognition method and computer-readable recording medium for performing same
KR102339782B1 (en) * 2021-02-02 2021-12-16 한화시스템 주식회사 Apparatus for sharing information and method for sharing information
KR102339783B1 (en) * 2021-02-02 2021-12-16 한화시스템 주식회사 Apparatus for automatic navigating and method for automatic navigating

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120001732A (en) * 2009-03-13 2012-01-04 배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크. Vehicle-mountable imaging systems and methods
KR101738553B1 (en) * 2016-08-29 2017-06-08 (주)세이프어스드론 Usmanned aerial vehicle for airborne reconnaissance, system for usmanned defense and method using the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009048599A1 (en) * 2007-10-09 2009-04-16 The Trustees Of Columbia University In The City Of New York Friend or foe detection
KR20140011964A (en) * 2012-07-18 2014-01-29 한국전자통신연구원 Visual surveillance and reconnaissance method using high-quality and omnidirectional video
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR102136273B1 (en) * 2020-02-25 2020-07-21 국방과학연구소 Object Recognition Apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120001732A (en) * 2009-03-13 2012-01-04 배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크. Vehicle-mountable imaging systems and methods
KR101738553B1 (en) * 2016-08-29 2017-06-08 (주)세이프어스드론 Usmanned aerial vehicle for airborne reconnaissance, system for usmanned defense and method using the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172833A1 (en) * 2020-02-25 2021-09-02 국방과학연구소 Object recognition device, object recognition method and computer-readable recording medium for performing same
KR102339782B1 (en) * 2021-02-02 2021-12-16 한화시스템 주식회사 Apparatus for sharing information and method for sharing information
KR102339783B1 (en) * 2021-02-02 2021-12-16 한화시스템 주식회사 Apparatus for automatic navigating and method for automatic navigating

Also Published As

Publication number Publication date
WO2021172833A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
KR102136273B1 (en) Object Recognition Apparatus
US10679369B2 (en) System and method for object recognition using depth mapping
KR101948569B1 (en) Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same
CN111679695B (en) Unmanned aerial vehicle cruising and tracking system and method based on deep learning technology
KR20160125590A (en) A construction safety inspection method based on vision using small unmanned aerial vehicles
CN110276286B (en) Embedded panoramic video stitching system based on TX2
CN111796603A (en) Smoke inspection unmanned aerial vehicle system, inspection detection method and storage medium
CN105676884A (en) Infrared thermal imaging searching/ tracking/ aiming device and method
EP2177863B1 (en) Method for target geo-referencing using video analytics
KR20170100892A (en) Position Tracking Apparatus
JP6482855B2 (en) Monitoring system
CN209991983U (en) Obstacle detection equipment and unmanned aerial vehicle
Sorial et al. Towards a real time obstacle detection system for unmanned surface vehicles
IL288397A (en) Event-based aerial detection vision system
RU155323U1 (en) UNMANNED AIRCRAFT CONTROL SYSTEM
KR102194127B1 (en) Drone having MEMS sensor
KR102479959B1 (en) Artificial intelligence based integrated alert method and object monitoring device
CN110989645A (en) Target space attitude processing method based on compound eye imaging principle
KR101621396B1 (en) Armament system and method for operating the same
US11460270B1 (en) System and method utilizing a smart camera to locate enemy and friendly forces
TWI502162B (en) Twin image guiding-tracking shooting system and method
KR101865835B1 (en) Monitoring system for a flying object
KR102441349B1 (en) Situation monitoring apparatus and situation monitoring method for acquiring 360-degree short and medium distance panoramic images
KR20130029255A (en) Armament system interworking with image device and method for operating the same
KR102302907B1 (en) Stereo awareness apparatus, and method for generating disparity map in the stereo awareness apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant