KR20210066119A - 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치 - Google Patents

무인 항공기 영상 내 실시간 객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR20210066119A
KR20210066119A KR1020190154978A KR20190154978A KR20210066119A KR 20210066119 A KR20210066119 A KR 20210066119A KR 1020190154978 A KR1020190154978 A KR 1020190154978A KR 20190154978 A KR20190154978 A KR 20190154978A KR 20210066119 A KR20210066119 A KR 20210066119A
Authority
KR
South Korea
Prior art keywords
image
box
right image
left image
coordinate values
Prior art date
Application number
KR1020190154978A
Other languages
English (en)
Other versions
KR102316960B1 (ko
Inventor
한성균
유지상
권순철
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020190154978A priority Critical patent/KR102316960B1/ko
Priority to US16/711,894 priority patent/US11227374B2/en
Publication of KR20210066119A publication Critical patent/KR20210066119A/ko
Application granted granted Critical
Publication of KR102316960B1 publication Critical patent/KR102316960B1/ko

Links

Images

Classifications

    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 의하면, 무인 항공기로 촬영한 영상 내에서 실시간 객체를 검출하기 위한 장치에 있어서, 입력 이미지를 수신하고, 입력 이미지를 좌측 이미지 및 우측 이미지로 분할하도록 구성된 이미지 분할부 및 이미지 분할부로부터 제공된 좌측 이미지 및 우측 이미지 각각으로부터 객체를 검출하도록 구성된 객체 검출부를 포함하는 실시간 객체 검출 장치를 제공할 수 있다.

Description

무인 항공기 영상 내 실시간 객체 검출 방법 및 장치{METHOD AND APPARATUS FOR REALTIME OBJECT DETECTION IN UNMANNED AERIAL VEHICLE IMAGE}
본 발명은 무인 항공기(Unmanned Aerial Vehicle, UAV) 영상 내 실시간 객체 검출 장치 및 방법에 관한 것이다. 보다 구체적으로, 무인 항공기에서 촬영한 영상 내에서 차량과 같은 객체를 정확하고 실시간으로 검출하기 위한 알고리즘, 방법 및 장치에 관한 것이다.
영상 처리 분야의 객체 검출 알고리즘은 도로 위의 보행자, 자동차 등을 검출하는 시스템, 사람과의 상호 작용이 가능한 지능형 로봇 등과 같이 다방면의 분야의 쓰임을 위해 다양한 방법으로 연구되고 있다.
또한, 최근 통신기술의 발달로 무인 항공기(UAV)에서 얻어지는 방대한 양의 정보를 가공하여 다양한 시스템에 접목시키는 연구가 활발히 진행되고 있다.
대표적인 무인 항공기의 응용분야로는 사회 안전 시스템, 감시 시스템, 군사적 응용 분야, 교통 시스템 등이 있으며, 그 분야는 점점 더 확대되고 있다. 이러한 응용 분야에서, 무인 항공기 영상 내 객체의 위치와 크기를 추론하는 객체 탐지(object detection)는 응용 시스템의 기반 정보(base information)로서 중요도가 매우 높다.
최근 컨볼루션 신경망 기반의 객체 탐지기(object detector)들을 이용하는 다양한 무인 항공기 영상 내 객체 탐지 방법들이 제안되었다. 하지만 컨볼루션 신경망을 사용하는 기존의 방법들은 작은 객체를 잘 찾지 못해 저 고도에서만 운용 가능하거나, 정확도 향상을 위해 구조가 복잡한 모델을 사용하여 실시간성 문제(real-time problem)를 야기한다
따라서, 무인 항공기 영상 내 객체 탐지를 위한 방법으로서, 가벼운 구조(lightweight)의 컨볼루션 신경망 기반의 객체 탐지기를 포함하면서, 정확도를 향상할 수 있는 새로운 방법이 요구된다.
KR 10-2014-0111858 A (2014. 09. 22.)
본 발명은 구조가 복잡하지 않은 가벼운 구조(lightweight)의 컨볼루션 신경망을 이용하여 적은 연산량으로 보다 정확한 객체 검출을 수행하도록 구성된 객체 검출 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 객체 탐지기의 정확도를 향상시키는 이미지 분할 처리(Split Image Processing, SIP)에 따른 박스 머징(box merging)을 이용한 객체 검출 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 무인 항공기의 촬영 영상 내에서의 차량 등의 객체를 검출하는 속도 및 정확도를 높이기 위한 객체 검출 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에서, 무인 항공기로 촬영한 영상 내에서 실시간 객체를 검출하기 위한 장치에 있어서, 입력 이미지를 수신하고, 상기 입력 이미지를 좌측 이미지 및 우측 이미지로 분할하도록 구성된 이미지 분할부; 및 상기 이미지 분할부로부터 제공된 상기 좌측 이미지 및 상기 우측 이미지 각각으로부터 객체를 검출하도록 구성된 객체 검출부를 포함하는 실시간 객체 검출 장치를 제공할 수 있다.
또한, 상기 이미지 분할부는 상기 좌측 이미지 및 상기 우측 이미지의 크기 조절(resize) 처리 및 정규화(normalization) 처리를 수행할 수 있다.
또한, 상기 좌측 이미지 및 상기 우측 이미지는 상기 입력 이미지의 중앙에서 적어도 일부가 겹치도록 구성될 수 있다.
또한, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체인지 여부를 판단하도록 구성된 박스 머징부(Box Merging Part)를 더 포함할 수 있다.
또한, 상기 박스 머징부는, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체로 판단되는 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스를 머지(merge)하도록 구성할 수 있다.
또한, 상기 박스 머징부는 또한, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스의 X 좌표값들이 상기 좌측 이미지 및 상기 우측 이미지의 오버랩 영역에 포함되는지 여부를 판단하고, 상기 X 좌표값들이 오버랩 영역에 포함되지 않는 경우, 상기 객체를 포함하는 박스를 머징 후보 대상에서 제외할 수 있다.
또한, 상기 박스 머징부는 또한, 상기 좌측 이미지에서의 박스 관련 좌표값 및 상기 우측 이미지에서의 박스 관련 좌표값을 수신하고, 상기 좌측 이미지 및 우측 이미지에서의 박스의 Y 좌표값들이 미리 결정된 기준 내로 근접하였는지 여부를 판단하고, 상기 Y 좌표값들이 미리 결정된 기준 내로 근접하지 않은 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단할 수 있다.
또한, 상기 박스 머징부는 또한, 상기 Y 좌표값들이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 우측 이미지에서의 박스의 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하였는지 여부를 판단하고, 상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단할 수 있다.
또한, 상기 박스 머징부는 또한, 상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하지 않은 경우, 객체 사이즈가 미리 결정된 기준 이하로 작은지 여부를 판단하고, 상기 객체 사이즈가 미리 결정된 기준 이상으로 크지 않은 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단할 수 있다.
또한, 상기 박스 머징부는 또한, 상기 객체 사이즈가 미리 결정된 기준 이상으로 큰 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스들이 잘려진 면에 근접하였는지 여부를 판단하고, 양 박스들이 잘려진 면에 근접한 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단할 수 있다.
본 발명의 다른 실시예에 의하면, 무인 항공기로 촬영한 영상 내에서 실시간 객체를 검출하기 위한 방법에 있어서, 이미지 분할부에서 수신된 입력 이미지를 좌측 이미지 및 우측 이미지로 분할하는 단계; 및 객체 검출부에서 상기 좌측 이미지 및 상기 우측 이미지 각각으로부터 객체를 검출하는 단계를 포함하는 실시간 객체 검출 방법을 제공할 수 있다.
또한, 상기 이미지 분할부에 의해 상기 좌측 이미지 및 상기 우측 이미지의 크기 조절(resize) 처리 및 정규화(normalization) 처리를 수행하는 단계를 더 포함할 수 있다.
또한, 상기 좌측 이미지 및 상기 우측 이미지는 상기 입력 이미지의 중앙에서 적어도 일부가 겹치도록 구성될 수 있다.
또한, 박스 머징부(Box Merging Part)에 의해 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체인지 여부를 판단하는 단계를 더 포함할 수 있다.
또한, 상기 박스 머징부에 의해, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체로 판단되는 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스를 머지(merge)하는 단계를 더 포함할 수 있다.
또한, 상기 박스 머징부에 의해, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스의 X 좌표값들이 상기 좌측 이미지 및 상기 우측 이미지의 오버랩 영역에 포함되는지 여부를 판단하고 단계; 및 상기 X 좌표값들이 오버랩 영역에 포함되지 않는 경우, 상기 객체를 포함하는 박스를 머징 후보 대상에서 제외하는 단계를 더 포함할 수 있다.
또한, 상기 박스 머징부에 의해, 상기 좌측 이미지에서의 박스 관련 좌표값 및 상기 우측 이미지에서의 박스 관련 좌표값을 수신하는 단계; 상기 좌측 이미지 및 우측 이미지에서의 박스의 Y 좌표값들이 미리 결정된 기준 내로 근접하였는지 여부를 판단하는 단계; 및 상기 Y 좌표값들이 미리 결정된 기준 내로 근접하지 않은 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단하는 단계를 더 포함할 수 있다.
또한, 상기 박스 머징부에 의해, 상기 Y 좌표값들이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 우측 이미지에서의 박스의 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하였는지 여부를 판단하는 단계; 및 상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단하는 단계를 더 포함할 수 있다.
또한, 상기 박스 머징부에 의해, 상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하지 않은 경우, 객체 사이즈가 미리 결정된 기준 이하로 작은지 여부를 판단하는 단계; 및 상기 객체 사이즈가 미리 결정된 기준 이상으로 크지 않은 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단하는 단계를 더 포함할 수 있다.
또한, 상기 박스 머징부에 의해, 상기 객체 사이즈가 미리 결정된 기준 이상으로 큰 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스들이 잘려진 면에 근접하였는지 여부를 판단하는 단계; 및 양 박스들이 잘려진 면에 근접한 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에서, 전술한 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
본 발명에 의하면, 구조가 복잡하지 않은 가벼운 구조의 컨볼루션 신경망을 이용하여 적은 연산량으로 객체 검출 장치 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 객체 탐지기의 정확도를 향상시키는 이미지 분할 처리(Split Image Processing, SIP)에 따른 박스 머징(box merging)을 이용한 객체 검출 장치 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 무인 항공기의 촬영 영상 내에서의 차량 등의 객체를 검출하는 속도 및 정확도를 높이기 위한 객체 검출 장치 및 방법을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 무인 항공기의 영상 획득 개략도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 분할 처리부의 구성을 설명하기 위한 블록도이다.
도 3는 본 발명의 일 실시예에 따른 객체 검출 및 박스 머징 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 분할 처리를 통한 박스 머징 방법을 설명하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 박스 머징의 구체적인 알고리즘을 설명하기 위한 흐름도이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 박스 머징 이전 및 이후의 모습을 비교하기 위한 예시도이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 이미지 분할 처리(SIP) 이전 및 이후의 객체 검출 결과를 비교하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 객체 검출부(220)의 DRFB 모듈의 구조를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 객체 검출부(220)의 DRFBNet 300의 구조를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 무인 항공기의 영상 획득 개략도이다.
도 1을 참조하면, 무인 항공기(UAV)에서 사용하는 카메라의 각도는 지면에서 예컨대, 약 20도에서 90사이의 각도를 가지며 다양한 고도에서 동영상 촬영이 가능하다. 영상의 촬영은 무인 항공기에 장착된 빌트인 카메라(built-in camera)를 사용할 수 있으며, 예컨대 20M 픽셀의 CMOS 센서와 84 FOV(Field of View)의 8.8mm/24mm의 렌즈 등이 장착될 수 있으며, 이들로 제한되지 않는다. 또한 촬영 영상은 720P(1280x720 pixel) 30FPS 또는 더 높은 해상도로 촬영될 수 있다.
또한, 무인 항공기의 고도는 예컨대 지상 10m부터 50m 사이 또는 지상 5m부터 100m 사이에 위치할 수 있으며, 객체 탐지는 예컨대 미리 녹화된 버드뷰(bird view) 영상을 이용하며, 서버에서 객체의 위치 및 크기를 추론할 수 있다. 무인 항공기에서 촬영된 영상 내에서 객체를 찾는 방법 및 장치에 대해서는 이하에서 설명될 것이다.
도 2는 본 발명의 일 실시예에 따른 이미지 분할 처리부의 구성을 설명하기 위한 블록도이다.
도 2를 참고하면, 이미지 분할 처리(Split Image Processing, SIP)를 담당하는 이미지 분할 처리부(200)는 무인 항공기에서 촬영한 입력 이미지(110)를 수신하고, 이미지 분할 및 객체 검출을 거쳐서 박스 머징을 통해 최종 처리된 좌표값 출력(310)을 수행하도록 구성된다.
이미지 분할 처리부(200)는 이미지 분할, 객체 검출, 객체를 포함하는 박스들의 머징과 관련된 각종 처리를 실행하도록 구성된다. 예컨대, 이미지 분할 처리부(200)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 장치 내의 메모리부 또는 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.
일 실시예에 따르면, 이미지 분할 처리부(200)는 이미지 분할부(210), 객체 검출부(220) 및 박스 머징부(230)를 포함할 수 있으며, 이들 구성 요소는 하나 이상의 프로세서(processor)에 의해 실행될 수 있는 프로그램 또는 프로그램 모듈을 포함할 수 있다. 이미지 분할 처리부(200)에 포함된 프로그램 또는 프로그램 모듈들은 운영 체제(operating system), 어플리케이션 프로그램(application program) 또는 프로그램 등의 형태로 구성될 수 있으며, 널리 사용되는 다양한 종류의 저장 장치 상에 물리적으로 저장될 수 있다. 이와 같은 프로그램 또는 프로그램 모듈은 하나 이상의 루틴(routine), 서브루틴(subroutine), 프로그램(program), 오브젝트(object), 콤포넌트(component), 명령(instructions), 데이터 구조(data structure) 및 특정 작업(task)을 수행하거나 특정 데이터 유형을 실행하기 위한 다양한 형태를 포함할 수 있으며, 이들 형태로 제한되지 않는다.
먼저, 이미지 분할부(210)는 입력 이미지(110)를 수신하여 이미지를 좌측 이미지와 우측 이미지로 분할한다. 여기서, 좌측 이미지 및 우측 이미지는 입력 이미지(110)의 중앙에서 적어도 일부가 겹치도록 구성되며, 예컨대 중앙에서 12.5%, 또는 10~15% 또는 5~20%가 겹쳐 오버랩 영역이 발생하도록 구성된다.
또한, 이미지 분할부(210)는 좌측 이미지 및 우측 이미지의 크기 조절(resize) 처리 및 정규화(normalization) 처리를 수행하도록 구성될 수 있다. 예컨대, 입력 이미지(110)의 해상도가 720P(1280x720 픽셀)인 경우, 중앙에서 가로 방향으로 160 픽셀이 겹치도록 나누어 좌측, 우측 2 장의 720x720 픽셀 크기의 이미지를 생성할 수 있다. 이와 같이 분리된 좌측, 우측 이미지는 크기 조절 및 정규화 처리를 통해 객체 검출부(220)로 입력된다.
객체 검출부(220)는 이미지 분할부(210)로부터 제공된 좌측 이미지 및 우측 이미지 각각으로부터 객체를 검출하도록 구성되며, 각 객체의 검출에 기초하여 각 객체가 내부에 포함된 사각형 모양의 바운딩 박스(bounding box)를 생성할 수 있다.
박스 머징부(230)는 좌측 이미지 및 우측 이미지 각각에서의 객체가 동일 객체인지 여부를 판단하고, 좌측 이미지 및 우측 이미지 각각에서의 객체가 동일 객체로 판단되는 경우, 좌측 이미지에서 객체를 포함하는 박스 및 우측 이미지에서 객체를 포함하는 박스를 머지(merge)하는 박스 머징(box merging) 처리를 수행하도록 구성될 수 있다. 즉, 객체 검출에 기초하여 생성된 박스들의 좌표를 이용하여 객체의 동일성 여부를 판단하고, 동일한 객체로 판단되는 경우, 하나의 박스로 머지하는 박스 머징 처리를 거쳐 최종 결과를 출력할 수 있다.
박스 머징부(230)는 먼저 좌측 이미지 및 우측 이미지에서 객체가 검출된 박스의 좌표값들을 수신하고, 좌측 이미지에서 객체를 포함하는 박스 및 우측 이미지에서 객체를 포함하는 박스의 X 좌표값들이 좌측 이미지 및 우측 이미지가 겹치는 오버랩 영역에 포함되는지 여부를 판단함으로써, X 좌표값들이 오버랩 영역에 겹치지 않는 경우 머지 후보 대상에서 제외한다.
박스 머징부(230)는 박스의 X 좌표값들이 오버랩 영역에 걸치거나 포함되는 머지 후보 대상을 기초로 하여, 양 박스들의 Y 좌표값들이 미리 결정된 기준 내로 근접한 경우, 좌측 이미지 및 우측 이미지에서의 박스의 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하였는지 여부를 판단하고, X 좌표값들의 중심이 미리 결정된 기준 내로 근접한 경우, 좌측 이미지 및 우측 이미지 각각에서의 객체를 동일 객체로 판단할 수 있다. 이때, 박스 머징을 통해 2개의 박스를 하나의 박스로 합치고 관련 좌표값을 출력할 수 있다.
이는 무인 항공기 영상 내의 오버랩되는 영역에서 동일한 객체가 좌측 및 우측 이미지에서 동시에 검출되는 경우 양 객체 박스의 Y 좌표 값의 차이가 크지 않다는 점을 이용한 것이다. 보다 구체적으로, 예컨대 양 박스 사이의 최소 Y 값 및 최대 Y 값을 각각 비교하여, 그 차이가 모두 20픽셀 초과라면 상이한 객체로 판단하고, 20픽셀 이하라면 동일한 객체로 판단할 수 있으며, 이와 같은 미리 결정된 Y 좌표 근접 판단 기준인 20 픽셀은 경우에 따라 상이하게 변경될 수 있다. 또한, Y 좌표 값 근접 조건을 만족하는 경우, 동일한 객체 간의 중심점이 가깝다는 점을 이용하여 양 박스의 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하였는지 여부를 판단하는 것이다. 보다 구체적으로, 예컨대 양 박스의 X 좌표 중심점을 구한 후에, 그 거리가 40 픽셀 미만이라면 동일한 객체로 판단할 수 있으며, 이와 같은 미리 결정된 X 좌표 근접 판단 기준인 40 픽셀은 경우에 따라 그 값이 변경될 수 있다.
또한, 박스의 크기 등을 고려하여 객체의 동일성 판단을 수행할 수 있으며, 보다 구체적인 박스 머징 방법에 대해서는 도 5를 참조하여 후술할 것이다.
도 3는 본 발명의 일 실시예에 따른 객체 검출 및 박스 머징 방법을 설명하기 위한 예시도이다.
도 3을 참조하면, 종래의 객체 탐지 방법과 다르게, 이미지 분할 처리를 적용함으로써, 1280x720 픽셀의 객체 포함된 이미지가 720x720 픽셀의 좌측 이미지 및 우측 이미지로 일부 영역이 오버랩된 형태로 생성될 수 있다. 이와 같이 생성된 좌측 이미지 및 우측 이미지는 크기 조절(resize)를 통해 300x300 픽셀의 이미지로 변경되고 정규화 처리를 통해 객체 검출부(220)로 입력될 수 있다.
객체 검출 처리후에 객체로 검출된 버스를 포함하는 양 박스들의 좌표값들의 비교를 통해 예컨대 Y 좌표값들이 근접하고, X 좌표값들의 중심이 근접한 경우 양 박스의 객체를 동일한 객체로 판단하고, 양 박스의 박스 머징 처리를 통해 우측 화면에서와 같이 1280x720 픽셀의 최종 결과가 출력될 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 분할 처리를 통한 박스 머징 방법을 설명하는 흐름도이다.
도 4를 참조하면, 무인 항공기에서 촬영된 영상의 입력 프레임의 한 장의 이미지를 좌측 이미지와 우측 이미지로 분리한다.(S410)
분리된 좌측 이미지 및 우측 이미지를 각각 리사이징을 통한 크기 조절 및 정규화 처리를 통해 객체 검출부에 입력으로 제공한다.(S420)
객체 검출부(220)에서 검출된 객체를 포함하는 박스를 생성하고, 좌측 이미지 및 우측 이미지에서 생성된 박스의 좌표값들을 비교함으로써, 동일 객체로 판별되는 경우 박스 머징부(230)를 통해 2개의 박스를 머지한다.(S430)
머징된 박스의 좌표값들에 기초하여 최종 결과를 출력한다.(S440)
도 5는 본 발명의 일 실시예에 따른 박스 머징의 구체적인 알고리즘을 설명하기 위한 흐름도이다.
박스 머징부(230)는 박스 머징을 위해 필요한 정보인 좌측 이미지에서의 객체 검출된 박스의 좌표값 및 우측 이미지에서의 객체 검출된 박스의 좌표값을 객체 검출부(220)로부터 수신할 수 있다.(S510)
박스 머징부(230)는 먼저 좌측 이미지에서 객체를 포함하는 박스 및 우측 이미지에서 객체를 포함하는 박스의 X 좌표값들이 좌측 이미지 및 우측 이미지가 겹치는 오버랩 영역에 포함되는지 여부를 판단한다.(S520) X 좌표값들이 오버랩 영역에 겹치지 않는 경우 머지 후보 대상에서 제외하고(S521), X 좌표값들이 오버랩 영역에 걸치거나 포함되는 경우의 객체 박스만 머징 후보 대상에 포함시키고 다음 단계로 진행한다.
박스 머징부(230)는 양 박스들의 Y 좌표값들이 미리 결정된 기준 내로 근접하였는지 여부를 판단한다.(S530) 여기서, 좌측 이미지 및 우측 이미지에서의 박스의 Y 좌표값들이 미리 결정된 기준 내로 근접하지 않은 경우, 좌측 이미지 및 우측 이미지 각각에서의 객체를 상이한 객체로 판단할 수 있따.(S531) 예컨대, 양 박스 사이의 최소 Y 값 및 최대 Y 값을 각각 비교하여, 그 차이가 모두 20픽셀 초과라면 상이한 객체로 판단하고, 20픽셀 이하라면 동일한 객체로 판단할 수 있다.
한편, Y 좌표값들이 미리 결정된 기준 내로 근접한 경우 다음 단계로서 좌측 이미지 및 우측 이미지에서의 박스의 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하였는지 여부를 판단한다.(S540) 예컨대 양 박스의 X 좌표 중심점을 구한 후에, 그 거리가 40 픽셀 미만이라면 동일한 객체로 판단할 수 있으며,
X 좌표값들의 중심이 미리 결정된 기준 내로 근접한 경우, 좌측 이미지 및 우측 이미지 각각에서의 객체를 동일 객체로 판단할 수 있다.(S550) 이때, 박스 머징을 통해 2개의 박스를 하나의 박스로 합치고(S560), 관련 좌표값을 출력할 수 있다.(S570)
X 좌표값들의 중심이 미리 결정된 기준 내로 근접하지 않은 경우, 객체 사이즈가 기준 이하로 작은 지 여부를 판단할 수 있다.(S541) 객체 사이즈의 크기가 예컨대 30x30 픽셀보다 작은 경우 오류가 많아 상이한 객체로 판단할 수 있으며, 이는 객체의 크기가 작은 무인 항공기 영상의 특성을 고려한 조건이다. 객체 사이즈가 기준 이하로 작은 경우 상이한 객체로 판단하고, 기준 이상 큰 경우에는 객체 사이즈가 기준 이상으로 큰지 여부를 판단할 수 있다.(S542)
여기서, 예컨대 박스의 크기가 예컨대 160x160 픽셀보다 크고, 좌측 이미지 범위에 존재하는 박스의 최대 X 좌표가 710~720 픽셀 범위에 존재하고, 우측 이미지 범위에 존재하는 박스의 최소 X 좌표가 560~570 픽셀 범위에 존재한다면, 박스들이 잘려진 면에 근접하였다고 판단할 수 있다.(S543) 이와 같이 객체의 크기가 매우 클 때를 고려하여, 객체의 크기가 기준 이상으로 큰 경우 박스들이 잘려진 면에 근접하였는지 여부에 기초하여 근접한 경우 동일한 객체로 판단할 수 있다.(S550)
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 박스 머징 이전 및 이후의 모습을 비교하기 위한 예시도이다.
도 6a는 이미지 분할 처리를 통한 박스 머징 이전 모습이며, 도 6b는 박스 머징 이후의 모습을 나타낸다.
도 6a를 참조하면 좌측 이미지에서 자동차 객체를 포함하는 박스와 우측 이미지에서 자동차 객체를 포함하는 박스가 표시되며, 도 6a에서 중앙에 위치하는 자동차처럼 객체가 오버랩되는 영역에 존재하는 경우 박스가 잘리거나 서로 오버랩된다. 이와 같이 오버랩되는 영역에 존재하는 객체를 이미지 분할에 따른 좌측 이미지 및 우측 이미지에서 동시에 탐지하는 경우 전술한 이미지 분할 처리 및 박스 머징 알고리즘을 통해 도 6b에 나타난 것과 같이 박스 머징이 수행되어 2개의 박스가 합쳐지고 검출 결과가 1개의 박스로 표시될 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 이미지 분할 처리 이전 및 이후의 객체 검출 결과를 비교하기 위한 예시도이다.
본 발명에 따른 이미지 분할 처리의 적용에 따른 객체 검출의 향상된 결과를 살펴보면, 이미지 분할 처리 이전의 객체 검출 결과를 나타내는 도 7a에 비해 분할 처리 및 박스 머징 이후의 객체 검출 결과를 나타내는 도 7b에서와 같이, 높은 고도에서 촬영된 무인 항공기 영상에서 더욱 많은 객체를 정확하게 탐지하여 검출하는 것을 확인할 수 있다. 또한, 이미지 분할 처리에 의한 연산량 증가에도 평균적으로 33FPS로 동작하며 실시간 객체 검출이 가능함을 확인할 수 있다.
도 8은 본 발명의 일 실시예에 따른 객체 검출부(220)의 DRFB 모듈의 구조를 나타내는 도면이다.
본 발명에서 DRFB(Deeper Receptive Field Block) 모듈은 작은 객체를 찾는 특징 맵(feature map)에 연결되며, 다양한 수용장(Receptive Field, RF)을 갖는 가지(branch)들로 구성될 수 있다. 도 8을 참조하면, 각 가지들은 팽창된 컨볼루션(Dilated convolution)을 이용해 파라미터의 증가 없이 넓은 RF로 표현력 좋은 특징 맵을 만들 수 있다. 예컨대, 모듈은 구조적으로 ResNet과 Inception-ResNet v2의 지름길 구조(shortcut design)를 갖고, 그리고 인셉션(Inception)의 다중-가지 구조(multi-branch structure)를 따를 수 있다. 이를 통해 파라미터(parameter)의 증가를 최소화하면서 특징 맵의 표현력 강화 및 학습 속도의 향상이 가능하다.
DRFB 모듈은 비-선형성(non-linearity)과 깊이(depth) 증가를 위해 1x1 컨볼루션을 사용한다. 이로 인해 연산량의 증가는 최소화하며 모듈의 용량(capacity)은 증가시킬 수 있다. 3x3RF의 합성곱 연산을 사용하는 대신 3x1과 1x3RF의 컨볼루션 연산을 사용하여 비선형성의 증가 및 연산량을 감소시킬 수 있다. 5x5RF의 팽창된 컨볼루션(Dilated convolution)을 사용하는 가지는 다른 가지보다 더 깊은 구조를 갖는다. 싱글샷 멀티박스 검출기(Single-Shot Multi-box Detector, SSD) 계열의 객체 탐지기는 한 장의 입력 영상으로 다중 객체의 위치 및 크기와 레이블(label)을 추론할 수 있다. 따라서 영상 속에 다양한 위치에 다양한 크기로 산재하는 객체들의 특징을 더 잘 추출하고자 비선형성을 추가하여 넓은 RF 가지의 용량을 증가시킬 수 있다. 또한, 파라미터 증가 최소화를 위한 병목 구조(bottleneck structure)를 사용하고, 작은 객체를 찾는 특징 맵의 표현력을 강화하기 위해 쌓인(cascaded) 구조를 사용할 수 있다.
도 8의 각 모듈에서, 모든 컨볼루션 레이어(convolution layer, Conv)는 배치 정규화(batch normalization)와 ReLU 활성화 함수(activation function)를 포함한다. 하지만, 분리가능 컨볼루션 레이어(separable convolution layer, Sep Conv), 지름길 레이어(shortcut layer), 연결 레이어(concatenation layer)는 활성화 함수를 포함하지 않는다.
도 9는 본 발명의 일 실시예에 따른 객체 검출부(220)의 DRFBNet 300의 구조를 나타내는 도면이다.
싱글샷 멀티박스 검출기(Single-Shot Multi-box Detector, SSD) 객체 탐지기는 다양한 백본(backbone)과 결합된 모델(model)들이 존재한다. 그 중 MobileNet v1 backbone SSD 300은 Depth-wise Separable Convolution을 사용하며, 이로 인해 정확도 대비 파라미터의 개수와 연산량이 적다.
하지만 SSD 계열의 객체 탐지기들은 구조적으로 작은 객체를 찾기 위해 특징 추출기(feature extractor)의 앞단에서 만들어진 특징 맵을 사용한다. 작은 객체를 찾는 역할을 하는 특징 맵은 특징 추출기의 얕은 부분에서 만들어지기에 상대적으로 표현력이 부족하다. 따라서 SSD는 빠르게 객체 탐지가 가능하지만 전반적인 정확도가 낮다.
본 발명의 일 실시예에 따르면, 작은 객체를 찾는 특징 맵의 표현력을 강화시키는 DRFB 모듈과 RFB basic(베이직) 모듈을 MobileNet v1 backbone SSD 300에 적용시킨 DRFBNet 300을 제안한다.
백본 네트워크(backbone network)로는 ImageNet pre-trained MobileNet v1을 사용하고, 도 9의 모든 구조는 RFB 베이직(basic) 모듈과 DRFB 모듈(module)을 제외하고 MobileNet v1 backbone SSD 300과 동일하다. 특징 추출기(feature extractor)는 MobileNet v1 backbone, DRFB module, RFB basic module, 그리고 추가적인 여섯 개의 컨볼루션 레이어(convolution layer)로 구성된다. 19x19x512 크기의 작은 객체를 찾는 특징 맵들은 DRFB module을 거치며 표현력이 강화된다. RFB basic 은 추가적인 여섯 개의 레이어 앞에 연결된다. 그 결과 큰 객체를 찾는 특징 맵들의 표현력이 강화되어 전반적인 객체 탐지 정확도가 향상될 수 있다.
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그래머블 논리 디바이스(PLD)들, 필드 프로그래머블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
200: 이미지 분할 처리부
210: 이미지 분할부
220: 객체 검출부
230: 박스 머징부

Claims (21)

  1. 무인 항공기로 촬영한 영상 내에서 실시간 객체를 검출하기 위한 장치에 있어서,
    입력 이미지를 수신하고, 상기 입력 이미지를 좌측 이미지 및 우측 이미지로 분할하도록 구성된 이미지 분할부; 및
    상기 이미지 분할부로부터 제공된 상기 좌측 이미지 및 상기 우측 이미지 각각으로부터 객체를 검출하도록 구성된 객체 검출부
    를 포함하는 실시간 객체 검출 장치.
  2. 제1항에 있어서, 상기 이미지 분할부는 상기 좌측 이미지 및 상기 우측 이미지의 크기 조절(resize) 처리 및 정규화(normalization) 처리를 수행하는 것인, 실시간 객체 검출 장치.
  3. 제1항에 있어서, 상기 좌측 이미지 및 상기 우측 이미지는 상기 입력 이미지의 중앙에서 적어도 일부가 겹치도록 구성되는 것인, 실시간 객체 검출 장치.
  4. 제1항에 있어서, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체인지 여부를 판단하도록 구성된 박스 머징부(Box Merging Part)를 더 포함하는 실시간 객체 검출 장치.
  5. 제4항에 있어서, 상기 박스 머징부는, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체로 판단되는 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스를 머지(merge)하도록 구성하는 것인, 실시간 객체 검출 장치.
  6. 제5항에 있어서, 상기 박스 머징부는 또한,
    상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스의 X 좌표값들이 상기 좌측 이미지 및 상기 우측 이미지의 오버랩 영역에 포함되는지 여부를 판단하고,
    상기 X 좌표값들이 오버랩 영역에 포함되지 않는 경우, 상기 객체를 포함하는 박스를 머징 후보 대상에서 제외하는 것인, 실시간 객체 검출 장치.
  7. 제6항에 있어서, 상기 박스 머징부는 또한,
    상기 좌측 이미지에서의 박스 관련 좌표값 및 상기 우측 이미지에서의 박스 관련 좌표값을 수신하고,
    상기 좌측 이미지 및 우측 이미지에서의 박스의 Y 좌표값들이 미리 결정된 기준 내로 근접하였는지 여부를 판단하고,
    상기 Y 좌표값들이 미리 결정된 기준 내로 근접하지 않은 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단하는 것인, 실시간 객체 검출 장치.
  8. 제7항에 있어서, 상기 박스 머징부는 또한,
    상기 Y 좌표값들이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 우측 이미지에서의 박스의 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하였는지 여부를 판단하고,
    상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단하는 것인, 실시간 객체 검출 장치.
  9. 제7항에 있어서, 상기 박스 머징부는 또한,
    상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하지 않은 경우, 객체 사이즈가 미리 결정된 기준 이하로 작은지 여부를 판단하고,
    상기 객체 사이즈가 미리 결정된 기준 이상으로 크지 않은 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단하는 것인, 실시간 객체 검출 장치.
  10. 제9항에 있어서, 상기 박스 머징부는 또한,
    상기 객체 사이즈가 미리 결정된 기준 이상으로 큰 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스들이 잘려진 면에 근접하였는지 여부를 판단하고,
    양 박스들이 잘려진 면에 근접한 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단하는 것인, 실시간 객체 검출 장치.
  11. 무인 항공기로 촬영한 영상 내에서 실시간 객체를 검출하기 위한 방법에 있어서,
    이미지 분할부에서 수신된 입력 이미지를 좌측 이미지 및 우측 이미지로 분할하는 단계; 및
    객체 검출부에서 상기 좌측 이미지 및 상기 우측 이미지 각각으로부터 객체를 검출하는 단계
    를 포함하는 실시간 객체 검출 방법.
  12. 제11항에 있어서, 상기 이미지 분할부에 의해 상기 좌측 이미지 및 상기 우측 이미지의 크기 조절(resize) 처리 및 정규화(normalization) 처리를 수행하는 단계를 더 포함하는 것인, 실시간 객체 검출 방법.
  13. 제11항에 있어서, 상기 좌측 이미지 및 상기 우측 이미지는 상기 입력 이미지의 중앙에서 적어도 일부가 겹치도록 구성되는 것인, 실시간 객체 검출 방법.
  14. 제11항에 있어서, 박스 머징부(Box Merging Part)에 의해 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체인지 여부를 판단하는 단계를 더 포함하는 실시간 객체 검출 방법.
  15. 제14항에 있어서, 상기 박스 머징부에 의해, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체가 동일 객체로 판단되는 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스를 머지(merge)하는 단계를 더 포함하는 것인, 실시간 객체 검출 방법.
  16. 제15항에 있어서, 상기 박스 머징부에 의해,
    상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스의 X 좌표값들이 상기 좌측 이미지 및 상기 우측 이미지의 오버랩 영역에 포함되는지 여부를 판단하고 단계; 및
    상기 X 좌표값들이 오버랩 영역에 포함되지 않는 경우, 상기 객체를 포함하는 박스를 머징 후보 대상에서 제외하는 단계를 더 포함하는 것인, 실시간 객체 검출 방법.
  17. 제16항에 있어서, 상기 박스 머징부에 의해,
    상기 좌측 이미지에서의 박스 관련 좌표값 및 상기 우측 이미지에서의 박스 관련 좌표값을 수신하는 단계;
    상기 좌측 이미지 및 우측 이미지에서의 박스의 Y 좌표값들이 미리 결정된 기준 내로 근접하였는지 여부를 판단하는 단계; 및
    상기 Y 좌표값들이 미리 결정된 기준 내로 근접하지 않은 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단하는 단계를 더 포함하는 것인, 실시간 객체 검출 방법.
  18. 제17항에 있어서, 상기 박스 머징부에 의해,
    상기 Y 좌표값들이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 우측 이미지에서의 박스의 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하였는지 여부를 판단하는 단계; 및
    상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접한 경우, 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단하는 단계를 더 포함하는 것인, 실시간 객체 검출 방법.
  19. 제17항에 있어서, 상기 박스 머징부에 의해,
    상기 X 좌표값들의 중심이 미리 결정된 기준 내로 근접하지 않은 경우, 객체 사이즈가 미리 결정된 기준 이하로 작은지 여부를 판단하는 단계; 및
    상기 객체 사이즈가 미리 결정된 기준 이상으로 크지 않은 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 상이한 객체로 판단하는 단계를 더 포함하는 것인, 실시간 객체 검출 방법.
  20. 제19항에 있어서, 상기 박스 머징부에 의해,
    상기 객체 사이즈가 미리 결정된 기준 이상으로 큰 경우, 상기 좌측 이미지에서 객체를 포함하는 박스 및 상기 우측 이미지에서 객체를 포함하는 박스들이 잘려진 면에 근접하였는지 여부를 판단하는 단계; 및
    양 박스들이 잘려진 면에 근접한 경우 상기 좌측 이미지 및 상기 우측 이미지 각각에서의 객체를 동일 객체로 판단하는 단계를 더 포함하는 것인, 실시간 객체 검출 방법.
  21. 제11항 내지 제20항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
KR1020190154978A 2019-11-28 2019-11-28 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치 KR102316960B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190154978A KR102316960B1 (ko) 2019-11-28 2019-11-28 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
US16/711,894 US11227374B2 (en) 2019-11-28 2019-12-12 Method and apparatus for realtime object detection in unmanned aerial vehicle image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190154978A KR102316960B1 (ko) 2019-11-28 2019-11-28 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210066119A true KR20210066119A (ko) 2021-06-07
KR102316960B1 KR102316960B1 (ko) 2021-10-22

Family

ID=76091621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154978A KR102316960B1 (ko) 2019-11-28 2019-11-28 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US11227374B2 (ko)
KR (1) KR102316960B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393300B1 (ko) * 2021-09-07 2022-05-02 한화시스템(주) 객체 지도 생성 시스템 및 그 방법
KR102592988B1 (ko) * 2023-04-20 2023-10-20 국방과학연구소 항공영상에서의 객체 탐지방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821288A (zh) * 2021-01-29 2022-07-29 中强光电股份有限公司 图像辨识方法以及无人机系统
US12019706B2 (en) * 2021-05-23 2024-06-25 Jingdong Technology Holding Co., Ltd. Data augmentation for object detection via differential neural rendering
KR102447747B1 (ko) 2022-03-10 2022-09-27 주식회사 아이코드랩 이미지 처리 장치 및 방법
KR102646894B1 (ko) * 2022-12-19 2024-03-14 주식회사 딥엑스 고정된 기기 또는 이동가능한 기기에 장착되고, 인공지능 반도체를 탑재한 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140111858A (ko) 2013-03-12 2014-09-22 삼성테크윈 주식회사 이미지 처리 장치 및 방법
KR20150041428A (ko) * 2013-10-08 2015-04-16 재단법인대구경북과학기술원 객체 검출방법 및 이를 이용한 검출장치
KR20170093290A (ko) * 2016-02-04 2017-08-16 강원대학교산학협력단 드론의 지상물체 추적 제어 시스템
KR20180094702A (ko) * 2017-02-16 2018-08-24 목포대학교산학협력단 드론을 활용한 갯벌 지역에서의 갯골 정보 추출 장치 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4607208B2 (ja) * 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 立体映像ディスプレイ方法
JP2011030182A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012156680A (ja) * 2011-01-25 2012-08-16 Jvc Kenwood Corp ３ｄ画像処理装置
JP5699679B2 (ja) * 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP5874192B2 (ja) * 2011-04-11 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6146143B2 (ja) * 2013-05-31 2017-06-14 株式会社Ｊｖｃケンウッド マルチプロジェクタシステム、投射装置、調整装置および画像調整方法、ならびに、画像調整プログラム
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
JP7119317B2 (ja) * 2016-11-28 2022-08-17 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
WO2018105052A1 (ja) * 2016-12-07 2018-06-14 三菱電機株式会社 表示制御装置、表示システム、及び、表示制御方法
DE102017108193A1 (de) * 2017-04-18 2018-10-18 Rowiak Gmbh OCT-Bilderfassungvorrichtung
CN108965651A (zh) * 2017-05-19 2018-12-07 深圳市道通智能航空技术有限公司 一种无人机高度测量方法以及无人机
US10379545B2 (en) * 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
JP6859906B2 (ja) * 2017-09-06 2021-04-14 トヨタ自動車株式会社 駐車支援装置
KR102659075B1 (ko) * 2018-03-26 2024-04-18 스미토모 겐키 가부시키가이샤 쇼벨
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11237572B2 (en) * 2018-12-27 2022-02-01 Intel Corporation Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
JP7021134B2 (ja) * 2019-01-25 2022-02-16 トヨタ自動車株式会社 車両周辺モニタ装置
TWI725836B (zh) * 2019-05-13 2021-04-21 香港商立景創新有限公司 影像擷取組件以及可攜式電子裝置
US11094113B2 (en) * 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
JP6966529B2 (ja) * 2019-12-13 2021-11-17 本田技研工業株式会社 駐車支援装置、駐車支援方法、および、プログラム
US20210192756A1 (en) * 2019-12-18 2021-06-24 Qualcomm Incorporated Partitioning and tracking object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140111858A (ko) 2013-03-12 2014-09-22 삼성테크윈 주식회사 이미지 처리 장치 및 방법
KR20150041428A (ko) * 2013-10-08 2015-04-16 재단법인대구경북과학기술원 객체 검출방법 및 이를 이용한 검출장치
KR20170093290A (ko) * 2016-02-04 2017-08-16 강원대학교산학협력단 드론의 지상물체 추적 제어 시스템
KR20180094702A (ko) * 2017-02-16 2018-08-24 목포대학교산학협력단 드론을 활용한 갯벌 지역에서의 갯골 정보 추출 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393300B1 (ko) * 2021-09-07 2022-05-02 한화시스템(주) 객체 지도 생성 시스템 및 그 방법
KR102592988B1 (ko) * 2023-04-20 2023-10-20 국방과학연구소 항공영상에서의 객체 탐지방법 및 장치

Also Published As

Publication number Publication date
KR102316960B1 (ko) 2021-10-22
US11227374B2 (en) 2022-01-18
US20210166367A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
KR102316960B1 (ko) 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
US11915502B2 (en) Systems and methods for depth map sampling
US11042762B2 (en) Sensor calibration method and device, computer device, medium, and vehicle
Simon et al. Complexer-yolo: Real-time 3d object detection and tracking on semantic point clouds
Asvadi et al. 3D object tracking using RGB and LIDAR data
US10694103B2 (en) Building system and building method for panorama point cloud
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US10325169B2 (en) Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction
US20170314930A1 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
US10679355B2 (en) System and method for detecting moving obstacles based on sensory prediction from ego-motion
KR102069390B1 (ko) 비디오에서 이동 물체들을 추적하기 위해 핑거프린트들을 이용하기 위한 방법 및 시스템
KR20200128145A (ko) 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스
CN116129376A (zh) 一种道路边缘检测方法和装置
US11568654B2 (en) Object recognition method and object recognition device performing the same
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
Alencar et al. Fast metric tracking by detection system: Radar blob and camera fusion
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
US11281916B2 (en) Method of tracking objects in a scene
WO2022111682A1 (zh) 移动行人检测方法、电子设备及机器人
KR20170106823A (ko) 부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치
EP3044734B1 (en) Isotropic feature matching
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
Le et al. Human detection and tracking for autonomous human-following quadcopter
US12002371B2 (en) Neuromorphic cameras for aircraft
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant