KR20180123778A - 항공영상에서의 객체 검출 방법 및 장치 - Google Patents

항공영상에서의 객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR20180123778A
KR20180123778A KR1020170057882A KR20170057882A KR20180123778A KR 20180123778 A KR20180123778 A KR 20180123778A KR 1020170057882 A KR1020170057882 A KR 1020170057882A KR 20170057882 A KR20170057882 A KR 20170057882A KR 20180123778 A KR20180123778 A KR 20180123778A
Authority
KR
South Korea
Prior art keywords
target object
size
image
photographing
resolution
Prior art date
Application number
KR1020170057882A
Other languages
English (en)
Inventor
김성현
이원재
권은정
박영수
신원재
이용태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170057882A priority Critical patent/KR20180123778A/ko
Publication of KR20180123778A publication Critical patent/KR20180123778A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

항공영상의 객체 검출을 위한 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 항공영상의 객체 검출 방법은, 항공영상 촬영장치의 고도 정보 및 해상도 정보를 포함하는 촬영환경을 확인하는 과정과, 상기 촬영환경과, 목적객체 예측크기 사이의 관계를 고려하여 상기 촬영환경을 제어하는 과정과, 상기 항공영상 촬영장치에 의해 촬영된 촬영영상을 획득하는 과정과, 상기 촬영영상에 대한 상기 목적객체 예측크기를 확인하고, 상기 촬영영상의 해상도를 제어하는 과정과, 상기 해상도가 제어된 촬영영상으로부터 목적객체를 검출하는 과정을 포함할 수 있다.

Description

항공영상에서의 객체 검출 방법 및 장치{METHOD FOR DETECTING OBJECT IN AERIAL IMAGES AND APPARATUS FOR THE SAME}
본 개시는 영상 촬영 기술에 관한 것이며, 보다 구체적으로는 항공 영상을 촬영하는 방법 및 장치에 대한 것이다.
드론은 무인항공기(unmaned aerial vehicle; UAV)를 총칭하는 것으로 조종사를 태우지 않고, 공기역학적 힘에 의해 부양하여 자율적으로 또는 원격조종으로 비행을 하며, 무기 또는 일반화물을 실을 수 있는 일회용 또는 재 사용할 수 있는 동력 비행체라 알려져 있다.
기술 발전에 힘입어 드론은 매우 다양하게 개발되고 있으며 군사용에서 저변 확대되어 민수용의 다양한 드론이 실용화되고 있다. 통상 드론은 원격 조정자에 의해 시계 내에서 취미용도로 확산되었나, 최근 다양한 화물을 원격지에 공급(배달)하거나, 드론에 탑재되는 카메라를 사용하여 건출물의 안전도를 확인하거나, 사람이 접근하지 못하는 위험영역을 관찰하는 기술에 대한 연구가 시도되고 있다.
한편, 드론을 통해 촬영한 항공영상에서 객체의 크기는 상공의 비행장치와 지상에 위치한 객체 사이의 거리, 영상의 해상도 및 촬영 시야각과 같은 카메라 파라미터 등에 영향을 받기 때문에, 항공영상이 촬영된 고도 정보에 따라 주어진 항공영상 해상도 및 카메라 파라미터에 대하여 항공영상에서 객체가 차지하는 영역의 크기를 예측할 수 있다.
따라서, 영상 피라미드 구축없이 고도, 해상도 및 카메라 파라미터 등을 제어하여 최적의 영상 획득 및 설정을 통한 객체 검출 정확도를 높일 수 있다.
본 개시의 기술적 과제는 촬영환경을 제어하여 객체 검출이 용이한 항공영상을 확보할 수 있는 방법 및 장치를 제공하는 것이다.
본 개시의 다른 기술적 과제는 항공영상으로부터 객체 검출의 정확도를 높일 수 있는 방법 및 장치를 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면 항공영상의 객체 검출을 위한 방법이 제공될 수 있다. 상기 방법은 항공영상 촬영장치의 고도 정보 및 해상도 정보를 포함하는 촬영환경을 확인하는 과정과, 상기 촬영환경과, 목적객체 예측크기 사이의 관계를 고려하여 상기 촬영환경을 제어하는 과정과, 상기 항공영상 촬영장치에 의해 촬영된 촬영영상을 획득하는 과정과, 상기 촬영영상에 대한 상기 목적객체 예측크기를 확인하고, 상기 촬영영상의 해상도를 제어하는 과정과, 상기 해상도가 제어된 촬영영상으로부터 목적객체를 검출하는 과정을 포함할 수 있다.
본 개시의 다른 양상에 따르면 항공영상의 객체 검출을 위한 장치가 제공될 수 있다. 상기 장치는 촬영영상을 촬영하는 카메라부와, 항공영상 촬영장치 구동부와, 상기 항공영상 촬영장치의 고도 정보 및 해상도 정보를 포함하는 촬영환경을 확인하고, 상기 촬영환경과, 목적객체 예측크기 사이의 관계를 고려하여 상기 촬영환경을 제어하는 촬영환경 제어부와, 상기 촬영영상에 대한 상기 목적객체 예측크기를 확인하고, 상기 촬영영상의 해상도를 제어하고, 상기 해상도가 제어된 촬영영상으로부터 목적객체를 검출하는 객체검출 처리부를 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 촬영환경을 제어하여 객체 검출이 용이한 항공영상을 확보할 수 있는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 항공영상으로부터 객체 검출의 정확도를 높일 수 있으며, 정확하게 검출된 객체를 바탕으로 위험영역을 정확하게 판단할 수 있는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 항공영상의 객체 검출 방법이 적용되는 항공영상 촬영장치의 구성을 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 항공영상의 객체 검출 방법의 순서를 도시하는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 항공영상의 객체 검출 방법에 사용되는 촬영환경과 목적객체 예측크기와의 관계를 예시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 항공영상의 객체 검출 방법에 사용되는 목적객체 기준크기를 예시하는 도면이다.
도 5a는 본 발명의 일 실시예에 따른 항공영상의 객체 검출 방법에 사용되는 촬영환경, 목적객체 예측크기, 및 목적객체 기준크기를 예시하는 도면이다.
도 5b는 도 5a의 촬영환경 제어를 통해 재 설정된 목적객체 예측크기를 예시하는 도면이다.
도 6a는 본 발명의 일 실시예에 따른 항공영상의 객체 검출 방법에 사용되는 촬영환경 제어를 통해 재 설정된 목적객체 예측크기의 일 예시도이다.
도 6b는 본 발명의 일 실시예에 따른 항공영상의 객체 검출 방법에 사용되는 촬영환경 제어를 통해 재 설정된 목적객체 예측크기의 다른 예시도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 항공영상의 객체 검출 방법이 적용되는 항공영상 촬영장치의 구성을 도시하는 블록도이다.
도 1을 참조하면, 항공영상 촬영장치(10)는 카메라부(11), 촬영장치 구동부(13), 촬영환경 제어부(15) 및 객체 검출 처리부(17)를 포함할 수 있다.
카메라부(11)는 영상 데이터를 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD 또는 CMOS센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.
카메라부(11)는 적어도 하나의 렌즈와 상기 렌즈의 위치를 제어하는 렌즈 구동부를 구비하는 렌즈 어레이를 포함할 수 있다. 상기 렌즈 구동부는 상기 적어도 하나의 렌즈 위치를 조절하여, 카메라센서에서 촬영되는 항공영상의 초점거리를 제어할 수 있으며, 이를 통해 항공영상의 시야각 확대 또는 축소 등을 제어할 수 있다.
또한, 카메라부(11)는 GPS와 같은 좌표 측정센서, 자이로 센서 등과 같은 움직임 센서를 구비할 수 있으며, 좌표 측정센서를 통해 확인되는 위치정보나, 움직임 센서를 통해 확인되는 움직임 정보를 포함하는 메타데이터를 생성할 수 있다.
추가적으로, 카메라부(11)는 항공영상 촬영장치(10)의 구동에 의해 발생되는 진동을 보정하는 진동 보정 장치를 포함할 수 있다.
촬영장치 구동부(13)는 회전자(예, 프로펠러 등)가 결합된 적어도 하나의 모터를 구동하여 항공영상 촬영장치(10)를 상/하/좌/우를 포함하는 방향으로 이동시킬 수 있는 제어 유닛을 포함할 수 있다. 또한, 촬영장치 구동부(13)는 자이로 센서, 가속도 센서 등과 같은 움직임 센서와, GPS와 같은 좌표 측정센서를 포함할 수 있다. 그리고, 움직임 센서와, GPS와 같은 좌표 측정센서 등을 통해 확인되는 정보는 제어 유닛에 제공될 수 있으며, 제어 유닛이 항공영상 촬영장치(10)의 이동을 제어하는데 사용될 수 있다.
또한, 촬영장치 구동부(13)는 항공영상 촬영장치(10)의 고도를 측정할 수 있는 고도 센서를 포함할 수 있으며, 상기 고도 센서에서 측정되는 고도 정보 역시 제어 유닛에 제공될 수 있으며, 제어 유닛이 항공영상 촬영장치(10)의 이동을 제어하는데 사용될 수 있다.
촬영환경 제어부(15)는 카메라부(11)로부터 항공영상을 촬영하면서 검출된 카메라 파라미터를 제공받을 수 있다. 상기 카메라 파라미터는 해상도 정보를 포함할 수 있다. 그리고, 촬영환경 제어부(15)는 촬영장치 구동부(13)로부터 고도 정보를 제공받을 수 있다. 이에 따라, 촬영환경 제어부(15)는 해상도 정보와 고도 정보를 포함하는 촬영환경을 확인할 수 있으며, 상기 촬영환경에 대응되는 목적객체 예측크기를 산출할 수 있다. 그리고, 촬영환경 제어부(15)는 목적객체 예측크기를 미리 정해진 기준 크기와 비교하고, 상기 미리 정해진 기준 크기에 부합되는 촬영환경을 결정할 수 있다. 결정된 촬영환경은 카메라부(11) 또는 촬영장치 구동부(13)에 제공될 수 있으며, 이에 따라, 상기 결정된 촬영환경에 맞게 카메라의 해상도 또는 항공영상 촬영장치의 고도가 제어될 수 있다.
상기 목적객체 예측크기는, 상기 영상에서 목적객체가 차지하는 픽셀 영역의 크기를 포함할 수 있다.
나아가, 상기 카메라 파라미터는 초점거리, 주점, 비대칭 계수 등을 포함할 수 있다. 촬영환경 제어부(15)는 초점거리, 주점, 비대칭 계수 등을 반영하여 상기 촬영환경을 제어할 수 있다.
객체검출 처리부(17)는 상기 결정된 촬영환경에 맞게 카메라의 해상도 또는 항공영상 촬영장치의 고도가 제어된 상태에서, 상기 카메라부(11)로부터 항공영상을 제공받을 수 있다.
이하에서, 상기 결정된 촬영환경에 맞게 카메라의 해상도 또는 항공영상 촬영장치의 고도가 제어된 상태에서, 상기 카메라부(11)가 제공하는 항공 영상은 촬영영상이라 한다.
객체검출 처리부(17)는 촬영영상의 촬영환경을 확인하고, 상기 촬영영상에 대한 상기 목적객체 예측크기를 확인한다. 그리고, 객체검출 처리부(17)는 상기 촬영영상의 해상도를 제어하고, 상기 해상도가 제어된 촬영영상으로부터 목적객체를 검출할 수 있다.
예컨대, 객체검출 처리부(17)는 상기 촬영영상의 촬영환경을 기준으로, 상기 촬영영상에 대한 목적객체 예측크기를 확인하고, 상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하는지 확인한다. 상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하지 않는 경우, 객체검출 처리부(17)는 상기 목적객체 예측크기가 상기 목적객체 기준크기를 만족하도록 상기 촬영영상의 해상도를 조절할 수 있다. 상기 목적객체 기준크기를 만족하도록 상기 촬영영상의 해상도를 조절하는 동작은 사전학습정보를 바탕으로 처리될 수 있다.
상기 목적객체 기준크기는, 상기 목적객체의 최소 검출 크기보다 크고, 상기 목적객체의 최대 검출 크기보다 작게 설정될 수 있다.
도 2는 본 발명의 일 실시예에 따른 항공영상의 객체 검출 방법의 순서를 도시하는 흐름도이다.
항공영상의 객체 검출 방법은 전술한 항공영상 촬영장치에 의해 수행될 수 있다.
항공영상 촬영장치는 장치가 영상을 촬영하는 환경, 즉, 촬영환경을 확인할 수 있다(S21). 촬영환경은 항공영상의 객체 검출 장치에 구비되는 카메라의 해상도에 대한 정보(이하, 해상도 정보라 함)와, 항공영상의 객체 검출 장치가 위치한 영역의 고도에 대한 정보(이하, 고도 정보라 함)를 포함할 수 있다.
나아가, 상기 촬영환경은 시야각 정보 또는 초점 거리 정보를 포함할 수 있다. 이러한 시야각 정보 또는 초점 거리 정보 등은 상기 카메라에서 제공되는 초점거리, 주점, 비대칭 계수 등의 카메라 파라미터를 통해 확인할 수 있다.
항공영상 촬영장치는 촬영환경과 목적객체 예측크기와의 관계를 고려하여, 촬영환경을 제어한다(S22).
예를 들어, 도 3은 핀홀 카메라 모델을 예시한다. 도 3에서, W 및 H는 지표면 위 가로 및 세로 방향 촬영범위, X 및 Y는 지표면 위 목적객체의 가로 및 세로 길이, D는 고도, θx는 가로 방향 시야각, F는 카메라의 렌즈와 이미지센서(예, CCD, CMOS 등) 사이의 초점거리, w 및 h는 이미지센서의 가로 및 세로 길이, x 및 y는 영상센서에 투영된 목적객체의 가로 및 세로 길이, m 및 n은 촬영영상의 가로 및 세로 방향 픽셀 수를 나타낸다.
이와 같이, 고도나, 해상도에 의해 목적객체의 예측크기가 다르게 확인될 수 있다. 목적객체의 예측크기가 목적객체를 검출할 수 있는 유효 크기를 벗어나게 될 경우, 항공영상에서 목적객체를 검출하거나 식별하기가 용이하지 않다. 따라서, 항공영상을 촬영하기에 앞서, 촬영환경을 제어할 수 있도록 한다.
전술한 도 3에서 예시하는 핀홀 카메라 모델을 기반으로, 촬영환경과 목적객체의 예측크기 사이의 관계를 확인할 수 있으며, 이를 바탕으로 촬영환경에 대한 정보를 사용하여 목적객체의 예측크기를 확인할 수 있다.
목적객체 예측크기는 하기의 수학식 1 및 2와 같이 산출할 수 있다. 수학식 1은 목적객체의 가로 방향의 픽셀 수를 산출하는 방법을 예시하며, 수학식 1은 목적객체의 세로 방향의 픽셀 수를 산출하는 방법을 예시한다.
Figure pat00001
Figure pat00002
Figure pat00003
여기서 f{ㆍ}는 올림연산 함수, xm은 목적객체가 촬영 영상에서 차지하는 가로 방향 픽셀 수를 의미한다.
Figure pat00004
Figure pat00005
Figure pat00006
여기서 f{ㆍ}는 올림연산 함수, Yn은 목적객체가 촬영 영상에서 차지하는 세로 방향 픽셀 수를 의미한다.
나아가, 전술한 수학식 1 및 2에서 목적객체 예측크기를 산출하는 것을 예시하였으나, 목적객체의 예측크기를 기준값으로 설정할 경우, 역으로 촬영환경을 결정할 수도 있다.
나아가, S22 단계에서, 촬영환경 설정 시, 앞서 산출된 목적객체 예측크기를 목적객체 기준크기와 비교하여 설정할 수 있다. 즉, 항공영상 촬영장치는 상기 확인된 촬영환경을 바탕으로 전술한 수학식 1 및 2의 연산을 통해 상기 목적객체 예측크기를 확인할 수 있다. 그리고, 확인된 상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하는지 확인할 수 있다. 만약, 상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하지 못할 경우, 상기 목적객체 예측크기가 상기 목적객체 기준크기를 만족하도록 상기 촬영환경을 조절할 수 있다.
구체적으로, 도 4를 참조하면, 목적객체 기준크기(410)가 설정될 수 있다. 목적객체 기준크기(410)는 목적객체를 검출할 수 있는 최소크기(411)와 최대 크기(412)를 포함할 수 있다. 여기서, 상기 목적객체를 검출할 수 있는 최소크기(411)와 최대 크기(412)는 픽섹 단위의 크기일 수 있다. 상기 목적객체 예측크기가 최소크기(411)보다 작거나, 최대 크기(412)를 초과하는 경우, 촬영영상에서 목적객체를 검출할 수 없다. 따라서, 항공영상 촬영장치는 목적객체 예측크기가 목적객체를 검출할 수 있는 최소크기(411)와 최대 크기(412) 사이의 값을 가질 수 있도록, 촬영환경을 제어한다. 이러한 목적객체 기준크기(410)는 목적객체 및 시스템 환경, 객체 검출을 위한 사전학습 등을 반영하여 결정될 수 있다.
나아가, 촬영환경의 제어는 다양한 방식에 따라 수행될 수 있다. 예컨대, 주어진 고도 및 시야각에 대하여 저 해상도로 촬영하여, 목적객체가 목적객체 기준크기(410)를 벗어날 수 있다. 이 경우, 항공영상의 촬영을 개시하기에 앞서 목적객체 예측크기를 확인하여, 목적객체 예측크기가 목적객체 기준크기(410) 범위로 결정될 수 있도록 해상도를 높게 제어할 수 있다. 이와 유사하게, 주어진 고도 및 시야각에 대하여 고 해상도로 촬영하여, 목적객체가 목적객체 기준크기(410)를 벗어난 경우, 목적객체 예측크기가 목적객체 기준크기(410) 범위로 결정될 수 있도록 해상도를 낮게 제어할 수 있다.
도 5a를 참조하면, 목적객체 기준크기(510)의 최소크기(511)가 5×4픽셀로 설정되고, 최대 크기(512)가 11×11픽셀로 설정됨을 예시한다. 그리고, 항공영상 촬영장치(500)가 위치한 제1고도(501)에서 제1해상도로 촬영할 경우, 목적객체 예측크기(520)는 4×4픽셀 크기로 확인될 수 있다. 이 경우, 목적객체 예측크기(520)는 목적객체 기준크기(510)보다 상대적으로 작게 확인되므로, 도 5b에서와 같이 목적객체 예측크기(530)가 8×10 픽셀의 크기를 갖도록 제2해상도로 촬영환경을 제어할 수 있다.
다른 예로서, 도 6a에서와 같이 제2고도 및 제3해상도에 대하여 제1시야각으로 촬영할 경우(610), 목적객체 예측크기(611)가 목적객체 기준크기(620)를 만족하지 못할 수 있다. 이러한 경우, 항공영상 촬영장치(600)의 고도를 하강하도록 촬영환경을 제어함으로써(630), 목적객체 예측크기(613)가 목적객체 기준크기(620)를 만족하도록 할 수 있다.
또는 도 6b에서와 같이, 제2시야각 및 제4해상도에 대하여 상대적으로 높은 고도, 즉 제3고도로 촬영할 경우(650), 목적객체 예측크기(660)가 목적객체 기준크기(670)를 만족하지 못할 수 있다. 이러한 경우, 항공영상 촬영장치(600)의 고도를 하강하도록 촬영환경을 제어함으로써(680), 목적객체 예측크기(661)가 목적객체 기준크기(670)를 만족하도록 할 수 있다.
한편, 전술한 바와 같은 동작을 통해 촬영환경이 조절되면, 항공영상 촬영장치는 항공영상의 촬영을 진행하여 촬영영상을 획득한다(S23). 그리고, 항공영상 촬영장치는 상기 촬영영상의 해상도를 제어할 수 있다(S24). 예를 들어, 항공영상 촬영장치는 상기 촬영영상에 대한 촬영환경(예, 고도, 해상도, 시야각 등)을 확인할 수 있다. 그리고, 상기 촬영영상에 대한 촬영환경에 기초하여 목적객체 예측크기를 산출할 수 있다. 이때, 목적객체 예측크기의 산출은 전술한 도 3에서 예시한 관계를 바탕으로, 수학식 1과 2의 연산을 통해 처리할 수 있다. 이와 같이, 상기 촬영영상에 대한 목적객체 예측크기가 확인되면, 이를 목적객체 기준크기와 비교할 수 있으며, 목적객체 예측크기가 목적객체 기준크기를 벗어날 경우, 목적객체 예측크기가 목적객체 기준크기의 범위에 존재하도록 상기 촬영영상의 해상도를 제어할 수 있다.
S25 단계에서, 항공영상 촬영장치는 촬영영상으로부터 목적객체를 검출하는 동작을 진행할 수 있다.
나아가, 검출된 목적객체는 위험영역을 검출하고, 객체의 위험 여부를 판단하는데 사용될 수 있다. 예를 들어, 영상정보 및 사전학습 정보를 바탕으로 촬영영상으로부터 소정의 목적객체를 검출하고, 미리 정해진 패턴의 위험영역을 검출할 수 있다. 목적객체의 검출이나 위험영역의 검출은 쉘로우 러닝(Sallow Learning), 딥 러닝(Deep Learning) 등과 같은 학습에 기초하여 수행될 수 있다. 객체 검출 수행 결과는 영상 내에서 검출한 각각의 목적객체에 대한 분류 정보 및 픽셀좌표 관련 정보를 포함한다. 위험영역 검출 수행 결과는 영상 내에서 검출한 위험영역에 대한 위험정도를 나타내는 히트맵을 포함한다. 객체 검출 및 위험영역 검출 결과 간 정합 및 실제 공간의 기하정보가 주어진 경우 영상에 대한 기하정보 정합을 수행한다. 검출된 객체와 위험영역 사이의 최소거리를 계산하고, 해당 최소거리가 위험임계거리를 초과하지 않는 경우 위험으로 판단한다. 최소거리 및 위험임계거리는 영상 내 픽셀 거리 또는 실제 기하학적 거리를 사용할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (12)

  1. 항공영상 촬영장치의 고도 정보 및 해상도 정보를 포함하는 촬영환경을 확인하는 과정과,
    상기 촬영환경과, 목적객체 예측크기 사이의 관계를 고려하여 상기 촬영환경을 제어하는 과정과,
    상기 항공영상 촬영장치에 의해 촬영된 촬영영상을 획득하는 과정과,
    상기 촬영영상에 대한 상기 목적객체 예측크기를 확인하고, 상기 촬영영상의 해상도를 제어하는 과정과,
    상기 해상도가 제어된 촬영영상으로부터 목적객체를 검출하는 과정을 포함하는 것을 특징으로 하는 항공영상의 객체 검출 방법.
  2. 제1항에 있어서,
    상기 촬영환경은 상기 항공영상 촬영장치의 시야각 정보 또는 초점 거리 정보를 포함하는 것을 특징으로 하는 항공영상의 객체 검출 방법.
  3. 제1항에 있어서,
    상기 촬영환경을 제어하는 과정은,
    상기 확인된 촬영환경을 기준으로, 상기 목적객체 예측크기를 확인하는 과정과,
    상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하는지 확인하는 과정과,
    상기 목적객체 예측크기가 상기 목적객체 기준크기를 만족하도록 상기 촬영환경을 조절하는 과정을 포함하는 것을 특징으로 하는 항공영상의 객체 검출 방법.
  4. 제1항에 있어서,
    상기 목적객체 예측크기는,
    상기 영상에서 목적객체가 차지하는 픽셀 영역의 크기를 지시하는 것을 특징으로 하는 항공영상의 객체 검출 방법.
  5. 제1항에 있어서,
    상기 촬영영상의 해상도를 제어하는 과정은,
    상기 촬영영상의 촬영환경을 기준으로, 상기 촬영영상에 대한 목적객체 예측크기를 확인하는 과정과,
    상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하는지 확인하는 과정과,
    상기 목적객체 예측크기가 상기 목적객체 기준크기를 만족하도록 상기 촬영영상의 해상도를 조절하는 과정을 포함하는 것을 특징으로 하는 항공영상의 객체 검출 방법.
  6. 제3항 또는 제5항에 있어서,
    상기 목적객체 기준크기는,
    상기 목적객체의 최소 검출 크기보다 크고, 상기 목적객체의 최대 검출 크기보다 작은 것을 특징으로 하는 항공영상의 객체 검출 방법.
  7. 촬영영상을 촬영하는 카메라부와,
    항공영상 촬영장치 구동부와,
    상기 항공영상 촬영장치의 고도 정보 및 해상도 정보를 포함하는 촬영환경을 확인하고, 상기 촬영환경과, 목적객체 예측크기 사이의 관계를 고려하여 상기 촬영환경을 제어하는 촬영환경 제어부와,
    상기 촬영영상에 대한 상기 목적객체 예측크기를 확인하고, 상기 촬영영상의 해상도를 제어하고, 상기 해상도가 제어된 촬영영상으로부터 목적객체를 검출하는 객체검출 처리부를 포함하는 것을 특징으로 하는 항공영상의 객체 검출 장치.
  8. 제7항에 있어서,
    상기 촬영환경은 상기 항공영상 촬영장치의 시야각 정보 또는 초점 거리 정보를 포함하는 것을 특징으로 하는 항공영상의 객체 검출 장치.
  9. 제7항에 있어서,
    상기 촬영환경 제어부는,
    상기 확인된 촬영환경을 기준으로, 상기 목적객체 예측크기를 확인하고,
    상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하는지 확인하고,
    상기 목적객체 예측크기가 상기 목적객체 기준크기를 만족하도록 상기 촬영환경을 조절하는 것을 특징으로 하는 항공영상의 객체 검출 장치.
  10. 제7항에 있어서,
    상기 목적객체 예측크기는,
    상기 영상에서 목적객체가 차지하는 픽셀 영역의 크기를 지시하는 것을 특징으로 하는 항공영상의 객체 검출 장치.
  11. 제7항에 있어서,
    상기 객체검출 처리부는,
    상기 촬영영상의 촬영환경을 기준으로, 상기 촬영영상에 대한 목적객체 예측크기를 확인하고,
    상기 목적객체 예측크기가 상기 목적객체를 검출하는데 요구되는 목적객체 기준크기를 만족하는지 확인하고,
    상기 목적객체 예측크기가 상기 목적객체 기준크기를 만족하도록 상기 촬영영상의 해상도를 조절하는 것을 특징으로 하는 항공영상의 객체 검출 장치.
  12. 제9항 또는 제11항에 있어서,
    상기 목적객체 기준크기는,
    상기 목적객체의 최소 검출 크기보다 크고, 상기 목적객체의 최대 검출 크기보다 작은 것을 특징으로 하는 항공영상의 객체 검출 장치.
KR1020170057882A 2017-05-10 2017-05-10 항공영상에서의 객체 검출 방법 및 장치 KR20180123778A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170057882A KR20180123778A (ko) 2017-05-10 2017-05-10 항공영상에서의 객체 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170057882A KR20180123778A (ko) 2017-05-10 2017-05-10 항공영상에서의 객체 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180123778A true KR20180123778A (ko) 2018-11-20

Family

ID=64568584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170057882A KR20180123778A (ko) 2017-05-10 2017-05-10 항공영상에서의 객체 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20180123778A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200105126A (ko) * 2019-02-28 2020-09-07 한국과학기술원 영상 처리를 기반으로 한 비행체의 충돌 방지 방법
KR20220128866A (ko) * 2021-03-15 2022-09-22 엘아이지넥스원 주식회사 거리 정보를 이용한 항공 영상에서의 특징점 추출 방법 및 장치
KR102531238B1 (ko) * 2023-01-11 2023-05-11 (주)인포스텍 인공지능 기반 다목적 안전 감시 일체형 카메라 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200105126A (ko) * 2019-02-28 2020-09-07 한국과학기술원 영상 처리를 기반으로 한 비행체의 충돌 방지 방법
KR20220128866A (ko) * 2021-03-15 2022-09-22 엘아이지넥스원 주식회사 거리 정보를 이용한 항공 영상에서의 특징점 추출 방법 및 장치
KR102531238B1 (ko) * 2023-01-11 2023-05-11 (주)인포스텍 인공지능 기반 다목적 안전 감시 일체형 카메라 시스템

Similar Documents

Publication Publication Date Title
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
US11884418B2 (en) Control device, control method, and flight vehicle device
US10860039B2 (en) Obstacle avoidance method and apparatus and unmanned aerial vehicle
EP3231714B1 (en) Systems and methods for landing lights
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
EP2348280A2 (en) Systems and methods for monocular airborne object detection
US10429508B2 (en) Distance measuring device, moving system, and distance measurement method
US11490005B2 (en) Overhead line image capturing system and overhead line image capturing method
KR102083934B1 (ko) 영상정보를 이용한 비행체의 자동 착륙 방법 및 장치
KR20180123778A (ko) 항공영상에서의 객체 검출 방법 및 장치
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
JP2017037008A (ja) 構造物の状態検査方法
KR101914179B1 (ko) 무인비행체의 충전위치 탐지 장치
JP2019144804A5 (ko)
JP2017090146A (ja) 表面検査装置およびこれを用いた表面検査方法
JP6482855B2 (ja) 監視システム
US20220065976A1 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
JP6482856B2 (ja) 監視システム
US10638098B2 (en) Surveillance method
EP3761220A1 (en) Method for improving the interpretation of the surroundings of a vehicle
JP6878375B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP2019219874A (ja) 自律移動撮影制御システムおよび自律移動体
KR101590889B1 (ko) 표적 추적 정확도 분석을 위한 영상 기반의 위치추정 방법 및 이를 위한 위치추정 시스템
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台