KR102237970B1 - 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체 - Google Patents

영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체 Download PDF

Info

Publication number
KR102237970B1
KR102237970B1 KR1020190023834A KR20190023834A KR102237970B1 KR 102237970 B1 KR102237970 B1 KR 102237970B1 KR 1020190023834 A KR1020190023834 A KR 1020190023834A KR 20190023834 A KR20190023834 A KR 20190023834A KR 102237970 B1 KR102237970 B1 KR 102237970B1
Authority
KR
South Korea
Prior art keywords
moving object
information
present
image
aircraft
Prior art date
Application number
KR1020190023834A
Other languages
English (en)
Other versions
KR20200105125A (ko
Inventor
심현철
이재현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190023834A priority Critical patent/KR102237970B1/ko
Priority to US16/805,240 priority patent/US20200278703A1/en
Publication of KR20200105125A publication Critical patent/KR20200105125A/ko
Application granted granted Critical
Publication of KR102237970B1 publication Critical patent/KR102237970B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0289—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • B64C2201/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체에 대한 것으로, 비행체가 이동하는 방향의 전면 영상을 획득하는 전면영상 입력부가 비행체의 제 1 축에 위치하는 수직 꼬리 날개 위에 설치되고, 전면 영상에서 이동체를 검출하여 추적한 후 회피경로를 생성하는 발명에 대한 것이다.

Description

영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체 {A collision avoidance system for a flight vehicle based on image processing and a flight vehicle including the system}
본 발명은 비행체의 충돌을 방지하기 위해 영상을 기반으로 침입기를 검출하고, 회피하는 방법 및 해당 방법이 동작하는 장치 구현에 대한 것이다.
일반적으로 무인항공기(UAV; Unmanned Aerial Vehicle)는 조종사가 직접 탑승하지 않고 지상에서 제어함으로써 동작하는 비행체를 말한다. 이러한 무인항공기는, 전투상황 시 적진에 대한 정찰활동이나 목표물에 대한 미사일등을 이용한 공격 등과 같이 인명손실의 가능성이 크고 위험한 작전수행에서 유인항공기(trigger aircraft)보다 매우 효율적이고 안정적이며 저비용으로 작전 등을 수행할 수 있는 이점이 있어 근래에 많이 활용되고 있다.
최근, 무인항공기와 유인항공기의 통합 운용이 준비 및 연구 중에 있다. 이때, 유인항공기와 달리 무인항공기는 충돌을 대비하기 위한 항공기 탐지 기술이 필요하다. 무인항공기가 동작하는 중, 항공기는 영공 내의 장애물과 마주칠 수 있다. 장애물들은 고정되거나 움직일 수 있으며, 그 위치는 사전에 알려져 있지 않다.
항공기 내의 장애물 탐지 및 회피를 위한 전통적인 방법으로, 무인 비행기 의 조종사가 장애물과의 충돌 코스 상에 항공기가 있는지 여부를 판단하는 역할을 수행할 수 있다. 또한 글로벌 포지셔닝 시스템(Global Positioning System: GPS)을 포함하여 항공기와 장애물과의 충돌을 방지하기 위한 기존 기술은 GPS 장치를 통해 많은 장애물들이 인식(또는 재빨리 인식)되지 않으며, 고도 또는 지형에 의존하여, GPS 정확도 성능이 환경에 따라 매우 다르다는 한계가 존재한다.
종래에는 이를 해결하기 위해, 레이더를 활용하였으나, 레이더를 활용한 시스템은 고가 및 고전력의 시스템이므로, 민간 분야에서 활용이 어렵다는 한계가 존재한다.
따라서, 최근에는 영상처리 기술이 발전하여, 영상을 활용한 항공기 탐지 기술이 대두되고 있는 실정이다. 이때, 무인 항공기에 설치된 장치를 통해 영상을 입력 받게 되는데, 무인 항공기의 움직임에 따라 안정적으로 전방 영역의 영상을 입력 받지 못하다는 단점이 존재한다.
또한, 무인 항공기의 움직임에 따라 입력 받은 영상의 배경이 변화하고, 입력받은 영상에서 방해물이 작게 표시되므로, 방해물을 추적하거나, 해당 방해물이 침입기인지 여부를 판단하는 것이 문제가 된다.
따라서, 안정적으로 영상을 입력 받고, 입력 받은 영상을 처리하는 기술이 필요한 실정이다.
본 발명은 비행체의 비행에 따라 날개의 변형에 영향을 받지 않으며, 진동을 피하는 영상을 입력 받는 것을 목적으로 한다.
본 발명은 국제 민간 항공 기구(ICAO)의 규격에 맞는 영상 입력 장치를 비행체에 추가하는 것을 목적으로 한다.
본 발명은 영상을 기반으로 한 DAA(Detect-and-Avoid) 기술을 위한 하드웨어 및 알고리즘을 개시하는 것을 목적으로 한다.
본 발명은 협력적인(cooperative) 항공기와 비협력적인(non-cooperative) 항공기 모두를 안전하게 회피 하기 위한 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 센서를 활용하여 안정적으로 비행경로에 존재하는 방해물을 탐지 및 추적하는 것을 목적으로 한다.
본 발명은 비행경로에 존재하는 방해물을 탐지 및 추적하는 영상 처리 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 영상을 기반으로 한 비행체의 검출 및 회피(DAA, Detect-and-Avoid) 시스템에 대한 것이다. 검출 및 회피 시스템은 비행체가 이동하는 방향의 전면 영상을 획득하는 전면영상 입력부, 전면 영상에서 이동체를 검출하여 추적하는 이동체 추적부, 검출된 이동체의 정보를 포함한 회피 경로 생성을 위한 정보를 관리 및 수집하는 정보 수집부, 회피 경로 생성을 위한 정보에 기초하여 회피 경로를 생성하는 회피경로 생성부 및 검출된 이동체의 정보 및 회피 경로를 출력하는 출력부를 포함할 수 있다.
본 발명의 일 실시예에 따라, 전면영상 입력부는 비행체의 제 1축에 위치하는 수직 꼬리 날개 위에 설치될 수 있다. 또한 전면영상입력부는 3개의 EO(Electro-Optic) 센서로 구성될 수 있다. 보다 상세하게는 전면영상 입력부는 비행체의 제 1축과 평행하게 위치하는 제 1 센서, 제 1 센서와 비행체의 제 1축을 기준으로 70도만큼 우측에 위치하는 제 2 센서 및 제 1 센서와 비행체의 제 1축을 기준으로 70도만큼 좌측에 위치하는 제 3 센서로 구성될 수 있다.
본 발명의 일 실시예에 따라, 시스템은 협조비행체 정보 입력부를 더 포함하되, 협조비행체 정보 입력부는 ADS-B(Automatic Dependent Surveillance-Broadcast) 수신 센서로부터 수신한 협조 비행체 정보를 상기 이동체 추적부에 전송할 수 있다.
본 발명의 일 실시예에 따라, 정보수집부는 입력 받은 상기 비행체 정보 및 협조 비행체 정보를 수집하여, 회피 경로 생성을 위한 정보로 관리할 수 있다.
본 발명의 일 실시예에 따라, 이동체 추적부는 전면 영상으로부터 이동체가 포함된 관심 영역을 검출하고, 관심 영역을 확대하여 이동체의 종류를 확인할 수 있다.
본 발명의 일 실시예에 따라, 이동체 추적부는 협조 비행체 정보 입력부로부터 관심 영역에 대한 정보를 수신하고, 관심 영역 정보 및 전면 영상의 분석 정보 중 적어도 하나 이상에 기초하여, 상기 이동체를 검출할 수 있다.
본 발명의 일 실시예에 따라, 이동체 추적부가 이동체를 검출하는 경우, 전면 영상을 필터링하고, 필터링된 영상의 움직임에 기초하여 이동체를 검출할 수 있다.
본 발명의 일 실시예에 따라, 이동체 추적부는 딥러닝(Deep learning)을 수행하여 상기 관심 영역을 확대하여 상기 이동체의 종류를 확인할 수 있다.
본 발명의 일 실시예에 따라, 필터링된 영상의 움직임은 광 흐름(Optical-flow) 기법으로 판단될 수 있다.
본 발명에 따르면 비행체의 비행에 따라 날개의 변형에 영향을 받지 않으며, 진동을 피하는 영상을 입력 받을 수 있다.
본 발명에 따르면 국제 민간 항공 기구(ICAO)의 규격에 맞는 영상 입력 장치를 비행체에 추가할 수 있다.
본 발명에 따르면 영상을 기반으로 한 DAA(Detect-and-Avoid) 기술을 위한 하드웨어 및 알고리즘을 사용할 수 있다.
본 발명에 따르면 협력적인(cooperative) 항공기와 비협력적인(non-cooperative) 항공기 모두를 안전하게 회피 하기 위한 장치 및 방법을 사용할 수 있다.
본 발명에 따르면 센서를 활용하여 안정적으로 비행경로에 존재하는 방해물을 탐지 및 추적할 수 있다.
본 발명에 따르면 비행경로에 존재하는 방해물을 탐지 및 추적하는 영상 처리 방법을 사용할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 기존에 이용되던 전면 영상 입력 장치의 구성 및 입력 받은 전면 영상 화면을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템에서 송수신되는 데이터들을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템에서 전면영상을 입력 받는 전면 영상 입력부의 구조를 설명한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템에서 전면영상을 입력 받는 전면 영상 입력부의 구조를 설명한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템의 검출 및 회피 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 비행체의 검출 및 회피 장치의 동작에 대한 내용을 설명한 도면이다.
도 8은 본 발명의 일 실시예에 따른 비행체의 검출 및 회피 장치가 동작하는 흐름도를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 검출 및 회피 방법에 따라 처리된 영상에 해당된다.
도 10는 일반적인 광 흐름(Optical-flow)을 설명하기 위한 도면에 해당된다.
도 11은 본 발명과 같이 CMO와 광 흐름(Optical-flow) 을 동시에 적용한 결과를 설명한 도면에 해당된다.
도 12는 본 발명의 일 실시예에 따라, 출력된 영상화면을 나타낸 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
이하에서는, 본 발명의 실시예에 장치 및 방법을 첨부한 도면들을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
도 1은 기존에 이용되던 전면 영상 입력 장치의 구성 및 입력 받은 전면 영상 화면을 나타낸 도면이다.
보다 상세하게는 도1(a)는 국제 민간 항공 기구(ICAO,　International Civil Aviation Organization)의 DAA(Detect-and-Avoid) MOPS(Minimum Operational Performance Standard)를 만족하는 종래의 장치를 설명한 도면이다. 국제 민간 항공 기구의 DAA MOPS를 만족하는 비행체는, 도1(a)과 같이 좌우 +-110도와 상하 +-15도를 볼 수 있도록 설계되어야 한다. 이때, 이 조건을 만족하기 위하기 위한 EO(Electro-Optic) 센서가 포함된 추적 시스템의 구성은 도1(a)와 같이 제안된바 있다.
이때, 종래의 추적 시스템은 4개의 EO 센서들과 제어부로 구성될 수 있다. 이때, 일 실시예로 제어부는 Nvidia Drive PX2가 사용될 수 있다. 또한, 추적 시스템은 4개의 EO 센서들과 제어부를 기가비트 멀티미디어 시리얼 링크(GMSL)로 연결될 수 있다.
EO 센서들은 제 2축(130)에 위치한 날개의 끝(110)에 설치될 수 있다. 이 때 본 발명에서 제 2축(130)은 비행체의 날개와 평행한 축에 해당될 수 있다. 또한, 본 발명의 일 실시예에 따라 제 2축(130)은 드론 등이 피치(pitch)를 수행할 때 회전의 기준이 되는 축과 평행한 축이 될 수 있다.
또한 본 발명에서 제 1축(120)은 제 2축(130)과 수직한 축과 평행한 축에 해당될 수 있다. 제 1축(120)은 비행체의 이동방향을 향하는 축과 평행한 축에 해당될 수 있다. 이때, 본 발명의 일 실시예에 따라 제 1축(120)은 드론 등이 롤(roll)을 수행할 때, 기준이 되는 축(roll 축)과 평행한 축이 될 수 있다.
이때, 드론의 롤(roll)이란 드론의 앞(진행 방향)과 나란하며 드론의 무게중심을 지나는 축에 대한 기체의 회전을 의미할 수 있다. 드론이 롤(roll)을 수행할 때, 기준이 되는 드론의 무게중심을 지나는 축을 본 발명에서 롤(roll) 축으로 정의할 수 있다. 따라서 본 발명에서, 일 실시예에 따라 제 1축(120)은 기체의 무게 중심을 지나는 롤 축이 될 수도 있으나, 롤 축과 평행하는 축들을 의미할 수 있다.
이때, EO 센서들은 제 2축(130)에 위치한 비행체의 양 날개 각각에 두 개씩 설치될 수 있다. 보다 구체적으로 하나의 날개에 설치된 센서들을 확인하면, 전면 영상을 촬영하기 위해 비행기의 정면방향을 향하는 센서(EO Sensor Front View) 와 측면 영상을 촬영하기 위해 비행기의 옆 방향을 향하는 센서(EO Sensor side View)로 구성(110)될 수 있다.
종래의 장치로부터 얻은 영상은 도1(b)과 같은 시각의 전면 영상과 같다. 이때, 종래의 장치는 EO 기준을 만족하지만 날개의 변형에 취약하다. 또한, 비행체의 움직임에 따른 진동에 의해 안정적인 추적, 회피 기능을 수행할 수 없다.
따라서, 본 발명은 하기와 같이 DAA(Detect-and-Avoid) MOPS 기준을 만족하여 도 1(b)의 화면과 같은 시각의 영상을 입력 받되, 비행체의 움직임에도 안정적인 추적 및 회피 기능을 제공하는 장치 및 동작 방법을 제공하고자 한다.
도 2는 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템의 구성을 나타낸 도면이다.
본 발명은 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체에 대한 것이다. 이때, 본 발명은 비행체 등에 탑재될 수 있는 추적 및 회피 기능을 제공하는 시스템에 대한 것에 해당될 수 있다. 보다 상세하게는 본 발명은 양력에 따라 변하지 않는 수직 꼬리 날개 위에 EO 센서를 탑재하여 MOPS의 조건을 만족하는 새로운 EO 기반의 DAA system을 제안하는 발명에 해당될 수 있다.
이때, 본 발명의 비행체는 항공기, 유인 항공기, 무인 항공기, 드론 등과 같이 공중에서 비행할 수 있는 장치들에 해당될 수 있다. 다만, 이에 한정되지 않으며, 공중에서 이동되고 제어될 수 있는 장치는 모두 본 발명의 비행체에 해당될 수 있을 것이다.
본 발명의 시스템은 입력부(210), 제어부(230) 및 출력부(250)으로 구성될 수 있다. 본 발명의 일 실시예에 따라 입력부(210), 제어부(230) 및 출력부(250)는 하나의 장치에 구현될 수 있다. 또한 별도의 장치로 구현될 수도 있다. 본 발명의 일 예시로 입력부(210) 및 제어부(220)는 비행체에 구현될 수 있으며, 출력부(230)는 디스플레이 등을 이용한 변도의 장치에 구현될 수 있다. 또한, 입력부(210)는 비행체가 구현되고, 제어부(220) 및 출력부(230)은 별도의 장치로 구현될 수 있다. 장치가 수개로 구현되는 경우에는 장치들간 통신을 지원하여, 정보 및 신호를 전송 및 수신할 수 있다.
보다 상세하게, 입력부(210)는 비행체 정보 입력부(212), 전면영상 입력부(214) 및 협조 비행체 정보 입력부(216)으로 구성될 수 있다.
비행체 정보 입력부(212)는 시스템이 장착된 비행체에 대한 정보를 입력 받을 수 있다. 따라서, 현재 비행체의 비행과 관련하여 기 설정된 정보들, 변경되는 정보들과 같은 정보들이 입력될 수 있다.
전면영상 입력부(214)는 비행체가 이동하는 방향의 전면 영상을 획득할 수 있다. 이때, 전면영상 입력부(214)는 카메라 등과 같이 영상을 입력 받는 장치에 해당될 수 있다. 본 발명의 일 실시예에 따라, 전면영상 입력부(214)는 EO(Electro-Optic) 센서에 해당될 수 있다. 또한 전면영상 입력부(214)는 야간을 위한 IR카메라/필터를 장착하여 사용할 수도 있다. 　
협조비행체 정보 입력부(216)는ADS-B(Automatic Dependent Surveillance-Broadcast) 수신 센서로부터 협력적인 항공기 비행체의 정보를 수신할 수 있다. 또한, 협조비행체 정보 입력부(216)는 수신한 협조 비행체의 정보를 이동체 추적부(234)에 전송할 수 있다.
본 발명의 일 실시예로, 또한 ADS-B 리시버를 가지고 있어 ADS-B 신호를 송출하는 항공기의 위치를 파악 할 수 있으므로 단순 영상만을 의존하지 않고 타 항공기의 위치 정보까지 파악할 수 있다.
본 발명은 항공기 탐지와 회피에 관한 것으로 협력적인(cooperative) 항공기(이하, 협조 비행체)와 비협력적인(non-cooperative) 항공기(이하, 비협조 비행체) 모두를 안전하게 회피 하기 위한 기술에 해당될 수 있다.
이때, 협조 비행체는 ADS-B(Automatic Dependent Surveillance-Broadcast)를 통하여 자신의 비행상태, 위치를 방송(broadcast)하는 항공기로써 타 항공기들에게 자신항공기 정보를 제공하는 항공기에 해당될 수 있다. 하지만 ADS-B가 의무적인 사항이 아니며 군용이나 특수 목적항공기의 경우 대부분 ADS-B를 사용하지 않기 때문에 비협조 비행체를 능동적으로 탐지/회피해야 할 필요성이 있다. 본 발명은 ADS-B 수신 센서를 협조 비행체 탐지를 위하여 사용할 수 있다. 제어부(230)는 비행체 정보 관리부(232), 이동체 추적부(234), 정보 수집부(236) 및 회피 경로 생성부(238)로 구성될 수 있다.
비행체 정보 관리부(232)는 비행체 정보 입력부(212)에서 입력된 비행체에 대한 정보를 수집 및 관리할 수 있다. 또한, 비행체 정보 관리부(232)는 비행체에 대한 정보를 정보 수집부(236)에 전송할 수 있다.
이동체추적부(234)는 전면 영상에서 이동체를 검출하고, 이동체를 지속적으로 추적할 수 있다.
이때, 본 발명에서 이동체는 본 발명의 시스템 및 추적 방법이 적용된 비행체가 추적하는 대상을 의미할 수 있다. 이때, 이동체는 항공, 육지, 또는 해양에서 존재하는 물체들에 해당될 수 있다. 또한 이동체가 현재 이동 중이거나 정지한 상태 인지 여부를 불문한다. 본 발명의 일 실시예에 따라, 이동체는 본 발명이 장착된 비행체와 다른 별도의 항공기에 해당될 수 있고, 새 등에 해당될 수도 있으며, 본 발명이 촬영한 영상에서 보이는 배와 같은 물체에 해당될 수 도 있다.
또한, 본 발명의 일 실시예에 따라 이동체가 항공기에 항공기에 해당되는 경우, 비협조 비행체가 될 수 있으나, 협조 비행체에 해당될 수도 있다. 이때, 이동체가 협조 비행체에 해당되는 경우, ADS-B 수신 센서를 이용하여 추적할 수도 있으나, ADS-B의 경우 정보 업데이트가 1hz로 상당히 느려 EO(Electro-optical) 센서를 통한 항공기 탐지의 강건성을 증가시킬 수 있다.
이때, 본 발명의 일 실시예에 따라 이동체 추적부(234)는 전면 영상으로부터 이동체가 포함된 관심 영역을 검출할 수 있다. 그리고, 이동체 추적부(234)는 관심 영역을 확대하여 이동체의 종류를 확인할 수 있다.
또한, 이동체추적부(234)는 협조 비행체 정보 입력부(216)로부터 관심 영역에 대한 정보를 수신하고, 관심 영역 정보 및 전면 영상의 분석 정보 중 적어도 하나 이상에 기초하여, 이동체를 검출할 수 있다.
보다 상세한 이동체추적부(234)의 이동체 탐지 및 추적 방법에 대해서는 도 8에서 설명하도록 한다.
회피경로 생성부(238)는 회피 경로 생성을 위한 정보에 기초하여 회피 경로를 생성할 수 있다. 이 때 회피 경로 생성을 위한 정보에는 비행체 정보 관리부(232)에서 관리되는 비행체에 대한 정보, 이동체추적부(234)에서 검출된 이동체의 정보 및 협조 비행체 정보 입력부(216)에 입력된 협조 비행체의 정보 중 적어도 하나 이상의 정보가 포함될 수 있다.
출력부(250)는 검출된 이동체의 정보 및 회피경로 생성부(238)에서 생성된 회피 경로 등을 출력할 수 있다. 출력부(250)은 본 발명의 일 실시예에 따라, 제어부(230)에서 처리된 영상을 나타내기 위한 디스플레이 장치에 해당될 수 있다. 또한 이에 한정되지 않으며, 추적된 결과를 나타내고 경고를 나타낼 수 있는 소리 알람 기능이 있는 장치, 진동 알람 기능이 있는 장치 등이 해당될 수 있다.
도3은 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템에서 송수신되는 데이터들을 나타낸 도면이다.
도 3을 참고하면, 협조비행체 정보 입력부(216)(ADS-B)는 ADS-B를 통하여 협력적인 항공기의 정보를 획득할 수 있다. 그리고 관심 영역에 대한 정보를 이동체추적부(234)(EO-based Detection)에 전송할 수 있다.
본 발명의 장치는 이동체추적부(234)(EO-based Detection)의 검출 결과(Detection Result), 협조비행체 정보 입력부(216)(ADS-B)의 협조비행체 정보(ADSB information) 및 비행체(Ownship)의 비행체 정보(ownship information)를 융합하여 침입기에 대한 정보(Intruder information)를 생성할 수 있다. 본 발명의 장치는 침입기에 대한 정보(Intruder information) 및 비행체 정보(ownship information)를 사용하여 침입기 검출 및 회피 경로를 생성할 수 있다. 또한, 융합된 정보로부터 교통 정보(Traffic information)를 수신하고, 침입기 검출 및 회피 경로 및 비행체의 정보를 이용하여 그래픽 유저 인터페이스(GUI)로 구현할 수 있다.
즉, 본 발명은 ADS-B를 통하여 협력적인 항공기의 정보를 획득하고, EO를 통하여 협력적인 항공기 데이터의 보강과 비협력적인 항공기의 능동적인 탐지를 통하여 침입기의 정보를 얻을 수 있다. 이러한 데이터 퓨전을 통하여 침입기의 위치/비행상태를 평가(estimation)하여 DAIDALUS(회피알고리즘)을 통하여 충돌 위험 경보를 동작하고, 회피 경로를 생성할 수 있다.
도 4 및 도5는 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템에서 전면영상을 입력 받는 전면 영상 입력부의 구조를 설명한 도면이다.
도 4와 같이, 전면영상을 입력 받는 전면영상 입력부(214)는 비행체의 제 1축(120) 위에 위치할 수 있다. 본 발명의 일 실시예에 따라, 전면영상을 입력 받는 전면영상 입력부(214)는 비행체의 제 1축(120)에 위치하는 수직 꼬리 날개(Vertical Tail)(410)에 설치될 수 있다. 보다 상세하게는, 전면영상을 입력 받는 전면영상 입력부(214)는 비행체의 제 1축(120)에 위치하는 수직 꼬리 날개(Vertical Tail)(410)의 상단 부분에 위치할 수 있다. 이때, 수직 꼬리 날개 (410)는 양력에 따라 변하지 않는 위치인바, 안정적으로 전면 영상을 입력 받을 수 있다.
이때, 전면 영상 입력부(214)는 EO 센서로 구성될 수 있다. 본 발명의 일 실시예에 따라, 전면 영상 입력부(214)는 도 5a와 같이 3 개의 EO 센서로 구성될 수 있다.
도 5의 각 도면은 전면영상 입력부(214)를 구현한 장치의 내부(도5a), 전면(도5b), 좌측(도5c), 우측(도5d) 및 상단(도5e)에서 장치의 구성을 나타낸 것이다. 센서들로부터 입력 받은 영상은 MOPS의 조건을 만족하여야 한다. 따라서 해당 조건을 만족하기 위한 본 발명의 일 실시예에 따라, 3개의 EO 센서는 도 5 a와 같이 구성될 수 있다.
제 1 센서(510)은 비행체의 제 1축(120)과 평행하게 위치할 수 있다. 즉, 본 발명의 일 실시예에 따라, 제 1 센서(510)은 기체의 무게 중심을 지나는 롤 축에 위치할 수도 있으며, 롤 축과 평행하는 축들에 위치할 수도 있다. 본 발명의 일 실시예에 따라, 제 1 축(120)상에 위치하는 수직 꼬리 날개(Vertical Tail)의 상단에 위치할 수도 있다.
제 2센서(520)는 제 1 센서와 비행체의 제 1축(120)을 기준으로 일정한 각도를 유지하며, 우측에 위치할 수 있다. 이때 본 발명의 일 실시예로, 제 2센서(520)는 비행체의 제 1축(120)을 기준으로 70도만큼 우측에 위치할 수 있다. 즉, 제 2센서(520)는 제 1 센서(510)로부터 70도 우측에 위치할 수 있다. 이때, 제 1 센서(510)와 제 2 센서(520)는 동일 평면 상에 존재할 수 있다.
제 3 센서(530)는 제 1 센서와 비행체의 제 1축(120)을 기준으로 일정한 각도를 유지하며, 좌측에 위치할 수 있다. 이때 본 발명의 일 실시예로, 비행체의 제 1축(120)을 기준으로 70도만큼 좌측에 위치할 수 있다. 즉, 제 3센서(530)는 제 1 센서(510)로부터 70도 좌측에 위치할 수 있다. 이때, 제 1 센서(510)와 제 3 센서(530)는 동일 평면 상에 존재할 수 있다.
본 발명의 일 실시예에 따라, 제 1센서(510), 제 2센서(520) 및 제 3센서(530)는 동일한 평면 위에 존재할 수 있다. 또한, 이 때, 수직 꼬리 날개(Vertical Tail)(410)의 수직 축은 제 1센서(510), 제 2센서(520) 및 제 3센서(530)가 이루는 평면과 수직을 이룰 수 있다.
본 발명의 일 실시예에 따라 전면영상 입력부가 구현된 장치의 가로길이, 세로 길이는 기 설정된 값으로 설계할 수 있다. 본 발명의 일 실시예로 도 5a와 같은 크기로 구현할 수도 있다. 그러나, 이 값은 비행체의 크기, 검출 및 회피 시스템의 크기, 사용하는 센서의 크기 등에 따라 달라질 수 있는 값으로 실시예에 한하지 않는다.
본 발명의 일 실시예에 따라, 추가적으로 ADS-B 수신 센서를 부가할 수 있으나, 전면 영상 입력부와 달리 설치 위치는 비행체의 제 1축(120)축에 위치하는 수직 꼬리 날개 위(410)에 한정 되지 않는다.
도 6은 본 발명의 일 실시예에 따른 영상을 기반으로 한 비행체의 검출 및 회피 시스템의 검출 및 회피 방법에 대한 흐름도이다.
먼저, 전면영상 입력부(212)는 비행체가 이동하는 방향의 전면 영상을 입력 받을 수 있다.(S610) 이동체추적부(234)는 전면 영상에서 이동체를 검출하여 추적할 수 있다.(S620) 정보수집부(236)는 검출된 이동체의 정보를 포함한 회피 경로 생성을 위한 정보를 관리 및 수집할 수 있다.(S630) 회피경로 생성부(238)는 회피 경로 생성을 위한 정보에 기초하여 회피 경로를 생성할 수 있다.(S640) 출력부(250)는 상기 검출된 이동체의 정보 및 상기 회피 경로를 출력할 수 있다.(S650)
하기에서는 본 발명의 영상을 기반으로 한 비행체의 검출 및 회피 시스템이 방해물을 추적하기 위한 방법에 대한 실시예들을 도면과 함께 상세히 설명한다.
도 7은 본 발명의 일 실시예에 따른 비행체의 검출 및 회피 장치의 동작에 대한 내용을 설명한 도면이다.
본 발명은 영상을 기반으로 한 비행체의 검출 및 회피(DAA, Detect-and-Avoid) 방법 및 장치에 대한 것이다. 본 발명에서 비행체는 도7(a)의 (710)과 같이 비행을 할 수 있는 장치를 의미하며, 무인항공기 또는 유인항공기가 해당될 수 있다.
종래의 기술은 비행체(710)가 영상 처리를 통해 방해물을 탐지할 때, 원거리의 비행체가 도7(b)와 같이 점(730)과 같은 크기로 나타나며, 침입기인지 여부를 구분하기 어렵다는 문제가 존재했다. 또한 비행체(710)가 계속 움직이기 때문에 영상의 뒷 배경(730)의 변화를 고려할 필요성이 존재한다.
이때, 비행체(710)가 추적하는 물체(730)는 본 발명에서 이동체로 정의할 수 있다.
따라서 본 발명은, 종래의 문제를 해결하기 위하여 영상 속에서 이동체로 의심되는 물체를 먼저 탐지할 수 있다. 이때, 도7(b)와 같이 촬영된 영상의 물체들간의 움직임을 파악하는 방법을 이용할 수 있다. 도7(b)와 같이 배경 물체(710)와 다른 움직임을 보이는 물체를 이동체(730)로 인식하고 추적할 수 있다.
또한 다른 움직임을 보이는 물체가 이동체(730)로 의심된 경우, 실질적으로 비행체의 경로에 방해를 하는 물체인지 파악할 수 있다. 본 발명에 따르면, 도7(c)와 같이 이동체(730)가 포함된 관심영역(740)을 확대하여, 항공기인지 구별하는 방법을 개시할 수 있다.
도 8은 본 발명의 일 실시예에 따른 비행체의 검출 및 회피 장치가 동작하는 흐름도를 나타낸 도면이다. 또한 도 9는 본 발명의 일 실시예에 따른 검출 및 회피 방법에 따라 처리된 영상에 해당된다.
먼저, 영상을 기반으로 한 비행체의 검출 및 회피(DAA, Detect-and-Avoid) 방법을 수행하기 위해서, 이동체 추적부(234)는 비행체에 탑재된 전면영상 입력부(214)로부터 영상을 입력 받을 수 있다.(S810) 이때, 본 발명의 일 실시예에 따라 입력부(214)가 입력 받은 원본 영상은 도9(a)에 해당될 수 있다.
이동체 추적부(234)는 입력 받은 영상으로부터 이동체가 포함된 관심영역을 검출하기 위하여, 먼저 원본 영상에서 대조되는 부분을 필터링(positive or Negative contrast)할 수 있다.(S820)
영상 처리를 하기 위해서는 활용 목적에 따라 알고리즘을 선택하며, 본 발명에서처럼 원거리(2km이상)의 항공기(혹은 무언가)를 탐지하기 위하여는 형태나 색상이 불분명한 점과 같은 물체를 탐지할 필요성이 있는바 이와 같은 기능이 있는 알고리즘이 수행될 필요가 있다. 이때 본 발명의 일 실시예에 따라, CMO + Optical-flow를 사용할 수 있다.
먼저, 필터링과 관계된 CMO(Close-minus-Open)를 원본 영상에 적용할 수 있다. 이때, CMO를 입력 영상에 적용한 영상은 도9(b)와 같다.
본 발명의 일 실시예에 따라 입력 받은 영상을 필터링하는 경우, 입력 받은 영상을 이진화하여 이진화 영상을 생성한 후, 이진화 영상에 대해 제 1 영상 및 제 2 영상을 생성하고, 제 1 영상과 상기 제 2 영상의 차이 영상을 획득할 수 있다.
이때 본 발명의 일 실시예에 따라, 제 1 영상 및 상기 제 2 영상은 서로 다른 모폴로지(Morphology) 연산을 적용한 영상에 해당될 수 있다. 보다 상세하게는 제 1 영상은 이진화 영상에 팽창 연산 수행 후 침식 연산을 수행하는 닫힘(closing) 연산을 수행한 영상에 해당될 수 있다. 또한, 제 2 영상은 이진화 영상에 침식 연산 수행 후 팽창 연산을 수행하는 열림(opening) 연산을 수행한 영상에 해당될 수 있다.
이때, CMO(Close-minus-Open)는 형태학적 변형(morphological operations)을 통하여 대조 되는 모든 부분을 뽑아내는 가장 적절한 방법에 해당될 수 있다. 따라서, 형태와 상관없이 대조 되는 부분을 찾아야 하는 영역에서 적용되는 영상 처리 방법에 해당된다.
하지만 CMO를 비행체의 추적 회피 방법에 사용할 때의 가장 큰 문제점은 대조되는 모든 부분이 필터링 결과로 나오기 때문에 영상 속 색상이 대조되는 불필요한 많이 부분이 결과로 나오게 된다는 것이다. 또한, 영상의 백그라운드의 구름/지형에 의해, 영상 처리된 결과가 항공기탐지를 위해 사용할 수 없을 정도로 지저분하게 나오게 된다는 한계가 존재한다. 다시 말해서, CMO는 단색의 하늘 위에 항공기만 존재 할 때 항공기탐지를 위해 사용될 수 있다. 따라서 본 발명에서는 입력 받은 영상에 CMO를 처리한 후, Optical-flow를 적용하여 물체의 이동을 고려하는 방법을 제안한다.
이동체 추적부(234)는 원본 영상에서 대조되는 부분을 필터링(positive or Negative contrast)한 영상에 대해 움직임에 기초하여 이동체를 검출할 수 있다.(S830)
이때, 이동 중이거나 정지해 있는 이동체와 구름, 바다와 같은 배경은 비행체의 움직임에 따라 별도의 움직임을 보인다는 점을 고려하여, 본 발명의 일 실시예에 따라 필터링된 영상에 포함된 한 개 이상의 물체 중 이동 방향 및 이동 속도 중 적어도 하나 이상이 다른 것을 이동체로 판단할 수 있다. 즉, 필터링된 영상에 포함된 한 개 이상의 물체들에서 이동체를 제외한 물체들은 구름, 해양 등과 같이 배경 화면에 해당될 수 있을 것이며, 이는 비행체의 이동에 방해가 되지 는 것들에 해당될 것이다.
이때 이동체는 한 개 이상이 될 수 있으며, 이동체가 한 개 이상인 경우, 비행체의 움직임을 고려하여 필터링된 영상에 포함된 한 개 이상의 물체 중 이동 방향 및 이동 속도 중 적어도 하나 이상이 다른 물체들을 이동체들로 판단할 수 있다.
이때 본 발명의 일 실시예에 따라, CMO로 필터링 처리된 영상의 움직임은 광 흐름(Optical-flow) 기법을 적용하여 이동체를 검출할 수 있다. 도 9(c)는 CMO에 광 흐름(Optical-flow)을 적용한 도면에 해당될 수 있다.
도 10는 일반적인 광 흐름(Optical-flow)을 설명하기 위한 도면에 해당되고, 도 11은 본 발명과 같이 CMO와 광 흐름(Optical-flow) 을 동시에 적용한 결과를 설명하기 위한 도면에 해당된다.
광 흐름(Optical-flow)은 도 10과 같이 이전 프레임과 이후 프레임을 비교하여 어느 방향으로 이동하였는지를 분석하는 기법에 해당될 수 있다. 즉, 도 10을 확인하면 Frame1에서 Frame2로 검정 블록들이 이동한 방향이 Optical Flow 1-2에서 화살표로 나타나 있고, Frame2에서 Frame3으로 검정 블록들이 이동한 방향이 Optical Flow 2-3에서 화살표로 나타나 있음을 확인할 수 있다.
도 11을 참고하였을 때, 도 11(b)와 같이 앞서 언급한 CMO(Close-minus-Open)를 통하여 색상의 대조되는 부분을 필터링한 뒤, 광 흐름(Optical-flow)기법을 적용하면 도 11(c)의 화살표와 같이 전체 영상에서 움직이는 무언가(항공기로 의심되는 무언가)를 찾아낼 수 있다.
이러한 광 흐름(Optical-flow)기법의 장점은 항공기가 계속 움직이기 때문에 전체적인 배경의 움직임과 날고 있는 침입기의 움직임(maneuver)이 다르다는 점을 이용할 수 있다는 것이다. 다시 말하여, CMO와 Optical-flow를 함께 적용하면 Ownship(자신 항공기)가 비행하며 영상으로 외부를 탐지시 침입기(intruder)의 정보가 없더라도 원거리에서 점처럼 보이는 시점부터 배경과 다른 움직임을 가지기 때문에 탐지해 낼 수 있다.
그 후 이동체 추적부(234)는 관심 영역을 확대할 수 있다.(S840) 즉, 이동체 추적부(234)는 검출된 움직임이 다른 부분을 확대할 수 있다.
그리고, 이동체 추적부(234)는 이동체의 종류를 확인할 수 있다.(S850) 이동체 추적부(234)는 관심 영역을 확대하고, 확대한 관심 영역에 대해 딥러닝(Deep learning)을 수행하여 이동체의 종류를 확인하고, 확인된 결과를 학습할 수 있다.
이때 본 발명의 일 실시예에 따라, 이동체의 종류를 확인하고 확인된 결과를 학습하기 위한 방법으로 딥러닝(Deep learning)을 수행할 수 있다. 다만, 학습을 할 수 있는 방법은 이에 한정되지 않으며, 머신 러닝(machine learning)을 수행할 수 있는 방법은 이에 해당될 수 있다.
이와 같이 이동체 추적부(234)가 딥 러닝(Deep learning) 기반의 항공기 탐지 알고리즘을 수행하여, 다양한 환경에서 예상치 못한 필터링 결과가 나올지라도 확률기반으로 항공기임을 구별할 수 있다. 또한 판단 클래스(class)를 추가하여 새, 모형 비행기와 같이 다양하게 이동체를 구별/판단 할 수 있다.
또한 본 발명의 일 실시예에 따라, 이동체의 종류를 판별하기 위해서 항공기 캐드모델(3d 모델)과 이미지를 비교하여 항공기임을 판단하는 기법을 사용할 수 있다. 이 경우, 항공기의 자세값(roll/pitch/yaw)까지 estimation 할 수 있다는 장점이 존재한다. 하지만, 모든 항공기의 모델을 가지고 있지 않다면 정확한 estimation은 불가능하다는 한계가 있다.
본 발명에 따를 때, CMO와 Optical-flow를 동시에 적용한 방법으로도 비행 중 위험이 되는 부분을 검출 할 수 있으므로 Deep-learning없이도 위험을 감지 할 수 있다. 다만, 본 발명에서 딥러닝 기반의 판단을 마지막에 수행하여, 항공기임을 확인하고 이를 학습하여 예기치 못한 상황에서도 안정적으로 이동체를 검출할 수 있게 된다.
그 후 이동체 추적부(234)는 이동체가 비행체의 경로에 있는지 여부를 지속적으로 추적할 수 있다.(S860) 이 때, 이동체가 비행체의 경로에 있는 경우, 이동체 추적부(234)는 이동체 회피 신호를 회피 경로 생성부(238)에 전송할 수 있다.
따라서, 이동체 추적부(234)는 이동체가 포함된 관심 영역의 이동을 추적하고, 이동체가 비행체의 이동 경로에 있는지 여부를 확인할 수 있다.(S870)
이동체가 경로를 방해하지 않는 경우, 계속해서 움직임이 다른 부분을 검출하여 이를 추적할 수 있다.
한편 이동체가 경로를 방해하는 경우, 회피 경로 생성부(238)는 이동체를 회피하는 경로를 생성할 수 있다. (S880)
본 발명의 일 실시예에 따라 회피 경로 생성부(238)가 이동체를 회피하는 경우, 이동체의 위치, 이동 방향 및 이동 속도 중 하나 이상의 정보에 기초하여, 검출된 이동체에 대한 회피 경로를 비행체가 자동으로 생성할 수 있다.
또한 본 발명의 일 실시예에 따라 이동체가 비행체의 이동 경로에 있는 경우, 충돌 위험에 대한 알람을 울릴 수 있다.
또한 본 발명의 일 실시예에 따라, 회피알고리즘(DAIDALUS, Detect and AvoID Alerting Logic for Unmanned Systems)을 사용할 수 있다.
본 발명과 같이, 원거리의 항공기를 검출하는 경우 항공기의 형태가 구분이 어렵기 때문에 움직임이 있는 무언가를 먼저 찾는 것이 안전한 비행을 위해 중요(Human-like)하다. 그리고, 본 발명은 영상 속 움직임을 감지하므로 단순 탐지뿐 만 아니라 지속적인 추적(Tracking)에 유용하다. 또한 형태를 기반으로 딥러닝을 이용한 물체 구분을 통하여 항공기나 새 그 밖의 비행하고 있는 종류 또한 파악이 가능하다는 이점이 존재한다.
도 12는 본 발명의 일 실시예에 따라, 출력된 영상화면을 나타낸 도면이다.
본 발명의 일 실시예로, 추적회피 시스템은 영상처리를 위한 리눅스 컴퓨터를 포함할 수 있다. 또한, 영상 처리를 할 뿐만 아니라 GPS와 비행데이터(자세값)을 실시간으로 처리하고 로깅할 수도 있다.
이때, 도면의 왼쪽 그래프는 GPS 정보에 해당되며, 해당 위치에 있을 때의 추적된 intruder의 모습으로 출력된 화면과 같을 수 있다.
본 발명의 이점 및 특징, 그것들을 달성하는 방법은 첨부되어 있는 도면과 함께 상세하게 전술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 제시된 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

Claims (10)

  1. 영상을 기반으로 한 비행체의 충돌 방지 시스템에 있어서,
    상기 비행체가 이동하는 방향의 전면 영상을 획득하는 전면영상 입력부;
    상기 전면 영상에서 이동체를 검출하여 추적하는 이동체 추적부;
    상기 검출된 이동체의 정보를 포함한 회피 경로 생성을 위한 정보를 관리 및 수집하는 정보 수집부;
    상기 회피 경로 생성을 위한 정보에 기초하여 회피 경로를 생성하는 회피경로 생성부; 및
    상기 검출된 이동체의 정보 및 상기 회피 경로를 출력하는 출력부;를 포함하되,
    상기 이동체 추적부가 상기 이동체를 검출하는 경우,
    상기 전면 영상을 CMO(Close-Minus-Open) 기법을 적용하여 필터링하고,
    상기 필터링된 영상에 광 흐름(Optical-flow) 기법을 적용하여 상기 이동체를 검출하는 것을 특징으로 하는 충돌 방지 시스템.

  2. 제 1항에 있어서
    상기 전면영상 입력부는 3개의 EO(Electro-Optic) 센서로 구성되는 것을 특징으로 하는 충돌 방지 시스템.
  3. 제 2항에 있어서
    상기 전면영상 입력부는 상기 비행체의 제 1축과 평행하게 위치하는 제 1 센서;
    상기 제 1 센서로부터 70도 우측에 위치하는 제 2 센서; 및
    상기 제 1 센서로부터 70도 좌측에 위치하는 제 3 센서; 로 구성되는 것을 특징으로 하는 충돌 방지 시스템.
  4. 제 1항에 있어서
    상기 시스템은 협조비행체 정보 입력부를 더 포함하되,
    상기 협조비행체 정보 입력부는 ADS-B(Automatic Dependent Surveillance-Broadcast) 수신 센서로부터 수신한 협조 비행체 정보를 상기 이동체 추적부에 전송하는 것을 특징으로 하는 충돌 방지 시스템.
  5. 제 4항에 있어서
    상기 정보 수집부는 입력 받은 상기 비행체 정보 및 상기 협조 비행체 정보를 수집하여, 상기 회피 경로 생성을 위한 정보로 관리하는 것을 특징으로 하는 충돌 방지 시스템.
  6. 제 4항에 있어서
    상기 이동체 추적부는 상기 전면 영상으로부터 상기 이동체가 포함된 관심 영역을 검출하고, 상기 관심 영역을 확대하여 상기 이동체의 종류를 확인하는 것을 특징으로 하는 충돌 방지 시스템.
  7. 제 6항에 있어서
    상기 이동체 추적부는 상기 협조 비행체 정보 입력부로부터 상기 관심 영역에 대한 정보를 수신하고, 상기 관심 영역 정보 및 상기 전면 영상의 분석 정보 중 적어도 하나 이상에 기초하여, 상기 이동체를 검출하는 것을 특징으로 하는 충돌 방지 시스템.


  8. 삭제
  9. 제 6항에 있어서
    상기 이동체 추적부는 상기 관심 영역을 확대하고, 상기 관심 영역에 대해 딥러닝(Deep learning)을 수행하여 상기 이동체의 종류를 확인하는 것을 특징으로 하는 충돌 방지 시스템.


  10. 삭제
KR1020190023834A 2019-02-28 2019-02-28 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체 KR102237970B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190023834A KR102237970B1 (ko) 2019-02-28 2019-02-28 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체
US16/805,240 US20200278703A1 (en) 2019-02-28 2020-02-28 Image Processing-Based Collision Avoidance System for Flight Vehicle and Flight Vehicle Including Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190023834A KR102237970B1 (ko) 2019-02-28 2019-02-28 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체

Publications (2)

Publication Number Publication Date
KR20200105125A KR20200105125A (ko) 2020-09-07
KR102237970B1 true KR102237970B1 (ko) 2021-04-08

Family

ID=72472304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190023834A KR102237970B1 (ko) 2019-02-28 2019-02-28 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체

Country Status (1)

Country Link
KR (1) KR102237970B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472650B1 (ko) 2020-12-15 2022-11-29 현대오토에버 주식회사 근접 군집 비행을 하는 비행체의 충돌 회피 경로 설정 방법
KR102313115B1 (ko) * 2021-06-10 2021-10-18 도브텍 주식회사 인공지능 신경망을 이용한 자율비행 드론
CN117170411B (zh) * 2023-11-02 2024-02-02 山东环维游乐设备有限公司 基于视觉辅助的竞速无人机辅助避障方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200105125A (ko) 2020-09-07

Similar Documents

Publication Publication Date Title
EP3236213B1 (en) Cockpit display for degraded visual environment (dve) using millimeter wave radar (mmwr)
KR102661363B1 (ko) 접안 모니터링 장치 및 방법
CN107871405B (zh) 利用视觉信息进行空中碰撞威胁的检测与评估
KR102237970B1 (ko) 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체
US8509965B2 (en) Integrated collision avoidance system for air vehicle
EP2232463B1 (en) Airport target tracking system
KR20150118544A (ko) 공중 위치 설정 시스템 및 방법
CN110176156A (zh) 一种机载地面预警系统
Kephart et al. See-and-avoid comparison of performance in manned and remotely piloted aircraft
Meshcheryakov et al. An application of swarm of quadcopters for searching operations
Fasano et al. Morphological filtering and target tracking for vision-based UAS sense and avoid
Zsedrovits et al. Onboard visual sense and avoid system for small aircraft
Zarandy et al. A novel algorithm for distant aircraft detection
US20200278703A1 (en) Image Processing-Based Collision Avoidance System for Flight Vehicle and Flight Vehicle Including Same
KR20240021673A (ko) 미확인 객체에 대한 정보를 제공하는 객체 모니터링 장치
Minwalla et al. Experimental evaluation of PICAS: An electro-optical array for non-cooperative collision sensing on unmanned aircraft systems
Dolph et al. Detection and Tracking of Aircraft from Small Unmanned Aerial Systems
EP3683780A1 (en) Obstacle detection using camera mounted on protrusion of vehicle
CN110618424B (zh) 一种基于多传感器融合的远距离高压线发现方法
KR102171043B1 (ko) 영상 처리를 기반으로 한 비행체의 충돌 방지 방법
US11594144B2 (en) Collision awareness using cameras mounted on a vehicle
Vitiello et al. Improved sensing strategies for low altitude non cooperative sense and avoid
Gunasinghe et al. A mid-air collision warning system: Performance comparison using simulated ADS-B, Radar and Vision sensor inputs
Dolph et al. An Improved Far-Field Small Unmanned Aerial System Optical Detection Algorithm
US12080180B2 (en) Anti-collision system and method for an aircraft and aircraft including the anti-collision system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right