KR102316012B1 - 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법 - Google Patents

드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법 Download PDF

Info

Publication number
KR102316012B1
KR102316012B1 KR1020200062976A KR20200062976A KR102316012B1 KR 102316012 B1 KR102316012 B1 KR 102316012B1 KR 1020200062976 A KR1020200062976 A KR 1020200062976A KR 20200062976 A KR20200062976 A KR 20200062976A KR 102316012 B1 KR102316012 B1 KR 102316012B1
Authority
KR
South Korea
Prior art keywords
flying object
collision
drone
distance
image
Prior art date
Application number
KR1020200062976A
Other languages
English (en)
Inventor
이한석
Original Assignee
(주)파이온시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)파이온시스템즈 filed Critical (주)파이온시스템즈
Priority to KR1020200062976A priority Critical patent/KR102316012B1/ko
Application granted granted Critical
Publication of KR102316012B1 publication Critical patent/KR102316012B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 드론에 구비된 카메라를 통해 촬영된 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성을 판정하는 장치인 충돌 가능성 판정 장치에서, 상기 카메라를 통해 촬영된 영상을 입력받아 상기 드론 전방에 존재하는 비행물체를 탐지하기 위한 비행물체 탐지부, 상기 비행물체 탐지부에서 탐지된 비행물체까지의 거리를 측정하기 위해 필요한 입력정보로서의 입력벡터를 생성하기 위한 거리측정 입력벡터 생성부, 상기 입력벡터 생성부에서 생성된 입력벡터를 이용하여 상기 비행물체까지의 거리를 측정하기 위한 거리 측정부, 영상 프레임 내에서 상기 비행물체의 위치를 추적하기 위한 영상 추적부, 상기 영상 추적부에서 추적 중인 상기 비행물체의 최신 연속된 2개의 위치를 이용하여 상기 비행물체의 이동 방향과 속도를 추정하고, 이를 통해 상기 비행물체의 이동벡터를 산출하는 이동벡터 추정부 및 상기 이동벡터 추정부에서 산출된 이동벡터를 이용하여 상기 비행물체와의 충돌 가능성을 판정하는 충돌 가능성 판정부를 포함한다. 본 발명에 의하면 안전한 드론 비행을 제공할 수 있는 효과가 있다.

Description

드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법 {Apparatus and method for determining possibility of collision with flying object in front of drone using camera image provided in drone}
본 발명은 드론의 전방 이동물체와의 충돌 회피 방법에 관한 것으로서, 더욱 상세하게는 단안 카메라를 이용한 영상을 이용하여 영상 내의 전방 비행물체를 탐지하고, 그 이동 방향을 예측하여 충돌 가능성 여부를 판정하기 위한 방법에 관한 것이다.
일반적으로, 항공기는 운행 주체에 따라 사람이 탑승하여 항공기를 직접 운행하는 유인항공기(Manned Aerial Vehicle: MAV)와 전자 제어 시스템에 의해 운행되는 무인항공기(Unmanned Aerial Vehicle: UAV)로 구분할 수 있다.
먼저, 유인항공기는 충돌 회피를 위해 항공 교통 관제(air traffic control), 트랜스폰더(transponder: 자동 무선 레이더) 및 조종사 시력(pilot vision)에 의존한다. 유인항공기의 조종사는 국부적인 이동 물체를 시각적으로 식별하여 각 물체가 충돌 위험성을 내포하고 있는지를 판단하고, 이에 대한 충돌 회피를 위한 비행 제어 동작을 수행한다. 따라서, 유인항공기는 다른 항공기를 검출할 때에 시력 기반 검출(vision based detection)이 필수적이다.
무인항공기는 최근에 제어 및 통신 기술의 급격한 발전에 따라 위험 지역 탐사 또는 군사용 정찰 등에 이용하려는 목적으로 개발이 활발히 진행되고 있다. 이러한 무인항공기는 사람이 직접 탑승하여 수행하기에 위험하거나 어려운 작업도 가능하게 한다.
또한, 무인항공기는 GPS 기반으로 조종자가 설정한 경로, 고도, 속도로 이동하거나, 자체적으로 탑재된 제어 시스템에 의해 위치나 자세, 방향 등을 제어하는 것이 가능하다. 그런데, GPS는 ±5m의 오차범위가 발생할 수 있고, 무인항공기는 상당히 고가이다. 이로 인해, 무인항공기는 초음파 센서(ultrasonic sensor)를 부수적으로 부착하여 다른 물체와의 충돌 이격 거리를 설정하여 충돌을 회피할 수 있다. 즉, 무인항공기는 예상치 못한 상황으로 인해 GPS의 오차범위를 벗어나더라도 초음파 센서를 이용하여 다른 물체와의 충돌을 회피할 수 있다. 여기서, 초음파 센서는 기체, 액체 및 고체에 사용이 가능하며, 주파수가 높고 파장이 짧기 때문에 정확한 안전거리를 확인할 수 있다.
최근 들어 드론 등 무인 항공기의 사용이 빈번해 지면서 드론과 여객기 혹은 드론과 헬리콥터 사이의 충돌사고도 빈번하게 발생하고 있다. 이와 같이 드론 운항 중에서 비행체들 사이의 근접상황 또는 충돌을 정확히 예측하지 못하면 대규모 인명피해와 재산피해로 연결될 수 있다.
기존의 드론 비행 중 충돌회피 방법은 주로 전방의 고정물체와의 충돌을 회피하기 위한 방법에 대한 것이 대부분이며, 특히 지상의 지형 또는 인공물 등과의 충돌을 회피하기 위해 이러한 고정물체를 인지하여 회피하기 위한 방법이 대부분이었다.
대한민국 공개특허 10-2017-0059853
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은 단안 카메라 영상을 이용하여 드론 전방의 비행물체를 탐지하고, 그 비행방향을 예측함으로써 충돌 가능성을 판정하여, 드론이 비행 중에 전방에 출현하는 비행물체와의 충돌을 회피할 수 있는 방안을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 드론에 구비된 카메라를 통해 촬영된 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성을 판정하는 장치인 충돌 가능성 판정 장치에서, 상기 카메라를 통해 촬영된 영상을 입력받아 상기 드론 전방에 존재하는 비행물체를 탐지하기 위한 비행물체 탐지부, 상기 비행물체 탐지부에서 탐지된 비행물체까지의 거리를 측정하기 위해 필요한 입력정보로서의 입력벡터를 생성하기 위한 거리측정 입력벡터 생성부, 상기 입력벡터 생성부에서 생성된 입력벡터를 이용하여 상기 비행물체까지의 거리를 측정하기 위한 거리 측정부, 영상 프레임 내에서 상기 비행물체의 위치를 추적하기 위한 영상 추적부, 상기 영상 추적부에서 추적 중인 상기 비행물체의 최신 연속된 2개의 위치를 이용하여 상기 비행물체의 이동 방향과 속도를 추정하고, 이를 통해 상기 비행물체의 이동벡터를 산출하는 이동벡터 추정부 및 상기 이동벡터 추정부에서 산출된 이동벡터를 이용하여 상기 비행물체와의 충돌 가능성을 판정하는 충돌 가능성 판정부를 포함한다.
상기 카메라를 통해 촬영된 영상 프레임에서 좌측 상단을 원점으로 하여 우측 가로방향이 양의 x축 방향이고, 아래 세로방향이 양의 y축 방향으로 구성되며, 상기 비행물체 탐지부는 영상 프레임 내에서 탐지된 비행물체의 객체 유형과 픽셀 위치를 출력할 수 있다.
w는 비행물체의 가로픽셀 넓이(=xmax-xmin), h는 비행물체의 세로픽셀 높이(=ymax-ymin), W는 영상프레임의 가로픽셀 넓이, H는 영상프레임의 세로픽셀 높이, xT는 비행물체의 영상 내 가로픽셀 위치, yT는 비행물체의 영상 내 세로픽셀 위치, d는 비행물체의 대각선 픽셀 크기(바운딩 박스의 대각선 크기), D는 영상프레임의 대각선 픽셀 크기,
Figure 112020053004615-pat00001
는 비행물체의 실제 가로 크기(m),
Figure 112020053004615-pat00002
는 비행물체의 실제 세로 크기(m), Focal_Length는 카메라의 초점거리, FoV는 카메라의 시야각(°)이라고 할 때, 상기 거리측정 입력벡터 생성부는,
Figure 112020053004615-pat00003
(1) 의 입력벡터를 생성할 수 있다.
xy평면은 상기 드론의 카메라 영상 좌표와 일치하는 평면이고, z축은 상기 드론의 비행방향과 평행하며, 상기 드론의 전방 방향이 양의 z축이라고 할 때, 상기 드론의 좌표는 (
Figure 112020053004615-pat00004
)이고, 상기 비행물체의 좌표는 (
Figure 112020053004615-pat00005
)이며, 여기서
Figure 112020053004615-pat00006
는 측정거리 벡터
Figure 112020053004615-pat00007
의 z축 성분이고,
Figure 112020053004615-pat00008
는 거리벡터
Figure 112020053004615-pat00009
의 xz 평면으로의 정사영이고, θTW는 xz평면에서 비행물체의 수평 위치각(°)이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, dW는 영상프레임의 가로길이(m)이고, dH는 영상프레임의 세로길이(m)일 때, 상기 거리측정부에서 측정된 상기 드론과 상기 비행물체 간의 물리적 거리 관계는,
Figure 112020053004615-pat00010
(2)
Figure 112020053004615-pat00011
(3)
Figure 112020053004615-pat00012
(4)
Figure 112020053004615-pat00013
(5)
의 수식에 의해 계산될 수 있다.
상기 충돌 가능성 판정부는, 이동벡터를 이용하여 상기 비행물체가 현재 위치 기준으로 영상 중심 방향으로 이동하는지 여부를 확인하여, 영상 중심 방향으로 이동하지 않는 경우에는 충돌 가능성이 없는 것으로 판정하고, 영상 중심 방향으로 이동하는 경우에는 충돌 가능성이 있는 것으로 판정할 수 있다.
충돌예상평면은 현재의 방향으로 드론과 비행물체가 이동할 경우에 만나게 되는 드론 전방의 임의의 xy평면이고, 이 충돌예상평면에서 드론이 점유하고 있는 영역인 충돌영역 내로 비행물체가 이동할 경우에 충돌이 발생한다고 할 때, 상기 충돌 가능성 판정부는 충돌 가능성이 있는 경우, 최종 충돌 가능 여부를 판정하기 위해서 충돌예상평면을 계산하며, 상기 비행물체의 현재 이동속도와 이동방향을 이용하여 상기 충돌예상평면에서의 상기 비행물체의 위치를 예측하여, 상기 비행물체가 충돌 영역 내에 위치할 것인지 판정하여 최종 충돌 가능성을 판정할 수 있다.
TC는 충돌예상평면 도달소요시간이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, vD는 드론의 이동속도(m/s)이고, vz는 비행물체의 z축 이동속도(m/s)일 때, 상기 충돌 가능성 판정부는,
Figure 112020053004615-pat00014
(6)
의 수식을 이용하여 상기 비행물체가 상기 충돌예상평면까지 도달하는 소요시간을 계산할 수 있다.
dvx는 TC동안 비행물체가 x방향으로 이동한 거리(m)이고, dvy는 TC동안 비행물체가 y방향으로 이동한 거리(m)이고, vx는 비행물체의 x축 이동속도(m/s)이고, vy는 비행물체의 y축 이동속도(m/s)일 때, 상기 충돌 가능성 판정부는,
Figure 112020053004615-pat00015
(7)
Figure 112020053004615-pat00016
(8)
을 이용하여 상기 비행물체의 xy 평면에서의 이동거리를 계산할 수 있다.
본 발명의 드론에 구비된 카메라를 통해 촬영된 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성을 판정하는 장치인 충돌 가능성 판정 장치에서의 충돌 가능성 판정 방법에서, 상기 카메라를 통해 촬영된 영상을 입력받아 상기 드론 전방에 존재하는 비행물체를 탐지하기 위한 비행물체 탐지 단계, 상기 비행물체 탐지 단계에서 탐지된 비행물체까지의 거리를 측정하기 위해 필요한 입력정보로서의 입력벡터를 생성하기 위한 거리측정 입력벡터 생성 단계, 상기 입력벡터 생성 단계에서 생성된 입력벡터를 이용하여 상기 비행물체까지의 거리를 측정하기 위한 거리 측정 단계, 영상 프레임 내에서 상기 비행물체의 위치를 추적하기 위한 영상 추적 단계, 상기 영상 추적 단계에서 추적 중인 상기 비행물체의 최신 연속된 2개의 위치를 이용하여 상기 비행물체의 이동 방향과 속도를 추정하고, 이를 통해 상기 비행물체의 이동벡터를 산출하는 이동벡터 추정 단계 및 상기 이동벡터 추정 단계에서 산출된 이동벡터를 이용하여 상기 비행물체와의 충돌 가능성을 판정하는 충돌 가능성 판정 단계를 포함한다.
상기 카메라를 통해 촬영된 영상 프레임에서 좌측 상단을 원점으로 하여 우측 가로방향이 양의 x축 방향이고, 아래 세로방향이 양의 y축 방향으로 구성되며, 상기 비행물체 탐지 단계에서 영상 프레임 내에서 탐지된 비행물체의 객체 유형과 픽셀 위치를 출력할 수 있다.
w는 비행물체의 가로픽셀 넓이(=xmax-xmin), h는 비행물체의 세로픽셀 높이(=ymax-ymin), W는 영상프레임의 가로픽셀 넓이, H는 영상프레임의 세로픽셀 높이, xT는 비행물체의 영상 내 가로픽셀 위치, yT는 비행물체의 영상 내 세로픽셀 위치, d는 비행물체의 대각선 픽셀 크기(바운딩 박스의 대각선 크기), D는 영상프레임의 대각선 픽셀 크기,
Figure 112020053004615-pat00017
는 비행물체의 실제 가로 크기(m),
Figure 112020053004615-pat00018
는 비행물체의 실제 세로 크기(m), Focal_Length는 카메라의 초점거리, FoV는 카메라의 시야각(°)이라고 할 때, 상기 거리측정 입력벡터 생성 단계에서는,
Figure 112020053004615-pat00019
(1) 의 입력벡터를 생성할 수 있다.
xy평면은 상기 드론의 카메라 영상 좌표와 일치하는 평면이고, z축은 상기 드론의 비행방향과 평행하며, 상기 드론의 전방 방향이 양의 z축이라고 할 때, 상기 드론의 좌표는 (
Figure 112020053004615-pat00020
)이고, 상기 비행물체의 좌표는 (
Figure 112020053004615-pat00021
)이며, 여기서
Figure 112020053004615-pat00022
는 측정거리 벡터
Figure 112020053004615-pat00023
의 z축 성분이고,
Figure 112020053004615-pat00024
는 거리벡터
Figure 112020053004615-pat00025
의 xz 평면으로의 정사영이고, θTW는 xz평면에서 비행물체의 수평 위치각(°)이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, dW는 영상프레임의 가로길이(m)이고, dH는 영상프레임의 세로길이(m)일 때, 상기 거리측정 단계에서 측정된 상기 드론과 상기 비행물체 간의 물리적 거리 관계는,
Figure 112020053004615-pat00026
(2)
Figure 112020053004615-pat00027
(3)
Figure 112020053004615-pat00028
(4)
Figure 112020053004615-pat00029
(5)
의 수식에 의해 계산될 수 있다.
상기 충돌 가능성 판정 단계는, 이동벡터를 이용하여 상기 비행물체가 현재 위치 기준으로 영상 중심 방향으로 이동하는지 여부를 확인하여, 영상 중심 방향으로 이동하지 않는 경우에는 충돌 가능성이 없는 것으로 판정하고, 영상 중심 방향으로 이동하는 경우에는 충돌 가능성이 있는 것으로 판정할 수 있다.
충돌예상평면은 현재의 방향으로 드론과 비행물체가 이동할 경우에 만나게 되는 드론 전방의 임의의 xy평면이고, 이 충돌예상평면에서 드론이 점유하고 있는 영역인 충돌영역 내로 비행물체가 이동할 경우에 충돌이 발생한다고 할 때, 상기 충돌 가능성 판정 단계에서는, 충돌 가능성이 있는 경우, 최종 충돌 가능 여부를 판정하기 위해서 충돌예상평면을 계산하며, 상기 비행물체의 현재 이동속도와 이동방향을 이용하여 상기 충돌예상평면에서의 상기 비행물체의 위치를 예측하여, 상기 비행물체가 충돌 영역 내에 위치할 것인지 판정하여 최종 충돌 가능성을 판정할 수 있다.
TC는 충돌예상평면 도달소요시간이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, vD는 드론의 이동속도(m/s)이고, vz는 비행물체의 z축 이동속도(m/s)일 때, 상기 충돌 가능성 판정 단계에서는,
Figure 112020053004615-pat00030
(6)
의 수식을 이용하여 상기 비행물체가 상기 충돌예상평면까지 도달하는 소요시간을 계산할 수 있다.
dvx는 TC동안 비행물체가 x방향으로 이동한 거리(m)이고, dvy는 TC동안 비행물체가 y방향으로 이동한 거리(m)이고, vx는 비행물체의 x축 이동속도(m/s)이고, vy는 비행물체의 y축 이동속도(m/s)일 때, 상기 충돌 가능성 판정 단계에서는,
Figure 112020053004615-pat00031
(7)
Figure 112020053004615-pat00032
(8)
을 이용하여 상기 비행물체의 xy 평면에서의 이동거리를 계산할 수 있다.
본 발명에 의하면 단안 카메라를 이용하여 드론 전방의 비행물체 충돌 가능성을 판정하기 때문에, 드론의 비행 중에 전방에 출현하는 비행물체를 사전에 탐지하고 충돌 가능성을 판정하여 회피할 수 있도록 함으로써, 안전한 드론 비행을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 드론 전방의 비행물체와의 충돌 가능성 판정 장치의 내부 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 드론 전방의 비행물체와의 충돌 가능성 판정 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 비행물체 탐지부의 입력 및 출력 정보를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 영상 내 비행물체 탐지 결과를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 거리측정 입력벡터 생성부의 입력 및 출력 정보를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 거리 측정부의 입력 및 출력 정보를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 드론과 비행물체 간의 좌표 관계 및 측정거리를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 드론에 구비된 카메라의 시야각과 비행물체의 XZ, YZ 평면에서의 물리적 거리 관계를 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 영상 프레임 내 비행 물체의 이동방향을 예시한 것이다.
도 11은 본 발명의 일 실시예에 따른 비행물체의 접근에 따른 충돌 가능 여부 판정 알고리즘을 설명하기 위한 예시도이다.
본 명세서에서 개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시예는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 개시된 실시예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 드론에 구비된 카메라를 통해 촬영된 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성을 판정하는 장치인 충돌 가능성 판정 장치 및 방법에 대한 것이다.
본 발명은 드론의 전방에 비행하는 비행물체를 탐지하고, 해당 드론과 비행물체와의 충돌가능성을 판정하는 기술이며, 드론에 구비되어 있는 카메라를 통해 촬영된 영상을 이용하여 충돌가능성을 판정한다.
본 발명에서 드론에 구비되는 카메라는 단안 카메라일 수 있다.
도 1은 본 발명의 일 실시예에 따른 드론 전방의 비행물체와의 충돌 가능성 판정 장치의 내부 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 충돌 가능성 판정 장치(100)는 비행물체 탐지부(110), 거리측정 입력벡터 생성부(120), 거리 측정부(130), 영상추적부(140), 이동벡터 추정부(150), 충돌 가능성 판정부(160)를 포함한다.
비행물체 탐지부(110)는 드론에 구비된 카메라를 통해 촬영된 영상을 입력받아 드론 전방에 존재하는 비행물체를 탐지하는 역할을 한다.
거리측정 입력벡터 생성부(120)는 비행물체 탐지부(110)에서 탐지된 비행물체까지의 거리를 측정하기 위해 필요한 입력정보로서의 입력벡터를 생성하는 역할을 한다.
거리 측정부(130)는 생성된 입력벡터를 이용하여 비행물체까지의 거리를 측정하는 역할을 한다.
영상 추적부(140)는 영상 프레임 내에서 비행물체의 위치를 추적한다.
이동벡터 추정부(150)는 영상 추적부(140)에서 추적 중인 비행물체의 최신 연속된 2개의 위치를 이용하여 비행물체의 이동 방향과 속도를 추정하고, 이를 통해 비행물체의 이동벡터를 산출한다.
충돌 가능성 판정부(160)는 이동벡터 추정부(150)에서 산출된 이동벡터를 이용하여 비행물체와의 충돌 가능성을 판정한다.
본 발명에서 충돌 가능성 판정부(160)는 이동벡터를 이용하여 비행물체가 현재 위치 기준으로 영상 중심 방향으로 이동하는지 여부를 확인하여, 영상 중심 방향으로 이동하지 않는 경우에는 충돌 가능성이 없는 것으로 판정하고, 영상 중심 방향으로 이동하는 경우에는 충돌 가능성이 있는 것으로 판정한다.
본 발명에서 충돌예상평면은 현재의 방향으로 드론과 비행물체가 이동할 경우에 만나게 되는 드론 전방의 임의의 xy평면이고, 이 충돌예상평면에서 드론이 점유하고 있는 영역인 충돌영역 내로 비행물체가 이동할 경우에 충돌이 발생한다고 할 때, 충돌 가능성 판정부(160)는 충돌 가능성이 있는 경우, 최종 충돌 가능 여부를 판정하기 위해서 충돌예상평면을 계산하며, 비행물체의 현재 이동속도와 이동방향을 이용하여 충돌예상평면에서의 비행물체의 위치를 예측하여, 비행물체가 충돌 영역 내에 위치할 것인지 판정하여 최종 충돌 가능성을 판정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 드론 전방의 비행물체와의 충돌 가능성 판정 방법을 보여주는 흐름도이다.
도 2를 참조하면, 카메라를 통해 촬영된 영상을 입력받아 드론 전방에 존재하는 비행물체를 탐지한다(S201, S203).
그리고, 비행물체의 유형식별 정보와 영상 내 픽셀 위치 정보를 출력한다(S205).
그리고, 비행물체 유형의 실제 크기 및 카메라 파라메터를 이용하여, 탐지된 비행물체까지의 거리를 측정하기 위해 필요한 입력정보로서의 입력벡터를 생성하기 위한 거리측정 입력벡터를 생성한다(S207).
그리고, 생성된 입력벡터를 이용하여 비행물체까지의 거리를 측정한다(S209).
그리고, 영상 프레임 내에서 비행물체의 위치를 추적하기 위한 영상 추적을 수행한다(S211, S213). 이때, 탐지된 비행물체의 특징 이미지를 저장하고, 영상 프레임 내의 미래 위치를 예측한 후, 예측된 위치에서 새로 탐지된 결과인 영상 이미지 및 위치가 일치할 경우에 동일 물체인 것으로 판단하여 해당 물체의 추적 상태를 판정한다(S211, S213).
S213 단계에서 해당 비행 물체에 대한 추적 상태인 경우, 영상 기반으로 해당 비행 물체에 대한 추적을 계속 수행한다(S211, S213).
그러나, 미리 지정된 n회 이상 연속으로 추적에 실패할 경우, 해당 비행물체에 대한 추적 실패로 판정하고, 새로운 비행물체를 탐지하는 단계로 넘어간다(S215).
그리고, 추적 중인 비행물체의 최신 연속된 2개의 위치를 이용하여 비행물체의 이동 방향과 속도를 추정하고, 이를 통해 비행물체의 이동벡터를 산출한다(S217).
이때, 이동벡터를 이용하여 비행물체가 현재 위치 기준으로 영상 중심 방향으로 이동하는지 여부를 확인한다(S219).
비행물체가 영상 중심 방향으로 이동하지 않는 경우에는 충돌 가능성이 없는 것으로 판정하고, 영상 중심 방향으로 이동하는 경우에는 충돌 가능성이 있는 것으로 판정하여 후속 절차를 진행한다.
본 발명에서 충돌예상평면은 현재의 방향으로 드론과 비행물체가 이동할 경우에 만나게 되는 드론 전방의 임의의 xy평면이고, 이 충돌예상평면에서 드론이 점유하고 있는 영역인 충돌영역 내로 비행물체가 이동할 경우에 충돌이 발생한다고 할 때, 충돌 가능성이 있는 경우, 최종 충돌 가능 여부를 판정하기 위해서 충돌예상평면을 계산하며, 비행물체의 현재 이동속도와 이동방향을 이용하여 충돌예상평면에서의 비행물체의 위치를 예측하여, 비행물체가 충돌 영역 내에 위치할 것인지 판정하여 최종 충돌 가능성을 판정한다(S221~S225). 이와 관련한 상세한 내용은 후술하기로 한다.
도 3은 본 발명의 일 실시예에 따른 비행물체 탐지부의 입력 및 출력 정보를 도시한 것이다.
도 3을 참조하면, 비행물체 탐지부(110)는 입력되는 영상 프레임 내에서 이동하는 비행물체를 탐지하는 기능을 수행한다.
비행물체 탐지부(110)는 영상 프레임 내에서 탐지된 비행물체의 객체유형과 영상 내 픽셀위치를 출력한다. 이때, 비행물체 탐지를 위한 구체적인 방법으로, 딥러닝을 이용한 인공지능 알고리즘 등의 다양한 방법을 적용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 내 비행물체 탐지 결과를 보여주는 도면이다.
도 4는 비행물체 탐지부(110)가 입력되는 영상에서 탐지한 결과를 모니터에 표시한 것을 나타낸 것으로서, 탐지결과에 대한 설명이 표시되어 있다.
도 4에 도시한 바와 같이, 영상 내 비행물체의 이동방향 좌표축은 드론 카메라 영상 좌표와 일치시키기 위하여, 영상 내의 좌측 상단을 원점으로 하여 우측 가로방향이 양의 x축 방향이고, 아래 세로방향이 양의 y축 방향으로 구성된다.
도 4에서 영상의 수평 픽셀 수는 W이고, 영상의 수직 픽셀 수는 H로 나타낼 수 있다.
도 5는 본 발명의 일 실시예에 따른 거리측정 입력벡터 생성부의 입력 및 출력 정보를 도시한 것이다.
도 5를 참조하면, 거리측정 입력벡터 생성부(120)는 단안 카메라 영상을 이용하여 비행물체까지의 거리를 측정하기 위한 입력정보로서의 거리측정 입력벡터 데이터를 생성하는 기능을 수행한다.
도 5에 도시한 바와 같이, 객체 데이터베이스(510)에 사전 저장되어 있는 해당 객체 유형의 실물 크기 정보와 카메라 속성정보를 이용하여 다음의 식 (1)과 같은 거리측정 입력벡터를 생성한다.
Figure 112020053004615-pat00033
(1)
여기서, 각 파라미터를 정의하면 다음과 같다.
w: 비행물체의 가로픽셀 넓이(=xmax-xmin)
h: 비행물체의 세로픽셀 높이(=ymax-ymin)
W: 영상프레임의 가로픽셀 넓이
H: 영상프레임의 세로픽셀 높이
xT: 비행물체의 영상 내 가로픽셀 위치
yT: 비행물체의 영상 내 세로픽셀 위치
d: 비행물체의 대각선 픽셀 크기(바운딩 박스의 대각선 크기)
D: 영상프레임의 대각선 픽셀 크기
Figure 112020053004615-pat00034
: 비행물체의 실제 가로 크기(m)
Figure 112020053004615-pat00035
: 비행물체의 실제 세로 크기(m)
Focal_Length: 카메라의 초점거리
FoV: 카메라의 시야각(°)
도 6은 본 발명의 일 실시예에 따른 거리 측정부의 입력 및 출력 정보를 도시한 것이다.
도 6을 참조하면, 거리측정부(130)는 거리측정 입력벡터를 이용하여 탐지된 비행물체까지의 실제 거리(d T )(m)를 추정한다. 이때, 거리 측정을 위한 구체적인 알고리즘은 거리측정 입력벡터와 카메라 속성정보를 이용하여 딥러닝 알고리즘으로 사전에 학습된 알고리즘을 적용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 드론과 비행물체 간의 좌표 관계 및 측정거리를 설명하기 위한 도면이다.
도 7에서 드론과 탐지된 비행물체 간의 측정거리와 3차원 공간 내의 위치 관계가 표시되어 있다. 이때, xy평면은 드론의 카메라 영상 좌표와 일치하는 평면이며, z축은 드론의 비행방향과 평행하며, 드론의 전방 방향이 양의 z축이다.
그리고, 드론(710)은 영상 프레임의 중심에 위치하므로 좌표는 (
Figure 112020053004615-pat00036
)이고, 비행물체(720)의 좌표는 (
Figure 112020053004615-pat00037
)이다. 여기서,
Figure 112020053004615-pat00038
는 측정거리 벡터
Figure 112020053004615-pat00039
의 z축 성분이다. 물론, 실시예에 따라서 드론의 위치를 영점좌표 (0,0,0)으로 하는 방법도 가능하다.
도 8은 본 발명의 일 실시예에 따른 드론에 구비된 카메라의 시야각과 비행물체의 XZ, YZ 평면에서의 물리적 거리 관계를 설명하기 위한 도면이다.
도 8은 드론(710)에 구비된 카메라의 시야각과 xz 평면, yz 평면에서의 비행물체(720)의 물리적 거리 관계를 도시한 내용이다. 이때,
Figure 112020053004615-pat00040
는 거리벡터
Figure 112020053004615-pat00041
의 xz 평면으로의 정사영이고,
Figure 112020053004615-pat00042
는 거리벡터
Figure 112020053004615-pat00043
의 yz 평면으로의 정사영이다.
도 8에서 dT(x,z)는 탐지된 비행물체(720)까지의 측정된 xz 평면거리이고, dW(m)은 수평시야각에 해당하는 실제 거리이고, dTN은 탐지된 비행물체(720)까지의 측정된 수직거리이고, dT(y,z)는 탐지된 비행물체(720)까지의 측정된 yz 평면거리이고, dH(m)은 수직시야각에 해당하는 실제 거리이고, θW는 수평시야각이고, θH는 수직시야각을 나타낸다.
도 8에 표시된 물리적 거리 관계는 아래의 수식 (2)~(5)에 의해 계산된다.
Figure 112020053004615-pat00044
(2)
Figure 112020053004615-pat00045
(3)
Figure 112020053004615-pat00046
(4)
Figure 112020053004615-pat00047
(5)
여기서, θTW는 xz평면에서 비행물체의 수평 위치각(°)이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, dW는 영상프레임의 가로길이(m)이고, dH는 영상프레임의 세로길이(m)이다.
영상 추적부(140)는 영상 이미지를 이용하여 비행물체의 영상 프레임 내 위치를 추적하는 기능을 수행한다.
영상 추적부(140)는 탐지된 비행물체의 특징 이미지를 저장하고, 영상 프레임 내의 미래 위치를 예측한 후, 예측된 위치에서 새로 탐지된 결과인 영상 이미지, 위치 등이 일치할 경우에 동일 물체로 판단하는 방식으로 해당 물체의 추적 상태 여부를 판정한다. 이때, n회 이상 연속으로 추적이 실패할 경우에는 해당 비행물체에 대한 추적 실패로 판정하고, 새로 비행물체를 탐지하는 절차로 넘어간다.
이동벡터 추정부(150)는 추적 중인 해당 비행물체의 연속된 최신의 2개 위치를 이용하여 그 방향과 속도를 추정하여 비행물체의 이동벡터를 산출한다. 이때, 비행물체의 이동벡터 추정은 영상 추적 알고리즘에서 같이 수행할 수도 있다.
충돌 가능성 판정부(160)는 산출된 이동벡터를 이용하여 해당 비행물체가 현재 위치 기준으로 영상 중심 방향으로 이동하는지 여부를 판정한다. 이때, 영상의 중심 방향으로 이동하지 않는 경우에는 충돌 가능성이 없는 것으로 판정한다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 영상 프레임 내 비행 물체의 이동방향을 예시한 것이다.
도 9는 충돌 가능성이 없는 경우의 비행물체 이동방향을 도시한 것이고, 도 10은 충돌 가능성이 있는 경우의 비행물체 이동방향을 도시한 것이다. 이때, 영상 중심은 드론이 비행하고 있는 전방 영역이므로 비행물체가 이 영역으로 접근할 경우는 충돌 가능성이 있는 경우이다.
본 발명에서 비행물체(720)가 충돌 가능성이 있을 경우에는 최종 충돌 가능 여부를 판정하기 위해서 충돌예상평면을 계산한다. 여기서 충돌예상평면은 현재의 방향으로 드론과 비행물체가 이동할 경우에 만나게 되는 드론 전방의 임의의 xy평면이다. 이 충돌예상평면에서 드론이 점유하고 있는 영역 내로 비행물체(720)가 이동할 경우에 충돌이 발생한다. 그러므로, 비행물체(720)의 현재 이동속도와 방향을 이용하여 이 평면에서의 비행물체 위치를 예측하여 드론의 충돌 영역(910) 내에 위치할 것인지 판정하여 충돌 가능성을 판정한다.
도 11은 본 발명의 일 실시예에 따른 비행물체의 접근에 따른 충돌 가능 여부 판정 알고리즘을 설명하기 위한 예시도이다.
도 11에서 a는 드론(710)과 비행물체(720)를 위에서 내려다 본 예시도이고, b는 드론(710)과 비행물체(720)를 옆에서 바라 본 예시도이다.
도 11에서 비행물체가 충돌예상평면까지 도달하는 소요시간은 다음의 식 (6)을 이용하여 계산할 수 있다.
Figure 112020053004615-pat00048
(6)
여기서, TC는 충돌예상평면 도달소요시간이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, vD는 드론의 이동속도(m/s)이고, vz는 비행물체의 z축 이동속도(m/s)이다.
또한, 비행물체의 xy 평면에서의 이동거리는 다음의 식 (7), (8)을 이용하여 계산할 수 있다.
Figure 112020053004615-pat00049
(7)
Figure 112020053004615-pat00050
(8)
여기서, dvx는 TC동안 비행물체가 x방향으로 이동한 거리(m)이고, dvy는 TC동안 비행물체가 y방향으로 이동한 거리(m)이고, vx는 비행물체의 x축 이동속도(m/s)이고, vy는 비행물체의 y축 이동속도(m/s)이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
110 비행물체 탐지부 120 거리측정 입력벡터 생성부
130 거리 측정부 140 영상 추적부
150 이동벡터 추정부 160 충돌 가능성 판정부

Claims (16)

  1. 드론에 구비된 카메라를 통해 촬영된 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성을 판정하는 장치인 충돌 가능성 판정 장치에서,
    상기 카메라를 통해 촬영된 영상을 입력받아 상기 드론 전방에 존재하는 비행물체를 탐지하기 위한 비행물체 탐지부;
    상기 비행물체 탐지부에서 탐지된 비행물체까지의 거리를 측정하기 위해 필요한 입력정보로서의 입력벡터를 생성하기 위한 거리측정 입력벡터 생성부;
    상기 입력벡터 생성부에서 생성된 입력벡터를 이용하여 상기 비행물체까지의 거리를 측정하기 위한 거리 측정부;
    영상 프레임 내에서 상기 비행물체의 위치를 추적하기 위한 영상 추적부;
    상기 영상 추적부에서 추적 중인 상기 비행물체의 최신 연속된 2개의 위치를 이용하여 상기 비행물체의 이동 방향과 속도를 추정하고, 이를 통해 상기 비행물체의 이동벡터를 산출하는 이동벡터 추정부; 및
    상기 이동벡터 추정부에서 산출된 이동벡터를 이용하여 상기 비행물체와의 충돌 가능성을 판정하는 충돌 가능성 판정부를 포함하며,
    상기 카메라를 통해 촬영된 영상 프레임에서 좌측 상단을 원점으로 하여 우측 가로방향이 양의 x축 방향이고, 아래 세로방향이 양의 y축 방향으로 구성되며,
    상기 비행물체 탐지부는 영상 프레임 내에서 탐지된 비행물체의 객체 유형과 픽셀 위치를 출력하고,
    w는 비행물체의 가로픽셀 넓이(=xmax-xmin), h는 비행물체의 세로픽셀 높이(=ymax-ymin), W는 영상프레임의 가로픽셀 넓이, H는 영상프레임의 세로픽셀 높이, xT는 비행물체의 영상 내 가로픽셀 위치, yT는 비행물체의 영상 내 세로픽셀 위치, d는 비행물체의 대각선 픽셀 크기(바운딩 박스의 대각선 크기), D는 영상프레임의 대각선 픽셀 크기,
    Figure 112021041002082-pat00051
    는 비행물체의 실제 가로 크기(m),
    Figure 112021041002082-pat00052
    는 비행물체의 실제 세로 크기(m), Focal_Length는 카메라의 초점거리, FoV는 카메라의 시야각(°)이라고 할 때,
    상기 거리측정 입력벡터 생성부는,
    Figure 112021041002082-pat00053
    (1)
    의 입력벡터를 생성하는 것을 특징으로 하는 충돌 가능성 판정 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    xy평면은 상기 드론의 카메라 영상 좌표와 일치하는 평면이고, z축은 상기 드론의 비행방향과 평행하며, 상기 드론의 전방 방향이 양의 z축이라고 할 때,
    상기 드론의 좌표는 (
    Figure 112021041002082-pat00054
    )이고, 상기 비행물체의 좌표는 (
    Figure 112021041002082-pat00055
    )이며, 여기서
    Figure 112021041002082-pat00056
    는 측정거리 벡터
    Figure 112021041002082-pat00057
    의 z축 성분이고,
    Figure 112021041002082-pat00058
    는 거리벡터
    Figure 112021041002082-pat00059
    의 xz 평면으로의 정사영이고, θTW는 xz평면에서 비행물체의 수평 위치각(°)이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, dW는 영상프레임의 가로길이(m)이고, dH는 영상프레임의 세로길이(m)일 때,
    상기 거리측정부에서 측정된 상기 드론과 상기 비행물체 간의 물리적 거리 관계는,
    Figure 112021041002082-pat00060
    (2)
    Figure 112021041002082-pat00061
    (3)
    Figure 112021041002082-pat00062
    (4)
    Figure 112021041002082-pat00063
    (5)
    의 수식에 의해 계산되는 것을 특징으로 하는 충돌 가능성 판정 장치.
  5. 청구항 4에 있어서,
    상기 충돌 가능성 판정부는,
    이동벡터를 이용하여 상기 비행물체가 현재 위치 기준으로 영상 중심 방향으로 이동하는지 여부를 확인하여, 영상 중심 방향으로 이동하지 않는 경우에는 충돌 가능성이 없는 것으로 판정하고, 영상 중심 방향으로 이동하는 경우에는 충돌 가능성이 있는 것으로 판정하는 것을 특징으로 하는 충돌 가능성 판정 장치.
  6. 청구항 5에 있어서,
    충돌예상평면은 현재의 방향으로 드론과 비행물체가 이동할 경우에 만나게 되는 드론 전방의 임의의 xy평면이고, 이 충돌예상평면에서 드론이 점유하고 있는 영역인 충돌영역 내로 비행물체가 이동할 경우에 충돌이 발생한다고 할 때,
    상기 충돌 가능성 판정부는,
    충돌 가능성이 있는 경우, 최종 충돌 가능 여부를 판정하기 위해서 충돌예상평면을 계산하며, 상기 비행물체의 현재 이동속도와 이동방향을 이용하여 상기 충돌예상평면에서의 상기 비행물체의 위치를 예측하여, 상기 비행물체가 충돌 영역 내에 위치할 것인지 판정하여 최종 충돌 가능성을 판정하는 것을 특징으로 하는 충돌 가능성 판정 장치.
  7. 청구항 6에 있어서,
    TC는 충돌예상평면 도달소요시간이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, vD는 드론의 이동속도(m/s)이고, vz는 비행물체의 z축 이동속도(m/s)일 때,
    상기 충돌 가능성 판정부는,
    Figure 112020053004615-pat00064
    (6)
    의 수식을 이용하여 상기 비행물체가 상기 충돌예상평면까지 도달하는 소요시간을 계산할 수 있는 것을 특징으로 하는 충돌 가능성 판정 장치.
  8. 청구항 7에 있어서,
    dvx는 TC동안 비행물체가 x방향으로 이동한 거리(m)이고, dvy는 TC동안 비행물체가 y방향으로 이동한 거리(m)이고, vx는 비행물체의 x축 이동속도(m/s)이고, vy는 비행물체의 y축 이동속도(m/s)일 때,
    상기 충돌 가능성 판정부는,
    Figure 112020053004615-pat00065
    (7)
    Figure 112020053004615-pat00066
    (8)
    을 이용하여 상기 비행물체의 xy 평면에서의 이동거리를 계산할 수 있는 것을 특징으로 하는 충돌 가능성 판정 장치.
  9. 드론에 구비된 카메라를 통해 촬영된 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성을 판정하는 장치인 충돌 가능성 판정 장치에서의 충돌 가능성 판정 방법에서,
    상기 카메라를 통해 촬영된 영상을 입력받아 상기 드론 전방에 존재하는 비행물체를 탐지하기 위한 비행물체 탐지 단계;
    상기 비행물체 탐지 단계에서 탐지된 비행물체까지의 거리를 측정하기 위해 필요한 입력정보로서의 입력벡터를 생성하기 위한 거리측정 입력벡터 생성 단계;
    상기 입력벡터 생성 단계에서 생성된 입력벡터를 이용하여 상기 비행물체까지의 거리를 측정하기 위한 거리 측정 단계;
    영상 프레임 내에서 상기 비행물체의 위치를 추적하기 위한 영상 추적 단계;
    상기 영상 추적 단계에서 추적 중인 상기 비행물체의 최신 연속된 2개의 위치를 이용하여 상기 비행물체의 이동 방향과 속도를 추정하고, 이를 통해 상기 비행물체의 이동벡터를 산출하는 이동벡터 추정 단계; 및
    상기 이동벡터 추정 단계에서 산출된 이동벡터를 이용하여 상기 비행물체와의 충돌 가능성을 판정하는 충돌 가능성 판정 단계를 포함하고,
    상기 카메라를 통해 촬영된 영상 프레임에서 좌측 상단을 원점으로 하여 우측 가로방향이 양의 x축 방향이고, 아래 세로방향이 양의 y축 방향으로 구성되며,
    상기 비행물체 탐지 단계에서 영상 프레임 내에서 탐지된 비행물체의 객체 유형과 픽셀 위치를 출력하고,
    w는 비행물체의 가로픽셀 넓이(=xmax-xmin), h는 비행물체의 세로픽셀 높이(=ymax-ymin), W는 영상프레임의 가로픽셀 넓이, H는 영상프레임의 세로픽셀 높이, xT는 비행물체의 영상 내 가로픽셀 위치, yT는 비행물체의 영상 내 세로픽셀 위치, d는 비행물체의 대각선 픽셀 크기(바운딩 박스의 대각선 크기), D는 영상프레임의 대각선 픽셀 크기,
    Figure 112021041002082-pat00067
    는 비행물체의 실제 가로 크기(m),
    Figure 112021041002082-pat00068
    는 비행물체의 실제 세로 크기(m), Focal_Length는 카메라의 초점거리, FoV는 카메라의 시야각(°)이라고 할 때,
    상기 거리측정 입력벡터 생성 단계에서는,
    Figure 112021041002082-pat00069
    (1)
    의 입력벡터를 생성하는 것을 특징으로 하는 충돌 가능성 판정 방법.
  10. 삭제
  11. 삭제
  12. 청구항 9에 있어서,
    xy평면은 상기 드론의 카메라 영상 좌표와 일치하는 평면이고, z축은 상기 드론의 비행방향과 평행하며, 상기 드론의 전방 방향이 양의 z축이라고 할 때,
    상기 드론의 좌표는 (
    Figure 112021041002082-pat00070
    )이고, 상기 비행물체의 좌표는 (
    Figure 112021041002082-pat00071
    )이며, 여기서
    Figure 112021041002082-pat00072
    는 측정거리 벡터
    Figure 112021041002082-pat00073
    의 z축 성분이고,
    Figure 112021041002082-pat00074
    는 거리벡터
    Figure 112021041002082-pat00075
    의 xz 평면으로의 정사영이고, θTW는 xz평면에서 비행물체의 수평 위치각(°)이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, dW는 영상프레임의 가로길이(m)이고, dH는 영상프레임의 세로길이(m)일 때,
    상기 거리측정 단계에서 측정된 상기 드론과 상기 비행물체 간의 물리적 거리 관계는,
    Figure 112021041002082-pat00076
    (2)
    Figure 112021041002082-pat00077
    (3)
    Figure 112021041002082-pat00078
    (4)
    Figure 112021041002082-pat00079
    (5)
    의 수식에 의해 계산되는 것을 특징으로 하는 충돌 가능성 판정 방법.
  13. 청구항 12에 있어서,
    상기 충돌 가능성 판정 단계는,
    이동벡터를 이용하여 상기 비행물체가 현재 위치 기준으로 영상 중심 방향으로 이동하는지 여부를 확인하여, 영상 중심 방향으로 이동하지 않는 경우에는 충돌 가능성이 없는 것으로 판정하고, 영상 중심 방향으로 이동하는 경우에는 충돌 가능성이 있는 것으로 판정하는 것을 특징으로 하는 충돌 가능성 판정 방법.
  14. 청구항 13에 있어서,
    충돌예상평면은 현재의 방향으로 드론과 비행물체가 이동할 경우에 만나게 되는 드론 전방의 임의의 xy평면이고, 이 충돌예상평면에서 드론이 점유하고 있는 영역인 충돌영역 내로 비행물체가 이동할 경우에 충돌이 발생한다고 할 때,
    상기 충돌 가능성 판정 단계에서는,
    충돌 가능성이 있는 경우, 최종 충돌 가능 여부를 판정하기 위해서 충돌예상평면을 계산하며, 상기 비행물체의 현재 이동속도와 이동방향을 이용하여 상기 충돌예상평면에서의 상기 비행물체의 위치를 예측하여, 상기 비행물체가 충돌 영역 내에 위치할 것인지 판정하여 최종 충돌 가능성을 판정하는 것을 특징으로 하는 충돌 가능성 판정 방법.
  15. 청구항 14에 있어서,
    TC는 충돌예상평면 도달소요시간이고, dTN은 xz평면에서 비행물체까지의 수직거리(m)이고, vD는 드론의 이동속도(m/s)이고, vz는 비행물체의 z축 이동속도(m/s)일 때,
    상기 충돌 가능성 판정 단계에서는,
    Figure 112020053004615-pat00080
    (6)
    의 수식을 이용하여 상기 비행물체가 상기 충돌예상평면까지 도달하는 소요시간을 계산할 수 있는 것을 특징으로 하는 충돌 가능성 판정 방법.
  16. 청구항 15에 있어서,
    dvx는 TC동안 비행물체가 x방향으로 이동한 거리(m)이고, dvy는 TC동안 비행물체가 y방향으로 이동한 거리(m)이고, vx는 비행물체의 x축 이동속도(m/s)이고, vy는 비행물체의 y축 이동속도(m/s)일 때,
    상기 충돌 가능성 판정 단계에서는,
    Figure 112020053004615-pat00081
    (7)
    Figure 112020053004615-pat00082
    (8)
    을 이용하여 상기 비행물체의 xy 평면에서의 이동거리를 계산할 수 있는 것을 특징으로 하는 충돌 가능성 판정 방법.
KR1020200062976A 2020-05-26 2020-05-26 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법 KR102316012B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200062976A KR102316012B1 (ko) 2020-05-26 2020-05-26 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200062976A KR102316012B1 (ko) 2020-05-26 2020-05-26 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102316012B1 true KR102316012B1 (ko) 2021-10-22

Family

ID=78275730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200062976A KR102316012B1 (ko) 2020-05-26 2020-05-26 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102316012B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912720A (zh) * 2023-09-12 2023-10-20 北京宝隆泓瑞科技有限公司 一种判断无人机影像目标是否发生重复识别的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059853A (ko) 2015-11-23 2017-05-31 주식회사 엘케이스마트 단일 초음파 센서를 사용한 드론 충돌 회피 기술
KR20180075111A (ko) * 2016-12-26 2018-07-04 이선구 충돌 회피용 드론 제어장치
KR20190004176A (ko) * 2017-07-03 2019-01-11 한국전력공사 무인항공기의 장애물 충돌 회피 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059853A (ko) 2015-11-23 2017-05-31 주식회사 엘케이스마트 단일 초음파 센서를 사용한 드론 충돌 회피 기술
KR20180075111A (ko) * 2016-12-26 2018-07-04 이선구 충돌 회피용 드론 제어장치
KR20190004176A (ko) * 2017-07-03 2019-01-11 한국전력공사 무인항공기의 장애물 충돌 회피 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912720A (zh) * 2023-09-12 2023-10-20 北京宝隆泓瑞科技有限公司 一种判断无人机影像目标是否发生重复识别的方法
CN116912720B (zh) * 2023-09-12 2023-12-05 北京宝隆泓瑞科技有限公司 一种判断无人机影像目标是否发生重复识别的方法

Similar Documents

Publication Publication Date Title
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
US10884110B2 (en) Calibration of laser and vision sensors
EP3663882B1 (en) Information processing device, information processing method, program and mobile unit
US20110178658A1 (en) Systems and methods for monocular airborne object detection
US9336446B2 (en) Detecting moving vehicles
CN110865650B (zh) 基于主动视觉的无人机位姿自适应估计方法
CN110687928A (zh) 降落控制方法，系统，无人机及存储介质
EP3633617A2 (en) Image processing device
CN109946703A (zh) 一种传感器姿态调整方法及装置
Bratanov et al. A vision-based sense-and-avoid system tested on a ScanEagle UAV
US10976426B2 (en) Apparatus and method for ascertaining object kinematics of a movable object
Martínez-de Dios et al. Experimental results of automatic fire detection and monitoring with UAVs
KR102316012B1 (ko) 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법
CN115291219A (zh) 利用单目摄像头实现无人机动态避障方法、装置及无人机
Helgesen et al. Tracking of marine surface objects from unmanned aerial vehicles with a pan/tilt unit using a thermal camera and optical flow
Kang et al. Development of a peripheral-central vision system for small UAS tracking
Poiesi et al. Detection of fast incoming objects with a moving camera.
KR101957662B1 (ko) 표적 정보 산출 장치, 그 방법 및 이를 포함하는 비행 제어 시스템
US11897387B2 (en) Vehicle monitoring device, vehicle, and vehicle monitoring system
JP2019179015A (ja) 経路表示装置
Navarro et al. Sense and avoid using hybrid convolutional and recurrent neural networks
Kang Development of a Peripheral-Central Vision System to Detect and Characterize Airborne Threats
EP4328619A1 (en) Apparatus for estimating vehicle pose using lidar sensor and method thereof
US20240069206A1 (en) Apparatus for estimating vehicle pose using lidar sensor and method thereof
US20230010630A1 (en) Anti-collision system for an aircraft and aircraft including the anti-collision system

Legal Events

Date Code Title Description
GRNT Written decision to grant