KR101895343B1 - 충돌 회피용 드론 제어장치 - Google Patents

충돌 회피용 드론 제어장치 Download PDF

Info

Publication number
KR101895343B1
KR101895343B1 KR1020160179069A KR20160179069A KR101895343B1 KR 101895343 B1 KR101895343 B1 KR 101895343B1 KR 1020160179069 A KR1020160179069 A KR 1020160179069A KR 20160179069 A KR20160179069 A KR 20160179069A KR 101895343 B1 KR101895343 B1 KR 101895343B1
Authority
KR
South Korea
Prior art keywords
image
omnidirectional
distance
disparity
drones
Prior art date
Application number
KR1020160179069A
Other languages
English (en)
Other versions
KR20180075111A (ko
Inventor
이선구
이충구
Original Assignee
이선구
이충구
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이선구, 이충구 filed Critical 이선구
Priority to KR1020160179069A priority Critical patent/KR101895343B1/ko
Priority to PCT/KR2017/015463 priority patent/WO2018124688A1/ko
Publication of KR20180075111A publication Critical patent/KR20180075111A/ko
Application granted granted Critical
Publication of KR101895343B1 publication Critical patent/KR101895343B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—
    • B64C2201/127—
    • B64C2201/141—
    • B64D2700/62184—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

실시예에 따른 충돌 회피용 드론 제어장치는, 드론의 회전 날개를 구동시키는 구동부; 단일 외부 전방위 렌즈로 상기 드론의 전방위를 촬영하여 전방위 영상을 획득하는 전방위 카메라를 포함하는 센서부; 및 상기 전방위 영상을 이미지 처리하여 상기 드론의 주변에 위치한 객체를 감지하고, 적어도 둘 이상의 상기 전방위 영상을 기초로 감지된 상기 객체와 상기 드론 사이의 거리를 측정하며, 상기 객체와 상기 드론 사이의 거리가 소정의 거리 이하일 때, 상기 드론이 상기 객체를 긴급 회피하도록 상기 구동부를 제어하는 프로세서를 포함한다.

Description

충돌 회피용 드론 제어장치 {COLLISION AVOIDANCE APPARATUS FOR VEHICLES}
본 발명은 전방위 카메라 시스템을 이용하여 주변 객체와 충돌을 회피하는 기능을 제공하는 충돌 회피용 드론 제어장치에 관한 것이다.
최근 드론(무인드론)이 상용화되면서 카메라 촬영 등 다양한 분야에서 드론이 활용되고 있다.
이러한 드론은 소형 무인드론로서 운용자의 조작 신호를 무선으로 받아 수동으로 운용되는 것이 일반적이다
이러한 드론의 운용 방식은 반드시 운용자가 함께 있어야 한다는 점에서 비효율적이고, 또한 운용자의 실수로 사고가 발생할 수 있다는 점에서 위험성을 함께 내포하고 있다.
이러한 드론 운용 방식을 보완하기 위하여, 드론에 거리 센서와 카메라를 설치하여 드론 주변의 오브젝트를 감지하고, 원격 제어 중 충돌 위험이 있는 오브젝트 감지시 원격 조종자에게 알람을 전송하는 드론 제어시스템이나, 드론 주변의 오브젝트를 회피하여 비행하도록 제어하는 무인 드론 제어시스템이 개발되고 있다.
그런데 드론은 전방위로 이동이 가능하므로, 이러한 드론 제어시스템을 구축하기 위해서는 드론의 전방위에 위치한 오브젝트를 감지하기 위해 다수의 거리 센서와, 다수의 단 시야각 카메라를 필요로 하여, 시스템 구현 비용이 증대되고 미관상 좋지 않은 문제가 있다.
한편, 최근 360도 카메라(전방위 카메라)의 활용성이 주목 받고 있다.
자세히, 전방위 카메라 기술은, 차량 주변 감시 등 차량 관련 분야나, 가상 현실 콘텐츠를 제공하기 위한 콘텐츠 제작 분야 등에 응용되어, 연구 개발이 활발이 진행되고 있다
또한, 최근 전방위 카메라를 드론에 접목하여, 비행 가능한 전방위 촬영시스템을 구현하는 기술 또한 제안되었다.
자세히, 본 발명과 관련된 선행 문헌으로 대한민국 공개특허 제10-2015-0025452 호(2005년 07월 12일)가 있으며, 상기 선행 문헌에는 비행 가능한 전방위 촬영시스템 가 개시되어 있다.
선행문헌발명은, 공중에서 복수의 단 시야각 카메라를 이용하여 드론의 사방을 각각 촬영한 후, 이를 하나의 360도 전방위 동영상으로 생성시킴으로써, 넓은 촬영 범위를 하나의 사진으로 표현할 수 있고, 접근이 어려운 위치에서도 용이하게 촬영할 수 있어 다양한 동영상을 연출할 수 있는 비행 가능한 전방위 촬영시스템을 제공할 수 있다.
자세히, 비행 가능한 전방위 촬영시스템의 촬영 유닛은 상기 비행 유닛에 설치되는 단 시야각을 갖는 6개의 카메라 모듈로 구비될 수 있으며, 상기 6개의 카메라 모듈은 전후좌우 방향과 상하 방향에 각각 배치되어, 전후좌우 4개의 촬영 영역과 상하 2개의 촬영 영역을 동시에 촬영할 수 있다. 그리고, 비행 가능한 전방위 촬영시스템은 상기 전방위 사진들의 공통 촬영 영역을 중첩시켜, 하나의 360도 전방위 사진을 생성시킨다.
따라서, 선행문헌발명은, 전방위를 촬영하기 위해 각기 다른 방향을 지향하며 설치된 복수의 카메라를 필요로 하며, 각기 다른 카메라에서 촬영된 영상을 정합하는 과정에서 영상과 영상 경계 부분이 관찰자에게 이질감을 발생시키는 문제가 있다. 즉, 현재 드론에 장착된 전방위 촬영 시스템은, 복수의 카메라나, 복수의 외부렌즈를 포함하는 카메라를 이용해야 하고, 촬영된 전방위 영상을 사용자의 단말기로 송출하기만 할 뿐 물체를 감지하는데 전혀 이용하고 있지는 않는다.
또한, 전술하였듯이, 각기 다른 카메라에서 촬영된 영상을 정합하는 과정에서 왜곡이 발생되어, 정합 영상을 신뢰할 수 없는 문제가 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 단일 렌즈로 전방위를 촬영하는 센서부를 이용하여 드론 주변의 객체를 정밀하게 감지하고, 감지한 객체를 회피하도록 드론을 자체 제어하는 충돌 회피용 드론 제어장치를 제공하고자 한다.
실시예에 따른 충돌 회피용 드론 제어장치는, 드론의 회전 날개를 구동시키는 구동부; 단일 외부렌즈로 전방위를 촬영하여 전방위 영상을 획득하는 적어도 하나 이상의 전방위 카메라를 포함하는 센서부; 및 전방위 영상을 이미지 처리하여 드론 주변의 객체를 감지하고, 적어도 둘 이상의 전방위 영상을 기초로 감지된 객체와 드론 사이의 거리를 측정하며, 객체와 드론 사이의 거리가 소정의 거리 이하일 때, 드론이 객체를 긴급 회피하도록 구동부를 제어하는 프로세서를 포함한다.
이때, 프로세서는, 전방위 영상을 원호 방향을 따라서 간격을 두고 분할하고, 분할한 영상을 이미지 처리하여 드론 주변의 객체를 감지할 수 있다.
또한, 프로세서는, 드론의 이동방향과 매칭되는 전방위 영상 영역에서 이격될수록 분할 각이 점차 커지도록 전방위 영상을 분할할 수 있따.
또한, 센서부는, 드론의 하부에 배치된 제 1 전방위 카메라와, 제 1 전방위 카메라 아래에 배치된 제 2 전방위 카메라를 포함하고, 제 1 전방위 카메라와, 제 2 전방위 카메라는 스테레오 카메라일 수 있다.
또한, 프로세서는, 전방위 영상을 전처리(preprocessing)하여 스테레오 이미지를 획득하는 영상 전처리부와, 스테레오 이미지를 스테레오 매칭하여 디스페러티 정보를 획득하는 디스페러티 연산부와, 디스페러티 정보에 기초하여 스테레오 이미지의 배경과 전경을 분리하는 세그멘테이션부와, 분리된 전경에서 적어도 하나 이상의 객체를 검출하는 오브젝트 확인부를 포함할 수 있다.
또한, 프로세서는, 제 1 전방위 카메라의 제 1 이미지에서 제 1 디스페러티를 산출하고, 제 2 전방위 카메라의 제 2 이미지에서 제 2 디스페러티를 산출하고, 제 1 디스페러티와 제 2 디스페러티의 합에 반비례하여 객체와 드론 사이의 거리를 산출할 수 있다.
또한, 프로세서는, 제 1 이미지에서 피사체가 투영된 지점이 초점 위치를 기준으로 이격된 거리와 이격방향에 따라서 제 1 디스페러티를 보정하고, 제 2 이미지에서 피사체가 투영된 지점이 초점 위치를 기준으로 이격된 거리와 이격방향에 따라서 제 2 디스페러티를 보정하고, 보정된 제 1 디스페러티와 제 2 디스페러티를 기초로 객체와 드론 사이의 거리를 산출할 수 있다.
또한, 프로세서는, 제 1 전방위 카메라의 제 1 이미지를 제 1 사각 파노라마 이미지로 변환하고, 제 2 전방위 카메라의 제 2 이미지를 제 2 사각 파노라마 이미지로 변환하고, 제 1 사각 파노라마 이미지로부터 제 1 디스페러티를 산출하고, 제 2 사각 파노라마 이미지로부터 제 2 디스페러티를 산출하고, 제 1 디스페러티 및 제 2 디스페러티를 기초로 객체와 드론 사이의 거리를 산출할 수 있다.
실시예에 따른 충돌 회피용 제어장치는, 단일 외부 전방위 렌즈로 드론의 전방위를 촬영하여 전방위 영상을 획득하고, 전방위 영상을 이미지 처리하여 드론 주변의 객체를 감지하고, 적어도 둘 이상의 전방위 영상을 기초로 감지된 객체와 드론 사이의 거리를 측정하며, 객체와 드론 사이의 거리가 소정의 거리 이하일 때, 드론이 객체를 긴급 회피하도록 프로펠러를 제어하여, 긴급 충돌회피 기능을 제공하여, 드론을 안전하게 주행시킬 수 있다.
또한, 이러한 충돌 회피용 제어장치는, 하나, 많게는 두개의 전방위 카메라만을 이용하여, 드론의 사방을 일거에 감시할 수 있으므로, 다수의 카메라나 거리 센서가 필요 없어 제조비용이 절감되는 장점이 있고, 전방위 영상 전체는 단일 외부 전방위 렌즈를 통해 촬영된 영상이므로 왜곡이 적기 때문에 객체의 위치를 정밀하게 감지할 수 있는 장점이 있다.
나아가, 실시예에 따른 충돌 회피용 제어장치는, 단일 외부 전방위 렌즈로 촬영된 전방위 영상의 특징을 고려하여 상기 전방위 영상을 분석하여, 전방위 영상에 촬영된 객체의 위치를 좀더 정밀하게 감지할 수 있다.
도 1은 본 발명의 실시예에 따른 충돌 회피용 드론 제어장치가 장착된 드론의 측면을 나타낸다.
도 2는 본 발명의 실시예에 따른 충돌 회피용 드론 제어장치의 블록도이다.
도 3은 본 발명의 실시예에 따른 센서부의 전방위 카메라의 단면을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 센서부의 전방위 카메라의 단면을 나타낸다.
도 5는 본 발명의 실시예에 따른 충돌 회피용 드론 제어장치가 긴급 물체 회피기능을 제공하는 과정을 나타내는 흐름도이다.
도 6a는 본 발명의 실시예에 따른 분할된 전방위 영상의 일례이고, 도 6b는 본 발명의 다른 실시예에 따른 분할된 전방위 영상의 일례이다.
도 7은 본 발명의 실시예에 따른 프로세서의 내부 블록도이다.
도 8은 본 발명의 실시예에 따른 프로세서가 객체와 드론 사이의 거리를 측정하는 방법을 설명하기 위한 개념도이다.
도 9는 본 발명의 실시예에 따른 프로세서가 전방위 카메라의 초점을 제어하는 과정을 나타내는 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 센서부의 전방위 카메라의 단면을 나타낸다.
도 11은 본 발명의 다른 실시예에 따른 충돌 회피용 드론 제어장치가 장착된 드론의 측면을 나타낸다.
도 12는 하측 및 상측 전방위 카메라의 내부 구성도이다.
도 13은 본 발명의 또 다른 실시예에 따른 따른 충돌 회피용 드론 제어장치의 블록도이다.
도 14 및 도 15는 액체 렌즈의 단면도이다.
이하, 본 발명의 실시예에 의한 충돌 회피용 드론 제어장치의 도면을 참고하여 상세하게 설명한다. 다음에 소개되는 실시 예들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고, 도면들에 있어서, 장치의 크기 및 두께 등은 편의를 위하여 과장되어 표현될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성요소들을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장될 수 있다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며, 따라서 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다 (comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/ 또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 실시예에 따른 충돌 회피용 드론 제어장치가 장착된 드론의 측면을 나타낸다.
도 1을 참조하면, 실시예에 따른 드론은, 드론의 외형을 형성하는 바디(10)와, 바디(10)에 배치되어 방사상으로 회전 가능한 프로펠러(20)와, 드론 주변 객체를 감지하고 객체를 회피하기 위해 상기 프로펠러(20)를 구동 제어하는 충돌 회피용 드론 제어장치를 포함한다.
자세히, 실시예에 따른 충돌 회피용 제어장치는, 단일 외부렌즈로 드론의 전방위를 촬영하여 전방위 영상을 획득하고, 전방위 영상을 이미지 처리하여 드론 주변의 객체를 감지하고, 적어도 둘 이상의 전방위 영상을 기초로 감지된 객체와 드론 사이의 거리를 측정하며, 객체와 드론 사이의 거리가 소정의 거리 이하일 때, 드론이 객체를 긴급 회피하도록 프로펠러(20)를 제어하여, 긴급 충돌회피 기능을 제공할 수 있다.
이러한 충돌 회피용 제어장치는, 하나, 많게는 두개의 전방위 카메라(160)만을 이용하여, 드론의 사방을 일거에 감시할 수 있으므로, 다수의 카메라나 거리 센서가 필요 없어 제조비용이 절감되는 장점이 있고, 전방위 영상 전체는 단일 외부 전방위 렌즈(200a)를 통해 촬영된 영상이므로 왜곡이 적기 때문에 객체의 위치를 정밀하게 감지할 수 있는 장점이 있다.
나아가, 실시예에 따른 충돌 회피용 제어장치는, 단일 외부 전방위 렌즈(200a)로 촬영된 전방위 영상의 특징을 고려하여 상기 전방위 영상을 분석하여, 전방위 영상에 촬영된 객체의 위치를 좀더 정밀하게 감지할 수 있다.
이하 이러한 충돌 회피용 드론 제어장치를 이루는 각 구성에 대해 좀더 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 충돌 회피용 드론 제어장치의 블록도이다.
도 2를 참조하면, 실시예에 따른 충돌 회피용 제어장치는, 입력부(110), 통신부(12), 구동부(130), 메모리(140), 전원부(150), 센서부(160) 및 프로세서(170)를 포함하며, 특히, 센서부(160)는, 적어도 하나 이상의 전방위 카메라(200)를 포함할 수 있다. 다만, 도 2에 도시된 충돌 회피용 제어장치의 유닛들은, 충돌 회피용 제어장치를 구현하는데 필수적인 유닛이 아닐 수 있으며, 실시예에 따라 유닛의 일부는 충돌 회피용 제어장치에 포함되지 않을 수 있고, 도시되지 않은 다른 유닛이 충돌 회피용 제어장치에 더 포함될 수도 있다.
먼저, 충돌 회피용 드론 제어장치는, 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다.
예를 들어, 입력부(110)는, 충돌 회피용 드론 제어장치의 전원을 온(on)/오프(off)시키는 실행 입력이나, 충돌 회피용 드론 제어장치의 긴급 드론 회피기능을 온/오프시키는 실행 입력 등을 등을 감지할 수 있다.
이러한 입력부(110)는 사용자 제스쳐를 감지하는 제스쳐 입력부(110)(예를 들어 (optical sensor) 등), 터치를 감지하는 터치 입력부(110)(예를 들어, 터치 센서(touch sensor), 터치키(touch key), 푸시키(mechanical key) 등), 사용자 단말기(600), 음성 입력을 감지하는 마이크로폰(microphone) 및 원격 리모콘, 이동 단말기 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다.
또한, 충돌 회피용 드론 제어장치는, 사용자의 단말기와 무선 통신하는 통신부(120)를 포함할 수 있다.
실시예에서, 통신부(120)는, 전방위 카메라(200)가 촬영한 전방위 영상/ 전방위 영상을 분석하여 획득한 드론 주변 정보를 단말기로 송신할 수 있다.
또한, 실시예에서, 통신부(120)는, 사용자가 단말기를 통해 입력한 원격 드론 제어신호를 수신할 수 있으며, 프로세서(170)는, 수신한 원격 드론 제어신호에 따라 구동부(130)를 제어하여, 사용자가 드론을 원격 제어하도록 하는 원격 제어 기능을 제공할 수 있다. 다만, 프로세서(170)는, 원격 제어 중에도 객체와 충돌 위험이 있는 경우, 원격 제어신호에 우선하여 충돌 회피 제어를 실행할 수 있다.
즉, 충돌 회피용 드론 제어장치는, 드론의 전방위를 하나의 영상으로 확인할 수 있도록 전방위 영상을 송신하여, 사용자 편의를 향상시킬 수 있다.
이러한 통신부(120)는, 단말기와 무선(wireless) 방식으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는 블루투스(Bluetooth) WiFi, Direct WiFi, APiX, LTE 또는 NFC 등 다양한 데이터 통신 방식이 가능할 수 있다.
다음으로, 충돌 회피용 드론 제어장치는, 프로펠러(20)의 동력을 공급하고 프로펠러(20) 회전방향을 제어하여 드론의 이동방향/이동속도를 제어하는 구동부(130)를 포함할 수 있다.
실시예에서, 충돌 회피용 드론 제어장치가 구동부(130)를 직접 포함하는 것으로 설명하였으나, 드론에 별도의 구동부(130)가 구비되고 충돌 회피용 드론 제어장치는 인터페이스로 상기 구동부(130)와 연결되어 제어신호를 송신함으로써, 구동부(130)를 제어하는 실시예도 가능할 것이다.
구동부(130)는 동력원 구동부(130)를 포함하며, 동력원 구동부(130)는 드론 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 예로, 전기 기반의 모터가 동력원인 경우, 동력원 구동부(130)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(130)는, 드론 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 자세히, 조향 구동부(130)는, 프로펠러(20)의 기울기, 서로 다른 프로펠러(20)의 동력 제어를 통해, 드론의 진행 방향을 변경할 수 있다.
실시예에서, 프로세서(170)는, 충돌 위험 객체 감지시 충돌 위험 객체를 회피하는 진행방향을 검출하고, 검출한 진행방향으로 드론이 진행하도록 조향 구동부(130)를 제어할 수 있다.
또한, 충돌 회피용 드론 제어장치는, 메모리(140)를 포함할 수 있으며, 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등 충돌 회피용 드론 제어장치 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
또한, 메모리(140)는 충돌 회피용 드론 제어장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 충돌 회피용 드론 제어장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 그리고 이러한 응용 프로그램은, 메모리(140)에 저장되고, 프로세서(170)에 의하여 충돌 회피용 드론 제어장치의 동작(또는 기능)을 수행하도록 구동될 수 있다.
실시예에서, 메모리(140)는 전방위 카메라(200) 영상에 포함되는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라를 통해 획득된 영상에서, 소정 오브젝트가 검출되는 경우, 소정 알고리즘에 의해, 상기 오브젝트가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.
예를 들면, 메모리(140)는, 카메라를 통해 획득된 영상에서 고층 빌딩, 비행체, 조류와 같은 소정의 오브젝트가 포함되면, 소정 알고리즘에 의해, 상기 오브젝트가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.
또한, 충돌 회피용 드론 제어장치는, 전원부(150)를 포함하며, 전원부(150)는, 프로세서(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 이러한 전원부(150) 는, 드론 내부의 배터리일 수 있다.
또한, 충돌 회피용 드론 제어장치는, 적어도 하나 이상의 전방위 카메라(200)로 구성된 센서부(160)를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 센서부(160)의 전방위 카메라(200)의 단면을 나타낸다.
도 3을 참조하면, 실시예에 따른 센서부(160)는, 하나의 전방위 카메라(200)를 포함할 수 있다.
자세히, 실시예에 따른 전방위 카메라(200)는, 입사광이 굴절되도록 형성되는 굴절부(240)와, 굴절부(240)의 끝단에 수평하게 형성되어 있는 수평부(260)와, 수평부(260)에 형성되어 내측반사코팅으로부터 반사되는 입사광을 반사시켜 내측오목부로 입사광을 제공하는 반사코팅(250)과, 반사코팅(250)을 통해 반사된 입사광을 렌즈어레이(290)로 제공하도록 다시 굴절시키는 내측오목부(210)와, 내측오목부(210)의 끝단에 오목하게 형성되는 내측굴절부(220)와, 내측굴절부(240)에 형성되어 굴절부(240)로부터 입사되는 입사광을 반사코팅(250)으로 반사시키는 내측반사코팅(230)을 포함하여 구성되는 전방위렌즈(200a)와, 전방위렌즈(200a)가 전방에 설치 구성되어 있으며, 내부에 렌즈어레이(290)가 형성되어 있는 경통(280)을 포함할 수 있다.
상기와 같은 외부에 단 한 개의 전방위렌즈(200a) 구성을 통해 360도 시야각 확보가 가능한 장점을 제공할 수있다.
자세히, 굴절부(240)가 입사광이 굴절되도록 형성되어 있으며, 굴절부(240)의 끝단에 수평하게 수평부(260)가 형성될 수 있다. 이때, 수평부(260)에 반사코팅(250)을 형성하여 내측반사코팅(250)으로부터 반사되는 입사광을 반사시켜 내측오목부(210)로 입사광을 제공할 수 있다.
또한, 내면에는 전방위렌즈(200a)의 중앙 부위에 반사코팅(250)을 통해 반사된 입사광을 렌즈어레이(290)로 제공하도록 다시 굴절시키는 내측오목부(210)를 형성하게 되며, 내측오목부(210)의 끝단에 오목하게 내측굴절부(220)를 형성할 수 있다.
이때, 내측굴절부(240)에 형성되어 굴절부(240)로부터 입사되는 입사광을 반사코팅(250)으로 반사시키는 내측반사코팅(230)을 형성시킬 수 있다.
그리고 상기한 바와 같이, 두 개의 굴절면과 두 개의 반사코팅(250)면을 구성할 수 있다.
또한, 전방위렌즈(200a) 자체가 비구면이 아니라, 구면이므로 가공이 쉬워 제조 공정이 간단하여, 제조상의 편의성 및 제조 원가 절감을 제공할 수 있다.
즉, 굴절부(240)와 내측굴절부(240) 및 내측오목부(210)는 구면을 가지게 되는 것이어서 비구면시의 문제점인 가공의 어려움을 해결하면서 동시에 전방위 촬영이 가능한 효과를 제공할 수 있다.
그리고 전방위렌즈(200a)를 경통(280)의 전방에 설치 구성하게 되며, 경통(280)의 내부에는 렌즈어레이(290)가 형성될 수 있다. 또한, 전방위렌즈(200a)의 가상의 중앙축(270)을 기준으로 내측굴절부(240)의 경사는 굴절부(240)의 경사보다 가파르게 형성될 수 있다. 이는 35도 내지 85도 범위 내의 시야범위를 충족시키기 위하여 내측굴절부(240)의 경사각도가 굴절부(240)의 경사각도보다 가파르도록 형성하기 위함이다.
한편, 전방위렌즈(200a)의 내측 중앙 부위에 내측오목부(210)를 형성하는 이유는 초점을 맞추기 위함이다. 자세히, 내측오목부(210)에 의해 입사광이 렌즈어레이(290)에 입사할 경우에 광을 모아주어 초점을 맞출 수 있다.
보통 광학 렌즈의 경우에는 빛의 양이나 반사에 따라 상이 맺히기에 광학계의 설계는 완전체로 제작될 수 있다. 즉, 하나의 전체적인 형상을 통해 발생되는 빛의 반사는 유기적인 것이므로 최초 설계시점부터 완전체로 가공하게 될 수 있다.
도 4는 본 발명의 다른 실시예에 따른 센서부(160)의 전방위 카메라(200)의 단면을 나타낸다.
도 4를 참조하면, 실시예에 따른 센서부(160)는, 서로 이격되어 배치된 제 1 전방위 카메라(200)와 제 2 전방위 카메라(201)를 포함할 수 있다. 이때, 각각의 제 1 및 제 2 전방위 카메라(200, 201)에 대한 설명은 전술한 전방위 카메라(200)에 대한 설명과 중복되므로, 자세한 설명은 생략하기로 한다.
자세히, 제 1 전방위 카메라(200)는, 드론의 하부에 배치되어, 전방위를 촬영할 수 있다. 이때, 드론에 의해 가려진 상측과, 반사코팅(250)에 의해 가려진 하측 일부 영역은 촬영이 불가할 수 있다.
그리고 제 2 전방위 카메라(201)는, 제 1 전방위 카메라(200)의 반사코팅(250)에 연장되도록 배치될 수 있다. 자세히, 제 2 전방위 카메라(201)의 경통(281) 일단이 제 1 전방위 카메라(200)의 반사코팅(250)과 오버랩 되도록 배치될 수 있다.
즉, 제 1 전방위 카메라(200)와 제 2 전방위 카메라(201)는, 수직방향(상하 방향)으로 소정의 거리만큼 이격되어 배치되어, 제 1 전방위 카메라(200)와 제 2 전방위 카메라(201)는 상하 방향으로 서로 시차를 갖는 두개의 전방위 영상을 각각 촬영할 수 있다.
좀더 자세히, 실시예에 따른 센서부(160)는, 제 1 전방위 카메라(200)와 제 2 전방위 카메라(201)를 서로 다른 위치에 배치시켜 시차를 두고 전방위 영상을 촬영하도록 하는 전방위 스테레오 카메라로 구성될 수 있다.
따라서, 실시예에 따른 센서부(160)는, 2개의 전방위 카메라(200)로 드론의 전방위의 영상을 촬영함과 동시에, 영상에 촬영된 객체와 드론 사이의 거리를 정밀하게 측정할 수도 있다.
전방위 카메라(200)에서 촬영한 영상을 이용하여 드론 주변 객체를 감지하는 기술에 대한 자세한 설명은 후술하기로 한다.
다음으로, 충돌 회피용 드론 제어장치는, 충돌 회피용 드론 제어장치 내의 각 유닛의 전반적인 동작을 제어하는 프로세서(170)를 포함할 수 있다.
이러한 프로세서(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서 (microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
이하, 전술한 유닛으로 구성된 충돌 회피용 드론 제어장치가, 충돌 긴급 회피 기능을 제공하는 과정을 도 5를 참조하여 상세히 설명한다.
먼저, 센서부(160)는, 드론 주변의 전방위 영상을 촬영할 수 있다. (S101)
실시예에서, 센서부(160)가 하나의 전방위 카메라(200)로 구성된 경우, 하나의 전방위 카메라(200)는 단일 외부 전방위 렌즈(200a)를 통해 입사되는 광을 감지하여 드론 주변 전방위 영상을 획득할 수 있다.
다른 실시예에서, 센서부(160)가 전방위 스테레오 카메라를 포함하는 경우, 두개의 전방위 카메라(200)는 각각 단일 외부 전방위 렌즈(200a)를 통해 입사되는 광을 감지하여 시차를 갖는 두개의 전방위 영상을 획득할 수 있다.
이때, 획득한 전방위 영상은, 원형으로 형성될 수 있으며, 반사코팅(250)에 의해 도넛 형상을 가질 수 도 있다.
다음으로, 프로세서(170)는, 획득한 전방위 영상을 분할할 수 있다. (S102)
전방위 영상 전체를 이미지 프로세싱하여, 객체를 감지하는 실시예도 가능하나, 실시예는, 고용량 데이터의 전방위 영상 전체를 한번에 이미지 처리할 경우, 프로세서(170)에 과다하게 부하가 걸림을 방지하기 위함이다. 자세히, 프로세서(170)는, 전방위 영상을 복수의 영상으로 분할하고, 분할된 영상을 순차적으로 이미지 처리하여, 순간적으로 발생하는 처리 부하를 최소화할 수 있다.
그리고 프로세서(170)가 전방위 영상의 분할 횟수가 증가할수록 분할된 영상 사이에 배치된 객체를 정밀하게 검출할 수 있어, 드론 주변 감지 정보의 분해능이 향상될 수 있다.
또한, 프로세서(170)는, 부채꼴 형상의 분할 영상을 사각 영상으로 변환하고, 사각 영상들을 정합하여 전방위 영상을 파노라마 영상으로 변환할 수도 있다.
예를 들어, 도 6a를 참조하면, 프로세서(170)는, 전방위 영상을 원호 방향으로 등간격을 갖도록 분할할 수 있다.
그리고 프로세서(170)는, 분할된 영상들의 우선 순위를 판별하고, 우선 순위에 따른 분할 영상부터 순차적으로 이미지 처리하여, 분할 영상에 포함된 객체들을 분석할 수 있다.
자세히, 프로세서(170)는, 드론의 이동방향 측에 분할 영상을 최우선 순위로 분석하고, 이동방향 측 분할 영상에 인접한 분할 영상을 후순위로 분석할 수 있다.
다른 실시예에 따르면, 프로세서(170)는, 전방위 영상을 서로 다른 크기로 분할할 수도 있다.
자세히, 프로세서(170)는, 전방위 영상에서 주 감시 영역을 지정하고, 주 감시 영역을 다수 영상으로 분할하여, 분해능을 향상시켜, 주 감시 영역의 객체를 정밀하게 감지할 수 있다.
예를 들어, 도 6b를 참조하면, 프로세서(170)는, 드론이 이동하는 방향 측에 매칭되는 전방위 영상의 영역을 작은 분할 각(θ1)을 갖고 이동방향(D) 측 분할 영상에서 멀어질수록 큰 분할 각(θ5)을 갖도록 전방위 영상을 분할할 수 있다.
즉, 프로세서(170)는, 드론 이동방향(D) 측 전방위 영상 영역을 작게 분할하여 분해능을 높여 이동방향(D) 측 객체를 정밀하게 감지하고, 이동방향에서 먼 방향 측 전방위 영상 영역은 크게 분할하여 러프하게 위험 객체를 감지할 수 있다.
또한, 프로세서(170)는, 전방위 영상을 통해 드론에 접근하는 위험 객체 감지시, 해당 방향 측 전방위 영상의 영역을 작게 분할하여, 위험 객체를 정밀하게 감지할 수도 있다.
다음으로, 프로세서(170)는, 전방위 영상 내에 촬영된 객체를 추출할 수 있다. (S103)
이하, 센서부(160)가 하나의 전방위 카메라(200)로 구성된 경우, 촬영된 객체를 감지하는 방법에 대해 설명한다.
프로세서(170)가 하나의 전방위 카메라(200)를 이용하여 객체를 추출하는 방법으로, 연속하는 이전 영상프레임 및 현재 영상프레임 간의 화소값의 변화만을 이용하는 방법이 있다. 객체가 존재하지 않았던 감시대상 영역에 객체의 진입이 발생하면 전방위 카메라(200)에 의해 촬영되는 전체영상프레임에 변화가 발생하게 되며, 이는 전체영상프레임 상에서 감시대상 영역에 진입한 객체가 위치하는 영역에서의 화소값의 변화로 나타난다. 따라서 프로세서(170)는 이전 영상프레임과 현재영상프레임을 구성하는 화소들의 화소값을 각각 비교하여 화소값에 변화가 발생한 영역을 객체영상으로 결정할 수 있다.
객체를 추출하는 다른 방법으로, 복수의 이전 영상프레임을 이용하여 현재 영상프레임으로부터 객체를 추출하기 위한 기준을 설정할 수도 있다. 즉, 프로세서(170)는 현재 영상프레임에 시간적으로 앞서는 복수의 이전 영상프레임을 기초로 객체를 추출하기 위한 배경영상을 생성하고, 배경영상을 구성하는 화소들과 현재 영상프레임을 구성하는 화소들의 화소값의 차를 기초로 객체를 추출할 수 있다. 복수의 이전 영상프레임에 걸쳐 화소값이 변화하지 않는 영역은 객체가 존재하지 않는 배경으로 간주되므로, 프로세서(170)는 이를 이용 하여 배경영상을 생성한다. 배경영상과 현재 영상프레임 사이에서 화소값이 변화한 영역을 객체영상으로 결정하 게 되면 이전 영상프레임과 현재 영상프레임을 비교하는 경우에 비하여 보다 정확하게 객체를 추출할 수 있다.
센서부(160)가 전방위 스테레오 카메라로 구성된 경우 좀더 정밀하게 객체를 감지할 수 이다. 이하, 전방위 스테레오 영상에 촬영된 객체를 추출하는 방법에 대해 도 7을 참조하여 상세히 설명한다.
도 7을 참조하면, 프로세서(170)의 내부 블록도의 일예로서, 프로세서(170)는, 영상 전처리부(410), 디스패러티 연산부(420), 오브젝트 검출부(434), 오브젝트 트래킹부(440), 및 어플리케이션부(450)를 포함할 수 있다. 도 5와 이하 설명에서는 영상 전처리부(410), 디스패러티 연산부(420), 오브젝트 검출부(434), 오브젝트 트래킹부(440), 및 어플리케이션부(450) 순으로 영상이 처리되는 것으로 설명하나, 이에 한정되지는 않는다.
영상 전처리부(image preprocessor)(410)는, 전방위 스테레오 카메라로부터의 2개의 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다.
구체적으로, 영상 전처리부(410)는, 2개의 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 전방위 카메라(200) 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 전방위 카메라(200)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
디스패러티 연산부(disparity calculator)(420)는, 영상 전처리부(410)에서 신호 처리된, 이미지를 수신하고, 수신된 2개의 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 드론 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
세그멘테이션부(segmentation unit)(432)는, 디스패러티 연산부(420)로부터의 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.
구체적으로, 세그멘테이션부(432)는, 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다.
예를 들면, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다. 다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.
이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.
한편, 프로세서(170)는, 스테레오 이미지에서 추출한 디스페러티 정보에 기초하여, 검출한 오브젝트와의 드론 사이의 위치관계(예컨대, 거리)를 산출할 수 있으며, 자세한 방법은 후술한다.
다음, 오브젝트 검출부(object detector)(434)는, 세그멘테이션부(432)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(434)는, 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(434)는, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(436)는, 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify).
이를 위해, 오브젝트 확인부(436)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(436)는, 메모리(140)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.
예를 들면, 오브젝트 확인부(436)는, 드론 주변에 위치하는, 주변 비행체, 건물, 위험 지역 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(440)는, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 드론 주변에 위치하는, 주변 비행체, 고층 건물, 위험 지역 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(450)는, 드론 주변에, 위치하는 다양한 오브젝트들, 예를 들면, 주변 비행체, 고층 건물, 위험 지역 등에 기초하여, 충돌의 위험도 등을 연산할 수 있다. 또한, 비행체나 건물과의 충돌 가능성 등을 연산할 수 있다.
그리고, 어플리케이션부(450)는, 연산된 위험도, 충돌 가능성, 또는 슬립 여부 등에 기초하여, 사용자에게, 이러한 정보를 알려주기 위한, 메시지 등을, 드론 주변 정보로서, 출력할 수 있다. 또는, 드론의 자세 제어 또는 주행 제어를 위한 제어 신호를, 드론 제어 정보로서, 생성할 수도 있다.
한편, 영상 전처리부(410), 디스페러티 연산부(420), 세그먼테이션부(432), 오브젝트 검출부(434), 오브젝트 확인부(436), 오브젝트 트래킹부(440) 및 어플리케이션부(450)는 프로세서(170)내의 영상 처리부의 내부 구성일 수 있다.
한편, 실시예에 따라, 프로세서(170)는 영상 전처리부(410), 디스페러티 연산부(420), 세그먼테이션부(432), 오브젝트 검출부(434), 오브젝트 확인부(436), 오브젝트 트래킹부(440) 및 어플리케이션부(450) 중 일부만을 포함할 수 있다.
다음으로, 프로세서(170)는, 감지한 객체와 드론 사이의 위치관계를 산출할 수 있다. (S104) 본 단계는, 전방위 영상에서 객체를 추출하는 단계와 동시에 실행될 수도 있다.
자세히, 프로세서(170)는, 제 1 전방위 카메라(200)가 촬영한 제 1 전방위 이미지와, 제 2 전방위 카메라(201)가 촬영한 제 2 전방위 이미지를 비교하여, 객체의 이격방향, 객체와의 이격거리 등을 산출할 수 있다.
좀더 자세히, 프로세서(170)는, 제 1 전방위 이미지와, 제 2 전방위 이미지에서 시차 차이로 인해 발생된 디스페러티 정보를 획득할 수 있다.
그리고 프로세서(170)는, 단일 외부 전방위 렌즈(200a)를 통해 촬영한 전방위 영상에 의해 발생된 왜곡을 고려하여 디스페러티 정보를 보정할 수 있다. 자세히, 전방위 영상에서 중심 부근에 촬영된 객체는 실제 이격거리 보다 가까이 있는 것으로 촬영되고, 전방위 영상에서 외주연 부근에 촬영된 객체는 실제 이격거리 보다 멀리 있는 것으로 촬영된다.
따라서, 스테레오 이미지의 디스페러티 정보를 보정하지 않을 경우, 이격거리에 오차가 발생할 수 있다.
실시예에 따른 프로세서(170)는, 스테레오 이미지의 디스페러티 정보를 전방위 영상의 왜곡 특징을 반영하여 보정함으로써, 객체와 드론 사이의 거리를 정밀하게 측정할 수 있다.
수학식 1은, 스테레오 이미지에 기초하여 드론과 객체 사이의 거리를 측정하는 공식이다.
Figure 112016127321096-pat00001
여기서, f=초점 거리(focal length), L=제 1 전방위 카메라(200)와 제 2 전방위 카메라(201) 사이의 간격(baseline), dr=피사체가 투영된 지점으로부터 제 1 이미지 평면의 초점 위치까지의 거리(제 1 디스페러티), dl=피사체가 투영된 지점으로부터 제 2 이미지 평면의 초점 위치까지의 거리(제 2 디스페러티), α=dr을 보정하는 보정변수, β=dl을 보정하는 보정변수를 의미한다.
자세히, 도 8을 참조하면, 프로세서(170)는, 제 1 전방위 카메라(200)의 제 1 이미지(200i)에서 제 1 디스페러티를 산출하고, 제 2 전방위 카메라(201)의 제 2 이미지(201i)에서 제 2 디스페러티를 산출하고, 제 1 디스페러티와 제 2 디스페러티의 합에 반비례하여 객체와 드론 사이의 거리를 산출할 수 있다.
여기서, 제 1 디스페러티는, 피사체가 투영된 지점으로부터 제 1 이미지(200i) 평면의 초점 위치까지의 거리를 의미하고, 제 2 디스페러티는, 피사체가 투영된 지점으로부터 제 2 이미지(201i) 평면의 초점 위치까지의 거리를 의미할 수 있다.
전술하였듯이, 제 1 디스페러티와, 제 2 디스페러티는, 전방위 카메라(200)의 단일 외부 원형 렌즈에 의해 발생된 왜곡을 내포하고 있으므로, 각각 보정이 이루어질 수 있다.
자세히, 프로세서(170)는, 제 1 이미지(200i)에서 피사체가 투영된 지점이 초점 위치를 기준으로 이격된 거리와 이격방향에 따라서 제 1 디스페러티를 보정하고, 제 2 이미지(201i)에서 피사체가 투영된 지점이 초점 위치를 기준으로 이격된 거리와 이격방향에 따라서 제 2 디스페러티를 보정하고, 보정된 제 1 디스페러티와 제 2 디스페러티를 기초로 객체와 드론 사이의 거리를 산출할 수 있다.
좀더 자세히, 프로세서(170)는, 제 1 이미지(200i)에서 피사체가 투영된 위치가 영상의 외주연에 가깝다면, 객체가 실제 위치보다 멀리 있는 것으로 촬영되었을 것이므로, 제 1 이미지(200i)의 초점 위치와 피사체 투영위치 사이의 거리에 비례한 보정변수 α(음수)를 더해 제 1 디스페러티를 보정할 수 있다.
반대로, 프로세서(170)는, 제 2 이미지(201i)에서 피사체가 투영된 위치가 영상의 중심에 가깝다면, 객체가 실제 위치보다 가까이 있는 것으로 촬영되었을 것이므로, 제 2 이미지(201i)의 초점 위치와 피사체 투영위치 사이의 거리에 비례한 보정변수 β (양수)를 더해 제 2 디스페러티를 보정할 수 있다.
한편, 프로세서(170)는, 제 1 전방위 카메라(200)의 제 1 이미지(200i)를 제 1 사각 파노라마 이미지로 변환하고, 제 2 전방위 카메라(201)의 제 2 이미지(201i)를 제 2 사각 파노라마 이미지로 변환하고, 제 1 사각 파노라마 이미지로부터 제 1 디스페러티를 산출하고,
제 2 사각 파노라마 이미지로부터 제 2 디스페러티를 산출하고, 제 1 디스페러티 및 제 2 디스페러티를 기초로 객체와 드론 사이의 거리를 산출할 수도 있다. 즉, 전방위 영상 이미지를 사각 이미지로 변환하는 단계에서, 전방위 영상의 왜곡을 미리 보정할 수도 있다.
이와 같이, 프로세서(170)는, 전방위 스테레오 이미지에서 발생된 왜곡을 고려하여 객체와 드론 사이의 거리를 정밀하게 산출할 수 있다.
다음으로, 프로세서(170)는, 드론과 객체 사이의 위치관계에 따라서 충돌 위험이 있는 객체를 검출할 수 있다. (S105)
자세히, 프로세서(170)는, 드론과 객체 사이의 거리가 소정의 거리 이내일 때, 해당 객체를 충돌 위험 객체로 판단할 수 있다.
이때, 프로세서(170)는, 드론과 객체 사이의 거리의 변화율이 음인지 양인지를 고려하여 충돌 위험 객체를 판단할 수도 있다.
그 다음, 프로세서(170)는, 충돌 위험 객체를 검출하면, 충돌 회피 방향을 산출하고, 구동부(130)를 통해 드론의 충돌 회피 방향으로 긴급 선회하도록 제어할 수 있다. (S106)
이때, 프로세서(170)는, 원격 제어신호에 우선하여, 드론을 제어할 수 있다.
즉, 프로세서(170)는, 원격 제어신호보다 우선하여 긴급 드론 제어신호를 생성하고, 구동부(130)로 전송하여, 프로펠러(20)를 제어함으로써, 드론을 보다 안전하게 보호할 수 있다.
도 9는 본 발명의 실시예에 따른 프로세서(170)가 전방위 카메라(200)의 초점을 제어하는 과정을 나타내는 흐름도이다.
한편, 드론이 지속적으로 움직임에 따라서, 객체와 드론 사이의 거리가 변하므로, 전방위 카메라(200)의 초점을 제어할 필요성이 있다.
도 9를 참조하면, 먼저, 드론이 부양을 시작하고 전방위 영상을 촬영하면, 드론과 지면 사이의 거리가 변화하므로, 전방위 카메라(200)의 초점을 제어할 필요성이 있다. (S201, 202)
자세히, 프로세서(170)는, 드론이 부양하는 속도를 메모리(140)에 저장하고, 드론이 부양을 시작하고 변화하는 고도에 따라서 전방위 카메라(200)의 초점을 자동으로 제어할 수 있다. (S203)
예를 들어, 드론이 소정의 속도로 부양할 경우, 프로세서(170)는, 부양을 시작하고 걸린 시간과 소정의 속도를 고려하여 드론의 고도를 산출하고, 드론의 고도에따라 지면 측을 촬영하기 위한 초점을 산출하고, 산출된 초점에 따라 전방위 카메라(200)의 초점을 제어할 수 있다.
이를 위해, 전방위 카메라(200)에는, 초점을 제어하는 초점 제어부가 더 포함될 수 있다.
자세히, 도 10을 참조하면, 또 다른 실시예에 따른 전방위 카메라(200)는, 전술한 실시예와 동일한 구성과 함께, 초점을 제어하기 위한 초점 렌즈와, 초점 렌즈를 제어하는 초점 제어부를 더 포함할 수 있다.
자세히, 전방위 카메라(200)는, 내측 오목부 내에 배치되어 서로 다른 액체를 포함하는 유체초점 렌즈(320)와, 유체초점 렌즈(320)를 수축 또는 팽창시키는 전류 주입부를 포함하는 초점 제어부(310)를 포함할 수 있다.
유체초점(FluidFocus) 렌즈는, 서로 혼합이 되지 않는 두 종류의 액체를 포함할 수 있다. 두 액체는, 굴절률도 서로 다르고 한 쪽은 전기를 통하고 한 쪽은 전기를 통하지 않는 액체일 수 있다. 초점 제어부(310)는, 전류 주입부를 통해 두 액체 중 하나의 액체에 전류를 주입하고, 전류가 주입된 전도성 액체는 부피가 변화하여, 나머지 다른 액체가 마치 인간의 눈의 각막처럼 수축과 팽창을 하면서, 전방위 카메라(200)의 초점이 제어될 수 있다.
이러한 유체초점 렌즈(320)는, 전방위 카메라(200)의 단일 외부렌즈(전방위 렌즈(200a))의 내측오목부(210)에 대응되는 형상으로 배치되어, 전방위 영상 전체의 초점을 일률적으로 제어할 수 있는 장점이 있다.
한편, 프로세서(170)는, 추적 객체를 검출하고, 추적 객체와의 거리를 산출한 후, 산출된 거리 변화에 따라 초점을 제어할 수도 있다. (S205)
이와 같은 제어를 통해, 프로세서(170)는, 이동하는 객체를 정확하게 촬영하고, 촬영된 영상을 분석하여 촬영된 객체와의 거리를 정밀하게 산출함으로써, 긴급 충돌 회피기능의 성능을 좀더 향상시킬 수 있다.
한편, 드론이, 상측으로 이동이 가능하므로, 드론의 상측 영역의 객체를 감지할 필요성이 있다.
도 11은 본 발명의 다른 실시예에 따른 충돌 회피용 드론 제어장치가 장착된 드론의 측면을 나타내고, 도12는 하측 및 상측 전방위 카메라의 내부 구성도이다.
도 11 및 도 12를 참조하면, 다른 실시예에 따른 드론에 장착된 충돌 회피용 드론 제어장치는, 드론의 하측 주변 영역을 감지하기 위한 하측 전방위 카메라(160a)와, 드론의 상측 주변 영역을 감지하기 위한 상측 전방위 카메라(160b)를 포함할 수 있다.
상측 전방위 카메라(160b)는, 전술한 실시예의 전방위 카메라와 동일한 구성을 가질 수 있다.
다만, 상측 전방위 카메라(160b)의 경우, 태양으로부터 직사광선을 받기 때문에, 단일 외부 전방위 렌즈(200a)의 표면에는 윈도 틴팅 처리가 되어 있는 것이 바람직하다. 즉, 상측 전방위 카메라(160b)는, 전술한 전방위 카메라와 동일하며, 다만, 단일 외부 전방위 렌즈(200a) 표면에 윈도 틴팅 처리가 되어 있는 점에서 차별이 있다.
프로세서는, 상측 전방위 카메라(160b)에서 촬영된 객체를 감지하고, 객체와 드론 사이의 거리를 측정하여, 감지된 객체가 소정의 거리 이하일 때 위험 객체로 보아 드론을 하측 방향으로 이동하도록 긴급 회피 제어를 수행할 수 있다.
반대로, 프로세서는, 하측 전방위 카메라(160a)에서 촬영된 객체를 감지하고, 객체와 드론 사이의 거리를 측정하여, 감지된 객체가 소정의 거리 이하일 때, 위험 객체로 보아 드론을 상측 방향으로 이동하도록 긴급 회피 제어를 수행할 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 따른 충돌 회피용 드론 제어장치의 블록도이고, 도 14 및 도 15는 액체 렌즈의 단면도이다.
도 13 내지 도 15를 참조하면, 본 발명의 또 다른 실시예에 따른 충돌 회피용 제어장치는, 입력부(110), 통신부(12), 구동부(130), 메모리(140), 전원부(150), 센서부(160) 및 프로세서(170)를 포함하며, 특히, 센서부(160)는, 적어도 하나 이상의 전방위 카메라(200)와 액체렌즈(121)를 포함할 수 있다.
액체 렌즈(121)는 제1 보호 유리(121a), 제2 보호 유리(121b), 제1 및 제2 보호 유리(121a, 121b) 사이에 적층된 오일층(121c)과 수용액층(121d), 이것들의 주변부에 배치되어 전압을 인가하기 위한 제1 전극부(121e)와 제2 전극부(121f), 제1 및 제2 전극부(121e, 121f) 사이를 절연하는 제1 절연부(121g)와 제2 절연부(121h)를 포함할 수 있다.
액체 렌즈(121)는 외부로부터 공급된 전원이 제1 및 제2 전극부(121e, 121f)에 인가됨으로써, 오일층(121c)의 곡률 반경과 두께가 변화되어, 액체 렌즈(121)를 통과한 광의 초점의 위치를 변화시킬 수 있다.
보다 상세하게는 제1및 제 2전극부(121e, 121f)에 소정의 전압이 인가되는 경우, 오일층(121c)의 곡률 반경과 두께가 커질 수 있다. 그리고 전압의 크기를 크게 함으로써 초점 거리를 짧게 할 수 있다.
액체 렌즈(121)는 렌즈의 유동을 위한 별도의 서보 모토를 필요로 하지 않아 제조 비용이 크게 절감되는 효과가 있다. 또한 정밀한 굴절률가변이 가능하다.
또한 액체 렌즈(121)는 렌즈어레이(290)와 전방위 렌즈(200a) 사이에 위치할 수 있고, 렌즈어레이(290)이의 후단에 위치할 수도 있고, 렌즈어레이(290) 내의 복수의 렌즈들 중 어느 두 개의 렌즈 사이에 위치할 수도 있다.
프로세서(170)는 액체 렌즈(121)로 인가되는 전원을 제어하여 액체 렌즈(121)의 굴절률을 가변시킬 수 있다. 따라서 원거리에서 근거리까지 포커싱으로 접근 물체를 정밀하게 확인할 수 있도록 하고, 여기서 원거리로 포커싱을 하면 화각은 진행방향으로 작아지는 효과가 발생하고, 대략 초당 500회를 포커싱 하여 영상 분석으로 물체를 확인할 수 있도록 한다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행할 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (7)

  1. 드론의 회전 날개를 구동시키는 구동부;
    단일 외부 전방위 렌즈로 상기 드론의 전방위를 촬영하여 전방위 영상을 획득하는 전방위 카메라를 포함하는 센서부; 및
    상기 전방위 영상을 이미지 처리하여 상기 드론의 주변에 위치한 객체를 감지하고,
    적어도 둘 이상의 상기 전방위 영상을 기초로 감지된 상기 객체와 상기 드론 사이의 거리를 측정하며,
    상기 객체와 상기 드론 사이의 거리가 소정의 거리 이하일 때, 상기 드론이 상기 객체를 긴급 회피하도록 상기 구동부를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 전방위 영상을 원호 방향을 따라서 간격을 두고 분할하고,
    분할한 영상을 이미지 처리하여 상기 드론 주변의 객체를 감지하는
    충돌 회피용 드론 제어장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전방위 영상에서 상기 드론의 이동방향과 매칭되는 영역을 분할 각이 작게 상기 전방위 영상을 분할하고, 상기 이동방향과 매칭되는 영역과 멀어질수록 분할 각이 점차 커지도록 상기 전방위 영상을 분할하는
    충돌 회피용 드론 제어장치.
  4. 제 1 항에 있어서,
    상기 센서부는,
    상기 드론의 하부에 배치된 제 1 전방위 카메라와, 상기 제 1 전방위 카메라 아래에 배치된 제 2 전방위 카메라를 포함하고,
    상기 제 1 전방위 카메라와, 상기 제 2 전방위 카메라는 전방위 스테레오 카메라를 이루는
    충돌 회피용 드론 제어장치.
  5. 제 4 항에 있어서,
    상기 프로세서는,
    상기 전방위 영상을 전처리(preprocessing)하여 스테레오 이미지를 획득하는 영상 전처리부와,
    상기 스테레오 이미지를 스테레오 매칭하여 디스페러티 정보를 획득하는 디스페러티 연산부와,
    상기 디스페러티 정보에 기초하여 상기 스테레오 이미지의 배경과 전경을 분리하는 세그멘테이션부와,
    상기 분리된 전경에서 적어도 하나 이상의 객체를 검출하는 오브젝트 확인부를 포함하는
    충돌 회피용 드론 제어장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 제 1 전방위 카메라의 제 1 이미지에서 제 1 디스페러티를 산출하고,
    상기 제 2 전방위 카메라의 제 2 이미지에서 제 2 디스페러티를 산출하고,
    상기 제 1 디스페러티와 상기 제 2 디스페러티의 합에 반비례하여 상기 객체와 상기 드론 사이의 거리를 산출하는
    충돌 회피용 드론 제어장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 제 1 이미지에서 피사체가 투영된 지점이 초점 위치를 기준으로 이격된 거리와 이격방향에 따라서 상기 제 1 디스페러티를 보정하고,
    상기 제 2 이미지에서 상기 피사체가 투영된 지점이 초점 위치를 기준으로 이격된 거리와 이격방향에 따라서 상기 제 2 디스페러티를 보정하고,
    보정된 제 1 디스페러티와 보정된 제 2 디스페러티를 기초로 상기 객체와 상기 드론 사이의 거리를 산출하는
    충돌 회피용 드론 제어장치.
KR1020160179069A 2016-12-26 2016-12-26 충돌 회피용 드론 제어장치 KR101895343B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160179069A KR101895343B1 (ko) 2016-12-26 2016-12-26 충돌 회피용 드론 제어장치
PCT/KR2017/015463 WO2018124688A1 (ko) 2016-12-26 2017-12-26 충돌 회피용 드론 제어장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179069A KR101895343B1 (ko) 2016-12-26 2016-12-26 충돌 회피용 드론 제어장치

Publications (2)

Publication Number Publication Date
KR20180075111A KR20180075111A (ko) 2018-07-04
KR101895343B1 true KR101895343B1 (ko) 2018-09-05

Family

ID=62709810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179069A KR101895343B1 (ko) 2016-12-26 2016-12-26 충돌 회피용 드론 제어장치

Country Status (2)

Country Link
KR (1) KR101895343B1 (ko)
WO (1) WO2018124688A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044710A (ko) 2018-10-19 2020-04-29 안병열 충돌 방지 및 회수 기능을 구비한 드론
KR102131377B1 (ko) 2020-04-17 2020-07-08 주식회사 파블로항공 감시를 위한 무인 이동체 및 이를 포함하는 시스템
KR20210065459A (ko) 2019-11-27 2021-06-04 김민호 드론용 비행 장애물 회피기동 제어 방법
KR20210065466A (ko) 2019-11-27 2021-06-04 김민호 에어분사 기반의 드론용 비행 장애물 회피기동 제어시스템
KR20230157192A (ko) 2022-05-09 2023-11-16 청주대학교 산학협력단 군집 무인비행체 이용 지능형 방어 방법, 장치 및 시스템
KR102638951B1 (ko) 2023-08-09 2024-02-21 (주)모빌리티원 이기종 드론/로봇 통합 원격제어 시스템 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102526857B1 (ko) * 2018-07-16 2023-04-28 한국전자통신연구원 스테레오 카메라와 추가 카메라를 이용한 무인비행체 장애물 탐지 장치 및 방법
KR102171043B1 (ko) * 2019-02-28 2020-10-28 한국과학기술원 영상 처리를 기반으로 한 비행체의 충돌 방지 방법
CN110544009B (zh) * 2019-07-26 2022-12-09 中国人民解放军海军航空大学青岛校区 基于数字图像处理的航空有机涂层老化损伤量化评估方法
KR102281164B1 (ko) 2019-11-20 2021-07-23 한국생산기술연구원 선형적 특성정보의 상호 관계를 이용한 드론의 전선 인식장치 및 방법
KR102391771B1 (ko) 2020-04-02 2022-04-27 함영국 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법
KR102316012B1 (ko) * 2020-05-26 2021-10-22 (주)파이온시스템즈 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070106473A1 (en) * 2005-01-24 2007-05-10 Bodin William K Navigating a uav with obstacle avoidance algorithms
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130037697A (ko) * 2013-03-12 2013-04-16 노인철 무인항공기의 충돌 방지 시스템 및 방법
KR101574601B1 (ko) * 2014-03-31 2015-12-04 세종대학교산학협력단 비전센서가 결합된 다중회전익 무인비행체 및 다중회전익 무인비행체의 자율비행 제어방법, 그 방법을 수행하기 위한 프로그램이 기록된 기록매체
KR101692018B1 (ko) * 2015-01-02 2017-01-03 (주)창조인프라 피사체 추적형 셀카용 드론

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070106473A1 (en) * 2005-01-24 2007-05-10 Bodin William K Navigating a uav with obstacle avoidance algorithms
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044710A (ko) 2018-10-19 2020-04-29 안병열 충돌 방지 및 회수 기능을 구비한 드론
KR20210065459A (ko) 2019-11-27 2021-06-04 김민호 드론용 비행 장애물 회피기동 제어 방법
KR20210065466A (ko) 2019-11-27 2021-06-04 김민호 에어분사 기반의 드론용 비행 장애물 회피기동 제어시스템
KR102131377B1 (ko) 2020-04-17 2020-07-08 주식회사 파블로항공 감시를 위한 무인 이동체 및 이를 포함하는 시스템
EP3896547A1 (en) 2020-04-17 2021-10-20 Pablo Air Co., Ltd. Unmanned moving vehicle for monitoring and system including same
US11842647B2 (en) 2020-04-17 2023-12-12 Pablo Air Co., Ltd. Unmanned moving vehicle for monitoring and system including same
KR20230157192A (ko) 2022-05-09 2023-11-16 청주대학교 산학협력단 군집 무인비행체 이용 지능형 방어 방법, 장치 및 시스템
KR102638951B1 (ko) 2023-08-09 2024-02-21 (주)모빌리티원 이기종 드론/로봇 통합 원격제어 시스템 및 방법

Also Published As

Publication number Publication date
WO2018124688A1 (ko) 2018-07-05
KR20180075111A (ko) 2018-07-04

Similar Documents

Publication Publication Date Title
KR101895343B1 (ko) 충돌 회피용 드론 제어장치
CN111247523B (zh) 用于航空载具的物体检测和躲避
US11748898B2 (en) Methods and system for infrared tracking
US10055650B2 (en) Vehicle driving assistance device and vehicle having the same
US11019322B2 (en) Estimation system and automobile
US9632509B1 (en) Operating a UAV with a narrow obstacle-sensor field-of-view
US10901437B2 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
US20180134285A1 (en) Autonomous driving apparatus and vehicle including the same
WO2018134677A1 (en) Multi-camera system and method of use
EP3591490A1 (en) Obstacle avoidance method and device, and unmanned aerial vehicle
US10005473B2 (en) Stereo camera, vehicle driving auxiliary device having same, and vehicle
US10914960B2 (en) Imaging apparatus and automatic control system
JP6324649B1 (ja) 検出システム、検出方法、及びプログラム
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
WO2020150904A1 (en) Neural network based obstacle detection for mobile platforms, and associated systems and methods
WO2020259284A1 (zh) 一种障碍物检测方法及装置
WO2020186444A1 (zh) 物体检测方法、电子设备与计算机存储介质
US11107245B2 (en) Image processing device, ranging device, and method
WO2021078003A1 (zh) 无人载具的避障方法、避障装置及无人载具
US11482007B2 (en) Event-based vehicle pose estimation using monochromatic imaging
US20210088652A1 (en) Vehicular monitoring systems and methods for sensing external objects
KR101612822B1 (ko) 차선 인식 장치 및 그 방법
US20210272289A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
WO2020024182A1 (zh) 一种参数处理方法、装置及摄像设备、飞行器
US20240056694A1 (en) Imaging device, image processing method, and image processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant