KR102657142B1 - 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법 - Google Patents

드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법 Download PDF

Info

Publication number
KR102657142B1
KR102657142B1 KR1020210154967A KR20210154967A KR102657142B1 KR 102657142 B1 KR102657142 B1 KR 102657142B1 KR 1020210154967 A KR1020210154967 A KR 1020210154967A KR 20210154967 A KR20210154967 A KR 20210154967A KR 102657142 B1 KR102657142 B1 KR 102657142B1
Authority
KR
South Korea
Prior art keywords
histogram
drone
distance
obstacle
obstacles
Prior art date
Application number
KR1020210154967A
Other languages
English (en)
Other versions
KR20230068807A (ko
Inventor
김송현
한상수
신성균
Original Assignee
한국전력 국제원자력대학원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력 국제원자력대학원대학교 산학협력단 filed Critical 한국전력 국제원자력대학원대학교 산학협력단
Priority to KR1020210154967A priority Critical patent/KR102657142B1/ko
Publication of KR20230068807A publication Critical patent/KR20230068807A/ko
Application granted granted Critical
Publication of KR102657142B1 publication Critical patent/KR102657142B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G05D1/1064—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones specially adapted for avoiding collisions with other aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법에 관한 것으로서, 드론이 주행 방향에 위치된 장애물과의 충돌을 회피하면서 고속으로 자율주행할 수 있기 위해서는, 단거리뿐만 아니라 장거리에 위치된 장애물에 대한 거리탐지가 필수적이고, 이에 라이다 센서와 같은 장거리 장애물 측정용 센서가 적용될 수 있지만, 이러한 라이다 센서와 같은 고비용 및 고중량의 장거리 측정용 센서가 소형 드론에 탑재되기에는 무리가 있는 바, 이러한 고비용 및 고중량의 장거리 측정용 센서를 대체할 수 있도록 드론의 자율주행 알고리즘에 적용될 수 있는 2D 히스토그램을 생성하는 방법에 관한 것이다.

Description

드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법{A 2D histogram creation mehtod for making drone avoid collision with obstacle}
본 발명은 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법에 관한 것으로서, 드론이 주행 방향에 위치된 장애물과의 충돌을 회피하면서 고속으로 자율주행할 수 있기 위해서는, 단거리뿐만 아니라 장거리에 위치된 장애물에 대한 거리탐지가 필수적이고, 이에 라이다 센서와 같은 장거리 장애물 측정용 센서가 적용될 수 있지만, 이러한 라이다 센서와 같은 고비용 및 고중량의 장거리 측정용 센서가 소형 드론에 탑재되기에는 무리가 있는 바, 이러한 고비용 및 고중량의 장거리 측정용 센서를 대체할 수 있도록 고속 자율주행에 필요한 드론의 충돌회피 알고리즘에 적용될 수 있는 2D 히스토그램을 생성하는 방법에 관한 것이다.
최근 드론 충돌회피 기술은 드론 자율주행의 핵심 알고리즘으로서 많은 기업과 연구소에서 개발을 수행 중에 있다. 충돌회피 기술은 일반 지상로봇(차량) 및 드론과 같은 UAV 등에서 지속적인 연구개발이 수행 중에 있으며, 자율주행의 핵심 알고리즘으로 주목받고 있다.
드론 충돌회피 기술은 1) Bug Algorithm, 2) Artificial Potential Field Algorithm, 3) Collision Cone Method, 4) Fuzzy logic Algorithm, 5) Vector Field Histogram method, 6) Neural Network 기반의 기술로 나눠지며, 각각의 장단점이 존재한다.
이 중 세밀한 드론 제어가 가능하고 경로의 최적화를 달성하기 쉬운 기술은 Vector Field Histogram 방법 및 딥러닝 강화학습 기반 방법이 존재하나, 이는 특정 단일 센서(단안카메라, 깊이카메라, 양안카메라, 라이다센서)를 통한 거리측정 및 이를 재구성한 충돌회피 방법을 채용하고 있다.
이러한 단일 센서에 기반한 충돌회피 방법은 센서의 특징에 의하여 거리측정 및 충돌회피 성능에 다양한 영향을 미치게 된다. 양안/깊이카메라는 최대 측정거리가 10m 미만에 머무르고 밝을 곳에서만 활용 가능하며, 라이다 센서는 100m 이상의 장거리 측정이 가능하나 고비용/고중량에 의하여 탑재 및 활용에 제약이 크고, 단안카메라 및 이에 기반한 딥러닝 기반 충돌회피 기술(강화학습 등)은 신뢰도가 매우 낮아 아직까지 실용적 측면에서 활용되기 어렵다.
한편, 일반적으로 2D 히스토그램 기반의 드론의 충돌회피 알고리즘은 거리측정센서의 성능에 좌우되는데, 거리측정센서로부터 얻어진 거리값들이 2차원의 좌표면 상에 분포된 상태의 2D 히스토그램 등을 만들고 이러한 2D 히스토그램을 기반으로 충돌회피 알고리즘이 생성된다.
따라서, 충돌회피 알고리즘에 기반하여 드론이 고속으로 비행하며 충돌회피를 수행하기 위해서는 장거리의 장애물 거리탐지가 필수적인데, 상술한 바와 같이 라이다 센서와 같은 기존의 장거리 탐지용 센서는 고비용 및 고중량이어서 소형 드론에 탑재하기에 매우 어렵다는 문제점이 있다.
이에 고비용 및 고중량의 거리측정센서가 아닌 저비용 및 경량의 일반 거리측정센서를 이용하여 단거리뿐만 아니라 중거리 장애물을 탐지하여, 충돌회피 알고리즘의 기반이 되는 높은 신뢰도의 2D 히스토그램이 생성될 수 있는 방법에 대한 기술적 특징이 절실히 필요한 실정이다.
(특허문헌 1) KR 10-1895343 B
상술한 종래기술에 따른 문제점을 해결하고자, 고비용 및 고중량 장거리 탐지용 센서가 아닌, 저비용 및 경량의 일반 거리측정센서만으로 단거리 및 중거리 장애물을 탐지하고, 이를 이용하여 높은 신뢰도의 2D 히스토그램을 생성할 수 있는 기술적 특징을 제안하고자 한다.
상술한 종래기술에 따른 문제점을 해결하고자 본 발명에 따른 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법은, (a) 드론에 탑재된 거리측정센서로 드론이 주행되는 방향에 위치되는 장애물의 거리가 센싱되고, 상기 거리측정센서의 센싱에 의한 거리값으로 제1의 2D 히스토그램이 생성되는 단계; (b) 상기 드론에 탑재된 화상카메라로 상기 드론이 주행되는 방향에 위치되는 장애물이 촬영되고, 상기 화상카메라에 의해 촬영된 이미지가 인공신경망의 입력값으로 입력되어 제2의 2D 히스토그램이 생성되는 단계; 및 (c) 상기 제2의 2D 히스토그램에 상기 제1의 2D 히스토그램이 업데이트되어 최종 2D 히스토그램이 생성되는 단계를 포함할 수 있다.
바람직하게는, 상기 (c) 단계에서, 상기 제2의 2D 히스토그램에 상기 제1의 2D 히스토그램의 업데이트는 하기 수식 1에 의해 진행될 수 있다.
[수식 1]
수식 1에서, 는 상기 최종 2D 히스토그램에서 위치의 거리값이며, 는 상기 제1의 2D 히스토그램에서 위치의 거리값이며, 는 상기 제2의 2D 히스토그램에서 위치의 거리값이며, 는 업데이트되기 위한 기준거리이다.
바람직하게는, 상기 (a) 단계는, (a-1) 상기 거리측정센서에 의해 획득된 포인트 클라우드 데이터(point cloud data)가 포인트 클라우드 맵(point cloud map)으로 변환되는 단계; 및 (a-2) 상기 포인트 클라우드 맵(point cloud map)이 투사(projection)되어 상기 제1의 2D 히스토그램이 생성되는 단계를 포함할 수 있다.
바람직하게는, 상기 (b) 단계는, (b-1) 상기 화상카메라에 의해 촬영된 이미지가 N x M 사이즈로 조정되어 상기 인공신경망의 입력값으로 입력되는 단계; (b-2) 상기 인공신경망에 입력된 상기 이미지에서 I x J 사이즈가 설정되고, 상기 설정된 I x J 사이즈를 구성하는 매트릭스 구역별로 장애물 인식이 진행되는 단계; 및 (b-3) 상기 (b-2) 단계에서 I x J 사이즈를 구성하는 매트릭스 구역 중 장애물로 인식되는 구역은 소정의 인식거리의 거리값으로 일괄 설정되고, 그 외 구역은 기타 제외거리의 거리값으로 일괄 설정되어 상기 제2의 2D 히스토그램이 생성되는 단계를 포함할 수 있다.
바람직하게는, 상기 (a) 단계는, (a-3) 상기 (a-2) 단계 이후, 상기 (a-2) 단계에서 생성된 상기 제1의 2D 히스토그램이 I x J 사이즈로 설정되는 단계를 더 포함하며, 상기 최종 2D 히스토그램는 I x J 사이즈이며, 상기 (b) 단계에서의 화상카메라는 상기 (a) 단계에서의 거리측정센서에 장착된 화상카메라일 수 있다.
상술한 과제해결수단으로 인하여, 드론에 깊이카메라와 같은 저가 및 경량의 거리측정센서를 통해 기존의 장점은 유지하면서, 중장거리의 장애물도 탐지하여 충돌회피가 가능한 드론의 장애물 충돌회피용 2D 히스토그램 생성할 수 있으며, 나아가 이를 통해 고속으로 자율주행하는 드론의 충돌회피 성능을 더욱 향상시킬 수 있다.
도 1은 본 발명에 따른 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법에 따른 순서도를 개략적으로 도시한 도면이다.
도 2는 종래기술에 따른 2D 히스토그램과 본 발명에 따른 2D 히스토그램의 일례를 도시한 도면이다.
이하, 본 발명에 따른 방법의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의성을 위해 과장되게 도시될 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자 또는 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1을 참조하여 설명한다.
제1의 2D 히스토그램이 생성되는 방법을 설명한다.
드론에 탑재된 거리측정센서로 드론이 주행되는 방향에 위치되는 장애물의 거리가 센싱되고, 센싱된 거리값으로 제1의 2D 히스토그램이 생성된다.
제1의 2D 히스토그램, 후술할 제2의 2D 히스토그램 및 최종 2D 히스토그램은 위치에 따른 거리값별로 식별될 수 있도록 설정될 수 있다. 일례로, 근접한 경우의 장애물의 경우 더욱 진한 파랑색일 수 있고 더 멀리 위치된 장애물의 경우 엷은 파랑색일 수 있으며, 드론의 현 주행시점에 장애물로 인식되지 않을 거리의 장애물의 경우 흰색으로 식별되도록 설정될 수 있다.
거리측정센서는 깊이카메라와 같은 저비용 및 경량의 일반 거리측정센서일 수 있다.
구체적으로, 깊이카메라와 같은 거리측정센서에 의해 포인트 클라우드 데이터(point cloud data)가 획득되고, 획득된 포인트 클라우드 데이터(point cloud data)가 포인트 클라우드 맵(point cloud map)으로 변환된다.
이후, 포인트 클라우드 맵(point cloud map)이 투사(projection)되어 거리측정센서의 센싱에 의한 거리값 기반의 제1의 2D 히스토그램이 생성된다.
이후, 후술할 제2의 2D 히스토그램에 업데이트되기 위하여 생성된 제1의 2D 히스토그램이 소정의 사이즈인 I x J 사이즈로 설정될 수 있다.
거리측정센서의 센싱에 의한 거리값 기반의 제1의 2D 히스토그램에서 최대측정범위 이외의 거리값은 최대 거리값으로 설정하여 필터링하며, 후술할 제2의 2D 히스토그램에 제1의 2D 히스토그램이 업데이트됨에 있어서 상술한 필터링된 거리값은 향후 후술할 제2의 2D 히스토그램에 업데이트되지 않는다.
제2의 2D 히스토그램이 생성되는 방법을 설명한다.
드론에 탑재된 화상카메라로 드론이 주행되는 방향에 위치되는 장애물이 촬영되고, 화상카메라에 의해 촬영된 이미지가 인공신경망의 입력값으로 입력되어 제2의 2D 히스토그램이 생성된다.
이러한 화상카메라는 일반적인 화상카메라일 수 있으며, 바람직하게는 제1의 2D 히스토그램을 구성하는 거리값이 센싱되는 거리측정센서에 장착된 화상카메라일 수 있다.
일례로, 깊이카메라인 경우 레이저나 적외선을 장애물에 비추어 되돌아 오는 광선을 받아 시간 차이를 계산하는 TOF(Time-Of-Flight) 방식으로 거리정보를 계산하는 것이나, 이러한 깊이카메라에는 단순 화상카메라의 기능도 포함되어 있는 바, 깊이카메라에서 거리값이 센싱됨과 동시에 인공신경망의 입려값으로 입력되는 이미지인 화상정보가 생성될 수 있다.
제2의 2D 히스토그램이 생성 과정을 구체적으로 살펴보면, 상술한 화상카메라에 의해 촬영된 이미지가 소정의 사이즈인 N x M 사이즈로 조정되어 인공신경망의 입력값으로 입력된다.
여기에서 인공신경망은 다양한 장애물을 탐지할 수 있는 기학습된 상태의 인공신경망이며, AUTOENCODER 기반의 신경망일 수 있다.
이후, 인공신경망에 입력된 이미지에서 소정의 사이즈인 I x J 사이즈가 설정되고, 설정된 I x J 사이즈를 구성하는 매트릭스 구역별로 인공신경망을 통해 장애물 인식이 진행된다.
이후, I x J 사이즈를 구성하는 매트릭스 구역 중 장애물로 인식되는 구역은 소정의 인식거리의 거리값으로 일괄 설정되고, 그 외 구역은 기타 제외거리의 거리값으로 일괄 설정된 상태로 I x J 사이즈의 제2의 2D 히스토그램이 생성된다.
드론이 주행하고 있는 현 시점에서 드론의 주행에 장애물로 인식되는 구역은 소정의 인식거리의 거리값으로 일괄 설정되어 제2의 2D 히스토그램에 식별되도록 표시된다.
그 외 구역은 드론이 주행하고 있는 현 시점에서 드론의 주행에 영향을 미치지 않은 장애물로 인식되는 구역으로서 기타 제외거리의 거리값으로 일괄 설정되어 제2의 2D 히스토그램에 식별되거나(식별되는 경우 소정의 인식거리의 거리값에 해당되는 장애물이 식별되는 것과 구분되도록 설정됨) 식별되지 않도록(예를 들어 하얀색) 설정될 수 있다.
다시 말해, 매트릭스 구역 중 인공신경망을 통해 장애물로 인식되는 구역은 제2의 2D 히스토그램에서 식별될 수 있으며, 실제적으로 장거리에 위치된 장애물의 경우일지라도, 인공신경망을 통해 먼거리에 있는 장애물로 인식되더라도 드론의 현 주행시점에 장애물로 인식될 필요가 없는 경우 장애물로 인식되지 않도록 설정된 상태에서, 인공신경망으로 통해 현 시점의 드론의 주행에 장애가 되는 장애물로 인식되지 않은 구역은 제2의 2D 히스토그램에 식별되지 않도록(식별되더라도 인식거리의 거리값에 해당되는 장애물이 식별되는 것과는 구분되도록 설정) 설정될 수 있다.
예를 들어, 깊이카메라의 유효 장애물 측정범위인 10m을 고려하여, 인식거리의 거리값을 12m로 설정하고, 기타거리의 거리값을 100m로 설정한 상태에서, 드론이 주행하고 있는 현 시점을 기준으로 장애물로 인식되는 인식거리의 거리값에 해당되는 장애물은 일괄적으로 12m에 위치되어 식별되는 것으로 설정하고, 장애물로 인식되지 않은 기타거리의 거리값에 해당되는 장애물은 일괄적으로 100m에 위치되어 식별되는 것으로 설정된 상태에서 제2의 2D 히스토그램이 생성된다.
실제적으로 장애물이 위치되는 거리값이 다양함에도 불구하고, 일괄적으로 인식거리의 거리값 또는 기타거리의 거리값으로 일괄 설정하는데, 거리값에 차이가 있더라도 일괄적으로 인식거리의 거리값으로 인식되는 장애물의 경우에는 드론 주행시 어쨌든 회피해야 할 장애물로 인식되기 때문에, 거리값의 개념보다는 거리값에 상관없이 드론 주행의 현시점에서 어쨌든 충돌회피해야 할 장애물로 인식되도록 하는 충돌회피 개념으로 보기 위함이다.
마찬가지로, 기타거리의 거리값도 일괄 설정되는데, 기타거리의 거리값으로 인식되는 장애물의 경우에는 먼거리에 장애물이 다양한 거리에 위치되더라도 드론 주행의 현시점에 이를 장애물로 인식되지 않기에, 그리고 인식거리의 거리값이 아닌 나머지에 대하여 일정한 값을 부여하기 위하여, 장애물로 인식되지 않은 일괄적인 기타거리의 거리값으로 일괄설정될 수 있다.
제2의 2D 히스토그램에 제1의 2D 히스토그램이 업데이트되어 최종 2D 히스토그램이 생성되는 방법을 설명한다.
제2의 2D 히스토그램에 제1의 2D 히스토그램이 수식 1에 의해 업데이트되어 최종 2D 히스토그램이 생성된다.
[수식 1]
수식 1에서, 는 상기 최종 2D 히스토그램에서 위치의 거리값이며, 는 상기 제1의 2D 히스토그램에서 위치의 거리값이며, 는 상기 제2의 2D 히스토그램에서 위치의 거리값이며, 는 업데이트되기 위한 기준거리이다.
즉, 최종 2D 히스토그램에서, 거리측정센서의 센싱에 의한 거리값이 기준거리와 같거나 기준거리보다 짧은 거리의 위치일 경우, 거리측정센서의 센싱에 의한 거리값(제1의 2D 히스토그램에서 그 위치에 해당되는 거리값)으로 그 위치가 업데이트되며, 거리측정센서의 센싱에 의한 거리값이 기준거리보다 긴 거리의 위치일 경우, 인공신경망을 통해 획득한 그 위치에서의 거리값(제2의 2D 히스토그램에서 그 위치에 해당되는 거리값)으로 그 위치가 유지된다.
일례로, 깊이카메라의 경우 그 유효 장애물 측정범위가 10m인 바, 어느 한 위치에서 깊이카메라로 측정된 거리값이 10m 이내이면 깊이카메라로 측정된 거리값으로 그 위치가 업데이트되고, 10m 초과하면 인공신경망을 통해 획득한 그 위치에서의 거리값이 유지된다.
깊이카메라로 측정된 거리값이 10m 초과하면, 인공신경망을 통해 장애물로 인식되는 구역에 해당되는 위치는 상술한 소정의 인식거리의 거리값으로 유지되고, 장애물로 인식되는 구역에 해당되지 않은 위치는 기타 제외거리의 거리값으로 유지되어 상술한 바와 같이 최종 2D 히스토그램에 표시된다.
도 2를 참조하면, A 도면은 거리측정센서만으로 생성된 2D 히스토그램을 도시하고 있는 바, B 도면과 비교하여 살펴보면 알 수 있듯이 일정한 거리를 벗어나 위치되는 장애물의 경우 그 장애물이 인식되지 않은 상태로 2D 히스토그램에 표시되고 있다. 일례로, 깊이카메라만으로 생성되는 경우 10m 이내 인식되는 장애물만 표시되어 있고, 10m 초과하는 장애물에 대해서는 표시되지 않은 상태이다. 10m 이내의 장애물을 인식하면서 주행하는 바, 고속의 자율주행이 불가능하다.
반면, B 도면은 A 도면에서 장애물로 인식되지 않은 부분에서 장애물로 인식되는 부분까지 2D 히스토그램에 표시된 상태이다. 일례로, 10m 이내 위치되는 장애물은 깊이카메라로 인식되는 장애물이 표시되고, 10m 초과하여 위치되는 장애물의 경우라도 인공신경망으로 장애물로 인식된 상태라면 장애물로 표시되고, 10m 초과하여 위치되는 장애물이지만 드론이 주행되는 현 시점에 인공신경망을 통해 장애물로 인식되지 않은 경우에는 장애물로 표시되지 않은 상태이다.
이에 따라, 단거리 및 중거리 장애물을 탐지하고, 이를 이용하여 높은 신뢰도의 2D 히스토그램이 생성되는바, 이를 기반으로 한 충돌회피 알고리즘으로 장애물 충돌회피 기능을 증대시킨 상태에서 드론의 고속 자율주행이 가능하다.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.

Claims (5)

  1. (a) 드론에 탑재된 거리측정센서로 드론이 주행되는 방향에 위치되는 장애물의 거리가 센싱되고, 상기 거리측정센서의 센싱에 의한 거리값으로 제1의 2D 히스토그램이 생성되는 단계;
    (b) 상기 드론에 탑재된 화상카메라로 상기 드론이 주행되는 방향에 위치되는 장애물이 촬영되고, 상기 화상카메라에 의해 촬영된 이미지가 인공신경망의 입력값으로 입력되어 제2의 2D 히스토그램이 생성되는 단계; 및
    (c) 상기 제2의 2D 히스토그램에 상기 제1의 2D 히스토그램이 업데이트되어 최종 2D 히스토그램이 생성되는 단계를 포함하며,
    상기 (b) 단계는,
    (b-1) 상기 화상카메라에 의해 촬영된 이미지가 N x M 사이즈로 조정되어 상기 인공신경망의 입력값으로 입력되는 단계;
    (b-2) 상기 인공신경망에 입력된 상기 이미지에서 I x J 사이즈가 설정되고, 상기 설정된 I x J 사이즈를 구성하는 매트릭스 구역별로 장애물 인식이 진행되는 단계; 및
    (b-3) 상기 (b-2) 단계에서 I x J 사이즈를 구성하는 매트릭스 구역 중 장애물로 인식되는 구역은 소정의 인식거리의 거리값으로 일괄 설정되고, 그 외 구역은 기타 제외거리의 거리값으로 일괄 설정되어 상기 제2의 2D 히스토그램이 생성되는 단계를 포함하는 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법.
  2. 제 1 항에 있어서,
    상기 (c) 단계에서, 상기 제2의 2D 히스토그램에 상기 제1의 2D 히스토그램의 업데이트는 하기 수식 1에 의해 진행되는 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법:

    [수식 1]

    수식 1에서, 는 상기 최종 2D 히스토그램에서 위치의 거리값이며, 는 상기 제1의 2D 히스토그램에서 위치의 거리값이며, 는 상기 제2의 2D 히스토그램에서 위치의 거리값이며, 는 업데이트되기 위한 기준거리이다.
  3. 제 2 항에 있어서,
    상기 (a) 단계는,
    (a-1) 상기 거리측정센서에 의해 획득된 포인트 클라우드 데이터(point cloud data)가 포인트 클라우드 맵(point cloud map)으로 변환되는 단계; 및
    (a-2) 상기 포인트 클라우드 맵(point cloud map)이 투사(projection)되어 상기 제1의 2D 히스토그램이 생성되는 단계를 포함하는 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법.
  4. 삭제
  5. 제 3 항에 있어서,
    상기 (a) 단계는, (a-3) 상기 (a-2) 단계 이후, 상기 (a-2) 단계에서 생성된 상기 제1의 2D 히스토그램이 I x J 사이즈로 설정되는 단계를 더 포함하며,
    상기 최종 2D 히스토그램는 I x J 사이즈이며,
    상기 (b) 단계에서의 화상카메라는 상기 (a) 단계에서의 거리측정센서에 장착된 화상카메라인 드론의 장애물 충돌회피를 위한 2D 히스토그램 생성방법.

KR1020210154967A 2021-11-11 2021-11-11 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법 KR102657142B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210154967A KR102657142B1 (ko) 2021-11-11 2021-11-11 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210154967A KR102657142B1 (ko) 2021-11-11 2021-11-11 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법

Publications (2)

Publication Number Publication Date
KR20230068807A KR20230068807A (ko) 2023-05-18
KR102657142B1 true KR102657142B1 (ko) 2024-04-15

Family

ID=86545585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210154967A KR102657142B1 (ko) 2021-11-11 2021-11-11 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법

Country Status (1)

Country Link
KR (1) KR102657142B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101032660B1 (ko) 2009-11-30 2011-05-06 재단법인대구경북과학기술원 장애물체 검출 방법
CN107656545A (zh) 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
WO2019202627A1 (ja) 2018-04-16 2019-10-24 三菱電機株式会社 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法
CN110426046A (zh) 2019-08-21 2019-11-08 西京学院 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
JP2021506000A (ja) * 2017-12-05 2021-02-18 ユーエーティーシー， エルエルシー 多段画像ベースの物体検出および認識

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190134554A (ko) * 2019-11-15 2019-12-04 엘지전자 주식회사 동적 장애물을 식별하는 방법 및 이를 구현한 로봇

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101032660B1 (ko) 2009-11-30 2011-05-06 재단법인대구경북과학기술원 장애물체 검출 방법
CN107656545A (zh) 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
JP2021506000A (ja) * 2017-12-05 2021-02-18 ユーエーティーシー， エルエルシー 多段画像ベースの物体検出および認識
WO2019202627A1 (ja) 2018-04-16 2019-10-24 三菱電機株式会社 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法
CN110426046A (zh) 2019-08-21 2019-11-08 西京学院 一种无人机自主着陆跑道区域障碍物判断与跟踪方法

Also Published As

Publication number Publication date
KR20230068807A (ko) 2023-05-18

Similar Documents

Publication Publication Date Title
Kocić et al. Sensors and sensor fusion in autonomous vehicles
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US10489664B2 (en) Image processing device, device control system, and computer-readable storage medium
WO2021174770A1 (en) Machine-learning based system for path and/or motion planning and method of training
EP3234839A1 (en) Systems and methods for capturing images and annotating the captured images with information
US11713977B2 (en) Information processing apparatus, information processing method, and medium
US11676403B2 (en) Combining visible light camera and thermal camera information
KR102391771B1 (ko) 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
Strobel et al. Accurate, low-latency visual perception for autonomous racing: Challenges, mechanisms, and practical solutions
Jun et al. Autonomous driving system design for formula student driverless racecar
US11645364B2 (en) Systems and methods for object detection using stereovision information
US20240302517A1 (en) Radar perception
KR20210112672A (ko) 객체를 검출하기 위한 프로세서 및 객체 검출 방법
CN115144849A (zh) 用于对象避开检测的传感器融合
KR102657142B1 (ko) 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법
CN118444301A (zh) 对象的雷达简档的注释
Chavan et al. Obstacle detection and avoidance for automated vehicle: A review
Ryu et al. Heterogeneous sensor fusion based omnidirectional object detection
Mou et al. Online learning terrain classification for adaptive velocity control
JP2021099384A (ja) 情報処理装置、情報処理方法およびプログラム
CN116091611A (zh) 相机定位
JP7536442B2 (ja) 情報処理装置、情報処理方法およびプログラム
Srivastava et al. Analysis of lidar-based autonomous vehicle detection technologies for recognizing objects
US12125269B2 (en) Sensor fusion

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant