KR20130133480A - 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치 - Google Patents

깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치 Download PDF

Info

Publication number
KR20130133480A
KR20130133480A KR1020120056757A KR20120056757A KR20130133480A KR 20130133480 A KR20130133480 A KR 20130133480A KR 1020120056757 A KR1020120056757 A KR 1020120056757A KR 20120056757 A KR20120056757 A KR 20120056757A KR 20130133480 A KR20130133480 A KR 20130133480A
Authority
KR
South Korea
Prior art keywords
rotor
landing
depth map
image
distance
Prior art date
Application number
KR1020120056757A
Other languages
English (en)
Other versions
KR101350242B1 (ko
Inventor
김유단
박종호
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020120056757A priority Critical patent/KR101350242B1/ko
Publication of KR20130133480A publication Critical patent/KR20130133480A/ko
Application granted granted Critical
Publication of KR101350242B1 publication Critical patent/KR101350242B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치가 개시된다. 착륙 위치 결정 장치가 멀티로터의 착륙 위치를 결정하는 방법에 있어서, 스테레오 비전을 이용하여 지형을 촬영하고 깊이 지도 이미지를 생성하는 단계; 상기 생성된 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성하는 단계; 상기 경계선 이미지의 경계선에 대해 거리 변환을 수행하는 단계; 상기 거리 변환의 결과를 이용하여 도출된 내접원 중 가장 큰 반지름을 가지는 내접원의 원 중심을 착륙 후보 지역으로 설정하는 단계; 및 상기 착륙 후보 지역으로 멀티로터를 이동시키는 제어 신호를 생성하는 단계를 포함하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법은 사전에 정보가 주어지지 않은 상태에서 지형을 분석하여 멀티로터를 착륙시키는 장소를 효과적으로 결정할 수 있다.

Description

깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치{Method and apparatus for searching a landing site of aircraft using a depth map}
본 발명은 멀티로터의 착륙 위치 결정 방법 및 그 장치에 관한 것으로, 특히 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치에 관한 것이다.
일반적으로 항공기는 지표면에 대한 공기의 반작용으로 대기 중에서 지지력을 획득할 수 있는 기계를 의미한다. 항공기 중에서 멀티로터 항공기는 복수의 회전자(rotor)를 이용하여 지지력을 획득하거나 추진력을 얻는 항공기이다.
종래 기술인 대한민국등록특허 제10-1042200호에 따르면, PCB를 이용하여 무인 비행체 구조물을 구현한 기술이 개시된다. 즉, 메인보드와 모터를 연결하는 부분을 PCB 프레임으로 형성하여 조립성을 향상시키고 경량화를 구현한 기술이 개시된다.
하지만, 종래 기술에 따르면, 미지의 지형에서 착륙하기에 충분할 정도로 평평하고 크기가 큰 장소를 결정하는 방법이 개시되어 있지 않다. 미지의 지형에서 자동 착륙하는 기술은 특정 임무를 수행할 때 연료 또는 에너지가 없어지는 등의 위급한 상황에서 매우 중요한 기술이다. 또한, 경우에 따라서 특정 미션은 무인 항공기가 지정되거나 또는 특정되지 않은 영역에 착륙하도록 요구한다. 따라서 미리 설정된 특정 패턴 및/또는 특징을 이용하지 않고 착륙을 유도하는 방법을 개발할 필요성이 대두된다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 사전에 정보가 주어지지 않은 상태에서 지형을 분석하여 멀티로터를 착륙시키는 장소를 효과적으로 결정하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치를 제공한다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 착륙 위치 결정 장치가 멀티로터의 착륙 위치를 결정하는 방법에 있어서, 스테레오 비전을 이용하여 지형을 촬영하고 깊이 지도 이미지를 생성하는 단계; 상기 생성된 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성하는 단계; 상기 경계선 이미지의 경계선에 대해 거리 변환을 수행하는 단계; 상기 거리 변환의 결과를 이용하여 도출된 내접원 중 가장 큰 반지름을 가지는 내접원의 원 중심을 착륙 후보 지역으로 설정하는 단계; 및 상기 착륙 후보 지역으로 멀티로터를 이동시키는 제어 신호를 생성하는 단계를 포함하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법이 제공된다.
여기서, 상기 경계선 이미지 생성 단계는, 상기 깊이 지도 이미지에서 영이 아닌 픽셀 성분을 경계선으로 표현하는 바이너리 이미지로 상기 경계선 이미지를 생성하는 캐니 기법(Canny method)을 사용할 수 있다.
또한, 상기 거리 변환 수행 단계는, 상기 경계선 이미지 중 특정 픽셀과 상기 특정 픽셀과 가장 가까운 영이 아닌 픽셀간의 유클리드 거리를 계산하여 픽셀의 거리를 표현하는 거리 행렬을 생성할 수 있다.
또한, 본 실시예는 상기 거리 행렬의 성분 중 가장 크기가 큰 성분에 상응하는 픽셀의 좌표를 상기 멀티로터의 착륙 후보 지역의 좌표로 설정하고, 상기 거리 행렬의 성분 중 가장 크기가 큰 성분을 상기 멀티로터의 착륙 후보 지역의 반지름으로 설정할 수 있다.
여기서, 상기 깊이 지도 이미지에서 각 픽셀의 깊이(depth)는 다음과 같은 식으로 산출될 수 있다.
Figure pat00001
여기서, z는 깊이,
Figure pat00002
은 스테레오 비전에서 좌측 및 우측 이미지 평면의 특정 점의 x축 성분간 간격, f는 초점 거리, b는 베이스 라인이다.
또한, 본 실시예는 산출된 간격 중 마지막 간격에 상응하는 장소는 배제하고 상기 착륙 후보 지역의 좌표를 설정할 수 있다.
여기서, 크기가 미리 설정된 반지름 임계치보다 작은 상기 거리 행렬의 성분은 상기 착륙 후보 지역의 좌표에서 배제될 수 있으며, 상기 미리 설정된 반지름 임계치는 상기 멀티로터의 무게중심으로부터 로터 축까지의 거리가 될 수 있다.
여기서, 상기 착륙 후보 지역의 좌표를 중심으로 상기 착륙 후보 지역의 반지름 영역 내에 있는 상기 거리 행렬의 성분에 상응하는 좌표는 상기 착륙 후보 지역의 좌표에서 배제될 수 있다.
또한, 본 실시예는 상기 거리 변환의 결과를 이용하여 상기 멀티로터의 착륙 후보 지역이 아닌 좌표는 비추천 지역의 좌표로 설정하는 단계를 더 포함할 수 있다.
여기서, 상기 경계선 이미지 생성 단계는, 상기 비추천 지역을 제외한 지형에 대한 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 멀티로터의 착륙 위치를 결정하는 착륙 위치 결정 장치에 있어서, 스테레오 비전을 이용하여 지형을 촬영하고 깊이 지도 이미지를 생성하는 깊이 지도 생성부; 상기 생성된 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성하는 경계선 이미지 생성부; 상기 경계선 이미지의 경계선에 대해 거리 변환을 수행하는 거리 변환 수행부; 상기 거리 변환의 결과를 이용하여 도출된 내접원 중 가장 큰 반지름을 가지는 내접원의 원 중심을 착륙 후보 지역으로 설정하는 후보 지역 설정부; 및 상기 착륙 후보 지역으로 멀티로터를 이동시키는 제어 신호를 생성하는 멀티로터 이동부를 포함하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 장치가 제공된다.
또한, 본 발명의 또 다른 측면에 따르면, 상술한 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법을 수행하며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체가 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치는 사전에 정보가 주어지지 않은 상태에서 지형을 분석하여 멀티로터를 착륙시키는 장소를 효과적으로 결정할 수 있다.
도 1은 본 발명의 실시예에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 장치의 블록 구성도.
도 2는 본 발명의 실시예에 따른 멀티로터의 구조를 도시한 도면.
도 3은 본 발명의 실시예에 따른 멀티로터의 스테레오 비전 구조를 도시한 도면.
도 4는 본 발명의 실시예에 따른 실제 지형의 단면과 깊이 지도를 비교하여 도시한 도면.
도 5는 본 발명의 실시예에 따른 간격과 깊이와의 관계를 수치로 나타낸 도면.
도 6은 본 발명의 실시예에 따른 멀티로터에서 획득한 실제 지형 정보와 깊이 지도를 비교한 도면.
도 7은 본 발명의 실시예에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법의 흐름을 지도로 나타낸 도면.
도 8은 본 발명의 실시예에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법의 흐름도.
도 9는 본 발명의 실시예에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법을 수행하는 알고리즘을 도시한 도면.
도 10은 본 발명의 실시예에 따른 멀티로터의 궤적을 시뮬레이션한 도면.
도 11은 본 발명의 실시예에 따른 멀티로터 각도의 시간 궤적을 도시한 도면.
도 12는 본 발명의 실시예에 따른 멀티로터 제어 입력의 이력을 도시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…모듈", "…수단" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 장치의 블록 구성도이다. 도 1을 참조하면, 착륙 위치 결정 장치(100)는 깊이 지도 생성부(110), 경계선 이미지 생성부(120), 거리 변환 수행부(130), 후보 지역 설정부(140), 멀티로터 이동부(150), 저장부(160), 제어 유닛(170)을 포함할 수 있다.
본 발명은 미지의 지형에서도 멀티로터가 안전한 착륙 위치를 결정할 수 있는 방법을 제시한다. 구체적으로, 본 발명에 따른 멀티로터는 지형 정보를 분석하여 크기가 충분하고 기울기도 완만한 공간을 찾아서 착륙하는 특징이 있다.
본 발명은 항공기에 추진력을 제공하는 구동부와 프로펠러를 포함하는 로터의 수가 복수인 멀티로터에 관한 발명이지만, 이하에서는 설명의 편의상 구체적인 장치를 설명하는 경우 로터의 수가 4개인 쿼드로터의 구성요소, 기능 및 작동원리를 중심으로 설명한다.
도 2를 참조하면, 쿼드로터는 수직 이륙 및 착륙이 가능한 무인 항공기의 일종이다. 쿼드로터는 양단에 하나의 로터를 포함하여 모두 네 개의 로터를 가진 두 개의 로드가 서로 교차되는 구조로 형성된다. 로터 1과 3은 시계 방향으로, 로터 2와 4는 반시계방향으로 회전하도록 구성될 수 있다. 이 구조는 복잡하지 않음에도 불구하고, 매우 비선형인 저 구동 시스템(under-actuated system)이다. 따라서 이 구조에 관한 유도 및 제어 시스템을 구현하는 것은 쉽지 않다. 최근에, 스테레오 비전이 지상 및 항공 로봇 시스템의 자동 제어에 폭넓게 적용되고 있다.
본 발명의 실시예에 따른 쿼드로터는 구동기(actuator)의 비선형성을 고려하여 뉴튼-오일러 방정식을 이용하여 모델링되었다. 또한, 모델링 및 제어 디자인 과정에서 근사치를 갖지 않도록 궤환 선형화가 사용되었다. 본 실시예에 따른 시스템은 자세와 위치 서브 시스템으로 구분될 수 있으며, 선형 최적 제어기법(linear quadratic tracker)이 컨트롤러 제작시 적용되었다. 여기서, 위치 서브 시스템은 후술할 착륙 위치 결정 장치가 될 수 있다.
쿼드로터 시스템 모델링에서, 동체 좌표계에서 표현된 외력을 포함하여 강체 동역학을 기술하기 위해 뉴튼-오일러 방정식이 사용되었다. 동체 좌표계와 관성 좌표계 사이의 관계를 이용하여, 쿼드로터의 이동 및 회전 동역학을 기술하면 다음과 같다.
Figure pat00003
(1)
Figure pat00004
(2)
Figure pat00005
Figure pat00006

여기서,
Figure pat00007
와
Figure pat00008
는 각각 관성 좌표계에서 표현된 쿼드로터의 위치 벡터와 자세각 벡터이다.
Figure pat00009
와
Figure pat00010
는 각각 동체 좌표계에서 쿼드로터의 이동 속도 벡터와 회전 속도 벡터이다.
또한, m과
Figure pat00011
는 각각 쿼드로터의 질량과 전체 관성 행렬이며,
Figure pat00012
과
Figure pat00013
은 각각 변환 행렬과 회전 속도 행렬이다. G는 중력 가속도 벡터이며,
Figure pat00014
과
Figure pat00015
은 각각 힘과 토크의 공력 마찰 행렬(aerodynamic friction matrices)이다. 추력(F)과 토크(T)는 쿼드로터의 로터 시스템에 의해 생성되며,
Figure pat00016
은 로터 관성,
Figure pat00017
,
Figure pat00018
는
Figure pat00019
를 가지는 로터의 각속도이다.
다음과 같은 구동기 동역학을 모델링하기 위하여 BLDC(Brushless Direct Current)가 선택된다.
Figure pat00020
(3)
여기서,
Figure pat00021
는
Figure pat00022
를 가지는 터미널 PWM 전압이고,
Figure pat00023
은 저항,
Figure pat00024
,
Figure pat00025
및
Figure pat00026
는 각각 모터 토크 상수, 로드 토크 상수, 역기전력 상수이며,
Figure pat00027
은 모터의 관성이다.
입력 신호
Figure pat00028
가 보다 실용적이고 실현가능하도록 포화(saturation)와 데드존(deadzone)이 고려되었으며, 이들은 가장 일반적인 구동기의 비선형 특징들로서, 다음과 같이 표현될 수 있다.
Figure pat00029
, (4)
Figure pat00030

쿼드로터의 동역학은 매우 비선형적이다. 본 발명에서는, 컨트롤러 제작시 궤환 선형화가 사용된다. 궤환 선형화는 비선형인 초기 시스템을 등가 선형 시스템으로 변환하는 기법이다. 이 기법은 상태 변수와 제어 입력값을 적절하게 변화시킴으로써 수행된다. 이 기법은 초기 동역학의 근사치를 이용하지 않기 때문에, 야코비안(Jacobian)을 이용한 종래의 비선형 시스템의 선형화 기법과는 다른 기법이다.
쿼드로터는 네 개의 입력값
Figure pat00031
으로 제어되는 6개 상태
Figure pat00032
를 가지기 때문에 저 구동 시스템(under-actuated system)이다. 따라서 두 상태는 가상 입력값으로 선택되며, 이러한 방법은 본 실시예의 쿼드로터를 완전 구동 시스템(fully-actuated system)으로 만든다. 본 실시예에서는,
Figure pat00033
가 가상 입력으로 선택되며,
Figure pat00034
는 제어되는 상태들이다.
전체 제어 시스템은 자세 제어 서브 시스템과 위치 제어 서브 시스템을 포함할 수 있다. 자세 제어 서브 시스템은 세 개의 입력값 T와 세 개의 출력값
Figure pat00035
이 있어서, 완전 구동 시스템이다. 위치 제어 서브 시스템은 하나의 제어 입력값
Figure pat00036
과 세 개의 출력값
Figure pat00037
이 있어서, 저 구동 시스템이다. 이 문제를 해결하기 위하여, 가상 입력 벡터
Figure pat00038
가 도입된다. 가상 입력값을 제어 입력에 추가함으로써 세 개의 입력값
Figure pat00039
이 컨트롤러를 제작하는데 사용되었으며, 이러한 방법은 위치 제어 서브 시스템을 완전 구동 시스템으로 만든다.
쿼드로터 동역학이 궤환 선형화에 의하여 선형 시스템으로 변환되면, 선형 컨트롤러를 본 발명에 이용할 수 있다. 본 발명은 선형 시스템에 관한 컨트롤러를 제작하기 위해 선형 최적 제어기법(linear quadratic tracker)을 이용하였다.
착륙 위치 결정을 위해 깊이 지도가 이용되었으며, 이는 스테레오 비전으로부터 획득되었다. 깊이 지도의 에지(edge), 즉, 경계선은 캐니 기법(Canny method)을 이용하여 추출하였다. 이후 거리 변환을 이용하여 착륙에 가장 적합한 위치를 찾았다. 쿼드로터의 착륙 위치 적합성을 결정하는데 해당 영역의 기울기와 크기가 핵심 요소로 이용되었다.
깊이 지도 생성부(110)는 스테레오 비전을 이용하여 지형을 촬영하고 깊이 지도의 이미지를 생성한다. 단안용 카메라와 달리, 스테레오 비전은 깊이 지도를 계산할 수 있다. 깊이 지도는 픽셀이 바라보는 관점으로부터 대상 물체까지의 거리 정보를 가지는 이미지이다. 하나의 카메라를 사용하는 경우, 3차원 공간상의 물체가 2차원 이미지 평면상에 투사되어 투사 방향에 따른 거리 정보가 없어지지만, 두 개의 카메라를 사용하는 경우에는 거리 정보가 기록될 수 있다.
도 3을 참조하면, 스테레오 비전 구조가 도시된다. b는 베이스 라인이고, f는 초점 거리,
Figure pat00040
는 대상 물체의 위치이다. 또한,
Figure pat00041
와
Figure pat00042
는 각각 다음과 같이 획득되는 좌측 및 우측 이미지 평면에서의 점들이다.
Figure pat00043
(5)
Figure pat00044

방정식 (5)를 이용하면 다음과 같은 결과를 얻을 수 있다.
Figure pat00045
(6)
여기서,
Figure pat00046
와 z는 각각 간격(disparity)과 깊이(depth)이다. 방정식 (6)에 따르면, 깊이는 카메라의 초점 거리, 카메라의 베이스 라인 및 물체의 간격을 이용하여 얻을 수 있다.
간격은 픽셀의 실제 크기와 대상 물체의 좌측 이미지 및 우측 이미지 사이의 거리를 곱하여 산출된다. 여기서, 이미지 간의 거리는 자연수가 되어, 도 4에 도시된 바와 같이 본 실시예에 따른 깊이 지도(b)는 실제 지형에 관해 완전한 정보(a)를 주지는 않는다. 도 4의 점선은 특정 깊이를 나타내며, 실제 값들은 이러한 선들로 합쳐져 표현된다.
도 5를 참조하면, 초점 거리가 0.01 m, 베이스 라인이 0.2 m, 픽셀 크기가 2.75×10-5 m인 간격(disparity)에 따른 깊이(depth)를 도시된다. 도 5를 참조하면, 실제 지형과, 계산된 깊이를 이용하여 카메라로부터 획득한 깊이 지도 이미지가 도시된다. 이미지가 어두울수록 해당 영역이 쿼드로터에 근접하여 깊이가 작음을 나타낸다.
여기서, 간격이 작을 때 깊이 간의 차이가 크다. 하지만, 간격이 커질수록 그 차이는 작아진다. 이미지의 밝은 부분에서는 경계선 간의 거리 차이가 상대적으로 크다. 반면에, 이미지의 어두운 부분에서는 경계선 간의 거리 차이가 상대적으로 작다. 본 실시예에 따른 쿼드로터는 이러한 깊이 정보의 특성을 이용하여 자동으로 착륙할 수 있다. 쿼드로터의 고도가 큰 경우에는, 깊이 지도로부터 불충분하고 부정확한 정보가 얻어진다. 하지만, 쿼드로터의 고도가 작아지는 경우, 깊이 지도의 정확성은 올라간다. 따라서 특정 위치가 착륙하기 좋은지 여부를 결정하기에 충분한 정보가 획득될 때까지 쿼드로터는 하강할 필요가 있다.
도 6을 참조하면, 카메라로 촬상된 실제 지형 이미지(좌측)와 이에 상응하는 깊이 지도(우측)가 도시된다. 쿼드로터가 착륙하기에 적절한 장소는 해당 장소의 기울기와 크기라는 두 가지 조건을 고려하여 결정될 수 있다. 기울기는 쿼드로터가 미끄러지지 않을 정도로 완만할 필요가 있으며, 착륙 장소는 쿼드로터가 착륙하기에 충분히 커야 한다. 획득한 깊이 지도만을 이용하여, 쿼드로터는 상기 두 가지 조건을 가장 충분히 만족하는 장소를 선택할 수 있다.
편평도는 같은 깊이를 가지는 영역을 검색하여 결정할 수 있다. 상술한 바와 같이 깊이 정보가 같다고 해서 실제 지형에서 정확히 같은 고도를 가진다고 보장할 수는 없다. 하지만, 이러한 기법은 제한된 정보를 이용하여 편평도를 판단하는 가장 적합한 방법이 될 수 있다. 장소의 크기는 같은 깊이 정보를 가지는 이미지의 모든 부분에서 내접원을 그린 후 반지름이 가장 큰 영역을 선택하여 결정할 수 있다.
경계선 이미지 생성부(120)는 생성된 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성한다. 본 실시예에서는 깊이 지도로부터 에지, 즉, 경계선을 추출하기 위해서 캐니 기법(Canny method)을 이용할 수 있다. 캐니 기법은 신호대 잡음비, 구역화(localization), 낮은 오류율(low false positives)과 같은 세가지 범주를 최적화하기 위하여 선형이면서 연속적인 모델을 기반으로 하는 미분 추정 필터(derivative estimation filter)를 사용할 수 있다. 캐니 기법은 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게는 자명하게 구현할 수 있는 기술이므로, 이에 대한 자세한 설명은 생략한다.
캐니 기법에 의하면, 깊이 지도 이미지에서 영이 아닌 픽셀 성분을 경계선으로 표현하는 바이너리 이미지로 경계선 이미지를 생성할 수 있다. 즉, 캐니 에지 감지가 수행된 후, 이미지는 영이 아닌 픽셀 성분이 에지를 표현하는 바이너리 이미지가 될 수 있다.
거리 변환 수행부(130)는 경계선 이미지의 경계선에 대해 거리 변환을 수행한다. 또한, 후보 지역 설정부(140)는 상기 거리 변환의 결과를 이용하여 도출된 내접원 중 가장 큰 반지름을 가지는 내접원의 원 중심을 착륙 후보 지역으로 설정한다.
내접원을 추출하기 위해서 거리 변환 기법이 사용될 수 있다. 각 픽셀에 대해서, 거리 변환은 바이너리 이미지의 픽셀과 가장 가까운 영이 아닌 픽셀간의 유클리드 거리에 해당하는 수를 산출한다.
유클리드 거리(
Figure pat00047
)가 두 점(
Figure pat00048
,
Figure pat00049
) 사이의 거리 계산에 사용된다. 예를 들면, 하기 (7)과 같은 바이너리 이미지를 대상으로 유클리드 거리 변환을 계산하면, (8)과 같은 거리 행렬이 제시된다.
Figure pat00050
(7)
Figure pat00051
(8)
가장 큰 수를 가지는 픽셀 위치가 가장 큰 내접원의 중심이 되고, 그 수는 그 내접원의 반지름이 된다. 자동 착륙을 위해서는 반지름이 가장 큰 내접원이 선택될 수 있다. 하지만, 착륙에 적합한 장소를 찾을 수 없는 경우를 위해서 다른 가능한 장소의 위치도 저장될 수 있다. 많은 내접원들이 거리 변환으로부터 얻어질 수 있다. 모든 내접원 정보를 저장할 필요는 없으므로, 다음과 같은 절차가 필요하다.
먼저, 산출된 간격 중 마지막 간격(Dn)을 가지는 장소는 제거될 수 있다. 왜냐하면, Dn은 높이에 대한 부정확한 정보를 포함할 수 있기 때문이다. 예를 들면, 도 5에서 D31은 2.32 m 보다 작은 거리에 있는 모든 장소를 포함한다. 또한, 반지름이 착륙하기에 충분히 크지 않은 원들도 제거될 수 있다. 예를 들면, 원들의 반지름은 미리 설정된 반지름 임계치보다 작은 경우 해당 원들은 제거될 수 있다. 여기서, 반지름 임계치는 쿼드로터의 무게중심으로부터 로터 축까지의 거리로 설정될 수 있다. 또한, 만약 특정 위치에서 최대의 내접원이 있다면, 중첩되는 정보가 저장되지 않도록 상기 최대의 내접원의 중심이 아닌 해당 영역, 즉, 내접원 내부에 위치한 점들은 제거되어, 착륙 후보 지역으로 설정되지 않을 수 있다.
이러한 과정을 수행한 후 저장되는 정보는 다음과 같이 착륙을 위한 착륙 후보 지역으로서 저장될 수 있다.
Figure pat00052
(9)
여기서, xi, yi는 i번째 내접원의 중심 좌표이며, radius와 depth는 각각 반지름과 깊이이다.
만약, 위와 같은 과정을 수행하여도 착륙 후보 지역으로서 적당한 장소가 발견되지 않는 경우에는, 현재 이미지를 부적합한 장소로 간주하여 해당 장소를 비추천 지역으로 저장할 수 있다. 이 경우 쿼드로터는 현재 장소에서 착륙 지점을 찾을 수 없기 때문에, 이전에 저장된 착륙 후보 지역이 착륙 목적 지점으로 선택될 수 있다. 비추천 지역의 좌표는 다양한 방식으로 저장될 수 있으며, 예를 들면, 다음과 같은 좌표로 저장될 수 있다. 여기서, 비추천 지역의 좌표는 특정 영역을 나타낼 수 있으며, 이 경우 왼쪽 위(upper left)와 오른쪽 아래(lower right)의 좌표를 지정하여 해당 영역을 나타낼 수 있다.
Figure pat00053
(10)
만약, 현재 이미지 평면과 비추천 지역의 영역이 서로 겹치는 경우, 해당 영역은 착륙 후보 지역에서 배제될 수 있다. 이러한 과정은 상술한 위치 결정 방법의 실행전에 수행될 수 있다. 상술한 과정을 순서대로 설명하면 다음과 같다.
(1) 깊이 지도를 획득한다.
(2) 비추천 지역의 영역은 검색에서 배제한다.
(3) 소정의 방법, 예를 들면, 캐니 방법으로 에지를 추출한다.
(4) 거리 변환을 수행한다.
(5) 내접원을 얻는다.
(6) 마지막 간격을 이용한 내접원이거나, 반지름이 임계치 이하인 내접원이거나, 미리 설정된 영역 내에 중심을 둔 내접원은 착륙 후보 지역에서 제외한다.
(7) (6)의 과정을 수행한 후에도 유효한 내접원이 있는 경우에는, 가장 큰 내접원을 주요 목적지로 설정하고 해당 내접원의 정보를 착륙 후보 지역에 추가한다. 하지만, (6)의 과정을 수행한 결과 유효한 내접원이 없는 경우에는, 현재 영역을 비추천 지역으로 추가하고, 미리 저장된 착륙 후보 지역을 주요 목적지로 설정한다.
도 7을 참조하면, 실제 지형 이미지(a), 깊이 지도 이미지(b), 경계선 이미지(c), 거리 변환 결과(d) 및 가장 큰 내접원을 포함한 이미지(e)가 도시된다.
멀티로터 이동부(150)는 착륙 후보 지역으로 멀티로터를 이동시키는 제어 신호를 생성한다. 여기서, 제어 신호는 멀티로터의 수평 이동, 수직 이동 및 회전 운동을 제어하여 최종 착륙 지역으로 멀티로터를 이동시켜서 착륙하게 하는 신호가 될 수 있다.
착륙 후보 지역이 복수인 경우, 멀티로터 이동부(150)는 멀티로터를 현재 위치와 가장 근접한 지역으로 이동시키거나 또는 반지름이 가장 큰 지역으로 이동시킬 수 있다.
저장부(160)는 상술한 착륙 후보 지역, 비추천 지역 등의 데이터를 저장할 수 있다. 제어 유닛(170)은 상술한 깊이 지도 생성부(110), 경계선 이미지 생성부(120), 거리 변환 수행부(130), 후보 지역 설정부(140), 멀티로터 이동부(150), 저장부(160)가 서로 연동하면서 자신의 고유한 기능을 수행하도록 각 기능부를 제어한다.
도 8은 본 발명의 실시예에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법의 흐름도이다. 이하에서 서술할 각 단계는 상술한 착륙 위치 결정 장치(100)가 주체가 되어 수행할 수 있다. 각 단계별로 기술되는 과정은 반드시 시계열적인 순서대로 수행될 필요는 없으며, 각 단계의 수행 순서가 바뀌어도 본 발명의 요지를 충족한다면 이러한 과정은 본 발명의 권리범위에 속할 수 있음은 물론이다.
단계 S810에서, 깊이 지도 생성부(110)는 스테레오 비전을 이용하여 미지의 지형을 촬영하고 깊이 지도의 이미지를 생성한다.
단계 S820에서, 상술한 바와 같이 비추천 지역으로 미리 저장된 영역은 제외하고, 단계 S830에서, 깊이 지도에 대해서 경계선 이미지를 생성하고 거리 변환을 수행한 후 착륙 후보 지역을 검색한다.
단계 S840에서, 검색한 지역에서 착륙 후보 지역이 존재하는지 판단하여 착륙 후보 지역이 존재하는 경우, 단계 S850에서, 해당 지역을 최적의 장소로 선택하여 착륙 후보 지역으로 저장부(160)에 저장한다.
단계 S860에서, 착륙 후보 지역 설정을 종료할지 여부를 판단한다. 후술할 바와 같이 특정 변수, 예를 들면, isFinalLanding이 true인 경우 착륙 위치 결정 과정을 종료한다.
단계 S870에서, 멀티로터 이동부(150)는 착륙 후보 지역으로 멀티로터를 이동시키는 제어 신호를 생성하고, 멀티로터는 해당 제어 신호에 따라 최종 착륙 위치로 비행하여 착륙할 수 있다.
만약, 검색한 지역에서 착륙 후보 지역이 존재하는지 판단하여 착륙 후보 지역이 존재하지 않는 경우, 단계 S880에서, 현재 지역을 비추천 지역으로 설정할 수 있다.
또한, 현재 지역을 비추천 지역으로 설정하거나 또는 착륙 후보 지역 설정을 종료하지 않는 경우, 단계 S890에서, 미리 설정된 방식으로 멀티로터를 이동시켜서 다시 해당 지형을 촬영하여 깊이 지도를 생성하도록 한다.
여기서, 멀티로터가 이동될 미리 설정된 방식은 도 9와 같이 수행될 수 있다. 이하에서는 방식을 구현하기 위한 구체적인 알고리즘을 기준으로 설명한다. 먼저, 특정 변수, 예를 들면, isFinalLanding이 참인 경우, 쿼드로터는 고도를 낮추면서 선택된 착륙 장소(finalspot)로 향한다. 하지만, isFinalLanding이 거짓인 경우 적합한 착륙 장소가 발견될 때까지 위치 결정 방법이 수행된다. 상술한 바와 같이, 마지막 간격을 이용한 내접원이거나, 반지름이 임계치 이하인 내접원이거나, 미리 설정된 영역 내에 중심을 둔 내접원은 착륙 후보 지역에서 제외한 후, 유효한 내접원이 존재하는지 여부에 따라 두 가지의 다른 단계가 수행될 수 있다. 만약 해당하는 유효한 내접원이 있는 경우, 쿼드로터는 고도는 낮추면서 가장 큰 원의 중심으로 이동한다. 하지만, 해당하는 원이 없는 경우, 착륙 후보 지역이 있는지 여부에 따라 다시 두 경우로 나뉜다. 만약, 착륙 후보 지역이 없는 경우, 쿼드로터는 착륙할 수 없고 다른 착륙 위치를 찾기 위해서 고도를 높인다. 하지만, 착륙 후보 지역이 있는 경우에는, 쿼드로터는 해당 착륙 후보 지역으로 이동한다. 이 경우 z 성분은 충돌 가능한 장애물을 피하기 위하여 증가할 필요가 있다. 여기서, upgain과 downgain은 시스템 구현시 특정되는 임의의 상수가 될 수 있다.
여기서, isFinalLanding은 초기에 false로 설정된다. 만약 isFinalLanding이 true인 경우에는 쿼드로터는 착륙 위치 결정을 종료하고 해당 장소로 즉시 착륙한다. 간격이 Dn-1이 되도록 고도가 충분히 낮게 될 필요가 있다. Dn은 상술한 바와 같이 배제될 필요가 있으며, Dn-1은 쿼드로터가 미끄러지지 않고 착륙할 수 있을 정도로 착륙 장소의 기울기가 충분히 완만할 필요가 있다.
또한, Dn-1의 영역은 전체 쿼드로터가 착륙하기에 충분히 커야 한다. 이러한 두 가지 조건이 만족되면, 현재 위치
Figure pat00054
는
Figure pat00055
로서 저장되며, isFinalLanding는 true로 설정된다.
도 10 내지 도 12를 참조하면, 상술한 스테레오 비전 기반 착륙 위치 결정 방법의 성능을 검증하기 위해 수치 시뮬레이션이 수행되었다. 수치 시뮬레이션을 위해, 해당 영역 중 작은 부분만 평평한 산악 지형이 고려되었다. 쿼드로터의 초기 위치는
Figure pat00056
이다. 처음에 쿼드로터는 카메라들이 평평한 지역을 찾을 수 없는 위치에 있다. 도 10은 시뮬레이션 지형과 쿼드로터의 궤적을 도시한다. 도 11과 도 12는 각각 쿼드로터의 자세와 제어 입력(PWM 전압)의 반응 속도를 도시한다. 도 11의 점선은 제어 입력으로부터 온 명령이며, 실선은 실제 반응들이다. 이들 간의 차이는 실제 반응을 물리적으로 실현가능하게 만드는 구동기의 동역학 구조 때문에 발생한다.
도 11을 참조하면,
Figure pat00057
와
Figure pat00058
는 마지막 단계에서 거의 0에 근접하는데, 이는 쿼드로터가 안전하게 착륙하기에 충분히 안정적임을 나타낸다.
그 외 본 발명의 실시예에 따른 멀티로터에 대한 구체적인 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 및 엑추에이터, 배터리, 카메라, 센서 등 부품 표준화 기술 등에 대한 구체적인 설명은 본 발명이 속하는 기술 분야의 통상의 지식을 가진자에게 자명한 사항이므로 생략하기로 한다.
본 발명에 따른 멀티로터를 제어하는 방법은 다양하게 구현될 수 있다. 예를 들면, 멀티로터를 무인 조종하는 경우 미리 정해진 경로를 통해 운행하도록 하거나 또는 특정 위치에 해당하는 상공에 정지해 있도록 제어할 수 있다. 예를 들면, 특정 센싱 데이터에서 기울기 정도를 검출하고 멀티로터가 지면과 평행이 되도록 각 구동부를 제어하거나 또는 GPS와 연동하여 현재 위치와 목표 지점을 비교하여 멀티로터 항공기가 목표 지점으로 이동하도록 제어할 수도 있다.
본 발명에 따른 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 즉, 기록 매체는 컴퓨터에 상술한 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합한 형태로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한, 상술한 각 구성 요소는 물리적으로 인접한 하나의 부품으로 구현되거나 서로 다른 부품으로 구현될 수도 있다. 후자의 경우 각 구성 요소는 인접하거나 또는 서로 다른 구역에 위치하여 제어될 수 있다.
상기한 바에서, 각 실시예에서 설명한 각 구성요소 및/또는 기능은 서로 복합적으로 결합하여 구현될 수 있으며, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 착륙 위치 결정 장치 110 : 깊이 지도 생성부
120 : 경계선 이미지 생성부 130 : 거리 변환 수행부
140 : 후보 지역 설정부 150 : 멀티로터 이동부
160 : 저장부 170 : 제어 유닛

Claims (13)

  1. 착륙 위치 결정 장치가 멀티로터의 착륙 위치를 결정하는 방법에 있어서,
    스테레오 비전을 이용하여 지형을 촬영하고 깊이 지도 이미지를 생성하는 단계;
    상기 생성된 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성하는 단계;
    상기 경계선 이미지의 경계선에 대해 거리 변환을 수행하는 단계;
    상기 거리 변환의 결과를 이용하여 도출된 내접원 중 가장 큰 반지름을 가지는 내접원의 원 중심을 착륙 후보 지역으로 설정하는 단계; 및
    상기 착륙 후보 지역으로 멀티로터를 이동시키는 제어 신호를 생성하는 단계를 포함하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  2. 청구항 1에 있어서,
    상기 경계선 이미지 생성 단계는,
    상기 깊이 지도 이미지에서 영이 아닌 픽셀 성분을 경계선으로 표현하는 바이너리 이미지로 상기 경계선 이미지를 생성하는 캐니 기법(Canny method)을 사용하는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  3. 청구항 1에 있어서,
    상기 거리 변환 수행 단계는,
    상기 경계선 이미지 중 특정 픽셀과 상기 특정 픽셀과 가장 가까운 영이 아닌 픽셀간의 유클리드 거리를 계산하여 픽셀의 거리를 표현하는 거리 행렬을 생성하는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  4. 청구항 3에 있어서,
    상기 거리 행렬의 성분 중 가장 크기가 큰 성분에 상응하는 픽셀의 좌표를 상기 멀티로터의 착륙 후보 지역의 좌표로 설정하고, 상기 거리 행렬의 성분 중 가장 크기가 큰 성분을 상기 멀티로터의 착륙 후보 지역의 반지름으로 설정하는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  5. 청구항 4에 있어서,
    상기 깊이 지도 이미지에서 각 픽셀의 깊이(depth)는 다음과 같은 식으로 산출되는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
    Figure pat00059

    여기서, z는 깊이,
    Figure pat00060
    은 스테레오 비전에서 좌측 및 우측 이미지 평면의 특정 점의 x축 성분간 간격, f는 초점 거리, b는 베이스 라인임.
  6. 청구항 5에 있어서,
    산출된 간격 중 마지막 간격에 상응하는 장소는 배제하고 상기 착륙 후보 지역의 좌표를 설정하는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  7. 청구항 4에 있어서,
    크기가 미리 설정된 반지름 임계치보다 작은 상기 거리 행렬의 성분은 상기 착륙 후보 지역의 좌표에서 배제되는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  8. 청구항 7에 있어서,
    상기 미리 설정된 반지름 임계치는 상기 멀티로터의 무게중심으로부터 로터 축까지의 거리인 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  9. 청구항 7에 있어서,
    상기 착륙 후보 지역의 좌표를 중심으로 상기 착륙 후보 지역의 반지름 영역 내에 있는 상기 거리 행렬의 성분에 상응하는 좌표는 상기 착륙 후보 지역의 좌표에서 배제되는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  10. 청구항 1에 있어서,
    상기 거리 변환의 결과를 이용하여 상기 멀티로터의 착륙 후보 지역이 아닌 좌표는 비추천 지역의 좌표로 설정하는 단계를 더 포함하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  11. 청구항 10에 있어서,
    상기 경계선 이미지 생성 단계는,
    상기 비추천 지역을 제외한 지형에 대한 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성하는 것을 특징으로 하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법.
  12. 멀티로터의 착륙 위치를 결정하는 착륙 위치 결정 장치에 있어서,
    스테레오 비전을 이용하여 지형을 촬영하고 깊이 지도 이미지를 생성하는 깊이 지도 생성부;
    상기 생성된 깊이 지도 이미지에서 경계선을 추출하여 경계선 이미지를 생성하는 경계선 이미지 생성부;
    상기 경계선 이미지의 경계선에 대해 거리 변환을 수행하는 거리 변환 수행부;
    상기 거리 변환의 결과를 이용하여 도출된 내접원 중 가장 큰 반지름을 가지는 내접원의 원 중심을 착륙 후보 지역으로 설정하는 후보 지역 설정부; 및
    상기 착륙 후보 지역으로 멀티로터를 이동시키는 제어 신호를 생성하는 멀티로터 이동부를 포함하는 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 장치.
  13. 제1항 내지 제11항 중 어느 하나에 기재된 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법을 수행하며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.
KR1020120056757A 2012-05-29 2012-05-29 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치 KR101350242B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120056757A KR101350242B1 (ko) 2012-05-29 2012-05-29 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120056757A KR101350242B1 (ko) 2012-05-29 2012-05-29 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20130133480A true KR20130133480A (ko) 2013-12-09
KR101350242B1 KR101350242B1 (ko) 2014-01-14

Family

ID=49981448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120056757A KR101350242B1 (ko) 2012-05-29 2012-05-29 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101350242B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170120500A (ko) * 2016-04-21 2017-10-31 숭실대학교산학협력단 초음파 신호를 이용한 무인 항공기, 이의 착륙 유도 방법 및 그 기록매체
KR20170121550A (ko) * 2016-04-25 2017-11-02 경희대학교 산학협력단 드론의 디스플레이 방법 및 그를 포함하는 리모트 컨트롤러
JP2018069961A (ja) * 2016-10-31 2018-05-10 株式会社エンルートＭ’ｓ デバイス配置装置、デバイス配置方法及びデバイス配置プログラム
US10191496B2 (en) 2016-04-21 2019-01-29 Foundation Of Soongsil University-Industry Cooperation Unmanned aerial vehicle and a landing guidance method using the same
CN109562844A (zh) * 2016-08-06 2019-04-02 深圳市大疆创新科技有限公司 自动着陆表面地形评估以及相关的系统和方法
CN109857128A (zh) * 2018-12-18 2019-06-07 顺丰科技有限公司 无人机视觉定点降落方法、系统、设备及存储介质
WO2021045244A1 (ko) * 2019-09-03 2021-03-11 엘지전자 주식회사 무인 비행체의 착륙방법 및 이를 위한 장치
WO2021096000A1 (ko) * 2019-11-12 2021-05-20 한국항공우주연구원 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법
CN115761516A (zh) * 2022-12-26 2023-03-07 中国电子科技集团公司第十五研究所 空中紧急投送着陆地域分析方法、服务器及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4448233B2 (ja) * 2000-05-19 2010-04-07 富士重工業株式会社 着陸地点探索装置、それを用いた飛行体、および着陸地点評価装置
JP5675130B2 (ja) * 2010-02-26 2015-02-25 三菱重工業株式会社 着陸ガイド装置および着陸ガイド方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170120500A (ko) * 2016-04-21 2017-10-31 숭실대학교산학협력단 초음파 신호를 이용한 무인 항공기, 이의 착륙 유도 방법 및 그 기록매체
US10191496B2 (en) 2016-04-21 2019-01-29 Foundation Of Soongsil University-Industry Cooperation Unmanned aerial vehicle and a landing guidance method using the same
KR20170121550A (ko) * 2016-04-25 2017-11-02 경희대학교 산학협력단 드론의 디스플레이 방법 및 그를 포함하는 리모트 컨트롤러
CN109562844A (zh) * 2016-08-06 2019-04-02 深圳市大疆创新科技有限公司 自动着陆表面地形评估以及相关的系统和方法
US11727679B2 (en) 2016-08-06 2023-08-15 SZ DJI Technology Co., Ltd. Automatic terrain evaluation of landing surfaces, and associated systems and methods
JP2018069961A (ja) * 2016-10-31 2018-05-10 株式会社エンルートＭ’ｓ デバイス配置装置、デバイス配置方法及びデバイス配置プログラム
CN109857128A (zh) * 2018-12-18 2019-06-07 顺丰科技有限公司 无人机视觉定点降落方法、系统、设备及存储介质
WO2021045244A1 (ko) * 2019-09-03 2021-03-11 엘지전자 주식회사 무인 비행체의 착륙방법 및 이를 위한 장치
WO2021096000A1 (ko) * 2019-11-12 2021-05-20 한국항공우주연구원 지형맵에 대한 등고선 정보를 이용하여 안전 착륙 지점을 탐색하는 안전 착륙 지점 탐색 장치, 및 안전 착륙 지점 탐색 방법
CN115761516A (zh) * 2022-12-26 2023-03-07 中国电子科技集团公司第十五研究所 空中紧急投送着陆地域分析方法、服务器及存储介质
CN115761516B (zh) * 2022-12-26 2024-03-05 中国电子科技集团公司第十五研究所 空中紧急投送着陆地域分析方法、服务器及存储介质

Also Published As

Publication number Publication date
KR101350242B1 (ko) 2014-01-14

Similar Documents

Publication Publication Date Title
KR101350242B1 (ko) 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치
US11592845B2 (en) Image space motion planning of an autonomous vehicle
KR102230144B1 (ko) 인공 지능 심층 학습 타겟 탐지 및 속도 퍼텐셜 필드 알고리즘 기반 장애물 회피 및 자율 주행 방법 및 장치
Alvarez et al. Collision avoidance for quadrotors with a monocular camera
KR101642828B1 (ko) 다중 영상 기반 장애물 회피 시스템 및 방법
EP3686775B1 (en) Method for detecting pseudo-3d bounding box based on cnn capable of converting modes according to poses of objects using instance segmentation
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
JP6791365B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US11922819B2 (en) System and method for autonomously landing a vertical take-off and landing (VTOL) aircraft
KR20160085963A (ko) 깊이 지도를 이용한 사물 형상 맵핑 및 실시간 유도를 위한 무인기 비행 제어 장치 및 방법
Nguyen et al. Vision-based qualitative path-following control of quadrotor aerial vehicle
CN112378397A (zh) 无人机跟踪目标的方法、装置及无人机
EP3686776B1 (en) Method for detecting pseudo-3d bounding box to be used for military purpose, smart phone or virtual driving based on cnn capable of converting modes according to conditions of objects
KR102116031B1 (ko) 무인 비행체의 안전 이착륙을 위한 3차원 라이다 피치 조절 장치 및 방법
Asadi et al. An integrated aerial and ground vehicle (UAV-UGV) system for automated data collection for indoor construction sites
US11500386B2 (en) Control apparatus, control method, program, and mobile object
Camara et al. Design and performance assessment of hazard avoidance techniques for vision based landing
JP2020064029A (ja) 移動体制御装置
WO2020144936A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020021954A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Marlow et al. Dynamically sized occupancy grids for obstacle avoidance
Brockers et al. Computer vision for micro air vehicles
JP7044147B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2021010067A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN116736694A (zh) 运动控制方法、运动装置及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 7