KR102048999B1 - 자율 주행 장치 및 방법 - Google Patents

자율 주행 장치 및 방법 Download PDF

Info

Publication number
KR102048999B1
KR102048999B1 KR1020180018036A KR20180018036A KR102048999B1 KR 102048999 B1 KR102048999 B1 KR 102048999B1 KR 1020180018036 A KR1020180018036 A KR 1020180018036A KR 20180018036 A KR20180018036 A KR 20180018036A KR 102048999 B1 KR102048999 B1 KR 102048999B1
Authority
KR
South Korea
Prior art keywords
image
linear
component
floor
autonomous vehicle
Prior art date
Application number
KR1020180018036A
Other languages
English (en)
Other versions
KR20190103523A (ko
Inventor
서일홍
김용년
고동욱
이진한
Original Assignee
코가플렉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코가플렉스 주식회사 filed Critical 코가플렉스 주식회사
Priority to KR1020180018036A priority Critical patent/KR102048999B1/ko
Publication of KR20190103523A publication Critical patent/KR20190103523A/ko
Application granted granted Critical
Publication of KR102048999B1 publication Critical patent/KR102048999B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

본 발명의 일 실시예에 따른 자율 주행 장치의 자율 주행 방법은 자율 주행 장치의 전면 방향의 이미지를 촬영하는 단계, 촬영된 이미지로부터 전방 이미지 및 바닥 이미지를 분리하는 단계, 전방 이미지를 이용하여 상기 자율 주행 장치가 위치하는 장소를 추정하는 단계, 바닥 이미지를 이용하여 자율 주행 장치의 위치를 추정하는 단계 및 추정된 위치에 기초하여 주행 방향을 제어하는 단계를 포함한다. 여기서, 전방 이미지 및 바닥 이미지를 분리하는 단계는 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 수행된다.

Description

자율 주행 장치 및 방법{AUTONOMOUS DRIVING DEVISE AND METHOD}
본 명세서는 자율 주행 장치 및 방법에 관한 것으로서, 보다 상세하게는 전방 및 바닥 이미지의 특징을 이용하는 자율 주행 장치 및 방법에 관한 것이다.
주변 사물을 인식하는 센서 기술의 발달과 카메라를 통해 촬영된 주변 이미지를 분석하는 이미지 처리 기술의 발달은 자율 주행하는 장치의 개발 및 발전을 이끌어 왔다. 이러한 자율 주행을 위해서는 자율 주행 장치의 정확한 위치 추정이 필요하다.
자율 주행 장치의 위치 추정을 위해, 카메라에 의해 촬영된 천장의 이미지를 이용하는 기술이 사용되기도 한다. 그러나, 이 기술은 천장 높이의 가변성으로 인하여, 자율 주행 장치의 절대적인 위치를 정확히 추정하기 어렵다. 또한, 위치 추정을 위해, 깊이 센서 또는 3차원 카메라를 통해 획득된 깊이 정보를 이용하는 기술이 사용되기도 한다. 그러나, 이러한 기술은 정보 처리를 위한 많은 연산량이 필요하고, 또한, 급격한 모션 변화, 시야 가림 등에 의해 민감하게 성능이 변화한다. 따라서, 이러한 상황에 강인하며, 자율 주행 장치의 절대적인 위치를 정확히 추정하기 위한 새로운 방식의 위치 추정 기술이 필요하다.
이에 본 명세서는 촬영된 하나의 전면 방향의 이미지에서 전방 이미지 및 바닥 이미지를 분리하고, 전방 이미지 및 바닥 이미지의 특징을 이용하는 자율 주행 장치 및 방법을 제공한다.
또한, 본 명세서는 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 촬영된 이미지로부터 전방 이미지 및 바닥 이미지를 분리하는 자율 주행 장치 및 방법을 제공한다.
또한, 본 명세서는 전방 이미지의 직선 성분을 이용하여 장소를 추정하고, 바닥 이미지의 직선 성분을 이용하여 위치를 추정하는 자율 주행 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 자율 주행 장치의 자율 주행 방법은, 상기 자율 주행 장치의 전면 방향의 이미지를 촬영하는 단계로서, 상기 촬영된 이미지는 전방 이미지 및 바닥 이미지를 포함하는, 상기 이미지를 촬영하는 단계; 상기 촬영된 이미지로부터 상기 전방 이미지 및 상기 바닥 이미지를 분리하는 단계; 상기 전방 이미지를 이용하여 상기 자율 주행 장치가 위치하는 장소를 추정하는 단계; 상기 바닥 이미지를 이용하여 상기 자율 주행 장치의 위치를 추정하는 단계; 및 상기 추정된 위치에 기초하여 주행 방향을 제어하는 단계를 포함하고, 상기 전방 이미지 및 상기 바닥 이미지를 분리하는 단계는 상기 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 수행될 수 있다.
본 발명의 일 실시예에 따른 자율 주행 장치는 상기 자율 주행 장치의 전면 방향의 이미지를 촬영하는 카메라 유닛에서, 상기 촬영된 이미지는 전방 이미지 및 바닥 이미지를 포함하는, 상기 카메라 유닛; 데이터를 저장하는 메모리; 상기 카메라 유닛 및 상기 메모리를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 촬영된 이미지로부터 상기 전방 이미지 및 상기 바닥 이미지를 분리하고; 상기 전방 이미지를 이용하여 상기 자율 주행 장치가 위치하는 장소를 추정하고; 상기 바닥 이미지를 이용하여 상기 자율 주행 장치의 위치를 추정하고; 및 상기 추정된 위치에 기초하여 주행 방향을 제어하며, 상기 전방 이미지 및 상기 바닥 이미지를 분리하는 것은 상기 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 수행될 수 있다.
본 발명의 일 실시예에 따르면, 전방 이미지 및 바닥 이미지를 각각 촬영하기 위한 복수의 카메라를 이용하지 않고, 하나의 카메라를 사용하여 획득된 하나의 이미지로부터 전방 이미지 및 바닥 이미지를 분리하여 사용함으로써, 보다 경제적이며 또한, 적은 연산량으로 자율 주행 장치의 위치를 추정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 깊이 센서 또는 3차원 카메라를 이용하지 않고, 하나의 일반 단안 카메라를 이용함으로써 보다 경제적으로 자율 주행 장치의 위치를 추정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 전방 이미지의 직선 성분을 이용한 장소 추정과 바닥 이미지의 직선 성분을 이용한 위치 추정을 함께 이용함으로써, 보다 신속하고 정확하게 자율 주행 장치의 위치를 추정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 장치의 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 장치에 의해 촬영된 이미지 및 촬영된 이미지로부터 검출된 직선 성분을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 장치가 촬영된 이미지에서 정면 이미지와 바닥 이미지를 분리하는 방법을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 자율 주행 장치가 촬영된 이미지에서 정면 이미지와 바닥 이미지를 분리하는 방법을 나타낸다.
도 5는 본 발명의 또 다른 실시예에 따른 자율 주행 장치가 촬영된 이미지에서 정면 이미지와 바닥 이미지를 분리하는 방법을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 장치의 주행 경로 상의 장소 및 위치를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 바닥 영상과 참조 바닥 영상의 직선 성분 간의 매칭 관계를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 바닥 영상과 참조 바닥 영상의 매칭되는 직선 성분쌍을 연장한 직선을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 연장된 직선 성분쌍을 매칭시킨 상태를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 자율 주행 장치의 자율 주행 방법의 순서도이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서, 자율 주행 장치는 자율 주행하는 다양한 종류의 이동체(예컨대, 이동 로봇, 무인차량, 로봇 청소기 등)에 해당하거나, 이 자율 주행 이동체에 포함되는 장치일 수 있다.
본 발명의 일 실시예에 따른 자율 주행 장치는 전면 방향에서 촬영된 하나의 영상(예컨대, 2차원 영상)으로부터 전방 영상과 바닥 영상을 분리하고, 분리된 전방 영상 및 바닥 영상을 이용하여 위치를 추정하고, 추정된 위치에 기초하여 주행 방향을 제어할 수 있다. 이를 통해, 자율 주행 장치는 미리 설정된 주행 경로를 따라 주행할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 장치는 위치 추정을 위해, 전방 영상을 이용하여 자율 주행 장치가 위치하는 장소를 추정하고, 바닥 영상을 이용하여 추정된 장소에서의 구체적인 위치를 추정할 수 있다. 즉, 자율 주행 장치는 전방 영상을 통해 자율 주행 장치의 대략적인 위치를 추정하고, 바닥 영상을 통해 자율 주행 장치의 정확한 위치를 추정할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 장치는 촬영된 영상으로부터 전방 영상과 바닥 영상을 분리하고, 전방 영상과 바닥 영상으로부터 자율 주행 장치의 위치를 추정하기 위해, 촬영된 영상에 대한 특징 정보를 이용할 수 있다. 여기서, 특징 정보는 영상의 특징을 나타내는 정보로서, 예컨대, 영상의 특징을 나타내는 색상, 에지, 점, 직선에 대한 정보일 수 있다. 이하에서는, 촬영된 영상에서 검출된 직선 성분에 대한 정보가 촬영된 영상에 대한 특징 정보로서 사용되는 경우가 실시예로서 설명된다.
본 명세서에서, 자율 주행 장치가 자율 주행하는 환경에 대한 특별한 제약은 없으나, 촬영된 영상에서 검출된 직선 성분이 왜곡되지 않는 평평한 바닥면을 갖는 환경(예컨대, 실내 복도 환경)의 경우에 위치 추정의 정확도가 상승될 수 있다.
이하에서는 각 도면을 참조하여 본 발명의 다양한 실시예들에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 장치의 블록도를 나타낸다.
도 1을 참조하면, 자율 주행 장치(100)는 카메라 유닛(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
카메라 유닛(110)은 자율 주행 장치(100)의 주변의 이미지를 촬영(capture)할 수 있다. 예를 들면, 카메라 유닛(110)은 자율 주행 장치(100)의 전면 방향의 이미지를 촬영(capture)할 수 있다. 보다 상세하게는, 카메라 유닛(110)은 시야각(field of view) 범위 내의 전면 방향의 이미지를 촬영하고, 이에 대한 데이터(이미지 데이터)를 프로세서(130)로 전달할 수 있다.
실시예로서, 촬영된 이미지는 전방 이미지 및 바닥 이미지를 포함하는 2차원(2D) 이미지일 수 있다. 여기서, 전방 이미지는 자율 주행 장치(100)의 전방에 대한 이미지로서, 전방에 시각적 정보를 제공할 수 있다. 또한, 바닥 이미지는 자율 주행 장치(100)가 주행하는 바닥에 대한 이미지로서, 바닥에 대한 시각적 정보를 제공할 수 있다.
메모리(120)는 프로세서(130)와 연결되어, 프로세서(130)를 구동하기 위한 다양한 정보를 저장할 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 자율 주행 장치(100)의 동작을 구현하는 모듈, 데이터, 프로그램 또는 소프트웨어 중 적어도 하나가 메모리(120)에 저장되고, 프로세서(130)에 의하여 실행될 수 있다. 메모리(120)는 프로세서(130)의 내부에 포함되거나 또는 프로세서(130)의 외부에 설치되어 프로세서(130)와 공지의 수단에 의해 연결될 수 있다.
또한, 메모리(120)는 자율 주행 장치(100)의 위치 추정을 위해 사용되는 참조 이미지를 저장할 수 있다. 예를 들면, 메모리(120)를 전방 이미지를 통해 장소를 추정하기 위해 사용되는 참조(reference) 전방 이미지 및 바닥 이미지를 통해 위치를 추정하기 위해 사용되는 참조 바닥 이미지를 저장할 수 있다. 실시예로서, 자율 주행 장치(100)는 자율 주행 장치(100)의 내부 또는 외부 데이터베이스(DB)에 분류되어 저장된 참조 전방 이미지 및/또는 참조 바닥 이미지를 해당 데이터베이스에서 검색하여, 메모리(120)에 일시적으로 또는 비일시적으로 저장할 수 있다. 이를 위해, 자율 주행 장치(100)는 공지된 다양한 통신 수단을 사용하여 내부 또는 외부 데이터베이스와 유선 또는 무선으로 연결될 수 있다.
프로세서(130)는 카메라 유닛(110) 및 메모리(120)와 연결되어, 이를 제어할 수 있다. 프로세서(130)는 본 발명의 다양한 실시예에 따른 동작을 수행하도록 구성될 수 있다. 예를 들면, 프로세서(130)는 촬영된 이미지로부터 전방 영상과 바닥 영상을 분리할 수 있다. 또한, 프로세서(130)는 전방 영상을 이용하여 자율 주행 장치(100)가 위치하는 장소를 추정할 수 있다. 또한, 프로세서(130)는 바닥 영상을 이용하여 자율 주행 장치(100)의 위치를 추정할 수 있다. 또한, 프로세서(130)는 추정된 위치에 기초하여 주행 방향을 제어할 수 있다.
이러한 프로세서(130)의 동작들은 이하에서 각 도면들을 참조하여 자세히 설명하도록 한다. 이하에서는, 프로세서(130)가 자율 주행 장치(100) 또는 자율 주행 장치(100)에 포함된 적어도 하나의 구성요소를 제어한다고 표현할 수 있으며, 프로세서(130)와 자율 주행 장치(100)를 동일시하여 설명할 수 있다.
도 1은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 자율 주행 장치(100)의 구성요소들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 자율 주행 장치(100)의 구성요소들은 자율 주행 장치(100)의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 장치에 의해 촬영된 이미지 및 촬영된 이미지로부터 검출된 직선 성분을 나타낸다. 구체적으로, 도 2(a)는 자율 주행 장치에 의해 촬영된 이미지를 나타내고, 도 2(b)는 촬영된 이미지로부터 검출된 직선 성분을 나타낸다. 상술한 것처럼, 이 직선 성분에 대한 정보가 촬영된 이미지의 특징을 나타내는 특징 정보로서 사용될 수 있다.
자율 주행 장치는 카메라 유닛을 이용하여 정면 방향의 이미지를 촬영할 수 있다. 도 2(a)에서와 같이, 촬영된 이미지는 전방 이미지 및 바닥 이미지를 포함할 수 있다. 또한, 촬영된 이미지 내의 오브젝트들(예컨대, 벽, 바닥, 문, 장애물 등)은 직선 특징을 가질 수 있다.
상술한 것처럼, 전방 이미지는 자율 주행 장치의 전방에 대한 시각적 정보를 제공할 수 있다. 예를 들면, 전방 이미지는 자율 주행 장치의 전방의 바닥면 위쪽에 있는 오브젝트들에 대한 시각적 정보를 제공할 수 있다. 또한, 바닥 이미지는 자율 주행 장치가 주행하는 바닥에 대한 시각적 정보를 제공할 수 있다. 예를 들면, 바닥 이미지는 자율 주행 장치의 전방의 바닥면에 있는 경계선(예컨대, 바닥과 벽 간의 경계선) 등에 대한 시각적 정보를 제공할 수 있다.
또한, 자율 주행 장치는 촬영된 이미지로부터 직선 성분을 검출할 수 있다. 이때, 자율 주행 장치는 미리 설정된 직선 검출 알고리즘(예컨대, 허프 변환(hough transform))을 사용하여, 촬영된 이미지로부터 직성 성분을 검출할 수 있다.
도 2(b)에서와 같이, 촬영된 이미지로부터 검출된 직선 성분은 정면 이미지에 대한 직선 성분 및 바닥 이미지에 대한 직선 성분을 포함할 수 있다. 또한, 도시된 것처럼, 직선 성분은 수직 직선 성분 및 수평 직선 성분을 포함할 수 있다. 한편, 촬영된 이미지가 2차원 이미지인 경우, 깊이 정보를 포함하지 않기 때문에, 3차원 좌표 변환 시 검출된 직선 성분들은 하나의 이미지 평면 상에 위치하게 된다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 장치가 촬영된 이미지에서 정면 이미지와 바닥 이미지를 분리하는 방법을 나타낸다. 도 3의 실시예에서, 자율 주행 장치는 카메라의 자세 정보에 기초하여, 검출된 직선 성분들 중 기준선 위에 있는 직선 성분을 제거함으로써, 촬영된 이미지에서 바닥 이미지를 분리할 수 있다. 여기서, 기준선은 바닥 이미지와 전방 이미지의 경계선일 수 있다. 예를 들면, 기준선은 바닥면과 전방 오브젝트(예컨대, 전방 벽)가 이루는 지평선일 수 있다. 이 경우, 자율 주행 장치는 바닥면 위쪽의 직선 성분들을 제거함으로써 촬영된 이미지에서 바닥 이미지를 분리할 수 있다.
실시예로서, 자율 주행 장치는 아래 수학식 1을 사용하여 기준선 위에 있는 직선 성분을 제거할 수 있다. 수학식 1은 3D 공간 상의 좌표를 2D 이미지 평면상의 좌표로 투영시키기 위한 카메라 파라미터 모델의 기본 공식으로부터, 유도된 식에 해당한다.
Figure 112018015972591-pat00001
여기서, 행렬
Figure 112018015972591-pat00002
은 직선 성분을 이루는 한 점을 바닥면(y=0)으로 투영 시의 좌표를 나타낸다.
행렬
Figure 112018015972591-pat00003
은 카메라의 자세를 지시하는 카메라 자세 정보/파라미터를 나타낸다. 여기서, 변수 r은 회전 성분을 나타낸다.
행렬
Figure 112018015972591-pat00004
은 카메라의 특성을 지시하는 카메라 정보/파라미터를 나타낸다. 여기서, f는 초점 거리(focal length)를 나타내고, c는 이미지의 중심점(주점)을 나타낸다.
행렬
Figure 112018015972591-pat00005
은 직선 성분을 이루는 한 점의 이미지 평면 상의 좌표를 나타낸다. 여기서, s는 뎁스(depth)가 있는 3D 공간 상의 좌표를 뎁스가 없는 2D 이미지 평면상의 좌표로 투영시키기 위한 스케일(scale)을 나타낸다.
도 3을 참조하면, 촬영된 영상으로부터 검출된 직선 성분은 3차원 변환 시 하나의 이미지 평면 상에 위치하게 된다. 이때, 검출된 직선 성분의 3차원 좌표가 바닥으로부터 검출된 것으로 가정하고, 각 직선 성분에 대하여 수학식 1을 적용하는 경우, 물리적으로 검출 불가능한 직선이 존재함이 확인된다. 즉, s<0 또는 무한대(inf)인 직선 성분이 존재함이 확인 된다. 이러한 직선 성분은 바닥으로부터 검출될 수 없는 직선 성분, 즉, 기준선 위쪽에 있는 직선 성분에 해당하게 되므로, 자율 주행 장치는 이를 제거함으로써 기준선 위쪽에 있는 직선 성분을 제거할 수 있다. 이를 통해, 자율 주행 장치는 촬영된 이미지로부터 바닥 이미지를 분리할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 자율 주행 장치가 촬영된 이미지에서 정면 이미지와 바닥 이미지를 분리하는 방법을 나타낸다. 도 4의 실시예에서, 자율 주행 장치는 카메라의 시야각(FOV) 정보에 기초하여, 바닥면으로 투영된 직선 성분들 중 시야각의 범위 밖에 있는 직선 성분을 제거함으로써, 촬영된 이미지에서 바닥 이미지를 분리할 수 있다. 실시예로서, 도 4의 실시예에 따른 방법은 도 3의 실시예에 따른 방법이 수행된 이후에 수행될 수 있다.
도 4에서와 같이, 도 3의 방법에 따라 물리적으로 바닥으로부터 검출 가능한 것으로 판단된 직선 성분 상의 한 점이라고 하더라도, 바닥면으로 투영 시 카메라의 시야각을 벗어나는 경우가 생길 수도 있다. 이 경우, 해당 직선 성분은 카메라가 실제 관찰 가능한 바닥 영역에서 검출된 특징으로 보기 어렵다. 즉, 해당 직선 성분을 포함한 바닥 이미지와 참조 바닥 이미지를 비교하여 위치 추정하는 경우, 자율 주행 장치가 참조 바닥 이미지로부터 해당 직선 성분에 대응되는 직선 성분을 찾기 어렵기 때문에, 정확한 위치 추정을 하기 어렵다. 따라서, 자율 주행 장치는 바닥면으로 투영 시 카메라의 시야각을 벗어나는 직선 성분을 제거할 필요가 있다. 즉, 도시된 것처럼, 자율 주행 장치는 바닥면으로 투영 시 카메라의 시야각 내에서 검출 불가능한 것으로 판단된 직선 성분을 제거할 필요가 있다. 이를 통해, 자율 주행 장치는 촬영된 이미지로부터 바닥 이미지를 분리할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 자율 주행 장치가 촬영된 이미지에서 정면 이미지와 바닥 이미지를 분리하는 방법을 나타낸다.
도 5의 실시예에서, 자율 주행 장치는 바닥면으로 투영된 직선 성분의 직선 특성에 기초하여, 검출된 직선 성분 중 바닥면에 수직인 수직 직선 성분을 제거함으로써, 촬영된 이미지에서 바닥 이미지를 분리할 수 있다.
도 5(a)에서와 같이, 촬영된 이미지에 검출된 직선 성분은 수직 직선 성분(L1, L2)을 포함할 수 있다. 이러한 수직 직선 성분은 물리적으로 바닥면에 수직인 오브젝트(예컨대, 벽과 같은 수직 구조물)로부터 검출된 직선 성분일 수 있다.
도 5(b)에서와 같이, 수직 직선 성분을 바닥면에 투영한 경우, 투영된 수직 직선 성분(L1, L2)은 항상 특정 좌표를 지나는 직선에 속하는 직선 특징을 갖는다. 따라서, 자율 주행 장치는 직선 성분들을 바닥면에 투영하고, 투영된 직선 성분들 중 특정 좌표를 지나는 직선에 속하는 직선 성분을 제거할 수 있다. 이를 통해, 바닥면에 포함되지 않는 수직 직선 성분을 제거할 수 있다.
이를 증명하면, 다음과 같다. 증명을 위해, 먼저, 수학식 1을 아래 수학식 2로 간단히 정리한다.
Figure 112018015972591-pat00006
수직 직선 성분 상의 두 점
Figure 112018015972591-pat00007
은, 바닥면으로 투영 시 다음 두 점
Figure 112018015972591-pat00008
으로 표현될 수 있고, 위 수학식 2를 적용하면 다음 수학식 3과 같이 정리될 수 있다.
Figure 112018015972591-pat00009
이 수학식 3을 적용하면,
Figure 112018015972591-pat00010
이고,
여기서,
Figure 112018015972591-pat00011
이고,
Figure 112018015972591-pat00012
이다.
또한,
Figure 112018015972591-pat00013
이고,
여기서,
Figure 112018015972591-pat00014
이다.
따라서, 바닥면으로 투영된 두 점
Figure 112018015972591-pat00015
은 같은 직선 상에 있고, 점
Figure 112018015972591-pat00016
를 항상 지나게 된다. 바닥면에 수직한 직선 성분 상의 모든 점(
Figure 112018015972591-pat00017
)은 항상 점
Figure 112018015972591-pat00018
를 항상 지나게 된다. 따라서, 자율 주행 장치는 투영된 직선 성분들 중 이 점의 좌표를 지나는 직선에 속하는 직선 성분을 제거함으로써, 수직 직선 성분을 제거할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 장치는 도 3 내지 5에서 상술한 방법의 전부 또는 일부를 적용하여 촬영된 이미지로부터 바닥 이미지를 분리할 수 있다. 이 경우, 자율 주행 장치는 도 3 내지 도 5의 방법을 차례로 적용하여 촬영된 이미지로부터 바닥 이미지를 분리하거나, 또는 이와 다른 순서로 상기 방법을 적용하여 촬영된 이미지로부터 바닥 이미지를 분리할 수도 있다. 예를 들면, 자율 주행 장치는 도 5의 방법을 먼저 적용하고, 이후에 도 3 내지 4의 방법을 차례로 적용할 수 있다.
이하에서는, 도 6 내지 9를 참조하여, 분리된 전방 영상 및 바닥 영상을 이용하여 자율 주행 장치의 위치를 추정하는 방법에 대하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 장치의 주행 경로 상의 장소 및 위치를 나타낸다. 구체적으로, 도 6(a)는 자율 주행 장치의 주행 경로 상의 장소를 나타내고, 도 6(b)는 주행 경로 상의 특정 장소에서의 자율 주행 장치의 위치를 나타낸다.
도 6(a)를 참조하면, 자율 주행 장치가 미리 설정된 주행 경로(600)를 따라 주행하도록 제어되는 상황에서, 자율 주행 장치는 복수의 장소(610, 620, 630) 중 하나를 현재 자율 주행 장치가 위치하는 장소로 추정할 수 있다.
본 명세서에서는, 이 주행 경로 상의 복수의 장소에서의 참조 전방 이미지가 미리 획득 및 분류되어, 데이터베이스에 저장되어 있다고 가정한다. 이때, 참조 전방 이미지는 참조 전방 이미지에 대한 특징 정보에 기초하여 분류될 수 있다. 여기서, 참조 전방 이미지에 대한 특징 정보는 참조 전방 이미지로부터 검출된 직선 성분에 대한 정보를 포함할 수 있다.
이 경우, 자율 주행 장치는 촬영된 이미지에서 분리된 전방 이미지(현재 전방 이미지)에 대한 특징 정보와 가장 유사한 특징 정보를 갖는 참조 전방 이미지를 데이터베이스로부터 검색하고, 참조 전방 이미지에 대응되는 장소를 현재 자율 주행 장치가 위치하는 장소(현재 장소)로 추정할 수 있다. 예를 들면, 자율 주행 장치는 현재 전방 이미지에 대한 특징 정보와 데이터베이스에 저장된 참조 전방 이미지에 대한 특징 정보를 비교하여, 가장 유사한 특징 정보를 포함하는 참조 전방 이미지에 대응되는 장소를 현재 장소로 추정할 수 있다. 도시된 것처럼, 현재 전방 이미지에 대한 특징 정보와 제2 장소(620)에서 획득된 참조 전방 이미지에 대한 특징 정보가 가장 유사한 경우, 자율 주행 장치는 제2 장소(620)를 현재 장소로 추정할 수 있다.
실시예로서, 참조 전방 이미지를 분류하고, 검색하기 위한 알고리즘으로는 예컨대, BoW(Bag of Word) 알고리즘이 사용될 수 있다.
도 6(b)를 참조하면, 자율 주행 장치는 추정된 장소에서 자율 주행 장치의 위치를 추정할 수 있다.
본 명세서에서는, 특정 장소 내의 복수의 위치에서의 참조 바닥 이미지가 미리 획득 및 분류되어, 데이터베이스에 저장되어 있다고 가정한다. 예를 들면, 제2 장소(620) 내의 복수의 위치(621 내지 625)에서의 참조 바닥 이미지가 획득/분류되어 데이터베이스에 저장될 수 있다. 이때, 참조 바닥 이미지는 참조 바닥 이미지에 대한 특징 정보에 기초하여 분류될 수 있다. 여기서, 참조 바닥 이미지에 대한 특징 정보는 참조 바닥 이미지로부터 검출된 직선 성분에 대한 정보를 포함할 수 있다.
이 경우, 자율 주행 장치는 촬영된 이미지에서 분리된 바닥 이미지(현재 바닥 이미지)에 대한 특징 정보와 가장 유사한 특징 정보를 갖는 참조 바닥 이미지를 데이터베이스로부터 검색하고, 이에 기초하여 현재 자율 주행 장치의 위치(현재 위치)를 추정할 수 있다. 실시예로서, 참조 바닥 이미지에 대한 특징 정보를 분류하고, 검색하기 위한 알고리즘으로는 예컨대, BoW(Bag of Word) 알고리즘이 사용될 수 있다.
자율 주행 장치는 현재 바닥 이미지 및 이와 가장 유사한 참조 바닥 이미지의 직선 성분들 간의 기하 관계를 분석하여 현재 위치를 추정할 수 있다. 예를 들면, 현재 바닥 이미지의 직선 성분과 참조 바닥 이미지의 직성 성분이 서로 10cm 떨어져 있고 4도 기울기 차이를 갖는 경우, 자율 주행 장치는 자율 주행 장치의 현재 위치가 이미 알고 있는 참조 바닥 영상의 촬영 위치로부터 10cm 떨어져 있고, 4도 만큼 기울어져 있음을 확인할 수 있다. 이에 대하여는 도 7 내지 9를 참조하여 이하에서 상세히 설명한다.
이와 같이, 자율 주행 장치는 참조 바닥 영상과 현재 바닥 이미지의 직선 성분들 간의 기하 관계 분석을 통해 자율 주행 장치의 자세를 추정함으로써, 자율 주행 장치의 현재 위치를 추정할 수 있다. 즉, 자율 주행 장치는 이미 알고 있는 참조 바닥 영상이 촬영된 절대적인 위치로부터 현재 이동 로봇의 상대적인 위치를 계산함으로써, 자율 주행 장치의 절대적인 위치를 추정할 수 있다.
그리고, 자율 주행 장치는 추정된 위치(또는, 자세)에 기초하여 주행 방향을 결정 및 제어할 수 있다. 이때, 먼저, 자율 주행 장치는 추정된 위치(또는, 자세)에 기초하여 미리 설정된 주행 경로를 벗어났는지 여부를 결정할 수 있다. 미리 설정된 주행 경로를 벗어난 경우, 자율 주행 장치는 주행 방향을 조정함으로써, 미리 설정된 주행 경로를 따라 주행하도록 제어할 수 있다.
한편, 상술한 참조 이미지는 미리 설정된 주행 경로 상에서 미리 설정된 촬영 간격으로 촬영 및 처리될 수 있다. 보다 정밀한 위치 추정을 위하여, 미리 설정된 촬영 간격은 일정 기준 값보다 짧을 필요가 있고, 이 경우, 참조 바닥 이미지는 서로 오버랩될 수 있다.
이처럼, 본 발명의 일 실시예에 따르면, 자율 주행 장치는 바닥 이미지의 직선 성분을 이용하여 보다 정밀하게 자신의 위치를 추정할 수 있다. 이를 통해, 자율 주행 장치는 깊이 센서를 이용하지 않고 일반 단안 카메라를 이용함으로써 보다 경제적으로 자신의 위치를 추정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 자율 주행 장치는 3차원 영상이나 복수개의 영상이 아닌 단일의 2차원 영상을 분석하여 위치를 추정함으로써, 위치 추정에 소요되는 연산량을 줄일 수 있다.
도 7은 본 발명의 일 실시예에 따른 바닥 영상과 참조 바닥 영상의 직선 성분 간의 매칭 관계를 나타낸다. 도 8은 본 발명의 일 실시예에 따른 바닥 영상과 참조 바닥 영상의 매칭되는 직선 성분쌍을 연장한 직선을 나타낸다. 도 9는 본 발명의 일 실시예에 따른 연장된 직선 성분쌍을 매칭시킨 상태를 나타낸다.
상술한 것처럼, 자율 주행 장치는 촬영된 이미지에서 분리된 바닥 이미지의 직선 특징 정보와 참조 바닥 이미지의 직선 특징 정보를 이용하여 위치를 추정할 수 있다.
도 7을 참조하면, 자율 주행 장치는 바닥 이미지로부터 검출된 직선 성분들을 포함하는 제1 직선 성분 집합(710)과 참조 바닥 이미지로부터 검출된 직선 성분들을 포함하는 제2 직선 성분 집합(720)으로부터 매칭되는 직선 성분쌍을 결정하고, 이들의 기하 관계를 분석함으로써 위치를 추정할 수 있다. 실시예로서, 자율 주행 장치는 직선 성분에 대한 직선 기술자를 이용하여 제1 직선 성분 집합(710) 및 제2 직선 성분 집합(720)으로부터 매칭되는 직선 성분쌍을 결정할 수 있다. 도 7의 실시예에서, 연결 선에 의해 연결되는 직선 성분들이 매칭되는 직선 성분쌍을 나타낸다. 예를 들면, 도시된 것처럼, 제1 직선 성분 집합(710) 중 제1 직선 성분(711)과 제2 직선 성분 집합(720) 중 제2 직선 성분(721)이 직선 성분쌍에 대응되는 직선 성분이다.
여기서, 직선 기술자는 직선의 특징을 나타내는 정보로서, 직선 주변의 픽셀 값에 의해 직선 기술자가 결정될 수 있다. 예를 들면, 자율 주행 장치는 제1 직선 성분(711)을 포함하는 이미지 패치를 바닥 이미지로부터 추출하고, 추출된 이미지 패치의 그래디언트를 제1 직선 성분(711)에 대한 직선 기술자로서 이용할 수 있다. 마찬가지로, 자율 주행 장치는 제2 직선 성분(721)을 포함하는 이미지 패치를 참조 바닥 이미지로부터 추출하고, 추출된 이미지 패치의 그래디언트를 제2 직선 성분(721)에 대한 직선 기술자로서 이용할 수 있다.
실시예로서, 자율 주행 장치는 이러한 직선 기술자의 유사도가 높은 직선들을 매칭되는 직선 성분쌍으로 결정할 수 있다. 예를 들면, 자율 주행 장치는 직선 기술자의 차이가 가장 적은 직선들을 직선 성분쌍으로 결정할 수 있다.
도 8을 참조하면, 자율 주행 장치는 직선 성분쌍을 연장하고, 연장된 직선 성분쌍 사이의 기하 관계를 분석할 수 있다. 도 8(a)는 참조 바닥 이미지에 대한 직선 성분쌍의 연장을 나타내고, 도 8(b)는 현재 바닥 이미지에 대한 직선 성분쌍의 연장을 나타낸다.
도 8의 실시예에서, 검정색으로 채워진 직선은 연장되기 이전의 직선 성분을 나타내며, 점 또는 실선으로 채워진 직선은 연장된 직선을 나타낸다. 그리고, 도 8(a)의 직선은 참조 바닥 이미지에 대한 직선 성분을 나타내고, 도 8(b)의 직선은 현재 바닥 이미지에 대한 직선 성분을 나타낸다.
상술한 것처럼, 직선 기술자의 유사도에 따라 직선 성분쌍이 결정되기 때문에, 직선 성분쌍이 연장된 형태 역시, 도 8에 도시된 것처럼 서로 유사하다. 실시예로서, 연장된 직선은 해당 이미지의 프레임 크기만큼 연장되거나 또는 그 이상으로 연장될 수 있다.
자율 주행 장치는 제1 직선 성분에 대한 연장된 직선과 제2 직선 성분에 대한 연장된 직선 사이의 기하 관계를 분석할 수 있다. 예를 들면, 자율 주행 장치는 연장된 직선 사이의 거리 및 각도를 분석할 수 있다. 이를 통해, 자율 주행 장치는 자신의 위치를 추정할 수 있다.
도 8에 도시된, 제1 직선 성분에 대한 연장된 직선과 제2 직선 성분에 대한 연장된 직선을 비교하면, 이들 간에 거리 및 각도의 차이가 발생함을 확인할 수 있다. 즉, 제2 직선 성분에 대한 연장된 직선에 대비하여, 제1 직선 성분에 대한 연장된 직선이 어느 각도로 어느 거리만큼 떨어져 있는지를 확인할 수 있다. 따라서, 자율 주행 장치는 이러한 기하 관계의 분석을 통해 자신의 상대적인 자세를 추정함으로써, 현재의 위치를 추정할 수 있다.
이후, 자율 주행 장치는 바닥 이미지에 대한 연장된 직선 및 참조 바닥 이미지에 대한 연장된 직선을 도 9와 같이 매칭시킬 수 있다. 이때, 두 연장된 직선이 정확히 매칭되면, 위치 추정에 이용된 직선 성분쌍이 정확히 매칭됨을 확인할 수 있고, 또한, 위치 추정 역시 정확히 수행되었음을 확인할 수 있다.
한편, 연장된 직선 사이의 거리로부터, 현재 자율 주행 장치가 참조 바닥 이미지의 촬영 위치로부터 얼마나 떨어져 있는지는 참조 바닥 이미지를 촬영한 카메라와 바닥 사이의 거리에 따라 결정될 수 있다. 예를 들면, 연장된 직선 사이의 거리가 동일할 때, 카메라와 바닥 사이의 거리가 길어질수록 실제 자율 주행 장치와 참조 바닥 영상이 촬영된 지점 사이의 거리는 증가하게 된다.
도 10은 본 발명의 일 실시예에 따른 자율 주행 장치의 자율 주행 방법의 순서도이다. 도 10에서는 도 1 내지 9에서 상술한 설명과 중복된 설명은 생략한다.
먼저, 자율 주행 장치는 자율 주행 장치의 전면 방향의 이미지를 촬영할 수 있다(S1010). 이때, 촬영된 이미지는 전방 이미지 및 바닥 이미지를 포함할 수 있다.
다음으로, 자율 주행 장치는 촬영된 이미지로부터 전방 이미지 및 바닥 이미지를 분리할 수 있다(S1020). 실시예로서, 전방 이미지 및 바닥 이미지의 분리는 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 수행될 수 있다.
실시예로서, 자율 주행 장치는 이미지를 촬영한 카메라 유닛의 자세(pose)를 지시하는 카메라 자세 정보에 기초하여, 검출된 직선 성분들 중 기준선 위에 있는 직선 성분을 제거함으로써, 촬영된 이미지에서 전방 이미지 및 바닥 이미지를 분리할 수 있다. 여기서, 기준선은 전방 이미지와 바닥 이미지의 경계선일 수 있다. 이에 대하여는 도 3에서 상술한 바 자세한 설명은 생략한다.
또한, 자율 주행 장치는 검출된 직선 성분을 바닥면으로 투영하고, 카메라 유닛의 시야각(field of view)을 지시하는 시야각 정보에 기초하여, 투영된 직선 성분들 중 시야각 범위 밖에 있는 직선 성분을 제거함으로써, 촬영된 이미지에서 전방 이미지 및 바닥 이미지를 분리할 수 있다. 이에 대하여는 도 4에서 상술한 바 자세한 설명은 생략한다.
또한, 자율 주행 장치는 검출된 직선 성분을 바닥면으로 투영하고, 투영된 직선 성분의 직선 특징에 기초하여, 검출된 직선 성분 중 바닥면에 수직인 수직 직선 성분을 제거함으로써, 촬영된 이미지에서 전방 이미지 및 바닥 이미지를 분리할 수 있다. 이에 대하여는 도 5에서 상술한 바 자세한 설명은 생략한다.
다음으로, 자율 주행 장치는 전방 이미지를 이용하여 자율 주행 장치가 위치하는 장소를 추정할 수 있다(S1030).
다음으로, 자율 주행 장치는 바닥 이미지를 이용하여 자율 주행 장치의 위치를 추정할 수 있다(S1040).
실시예로서, 자율 주행 장치는 바닥 이미지에 대한 제1 특징 정보와 참조 바닥 이미지에 대한 제2 특징 정보를 이용하여, 추정된 장소에서의 자율 주행 장치의 위치를 추정할 수 있다. 이때, 제1 특징 정보는 상기 바닥 이미지로부터 검출된 직선 성분들에 대한 정보를 포함하고, 제2 특징 정보는 상기 참조 바닥 이미지로부터 검출된 직선 성분들에 대한 정보를 포함할 수 있다.
실시예로서, 추정된 장소에서의 상기 자율 주행 장치의 위치를 추정하는 것은, 바닥 이미지의 직선 성분들 및 참조 바닥 이미지의 직선 성분들로부터 직선 성분쌍을 결정하는 것 및 직선 성분쌍의 기하 관계를 분석하여, 자율 주행 장치의 위치를 추정하는 것을 포함할 수 있다. 이때, 직선 성분쌍은 바닥 이미지로부터의 제1 직선 성분 및 참조 바닥 이미지로부터의 제2 직선 성분을 포함하고, 제1 직선 성분 및 제2 직선 성분은 서로 매칭될 수 있다.
실시예로서, 직선 성분쌍의 기하 관계를 분석하여, 자율 주행 장치의 위치를 추정하는 것은, 직선 성분쌍을 연장하고, 연장된 직선의 기하 관계를 분석하는 것 및 분석 결과를 이용하여 상기 자율 주행 장치의 위치를 추정하는 것을 포함할 수 있다.
실시예로서, 연장된 직선의 기하 관계를 분석하는 것은, 제1 직선 성분에 대한 연장된 직선과 제2 직선 성분에 대한 연장된 직선 사이의 거리 및 각도를 산출하는 것이다.
다음으로, 자율 주행 장치는 추정된 위치에 기초하여 주행 방향을 제어할 수 있다(S1050).
한편, 실시예에 따라서는, 자율 주행 장치가 분리된 바닥 이미지만을 이용하여 위치를 추정할 수 있다. 즉, 자율 주행 장치는 전방 이미지를 이용한 장소 추정 없이, 바닥 이미지만을 이용하여 위치를 추정할 수도 있다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 명세서에 따른 포터블 디바이스 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 명세서의 포터블 디바이스 및 그 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하
는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안될 것이다.
그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.

Claims (16)

  1. 자율 주행 장치의 자율 주행 방법에 있어서,
    상기 자율 주행 장치의 전면 방향의 이미지를 촬영하는 단계로서, 상기 촬영된 이미지는 전방 이미지 및 바닥 이미지를 포함하는, 상기 이미지를 촬영하는 단계;
    상기 촬영된 이미지로부터 상기 전방 이미지 및 상기 바닥 이미지를 분리하는 단계;
    상기 전방 이미지를 이용하여 상기 자율 주행 장치가 위치하는 장소를 추정하는 단계;
    상기 바닥 이미지를 이용하여 상기 자율 주행 장치의 위치를 추정하는 단계; 및
    상기 추정된 위치에 기초하여 주행 방향을 제어하는 단계를 포함하고,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 단계는:
    상기 이미지를 촬영한 카메라 유닛의 자세(pose)를 지시하는 카메라 자세 정보에 기초하여, 상기 검출된 직선 성분들 중 기준선 위에 있는 직선 성분을 제거하는 단계를 포함하며,
    상기 기준선 위에 있는 직선 성분을 제거하는 단계는,
    [수학식 1]
    Figure 112019096457870-pat00029

    을 사용하여 기준선 위에 있는 직선 성분을 제거하는 단계를 더 포함하고,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 단계는 상기 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 수행되며,
    상기 기준선은 상기 전방 이미지와 상기 바닥 이미지의 경계선인, 자율 주행 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 단계는:
    상기 검출된 직선 성분을 바닥면으로 투영하는 단계; 및
    상기 카메라 유닛의 시야각(field of view)을 지시하는 시야각 정보에 기초하여, 상기 투영된 직선 성분들 중 상기 시야각 범위 밖에 있는 직선 성분을 제거하는 단계를 더 포함하는, 자율 주행 방법.
  4. 제1항에 있어서,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 단계는:
    상기 검출된 직선 성분을 바닥면으로 투영하는 단계; 및
    상기 투영된 직선 성분의 직선 특징에 기초하여, 상기 검출된 직선 성분 중 상기 바닥면에 수직인 수직 직선 성분을 제거하는 단계를 포함하는, 자율 주행 방법.
  5. 제1항에 있어서,
    상기 바닥 이미지를 이용하여 상기 자율 주행 장치의 위치를 추정하는 단계는:
    상기 바닥 이미지에 대한 제1 특징 정보와 참조 바닥 이미지에 대한 제2 특징 정보를 이용하여, 상기 추정된 장소에서의 상기 자율 주행 장치의 위치를 추정하는 단계를 포함하며,
    상기 제1 특징 정보는 상기 바닥 이미지로부터 검출된 직선 성분들에 대한 정보를 포함하고, 상기 제2 특징 정보는 상기 참조 바닥 이미지로부터 검출된 직선 성분들에 대한 정보를 포함하는, 자율 주행 방법.
  6. 제5항에 있어서,
    상기 추정된 장소에서의 상기 자율 주행 장치의 위치를 추정하는 단계는:
    상기 바닥 이미지의 직선 성분들 및 상기 참조 바닥 이미지의 직선 성분들로부터 직선 성분쌍을 결정하는 단계로서, 상기 직선 성분쌍은 상기 바닥 이미지로부터의 제1 직선 성분 및 상기 참조 바닥 이미지로부터의 제2 직선 성분을 포함하고, 상기 제1 직선 성분 및 상기 제2 직선 성분은 서로 매칭되는, 상기 직선 성분쌍을 결정하는 단계; 및
    상기 직선 성분쌍의 기하 관계를 분석하여, 상기 자율 주행 장치의 위치를 추정하는 단계를 포함하는, 자율 주행 방법.
  7. 제6항에 있어서,
    상기 직선 성분쌍의 기하 관계를 분석하여, 상기 자율 주행 장치의 위치를 추정하는 단계는:
    상기 직선 성분쌍을 연장하고, 상기 연장된 직선의 기하 관계를 분석하는 단계; 및
    분석 결과를 이용하여 상기 자율 주행 장치의 위치를 추정하는 단계를 포함하는, 자율 주행 방법.
  8. 제7항에 있어서,
    상기 연장된 직선의 기하 관계를 분석하는 단계는,
    상기 제1 직선 성분에 대한 연장된 직선과 상기 제2 직선 성분에 대한 연장된 직선 사이의 거리 및 각도를 산출하는, 자율 주행 방법.
  9. 자율 주행 장치에 있어서,
    상기 자율 주행 장치의 전면 방향의 이미지를 촬영하는 카메라 유닛에서, 상기 촬영된 이미지는 전방 이미지 및 바닥 이미지를 포함하는, 상기 카메라 유닛;
    데이터를 저장하는 메모리;
    상기 카메라 유닛 및 상기 메모리를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 촬영된 이미지로부터 상기 전방 이미지 및 상기 바닥 이미지를 분리하고;
    상기 전방 이미지를 이용하여 상기 자율 주행 장치가 위치하는 장소를 추정하고;
    상기 바닥 이미지를 이용하여 상기 자율 주행 장치의 위치를 추정하고; 및
    상기 추정된 위치에 기초하여 주행 방향을 제어하며,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 것은 상기 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 수행되며,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 것은:
    상기 카메라 유닛의 자세(pose)를 지시하는 카메라 자세 정보에 기초하여, 상기 검출된 직선 성분들 중 기준선 위에 있는 직선 성분을 제거하는 것을 포함하고,
    상기 기준선 위에 있는 직선 성분을 제거하는 것은,
    [수학식 1]
    Figure 112019096457870-pat00030

    을 사용하여 기준선 위에 있는 직선 성분을 제거하며,
    상기 기준선은 상기 전방 이미지와 상기 바닥 이미지의 경계선인, 자율 주행 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 것은:
    상기 검출된 직선 성분을 바닥면으로 투영하는 것; 및
    상기 카메라 유닛의 시야각(field of view)을 지시하는 시야각 정보에 기초하여, 상기 투영된 직선 성분들 중 상기 시야각 범위 밖에 있는 직선 성분을 제거하는 것을 더 포함하는, 자율 주행 장치.
  12. 제9항에 있어서,
    상기 전방 이미지 및 상기 바닥 이미지를 분리하는 것은:
    상기 검출된 직선 성분을 바닥면으로 투영하는 것; 및
    상기 투영된 직선 성분의 직선 특징에 기초하여, 상기 검출된 직선 성분 중 상기 바닥면에 수직인 수직 직선 성분을 제거하는 것을 포함하는, 자율 주행 장치.
  13. 제9항에 있어서,
    상기 바닥 이미지를 이용하여 상기 자율 주행 장치의 위치를 추정하는 것은:
    상기 바닥 이미지에 대한 제1 특징 정보와 참조 바닥 이미지에 대한 제2 특징 정보를 이용하여, 상기 추정된 장소에서의 상기 자율 주행 장치의 위치를 추정하는 것을 포함하며,
    상기 제1 특징 정보는 상기 바닥 이미지로부터 검출된 직선 성분들에 대한 정보를 포함하고, 상기 제2 특징 정보는 상기 참조 바닥 이미지로부터 검출된 직선 성분들에 대한 정보를 포함하는, 자율 주행 장치.
  14. 제13항에 있어서,
    상기 추정된 장소에서의 상기 자율 주행 장치의 위치를 추정하는 것은:
    상기 바닥 이미지의 직선 성분들 및 상기 참조 바닥 이미지의 직선 성분들로부터 직선 성분쌍을 결정하는 것으로서, 상기 직선 성분쌍은 상기 바닥 이미지로부터의 제1 직선 성분 및 상기 참조 바닥 이미지로부터의 제2 직선 성분을 포함하고, 상기 제1 직선 성분 및 상기 제2 직선 성분은 서로 매칭되는, 상기 직선 성분쌍을 결정하는 것; 및
    상기 직선 성분쌍의 기하 관계를 분석하여, 상기 자율 주행 장치의 위치를 추정하는 것을 포함하는, 자율 주행 장치.
  15. 제14항에 있어서,
    상기 직선 성분쌍의 기하 관계를 분석하여, 상기 자율 주행 장치의 위치를 추정하는 것은:
    상기 직선 성분쌍을 연장하고, 상기 연장된 직선의 기하 관계를 분석하는 것; 및
    분석 결과를 이용하여 상기 자율 주행 장치의 위치를 추정하는 것을 포함하는, 자율 주행 장치.
  16. 제15항에 있어서,
    상기 연장된 직선의 기하 관계를 분석하는 것은,
    상기 제1 직선 성분에 대한 연장된 직선과 상기 제2 직선 성분에 대한 연장된 직선 사이의 거리 및 각도를 산출하는, 자율 주행 장치.
KR1020180018036A 2018-02-13 2018-02-13 자율 주행 장치 및 방법 KR102048999B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180018036A KR102048999B1 (ko) 2018-02-13 2018-02-13 자율 주행 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180018036A KR102048999B1 (ko) 2018-02-13 2018-02-13 자율 주행 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190103523A KR20190103523A (ko) 2019-09-05
KR102048999B1 true KR102048999B1 (ko) 2019-11-27

Family

ID=67949688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180018036A KR102048999B1 (ko) 2018-02-13 2018-02-13 자율 주행 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102048999B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318756B1 (ko) * 2020-01-21 2021-10-29 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
CN111654687A (zh) * 2020-04-30 2020-09-11 兰州大学 共轴一体化的三维照相机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093657A1 (ja) * 2004-03-29 2005-10-06 Pioneer Corporation 道路景観解析装置及び方法
KR101302944B1 (ko) * 2009-11-04 2013-09-06 주식회사 만도 차량 인식 방법 및 장치
KR101598385B1 (ko) * 2014-11-11 2016-03-02 한양대학교 산학협력단 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551237B1 (ko) * 2014-01-07 2015-09-09 한양대학교 산학협력단 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005093657A1 (ja) * 2004-03-29 2005-10-06 Pioneer Corporation 道路景観解析装置及び方法
KR101302944B1 (ko) * 2009-11-04 2013-09-06 주식회사 만도 차량 인식 방법 및 장치
KR101598385B1 (ko) * 2014-11-11 2016-03-02 한양대학교 산학협력단 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇

Also Published As

Publication number Publication date
KR20190103523A (ko) 2019-09-05

Similar Documents

Publication Publication Date Title
US20220036574A1 (en) System and method for obstacle avoidance
US9946264B2 (en) Autonomous navigation using visual odometry
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
EP3919863A1 (en) Vslam method, controller, and mobile device
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
KR20150144729A (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9513108B2 (en) Sensor system for determining distance information based on stereoscopic images
Fiala et al. Visual odometry using 3-dimensional video input
Maier et al. Self-supervised obstacle detection for humanoid navigation using monocular vision and sparse laser data
WO2014132490A1 (ja) 車両諸元計測処理装置、車両諸元計測方法及び記録媒体
Balta et al. Terrain traversability analysis for off-road robots using time-of-flight 3d sensing
KR102048999B1 (ko) 자율 주행 장치 및 방법
Guizilini et al. Semi-parametric models for visual odometry
CN108459595A (zh) 一种移动电子设备以及该移动电子设备中的方法
KR102135672B1 (ko) 자율 주행 장치 및 방법
CN106682584B (zh) 无人机障碍物检测方法及装置
KR102242744B1 (ko) 이동 로봇과 이동 로봇의 엘리베이터 인식 방법
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
Larranaga-Cepeda et al. On-line dense point cloud generation from monocular images with scale estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant