KR20190103524A - 자율 주행 장치 및 방법 - Google Patents

자율 주행 장치 및 방법 Download PDF

Info

Publication number
KR20190103524A
KR20190103524A KR1020180018040A KR20180018040A KR20190103524A KR 20190103524 A KR20190103524 A KR 20190103524A KR 1020180018040 A KR1020180018040 A KR 1020180018040A KR 20180018040 A KR20180018040 A KR 20180018040A KR 20190103524 A KR20190103524 A KR 20190103524A
Authority
KR
South Korea
Prior art keywords
straight line
information
boundary
driving device
depth
Prior art date
Application number
KR1020180018040A
Other languages
English (en)
Other versions
KR102135672B1 (ko
Inventor
서일홍
김용년
고동욱
이진한
Original Assignee
코가플렉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코가플렉스 주식회사 filed Critical 코가플렉스 주식회사
Priority to KR1020180018040A priority Critical patent/KR102135672B1/ko
Publication of KR20190103524A publication Critical patent/KR20190103524A/ko
Application granted granted Critical
Publication of KR102135672B1 publication Critical patent/KR102135672B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 자율 주행 장치의 자율 주행 방법은 자율 주행 장치의 전면 방향의 이미지를 촬영하는 것, 촬영된 이미지로부터 전방 이미지 및 바닥 이미지를 분리하는 것, 전방 이미지를 이용하여 상기 자율 주행 장치가 위치하는 장소를 추정하는 것, 바닥 이미지를 이용하여 자율 주행 장치의 위치를 추정하는 것 및 추정된 위치에 기초하여 주행 방향을 제어하는 것을 포함한다. 여기서, 전방 이미지 및 바닥 이미지를 분리하는 것은 촬영된 이미지로부터 검출된 직선 성분들을 이용하여 수행된다.

Description

자율 주행 장치 및 방법{AUTONOMOUS DRIVING DEVISE AND METHOD}
본 명세서는 자율 주행 장치 및 방법에 관한 것으로서, 보다 상세하게는 시각 정보 및 깊이 정보를 이용하는 자율 주행 장치 및 방법에 관한 것이다.
주변 사물을 인식하는 센서 기술의 발달과 카메라를 통해 촬영된 주변 이미지를 분석하는 이미지 처리 기술의 발달은 자율 주행하는 장치의 개발 및 발전을 이끌어 왔다. 이러한 자율 주행을 위해서는 자율 주행 장치의 정확한 자세 추정이 필요하다.
자율 주행 장치의 자세 추정을 위해, 카메라에 의해 촬영된 바닥 이미지를 이용하는 기술이 사용되기도 한다. 그러나, 이 기술은 바닥면이 고르지 않은 실외 환경에서 자율 주행 장치의 자세를 정확히 추정하기 어렵다. 또한, 자율 주행 장치의 자세 추정을 위해, 카메라에 의해 촬영된 전방 이미지를 이용하는 기술이 사용되기도 한다. 그러나, 이 기술은 전방 이미지 내의 오브젝트가 일정한 또는 규칙적인 특징을 갖는 경우, 정확한 위치 및 자세를 추정하기 어렵다. 따라서, 이러한 상황에 강인하며, 자율 주행 장치의 자세를 정확히 추정하기 위한 새로운 방식의 자세 추정 기술이 필요하다.
이에 본 명세서는 전방 카메라를 통해 획득된 전방 이미지의 이미지 데이터로부터 추출된 소실점을 이용하여 자율 주행 장치의 자세를 추정하는 자율 주행 장치 및 방법을 제공한다.
또한, 본 명세서는 서로 다른 방향을 촬영하는 복수의 깊이 카메라를 통해 획득된 깊이 데이터를 이용하여 자율 주행 장치의 자세를 추정하는 자율 주행 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 자율 주행 장치의 자율 주행 방법은, 상기 자율 주행 장치의 전방의 이미지를 촬영하는 전방 카메라를 통해 획득된 이미지 데이터를 이용하여, 상기 자율 주행 장치가 위치하는 장소를 지시하는 장소 정보를 생성하는 것; 상기 자율 주행 장치의 제1 방향의 이미지를 촬영하는 제1 깊이 카메라를 통해 획득된 제1 깊이 데이터 및 상기 자율 주행 장치의 제2 방향의 이미지를 촬영하는 제2 깊이 카메라를 통해 획득된 제2 깊이 데이터를 이용하여, 상기 자율 주행 장치의 제1 자세 정보를 생성하는 것; 및 상기 장소 정보 및 상기 제1 자세 정보에 기초하여 상기 자율 주행 장치의 주행을 제어하는 것을 포함하며, 상기 제1 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제1 경계와 연관된 제1 경계 오브젝트에 대한 깊이 정보를 포함하고, 상기 제2 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제2 경계와 연관된 제2 경계 오브젝트에 대한 깊이 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 장치는 데이터를 저장하는 메모리, 상기 메모리를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 자율 주행 장치의 전방의 이미지를 촬영하는 전방 카메라를 통해 획득된 이미지 데이터를 이용하여, 상기 자율 주행 장치가 위치하는 장소를 지시하는 장소 정보를 생성하고; 상기 자율 주행 장치의 제1 방향의 이미지를 촬영하는 제1 깊이 카메라를 통해 획득된 제1 깊이 데이터 및 상기 자율 주행 장치의 제2 방향의 이미지를 촬영하는 제2 깊이 카메라를 통해 획득된 제2 깊이 데이터를 이용하여, 상기 자율 주행 장치의 제1 자세 정보를 생성하고; 및 상기 장소 정보 및 상기 제1 자세 정보에 기초하여 상기 자율 주행 장치의 주행을 제어하며, 상기 제1 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제1 경계와 연관된 제1 경계 오브젝트에 대한 깊이 정보를 포함하고, 상기 제2 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제2 경계와 연관된 제2 경계 오브젝트에 대한 깊이 정보를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 전방 카메라를 통해 획득된 전방 이미지의 이미지 데이터로부터 추출된 소실점을 이용하여 전방 카메라의 자세를 추정하고, 이에 기초하여 자율 주행 장치의 자세를 추정함으로써 정확한 자세 추정이 가능하다.
또한, 본 발명의 일 실시예에 따르면, 서로 다른 방향을 촬영하는 복수의 깊이 카메라를 통해 획득된 깊이 데이터를 이용하여 주행 경로 상의 양 경계와 연관된 경계 오브젝트에 대한 깊이 정보를 획득하고, 이에 기초하여 자율 주행 장치의 자세를 추정함으로써 정확한 자세 추정이 가능하다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 장치의 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 복수의 카메라 유닛을 포함하는 예시적인 자율 주행 장치를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 장치가 주행하는 예시적인 주행 환경을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 장치에 의해 촬영된 전방 이미지를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 자율 주행 장치가 소실점을 이용하여 자세를 추정하는 방법을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 장치가 깊이 데이터를 이용하여 자세를 추정하는 방법을 나타낸다.
도 7은 본 발명의 다른 실시예에 따른 자율 주행 장치가 깊이 데이터를 이용하여 자세를 추정하는 방법을 나타낸다.
도 8은 자율 주행 장치의 자율 주행 방법의 순서도이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서, 자율 주행 장치는 자율 주행하는 다양한 종류의 이동체(예컨대, 이동 로봇, 무인차량, 로봇 청소기 등)에 해당하거나, 이 자율 주행 이동체에 포함되는 장치일 수 있다.
본 발명의 일 실시예에 따른 자율 주행 장치는 전방 카메라로부터 획득된 전방 이미지를 이용하여 자율 주행 장치가 주행하는 장소를 추정할 수 있다. 또한, 자율 주행 장치는 복수의 깊이 카메라로부터 획득된 깊이 데이터를 이용하여 주행 도로의 양쪽 경계와 연관된 직선들을 추정하고, 추정된 직선들을 이용하여 자세를 추정할 수 있다. 또한, 자율 주행 장치는 전방 카메라로부터 획득된 전방 이미지를 이용하여 전방 이미지에 대한 소실점을 추출하고, 추출된 소실점을 이용하여 자세를 추정할 수 있다. 이렇게 추정된 장소 및 자세에 대한 정보에 기초하여, 자율 주행 장치는 주행을 제어할 수 있다.
이하에서는 각 도면을 참조하여 본 발명의 다양한 실시예들에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 장치의 블록도를 나타낸다. 도 2는 본 발명의 일 실시예에 따른 복수의 카메라 유닛을 포함하는 예시적인 자율 주행 장치를 나타낸다.
도 1을 참조하면, 자율 주행 장치(100)는 복수의 카메라 유닛(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
자율 주행 장치(100)는 자율 주행 장치(100)의 주변의 이미지를 촬영(capture)하는 복수의 카메라 유닛(110)을 포함할 수 있다. 예를 들면, 도 2에 도시된 것처럼, 복수의 카메라 유닛(110)은 자율 주행 장치(100)의 전면 방향의 이미지를 촬영하는 전방 카메라 유닛(111), 자율 주행 장치(100)의 제1 방향의 이미지를 촬영하는 제1 깊이 카메라 유닛(112) 및/또는 자율 주행 장치(100)의 제2 방향의 이미지를 촬영하는 제2 깊이 카메라 유닛(113)을 포함할 수 있다. 실시예로서, 제1 방향 및 제2 방향은 서로 반대 방향일 수 있다. 예를 들면, 제1 방향은 자율 주행 장치의 좌측 방향일 수 있고, 제2 방향은 자율 주행 장치의 우측 방향일 수 있다.
본 명세서에서, 전방 카메라 유닛(111), 제1 깊이 카메라 유닛(112) 및 제2 깊이 카메라 유닛(113)은 각각 전방 카메라, 제1 깊이 카메라 및 제2 깊이 카메라로 지칭될 수도 있다. 각각에 대하여 설명하면 다음과 같다.
전방 카메라는 자율 주행 장치(100)의 전방의 이미지를 촬영할 수 있다. 보다 상세하게는, 전방 카메라는 시야각(field of view) 범위 내의 전방 이미지를 촬영하고, 이에 대한 데이터(이미지 데이터)를 프로세서(130)로 전달할 수 있다. 여기서, 전방 이미지는 자율 주행 장치(100)의 전방에 대한 이미지로서, 전방에 시각적 정보를 제공할 수 있다. 실시예로서, 전방 카메라는 전방 이미지를 촬영하는 2D 카메라(예컨대, RGB 카메라)일 수 있고, 촬영된 전방 이미지는 전방 이미지는 소실점을 포함하는 2D 이미지일 수 있다.
제1 깊이 카메라는 자율 주행 장치(100)의 제1 방향의 이미지를 촬영할 수 있다. 보다 상세하게는, 제1 깊이 카메라는 시야각(field of view) 범위 내의 제1 방향의 이미지를 촬영하고, 이에 대한 데이터(제1 깊이 데이터)를 프로세서(130)로 전달할 수 있다. 여기서, 제1 방향의 이미지(제1 방향 이미지)는 자율 주행 장치(100)의 전면 방향이 아닌 다른 방향에 대한 이미지로서, 예컨대, 좌측 방향에 대한 이미지(좌측 방향 이미지)일 수 있다. 실시예로서, 제1 깊이 카메라는 좌측 방향 이미지를 촬영하는 3D 카메라(예컨대, RGBD 카메라)일 수 있고, 촬영된 좌측 방향 이미지는 주행 도로의 좌측 경계와 연관된 제1 경계 오브젝트(예컨대, 좌측 울타리)를 포함하는 3D 이미지일 수 있다.
제2 깊이 카메라는 자율 주행 장치(100)의 제2 방향의 이미지를 촬영할 수 있다. 보다 상세하게는, 제2 깊이 카메라는 시야각(field of view) 범위 내의 제2 방향의 이미지를 촬영하고, 이에 대한 데이터(제2 깊이 데이터)를 프로세서(130)로 전달할 수 있다. 여기서, 제2 방향의 이미지(제2 방향 이미지)는 자율 주행 장치(100)의 전면 방향이 아닌 다른 방향에 대한 이미지로서, 예컨대, 우측 방향에 대한 이미지(우측 방향 이미지)일 수 있다. 실시예로서, 제2 깊이 카메라는 우측 방향 이미지를 촬영하는 3D 카메라(예컨대, RGBD 카메라)일 수 있고, 촬영된 우측 방향 이미지는 주행 도로의 우측 경계와 연관된 제2 경계 오브젝트(예컨대, 우측 울타리)를 포함하는 3D 이미지일 수 있다.
메모리(120)는 프로세서(130)와 연결되어, 프로세서(130)를 구동하기 위한 다양한 정보를 저장할 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 자율 주행 장치(100)의 동작을 구현하는 모듈, 데이터, 프로그램 또는 소프트웨어 중 적어도 하나가 메모리(120)에 저장되고, 프로세서(130)에 의하여 실행될 수 있다. 메모리(120)는 프로세서(130)의 내부에 포함되거나 또는 프로세서(130)의 외부에 설치되어 프로세서(130)와 공지의 수단에 의해 연결될 수 있다.
프로세서(130)는 카메라 유닛(110) 및 메모리(120)와 연결되어, 이를 제어할 수 있다. 프로세서(130)는 본 발명의 다양한 실시예에 따른 동작을 수행하도록 구성될 수 있다. 예를 들면, 프로세서(130)는 전방 카메라로부터 획득된 전방 이미지를 이용하여 자율 주행 장치가 주행하는 장소를 추정할 수 있다. 또한, 프로세서(130)는 복수의 깊이 카메라로부터 획득된 깊이 데이터를 이용하여 주행 도로의 양쪽 경계에 대응되는 직선들을 추정하고, 추정된 직선들을 이용하여 자세를 추정할 수 있다. 또한, 프로세서(130)는 전방 카메라로부터 획득된 전방 이미지를 이용하여 전방 이미지에 대한 소실점을 추출하고, 추출된 소실점을 이용하여 자세를 추정할 수 있다.
이러한 프로세서(130)의 동작들은 이하에서 각 도면들을 참조하여 자세히 설명하도록 한다. 이하에서는, 프로세서(130)가 자율 주행 장치(100) 또는 자율 주행 장치(100)에 포함된 적어도 하나의 구성요소를 제어한다고 표현할 수 있으며, 프로세서(130)와 자율 주행 장치(100)를 동일시하여 설명할 수 있다.
도 1은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 자율 주행 장치(100)의 구성요소들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 자율 주행 장치(100)의 구성요소들은 자율 주행 장치(100)의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 장치가 주행하는 예시적인 주행 환경을 나타낸다.
상술한 것처럼, 본 발명의 일 실시예에 따른 자율 주행 장치가 자율 주행하는 환경에 대한 특별한 제약은 없으나, 특정한 주행 환경에서 자율 주행 장치의 자세 추정의 정확도가 상승될 수 있다. 예를 들면, 도 3에 도시된 것처럼, 주행 환경이 서로 평행하게 배열된 좌우 울타리(fence)에 의해 주행 도로의 양쪽 경계가 구분되는 축사 환경인 경우, 일정한 특징(예컨대, 평행성)이 반복되며 촬영된 이미지로부터 소실점이 강인하게 검출되기 때문에, 자율 주행 장치의 자세 추정의 정확도가 상승될 수 있다.
이하에서는 이러한 예시적인 주행 환경에서, 자율 주행 장치가 복수의 카메라를 통해 획득한 시각 정보 및 깊이 정보를 이용하여 주행을 제어하는 각 실시예에 대하여 설명한다. 다만, 이는 설명의 편의를 위한 것이고, 본 발명의 일 실시예에 따른 자율 주행 장치의 자율 주행 방법이 이러한 예시적인 주행 환경에서만 적용되는 것으로 제한되는 것은 아니다. 예를 들면, 주행 도로의 양쪽 경계와 연관된 경계 오브젝트(예컨대, 울타리(fence), 벽(wall) 등)가 규칙적인 특성(예컨대, 평행성)을 갖는 다양한 종류의 환경에서도 이하의 설명과 동일하거나 유사한 설명이 적용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 장치에 의해 촬영된 전방 이미지를 나타낸다. 자율 주행 장치는 이 도 4의 예시와 같은 전방 이미지를 이용하여 장소를 추정할 수 있다. 이하에서는 도 4를 참조하여 이를 설명한다.
상술한 것처럼, 자율 주행 장치는 전방 카메라를 이용하여 전방 이미지를 촬영할 수 있다. 전방 이미지는 자율 주행 장치의 전방에 대한 시각적 정보를 제공할 수 있다. 예를 들면, 전방 이미지는 자율 주행 장치의 전방에 대한 시각적 정보를 제공하는 2D 이미지일 수 있다. 이 경우, 전방 이미지에 대한 이미지 데이터는 깊이 정보를 포함하지 않는다.
도시된 것처럼, 전방 이미지는 전면 방향에 위치하는 오브젝트들(예컨대, 울타리, 지붕, 바닥 등)에 대한 이미지를 포함할 수 있다. 이때, 전방 이미지 내의 오브젝트들의 이미지는 직선 특징을 가질 수 있다. 도 4의 실시예에서, 전방 이미지 상의 직선 특징을 나타내는 직선 성분은 노란색 선으로 표시된다. 이러한 직선 특징은 전방 이미지의 특징을 나타내는 특징 정보로서 사용될 수 있다.
실시예로서, 자율 주행 장치는 전방 이미지로부터 직선 성분을 검출할 수 있다. 이때, 자율 주행 장치는 미리 설정된 직선 검출 알고리즘(예컨대, 허프 변환(hough transform))을 사용하여, 전방 이미지로부터 직성 성분을 검출할 수 있다.
일 실시예로서, 검출된 전방 이미지에 대한 직선 성분에 기초하여, 자율 주행 장치는 자율 주행 장치가 주행하는 장소를 추정할 수 있다. 예를 들면, 자율 주행 장치는 전방 이미지에 대한 직선 성분에 기초하여, 미리 알고 있는 복수의 장소 중 하나를 현재 자율 주행 장치가 위치하는 장소로 추정할 수 있다. 이에 대하여 설명하면 다음과 같다.
먼저, 이 주행 경로 상의 복수의 장소에서의 참조 전방 이미지가 미리 획득 및 분류되어, 데이터베이스에 저장되어 있다고 가정한다. 이때, 참조 전방 이미지는 참조 전방 이미지에 대한 특징 정보에 기초하여 분류될 수 있다. 여기서, 참조 전방 이미지에 대한 특징 정보는 참조 전방 이미지로부터 검출된 직선 성분에 대한 정보를 포함할 수 있다.
이 경우, 자율 주행 장치는 촬영된 전방 이미지(현재 전방 이미지)에 대한 특징 정보와 가장 유사한 특징 정보를 갖는 참조 전방 이미지를 데이터베이스로부터 검색하고, 참조 전방 이미지에 대응되는 장소를 현재 자율 주행 장치가 위치하는 장소(현재 장소)로 추정할 수 있다. 예를 들면, 자율 주행 장치는 현재 전방 이미지에 대한 직선 성분 정보와 데이터베이스에 저장된 참조 전방 이미지에 대한 직선 성분 정보를 비교하여, 가장 유사한 직선 성분을 포함하는 참조 전방 이미지에 대응되는 장소를 현재 장소로 추정할 수 있다.
이를 위해 미리 설정된 이미지 분류/검색 알고리즘이 사용될 수 있다. 실시예로서, 참조 전방 이미지를 분류하고, 검색하기 위한 알고리즘으로는 예컨대, 공지된 이미지 분류/검색 알고리즘인 BoW(Bag of Word) 알고리즘이 사용될 수 있다.
다른 실시예로서, 검출된 전방 이미지에 대한 직선 성분에 기초하여, 자율 주행 장치는 전방 이미지로부터 소실점을 추출할 수 있다. 도 4에 도시된 것과 같이, 전방 이미지는 소실점을 포함할 수 있다. 여기서, 소실점은 3차원 실 공간에서의 평행한 직선들을 2차원 영상으로 투영할 때, 원근효과로 인해 그 평행성을 상실하여 이들의 연장선이 만나는 한 점을 의미한다. 이와 같이, 자율 주행 장치는 전방 이미지의 이미지 데이터로부터 소실점을 추출하고, 이 소실점과 전방 이미지의 중심점(주점)에 기초하여 자세를 추정할 수 있다. 이에 대하여는 도 5를 참조하여 이하에서 설명한다.
도 5는 본 발명의 일 실시예에 따른 자율 주행 장치가 소실점을 이용하여 자세를 추정하는 방법을 나타낸다. 도 5(a)는 소실점을 포함하는 전방 이미지를 나타낸 도면이고, 도 5(b)는 기준 평면 상의 소실점과 연관된 직선을 나타낸 도면이다. 실시예로서, 기준 평면은 수평면(지평면)에 평행한 평면일 수 있다. 예를 들면, 기준 평면은 복수의 카메라 유닛이 배치된 평면일 수 있다.
도 5(a)에서와 같이, 주행 환경이 평행한 울타리가 있는 축사 환경인 경우, 전방 이미지에서 소실점이 강인하게 검출될 수 있다. 도 5(a)의 실시예에서, 소실점을 포함하는 영역은 초록색 원으로 표시되고, 전방 이미지의 가로 중심선 및 세로 중심선은 빨간색 선으로 표시된다. 이 경우, 전방 이미지의 주점(중점)은 이 가로 중심선 및 세로 중심선의 교차점으로 표시될 수 있다.
도 5(b)에서와 같이, 소실점과 연관된 직선 및 기준선이 기준 평면 상에 표시될 수 있다. 도 5(b)의 실시예에서, 기준 평면 상의 소실점과 연관된 직선은 초록색 선으로 표시되고, 기준 평면 상의 수평 기준선 및 수직 기준선은 빨간색 선으로 표시된다. 이 경우, 기준 평면 상의 기준점은 이 수평 기준선 및 수직 기준선의 교차점으로 표시될 수 있다.
일 실시예에서, 기준 평면 상의 기준점은 전방 카메라의 원점과 연관된 점(좌표)일 수 있다. 예를 들면, 기준 평면 상의 기준점은 전방 카메라의 원점을 기준 평면 상에 투영한 점일 수 있다. 또한, 실시예로서, 소실점과 연관된 직선은 기준 평면 상의 소실점과 연관된 점(좌표)과 기준점을 연결하는 직선일 수 있다. 예를 들면, 소실점과 연관된 직선은 소실점을 기준 평면 상에 투영한 점과 기준점을 연결하는 직선일 수 있다.
다른 실시예에서, 기준 평면 상의 기준 점은 자율 주행 장치의 중점일 수 있다. 예를 들면, 기준 평면 상의 기준 점은 도 2와 같은 자율 주행 장치의 중앙을 나타내는 중점일 수 있다.
한편, 도 5(a)에서와 같은 평행한 울타리가 있는 축사 환경에서, 미리 설정된 주행 경로는 축사의 입구에서 출구까지의 직선 경로일 수 있다. 이 경우, 소실점과 연관된 직선의 방향은 미리 설정된 주행 경로의 방향에 대응될 수 있고, 수직 기준선의 방향은 전방 카메라의 광학 축의 방향에 대응될 수 있다. 따라서, 자율 주행 장치는 기준 평면 상에서 두 직선이 이루는 각도를 산출함으로써, 미리 설정된 주행 경로에 대하여 전방 카메라의 광학 축이 이루는 상대적인 각도를 산출할 수 있다. 이를 통해, 소실점과 연관된 직선 및 전방 카메라의 광학 축과 연관된 직선 간의 수평 각도(pan)가 산출될 수 있다. 자율 주행 장치는 이를 이용하여 전방 카메라의 자세를 추정할 수 있다. 또한, 이에 기초하여, 자율 주행 장치는 전방 카메라의 자세를 보정(calibration)할 수 있다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 장치가 깊이 데이터를 이용하여 자세를 추정하는 방법을 나타낸다. 도 6(a)는 기준 평면 상의 주행 경로의 좌측 경계 및 우측 경계와 연관된 평행한 두 직선 및 이 평행한 두 직선에 의해 추정된 현재 주행 방향과 연관된 직선을 나타낸 도면이고, 도 6(b)는 현재 주행 방향과 연관된 직선 및 소실점과 연관된 직선을 나타낸 도면이다. 도 6에서는 도 5에서 상술한 설명과 중복된 설명은 생략한다.
상술한 것처럼, 평행한 울타리가 있는 축사 환경에서, 미리 설정된 주행 경로는 축사의 입구에서 출구까지의 직선 경로일 수 있다. 이 경우, 좌측 경계 및 우측 경계와 연관된 평행한 두 직선은 주행 경로 상의 좌측 울타리가 놓여진 좌측 경계선 및 우측 울타리가 놓여진 우측 경계선에 대응하는 평행한 두 직선일 수 있다.
실시예로서, 자율 주행 장치는 제1 깊이 카메라로부터 획득된 좌측 방향 이미지에 대한 제1 깊이 데이터 및 제2 깊이 카메라로부터 획득된 우측 방향 이미지에 대한 제2 깊이 데이터에 기초하여, 좌측 경계 및 우측 경계와 연관된 평행한 두 직선을 결정할 수 있다. 예를 들면, 자율 주행 장치는 좌측 방향 이미지의 깊이 데이터 및 우측 방향 이미지의 깊이 데이터와 연관된 점들을 기준 평면 상에 표현하고, 이 점들에 기초하여 평행한 두 직선을 결정할 수 있다.
실시예로서, 자율 주행 장치는 좌측 방향 이미지의 깊이 데이터 및 우측 방향 이미지의 깊이 데이터의 값을 기준 평면 상의 점들로 변환함으로써, 깊이 데이터와 연관된 점들을 기준 평면 상에 표현할 수 있다. 예를 들면, 자율 주행 장치는 깊이 데이터의 각 3D 좌표 값을 기준 평면 상에 투영함으로써, 깊이 데이터의 값을 기준 평면 상의 점들로 변환할 수 있다. 이러한 기준 평면상의 깊이 데이터와 연관된 점들은 도 6(a) 및 6(b)에서 두 그룹(610, 620)의 점들로 표시된다.
도 6(a)의 실시예에서, 녹색으로 표시된 그룹(610)의 점들은 좌측 방향 이미지의 깊이 데이터와 연관된 점들 중 미리 설정된 높이 이상의 점들만을 나타낸 것일 수 있고, 빨간색으로 표시된 그룹(620)의 점들은 우측 방향 이미지의 깊이 데이터와 연관된 점들 중 미리 설정된 높이 이상의 점들만을 나타낸 것일 수 있다. 이 경우, 그룹(610)의 점들은 좌측 울타리에 대한 깊이 정보를 나타낼 수 있고, 그룹(620)의 점들을 우측 울타리에 대한 깊이 정보를 나타낼 수 있다.
자율 주행 장치는 미리 설정된 알고리즘을 이용하여 기준 평면 상의 점들을 대표하는 평행한 두 직선을 결정할 수 있다. 이때, 각 직선은 제1 깊이 데이터로부터의 점들과 제2 깊이 데이터로부터의 점들을 각각 대표할 수 있다. 실시예로서, 자율 주행 장치는 각 그룹(610, 620)의 점들과의 거리의 합이 최소가 되는 직선을 각 그룹(610, 620)의 점들을 대표하는 직선으로 결정할 수 있다. 도 6(a)의 실시예에서, 각 그룹(610, 620)의 점들과 각 직선 간의 거리(수직 거리)는 흰색 선으로 표시된다. 이에 대하여는 도 7을 참조하여 이하에서 설명한다.
또한, 자율 주행 장치는 이 평행한 두 직선으로부터 추정된 현재 주행 방향과 연관된 직선을 추정할 수 있다. 도 6(a)의 실시예에서, 현재 주행 방향과 연관된 직선은 파란색 선으로 표시된다. 실시예로서, 현재 주행 방향과 연관된 직선은 이 두 직선과 평행한 직선으로서 기준점을 지나는 직선일 수 있다. 이 경우, 현재 주행 방향과 연관된 직선의 방향은 현재 자율 주행 장치가 주행하는 방향에 대응된다. 즉, 현재 주행 방향과 연관된 직선의 방향은 현재 주행 경로의 방향에 대응될 수 있다.
도 6(b)에서와 같이, 현재 주행 방향과 연관된 직선, 소실점과 연관된 직선 및 기준선이 기준 평면 상에 표시될 수 있다. 도 6(b)의 실시예에서, 기준 평면 상의 현재 주행 방향과 연관된 직선은 파란색 선으로 표시되고, 기준 평면 상의 소실점과 연관된 직선은 초록색 선으로 표시되고, 기준 평면 상의 수평 기준선 및 수직 기준선은 빨간색 선으로 표시된다. 소실점과 연관된 직선 및 기준선에 대하여는 도 5에서 상술한 바 자세한 설명은 생략한다.
실시예로서, 자율 주행 장치는 기준 평면 상에서 현재 주행 방향과 연관된 직선과 소실점과 연관된 직선이 이루는 각도를 산출함으로써, 미리 설정된 주행 경로에 대하여 현재 주행 경로가 이루는 상대적인 각도를 산출할 수 있다. 이를 통해, 자율 주행 장치는 자율 주행 장치의 상대적인 자세를 추정할 수 있다. 또한, 자율 주행 장치는 이 자세 정보에 기초하여 현재 주행 경로가 미리 설정된 주행 경로와 일치하도록 주행 방향을 제어할 수 있다. 이를 통해, 자율 주행 장치는 미리 설정된 주행 경로에 따라 주행할 수 있다.
한편, 전방 카메라의 자세와 자율 주행 장치의 자세가 일치하는 경우, 기준 평면 상에서 소실점과 연관된 직선과 수직 기준선이 일치하게 된다. 이 경우, 자율 주행 장치는 기준 평면 상에서 현재 주행 방향과 연관된 직선과 기준선이 이루는 각도를 산출함으로써, 미리 설정된 주행 경로에 대하여 현재 주행 경로가 이루는 상대적인 각도를 산출할 수 있다. 이를 통해, 자율 주행 장치는 자율 주행 장치의 자세를 추정할 수 있다. 이와 같이, 전방 카메라의 자세와 자율 주행 장치의 자세가 일치하는 경우, 자율 주행 장치는 소실점의 검출 및 소실점과 연관된 직선의 추정 없이, 깊이 데이터에 기초하여 추정된 현재 주행 방향과 연관된 직선만을 이용하여 자율 주행 장치의 자세를 추정할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 자율 주행 장치가 깊이 데이터를 이용하여 자세를 추정하는 방법을 나타낸다. 도 7(a)는 주행 경로 상의 두 경계 오브젝트 간의 거리를 나타낸 도면이고, 도 7(b)는 기준 평면 상의 깊이 데이터와 연관된 점들을 나타낸 도면이고, 도 7(c)는 기준 평면 상의 깊이 데이터와 연관된 점들로부터 결정된 평행한 두 직선을 나타낸 도면이다. 도 7에서는 도 5 및 6에서 상술한 설명과 중복된 설명은 생략한다.
도 7의 실시예에서, 그룹(710)의 점들은 제1 깊이 데이터와 연관된 점들을 나타내고, 그룹(720)의 점들은 제2 깊이 데이터와 연관된 점들을 나타낸다. 또한, 도 7의 실시예에서, 녹색으로 표시된 점들은 깊이 데이터와 연관된 점들 중 점들의 높이가 제1 기준 높이보다 낮은 점들(예를 들면, 높이가 낮아 주행이 가능한 영역(예컨대, 바닥) 상의 점들)을 나타내고, 파란색으로 표시된 점들은 깊이 데이터와 연관된 점들 중 점들의 높이가 제1 기준 높이보다 높고 제2 기준 높이보다 낮은 점들(예컨대, 높이가 높아 주행이 불가능하지만 울타리로 간주하기에는 너무 낮은 장애물(즉, 울타리라고 명백히 확신하기는 어려운 장애물)을 나타내는 점들)을 나타내고, 빨간색으로 표시된 점들은 깊이 데이터와 연관된 점들 중 점들의 높이가 제2 기준 높이보다 높은 점들(예컨대, 높이가 충분히 높아 울타리로 간주되는 장애물(즉, 울타리로 간주되는 장애물)을 나타내는 점들)을 나타낸다. 이 경우, 빨간색으로 표시된 점들만이 또는 빨간색과 파란색으로 표시된 점들이 경계 오브젝트(예컨대, 울타리)를 나타내는 점들로 간주될 수 있다.
도 7(a)에서와 같이, 주행 경로 상의 두 경계 오브젝트(예컨대, 좌/우 울타리)는 서로 일정한 거리(d)를 갖는 평행한 두 직선으로 표현될 수 있다.
도 7(b)에서와 같이, 제1 깊이 데이터와 연관된 점들 및 제2 깊이 데이터와 연관된 점들이 기준 평면 상에 표현될 수 있다. 이때, 제1 깊이 데이터는 제1 경계 오브젝트(예컨대, 좌측 울타리)에 대한 깊이 정보(예컨대, 3D 좌표/거리 정보)를 포함하고, 제2 깊이 데이터는 제2 경계 오브젝트(예컨대, 우측 울타리)에 대한 깊이 정보(예컨대, 3D 좌표/거리 정보)를 포함할 수 있다. 따라서, 제1 깊이 데이터와 연관된 점들 및 제2 깊이 데이터와 연관된 점들은 제1 경계 오브젝트와 연관된 점들 및 제2 경계 오브젝트와 연관된 점들을 포함할 수 있다.
도 7(c)에서와 같이, 기준 평면 상의 제1 깊이 데이터와 연관된 점들 및 제2 깊이 데이터와 연관된 점들을 각각 대표하는 평행한 두 직선이 결정될 수 있다. 이때, 미리 알고 있는 두 경계 오브젝트 간의 거리 정보가 이 평행한 두 직선을 결정하기 위해 사용될 수 있다.
일 실시예에서, 자율 주행 장치는 각 그룹(710, 720)의 점들 중 미리 설정된 높이 이상의 점들만을 검출하고, 검출된 점들과의 거리의 합이 최소가 되는 직선을 경계 오브젝트를 나타내는 직선으로 결정할 수 있다. 예를 들면, 자율 주행 장치는 그룹(710)의 점들 중 미리 설정된 기준 높이(예컨대, 제1 기준 높이 또는 제2 기준 높이) 보다 높은 점들(파란 및/또는 빨간색 점들)을 추출하고, 추출된 점들과의 거리의 합이 최소가 되는 직선을 제1 경계 오브젝트를 나타내는 직선으로서 결정할 수 있다. 다른 예를 들면, 자율 주행 장치는 그룹(720)의 점들 중 미리 설정된 기준 높이(예컨대, 제1 기준 높이 또는 제2 기준 높이) 보다 높은 점들(파란 및/또는 빨간색 점들)을 추출하고, 추출된 점들과의 거리의 합이 최소가 되는 직선을 제2 경계 오브젝트를 나타내는 직선으로서 결정할 수 있다.
다른 실시예에서, 자율 주행 장치는 제1 깊이 데이터와 연관된 점들 및 제2 깊이 데이터와 연관된 점들의 기울기 특성 및/또는 거리 특성에 기초하여, 평행한 두 직선을 결정할 수 있다. 예를 들면, 자율 주행 장치는 제1 깊이 데이터와 연관된 점들 및 제2 깊이 데이터와 연관된 점들의 기울기 특성 및/또는 거리 특성에 기초하여, 제1 경계 오브젝트와 연관된 점들 및 제2 경계 오브젝트와 연관된 점들을 추출하고, 제1 경계 오브젝트와 연관된 점들 및 제2 경계 오브젝트와 연관된 점들을 대표하는 평행한 두 직선의 회전(rotation) 속성 및 평행이동(translation) 속성을 결정할 수 있다. 이를 통해, 자율 주행 장치는 평행한 두 직선을 결정할 수 있다. 상술한 것처럼, 이렇게 결정된 평행한 두 직선은 주행 경로 상의 양 경계 또는 경계 오브젝트와 연관될 수 있다.
도 8은 자율 주행 장치의 자율 주행 방법의 순서도이다. 도 8에서는 도 1 내지 7에서 상술한 설명과 중복된 설명은 생략한다.
먼저, 자율 주행 장치는 자율 주행 장치의 전방의 이미지를 촬영하는 전방 카메라를 통해 획득된 이미지 데이터를 이용하여, 자율 주행 장치가 위치하는 장소를 지시하는 장소 정보를 생성할 수 있다(S810). 실시예로서, 촬영된 전방 이미지는 소실점을 포함할 수 있다.
자율 주행 장치는 자율 주행 장치의 제1 방향의 이미지를 촬영하는 제1 깊이 카메라를 통해 획득된 제1 깊이 데이터 및 자율 주행 장치의 제2 방향의 이미지를 촬영하는 제2 깊이 카메라를 통해 획득된 제2 깊이 데이터를 이용하여, 자율 주행 장치의 제1 자세 정보를 생성할 수 있다(S820). 실시예로서, 제1 방향과 제2 방향은 서로 반대 방향일 수 있다. 예를 들면, 제1 방향은 자율 주행 장치의 좌측 방향이고, 제2 방향은 상기 자율 주행 장치의 우측 방향일 수 있다. 이를 통해, 자율 주행 장치는 좌측 및 우측 방향에 위치하는 오브젝트에 대한 깊이 정보를 획득할 수 있다.
이때, 제1 깊이 데이터는 자율 주행 장치가 주행하는 주행 도로의 제1 경계와 연관된 제1 경계 오브젝트(예컨대, 제1 깊이 카메라의 촬영/센싱 범위 내의 울타리)에 대한 깊이 정보를 포함하고, 제2 깊이 데이터는 자율 주행 장치가 주행하는 주행 도로의 제2 경계와 연관된 제2 경계 오브젝트(예컨대, 제2 깊이 카메라의 촬영/센싱 범위 내의 울타리)에 대한 깊이 정보를 포함할 수 있다. 예를 들면, 제1 경계 오브젝트에 대한 깊이 정보는 미리 설정된 제1 기준점에서 제1 경계 오브젝트까지의 3차원 거리 정보 또는 제1 경계 오브젝트에 대한 3차원 좌표 정보 중 적어도 하나를 포함할 수 있다. 또한, 제2 경계 오브젝트에 대한 깊이 정보는 미리 설정된 제2 기준점에서 제2 경계 오브젝트까지의 3차원 거리 정보 또는 제2 경계 오브젝트에 대한 3차원 좌표 정보 중 적어도 하나를 포함할 수 있다.
실시예로서, 자율 주행 장치는 제1 깊이 데이터 및 제2 깊이 데이터를 이용하여 제1 경계에 대응하는 제1 직선 및 제2 경계에 대응하는 제2 직선을 추정하고, 제1 직선 및 상기 제2 직선에 기초하여 자율 주행 장치의 자세를 추정함으로써, 자율 주행 장치의 제1 자세 정보를 생성할 수 있다. 예를 들면, 자율 주행 장치는 제1 깊이 데이터와 연관된 점들 중 미리 설정된 기준 높이 보다 높은 제1 점들을 추출하고, 추출된 제1 점들과의 거리가 최소가 되는 직선을 상기 제1 직선으로서 결정하고, 제2 깊이 데이터와 연관된 점들 중 미리 설정된 기준 높이 보다 높은 제2 점들을 추출하고, 추출된 제2 점들과의 거리가 최소가 되는 직선을 상기 제2 직선으로서 결정할 수 있다. 이에 대하여는 도 6 및 7을 참조하여 상술한 바와 같다.
자율 주행 장치는 장소 정보 및 제1 자세 정보에 기초하여 자율 주행 장치의 주행을 제어할 수 있다(S830). 예를 들면, 자율 주행 장치는 장소 정보에 기초하여 해당 장소에 대응하는 미리 설정된 주행 경로를 확인하고, 제1 자세 정보에 기초하여 자율 주행 장치의 주행 방향을 상기 미리 설정된 주행 경로 상으로 조정함으로써, 자율 주행 장치의 주행을 제어할 수 있다.
실시예에 따라서는, 자율 주행 장치가 전방 이미지의 이미지 데이터를 이용하여 전방 이미지에 대한 소실점(vanishing point)를 추출하고, 소실점을 이용하여 자율 주행 장치의 제2 자세 정보를 더 생성할 수 있다. 실시예로서, 자율 주행 장치는 소실점과 연관된 직선 및 전방 카메라의 광학 축과 연관된 직선 간의 수평 각도를 산출하고, 산출된 수평 각도에 기초하여 상기 전방 카메라의 자세를 추정함으로써, 자율 주행 장치의 제2 자세 정보를 생성할 수 있다. 이때, 자율 주행 장치는 소실점 및 전방 이미지의 주점을 기준 평면 상에 투영하고, 이에 기초하여 기준 평면 상의 소실점과 연관된 직선 및 전방 카메라의 광학 축과 연관된 직선을 결정할 수 있다. 이 경우, 자율 주행 장치의 제2 자세 정보는 전방 카메라의 자세 정보일 수 있다. 이에 대하여는 도 5를 참조하여 상술한 바와 같다.
이후, 자율 주행 장치는 장소 정보, 제1 자세 정보 및 제2 자세 정보에 기초하여 자율 주행 장치의 주행을 제어할 수 있다. 예를 들면, 자율 주행 장치는 장소 정보에 기초하여 해당 장소에 대응하는 미리 설정된 주행 경로를 확인하고, 제1 자세 정보 및 제2 자세 정보에 기초하여 자율 주행 장치의 주행 방향을 상기 미리 설정된 주행 경로 상으로 조정함으로써, 자율 주행 장치의 주행을 제어할 수 있다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 명세서에 따른 포터블 디바이스 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 명세서의 포터블 디바이스 및 그 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안될 것이다.
그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.

Claims (16)

  1. 자율 주행 장치의 자율 주행 방법에 있어서,
    상기 자율 주행 장치의 전방의 이미지를 촬영하는 전방 카메라를 통해 획득된 이미지 데이터를 이용하여, 상기 자율 주행 장치가 위치하는 장소를 지시하는 장소 정보를 생성하는 단계;
    상기 자율 주행 장치의 제1 방향의 이미지를 촬영하는 제1 깊이 카메라를 통해 획득된 제1 깊이 데이터 및 상기 자율 주행 장치의 제2 방향의 이미지를 촬영하는 제2 깊이 카메라를 통해 획득된 제2 깊이 데이터를 이용하여, 상기 자율 주행 장치의 제1 자세 정보를 생성하는 단계; 및
    상기 장소 정보 및 상기 제1 자세 정보에 기초하여 상기 자율 주행 장치의 주행을 제어하는 단계를 포함하며,
    상기 제1 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제1 경계와 연관된 제1 경계 오브젝트에 대한 깊이 정보를 포함하고, 상기 제2 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제2 경계와 연관된 제2 경계 오브젝트에 대한 깊이 정보를 포함하는, 자율 주행 방법.
  2. 제1항에 있어서,
    상기 자율 주행 장치의 제1 자세 정보를 생성하는 단계는:
    상기 제1 깊이 데이터 및 상기 제2 깊이 데이터를 이용하여 상기 제1 경계에 대응하는 제1 직선 및 상기 제2 경계에 대응하는 제2 직선을 추정하는 단계; 및
    상기 제1 직선 및 상기 제2 직선에 기초하여 상기 자율 주행 장치의 자세를 추정하는 단계를 포함하며, 상기 제1 직선 및 상기 제2 직선은 서로 평행한 직선인, 자율 주행 방법.
  3. 제1항에 있어서,
    상기 제1 경계에 대응하는 제1 직선 및 상기 제2 경계에 대응하는 제2 직선을 추정하는 단계는:
    상기 제1 깊이 데이터와 연관된 점들 중 미리 설정된 기준 높이 보다 높은 제1 점들을 추출하고, 상기 추출된 제1 점들과의 거리가 최소가 되는 직선을 상기 제1 직선으로서 결정하고,
    상기 제2 깊이 데이터와 연관된 점들 중 미리 설정된 기준 높이 보다 높은 제2 점들을 추출하고, 상기 추출된 제2 점들과의 거리가 최소가 되는 직선을 상기 제2 직선으로서 결정하는, 자율 주행 방법.
  4. 제1항에 있어서,
    상기 이미지 데이터를 이용하여 상기 전방의 이미지에 대한 소실점(vanishing point)를 추출하고, 상기 소실점을 이용하여 상기 자율 주행 장치의 제2 자세 정보를 생성하는 단계를 더 포함하고,
    상기 자율 주행 장치의 주행을 제어하는 단계는 상기 장소 정보, 상기 제1 자세 정보 및 상기 제2 자세 정보에 기초하여 상기 자율 주행 장치의 주행을 제어하는, 자율 주행 방법.
  5. 제1항에 있어서,
    상기 자율 주행 장치의 제2 자세 정보를 생성하는 단계는:
    상기 소실점과 연관된 직선 및 상기 전방 카메라의 광학 축과 연관된 직선 간의 수평 각도를 산출하는 단계; 및
    상기 산출된 수평 각도에 기초하여 상기 전방 카메라의 자세를 추정하는 단계를 포함하는, 자율 주행 방법.
  6. 제1항에 있어서,
    상기 자율 주행 장치의 주행을 제어하는 단계는:
    상기 장소 정보에 기초하여 해당 장소에 대응하는 미리 설정된 주행 경로를 확인하는 단계; 및
    상기 제1 자세 정보에 기초하여 상기 자율 주행 장치의 주행 방향을 상기 미리 설정된 주행 경로 상으로 조정하는 단계를 포함하는, 자율 주행 방법.
  7. 제1항에 있어서,
    상기 제1 방향과 상기 제2 방향은 서로 반대 방향인, 자율 주행 방법.
  8. 제1항에 있어서,
    상기 제1 경계 오브젝트에 대한 깊이 정보는 미리 설정된 제1 기준점에서 상기 제1 경계 오브젝트까지의 3차원 거리 정보 또는 상기 제1 경계 오브젝트에 대한 3차원 좌표 정보 중 적어도 하나를 포함하고, 상기 제2 경계 오브젝트에 대한 깊이 정보는 미리 설정된 제2 기준점에서 상기 제2 경계 오브젝트까지의 3차원 거리 정보 또는 상기 제2 경계 오브젝트에 대한 3차원 좌표 정보 중 적어도 하나를 포함하고, 자율 주행 방법.
  9. 자율 주행 장치에 있어서,
    데이터를 저장하는 메모리;
    상기 메모리를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 자율 주행 장치의 전방의 이미지를 촬영하는 전방 카메라를 통해 획득된 이미지 데이터를 이용하여, 상기 자율 주행 장치가 위치하는 장소를 지시하는 장소 정보를 생성하고;
    상기 자율 주행 장치의 제1 방향의 이미지를 촬영하는 제1 깊이 카메라를 통해 획득된 제1 깊이 데이터 및 상기 자율 주행 장치의 제2 방향의 이미지를 촬영하는 제2 깊이 카메라를 통해 획득된 제2 깊이 데이터를 이용하여, 상기 자율 주행 장치의 제1 자세 정보를 생성하고; 및
    상기 장소 정보 및 상기 제1 자세 정보에 기초하여 상기 자율 주행 장치의 주행을 제어하며,
    상기 제1 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제1 경계와 연관된 제1 경계 오브젝트에 대한 깊이 정보를 포함하고, 상기 제2 깊이 데이터는 상기 자율 주행 장치가 주행하는 주행 도로의 제2 경계와 연관된 제2 경계 오브젝트에 대한 깊이 정보를 포함하는, 자율 주행 장치.
  10. 제9항에 있어서,
    상기 자율 주행 장치의 제1 자세 정보를 생성하는 것은:
    상기 제1 깊이 데이터 및 상기 제2 깊이 데이터를 이용하여 상기 제1 경계에 대응하는 제1 직선 및 상기 제2 경계에 대응하는 제2 직선을 추정하는 것; 및
    상기 제1 직선 및 상기 제2 직선에 기초하여 상기 자율 주행 장치의 자세를 추정하는 것을 포함하며, 상기 제1 직선 및 상기 제2 직선은 서로 평행한 직선인, 자율 주행 장치.
  11. 제10항에 있어서,
    상기 제1 경계에 대응하는 제1 직선 및 상기 제2 경계에 대응하는 제2 직선을 추정하는 것은:
    상기 제1 깊이 데이터와 연관된 점들 중 미리 설정된 기준 높이 보다 높은 제1 점들을 추출하고, 상기 추출된 제1 점들과의 거리가 최소가 되는 직선을 상기 제1 직선으로서 결정하고,
    상기 제2 깊이 데이터와 연관된 점들 중 미리 설정된 기준 높이 보다 높은 제2 점들을 추출하고, 상기 추출된 제2 점들과의 거리가 최소가 되는 직선을 상기 제2 직선으로서 결정하는, 자율 주행 장치.
  12. 제9항에 있어서,
    상기 이미지 데이터를 이용하여 상기 전방의 이미지에 대한 소실점(vanishing point)를 추출하고, 상기 소실점을 이용하여 상기 자율 주행 장치의 제2 자세 정보를 생성하는 것을 더 포함하고,
    상기 자율 주행 장치의 주행을 제어하는 것은 상기 장소 정보, 상기 제1 자세 정보 및 상기 제2 자세 정보에 기초하여 상기 자율 주행 장치의 주행을 제어하는, 자율 주행 장치.
  13. 제9항에 있어서,
    상기 자율 주행 장치의 제2 자세 정보를 생성하는 것은:
    상기 소실점과 연관된 직선 및 상기 전방 카메라의 광학 축과 연관된 직선 간의 수평 각도를 산출하는 것; 및
    상기 산출된 수평 각도에 기초하여 상기 전방 카메라의 자세를 추정하는 것을 포함하는, 자율 주행 장치.
  14. 제9항에 있어서,
    상기 자율 주행 장치의 주행을 제어하는 것은:
    상기 장소 정보에 기초하여 해당 장소에 대응하는 미리 설정된 주행 경로를 확인하는 것; 및
    상기 제1 자세 정보에 기초하여 상기 자율 주행 장치의 주행 방향을 상기 미리 설정된 주행 경로 상으로 조정하는 것을 포함하는, 자율 주행 장치.
  15. 제9항에 있어서,
    상기 제1 방향과 상기 제2 방향은 서로 반대 방향인, 자율 주행 장치.
  16. 제9항에 있어서,
    상기 제1 경계 오브젝트에 대한 깊이 정보는 미리 설정된 제1 기준점에서 상기 제1 경계 오브젝트까지의 3차원 거리 정보 또는 상기 제1 경계 오브젝트에 대한 3차원 좌표 정보 중 적어도 하나를 포함하고, 상기 제2 경계 오브젝트에 대한 깊이 정보는 미리 설정된 제2 기준점에서 상기 제2 경계 오브젝트까지의 3차원 거리 정보 또는 상기 제2 경계 오브젝트에 대한 3차원 좌표 정보 중 적어도 하나를 포함하고, 자율 주행 장치.
KR1020180018040A 2018-02-13 2018-02-13 자율 주행 장치 및 방법 KR102135672B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180018040A KR102135672B1 (ko) 2018-02-13 2018-02-13 자율 주행 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180018040A KR102135672B1 (ko) 2018-02-13 2018-02-13 자율 주행 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190103524A true KR20190103524A (ko) 2019-09-05
KR102135672B1 KR102135672B1 (ko) 2020-07-20

Family

ID=67949669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180018040A KR102135672B1 (ko) 2018-02-13 2018-02-13 자율 주행 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102135672B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210069816A (ko) * 2019-12-04 2021-06-14 충남대학교산학협력단 부착형 농작업 경로 인식 장치
KR102593906B1 (ko) * 2022-10-11 2023-10-26 주식회사 웨이브에이아이 자율주행 방재장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041173A (ja) * 1998-07-23 2000-02-08 Mr System Kenkyusho:Kk 視点位置姿勢の決定方法、カメラ装置、及び視点位置センサ
KR101549165B1 (ko) * 2014-08-25 2015-09-14 경북대학교 산학협력단 차량 자세 추정 장치 및 차량 자세 추정 방법
KR101598385B1 (ko) * 2014-11-11 2016-03-02 한양대학교 산학협력단 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇
JP2017083326A (ja) * 2015-10-29 2017-05-18 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041173A (ja) * 1998-07-23 2000-02-08 Mr System Kenkyusho:Kk 視点位置姿勢の決定方法、カメラ装置、及び視点位置センサ
KR101549165B1 (ko) * 2014-08-25 2015-09-14 경북대학교 산학협력단 차량 자세 추정 장치 및 차량 자세 추정 방법
KR101598385B1 (ko) * 2014-11-11 2016-03-02 한양대학교 산학협력단 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇
JP2017083326A (ja) * 2015-10-29 2017-05-18 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210069816A (ko) * 2019-12-04 2021-06-14 충남대학교산학협력단 부착형 농작업 경로 인식 장치
KR102593906B1 (ko) * 2022-10-11 2023-10-26 주식회사 웨이브에이아이 자율주행 방재장치 및 그 제어방법
WO2024080461A1 (ko) * 2022-10-11 2024-04-18 주식회사 웨이브에이아이 자율주행 방재장치 및 그 제어방법

Also Published As

Publication number Publication date
KR102135672B1 (ko) 2020-07-20

Similar Documents

Publication Publication Date Title
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
US9513108B2 (en) Sensor system for determining distance information based on stereoscopic images
KR100933539B1 (ko) 이동로봇의 주행 제어 방법 및 이를 이용한 이동 로봇
KR20110122022A (ko) 지도 생성 장치 및 방법
US10165246B2 (en) Method and device for processing stereoscopic data
KR20150144730A (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Fiala et al. Visual odometry using 3-dimensional video input
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
JP4042517B2 (ja) 移動体およびその位置検出装置
Balta et al. Terrain traversability analysis for off-road robots using time-of-flight 3d sensing
KR102135672B1 (ko) 자율 주행 장치 및 방법
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
KR102048999B1 (ko) 자율 주행 장치 및 방법
CN106682584B (zh) 无人机障碍物检测方法及装置
US11010916B2 (en) Method of configuring camera position suitable for localization and robot implementing same
KR102242744B1 (ko) 이동 로봇과 이동 로봇의 엘리베이터 인식 방법
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
Cucchiara et al. Efficient Stereo Vision for Obstacle Detection and AGV Navigation.
Poomarin et al. Automatic docking with obstacle avoidance of a differential wheel mobile robot
Bonin-Font et al. A monocular mobile robot reactive navigation approach based on the inverse perspective transformation
KR101564987B1 (ko) 시각효과가 제거된 영상을 이용한 차선인식 장치 및 차선인식 방법
Wang et al. Mobile robot ego motion estimation using ransac-based ceiling vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant