KR20040044621A - 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 - Google Patents

이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 Download PDF

Info

Publication number
KR20040044621A
KR20040044621A KR1020020072696A KR20020072696A KR20040044621A KR 20040044621 A KR20040044621 A KR 20040044621A KR 1020020072696 A KR1020020072696 A KR 1020020072696A KR 20020072696 A KR20020072696 A KR 20020072696A KR 20040044621 A KR20040044621 A KR 20040044621A
Authority
KR
South Korea
Prior art keywords
information
epipolar
images
rotation
moving object
Prior art date
Application number
KR1020020072696A
Other languages
English (en)
Other versions
KR100446636B1 (ko
Inventor
노경식
손영
곽주영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0072696A priority Critical patent/KR100446636B1/ko
Priority to US10/427,973 priority patent/US7440585B2/en
Priority to FR0306170A priority patent/FR2847699B1/fr
Priority to DE10326943.6A priority patent/DE10326943B4/de
Publication of KR20040044621A publication Critical patent/KR20040044621A/ko
Application granted granted Critical
Publication of KR100446636B1 publication Critical patent/KR100446636B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이동 로봇(mobile robot)과 같은 이동체(autonomous vehicle)의 효율적인 움직임과, 이동 중 이동체 앞에 위치한 물체에 대한 3차원 정보를 측정하는 기능을 구비한 이동체 및 그 방법에 관한 것으로, 상기 이동체는, 가속도계 및 자속 센서를 통해 이동체의 회전 정보를 측정하고, 측정된 회전 정보를 에피폴라 형상정보를 추출하는 데 사용한다. 그 결과, 에피폴라 형상정보의 추출시 필요로 하는 영상들간의 대응점들의 개수가 2 개로 줄어들기 때문에, 이동체 자체의 운동 정보, 및 이동체의 진행 방향에 위치해 있는 물체의 3차원적인 정보를 보다 쉽고 정확하게 획득할 수 있다.

Description

이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 기능을 구비한 이동체 및 그 방법{Apparatus and method for measuring ego motion of autonomous vehicles and 3D shape of object in front of autonomous vehicles}
본 발명은 자동화 시스템(automation system), 지능적 차량 시스템(intelligent vehicle system) 등과 같이 영상을 이용한 응용 분야에서의 영상의 인식 및 추적에 관한 것으로, 특히 이동 로봇(mobile robot)과 같은 이동체(autonomous vehicle)의 움직임과, 이동 중 이동체 앞에 위치한 물체에 대한 3차원 정보를 측정하는 기능을 구비한 이동체 및 그 방법에 관한 것이다.
최근, 로봇에 대한 관심이 증가됨에 따라 다양한 종류의 로봇이 제안되고 있으며, 이에 대한 연구가 활발히 진행되고 있다. 이러한 로봇들은 다양한 응용을 위하여 제작되고 있으며, 이동 로봇과 같은 이동체의 보다 정확한 움직임 제어를 위해서는, 경로 설정(path planing) 및 위치 확인(positioning) 기능을 검증할 수 있는 이동체 자체의 움직임 정보가 필요하다. 그리고, 장애물 회피(obstacle avoidance)기능을 수행할 수 있도록, 이동체 앞에 나타나는 물체(예를 들면, 장애물)에 대한 3차원 정보(예를 들면, 물체와 로봇 사이의 거리, 및 상기 물체의 3차원적인 형태 등)의 측정이 필요하다.
현재, 이동체 자체의 움직임 정보 및 이동체 앞에 나타나는 물체에 대한 3차원 정보를 측정하기 위해 다양한 방법들이 사용되고 있는데, 그 대표적인 방법으로는 카메라를 통해 취득된 2차원 영상으로부터 3차원적 정보를 추출하는 방법이 있다.
그러나, 상기 방법은 기본적으로 에피폴라 형상정보(Epipolar geometry)에 대한 제약을 해결해야만 하는 문제를 가지고 있다. 이에 따라, 2002년 8월 6일, Hanna 등에 의해 취득된 U.S. Pat. No. 6,430,304, "METHOD AND APPARATUS FOR PROCESSING IMAGES TO COMPUTE IMAGE FLOW INFORMATION"; 2002년 7월 2일, Hicks에 의해 취득된 U.S. Pat. No. 6,412,961, "RECTIFYING MIRROR"; 및 2002년 5월 21일, Rogina 등에 의해 취득된 U.S. Pat. No. 6,393,144, "IMAGE TRANSFORMATION AND SYNTHESIS METHODS" 등에서는 에피폴라 형상 정보의 정확한 계산을 위해 노이즈를 제거하는 방법들을 제시하고 있다.
그러나, 에피폴라 형상 정보를 구한다 하더라도, 로봇의 운동을 계산하기 위해서는 많은 가정 및 제약 조건을 두어야 하기 때문에, 사용상 많은 제약을 받게 되는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 이동 로봇과 같은 이동체에 카메라와, 회전을 측정할 수 있는 센서를 구비함으로서, 이동체 자체의 운동 정보, 및 이동체의 진행 방향에 위치해 있는 물체의 3차원적인 정보를 보다 간단하고 정확하게 획득할 수 있는 이동체 및 그 방법을 제공하는데 있다.
도 1은 본 발명의 바람직한 실시예에 따른 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 기능이 구비된 이동 로봇의 일 예를 보여주는 블록도이다.
도 2는 도 1에 도시된 카메라에 의해 취득된 연속된 두 개의 영상에 대한 에피폴라 형상정보의 개념도이다.
도 3은 도 1에 도시된 회전 측정부의 센서 구성과, 이에 따른 센서 좌표계(즉, 로봇 좌표계)를 보여주는 도면이다.
도 4는 카메라의 좌표계(camera coordinates)에 따른 오일러의 각(Euler's angle)을 보여주는 도면이다.
도 5는 지구 좌표계(world coordinates)와 센서 좌표계와의 관계를 보여주는 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법을 보여주는 흐름도이다.
도 7은 본 발명에 따른 대응점 및 에피폴라 형상정보의 추출 결과를 보여주는 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 이동 로봇110 : 카메라
120 : 영상 취득부130 : 회전 측정부
131 : 가속도계132 : 자속 센서
140 : 주 제어부141 : 대응점 추출부
142 : 에피폴라 계산부143 : 로봇 운동 분석부
144 : 3차원 정보 분석부150 : 이동 제어부
상기의 과제를 이루기 위하여 본 발명에 의한 이동체는, 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 대응점 추출부; 이동체의 회전 정보를 계산하는 회전 측정부; 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 에피폴라 계산부; 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 로봇 운동 분석부; 및 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 3차원 정보 분석부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 이동체의 움직임 정보 측정 장치는, 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 대응점 추출부; 이동체의 회전 정보를 계산하는 회전 측정부; 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 에피폴라 계산부; 및 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 로봇 운동 분석부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 이동체 전방에 위치한 물체에대한 3차원 정보 측정 장치는, 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 대응점 추출부; 이동체의 회전 정보를 계산하는 회전 측정부; 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 에피폴라 계산부; 및 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 3차원 정보 분석부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법은, (a) 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 단계; (b) 이동체의 회전 정보를 계산하는 단계; (c) 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 단계; (d) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 단계; 및 (e) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 이동체의 움직임 측정 방법은, (a) 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 단계; (b) 이동체의 회전 정보를 계산하는 단계; (c) 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 단계; 및 (d) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위하여 본 발명에 의한 이동체 전방에 위치한 물체의 3차원 정보 측정 방법은, (a) 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 단계; (b) 이동체의 회전 정보를 계산하는 단계; (c) 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 단계; 및 (d) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 단계를 포함하는 것을 특징으로 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 기능이 구비된 이동 로봇(100)의 일 예를 보여주는 블록도이다. 도 1을 참조하면, 본 발명에 따른 이동 로봇(100)은, 카메라(110), 영상 취득부(120), 회전 측정부(130), 주 제어부(140), 및 이동 제어부(150)를 포함한다.
카메라(110)는 이동 로봇(100)에 부착되어, 소정의 시간 간격을 두고 이동 로봇(100) 전방의 영상을 연속적으로 취득한다. 도면에 도시되어 있지는 않지만, 카메라(110)는 이동 로봇(100)과 동일한 좌표축을 가지는 것으로 가정한다.
영상 취득부(120)는 카메라(110)에 연결되어, 카메라(110)로부터 입력되는 영상을 소정의 영상 포맷으로 캡쳐하는 프레임 그래버(frame grabber)의 역할을 수행한다. 영상 취득부(120)에 의해 취득된 영상은 주 제어부(140)로 입력되어,로봇(100)의 움직임을 분석하고, 상기 로봇(100)의 전방에 위치한 객체의 3차원 정보를 분석하는 데 사용된다. 본 발명에서는 시스템의 구성을 간단하게 하고 제조 단가를 줄이기 위해 1 대의 카메라에 의해 취득된 영상을 분석하도록 로봇 시스템이 구성되어 있으나, 이는 일 예에 불과하며, 경우에 따라서는 두 개의 영상을 한꺼번에 취득하는 스테레오 카메라, 또는 적어도 2 대 이상의 카메라로도 구성 가능하다.
회전 측정부(130)는 로봇의 회전을 측정하는 기능을 수행하며, 로봇의 회전을 감지하기 위한 가속도계(accelerometer ; 131)와 자속 센서(magnetic flux sensor ; 132)를 포함한다. 여기서, 가속도계(131)는 지구 중력(earth's gravity)의 방향을 감지하는 데 사용되고, 자속 센서(132)는 지자계(earth magnetic field)의 방향을 감지하는 데 사용된다. 회전 측정부(130)는, 가속도계(131) 및 자속 센서(132)로부터 취득된 값들의 절대 값으로부터 로봇(100)과 지구 좌표계간의 회전 정보를 계산한다.
주 제어부(140)는, 이동 로봇(100)을 운용하기 위한 전반적인 제어를 수행하는 부분으로서, 상기 이동 로봇(100)의 효율적인 제어를 수행하기 위해 로봇의 움직임을 분석하고, 상기 로봇의 전방에 위치한 객체의 3차원 정보를 분석하는 기능을 수행한다. 이를 위해 주 제어부(140)는 대응점 추출부(141), 에피폴라 계산부(142), 로봇 운동 분석부(143), 및 3차원 정보 분석부(144)를 포함한다.
대응점 추출부(141)는, 카메라(110)로부터 취득된 임의의 영상과, 상기 영상이 취득된 후 소정의 시간이 경과된 후에 취득된 영상간에 대응점을 찾는 역할을수행한다. 에피폴라 계산부(142)는, 회전 측정부(130)로부터 취득된 이동 로봇(100)의 회전 정보(R)와, 대응점 추출부(131)로부터 추출된 대응점 정보에 응답해서 에피폴라 형상정보를 계산한다. 로봇 운동 분석부(143)는, 에피폴라 형상정보의 계산 결과에 응답해서 로봇(100)의 움직임을 분석한다. 3차원 정보 분석부(144)는, 에피폴라 형상정보의 계산 결과에 응답해서 로봇(100)의 주행시, 상기 로봇(100)의 전방에 나타나는 물체에 대한 3차원적 정보(예를 들면, 로봇(100)과 물체간의 거리, 전방에 위치한 물체의 3차원적 형태 등)를 분석한다.
그리고, 이동 제어부(150)는 주 제어부(140)의 제어에 응답해서, 이동 로봇(100)의 이동을 제어하는 기능을 수행한다.
도 2는 도 1에 도시된 카메라(110)에 의해 취득된 연속된 두 개의 영상에 대한 에피폴라 형상정보의 개념도이다. 도 2에는 카메라(110)에 의해 소정의 시간 간격을 두고 연속해서 취득된 두 개의 영상이 도시되어 있다. 이 때, 이동 로봇(100)이 정지해 있지 않은 한, 카메라(110)에 의해 취득된 두 개의 영상은 각각 다른 위치에서 취득된 것으로 간주된다.
도 2를 참조하면, 두 위치에 위치해 있는 카메라(110)의 렌즈의 중앙에 위치한 좌표계는 다음과 같이 정의된다.
이 같은 좌표계와 영상면과의 투영 관계는 다음과 같다.
여기서, U1은 이전 영상에 투영된 영상 점을 의미하고, U2는 이후 영상에 투영된 영상 점을 의미한다. 그리고, u 및 v는 각각 해당 영상면 상의 x 및 y 좌표를 의미하고, f는 카메라의 초점 거리를 의미한다.
두 위치에 있는 카메라(110) 사이의 관계는 다음과 같다.
여기서, R12는 두 영상간의 회전운동 정보를 나타내고, T1은 이전 영상에 대한 병진운동(translation)(또는, 평행이동) 정보를 각각 나타낸다.
카메라(110)와 영상 좌표계 사이의 관계를 임의의 점 j에 대해 나타내면 다음과 같다.
이어서, [수학식 4]를 간단히 하기 위해 임의의 행렬 Q를 정의하면, 다음과 같다.
Q = RS
여기서, R은 회전 행렬(rotation matrix)이고, S는 평행 이동 벡터(translation vector)로서, 카메라(110)와 영상 좌표계 사이의 관계(Q)는 회전 행렬(R)과 평행 이동 벡터(S)의 곱에 의해 정해지게 된다.
[수학식 5]를 일반화시키면 다음과 같다.
여기서,의 값이 (1, 2, 3)의 퍼뮤테이션(permutation)이 아니면,는 0의 값을 갖는다.
상기 수학식들을 이용하여의 값을 구하면,
이 된다. 여기서,는 비대칭적(anti-symmetric)인 특징을 가지므로, 다음의 결과가 도출된다.
[수학식 8]을 풀어쓰면 다음과 같다.
[수학식 9]를 정리하면,
이 된다. [수학식 10]에서, q33을 1로 놓고, 카메라(110)와 영상간의 관계를 나타내는 [수학식 4]를 [수학식 10]에 대입하면, [수학식 10]은
이 된다.
[수학식 11]에서 알 수 있는 바와 같이, 상기 수학식으로부터 에피폴라 형상정보를 얻기 위해서는 최소한 8 개의 대응점 정보가 필요하다. 그러나, 영상면 상에서 8개의 대응점을 구하고, 이를 적절히 선택하여 사용하기에는 에피폴라 기하학상 많은 제약 조건을 만족시켜야만 하고, 에피폴라 형상정보로부터 회전 운동 관련 정보(R)와 수평이동 관련 정보(S)를 각각 분리해 내기 위해서는 많은 제약과 가정이 필요하다. 따라서, 본 발명에서는 [수학식 11]과 같은 수학식에 의거하여 에피폴라 형상정보 및 회전 운동 관련 정보를 추출하는 대신, 회전 측정부(130)로부터 측정된 회전 운동 성분을 이용하여 에피폴라 형상정보, 회전 운동 관련 정보(R), 및 수평이동 관련 정보(S)를 계산해 낸다.
도 3은 도 1에 도시된 회전 측정부(130)의 센서 구성과, 이에 따른 센서 좌표계(즉, 로봇 좌표계)를 보여주는 도면이고, 도 4는 카메라(110)의 좌표계(camera coordinates)에 따른 오일러의 각(Euler's angle)을 보여주는 도면이다. 그리고, 도 5는 지구 좌표계(world coordinates)와 센서 좌표계와의 관계를 보여주는 도면이다. 도 3 내지 도 5를 참조하여 본 발명에 따른 회전운동의 측정 과정을 살펴보면 다음과 같다.
도 3 내지 도 5를 참조하면, 회전 측정부(130)는 가속도계(131)와 자속 센서(132)로 구성되는데, 가속도계(131)는 아래의 [수학식 12]를 이용하여 로봇(100)의 Z축(즉, xy 평면)이 지구 좌표계(즉, 절대 좌표계)와 이루는 각(φ)을 계산한다.
여기서,는 회전 행렬(R)의 엘리먼트로서, 도 4에 도시된 오일러의 각에 의해 회전 행렬(R)을 표시하면 다음과 같다.
같은 방법으로, 자속 센서(132)는 아래의 [수학식 14]를 이용하여 로봇(100)의 X축(즉, yz 평면)이 지구 좌표계와 이루는 각()을 계산한다.
[수학식 14] 및 도 4에 도시된 오일러의 각에 의해 회전 행렬(R)을 측정하게 되면, 에피폴라 형상정보는 다음과 같이 간단히 표시된다.
[수학식 15]에서, 회전 행렬()을 안다고 가정하면, [수학식 15]는 다음과 같이 정리된다.
여기서,이다.
[수학식 16]을 풀어서 다시 정리하면,
이 된다. 그리고, [수학식 17]에서 T3을 1로 놓으면,
이 된다.
[수학식 18]에서 알 수 있는 바와 같이, 본 발명에 따른 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법에 의하면, 최소 2 개의 대응점만을 가지고도 에피폴라 형상 정보를 정확하게 구할 수 있음을 알 수 있다. 따라서, 그 동안 어렵게 해결되어 왔던 에피폴라 기하학상의 제한 요건을 보다 간단한방법으로 구할 수 있다.
특히, 본 발명에서는 최소 2 개의 대응점만을 필요로 하기 때문에, 보다 다양하고 검증된 방법에 의해 대응점을 찾을 수 있다. 따라서, 보다 정확한 대응점 추출이 가능할 뿐만 아니라, 이를 이용하여 이동체의 움직임과, 이동체 전방에 위치한 물체의 3차원적 정보를 간단하고 정확하게 분석할 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 이동체의 움직임 측정 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법을 보여주는 흐름도이다. 도 6을 참조하면, 상기 방법은 먼저 카메라(110)를 통해 소정의 시간차를 두고 연속된 2 개의 영상을 취득한다(1100 단계). 이 때, 이동 로봇과 같은 이동체가 정지해 있지 않는 한, 상기 영상들은 서로 다른 위치에서 취득된 것으로 간주된다.
1100 단계에서 2 개의 영상이 취득되면, 회전 측정부(130)는 가속도계(131) 및 자속 센서(132)를 이용하여 중력(earth's gravity)의 방향 및 지자계(earth magnetic field)의 방향을 감지하고, 감지된 두 값의 절대값들로부터 이동체와 지구 좌표계간의 회전 정보를 측정한다(1300 단계).
이어서, 주 제어부(140)에 구비된 대응점 추출부(141)는 1100 단계에서 취득된 2 개의 영상으로부터 적어도 2 개 이상의 대응점을 추출한다(1410 단계). 그리고, 에피폴라 계산부(142)는 회전 측정부(130)로부터 취득된 이동 로봇(100)의 회전 정보(R)와, 대응점 추출부(131)로부터 추출된 대응점 정보에 응답해서 에피폴라 형상정보를 계산한다(1420 단계).
도 7은 본 발명에 따른 대응점 및 에피폴라 형상정보의 추출 결과를 보여주는 도면이다. 도 7에서 (a)로 표시된 영상은 연속된 두 영상 사이의 대응점 추출 결과를 보여주는 도면이고, (b)로 표시된 도면은 대응점으로부터 에피폴라 형상정보를 추출한 결과를 보여주는 도면이다. 그리고, (c)로 표시된 도면은 (b) 영상으로부터 특이치를 제거(outlier removal)한 결과를 보여주는 도면이다. 도 7의 (a) 내지 (c)에서 알 수 있는 바와 같이, 본 발명은 기존의 에피폴라 형상정보 계산 방법과 달리, 에피폴라 형상정보의 계산과 관련된 여러 가지 제약 조건들로부터 영향을 받지 않을 뿐만 아니라, 단지 2 개 이상의 대응점 계산만으로도 정확한 에피폴라 형상정보를 계산해 낼 수 있음을 알 수 있다. 따라서, 보다 정확한 이동체의 움직임 분석과, 이동체 전방에 위치한 물체에 대한 3차원적 정보의 추출이 가능하다.
다시 도 6을 참조하면, 1420 단계에서 에피폴라 형상정보가 계산되고 나면, 상기 에피폴라 형상정보를 근거로 하여 로봇 운동 분석부(143)에서 이동체의 움직임이 분석되고(1430 단계), 3차원 정보 분석부(144)에서 이동체 전방에 위치한 물체의 3차원적 정보가 분석된다(1440 단계).
앞에서 설명한 바와 같이, 본 발명에 따른 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법은, 최소 2개의 대응점만 알고 있다면, 많은 제약 조건들로 인해 어렵게 해결되었던 기존의 에피폴라 형상정보 문제를 쉽게 해결할 수 있고, 2 개의 대응점만으로도 이동체의 운동 정보, 및 이동체 전방에 위치한 물체의 3차원적 정보를 정확하게 측정할 수 있다.
이상에서, 본 발명의 실시예로서 이동체에 구비되어 있는 카메라 1 대로부터 취득된 영상들로부터 이동체의 운동 정보, 및 이동체 전방에 위치한 물체의 3차원적 정보를 추출하는 방법에 대해 구체적으로 예시되었으나, 그밖에도 스테레오 카메라, 또는 적어도 2 개 이상의 카메라로부터 취득된 영상의 분석에도 본 발명을 적용할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상에 설명한 바와 같이, 본 발명에 의한 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 장치 및 방법에 의하면, 센서를 통해 이동 로봇과 같은 이동체에 부착된 카메라의 회전을 측정하게 된다. 따라서, 카메라로부터 취득된 영상들로부터 최소한 2개의 대응점들을 구하기만 하면, 이동체 자체의 운동 정보, 및 이동체의 진행 방향에 위치해 있는 물체의 3차원적인 정보를 보다 쉽고 정확하게 획득할 수 있다.

Claims (35)

  1. 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 대응점 추출부;
    이동체의 회전 정보를 계산하는 회전 측정부;
    상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 에피폴라 계산부;
    상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 로봇 운동 분석부; 및
    상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 3차원 정보 분석부를 포함하는 것을 특징으로 하는 이동체.
  2. 제 1 항에 있어서,
    상기 카메라는 상기 이동체와 동일한 좌표축을 가지는 것을 특징으로 하는 이동체.
  3. 제 1 항에 있어서,
    상기 영상은, 1 대의 카메라를 통해 소정의 시간 간격을 두고 연속적으로 취득되는 것을 특징으로 하는 이동체.
  4. 제 1 항에 있어서,
    상기 영상은, 스테레오 카메라, 또는 적어도 2 개 이상의 카메라를 통해 복수 개의 영상이 소정의 시간 간격을 두고 동시에 취득되는 것을 특징으로 하는 이동체.
  5. 제 1 항에 있어서, 상기 회전 측정부는
    지구 중력의 방향을 감지하는 가속도계; 및
    지자계의 방향을 감지하는 자속 센서를 포함하며,
    상기 가속도계 및 상기 자속 센서로부터 취득된 값들의 절대 값으로부터 상기 이동체와 지구 좌표계간의 회전 정보를 계산하는 것을 특징으로 하는 이동체.
  6. 제 1 항에 있어서,
    상기 에피폴라 계산부는, 상기 회전 측정부에 의해 계산된 상기 이동체의 회전 정보와, 최소 2 개의 상기 대응점에 응답해서 상기 에피폴라 형상정보를 계산하는 것을 특징으로 하는 이동체.
  7. 제 6 항에 있어서,
    상기 에피폴라 형상 정보는,
    f가 카메라의 초점거리, R12가 상기 두 영상간의 회전 정보를 나타내는 회전행렬, T1및 T2가 상기 두 영상간에 존재하는 평행이동 정보를 나타내는 평행이동벡터의 엘리먼트, u1 및 v1이 상기 두 영상들 중 이전에 취득된 영상면 상의 x 및 y 좌표, u2및 v2가 상기 두 영상들 중 이후에 취득된 영상면 상의 x 및 y 좌표를 각각 나타내고,일 때,
    에 의해 계산되는 것을 특징으로 하는 이동체.
  8. 제 1 항에 있어서,
    상기 이동체 전방에 위치한 상기 물체에 대한 상기 3차원적 정보는, 상기 이동체와 상기 물체간의 거리 정보, 및 상기 물체의 3차원적 형태 정보를 포함하는 것을 특징으로 하는 이동체.
  9. 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 대응점 추출부;
    이동체의 회전 정보를 계산하는 회전 측정부;
    상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 에피폴라 계산부; 및
    상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 로봇 운동 분석부를 포함하는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  10. 제 9 항에 있어서,
    상기 카메라는 상기 이동체와 동일한 좌표축을 가지는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  11. 제 9 항에 있어서,
    상기 영상은, 1 대의 카메라를 통해 소정의 시간 간격을 두고 연속적으로 취득되는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  12. 제 9 항에 있어서,
    상기 영상은, 스테레오 카메라, 또는 적어도 2 개 이상의 카메라를 통해 복수 개의 영상이 소정의 시간 간격을 두고 동시에 취득되는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  13. 제 9 항에 있어서, 상기 회전 측정부는
    지구 중력의 방향을 감지하는 가속도계; 및
    지자계의 방향을 감지하는 자속 센서를 포함하며,
    상기 가속도계 및 상기 자속 센서로부터 취득된 값들의 절대 값으로부터 상기 이동체와 지구 좌표계간의 회전 정보를 계산하는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  14. 제 9 항에 있어서,
    상기 에피폴라 계산부는, 상기 회전 측정부에 의해 계산된 상기 이동체의 회전 정보와, 최소 2 개의 상기 대응점에 응답해서 상기 에피폴라 형상정보를 계산하는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  15. 제 14 항에 있어서,
    상기 에피폴라 형상 정보는,
    f가 카메라의 초점거리, R12가 상기 두 영상간의 회전 정보를 나타내는 회전행렬, T1및 T2가 상기 두 영상간에 존재하는 평행이동 정보를 나타내는 평행이동 벡터의 엘리먼트, u1 및 v1이 상기 두 영상들 중 이전에 취득된 영상면 상의 x 및 y 좌표, u2및 v2가 상기 두 영상들 중 이후에 취득된 영상면 상의 x 및 y 좌표를 각각 나타내고,일 때,
    에 의해 계산되는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  16. 제 9 항에 있어서,
    상기 이동체 전방에 위치한 상기 물체에 대한 상기 3차원적 정보는, 상기 이동체와 상기 물체간의 거리 정보, 및 상기 물체의 3차원적 형태 정보를 포함하는 것을 특징으로 하는 이동체의 움직임 정보 측정 장치.
  17. 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 대응점 추출부;
    이동체의 회전 정보를 계산하는 회전 측정부;
    상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 에피폴라 계산부; 및
    상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 3차원 정보 분석부를 포함하는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  18. 제 17 항에 있어서,
    상기 카메라는 상기 이동체와 동일한 좌표축을 가지는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  19. 제 17 항에 있어서,
    상기 영상은, 1 대의 카메라를 통해 소정의 시간 간격을 두고 연속적으로 취득되는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  20. 제 17 항에 있어서,
    상기 영상은, 스테레오 카메라, 또는 적어도 2 개 이상의 카메라를 통해 복수 개의 영상이 소정의 시간 간격을 두고 동시에 취득되는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  21. 제 17 항에 있어서, 상기 회전 측정부는
    지구 중력의 방향을 감지하는 가속도계; 및
    지자계의 방향을 감지하는 자속 센서를 포함하며,
    상기 가속도계 및 상기 자속 센서로부터 취득된 값들의 절대 값으로부터 상기 이동체와 지구 좌표계간의 회전 정보를 계산하는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  22. 제 17 항에 있어서,
    상기 에피폴라 계산부는, 상기 회전 측정부에 의해 계산된 상기 이동체의 회전 정보와, 최소 2 개의 상기 대응점에 응답해서 상기 에피폴라 형상정보를 계산하는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  23. 제 22 항에 있어서,
    상기 에피폴라 형상 정보는,
    f가 카메라의 초점거리, R12가 상기 두 영상간의 회전 정보를 나타내는 회전행렬, T1및 T2가 상기 두 영상간에 존재하는 평행이동 정보를 나타내는 평행이동 벡터의 엘리먼트, u1 및 v1이 상기 두 영상들 중 이전에 취득된 영상면 상의 x 및 y 좌표, u2및 v2가 상기 두 영상들 중 이후에 취득된 영상면 상의 x 및 y 좌표를 각각 나타내고,일 때,
    에 의해 계산되는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  24. 제 17 항에 있어서,
    상기 이동체 전방에 위치한 상기 물체에 대한 상기 3차원적 정보는, 상기 이동체와 상기 물체간의 거리 정보, 및 상기 물체의 3차원적 형태 정보를 포함하는 것을 특징으로 하는 이동체 전방에 위치한 물체에 대한 3차원 정보 측정 장치.
  25. (a) 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 단계;
    (b) 이동체의 회전 정보를 계산하는 단계;
    (c) 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 단계;
    (d) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 단계; 및
    (e) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 단계를 포함하는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  26. (a) 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 단계;
    (b) 이동체의 회전 정보를 계산하는 단계;
    (c) 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 단계; 및
    (d) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 움직임을 분석하는 단계를 포함하는 것을 특징으로 하는 이동체의 움직임 측정 방법.
  27. (a) 카메라로부터 취득된 적어도 두 개 이상의 영상으로부터 상기 영상들간의 대응점을 추출하는 단계;
    (b) 이동체의 회전 정보를 계산하는 단계;
    (c) 상기 회전 정보와 상기 대응점 정보에 응답해서 에피폴라 형상정보를 계산하는 단계; 및
    (d) 상기 에피폴라 형상정보 계산 결과에 응답해서 상기 이동체의 전방에 위치한 물체의 3차원적 정보를 분석하는 단계를 포함하는 것을 특징으로 하는 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  28. 제 25 항, 제 26항, 또는 제 27 항에 있어서,
    상기 카메라는 상기 이동체와 동일한 좌표축을 가지는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  29. 제 25 항, 제 26항, 또는 제 27 항에 있어서,
    상기 영상은, 1 대의 카메라를 통해 소정의 시간 간격을 두고 연속적으로 취득되는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  30. 제 25 항, 제 26항, 또는 제 27 항에 있어서,
    상기 영상은, 스테레오 카메라, 또는 적어도 2 개 이상의 카메라를 통해 복수 개의 영상이 소정의 시간 간격을 두고 동시에 취득되는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  31. 제 25 항, 제 26항, 또는 제 27 항에 있어서, 상기 (b) 단계는
    (b-1) 지구 중력의 방향을 감지하는 단계;
    (b-2) 지자계의 방향을 감지하는 단계; 및
    (b-3) 상기 (b-1) 및 상기 (b-2)단계에서 취득된 상기 값들의 절대 값으로부터 상기 이동체와 지구 좌표계간의 회전 정보를 계산하는 단계를 포함하는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  32. 제 25 항, 제 26항, 또는 제 27 항에 있어서,
    상기 (c) 단계는, 상기 (b) 단계에서 계산된 상기 이동체의 회전 정보와, 최소 2 개의 상기 대응점에 응답해서 상기 에피폴라 형상정보를 계산하는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  33. 제 32 항에 있어서,
    상기 에피폴라 형상 정보는,
    f가 카메라의 초점거리, R12가 상기 두 영상간의 회전 정보를 나타내는 회전행렬, T1및 T2가 상기 두 영상간에 존재하는 평행이동 정보를 나타내는 평행이동 벡터의 엘리먼트, u1 및 v1이 상기 두 영상들 중 이전에 취득된 영상면 상의 x 및 y 좌표, u2및 v2가 상기 두 영상들 중 이후에 취득된 영상면 상의 x 및 y 좌표를각각 나타내고,일 때,
    에 의해 계산되는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  34. 제 25 항, 제 26항, 또는 제 27 항에 있어서,
    상기 이동체 전방에 위치한 상기 물체에 대한 상기 3차원적 정보는, 상기 이동체와 상기 물체간의 거리 정보, 및 상기 물체의 3차원적 형태 정보를 포함하는 것을 특징으로 하는 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원 정보 측정 방법.
  35. 제 25 항 내지 제 34 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR10-2002-0072696A 2002-11-21 2002-11-21 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 KR100446636B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2002-0072696A KR100446636B1 (ko) 2002-11-21 2002-11-21 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
US10/427,973 US7440585B2 (en) 2002-11-21 2003-05-02 Autonomous vehicle and motion control therefor
FR0306170A FR2847699B1 (fr) 2002-11-21 2003-05-22 Vehicule autonome, et procede et appareil pour estimer son mouvement et detecter une information tridimensionnelle d'un objet apparaissant devant lui
DE10326943.6A DE10326943B4 (de) 2002-11-21 2003-06-05 Autonomes Fahrzeug sowie zugehörige Verfahren und Vorrichtungen zur Bewegungsbestimmung, Bewegungssteuerung und Objekterkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0072696A KR100446636B1 (ko) 2002-11-21 2002-11-21 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040044621A true KR20040044621A (ko) 2004-05-31
KR100446636B1 KR100446636B1 (ko) 2004-09-04

Family

ID=32291809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0072696A KR100446636B1 (ko) 2002-11-21 2002-11-21 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법

Country Status (4)

Country Link
US (1) US7440585B2 (ko)
KR (1) KR100446636B1 (ko)
DE (1) DE10326943B4 (ko)
FR (1) FR2847699B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952574B1 (ko) * 2007-12-24 2010-04-12 중앙대학교 산학협력단 로봇 기반 입체 디스플레이 장치 및 방법
WO2018201162A1 (en) * 2017-04-25 2018-11-01 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US11816991B2 (en) 2018-04-18 2023-11-14 Mobileye Vision Technologies Ltd. Vehicle environment modeling with a camera

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3433204B2 (ja) * 2000-04-27 2003-08-04 株式会社東北テクノアーチ ３次元モデル構成装置
US7802193B1 (en) 2001-12-19 2010-09-21 Sandia Corporation Controlling motion using a human machine interface
US7376262B2 (en) * 2003-08-04 2008-05-20 American Gnc Corporation Method of three dimensional positioning using feature matching
US8275193B2 (en) * 2004-08-04 2012-09-25 America Gnc Corporation Miniaturized GPS/MEMS IMU integrated board
US8121392B2 (en) * 2004-10-25 2012-02-21 Parata Systems, Llc Embedded imaging and control system
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
SE530384C2 (sv) * 2006-02-17 2008-05-20 Totalfoersvarets Forskningsins Metod för fjärrstyrning av en obemannad markfarkost med rörlig kamera samt en sådan markfarkost
US8826959B2 (en) * 2006-06-29 2014-09-09 Graphic Packaging International, Inc. Heat sealing systems and methods, and related articles and materials
US20080075323A1 (en) * 2006-09-25 2008-03-27 Nokia Corporation System and method for distance functionality
US7974460B2 (en) * 2007-02-06 2011-07-05 Honeywell International Inc. Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8803966B2 (en) 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8421859B2 (en) * 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
JP5107154B2 (ja) * 2008-06-23 2012-12-26 アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ 運動推定装置
DE102011113265B3 (de) * 2011-09-13 2012-11-08 Audi Ag Verfahren zur Bildverarbeitung von mit einem optischen Sensor in einem Kraftfahrzeug aufgenommenen Bilddaten und Kraftfahrzeug
US8559727B1 (en) * 2012-04-09 2013-10-15 GM Global Technology Operations LLC Temporal coherence in clear path detection
US9025859B2 (en) 2012-07-30 2015-05-05 Qualcomm Incorporated Inertial sensor aided instant autofocus
US8903163B2 (en) * 2012-08-09 2014-12-02 Trimble Navigation Limited Using gravity measurements within a photogrammetric adjustment
ES2478700B1 (es) * 2013-01-21 2015-06-30 Idneo Technologies, S.L. Sistema y método para la detección de obstáculos
DE102013203404A1 (de) 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US9070202B2 (en) * 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
US9201424B1 (en) 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US9989967B2 (en) 2014-03-04 2018-06-05 Cybernet Systems Corporation All weather autonomously driven vehicles
JP6312519B2 (ja) * 2014-05-13 2018-04-18 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
DE102014110201B3 (de) * 2014-07-21 2015-08-13 Miele & Cie. Kg Selbstfahrender Roboter und Verfahren zur Hinderniserkennung bei einem selbstfahrenden Roboter
US9596666B1 (en) * 2015-12-11 2017-03-14 Uber Technologies, Inc. System for processing asynchronous sensor data
US10101747B2 (en) 2015-12-11 2018-10-16 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
US9537956B1 (en) 2015-12-11 2017-01-03 Uber Technologies, Inc. System for acquiring time-synchronized sensor data
US9785150B2 (en) 2015-12-11 2017-10-10 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
US10114103B2 (en) 2016-03-31 2018-10-30 Uber Technologies, Inc. System and method for sensor triggering for synchronized operation
US10288458B2 (en) 2016-06-29 2019-05-14 GM Global Technology Operations LLC Systems and methods for sensor platform
US10482559B2 (en) 2016-11-11 2019-11-19 Uatc, Llc Personalizing ride experience based on contextual ride usage data
US10386857B2 (en) * 2017-07-05 2019-08-20 Qualcomm Incorporated Sensor-centric path planning and control for robotic vehicles
EP3682429B1 (en) 2017-09-13 2023-07-26 Alarm.com Incorporated System and method for gate monitoring during departure or arrival of an autonomous vehicle
US10909866B2 (en) 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
KR102627453B1 (ko) 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0158984A3 (en) * 1984-04-13 1989-03-01 Hitachi, Ltd. Method for determining apair of corresponding points between images
JPH07218251A (ja) * 1994-02-04 1995-08-18 Matsushita Electric Ind Co Ltd ステレオ画像計測方法およびステレオ画像計測装置
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US5644651A (en) 1995-03-31 1997-07-01 Nec Research Institute, Inc. Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation
US6122078A (en) * 1995-08-24 2000-09-19 Vexcel Imaging Gmbh Self calibrating scanner with single or multiple detector arrays and single or multiple optical systems
JP3765862B2 (ja) * 1996-02-15 2006-04-12 本田技研工業株式会社 車両用環境認識装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
US6038074A (en) * 1997-05-20 2000-03-14 Ricoh Company, Ltd. Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image
FR2767404B1 (fr) 1997-08-12 1999-10-22 Matra Systemes Et Information Procede de production de donnees cartographiques par stereovision
JP3720972B2 (ja) * 1998-01-22 2005-11-30 株式会社小松製作所 地形形状計測装置
JP3732335B2 (ja) * 1998-02-18 2006-01-05 株式会社リコー 画像入力装置及び画像入力方法
JPH11306356A (ja) * 1998-04-21 1999-11-05 Hitachi Ltd 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6412961B1 (en) * 2000-05-30 2002-07-02 Robert Andrew Hicks Rectifying mirror
US6421961B1 (en) 2000-07-11 2002-07-23 Ernesto Mallozzi Modular organizer
US6730926B2 (en) * 2001-09-05 2004-05-04 Servo-Robot Inc. Sensing head and apparatus for determining the position and orientation of a target object
KR100837776B1 (ko) * 2001-12-24 2008-06-13 주식회사 케이티 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
WO2004001332A1 (en) * 2002-06-19 2003-12-31 Canesta, Inc. System and method for determining 3-d coordinates of a surface using a coded array

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952574B1 (ko) * 2007-12-24 2010-04-12 중앙대학교 산학협력단 로봇 기반 입체 디스플레이 장치 및 방법
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
WO2018201162A1 (en) * 2017-04-25 2018-11-01 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US11816991B2 (en) 2018-04-18 2023-11-14 Mobileye Vision Technologies Ltd. Vehicle environment modeling with a camera

Also Published As

Publication number Publication date
US20040101161A1 (en) 2004-05-27
DE10326943A1 (de) 2004-06-17
DE10326943B4 (de) 2019-09-12
FR2847699B1 (fr) 2007-03-09
FR2847699A1 (fr) 2004-05-28
KR100446636B1 (ko) 2004-09-04
US7440585B2 (en) 2008-10-21

Similar Documents

Publication Publication Date Title
KR100446636B1 (ko) 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
US7336814B2 (en) Method and apparatus for machine-vision
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
Chekhlov et al. Real-time and robust monocular SLAM using predictive multi-resolution descriptors
KR100776215B1 (ko) 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
Nair et al. Moving obstacle detection from a navigating robot
US20190385324A1 (en) Three-dimensional measurement apparatus
EP3159126A1 (en) Device and method for recognizing location of mobile robot by means of edge-based readjustment
EP3159122A1 (en) Device and method for recognizing location of mobile robot by means of search-based correlation matching
KR20170053007A (ko) 자세 추정 방법 및 자세 추정 장치
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
CN110139031B (zh) 一种基于惯性感知的视频防抖系统及其工作方法
Brunetto et al. Fusion of inertial and visual measurements for rgb-d slam on mobile devices
WO2018235219A1 (ja) 自己位置推定方法、自己位置推定装置および自己位置推定プログラム
Chen et al. Single-image distance measurement by a smart mobile device
Li et al. RD-VIO: Robust visual-inertial odometry for mobile augmented reality in dynamic environments
KR101791166B1 (ko) 오브젝트의 공간 정보 추정 장치 및 방법
Irmisch et al. Simulation framework for a visual-inertial navigation system
Dewangan et al. 3D environment reconstruction using mobile robot platform and monocular vision
CN113487676A (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
KR101668649B1 (ko) 주변 환경 모델링 방법 및 이를 수행하는 장치
Faion et al. Camera-and IMU-based pose tracking for augmented reality
Hui et al. Visual SLAM based on EKF filtering algorithm from omnidirectional camera
Cordea et al. 3-D head pose recovery for interactive virtual reality avatars

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120716

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20130724

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140721

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160718

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 15