KR102016551B1 - 위치 추정 장치 및 방법 - Google Patents

위치 추정 장치 및 방법 Download PDF

Info

Publication number
KR102016551B1
KR102016551B1 KR1020140009167A KR20140009167A KR102016551B1 KR 102016551 B1 KR102016551 B1 KR 102016551B1 KR 1020140009167 A KR1020140009167 A KR 1020140009167A KR 20140009167 A KR20140009167 A KR 20140009167A KR 102016551 B1 KR102016551 B1 KR 102016551B1
Authority
KR
South Korea
Prior art keywords
moving
probability
lane
unit
estimating
Prior art date
Application number
KR1020140009167A
Other languages
English (en)
Other versions
KR20150088636A (ko
Inventor
김동신
박진석
Original Assignee
한화디펜스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화디펜스 주식회사 filed Critical 한화디펜스 주식회사
Priority to KR1020140009167A priority Critical patent/KR102016551B1/ko
Publication of KR20150088636A publication Critical patent/KR20150088636A/ko
Application granted granted Critical
Publication of KR102016551B1 publication Critical patent/KR102016551B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2257Mechanical and electrical details of cameras or camera modules for embedding in other devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00791Recognising scenes perceived from the perspective of a land vehicle, e.g. recognising lanes, obstacles or traffic signs on road scenes
    • G06K9/00798Recognition of lanes or road borders, e.g. of lane markings, or recognition of driver's driving pattern in relation to lanes perceived from the vehicle; Analysis of car trajectory relative to detected road
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3216Aligning or centering of the image pick-up or image-field by locating a pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6288Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G06K9/6292Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion of classification results, e.g. of classification results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K2009/3291Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/21Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Abstract

본 발명은 도로를 주행하는 이동체의 위치를 추정할 수 있는 위치 추정 장치 및 방법에 관한 것이다. 위치 추정 장치는 임의의 차선으로 주행하는 이동체에 구비된 스테레오 카메라에 의해 촬영된 영상프레임으로부터 이동체의 위치를 추정하는 위치 추정부, 추정된 위치로부터 이동체의 제1 자세정보를 획득하는 제1 자세정보 획득부, 스테레오 카메라가 영상을 촬영한 시점에서 이동체의 제2 자세정보를 획득하는 제2 자세정보 획득부, 제1 자세정보 및 제2 자세정보를 이용하여 이동체의 현재 위치에 대한 확률 분포를 산출하고, 확률 분포 중 제1 확률을 이동체의 위치로 보정하는 제1 위치 보정부, 및 기설정한 차선 확률 분포도로부터 이동체가 위치한 차선 구간의 확률을 획득하고, 이동체가 위치한 차선 구간의 확률 및 제1 위치 보정부에서 출력되는 이동체의 위치 확률에 대한 합성 확률을 산출하여, 합성확률 중 제2 확률을 이동체의 최종 위치로 재 보정하는 제2 위치 보정부를 포함한다.

Description

위치 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING POSITION}
본 발명은 도로를 주행하는 이동체의 위치를 추정할 수 있는 위치 추정 장치 및 방법에 관한 것이다.
로봇이란 사람의 모습을 한 인형 내부에 기계장치를 조립해 넣고, 손발과 그 밖의 부분을 본래의 사람과 마찬가지로 동작하는 자동인형을 말한다. 그러나 최근에는 사람의 모습 여부를 떠나서 자율적으로 어떠한 임무를 수행하는 자동 장치를 통칭하게 되었다. 특히 이동 로봇의 경우 극한 환경 또는 위험 지역에서 사람을 대신하여 작업을 수행할 수 있기 때문에 많은 각광을 받고 있다. 또한 청소 로봇과 같이 자율적으로 집안을 돌아다니면서 가사 업무를 도와주는 가정용 이동 로봇도 다수 보급되었다.
로봇이 좀 더 다양한 임무를 자동으로 수행하기 위해서는 로봇 스스로 주행할 수 있는 능력을 갖추어야 한다. 로봇의 자율 주행 문제를 해결하기 위해서는 우선 현재 로봇 자신의 위치가 어디인가를 판단할 수 있어야 한다. 즉, 이동 로봇이 자율적으로 이동하면서 임무를 수행하기 위해서는 자기 위치 인식을 위한 로컬라이제이션(localization)이 필수적이다. 이러한 로컬라이제이션 기술 중 대표적인 것이 SLAM(simultaneous localization and mapping)이다. SLAM은 로봇이 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정하는 방법을 말한다.
종래 로봇의 위치 추정을 위해 GPS, LIDAR(Light Detection and Ranging), 또는 카메라 등의 다양한 센서들이 Odometry와 함께 적용되었다. 그러나, GPS는 에러가 발생하기 쉽고, 옥외(outdoor) 환경에서만 동작하는 단점이 있고, LIDAR는 정확한 센서이나 넓은 야외에서 사용하는 경우 광의 무반사로 인해 로봇 위치 추정에 실패하기 쉽다.
국내 공개특허공보 제2012-0046747호
본 발명이 해결하고자 하는 기술적인 과제는 스테레오 카메라로 촬영한 영상 및 저가의 관성 측정 장치(inertial measurement unit, IMU)를 이용하여 도로를 주행하는 이동체의 위치를 추정할 수 있는 위치 추정 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 위치 추정 장치는 임의의 차선으로 주행하는 이동체에 구비된 스테레오 카메라에 의해 촬영된 영상프레임으로부터 상기 이동체의 위치를 추정하는 위치 추정부; 추정된 위치로부터 상기 이동체의 제1 자세정보를 획득하는 제1 자세정보 획득부; 상기 스테레오 카메라가 영상을 촬영한 시점에서 상기 이동체의 제2 자세정보를 획득하는 제2 자세정보 획득부; 상기 제1 자세정보 및 제2 자세정보를 이용하여 상기 이동체의 현재 위치에 대한 확률 분포를 산출하고, 상기 확률 분포 중 제1 확률을 상기 이동체의 위치로 보정하는 제1 위치 보정부; 및 상기 차선 폭을 복수 구간으로 분할하고 각 구간에 상기 이동체가 위치할 확률을 다르게 설정한 차선 확률 분포도로부터 상기 이동체가 위치한 차선 구간의 확률을 획득하고, 상기 이동체가 위치한 차선 구간의 확률 및 상기 제1 위치 보정부에서 출력되는 상기 이동체의 위치 확률에 대한 합성 확률을 산출하여, 상기 합성확률 중 제2 확률을 상기 이동체의 최종 위치로 재 보정하는 제2 위치 보정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 위치 추정부는, 상기 제1 및 제2 영상 프레임으로부터 특징점을 추출하는 추출부; 상기 제1 영상 프레임의 특징점에 대응하는 상기 제2 영상 프레임의 특징점을 정합하는 정합부; 상기 정합된 특징점의 삼차원 좌표를 산출하는 산출부; 및 특징 공간 상에서 상기 공간 상관도를 기초로 이전 및 현재 영상프레임 간 삼차원 좌표 공간 변화량을 의미하는 모션 벡터를 그룹화 함으로써 하나 이상의 모션 클러스터를 구성하는 클러스터링부; 각 모션 클러스터의 노이즈를 제거하는 노이즈 제거부; 및 상기 모션 클러스터에 대해 계산된 상대적인 상기 제1 및 제2 카메라의 위치를 추적함으로써 상기 이동체의 위치를 추정하는 위치 추정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 클러스터링부는, 그래프-컷을 이용한 MRF 최적화 알고리즘을 적용하여 상기 모션 클러스터를 구성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 노이즈 제거부는, 각 모션 클러스터에 RANSAC을 적용하여 아웃라이어를 제거하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 자세정보 획득부는, 상기 추정된 위치로부터 상기 이동체의 x, y, z, 롤(roll), 요(yaw), 피치(pitch)를 포함하는 제1 자세정보를 획득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 자세정보 획득부는, 상기 스테레오 카메라가 영상을 촬영시 상기 이동체의 위치정보를 획득하고, 상기 이동체의 위치정보로부터 상기 이동체의 x, y, z, 롤(roll), 요(yaw), 피치(pitch)를 포함하는 제2 자세정보를 획득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 자세정보 획득부는, 관성 측정 유닛(inertial measurement unit);을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 위치 보정부는, 상기 제1 자세정보 및 제2 자세정보를 입력으로 하는 팩터 그래프를 이용하여 상기 확률 분포를 산출하는 것을 특징으로 한다.
본 발명에 있어서, 도로 정보 맵 및 상기 도로 정보 맵으로부터 각 차선에 대해 기설정된 상기 차선 확률 분포도를 저장한 메모리;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선 확률 분포도는, 상기 차선 중앙 구간의 확률이 가장 크고 상기 차선 외곽 구간으로 갈수록 상기 확률이 작아지도록 설정 가능한 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 위치 추정 방법은 임의의 차선으로 주행하는 이동체에 구비된 스테레오 카메라에 의해 촬영된 영상프레임으로부터 상기 이동체의 위치를 추정하는 위치 추정단계; 추정된 위치로부터 상기 이동체의 제1 자세정보를 획득하는 제1 자세정보 획득단계; 상기 스테레오 카메라가 영상을 촬영한 시점에서 상기 이동체의 제2 자세정보를 획득하는 제2 자세정보 획득단계; 상기 제1 자세정보 및 제2 자세정보를 이용하여 상기 이동체의 현재 위치에 대한 확률 분포를 산출하고, 상기 확률 분포 중 제1 확률을 상기 이동체의 위치로 보정하는 제1 위치 보정단계; 및 상기 차선 폭을 복수 구간으로 분할하고 각 구간에 상기 이동체가 위치할 확률을 다르게 설정한 차선 확률 분포도로부터 상기 이동체가 위치한 차선 구간의 확률을 획득하고, 상기 이동체가 위치한 차선 구간의 확률 및 상기 제1 위치 보정부에서 출력되는 상기 이동체의 위치 확률에 대한 합성 확률을 산출하여, 상기 합성확률 중 제2 확률을 상기 이동체의 최종 위치로 재 보정하는 제2 위치 보정단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 위치 추정단계는, 상기 제1 및 제2 영상 프레임으로부터 특징점을 추출하는 추출단계; 상기 제1 영상 프레임의 특징점에 대응하는 상기 제2 영상 프레임의 특징점을 정합하는 정합단계; 상기 정합된 특징점의 삼차원 좌표를 산출하는 산출단계; 및 특징 공간 상에서 상기 공간 상관도를 기초로 이전 및 현재 영상프레임 간 삼차원 좌표 공간 변화량을 의미하는 모션 벡터를 그룹화 함으로써 하나 이상의 모션 클러스터를 구성하는 클러스터링 단계; 각 모션 클러스터의 노이즈를 제거하는 노이즈 제거단계; 및 상기 모션 클러스터에 대해 계산된 상대적인 상기 제1 및 제2 카메라의 위치를 추적함으로써 상기 이동체의 위치를 추정하는 위치 추정단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 클러스터링 단계는, 그래프-컷을 이용한 MRF 최적화 알고리즘을 적용하여 상기 모션 클러스터를 구성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 노이즈 제거단계는, 각 모션 클러스터에 RANSAC을 적용하여 아웃라이어를 제거하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 자세정보 획득단계는, 상기 추정된 위치로부터 상기 이동체의 x, y, z, 롤(roll), 요(yaw), 피치(pitch)를 포함하는 제1 자세정보를 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 자세정보 획득단계는, 상기 스테레오 카메라가 영상을 촬영시 상기 이동체의 위치정보를 획득하고, 상기 이동체의 위치정보로부터 상기 이동체의 x, y, z, 롤(roll), 요(yaw), 피치(pitch)를 포함하는 제2 자세정보를 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 자세정보는 관성 측정 유닛(inertial measurement unit)에 의해 획득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 위치 보정단계는, 상기 제1 자세정보 및 제2 자세정보를 입력으로 하는 팩터 그래프를 이용하여 상기 확률 분포를 산출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 도로 정보 맵 및 상기 도로 정보 맵으로부터 각 차선에 대해 기설정된 상기 차선 확률 분포도를 저장하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차선 확률 분포도는 상기 차선 중앙 구간의 확률이 가장 크고 상기 차선 외곽 구간으로 갈수록 상기 확률이 작아지도록 설정 가능한 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 카메라로 촬영한 영상 및 저가의 관성 측정 장치(inertial measurement unit, IMU)를 이용하여 도로를 주행하는 이동체의 위치를 정확하게 추정할 수 있다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 위치 추정 장치의 구성을 보이는 블록도 이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 위치 추정부의 상세 블록도 이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 삼차원 영상프레임의 특징점 정합에 의해 벡터가 표시된 예를 보이는 도면이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 삼차원 영상프레임의 모션 클러스터를 구성한 예를 보이는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 이동체의 위치 보정을 설명하는 도면이다.
도 6은 본 발명의 바람직한 일 실시 예에 따른 위치 추정 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 위치 추정 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 위치 추정 장치(10)는, 스테레오 카메라로써의 제1 카메라(100)및 제2 카메라(200), 위치 추정부(300), 제1 자세정보 획득부(400), 제2 자세정보 획득부(500), 제1 위치 보정부(600), 메모리(700) 및 제2 위치 보정부(800)를 포함할 수 있다.
제1 카메라(100) 및 제2 카메라(200)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 의미하는 것으로, 입력되는 제1 및 제2 이미지(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환한 제1 및 제2 영상프레임을 출력한다.
위치 추정부(300)는 임의의 차선으로 주행하는 이동체에 구비된 제1 카메라(100) 및 제2 카메라(200)에 의해 촬영된 제1 및 제2 영상프레임으로부터 이동체의 위치를 추정한다.
도 2에는 위치 추정부(300)의 상세도가 도시되어 있다. 도 2를 참조하면, 위치 추정부(300)는 특징점 추출부(310), 특징점 정합부(320), 삼차원 좌표 산출부(330) 클러스터링부(340), 노이즈 제거부(350) 및 위치 추정부(360)를 포함할 수 있다.
특징점 추출부(310)는 제1 및 제2 영상프레임 각각으로부터 특징점을 추출한다. 일 실시 예로 KLT 추적기(Kanade-Lucas-Tomasi tracker)와 Harris 코너 검출기(conner detector)를 이용하여 특징점을 추출할 수 있다.
특징점 정합부(320)는 제1 영상프레임의 특징점에 대응하는 제2 영상프레임의 특징점을 정합한다. 일 실시 예로 특히, 에피폴라 기하(epipolar geometry) 또는 영역 기반 정합 방법을 이용하여 특징점을 정합할 수 있다.
삼차원 좌표 산출부(330)는 정합된 특징점의 삼차원 좌표를 산출하는데, 일 실시 예로 삼각 측량 기법을 이용할 수 있다. 삼차원 좌표 산출부(330)는 각각 제1 영상프레임 및 제2 영상프레임으로부터 특징점의 이차원 좌표 즉, x좌표 및 y좌표를 산출하고, 삼각측량 기법으로 제1 카메라(100) 및 제2 카메라(200)에서 특징점까지의 거리를 산출하여 산출된 거리를 깊이(depth)값 즉, z좌표로 산출하여 최종 삼차원 좌표를 산출한다.
클러스터링부(340)는 이전 삼차원 영상프레임의 삼차원 좌표 및 현재 삼차원 영상 프레임의 삼차원 좌표를 통해 실제 공간의 변환량을 의미하는 모션 벡터를 계산하고, 공간적 코히런트 모션 클러스터링(spatially coherent motion clustering)을 수행하여, 정적인 배경 및 다수의 움직임을 집합화할 수 있다. 도 3은 삼차원 영상 프레임에서 정합된 특징점의 삼차원 모션 벡터가 표시된 예를 보이고 있다.
클러스터링부(340)는 모션 벡터의 이동 방향을 파라미터로 하는 특징 공간(feature space) 상에서 공간 상관도를 기초로 벡터를 그룹화함으로써 하나 이상의 모션 클러스터를 구성한다. 도 4는 이전 또는 현재 삼차원 영상프레임에 표시된 벡터들을 세 개의 모션 클러스터(a, b, c)로 구성한 예를 도시하고 있다.
클러스터링부(340)는 일 예로서, 들로네 삼각화 기법에 의해 삼각형으로 구성된 격자 상에 MRF(markov random field) 최적화 알고리즘을 적용하여 모션 클러스터링을 수행할 수 있다. 여기서 MRF 최적화를 위해, 그래프-컷(graph-cut) 기법이 사용될 수 있다.
노이즈 제거부(350)는 구성된 각 모션 클러스터에 대해 아웃라이어(outlier)를 제거함으로써 노이즈가 제거된 하나 이상의 모션 클러스터를 구성한다. 아웃라이어는 모션 클러스터 내의 벡터들에서 오차가 큰 벡터(일관성이 현저하게 낮은 벡터, 도 4의 c에 해당)로서, 센서 노이즈에 의해 발생되는 센서 아웃라이어와 이동 객체에 의해 발생하는 모션 아웃라이어를 포함하는 노이즈이다. 본 실시 예는 RANSAC(random sample consensus)을 각 모션 클러스터에 적용하여 아웃라이어를 제거할 수 있다.
위치 추정부(360)는 이동체가 일정한 속도로 주행한다는 가정 하에 각 모션 클러스터에 대해 계산된 상대적인 카메라의 위치를 추적함으로써 이동체의 위치를 추정한다. 이때, 확장 칼만 필터(extended kalman filter) 알고리즘이 적용될 수 있다. 위치 추정부(360)는 이전 영상 프레임의 삼차원 좌표 및 현재 형상 프레임의 삼차원 좌표의 변화량으로 삼차원 좌표축에 대한 직선운동을 나타내는 병진 정보 및 삼차원 좌표축 주위의 회전운동을 나타내는 회전 정보를 산출하고 이를 이동체의 위치로 추정할 수 있다.
제1 자세정보 획득부(400)는 위치 추정부(360)에서 출력되는 이전 영상 프레임의 삼차원 좌표 및 현재 형상 프레임의 삼차원 좌표의 변화량인 병진정보 및 회전정보로부터 이동체의 제1 자세정보를 획득한다. 여기서, 제1 자세정보는 병진정보로부터 획득되는 x, y, z 와, 회전정보로부터 획득되는 롤(roll), 요(yaw), 피치(pitch)를 포함할 수 있다. 여기서 롤(roll) 값은 x축을 중심으로 반시계 방향으로 회전하는 각도로 정의할 수 있고, 요(yaw) 값은 y축을 줌으로 반시계 방향으로 회전하는 각도로 정의할 수 있으며, 피치(pitch) 값은 z축을 중심으로 반시계 방향으로 회전하는 각도로 정의할 수 있다. 요(yaw) 값을 이용해서 이동체의 이동 방향을 알 수 있고, 경사길이나 턱을 넘을 때는 피치(pitch) 값을 이용해서 이를 알 수 있다.
제2 자세정보 획득부(500)는 제1 카메라(100) 및 제2 카메라(200)가 영상프레임을 촬영한 시점(이전 영상프레임 촬영 시점 및 현재 영상프레임 촬영 시점)에서 이동체의 제2 자세정보를 획득한다. 여기서 제2 자세정보 획득부(500)는 관성 측정 유닛(inertial measurement unit)을 포함할 수 있다. 제2 자세정보 획득부(500)로써의 관성 측정 유닛은 하나 이상의 가속도 센서와 하나 이상의 자이로 센서를 구비하여, 가속도 센서에 의해 x, y, z값을 측정하고, 자이로 센서에 의해 롤(roll), 요(yaw), 피치(pitch) 값을 측정할 수 있다. 관성 측정 유닛은 이동체의 가속도를 측정, 시간에 대한 연속적인 적분을 수행하여 현재 위치와 속도, 진행방향을 계산하는 장치로서 자이로 센서를 이용, 관성공간에 대해 일정한 자세를 유지하는 기준 테이블을 만들고, 그 위에 정밀한 가속도 센서를 이동체에 탑재한다. GPS와 달리 필요한 정보를 외부의 도움 없이 본체 내에 설치된 센서들을 통해 얻는다. 관성 측정 유닛은 외부 도움없이 자신의 위치를 결정할 수 있는 특성으로 지형·기상 등에 영향을 받지 않으며 GPS로 구현이 곤란한 자세정보까지 얻을 수 있어 위치 및 자세정보를 필요로 하는 이동체에 필수적 장비다. 또한 전파방해 없이 위치·자세를 감지할 수 있어 GPS보다 유용하다는 장점이 있다.
제1 위치 보정부(600)는 제1 자세정보 획득부(400)에서 출력되는 제1 자세정보(x, y, z, 롤, 요, 피치) 및 제2 자세정보 획득부(500)에서 출력되는 제2 자세정보(x, y, z, 롤, 요, 피치)를 이용하여 이동체의 현재 위치에 대한 확률 분포를 산출하고, 산출한 확률 분포 중 제1 확률을 이동체의 위치로 보정하여 출력한다. 여기서, 제1 확률은 산출한 확률 분포 중 가장 큰 확률을 나타낸다. 일 실시 예로 제1 위치 보정부(600)는 팩터 그래프(factor graph) 알고리즘을 이용하여 이동체의 위치를 보정할 수 있다.
제1 위치 보정부(600)에서 수행되는 팩터 그래프 알고리즘은 확률 분포를 사용하여 이동체의 위치를 추정하는 방법으로, 확률 밀도를 이용하여 샘플을 추출하여 그 밀도가 높은 부분으로 이동체의 위치를 추정해 가는 것이다.
팩터 그래프는 예측 단계 및 측정-갱신 단계로 구성될 수 있다. 예측단계에서, 이동체가 이동하게 되면 이동 정보(제1 자세정보)가 입력되는데, 불확실성을 포함하게 되어 이전(t-1) 위치는 정확하더라도 현재(t) 위치는 확률 분포로 나타나게 된다. 이때 이동 모델로 제2 자세정보를 적용하여 현재 시간(t)에서의 이동체의 위치를 확률 분포로 계산할 수 있다. 한편, 이동체 주변에 위치한 물체의 거리정보는 불확실성이 작아 비교적 정확하기 때문에 이 거리정보에 센서(미도시)를 적용하여 최종 확률 분포를 구하면 불확실성이 감소하게 된다. 제1 위치 보정부(600)는 이렇게 구한 최종 확률 분포 중 가장 큰 확률을 이동체의 현재 위치로 보정한다. 도 5a에는 적어도 둘 이상으로 구성된 차선 중 임의의 차선을 주행중인 이동체에 대하여, 제1 위치 보정부(600)가 가장 큰 확률을 이동체의 현재 위치로 보정한 것을 보이는 도면이 도시되어 있다.
메모리(700)에는 도로 정보 맵 및 도로 정보 맵으로부터 각 차선에 대해 기설정된 차선 확률 분포도 및 그에 따른 이동체의 방향을 저장하고 있다. 여기서 차선 확률 분포도라 함은 상기 임의의 차선 폭을 복수 구간으로 분할하고 각 구간에 이동체가 위치할 확률을 다르게 설정한 것을 나타낸다. 도 5b를 예로 들어 차선 확률 분포도를 설명하면, 임의의 차선 폭을 복수 개로 분할하고, 각 구간에 이동체가 위치할 확률을 다르게 설정하는데, 확률 설정 시에, 예를 들어, 차선 중앙 구간의 확률이 가장 크고 차선 외곽 구간으로 갈수록 즉, 확률이 작아지도록 설정할 수 있다. 이와 더불어 확률 분포에 따라 이동체의 방향도 달라질 수 있는데, 확률이 높을수록 이동체가 정방향으로 주행할 확률이 높아진다. 도 5b의 경우 이동체가 확률이 가장 큰 차선 중앙 구간에 있지 않고, 외곽 구간쪽에 위치해 있으며, 이동체가 위치해 있는 구간에 설정된 확률을 다음 제2 위치 보정부(800)에 적용할 수 있다.
제2 위치 보정부(800)는 제1 위치 보정부(600)에서 출력되는 이동체의 위치 확률 및 메모리(700)로부터 출력되는 이동체가 위치한 차선 구간의 확률로부터 합성 확률을 산출하고, 합성 확률 중 제2 확률을 이동체의 최종 위치로 보정한다. 여기서 제2 확률은 합성 확률 중 가장 큰 확률을 나타낸다. 제2 위치 보정을 하는 이유는, 차선을 주행하는 이동체에 대하여, 기 설정된 도로정보를 이용하여 이동체의 위치를 좀 더 정확하게 추정하기 위함이다. 도 5a에 도시된 이동체의 현재 위치의 확률 및 도 5b에 도시된 이동체가 임의의 차선 구간에 위치한 확률을 합성하여, 도 5c와 같이 합성 확률 중 가장 큰 확률(제2)을 갖는 위치로 이동체의 위치를 최종 보정한다.
이와 같이 스테레오 카메라로 촬영한 영상 및 저가의 관성 측정 장치를 이용하여 도로를 주행하는 이동체의 위치를 정확하게 추정할 수 있게 된다.
도 6은 본 발명의 바람직한 일 실시 예에 따른 위치 추정 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
위치 추정 장치(10)는 임의의 차선으로 주행하는 이동체에 구비된 스테레오 카메라에 의해 촬영된 영상으로부터 이동체의 위치를 추정하는 단계(S100)를 수행한다. 이동체의 위치 추정을 위해, 스테레오 카메라로 촬영된 제1 및 제2 영상프레임 각각으로부터 특징점을 추출하고, 제1 영상프레임의 특징점에 대응하는 제2 영상프레임의 특징점을 정합한다. 특징점 정합 후 위치 추정 장치(10)는 각각 제1 영상프레임 및 제2 영상프레임으로부터 특징점의 이차원 좌표 즉, x좌표 및 y좌표를 산출하고, 삼각측량 기법으로 카메라에서 특징점까지의 거리를 산출하여 산출된 거리를 깊이(depth)값 즉, z좌표로 산출하여 삼차원 좌표를 산출한다. 삼차원 좌표 산출 후 위치 추정 장치(10)는 이전 삼차원 영상프레임의 삼차원 좌표 및 현재 삼차원 영상 프레임의 삼차원 좌표를 통해 실제 공간의 변환량을 의미하는 모션 벡터를 계산하고, 모션 벡터의 이동 방향을 파라미터로 하는 특징 공간(feature space) 상에서 공간 상관도를 기초로 벡터를 그룹화하여 하나 이상의 모션 클러스터를 구성한다. 이후 위치 추정 장치(10)는 구성된 각 모션 클러스터에 대해 아웃라이어(outlier)를 제거함으로써 노이즈가 제거된 하나 이상의 모션 클러스터를 구성한다. 위치 추정 장치(10)는 이동체가 일정한 속도로 주행한다는 가정 하에 각 모션 클러스터에 대해 계산된 상대적인 카메라의 위치를 추적함으로써 이동체의 위치를 추정할 수 있는데, 이전 영상 프레임의 삼차원 좌표 및 현재 형상 프레임의 삼차원 좌표의 변화량으로 삼차원 좌표축에 대한 직선운동을 나타내는 병진 정보 및 삼차원 좌표축 주위의 회전운동을 나타내는 회전 정보를 산출하고 이를 이동체의 위치로 추정한다.
이동체의 위치 추정이 완료되면, 위치 추정 장치(10)는 추정된 위치로부터 이동체의 제1 자세정보를 획득하는 단계(S200)를 수행한다. 여기서, 제1 자세정보는 이전 영상 프레임의 삼차원 좌표 및 현재 형상 프레임의 삼차원 좌표의 변화량으로써, 병진정보로부터 획득되는 x, y, z 와, 회전정보로부터 획득되는 롤(roll), 요(yaw), 피치(pitch)를 포함할 수 있다.
또한 위치 추정 장치(10)는 스테레오 카메라가 영상을 촬영한 시점에서 관성 측정 유닛(inertial measurement unit)에 의해 측정되는 이동체의 제2 자세정보를 획득하는 단계(S300)를 수행한다. 제2 자세정보는 관성 측정 유닛에 구비된 가속도 센서에 의해 측정된 x, y, z값 및 자이로 센서에 의해 측정된 롤(roll), 요(yaw), 피치(pitch) 값을 포함할 수 있다.
이후 위치 추정 장치(10)는 제1 자세정보 및 제2 자세정보를 이용하여 이동체의 현재 위치에 대한 확률 분포를 산출하고, 확률 분포 중 제1 확률을 이동체의 위치로 보정하는 단계(S400)를 수행한다. 위치 추정 장치(10)는 제1 자세정보(x, y, z, 롤, 요, 피치) 및 제2 자세정보(x, y, z, 롤, 요, 피치)를 입력으로 팩터 그래프(factor graph) 알고리즘을 수행하여 산출된 확률 분포 중 가장 큰 확률(제1 확률)을 이동체의 현재 위치로 보정한다.
이동체의 현재 위치 보정이 완료되면, 위치 추정 장치(10)는 차선 폭을 복수 구간으로 분할하고 각 구간에 이동체가 위치할 확률을 다르게 설정한 차선 확률 분포도로부터 이동체가 위치한 차선 구간의 확률을 획득하고, 이동체가 위치한 차선 구간의 확률 및 보정된 이동체의 위치 확률에 대한 합성 확률을 산출하여, 합성 확률 중 제2 확률을 이동체의 최종 위치로 재 보정하는 단계(S500)를 수행한다. 위치 추정 장치(10)에는 도로 정보 맵 및 도로 정보 맵으로부터 각 차선에 대해 기설정된 차선 확률 분포도를 저장하고 있다. 여기서 차선 확률 분포도라 함은 임의의 차선 폭을 복수 구간으로 분할하고 각 구간에 이동체가 위치할 확률을 다르게 설정한 것을 나타낸다. 확률 설정 시에, 차선 중앙 구간의 확률이 가장 크고 차선 외곽 구간으로 갈수록 즉, 확률이 작아지도록 설정할 수 있다. 위치 추정 장치(10)는 이동체의 위치 확률 및 이동체가 위치한 차선 구간의 확률로부터 합성 확률을 산출하고, 합성 확률 중 가장 큰 확률(제2 확률) 이동체의 최종 위치로 보정한다. 여기서 제2 위치 보정을 하는 이유는, 차선을 주행하는 이동체에 대하여, 기 설정된 도로정보를 이용하여 이동체의 위치를 좀 더 정확하게 추정하기 위함이다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 제1 카메라 200: 제2 카메라
300: 위치 추정부 310: 특징점 추출부
320: 특징점 정합부 330: 삼차원 좌표 산출부
340: 클러스터링부 350: 노이즈 제거부
360: 위치 추정부 400: 제1 자세정보 획득부
500: 제2 자세정보 획득부 600: 제1 위치 보정부
700: 메모리 800: 제2 위치 보정부

Claims (20)

  1. 임의의 차선으로 주행하는 이동체에 구비된 스테레오 카메라에 의해 촬영된 영상프레임으로부터 상기 이동체의 위치를 추정하는 위치 추정부;
    추정된 위치로부터 상기 이동체의 제1 자세정보를 획득하는 제1 자세정보 획득부;
    상기 스테레오 카메라가 영상을 촬영한 시점에서 상기 이동체의 제2 자세정보를 획득하는 제2 자세정보 획득부;
    상기 제1 자세정보 및 제2 자세정보를 이용하여 상기 이동체의 현재 위치에 대한 확률 분포를 산출하고, 상기 확률 분포에서 가장 큰 확률의 위치로써 상기 이동체의 위치를 보정하는 제1 위치 보정부; 및
    상기 차선의 폭을 복수 구간으로 분할하고 각 구간에 상기 이동체가 위치할 확률을 다르게 설정한 차선 확률 분포도로부터 상기 이동체가 위치한 차선 구간의 확률을 획득하고, 상기 이동체가 위치한 차선 구간의 확률 및 상기 제1 위치 보정부에서 출력되는 상기 이동체의 위치 확률에 대한 합성 확률을 산출하여, 상기 합성확률 중 가장 큰 확률의 위치로써 상기 이동체의 최종 위치를 재 보정하는 제2 위치 보정부;를 포함하는 것을 특징으로 하는 위치 추정 장치.
  2. 제 1항에 있어서, 상기 위치 추정부는,
    상기 제1 및 제2 영상 프레임으로부터 특징점을 추출하는 추출부;
    상기 제1 영상 프레임의 특징점에 대응하는 상기 제2 영상 프레임의 특징점을 정합하는 정합부;
    상기 정합된 특징점의 삼차원 좌표를 산출하는 산출부; 및
    특징 공간 상에서 상기 공간 상관도를 기초로 이전 및 현재 영상프레임 간 삼차원 좌표 공간 변화량을 의미하는 모션 벡터를 그룹화 함으로써 하나 이상의 모션 클러스터를 구성하는 클러스터링부;
    각 모션 클러스터의 노이즈를 제거하는 노이즈 제거부; 및
    상기 모션 클러스터에 대해 계산된 상대적인 상기 제1 및 제2 카메라의 위치를 추적함으로써 상기 이동체의 위치를 추정하는 위치 추정부;를 포함하는 것을 특징으로 하는 위치 추정 장치.
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서, 상기 제1 자세정보 획득부는,
    상기 추정된 위치로부터 상기 이동체의 x, y, z, 롤(roll), 요(yaw), 피치(pitch)를 포함하는 제1 자세정보를 획득하는 것을 특징으로 하는 위치 추정 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1항에 있어서, 상기 제2 자세정보 획득부는,
    상기 스테레오 카메라가 영상을 촬영시 상기 이동체의 위치정보를 획득하고, 상기 이동체의 위치정보로부터 상기 이동체의 x, y, z, 롤(roll), 요(yaw), 피치(pitch)를 포함하는 제2 자세정보를 획득하는 것을 특징으로 하는 위치 추정 장치.
  7. 삭제
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1항에 있어서, 상기 제1 위치 보정부는,
    상기 제1 자세정보 및 제2 자세정보를 입력으로 하는 팩터 그래프를 이용하여 상기 확률 분포를 산출하는 것을 특징으로 하는 위치 추정 장치.
  9. 삭제
  10. 삭제
  11. 임의의 차선으로 주행하는 이동체에 구비된 스테레오 카메라에 의해 촬영된 영상프레임으로부터 상기 이동체의 위치를 추정하는 위치 추정단계;
    추정된 위치로부터 상기 이동체의 제1 자세정보를 획득하는 제1 자세정보 획득단계;
    상기 스테레오 카메라가 영상을 촬영한 시점에서 상기 이동체의 제2 자세정보를 획득하는 제2 자세정보 획득단계;
    상기 제1 자세정보 및 제2 자세정보를 이용하여 상기 이동체의 현재 위치에 대한 확률 분포를 산출하고, 상기 확률 분포에서 가장 큰 확률의 위치로써 상기 이동체의 위치를 보정하는 제1 위치 보정단계; 및
    상기 차선의 폭을 복수 구간으로 분할하고 각 구간에 상기 이동체가 위치할 확률을 다르게 설정한 차선 확률 분포도로부터 상기 이동체가 위치한 차선 구간의 확률을 획득하고, 상기 이동체가 위치한 차선 구간의 확률 및 상기 제1 위치 보정부에서 출력되는 상기 이동체의 위치 확률에 대한 합성 확률을 산출하여, 상기 합성확률 중 가장 큰 확률의 위치로써 상기 이동체의 최종 위치를 재 보정하는 제2 위치 보정단계;를 포함하는 것을 특징으로 하는 위치 추정 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11항에 있어서, 상기 위치 추정단계는,
    상기 제1 및 제2 영상 프레임으로부터 특징점을 추출하는 추출단계;
    상기 제1 영상 프레임의 특징점에 대응하는 상기 제2 영상 프레임의 특징점을 정합하는 정합단계;
    상기 정합된 특징점의 삼차원 좌표를 산출하는 산출단계; 및
    특징 공간 상에서 상기 공간 상관도를 기초로 이전 및 현재 영상프레임 간 삼차원 좌표 공간 변화량을 의미하는 모션 벡터를 그룹화 함으로써 하나 이상의 모션 클러스터를 구성하는 클러스터링 단계;
    각 모션 클러스터의 노이즈를 제거하는 노이즈 제거단계; 및
    상기 모션 클러스터에 대해 계산된 상대적인 상기 제1 및 제2 카메라의 위치를 추적함으로써 상기 이동체의 위치를 추정하는 위치 추정단계;를 포함하는 것을 특징으로 하는 위치 추정 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140009167A 2014-01-24 2014-01-24 위치 추정 장치 및 방법 KR102016551B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140009167A KR102016551B1 (ko) 2014-01-24 2014-01-24 위치 추정 장치 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140009167A KR102016551B1 (ko) 2014-01-24 2014-01-24 위치 추정 장치 및 방법
US14/336,415 US9386209B2 (en) 2014-01-24 2014-07-21 Method and apparatus for estimating position
CN201510037327.0A CN104811683B (zh) 2014-01-24 2015-01-23 用于估计位置的方法和设备

Publications (2)

Publication Number Publication Date
KR20150088636A KR20150088636A (ko) 2015-08-03
KR102016551B1 true KR102016551B1 (ko) 2019-09-02

Family

ID=53679518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009167A KR102016551B1 (ko) 2014-01-24 2014-01-24 위치 추정 장치 및 방법

Country Status (3)

Country Link
US (1) US9386209B2 (ko)
KR (1) KR102016551B1 (ko)
CN (1) CN104811683B (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
KR20150144179A (ko) * 2014-06-16 2015-12-24 삼성전자주식회사 영상에서 대상체 부위의 위치를 추정하기 위한 방법 및 장치
CN105608417B (zh) * 2015-12-15 2018-11-06 福州华鹰重工机械有限公司 交通信号灯检测方法及装置
SG11201807781YA (en) * 2016-03-10 2018-10-30 Hyung Tay Rho Method, system, and non-transitory computer-readable recording medium for providing medical service
US20200300637A1 (en) * 2016-03-28 2020-09-24 Sri International Collaborative navigation and mapping
CN105867373B (zh) * 2016-04-07 2018-09-11 重庆大学 一种基于激光雷达数据的移动机器人位姿推算方法及系统
CN107310550B (zh) * 2016-04-27 2019-09-17 腾讯科技(深圳)有限公司 道路交通工具行驶控制方法和装置
WO2017199556A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US10802147B2 (en) * 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
JP2018019359A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 船舶監視装置
US10417533B2 (en) * 2016-08-09 2019-09-17 Cognex Corporation Selection of balanced-probe sites for 3-D alignment algorithms
US10210406B2 (en) 2016-08-19 2019-02-19 Dura Operating, Llc System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map
KR20180069501A (ko) * 2016-12-15 2018-06-25 현대자동차주식회사 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법
US10630962B2 (en) * 2017-01-04 2020-04-21 Qualcomm Incorporated Systems and methods for object location
JP2020508506A (ja) * 2017-01-26 2020-03-19 ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガンThe Regents Of The University Of Michigan 3d点データにおける垂直構造を取り込む2dマップを使用する位置推定
CN106941607A (zh) * 2017-02-22 2017-07-11 万物感知(深圳)科技有限公司 立体惯性摄像系统
WO2018195996A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Multi-object tracking based on lidar point cloud
CN107703528B (zh) * 2017-09-25 2020-10-27 武汉光庭科技有限公司 自动驾驶中结合低精度gps的视觉定位方法及系统
CN108253958B (zh) * 2018-01-18 2020-08-11 亿嘉和科技股份有限公司 一种稀疏环境下的机器人实时定位方法
US10753736B2 (en) 2018-07-26 2020-08-25 Cisco Technology, Inc. Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching
US10703365B1 (en) 2018-12-26 2020-07-07 Automotive Research & Testing Center Lane tracking method and lane tracking system for an autonomous vehicle
CN111311685B (zh) * 2020-05-12 2020-08-07 中国人民解放军国防科技大学 一种基于imu与单目图像的运动场景重构无监督方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004048895A1 (ja) * 2002-11-22 2004-06-10 Kumamoto Technology & Industry Foundation 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置
US20090202174A1 (en) 2008-02-07 2009-08-13 Hisashi Shiba Pose estimation
US20120150437A1 (en) 2010-12-13 2012-06-14 Gm Global Technology Operations Llc. Systems and Methods for Precise Sub-Lane Vehicle Positioning

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3833786B2 (ja) * 1997-08-04 2006-10-18 富士重工業株式会社 移動体の3次元自己位置認識装置
US6176837B1 (en) * 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
KR100484941B1 (ko) 2002-09-12 2005-04-25 한국전자통신연구원 영상정보를 이용한 지리정보 구축 및 브라우징 시스템과그 방법
US7343232B2 (en) * 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
WO2007077682A1 (ja) * 2005-12-28 2007-07-12 Honda Motor Co., Ltd. 車両及びレーンマーク検出装置
US20080033645A1 (en) * 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
KR100809352B1 (ko) * 2006-11-16 2008-03-05 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
US8532862B2 (en) * 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
ES2400708T3 (es) * 2008-08-27 2013-04-11 Saab Ab Utilización de un sensor de imágenes y de un filtro de seguimiento de tiempo restante para evitar colisiones en vuelo
FI122225B (fi) 2009-08-04 2011-10-14 Outotec Oyj Tiivistyslaite
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
KR101665386B1 (ko) * 2010-11-15 2016-10-12 한화테크윈 주식회사 로봇 위치 추정 장치 및 방법
KR101220527B1 (ko) 2011-03-02 2013-01-21 한국과학기술원 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
CN103492837B (zh) * 2011-04-11 2016-04-27 歌乐株式会社 位置计算方法和位置计算装置
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
CN102322859B (zh) * 2011-08-23 2013-12-18 中国国土资源航空物探遥感中心 一种航空惯性导航测量系统及姿态校正方法
KR101406176B1 (ko) * 2011-10-31 2014-06-13 조선대학교산학협력단 수중로봇의 위치 추정 장치 및 그 방법
CN103105852B (zh) * 2011-11-14 2016-03-30 联想(北京)有限公司 位移计算方法和设备及即时定位与地图构建方法和设备
CN103424114B (zh) * 2012-05-22 2016-01-20 同济大学 一种视觉导航/惯性导航的全组合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004048895A1 (ja) * 2002-11-22 2004-06-10 Kumamoto Technology & Industry Foundation 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置
US20090202174A1 (en) 2008-02-07 2009-08-13 Hisashi Shiba Pose estimation
US20120150437A1 (en) 2010-12-13 2012-06-14 Gm Global Technology Operations Llc. Systems and Methods for Precise Sub-Lane Vehicle Positioning

Also Published As

Publication number Publication date
CN104811683A (zh) 2015-07-29
US9386209B2 (en) 2016-07-05
CN104811683B (zh) 2018-05-01
US20150213617A1 (en) 2015-07-30
KR20150088636A (ko) 2015-08-03

Similar Documents

Publication Publication Date Title
US20180066934A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
Wasenmüller et al. CoRBS: Comprehensive RGB-D benchmark for SLAM using Kinect v2
US9946264B2 (en) Autonomous navigation using visual odometry
Scaramuzza et al. Visual odometry [tutorial]
Nützi et al. Fusion of IMU and vision for absolute scale estimation in monocular SLAM
JP6620153B2 (ja) サラウンドビュー画像から自動車のエゴモーションを推定するための方法および装置
Schmid et al. Stereo vision and IMU based real-time ego-motion and depth image computation on a handheld device
Patron-Perez et al. A spline-based trajectory representation for sensor fusion and rolling shutter cameras
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
JP5222971B2 (ja) 歩行ロボット装置及びその制御プログラム
US8401783B2 (en) Method of building map of mobile platform in dynamic environment
JP6044005B2 (ja) 部分的に既知の環境におけるカメラの位置特定および3d再構築を行う方法
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
Lovegrove et al. Spline Fusion: A continuous-time representation for visual-inertial fusion with application to rolling shutter cameras.
Wangsiripitak et al. Avoiding moving outliers in visual SLAM by tracking moving objects
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
RU2713611C2 (ru) Способ моделирования трехмерного пространства
WO2017037423A1 (en) Mapping a space using a multi-directional camera
US10339389B2 (en) Methods and systems for vision-based motion estimation
Clipp et al. Robust 6dof motion estimation for non-overlapping, multi-camera systems
Scherer et al. Efficient onbard RGBD-SLAM for autonomous MAVs
JP2016525842A (ja) カメラ動き予測及び修正のための方法
WO2017077925A1 (en) Method and system for estimating three-dimensional pose of sensor
CN109084732B (zh) 定位与导航方法、装置及处理设备
Royer et al. Localization in urban environments: monocular vision compared to a differential GPS sensor

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant