KR101572851B1 - 동적 환경에서 모바일 플랫폼의 지도 작성방법 - Google Patents

동적 환경에서 모바일 플랫폼의 지도 작성방법 Download PDF

Info

Publication number
KR101572851B1
KR101572851B1 KR1020080131035A KR20080131035A KR101572851B1 KR 101572851 B1 KR101572851 B1 KR 101572851B1 KR 1020080131035 A KR1020080131035 A KR 1020080131035A KR 20080131035 A KR20080131035 A KR 20080131035A KR 101572851 B1 KR101572851 B1 KR 101572851B1
Authority
KR
South Korea
Prior art keywords
dynamic
map
static
feature points
minutiae
Prior art date
Application number
KR1020080131035A
Other languages
English (en)
Other versions
KR20100072590A (ko
Inventor
형승용
노경식
윤석준
안성환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020080131035A priority Critical patent/KR101572851B1/ko
Priority to US12/654,037 priority patent/US8401783B2/en
Publication of KR20100072590A publication Critical patent/KR20100072590A/ko
Application granted granted Critical
Publication of KR101572851B1 publication Critical patent/KR101572851B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 위치인식용 3D(IR TOF) 카메라 센서를 이용하여 동적 환경을 이동하는 모바일 플랫폼의 지도를 작성하는 방법과 물체를 검출하는 방법에 관한 것이다.
이를 위해 본 발명은 무인 차량이나 이동 로봇 등의 모바일 플랫폼에서 움직이는 물체와 고정된 물체를 분리하여 맵핑하는 위치인식 기술을 적용하여 움직이는 물체가 많은 동적 환경에서 고정된 물체를 기반으로 한 지도정보를 정확하게 작성할 수 있으며, 지도 작성을 위하여 얻어낸 위치정보를 이용하여 움직이는 물체에 대한 회피나 추적 기능을 획득할 수 있도록 한다.

Description

동적 환경에서 모바일 플랫폼의 지도 작성방법{METHOD FOR BUILDING MAP OF MOBILE PLATFORM IN DYNAMIC ENVIRONMENT}
본 발명은 동적 환경에서 모바일 플랫폼의 지도 작성방법에 관한 것으로, 더욱 상세하게는 위치인식용 3D(IR TOF:Infrared Time Of Flight) 카메라 센서를 이용하여 동적 환경에서 지도를 작성하는 방법과 물체를 검출하는 방법에 관한 것이다.
지능형 무인화 기술이 발달됨에 따라 자기 위치인식 기술에 대한 많은 연구가 진행되고 있다. 관성항법을 이용한 위치인식 기술은 항공기나 미사일 등과 같이 한정된 곳에 사용되었으나 인공위성을 활용한 GPS(Global Positioning System)가 상용화됨에 따라 위치인식 기술이 다양한 분야에서 사용되고 있으며 상업적으로도 막대한 부가가치를 창출하고 있다. 그러나 위치인식 기술이 아직까지는 실내나 도심지에서 좋은 성능을 내지 못하고 있기 때문에 어떠한 장소에서도 좋은 성능을 낼 수 있는 솔루션을 찾기 위하여 많은 연구가 진행되고 있는 상황이며, 최근에는 실내에서 사용할 수 있는 모바일 제품들에 위치인식 기술을 탑재함으로서 다양한 기능의 구현은 물론, 이로 인해 발생되는 부가가치 또한 적지 않을 것을 예상된다.
예를 들면, 최근 들어 다양한 분야에서 활용되고 있는 로봇(가정에서의 가사 도우미 로봇, 공공장소용 서비스 로봇 등)의 경우 자율적으로 이동하기 위해서는 주변 환경에 대한 사전 정보 없이 자기의 위치를 인식하고, 환경에 대한 정보로부터 지도를 작성하는 위치인식(Localization)과 지도작성(Map-building)의 과정이 동시에 수행되어야 한다. 이를 동시적 위치인식 및 지도작성(Simultaneous Localization And Mapping; SLAM)이라 한다.
SLAM은 영상이나 거리센서 등을 이용하여 실시간으로 지도를 작성하며 자기 위치를 인식하는 기술로서 실내 위치인식의 적절한 대안으로 사용되고 있다. 특히 evidence grid를 이용한 SLAM 연구들이 활발하게 이루어지고 있는데 위치인식을 하는 동시에 맵핑(mapping)을 통해 주변 환경을 표현할 수 있어서 장애물 검출을 수행할 수 있다는 장점이 있다. 그러나 SLAM은 고정된 물체를 기반으로 한 정적인 환경(즉, 움직이는 물체가 없는 환경)을 가정한 상태에서 지도정보를 작성하기 때문에 움직이는 물체(예를 들어, 사람)가 많은 동적 환경에서 지도정보가 왜곡되어 성능이 떨어지는 단점을 가지고 있다.
본 발명은 움직이는 물체와 고정된 물체를 분리하여 맵핑하는 방법을 통해 움직이는 물체가 많은 동적 환경에서도 정확한 지도정보를 작성할 수 있으며, 지도작성을 위하여 얻어낸 위치정보를 이용하여 움직이는 물체를 검출할 수 있는 방법을 제시하고자 한다.
이를 위해 본 발명의 실시예는 모바일 플랫폼이 이동하는 환경의 3차원 영상을 획득하고; 상기 3차원 영상으로부터 특징점들을 추출하여 상기 각 특징점의 운동상태를 추정하고; 상기 각 특징점의 운동상태에 따라 상기 특징점들을 클러스터링하여 동적 맵과 정적 맵으로 분리하고; 상기 정적 맵을 기반으로 지도를 작성하는 것을 특징으로 한다.
상기 3차원 영상은 동적 물체와 정적 물체의 3차원 정보가 혼재하는 정합 영상인 것을 특징으로 한다.
상기 정합 영상은 3D 카메라 센서를 이용하여 획득하는 것을 특징으로 한다.
상기 특징점 추출은 상기 3차원 영상의 부피 척도를 사용하여 이루어지는 것을 특징으로 한다.
상기 특징점의 운동상태를 추정하는 것은, 상기 특징점에 대해 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 상기 특징점의 위치와 각속도를 추정하는 것을 특징으로 한다.
상기 특징점들을 클러스터링하는 것은, 상기 특징점의 위치와 각속도를 사용 하여 상기 특징점이 상기 동적 물체 또는 정적 물체에 속해 있는지를 계산하고, 동일한 물체로 예측되는 상기 특징점들을 동적 또는 정적 클러스트로 클러스터링하는 것을 특징으로 한다.
상기 정적 맵은 상기 정적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 것을 특징으로 한다.
상기 정적 맵에 등록된 상기 특징점만을 이용하여 상기 모바일 플랫폼의 위치를 계산하고, 상기 모바일 플랫폼의 위치에 따라 상기 동적 물체를 제거한 지도를 작성하는 것을 특징으로 한다.
상기 동적 맵은 상기 동적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 것을 특징으로 한다.
또한, 본 발명의 실시예는 상기 동적 맵을 기반으로 상기 동적 물체에 대한 회피 경로를 생성하는 것을 더 포함한다.
상기 동적 물체에 대한 회피 경로를 생성하는 것은, 상기 동적 맵에 등록된 상기 동적 클러스터의 평균속도를 추출하여 상기 동적 클러스터의 경로를 예측하고, 상기 동적 클러스터의 경로를 기반으로 상기 동적 물체에 대한 회피 경로를 생성하는 것을 특징으로 한다.
그리고, 본 발명의 실시예는 동적 물체가 있는 환경의 3차원 영상을 획득하고; 상기 3차원 영상으로부터 특징점들을 추출하여 상기 각 특징점의 운동상태를 추정하고; 상기 각 특징점의 운동상태에 따라 상기 특징점들을 클러스터링하여 동적 맵과 정적 맵으로 분리하고; 상기 정적 맵을 기반으로 지도를 작성하는 것을 특 징으로 한다.
상기 특징점 추출은 상기 3차원 영상의 부피 척도를 사용하여 이루어지는 것을 특징으로 한다.
상기 특징점의 운동상태를 추정하는 것은, 상기 특징점에 대해 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 상기 특징점의 위치와 각속도를 추정하는 것을 특징으로 한다.
상기 특징점들을 클러스터링하는 것은, 상기 특징점의 위치와 각속도를 사용하여 상기 특징점이 상기 동적 물체 또는 정적 물체에 속해 있는지를 계산하고, 동일한 물체로 예측되는 상기 특징점들을 동적 또는 정적 클러스트로 클러스터링하는 것을 특징으로 한다.
상기 정적 맵은 상기 정적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 것을 특징으로 한다.
상기 정적 맵에 등록된 상기 특징점만을 이용하여 상기 동적 물체를 제거한 지도를 작성하는 것을 특징으로 한다.
상기 동적 맵은 상기 동적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 것을 특징으로 한다.
또한, 본 발명의 실시예는 상기 동적 맵을 기반으로 상기 동적 물체에 대한 회피 경로를 생성하는 것을 더 포함한다.
상기 동적 물체에 대한 회피 경로를 생성하는 것은, 상기 동적 맵에 등록된 상기 동적 클러스터의 평균속도를 추출하여 상기 동적 클러스터의 경로를 예측하 고, 상기 동적 클러스터의 경로를 기반으로 상기 동적 물체에 대한 회피 경로를 생성하는 것을 특징으로 한다.
이러한 본 발명의 실시예에 의하면 무인 차량이나 이동 로봇 등의 모바일 플랫폼에서 움직이는 물체와 고정된 물체를 분리하여 맵핑하는 위치인식 기술을 적용하여 움직이는 물체가 많은 동적 환경에서 고정된 물체(이하, 정적 물체라 한다)를 기반으로 한 지도정보를 정확하게 작성할 수 있으며, 지도 작성을 위하여 얻어낸 위치정보를 이용하여 움직이는 물체에 대한 회피나 추적 기능을 획득할 수 있도록 한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 의한 모바일 플랫폼의 외관 구성도로서, 움직이는 물체가 많은 동적 환경에서 자율적으로 이동하는 로봇을 예로 들어 설명한다.
도 1에서, 본 발명의 실시예에 의한 모바일 플랫폼(10)은 이동하는 로봇 본체(12)와, 로봇 본체(12)에 설치된 영상획득부(14)를 구비하여 알려지지 않은 동적 환경을 자율적으로 이동한다.
도 2는 본 발명의 실시예에 의한 모바일 플랫폼의 제어 블록도로서, 영상획득부(14), 영상처리부(16), 제어부(18), 저장부(20) 및 구동부(22)를 포함한다.
영상획득부(14)는 움직이는 물체(이하, 동적 물체라 한다)가 많은 동적 환경에서 모바일 플랫폼(10)이 알려지지 않은 환경을 이동할 때 이동하는 경로 상의 영상을 촬영하여 경로 상에 위치하는 다양한 물체(예를 들어, 정적 물체나 동적 물체 등)의 3차원 정보가 혼재된 정합 영상(disparity map)을 획득하는 3D 카메라 센서(IR TOF 센서)이다. 3D 카메라 센서는 카메라의 각각의 픽셀에 영상정보를 알 수 있을 뿐만 아니라 센서와 픽셀이 검출한 물체의 거리정보까지 알 수 있어 SLAM이나 장애물 검출방법에 있어서 더 많은 정보로 활용할 수 있다. 이중에서 가장 유용한 정보 중 하나는 영상의 특징점 뿐만 아니라 물체의 곡률정보 등을 추가적으로 특징점으로 활용할 수 있는 것이다.
영상처리부(16)는 영상획득부(14)를 통해 획득된 정합 영상의 3차원 정보(정적 정보와 동적 정보)를 입력받아 모바일 플랫폼(10)이 이동하는 경로의 특징점을 추출하기 위한 부피 척도를 생성하는 것으로, 특징점은 모바일 플랫폼(10)이 이동하는 환경 상에 일정한 점을 선택하였을 때 시간과 관찰 각도에 의해서 변하지 않는 정량적 특징을 추출할 수 있어야 한다. 보통 영상에서는 코너 이미지 또는 이미지 패치를 사용하여 어느 각도에서 관찰하여도 변하지 않는 점을 찾아내는데, 본 발명의 실시예에서는 3D 카메라 센서인 영상획득부(14)를 사용하여 화면상의 x, y픽셀 좌표와 각각의 점의 깊이정보를 활용할 수 있으므로 부피 척도(volume descriptor)를 특징점으로 사용한다.
제어부(18)는 영상처리부(16)를 통해 추출된 특징점들을 입력받아 각 특징점의 위치와 각속도를 추정하고, 추정한 각 특징점의 위치와 각속도를 이용하여 특징점을 클러스터링하여 동적 물체와 정적 물체의 맵으로 분리하며, 분리한 정적 물체의 맵과 동적 물체의 맵을 사용하여 정적 물체만을 기반으로 한 지도정보를 작성하여 모바일 플랫폼(10)의 위치인식을 수행하고, 동적 물체의 추적으로 장애물 회피 경로를 생성하는 중앙 연산 장치(CPU)이다.
저장부(20)는 영상처리부(16)를 통해 추출된 특징점들의 데이터와, 제어부(18)에서 작성된 지도정보와 장애물 회피 경로를 저장하는 메모리로, 모바일 플랫폼(10)의 현재위치와 최종 목표위치를 저장하고 있어야 한다.
구동부(22)는 제어부(18)에서 작성된 지도정보와 생성된 장애물 회피 경로를 기반으로 하여 모바일 플랫폼(10)이 장애물과의 충돌없이 경로를 자율적으로 이동하도록 구동한다.
도 3은 본 발명의 실시예에 의한 특징점 추출을 위한 부피 척도의 개념도이다.
도 3에서, 영상처리부(16)는 점 P를 중심으로 한 일정한 반지름을 가진 구를 생성하고, 구의 내부와 P를 중심으로 하는 물체의 내부 공간의 공동 부피의 값을 부피 척도로 정의한다. 이 부피 척도는 이 점에서의 곡률과 밀접하게 관련되어 있다. 곡률이 크면 부피 척도 값이 작아지고 곡률이 작으면 부피 척도 값이 커지게 된다. 또한 부피 척도 값은 적분 특성을 가지고 있으므로 곡률 자체를 특성치로 가지고 있을 때보다 잡음에 강인하다. 물론 영상획득부(14)에서 획득한 3차원 정보의 모든 영상 표면에 해당하는 점을 특징점으로 잡을 수도 있지만 특징점의 수가 많아지면 그만큼 정위(orientation)를 찾아내기 위한 연산 시간이 많이 필요하게 된다. 따라서 특징점은 상대적으로 자주 발생하지 않는 부피 척도 값을 가지는 몇몇 점만을 선택한다. 이러한 점들을 특징점으로 결정하기 위하여 히스토그램을 사용하여 각각의 부피 척도 영역에 해당하는 도수를 파악하고 빈도가 낮은 영역의 점들을 선 택하는 방법을 사용한다.
도 2에 도시한 제어부(18)의 동작을 도 4 내지 도 6을 참조하여 자세히 설명한다.
도 4는 본 발명의 실시예에 의한 특징점의 운동상태를 나타낸 도면이고, 도 5는 본 발명의 실시예에 의한 특징점의 운동상태를 추정하기 위한 결합 확률 데이터 연관 필터(JPDAF)의 대응방법을 나타낸 도면이며, 도 6은 본 발명의 실시예에 의한 특징점의 클러스터링을 나타낸 도면이다.
제어부(18)는 영상처리부(16)를 통해 추출된 특징점들의 운동상태를 추정하기 위해 결합 확률 데이터 연관 필터(JPDAF:Joint Probability Data Association Filter)를 이용한다.
결합 확률 데이터 연관 필터(JPDAF)는 여러 개의 동적 물체를 추적하는 가장 대표적인 방법이다. 기본적으로 추적하는 물체의 상태를 추정하는 여러 개의 추정치와 추정근거가 되는 여러 개의 센서 값이 가장 높은 확률을 가질 수 있도록 대응시키는 데이터 연관(Data association) 방법의 하나라고 볼 수 있다. 결합 확률 데이터 연관 필터(JPDAF)의 장점은 근사 수학적 모델을 사용할 경우 등속 물체는 물론 가속이 있는 물체도 정확한 추정치를 계산해낼 수 있으며 클러터 환경에도 강건하다는 점이다. 따라서 3D 카메라 센서의 성능이 좋지 않아 다소 잡음이 많은 정합 영상(disparity map)을 얻게 되는 환경에서도 동적 물체를 추적할 수 있다.
결합 확률 데이터 연관 필터(JPDAF)는 기본적으로 칼만 필터 알고리즘을 수행한다. 예측 과정에서 각각의 점이 수학적 모델을 가지고 있는데 적분 업데이트를 함으로서 다음 시간에 어떠한 위치에 점이 존재할 것인지를 예측할 수 있다. 이 과정에서 모델의 정밀도에 따라서 위치 예측치에 대한 오차 공분산(covariance) 값이 같이 연산된다. 즉, 정확한 모델의 경우 예측 오차 공분산이 작아지고 정확하지 않은 모델의 경우 예측 공분산이 커진다. 본 발명에서는 각각의 특징점에 대한 상태변수를 다음과 같이 설정하며 칼만 필터의 예측과정에 사용되는 모델은 [식 1]과 같다.
[식 1]
Figure 112008087821301-pat00001
여기에서,
Figure 112008087821301-pat00002
는 공간상의 위치,
Figure 112008087821301-pat00003
는 회전 중심의 공간상의 속도,
Figure 112008087821301-pat00004
는 각속도,
Figure 112008087821301-pat00005
은 특징점과 회전축까지의 거리(회전 반지름)을 의미한다(도 4 참조).
[식 1]을 오차 공분산 행렬의 수식으로 나타내면 [식 2]와 같다.
[식 2]
Figure 112008087821301-pat00006
여기에서,
Figure 112008087821301-pat00007
는 각각 공분산 값을 의미한다.
일반적으로, 공간상의 t시간에 n개의 점으로 구성된 세트 A와 t+dt시간에 n개의 점으로 구성된 세트 B가 존재한다고 가정하고 세트 A와 B의 1:1 대응을 수행할 때 가장 쉽게 대응 시킬 수 있는 방법 중 하나로 가장 가까운 거리를 가지는 쌍끼리 대응을 시키는 것이다. 그러나 점들이 이동 상황에 있게 되면 가장 가까운 점으로 대응시키는 것보다 세트 A가 dt시간 후에 어떠한 위치에 있는지를 추정하여 이후의 근거리를 대응시키는 것이 더욱 정확한 방법이라고 할 수 있다(도 5 참조).
칼만 필터에서는 각각의 추정치에 해당하는 센서 측정치를 갱신하여 필터의 추정오차를 줄여야 하는데 이 상황에서는 어느 측정치가 어느 추정치와 대응시켜야 할지를 알 수가 없다. 그러나 결합 확률 데이터 연관 필터(JPDAF)를 사용함으로서 갱신과정에서 확률적으로 가장 근사한 점들끼리 대응을 시켜서 가장 작은 공분산, 즉 가장 정확한 추정치가 나올 수 있는 대응을 찾고 이를 통하여 측정치 갱신을 수행한다. 도 5에서 ,
Figure 112008087821301-pat00008
는 각각 t가 k-1일 때의 위치 추정치이고,
Figure 112008087821301-pat00009
Figure 112008087821301-pat00010
는 각각 t가 k일 때의 위치 추정치이며, y1, y2는 각각 t가 k일 때의 위치 측정치이다. 단순히 최접점으로 측정치와 추정치를 대응시키면
Figure 112008087821301-pat00011
와 y1,
Figure 112008087821301-pat00012
와 y2를 대응시켜야 하겠지만 결합 확률 데이터 연관 필터(JPDAF)에서는 동특성 앞에서 정의된 동특성 모델을 사용함으로서
Figure 112008087821301-pat00013
와 y2,
Figure 112008087821301-pat00014
와 y1를 대응시킬 수 있다. 후자 측이 확률적으로 보다 더 정확한 대응방법이 될 수 있다. 이러한 필터링 과정을 통하여 앞서 부피 척도를 기준으로 선택했던 각각의 특징점을 추적하면서 특징점들에 대한 위치 및 각속도 회전 반지름에 대한 추정치를 획득할 수 있다.
또한, 제어부(18)는 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 추정한 특징점들의 운동상태 즉, 각 특징점의 위치와 각속도를 이용하여 동일한 물체로 예측할 수 있는 특징점들을 클러스터링하여 정적 물체의 맵(이하, 정적 맵이라 한다)과 동적 물체의 맵(이하, 동적 맵이라 한다)으로 분리한다. 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 특징점의 공간상의 위치, 회전 중심의 공간상의 속도, 각속도, 특징점과 회전축까지의 거리(회전 반지름)의 추정치를 얻을 수 있다. 따라서 각각의 특징점에서 이와 같은 추정치를 추출함으로서 어떤 특징점이 어떤 물체에 속해 있는지를 계산할 수 있다. 여기서 쉽게 생각할 수 있는 것은 강체의 경우 같은 각속도를 가지고 있다는 것이고 같은 물체의 경우 근접한 거리에 있다는 것이다. 따라서 아래의 [식 3]과 같은 거리 개념을 새롭게 정의할 수 있다.
[식 3]
Figure 112008087821301-pat00015
즉, 특징점 간의 거리가 가깝고 각속도가 가까우면 하나의 물체로 가정할 수 있다는 것이다.
Figure 112008087821301-pat00016
는 가중치로서 비중을 각속도에 줄 것인가 위치에 줄 것인가를 결정할 수 있다. 본 발명의 실시예에서는
Figure 112008087821301-pat00017
의 거리 정의를 가지고 특징 점들을 계층적으로 클러스터링하였다. 거리
Figure 112008087821301-pat00018
가 일정한 기준값
Figure 112008087821301-pat00019
이상 차이나는 경우 다른 강체라고 판단할 수 있다. 이렇게 될 경우 거리가
Figure 112008087821301-pat00020
이상되는 특징점들은
Figure 112008087821301-pat00021
개의 군집형태로 분리될 수 있다(도 6 참조).
또한, 제어부(18)는 분리한 정적 맵과 동적 맵을 사용하여 정적인 부분에서 동적인 부분을 제거하여 SLAM 과정을 수행하고, 이 과정을 수행하기 위하여 필수적으로 구현되어야 할 추적기술을 이용하여 동적 물체에 대한 회피나 추적 기능을 추가적으로 획득할 수 있다.
획득된 3차원 정보 자체에서 정적인 특징점과 동적인 특징점을 구분하는 것은 쉽지 않다. 특히 이동하는 모바일 플랫폼(10)에 설치된 영상획득부(14)의 경우 영상 전체가 움직이는 상황이기 때문에 어느 것을 위치인식 지표로 삼아야 할 지에 대한 판단을 하기가 어려운 상황이 된다. 영상획득부(14)를 통해 획득된 정합 영상(disparity map)은 정적 정보와 동적 정보가 혼재해 있기 때문에 동적 정보를 별도로 고려하지 않으면 동적 물체에 의해서 기록된 특징점으로 인하여 위치정보 연산에 왜곡이 발생한다. 따라서 본 발명의 실시예에서는 동적 환경과 정적 환경을 분리하는 방법을 사용하여 정적인 부분에서 동적인 부분을 제거하여 SLAM과정을 진행한다.
일단 초기 맵은 정적인 특징점으로 만 등록하여 이들을 추적하며 SLAM을 수행할 수 있다. 이 상황에 동적인 물체가 환경에 들어오는 일이 없다고 가정하며 초기화가 끝나게 되면 이때부터 클러스터링을 진행한다. 클러스터를 진행하면서 새롭 게 생성되는 특징점이 정적인 맵에 해당하는 클러스터에 포함되면 일정 시간을 정적 맵 후보군으로 등록한다. 후보군으로 등록된 시간이 결정시간
Figure 112008087821301-pat00022
이상 지나가면 정적 맵 특징점으로 정식으로 등록하게 된다. 정적 맵 특징점으로 등록된 점들을 이용하여 삼각법을 수행하며 위치 인식을 진행한다. 정적 맵 특징점이 동적 물체의 개입이나 센서의 관찰각으로 인해 차폐될 수 있으므로 순간적으로 없어진 정적 맵에 대해서는 등록을 말소하지 않는다. 그러나 추적하던 정적 맵이 클러스터링을 통하여 다른 동적 클러스터로 편입되면 마찬가지 방법으로 등록 해제 후보군으로 등록하고
Figure 112008087821301-pat00023
시간이 지나면 정적 맵에서 말소하여 동적 맵으로 편입시킨다. 이 과정을 통하여 SLAM은 동적 특성을 가지는 물체에 영향을 받지 않고 SLAM을 수행할 수 있다.
동적 맵 역시 마찬가지로 동적 클러스터에 해당하는 점을 후보군에 두고
Figure 112008087821301-pat00024
시간 이상 지나면 동적 맵으로 등록한다. 동적 맵 특징점은 계속적으로 추적되기 때문에 이들 글러스터의 중심 값을 사용하면 물체 중심의 속도 추정치 역시 얻을 수 있게 된다. 또한 이들 클러스터의 위치 값의 최대 최소치를 추출해 내면 대략적인 클러스터의 크기도 추산해낼 수 있게 된다. 클러스터의 속도 추정은 모바일 플랫폼(10)의 진행방향과 상대적으로 연산하여 회피 경로를 생성하거나 추적 경로를 생성하여 동적 물체에 대한 대처를 능동적으로 수행할 수 있게 해준다.
이하, 상기와 같이 구성된 동적 환경에서 모바일 플랫폼의 지도 작성방법의 동작과정 및 작용효과를 설명한다.
도 7은 본 발명의 실시예에 의한 동적 환경에서 모바일 플랫폼의 위치인식 및 지도 작성방법과 물체 검출방법을 도시한 동작 순서도이다.
도 7에서, 동적 물체가 많은 환경(동적 환경)에서 모바일 플랫폼(10)이 이동을 시작하면, 모바일 플랫폼(10)이 이동하는 경로 상의 영상을 영상획득부(14)에서 촬영하여 경로 상에 위치하는 다양한 물체(예를 들어, 정적 물체나 동적 물체 등)의 3차원 정보가 혼재된 정합 영상(disparity map)을 획득한다(100).
따라서, 영상처리부(16)는 영상획득부(14)를 통해 획득된 정합 영상의 3차원 정보(정적 정보와 동적 정보)를 입력받아 모바일 플랫폼(10)이 이동하는 경로의 특징점을 추출하기 위하여 도 3에 도시한 바와 같이, 부피 척도를 생성한다(102). 특징점은 모바일 플랫폼(10)이 주행하는 환경 상에 일정한 점을 선택하였을 때 시간과 관찰 각도에 의해서 변하지 않는 정량적 특징을 추출할 수 있어야 한다. 보통 영상에서는 코너 이미지 또는 이미지 패치를 사용하여 어느 각도에서 관찰하여도 변하지 않는 점을 찾아내는데, 본 발명의 실시예에서는 3D 카메라 센서인 영상획득부(14)를 사용하여 화면상의 x, y픽셀 좌표와 각각의 점의 깊이정보를 활용할 수 있으므로 부피 척도(volume descriptor)를 특징점으로 사용한다(104).
따라서, 제어부(18)는 영상처리부(16)를 통해 추출된 특징점들을 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 추적하는데(106), 결합 확률 데이터 연관 필터(JPDAF)는 여러 개의 동적 물체를 추적하는 가장 대표적인 방법으로, 도 4 및 도 5에 도시한 바와 같이, 결합 확률 데이터 연관 필터(JPDAF)를 통하여 각 특징점의 공간상의 위치, 회전 중심의 공간상의 속도, 각속도, 특징점과 회전축까지의 거리 (회전 반지름)의 추정치를 얻을 수 있게 된다.
이후, 제어부(18)는 추정된 특징점의 위치와 각속도를 이용하여 특징점들을 도 6에 도시한 바와 같이, 정적 클러스터 또는 동적 클러스터(D1, D2....)로 클러스터링하고(108), 정적 클러스터 또는 동적 클러스터(D1, D2....)로 클러스터링한 특징점이 정적 클러스터에 포함되어 있는가를 판단한다(110).
단계 110의 판단 결과, 특징점이 정적 클러스터에 포함된 경우 정적 맵에 등록하고(112), 정적 맵에 등록된 특징점만을 이용하여 이동 중인 모바일 플랫폼(10)의 위치를 계산한다(114).
따라서, 정적인 부분에서 동적인 부분을 제거하는 동적 환경에 대한 보상으로 정적 물체만을 기반으로 하여 지도정보를 작성함으로서 SLAM의 성능이 향상된 모바일 플랫폼(10)의 위치인식을 수행한다(116).
한편, 단계110의 판단 결과, 특징점이 정적 클러스터에 포함되지 않은 경우 동적 맵에 등록하고(120), 동적 맵에 등록된 동적 클러스터의 평균속도를 추출하여(122) 동적 클러스터의 경로를 예측한다(124). 이에 따라 동적 물체가 이동할 경로를 미리 예측함으로서 동적 물체를 회피할 수 있는 경로를 생성한다(126).
이와 같이, 실내 위치인식의 적절한 대안으로 여겨지는 SLAM이 동적 물체가 많은 환경에서 성능이 떨어지는 문제점을 해결하기 위하여 본 발명의 실시예는 동적 맵과 정적 맵을 별도로 분리하고, 분리된 정적 맵을 이용하여 SLAM의 성능을 향상시킬 수 있도록 하였다. 따라서, 본 발명의 실시예는 일반적인 환경(알려지지 않 은 환경)에서 네비게이션 기능을 수행할 수 있는 방향 제시와 SLAM의 강인성 향상에 기여할 것으로 사료된다.
한편, 본 발명의 실시예서는 모바일 플랫폼(10)으로 모바일 서비스 로봇이나 지능형 휴머노이드 로봇 등과 같이 자율적으로 이동을 해야 하는 이동 로봇을 예로 들어 설명하였으나, 본 발명은 이에 한정되지 않고 휴대폰이나 wearable 형태로 탑재되어 현재의 위치를 인지하여 진행해야 할 방향을 알려 줄 수도 있고, 차량에 탑재되어 무인으로 목적지에 도달하거나 자동으로 주차를 하는 등의 다양한 응용기술에도 적용 가능함은 물론이다.
도 1은 본 발명의 실시예에 의한 모바일 플랫폼의 외관 구성도이다.
도 2는 본 발명의 실시예에 의한 모바일 플랫폼의 제어 블록도이다.
도 3은 본 발명의 실시예에 의한 특징점 추출을 위한 부피 척도의 개념도이다.
도 4는 본 발명의 실시예에 의한 특징점의 운동상태를 나타낸 도면이다.
도 5는 본 발명의 실시예에 의한 특징점의 운동상태를 추정하기 위한 결합 확률 데이터 연관 필터(JPDAF)의 대응방법을 나타낸 도면이다.
도 6은 본 발명의 실시예에 의한 특징점의 클러스터링을 나타낸 도면이다.
도 7은 본 발명의 실시예에 의한 동적 환경에서 모바일 플랫폼의 위치인식 및 지도 작성방법과 물체 검출방법을 도시한 동작 순서도이다.
*도면의 주요 부분에 대한 부호의 설명*
10 : 모바일 플랫폼 14 : 영상획득부
16 : 영상처리부 18 : 제어부
20 : 저장부 22 : 구동부

Claims (20)

  1. 모바일 플랫폼이 이동하는 환경의 3차원 영상을 획득하고;
    상기 3차원 영상으로부터 특징점들을 추출하여 상기 각 특징점의 운동상태를 추정하고;
    상기 각 특징점의 운동상태에 따라 상기 특징점들을 클러스터링하여 동적 맵과 정적 맵으로 분리하고;
    상기 정적 맵을 기반으로 지도를 작성하는 모바일 플랫폼의 지도 작성방법.
  2. 제1항에 있어서,
    상기 3차원 영상은 상기 환경에서의 동적 물체에 대한 3차원 정보와 상기 환경에서의 정적 물체에 대한 3차원 정보가 혼재하는 정합 영상인 모바일 플랫폼의 지도 작성방법.
  3. 제2항에 있어서,
    상기 정합 영상은 3D 카메라 센서를 이용하여 획득하는 모바일 플랫폼의 지도 작성방법.
  4. 제1항에 있어서,
    상기 특징점 추출은 상기 3차원 영상의 부피 척도를 사용하여 이루어지는 모바일 플랫폼의 지도 작성방법.
  5. 제1항에 있어서,
    상기 특징점의 운동상태를 추정하는 것은,
    상기 특징점에 대해 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 상기 특징점의 위치와 각속도를 추정하는 모바일 플랫폼의 지도 작성방법.
  6. 제5항에 있어서,
    상기 특징점들을 클러스터링하는 것은,
    상기 특징점의 위치와 각속도를 사용하여 상기 특징점이 상기 환경에서의 동적 물체 또는 상기 환경에서의 정적 물체에 속해 있는지를 계산하고, 동일한 물체로 예측되는 상기 특징점들을 동적 또는 정적 클러스트로 클러스터링하는 모바일 플랫폼의 지도 작성방법.
  7. 제6항에 있어서,
    상기 정적 맵은 상기 정적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 모바일 플랫폼의 지도 작성방법.
  8. 제7항에 있어서,
    상기 정적 맵에 등록된 상기 특징점만을 이용하여 상기 모바일 플랫폼의 위치를 계산하고, 상기 모바일 플랫폼의 위치에 따라 상기 동적 물체를 제거한 지도를 작성하는 모바일 플랫폼의 지도 작성방법.
  9. 제6항에 있어서,
    상기 동적 맵은 상기 동적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 모바일 플랫폼의 지도 작성방법.
  10. 제9항에 있어서,
    상기 동적 맵을 기반으로 상기 동적 물체에 대한 상기 모바일 플랫폼의 회피 경로를 생성하는 것을 더 포함하는 모바일 플랫폼의 지도 작성방법.
  11. 제10항에 있어서,
    상기 동적 물체에 대한 회피 경로를 생성하는 것은,
    상기 동적 맵에 등록된 상기 동적 클러스터의 평균속도를 추출하여 상기 동적 클러스터의 경로를 예측하고, 상기 동적 클러스터의 경로를 기반으로 상기 동적 물체에 대한 회피 경로를 생성하는 모바일 플랫폼의 지도 작성방법.
  12. 동적 물체가 있는 환경의 3차원 영상을 획득하고;
    상기 3차원 영상으로부터 특징점들을 추출하여 상기 각 특징점의 운동상태를 추정하고;
    상기 각 특징점의 운동상태에 따라 상기 특징점들을 클러스터링하여 동적 맵과 정적 맵으로 분리하고;
    상기 정적 맵을 기반으로 지도를 작성하는 동적 환경에서의 지도 작성방법.
  13. 제12항에 있어서,
    상기 특징점 추출은 상기 3차원 영상의 부피 척도를 사용하여 이루어지는 동적 환경에서의 지도 작성방법.
  14. 제12항에 있어서,
    상기 특징점의 운동상태를 추정하는 것은,
    상기 특징점에 대해 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 상기 특징점의 위치와 각속도를 추정하는 동적 환경에서의 지도 작성방법.
  15. 제14항에 있어서,
    상기 특징점들을 클러스터링하는 것은,
    상기 특징점의 위치와 각속도를 사용하여 상기 특징점이 상기 동적 물체 또는 정적 물체에 속해 있는지를 계산하고, 동일한 물체로 예측되는 상기 특징점들을 동적 또는 정적 클러스트로 클러스터링하는 동적 환경에서의 지도 작성방법.
  16. 제15항에 있어서,
    상기 정적 맵은 상기 정적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 동적 환경에서의 지도 작성방법.
  17. 제16항에 있어서,
    상기 정적 맵에 등록된 상기 특징점만을 이용하여 상기 동적 물체를 제거한 지도를 작성하는 동적 환경에서의 지도 작성방법.
  18. 제15항에 있어서,
    상기 동적 맵은 상기 동적 클러스터에 포함된 상기 특징점만을 분리하여 등록하는 동적 환경에서의 지도 작성방법.
  19. 삭제
  20. 삭제
KR1020080131035A 2008-12-22 2008-12-22 동적 환경에서 모바일 플랫폼의 지도 작성방법 KR101572851B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131035A KR101572851B1 (ko) 2008-12-22 2008-12-22 동적 환경에서 모바일 플랫폼의 지도 작성방법
US12/654,037 US8401783B2 (en) 2008-12-22 2009-12-08 Method of building map of mobile platform in dynamic environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131035A KR101572851B1 (ko) 2008-12-22 2008-12-22 동적 환경에서 모바일 플랫폼의 지도 작성방법

Publications (2)

Publication Number Publication Date
KR20100072590A KR20100072590A (ko) 2010-07-01
KR101572851B1 true KR101572851B1 (ko) 2015-11-30

Family

ID=42267297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131035A KR101572851B1 (ko) 2008-12-22 2008-12-22 동적 환경에서 모바일 플랫폼의 지도 작성방법

Country Status (2)

Country Link
US (1) US8401783B2 (ko)
KR (1) KR101572851B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000320A (ko) 2020-06-25 2022-01-03 한국전자통신연구원 3차원 라이다 스캐너를 이용한 동적 환경 대상 전역 위치 인식 장치 및 방법

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
KR20110085728A (ko) * 2010-01-21 2011-07-27 삼성전자주식회사 휴대용 단말기에서 건물 영역을 인식하기 위한 장치 및 방법
KR101642964B1 (ko) 2010-11-03 2016-07-27 삼성전자주식회사 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
KR101778028B1 (ko) * 2010-12-20 2017-09-13 삼성전자주식회사 로봇 및 로봇의 경로 생성 방법
KR20120072124A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 실내 전자지도 데이터 생성 방법
JP5708196B2 (ja) * 2011-04-21 2015-04-30 セイコーエプソン株式会社 衝突検出システム、ロボットシステム、衝突検出方法及びプログラム
US8908923B2 (en) * 2011-05-13 2014-12-09 International Business Machines Corporation Interior location identification
US9582707B2 (en) 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
KR101984214B1 (ko) * 2012-02-09 2019-05-30 삼성전자주식회사 로봇 청소기의 청소 작업을 제어하기 위한 장치 및 방법
US8996036B2 (en) 2012-02-09 2015-03-31 Southwest Research Institute Autonomous location of objects in a mobile reference frame
US8725413B2 (en) 2012-06-29 2014-05-13 Southwest Research Institute Location and motion estimation using ground imaging sensor
US9218529B2 (en) 2012-09-11 2015-12-22 Southwest Research Institute 3-D imaging sensor based location estimation
KR101807484B1 (ko) 2012-10-29 2017-12-11 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
US20170060810A1 (en) * 2012-12-13 2017-03-02 Eagle Harbor Holdings, LLC. System and method for the operation of an automotive vehicle system with modeled sensors
JP6202517B2 (ja) * 2013-03-07 2017-09-27 株式会社国際電気通信基礎技術研究所 地図作成装置、地図作成プログラムおよび地図作成方法
US9037403B2 (en) * 2013-03-26 2015-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intensity map-based localization with adaptive thresholding
DE102013205882A1 (de) * 2013-04-03 2014-10-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
JP6217952B2 (ja) 2013-04-15 2017-10-25 アクティエボラゲット エレクトロラックス ロボット真空掃除機
CN110710920B (zh) 2013-04-15 2021-12-14 伊莱克斯公司 具有伸出的侧刷的机器人真空吸尘器
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
EP2878193A1 (en) 2013-11-27 2015-06-03 Dansk Mink Papir A/S Motorized feeding vehicle
US20150250137A1 (en) 2013-11-27 2015-09-10 Dansk Mink Papir A/S Motorized feeding vehicle and a method of operating an animal farming system
JP6494118B2 (ja) 2013-12-19 2019-04-03 アクチエボラゲット エレクトロルックス 障害物の乗り上げの検出に伴うロボット掃除機の制御方法、並びに、当該方法を有するロボット掃除機、プログラム、及びコンピュータ製品
KR102116596B1 (ko) 2013-12-19 2020-05-28 에이비 엘렉트로룩스 나선형 패턴으로 이동하는 사이드 브러시를 구비한 로봇 진공 청소기
EP3084539B1 (en) 2013-12-19 2019-02-20 Aktiebolaget Electrolux Prioritizing cleaning areas
EP3082541B1 (en) 2013-12-19 2018-04-04 Aktiebolaget Electrolux Adaptive speed control of rotating side brush
US10617271B2 (en) 2013-12-19 2020-04-14 Aktiebolaget Electrolux Robotic cleaning device and method for landmark recognition
EP3084540B1 (en) * 2013-12-19 2021-04-14 Aktiebolaget Electrolux Robotic cleaning device and operating method
CN105848545B (zh) 2013-12-20 2019-02-19 伊莱克斯公司 灰尘容器
US9452531B2 (en) 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
CA2885877A1 (en) 2014-03-25 2015-09-25 Dansk Mink Papir A/S A motorized feeding vehicle and a method of operating an animal farming system
ES2681802T3 (es) 2014-07-10 2018-09-17 Aktiebolaget Electrolux Método para detectar un error de medición en un dispositivo de limpieza robotizado
WO2016037636A1 (en) 2014-09-08 2016-03-17 Aktiebolaget Electrolux Robotic vacuum cleaner
CN106659345B (zh) 2014-09-08 2019-09-03 伊莱克斯公司 机器人真空吸尘器
FR3025898B1 (fr) * 2014-09-17 2020-02-07 Valeo Schalter Und Sensoren Gmbh Procede et systeme de localisation et de cartographie
US10719727B2 (en) 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
EP3230814B1 (en) 2014-12-10 2021-02-17 Aktiebolaget Electrolux Using laser sensor for floor type detection
CN107072454A (zh) 2014-12-12 2017-08-18 伊莱克斯公司 侧刷和机器人吸尘器
WO2016095966A1 (en) 2014-12-16 2016-06-23 Aktiebolaget Electrolux Cleaning method for a robotic cleaning device
WO2016095965A2 (en) 2014-12-16 2016-06-23 Aktiebolaget Electrolux Experience-based roadmap for a robotic cleaning device
CN107405034B (zh) 2015-04-17 2022-09-13 伊莱克斯公司 机器人清洁设备以及控制所述机器人清洁设备的方法
JP6736831B2 (ja) 2015-09-03 2020-08-05 アクチエボラゲット エレクトロルックス ロボット清掃デバイスのシステム、清掃デバイスを制御する方法、コンピュータプログラム及びコンピュータプログラム製品
CN105279723A (zh) * 2015-09-10 2016-01-27 上海中科深江电动车辆有限公司 移动献血助理系统、包含电动献血车的服务系统及方法
EP3430424B1 (en) 2016-03-15 2021-07-21 Aktiebolaget Electrolux Robotic cleaning device and a method at the robotic cleaning device of performing cliff detection
US11122953B2 (en) 2016-05-11 2021-09-21 Aktiebolaget Electrolux Robotic cleaning device
US9940729B1 (en) 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
KR20180070932A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 이동체 및 이동체의 제어 방법
US10489663B2 (en) * 2017-04-24 2019-11-26 Toyota Research Institute, Inc. Systems and methods for identifying changes within a mapped environment
KR20200013657A (ko) 2017-06-02 2020-02-07 에이비 엘렉트로룩스 로봇 청소 장치 전방의 표면의 레벨차를 검출하는 방법
KR102326077B1 (ko) * 2017-06-15 2021-11-12 엘지전자 주식회사 3차원 공간의 이동 객체를 식별하는 방법 및 이를 구현하는 로봇
US11215827B1 (en) 2017-06-30 2022-01-04 Snaps Inc. Eyewear with integrated peripheral display
US10832078B2 (en) * 2017-08-11 2020-11-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for concurrent reconstruction of dynamic and static objects
CN111093447B (zh) 2017-09-26 2022-09-02 伊莱克斯公司 机器人清洁设备的移动控制
US11562524B2 (en) 2017-10-31 2023-01-24 Hewlett-Packard Development Company, L.P. Mobile robots to generate occupancy maps
KR20190087355A (ko) * 2019-07-05 2019-07-24 엘지전자 주식회사 영역별 인체 활동 데이터를 이용하여 주행하는 청소로봇 및 청소로봇을 주행시키는 방법
CN110827395B (zh) * 2019-09-09 2023-01-20 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
KR102384754B1 (ko) * 2019-12-16 2022-04-08 재단법인대구경북과학기술원 포인트 데이터 기반 지도 구축 방법 및 장치
US20220146676A1 (en) * 2020-11-09 2022-05-12 Waymo Llc Doppler-assisted object mapping for autonomous vehicle applications
CN112884831B (zh) * 2021-02-02 2022-10-04 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
CN114066773B (zh) * 2021-11-26 2023-10-27 哈尔滨理工大学 一种基于点云特征与蒙特卡洛扩展法的动态物体去除

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003515801A (ja) 1999-11-24 2003-05-07 パーソナル・ロボティックス・インコーポレーティッド 自律マルチプラットフォームロボットシステム
KR100757751B1 (ko) 2006-06-01 2007-09-11 한국과학기술연구원 실내 환경의 환경맵 생성 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6476803B1 (en) * 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
US20090262974A1 (en) * 2008-04-18 2009-10-22 Erik Lithopoulos System and method for obtaining georeferenced mapping data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003515801A (ja) 1999-11-24 2003-05-07 パーソナル・ロボティックス・インコーポレーティッド 自律マルチプラットフォームロボットシステム
KR100757751B1 (ko) 2006-06-01 2007-09-11 한국과학기술연구원 실내 환경의 환경맵 생성 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000320A (ko) 2020-06-25 2022-01-03 한국전자통신연구원 3차원 라이다 스캐너를 이용한 동적 환경 대상 전역 위치 인식 장치 및 방법

Also Published As

Publication number Publication date
US20100161225A1 (en) 2010-06-24
US8401783B2 (en) 2013-03-19
KR20100072590A (ko) 2010-07-01

Similar Documents

Publication Publication Date Title
KR101572851B1 (ko) 동적 환경에서 모바일 플랫폼의 지도 작성방법
CN115461258B (zh) 用于自主导航期间对象避让的方法
JP6445995B2 (ja) センサデータの空間的集約を用いる適応マッピング
US10949712B2 (en) Information processing method and information processing device
KR101619076B1 (ko) 모바일 플랫폼의 동적 물체 검출 및 추적 방법
JP6411917B2 (ja) 自己位置推定装置および移動体
AU2019233779B2 (en) Vehicle tracking
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
EP3707466A1 (en) Method of computer vision based localisation and navigation and system for performing the same
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
KR101663650B1 (ko) 거리 신호를 이용하여 위치를 인식하는 장치 및 방법
US20110205338A1 (en) Apparatus for estimating position of mobile robot and method thereof
WO2020048623A1 (en) Estimation of a pose of a robot
KR102226846B1 (ko) Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
US8467612B2 (en) System and methods for navigation using corresponding line features
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
KR20110122022A (ko) 지도 생성 장치 및 방법
KR102125538B1 (ko) 자율 주행을 위한 효율적인 맵 매칭 방법 및 그 장치
Anousaki et al. Simultaneous localization and map building of skid-steered robots
Kang et al. A Visual SLAM Algorithm Based on Dynamic Feature Point Filtering
Vatavu et al. Real-time environment representation based on occupancy grid temporal analysis using a dense stereo-vision system
Aufderheide et al. A visual-inertial approach for camera egomotion estimation and simultaneous recovery of scene structure
Arturo et al. Cooperative simultaneous localisation and mapping using independent rao–blackwellised filters
Wang et al. Improved simultaneous localization and mapping by stereo camera and SURF

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant