KR101950558B1 - 자세 추정 장치 및 진공 청소기 시스템 - Google Patents

자세 추정 장치 및 진공 청소기 시스템 Download PDF

Info

Publication number
KR101950558B1
KR101950558B1 KR1020160150982A KR20160150982A KR101950558B1 KR 101950558 B1 KR101950558 B1 KR 101950558B1 KR 1020160150982 A KR1020160150982 A KR 1020160150982A KR 20160150982 A KR20160150982 A KR 20160150982A KR 101950558 B1 KR101950558 B1 KR 101950558B1
Authority
KR
South Korea
Prior art keywords
reference image
imaging unit
time
imaging
unit
Prior art date
Application number
KR1020160150982A
Other languages
English (en)
Other versions
KR20170057840A (ko
Inventor
다쿠마 야마모토
나오 미시마
Original Assignee
가부시끼가이샤 도시바
도시바 라이프스타일 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바, 도시바 라이프스타일 가부시키가이샤 filed Critical 가부시끼가이샤 도시바
Publication of KR20170057840A publication Critical patent/KR20170057840A/ko
Application granted granted Critical
Publication of KR101950558B1 publication Critical patent/KR101950558B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

일 실시예에 따르면, 자세 추정 장치는 제1 촬상부, 제2 촬상부, 및 추정부를 포함한다. 제1 촬상부는, 제1 및 제2 시각들에 각각 캡처된 제1 및 제2 기준 화상들을 생성한다. 제2 촬상부는, 제1 및 제2 시각들에 각각 관련된 제1 및 제2 참조 화상들을 생성한다. 추정부는, 제1 및 제2 기준 화상들과, 제1 및 제2 참조 화상들에 기초하여, (a) 제2 시각에서의 제1 촬상부의 자세를 기준으로 한, 제1 시각에서의 제1 촬상부의 자세, 및 (b) 제1 시각에서의 제2 촬상부의 추정 위치로부터의, 제1 참조 화상을 캡처하는 제2 촬상부의 위치 어긋남을 추정한다.

Description

자세 추정 장치 및 진공 청소기 시스템{POSE ESTIMATION APPARATUS AND VACUUM CLEANER SYSTEM}
본 출원은 2015년 11월 17일에 출원된 일본 특허 출원 제2015-225013호에 기초하여 우선권의 이익을 주장하고, 그 전체 내용은 본 명세서에 참조로 포함된다.
기술분야
본 명세서에 설명된 실시예들은 일반적으로 자세 추정에 관한 것이다.
컴퓨터 비전 및 로보틱스의 분야에 있어서, 카메라에 의해 캡처된 화상들에 기초하여 해당 카메라의 자세를 추정하는 기술이 활용되고 있다. 이 기술은, 예를 들어, 자율 이동 로봇의 위치 결정(localization), 내비게이션 시스템, AR(증강 현실) 기술에 응용되고 있다.
더 구체적으로, 카메라의 자세와, 촬영될 주변 물체들의 3차원 구조를 동시에 추정하는 기술로서, SLAM(Simultaneous Localization and Mapping), SfM(Structure from Motion) 등이 연구되어 왔다.
자세 추정에는, 단안 카메라(monocular camera) 또는 스테레오 카메라가 사용될 수 있다. 특히, 스테레오 카메라를 사용하여 SLAM을 수행하면, 해당 스테레오 카메라의 주변의 3차원 구조의 절대 스케일을 추정할 수 있다.
스테레오 카메라를 사용한 SLAM에서, 특징점의 3차원 점은 특정 시각 (t)에서 캡처된 스테레오 화상에 기초하여 복원되고, 또 다른 시각 (t+1)에서의 스테레오 카메라의 자세는, 시각 (t+1)에서 해당 3차원 점을 이 스테레오 카메라에 투영한 경우의 재투영(re-projection) 오차를 최소화하는 방식으로 추정된다.
도 1은 제1 실시예에 따른 자세 추정 장치의 일례를 예시하는 블록도.
도 2는 도 1에 도시된 자세 추정 장치에 의해 수행되는 동작의 예를 예시하는 흐름도.
도 3은 제1 촬상부가 화상을 캡처하는 제1 주기와, 제2 촬상부가 화상을 캡처하는 제2 주기가 동기하고 있을 경우의 촬상 타이밍들의 예를 예시하는 타이밍 차트.
도 4는 제1 촬상부의 제1 주기와 제2 촬상부의 제2 주기가 동기하고 있지 않은 경우의 촬상 타이밍들의 예를 예시하는 타이밍 차트.
도 5는 도 1에 도시된 자세 추정 장치에 의해 수행되는 추정 처리를 예시하는 설명도.
도 6은 도 1에 도시된 자세 추정 장치의 하드웨어 구성의 예를 예시하는 블록도.
도 7은 제2 실시예에 따른 진공 청소기의 예를 예시하는 블록도.
도 8은 제2 실시예에 따른 진공 청소기의 예의 사시도.
도 9는 제2 실시예에 따른 진공 청소기의 예의 저면도.
도 10은 제2 실시예에 따른 진공 청소기를 포함하는 네트워크의 예를 예시하는 도면.
자세 추정 기술의 정밀도는, 3차원 점의 복원 및 이 점의 재투영의 정밀도에 의존한다. 2개의 카메라의 촬상 타이밍들이 동기하고 있지 않은 경우에, 카메라들 중의 한쪽이 화상을 캡처하고 나서 다른 쪽의 카메라가 화상을 캡처하기 전에, 스테레오 카메라가 이동할 수 있다. 이 경우에, 다른 쪽의 카메라는 이상적인 촬상 위치에서 어긋난 위치에서 화상을 캡처할 수 있다. 따라서, 촬상 시각들이 동기하고 있지 않은 경우의 스테레오 카메라를 사용하면, 3차원 점의 정확한 복원 및 이 점의 재투영이 수행되기 힘들다. 바꿔 말하면, 자세 추정은, 스테레오 카메라의 촬상 타이밍들 간에 동기화하는 것을 전제로 한다.
그러나, 촬상 타이밍들을 동기시키는 동기 회로를 갖추고 있는 전용의 스테레오 카메라는 고가이다. 이런 상황들에서는, 2개의 범용 카메라(상대적으로 저렴함)를 갖추고 있는 스테레오 카메라를 사용하여 자세를 고정밀도로 추정하기 위한 기술이 요구되고 있다.
이제, 첨부 도면들을 참조하여, 본 실시예들에 대한 설명을 제시할 것이다.
일 실시예에 따르면, 자세 추정 장치는, 제1 촬상부와, 제2 촬상부와, 추정부를 포함한다. 제1 촬상부는, 제1 시각에 캡처된 제1 기준 화상(standard image)과 제2 시각에 캡처된 제2 기준 화상을 생성한다. 제2 촬상부는, 제1 시각에 관련된 제1 참조 화상(reference image)과 제2 시각에 관련된 제2 참조 화상을 생성한다. 추정부는, 제1 기준 화상, 제2 기준 화상, 제1 참조 화상, 및 제2 참조 화상에 기초하여, (a) 제2 시각에서의 제1 촬상부의 자세를 기준으로서 한, 제1 시각에서의 제1 촬상부의 자세, 및 (b) 제1 시각에서의 제2 촬상부의 추정 위치로부터, 제1 참조 화상을 캡처하는 제2 촬상부의 위치의 어긋남을 추정한다.
이후, 이전에 설명된 요소들과 동일하거나, 또는 유사한 요소들에는 동일하거나, 또는 유사한 참조 부호를 부여하고, 중복된 설명은 원칙적으로 생략된다.
(제1 실시예)
도 1에 도시된 바와 같이, 제1 실시예에 따른 자세 추정 장치(10)는, 제1 촬상부(101), 제2 촬상부(102), 및 추정부(103)를 포함한다. 설명하기 위해, 자세 추정 처리(이하 세부적으로 설명될 것임)는, 제1 촬상부(101)의 촬상 타이밍에 따라서 실행되는 것으로 가정하고, 제1 촬상부(101) 및 제2 촬상부(102)는 각각 기준 카메라 및 참조 카메라로서 지칭될 것이다.
제1 촬상부(101)는 촬상에 의해 기준 화상(110)을 생성한다. 제1 촬상부(101)는 복수 회의 촬상을 수행한다. 제1 촬상부(101)는, 예를 들어, 제1 주기로 반복 촬상을 수행한다. 제1 촬상부(101)는 복수의 기준 화상(110)을 추정부(103)에 제공한다.
제1 촬상부(101)는, (i) 복수의 렌즈를 포함하는 광학계, 및 (ii) CMOS(Complementary Metal Oxide Semiconductor), CCD(Charge Coupled Device) 또는 기타 등등으로 이루어진 이미지 센서를 갖춘 디지털 카메라에 의해 실현될 수 있다. 제1 촬상부(101)에 의해 촬상된 제1 촬상 영역은, 제1 촬상부(101)의 외부 세계의 일부이다. 제1 촬상부(101)에 의해 촬상될 수 있는 범위는, 해당 제1 촬상부(101)의 화각(angle of view), 및 이미지 센서의 사이즈에 의존해서 결정된다. 제1 촬상부(101)가 일반적인 디지털 카메라에 의해 실현되는 경우에, 제1 주기는 실질적으로 30 fps(frames per second) 또는 60 fps이다.
제2 촬상부(102)는, 제1 촬상 영역과 부분적으로 겹치는 제2 촬상 영역을 촬상함으로써 참조 화상(111)을 생성한다. 제2 촬상부(102)는 복수 회의 촬상을 수행한다. 제2 촬상부(102)는, 예를 들어, 제2 주기로 반복 촬상을 수행한다. 제2 촬상부(102)는, 복수의 참조 화상(111)을 추정부(103)에 제공한다. 제2 촬상부(102)의 자세는, 기준 카메라로서 기능하는 제1 촬상부(101)의 자세를 기준으로 하여 얻을 수 있다. 제1 촬상부(101)의 자세를 기준으로 한, 제2 촬상부(102)의 자세는, 추정부(103)(후술됨) 또는 저장부(도시되지 않음)에 저장될 수 있다.
제1 촬상부(101)와 마찬가지로, 제2 촬상부(102)는 디지털 카메라에 의해 실현될 수 있다. 제2 촬상부(102)의 내부 파라미터들(예를 들어, 해상도, 렌즈의 초점 거리)은, 제1 촬상부(101)와 동일하거나, 또는 상이할 수 있다. 이하 기재된 설명에서는, 제1 촬상부(101)의 내부 파라미터들과 제2 촬상부(102)의 내부 파라미터들은 동일한 것으로 가정한다. 제2 주기는 제1 주기와 동기하고 있거나, 또는 그것과 동기하고 있지 않을 수 있다. 즉, 자세 추정 장치(10)는, 제1 촬상부(101)에 의한 촬상과 제2 촬상부(102)에 의한 촬상을 동기화하기 위한 동기 회로를 사용하지 않아도 된다.
제2 주기가 제1 주기와 동기하고 있으면, 도 3에 도시된 바와 같이, 제1 촬상부(101) 및 제2 촬상부(102)는 동일한 간격으로 동작하고, 동일한 타이밍에 촬상을 개시 및 종료한다. 이 경우에는, 촬상 타이밍이 동기하고 있는 스테레오 카메라를 사용하여 종래의 SLAM을 실행함으로써, 제1 촬상부(101)(기준 카메라)의 자세를 고정밀도로 추정할 수 있다.
제2 주기가 제1 주기와 동기하고 있지 않으면, 도 4에 도시된 바와 같이, 제1 촬상부(101) 및 제2 촬상부(102)는 상이한 타이밍들에서 촬상을 수행한다. 구체적으로, 제1 촬상부(101)가 특정 시각 (t)에서 촬상을 수행하는 경우에, 제2 촬상부(102)는, 제1 촬상부(101)에 의해 수행된 촬상 이후의 지연 시간(δ1)인 시각 (t+δ1)에서 촬상을 수행한다. 마찬가지로, 제1 촬상부(101)가 또 다른 시각 (t+Δt)에서 촬상을 수행하는 경우에, 제2 촬상부(102)는, 제1 촬상부(101)에 의해 수행된 촬상 이후의 지연 시간(δ2)인 시각 (t+Δt+δ2)에서 촬상을 수행한다. 지연 시간들(δ1) 및 (δ2)은 서로 동일할 수 있거나, 또는 상이할 수 있다.
이 지연 시간(δ1 또는 δ2) 동안에 제2 촬상부(102)가 이동하면, 제2 촬상부(102)가 촬상을 수행하는 위치는, 이상적인 촬상 위치(즉, 제2 촬상부(102)가 시각 (t) 또는 (t+Δt)에서 있어야 하는 위치)로부터 어긋나 버린다. 즉, 제2 촬상부(102)가 참조 화상을 캡처하는 위치는, 제2 촬상부(102)가 시각 (t+Δt)에서 있어야 하는 추정 위치로부터 어긋나 버린다. 제2 촬상부(102)의 추정 위치는, 제1 촬상부(101)의 자세를 기준으로 한, 제2 촬상부의 사전 결정된 자세로부터 도출될 수 있다.
그러나, 이하 설명될 것과 같이, 추정부(103)는, 제1 촬상부(101)와 제2 촬상부(102) 간에 비동기 촬상 타이밍들로 인해 상기 언급된 위치 어긋남이 발생하는 경우라고 해도, 제1 촬상부(101) 및 제2 촬상부(102)의 자세들을 고정밀도로 추정할 수 있다.
추정부(103)는, 제1 촬상부(101)로부터 기준 화상(110)을 수신하고, 제2 촬상부(102)로부터 참조 화상(111)을 수신한다. 추정부(103)는, 제1 시각 (t+1)에 관련된 기준 화상(110-1) 및 참조 화상(111-1)과, 해당 제1 시각 (t+1) 이전인 제2 시각 (t)에 관련된 기준 화상(110-2) 및 참조 화상(111-2)에 기초하여, 추정 처리를 수행한다. 추정부(103)는, 제1 시각 (t+1)에서 제1 촬상부(101)의 상대적인 자세(제2 시각 (t)에서의 자세를 기준으로 함)를 추정한다. 추정부(103)는 또한, 제2 촬상부(102)가 참조 화상(111-1 및 111-2)을 캡처하는 이상적인 촬상 위치(즉, 제1 시각 (t+1) 및 제2 시각 (t)에서 제2 촬상부(102)가 위치된 위치)로부터 얼만큼 어긋나 있는지를 추정한다. 제1 시각 (t+1)에서의 제1 촬상부(101)의 상대적인 자세와, 제2 촬상부(102)가 참조 화상(111-1 및 111-2)들을 캡처하는 이상적인 촬상 위치로부터, 제2 촬상부(102)의 위치의 어긋남이, 동시에 추정될 수 있다.
추정부(103)는, 추정 결과를 나타내는 추정 데이터(112)를 외부로 출력한다. 자세 추정 장치(10)는, 예를 들어, 도 2에 도시된 바와 같이 동작한다. 도 2에 도시된 동작은, 제1 촬상부(101)(기준 카메라)가 제1 시각 (t+1)에서 기준 화상(110-1)을 캡처할 때, 개시된다(단계 S201). 한편, 제2 촬상부(102)(참조 카메라)는 참조 화상(111-1)을 캡처한다(단계 S202). 도 2에 도시된 예에서는, 단계 S202가 단계 S201 이후에 실행되고 있지만, 단계들은 역순으로 실행될 수 있거나, 또는 동시에 실행될 수 있다.
추정부(103)는, 단계 S201 및 단계 S202에서 각각 캡처된 기준 화상(110-1) 및 참조 화상(111-1)과, 이전 회(last time)의 단계 S201 및 단계 S202에서 각각 캡처된 기준 화상(110-2) 및 참조 화상(111-2)에 기초하여, 제1 촬상부(101)(기준 카메라)의 자세를 추정한다(단계 S203).
더 구체적으로, 추정부(103)는 기준 화상(110-1) 및 참조 화상(111-1)을 위한 교정(rectification)을 수행한다. 이 교정에 의해, 기준 화상(110-1) 및 참조 화상(111-1)은, 완전한 평행 스테레오 카메라에 의해 캡처된 것과 같은 한쌍의 스테레오 화상으로 변환된다. 렌즈 왜곡 제어가 교정에 포함되면, 2개의 변환을 한 번에 수행할 수 있다. 변환 파라미터들은 캘리브레이션(calibration)에 의해 결정된 제1 촬상부(101) 및 제2 촬상부(102)의 외부 파라미터들 및 렌즈 왜곡 파라미터들에 기초하여 계산될 수 있다. 교정을 수행함으로써, 화상들 간에 특징점들이 탐색되는 탐색 범위는 화상들의 하나의 수평선에 한정되지 않고, 그와 같이 용이하고 강인한 탐색이 가능하게 된다. 추가로, 3차원 점들을 복구하기 위한 계산이 단순화될 수 있다.
그 후, 추정부(103)는, 제1 시각 (t+1)에서 캡처된 한쌍의 스테레오 화상과, 제2 시각 (t)에서 캡처된 한쌍의 스테레오 화상(후자의 화상들은 이전 회 단계 S203가 실행될 때 생성될 수 있음)을 포함하는 4개의 화상으로부터 특징점들을 추출하고, 모든 대응들을 탐색한다. 특징점들의 추출 및 대응들의 탐색은, 예를 들어, 특징량들에 기초해서 수행된다. 특징량들은, 예를 들어, SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), ORB(Orientated FAST and Rotated BRIEF), KAZE(KAZE Features), AKAZE(Accelerated KAZE) 등의 그러한 기술들을 사용하여 계산될 수 있다.
후속하여, 추정부(103)는, 제1 시각 (t+1)에서의 제1 촬상부(101)의 상대적인 자세와, 제2 촬상부(102)가 참조 화상(111-1 및 111-2)을 캡처하는 이상적인 촬상 위치로부터, 제2 촬상부(102)의 위치의 어긋남을 동시에 추정한다.
참조 화상(111-1)이 캡처된 이상적인 촬상 위치는, 예를 들어, 제1 촬상부(101)와 제2 촬상부(102) 간의 위치 관계에 따라, 제1 시각 (t+1)에서의 제1 촬상부(101)의 위치를 어긋나게 함으로써 계산될 수 있다. 제1 촬상부(101)와 제2 촬상부(102) 간의 위치 관계는, 예를 들어, 캘리브레이션 시에 도출될 수 있다.
이상적인 촬상 위치로부터의, 제2 촬상부(102)의 위치 어긋남은, 병진 운동(translational motion)에 의해 야기된 어긋남 및 회전에 의해 야기된 어긋남으로 분해될 수 있다. 제2 촬상부(102)가, 해당 제2 촬상부(102)의 광학 중심과 정해진 특징점을 연결하는 직선에 대해 직교하는 방향으로 병진 운동을 행한다고 가정해 본다. 이 경우에, 참조 화상(111-1)에 있어서 해당 특징점에 대응하는 투영점의 위치 어긋남은, 제1 시각 (t+1)에서의 제2 촬상부(102)의 광학 중심과 해당 특징점 사이의 거리에 반비례하여 감소된다. 제2 촬상부(102)가 회전하는 경우라면, 참조 화상(111-1)에 있어서 정해진 특징점에 대응하는 투영점의 위치 어긋남은, 제1 시각 (t+1)에서의 제2 촬상부(102)의 광학 중심과 해당 특징점 사이의 거리에 의존하지 않는다. 따라서, 제2 촬상부(102)가 해당 특징점으로부터 특정 거리보다 더 멀리 있는 한, 참조 화상(111)에 있어서 특징점에 대응하는 투영점의 위치 어긋남은, 주로 회전에 의존한다. 따라서, 이하 설명에서는, 이상적인 촬상 위치로부터의 제2 촬상부(102)의 어긋남은, 회전에 의해 야기된 어긋남으로 간주될 것이다.
추정부(103)는, 제1 시각 (t+1)에서의 제1 촬상부(101)의 상대적인 자세를, 3차원의 병진 벡터 t 및 3행×3열 회전 행렬 R을 이용하여 표현한다. 추정부(103)는, 제2 시각 (t) 및 제1 시각 (t+1)에서의 이상적인 촬상 위치로부터 제2 촬상부(102)가 얼만큼 어긋나 있는지를, 3행×3열 회전 행렬 R1 및 R2를 이용하여 표현한다. 추정부(103)는, 이 파라미터들 t, R, R1 및 R2을 변수들로서 사용하여, 이하 기재된 수학식 1에 의해 표현된 평가 함수를 최소화하는 방식으로, 이 파라미터들의 값을 추정한다.
Figure 112016110834288-pat00001
수학식 1에서, wi CR 및 wi CL은 제1 시각 (t+1)의 우측 및 좌측 화상들(전술한 변환 후에 얻어진 참조 화상(111-1) 및 기준 화상(110-1))에서 i번째 특징점의 위치들을 나타낸다. 또한,
Figure 112016110834288-pat00002
및 항(term)
Figure 112016110834288-pat00003
은, 제1 시각 (t+1)의 제1 촬상부(101) 및 제2 촬상부(102)에서 복원점들(제2 시각 (t)의 우측 및 좌측 화상들에서 i번째 특징점에 기초하여 복원됨)을 투영함으로써 얻어진 재투영 점들(re-projected points)의 위치를 나타낸다. 특징점들 및 재투영 점들은 동차 좌표로 표현된다. 복원된 위치들은, 예를 들어, 시각 (t+Δt)에서의 기준 위치에 기초하여 2차원 또는 3차원으로 표현된다.
수학식 1은, 특징점들의 위치를 기준으로 한, 재투영 점들의 위치의 오차(이후, 재투영 오차로서 지칭될 것임)을 평가하므로, 수학식 1은 재투영 오차 함수라고 불릴 수 있다.
재투영 점들의 위치는, 이하 기재된 수학식 2를 사용하여 산출될 수 있다.
Figure 112016110834288-pat00004
수학식 2에서, A는 제1 촬상부(101)(또는 제2 촬상부(102))의 내부 파라미터들을 나타내는 3행×3열 행렬이다. 전술한 바와 같이, 제1 촬상부(101)의 내부 파라미터들은 제2 촬상부(102)의 내부 파라미터들과 동일한 것으로 가정된다. 수학식 2에서, tB는 [-b 0 0]과 동일하고, 여기서 b는 제1 촬상부(101) 및 제2 촬상부(102) 사이의 베이스라인(baseline)이고, 예를 들어, 캘리브레이션 시에 도출될 수 있다. 수학식 2에서, pi는 복원된 3차원 점을 나타내고, 이하 수학식 3을 이용하여 도출될 수 있다.
Figure 112016110834288-pat00005
수학식 3에서, tri(z,z')는 삼각 측량의 원리들에 기초하여 3차원 점을 복원하기 위한 함수이다. z=[zx zy 1]T 및 z'=[zx' zy' 1]T인 경우에, tri(z,z')는 이하 수학식 4에 의해 나타내어질 수 있다.
Figure 112016110834288-pat00006
수학식 4에서, cx는 제1 촬상부(101)(또는 제2 촬상부(102))의 광학 중심의 x 좌표이고, cy는 해당 광학 중심의 y 좌표이고, f는 제1 촬상부(101)의 초점 거리이다. 전술한 바와 같이, 제1 촬상부(101)의 내부 파라미터들(cx, cy 및 f를 포함함)은 제2 촬상부(102)의 내부 파라미터들과 동일한 것으로 가정된다. cx, cy 및 f는 캘리브레이션 시에 도출될 수 있다.
전술된 다양한 점들, 및 벡터와 행렬 간의 관계는, 도 5에 개략적으로 예시된다. 재투영 오차를 최소화하기 위해서, 추정부(103)는, 뉴턴법, 준뉴턴법, Levenberg-Marquardt법 또는 기타 등등을 이용할 수 있다. 특징점들 간의 대응들이 탐색될 때, 잘못된 대응이 포함될 수 있다. 따라서, 추정부(103)는, 예를 들어, RANSAC(Random sample consensus)법을 사용하여 추정 처리를 강인하게 할 수 있다.
전술된 예에서는, 추정부(103)는, 제1 촬상부(101)의 상대적인 자세를, 3차원의 병진 벡터 t 및 회전 행렬 R을 사용하여 표현하고, 이상적인 촬상 위치로부터의 제2 촬상부(102)의 어긋남을 회전 행렬 R1 및 R2을 사용하여 표현한다. 그러나, 추정부(103)는, 제1 촬상부(101)의 상대적인 자세 및 이상적인 촬상 위치로부터의 제2 촬상부(102)의 어긋남을 상이한 파라미터들로서 표현할 수 있다.
구체적으로, 제1 촬상부(101) 및 제2 촬상부(102)가 3개의 자유도(x-병진 성분, y-병진 성분, 및 회전 성분)를 갖는 2차원 평면상에서 이동하는 것을 가정할 수 있으면, 제1 촬상부(101)의 상대적인 자세는 x-병진 성분 tx, y-병진 성분 ty, 및 회전 성분(각도) θ을 사용하여 표현될 수 있다. 마찬가지로, 제1 촬상부(101)의 상대적인 자세 및 이상적인 촬상 위치로부터의 제2 촬상부(102)의 어긋남은, 회전 성분 θ1 및 θ2을 사용하여 표현될 수 있다. 따라서, 상기 수학식 1에 의해 나타내어진 재투영 오차 함수는, 이하 기재된 수학식 5로 대체될 수 있다.
Figure 112016110834288-pat00007
상기 예에서, 추정부(103)는, 병진 벡터 t과 회전 행렬 R, R1 및 R2의 파라미터 세트, 또는 x-병진 성분 tx, y-병진 성분 ty 및 회전 성분 θ, θ1 및 θ2의 파라미터 세트를 동시에 추정한다. 그러나, 추정부(103)는, 제2 시각 (t)에서 제2 촬상부(102)가 이상적인 촬상 위치로부터의 얼만큼 어긋나 있는지(즉, 회전 행렬 R1 또는 회전 성분 θ1)를 추정했을 수 있다. 이러한 경우에, 추정부(103)는, 회전 행렬 R1 또는 회전 성분 θ1에 대한 과거의 추정 값들을 사용할 수 있고, 그로 인해 상기 수학식 1 또는 수학식 5에 도시된 재투영 오차 함수가 최소화될 수 있다. 그러나, 추정 처리를 반복하는 횟수의 증가에 따라, 회전 행렬 R1 또는 회전 성분 θ1의 재이용에 기인하는 오차가 누적된다. 따라서, 고정밀도의 추정을 가능하게 하기 위해서, 모든 파라미터들을 동시에 추정하는 것이 바람직하다.
제1 실시예의 자세 추정 장치는, 예를 들어, 도 6에 도시된 컴퓨터(60)를 사용하여 구현될 수 있다. 컴퓨터(60)는, CPU(Central Processing Unit)(601), 입력 디바이스(602), 디스플레이 디바이스(603), 통신 디바이스(604), 및 저장 디바이스(605)를 포함한다. 이 요소들은 버스(606)에 의해 함께 접속된다.
CPU(601)는, 다양한 프로그램들을 실행함으로써, 컴퓨터(60) 또는 컴퓨팅 디바이스의 제어 디바이스로서 기능하는 전자 회로이다. CPU(601)는, 예를 들어, 입력 디바이스(602), 통신 디바이스(604) 또는 저장 디바이스(605)로부터 데이터를 수신하고, 연산을 행한다. 그리고, CPU(601)는, 연산 결과들 또는 해당 연산 결과들에 기초하는 제어 신호들을, 예를 들어, 디스플레이 디바이스(603), 통신 디바이스(604), 및 저장 디바이스(605)에 제공한다.
더 구체적으로, CPU(601)는, 컴퓨터(60)의 OS(오퍼레이팅 시스템) 외에, 자세 추정 프로그램(컴퓨터(60)로 하여금 제1 실시예의 자세 추정 장치로서 기능하게 하는 프로그램으로서, 화상 처리 프로그램이라고도 불릴 수 있음)을 실행한다. 해당 프로그램을 실행함으로써, CPU(601)는 버스(606)를 통해 접속된 디바이스들을 제어한다.
자세 추정 프로그램은, 비-일시적인, 유형의, 컴퓨터 판독 가능한 저장 매체에 저장된다. 저장 매체는, 광 디스크, 광자기 디스크, 자기 디스크, 자기 테이프, 플래시 메모리, 또는 반도체 메모리일 수 있지만 이들에 한정되지 않는다. 자세 추정 프로그램은, 저장 디바이스(605)에 미리 저장될 수 있거나, 저장 디바이스(605) 외의 다른 저장 매체에 저장될 수 있거나, 또는 네트워크(예를 들어, 인터넷)에 업로드될 수 있다. 어쨌든, 자세 추정 프로그램은 컴퓨터(60)에 설치되고, CPU(601)는 해당 자세 추정 프로그램을 실행한다. 결과적으로, 컴퓨터(60)는 제1 실시예의 자세 추정 장치로서 기능한다.
입력 디바이스(602)는, 컴퓨터(60)에 제공될 입력 정보를 수신한다. 입력 디바이스(602)는, 제1 촬상부(101) 및 제2 촬상부(102)로서 기능하는 디지털 카메라를 포함할 수 있다. 입력 디바이스(602)는, 예를 들어, 키보드, 마우스, 터치 패널 등을 더 포함할 수 있다.
디스플레이 디바이스(603)는, 정지 화상 또는 동화상을 표시한다. 디스플레이 디바이스(603)는, 예를 들어, LCD(Liquid Crystal Display), 또는 CRT(Cathode Ray Tube), PDP(Plasma Display Panel)이지만 이들에 한정되지 않는다. 디스플레이 디바이스(603)는, 예를 들어, 기준 화상(110) 및 참조 화상(111)을 표시할 수 있거나, 또는 해당 기준 화상(110) 및 참조 화상(111)에 포함되는 특징점들을 표시할 수 있다. 디스플레이 디바이스(603)는, 자세 추정 프로그램의 실행 결과에 기초하여 작성된 맵 화상을 표시할 수 있다. 또한, 디스플레이 디바이스(603)는, 제1 촬상부(101)(기준 카메라)의 현재의 자세를 중첩한 맵 화상을 표시할 수 있거나, 또는 제1 촬상부(101)(기준 카메라)의 자세의 변경 추적(change tracking)을 중첩한 맵 화상을 표시할 수 있다.
통신 디바이스(604)는, 외부 장치와의 유선 또는 무선 통신을 행한다. 통신 디바이스(604)는, 예를 들어, 모뎀, 허브 또는 라우터이지만 이들에 한정되지 않는다. 제1 촬상부(101) 및 제2 촬상부(102)는, 그것들이 컴퓨터(60)에게 제공되는 대신에, 외부 장치에 제공될 수 있다. 이 경우에, CPU(601)는 통신 디바이스(604)에 의해 수신된 기준 화상(110) 및 참조 화상(111)에 기초하여 자세 추정 처리를 수행한다.
저장 디바이스(605)는, 다양한 프로그램들(예를 들어, 컴퓨터(60)의 OS 및 자세 추정 프로그램), 해당 프로그램들의 실행에 필요한 데이터, 해당 프로그램들의 실행에 의해 생성된 데이터 등을 저장한다.
저장 디바이스(605)는, 메인 메모리와 외부 저장 디바이스를 포함한다. 메인 메모리는, 예를 들어, DRAM(Dynamic Random Access Memory) 또는 SRAM(Static Random Access Memory)이지만 이들에 한정되지 않는 RAM이다. 외부 저장 디바이스는, 예를 들어, 하드 디스크, 광 디스크, 플래시 메모리 또는 자기 테이프이지만 이들에 한정되지 않는다.
CPU(601), 입력 디바이스(602), 디스플레이 디바이스(603), 통신 디바이스(604) 및 저장 디바이스(605)는, 각각 복수의 디바이스를 포함할 수 있다. 도 6에는 도시되지 않은 주변 디바이스들(예를 들어, 프린터 및 스캐너)이 컴퓨터(60)에 접속될 수 있다.
제1 실시예의 자세 추정 장치는 단일의 컴퓨터(60)에 의해서 구현되는 것이 아니라, 다수의 서로 접속된 컴퓨터들(60)(즉, 컴퓨터 시스템)에 의해서 구현될 수 있다.
전술된 바와 같이, 제1 실시예의 자세 추정 장치는, 제2 시각을 기준으로 한, 제1 시각 (t+1)에서의 제1 촬상부의 상대적인 자세, 및 제2 촬상부(102)가 제1 및 제2 참조 화상들을 캡처하는 이상적인 촬상 위치로부터 제2 촬상부의 위치의 어긋남을 동시에 추정한다. 따라서, 자세 추정 장치는, 제1 촬상부의 촬상 타이밍과 제2 촬상부의 촬상 타이밍이 서로 동기하지 않는 경우에도, 제1 촬상부(기준 카메라)의 자세를 추정할 수 있다. 즉, 자세 추정 장치는, 저렴한 2개의 범용 카메라를 사용하는 스테레오 카메라에 의해 구현될 수 있다.
제1 시각 또는 제2 시각과, 제2 촬상부가 제1 참조 화상 또는 제2 참조 화상을 캡처한 시각 간의 시간 차(time difference)가 알려져 있지 않더라도, 자세 추정 장치는, 해당 제1 시각 또는 제2 시각에 관련된 이상적인 촬상 위치로부터 제2 촬상부가 얼만큼 어긋나 있는지를, 추정할 수 있다. 따라서, 자세 추정 장치는, 예를 들어, 상기 시간 차를 측정하기 위한 타임 스탬프가 이용 불가능한 경우에도, 사용될 수 있다.
또한, 자세 추정 장치는, 제1 시각 또는 제2 시각으로부터 제1 참조 화상 또는 제2 참조 화상이 캡처될 때까지, 제2 촬상부가 얼만큼 이동한 것인지를 단순화하지 않는다. 예를 들어, 자세 추정 장치는, 제2 촬상부의 운동이 등속 직선 운동(uniform linear motion)인 것으로 가정하지 않는다. 제2 촬상부의 운동이 회전 운동 또는 가속도 운동을 포함하는 경우에도, 이 자세 추정 장치는, 제1 시각 또는 제2 시각에서의 이상적인 촬상 위치로부터 제2 촬상부가 얼만큼 어긋나 있는지를 정확하게 추정할 수 있다.
본 실시예의 자세 추정 장치가 적용될 때, 이동 물체(mobile object)는, 현재 위치 또는 타겟 위치에 대한 데이터를 취득할 수 있고, 현재 위치에서 타겟 위치까지 효율적으로 이동할 수 있다. 이동 물체는, 자세 추정 장치를 갖추고 있을 수 있고, 자세 추정 장치로부터 원격으로 송신된 이동 지시들을 수신할 수 있다.
(제2 실시예)
전술한 제1 실시예의 자세 추정 장치는, 예를 들어, 도 7 내지 도 9에 도시된 것들과 같은, 진공 청소기(진공 청소기 시스템)(11)에 통합될 수 있다. 진공 청소기(11)는, 소위 자주식(self-propelled) 로봇 청소기(청소 로봇이라고도 불림)이며, 청소 대상 영역(sweep-target area)(예를 들어, 건물의 바닥)을 자율적으로 이동하면서 청소한다.
진공 청소기(11)는, 예를 들어, 도 10에 도시된 충전기(12)를 베이스로서 하여, 일련의 청소 동작들을 행할 수 있다. 즉, 진공 청소기(11)는, 충전기(12)를 출발해서 이동하면서 바닥을 청소하고, 해당 충전기(12)로 복귀하고, 여기서 진공 청소기(11)는 다음 청소 동작 지시를 대기한다. 충전기(12)가 진공 청소기(11)에 기계적 및 전기적으로 접속한 상태에서, 해당 충전기(12)는 진공 청소기(11)에 통합된 이차 전지(28)를 충전한다.
도 7 및 도 10에 도시된 바와 같이, 진공 청소기(11)는, 중계기(relay)로서 역할을 하는 홈 게이트웨이(14)(라우터, 액세스 포인트 등이어도 좋다)와의 유선 통신 또는 무선 통신(예를 들어, Wi-Fi[등록 상표] 또는 Bluetooth[등록 상표])을 행할 수 있다. 홈 게이트웨이(14)는, 라우터, 액세스 포인트 또는 기타 등등으로 대체될 수 있다. 홈 게이트웨이(14)는, 인터넷과 같은 네트워크(15)에, 예를 들어, 유선 접속에 의해 접속되고, 서버(16), 스마트폰(17) 및 PC(18)(태블릿 타입일 수 있음)를 포함하는 외부 통신 디바이스들과 해당 네트워크(15)를 통해 통신할 수 있다. 즉, 진공 청소기(11)는 홈 게이트웨이(14) 및 네트워크(15)를 통해, 서버(16), 스마트폰(17), PC(18) 또는 기타 등등과 통신할 수 있다.
서버(16)는, 네트워크(15)에 접속된 컴퓨터(클라우드 서버)이며, 진공 청소기(11)에 대한 다양한 종류의 데이터(예를 들어, 진공 청소기(11)로부터 송신된 화상들)을 저장할 수 있다. 서버(16)는, 그 안에 저장된 데이터를, 스마트폰(17) 또는 PC(18)에 의한 요구에 응답하여 송신할 수 있다.
홈 게이트웨이(14)가 설치된 건물의 내부에서, 스마트폰(17) 또는 PC(18)는, 예를 들어, 해당 홈 게이트웨이(14)를 통해 진공 청소기(11)와의 유선 통신 또는 무선 통신을 행할 수 있다. 스마트폰(17) 또는 PC(18)는, 건물의 외부에 위치될 때, 네트워크(15)를 통해 진공 청소기(11)와의 유선 통신 또는 무선 통신을 행할 수 있다. 스마트폰(17) 또는 PC(18)는, 각각 화상들을 표시하기 위한 디스플레이 디바이스를 포함한다.
전술된 네트워크 덕분에, 예를 들어, 진공 청소기(11)의 사용자는, 스마트폰(17) 또는 PC(18)를 조작하여 진공 청소기(11)에 동작 지시들을 송신할 수 있거나, 또는 스마트폰(17) 또는 PC(18)의 디스플레이 디바이스상에 도시된 화상들을 살펴봄으로써 진공 청소기(11)의 청소 동작의 결과들(예를 들어, 진공 청소기(11)가 얼만큼 이동했는지에 대한 데이터)을 확인할 수 있다. 이 화상들은, 예를 들어, 서버(16)로부터 다운로드된다.
진공 청소기(11)는 몸체 케이스(body case)(20)를 포함한다. 이 몸체 케이스(20)는, 합성 수지 또는 기타 등등으로 이루어진 실질적으로 원통형 케이스(두툼한 원반)이다. 더 구체적으로, 몸체 케이스(20)는, 실질적으로 원형의 상면부(20b) 및 하면부(20c)과, 이 부분들과 연결되는 측면부(20a)를 포함한다. 몸체 케이스(20)는 움푹 파이고, 제어 유닛(27), 이차 전지(28), 전기 송풍기(41), 집진부(46)를 포함하는 다양한 구성요소들을 포함한다.
이하 설명에서는, 진공 청소기(11)를 움직이는 구동륜(drive wheel)(34)들의 회전축에 실질적으로 평행한 방향은 좌우(right-and-left) 방향(폭 방향)으로 지칭되고, 해당 폭 방향에 실질적으로 직교하는, 진공 청소기(11)의 주행 방향은 전후(forward-and-backward) 방향(도 8 및 도 9의 FR 및 RR으로 지시됨)으로 지칭될 것이다. 이해를 돕기 위해, 도 8 및 도 9에서는, 전후 방향에 평행한 중심선 L이 그려져 있다.
도 8에 도시된 바와 같이, 촬상 유닛(25)(좌측 카메라(51-L) 및 우측 카메라(51-R)를 포함함)는 몸체 케이스(20)의 측면부(20a)의 전방부(front portion)에 부착된다. 우측 카메라(51-R) 및 좌측 카메라(51-L)는, 이들을 연결하는 직선이 폭 방향(즉, 구동륜(34)들의 회전축의 방향)에 실질적으로 평행하도록 제공된다. 좌측 카메라(51-L) 및 우측 카메라(51-R)는, 예를 들어, 가시광 영역의 화상을 캡처한다. 가시광 영역의 화상은, 예를 들어, 적외선 영역의 화상보다 더 고화질을 갖고 있으므로, 복잡한 화상 처리가 행해지지 않고 사용자에 시각적으로 제시될 수 있다.
좌측 카메라(51-L) 및 우측 카메라(51-R)의 주위에는, LED(light emitting diode)와 같은 램프(도시되지 않음)가 부착될 수 있다. 이 램프는, 주위의 밝기가 사전 결정된 값 미만인 경우에는 점등되고, 그렇지 않은 경우에는 점등되지 않도록, 제어 유닛(27)에 의해 제어된다(이하 세부적으로 설명될 것임). 램프는, 점등될 때, 가시광 영역을 포함하는 광을 방출하고, 따라서 우측 카메라(51-R) 및 좌측 카메라(51-L)를 위한 조명으로서의 역할을 한다. 램프로 인해, 그늘(어두운 장소)에서도 야간에도 적절한 화상을 캡처할 수 있다.
우측 카메라(51-R) 및 좌측 카메라(51-L)는, 적외선 영역의 화상을 캡처하는 적외선 카메라들일 수 있다. 이 경우에, 램프(도시되지 않음)로부터 방출된 적외선 영역을 포함하는 광과 적절한 화상이, 주위의 밝기에 관계 없이 안정적으로 캡처될 수 있다. 이 램프에 의해 방출된 광이 가시광 영역을 포함하지 않으면, 해당 램프를 그늘(어두운 장소)에서 또는 야간에 점등한 경우라 해도, 램프 주위의 사람은 이 광을 밝은 것으로 인지하지 않고, 화상 캡처 동작이 계속될 수 있다.
하면부(20c)는, 진공 청소기(11)가 움직일 때, 청소 대상 영역과 대향한다. 도 9에 도시된 바와 같이, 진공 청소기(11)를 움직이게 하는 구동륜(34)들 및 선회륜(slewing wheel)(36)은 노출되어 있다. 하면부(20c)에는, 흡입구(31)(집진구(dust collecting port)로서의 역할을 함), 및 배기구(32)들이 개구되어 있다. 흡입구(31)의 부근에는, 회전 브러시(42)(진애(dust)를 해당 흡입구(31)내로 끌어모으는 회전식 청소 부재로서의 역할을 함)가 회전 가능하게 설치되어 있다. 하면부(20c)의 전방부의 각각의 측들에는, 사이드 브러시(44)(진애를 끌어모으는 보조 청소 부재로서의 역할을 함)들이 회전 가능하게 설치되어 있다. 하면부(20c)의 후방부(rear portion)의 각각의 측에는, 충전 단자(71)들이 제공된다. 충전 단자(71)들은, 몸체 케이스(20)에 내장된 이차 전지(28)가 충전기(12)에 전기적 및 기계적으로 접속하게 하여, 이차 전지(28)가 충전될 수 있다.
도 7에 도시된 바와 같이, 진공 청소기(11)는, 주행 유닛(21), 청소 유닛(22), 통신 유닛(23), 촬상 유닛(25), 센서부(26), 제어 유닛(27), 및 이차 전지(28)를 포함한다.
이차 전지(28)는, 진공 청소기(11)의 전원이며, 주행 유닛(21), 청소 유닛(22), 통신 유닛(23), 촬상 유닛(25), 센서 유닛(26) 및 제어 유닛(27)에 전력을 공급한다. 이차 전지(28)는, 전술한 충전 단자(71)에 전기적으로 접속되고, 충전기(12)가 해당 충전 단자(71)를 통해 이차 전지(28)에 전기적 및 기계적으로 접촉함으로써, 충전될 수 있다.
주행 유닛(21)은, 진공 청소기(11)의 몸체 케이스(20)가 청소 대상 영역 위에서 주행할 수 있게 한다. 구체적으로, 주행 유닛(21)은, 한 쌍의 구동륜(34), 한 쌍의 모터(35), 및 선회륜(36)을 포함한다.
구동륜(34)들은, 대응하는 모터(35)들로부터 송신된 전력에 의해 회전되어, 진공 청소기(11)를 청소 대상 영역 위에서 전후 방향으로 이동시킨다. 구동륜(34)들의 회전축은, 몸체 케이스(20)의 폭 방향에 실질적으로 평행하고, 몸체 케이스(20)의 전후 방향에 대하여 실질적으로 대칭으로 배치된다. 각각의 구동륜(34)은, 대응하는 모터(35)에 의해 개별적으로 구동된다.
각각의 모터(35)는, 후술되는 주행 제어부(66)의 제어하에, 대응하는 구동륜(34)에 전력을 공급한다. 선회륜(36)은, 청소 대상 영역 상에서 선회 가능한 종동륜(driven wheel)이며, 도 9에 도시된 바와 같이 몸체 케이스(20)의 전방부의 중앙에 배치된다.
청소 유닛(22)은, 청소 대상 영역 상의 진애를 청소한다. 구체적으로, 청소 유닛(22)은, 전기 송풍기(41), 회전 브러시(42), 브러시 모터(43), 한 쌍의 사이드 브러시(44), 한 쌍의 사이드 브러시 모터(45), 및 집진부(46)를 포함한다. 본 명세서에서 설명된 요소들의 일부가 생략된 경우에도, 청소 대상 영역을 청소하는 것은 여전히 가능하다.
전기 송풍기(41)는, 몸체 케이스(20)에 내장되고, 이하 후술될 청소 제어부(67)의 제어하에 동작한다. 전기 송풍기(41)는, 흡입구(31)로부터 공기와 함께 진애를 흡입하고, 흡입한 공기를 배기구(32)로부터 배기한다. 전기 송풍기(41)에 의해 흡입된 진애는 집진부(46)에 유도된다.
브러시 모터(43)는, 청소 제어부(67)의 제어하에, 회전 브러시(42)를 회전한다. 사이드 브러시 모터(45)는, 청소 제어부(67)의 제어하에, 사이드 브러시(44)들을 회전한다. 집진부(46)는, 흡입구(31)에 연결되고, 해당 흡입구(31)로부터 흡입된 진애를 수집한다.
통신 유닛(23)은, 충전기(12) 또는 홈 게이트웨이(14)와 같은 외부 장치들과 통신한다. 더 구체적으로, 통신 유닛(23)은, 무선 LAN 디바이스(47)를 포함한다. 통신 유닛(23)은, 도 6에 도시된 통신 디바이스(604)에 대응한다.
홈 게이트웨이(14) 및 네트워크(15)를 통해, 무선 LAN 디바이스(47)는 외부 장치들(예를 들어, 서버(16), 스마트폰(17), 및 PC(18))에 다양한 정보를 송신하거나, 또는 반대로 외부 장치들로부터 다양한 정보를 수신한다. 무선 LAN 디바이스(47)는, 예를 들어, 몸체 케이스(20)에 내장할 수 있다.
통신 유닛(23)은, 송신기 및 수신기를 포함할 수 있다(도시되지 않음). 송신기는, 예를 들어, 충전기(12)에 적외선 신호(무선 신호)를 송신하는 적외선 발광 소자일 수 있다. 수신기는, 충전기(12) 또는 원격 제어부(도시되지 않음)로부터 송신된 적외선 신호(무선 신호)를 수신하는 포토 트랜지스터일 수 있다.
촬상 유닛(25)은, 진공 청소기(11) 주위의 화상을 캡처한다. 전술한 바와 같이, 촬상 유닛(25)은, 우측 카메라(51-R) 및 좌측 카메라(51-L)를 포함하고, 램프(도시되지 않음)를 포함할 수 있다. 우측 카메라(51-R) 및 좌측 카메라(51-L)는, 제2 촬상부(102) 및 제1 촬상부(101)에 각각 대응한다. 우측 카메라(51-R) 및 좌측 카메라(51-L)는, 이하 설명될 제어부(68)의 제어하에, 각각의 개별 타이밍들에 화상들을 캡처한다. 우측 카메라(51-R) 및 좌측 카메라(51-L)에 의해 캡처된 화상은 화상 처리 회로(도시되지 않음)에 의해 사전 결정된 데이터 포맷으로 압축될 수 있다.
센서 유닛(26)은, 예를 들어, 각각의 구동륜(34) 또는 각각의 모터(35)의 회전수를 측정하는 회전 센서(rotary sensor)(55)를 포함한다. 회전 센서(55)는, 예를 들어, 광 인코더일 수 있다. 회전 센서(55)는, 원하는 경우에, 생략될 수 있다.
제어 유닛(27)은, 주행 유닛(21), 청소 유닛(22), 통신 유닛(23) 및 촬상 유닛(25)을 제어한다. 구체적으로, 제어 유닛(27)은, 메모리(61), 자세 추정부(62), 주행 제어부(66), 청소 제어부(67), 촬상 제어부(68), 및 맵 작성부(70)를 포함한다. 제어 유닛(27)은, 예를 들어, 마이크로컨트롤러일 수 있다. 제어 유닛(27)은, 도 6에 도시된 CPU(601) 및 저장 디바이스(605)에 대응한다.
도 7에 도시된 기능 분할은 일례에 지나지 않는다. 예를 들어, 자세 추정부(62), 주행 제어부(66), 청소 제어부(67), 촬상 제어부(68) 및 맵 작성부(70)의 일부 또는 전부가, 제어 유닛(27)과는 독립하여 제공될 수 있고, 이들 중의 2개 이상이 원하는 방식으로 조합될 수 있다.
메모리(61)는, 연산을 수행하고 제어하는 데에 사용되는 다양한 데이터, 예를 들어, 우측 카메라(51-R) 및 좌측 카메라(51-L)에 의해 캡처된 화상을 저장한다. 바람직하게는, 메모리(61)에서의 데이터가, 진공 청소기(11)의 전원 상태에 관계 없이 유지되어야 한다. 따라서, 메모리(61)는, 플래시 메모리와 같은 비휘발성 기록 매체로 이루어진다.
자세 추정부(62)는, 도 1에 도시된 추정부(103)에 대응한다. 바꿔 말하면, 자세 추정부(62)는, 우측 카메라(51-R) 및 좌측 카메라(51-L)에 의해 캡처된 화상들(참조 화상(111) 및 기준 화상(110)에 대응하는 화상들)을 메모리(61)로부터 판독하고, 전술한 추정 처리를 행한다. 자세 추정부(62)는, 기준 카메라인 좌측 카메라(51-L)의 자세를 나타내는 추정 데이터를 생성한다. 자세 추정부(62)는, 좌측 카메라(51-L)의 추정된 자세를 몸체 케이스(20)의 중심 자세로 변환할 수 있다. 이 추정 데이터는, 예를 들어, 주행 제어부(66)에 의해 자율 이동의 제어(예를 들어, 이동 속도 또는 방향의 결정)에 이용되거나, 또는 맵 작성부(70)에 의해 맵 작성에 이용될 수 있다.
주행 제어부(66)는, 모터(35)들에 흐르는 전류의 크기 및 방향을 각각 제어함으로써, 해당 모터(35)들을 정상 방향으로, 혹은 역 방향으로 회전하게 한다. 각각의 구동륜(34)은, 대응하는 모터(35)의 회전에 연동하고, 진공 청소기(11)는 원하는 방향으로 이동된다.
청소 제어부(67)는, 전기 송풍기(41), 브러시 모터(43) 및 사이드 브러시 모터(45)를 개별적으로 통전 각 제어(conduction angle control)한다. 청소 제어부(67)는, 전기 송풍기(41), 브러시 모터(43) 및 사이드 브러시 모터(45)의 각각에 대해 제공될 수 있다. 촬상 제어부(68)는, 우측 카메라(51-R) 및 좌측 카메라(51-L)에 의한 화상 촬상의 개시 및 종료를 개별적으로 제어한다.
맵 작성부(70)는, 자세 추정부(62)에 의해 생성된 추정 데이터에 기초하여 맵 화상을 생성한다. 맵 작성부(70)는, 진공 청소기(11)의 단지 외부 세계의 맵 화상 대신에, 진공 청소기(11)의 현재의 자세를 중첩한 맵 화상, 또는 진공 청소기(11)의 자세의 변경 추적을 중첩한 맵 화상을 작성할 수 있다.
폭넓게 말하자면, 제어 유닛(27)은, 이하의 3개의 모드들: 진공 청소기(11)가 자율적으로 이동하면서 청소하는 청소 모드; 진공 청소기(11)가 충전기(12)에 전기적 및 기계적으로 접촉한 채로, 이차 전지(28)가 충전되는 충전 모드; 및 진공 청소기(11)가, 예를 들어, 충전기(12)에 접속된 상태에서, 다음 청소 모드 지시를 대기하는 대기 모드를 갖는다. 충전 모드에서는, 충전기(12)에 통합된 충전 회로(예를 들어, 정전류 회로)를 사용하는 경우에, 공지된 기술이 이용 가능하다. 제어 유닛(27)은, 우측 카메라(51-R) 및 좌측 카메라(51-L) 중의 적어도 하나로 하여금, 스마트폰(17), PC(18) 또는 원격 제어부(도시되지 않음)로부터 제공된 지시에 따라 사전 결정된 물체의 화상을 캡처하게 할 수 있다.
사전 결정된 청소 개시 시각이 도래할 때, 또는 스마트폰(17), PC(18) 또는 원격 제어부(도시되지 않음)로부터 송신된 청소 개시 지시가 수신될 때, 제어 유닛(27)의 동작 상태는 대기 모드 또는 충전 모드로부터 청소 모드로 변경된다. 청소 모드가 개시될 때, 제어 유닛(27)의 주행 제어부(66)는 각각의 모터(35)를 구동하고, 진공 청소기(11)는 충전기(12)로부터 사전 결정된 거리만큼 멀리 이동한다.
그 후, 진공 청소기(11)는, 청소 대상 영역을 자율적으로 이동하면서 청소하기 시작한다. 진공 청소기(11)가 이동 중일 때, 제어 유닛(27)의 촬상 제어부(68)는, 우측 카메라(51-R) 및 좌측 카메라(51-L)로 하여금, 주기적으로 화상들을 캡처하게 함으로써, 몸체 케이스(20)의 전방부의 앞쪽 영역의 스테레오 화상(즉, 기준 화상(110) 및 참조 화상(111))을 취득한다. 취득된 스테레오 화상은, 메모리(61)에 저장된다.
제어 유닛(27)의 자세 추정부(62)는, 메모리(61)로부터 스테레오 화상을 판독하고, 전술한 추정 처리를 수행한다. 자세 추정부(62)는, 기준 카메라인 좌측 카메라(51-L)의 자세를 나타내는(또는 몸체 케이스(20)의 중심의 자세를 나타내는) 추정 데이터(112)를 생성한다. 이 추정 데이터(112)에 기초하여, 제어 유닛(27)의 주행 제어부(66)는 진공 청소기(11)의 자율 이동(autonomous movement)을 제어한다.
메모리(61)에 저장된 화상들은, 사전 결정된 타이밍들에 홈 게이트웨이(14) 및 네트워크(15)를 통해 서버(16)에 송신(업로드)될 수 있다. 구체적으로, 화상들은, 진공 청소기(11)가 충전기(12)로 복귀했을 때, 업로드될 수 있거나, 청소 동안에, 정기적으로 혹은 비정기적으로 업로드될 수 있거나, 또는 스마트폰(17) 또는 PC(18)와 같은 외부 장치에 의해 이루어진 요구에 따라 업로드될 수 있다. 송신 후에, 이 화상들은 메모리(61)로부터 소거될 수 있거나, 또는 해당 화상들이 저장된 저장 영역은 새로운 데이터를 기입하는 데에 사용될 수 있다. 이런 방식으로, 메모리(61)의 저장 용량을 효율적으로 사용할 수 있다. 서버(16) 대신에, 메모리(61), 스마트폰(17) 또는 PC(18)가 데이터를 축적할 수 있다.
제어 유닛(27)의 청소 제어부(67)는, 진공 청소기(11)가 이동 중일 때, 전기 송풍기(41), 브러시 모터(43) 및 사이드 브러시 모터(45)를 구동한다. 결과적으로, 청소 대상 영역 상의 진애는, 흡입구(31)로부터 흡입되어, 집진부(46)에 수집된다.
청소 대상 영역에 대한 청소 동작이 종료하면, 제어 유닛(27)의 주행 제어부(66)는 진공 청소기(11)를 충전기(12)에 복귀시킨다. 이차 전지(28)가 예정된 청소 동작을 완료하기에 충분한 에너지를 저장하지 않은 경우에, 진공 청소기(11)는 이차 전지(28)의 에너지를 다 사용할 수 있다. 그러한 경우에, 진공 청소기(11)는 충전기(12)에 복귀할 수 없을 수도 있다. 청소 동작 도중에라도 이차 전지(28)의 에너지 레벨이 사전 결정된 값 미만인(예를 들어, 이차 전지(28)의 전압이 방전 컷오프 전압 근방까지 낮아지는) 경우에는, 제어 유닛(27)의 주행 제어부(66)는 진공 청소기(11)를 충전기(12)에 복귀시킬 수 있다. 충전 단자(71)가 충전기(12)에 전기적 및 기계적으로 접속되면, 제어 유닛(27)은 청소 모드로부터 충전 모드로 천이한다. 충전 모드의 종료 후에, 제어 유닛(27)은 대기 모드로 천이할 수 있거나, 또는 청소 모드로 다시 천이할 수 있다.
전술된 바와 같이, 제2 실시예의 진공 청소기는, 제1 실시예에 관련하여 언급된 바와 같이, 자기의 자세를 추정하고, 추정 결과들에 기초하여 자율적으로 이동한다. 이 진공 청소기는 자기 자신의 자세와, 해당 진공 청소기의 주위의 영역의 맵들을 고려해서 주행하므로, 청소 동작이 고효율적으로 달성될 수 있다. 또한, 이 진공 청소기는, 촬상 타이밍들에 비동기적인 스테레오 카메라에 의해 캡처된 화상들에 기초하여, 자기의 자세를 추정할 수 있으므로, 제조 비용을 저감할 수 있다.
스마트폰(17) 또는 PC(18)와 같은 외부 장치에 의해 표시된 화상은 제어 유닛(27)에 의해 처리될 수 있어, 해당 화상이 해당 외부 장치에 의해 적절하게 표시될 수 있게 된다. 대안적으로, 이 화상은 해당 외부 장치에 설치된 전용 프로그램(애플리케이션)에 의해 처리될 수 있어, 해당 화상이 해당 외부 장치에 의해 적절하게 표시될 수 있게 된다. 대안적으로, 제어 유닛(27) 또는 서버(16)는 해당 화상에 대해 전처리(pre-processing)를 수행할 수 있어, 해당 외부 장치가 브라우저와 같은 범용 프로그램을 사용하여 해당 화상을 표시할 수 있게 된다. 즉, 화상의 표시 제어는, 제어 유닛(27), 서버(16) 또는 외부 장치에 설치된 프로그램에 의해 실현될 수 있다.
우측 카메라(51-R) 및 좌측 카메라(51-L)에 의해 캡처된 화상은, 진공 청소기(11)상에 제공된 디스플레이(도 6에 도시된 디스플레이 디바이스(603)에 대응하는 디스플레이)에 의해 직접 표시될 수 있다. 이 경우에는, 진공 청소기(11)가 홈 게이트웨이(14) 및 네트워크(15)를 통해 화상들을 송신할 수 없더라도, 사용자는 해당 화상들을 열람할 수 있다. 바꿔 말하면, 이용 가능한 네트워크 자원들이 양호한 품질이 아닌 환경에서도, 해당 화상들은 열람될 수 있고, 진공 청소기(11)의 구성 및 제어가 단순화될 수 있다.
우측 카메라(51-R) 및 좌측 카메라(51-L)의 시야 밖에 위치한 장해물을 감지하는 접촉 센서와 같은 센서는, 몸체 케이스(20)의 후방부(rear portion)상에 제공될 수 있다. 또한, 청소 대상 영역에서 단차(step)를 감지하는 단차 센서(예를 들어, 적외선 센서)는 몸체 케이스(20)의 하면부(20c)상에 제공될 수 있다.
진공 청소기(진공 청소기 시스템)(11)의 자세 추정부(62)는, 촬상 유닛(25)이 포함된 몸체 케이스(20)의 외부에 제공될 수 있다. 바꿔 말하면, 제어 유닛(27)은, 촬상 유닛(25) 및 청소 유닛(22)과는 독립적으로 제공될 수 있고, 이들과 무선으로, 혹은 유선으로 통신할 수 있다.
특정 실시예들을 설명하였지만, 이 실시예들은, 단지 예시로 제시한 것일 뿐이고, 본 발명의 범위를 한정하기 위해 의도된 것은 아니다. 실제, 본 명세서에 설명된 신규한 방법들 및 시스템들은, 다양한 다른 형태들로 실시될 수 있고; 또한, 본 발명의 정신에서 벗어남 없이, 본 명세서에서 설명된 방법들 및 시스템들의 형태에 있어서 다양한 생략들, 치환들, 및 변경들이 행해질 수 있다. 첨부한 청구항들 및 그것들의 등가물들은, 본 발명의 범주 및 정신 내에 속하는 것으로서, 그러한 형태들 또는 수정들을 커버하는 것으로 의도된다.

Claims (8)

  1. 촬상 타이밍이 서로 동기하지 않는 제1 촬상부와 제2 촬상부를 갖는 스테레오 카메라의 제1 촬상부의 자세를 추정하기 위한 자세 추정 장치로서,
    제1 시각에 캡처된 제1 기준 화상(standard image)과 제2 시각에 캡처된 제2 기준 화상을 생성하는 상기 제1 촬상부;
    상기 제1 시각에 관련된 제1 참조 화상(reference image) 및 상기 제2 시각에 관련된 제2 참조 화상을 생성하는 상기 제2 촬상부;
    상기 제1 기준 화상, 상기 제2 기준 화상, 상기 제1 참조 화상, 및 상기 제2 참조 화상에 기초하여, (a) 상기 제2 시각에서의 상기 제1 촬상부의 자세를 기준으로 한, 상기 제1 시각에서의 상기 제1 촬상부의 자세, 및 (b) 상기 제1 촬상부와 상기 제2 촬상부 간의 위치 관계에 따라 상기 제1 시각에서의 상기 제1 촬상부의 위치를 어긋나게 함으로써 계산된 상기 제1 시각에서의 상기 제2 촬상부의 이상적인 추정 위치로부터 상기 제1 참조 화상을 캡처할 때의 위치에 대한 상기 제2 촬상부의 위치의 어긋남을 추정하는 추정부
    를 포함하고,
    상기 추정부는, 상기 제1 기준 화상, 상기 제2 기준 화상, 상기 제1 참조 화상, 및 상기 제2 참조 화상에 있어서 대응하는 특징점들을 탐색하고, 상기 제2 기준 화상 및 상기 제2 참조 화상에 기초하여 상기 특징점들의 위치를 복원하고, 상기 제1 시각에서의 상기 제1 촬상부 및 상기 제2 촬상부상에 상기 특징점들의 복원된 위치를 투영함으로써 얻어진 재투영 점들과, 상기 제1 기준 화상 및 상기 제1 참조 화상에 포함된 상기 특징점들 사이의 오차가 최소가 되도록, (a) 상기 제2 시각에서의 상기 제1 촬상부의 자세를 기준으로 한, 상기 제1 시각에서의 상기 제1 촬상부의 자세, 및 (b) 상기 제1 시각에서의 상기 제2 촬상부의 추정 위치로부터, 상기 제1 참조 화상을 캡처하는 상기 제2 촬상부의 위치의 어긋남을 추정하는, 자세 추정 장치.
  2. 제1항에 있어서,
    상기 추정부는, 상기 제1 시각에서의 상기 제2 촬상부의 추정 위치로부터, 상기 제1 참조 화상을 캡처하는 상기 제2 촬상부의 위치의 어긋남을, 회전 운동에 의해 야기된 것으로서 간주하는, 자세 추정 장치.
  3. 제1항에 있어서,
    상기 추정부는, (a) 상기 제2 시각에서의 상기 제1 촬상부의 자세를 기준으로 한, 상기 제1 시각에서의 상기 제1 촬상부의 자세, (b) 상기 제1 시각에서의 상기 제2 촬상부의 추정 위치로부터, 상기 제1 참조 화상을 캡처하는 상기 제2 촬상부의 위치의 어긋남, 및 (c) 제1 촬상부와 제2 촬상부 간의 위치 관계에 따라 상기 제2 시각에서의 상기 제1 촬상부의 위치를 어긋나게 함으로써 계산된 상기 제2 시각에서의 상기 제2 촬상부의 이상적인 추정 위치로부터 상기 제2 참조 화상을 캡처할 때의 위치에 대한 상기 제2 촬상부의 위치의 어긋남을 추정하는, 자세 추정 장치.
  4. 제1항에 있어서,
    상기 추정부는, (a) 상기 제2 시각에서의 상기 제1 촬상부의 자세를 기준으로 한, 상기 제1 시각에서의 상기 제1 촬상부의 자세를, 2개의 자유도의 병진 성분과 1개의 자유도의 회전 성분으로서 추정하고, (b) 상기 제1 시각에서의 상기 제2 촬상부의 추정 위치로부터, 상기 제1 참조 화상을 캡처하는 상기 제2 촬상부의 위치의 어긋남을, 1개의 자유도의 회전 성분으로서 추정하는, 자세 추정 장치.
  5. 제1항에 따른 장치를 포함하는 진공 청소기 시스템.
  6. 제5항에 있어서,
    진공 청소기가 주행하게 하는 구동륜을 더 포함하고,
    상기 구동륜의 회전축은, 상기 제1 촬상부 및 상기 제2 촬상부를 연결하는 직선에 대해 실질적으로 평행한, 진공 청소기 시스템.
  7. 컴퓨터 프로그램의 명령어들을 저장하는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 상기 컴퓨터 프로그램은, 컴퓨터에 의해 실행될 때, 촬상 타이밍이 서로 동기하지 않는 제1 촬상부와 제2 촬상부를 갖는 스테레오 카메라의 제1 촬상부의 자세를 추정하기 위한 자세 추정 장치가 단계들을 수행하게 하고, 상기 단계들은,
    제1 시각에 캡처된 제1 기준 화상 및 제2 시각에 캡처된 제2 기준 화상을 생성하는 상기 제1 촬상부를 제어하는 단계;
    상기 제1 시각에 관련된 제1 참조 화상 및 상기 제2 시각에 관련된 제2 참조 화상을 생성하는 상기 제2 촬상부를 제어하는 단계; 및
    상기 제1 기준 화상, 상기 제2 기준 화상, 상기 제1 참조 화상, 및 상기 제2 참조 화상에 기초하여, (a) 상기 제2 시각에서의 상기 제1 촬상부의 자세를 기준으로 한, 상기 제1 시각에서의 상기 제1 촬상부의 자세, 및 (b) 상기 제1 촬상부와 상기 제2 촬상부 간의 위치 관계에 따라 상기 제1 시각에서의 상기 제1 촬상부의 위치를 어긋나게 함으로써 계산된 상기 제1 시각에서의 상기 제2 촬상부의 이상적인 추정 위치로부터 상기 제1 참조 화상을 캡처할 때의 위치에 대한 상기 제2 촬상부의 위치의 어긋남을 추정하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  8. 삭제
KR1020160150982A 2015-11-17 2016-11-14 자세 추정 장치 및 진공 청소기 시스템 KR101950558B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2015-225013 2015-11-17
JP2015225013A JP6659317B2 (ja) 2015-11-17 2015-11-17 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム

Publications (2)

Publication Number Publication Date
KR20170057840A KR20170057840A (ko) 2017-05-25
KR101950558B1 true KR101950558B1 (ko) 2019-02-20

Family

ID=57286312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160150982A KR101950558B1 (ko) 2015-11-17 2016-11-14 자세 추정 장치 및 진공 청소기 시스템

Country Status (7)

Country Link
US (1) US10375376B2 (ko)
EP (1) EP3171334B1 (ko)
JP (1) JP6659317B2 (ko)
KR (1) KR101950558B1 (ko)
CN (1) CN107067436B (ko)
MY (1) MY179154A (ko)
TW (1) TWI617277B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546385B2 (en) * 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
JP6831210B2 (ja) * 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
KR101938668B1 (ko) 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
CN107168343B (zh) * 2017-07-14 2020-09-15 灵动科技（北京）有限公司 一种行李箱的控制方法及行李箱
CN109254579B (zh) * 2017-07-14 2022-02-25 上海汽车集团股份有限公司 一种双目视觉相机硬件系统、三维场景重建系统及方法
KR102277650B1 (ko) * 2017-07-21 2021-07-16 엘지전자 주식회사 청소기 및 그 제어방법
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법
US10671075B1 (en) * 2017-12-15 2020-06-02 Zoox, Inc. Trajectory generation using curvature segments
JP2019148926A (ja) * 2018-02-26 2019-09-05 株式会社リコー 情報処理装置、移動体システム、撮像システム及び情報処理方法
US11175677B2 (en) 2018-05-01 2021-11-16 Continental Automotive Systems, Inc. Tow vehicle and trailer alignment
US11198340B2 (en) * 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
US10984553B2 (en) 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
JP7427614B2 (ja) * 2018-06-29 2024-02-05 ズークス インコーポレイテッド センサ較正
US10733761B2 (en) 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US11288842B2 (en) 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
CN110069593B (zh) * 2019-04-24 2021-11-12 百度在线网络技术（北京）有限公司 图像处理方法及系统、服务器、计算机可读介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177737B2 (en) * 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
JP4160572B2 (ja) * 2005-03-31 2008-10-01 株式会社東芝 画像処理装置及び画像処理方法
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
JP4748082B2 (ja) 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
CN101419055B (zh) * 2008-10-30 2010-08-25 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN101581569B (zh) * 2009-06-17 2011-01-12 北京信息科技大学 双目视觉传感系统结构参数的标定方法
CN101865656B (zh) * 2010-06-18 2011-12-14 浙江大学 一种使用少数共面点精确定位多摄像头系统位姿的方法
EP2619742B1 (en) * 2010-09-24 2018-02-28 iRobot Corporation Systems and methods for vslam optimization
CN102012706B (zh) * 2010-10-01 2015-06-24 苏州佳世达电通有限公司 能自动定位移动的电子装置及让其移动件自动归位的方法
WO2013029675A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
CN202956117U (zh) * 2012-12-04 2013-05-29 金宝电子（中国）有限公司 定位检测系统以及装置
CN103150728A (zh) * 2013-03-04 2013-06-12 北京邮电大学 一种动态环境中的视觉定位方法
ES2613138T3 (es) 2013-08-23 2017-05-22 Lg Electronics Inc. Robot limpiador y método para controlar el mismo
TWM477595U (zh) * 2013-11-18 2014-05-01 Weistech Technology Co Ltd 具有路線記憶功能之移動裝置
JP6266331B2 (ja) * 2013-12-13 2018-01-24 東芝ライフスタイル株式会社 走行体装置
CN103994755B (zh) * 2014-05-29 2016-03-30 清华大学深圳研究生院 一种基于模型的空间非合作目标位姿测量方法
JP6412819B2 (ja) * 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム
JP2017027417A (ja) 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP6705636B2 (ja) * 2015-10-14 2020-06-03 東芝ライフスタイル株式会社 電気掃除機

Also Published As

Publication number Publication date
EP3171334B1 (en) 2018-09-19
US10375376B2 (en) 2019-08-06
JP2017090416A (ja) 2017-05-25
TWI617277B (zh) 2018-03-11
MY179154A (en) 2020-10-29
TW201720357A (zh) 2017-06-16
US20170140540A1 (en) 2017-05-18
JP6659317B2 (ja) 2020-03-04
CN107067436B (zh) 2021-01-05
CN107067436A (zh) 2017-08-18
KR20170057840A (ko) 2017-05-25
EP3171334A1 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
KR101950558B1 (ko) 자세 추정 장치 및 진공 청소기 시스템
US10427304B2 (en) Robotic charger alignment
CN110522359B (zh) 清洁机器人以及清洁机器人的控制方法
CN110091326B (zh) 移动机器人以及移动机器人的控制方法
CN107907131B (zh) 定位系统、方法及所适用的机器人
US8446492B2 (en) Image capturing device, method of searching for occlusion region, and program
KR102457222B1 (ko) 이동 로봇 및 그 제어 방법
JP2018529175A (ja) 多方向カメラを使用した空間のマッピング
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
CN106813672B (zh) 移动机器人的导航方法及移动机器人
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN111220148A (zh) 移动机器人的定位方法、系统、装置及移动机器人
WO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
CN107229274B (zh) 位置指示方法、终端装置、自行式装置以及程序
TW202115366A (zh) 機率性多機器人slam的系統及方法
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP2017027417A (ja) 画像処理装置及び電気掃除器
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
JP2018155664A (ja) 撮像システム、撮像制御方法、画像処理装置および画像処理プログラム
CN116222543A (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
KR101965739B1 (ko) 이동 로봇 및 이의 제어 방법
CN113701750A (zh) 一种井下多传感器的融合定位系统
US20220291686A1 (en) Self-location estimation device, autonomous mobile body, self-location estimation method, and program
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
JP7327596B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant