TWI617277B - 姿勢估計裝置及吸塵器系統 - Google Patents

姿勢估計裝置及吸塵器系統 Download PDF

Info

Publication number
TWI617277B
TWI617277B TW105137410A TW105137410A TWI617277B TW I617277 B TWI617277 B TW I617277B TW 105137410 A TW105137410 A TW 105137410A TW 105137410 A TW105137410 A TW 105137410A TW I617277 B TWI617277 B TW I617277B
Authority
TW
Taiwan
Prior art keywords
imager
moment
image
reference image
posture
Prior art date
Application number
TW105137410A
Other languages
English (en)
Other versions
TW201720357A (zh
Inventor
山本琢麿
三島直
Original Assignee
東芝股份有限公司
東芝生活電器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝股份有限公司, 東芝生活電器股份有限公司 filed Critical 東芝股份有限公司
Publication of TW201720357A publication Critical patent/TW201720357A/zh
Application granted granted Critical
Publication of TWI617277B publication Critical patent/TWI617277B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

根據一實施例，一種姿勢估計裝置包含第一成像器及第二成像器，以及一估計器。該第一成像器產生分別在第一時刻及第二時刻擷取之第一標準影像及第二標準影像。該第二成像器產生分別與該第一時刻及該第二時刻相關聯之第一參考影像及第二參考影像。該估計器基於該第一標準影像及該第二標準影像以及該第一參考影像及該第二參考影像來估計：(a)該第一成像器在該第一時刻之一姿勢，其中該第一成像器在該第二時刻之一姿勢被視為一標準；及(b)擷取該第一參考影像之該第二成像器自該第二成像器在該第一時刻之一經估計位置之一位置移位。

Description

姿勢估計裝置及吸塵器系統
本文中所闡述之實施例大體而言係關於姿勢估計。
在電腦視覺及機器人科學領域中，利用基於由相機擷取之影像估計相機姿勢之技術。該技術適用於(舉例而言)一自主行動機器人之定位、一導航系統、一AR(擴增實境)技術。
更具體而言，已將SLAM(Simultaneous Localization and Mapping，同時定位及建圖)及SfM(Structure from Motion，運動中獲取空間結構)作為用於同時估計相機姿勢及待拍攝之周遭物件之三維結構的一技術進行了研究。
一單眼相機或一立體相機可用於姿勢估計。特定而言，若使用立體相機來執行SLAM，則可估計立體相機之周圍事物之三維結構之絕對標度。
在使用立體相機之SLAM中，基於在一特定時點(t)(certain point of time)擷取之立體影像而復原一特徵點之三維點，且以以下一方式估計立體相機在另一時點(t+1)之姿勢，即：將在其中將該三維點在時點(t+1)透射於立體相機中之情形中之再投影誤差最小化。
10‧‧‧姿勢估計裝置
11‧‧‧吸塵器
12‧‧‧充電器
14‧‧‧家庭閘道器
15‧‧‧網路
16‧‧‧伺服器
17‧‧‧智慧型電話
18‧‧‧PC
20‧‧‧外殼
20a‧‧‧側表面部分
20b‧‧‧實質上圓形頂部表面部分
20c‧‧‧底部表面部分
21‧‧‧行進單元
22‧‧‧清潔單元
23‧‧‧通信單元
25‧‧‧成像單元
26‧‧‧感測器單元
27‧‧‧控制單元
28‧‧‧二次電池
31‧‧‧抽吸端口
32‧‧‧排氣端口
34‧‧‧驅動輪
35‧‧‧馬達
36‧‧‧回轉輪
41‧‧‧電動鼓風機
42‧‧‧旋轉刷
43‧‧‧刷式馬達
44‧‧‧側刷
45‧‧‧側刷式馬達
46‧‧‧集塵部分
47‧‧‧無線LAN器件
51-L‧‧‧左側相機
51-R‧‧‧右側相機
55‧‧‧旋轉感測器
60‧‧‧電腦
61‧‧‧記憶體
62‧‧‧姿勢估計器
66‧‧‧行進控制器
67‧‧‧清潔控制器
68‧‧‧成像控制器
70‧‧‧地圖生成器
71‧‧‧充電端子
101‧‧‧第一成像器
102‧‧‧第二成像器
103‧‧‧估計器
110‧‧‧標準影像
111‧‧‧參考影像
112‧‧‧經估計資料
601‧‧‧中央處理單元
602‧‧‧輸入器件
603‧‧‧顯示器件
604‧‧‧通信器件
605‧‧‧儲存器件
606‧‧‧匯流排
FR‧‧‧前後方向
L‧‧‧中心線
RR‧‧‧前後方向
Pi‧‧‧經復原三維點
R‧‧‧旋轉矩陣/參數
R1‧‧‧旋轉矩陣/參數
R2‧‧‧旋轉矩陣/參數
t‧‧‧特定時刻/時刻/第二時刻/三維平移向量/參數/平移向量
t+△t‧‧‧時刻
t+△t+δ2‧‧‧時刻
t+δ1‧‧‧時刻
‧‧‧再投影點之位置
‧‧‧再投影點之位置
δ1‧‧‧延遲時間
δ2‧‧‧延遲時間
圖1係圖解說明根據第一實施例之一姿勢估計裝置之一實例之一方塊圖。
圖2係圖解說明由圖1中所繪示之姿勢估計裝置執行之一操作之一實例之一流程圖。
圖3係圖解說明成像時序之一實例之一時序圖，其中一第一成像器擷取一影像之第一時期及一第二成像器擷取一影像之第二時期彼此同步。
圖4係圖解說明其中第一成像器之第一時期與第二成像器之第二時期不同步之成像時序之一實例之一時序圖。
圖5係圖解說明由圖1中所繪示之姿勢估計裝置執行之估計程序之一解釋圖。
圖6係圖解說明圖1中所繪示之姿勢估計裝置之硬體結構之一實例之方塊圖。
圖7係圖解說明根據第二實施例之一吸塵器之一實例之一方塊圖。
圖8係第二實施例之吸塵器之實例之一透視圖。
圖9係第二實施例之吸塵器之實例之一仰視圖。
圖10係圖解說明包含第二實施例之吸塵器之一網路之一實例之一圖式。
相關申請案之交叉參考
本申請案基於並主張2015年11月17日提出申請之日本專利申請案第2015-225013號之優先權權益；該日本專利申請案之全部內容以引用的方 式併入本文中。
姿勢估計之準確度取決於一個三維點之復原及該點之再投影之準確度。若兩個相機之成像時序不同步，則立體相機可在該等相機中之一者擷取一影像之後且在另一相機擷取一影像之前移動。在此情形中，另一相機可在偏離理想成像位置之一位置處擷取影像。因此，若使用成像時間不同步之立體相機，則難以執行一個三維點之準確復原及該點之再投影。換言之，姿勢估計以立體相機之成像時序之間的同步為前提。
然而，配備有一同步電路以用於使成像時序同步之一專用立體相機係昂貴的。在該情況下，需要用於使用配備有兩個通用相機(其相對便宜)之一立體相機高度準確地估計一姿勢之一技術。
現在將參考附圖給出實施例之一說明。
根據一實施例，一姿勢估計裝置包含一第一成像器，一第二成像器及一估計器。該第一成像器產生在一第一時刻擷取之一第一標準影像及在一第二時刻擷取之一第二標準影像。該第二成像器產生與第一時刻相關聯之一第一參考影像及與第二時刻相關聯之一第二參考影像。該估計器基於第一標準影像、第二標準影像、第一參考影像及第二參考影像而估計：(a)第一成像器在第一時刻之一姿勢，其中該第一成像器在第二時刻之一姿勢被視為一標準；及(b)擷取了第一參考影像之第二成像器之位置相對於第二成像器在第一時刻之一經估計位置的一位置移位。
在後文中，與先前所闡述之元件相同或類似之該等元件指派有相同或類似元件符號或符號，且原則上將省略冗餘說明。
(第一實施例)
如圖1中所展示，第一實施例之一姿勢估計裝置10包含一第一成像器 101、一第二成像器102及一估計器103。出於說明性目的，假定根據第一成像器101之成像時序執行姿勢估計處理(稍後將詳細闡述)，且第一成像器101及第二成像器102將在適當情況下分別稱為一標準相機及一參考相機。
第一成像器101藉由成像產生一標準影像。第一成像器101執行若干次成像。第一成像器101在一第一時期中重複地執行成像。第一成像器101向估計器103提供複數個標準影像110。
第一成像器101可由配備有(i)包含複數個透鏡之一光學系統及(ii)由一CMOS(互補金屬氧化物半導體)、一CCD(電荷耦合器件)或類似器件製作之一影像感測器的一數位相機實現。由第一成像器101成像之第一成像區係第一成像器101之外部世界之一部分。可由第一成像器101成像之範圍取決於第一成像器101之視角及影像感測器之大小而判定。在第一成像器101由一普通數位相機實現之情況下，第一時期大約係30fps(圖框/秒)或60fps。
第二成像器102藉由對與第一成像區域部分重疊之一第二成像區域進行成像而產生一參考影像111。第二成像器102執行若干次成像。第二成像器102在一第二時期中重複地執行成像。第二成像器102向估計器103提供複數個參考影像111。可相對於充當標準相機之第一成像器101之姿勢獲得第二成像器102之姿勢。第二成像器102相對於第一影像之姿勢的姿勢可儲存於估計器103(稍後闡述)或一儲存裝置(未展示)中。
如同第一成像器101，第二成像器102可由一數位相機實現。第二成像器102之內部參數(例如，一透鏡之解析度及焦距)可與第一成像器101之內部參數相同或不同。在下文所陳述之說明中，假定第一成像器101之內 部參數與第二成像器102之內部參數相同。第二時期可與第一時期同步，或兩者之間可不同步。亦即，姿勢估計裝置10不必採用一同步電路來使由第一成像器101進行之成像與由第二成像器102進行之成像同步。
若第二時期與第一時期同步，則第一成像器101與第二成像器102在同一間隔處操作且以相同時序開始並結束成像，如圖3中所展示。在此情形中，可藉由執行使用一立體相機之習用SLAM高度準確地估計第一成像器101(標準相機)之姿勢，立體相機之成像時序係同步的。
若第二時期與第一時期不同步，則第一
成像器101及第二成像器102以不同時序執行成像，如圖4中所展示。具體而言，在第一成像器101在一特定時刻(certain time)(t)執行成像之情況下，第二成像器102在由第一成像器101執行成像之後經一延遲時間(δ1)的時刻(t+δ1)執行成像。同樣地，在第一成像器101在另一時刻(t+△t)執行成像之情況下，第二成像器102在由第一成像器101執行成像之後經一延遲時間(δ2)的時刻(t+△t+δ2)執行成像，延遲時間(δ1)與(δ2)可彼此相等或不同。
若第二成像器102在延遲時間(δ1或δ2)期間移動，則其中第二成像器102執行成像之位置偏離理想影像位置(亦即，應係第二成像器102之所在的時刻(t)或(t+△t)之位置。)亦即，其中第二成像器102擷取一參考影像之位置偏離應係第二成像器102之所在的時刻(t+△t)之經估計位置。第二成像器102之經估計位置可自第二成像器之一預定姿勢導出，該第二成像器之預定姿勢係相對於第一成像器101之姿勢而言的。
然而，如下文將闡述，即使由於第一成像器101與第二成像器102之間的不同步成像時序而發生上文提及之位置移位，但估計器103仍可準確 地估計第一成像器101及第二成像器102之姿勢。
估計器103自第一成像器101接收一標準影像110且自第二成像器102接收一參考影像111。估計器103基於與第一時刻(t+1)相關聯之標準影像110-1及參考影像111-1以及與第二時刻(t)相關聯之標準影像110-2及參考影像111-2而執行估計處理，第二時刻(t)在第一時刻(t+1)之前。估計器103估計第一成像器101在第一時刻(t+1)之一相對姿勢(其中第二時刻(t)之姿勢被視為一標準)。估計器103亦估計第二成像器102在多大程度上偏離其中第二成像器102擷取參考影像111-1及111-2之理想成像位置(亦即，第二成像器102所在的第一時刻(t+1)及第二時刻(t)之位置)。可同時估計第一成像器101在第一時刻(t+1)之相對姿勢及第二成像器102自其中第二成像器102擷取參考影像111-1及111-2之理想成像位置之位置移位。估計器103向外輸出表示估計結果之經估計資料。
舉例而言，姿勢估計裝置10以如圖2中所展示之一方式操作。圖2中所展示之操作在第一成像器101(標準相機)在第一時刻(t+1)擷取一標準影像110-1時開始(步驟S201)。另一方面，第二成像器102(參考相機)擷取一參考影像111-1(步驟S202)。儘管在圖2中所展示之實例中，在步驟S201之後執行步驟S202，但可以相反次序或可同時地執行該等步驟。
最後，估計器103基於分別在步驟S201及S202中擷取之標準影像110-1及參考影像111-1以及分別在步驟S201及S202中擷取之標準影像110-2及參考影像111-2而估計第一成像器101(標準相機)之姿勢(步驟S203)。
更具體而言，估計器103對標準影像110-1及參考影像111-1執行整流。藉由此整流將標準影像110-1及參考影像111-1轉換成一對立體影像， 如同由一完全平行立體相機擷取之影像。若透鏡失真消除係包含於該整流中，則可一次執行兩次轉換。可基於藉由校準判定的第一成像器101及第二成像器102之外部參數及透鏡失真參數而計算轉換參數。藉由執行整流將影像之間的搜尋範圍(在其中搜尋特徵點)限制於影像之一個水平線，且因此達成容易且簡單搜尋。另外，可簡化用於利用三角量測法復原三維點之計算。
然後，估計器103自包含在第一時刻(t+1)擷取之一對立體影像及在第二時刻(t)擷取之一對立體影像(後者影像可在最後執行步驟S203時產生)的四個影像提取特徵點，且搜尋所有對應。舉例而言，基於特徵數量執行特徵點之提取及對對應之搜尋。可使用諸如SIFT(尺度不變特徵轉換)、SURF(加速穩健特徵)、ORB(定向FAST與旋轉BRIEF)、KAZE(KAZE特徵)、AKAZE(加速KAZE)等技術來計算特徵點數量。
隨後，估計器103同時估計第一成像器101在第一時刻(t+1)之相對姿勢，及第二成像器102自其中第二成像器102擷取參考影像111-1及111-2之理想成像位置的位置移位。
舉例而言，可藉由根據第一成像器101與第二成像器102之間的位置關係使第一成像器101在第一時刻(t+1)的位置發生移位來計算其中擷取參考影像111-1的理想成像位置。舉例而言，可在校準時導出第一成像器101及第二成像器102之間的位置關係。
可將第二成像器102自理想成像位置之位置移位分解成由平移運動導致之一移位及由旋轉導致之一移位。假定第二成像器102沿垂直於連接第二成像器102之光學中心與一給定特徵點之直線之一方向平移移動。在此情形中，對應於參考影像111-1中之特徵點之一經投影點的位置移位與第 二成像器102在第一時刻(t+1)之光學中心與特徵點之間的距離成反比地減小。若第二成像器102旋轉，則對應於參考影像111-1中之一給定特徵點之經投影點的位置移位不取決於第二成像器102在第一時刻(t+1)之光學中心與特徵點之間的距離。因此，只要第二成像器102距特徵點大於一特定距離，對應於參考影像111中之特徵點之經投影點的位置移位主要取決於旋轉。因此在下文之說明中，第二成像器102自理想成像位置之移位將被視為由旋轉導致之一移位。
估計器103使用一個三維平移向量t及3列×3行之一旋轉矩陣R來表達第一成像器101在第一時刻(t+1)的相對姿勢。估計器103使用3列×3行之旋轉矩陣R1及R2來表達第二成像器102在多大程度上偏離第二時刻(t)及第一時刻(t+1)的理想位置。估計器103以將由下文所陳述之公式(1)表示之評估函數最小化之一方式來估計此等參數t、R、R1及R2的值，其中該等參數係用作變數。
在公式(1)中，wi CR及wi CL表示右側影像及左側影像(在前述轉換之後獲得之參考影像111-1及標準影像110-1)中之一第i特徵點在第一時刻(t+1)的位置。此外，及項表示經再投影點的位置，經再投影點係藉由將經復原位置(其基於右側影像及左側影像中之第i特徵點而在第二時刻(t)復原)在第一時刻(t+1)投影於第一成像器101及第二成像器102中而獲得。該等特徵點及經再投影點以齊次座標表達。舉例而言，基於時刻(t+△t)之標準位置，以二維方式或以三維方式來表達經復原位置。
公式(1)評估經再投影點之位置相對於特徵點之位置的一誤差(在後文 中該誤差將稱為一再投影誤差)，使得公式(1)可稱作一再投影誤差函數。
可使用下文陳述之公式(2)來計算經再投影點之位置。
在公式(2)中，A係3列×3行之一矩陣，其表示第一成像器101(或第二成像器102)之內部參數。如上文所闡述，假定第一成像器101之內部參數與第二成像器102之內部參數相同。在公式(2)中，tB等於[-b 0 0]，其中b係第一成像器101與第二成像器102之間的一基線，且可(舉例而言)在校準時導出。在公式(2)中，pi表示一經復原三維點且可使用下文之公式(3)導出。
在公式(3)中，tri(z，z’)係用於基於三角量測法之原則復原一個三維點之一函數。其中z=[zx zy 1]T且z’=[zx’zy’1]T，tri(z，z’)可由下文之公式(4)表示。
在公式(4)，cx係第一成像器101(或第二成像器102)之光學中心之一x座標，cy係彼光學中心之一y座標，且f係第一成像器101之一焦距。如上文所闡述，假定第一成像器101之內部參數(包含cx、cy及f)與第二成像器102之內部參數相同。cx、cy及f可在校準時導出。
圖5中示意性地圖解說明上文所闡述之各種點及一向量與一矩陣之間 的關係。為將再投影誤差最小化，估計器103可使用牛頓(Newton)方法、準牛頓方法、雷文柏格-馬括特(Levenberg-Marquardt)方法或類似方法。當搜尋特徵點之間的對應時，對應可包含一錯誤對應。因此，估計器103可使用(舉例而言)RANSAC(隨機取樣一致)使得估計處理可係穩健的。
在上文所闡述之實例中，估計器103使用三維平移向量t及旋轉矩陣R來表達第一成像器101之相對姿勢，且使用旋轉矩陣R1及R2來表達第二成像器102自理想成像位置之一移位。然而，估計器103可將第一成像器101之相對姿勢及第二成像器102自理想成像位置之移位表達為不同參數。
具體而言，若可假定第一成像器101及第二成像器102在一個二維平面上以三個自由度(一x平移分量、一y平移分量及一旋轉分量)移動，則第一成像器101之相對姿勢可使用一x平移分量tx、一y平移分量ty及一旋轉分量(角度)θ來表達。同樣地，第一成像器101之相對姿勢及第二成像器102自理想成像位置之移位可使用旋轉分量θ1及θ2來表達。因此，由上文之公式(1)表示之再投影誤差函數可以下文所陳述之公式(5)替換。
在上文之實例中，估計器103同時估計平移向量t及旋轉矩陣R、R1及R2之參數集或x平移分量tx、y平移分量ty及旋轉分量θ、θ1及θ2之參數集。然而，估計器103可已估計出第二成像器102在多大程度上偏離第二時刻(t)之理想成像位置(亦即，旋轉矩陣R1或旋轉分量θ1)。在此一情形中，估計器103可將過去經估計值用於旋轉矩陣R1或旋轉分量θ1，使得可將公式(1)或公式(5)中所展示之再投影誤差函數最小化。然而，由於再次使用旋 轉矩陣R1或旋轉分量θ1所致之誤差根據估計處理重複次數之一增長而累積。因此，較佳地同時估計所有參數以便達成高度準確之估計。
舉例而言，可採用圖6中所展示之一電腦60來實施第一實施例之姿勢估計裝置。電腦60包括一CPU(中央處理單元)601、一輸入器件602、一顯示器件603、一通信器件604及一儲存器件605。此等元件藉由一匯流排606連接在一起。
CPU 601係執行各種程式而充當電腦60之一控制器件或一計算器件之一電子電路。CPU 601(舉例而言)自輸入器件602、通信器件604或儲存器件605接收資料且執行一操作。CPU將操作結果或基於操作結果之控制信號供應至顯示器件603、通信器件604及儲存器件605。
更具體而言，除電腦60之OS(操作系統)之外，CPU 601執行一姿勢估計程式(其係使得電腦60充當第一實施例之一姿勢估計裝置之一程式且其亦可稱作一影像處理程式)。藉由執行程式，CPU 601控制透過匯流排606連接之器件。
姿勢估計程式儲存於一非暫時性、有形電腦可讀儲存媒體中。該儲存媒體可係一光碟、一磁光碟、一磁碟、一磁帶、一快閃記憶體或一半導體記憶體，但不限於此等裝置。姿勢估計程式可預先儲存於儲存器件605中，可儲存於除儲存器件605之外的一儲存媒體中，或可上傳於一網路(諸如網際網路)中。在任何情形中，將姿勢估計程式安裝於電腦60中，且CPU 601執行該姿勢估計程式。因此，電腦60充當第一實施例之姿勢估計裝置。
輸入器件602接收待供應至電腦60之輸入資訊。輸入器件602可包含充當第一成像器101及第二成像器102之數位相機。輸入器件602亦可包含 (舉例而言)一鍵盤、一滑鼠及一觸控面板。
顯示器件603顯示一靜止影像或一視訊。舉例而言，顯示器件603係一LCD(液晶顯示器)、一CRT(陰極射線管)或一PDP(電漿顯示面板)，但不限於此等裝置。顯示器件603可顯示(舉例而言)一標準影像110及一參考影像111，或可顯示包含於標準影像110及參考影像111中之特徵點。另一選擇係，顯示器件603可顯示基於姿勢估計程式之執行結果而製備之一地圖影像。此外，顯示器件603可顯示上面疊加有第一成像器101(標準相機)之當前姿勢之一地圖影像或上面疊加有第一成像器101(標準相機)之姿勢之改變追蹤之一地圖影像。
通信器件604運用一外部裝置來執行有線通信或無線通信。通信器件604係(舉例而言)一數據機、一集線器或一路由器，但不限於此等裝置。第一成像器101及第二成像器102可被提供給一外部裝置而非將其提供給電腦60。在此情形中，CPU 601基於由通信器件604接收之標準影像110及參考影像111執行姿勢估計處理。
儲存器件605儲存各種程式(例如，電腦60之OS及姿勢估計程式)、執行程式所必需之資料、由執行程式產生之資料等。
儲存器件605包含一主記憶體及一外部儲存器件。該主記憶體係一RAM，諸如一DRAM(動態隨機存取記憶體)或一SRAM(靜態隨機存取記憶體)，但不限於此等裝置。外部儲存器件係(舉例而言)一硬碟、一光碟、一快閃記憶體或一磁帶，但不限於此等裝置。
CPU 601、輸入器件602、顯示器件603、通信器件604及儲存器件605中之每一者可併入複數個器件。圖6中未展示之周邊器件(例如，一印表機及一掃描機)可連接至電腦60。
第一實施例之姿勢估計裝置可並非由一單個電腦60而是由若干個相互連接之電腦60(亦即，一電腦系統)實施。
如上文所闡述，第一實施例之姿勢估計裝置同時估計第一成像器在第一時刻(t+1)之相對姿勢(其中第二時刻用作一標準)及第二成像器自其中第二成像器102擷取第一參考影像及第二參考影像之理想成像位置之位置移位。因此，即使第一成像器之成像時序與第二成像器之成像時序彼此不同步，姿勢估計裝置仍可估計第一成像器(標準相機)之姿勢。亦即，一立體相機可採用兩個便宜通用相機來實施姿勢估計裝置。
即使第一時刻或第二時刻與第二成像器擷取第一參考影像或第二參考影像之時刻之間的時刻差未知，姿勢估計裝置仍可估計第二成像器在多大程度上偏離與第一時刻或第二時刻相關聯之理想成像位置。因此，即使用於量測時刻差之一時刻戳記不可用，仍可使用姿勢估計裝置。
另外，姿勢估計裝置未簡化自第一時刻或第二時刻至擷取第一參考影像或第二參考影像之時刻第二成像器之移動方式。舉例而言，姿勢估計裝置未假定第二成像器之運動係一勻速線性運動。即使第二成像器之運動包含一旋轉運動或一加速運動，姿勢估計裝置仍可準確地估計第二成像器在多大程度上偏離第一時刻或第二時刻之理想成像位置。
當應用本發明實施例之姿勢估計裝置時，一行動物件可獲取關於一當前位置或一目標位置之資料，且可高效地自當前位置移動至目標位置。該行動物件可配備有姿勢估計裝置；另一選擇係，該行動物件可接收自姿勢估計裝置遠端傳輸出之移動指令。
(第二實施例)
可將第一實施例之姿勢估計裝置併入一吸塵器(吸塵器系統)11中， 諸如圖7至圖9所展示之吸塵器。吸塵器11係一所謂自航機器人清潔器(亦稱為一清潔機器人)，且在自主移動時清掃一清掃目標區域(例如，一建築物之地板)。
吸塵器11可執行一系列清掃操作，其中圖10中所展示之充電器12作為一底座。亦即，吸塵器11離開充電器12，在移動時清掃地板，且返回至充電器12，吸塵器11在吸塵器12上等待下一清掃操作指令。在其中充電器12以機械及電兩種方式被連接至吸塵器11之狀態中，充電器12給併入吸塵器11中的一個二次電池28充電。
如圖7及圖10中所展示，吸塵器11可執行與用作一中繼器之一家庭閘道器14之有線通信或無線通信(例如，Wi-Fi[註冊商標]或Bluetooth[註冊商標])。可以一路由器、一存取點或類似器件來替換家庭閘道器14。家庭閘道器14係(舉例而言)藉由纜線連接而連接至一網路15(諸如，網際網路)，且可透過網路15與外部通信器件通信，該等外部器件包含一伺服器16、一智慧型電話17及一PC 18(其可係一平板類型)。亦即，吸塵器11可透過家庭閘道器14及網路15來與伺服器16、智慧型電話17、PC 18或類似裝置通信。
伺服器16係連接至網路15(一雲端伺服器)之一電腦且可儲存關於吸塵器11之各種資料(舉例而言，自吸塵器11傳輸出之影像)。伺服器16可回應於由智慧型電話17或PC 18發出之一請求而傳輸經儲存於其中之資料。
在安裝有家庭閘道器14之建築物內，智慧型電話17或PC 18可藉助家庭閘道器14來執行與吸塵器11之有線通信或無線通信。當位於建築物外時，智慧型電話17或PC 18可藉助網路15來執行與吸塵器11之有線通信或無線通信。智慧型電話17及PC 18中之每一者包含用於顯示影像之一顯示 器件。
由於上文所闡述之網路，吸塵器11之使用者可藉由操作智慧型電話17或PC 18來將操作指令發送至吸塵器11，且可藉由查看智慧型電話17或PC 18之顯示器件上展示的影像來檢查吸塵器11之清掃操作的結果(例如，關於吸塵器11移動方式之資料)。舉例而言，自伺服器16下載該等影像。
吸塵器11包含一外殼20。外殼20係由合成樹脂或類似材料製作之一實質上圓柱形殼體(一厚盤)。更具體而言，外殼20包含一實質上圓形頂部表面部分20b、一底部表面部分20c，及連接此等部分之一側表面部分20a。外殼20係中空的且含有各種組件(包含一控制單元27、一個二次電池28、一電動鼓風機41及一集塵部分46)。
在下文之說明中，實質上平行於驅動輪34(吸塵器11藉由其移動)之旋轉軸件的方向將被稱為左右方向(橫向方向)，且吸塵器11實質上垂直於橫向方向的行進方向將被稱為一前後方向(圖8及圖9中藉由FR及RR所指示)。為促進理解，圖8及圖9中繪製平行於前後方向之一中心線L。
如圖8中所展示，一成像單元25(包含一右側相機51-R及一左側相機51-L)附接至外殼20之側表面部分20a之前部。右側相機51-R及左側相機51-L經提供使得連接該兩個相機之直線實質上平行於橫向方向(亦即，驅動輪34之旋轉軸件之方向)。右側相機51-R及左側相機51-L擷取(舉例而言)一可見光範圍之一影像。由於一可見光範圍之一影像具有優於一紅外線範圍之一影像之品質，因此其可在不經受複雜影像處理之情況下在視覺上呈現給使用者。
諸如一發光二極體(LED)之一燈(未所展示)可附接於右側相機51-R及左側相機51-L周圍。該燈由控制單元27(稍後將詳細闡述)控制，使得其 在周遭亮度小於一預定值時亮起且反之則不亮。當該燈亮起時，其發射包含一可見光範圍之光且因此用作右側相機51-R及左側相機51-L之一照明器。由於該燈，甚至在陰影中(黑暗地方)及夜晚可擷取一適當影像。
右側相機51-R及左側相機51-L可係擷取一紅外線範圍之一影像之紅外線相機。在此情形中，自一燈(未展示)發射包含一紅外線範圍之光，且可穩定地擷取一適當影像而不論周遭亮度如何。若由該燈發射之光不包含一可見光範圍，則甚至當該燈在陰影中(黑暗地方)或夜晚亮起時該燈周圍之一人不會將該光視為明亮的，且可繼續一影像擷取操作。
當吸塵器11移動時，底部表面部分20c面向一清掃目標區域。如圖9中所展示，准許吸塵器11移動之驅動輪34及一回轉輪36被曝露。一抽吸端口31(用作一集塵端口)及排氣端口32在底部表面部分20c中張開。一旋轉刷42(用作將灰塵鏟至抽吸端口31中之一旋轉清潔部件)可旋轉地被提供於抽吸端口31之鄰域中。側刷44(用作鏟灰塵之輔助清潔部件)可旋轉地附接於底部表面部分20c之前部之各別側上。充電端子71被提供於底部表面部分20c之後部之各別側上。充電端子71准許含有於外殼20中之二次電池28與充電器12電接觸及機械接觸，且二次電池28可被充電。
如圖7中所展示，吸塵器11包含一行進單元21、一清潔單元22、一通信單元23、一成像單元25、一感測器單元26、一控制單元27及一個二次電池28。
二次電池28係吸塵器11之一電源，且將電力供應至行進單元21、清潔單元22、通信單元23、成像單元25、感測器單元26及控制單元27。二次電池28電連接至上文所闡述之充電端子71，且可在充電器12藉助充電端子71與二次電池28電接觸及機械接觸時進行充電。
行進單元21使吸塵器11之外殼20能夠在一清掃目標區域上方行進。具體而言，行進單元21包含一對驅動輪34、一對馬達35及一回轉輪36。
驅動輪34因自對應馬達35傳輸出之電力旋轉且使吸塵器11在清掃目標區域上方來回移動。驅動輪34之旋轉軸件實質上平行於外殼20之橫向方向，且被配置成關於外殼20之前後方向實質上對稱。驅動輪34中之每一者受對應馬達35個別地驅動。
馬達35中之每一者在一行進控制器66之控制下將電力供應至對應驅動輪34，稍後將闡述行進控制器66。回轉輪36係能夠在清掃目標區域上回轉之一受驅動輪，且被配置外殼20之前部之中心中，如圖9中所展示。
清潔單元22在清掃目標區域上清掃灰塵。具體而言，清潔單元22包含一電動鼓風機41、一旋轉刷42、一刷式馬達43、一對側刷44、一對側刷式馬達45及一集塵部分46。即使省略本文中所闡述之元件，清潔單元22仍可清潔一清掃目標區域。
電動鼓風機41含有於外殼20中且在一清潔控制器67之控制下操作，稍後將闡述清潔控制器67。電動鼓風機41自抽吸端口31抽吸灰塵及空氣，且自排氣端口32排放所抽吸之空氣。由電動鼓風機41抽吸之灰塵被導引至集塵部分46。
刷式馬達43在清潔控制器67之控制下使旋轉刷42旋轉。側刷式馬達45在清潔控制器67之控制下使側刷44旋轉。集塵部分46連接至抽吸端口31且聚集自抽吸端口31抽吸之灰塵。
通信單元23與外部裝置通信，諸如充電器12及家庭閘道器14。更具體而言，通信單元23包含一無線LAN器件47。通信單元23對應於圖6中所展示之通信器件604。
藉助家庭閘道器14及網路15，無線LAN器件47將各種資訊傳輸至外部裝置(諸如伺服器16、智慧型電話17及PC 18)且自外部裝置接收各種資訊。無線LAN器件47可含有於外殼20中。
通信單元23可包含一傳輸器及一接收器(兩者皆未展示)。舉例而言，傳輸器可係將一紅外線信號(無線電信號)傳輸至充電器12之一紅外線發光元件。舉例而言，接收器可係接收自充電器12或自一遠端控制器(未展示)傳輸之一紅外線信號(無線電信號)之一光電晶體。
成像單元25擷取吸塵器11周圍之區的一影像。如上文所提及，成像單元25包含一右側相機51-R及一左側相機51-L，且可包含一燈(未展示)。右側相機51-R及左側相機51-L分別對應於第二成像器102及第一成像器101。右側相機51-R及左側相機51-L在一成像控制器68之控制下以各自的個別時序時序擷取影像，成像控制器68稍後將加以闡述。由右側相機51-R及左側相機51-L擷取之影像可由一影像處理電路(未展示)以一預定資料格式壓縮。
感測器單元26包含(舉例而言)量測每一驅動輪34或每一馬達35之旋轉之數目的一旋轉感測器55。舉例而言，旋轉感測器55可係一光學編碼器。若需要，可省略旋轉感測器55。
控制單元27控制行進單元21、清潔單元22、通信單元23、成像單元25等。具體而言，控制單元27包含一記憶體61、一姿勢估計器62、一行進控制器66、一清除控制器67、一成像控制器68及一地圖生成器70。舉例而言，控制單元27可係一微控制器。控制單元27對應於圖6中所展示之CPU 601及儲存器件605。
圖7中所展示之功能劃分僅係一實例。舉例而言，可獨立於控制單元 27提供姿勢估計器62、行進控制器66、清潔控制器67、成像控制器68及地圖生成器70中之部分或全部，可以一期望方式組合此等器件中之兩者或多者。
記憶體61儲存用於控制及執行一操作之各種資料，諸如由右側相機51-R及左側相機51-L擷取之影像。較佳地，不論吸塵器11之電力狀態如何，記憶體61中之資料皆應存留。因此，記憶體61由一非揮發性記憶體媒體(諸如一快閃記憶體)製作。
姿勢估計器62對應於圖1中所展示之估計器103。換言之，姿勢估計器62自記憶體61讀取由右側相機51-R及左側相機51-L擷取之影像(該等影像對應於參考影像111及標準影像110)，並執行上文所闡述之估計處理。姿勢估計器62產生經估計資料，從而表示左側相機51-L(一標準相機)之姿勢。姿勢估計器62可將左側相機51-L之經估計姿勢轉換成外殼20之中心之一姿勢。此經估計資料(舉例而言)由行進控制器66用於控制自主移動(例如，移動速度及方向之判定)，或由地圖生成器70用於製備一地圖。
行進控制器66藉由控制流動通過馬達35之電流之量值及方向而使馬達35沿法向方向或相反方向旋轉。每一驅動輪34與對應馬達35之旋轉連鎖，且吸塵器11沿一期望方向移動。
清潔控制器67對電動鼓風機41、刷式馬達43及側刷式馬達45個別地執行傳導角度控制。清潔控制器67可經提供以用於電動鼓風機41、刷式馬達43及側刷式馬達45中之每一者。成像控制器68個別地控制由右側相機51-R及左側相機51-L進行之影像擷取之開始及結束。
地圖生成器70基於由姿勢估計器62產生之經估計資料產生一地圖影像。代替僅有吸塵器11之外部世界之一地圖影像，地圖生成器70可製備吸 塵器11之當前姿勢疊加於其上之一地圖影像或吸塵器11之姿勢之改變追蹤疊加於其上之一地圖影像。
廣義而言，控制單元27具有以下三種模式：一清掃模式，在該模式中吸塵器11在自主移動時清掃；一充電模式，在該模式中給二次電池28充電，其中吸塵器11與充電器12電接觸及機械接觸；及一待用模式，在該模式中吸塵器11在其連接至(舉例而言)充電器12之一狀態中等待下一清掃模式指令。在充電模式中，其中使用併入充電器12中之一充電電路(諸如一定電流電路)之一已知技術係可用的。控制單元27可使右側相機51-R及左側相機51-L中之至少一者根據自智慧型電話17、PC 18或一遠端控制器(未展示)供應之一指令擷取一預定物件之一影像。
當到一預定清掃開始時刻時或接受到自智慧型電話17、PC 18或遠端控制器(未展示)傳輸出之一清掃開始指令時，控制單元27之操作狀況自待用模式或充電模式改變至清掃模式。當清掃模式開始時，控制單元27之行進控制器66驅動每一馬達35，且吸塵器11遠離充電器12移動出一預定距離。
然後，吸塵器11在自主移動時開始清掃清掃目標區域。當吸塵器11在移動時，控制單元27之成像控制器68使右側相機51-R及左側相機51-L週期性擷取影像，藉此獲取在外殼20之前部前方之區的一立體影像(亦即，一標準影像110及一參考影像111)。所獲取立體影像儲存於記憶體61中。
控制單元27之姿勢估計器62自記憶體61讀取一立體影像並執行上文所闡述之估計處理。姿勢估計器62產生表示左側相機51-L(標準相機)之姿勢(或表示外殼20之中心之姿勢)之經估計資料112。基於經估計資料 112，控制單元27之行進控制器66控制吸塵器11之自主移動。
可藉助家庭閘道器14及網路15將儲存於記憶體61中之影像以預定時序傳輸(上傳)至伺服器16。具體而言，影像可在吸塵器11返回至充電器12時上傳，可在清掃期間以規律或不規律間隔上傳，或可回應於由一外部裝置(諸如智慧型電話或PC 18)發出之一請求而上傳。在傳輸之後，影像可自記憶體61被抹除，或儲存影像之儲存區域可用於寫入新資料。以此方式，可高效使用記憶體61之儲存容量。代替伺服器16，資料可累積於記憶體61、智慧型電話17或PC 18中。
當吸塵器11移動時，控制單元27之清潔控制器67驅動電動鼓風機41、刷式馬達43及側刷式馬達45。因此，清掃目標區域上之灰塵自抽吸端口31被抽吸並被聚集於集塵部分46中。
在針對清掃目標區域之清掃操作結束之後，控制單元27之行進控制器66使吸塵器11返回至充電器12。若第二電池28未儲存足以完成一預定清掃操作之能量，則吸塵器11可用盡二次電池28之能量。在此一情形中，吸塵器11可不能夠返回至充電器12。若二次電池28之能階低於一預定值(例如，二次電池28之電壓下降至接近一放電截止電壓)，則控制單元27之行進控制器66可使吸塵器11返回至充電器12，即使吸塵器11在清掃操作中亦如此。當充電端子71以電方式及機械方式連接至充電器12時，控制單元27自清掃模式切換至充電模式。在充電模式結束之後，控制單元27可切換至待用模式或再次切換至清掃模式。
如上文所闡述，第二實施例之吸塵器估計其姿勢(如根據第一實施例所提及)，並基於估計結果自主移動。由於吸塵器鑒於其自身姿勢及吸塵器周圍之區之地圖行進，因此可高效率地完成清掃操作。另外，吸塵器可 基於由成像時序不同步之一立體相機擷取之影像估計其自身之姿勢，因此可減小製造成本。
由一外部裝置(諸如智慧型電話17及PC 18)顯示之一影像可由控制單元27處理，使得其可由該外部裝置適當顯示。另一選擇係，影像可由安裝於外部裝置中之一專用程式(應用)處理，使得該影像可由該外部裝置適當顯示。另一選擇係，控制單元27或伺服器16可對影像執行預處理，使得外部裝置可藉由使用一通用程式(諸如一瀏覽器)來顯示該影像。亦即，影像顯示控制可由安裝於控制單元27、伺服器16或一外部裝置中之任一者中之一程式實現。
由右側相機51-R及左側相機51-L擷取之影像可由提供於吸塵器11上之一顯示器(該顯示器對應於圖6中所展示之顯示器件603)直接顯示。在此情形中，即使吸塵器11不能藉助家庭閘道器14或網路15傳輸影像，使用者亦可觀看影像。換言之，甚至在可用網路資源品質不佳之環境中亦可觀看影像，且吸塵器11之結構及控制可係簡單的。
一感測器(諸如用於感測位於右側相機51-R及左側相機51-L之視域外之一障礙之一接觸感測器)可被提供於外殼20之後部上。另外，用於感測清掃目標區域中之一步階之一步階感測器(例如，一紅外線感測器)可被提供於外殼20之底部表面部分20c上。
吸塵器(吸塵器系統)11之姿勢估計器62可被提供於含有成像單元25之外殼20之外側上。換言之，控制單元27可獨立於成像單元25及清潔單元22被提供且可藉由有線或無線與後兩者通信。
雖然已闡述特定實施例，但此等實施例僅藉助實例方式呈現，並不意欲限制本發明之範疇。實際上，本文中所闡述之新穎方法及系統可體現 為多種其他形式；此外，可在不脫離本發明之精神之情況下對本文中所闡述之方法及系統之形式做出各種省略、替代及改變。意欲使隨附發明申請專利範圍及其等效形式涵蓋如將歸屬於本發明之範疇及精神內之該等形式或修改。
10‧‧‧姿勢估計裝置
101‧‧‧第一成像器
102‧‧‧第二成像器
103‧‧‧估計器
110‧‧‧標準影像
111‧‧‧參考影像
112‧‧‧經估計資料

Claims (8)

  1. 一種姿勢估計裝置，其包括：一第一成像器，其產生在一第一時刻擷取之一第一標準影像，及在一第二時刻擷取之一第二標準影像；一第二成像器，其產生與該第一時刻相關聯之一第一參考影像，及與該第二時刻相關聯之一第二參考影像；及一估計器，其基於該第一標準影像、該第二標準影像、該第一參考影像、及該第二參考影像來估計：(a)以該第一成像器在該第二時刻之姿勢作為標準的該第一成像器在該第一時刻之姿勢；及(b)自該第二成像器在該第一時刻之估計位置到該第二成像器擷取該第一參考影像時之位置的該第二成像器之位置移位；其中該第一成像器與該第二成像器之成像時序彼此不同步。
  2. 如請求項1之裝置，其中該估計器搜尋該第一標準影像、該第二標準影像、該第一參考影像，及該第二參考影像中之對應特徵點，基於該第二標準影像及該第二參考影像來復原該等特徵點之位置，並估計：(a)以該第一成像器在該第二時刻之該姿勢作為標準的該第一成像器在該第一時刻之該姿勢；及(b)自該第二成像器在該第一時刻之該估計位置到該第二成像器擷取該第一參考影像時之位置的該第二成像器之該位置移位，使得藉由在該第一時刻將該等特徵點之經復原位置投影於該第一成像器及該第二成像器上而獲得之經再投影點與包含於該第一標準影像及該第一參考影像中之該等特徵點之間之一誤差最小化。
  3. 如請求項1之裝置，其中該估計器將自該第二成像器在該第一時刻之該估計位置到該第二成像器擷取該第一參考影像時之位置的該第二成像器之該位置移位視為由一旋轉運動導致。
  4. 如請求項1之裝置，其中該估計器估計：(a)以該第一成像器在該第二時刻之該姿勢作為標準的該第一成像器在該第一時刻之該姿勢；(b)自該第二成像器在該第一時刻之該估計位置到該第二成像器擷取該第一參考影像時之位置的該第二成像器的該位置移位；及(c)自該第二成像器在該第二時刻之估計位置到該第二成像器擷取該第二參考影像時之位置的該第二成像器之一位置移位。
  5. 如請求項1之裝置，其中該估計器估計：(a)以該第一成像器在該第二時刻之該姿勢作為標準的該第一成像器在該第一時刻之該姿勢為兩個自由度之平移分量(translation component)及一個自由度之一旋轉分量(rotation component)；及(b)自該第二成像器在該第一時刻之該估計位置到該第二成像器擷取該第一參考影像時之位置的該第二成像器之該位置移位為一個自由度之一旋轉分量。
  6. 一種吸塵器系統，其包括如請求項1之裝置。
  7. 如請求項6之系統，進一步包括准許一吸塵器行進之一驅動輪，且其中該驅動輪之一旋轉軸件實質上平行於連接該第一成像器與該第二成 像器之一直線。
  8. 一種非暫時性電腦可讀儲存媒體，其儲存一電腦程式之指令，該等指令在由一電腦執行時引起包括以下步驟之執行：控制一第一成像器，該第一成像器產生在一第一時刻擷取之一第一標準影像，及在一第二時刻擷取之一第二標準影像；控制一第二成像器，該第二成像器產生與該第一時刻相關聯之一第一參考影像，及與該第二時刻相關聯之一第二參考影像；及基於該第一標準影像、該第二標準影像、該第一參考影像、及該第二參考影像來估計：(a)以該第一成像器在該第二時刻之姿勢作為標準的該第一成像器在該第一時刻之姿勢；及(b)自該第二成像器在該第一時刻之估計位置到該第二成像器擷取該第一參考影像時之位置的該第二成像器的位置移位；其中該第一成像器與該第二成像器之成像時序彼此不同步。
TW105137410A 2015-11-17 2016-11-16 姿勢估計裝置及吸塵器系統 TWI617277B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP??2015-225013 2015-11-17
JP2015225013A JP6659317B2 (ja) 2015-11-17 2015-11-17 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム

Publications (2)

Publication Number Publication Date
TW201720357A TW201720357A (zh) 2017-06-16
TWI617277B true TWI617277B (zh) 2018-03-11

Family

ID=57286312

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105137410A TWI617277B (zh) 2015-11-17 2016-11-16 姿勢估計裝置及吸塵器系統

Country Status (7)

Country Link
US (1) US10375376B2 (zh)
EP (1) EP3171334B1 (zh)
JP (1) JP6659317B2 (zh)
KR (1) KR101950558B1 (zh)
CN (1) CN107067436B (zh)
MY (1) MY179154A (zh)
TW (1) TWI617277B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546385B2 (en) * 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
JP6831210B2 (ja) * 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
KR101938668B1 (ko) 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
CN107168343B (zh) * 2017-07-14 2020-09-15 灵动科技（北京）有限公司 一种行李箱的控制方法及行李箱
CN109254579B (zh) * 2017-07-14 2022-02-25 上海汽车集团股份有限公司 一种双目视觉相机硬件系统、三维场景重建系统及方法
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법
KR102277650B1 (ko) * 2017-07-21 2021-07-16 엘지전자 주식회사 청소기 및 그 제어방법
US10671075B1 (en) * 2017-12-15 2020-06-02 Zoox, Inc. Trajectory generation using curvature segments
JP2019148926A (ja) * 2018-02-26 2019-09-05 株式会社リコー 情報処理装置、移動体システム、撮像システム及び情報処理方法
US11175677B2 (en) 2018-05-01 2021-11-16 Continental Automotive Systems, Inc. Tow vehicle and trailer alignment
US11198340B2 (en) 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
US10984553B2 (en) 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US10733761B2 (en) 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
WO2020006378A1 (en) * 2018-06-29 2020-01-02 Zoox, Inc. Sensor calibration
US11288842B2 (en) 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
CN110069593B (zh) * 2019-04-24 2021-11-12 百度在线网络技术（北京）有限公司 图像处理方法及系统、服务器、计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060222238A1 (en) * 2005-03-31 2006-10-05 Manabu Nishiyama Image processing apparatus and image processing method
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
TWM451102U (zh) * 2012-12-04 2013-04-21 Kinpo Electronics China Co Ltd 定位檢測系統以及裝置
TWM477595U (zh) * 2013-11-18 2014-05-01 Weistech Technology Co Ltd 具有路線記憶功能之移動裝置
CN104414590A (zh) * 2013-08-23 2015-03-18 Lg电子株式会社 机器人吸尘器及其控制方法
CN102012706B (zh) * 2010-10-01 2015-06-24 苏州佳世达电通有限公司 能自动定位移动的电子装置及让其移动件自动归位的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774158B2 (en) * 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
JP4748082B2 (ja) 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
CN101419055B (zh) * 2008-10-30 2010-08-25 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN101581569B (zh) * 2009-06-17 2011-01-12 北京信息科技大学 双目视觉传感系统结构参数的标定方法
CN101865656B (zh) * 2010-06-18 2011-12-14 浙江大学 一种使用少数共面点精确定位多摄像头系统位姿的方法
AU2011305154B2 (en) * 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
EP2751777B1 (en) * 2011-08-31 2019-08-07 Apple Inc. Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
CN103150728A (zh) * 2013-03-04 2013-06-12 北京邮电大学 一种动态环境中的视觉定位方法
JP6266331B2 (ja) * 2013-12-13 2018-01-24 東芝ライフスタイル株式会社 走行体装置
CN103994755B (zh) * 2014-05-29 2016-03-30 清华大学深圳研究生院 一种基于模型的空间非合作目标位姿测量方法
JP6412819B2 (ja) * 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム
JP2017027417A (ja) 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP6705636B2 (ja) * 2015-10-14 2020-06-03 東芝ライフスタイル株式会社 電気掃除機

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060222238A1 (en) * 2005-03-31 2006-10-05 Manabu Nishiyama Image processing apparatus and image processing method
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
CN102012706B (zh) * 2010-10-01 2015-06-24 苏州佳世达电通有限公司 能自动定位移动的电子装置及让其移动件自动归位的方法
TWM451102U (zh) * 2012-12-04 2013-04-21 Kinpo Electronics China Co Ltd 定位檢測系統以及裝置
CN104414590A (zh) * 2013-08-23 2015-03-18 Lg电子株式会社 机器人吸尘器及其控制方法
TWM477595U (zh) * 2013-11-18 2014-05-01 Weistech Technology Co Ltd 具有路線記憶功能之移動裝置

Also Published As

Publication number Publication date
KR101950558B1 (ko) 2019-02-20
MY179154A (en) 2020-10-29
TW201720357A (zh) 2017-06-16
KR20170057840A (ko) 2017-05-25
CN107067436B (zh) 2021-01-05
JP6659317B2 (ja) 2020-03-04
US10375376B2 (en) 2019-08-06
EP3171334B1 (en) 2018-09-19
US20170140540A1 (en) 2017-05-18
EP3171334A1 (en) 2017-05-24
CN107067436A (zh) 2017-08-18
JP2017090416A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
TWI617277B (zh) 姿勢估計裝置及吸塵器系統
US10427304B2 (en) Robotic charger alignment
CN107907131B (zh) 定位系统、方法及所适用的机器人
JP6785860B2 (ja) 多方向カメラを使用した空間のマッピング
CN110462686B (zh) 用于从场景获得深度信息的设备和方法
KR102457222B1 (ko) 이동 로봇 및 그 제어 방법
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
CN107843251B (zh) 移动机器人的位姿估计方法
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN106813672B (zh) 移动机器人的导航方法及移动机器人
CN111220148A (zh) 移动机器人的定位方法、系统、装置及移动机器人
GB2569926A (en) Electric vacuum cleaner
CN107229274B (zh) 位置指示方法、终端装置、自行式装置以及程序
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP2016177640A (ja) 映像監視システム
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
JP2018155664A (ja) 撮像システム、撮像制御方法、画像処理装置および画像処理プログラム
Yuan et al. Fast localization and tracking using event sensors
JP7453762B2 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN210277081U (zh) 一种扫地机器人
Xu et al. PMLIO: Panoramic Tightly-Coupled Multi-LiDAR-Inertial Odometry and Mapping
US20220291686A1 (en) Self-location estimation device, autonomous mobile body, self-location estimation method, and program
CN113359839A (zh) 一种基于三维视觉的无人机感知系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees