TW201933177A

TW201933177A - 用以產生定位用參考地圖的行動機器人

Info

Publication number: TW201933177A
Application number: TW107138043A
Authority: TW
Inventors: 強納森賽爾芙緹; 大衛莫非
Original assignee: 美商惠普發展公司有限責任合夥企業
Priority date: 2017-10-31
Filing date: 2018-10-26
Publication date: 2019-08-16
Also published as: US20200300639A1; TWI684136B; US11703334B2; WO2019089018A1

Abstract

一範例機器人執行一掃描以獲得一給定區域之影像資料。該機器人對該影像資料執行影像分析，以檢出一組不想要的物體，以及產生一排除該組不想要的物體之參考地圖，其中該參考地圖係與掃描時該機器人之位置相關聯。

Description

用以產生定位用參考地圖的行動機器人

本發明大致而言係有關於用以產生定位用參考地圖的行動機器人。

在機器人學的領域中，在自由空間中具有行動力之機器人典型上由它們自己作定位，意即它們決定它們自己相對於一參考點或參考框架之位置。行動機器人通常利用參考地圖來自己作定位。

依據本發明之一可行實施態樣，係特地提出一種機器人，其包含一組影像感測器、一空間判定資源、一控制系統以及一推進機構；其中該控制系統：執行一給定區域之一掃描，以利用該組影像感測器來獲得該給定區域之影像資料；使用該空間判定資源，判定於該掃描的時間時該機器人相對於一參考點之一位置；對該影像資料執行影像分析，以檢測出由該影像資料所描繪之一組不想要的物體，該組不想要的物體為一動態物體或一預定類別之不想要的物體中之至少一者；以及產生一排除該組不想要的物體之參考地圖，該參考地圖係與於該掃描的時間時該機器人之該位置相關聯。

實例提出一機器人，其產生用於使該機器人(或另一個機器人)能執行定位之一參考地圖。該參考地圖可由該機器人執行給定區域之掃描來獲得影像資料，以及然後對該影像資料執行影像分析，以從該參考地圖檢出和排除不想要的物體，而來產生。

在某些實例中，一範例機器人包括一組影像感測器、一空間判定資源、一控制系統和一推進機構。該控制系統可操作來執行一給定區域之一掃描，以及利用該空間判定資源，判定在掃描時，該機器人相對於一參考點之一位置。該機器人可對該影像資料執行影像分析，以判定由該影像資料所描繪之一組不想要的物體，以及產生排除該組不想要的物體之一參考地圖。在此等情況中，該參考地圖係與在該掃描時該機器人的位置相關聯。如同配合實例所描述地，該參考地圖能夠扮演一資源，以使該機器人(或另一個機器人)能在該(等)機器人行經該給定區域時，隨後定位其本身。

一旦針對一給定區域產生一參考地圖，一機器人(執行定位之該機器人)能利用該參考地圖來判定其相對於一參考框架或點之位置。特定地說，該機器人可擷取(拍攝)針對一給定區域之影像資料，以及然後比較目前影像資料與一參考地圖以識別視覺界標，該等視覺界標可能形成該目前影像和該參考地圖之間的比較基礎。執行定位之該機器人然後能藉由比較由目前影像中之選擇物體所描繪的形貌和特徵以及該參考地圖中所描繪的相同物體之形貌，來判定其於該給定區域內相對於一參考框架或參考的點之位置。藉由比較，能夠形成一比較基礎之該等形貌和特徵包括針對個別物體之像素尺寸，包括兩個物體間的距離之判定所需者，以及所描繪物體之大致形狀或尺寸。藉由比較描繪於兩個影像(例如該目前影像和該參考地圖)中之一物體之相對尺寸，機器人即可能能夠依三角法來測定其在一給定區域中相對於先前已就參考地圖擷取了影像資料的一位置之自己的位置。

實例認知到，使用參考地圖之定位對於機器人來說會是在運算上耗費較大的。此外，會有充分可變性存在於機器人操作來使個別機器人誤認能被準確地依賴之靜止和長存物體時所用的方式上。

描述於本文之一或多個實例可透過使用可由一或多個處理器所執行之指令來實現。這些指令可攜載於一電腦可讀媒體上。下文配合圖式顯示或描述之機器提供處理資源和電腦可讀媒體之實例，於其上，用以實現本文描述的實例之指令能夠被攜載及/或執行。特別是，以本文所描述的實例所示出之各種機器包括(數個)處理器和用以保存資料和指令之各種形式的記憶體。電腦可讀媒體之實例包括永久記憶體儲存器裝置，諸如個人電腦或伺服器上的硬碟。電腦儲存器媒體之其他實例包括可攜式儲存器單元，諸如CD或DVD單元、快閃記憶體(例如於智慧型電話、多功能裝置或平板上所攜載者)、及磁性記憶體。電腦、終端機、網路致能裝置(例如行動裝置，諸如蜂巢式電話)皆是利用處理器、記憶體和儲存於電腦可讀媒體上的指令之機器和裝置之實例。此外，一些實例可用電腦程式或可攜載此程式的電腦可用載體媒體之形式來實現。

圖1繪示用以產生用於執行定位之一參考地圖之一範例機器人。特別是，圖1描繪一機器人100，其具有一控制系統130、一推進機構140、一組影像感測器150和一空間判定資源152。如同所描述地，控制系統130能使用影像感測器150來從一給定區域101獲得影像資料。控制系統130可實現地圖產生邏輯112，以從該給定區域之該影像資料產生一參考地圖115。在產生參考地圖115時，地圖產生邏輯112可利用語意分段來從參考地圖115檢知和排除不想要的物體。該等不想要的物體包括動態物體和靜止物體，其本質上非持續留存於它們個別的位置(例如易於被移動之物體)。於是，地圖產生邏輯112能產生該參考地圖115，以包括靜止和長存物體，而不是動態或非長存安設之物體。在一些實例中，地圖產生邏輯112能增加被描繪於一給定參考地圖115中之靜態和長存物體之數量相較於非長存或動態物體之數量的比例。在一些實作態樣中，地圖產生邏輯112能被實現來僅把符合相對於該給定區域之一靜止和長存物體的一臨界信賴度位準之那些物體納入。

除了選擇哪些物體應顯示於參考地圖115中，控制系統130亦使一座標或位置識別符與該機器人100在參考地圖115被擷取時之位置相關聯。更特定地說，控制系統130判定對於產生參考地圖115之該組感測器而言為特定之座標或其他位置識別符。多種技術可用於判定機器人100相對於一參考框架或點之位置。舉例而言，機器人100可坐落於該給定區域之中間，或與感測器可見之一標記對齊。再者，機器人100可被配備有一空間判定資源152，以使該機器人能透過自我監控判定其位置。舉例而言，機器人100可包括移動感測器(例如加速度計、陀螺儀及/或慣性質量單元(IMU))，機器人100能使用它來追蹤其本身相對於一參考點之位置。另外或替換地，空間判定資源152可對應於一里程計，當機器人100自具有一已知位置或座標(例如一給定房間之入口)之一參考點移動時，該里程計能追蹤例如推進機構140之輪轉數。控制系統130可追蹤該里程計，以及判定來自該等移動感測器之資訊，俾判定於執行取得影像資料之掃描的時間時，其本身在給定區域101內的相對位置。控制系統130然後可使於執行該掃描的時間時之機器人100的經判定位置，與從該掃描之影像資料所產生之所得參考地圖115相關聯。以此方式，藉由使影像資料能依三角法來劃分出於執行掃描之時間時，與機器人100的位置相距的距離資訊，參考地圖115可隨後被用於定位。該距離資訊然後能被轉換成相對於執行針對該參考地圖的掃描之時間時該機器人100的位置之一座標。

在一些實例中，機器人100可在一第一時刻產生參考地圖115，以及然後在隨後時刻使用參考地圖115，以定出其本身於一給定區域及/或參考框架內的位置。作為附加或替換地，一機器人可傳送參考地圖115給另一個機器人，或給一參考地圖資料庫。更進一步地，機器人可在使用該等地圖時于任意時點更新一參考地圖115。

除其他優點外，數個實例認知到，傳統方式下的定位可能耗費較大運算力且不可信賴。舉例來說，執行定位之該機器人可能會實施即時影像處理，以執行用以檢出和比較一目前視像的物體和一參考地圖的物體之複雜操作。當該目前視像之影像資料描繪多個物體移動之擁擠景象，此等操作會變得更運算密集和不可信賴。為了緩和此等場景之複雜性，機器人100可使用語意分段法來產生參考地圖115，以可靠地檢測出一個場景之動態及/或非長存物體。當此等物體被檢知，它們可從參考地圖115被排除，使得該參考地圖較不會充斥著不適合的物體，否則該等不適合的物體在隨後使用時可能會產生錯誤定位結果。

推進機構140包括一介面142、至少一馬達144和一轉向系統146。介面142將推進機構140連接至控制系統130，以使推進機構140能從控制系統130接收指令。推進機構140可從控制系統130接收關於方向和速度之指令。該等指令可用於驅動該至少一馬達144及指揮該轉向系統146。該至少一馬達144可包括用以推進該機器人之一或多個馬達。舉例來說，一馬達可驅動機器人100之全部輪子，或是每個輪子可由其自己的馬達、或是輪子與馬達之任何其他組合來驅動。轉向系統146可包括機構組件(例如軸件、連桿、液壓裝置、皮帶等)，以操縱該等輪子之一角度(例如同步驅動、關節式驅動等)，或利用多個馬達間的一速度差(例如差動式驅動等)，或其等任意組合，來根據從控制系統130所接收之指令引導機器人100。

該組影像感測器150可能包括一或多種類型的攝影機，包括三維影像感測攝影機(例如利用一距離感測器之攝影機、LiDAR (光達)、立體攝影機等)。舉例來說，該組影像感測器150可包括一雷射感測器，其以一脈衝雷射光照射一標的，以及以一感測器測量反射的脈衝。作為另一實例，該組影像感測器150可包括一攝影機感測器，其能被動地獲得二維影像資料。更進一步地，該組影像感測器150可包括一對立體攝影機，其協調操作以產生在場景中之一給定物體的一個三維繪圖。三維資訊亦可從移動來獲得(例如得自運動之結構)。

控制系統130可包括一記憶體110和一處理器120。記憶體110可為任何形式(例如RAM、DRAM等)，以及可能包括地圖產生邏輯112。地圖產生邏輯112可能包括用以在機器人100行經一區部或區域時控制機器人100之指令。地圖產生邏輯112亦可包括用以使機器人100能產生機器人100所行經之該區部或區域的地圖之指令。地圖產生邏輯112亦可包括資料(例如模型、影像、樣版等)，其在地圖建構過程期間要被控制系統130參考，以助判定由機器人100所檢測到的物體之身分，以及判定針對該等經檢出物體的每一者之一預定分類。處理器120可從記憶體110存取該地圖產生邏輯112，以控制機器人100和產生參考地圖115。此外，如圖1所示，控制系統130可與機器人100整合(例如使用硬體、韌體及/或軟體)。更一般地而言，地圖產生邏輯112可被實現為一控制系統300，例如於圖3之一實例顯示。控制系統300可配合機器人100實現或自該機器人100之遠端來實現。

圖2A至圖2C繪示針對一給定區域(例如住宅房間)產生一參考地圖115之一機器人100的範例。在圖2A中，機器人100將其本身定置於一已知位置211，以從一場景擷取影像資料。該影像資料可描繪出人202、一廢紙簍204、一複印機206和壁部208。該機器人可在追蹤其本身相對於一參考點210或參考框架的位置時，同時擷取該影像資料。

在圖2B中，機器人100使用地圖邏輯112和從區域201所擷取之影像資料，來產生參考地圖115。機器人100可排除動態物體(例如人202)和非長存物體(例如廢紙簍204)。機器人100可利用例如隨圖4A和圖4B之一實例描述之一地圖產生程序，俾識別人202和廢紙簍204為對於參考地圖115來說之不想要的物體。參考地圖115然後可描繪出複印機206之一邊界。

在圖2C中，另一機器人(或替換地，相同的機器人100)可在一不同時間使用參考地圖115，以定位其本身。機器人100可擷取區域201內的該場景之一目前視像215，以及使用參考地圖115來識別該場景中之哪個物體(例如複印機206)要為了定位的目的所使用。機器人200然後可利用參考地圖115依三角法測定該目前視像215中之該複印機之經描繪特徵，俾判定機器人200相對於產生參考地圖115的機器人100之一相對位置。

圖3繪示用以產生一參考地圖之一範例控制系統，該參考地圖與在掃描時間時該機器人的位置相關聯。如同隨一些範例所描述地，一控制系統300可被實現來使用從一機器人的感測器組所產生之感測器資料，諸如隨圖1之一範例所描述者。

在圖3中，控制系統300包括一記憶體310和一處理器320。記憶體310可能是任何形式，包括RAM、DRAM或ROM。記憶體310能例如透過軟體(例如一應用程式)之安裝來儲存指令。處理器320可從記憶體310存取指令，以控制該機器人100。根據一些範例，處理器320存取多組指令，包括：(i)用以從一給定區域的一掃描獲得影像資料之一第一組指令312；(ii)用以對該影像資料執行影像分析之一第二組指令314；以及(iii)用以產生一參考地圖之一第三組指令316，該參考地圖排除該組不想要的物體以及與在掃描的時候之該機器人的位置相關聯。

在一些實例中，控制系統300能被實現為一工作機器人之一整合組件，例如用以與此等機器人例常地執行之參考地圖建構操作搭配使用。舉例來說，當機器人行經一給定區域以建構參考地圖時，控制系統300可即時進行指令312-316。變化地，控制系統300可被實現為一遠端或分開的實體。舉例來說，控制系統300可接收感測器資料，其例如使用一無線通訊及/或網路通道從機器人100發送過來。在此等實例中，控制系統300可使用該經發送感測器資料產生該給定區域之一參考地圖，以及然後一旦參考地圖被產生或更新時，將該參考地圖傳送回該機器人。

於進一步變化型態中，控制系統300可傳送該經產生參考地圖給一不同於用來獲得該給定區域的感測器資料的機器人之不同機器人。舉例而言，該控制系統可使用一第一機器人產生針對一給定區域之一參考地圖，以及傳送該經產生參考地圖給一第二機器人，或替換地給一機器人隊群。作為另一實例，控制系統300可能被實現於機器人100亦或一遠端實體上，以從另一個機器人、或替代地從一感測裝置或總成，接收針對該給定區域之該感測器資料。

控制器系統300可同步地(例如即時)操作，以使用正從機器人的感測器組所獲得之感測器資料，建構用於定位目的之一參考地圖。變化地，該等指令312-316可部份地或整體地用一非同步方式實現。舉例來說，在控制系統與機器人100整合之範例中，機器人100可在一稍晚時間、當例如該機器人有可用之更多運算資源、或當該機器人為離線時，才執行指令312、314及/或316。類似地，在控制系統300在遠端或分開的一實例中，控制系統300可獨立於該機器人之操作來執行該等指令312-316。

圖4A繪示用以產生在掃描的時間時與機器人之位置相關聯的一參考地圖之一範例方法。如圖4A和4B中所繪示之範例方法，可使用圖1至圖3的實例所繪示的組件來實現。因此，對圖1至圖3之元件所做之引用參照，係用於闡明用以執行所描述的一步驟或子步驟之一合適元件或組件之目的。

參照圖4A之一範例，影像資料係從該給定區域之一掃描獲得(方塊410)。該影像資料可例如從一攝影機和深度(或距離)感測器、一光達攝影機、一對立體攝影機及/或其組合(統稱「影像感測器」)獲得。在一些變化中，該影像資料係即時地獲得，舉例而言，行經該給定區域之一機器人具有機上影像感測器(「感測機器人」)。在一些變化型態中，該影像資料則係在該機器人行經該給定區域之後的一些時期，才從記憶體獲得。

在一些範例中，該影像資料係由存在於獲得該影像資料之該機器人上的控制系統300予以處理。在一些變化型態中，該影像資料係藉由存在於與獲得影像資料的感測機器人作本地通訊(例如區域無線鏈路)之另一機器人上的控制系統300獲得。更進一步地，處理該影像資料之控制系統300可為與該感測機器人直接或間接通訊的一遠端網路電腦，諸如一伺服器。

一旦獲得該影像資料，即可執行影像分析以判定一組不想要的物體。影像分析可對由該組影像感測器150所擷取之二維或三維影像執行。該等不想要的物體包括動態物體及/或被辨識為屬於一預定分類之物體(方塊420)。由控制系統300所執行之該影像分析可包括物體檢測和分類，其中該物體以類型、種類或例別來分類。此外，被用來判定物體何時不想要用於一參考地圖之分類動作，可基於一永久性之判定來進行。舉例來說，若物體被認為是動態的(例如移動中)、本質上動態的、或不固定的(例如非長存地設置)，則此等物體對於該參考地圖而言即可能是不想要的。在一些範例中，物體可藉由類型(例如椅子、桌子等)來辨識，以及永久性的分類可基於與該物體類型相關聯之預定特性來進行。

于一些變化型態中，可提供該物體分類來執行影像分析，以基於類似性將物體分類為分立的類別或群組。類似物體之分群可用來界定多個分類體系之任一者，其能夠隨時間遷移而界定出多種分類及反映出該物體是固定還是不固定之一永久性特性，以及其他更具顆粒性的分類。

一些變化型態提供物體對於多種分類、類別或群組之指派要依一可能性來實現。該等物體的分類可基於一信賴度分數或值(例如介於0.0和1.0之間的值)，其能代表有關分類為正確之可能的一信賴度水準。因此，舉例來說，對於一物體被分類為固定之該物體的分類，即可反映出關於該物體是否可能在未來被移動之一信賴度值。

如同隨一些範例所描述地，一動態物體可為被檢測為在給定區域被感測時正移動者。為了識別此種物體，控制系統300可比較在多個間隔緊密的時間區間內之一經擷取場景的影像資料。若一物體在一時間區間內出現在一經擷取場景的一區域中，且在另一時間區間內出現在該經擷取場景之另一區域中，則因為該物體於該給定區域被感測時正在移動，故該物體可被識別為動態。

雖然以時間為基礎之物體檢測法可被用於檢測此種動態物體，但是一些範例亦可利用物體分類法，其中一經檢測物體係基於如一經擷取場景中所描繪之該物體的經檢出特性，來判定屬於一特定類別形式。在此等情況中，即使所檢出物體在該給定區域正進行感測時沒有移動，該經檢出物體亦可被識別為動態。舉例來說，一隻貓可能在一給定區域正被感測時持續躺臥不動一段時間，但是控制系統300仍會辨識出那隻貓是甚麼，以及將其識別為一動態物體。

以類似方式，物體分類法亦可用來識別對於地圖產生之目的而言被認為是不想要的之其他物體。此等物體可能具有本質上靜態之一特性，但不是長存地設置(例如靜態且在一段長時間期間處在相同位置)。此等不想要的物體可能包括能藉由與一動態物體接觸而容易地被移動之物體。舉例來說，一房間內的一書桌用椅子可為靜態，但可能隨時間遷移發生移動。另一方面，一張大桌子可能被假設成靜態且長存地設置於相同房間內。控制系統300可對描繪此種物體之影像資料執行分析，以識別多個實體特性(例如形狀、書寫特徵(signature feature)等)，它們即為一物體類型或類別的特性。基於經判定的物體類型或類別，控制系統300即可作判定，以識別該物體為對於地圖產生之目的而言是不想要的。

控制系統300可產生排除該組不想要的物體並與該機器人在掃描之時的位置相關聯(方塊430)的一參考地圖。針對一給定區域之該參考地圖的產生，可涵蓋一初始建圖程序或活動，以及可導致更新該給定區域的地圖之隨後活動。尤其是，一些範例認知到，地圖更新能在該機器人為了任何任務或活動感測一給定區域時、以及遭遇一未知或其他對於其位置而言為非預期的物體時為之。

在執行影像分析時，控制系統300可利用包含多種模型、實況資料及/或樣板之一資料庫，識別物體之類型、類別和子類別。該等模型、實況資料及/或樣板之資料庫亦可以隨一給定區域內該機器人之重複使用來更新。根據一些範例，為了影像分析之目的而維持之該資料庫，能以一機器人隨時間經過而於一給定區域遭遇之物體來更新。此外，當機器人為了產生一參考地圖以外之其它目的(例如清掃、吸塵、遞送包裹等)於一給定區域中運作時，機器人可利用該影像資料庫。尤其是，機器人可維持不想要的物體之一資料庫，以及當機器人行經一給定區域以及遭遇一非預期物體時，控制系統300可執行影像分析，以拿該物體來與先前已遭遇到且由機器人分類過之不想要的物體之一集合作比較。為了執行此種比較，控制系統300可執行物體分類及/或辨識(例如檢測物體之書寫特徵，以及拿書寫特徵來與於該給定區域中隨時間經過所遭遇到的其他物體的書寫特徵作比較)。若該機器人沒有把一非預期物體辨識為先前已辨識出之一物體，則機器人可依類別(例如桌子或椅子)重新分類該物體，以及基於該物體類型之判定做出關於該物體是否為不想要者之判定。因此，多個範例認知到，機器人可在該機器人被佈署的任何時間更新一給定區域之一參考地圖，以識別新遭遇的物體以及識別此種物體為不想要的(例如動態或非長存靜止)或想要的(例如長存地設置)，以供地圖產生之目的用。

此外，在一些範例中，為了參考地圖產生之目的，控制系統300可更新用來指定物體為想要或不想要者的該等模型、實況資料及樣板影像。舉例而言，若機器人重複地遭遇針對參考地圖產生被指定為不想要者的一物體，但是接著檢知該物體於一段長時間期間內在其位置上呈靜態，則控制系統300可重新指定該物體及把該物體含括於該給定區域的地圖之一更新版本中。物體之重新指定可與控制系統300將所遭遇物體重新分類為不同於一先前物體類型分類之一物體類型相一致，其中該經重新分類的物體類型係已知為靜態且長存地設置。例如，一機器人可初始地繪製一房間之地圖，以及基於一桌子的尺寸及/或其桌腳(例如小牌桌)識別該桌子為不想要者。然而，若機器人于一段長時間期間內於相同位置重複地遭遇該等桌腳，則控制系統300即可把該物體重新分類為靜態且長存地安置安置之類型(例如桌型固定物)。在此等情況中，控制系統300可更新該給定區域之參考地圖以納入該桌子。

相反地，若機器人識別一特定物體為靜態且長存地設置之類型(例如一桌子)，使得該物體被包括在地圖中，但是隨後檢知該物體為已移動，則然後控制系統300可將該物體重新分類為不想要的一類型，使得其被排除於參考地圖之外。替換地，控制系統300可指定被移位物體之物體類型為不想要者，使得若機器人遭遇類似形貌之其他物體，則那些物體也將被指定為不想要者，以及被排除於給定區域之參考地圖之外。

參照圖4B，控制系統300可對描繪一給定區域之影像資料執行物體檢測和分類，俾為了產生那個區域的參考地圖之目的識別出不想要的物體(方塊460)。在執行物體分類時，控制系統300可使用一語意分段程序或技術(方塊450)。在此種程序中，一種逐像素(pixel by pixel)分析被執行來將描繪於一影像中之一經檢知物體劃分成前景。一旦被劃分，控制系統300可識別經劃分物體之一形狀或外周圍特徵。控制系統300然後可拿該經檢知形狀或外周圍特徵來與模型和樣版之資料庫比較，以識別一符合的物體類型。

如同隨一些範例描述地，模型和樣版之資料庫可部分地基於歷史資料，根據由機器人先前擷取之影像，對應于先前已處理和指定為想要或不想要者之影像。

在一些範例中，該分類方案可把物體指定為靜態和長存地安置、不想要或動態者之一。控制系統300可藉由比較該經劃分物體與先前遭遇的物體之樣版或模型影像，來判定一新檢測物體之一分類。若一新遭遇物體被視為外觀上充分符合一先前分類過的物體，則該早先物體之分類可被指定給新遭遇物體。隨時間過去，控制系統300可基於機器人在一給定區域中感測到的東西來將物體重新分類。

在一些變化型態中，一信賴度分數係與符合的物體類型相關聯，以及當可能有多種物體類型時，該信賴度分數可用來選擇最適當的物體類型。為了參考地圖產生之目的，當一物體滿足針對經檢知物體類型之一信賴度臨界位準，則該物體可被指定為不想要者。

控制系統300亦可使不同分類的物體與不同層相關聯(方塊470)。舉例來說，當物體依永久性來分類時，不同的物體永久性分類可與不同層相關聯。更進一步地，控制系統300可啟動不同層，使得參考地圖僅描繪對應於一給定分類(例如對應的永久性分類或由使用者定義的分類之物體)之選定層。基於所判定層，控制系統300可執行物體分類及/或辨識，以拿該物體來與相同層及/或類型的其他物體作比較。

圖5繪示用以操作一機器人來產生一參考地圖之一方法。諸如隨圖5的範例所描述者之一方法，可例如使用譬如隨圖1之範例所描述之一範例機器人來實現。於是，為了例示用以執行所描述的一步驟或子步驟之合適組件之目的，將參照圖1之元件為之。

參照圖5之一範例，一機器人可操作來掃描一給定區域以取得影像資料(方塊510)。舉例來說，機器人100可使用例如以一個(或多個)二維攝影機(例如具有廣角鏡頭、魚眼鏡頭之照相機)及/或一個(或多個)三維影像感測器(例如LiDAR (光達)感測器、一對立體攝影機及/或具有距離感測器之攝影機)所提供之一組影像感測器，來獲得影像資料。

當使用一空間判定資源152來執行掃描動作時，機器人100可判定其位置(方塊520)。空間判定資源152可相當於例如用以檢測一參考點(例如視覺標記)之一感測機構。空間判定資源152之資源可例如包括一移動感測器，諸如一加速度計及/或陀螺儀。額外或替代地，空間判定資源152可能包括一里程計。舉例而言，使用對應的感測機構，機器人100可檢知其相對於參考點之初始位置。機器人100可使用用於線性距離之里程計和用以檢測側向運動和方向改變之加速度計及/或陀螺儀，而追蹤其本身於給定區域的運動。藉由追蹤其本身參照一參考點之運動，機器人100即可判定它在執行一掃描之際時的位置。

在一些範例中，機器人100對自給定區域所獲得之影像資料執行影像分析，以檢測出由該影像資料所描繪之一組不想要的物體(方塊530)。此等不想要的物體可對應於具有指出個別物體為動態或非長存地設置(例如物體可能被另一物體移動)的一永久性分類之物體。因此，該影像分析可識別出於其位置為動態、本質上非長存之物體，或是不利於定位或建圖的目的之其他不想要之物體。

機器人100產生了排除從給定區域之影像資料檢出之該組不想要的物體之一參考地圖115 (方塊540)。此參考地圖可與在掃描時之機器人100的位置相關聯。以此方式，參考地圖115能隨後被用來基於在掃描時之機器人100的位置、及描繪或以其他方式呈現於參考地圖中之物體，來定位該機器人(或另一機器人)。

在一些範例中，參考地圖係利用一同時定位和建圖(SLAM)演算法或類似的演算法而產生，此等演算法係用以對一未知環境進行繪圖(建圖)同時同步地持續追蹤一機器人在該環境中的位置。

雖然一些範例提供一機器人來執行影像分析，以檢出該組不想要的物體，但是其他範例(例如隨圖3所描述者)可採用與機器人100分開或遠端之一控制系統。同樣地，一分開或遠端的電腦可基於檢出的該組不想要的物體之排除來產生該參考地圖。

吾人考慮到的是，本文所描述之範例延伸至本文所述之個別元件及概念，而獨立於其他概念、想法或系統，以及一些範例意欲含括本申請案中任一處敘述之諸多元件的多種組合。雖然多個範例已於本文參照附圖詳細描述，但是應瞭解的是，此等概念並不侷限於那些精確的範例。因此，意圖的是，此等概念之範疇係由後附申請專利範圍及其等效範圍來定義。更進一步地，期待的是，個別地抑或作為一範例之一部分所描述之一特定特徵，可能與其他個別描述的特徵或其他範例的部分相結合，即便此等其他特徵和範例並未提到該特定特徵。因此，即使未描述到組合，不應妨礙對此等組合擁有權利。

100、200‧‧‧機器人

101‧‧‧(給定)區域

110、310‧‧‧記憶體

112‧‧‧地圖(產生)邏輯

115‧‧‧參考地圖

120、320‧‧‧處理器

130、300‧‧‧控制系統

140‧‧‧推進機構

142‧‧‧介面

144‧‧‧馬達

146‧‧‧轉向系統

150‧‧‧影像感測器

152‧‧‧空間判定資源

201‧‧‧區域

202‧‧‧人

204‧‧‧廢紙簍

206‧‧‧複印機

208‧‧‧壁部

210‧‧‧參考點、區域

211‧‧‧已知位置

215‧‧‧目前視像

312~316‧‧‧指令

410~430、450~470、510~540‧‧‧方塊

圖1繪示用以產生用於定位之一參考地圖之一範例機器人。

圖2A至圖2C繪示產生一參考地圖之一機器人的實例。

圖3繪示用以產生用於定位之一參考地圖之一範例控制系統。

圖4A繪示用以產生用於定位之一參考地圖之一範例方法。

圖4B繪示用以執行利用語意分段(semantic segmentation)之影像分析來產生一參考地圖之一範例方法，該參考地圖排除目前影像中不希望者被描繪為地圖的一部分。

圖5繪示用以操作一機器人來產生一參考地圖之一範例方法。

Claims

一種機器人，其包含：一組影像感測器；一空間判定資源；一控制系統；以及一推進機構；其中該控制系統：執行一給定區域之一掃描，以利用該組影像感測器來獲得該給定區域之影像資料；使用該空間判定資源，判定於該掃描的時間時該機器人相對於一參考點之一位置；對該影像資料執行影像分析，以檢出由該影像資料所描繪之一組不想要的物體，該組不想要的物體為一動態物體或一預定類別之不想要的物體中之至少一者；以及產生一排除該組不想要的物體之參考地圖，該參考地圖係與於該掃描的時間時該機器人之該位置相關聯。
如請求項1之機器人，其中該空間判定資源包括一移動感測器。
如請求項1之機器人，其中該空間判定資源包括一里程計。
如請求項1之機器人，其中該控制系統於操作該推進機構來使該機器人於該給定區域內移動時，重複地執行該給定區域之一掃描，該控制系統針對該等掃描的每一者判定該機器人相對於該參考點或一第二參考點中的至少一者之位置。
如請求項1之機器人，其中控制系統檢測出包括該組不想要的物體的該給定區域中之多個物體，以及為該等所檢知物體中的每一者判定一邊界區域。
如請求項1之機器人，其中該控制系統使用語意分段法(semantic segmentation)來執行影像分析。
如請求項1之機器人，其中該控制系統執行影像分析，以判定包括該組不想要的物體之多個物體。
如請求項1之機器人，其中該參考地圖係分層，以識別不同層中的不同類別之物體。
一種控制系統，其包含：用以儲存指令之一記憶體；以及至少一處理器，用以執行該等指令作下列動作：獲得一給定區域之影像資料，該影像資料係從由一機器人上提供的多個感測器對該給定區域所作的一掃描獲得；對該影像資料執行影像分析，以判定一組不想要的物體，該組不想要的物體為一動態物體或一預定類別之不想要的靜止物體中之至少一者；以及產生一排除該組不想要的物體之參考地圖，該參考地圖係與於該掃描的時間時該機器人之一位置相關聯。
如請求項9之控制系統，其中該至少一處理器執行該等指令來於該機器人在該給定區域內移動時重複地執行該給定區域之一掃描。
如請求項10之控制系統，其中該至少一處理器執行該等指令來針對該等掃描的每一者判定該機器人相對於一第一參考點或一第二參考點中至少一者之位置。
如請求項9之控制系統，其中該至少一處理器執行該等指令來檢測出包括該組不想要的物體的該給定區域中之多個物體，以及為該等所檢出物體中的每一者判定一邊界區域。
如請求項9之控制系統，其中該至少一處理器執行該等指令來使用語意分段法執行影像分析。
如請求項9之控制系統，其中該至少一處理器執行該等指令來執行影像分析，以判定包括該組不想要的物體之多個物體。
一種用以操作機器人之方法，該方法包含下列步驟：從一給定區域之一掃描獲得影像資料；對該影像資料執行影像分析，以判定一組不想要的物體，該組不想要的物體包括一動態物體或一預定類別之不想要的物體中之至少一者；以及產生一排除該組不想要的物體之參考地圖，該參考地圖係與於該掃描的時間時該機器人之一位置相關聯。