TW202248674A

TW202248674A - 自移動設備及其控制方法

Info

Publication number: TW202248674A
Application number: TW111116078A
Authority: TW
Inventors: 謝濠鍵
Original assignee: 大陸商北京石頭創新科技有限公司
Priority date: 2021-06-02
Filing date: 2022-04-27
Publication date: 2022-12-16
Also published as: TWI824503B; AU2022284086A1; WO2022252849A1; EP4349234A1; CA3221167A1; CN114617476A

Abstract

本公開涉及智能家居領域，提出了一種自移動設備及其控制方法。自移動設備及其控制方法，包括：第一圖像採集裝置、第二圖像採集裝置和控制器；所述第一圖像採集裝置包括用於發射紅外信號光的發射組件和用於接收所述紅外信號光經過目標物體的反射而形成的第一圖像的第一感測器，基於所述第一圖像，確定所述目標物體的距離信息；所述第二圖像採集裝置包括第二感測器，所述第二感測器接收可見光經過所述目標物體反射而形成的第二圖像，基於所述第二圖像確定所述目標物體的類型信息；所述控制器基於所述距離信息和所述類型信息中的至少一個，控制所述自移動設備的行為，以此提高自移動設備的運行能力，避免出現自移動設備的漏清理或者與目標物體碰撞的問題。

Description

自移動設備及其控制方法

本公開涉及智能家居技術領域，尤其涉及一種自移動設備及其控制方法。

自移動設備作為智能機器人中的一種，能憑藉一定的人工智能，自動完成地面的清理工作。

相關技術中，由於自移動設備避障策略的限制，對於清掃路線中某些情況無法準確判斷是否應該進行避障，從而會出現漏清理或者碰撞的問題。

本公開提供一種自移動設備及其控制方法，以提高自移動設備的運行能力。

根據本公開的第一個方面，提供了一種自移動設備包括：第一圖像採集裝置、第二圖像採集裝置和控制器；所述第一圖像採集裝置包括用於發射紅外信號光的發射組件和用於接收所述紅外信號光經過目標物體的反射而形成的第一圖像的第一感測器，基於所述第一圖像，確定所述目標物體的距離信息；所述第二圖像採集裝置包括第二感測器，所述第二感測器接收可見光經過所述目標物體反射而形成的第二圖像，基於所述第二圖像確定所述目標物體的類型信息；所述控制器基於所述距離信息和所述類型信息中的至少一個，控制所述自移動設備的行為。

根據本公開的第二個方面，提供了一種自移動設備的控制方法，包括：通過第一圖像採集裝置的發射組件發射紅外信號光；通過第一圖像採集裝置的第一感測器接收所述紅外信號光經過目標物體反射後形成的第一圖像；通過第二圖像採集裝置的第二感測器接收所述目標物體的可見光圖像以形成第二圖像；基於所述第一圖像，確定所述目標物體的距離信息；基於所述第二圖像，確定所述目標物體的類型信息；基於所述距離信息和所述類型信息中的至少一個，控制所述自移動設備的行為。

在本公開的一個實施例中，所述發射組件包括至少一個線鐳射器，通過所述至少一個線鐳射器發射紅外光線鐳射，通過第一感測器拍攝所述第一圖像，所述第一圖像包括所述線鐳射在所述目標物體上反射的光線信息。

在本公開的一個實施例中，所述至少一個線鐳射器包括第一線鐳射單元和第二線鐳射單元；在自移動設備的投影方向上，所述第一線鐳射單元和第二線鐳射單元發出的線鐳射的交點與所述第一感測器的連線平行於所述自移動設備的前進方向。

在本公開的一個實施例中，所述第一線鐳射和所述第二線鐳射同時發射或交替發射。

在本公開的一個實施例中，還包括：所述第一感測器用於拍攝背景圖像，所述背景圖像不包含所述第一線鐳射和所述第二線鐳射在所述目標物體上反射的光線信息。

在本公開的一個實施例中，所述第二圖像採集裝置還包括：補光燈，至少部分所述補光燈發射的可見光經過所述目標物體的反射進入所述第二感測器。

在本公開的一個實施例中，基於環境亮度，所述控制器控制所述補光燈處於開啟狀態或關閉狀態。

在本公開的一個實施例中，基於所述第一圖像，確定所述目標物體相對於所述第一圖像採集裝置的相機三維坐標信息；基於所述相機三維坐標信息，確定所述目標物體的世界三維坐標信息。

在本公開的一個實施例中，利用神經網路對所述第二圖像進行識別，以確定目標物體的類型。

在本公開的一個實施例中，基於所述類型信息，確定所述目標物體與字典數據的關係以獲得確認結果；於所述距離信息，確定所述目標物體的姿態；基於所述確認結果和/或所述目標物體的姿態，控制所述自移動設備執行相應地行進策略。

在本公開的一個實施例中，所述至少一個線鐳射器中的第一線鐳射單元發射第一線鐳射；所述第一感測器拍攝包括所述第一線鐳射在所述目標物體上反射的光線信息的第一線鐳射圖像；所述至少一個線鐳射器中的第二線鐳射單元發射第二線鐳射；所述第一感測器拍攝包括所述第二線鐳射在所述目標物體上反射的光線信息的第二線鐳射圖像。

根據本公開的第三個方面，提供了一種自移動設備的控制方法，包括：基於紅外光信號獲取目標物體的距離信息和基於可見光信號獲取目標物體的類型信息；基於所述類型信息，確定所述目標物體的類型與字典數據的關係以獲得確認結果；基於所述確認結果和所述距離信息中的至少一個，控制所述自移動設備對所述目標物體執行避障策略。

在本公開的一個實施例中，所述基於紅外光信號獲取目標物體的距離信息和基於可見光信號獲取目標物體的類型信息，包括：通過第一圖像採集裝置的發射組件發射紅外信號光；通過第一圖像採集裝置的第一感測器接收所述紅外信號光經過目標物體反射後形成的第一圖像；通過第二圖像採集裝置的第二感測器接收所述目標物體的可見光圖像以形成第二圖像；基於所述第一圖像，確定獲得目標物體與所述自移動設備圖像採集裝置之間的距離信息；基於所述第二圖像，確定所述目標物體的類型信息。

在本公開的一個實施例中，通過第二圖像採集裝置的第二感測器接收所述目標物體的可見光圖像以形成第二圖像。

在本公開的一個實施例中，所述第二圖像採集裝置還包括：補光燈，至少部分所述補光燈發射的光經過所述目標物體的反射進入所述第二感測器。

在本公開的一個實施例中，基於所述類型信息，確定所述目標物體的類型與字典數據的關係以獲得確認結果，包括：如果目標物體的類型屬於字典數據，則確定結果為屬於黑名單或白名單；如果目標物體的類型不屬於字典數據，則確定結果為不屬於黑名單或白名單。

在本公開的一個實施例中，基於所述確認結果和所述距離信息的至少一個，控制所述自移動設備對所述目標物體執行避障策略，包括：基於確定結果為屬於黑名單或不屬於白名單，控制所述自移動設備躲避所述目標物體。

在本公開的一個實施例中，所述控制所述自移動設備躲避所述目標物體，包括：當所述自移動設備與所述目標物體的距離小於或等於第一預定值時，控制所述設備減速，和/或，當所述自移動設備與所述目標物體的距離小於或等於第二預定值時，執行躲避的行走路徑，其中，第一預定值大於第二預定值。

在本公開的一個實施例中，控制所述自移動設備躲避所述目標物體，包括：基於所述距離信息，確定所述目標物體的位置信息和姿態信息；基於所述位置信息和所述姿態信息，控制所述自移動設備對所述目標物體進行躲避。

在本公開的一個實施例中，基於所述確認結果和所述距離信息的至少一個，控制所述自移動設備對所述目標物體執行避障策略，包括：如果確定結果不屬於黑名單或屬於白名單，控制所述自移動設備按照既定策略繼續前進。

在本公開的一個實施例中，控制所述自移動設備按照既定策略繼續前進，包括：基於所述自移動設備的第一感測器和第二感測器以外的其他感測器信息，繼續前進。

在本公開的一個實施例中，基於所述確認結果和所述距離信息中的至少一個，控制所述自移動設備對所述目標物體執行避障策略：如果所述確認結果中不包含所述目標物體的類型，則基於所述距離信息，控制所述自移動設備對所述目標物體執行避障策略。

在本公開的一個實施例中，基於所述距離信息，降低所述自移動設備的行進速度或降低邊刷組件速度。

根據本公開的第四個方面，提供了一種自移動設備的控制方法，包括獲取目標物體的距離信息和類型信息；基於所述類型信息，確定所述目標物體類型的確認結果；當未返回所述確認結果時，如果所述確認結果中不包含所述目標物體的類型，則基於所述距離信息，控制所述自移動設備對所述目標物體執行避障策略。

在本公開的一個實施例中，所述獲取目標物體的距離信息和類型信息，包括：通過第一圖像採集裝置的發射組件發射紅外信號光；通過第一圖像採集裝置的第一感測器接收所述紅外信號光經過目標物體反射後形成的第一圖像；通過第二圖像採集裝置的第二感測器接收所述目標物體的可見光圖像以形成第二圖像；基於所述第一圖像，確定獲得目標物體與所述自移動設備圖像採集裝置之間的距離信息；基於所述第二圖像，確定所述目標物體的類型信息。

在本公開的一個實施例中，基於所述距離信息，控制所述自移動設備對所述目標物體執行避障策略，包括：根據所述距離信息確定所述目標物體的大小與預定物體大小的比較關係；基於所述比較關係，控制所述自移動設備對所述目標物體執行避障策略。

在本公開的一個實施例中，基於所述比較關係，控制所述自移動設備對所述目標物體執行避障策略，包括：如果所述目標物體的大小大於所述預定物體大小，控制所述自移動設備在接近所述目標物體時降低行進速度。

在本公開的一個實施例中，基於所述比較關係，控制所述自移動設備對所述目標物體執行避障策略，包括：如果所述目標物體的大小不大於所述預定物體大小，控制所述自移動設備在接近所述目標物體時降低所述自移動設備的邊刷速度。

本公開的自移動設備及其控制方法通過第一圖像採集裝置和第二圖像採集裝置分別獲取第一圖像和第二圖像，並基於第一圖像和第二圖像分別確定距離信息和類型信息，從而可以根據距離信息和類型信息中的至少一個，控制自移動設備的行為，以此提高自移動設備的運行能力，避免出現自移動設備的漏清理或者與目標物體碰撞的問題。

體現本公開特徵與優點的典型實施例將在以下的說明中詳細敘述。應理解的是本公開能夠在不同的實施例上具有各種的變化，其皆不脫離本公開的範圍，且其中的說明及附圖在本質上是作說明之用，而非用以限制本公開。

在對本公開的不同示例性實施方式的下面描述中，參照附圖進行，附圖形成本公開的一部分，並且其中以示例方式顯示了可實現本公開的多個方面的不同示例性結構，系統和步驟。應理解的是，可以使用部件，結構，示例性裝置，系統和步驟的其他特定方案，並且可在不偏離本公開範圍的情況下進行結構和功能性修改。而且，雖然本說明書中可使用術語“之上”，“之間”，“之內”等來描述本公開的不同示例性特徵和元件，但是這些術語用於本文中僅出於方便，例如根據附圖中的示例的方向。本說明書中的任何內容都不應理解為需要結構的特定三維方向才落入本公開的範圍內。

在本公開實施例所提供的技術方案中，自移動設備包括機器人本體10。機器人本體10可以是具有近似圓形的形狀，也可具有其他形狀，包括但不限於前方後圓的近似D形形狀。

自移動設備還可以包括清潔系統、感知系統、控制系統、驅動系統、能源系統和人機互動系統等。各個系統相互協調配合，使自移動設備能夠自主移動以實現清潔功能。自移動設備中構成上述各系統的功能元件等可以集成地設置在自移動設備本體10內。自移動設備本體10可以包括上封蓋、底盤以及設置在上封蓋和底盤之間的中框。中框可以作為設置各種功能元件的基礎框架。上封蓋和底盤覆蓋設備主體的表面，起到保護內部零部件的作用，並且可以提升自移動設備的美觀性。

清潔系統可以包括濕式清潔部、乾式清潔部以及邊刷組件。

乾式清潔部可以為設置於自移動設備底部的掃地滾刷。在執行乾式清掃時，掃地滾刷與機器人中所設置的塵盒和風機相配合，將地面雜質通過風機產生的負壓吸入塵盒內。濕式清潔部可以位於乾式清潔部的後部，濕式清潔部通常可以是織物、海綿等具有吸水性的柔性物質。自移動設備上設置有儲液箱，通過將儲液箱中的水噴灑至濕式清潔部，實現對地面的濕式清潔。

感知系統用於自移動設備對例如地形等的外界環境以及自移動設備自身的位姿進行感知，並可以向自移動設備的控制系統提供機器的各種位置信息和運動狀態信息等。

緩衝器用於緩衝智能清潔設備在移動過程中與周圍物體產生的碰撞。緩衝器的表面設置有一層軟膠，並且緩衝器在安裝至設備主體的狀態下，其與設備主體間隔預定的距離，從而保證在產生碰撞時設備主體能夠有足夠的減速時間。

控制系統設置在設備主體內的電路主板上，可以理解，電路主板上設置有控制智能清潔設備運行的各種控制電路。控制系統包括與非暫時性記憶體、計算處理器等。計算處理器可以為中央處理單元、應用處理器等，根據鐳射測距裝置反饋的目標物體信息利用定位演算法繪製智能清潔設備所在環境中的即時地圖。並且結合緩衝器和感測裝置反饋的距離信息、速度信息綜合判斷智能清潔設備當前處於何種工作狀態，如過門檻，上地毯，位於懸崖處、上方或者下方被卡住，塵盒滿，被拿起等，還會針對不同情況給出下一步動作策略，使得智能清潔設備的工作更加符合要求，提升用戶體驗。

驅動系統可基於具有距離和角度信息的驅動命令而操縱自移動設備跨越地面行駛。驅動系統包含驅動輪模組，驅動輪模組可以同時控制左輪和右輪，為了更為精確地控制機器的運動，驅動輪模組分別包括左驅動輪模組和右驅動輪模組。左、右驅動輪模組沿著由主體界定的橫向軸設置。為了自移動設備能夠在地面上更為穩定地運動或者更強的運動能力，自移動設備可以包括一個或者多個從動輪，從動輪包括但不限於萬向輪。驅動輪模組包括行走輪和驅動馬達以及控制驅動馬達的控制電路，驅動輪模組還可以連接測量驅動電流的電路和里程計。

人機互動系統可以包括主機面板上的按鍵，按鍵供用戶進行功能選擇；還可以包括顯示螢幕和/或指示燈和/或喇叭，顯示螢幕、指示燈和喇叭向用戶展示當前機器所處狀態或者功能選擇項；還可以包括手機客戶端程式。自移動設備可以通過手機客戶端程式向用戶展示機器人所在環境的地圖，自移動設備所處的位置，以及自移動設備的狀態信息等。

能源系統用於為各系統的功能性元件工作提供電能，主要包括充電電池以及供電電路。充電電池可以為鎳氫電池和鋰電池。當充電電池內的電量低於預定的最小電量時，可以通過設置在設備主體的側方或者下方的充電電極與充電設備連接進行充電。

在公開提供的實施例中，並不限定第一圖像採集裝置20、第一線鐳射單元21和第二線鐳射單元22、補光燈32和第二圖像採集裝置30在機器人本體10的具體位置。例如可以是但不限於機器人本體10的前側、後側、左側、右側、頂部、中部以及底部等等。進一步的，可以設置在機器人本體10高度方向上的中部位置、頂部位置或底部位置。

如圖1所示，機器人本體10上設置有第一圖像採集裝置20和第二圖像採集裝置30。第一圖像採集裝置20包括第一線鐳射單元21、第二線鐳射單元22以及線鐳射相機23，第一線鐳射單元21和第二線鐳射單元22位於線鐳射相機23的兩側，並用於發出投影呈線性的鐳射。第二圖像採集裝置30包括識別相機31和補光燈32。線鐳射相機23獲取第一圖像，識別相機31獲取第二圖像。其中，線鐳射相機23為第一感測器的示例，在其他實施例中，第一感測器還可以選擇為其他能夠配合線鐳射單元、拍攝線鐳射圖像的感測器，不公開對此不做限定。同樣地，識別相機31為第二感測器的示例，在其他實施例中，第二感測器還可以選擇為其他能夠獲得可見光圖像或配合補光燈獲得可見光圖像的感測器，不公開對此亦不做限定。

接下來，結合附圖2A，2B對第一圖像採集裝置的工作原理進行說明，例如，第一線鐳射單元21和第二線鐳射單元22用於發出投影呈線性的鐳射，如第一線鐳射單元21和第二線鐳射單元22對外發射鐳射平面，鐳射平面到達目標物體後會在目標物體表面形成一條線鐳射，通過該線鐳射來探測環境圖像。圖2A所示的平面ABF和平面CDE表徵第一線鐳射單元21和第二線鐳射單元22的鐳射平面，圖2A中的線段AB和線段CD表徵線鐳射。例如，第一線鐳射單元21和第二線鐳射單元22可以為鐳射管，可以理解的是，第一線鐳射單元21和第二線鐳射單元22也可以為滿足要求的其他結構，本公開不做具體限定。可以理解的是，在第一線鐳射單元21和第二線鐳射單元22的內部包括點鐳射光源和透鏡，例如，在點鐳射光源的發射方向(如前方)設置波浪鏡，例如，波浪鏡為凹透鏡，如在鐳射管的前方設置凹透鏡，鐳射管發射特定波長的光(如紅外光)，經過波浪形的凹透鏡後，變成發散的光線，從而在垂直光路的平面上形成為一條直線。

如圖2A和圖2B所示，第一線鐳射單元21和第二線鐳射單元22分佈在線鐳射相機23的兩側，線鐳射相機23與第一線鐳射單元21和第二線鐳射單元22相互配合工作，即線鐳射相機23採集的第一圖像包括第一線鐳射單元21和第二線鐳射單元22發射出的線鐳射經目標物體反射的反射光線信息，根據第一圖像能夠測量目標物體與機器人本體10、或線鐳射相機23之間的距離，進而進行對應的避障操作。在本實施例中，如圖2A所示為線鐳射發射器的工作原理示意圖，其中，字母P表示線鐳射相機23，字母E和F表示位於線鐳射相機23兩側的第二線鐳射單元22和第一線鐳射單元21；直線PM和PN表示線鐳射相機23的水平視場的兩個邊界，即∠MPN表示線鐳射相機23的水平視場角。第一線鐳射單元21和第二線鐳射單元22對外發射鐳射平面FAB和鐳射平面ECD，鐳射平面到達目標物體後會在目標物體表面形成一條線鐳射，即圖2A中所示線段AB和線段CD。由於線鐳射發射器發射出去的線鐳射線段AB和線段CD位於線鐳射相機23的視場範圍內，使得線鐳射可幫助探測線鐳射相機23視場角內的物體的輪廓、高度和/或寬度等信息，第一攝像裝置可採集由線鐳射探測到的環境圖像。

進一步地，控制系統根據線鐳射相機23採集的第一圖像，可以計算出線鐳射相機23所在的機器人本體10到前方目標物體的距離，例如，利用三角測距法即可計算線鐳射相機23或機器人本體10與其前方目標物體的距離。例如，如圖2B所示，圖2B為圖2A所示實施例的一個視角的示意圖。其中，字母P表示線鐳射相機23，字母E和F表示位於線鐳射相機23兩側的第二線鐳射單元22和第一線鐳射單元21；A點表示線段AB在水平面內的投影，D點表示線段CD在水平面內的投影，∠MPN表示線鐳射相機23的水平視場角，O點表示第一線鐳射單元21和第二線鐳射單元22發射的線鐳射與線鐳射相機23的光軸的交點。以線鐳射發射器F為例，當第一線鐳射單元21和線鐳射相機23均固定安裝至機器人本體10後，線鐳射相機23的焦距是已知的，線鐳射發射器F的發射角是已知的，即直線FA與光軸PO之間的夾角是已知的，線段OP之間的距離是已知的；線鐳射發射器F與線鐳射相機23在水平面內的中心垂直距離是已知的，定義由線鐳射相機23採集到的由目標物體A點反射的環境圖像為A’點，由於A’點會較線鐳射相機23的光軸直線PO發生一定偏移，且該偏移量已知，根據三角形相似原理，結合上述已知條件，即可測量A與F之間的垂直距離，即能夠得到目標物體與第一線鐳射單元21之間的距離。

上述計算方法僅為示例性說明，在其他的實施方式中，可以使用相機焦距以及A點在相機成像平面上的投影進行三角形運算，本公開對此不做限定。也可以根據飛行時間法(TOF)計算線鐳射相機23或機器人本體10與其前方目標物體的距離。

可以理解的是，也可以根據第一感測器採集的由線鐳射經目標物體反射後的線段的變形特徵，來確定前方的目標物體的情況，以確定具體的功能操作，如進行避障操作或繼續清掃操作。

第二感測器用於捕獲環境圖像，第二感測器與自移動設備的控制系統相連接，控制系統能夠對第二感測器進行曝光控制，第二感測器根據控制系統的曝光指令獲取第二圖像，控制系統對第二圖像進行分析和處理，能夠識別目標物體的種類。

在本實施例中，線鐳射相機23和第一線鐳射單元21和第二線鐳射單元22配合工作，線鐳射相機23採集的圖像用於對目標物體的距離進行識別，識別相機31採集的圖像用於對目標物體的種類進行識別。因此，根據識別相機31捕獲的環境圖像能夠確定目標物體的種類，根據目標物體的種類確定機器人本體10是否需要進行避障操作，並在機器人本體10需要進行避障操作時，通過線鐳射相機23和第一線鐳射單元21和第二線鐳射單元22相互配合確定目標物體的距離，以進行對應的避障操作，在機器人本體10不需要進行避障操作時，則直接進行清掃操作，從而減少了自移動設備避障誤操作的可能性，提高自移動設備自動避障的準確率。

示例性地，第二圖像的數量為多個，如500個、1000個或滿足要求的其他數量個，如可以通過調整識別相機31的曝光頻率確定第二圖像的數量。

在一些實施例中，線鐳射相機23為紅外光感測器，紅外光相機的前方設置有紅外線濾光片，只允許紅外光通過，例如，僅允許808nm波長的光通過，與線鐳射相機23配合工作的第一線鐳射單元21和第二線鐳射單元22為紅外光鐳射管，發射的是紅外光鐳射。識別相機31為RGB相機，RGB相機的前方設置有可見光濾光片，只允許可見光通過。可以理解的是，線鐳射相機23和識別相機31也可以為滿足要求的其他結構，本公開不做具體限定。

在一些實施例中，一方面，線鐳射相機23和識別相機31沿水平方向並列設置，即第一攝像裝置和識別相機31左右分佈，如線鐳射相機23位於識別相機31的左側，或線鐳射相機23位於識別相機31的右側。可以理解的是，此種情況下，第一線鐳射單元21和第二線鐳射單元22分佈在線鐳射相機23和識別相機31的兩側，即線鐳射相機23和識別相機31位於兩側的第一線鐳射單元21和第二線鐳射單元22之間。

另一方面，線鐳射相機23和識別相機31沿豎直方向並列設置，即第一攝像裝置和識別相機31上下分佈，如線鐳射相機23位於識別相機31的上方，或線鐳射相機23位於識別相機31的下方。可以理解的是，此種情況下，第一線鐳射單元21和第二線鐳射單元22分佈在線鐳射相機23和識別相機31的兩側，即線鐳射相機23和識別相機31位於兩側的第一線鐳射單元21和第二線鐳射單元22之間。

示例性地，在自移動設備的投影方向上(例如，俯視方向)，第一線鐳射單元21和第二線鐳射單元22發出的線鐳射的交點O與所述第一感測器P的連線OP平行於所述自移動設備的前進方向，因此，線鐳射相機23作為第一感測器可以始終朝前方設置，無需對第一感測器進行左右調節，就可以保證在最大範圍內對第一線鐳射單元21和/或第二線鐳射單元22的光線進行檢測，從而增加自移動設備探測目標物體的可靠性。

在一些實施例中，自移動設備還包括補光燈32，當識別相機31執行拍攝動作時，就利用補光燈32進行補光，以滿足識別相機31的拍攝需求，確保識別相機31能夠清晰、準確捕獲環境圖像，提高對目標物體識別的準確性。

在一些實施例中，自移動設備還可以同時包括補光燈32和環境光感測器，環境光感測器用於檢測環境光線的亮度，使得在環境光線較弱不能滿足識別相機31清晰、準確捕獲環境圖像的情況下，即當前的環境光線不滿足識別相機31的曝光操作的情況下，利用補光燈32進行補光，以滿足識別相機31的拍攝需求，確保識別相機31能夠清晰、準確捕獲環境圖像，提高對目標物體識別的準確性。

進一步地，自移動設備的控制系統與補光燈32和環境光感測器相連接，並根據環境光感測器的檢測信號控制補光燈32的工作狀態，以對識別相機31的曝光操作進行補光。例如，當環境光感測器檢測到環境光線較暗、環境光線不足，無法滿足識別相機31的曝光操作要求，或者在該環境光線情況下，通過識別相機31拍攝的第二圖像無法準確、清晰地確認目標物體的種類時，例如，自移動設備在清潔地面的過程，進入床底部等比較昏暗的環境中，環境光感測器發送信號至控制系統，控制系統根據接收到的信號控制補光燈32工作，增加光照，以使補光後的環境光線滿足識別相機31的拍攝需求，根據識別相機31拍攝的較為清晰的第二圖像能夠準確、快速地確認目標物體的種類。可以理解的是，當環境光感測器檢測到環境光線較亮滿足識別相機31的曝光操作的要求時，環境光感測器發送信號至控制系統，控制系統根據接收到的信號控制補光燈32停止工作，有利於節約能源。

在其他實施例中，不用額外設置環境光感測器也可以實現對環境光的亮度檢測，例如，可以根據拍攝到的第二圖像來得到環境亮度，在這種情況下，不需要額外設置環境亮度感測器，僅根據圖像所提供的信息就可以獲得環境亮度的情況，並基於所述環境亮度，來控制補光燈的狀態。

示例性地，根據第二圖像對目標物體進行識別。對於補光燈32拍出的目標物體圖像，可以通過訓練的機器學習模型等神經網路比較目標物體圖像的特徵向量和字典數據中圖像的特徵向量，以得到二者之間的相似度。

在一些實施例中，採集第一圖像時線鐳射發射器(第一線鐳射單元21和第二線鐳射單元22中的至少之一)發出第一預設波長的鐳射。採集第二圖像時補光燈32發出第二預設波長的光。第一預設波長和第二預設波長可以相等也可以不相等。

在一些實施例中，第一線鐳射和第二線鐳射交替發射。其中，由於第一線鐳射單元21和第二線鐳射單元22的時間錯開，交替開啟時發射的第一線鐳射和第二線鐳射不會重疊。例如，按照時序交替打開第一線鐳射單元21和第二線鐳射單元22。

在一些實施例中，獲取由線鐳射相機23採集獲得的背景圖像，採集背景圖像時停止發射第一預定波長的鐳射；將第一圖像與背景圖像中每一個相同位置的像素點做差，獲得修正鐳射圖像；根據第一圖像採集裝置20在多個時間點採集的第一圖像，進一步獲得修正鐳射圖像，並結合採集時自移動設備的位置獲得點雲；其中，根據每一個修正鐳射圖像，並結合採集時移動體的位置獲得目標物體與第一圖像採集裝置20之間的距離。背景圖像的採集能夠用於去掉背景雜訊，進一步降低燈光和強光的影響。

自移動設備還包括：圖像獲取模組、測距模組、目標識別模組以及控制模組。圖像獲取模組用於獲取第一圖像採集裝置20和第二圖像採集裝置30獲得的第一圖像、第二圖像以及背景圖像；測距模組用於根據第一圖像獲得目標物體與圖像採集裝置之間的距離信息；目標識別模組用於根據第二圖像識別目標物體；控制模組用於根據接收到的目標識別模組的識別結果，並控制自移動設備動作。其中，控制模組屬於控制系統的一部分。

識別結果包括確定了目標物體的類型信息，或者，無法確定目標物體的類型信息。

在一些實施例中，控制模組在判斷類型信息與預設類型信息相一致時，自移動設備對目標物體進行避障。

在一些實施例中，控制模組在判斷類型信息與預設類型信息相一致時，自移動設備不對目標物體進行避障。

在一些實施例中，控制模組無法確定目標物體的類型信息，且判斷尺寸信息大於預設尺寸信息時，自移動設備對目標物體進行避障。

在一些實施例中，控制模組無法確定目標物體的類型信息，且判斷尺寸信息小於預設尺寸信息時，自移動設備不對目標物體進行避障。

下面結合圖3、圖4A-4D和圖5對自移動設備的避障策略進行詳細說明，參照附圖3，在步驟S301處，自移動設備利用第一圖像採集裝置基於紅外光獲取到目標物體的點雲，在步驟S302處，利用第二圖像採集裝置基於可見光對目標物體的類型信息進行識別，可以對目標物體的類型與字典數據進行比較，得到確認結果，在步驟S3031處，當目標物體類型與字典數據中一致且字典數據中為“黑名單”時，則執行S305，自移動設備採用躲避的避障策略(避障過程中結合點雲數據，例如得到障礙物的角度、形態，進行精確避障，可以結合下面的實施例進行說明)，在步驟S3032處，當目標物體類型與字典數據中一致且字典數據中為“白名單”時，則執行S306自移動設備按既定避障策略行進。

在步驟S302處，當可見光識別沒有得到確定結果，無法識別出目標物體類型(即目標物體為泛物體)時，在步驟S304處，如果識別出來的目標物體比較大，則執行S307，可以控制自移動設備執行躲避的避障策略，例如，在即將碰到該目標物體時降低行進速度，以免碰撞到目標物體；在步驟S304處，如果識別出來的目標物體比較小，則執行S308，可以控制自移動設備執行行進策略，例如，在即將碰到該障礙物時降低邊刷轉速，以防打飛目標物體。

本公開的一個實施例提供了一種自移動設備的控制方法，請參考圖4A，包括：

S401，通過第一圖像採集裝置的發射組件發射紅外信號光；

S402，通過第一圖像採集裝置的第一感測器接收所述紅外信號光經過目標物體反射後形成的第一圖像；

S403，通過第二圖像採集裝置的第二感測器接收所述目標物體的可見光圖像以形成第二圖像；

S404，基於第一圖像，確定目標物體的距離信息；

S405，基於第二圖像，確定目標物體的類型信息；

S406，基於距離信息和類型信息中的至少一個，控制自移動設備的行為。

本公開一個實施例的自移動設備的控制方法通過第一圖像採集裝置20接收紅外信號光形成第一圖像，並通過第二圖像採集裝置30接收可見光以形成第二圖像，基於第一圖像和第二圖像分別確定距離信息和類型信息，從而可以根據距離信息和類型信息中的至少一個，控制自移動設備的行為，以此提高自移動設備的運行能力，避免出現自移動設備的漏清理或者與目標物體碰撞的問題。

需要說明的是，通過第一圖像採集裝置20和第二圖像採集裝置30分別獲取第一圖像和第二圖像，即第一圖像採集裝置20和第二圖像採集裝置30獨立拍攝，可以提升採集圖像的頻率，以此提高自移動設備的運行反應能力。

在步驟S401處，第一圖像採集裝置20的發射組件包括至少一個線鐳射器，其中，通過第一感測器拍攝所述第一圖像，所述第一圖像包括線鐳射在目標物體上反射的光線信息。線鐳射器的使用能夠提高目標物體採集的範圍，對於高度相對較高的目標物體，也能進行測量，從而能夠充分反映目標物體的全貌，以此可以獲得精確的測距數據。

例如，還可以包括兩個線鐳射器，其中，第一線鐳射單元21發射第一線鐳射；線鐳射相機23拍攝包括第一線鐳射在目標物體上反射的光線信息的第一線鐳射圖像；第二線鐳射單元22發射第二線鐳射；線鐳射相機23拍攝包括第二線鐳射在目標物體上反射的光線信息的第二線鐳射圖像。第一線鐳射單元21和第二線鐳射單元22從不同角度發出線鐳射，即線鐳射相機23從不同角度獲得目標物體的信息，充實採集數據，提升數據準確性。

在一些實施例中，如圖4B所示，第一圖像採集裝置20可以按照如下時序工作：S11，僅打開第一線鐳射單元21，線鐳射相機23採集獲得第一線鐳射圖像；S12，僅打開第二線鐳射單元22，線鐳射相機23採集獲得第二線鐳射圖像。

在一些實施例中，如圖4C所示，第一圖像採集裝置20可以按照如下時序工作：S21，首先僅打開第二線鐳射單元22，線鐳射相機23採集獲得第二線鐳射圖像；S22，僅打開第一線鐳射單元21，線鐳射相機23採集獲得第一線鐳射圖像。

圖4B，4C顯示了第一線鐳射單元21和第二線鐳射單元22交替發射的情況，在其他的實施例中，第一線鐳射單元21和第二線鐳射單元22可以同時發射，線鐳射相機23通過一次拍攝，就能夠同時獲得第一線鐳射單元21和第二線鐳射單元22在目標物體反射的光線信息。

在一個實施例中，自移動設備的控制方法，還包括：線鐳射相機23接收背景圖像，背景圖像不包含第一線鐳射和第二線鐳射在目標物體上反射的光線。例如，如圖4D所示，S33，在關閉所有線鐳射的時候，線鐳射相機23採集背景圖像。其中，背景圖像可以用和S11、S12中得到的第一線鐳射圖像和第二線鐳射圖像做運算，以去除背景雜訊。其中，背景圖像也可以用和S21、S22中得到的第二線鐳射圖像和第一線鐳射圖像做運算，以去除背景雜訊。例如，第一線鐳射圖像中的像素點與背景圖像中對應位置的像素點做差，可以獲得修正鐳射圖像，然後根據修正鐳射圖像獲得目標物體與所述攝像裝置之間的距離，可以提升測量的精確性。

在一些實施例中，S33可以在S11和S12的中間執行、在S11之前執行或在S12之後執行。類似地，S33可以在S21和S22的中間執行、在S21之前執行或在S22之後執行。

示例性地，在同時打開第一線鐳射單元21和第二線鐳射單元22並採集獲得第一線鐳射圖像之前或之後，可以保持第一線鐳射單元21或第二線鐳射單元22關閉狀態以通過採集獲得背景圖像，並將背景圖像與第一線鐳射圖像做運算，以去除背景雜訊。

在一個實施例中，第二圖像採集裝置30包括第二感測器，例如，第二感測器為至少一個識別相機31，通過至少一個識別相機31拍攝目標物體的可見光圖像以形成第二圖像，第二圖像包括目標物體上反射的可見光的光線信息。識別相機31的設置可以保證獨立獲取第二圖像，第一圖像採集裝置和第二圖像採集裝置可以同時工作，以此提升圖像採集的頻率。並且，由於可見光圖像能夠包含色彩信息，因此，能夠提供目標物體的更多細節數據，對可見光圖像形成的第二圖像進行識別能夠提升識別的效果。

在一個實施例中，自移動設備運行至光線較暗的位置，此時獲得的第二圖像質量下降，因此，在第二圖像採集裝置30中還可以設置：補光燈32，至少部分補光燈32發射的可見光經過目標物體的反射進入識別相機31。補光燈32的設置可以改善環境光線亮度，以此提升識別相機31採集第二圖像的質量，進而提升對第二圖像進行識別的效果。

在一個實施例中，基於環境亮度，控制補光燈32處於開啟狀態。針對不同的環境亮度來提供不同的補光狀態可以提升第二圖像的採集質量，以此提升識別的準確度。

在一個實施例中，可以設置環境亮度感測器來得到環境亮度的情況，通過所述環境亮度感測器獲取環境亮度，並基於所述環境亮度，來控制補光燈的狀態。

一個實施例中，基於第一圖像，確定目標物體相對於第一圖像採集裝置20的相機三維坐標信息；基於相機三維坐標信息，確定目標物體的世界三維坐標信息。

其中，相機三維坐標的原點可以為第一圖像採集裝置20的光心，世界坐標系的原點可以被設定為機器人底座或執行機構末端，執行機構可以為清潔系統。然而，關於相機三維坐標和世界三維坐標的設定，本公開並不限於此。

例如，自移動設備在坐標A，測距出這時候線鐳射照射到目標物體上的點，計算出這些點的SLAM三維坐標，自移動設備移動或者轉動後坐標為B，這時候如果線鐳射也打到這個目標物體上，也進行測距，可以算出目標物體上的另外一些點的SLAM三維坐標。通過自移動設備持續運動，可以復原目標物體的點雲。而此點雲基本可以體現目標物體的具體尺寸、形態以及位置，因此在制定避障規則時可以更加精確，且能夠保證自移動設備準確的實現避障。

可選地，可通過單目測距估算出SLAM坐標，結合上麵線鐳射的點雲信息，從而復原出目標物體的點雲，進行更精確避障，點雲數據構建了目標物體的三維模型，實際上就是獲得了更為精確的目標物體的具體尺寸、形態以及位置。

在一個實施例中，目標物體的姿態信息是指獲取障礙物的輪廓信息和所占位置。例如，在一個預設的環境空間內可以確定出一個物體的周向外輪廓，此時構建的周向外輪廓可以認為是目標物體的姿態信息，例如，目標物體為方形的垃圾箱，則在環境空間內自定義了東、西、南、北的方位後，則可以確定目標物體整體是偏向哪個方向的。

在一個實施例中，基於第二圖像，確定目標物體的類型信息，包括：利用神經網路對第二圖像進行識別，以確定目標物體的類型。

在一個實施例中，基於距離信息和類型信息中的至少一個，控制自移動設備的行為，包括：基於類型信息，確定目標物體與字典數據的關係以獲得確認結果；基於距離信息，確定目標物體的姿態；基於確認結果和/或目標物體的姿態，控制自移動設備執行行進策略。

為了詳細說明自移動設備的避障策略，繼續參考附圖3，基於自移動設備獲得的第二圖像得到了目標物體的類型信息，通過判斷類型信息與預設類型信息(即字典數據)相一致時，需要考慮預設類型信息是黑名單還是白名單，當預設類型信息為黑名單時，自移動設備對目標物體進行避障(即行進策略為進行避障的各種策略)，即當採集到的目標物體的類型信息屬於預設類型信息時，則表明自移動設備需要對目標物體進行避障，以此提高自移動設備的避障能力。

可以理解的是，預設類型信息屬於一個類型組，即其可以包括多種類型信息，示例性地，類型組中包括拖鞋、織物(襪子)、便便、數據線、底座和椅子中的至少一個。

例如，基於第二圖像的類型信息，確定目標物體與字典數據的關係後得到的確認結果是目標物體與字典數據相一致，假設識別出自移動設備前方的目標物體為數據線，此時，如果數據線位於“黑名單”中，則屬於自移動設備需要躲避的物體，那麼需要結合第一圖像採集裝置得到的目標物體的點雲數據，可以得到數據線的位置、角度和延伸方向等精確信息，當自移動設備靠近數據線時，可以精確地對其進行躲避，因此，自移動設備不會被數據線纏繞而導致無法繼續移動，同時，又對數據線周圍進行了最大範圍地清掃。

前述對數據線的躲避策略不但可以包括自移動設備躲避時的行走路徑，還可以包括在發現目標物體為數據線後，自移動設備的速度控制，例如，發現數據線後，通過讀取自移動設備與數據線的距離，當距離超出第一預定值時，可以先保持當前速度進行移動，當距離小於等於第一預定值時，控制自移動設備減速，自移動設備繼續行走直到距離小於等於第二預定值時，開始執行躲避的行走路徑。其中，自移動設備與數據線之間的距離是通過第一圖像採集裝置獲得的，具體獲得方法如前文所述，在此不再贅述。

示例性地，自移動設備躲避時的行走路徑可以包括：跟隨數據線等目標物體的精確形狀，保持自移動設備邊緣到數據線上每一點的距離為一恒定值，或者確定數據線延伸方向兩個端點的連線，並與連線保持固定距離，沿著與連線平行的方向行走等等。

前文以數據線為例描述了自移動設備的避障策略，在其他的實施方式中，例如，識別出自移動設備前方的目標物體為便便，此時，如果便便位於“黑名單”中，則屬於自移動設備需要躲避的物體，考慮到便便的特殊性，一旦沾染或碰撞，將導致自移動設備在全屋範圍內進行塗抹，極大地惡化用戶的體驗，因此，在考慮自移動設備對該目標物體的避障策略時，結合第一圖像採集裝置得到的目標物體的點雲數據，可以得到便便的位置、角度等精確信息，當自移動設備靠近便便時，可以立刻精確地對其進行躲避。

對於類似便便這種特殊的目標物體，可以選擇較大的第一預定值，以保證在避障策略中提前減速，增大第二預定值，使得自移動設備與便便之間保留充分的距離，提前進行躲避以保證自移動設備不會與該目標物體有任何接觸。

前文示例性地描述了目標物體屬於字典數據中“黑名單”時，自移動設備的避障策略，下面將繼續結合附圖3自移動設備對目標物體屬於字典數據中“白名單”的避障策略。

例如，白名單中包括：紙屑、咖啡豆、飯粒等目標物體，“白名單”中列舉了無需進行躲避的物體，那麼如果確定結果屬於所述字典數據，例如，紙屑，則控制所述自移動設備按照既定避障策略繼續前進。在一種實施例中，接下來基於所述自移動設備的距離信息和類型信息以外的其他感測器信息，例如bumper感測器以及懸崖感測器，繼續前進。這樣可保證自移動設備對目標物體的清理，從而將地面清理乾淨以防止漏清潔發生。

如果“白名單”中列舉了所有無需躲避的目標物體，那麼一旦確認結果為不屬於所述字典數據的白名單，例如，確認結果為拖鞋，然而拖鞋並不屬於“白名單”，則控制所述自移動設備躲避所述目標物體，躲避過程中需要結合目標物體的點雲數據，控制自移動設備避障的策略可以參照前文所述，在此不再贅述。

前文分別示例性地描述了目標物體屬於字典數據中“黑名單”或“白名單”時，自移動設備的避障策略。下文將繼續結合圖3以及圖5對未返回目標物體的類型信息的情況，進行描述。

在一個實施例中，基於確認結果和距離信息中的至少一個，控制自移動設備對目標物體執行避障策略：如果確認結果中不包含目標物體的類型，則基於距離信息，控制自移動設備對目標物體執行避障策略。即在無法識別出目標物體的類型時，則需要通過距離信息來確定避障策略，以此保證自移動設備面對任何類似的目標物體都可以準確及時地確定避障策略。

進一步的，避障基於距離信息，降低自移動設備的行進速度或降低邊刷組件速度，以避免與目標物體出現誤碰撞，保證自移動設備安全可靠地實現避障。

與前文描述的方法類似，控制方法包括：S501和S503，其中，

S501，獲取目標物體的距離信息和類型信息；

S503，基於類型信息，確定目標物體類型的確認結果；

當未返回確認結果時，如果確認結果中不包含目標物體的類型，則基於距離信息，控制自移動設備對目標物體執行避障策略自移動設備。

本公開一個實施例的自移動設備的控制方法通過獲取目標物體的距離信息和類型信息，當無法確定目標物體的類型時，自移動設備無法識別前方的目標物體是什麼，於是基於距離信息，控制自移動設備對目標物體執行避障策略，保證即使第二圖像採集裝置沒有識別出目標物體類型的情況也能執行避障策略從而可以提高自移動設備的避障能力。

需要說明的是，在S501處，獲得目標物體與自移動設備圖像採集裝置之間的距離信息是基於根據第一圖像進行確定的，目標物體的類型信息是基於第二圖像進行確定的，而第一圖像和第二圖像分別通過第一圖像採集裝置20和第二圖像採集裝置30進行獲取。對於第一圖像和第二圖像的獲取方法以及相關控制方法此處不作贅述，可以參見上述實施例。

在一個實施例中，在S503處，基於距離信息，控制自移動設備對目標物體執行避障策略自移動設備，包括：根據距離信息確定目標物體的大小與預定物體大小的比較關係；基於比較關係，控制自移動設備對目標物體執行避障策略。即在無法確定目標物體的類型時，則需要通過目標物體的大小確定執行避障策略。

在S503處，如果目標物體的大小大於預定物體大小，則避障策略為自移動設備對目標物體進行躲避的避障策略。如果目標物體的大小不大於預定物體大小，控制自移動設備執行謹慎避障策略，在接近目標物體時降低自移動設備的邊刷速度，防止邊刷將目標物體打飛。

示例性地，目標物體的大小可以包括目標物體的高度、長度和/或寬度。例如，可以基於高度、長度和寬度中的一個來確定避障策略。

示例性地，僅基於目標物體的高度來確定避障策略，如果目標物體的高度大於自移動設備的跨越高度，則可以確定自移動設備執行躲避的避障策略以避開目標物體。同樣地，也可以基於目標物體的長度或寬度來確定避障策略，如果目標物體的長度或者寬度較大時，則自移動設備也可以進行躲避，避免自移動設備無法進行清理，或者清理後會對自移動設備造成損傷。其中，例如，預定物體大小尺寸信息可以是一個固定值。

或者，可以基於高度、長度和寬度中的兩個來確定避障策略，例如設定長寬閾值為a*b cm，當目標物體的長度尺寸小於該閾值時，則執行不進行躲避的避障策略，當目標物體的尺寸大於改閾值時，才執行進行躲避的避障策略。

或者，綜合考慮高度、長度和寬度來確定避障策略，例如，目標物體的高度較高，且寬度和長度均較小時，為了避免自移動設備高速移動會導致目標物體傾倒，則可以降低自移動設備的移動速度，並在自移動設備移動到一定位置後，使得自移動設備進行後退運動或者拐彎移動等，以此實現避障。或者，在確定目標物體的高度相對較低，但寬度和長度均較大時，則可以使得自移動設備高速移動至與目標物體相接觸，並可以沿著目標物體的邊緣進行移動，如此可以實現最大範圍地清理。

當自移動設備執行躲避的避障策略時，根據設置在自移動設備上的圖像採集裝置在多個時間點採集的第一圖像，並結合採集時自移動設備的位置獲得目標物體的點雲；其中，根據點雲確定避障規則。

在一個實施例中，點雲的獲得過程包括：根據設置在自移動設備上的圖像採集裝置在多個時間點採集的第一圖像，並結合採集時自移動設備的位置獲得目標物體的點雲；對點雲進行聚類，獲得聚類結果；其中，根據聚類結果確定避障規則。

其中，獲得目標物體的點雲，即可以確定目標物體的各參考點的3D坐標數據。其中，參考點可泛指目標物體上能被測到距離的點，可以包括但不限於：目標物體上的邊界點、特徵點等。

示例性地，目標物體的坐標數據為3D坐標，則可將各參考點的3D坐標數據轉換為2D坐標數據。通過把3D點雲數據轉化為2D坐標數據，可以有效的降低數據處理量，提升數據處理效率。對各參考點的2D坐標數據進行聚類，將與相鄰參考點的坐標數據距離小於第一預設值的所有點作為一個區域；分別判斷每個區域的尺寸；如尺寸大於等於第二預設值，則確認在有效分析範圍內存在目標物體，自移動設備需要制定相應的避障策略，以避開相應的目標物體。

考慮到目標物體可能是多個物體的組合體，即在一定的區域內，第一圖像同時採集到了多個物體的尺寸，並對多個物體進行了點雲構建，此時，可以將點雲進行聚類，並對於聚類後尺寸超過預設閾值的物體執行躲避的避障策略，而未超過預設閾值的物體則可以執行謹慎避障策略，進行正常清理工作，即進一步細化了避障策略。

其中，避障策略不僅可以包括行進路線，還可以包括自移動設備的其他控制，例如速度控制，邊刷控制等等。

在一個實施例中，如果目標物體的大小大於預定物體大小，在控制自移動設備接近目標物體時降低行進速度，即防止與目標物體發生碰撞。

繼續參考圖3，步驟S302：基於可見光獲得的類型信息，得到確認結果和步驟S3031：判斷是否屬於黑名單、步驟S3032：判斷是否屬於白名單分開設置，在其他實施例中，步驟S302和步驟S3031可以合併為一個步驟執行，例如，字典數據中為黑名單，包括：拖鞋、織物(襪子)、便便、數據線、底座和椅子。將自移動設備拍攝得到的第二圖像，與黑名單中的每一個物體進行比對，得到確認結果直接為第二圖像中是否包含黑名單中的物體，假設第二圖像中包含了拖鞋，那麼基於該包含拖鞋的第二圖像，直接得到確認結果為屬於黑名單，並繼續執行步驟S305。同樣地方式，也可以將S302和S3032合併為一個步驟執行，並在判斷目標物體屬於白名單時，繼續執行步驟S306。

示例性地，當步驟S302和步驟S3031合併為一個步驟後，如果確認結果給出目標物體不屬於黑名單，那麼可以選擇執行S306或S304，例如，第二圖像中不包含黑名單中的物體，那麼可以選擇執行S306，基於所述自移動設備的距離信息和類型信息以外的其他感測器信息，例如bumper感測器以及懸崖感測器，繼續前進，或者選擇執行S304，按照泛物體的邏輯對目標物體進行處理，S304以及後續的S307、S308如前文所述，在此不再贅敘。同樣的方式，當步驟S302和步驟S3032合併為一個步驟後，如果確認結果給出目標物體不屬於白名單，那麼可以選擇執行S305，例如，第二圖像中不包含白名單中的物體，那麼可以選擇執行S305，結合點雲數據執行避障策略，S 308如前文所述，在此不再贅敘。

可以理解的是，儘管在附圖3中步驟S301在步驟S302的上方，但這並不代表步驟S301一定要在步驟S302之前執行，步驟S301和步驟S302可以同時進行，或者步驟S301在步驟S302之後執行。

示例性地，步驟S301和步驟S302是獨立執行的，二者沒有特定的先後順序。

本公開還提供了一種計算機可讀取儲存介質，其上儲存有計算機程式，該程式被處理器執行時實現上述的自移動設備的控制方法。

在一些可能的實施方式中，本公開的各個方面還可以實現為一種程式產品的形式，其包括程式代碼，當所述程式產品在終端設備上運行時，所述程式代碼用於使所述終端設備執行本說明書上述自移動設備的控制方法部分中描述的根據本公開各種示例性實施方式的步驟。

參考圖7所示，描述了根據本公開的實施方式的用於實現上述方法的程式產品300，其可以採用便攜式光碟唯讀記憶體(CD-ROM)並包括程式代碼，並可以在終端設備，例如個人電腦上運行。然而，本公開的程式產品不限於此，在本文件中，可讀取儲存介質可以是任何包含或儲存程式的有形介質，該程式可以被指令執行系統、裝置或者器件使用或者與其結合使用。

所述程式產品可以採用一個或多個可讀取介質的任意組合。可讀取介質可以是可讀取信號介質或者可讀取儲存介質。可讀取儲存介質例如可以為但不限於電、磁、光、電磁、紅外光、或半導體的系統、裝置或器件，或者任意以上的組合。可讀取儲存介質的更具體的例子(非窮舉的列表)包括：具有一個或多個導線的電連接、便攜式碟、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式化唯讀記憶體(EPROM或快閃記憶體)、光纖、便攜式光碟唯讀記憶體(CD-ROM)、光儲存器件、磁儲存器件、或者上述的任意合適的組合。

所述計算機可讀取儲存介質可以包括在基帶中或者作為載波一部分傳播的數據信號，其中承載了可讀取程式代碼。這種傳播的數據信號可以採用多種形式，包括但不限於電磁信號、光信號或上述的任意合適的組合。可讀取儲存介質還可以是可讀取儲存介質以外的任何可讀取介質，該可讀取介質可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程式。可讀取儲存介質上包含的程式代碼可以用任何適當的介質傳輸，包括但不限於無線、有線、光纜、RF等等，或者上述的任意合適的組合。

可以以一種或多種程式設計語言的任意組合來編寫用於執行本公開操作的程式代碼，所述程式設計語言包括面向對象的程式設計語言—諸如Java、C++等，還包括常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。程式代碼可以完全地在用戶計算設備上執行、部分地在用戶設備上執行、作為一個獨立的軟體包執行、部分在用戶計算設備上部分在遠端計算設備上執行、或者完全在遠端計算設備或伺服器上執行。在涉及遠端計算設備的情形中，遠端計算設備可以通過任意種類的網路，包括區域網路(LAN)或廣域網路(WAN)，連接到用戶計算設備，或者，可以連接到外部計算設備(例如利用網際網路服務提供商來通過網際網路連接)。

本公開還提供了一種電子設備，包括：處理器；以及記憶體，用於儲存處理器的可執行指令；其中，處理器配置為經由執行可執行指令來執行上述的自移動設備的控制方法。

所屬技術領域的技術人員能夠理解，本公開的各個方面可以實現為系統、方法或程式產品。因此，本公開的各個方面可以具體實現為以下形式，即：完全的硬體實施方式、完全的軟體實施方式(包括韌體、微指令等)，或硬體和軟體方面結合的實施方式，這裡可以統稱為“電路”、“模組”或“系統”。

下面參照圖8來描述根據本公開的這種實施方式的電子設備600。圖8顯示的電子設備600僅僅是一個示例，不應對本公開實施例的功能和使用範圍帶來任何限制。

如圖8所示，電子設備600以通用計算設備的形式表現。電子設備600的組件可以包括但不限於：至少一個處理單元610、至少一個儲存單元620、連接不同系統組件(包括儲存單元620和處理單元610)的匯流排630、顯示單元640等。

其中，所述儲存單元儲存有程式代碼，所述程式代碼可以被所述處理單元610執行，使得所述處理單元610執行本說明書上述自移動設備的控制方法部分中描述的根據本公開各種示例性實施方式的步驟。

所述儲存單元620可以包括易失性儲存單元形式的可讀取介質，例如隨機存取儲存單元(RAM)6201和/或快取儲存單元6202，還可以進一步包括只讀儲存單元(ROM)6203。

所述儲存單元620還可以包括具有一組(至少一個)程式模組6205的程式/實用工具6204，這樣的程式模組6205包括但不限於：操作系統、一個或者多個應用程式、其它程式模組以及程式數據，這些示例中的每一個或某種組合中可能包括網路環境的實現。

匯流排630可以為表示幾類匯流排結構中的一種或多種，包括儲存單元匯流排或者儲存單元控制系統、外圍匯流排、圖形加速埠、處理單元或者使用多種匯流排結構中的任意匯流排結構的局域匯流排。

電子設備600也可以與一個或多個外部設備700(例如鍵盤、指向設備、藍牙設備等)通信，還可與一個或者多個使得用戶能與該電子設備600互動的設備通信，和/或與使得該電子設備600能與一個或多個其它計算設備進行通信的任何設備(例如路由器、調制解調器等等)通信。這種通信可以通過輸入/輸出(I/O)介面650進行。並且，電子設備600還可以通過網路適配器660與一個或者多個網路(例如區域網路(LAN)，廣域網路(WAN)和/或公共網路，例如網際網路)通信。網路適配器660可以通過匯流排630與電子設備600的其它模組通信。應當明白，儘管圖中未顯示，可以結合電子設備600使用其它硬體和/或軟體模組，包括但不限於：微指令、設備驅動器、冗餘處理單元、外部磁碟驅動陣列、RAID系統、磁帶驅動器以及資料備份儲存系統等。

通過以上的實施方式的描述，本領域的技術人員易於理解，這裡描述的示例實施方式可以通過軟體實現，也可以通過軟體結合必要的硬體的方式來實現。因此，根據本公開實施方式的技術方案可以以軟體產品的形式體現出來，該軟體產品可以儲存在一個非易失性儲存介質(可以是CD-ROM，隨身碟，移動硬碟等)中或網路上，包括若干指令以使得一台計算設備(可以是個人計算機、伺服器、或者網路設備等)執行根據本公開實施方式的上述自移動設備的控制方法。

本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本公開的其它實施方案。本公開旨在涵蓋本公開的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本公開的一般性原理並包括本公開未公開的本技術領域中的公知常識或慣用技術手段。說明書和示例實施方式僅被視為示例性的，本公開的真正範圍和精神由前面的權利要求指出。

應當理解的是，本公開並不局限於上面已經描述並在附圖中顯示的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本公開的範圍僅由所附的權利要求來限制。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10:機器人本體 20:第一圖像採集裝置 21:第一線鐳射單元 22:第二線鐳射單元 23:線鐳射相機 30:第二圖像採集裝置 31:識別相機 32:補光燈 300:程式產品 600:電子設備 610:處理單元 620:儲存單元 630:匯流排 640:顯示單元 650:輸入/輸出介面 660:網路適配器 700:外部設備 6201:隨機存取儲存單元(RAM) 6202:快取儲存單元 6203:唯讀儲存單元(ROM) 6204:程式/實用工具 6205:程式模組 S11:步驟 S12:步驟 S21:步驟 S22:步驟 S23:步驟 S33:步驟 S301:步驟 S302:步驟 S3031:步驟 S3032:步驟 S304:步驟 S305:步驟 S306:步驟 S307:步驟 S308:步驟 S401:步驟 S402:步驟 S403:步驟 S404:步驟 S405:步驟 S406:步驟 S501:步驟 S503:步驟

通過結合附圖考慮以下對本公開的優選實施方式的詳細說明，本公開的各種目標，特徵和優點將變得更加顯而易見。附圖僅為本公開的示範性圖解，並非一定是按比例繪製。在附圖中，同樣的附圖標記始終表示相同或類似的部件。其中：

圖1是根據一實施例顯示的一種自移動設備的部分結構示意圖。

圖2A是根據一示例性實施方式顯示的線鐳射發射器的工作原理示意圖。

圖2B是根據一實施例顯示的線鐳射發射器與第一攝像裝置視場角關係示意圖。

圖3是根據一實施例顯示的自移動設備的控制方法的邏輯流程示意圖。

圖4A是根據一個實施例顯示的一種自移動設備的控制方法流程示意圖。

圖4B是根據第一個實施例顯示的一種自移動設備的第一圖像採集裝置的時序工作流程示意圖。

圖4C是根據第二個實施例顯示的一種自移動設備的第一圖像採集裝置的時序工作流程示意圖。

圖4D是根據第三個實施方式顯示的一種自移動設備的第一圖像採集裝置時序工作流程示意圖。

圖5是根據又一個示例性實施方式顯示的一種自移動設備的控制方法流程示意圖。

圖6顯示本公開實施例中一種計算機可讀取儲存介質示意圖。

圖7顯示本公開實施例中一種電子設備示意圖。

S401:步驟

S402:步驟

S403:步驟

S404:步驟

S405:步驟

S406:步驟

Claims

一種自移動設備，包括：第一圖像採集裝置、第二圖像採集裝置和控制器，其中該第一圖像採集裝置包括用於發射紅外信號光的發射組件和用於接收該紅外信號光經過目標物體的反射而形成的第一圖像的第一感測器，基於該第一圖像，確定該目標物體的距離信息該第二圖像採集裝置包括第二感測器，該第二感測器接收可見光經過該目標物體反射而形成的第二圖像，基於該第二圖像確定該目標物體的類型信息，以及該控制器基於該距離信息和該類型信息中的至少一個，控制該自移動設備的行為。
如請求項1的自移動設備，其中該發射組件包括至少一個線鐳射器，通過該至少一個線鐳射器發射紅外光線鐳射，通過該第一感測器拍攝該第一圖像，該第一圖像包括該線鐳射在該目標物體上反射的光線信息。
如請求項2的自移動設備，該至少一個線鐳射器包括第一線鐳射單元和第二線鐳射單元，其中在該自移動設備的投影方向上，該第一線鐳射單元和第二線鐳射單元發出的線鐳射的交點與該第一感測器的連線平行於該自移動設備的前進方向。
如請求項3的自移動設備，其中該第一線鐳射和該第二線鐳射同時發射或交替發射。
如請求項3的自移動設備，其中該第一感測器用於拍攝背景圖像，該背景圖像不包含該第一線鐳射和該第二線鐳射在該目標物體上反射的光線信息。
如請求項1的自移動設備，其中該第二圖像採集裝置還包括：補光燈，至少部分該補光燈發射的可見光經過該目標物體的反射進入該第二感測器。
如請求項6的自移動設備，其中基於環境亮度，該控制器控制該補光燈處於開啟狀態或關閉狀態。
如請求項1的自移動設備，經配置以：基於該第一圖像，確定該目標物體相對於該第一圖像採集裝置的相機三維坐標信息；以及基於該相機三維坐標信息，確定該目標物體的世界三維坐標信息。
如請求項1的自移動設備，經配置以利用神經網路對該第二圖像進行識別，以確定目標物體的類型。
如請求項1的自移動設備，經配置以：基於該類型信息，確定該目標物體與字典數據的關係以獲得確認結果；基於該距離信息，確定該目標物體的姿態；以及基於該確認結果和/或該目標物體的姿態，控制該自移動設備執行相應地行進策略。