TW201823768A

TW201823768A - 為處理設備製作環境卡之方法

Info

Publication number: TW201823768A
Application number: TW106136519A
Authority: TW
Inventors: 洛倫茨希倫
Original assignee: 美商佛維爾克控股公司
Priority date: 2016-12-19
Filing date: 2017-10-24
Publication date: 2018-07-01
Also published as: US20190324473A1; EP3555721A1; DE102016124856A1; JP2020502653A; WO2018114412A1; CN110088702A; US11269350B2

Abstract

本發明係有關於一種為自動在環境(3)內運動的處理設備(1)製作環境卡(2)之方法，其中，偵測裝置(4)偵測環境(3)內之環境特徵(5)及/或物體(6)，且其中，由分析裝置將該等環境特徵(5)及/或物體(6)之位置資料處理成環境卡(2)。為了實現直觀的使用者處理設備互動，本發明提出：透過3D重建將所偵測的環境特徵(5)及/或物體(6)處理成照片般真實的三維環境卡(2)。

Description

為處理設備製作環境卡之方法

本發明係有關於一種為自動在環境內運動的處理設備製作環境卡之方法，其中，偵測裝置偵測環境內之環境特徵及/或物體，且其中，由分析裝置將該等環境特徵及/或物體之位置資料處理成環境卡。

上述類型之方法已在先前技術中為吾人所知。例如用於清潔地板面之處理設備根據預編程的移行策略，及視情況根據處理策略，在一環境內、例如在住所或諸如此類之內自動移行。就此點而言，同樣已知的是，處理設備具有其住所之環境卡，視情況具有用於該住所之數個房間的數個環境卡。環境卡較佳係存放在處理設備或外部設備之資料記憶體中。在環境卡中註明有物體之位置資料，例如，障礙物及/或傢俱、定界壁及此類物體之位置資料。

為了製作環境卡，已知的是，使處理設備在學習移行中穿過其環境。但，同樣亦可在處理設備之處理移行過程中製作環境卡，或至少對其進行補充。

先前技術中已知用於檢測環境之不同的偵測裝置。DE 10 2008 014 912 A1例如揭露一種具有全方位掃描儀之處理設備。基於測量物體之距離的光學三角測量法進行偵測。

此外，先前技術中還已知根據馬賽克(mosaic)組合而成之影像來製作環境卡，藉由佈置在處理設備上之攝影機來記錄諸多影像。

例如，可根據已知的視覺SLAM(Simultaneous Localisation And Mapping，同步定位與地圖創建)法，自藉由偵測裝置所記錄的資料來建構環境卡。其中，使用偵測裝置之新記錄的資料，以便既在環境卡中對處理設備進行定位，又進一步擴展或改進既有的環境卡。

可用已知方法製作環境卡，但其環境卡對使用者而言部分地難以閱讀。其原因在於，處理設備之環境卡通常為2D網格卡。此種網格卡為環境之極簡示意圖，且類似於房間之平面圖。一般情況下，網格卡僅包含在相當於處理設備之工作高度的水平偵測平面內所記錄之資訊，且亦無法對例如牆壁地板過渡區之環境特徵與例如傢俱之物體進行區分。通常不會將諸如床、桌子或椅子之類可自其下方通過的物體整體錄入環境卡，而是僅將例如位於偵測平面內的桌腿的此類區域錄入。因此，整體而言，使用者難以憑直覺理解已知網格卡，因為該等網格卡不符合人類的感知。

有鑒於此，本發明之目的為提出一種製作環境卡之方法，其中，所製作之環境卡與先前技術中之已知環境卡相比，更加易於供使用者閱讀。

為達成上述目的，本發明提出：透過3D重建將其環境之所偵測的環境特徵及/或物體處理成照片般真實(photorealistic)的三維環境卡。

透過本發明之照片般真實地3D重建環境，為該處理設備之使用者提供其環境之直觀的視圖，該視圖與迄今為止的先前技術中所製作之二維的且通常為示意性的環境卡相比，包含更多資訊。藉此，使用者能簡單地在環境卡中找到路徑、追蹤到處理設備，並且對處理設備發佈針對處理任務之命令。藉由3D重建來恢復其環境之在記錄環境特徵或物體時所丟失的深度資訊。如此便能克服在環境之一場景中偵測環境特徵或物體時存在之缺點。所製成的照片般真實的三維環境卡為處理設備之使用者呈現其環境，使得，使用者如親眼所見般地感知該環境。所呈現的環境之視角係視用來記錄其環境的視角為何而定，亦即，視情況，視低於使用者對環境內之物體的常見俯視視角的平面而定。但，例如亦可自處理設備之俯視視角來呈現牆壁與天花板之間的過渡區。偵測裝置原則上亦可為相對於處理設備可位移的獨立設備，例如，行動電話、膝上型電腦或諸如此類之攝像頭。

環境特徵例如指房間中之牆壁、地板面與天花板面之間的過渡區。物體首先係指障礙物，例如，阻擋處理設備之運動路線的傢俱。

本發明提出：時間上連續地自偵測裝置之相互偏離的視角記錄環境特徵及/或物體，特別是，物點及/或物面，其中，根據其連續的記錄重建環境卡。在偵測裝置之運動期間，時間上間隔地記錄資料，即，例如攝影機影像或測距裝置之距離資料。兩個連續的記錄之間的時間間隔及/或空間距離係已知，尤佳地可定期進行記錄，其中，此種規律性可就偵測裝置之運動之時間分量或距離分量而言。隨後，在偵測裝置在兩個例如攝影機影像的記錄之間所行駛之路程、特別是處理設備之移行距離已知的情況下，根據兩個連續的記錄便能計算出環境特徵及/或物體在其環境中之三維位置。例如，可透過處理設備之測距裝置，計算出空間距離。除了針對環境特徵、例如針對角落或其他牆壁地板過渡區或牆壁天花板過渡區進行位置估算外，還能針對面進行位置估算。可將諸多面表示為點雲(point cloud)或面圖元(plane primitive)，例如，矩形或三角形。可用點雲實施卡建構，在後續處理步驟中將諸多點雲轉換為面圖元。如此便能減少須處理的資料量。

可根據該已知的視覺SLAM(Simultaneous Localisation And Mapping，同步定位與地圖創建)法來製作環境卡，其中，利用演算法來處理點雲及/或面圖元。與所使用的卡表示(card representation)之類型無關地，各SLAM演算法之共同之處在於，利用藉由偵測裝置所記錄的資料來製作、擴展或改進環境卡，同時，還在環境卡中對處理設備進行定位。通常，藉由概率估算法或最佳化法，將新記錄之資料與環境卡中已存在之資料合併。因此，整體上可根據偵測裝置之時間及/或空間上有所偏離的記錄，為每個環境特徵及/或物體計算出相對大地座標系(world coordinate system)而言之位置。物點及/或物面特別是皆分配有該大地座標系之某個點。

本發明特別是提出：在處理設備之運動期間，特別是在地板處理中，記錄環境特徵及/或物體。例如，可特別在處理設備之清潔移行期間製作環境卡。因此，毋需為記錄用於製作環境卡之資料而實施獨立的偵測移行。作為替代方案，亦可在專門的偵測移行後建構其環境卡，在偵測移行期間，其工具設備不執行例如抽吸及/或擦拭地板面之任何處理任務。可由處理設備自動地、或透過處理設備之使用者控制此種偵測移行。此外，亦可在處理設備之處理活動後，例如在處理設備在基座上充電時實施卡建構。在相應的移行(無論是偵測移行、處理移行或該二移行之組合)結束後，處理設備較佳地將整個可達到的環境製成卡，並且計算出相應的3D模型，使用者可與該3D模型互動，或該3D模型作為進一步應用之基礎。

本發明提出：偵測裝置為記錄其環境之影像的攝影機。在特別簡單的情形中，偵測裝置為安裝在處理設備上(或另一移動設備中)之單向攝影機。作為替代方案，亦可藉由全向攝影機系統，即，藉由具有與單向攝影機相比大得多的視域之攝影機系統，以記錄環境之影像。此種攝影機系統例如可為具有360度水平視場之全景攝影機系統，或具有魚眼鏡頭之攝影機系統，其魚眼鏡頭在相反方向上具有180度或更大的視場。此外，亦可使用三維攝影機系統，其中，並排佈置有兩個攝影機，或者，使用通常稱為RGB-D攝影機之深度攝影機，其中，透過已知點圖案之投影來實施三維計算。同樣可使用朝天花板定向的攝影機。尤佳係將數個光學系統或偵測裝置組合在一起。

作為將攝影機用作為偵測裝置之替代或補充方案，亦可應用雷射距離感測器，其尤佳地不僅在一平面內檢測資料，亦透過偏轉而在數個平面內進行檢測。此外，亦可將影像感測器與距離感測器之資訊相互合併，其具體方式例如是：將攝影機之資料與諸如雷射距離感測器之類的測距裝置之資料組合在一起。

本發明提出：為了製作該環境卡，在外部設備、特別是行動設備及/或伺服器中處理所偵測的諸多環境特徵及/或物體。因此，不僅由處理設備之自有的機上電腦來實施製作環境卡所需之計算，而且替代地，亦可由外部伺服器，即雲端，或藉由行動終端設備之電腦，例如，行動電話、膝上型電腦、平板電腦或諸如此類之電腦來計算。亦可採用分部解決方案，其中，在處理設備本身上進行一部分計算，在諸如伺服器之類的外部設備上進行一部分計算。例如，可在處理設備上實施基於點雲之SLAM法，而在伺服器上將其卡表示換算成面圖元。在至少部分地進行外部計算之情形中，透過優選地為無線的網路連接，將所偵測之環境特徵及/或物體或者已經由此計算出之資料，作為資料量傳輸至外部設備，該外部設備則隨後進行計算。

本發明提出：將環境卡呈現在外部設備、特別是行動設備之顯示器上。如此便能在不同於處理設備本身之另一設備上將環境卡可視化，且實現與使用者互動。本發明特別提出在行動終端設備之顯示器上進行其可視化。例如，可在行動電話、膝上型電腦、平板電腦、電視機、廚用設備或此類設備之顯示器上顯示環境卡。但，亦可在連接有處理設備之相應的操作元件的處理設備之顯示器上呈現環境卡。在後一種情形中，並非透過網路實現資料傳輸。可在卡建構期間便呈現環境卡，以及/或者，唯有在處理設備在環境內之運動結束後才呈現環境卡。

本發明提出：可旋轉、放大及/或移動所呈現的環境卡之至少一個分區及/或呈現在環境卡中的物體。藉此，使用者便能改變環境卡之視圖，從而例如改變視角、放大及/或移動該視圖或諸如此類。例如，亦可改變物體之視圖，使得，呈現該物體的視角會與使用者查看環境之當前的視圖相符。作為替代方案，亦可旋轉環境內之物體，或旋轉所示之整個環境，使得，其視圖與處理設備之當前的運動方向相符。

此外，本發明提出：處理設備之使用者可為存在於環境卡中之房間及/或房間分區及/或物體，分配可與用來控制處理設備之運動的控制指令連結的名稱及/或顏色碼及/或符號。此舉有助於處理設備之使用者在環境卡中找到路徑。例如，可透過分配顏色及/或名稱來標記住所之房間，例如，用名稱「廚房」及紅色來標記。作為命名各房間之替代方案，亦可以相同方式為房間之各區域命名，例如，用「狗之角落」及棕色來命名。此外，亦可透過分配名稱來標記特定物體，例如，以名稱「沙發」、「床」等來標記。此外，可在環境卡中示出處理設備之當前位置。上述方案可用簡單的方式實現，具體方式例如是：將用於代表處理設備之符號、例如點或小旗呈現出來。更為複雜的呈現係指處理設備在環境中之3D模型。可基於名稱及/或顏色碼及/或符號來實施用於與處理設備互動的功能。例如，可為選擇起點或處理設備在環境中起動之位置，而命名所分配之名稱及/或所分配之顏色碼。例如，可選擇基座在環境卡內之位置，以便將處理設備送往此處以對蓄電池充電。例如，可透過諸如「清潔客廳」或「清潔狗之角落」之類的指令，來選出處理設備須駛向之定義的房間或定義的區域。此外，亦可透過標記來選出並未與名稱或顏色碼產生關聯的區域，以便例如實施定點清潔。同樣可選出環境卡內之毋需處理且毋需駛過、毋需處理但允許駛過、或者需要以高強度或以特定處理參數處理的區域或房間。

若處理設備為實施導航而使用的是與在顯示器上呈現給使用者之用於進行人機互動的環境卡有所不同的環境卡，則須確保將例如使用者在所示環境卡中選出的位置正確換算為處理設備所使用之卡。此種換算例如在以下情形中係必要之舉：呈現給使用者之環境卡例如透過將點雲換算為面圖元、異常值消除即移除錯誤測量值/障礙物點，或使得直線段與點雲相匹配，而被較大程度地處理。

本發明提出：可將環境卡內之物體分成區段，並自該環境卡中提取出來，其中，將所提取的物體及/或減少了所提取的物體的環境卡輸入資料處理程式，並由該資料處理程式進一步處理。如此便能自3D環境卡出發，將其環境之各物體，例如各傢俱，分成區段且提取出來。其分段例如可基於以下情形：額外地對地板面、天花板及/或牆壁，例如，作為不具有仰角的水平面的地板、作為房間高度的垂直面的牆壁及諸如此類，進行偵測。隨後，將物體自3D環境卡減去，即移除。在此情況下，3D模型中之其餘的結構很可能僅指環境內之例如被識別為傢俱的物體，具體方式是：在適宜的高度中搜索例如以約80cm至120cm之距離平行於地板面的平面。以上述方式可識別出桌子、椅子、櫃子、架子及多個其他傢俱。隨後，使用者例如可將分成區段的物體輸入用於進一步處理的另一個3D模型建立程式。例如，可將傢俱自環境卡移除，以獲得房間或住所之不放置傢俱的平面圖。例如，可利用該平面圖來測量房間、將另一傢俱自傢俱資料庫整合至3D模型中、改變住所或房間之陳設以查看傢俱之其他佈置方案，或諸如此類。使用者可將其環境之算出的3D模型上傳至網路，並與其他使用者分享。可在適宜的平台上，例如，在如Facebook之社交媒體平台、專門的裝修網站或此類平台上，實施上述方案。作為替代方案，處理設備亦可儲存已經計算出的3D模型作為參考，視情況藉由外部設備、伺服器或此類設備而為之。為了發現環境之變化，例如在處理設備之巡邏移行期間，處理設備可將其當前的偵測結果與參考模型進行對比。若發現重大變化或移動物體，則處理設備例如可透過以下方式發出警報：使用者在行動終端設備上接收到訊息。

最後，本發明提出：在環境卡中顯示處理設備之當前位置。藉此，使用者即使在例如因與處理設備處於不同房間而無法自己感知處理設備的情況下，亦能獲得關於處理設備在環境內之當前位置的資訊。

1‧‧‧處理設備

2‧‧‧環境卡

3‧‧‧環境

4‧‧‧偵測裝置

5‧‧‧環境特徵

6‧‧‧物體

7‧‧‧顯示器

8‧‧‧外部設備

9‧‧‧運動路線

10‧‧‧測量地點

A‧‧‧物點

B‧‧‧物點

C₁‧‧‧偵測起點

C₂‧‧‧偵測起點

d‧‧‧移行距離

α₁‧‧‧(物點)角度

α₂‧‧‧(物點)角度

β₁‧‧‧(物點)角度

β₂‧‧‧(物點)角度

圖1為處理設備之外部的透視立體圖，圖2為處理設備在一環境中沿運動路線移行之示意圖，圖3為測量環境期間的處理設備之示意圖，圖4為照片般真實的三維環境卡之示意圖。

下面結合實施例對本發明進行詳細說明。圖1示出在此被建構為抽吸機器人的自動運動式處理設備1。處理設備1具有佈置在處理設備1之殼體內的偵測裝置4。偵測裝置4在此為攝影機晶片，例如，CMOS晶片或CCD晶片，其係透過同樣佈置在處理設備1之殼體中的鏡子來記錄環境3之影像。偵測裝置4係可旋轉運動地(在此例如為旋轉360度)佈置在殼體內，從而全方位圍繞處理設備1而記錄環境之影像。作為將偵測裝置4建構為攝影機晶片之替代方案，偵測裝置4亦可建構為光學三角測量裝置或此類裝置。

處理設備1可透過移行輪(未繪示)而在待清潔表面上移行。此外，處理設備1以底側朝向待清潔表面而具有電動馬達驅動的刷子(同樣未繪示)。此外，處理設備1在刷子之區域內具有未進一步繪示的吸嘴孔，其係藉由馬達風扇單元而用以將施加有待吸物的空氣吸入處理設備1。為了對各電組件進行供電，例如，為了驅動移行輪及刷子連同其他電子設備，處理設備1具有可再充電的蓄電池。

可將偵測裝置4所記錄的環境3之影像組合成環境卡2，其中，根據已知的視覺SLAM(Simultaneous Localisation And Mapping，同步定位與地圖創建)法來實施卡建構。

圖2示出處理設備1之環境3，其在此為住所之一分區，處理設備1在可該環境內自動移行。處理設備1沿運動路線9穿過環境3，其中，運動路線9等距地具有數個測量地點10，在該等測量地點上藉由偵測裝置4來記錄環境3之環境特徵5及/或物體6。可藉由測距法來估算運動路線9之兩個測量點10之間的移行距離d，使之總是能夠推測出環境3內之處理設備1之當前的位置。在處理設備1運動期間，以所示的距離記錄環境3之影像。隨後，自每兩個連續的影像，為物點A、B或者物體6及/或環境特徵5配設大地座標系之座標。

以具有物點A之牆壁天花板過渡區為例，以及，以具有物點B之近地的物體6為例，圖3示出對環境特徵5之偵測。可計算出大地座標系內之物點A及B之位置，具體方式是：首先，在兩個連續的測量地點10上記錄攝影機影像。可透過定位法在已建構的環境卡2中實現測量地點10之位置估算。此種方法本來便是用來在環境3內為處理設備1導航所需的。藉由測距法或沿運動路線9之兩個連續的測量地點10之間的向量減法，計算出處理設備1在兩個連續的測量地點10之間所行駛之路程的估算。相對於偵測裝置4之對應於測量地點10的當前位置而言，根據該等測量地點10之間距、偵測裝置4之相應的偵測起點C₁、C₂，連同物點A之兩個角度α₁及α₂以及物點B之兩個角度β₁及β₂，便能計算出物點A、B。偵測裝置4在處理設備1上之位置係已知，如此便能相對於測量地點10及大地座標系以實施物點A及B之位置估算。

以上述方式便能計算出大量的物點A、B，從而形成點雲。隨後，可將點雲換算成環境3之三維視圖，該視圖係例如矩形及三角形的面圖元所構成。

原則上可在處理設備1內藉由機上電腦來進行計算以製作環境卡2。但在所示實施例中，透過無線通訊將偵測裝置4所記錄的之影像資料傳輸至外部設備8，在此為膝上型電腦(laptop)。在膝上型電腦上實施基於點雲之SLAM法，且將點雲換算成面圖元，照片般真實的三維環境卡2最後由該等面圖元建構而成。

如圖3所示，外部設備8、即膝上型電腦具有顯示器7，用來顯示所製作之環境卡2。在環境卡2中既呈現處理設備1本身，又呈現存在於環境3內之物體6，在此即傢俱。在處理設備1穿過環境3之運動期間，就可在外部設備8之顯示器7上顯示環境卡2。在處理設備1之運動結束後，將沿運動路線9穿過的整個環境3製成卡，並計算出相應的3D模型，使用者可與該3D模型互動，且該3D模型可為進一步應用之基礎。照片般真實的環境卡2使得處理設備1之使用者能夠在環境卡2內憑直覺定位，讓使用者能特別簡單地在環境卡2中找到路徑、追蹤到處理設備1，且對其下達命令。

圖4示出房間之根據處理設備1之不同視角所製作的環境卡2。環境卡2為具有數個物體6的環境3之照片般真實的三維視圖，且亦示出處理設備1之當前的位置。處理設備1之高度部分地低於在此即為傢俱的物體6，因此，環境卡2為對其環境之仰視圖。

可為環境卡2中示出之物體6配設名稱及/或顏色碼。例如，可將所示房間之區域命名為「狗之角落」或諸如此類。此外，可分配相應的顏色，例如，為狗之角落分配「棕色」。可在外部設備8之顯示器7上旋轉、放大或移動環境卡2，使得，環境卡2按照使用者進入房間時所見，相應於房間而定向。作為所示3D模型之替代方案，亦可將處理設備1之當前位置作為點、小旗或諸如此類而整合至環境卡2中。

基於用於製作環境卡2之上述功能，亦可實施其他功能，從而與處理設備1進行互動。例如，可選擇處理設備1在所示房間內針對性地起動的地點。例如，可實施指令「清潔狗之角落」。

自所示3D環境卡2出發，可將例如傢俱的各物體6分成區段，並且自環境卡2中提取出來。此種分段及提取例如可基於以下情形：首先，將牆壁及地板面視為水平或豎直面，並且將其自環境3之3D模型減去。在此情況下，3D模型之其餘結構很可能係指物體6，如，傢俱。例如，可透過搜索以約80cm至120cm之距離平行於地板面之平面，來識別物體6之類型。類似地，亦可應用針對椅子、櫃子、架子及此類物體之某些特徵的搜索條件。隨後，使用者可將分成區段的物體6輸入用於進一步處理之另一個3D模型建立程式，例如，輸入用於改變內部陳設之程式或此類程式，以便查看傢俱在房間內之另一佈置方案。此外，使用者可將環境3之所算出的3D模型與其他使用者分享，具體方式是：使用者將其3D模型上傳至社交媒體平台之公用伺服器。

Claims

一種為自動在環境(3)內運動的處理設備(1)製作環境卡(2)之方法，其中，一偵測裝置(4)偵測其環境(3)內之環境特徵(5)及/或物體(6)，且其中，由一分析裝置將該等環境特徵(5)及/或物體(6)之位置資料處理成環境卡(2)，其特徵在於：透過3D重建將所偵測的該等環境特徵(5)及/或物體(6)處理成照片般真實的三維環境卡(2)。
如請求項1之方法，其中，時間上連續地自該偵測裝置(4)之相互偏離的視角記錄環境特徵(5)及/或物體(6)，而其中，根據其連續的記錄重建該環境卡(2)。
如請求項1或2之方法，其中，在該處理設備(1)之運動期間記錄該等環境特徵(5)及/或物體(6)。
如請求項1之方法，其中，該偵測裝置(4)為記錄其環境(3)之影像的攝影機。
如請求項1之方法，其中，為了製作該環境卡(2)，在一外部設備(8)中處理所偵測的該等環境特徵(5)及/或物體(6)。
如請求項1之方法，其中，將該環境卡(2)呈現在一外部設備(8)之顯示器上(7)。
如請求項6之方法，其中，可旋轉、放大及/或移動所呈現的該環境卡(2)之至少一個分區及/或呈現在該環境卡(2)中的物體(6)。
如請求項1之方法，其中，該處理設備(1)之使用者為存在於該環境卡(2)中之房間及/或房間分區及/或物體(6)，分配可納入用於控制該處理設備(1)之運動的控制指令之名稱及/或顏色碼及/或符號。
如請求項1之方法，其中，將該環境卡(2)內之物體(6)分成區段，並自該環境卡(2)中提取出來，而其中，將所提取的該物體(6)及/或減少了所提取的該物體(6)的環境卡(2)輸入資料處理程式，並由該資料處理程式進一步處理。
如請求項1至9中任一項之方法，其中，在該環境卡(2)中顯示該處理設備(1)之當前位置。