TW202123157A - 3維地圖作成裝置、3維地圖作成方法以及記錄媒體 - Google Patents

3維地圖作成裝置、3維地圖作成方法以及記錄媒體 Download PDF

Info

Publication number
TW202123157A
TW202123157A TW109116874A TW109116874A TW202123157A TW 202123157 A TW202123157 A TW 202123157A TW 109116874 A TW109116874 A TW 109116874A TW 109116874 A TW109116874 A TW 109116874A TW 202123157 A TW202123157 A TW 202123157A
Authority
TW
Taiwan
Prior art keywords
map
aforementioned
unit
floor
map creation
Prior art date
Application number
TW109116874A
Other languages
English (en)
Inventor
宮本健
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202123157A publication Critical patent/TW202123157A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Instructional Devices (AREA)

Abstract

3維地圖作成裝置(100)，包含：3維地圖產生部(110)，基於在地板上移動的感測器檢測出的感測資料，對每一個包含對象物在內的區域產生一個第一3維地圖；以及樓層平面圖登錄部(120)，取得地板的樓層平面圖(300)，藉由將3維地圖產生部(110)產生的至少一個第一3維地圖配置於樓層平面圖(300)上，以產生包含至少一個第一3維地圖在內的第二3維地圖。

Description

3維地圖作成裝置、3維地圖作成方法以及記錄媒體
本發明是關於一種3維地圖作成裝置、3維地圖作成方法、以及記錄3維地圖作成程式的記錄媒體。
有一種測位系統已為人所知，係在工廠或大樓等大規模的屋內環境中，利用WiFi或Beacon，作為檢測出自己位置的系統。然而，舉例來說，在自律移動機器人，也就是搭載自動導引車(Automated Guided Vehicle, AGV)的機器人當中，除了需要檢測出檢查對象物的位置之外，還需要檢測出檢查對象物的姿勢。另外，檢測出對象物的位置以及姿勢的裝置中，從導入成本的觀點來看，會要求盡可能去除用來檢測出位置以及姿勢的追加機器。作為滿足此般要求的方法，有一種方法已為人所知，係將3維地圖用於自律移動機器人的用途，以及將作為虛擬視覺資訊的內容重疊並顯示於真實存在的風景的擴增實境。
作為作成3維地圖的方法，同步定位與地圖構建(Simultaneous Localization And Mapping, SLAM)已為人所知，係基於光達(Laser Imaging Detection and Ranging, LiDAR)、相機等感測器取得的感測資料，同時執行自我位置的估計與地圖作成。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本專利 特開2014-229020號公報
[發明所欲解決的課題]
然而，由於SLAM當中，位置誤差會隨著移動距離而累積，因此在大規模的屋內環境使用SLAM時，會產生沒辦法作成精度高的3維地圖之問題。
此處，第1圖(A)以及(B)分別表示由SLAM一邊沿著地板201以及地板201的壁面，意即3維地圖作成的對象區域移動，一邊掃描屋內環境時的掃描結果202，意即位置誤差累積的情形。另外，第2圖(A)以及(B)，分別表示平板PC(Tablet Personal Computer)210將內容212與真實存在的對象物(例如機器)A1~A3的影像211正常重疊顯示、以及不正常重疊顯示的情形。
本發明是為了解決上述課題而成，目的在於提供一種3維地圖作成裝置、3維地圖作成方法、以及記錄3維地圖作成程式的記錄媒體，能夠產生精度高的3維地圖。 [用以解決課題的手段]
關於本發明一種態樣的3維地圖作成裝置，包含：3維地圖產生部，基於在地板上移動的感測器檢測出的感測資料，對每一個包含對象物在內的區域產生一個第一3維地圖；以及樓層平面圖登錄部，取得前述地板的樓層平面圖，藉由將前述3維地圖產生部產生的至少一個第一3維地圖配置於前述樓層平面圖上，以產生包含前述至少一個第一3維地圖在內的第二3維地圖。
關於本發明其他態樣的3維地圖作成方法，包含：基於在地板上移動的感測器檢測出的感測資料，對每一個包含對象物在內的區域產生一個第一3維地圖之步驟；以及取得前述地板的樓層平面圖，藉由將產生的至少一個第一3維地圖配置於前述樓層平面圖上，以產生包含前述至少一個第一3維地圖在內的第二3維地圖之步驟。 [發明的效果]
根據本發明，能夠產生精度高的3維地圖。
以下，一邊參照圖式，一邊說明關於本實施形態的3維地圖作成裝置、3維地圖作成方法、以及記錄3維地圖作成程式的電腦可讀取記錄媒體。以下的實施形態僅只是範例，在本發明的範圍內可進行各種的變更。
關於實施形態的3維地圖作成裝置，舉例來說，為具有電腦的自律移動機器人。關於實施形態的3維地圖作成裝置，也可以是將內容，意即將視覺資訊，於顯示真實存在的對象物之影像重疊顯示的平板PC。然而，關於實施形態的3維地圖作成裝置，也可以是藉由使用者手持攜帶而可移動的個人電腦或智慧型手機等。
本申請案中，示意對象物，即樓層平面圖或地板上之物體(例如設備、機器等)的圖當中，為了容易理解發明，而標示有xyz正交座標系的座標軸，以及繞著各座標軸的旋轉方向。地板為基準平面之例，一般來說與地面平行。x軸以及z軸為平行於包含地板在內的平面之座標軸。y軸為正交於包含地板在內的平面的方向之座標軸。+Rz方向是朝向+z軸方向時的順時針方向；-Rz方向是逆時針方向，即+Rz方向的反方向。+Rx方向是朝向+x軸方向時的順時針方向；-Rx方向是逆時針方向，即+Rx方向的反方向。+Ry方向是朝向+y軸方向時的順時針方向；-Ry方向是逆時針方向，即+Ry方向的反方向。
《1》實施形態1 《1-1》構成 〈3維地圖作成裝置100〉 第3圖為關於實施形態1的3維地圖作成裝置100的硬體(HW)構成之例。3維地圖作成裝置100是能夠實施關於實施形態1的3維地圖作成方法之裝置。3維地圖作成裝置100可以是將內容，意即將視覺資訊，於顯示真實存在的對象物之影像重疊顯示的平板PC。真實存在的對象物舉例來說，為機器或是設備。
如第3圖所示，3維地圖作成裝置100具有電腦10。電腦10具有：記憶體12，作為記憶部，前述記憶部能夠儲存作為軟體的程式；以及處理器11，作為資訊處理部，前述資訊處理部能夠執行記憶於記憶體12的程式。程式包含3維地圖作成程式，前述3維地圖作成程式能夠使電腦10執行關於實施形態1的3維地圖作成方法。程式能夠記錄於電腦10可讀取的記錄媒體。記錄媒體舉例來說，為磁碟、光碟、或半導體記憶體等。
3維地圖作成裝置100具有3維地圖DB40。3維地圖DB40為儲存有資料庫(Database，DB)的記憶裝置，前述記憶裝置用以管理3維地圖。然而，3維地圖DB40也可以由可通訊連接3維地圖作成裝置100的外部記憶裝置所具備，或者也可以由網路上的伺服器所具備。
3維地圖作成裝置100也可以具有：距離感測器21、相機22、陀螺儀感測器(Gyro Sensor)23、加速度感測器24、地磁感測器25等各種感測器之中的至少一個。距離感測器21為使用LiDAR、紅外線等測定距離的感測器。相機22為取得影像(例如彩色影像)的感測器。陀螺儀感測器23為取得角速度的感測器。加速度感測器24為取得加速度的感測器。地磁感測器25為取得方位的感測器。各種感測器也可以是3維地圖作成裝置100的一部分。然而，各種感測器也可以由可通訊連接3維地圖作成裝置100的外部裝置所具備。舉例來說，AGV上具備如第3圖所示的各種感測器21~25，3維地圖作成裝置100也可以由電腦10構成，電腦10配置於AGV以外的其他場所。
另外，3維地圖作成裝置100具有顯示器30。顯示器30為顯示影像的顯示裝置。當3維地圖作成裝置100是使用者攜帶的平板PC時，顯示器30上顯示如第2圖(A)所示之顯示現實的對象物之影像，以及擴增實境的內容。然而，3維地圖作成裝置100也可以是不具備顯示器30的裝置。
舉例來說，使用擴增實境進行對象物的維修檢查時，持有平板PC的使用者，意即持有3維地圖作成裝置100的使用者往對象物的正面移動。3維地圖作成裝置100基於在抵達對象物之前的移動中取得的感測資料，以及在對象物的正面位置取得的感測資料，估計對象物的位置以及姿勢。另外，在平板PC的情況下，對象物的位置視為與自己位置，即使用者的位置相同。使用擴增實境進行對象物的維修檢查時，若對象物及其周邊(意即附近的區域)的3維地圖正確作成，即使距離對象物較遠的位置之3維地圖並未作成或是不正確，也能夠在平板PC的顯示器30上，將與對象物有關的內容顯示於對象物的影像上或是對象物的影像附近的適當位置。
另外，若使用自律移動機器人，即使用3維地圖作成裝置100進行對象物的維修檢查時，自律移動機器人往對象物的正面移動。自律移動機器人基於在抵達對象物之前的移動中的感測資料，以及在對象物的正面位置的感測資料，估計對象物的位置以及姿勢。在自律移動機器人進行對象物的維修檢查時，若對象物及其附近的3維地圖正確作成，即使距離對象物較遠的位置之3維地圖並未作成或是不正確，也可以由機器手操作對象物。換言之，自律移動機器人在對象物的周邊，需要具有高位置精度的3維地圖；但在用於移動的通道等地方，即使3維地圖的位置精度低也沒有問題。
若是像機器單體或數公尺四方的區域等小規模的環境，則可以使用SLAM高精度地作成3維地圖。這是因為使用SLAM作成小規模環境的3維地圖時，誤差累積小，且環線(Loop)的檢測容易。環線的檢測舉例來說，是所謂由SLAM執行的「環線閉合差」(Loop Closure)處理。
關於實施形態1的3維地圖作成裝置100，作成大規模的第二3維地圖，前述第二3維地圖能夠只在對象物及其周邊高精度地估計位置以及姿勢。具體來說，關於實施形態1的3維地圖作成裝置100，藉由將至少一個第一3維地圖(也就是小規模3維地圖)，配置於描繪有包含檢查對象機器等的對象物之位置在內的佈局圖之樓層平面圖300上，以作成一個第二3維地圖(也就是大規模3維地圖)。
當3維地圖作成裝置100為平板PC時，若攜帶平板PC的使用者往對象移動的正面移動，則3維地圖作成裝置100藉由將至少一個第一3維地圖，分別登錄於樓層平面圖的至少一個區域，如第2圖(A)所示，將內容212於顯示有對象物A1~A3的影像211之適當位置重疊顯示。
第4圖為一功能方塊圖，概略地表示關於實施形態1的3維地圖作成裝置100的構成。如第4圖所示，3維地圖作成裝置100，具有：3維地圖產生部110，基於在地板上移動的感測器檢測出的感測資料，對每一個包含對象物在內的區域產生一個第一3維地圖；樓層平面圖登錄部120，取得地板的樓層平面圖，藉由將3維地圖產生部110產生的至少一個第一3維地圖配置於樓層平面圖上，以產生包含至少一個第一3維地圖在內的大規模的第二3維地圖；以及範圍分割部130，將第二3維地圖分割為複數個範圍。另外，3維地圖作成裝置100還可以具有：範圍指定部140、以及位置姿勢估計部150。
〈3維地圖產生部110〉 第5圖(A)為一平面圖，表示樓層平面圖300之例；第5圖(B)為一斜視圖，表示以小規模的第一3維地圖400表示的對象物之例。3維地圖產生部110舉例來說，使用SLAM等產生至少一個第一3維地圖。第一3維地圖400為地板上的對象物及其周邊的小規模的區域之3維地圖。樓層平面圖300當中，描繪有對應區域301~305，即對象物的配置場所。舉例來說，第一3維地圖400執行旋轉、平行移動、以及比例調整的至少一項，應用於對應區域303。
〈樓層平面圖登錄部120〉 第6圖(A)為一斜視圖，表示繞著第一3維地圖400的xyz軸旋轉；第6圖(B)為一平面圖，表示繞著平行於第一3維地圖400的地面之樓層平面圖300的法線旋轉(亦即繞著y軸的±Ry方向旋轉)。實施形態1當中，樓層平面圖登錄部120如第6圖(B)所示，舉例來說，從外部記憶裝置取得描繪有對應區域301~305的樓層平面圖300。樓層平面圖登錄部120也可以具有記憶部，前述記憶部事先記憶描繪有對應區域301~305的樓層平面圖300。或者，樓層平面圖登錄部120也可以依照來自於操作輸入部的使用者輸入操作，從外部記憶裝置或網路上取得描繪有對應區域301~305的樓層平面圖300。
舉例來說，作為小規模的第一3維地圖之再構成的對應區域303，是從樓層平面圖300當中，透過使用者操作來指定。此時，如第6圖(A)所示，由於xyz軸的3個旋轉調整對使用者來說是繁雜的作業，因此樓層平面圖登錄部120也可以如第6圖(B)所示，自動選擇樓層平面圖登錄所需要的一項繞旋轉軸的調整(例如，繞y軸的±Ry方向旋轉)，並將不需要的旋轉軸的調整(例如，繞x軸的±Rx方向旋轉以及繞z軸的±Rz方向旋轉)無效化。藉由加上這個處理，使用者就能夠將第一3維地圖(例如，400)登錄於樓層平面圖300上的指定的對應區域(例如，303)，而不需要調整3維的旋轉。舉例來說，藉由透過使用者操作來指定第一3維地圖的地面的繞法線的旋轉角度與平行移動量，樓層平面圖登錄部120將至少一個第一3維地圖登錄於樓層平面圖300。
第7圖為一功能方塊圖，概略地表示第4圖所示的樓層平面圖登錄部120的構成。樓層平面圖登錄部120具有：地面檢測部121、外部參數計算部122、外部參數輸入部123、以及外部參數作用部124。
地面檢測部121基於3維地圖檢測出地面。作為地面檢測方法之例，有一種使用隨機抽樣一致(Random Sample Consensus，RANSAC)的方法，即穩健估計(Robust Estimation)演算法的其中之一。平面係數(a b c d)T 與平面上的位置(x y z)T 的關係，用以下的算式(1)表示。
[數學式1]
Figure 02_image001
(1)
算式(1)當中，「．」表示內積。由於使用RANSAC求出的平面為無限平面，因此地面檢測部121使用凸包(Convex Hull)等計算平面的範圍。地面檢測部121檢測出範圍最大的平面作為地面。
由於所謂「範圍最大的平面為地面」可能有無限多種可能性，因此地面檢測部121也可以用以下的方法來檢測出地面。舉例來說，地面檢測部121也可以基於使用者輸入操作，從複數個平面當中檢測出地面(意即水平面)。或者，地面檢測部121也可以透過慣性量測單元(Inertial Measurement Unit，IMU)從量測的加速度當中求出重力方向，將法線接近重力的平面判斷為地面。或者，地面檢測部121也可以使用IMU量測的重力方向，以及平面面積的大小來檢測出地面。
外部參數計算部122從地面檢測部121檢測出的地面、以及樓層平面圖300的關係性當中，計算出外部參數T1 。首先，外部參數計算部122從檢測出的地面的法線ng 、以及樓層平面圖300的法線nf 當中，求出旋轉R1 。ng 與nf 用以下的算式(2)以及(3)表示。
[數學式2]
Figure 02_image003
(2)
Figure 02_image005
(3)
樓層平面圖300假設為第8圖所示那樣的xyz正交座標系。外部參數計算部122使用算式(2)所示的相對於ng 的x方向之偏角θ x ，以及算式(3)所示的相對於nf 的z方向之偏角θ z ，來計算旋轉R1 。這裡用算式(4)表示使用偏角θ x 、θ z 求出的旋轉矩陣，分別設為Rx 、Rz ；用算式(5)表示旋轉R1 。
[數學式3]
Figure 02_image007
,
Figure 02_image009
(4)
Figure 02_image011
(5)
外部參數計算部122用算式(5)求出旋轉R1 之後，從平面上一點的向量Xp 當中，算出： [數學式4]
Figure 02_image013
若將hy ，也就是將相當於高度方向的y座標作為平行移動量，則外部參數T1 可以從旋轉R1 以及向量t1 當中，用以下的算式(6)表示。 [數學式5]
Figure 02_image015
(6)
算式(6)當中，向量t1 是取出旋轉R1 以及向量xp 的高度方向之向量，用以下的算式(7)表示。 [數學式6]
Figure 02_image017
(7)
外部參數輸入部123受理使用者輸入。一部分的參數透過外部參數輸入部123的使用者輸入而被輸入。輸入到外部參數輸入部123的外部參數，舉例來說，為第8圖所示之樓層平面圖300的座標系當中的繞y軸的旋轉R2 ，以及xz平面當中的平行移動量t2 。外部參數輸入部123從該等項目當中，用以下的算式(8)取得外部參數T2 。另外，若將使用者輸入設為旋轉角度θ y ，則旋轉R2用以下的算式(9)表示。
[數學式7]
Figure 02_image019
(8)
Figure 02_image021
(9)
另外，第8圖中，t2 是以樓層平面圖300左下的點作為基準(也就是原點)的平行移動量。
繞y軸的旋轉角度θ ，可以使用地磁感測器25取得。角度θ 的值是由地磁感測器25自動輸入。或者，角度θ 也可以是由使用者輸入地磁感測器25的檢測值作為初始值。
角度以及平行移動量t2 的輸入方法，可以是從圖形使用者介面(Graphics User Interface，GUI)的操作，或從鍵盤等的數值輸入之任何一種。另外，平行移動量t2 的原點，也可以是與第8圖所示的樓層平面圖左下的點不相同的點。
外部參數作用部124將外部參數計算部122計算的外部參數，以及從外部參數輸入部123輸入的外部參數，作用於3維地圖。針對3維地圖管理的點群所執行的外部參數作用，用以下的算式(10)表示。此處，向量p表示作用前的點群的一點；向量p'表示作用後的點。
[數學式8]
Figure 02_image023
(10)
〈範圍分割部130〉 樓層平面圖中，相同形狀且相同模樣的複數個對象物互相並排時，目標對象物的位置以及姿勢的估計有可能會失敗。舉例來說，相同形狀且相同模樣的複數個對象物B1~B6並排的環境中，當掃描對象物B1估計位置以及姿勢時，有可能錯誤輸出對象物B2~B6任何一個的位置以及姿勢。為了避免錯誤估計，在估計位置以及姿勢時，首先由使用者指定需要的範圍較佳。藉由指定範圍，而能夠基於範圍內包含的對象物的3維地圖400，估計詳細的位置以及姿勢。
第9圖表示由第4圖所示的範圍分割部130執行的範圍分割處理。範圍分割部130舉例來說，將樓層平面圖300表示的一片地板分割為複數個範圍(例如，範圍#1~#4)。範圍分割部130舉例來說，將大樓的一片地板靜態分割為複數個範圍#1~#4，管理複數個範圍#1~#4各自的3維地圖。範圍分割部130舉例來說，如第9圖所示，將一個樓層平面圖300分割為4個範圍#1~#4。像這樣，若將一個樓層平面圖300分割為複數個範圍來管理3維地圖，使得具有相同模樣以及相同形狀的複數個對象物附屬於各自相異的範圍，則將目標的對象物錯誤估計為與其相同形狀且相同模樣的其他對象物之可能性就降低了。然而，在這種情況下，並沒有辦法充分減低錯誤估計的可能性。
基於此般理由，範圍分割部130動態執行範圍分割較佳。第10圖為一功能方塊圖，概略地表示第4圖所示的範圍分割部130的構成。範圍分割部130具有：影像特徵算出部131、以及分群部132。
影像特徵算出部131基於產生3維地圖時相機拍攝的影像之類似度，算出影像的特徵。影像特徵算出部131舉例來說，使用詞袋(Bag of Words，BoW)執行用以範圍分割的處理。影像特徵算出部131對於對象物的第一3維地圖的各個相機拍攝影像，使用BoW將影像向量化。若向量彼此之間的距離越近，則影像特徵算出部131判斷為「類似」。
分群部132基於影像特徵算出部131的結果進行分群，並分割範圍。換言之，分群部132進行範圍分割處理，使該等向量屬於互不相同的範圍。
〈範圍指定部140〉 第11圖表示使用關於實施形態1的3維地圖作成裝置100的範圍指定部140在範圍指定操作時的畫面。範圍指定部140從範圍分割部130決定的複數個範圍之中，指定一個範圍。範圍指定部140舉例來說，指定由來自於使用者操作部的使用者操作所選擇的一個範圍。使用者操作部是連接範圍指定部140的裝置，或是範圍指定部140的一部分。使用者操作部舉例來說，是如第11圖所示那樣的平板PC的觸控面板。當使用者從觸控面板顯示的複數個範圍之中，透過點擊操作等選擇一個範圍，則範圍指定部140將指定所選擇的範圍。
〈位置姿勢估計部150〉 位置姿勢估計部150使用範圍指定部140指定的範圍當中包含的3維地圖，估計對象物的位置以及姿勢。作為估計位置以及姿勢之技術的例子，有一種結合BoW以及N點透視(Perspective N Points，PnP)的方法。
《1-2》運作 第12圖(A)為一流程圖，表示3維地圖產生處理；第12圖(B)為一流程圖，表示位置姿勢估計處理。首先，如第12圖(A)所示，3維地圖產生部110對每一個對象物產生一個第一3維地圖(步驟S11、S12)。接著，樓層平面圖登錄部120將第一3維地圖登錄於樓層平面圖300(步驟S13)。對象物的個數有幾個，步驟S11~S13的處理就重複執行幾次，其結果為，產生了大規模的第二3維地圖。所有對象物的登錄結束後，範圍分割部130將第二3維地圖分割為複數個範圍(步驟S14)。
接著，如第12圖(B)所示，執行使用3維地圖的位置以及姿勢的估計。首先，範圍指定部140基於使用者操作，選擇指定範圍，意即使用者需要的近似範圍(步驟S21)。其後，位置姿勢推定部150使用指定範圍內的3維地圖，估計位置以及姿勢(步驟S22)。
第13圖為一流程圖，表示3維地圖作成裝置100的樓層平面圖登錄部120執行的樓層平面圖登錄處理(步驟S13)。首先，地面檢測部121執行地面的檢測(步驟S131~S135)。舉例來說，地面檢測部121檢測出複數個平面之後(步驟S131~S133)，藉由從複數個平面之中求出能夠視為地面的最大平面，以檢測出地面(步驟S134~S135)。之後，外部參數計算部122算出使用地面與樓層平面圖300的關係之移動量，外部參數輸入部123從透過使用者操作輸入的平行移動量、以及繞地面法線的旋轉量當中，求出移動量(步驟S136~S137)。接著，外部參數作用部124讓外部參數，即讓這兩個移動量，作用於3維地圖(步驟S138)。
第14圖為一流程圖，表示3維地圖作成裝置100的範圍分割部130執行的範圍分割處理。首先，影像特徵算出部131使用BoW等算出影像特徵，當影像特徵互相類似時，將該資訊追加到規則之中。若將3維地圖的第一個迴圈(步驟S141)的索引值設為i(這裡的i為0以上N以下的整數)，將第二個迴圈(步驟S143)的索引值設為j(這裡的i為0以上N以下的整數)，則影像特徵算出部131在i>j時計算計算3維地圖的類似度(步驟S141~S147)。第15圖用以說明計算類似度的情況與不計算類似度的情況。換言之，第15圖的白色範圍時計算類似度，斜線範圍時不計算類似度。
第16圖為一流程圖，表示3維地圖作成裝置100的範圍分割部130執行的類似判定處理。如第16圖所示，範圍分割部130的影像特徵算出部131首先計算兩個影像特徵的距離。若將這裡的影像特徵設為向量V1 、向量V2 ，則範圍分割部130舉例來說，使用以下的算式(11)表示的歐式距離(Euclidean Distance)，作為兩個影像特徵的距離。
[數學式9]
Figure 02_image025
(11)
影像特徵算出部131計算兩個影像特徵的距離(步驟S1402)，將求出最小距離的處理(步驟S1403、S1404)重複執行N(j)次(步驟S1401)，N(j)意即3維地圖的個數，並將步驟S1401~S1404的處理重複執行N(i)次(步驟S1400)，N(i)意即3維地圖的個數。影像特徵算出部131求出影像特徵的最小距離後，若最小距離小於α (步驟S1405為true)，則判定為類似並結束處理；若最小距離大於等於α (步驟S1405為false)，則判定為不類似並結束處理。這裡的α 是預先設定的值；舉例來說，為開發者或使用者設定的參數。
規則用上述的處理決定好之後，分群部132基於規則執行分群(第14圖的步驟S148~S151)。第14圖是使用分割叢聚法(Divisive Clustering)，也就是階層型分群，進行分群之例。首先，分群部132將分割對象的3維地圖進行範圍分割。這裡假設分割的3維地圖為C1、C2。分群部132進行範圍分割，使得離3維地圖C1的中心位置近的其它3維地圖，屬於C1類別；離3維地圖C2的中心位置近的其它3維地圖，屬於C2類別。分群部132重複這樣的3維地圖的範圍分割，執行最終的範圍分割。
《1-3》效果 如以上說明，關於實施形態1的3維地圖作成裝置100，使用SLAM作成小規模的至少一個第一3維地圖，藉由將至少一個第一3維地圖配置於樓層平面圖300上，以作成大規模的第二3維地圖(例如，屋內環境整體的3維地圖)。作成第一3維地圖時，由於SLAM所累積的位置誤差較小，因此抑制了第二3維地圖的位置誤差。因此，關於實施形態1的3維地圖作成裝置100，能夠作成位置誤差小的大規模3維地圖。
《2》實施形態2 《2-1》構成 第17圖為一功能方塊圖，概略地表示關於實施形態2的3維地圖作成裝置101的構成。第17圖中，對於與第4圖所示的構成要素相同或相對應的構成要素，所賦予的符號與第4圖所示的符號相同。與關於實施形態1的3維地圖作成裝置100的不同之處在於：關於實施形態2的3維地圖作成裝置101，具有內容登錄部160、以及內容重疊顯示部170。另外，3維地圖作成裝置101的HW構成，與第3圖所示的相同。
內容登錄部160使用至少一個對象物的各個第一3維地圖，將重疊顯示的內容的位置登錄於顯示各對象物的影像。內容重疊顯示部170將已經登錄的內容重疊於相機22拍攝的影像，讓顯示器30顯示。舉例來說，內容能夠包含：表示線或者平面等的圖形與對象物的資訊、表示立方體或者球等的圖形與對象物的資訊、或是以上這些的組合。
《2-2》運作 第18圖(A)為一流程圖，表示3維地圖作成裝置101執行的3維地圖產生處理；第18圖(B)為一流程圖，表示3維地圖作成裝置101為了要內容重疊顯示所執行的處理。第18圖(A)以及(B)當中，針對與第12圖(A)以及(B)相同的處理步驟，所賦予的符號與第12圖(A)以及(B)的處理步驟當中的符號相同。如第18圖(A)所示，與關於實施形態1的3維地圖作成裝置100的不同之處在於：關於實施形態2的3維地圖作成裝置101，執行內容登錄處理(步驟S15)，內容登錄處理登錄內容的位置，內容重疊於影像並顯示，影像顯示各對象物。另外，如第18圖(B)所示，關於實施形態2的3維地圖作成裝置101，執行內容顯示(步驟S23)，將內容登錄處理當中所登錄的內容，與顯示各對象物的影像重疊顯示。
《2-3》效果 如以上說明，關於實施形態2的3維地圖作成裝置101，使用SLAM作成小規模的至少一個第一3維地圖，藉由將至少一個第一3維地圖配置於樓層平面圖300上，以作成大規模的第二3維地圖(例如，屋內環境整體的3維地圖)。作成第一3維地圖時，由於SLAM所累積的位置誤差較小，因此抑制了第二3維地圖的位置誤差。因此，關於實施形態2的3維地圖作成裝置101，如第2圖(A)所示，能夠將內容重疊顯示於適當的位置。
實施形態2關於上述以外的點，與實施形態1相同。
《3》實施形態3 《3-1》構成 第19圖為一功能方塊圖，概略地表示關於實施形態3的3維地圖作成裝置102的構成。第19圖中，對於與第4圖所示的構成要素相同或相對應的構成要素，所賦予的符號與第4圖所示的符號相同。與關於實施形態1的3維地圖作成裝置100的不同之處在於：關於實施形態3的3維地圖作成裝置102，具有相對移動距離估計部180。另外，3維地圖作成裝置102的HW構成，與第3圖所示的相同。
如實施形態1當中的說明，位置姿勢估計部150，基於對象物及其周邊的小規模的第一3維地圖，估計對象物的位置以及姿勢。然而，如果要估計遠離第一3維地圖的場所當中存在的物體之位置以及姿勢，就必須要求出距離估計位置以及姿勢成功的場所之相對的移動距離。關於實施形態3的3維地圖作成裝置102，藉由設置相對移動距離估計部180，而具有算出相對的移動距離之功能。
《3-2》運作 第20圖(A)為一流程圖，表示3維地圖作成裝置102執行的3維地圖產生處理；第20圖(B)為一流程圖，表示3維地圖作成裝置102執行的位置姿勢估計處理。第20圖(A)以及(B)當中，針對與第12圖(A)以及(B)相同的處理步驟，所賦予的符號與第12圖(A)以及(B)的處理步驟當中的符號相同。如第20圖(B)所示，與關於實施形態1的3維地圖作成裝置100的不同之處在於：關於實施形態3的3維地圖作成裝置102，執行求出相對的移動距離的處理(步驟S24、S25)。
為了估計相對的移動距離，舉例來說，可以使用以下的方法。第1個方法，是使用SLAM的方法。這方法使用相機拍攝的影像、或是距離感測器21檢測出的感測資料、或是這兩者，來求出移動量。這方法舉例來說，藉由依照順序累算沿著時間方向排列的兩個畫格(Frame)間的移動量，來求出移動量。
第2個方法，是將使用陀螺儀感測器23、加速度感測器24、地磁感測器25當中至少一個的終止推算法(Dead Reckoning)，與相機拍攝的影像以及距離感測器21檢測出的感測資料組合的方法。終止推算法是使用陀螺儀感測器23、加速度感測器24、地磁感測器25等，來求出移動量的方法。這方法透過加速度的積分與陀螺儀感測器23，求出移動速度與移動方向，再將速度積分，藉以求出移動距離。
第3個方法，是使用行人終止推算法(Pedestrian Dead Reckoning)的方法。第3個方法從陀螺儀感測器23以及加速度感測器24的感測資料當中，求出步伐以及步數，再從這些項目當中求出移動距離。
《3-3》效果 如以上說明，關於實施形態3的3維地圖作成裝置102，使用SLAM作成小規模的至少一個第一3維地圖，藉由將至少一個第一3維地圖配置於樓層平面圖300上，以作成大規模的一個第二3維地圖(例如，屋內環境整體的3維地圖)。作成第一3維地圖時，由於SLAM所累積的位置誤差較小，因此減低了第二3維地圖的位置誤差。因此，關於實施形態3的3維地圖作成裝置102，如第2圖(A)所示，能夠將內容重疊顯示於適當的位置。另外，即使在遠離第一3維地圖的場所，也能夠估計位置以及姿勢。
實施形態3關於上述以外的點，與實施形態1相同。另外，也可以讓相對移動距離估計部180具備在實施形態2的構成之中。
10:電腦 11:處理器 12:記憶體 21:距離感測器 22:相機 23:陀螺儀感測器 24:加速度感測器 25:地磁感測器 30:顯示器 40:3維地圖DB 100~102:3維地圖作成裝置 110:3維地圖產生部 120:樓層平面圖登錄部 121:地面檢測部 122:外部參數計算部 123:外部參數輸入部 124:外部參數作用部 130:範圍分割部 131:影像特徵算出部 132:分群部 140:範圍指定部 150:位置姿勢估計部 160:內容登錄部 170:內容重疊顯示部 180:相對移動距離估計部 201:地板 202:掃描結果 210:平板PC 211:影像 212:內容 300:樓層平面圖 301~305:對應區域 400:第一3維地圖 A1~A3:機器 S11~S15:步驟 S21~S25:步驟 S131~S138:步驟 S141~S151:步驟 S1400~S1405:步驟 #1~#4:範圍 +Rx:朝向+x軸的順時針方向 +Ry:朝向+y軸的順時針方向 +Rz:朝向+z軸的順時針方向 -Rx:朝向+x軸的逆時針方向 -Ry:朝向+y軸的逆時針方向 -Rz:朝向+z軸的逆時針方向
第1圖(A)表示現實的一片地板，即SLAM產生的3維地圖做成的對象區域；第1圖(B)表示SLAM一邊沿著一片地板的壁面移動，一邊掃描屋內環境時的掃描結果，意即位置誤差累積的情形。 第2圖(A)表示平板PC，將作為虛擬視覺資訊的內容，與表示真實存在的對象物之影像正常重疊顯示；第2圖(B)表示平板PC，將內容與表示真實存在的對象物之影像不正常重疊顯示。 第3圖表示關於本發明實施形態1的3維地圖作成裝置的硬體構成之例。 第4圖為一功能方塊圖，概略地表示關於實施形態1的3維地圖作成裝置的構成。 第5圖(A)為一平面圖，表示樓層平面圖之例；第5圖(B)為一斜視圖，表示以小規模的第一3維地圖表示的對象物之例。 第6圖(A)為一斜視圖，表示繞著第一3維地圖的xyz軸旋轉；第6圖(B)為一平面圖，表示繞著第一3維地圖的地面法線旋轉。 第7圖為一功能方塊圖，概略地表示第4圖所示的樓層平面圖登錄部的構成。 第8圖表示xyz正交座標系的樓層平面圖之例。 第9圖表示由第4圖所示的範圍分割部執行的範圍分割處理。 第10圖為一功能方塊圖，概略地表示第4圖所示的範圍分割部的構成。 第11圖表示使用關於實施形態1的3維地圖作成裝置的範圍指定部在範圍指定操作時的畫面。 第12圖(A)為一流程圖，表示3維地圖產生處理；第12圖(B)為一流程圖，表示位置姿勢估計處理。 第13圖為一流程圖，表示關於實施形態1的3維地圖作成裝置的樓層平面圖登錄部執行的樓層平面圖登錄處理。 第14圖為一流程圖，表示關於實施形態1的3維地圖作成裝置的範圍分割部執行的範圍分割處理。 第15圖用以說明計算類似度的情況與不計算類似度的情況。 第16圖為一流程圖，表示關於實施形態1的3維地圖作成裝置的範圍分割部執行的類似判定處理。 第17圖為一功能方塊圖，概略地表示關於本發明實施形態2的3維地圖作成裝置的構成。 第18圖(A)為一流程圖，表示3維地圖產生處理；第18圖(B)為一流程圖，表示用以內容重疊顯示的處理。 第19圖為一功能方塊圖，概略地表示關於本發明實施形態2的3維地圖作成裝置的構成。 第20圖(A)為一流程圖，表示3維地圖產生處理；第20圖(B)為一流程圖，表示位置姿勢估計處理。
100:3維地圖作成裝置
110:3維地圖產生部
120:樓層平面圖登錄部
130:範圍分割部
140:範圍指定部
150:位置姿勢估計部

Claims (9)

  1. 一種3維地圖作成裝置，包含： 3維地圖產生部，基於在地板上移動的感測器檢測出的感測資料，對每一個包含對象物在內的區域產生一個第一3維地圖；以及 樓層平面圖登錄部，取得前述地板的樓層平面圖，藉由將前述3維地圖產生部產生的至少一個第一3維地圖配置於前述樓層平面圖上，以產生包含前述至少一個第一3維地圖在內的第二3維地圖。
  2. 如請求項1之3維地圖作成裝置，更包含： 範圍分割部，將前述第二3維地圖分割為複數個範圍。
  3. 如請求項2之3維地圖作成裝置，更包含： 範圍指定部，將前述複數個範圍之中的任何一個指定為指定範圍；以及 位置姿勢估計部，使用配置於前述至少一個第一3維地圖之中的前述指定範圍內的第一3維地圖，估計存在於前述指定範圍內的對象物的位置以及姿勢。
  4. 如請求項1至3任何一項之3維地圖作成裝置， 其中，前述樓層平面圖登錄部，包含： 地面檢測部，檢測出複數個平面，從前述複數個平面之中檢測出對應前述地板的地面； 外部參數計算部，使用前述地面算出第一外部參數，前述第一外部參數係基於前述感測器的移動量； 外部參數輸入部，產生第二外部參數，前述第二外部參數係基於使用者輸入而取得的移動量；以及 外部參數作用部，基於前述第一外部參數以及前述第二外部參數，補正前述第二3維地圖。
  5. 如請求項2或3之3維地圖作成裝置， 其中，前述範圍分割部，包含： 影像特徵算出部，基於前述第一3維地圖的特徵的類似度，算出影像的特徵；以及 分群部，基於前述類似度，分割前述範圍。
  6. 如請求項1至3任何一項之3維地圖作成裝置，更包含： 內容登錄部，登錄內容的位置，前述內容重疊於影像顯示，前述影像使用每一個包含前述對象物在內的區域之第一3維地圖，顯示各對象物；以及 內容重疊顯示部，將前述內容重疊於相機拍攝的影像，讓顯示器顯示。
  7. 如請求項1至3任何一項之3維地圖作成裝置，更包含： 相對移動距離估計部，算出到物體的相對移動距離，前述物體存在於遠離前述第一3維地圖的地方。
  8. 一種3維地圖作成方法，包含： 基於在地板上移動的感測器檢測出的感測資料，對每一個包含對象物在內的區域產生一個第一3維地圖之步驟；以及 取得前述地板的樓層平面圖，藉由將產生的至少一個第一3維地圖配置於前述樓層平面圖上，以產生包含前述至少一個第一3維地圖在內的第二3維地圖之步驟。
  9. 一種記錄媒體，記錄3維地圖作成程式，前述3維地圖作成程式致使電腦執行： 基於在地板上移動的感測器檢測出的感測資料，對每一個包含對象物在內的區域產生一個第一3維地圖之處理；以及 取得前述地板的樓層平面圖，藉由將產生的至少一個第一3維地圖配置於前述樓層平面圖上，以產生包含前述至少一個第一3維地圖在內的第二3維地圖之處理。
TW109116874A 2019-12-06 2020-05-21 3維地圖作成裝置、3維地圖作成方法以及記錄媒體 TW202123157A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/047794 WO2021111613A1 (ja) 2019-12-06 2019-12-06 ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
WOPCT/JP2019/047794 2019-12-06

Publications (1)

Publication Number Publication Date
TW202123157A true TW202123157A (zh) 2021-06-16

Family

ID=76221169

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116874A TW202123157A (zh) 2019-12-06 2020-05-21 3維地圖作成裝置、3維地圖作成方法以及記錄媒體

Country Status (3)

Country Link
JP (1) JPWO2021111613A1 (zh)
TW (1) TW202123157A (zh)
WO (1) WO2021111613A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI833122B (zh) * 2021-10-22 2024-02-21 中光電智能機器人股份有限公司 空間靜態地圖建構方法及系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4352148B2 (ja) * 2003-03-14 2009-10-28 独立行政法人科学技術振興機構 移動ロボット用地図作成システム
JP5339953B2 (ja) * 2009-02-17 2013-11-13 三菱電機株式会社 三次元地図補正装置及び三次元地図補正プログラム
JP6025557B2 (ja) * 2012-12-27 2016-11-16 キヤノン株式会社 画像認識装置、その制御方法及びプログラム
JP2014146267A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 歩行者検出装置、運転支援装置
JP6071746B2 (ja) * 2013-05-21 2017-02-01 三菱電機ビルテクノサービス株式会社 情報提供装置及び情報提供システム
JP6721117B2 (ja) * 2017-04-10 2020-07-08 三菱電機株式会社 地図管理装置および自律移動体制御装置
US10365660B2 (en) * 2017-10-31 2019-07-30 Savioke, Inc. Computer system and method for automated indoor surveying by robots
JP2019174920A (ja) * 2018-03-27 2019-10-10 株式会社日立ソリューションズ 物品管理システム、及び物品管理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI833122B (zh) * 2021-10-22 2024-02-21 中光電智能機器人股份有限公司 空間靜態地圖建構方法及系統

Also Published As

Publication number Publication date
JPWO2021111613A1 (ja) 2021-12-09
WO2021111613A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
US11127203B2 (en) Leveraging crowdsourced data for localization and mapping within an environment
US9953461B2 (en) Navigation system applying augmented reality
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US20200011668A1 (en) Simultaneous location and mapping (slam) using dual event cameras
US10636168B2 (en) Image processing apparatus, method, and program
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
US10930008B2 (en) Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image
US7529387B2 (en) Placement information estimating method and information processing device
WO2012023593A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
JP6762913B2 (ja) 情報処理装置、情報処理方法
Brunetto et al. Fusion of inertial and visual measurements for rgb-d slam on mobile devices
Cheng et al. AR-based positioning for mobile devices
US10843068B2 (en) 6DoF inside-out tracking game controller
Huttunen et al. A monocular camera gyroscope
TW202123157A (zh) 3維地圖作成裝置、3維地圖作成方法以及記錄媒體
JP7420135B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220343661A1 (en) Method and device for identifying presence of three-dimensional objects using images
Hasler et al. Implementation and first evaluation of an indoor mapping application using smartphones and AR frameworks
CN115240140A (zh) 基于图像识别的设备安装进度监控方法及系统
Li et al. A combined vision-inertial fusion approach for 6-DoF object pose estimation
US20220051018A1 (en) Method and device for detecting a vertical planar surface
Forsman et al. Extended panorama tracking algorithm for augmenting virtual 3D objects in outdoor environments
US11282280B2 (en) Method and system for node vectorisation
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
JPH07160893A (ja) ３次元形状復元方法