TW201734954A

TW201734954A - 資料處理裝置、資料處理方法以及資料處理程式產品

Info

Publication number: TW201734954A
Application number: TW105117710A
Authority: TW
Inventors: Takeo Kawaura; Takahiro Kashima
Original assignee: Mitsubishi Electric Corp
Priority date: 2016-03-24
Filing date: 2016-06-04
Publication date: 2017-10-01
Also published as: WO2017163384A1; JPWO2017163384A1; JP6293386B2

Abstract

世界座標設定部(7)取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料。另外，世界座標設定部(7)從該點群資料的該等複數點當中，抽出相當於包含於該物體的拍攝圖像中之圖像特徵點的點，並使得設定於所抽出的點之三維座標與該圖像特徵點對應。

Description

資料處理裝置、資料處理方法以及資料處理程式產品

本發明係關於圖像處理技術。

擴增實境(AR，Augmented Reality)顯示系統，從被寫體的3D(3 dimensional)形狀資料和質地資料產生被寫體展開圖像，檢查被寫體展開圖像的圖像特徵點，並追蹤被寫體。

專利文獻1中教示了由圖像輸入部、展開圖特徵表現部、資料庫、資料庫特徵表現部、查對部及顯示部構成的AR顯示系統。

圖像輸入部輸入由攝影機等拍攝而得的RGB圖像。

展開圖特徵表現部從透過圖像輸入部所輸入的被寫體3D模型和質地產生展開圖像，抽出圖像特徵點，並算出圖像特徵量。

資料庫事先儲存從任意的位置(座標、方向)拍攝各種物體的圖像。

資料庫特徵表現部，從資料庫讀取圖像，抽出圖像特徵點，並算出局部描述子。

查對部，比較由展開圖特徵表現部和資料庫特徵表現部算出的圖像特徵點的局部描述子，並找出最相似的資料庫內的圖像，求出拍攝時攝影機相對於物體的位置。

顯示部為例如顯示裝置。

先行技術文獻

[專利文獻]

專利文獻1：特開2014-102746號公報

專利文獻1的AR顯示系統中，有著必須在事前將龐大資料量的圖像儲存在資料庫中的問題。另外，專利文獻1的AR顯示系統中，有著必須快速地從3D模型和質地產生展開圖像的問題。

本發明的主要目的在於解決上述問題，其主要目的在於無須事前將圖像儲存在資料庫，也無須產生展開圖像，並能使AR顯示高速化。

本發明之資料處理裝置，其包括：點群資料取得部，取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料；及對應賦予部，從該點群資料的該等複數點當中，抽出相當於包含於該物體的拍攝圖像中之圖像特徵點的點，並使得設定於所抽出的點之三維座標與該圖像特徵點對應。

本發明中，使得相當於拍攝圖像內的圖像特徵點之點的三維座標對應於圖像特徵點。因此，依據本發明，僅持有圖像特徵點的三維座標，就能藉此顯著減少資料量。

另外，在本發明中，所持有的點群資料的資料量少，所以能夠快速進行檢索。再者，在本發明中，用點群資料來處理物體的三維形狀，因此無須產生展開圖像，亦無須事前將RGB圖像儲存在資料庫中，能夠使AR顯示高速化。

1‧‧‧AR顯示裝置

2‧‧‧圖像輸入部

3‧‧‧RGB圖像產生部

4‧‧‧點群資料產生部

5‧‧‧註解圖像輸入部

6‧‧‧註解圖像編輯部

7‧‧‧世界座標設定部

8‧‧‧透視投影部

9‧‧‧AR重疊部

10‧‧‧顯示部

11‧‧‧圖像特徵點抽出部

12‧‧‧AR用資料輸出部

13‧‧‧AR用資料

14‧‧‧位置推定部

15‧‧‧AR編輯裝置

16‧‧‧AR用資料輸入部

21‧‧‧CPU

22‧‧‧3D感測器

23‧‧‧記憶體

25‧‧‧GPU

26‧‧‧訊框記憶體

27‧‧‧RAMDAC

28‧‧‧顯示器

29‧‧‧鍵盤/滑鼠

50‧‧‧圖像

51‧‧‧文本

100‧‧‧AR顯示裝置

第1圖為顯示實施形態1的AR顯示裝置之功能構成例之圖。

第2圖為顯示實施形態1的AR顯示裝置之動作例的流程圖。

第3圖為顯示實施形態2的AR顯示裝置的功能構成例之圖。

第4圖為顯示實施形態2的AR顯示裝置之動作例的流程圖。

第5圖為顯示實施形態3的AR顯示裝置的功能構成例之圖。

第6圖為顯示實施形態3的AR顯示裝置的動作例之流程圖。

第7圖為顯示實施形態1~3的AR顯示裝置的硬體構成例之圖。

第8圖為顯示實施形態1的圖像之例的圖。

第9圖為顯示實施形態1的將註解圖像重疊在圖像之例的圖。

第10圖為顯示實施形態2的圖像特徵點之例的圖。

實施形態1

構成之說明

第1圖顯示本實施形態的AR顯示裝置1的功能構成例。

另外，第7圖顯示本實施形態的AR顯示裝置1的硬體構成例。

再者，AR顯示裝置1為資料處理裝置之例。另外，AR顯示裝置1所執行之處理相當於資料處理方法及資料處理程式之例。

首先，說明本實施形態的AR顯示裝置1的概要。

本實施形態的AR顯示裝置1取得點群資料和註解圖像。

點群資料為表示作為被寫體之物體的三維形狀的資料。點群資料由複數的點所構成。點群資料通常為數萬個點的集合體。在點群資料之各點設定了三維座標(以下亦稱之為3D座標)。

註解圖像為重疊於物體的拍攝圖像之圖像。

第9圖顯示將假想的地下配管的註解圖像重疊在第8圖所示之道路的拍攝圖像所得到的AR圖像。

第9圖所示之表示配管形狀的圖像50(圖形)、和表示配管屬性(第9圖中為配管的尺寸)之文本(text)51為註解圖像。

AR顯示裝置1取得例如表示人孔的圓柱的圖像50，將此圓柱的圖像50顯示於圖像中的人孔之位置。另外，AR顯示裝置1取得表示配管之尺寸的文本51，將已取得的文本51顯示在圖像中的適當的位置。

如上述，在顯示註解圖像的圖像50及文本51時，AR顯示裝置1從點群資料的複數個點當中選擇任意點，並使得已選擇的點之三維座標對應於註解圖像的圖像50或文本51。

繼之，參見第7圖，說明AR顯示裝置1的硬體構成例。

如第7圖所示，AR顯示裝置1為具有CPU(Central Processing Unit)21、記憶體23、GPU(Graphics Processing Unit)25、訊框記憶體26、RADAC(Random Access Memory Digital-to-Analog Converter)27的電腦。

CPU21執行實現第1圖所示之註解圖像編輯部6、世界座標設定部7及透視投影部8的程式。亦即，註解圖像編輯部6、世界座標設定部7及透視投影部8係藉由程式而實現。

另外，GPU25執行實現AR重疊部9的程式。亦即，AR重疊部9係藉由程式而實現。GPU25，當執行AR重疊部9的程式動作時，使用RAMDAC27。

實現註解圖像編輯部6、世界座標設定部7及透視投影部8的程式、實現AR重疊部9的程式係儲存在記憶體23中。CPU21從記憶體23讀取實現註解圖像編輯部6、世界座標設定部7及透視投影部8的程式，並執行該程式。另外，GPU25讀取實現AR重疊部9的程式，並執行該程式。

訊框記憶體26儲存註解圖像。

另外，AR顯示裝置1連接於3D感測器22、鍵盤/滑鼠29、顯示器28。

3D感測器22，實現第1圖所示之圖像輸入部2、RGB圖像產生部3及點群資料產生部4。

鍵盤/滑鼠29實現第1圖所示之註解圖像輸入部5。

顯示器28實現顯示部10。

繼之，參見第1圖，說明AR顯示裝置1的功能構成例。

AR顯示裝置1由註解圖像編輯部6、世界座標設定部7、透視投影部8及AR重疊部9構成。

註解圖像編輯部6從註解圖像輸入部5取得文本或圖形等的註解圖像，並編輯已取得的註解圖像。

世界座標設定部7將註解圖像的三維座標設定於點群資料內的任意之點。

更具體言之，世界座標設定部7取得表示被寫體的三維形狀之點群資料。

另外，世界座標設定部7從點群資料的複數個點當中選擇任意點，將設定於已選擇之點的三維圖像與註解圖像對應。世界座標設定部7藉由所選擇的點(點群資料的點)來定義註解圖像的重疊位置。例如，指定第9圖的文本51之矩形的左上頂點之RGB圖像(亦稱之為拍攝圖像)的位置和右上頂點的RGB圖像的位置，以定義和文本51的RGB圖像的重疊位置。世界座標設定部7依照AR顯示裝置1的操作者下達的指示，從點群資料的複數個點當中，選擇對應於文本51的矩形之左上頂點的RGB圖像的位置之點、以及對應文本51的矩形之右下頂點的RGB圖像的位置之點。

世界座標設定部7為點群資料取得部及對應賦予部之例。另外，世界座標設定部7所執行之動作為點群資料取得處理及對應賦予處理之例。

透視投影部8將3D座標上的註解圖像投射到二維座標(以下亦稱之為2D座標)。

AR重疊部9，將透視投影部8投射到2D座標的註解圖像重疊於RGB圖像。

另外，在第1圖中，圖像輸入部2同時計測被寫體的色調和距離。

RGB圖像產生部3，從被寫體的色調產生RGB圖像。

點群資料產生部4從到被寫體的距離產生點群資料。

RGB圖像和點群資料中，從同樣的位置、同樣的角度來捕捉同一個被寫體。亦即，3D感測器22對同一個被寫體同時進行RGB圖像的產生和點群資料的產生。

註解圖像輸入部5藉由鍵盤或滑鼠等輸入文本或圖形等的註解圖像。

顯示部10顯示AR重疊部9的重疊結果。

如前所述，圖像輸入部2、RGB圖像產生部3及點群資料產生部4由第7圖所示3D感測器22實現。

另外，註解圖像輸入部5由第7圖所示之鍵盤/滑鼠29實現。

另外，顯示部10由第7圖所示顯示器28實現。

動作的說明

繼之，基於第1圖，說明本實施形態的AR顯示裝置1的動作。

圖像輸入部2將被寫體的色調和距離的計測結果輸入到RGB圖像產生部3和點群資料產生部4。

RGB圖像產生部3產生RGB圖像，並將已產生的RGB圖像輸入AR重疊部9。

點群資料產生部4產生被寫體外形的3D座標之點群資料，並將已產生的點群資料輸入世界座標設定部7。

註解圖像輸入部5產生文本或圖形等的註解圖像，並將已產生的註解圖像輸入註解圖像編輯部6。

註解圖像編輯部6編輯文本或圖形等的註解圖像，並將編輯後的註解圖像輸入世界座標設定部7。

世界座標設定部7取得註解圖像和點群資料。然後，世界座標設定部7從點群資料的複數個點當中選擇任意的點，將設定於已選擇點的3D座標對應於註解圖像，以得到3D座標的註解圖像。再者，世界座標設定部7將3D座標的註解圖像輸入透視投影部8。

透視投影部8取得3D座標的註解圖像，將3D座標的註解圖像投射到2D座標。另外，透視投影部8將投射到2D座標的註解圖像輸入到AR重疊部9。

AR重疊部9取得投射到2D座標的註解圖像，將投射於2D座標的註解圖像重疊於RGB圖像。另外，AR重疊部9將重疊結果輸入顯示部10。

顯示部10將AR重疊部9的重疊結果顯示作為對於被寫體的AR顯示。

繼之，參照第2圖的流程圖，說明本實施形態的AR顯示裝置1之動作例。

圖像輸入(步驟S2)中，圖像輸入部2拍攝被寫體。更具體言之，圖像輸入(步驟S2)中，3D感測器22拍攝被寫體。

RGB圖像產生(步驟S3)中，RGB圖像產生部3產生RGB圖像。更具體言之，RGB圖像產生(步驟S3)中，藉由3D感測器22內的CCD(Charge Coupled Device)影像感測器、或者CMOS(Complementary Metal Oxide Semiconductor)影像感測器等，對被寫體產生具有紅、綠、藍的色彩資訊的RGB圖像。

點群資料產生(步驟S4)中，點群資料產生部4產生點群資料。更具體言之，點群資料產生(步驟S4)中，基於從3D感測器22內的紅外線輸出器射出的紅外線由被寫體反射回到紅外線受光器的時間，產生以3D感測器為原點的被寫體外形的3D座標之點集合的點群資料。

註解圖像輸入(步驟S5)中，註解圖像輸入部5將註解圖像輸入註解圖像編輯部6。

更具體言之，註解圖像輸入(步驟S5)中，AR顯示裝置1的操作者藉由鍵盤或滑鼠等的操作，而將註解圖像輸入AR顯示裝置1。

註解圖像編輯(步驟S6)中，註解圖像編輯部6進行註解圖像內的文本及圖像的編輯。

世界座標設定(步驟S7)中，將被寫體的點群資料中的任意點的3D座標賦予註解圖像。

更具體言之，世界座標設定部7，依照AR顯示裝置1的操作者的指示，選擇點群資料的複數點當中的任意點，並將已選擇之點的3D座標對應於註解圖像。

透視投影(步驟S8)中，透視投影部8將3D座標的註解圖像投射到2D座標。

更具體言之，透視投影部8藉由例如後述之公式1所示之投影轉換，將註解圖像的三維座標(X,Y,Z)轉換為投影圖像的座標(u,v)。在公式1中，[R|t]為3D感測器22的位置。另外，「R」為表示3D感測器22的方向等的旋轉矩陣(rotation matrix)、「t」為表示3D感測器22的座標之平移向量。另外，公式1的「A」為3D感測器22之內部參數的固定值。

AR重疊(步驟S9)中，AR重疊部9將註解圖像的投影圖像重疊於RGB圖像。

顯示(步驟S10)中，顯示部10顯示AR重疊(步驟S9)的重疊結果。

實施形態之效果的說明

如上述，依據本實施形態，將註解圖像映射於被寫體的3D座標之點群資料，藉此，能夠實現將跟隨任意的3D感測器之位置的註解的投影圖像重疊於RGB圖像重疊的AR。

實施形態2

構成的說明

第3圖顯示本實施形態的AR編輯裝置15的功能構成例。

本實施形態的AR編輯裝置15亦為資料處理裝置之例。另外，本實施形態的AR編輯裝置15所執行之處理亦相當於資料處理方法及資料處理程式之例。

再者，AR編輯裝置15的硬體構成例和實施形態1的AR顯示裝置1相同，如第7圖所示。

第3圖的AR編輯裝置15中，從第1圖的AR顯示裝置1的構成中去除了透視投影部8、AR重疊部9及顯示部10。

另一方面，第3圖的AR編輯裝置15中，在第1圖的AR顯示裝置1的構成中，再加上圖像特徵點抽出部11、AR用資料輸出部12及AR用資料13。

圖像特徵點抽出部11、AR用資料輸出部12由程式實現，此程式由第7圖的CPU21執行。

圖像特徵點抽出部11解析RGB圖像，抽出RGB圖像的圖像特徵點。圖像特徵點主要為RGB圖像的不連續點。第10圖的各點表示圖像特徵點。圖像特徵點抽出部11藉由例如Harris法、KTK法、Canny法、零交叉點法、弛緩法、Hough轉換、動的輪廓法、水平集(level set)方法等來抽出圖像特徵點。

AR用資料13為記錄了圖像特徵點的世界座標系之3D座標的資料。

AR用資料輸出部12將AR用資料13輸出到AR編輯裝置15的外部。

在第3圖中，圖像輸入部2、RGB圖像產生部3、點群資料產生部4、註解圖像輸入部5、註解圖像編輯部6和實施形態1相同，故省略其說明。

本實施形態中，世界座標設定部7和實施形態1相同，從點群資料的複數點當中選擇任意點，並將設定於已選擇的點之三維座標對應於註解圖像。另外，世界座標設定部7，從點群資料的複數點當中抽出相當於圖像特徵點的點，並將設定於已抽出之點的三維座標對應於圖像特徵點。

以下主要說明和實施形態1之相異處。以下未說明的事項則與實施形態1相同。

動作的說明

繼之，基於第3圖，說明本實施形態的AR編輯裝置15的動作。

再者，第3圖的圖像輸入部2、RGB圖像產生部3、點群資料產生部4、註解圖像輸入部5、註解圖像編輯部6的動作和第1圖相同，故省略其說明。

圖像特徵點抽出部11抽出RGB圖像的圖像特徵點，並將已抽出的圖像特徵點輸入世界座標設定部7。

世界座標設定部7和實施形態1相同，從註解圖像編輯部6取得註解圖像，從點群資料產生部4取得點群資料。而且，世界座標設定部7和實施形態1相同，從點群資料的複數點當中選擇任意點，並將設定於已選擇之點的三維座標對應於註解圖像。以下，將對應於註解圖像的三維座標稱之為第1三維座標。另外，世界座標設定部7從圖像特徵點抽出部11取得圖像特徵點，從點群資料的複數點當中抽出相當於已取得之圖像特徵點的點，並使得設定於已抽出的點之三維座標對應於圖像特徵點。以下，將對應於圖像特徵點的三維座標稱之為第2三維座標。世界座標設定部7將第1三維座標和第2三維座標作為AR用資料13輸入AR用資料輸出部12。

AR用資料輸出部12將AR用資料13輸出到AR編輯裝置15的外部。

繼之，參見第4圖的流程圖說明本實施形態的AR編輯裝置15的動作例。

第4圖的圖像輸入(步驟S2)、RGB圖像產生(步驟S3)、點群資料產生(步驟S4)、註解圖像輸入(步驟S5)、註解圖像編輯(步驟S6)和第2圖所示者相同，故省略其說明。

圖像特徵點抽出(步驟S11)中，圖像特徵點抽出部11從RGB圖像抽出圖像特徵點。再者，圖像特徵量係藉由各圖像特徵點之周邊畫素的輝度(亮度)的梯度來記述。

世界座標設定(步驟S7)中，世界座標設定部7產生記錄註解圖像和圖像特徵點的世界座標系之3D座標(第1三維座標和第2三維座標)的AR用資料13。

AR用資料輸出(步驟S12)中，AR用資料輸出部12將AR用資料輸出至AR編輯裝置15的外部。

實施形態效果之說明

如上述，依據本實施形態，能夠快速地產生從被寫體的RGB圖像抽出的圖像特徵點映射到3D座標的點群資料之AR用資料，而無須事前將圖像儲存在資料庫中，也無須產生展開圖像。

實施形態3

第5圖顯示本實施形態的AR顯示裝置100的功能構成例。

本實施形態的AR顯示裝置100亦為資料處理裝置之例。另外，本實施形態的AR顯示裝置100所執行的處理亦相當於資料處理方法及資料處理程式之例。

再者，本實施形態的AR顯示裝置100的硬體構成例和實施形態1的AR顯示裝置1相同，如第7圖所示。

第5圖的AR顯示裝置100中，從第1圖的AR顯示裝置1的構成中去除了點群資料產生部4、註解圖像輸入部5、註解圖像編輯部6、世界座標設定部7。

另一方面，第5圖的AR顯示裝置100中，在第1圖的AR顯示裝置1的構成中，再加上圖像特徵點抽出部11、位置推定部14及AR用資料輸入部16。

圖像特徵點抽出部11、位置推定部14由程式實現，此程式由第7圖的CPU21執行。

另外，AR用資料輸入部16由第7圖的鍵盤/滑鼠29實現。

圖像特徵點抽出部11和第3圖所示者相同，解析RGB圖像，抽出RGB圖像的圖像特徵點。再者，圖像特徵點抽出部11所執行的動作為圖像特徵點抽出處理之例。

AR用資料輸入部16取得AR用資料13。AR用資料13和實施形態2中所說明的相同。

位置推定部14，從圖像特徵點的世界座標系上的3D座標和RGB圖像內的2D座標(藉由圖像特徵點的3D座標之投影轉換所得到的圖像特徵點的2D座標)推定作為拍攝裝置的3D感測器22的位置。亦即，位置推定部14，基於圖像特徵點的3D座標、和圖像特徵點在RGB圖像中的2D座標，推定3D感測器22拍攝RGB圖像時的位置。再者，位置推定部14所執行之動作為位置推定處理之例。

動作的說明

繼之，基於第5圖，說明本實施形態的AR顯示裝置100的動作。

再者，第5圖的圖像輸入部2、RGB圖像產生部3、透視投影部8、AR重疊部9、顯示部10的動作和第1圖相同，故省略其說明。另外，圖像特徵點抽出部11的動作和第3圖相同，故省略其說明。

AR用資料輸入部16將AR用資料13輸入透視投影部8和位置推定部14。

位置推定部14，從圖像特徵點的世界座標系上的3D座標和RGB圖像內的2D座標推定3D感測器22的位置，並將所推定的3D感測器22位置輸入透視投影部8。

繼之，參照第6圖的流程圖說明本實施形態的AR顯示裝置1的動作例。

第6圖的圖像輸入(步驟S2)、RGB圖像產生(步驟S3)、透視投影(步驟S8)、AR重疊(步驟S9)、顯示(步驟S10)和第2圖所示者相同，故省略其說明。

另外，圖像特徵點抽出(步驟S11)的處理和第4圖相同，故省略其說明。

AR用資料輸入(步驟S16)中，AR用資料輸入部16將AR用資料13輸入透視投影部8。

位置推定(步驟S14)中，位置推定部14推定在RGB圖像中3D感測器22的位置。

具體言之，位置推定部14，藉由圖像特徵量的對照匹配檢出符合三維座標(X,Y,Z)的圖像特徵點之RGB圖像上的座標x。若將圖像特徵點的三維座標(X,Y,Z)依公式1再投影在RGB圖像的座標為x^，則再投影的誤差E為x和x^的歐幾里德距離d(x、x^)(再者，x的右斜上方有「^」的標記和公式2的x的正上方有「^」的標記相同)。再投影的誤差E可以用公式2求出。位置推定部14推定i個圖像特徵點之誤差E為最小的3D感測器22的位置(亦即，公式1的[R|t])，並以所推定出的[R|t]的值作為現在的3D感測器22的位置。

另外，位置推定部14將所推定的3D感測器22之位置輸入透視投影部8。

實施形態之效果的說明

如上述，依據本實施形態，於3D感測器的位置之推定中，使用了將從被寫體的RGB圖像抽出的圖像特徵點映射到3D座標資料的點群資料之AR用資料，於3D感測器的位置之推定中，不需要將事前儲存在資料庫中的3D感測器的各位置之RGB圖像與3D模型的展開圖像對照匹配，所以無需要兩圖像。

以上已針對本發明的實施形態進行說明，但也可以將這些實施形態當中的2個以上加以組合實施。

或者，也可以實施上述2個實施形態當中的一者的一部分。

或者，也可以將這些實施形態的2個以上之部分加以組合實施。

再者，本發明不限定於上述實施形態，而能夠因應需要進行種種變更。

[硬體構成說明]

最後補充說明硬體構成。

第7圖所示之CPU21及GPU25為進行處理之IC(Integrated Circuit)。

第7圖所示記憶體23及訊框記憶體26為RAM(Random Access Memory)、ROM(Read Only Memory)、快閃記憶體、HDD(Hard Disk Drive)等。

另外，記憶體23中記憶了OS(Operating System)。

而且，OS的至少一部份由CPU21執行。

CPU21一邊執行OS的至少一部分，一邊執行實現註解圖像編輯部6、世界座標設定部7、透視投影部8、圖像特徵點抽出部11、AR用資料輸出部12、位置推定部14之功能的程式。

CPU21執行OS，藉以執行任務管理、記憶體管理、檔案管理、通訊控制等。

另外，顯示註解圖像編輯部6、世界座標設定部7、透視投影部8、圖像特徵點抽出部11、AR用資料輸出部12、位置推定部14的處理結果之資訊、資料、訊號值、或變數值儲存在記憶體23或CPU21內的暫存器或快取記憶體中。

另外，實現註解圖像編輯部6、世界座標設定部7、透視投影部8、圖像特徵點抽出部11、AR用資料輸出部12、位置推定部14及AR重疊部9的功能之程式亦可以記憶在磁碟、軟碟、光碟、CD光碟片、藍光(商標)磁碟、DVD等的可移動式記憶體中。

另外，註解圖像編輯部6、世界座標設定部7、透視投影部8、圖像特徵點抽出部11、AR用資料輸出部12、位置推定部14及AR重疊部9的「部」也可以替換為「電路」、「步驟」、「程序」、或「處理」。

另外，AR顯示裝置1、AR編輯裝置15及AR顯示裝置100可以分別由邏輯IC(Integrated Circuit)、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等電路實現。

再者，處理器及上述的電路可總稱之為處理電路。

1‧‧‧AR顯示裝置(資料處理裝置)

2‧‧‧圖像輸入部

3‧‧‧RGB圖像產生部

4‧‧‧點群資料產生部

5‧‧‧註解圖像輸入部

6‧‧‧註解圖像編輯部

7‧‧‧世界座標設定部(點群資料取得部)(對應賦予部)

8‧‧‧透視投影部

9‧‧‧AR重疊部

10‧‧‧顯示部

Claims

一種資料處理裝置，其包括：點群資料取得部，取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料；及對應賦予部，從該點群資料的該等複數點當中，抽出相當於包含於該物體的拍攝圖像中之圖像特徵點的點，並使得設定於所抽出的點之三維座標與該圖像特徵點對應。
如申請專利範圍第1項所記載的資料處理裝置，其中：該對應賦予部，從該點群資料的該等複數點當中選擇任意點，並使得設定於已選擇之點的三維圖像對應於重疊於該物體的拍攝圖像之註解圖像。
一種資料處理裝置，其包括：點群資料取得部，取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料；及對應賦予部，從該點群資料的該等複數點當中選擇任意點，並使得設定於已選擇之點的三維圖像對應於重疊於該物體的拍攝圖像之註解圖像。
一種資料處理裝置，其包括：圖像特徵點抽出部，解析物體的拍攝圖像，抽出包含於該物體的拍攝圖像中的圖像特徵點；及位置推定部，基於該圖像特徵點的三維座標、以及該圖像特徵點在該拍攝圖像中的二維座標，推定拍攝該拍攝圖像的拍攝裝置於拍攝該拍攝圖像時的位置。
如申請專利範圍第3項所記載的資料處理裝置，其中：該位置推定部，基於該圖像特徵點的三維座標、以及藉由該圖像特徵點的三維座標之投影轉換所得到的該圖像特徵點於該拍攝圖像中的二維座標，推定該拍攝裝置在拍攝該拍攝圖像時的位置。
一種資料處理方法，其包括：電腦取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料；該電腦從該點群資料的該等複數點當中，抽出相當於包含於該物體的拍攝圖像中之圖像特徵點的點，並使得設定於所抽出的點之三維座標與該圖像特徵點對應。
一種資料處理方法，其包括：電腦取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料；及該電腦從該點群資料的該等複數點當中選擇任意點，並使得設定於已選擇之點的三維圖像對應於重疊於該物體的拍攝圖像之註解圖像。
一種資料處理方法，其包括：電腦解析物體的拍攝圖像，抽出包含於該物體的拍攝圖像中的圖像特徵點；及該電腦基於該圖像特徵點的三維座標、以及該圖像特徵點在該拍攝圖像中的二維座標，推定拍攝該拍攝圖像的拍攝裝置於拍攝該拍攝圖像時的位置。
一種資料處理程式產品，其使得電腦執行：點群資料取得處理，取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料；及對應賦予處理，從該點群資料的該等複數點當中，抽出相當於包含於該物體的拍攝圖像中之圖像特徵點的點，並使得設定於所抽出的點之三維座標與該圖像特徵點對應。
一種資料處理程式產品，其使得電腦執行：點群資料取得處理，取得表示物體的三維形狀，且分別設定了三維座標的複數點所構成的點群資料；及對應賦予處理，從該點群資料的該等複數點當中選擇任意點，並使得設定於已選擇之點的三維圖像對應於重疊於該物體的拍攝圖像之註解圖像。
一種資料處理程式產品，其使得電腦執行：圖像特徵點抽出處理，解析物體的拍攝圖像，抽出包含於該物體的拍攝圖像中的圖像特徵點；及位置推定處理，基於該圖像特徵點的三維座標、以及該圖像特徵點在該拍攝圖像中的二維座標，推定拍攝該拍攝圖像的拍攝裝置於拍攝該拍攝圖像時的位置。