TW202326612A

TW202326612A - 對象數位孿生模型生成系統、機器人的控制系統、假想商店生成系統、對象數位孿生模型生成方法、機器人的控制方法、及假想商店生成方法

Info

Publication number: TW202326612A
Application number: TW111139837A
Authority: TW
Inventors: 久夛良木健
Original assignee: 日商上昇機器人股份有限公司
Priority date: 2021-10-21
Filing date: 2022-10-20
Publication date: 2023-07-01
Also published as: EP4422189A1; WO2023068252A1; JP2023062237A; CN118140485A

Abstract

[課題]網羅取得關於對象的外觀的資訊。 [解決手段]系統，將預定圖案的平面光、及包含可見光及非可見光的複數波長的光，從包圍對象的複數照明位置對對象以分別不同的時序輸出，將被平面光照射的對象、及被複數波長的光依序照射的對象，在對應複數照明位置的複數攝像位置，與分別輸出光的時序同步個別進行攝像的步驟，控制光輸出部與攝像部的控制部，基於被平面光照射的對象的攝像結果，取得表示遍及對象的表面的全周的三維形狀的三維資料，基於被複數波長的光依序照射的對象的攝像結果，取得從複數攝像位置看到的表示遍及對象的全周的二維外觀的二維資料，將三維資料與二維資料相互建立對應，生成以電腦可讀的形式再現對象的外觀的對象數位孿生模型。

Description

對象數位孿生模型生成系統、機器人的控制系統、假想商店生成系統、對象數位孿生模型生成方法、機器人的控制方法、及假想商店生成方法

本揭示係有關於對象數位孿生模型生成系統、機器人的控制系統、假想商店生成系統、對象數位孿生模型生成方法、機器人的控制方法、及假想商店生成方法。

從前，已知攝像投影稱為構造化光圖案等的預定圖案的平面光的對象，取得表示對象表面的如凹凸的三維形狀的資訊的技術 [先前技術文獻] [專利文獻]

[專利文獻1]特開2019-86294號公報

[發明所欲解決的問題]

但是，關於對象的外觀的資訊，不只限於如同上述表示三維形狀的資訊。例如，對象的表面，有包含顏色、文字、或圖形等的二維資訊的情形。因此，期望一同取得表示三維形狀的資訊與二維資訊，網羅取得關於對象的外觀的資訊。

其中，本揭示欲解決的課題的一個為提供能夠網羅取得關於對象的外觀的資訊的對象數位孿生模型生成系統及對象數位孿生模型生成方法、活用該等的機器人的控制系統、機器人的控制方法、假想商店生成系統、及假想商店生成方法。 [解決問題的手段]

作為本揭示的一例的對象數位孿生模型生成系統，具備：將預定圖案的平面光、及包含可見光及非可見光的複數波長的光，從包圍對象的複數照明位置對對象以分別不同的時序輸出的光輸出部；將被平面光照射的對象、及被複數波長的光依序照射的對象，在對應複數照明位置的複數攝像位置，與分別輸出平面光與複數波長的光的時序同步個別進行攝像的攝像部；控制光輸出部與攝像部的控制部；控制部，基於被平面光照射的對象的攝像結果，取得表示遍及對象的表面的全周的三維形狀的三維資料，基於被複數波長的光依序照射的對象的攝像結果，取得從複數攝像位置看到的表示遍及對象的全周的二維外觀的二維資料，將三維資料與二維資料相互建立對應，生成以電腦可讀的形式再現對象的外觀的對象數位孿生模型。

上述對象數位孿生模型生成系統中，控制部，基於被可見光照射的對象的攝像結果，將表示對象的表面的刻紋的刻紋資料作為二維資料取得，基於被非可見光照射的對象的攝像結果，將可視化對象的表面的光吸收區域的光吸收特性資料作為二維資料取得。

又，上述對象數位孿生模型生成系統中，控制部，基於從在三維資料貼附前述刻紋資料生成的模型，生成表示在某視點的對象的外觀的第1外觀影像的生成器、及識別從藉由生成器生成的第1外觀影像、與從被可見光照射的對象的攝像結果生成的表示在與第1外觀影像相同的視點的對象的外觀的第2外觀影像之差的識別器，補正三維資料，使得由識別器識別的差變小，將補正後的三維資料與二維資料相互建立對應，生成對象數位孿生模型。

又，上述對象數位孿生模型生成系統中，控制部，基於從對象數位孿生模型取得的對象的二維外觀，辨識在對象的表面作為文字或圖形附加的附加資訊，生成作為該附加資訊與三維資料及二維資料一同登錄的關於對象的總括資料庫的對象主資料。

又，上述對象數位孿生模型生成系統中，控制部，基於附加資訊，取得與對象對應的商品碼及商品資訊，再將取得到的商品碼及商品資訊登錄至對象主資料。

又，上述對象數位孿生模型生成系統中，控制部，執行機器人所致的對象的抓取的模擬，學習包含對象的最適把持位置的用以實現對象的最適抓取的抓取資訊，將學習到的處理資訊再登錄至對象主資料。

作為本揭示的其他一例的機器人的控制系統，具備：檢出關於機器人的抓取對象的外觀的資訊的感測器；基於關於抓取對象的外觀的資訊的檢出結果、及從上述對象數位孿生模型生成系統取得的對象主資料的抓取資訊，控制機器人以執行抓取對象的抓取的機器人控制部。

上述機器人的控制系統中，機器人控制部，從關於抓取對象的外觀的資訊的檢出結果，取得附加於抓取對象的商品碼，當取得到的商品碼與登錄至對象主資料的商品碼不同的情形，控制機器人，執行其他抓取對象的抓取。

又，上述機器人的控制系統中，機器人控制部，當從關於抓取對象的外觀的資訊的檢出結果取得到的商品碼與登錄至對象主資料的商品碼一致的情形，從關於抓取對象的外觀的資訊的檢出結果，取得附加於抓取對象的表面的商品資訊，當取得到的商品資訊與登錄至對象主資料的商品資訊不同的情形，基於取得的商品資訊更新對象主資料。

作為本揭示的再其他一例的假想商店生成系統，具備：從上述對象數位孿生模型生成系統取得對象主資料的取得部；生成假想地再現任意陳列登錄至由取得部取得到的對象主資料的商品碼及商品資訊所對應的商品的商店的假想商店的假想商店生成部。

作為本揭示的再其他一例的對象數位孿生模型生成方法，具備：將預定圖案的平面光、及包含可見光及非可見光的複數波長的光，從包圍對象的複數照明位置對對象以分別不同的時序輸出的步驟；將被平面光照射的對象、及被複數波長的光依序照射的對象，在對應複數照明位置的複數攝像位置，與分別輸出平面光與複數波長的光的時序同步個別進行攝像的步驟；控制輸出的步驟與攝像的的步驟，基於被平面光照射的對象的攝像結果，取得表示遍及對象的表面的全周的三維形狀的三維資料，基於被複數波長的光依序照射的對象的攝像結果，取得從複數攝像位置看到的表示遍及對象的全周的二維外觀的二維資料，將三維資料與二維資料相互建立對應，生成以電腦可讀的形式再現對象的外觀的對象數位孿生模型。

上述對象數位孿生模型生成方法中，具備：基於被可見光照射的對象的攝像結果，將表示對象的表面的刻紋的刻紋資料作為二維資料取得，基於被非可見光照射的對象的攝像結果，將可視化對象的表面的光吸收區域的光吸收特性資料作為二維資料取得的步驟。

又，上述對象數位孿生模型生成方法中，具備：基於從在三維資料貼附刻紋資料生成的模型，生成表示在某視點的對象的外觀的第1外觀影像的生成器、及識別從藉由生成器生成的第1外觀影像、與從被可見光照射的對象的攝像結果生成的表示在與第1外觀影像相同的視點的對象的外觀的第2外觀影像之差的識別器，補正三維資料，使得由識別器識別的差變小，將補正後的三維資料與二維資料相互建立對應，生成對象數位孿生模型的步驟。

又，上述對象數位孿生模型生成方法中，具備：基於從對象數位孿生模型取得的對象的二維外觀，辨識在對象的表面作為文字或圖形附加的附加資訊，生成作為該附加資訊與三維資料及二維資料一同登錄的關於對象的總括資料庫的對象主資料的步驟。

又，上述對象數位孿生模型生成方法中，具備：基於附加資訊，取得與對象對應的商品碼及商品資訊，再將取得到的商品碼及商品資訊登錄至對象主資料的步驟。

又，上述對象數位孿生模型生成方法中，具備：執行機器人所致的對象的抓取的模擬，學習包含對象的最適把持位置的用以實現對象的最適抓取的抓取資訊，將學習到的處理資訊再登錄至對象主資料的步驟。

作為本揭示的再其他一例的機器人的控制方法，具備：檢出關於機器人的抓取對象的外觀的資訊的步驟；基於關於抓取對象的外觀的資訊的檢出結果、及從上述對象數位孿生模型生成方法取得的對象主資料的抓取資訊，控制機器人以執行抓取對象的抓取的步驟。

上述機器人的控制方法中，具備：從關於抓取對象的外觀的資訊的檢出結果，取得附加於抓取對象的商品碼，當取得到的商品碼與登錄至對象主資料的商品碼不同的情形，控制機器人，執行其他抓取對象的抓取的步驟。

又，上述機器人的控制方法中，具備：當從關於抓取對象的外觀的資訊的檢出結果取得到的商品碼與登錄至對象主資料的商品碼一致的情形，從關於抓取對象的外觀的資訊的檢出結果，取得附加於抓取對象的表面的商品資訊，當取得到的商品資訊與登錄至對象主資料的商品資訊不同的情形，基於取得的商品資訊更新對象主資料的步驟。

作為本揭示的再其他一例的假想商店生成方法，具備：從上述對象數位孿生模型生成方法取得對象主資料的步驟；生成假想地再現任意陳列登錄至由取得部取得到的對象主資料的商品碼及商品資訊所對應的商品的商店的假想商店的步驟。

以下，基於圖式說明本揭示的系統及方法的實施形態。以下記載的實施形態的構造、還有由該構造帶來的作用及效果僅為一例，不限於以下的記載內容。

又，本揭示中，「第1」、「第2」等的數序因應必要使用，但該等數序是為了識別的方便而使用者，並非表示特定的優先順位。

圖1為表示實施形態的對象數位孿生模型生成系統100的構造的例示且示意的區塊圖。如同以下說明那樣，實施形態的對象數位孿生模型生成系統100，一併取得表示對象的表面的三維形狀的資訊、及附於對象的表面的如顏色、文字、或圖形等的二維資訊進行統合，生成以電腦可讀的形式再現對象的外觀的全部的對象數位孿生模型。

如圖1所示，對象數位孿生模型生成系統100包含照明生成部110、感測器系統120、控制部130、及複數開關SW1~SW5。又，照明生成部110包含構造光圖案生成部111、RGB光譜生成部112、及SWIR光譜生成部113，感測器系統120包含投影機121、SWIR光源122、SWIR攝影機123、及可見光攝影機124。此外，投影機121及SWIR光源122為本揭示的「光輸出部」的一例，SWIR攝影機123及可見光攝影機124為本揭示的「攝像部」的一例。

構造光圖案生成部111，例如生成如灰階碼的稱為構造化光圖案等的平面光的預定圖案。又，RGB光譜生成部112生成可見光的波長光譜，更具體為對應R(紅)的光的波長光譜、對應G(綠)的光的波長光譜、及對應B(藍)的光的波長光譜。又，SWIR光譜生成部113生成非可見光的波長光譜，更具體為對應SWIR(短波紅外)的光的波長光譜。

投影機121經由開關SW1連接至構造光圖案生成部111，並經由開關SW2連接至RGB光譜生成部112。藉此，投影機121在開關SW1為開啟且開關SW2為關閉的情形，輸出藉由構造光圖案生成部111生成的預定的圖案的平面光，開關SW2為開啟且開關SW1為關閉的情形，輸出藉由RGB光譜生成部112生成的波長光譜的可見光。又，SWIR光源122經由開關SW3連接至SWIR光譜生成部113。藉此，SWIR光源122在開關SW3開啟的情形，輸出藉由SWIR光譜生成部113生成的波長光譜的非可見光。

SWIR攝影機123包含能取得非可見光的影像感測器，攝像被藉由SWIR光源122輸出的SWIR光照射的對象。SWIR攝影機123經由開關SW4連接至控制部130。藉此，SWIR攝影機123在開關SW4為開啟的情形，將表示被SWIR光照射的對象的影像資料輸出至控制部130。又，可見光攝影機124包含取得可見光的影像感測器，攝像被藉由投影機121輸出的預定的圖案的平面光或RGB光照射的對象。可見光攝影機124經由開關SW5連接至控制部130。藉此，可見光攝影機124在開關SW5為開啟的情形，將表示被預定的圖案的平面光照射的對象的影像資料、或表示被RGB光照射的對象的影像資料輸出至控制部130。

此外，圖1所示之例中，雖各別設置輸出可見光的投影機121及輸出非可見光的SWIR光源122，但實施形態中，取代投影機121及SWIR光源122的組合，使用能夠輸出可見光與非可見光兩者的單一光輸出部也可以。又，圖1所示之例中，雖各別設置取得非可見光的SWIR攝影機123及取得可見光的可見光攝影機124，但實施形態中，取代SWIR攝影機123及可見光攝影機124的組合，使用能夠取得可見光與非可見光兩者的單一攝像部也可以。

控制部130具有如處理器的控制電路，控制照明生成部110、感測器系統120、及開關SW1~SW5。例如，控制部130，如虛線箭頭A101所示將開關SW1及SW5設定成開啟(但是其他開關為關閉)，從可見光攝影機124取得表示被預定的圖案的平面光照射的對象的影像資料。同樣，控制部130，如虛線箭頭A102所示將開關SW2及SW5設定成開啟(但是其他開關為關閉)，從可見光攝影機124取得表示被RGB光照射的對象的影像資料。又，控制部130，如虛線箭頭A103所示將開關SW3及SW4設定成開啟(但是其他開關為關閉)，從SWIR攝影機123取得表示被SWIR光照射的對象的影像資料。

更具體上，控制部130，執行如接下來的圖2所示的時序控制，取得用來生成對象數位孿生模型的3種影像資料。

圖2為表示實施形態的控制部130執行的時序控制的一例的例示且示意的圖。

如圖2所示，控制部130以1次攝像循環執行3種攝像，取得3種影像資料。首先，作為第1種，控制部130，基於複數次突發信號使投影機121(及構造光圖案生成部111)與可見光攝影機124同步，取得以構造化光圖案連續被照射的對象的影像資料。接著，作為第2種，控制部130，使投影機121(及RGB光譜生成部112)與可見光攝影機124同步，例如變更曝光時間同時複數次取得被RGB光照射的對象的影像資料，合成取得到的影像資料，取得HDR(高動態範圍)的影像資料。接著，作為第3種，控制部130，使SWIR光源122(及SWIR光譜生成部113)與SWIR攝影機123同步，例如改變SWIR光的波長同時複數次取得被SWIR光照射的對象的影像資料。

此外，圖2所示的時序控制僅為一例。實施形態，若能適切地取得被預定的圖案的平面光(構造化光圖案)照射的對象的影像資料、被可見光(RGB光)照射的對象的影像資料、及被非可見光(SWIR光)照射的對象的影像資料，則攝像次數、攝像方式、或攝像順序等未必要如同圖2所示者也可以。

另外，為了生成將對象的外觀網羅地再現的對象數位孿生模型，僅在1個視點取得上述3種影像資料並不充分。其中，實施形態中，以接下來的圖3所示的形式，在包圍對象的複數視點依序取得上述3種影像資料。

圖3為表示實施形態的對象的攝像的例示且示意的圖。

如圖3所示，感測器系統120，例如因應基於控制部130的控制的致動器(未圖示)的驅動在作為對象的物品(物體)X的全周(三維地)移動，在包圍物品X的複數視點取得上述3種影像資料。

其中，上述3種影像資料之中，被構造化光圖案照射的對象的影像資料，能夠利用於表示對象的表面的三維形狀的三維資料(例如接下來的圖4所示的點群資料)的取得。

圖4為用來說明實施形態的點群資料的例示且示意的圖。

圖4所示的例中，影像401，為表示對應圖3所示的物品X的點群資料的一例，影像402擴大表示影像401的一部分的區域R400。點群資料為表示物品X的表面的凹凸的分佈的資料。若將點群資料網目化，則能夠取得由細微的複數面組成的多邊形網目資料。該多邊形網目資料也可說是表示對象的表面的三維形狀的三維資料。

又，上述3種影像資料之中，被RGB光照射的對象的影像資料，能夠利用於表示對象的表面的二維外觀的二維資料(例如接下來的圖5所示的刻紋資料)的取得。

圖5為用來說明實施形態的刻紋資料的例示且示意的圖。

圖5所示的例中，影像500，為表示對應圖3所示的物品X的刻紋資料的一例。刻紋資料為表示附加於物品X的表面顏色、文字、圖形等的資料。

其中，若在取得位置的整合後於多邊形網目資料貼附刻紋資料，能夠期待對象的外觀的再現。但是，在可見光區域對象包含透明度高的素材(例如如PET(聚對苯二甲酸)素材的塑膠材料時，有僅以可見光的攝像無法好好地取得對象的外觀的情形。

在此，實施形態，基於上述3種影像資料之中被SWIR光照射的對象的影像資料，作為更進一步的二維資料，取得例如如接下來的圖6所示的可視化對象的表面的光吸收區域的光吸收特性資料。

圖6為用來說明實施形態的光吸收特性資料的例示且示意的圖。

圖6所示之例中，影像600表示由SWIR攝影機123攝像藉由一致於PET素材的吸收光譜的波長光譜的SWIR光照射的物品610而得到的光吸收特性資料的一例。如圖6所示，若利用適切的波長光譜的SWIR光，將物品610之中PET素材露出的部分611及613輪廓化，能夠將例如對應捲於物品610的標籤面的部分612(及物品610的背景)的差異可視化。

此外，光吸收素材並不限於PET素材。因此，實施形態，為了也從具有與PET素材不同的吸收光譜的光吸收素材適切取得光吸收特性資料，如同前述，將SWIR光的波長適宜變更同時複數次執行SWIR光所致的攝像(圖2參照)。

若組合上述三維資料及二維資料，能夠生成如接下來的圖7所示的將對象的外觀原狀再現的模型X´。

圖7為用來說明實施形態的組合三維資料及二維資料的模型X´的例示且示意的圖。

圖7所示的例中，影像700，為在某視點表示組合對應圖3所示的物品X的三維資料及二維資料的模型X´的影像。該模型X´，藉由在基於圖4所示的點群資料的多邊形網目資料將圖5所示的刻紋資料在取得位置的整合後貼附生成。

其中，圖7所示的模型X´，將物品X的外觀，也包含表面形狀扭曲的區域(及附於該區域的文字的扭曲)原狀再現(例如紙面左下的角部參照)。因此，單純組合三維資料及二維資料，也未必能夠以電腦可讀的形式再現對象的外觀的全部(特別是文字)。不過，若能夠將對象的外觀包含文字全部以電腦可讀的形式再現，能夠在各種用例(具體例後述)中使用讀取的資訊，是有益的。

因此，實施形態，以接下來的圖8所示的方法，補正三維資料降低表面形狀的扭曲，使用補正後的三維資料，生成以電腦可讀的形式再現對象的外觀的全部的對象數位孿生模型。

圖8為用來說明實施形態的三維資料的補正的例示且示意的區塊圖。

如圖8所示，實施形態的控制部130，利用包含生成器810與識別器820的GAN(生成對抗網路)，補正基於對象800得到的三維資料。

更具體上，生成器810在區塊B811中，執行三維(3D)感測，例如上述構造化的光圖案所致的對象800的攝像。接著，在區塊B812中，生成器810基於作為區塊B811中的3D感測的結果的影像資料，取得點群資料。接著，在區塊B813中，生成器810基於區塊B812中取得到的點群資料，取得3D多邊形網目資料。

又，生成器810在區塊B815中，執行二維(2D)感測，例如上述RGB光所致的對象800的攝像。接著，在區塊B816中，生成器810取得作為區塊B815中的2D感測的結果的RGB影像。接著，在區塊B817中，生成器810基於區塊B816中取得到的RGB影像，取得刻紋資料。

接著，生成器810在區塊B814中，取得將在區塊B813中取得到的多邊形網目資料、與在區塊B817中取得到的刻紋資料取位置的整合同時統合後的模型。接著，生成器810在區塊B818中，從在區塊B814中取得到的模型，取得在區塊B816中取得到的RGB影像與視點相同的渲染影像。

接著，識別器820在區塊B821中，比較在區塊B816中取得到的RGB影像(第1外觀影像)、與在區塊B818中取得到的渲染影像(第2外觀影像)。接著，識別器820，基於區塊B821中的比較，將差分區域在多邊形網目資料上應補正的區域特定，回饋至生成器810。接著，生成器810補正多邊形網目資料。

這種補正，重複直到RGB影像與渲染影像的差分小至預定的閾值以下而成為能夠無視的等級為止。藉此，如接著的圖9所示，補正在統合多邊形網目資料與刻紋資料的模型中包含的扭曲，能夠生成以電腦可讀的形式將對象800的外觀也包含文字全部再現的對象數位孿生模型。

圖9為表示實施形態的三維資料的補正的結果的例示且示意的圖。

圖9所示的例中，影像901，表示也能包含於執行上述三維資料的補正前的模型中的附加扭曲的文字(及圖形)的區域，影像902表示經由上述三維資料的補正生成的對象數位孿生模型的對應影像901的區域。如圖9所示，根據上述三維資料的補正，能夠將扭曲的文字(及圖形)補正成電腦可讀的等級。

根據經由上述三維資料的補正生成的對象數位孿生模型，使用從前就有的文字辨識系統或影像辨識系統，能夠簡單讀取在對象的表面作為文字或圖形附加的附加資訊。

圖10為用來說明實施形態的附加資訊的例示且示意的圖。

圖10所示之例中，影像1001表示圖3所示的物品X的對象數位孿生模型的一面(表面)，影像1002表示圖3所示的物品X的對象數位孿生模型的與以影像1001表示的面相反側的面(裏面)。如圖10所示，從對象數位孿生模型，能夠將商標、商品的名稱及說明、製造公司的名稱及住所、及營養成份等作為附加資訊取得。

如此，從對象數位孿生模型，能夠取得各種資訊。若將該等資訊一元化，則能夠生成作為關於對象的包括的資料庫的對象主資料。

另外，為了圓滑地進行物流及商流程序，從前也進行將關於物品的資訊資料庫化。代表性的管理項目，雖根據業種而不同，但為「商品ID」、「商品名」、「製造源」、「供應商」、「販賣源」、「分類」、「形狀」、「顏色」、「購買價格」、「目標販賣價格」、「商品的縮圖照片」等。

不過，從前，該等管理項目的資料庫化基本上由人工進行，對於多種多樣的物品群的資料庫化作業慢成為很大的課題。

又，從前，資料庫化的管理項目，主要適於物流及販賣管理的管理項目為主體，在消耗者觀點或營銷觀點有用的管理項目，還未成為向資料庫的積極擴充對象。作為該理由，只要是關於在物流及販賣管理的利用，有僅在如上述的限定的管理項目滿足必要最小限的要件的理由、及在追加的資訊源的確保及追加的管理項目的資料庫化花上膨大的工數、作業時間、及成本成為必要的點成為大的難關的理由。

若容許上述那種膨大的工數、作業時間、及成本，雖有能夠將關於物品的包括的資料庫部分實現的可能性，但考慮到一般流通的物品之數會及於數百萬個到數千萬個，容許上述那種膨大的工數、作業時間、及成本實質上可說是不可能。

相對於此，實施形態，藉由前述對象數位孿生模型生成系統100，因為能夠簡單生成如接下來的圖11所示的作為關於對象的包括的資料庫的對象主資料1100，在工數、作業時間、及成本的面都比從前還顯著地有利。

圖11為用來說明實施形態的對象主資料1100的例示且示意的圖。

如圖11所示，在實施形態的對象主資料1100中能登錄各種項目1101~1115。

項目1101~1103是基於從前也使用的管理項目的資料。項目1101為在作為對象的物品(物體、商品)任意分配的識別資訊。項目1102為在商品的流通過程活用的既存的商品碼。項目1103為對應既存的商品碼的各種商品資訊。商品碼及商品資訊，能夠由使用文字辨識系統或影像辨識系統從對象數位孿生模型辨識在對象的表面作為文字或圖形附加的上述附加資訊取得。

項目1104~1108為能夠基於實施形態的技術取得的新穎的資料。項目1104為基於上述對象數位孿生模型得到的表示遍及對象的表面的全周的三維的形狀的資料。項目1105為基於上述對象數位孿生模型得到的表示對象的表面的刻紋的資料。項目1106及1107為使用文字辨識系統或影像辨識系統從對象數位孿生模型辨識的在對象的表面作為文字或圖形附加的上述附加資訊。項目1108為在項目1104~1107有變更時能登錄的資訊。

其中，項目1109~1116在物流過程等中進行機器人1310(後述圖13參照)所致的對象的抓取(catching)時特別有用的資料群。項目1109為關於對象的最適把持位置或區域的資料，項目1110為在物品(物體)中關於商品碼存在的位置的資料。項目1111為表示物體的重心的位置的資料，項目1112為關於物體的剛性或變形的資料，項目1113為關於物體的表面的物性的資料。項目1114為關於物體的把持最適的抓手的資料，項目1115為關於能包含於物體的透明素材的資料。項目1116為關於在物體中注意應進行抓取的區域的資料。該等資料群，執行機器人1310所致的對象的抓取的模擬，作為學習對象的最適抓取的結果得到的抓取資訊。此外，因為關於利用對象主資料1100進行機器人1310所致的對象的抓取的構造將於後述，在此省略更詳細的說明。

根據以上的構造，實施形態的對象數位孿生模型生成系統100以如同接下來的圖12所示的流程進行處理。

圖12為表示實施形態的對象數位孿生模型生成系統100執行的處理的例示且示意的流程圖。

如圖12所示，實施形態中，首先在步驟S1201中，控制部130，藉由使用照明生成部110及感測器系統120的如圖2所示的時序控制，執行對象的感測。亦即，控制部130，取得表示被構造化光圖案照射的對象的影像資料、表示被RGB光照射的對象的影像資料、及表示被SWIR光照射的對象的影像資料。

接著，步驟S1202中，控制部130，基於表示被構造化光圖案照射的對象的影像資料，取得表示遍及對象的表面的全周的三維形狀的三維資料(上述點群資料及多邊形網目資料)。

接著，步驟S1203中，控制部130，基於表示被RGB光照射的對象的影像資料、及表示被SWIR光照射的對象的影像資料，取得表示遍及對象的全周的二維外觀的二維資料(上述刻紋資料及光吸收特性資料)。

接著，步驟S1204中，控制部130，藉由使用上述生成器810及識別器820的GAN，補正作為三維資料的多邊形網目資料。

接著，步驟S1205中，控制部130，藉由將補正後的三維資料、與二維資料一致於相互的位置同時進行統合，生成將對象的外觀全部再現的對象數位孿生模型。

接著，步驟S1206中，控制部130，利用文字辨識系統或影像辨識系統，辨識在對象數位孿生模型的表面作為文字或圖形附加的附加資訊。

接著，步驟S1207中，控制部130，執行機器人1310(後述圖13參照)所致的抓取的模擬，學習用來實現以對象數位孿生模型表示的對象的最適的抓取的抓取資訊。

接著，步驟S1208中，控制部130，將以上述處理得到的各種資訊資料庫化，生成對象主資料1100。接著，結束處理。

如同以上說明，實施形態的對象數位孿生模型生成系統100，包含作為將預定圖案的平面光、及包含可見光及非可見光的複數波長的光，從包圍對象的複數照明位置對於對象以分別不同的時序輸出的光輸出部的投影機121及SWIR光源122。又，對象數位孿生模型生成系統100，包含作為將被平面光照射的對象、及被複數波長的光依序照射的對象，在對應複數照明位置的複數攝像位置，與分別輸出平面光及複數波長的光的時序同步進行攝像的攝像部的SWIR攝影機123及可見光攝影機124。又，對象數位孿生模型生成系統100包含控制投影機121、SWIR光源122、SWIR攝影機123、及可見光攝影機124的控制部130。控制部130，基於被平面光照射的對象的攝像結果，取得表示遍及對象的表面的全周的三維形狀的三維資料，基於被複數波長的光依序照射的對象的攝像結果，取得從複數攝像位置看到的表示遍及對象的全周的二維外觀的二維資料，將三維資料與二維資料相互建立對應，生成以電腦可讀的形式再現對象的外觀的對象數位孿生模型。

根據上述構造，期望一同取得表示三維形狀的資訊與二維資訊，作為對象數位孿生模型統合，能夠網羅取得關於對象的外觀的資訊。

其中，在實施形態中，控制部130，基於被可見光照射的對象的攝像結果，將表示對象的表面的刻紋的刻紋資料作為上述二維資料取得。又，控制部130，基於被非可見光照射的對象的攝像結果，將可視化對象的表面的光吸收區域的光吸收特性資料作為二維資料取得。

根據上述構造，即便是在對象的表面至少存在部分光吸收區域的情形，藉由利用可見光與非可見光的2種資料，也能夠取得正確的二維資料。

又，實施形態中，控制部130，包含從在三維資料貼附刻紋資料生成的模型，生成表示在某視點的對象的外觀的第1外觀影像(圖8的區塊B818參照)的生成器810。又，控制部130，包含識別由生成器810生成的第1外觀影像、與從被可見光照射的對象的攝像結果生成的表示在與第1外觀影像相同的視點的對象的外觀的第2外觀影像(圖8的區塊B816參照)之差的識別器820。接著，控制部130，基於生成器810及識別器820，以由識別器820識別的差變小的方式補正三維資料，將補正後的三維資料與二維資料相互建立對應，生成對象數位孿生模型。

根據上述構造，藉由三維資料的補正將對象數位孿生模型的表面的三維形狀的扭曲進行補正，因為對象數位孿生模型的表面的二維外觀的扭曲也被補正，能夠提升對象數位孿生模型所致的對象的再現性。

又，實施形態中，控制部130，基於從對象數位孿生模型取得的對象的二維外觀，辨識在對象的表面作為文字或圖形附加的附加資訊，生成作為該附加資訊與三維資料及二維資料一同登錄的關於對象的總括資料庫的對象主資料1100。

根據上述構造，利用對象主資料1100，能夠網羅地管理關於對象的外觀的全部資訊。

又，實施形態中，控制部130，基於附加資訊，取得與對象對應的商品碼及商品資訊，再將取得到的商品碼及商品資訊登錄至對象主資料1100。

根據上述構造，能夠藉由對象主資料1100管理作為有用的資訊的商品碼及商品資訊。

又，實施形態中，控制部130，執行機器人1310(後述圖13參照)所致的對象的抓取的模擬，學習包含對象的最適把持位置的用以實現對象的最適抓取的抓取資訊，將學習到的處理資訊再登錄至對象主資料1100。

根據上述構造，執行機器人1310(後述圖13參照)所致的對象的抓取時特別有用的抓取資訊也能夠藉由對象主資料1100一元地管理。

以下，例示關於實施形態的對象主資料1100的各種用例。

首先，參照圖13及圖14，例示關於將實施形態的對象主資料1100利用於物流製程等中的機器人1310所致的抓取的例子。

圖13為表示實施形態的利用對象主資料1100的控制機器人1310的控制系統1320的構造的例示且示意的區塊圖。

如圖13所示，機器人1310包含機械臂及抓手(都未圖示)，能夠接近複數抓取對象1300之中任意選擇的1個進行抓取對象1300的抓取。

控制系統1320包含感測器1321、及機器人控制部1322。感測器1321檢出關於抓取對象1300的外觀的資訊。該感測器1321，若能夠以能取得附加於抓取對象1300的商品碼及商品資訊(上述附加資訊)的等級檢出關於外觀的資訊，是任何感測器都可以。機器人控制部1322，包含如處理器的控制電路，基於從感測器1321取得的資訊、及從上述對象數位孿生模型生成系統100取得的對象主資料1100，控制機器人1310以最適合的形式抓取抓取對象1300。

此外，圖13所示的例中，感測器1321雖包含於控制系統1320，但感測器1321包含於機器人1310也可以。又，圖13所示的例中，機器人控制部1322雖從外部取得對象主資料1100，但對象主資料1100預先記憶於控制系統1320也可以。

圖14為表示實施形態的控制系統1320執行的處理的例示且示意的流程圖。圖14所示的一連串的處理，例如，能重複執行至複數抓取對象1300的全部的抓取結束為止。

如圖14所示，實施形態中，首先，在步驟S1401中，機器人控制部1322執行感測器1321所致的感測，取得關於抓取對象1300的外觀的資訊。

接著，步驟S1402中，機器人控制部1322，從步驟S1401中的感測結果，取得附加於抓取對象1300的商品碼。

接著，步驟S1403中，機器人控制部1322，判定步驟S1402中取得到的商品碼與登錄在對象主資料1100的商品碼是否一致。

步驟S1403中，判定步驟S1402中取得到的商品碼與登錄在對象主資料1100的商品碼不一致的情形，處理進入步驟S1404。

接著，步驟S1404中，機器人控制部1322選擇接下來的抓取對象1300。此時，以在複數抓取對象1300全部附加相同商品碼為前提的情形，在判定混入錯誤的商品，取出錯誤的商品後，選擇其他抓取對象1300。又，以有在複數抓取對象1300附加不同商品碼的情形為前提的情形，判定是發生任一種錯誤，選擇其他抓取對象1300。接著，結束處理。

另一方面，步驟S1403中，判定步驟S1402中取得到的商品碼與登錄在對象主資料1100的商品碼一致的情形，處理進入步驟S1405。

接著，步驟S1405中，機器人控制部1322，從步驟S1401中的感測結果，取得作為附加於抓取對象1300的附加資訊的商品資訊。

接著，步驟S1406中，機器人控制部1322，判定步驟S1405中取得到的商品碼與作為登錄在對象主資料1100的附加資訊的商品資訊是否一致。

步驟S1406中，判定步驟S1405中取得到的商品碼與登錄在對象主資料1100的商品資訊一致的情形，處理進入步驟S1407。

接著，步驟S1407中，機器人控制部1322，基於登錄在對象主資料1100的抓取資訊控制機器人1310，以對應抓取對象1300的最適方法執行抓取對象1300的抓取。接著，結束處理。

另一方面，步驟S1406中，判定步驟S1405中取得到的商品碼與登錄在對象主資料1100的商品資訊不一致的情形，處理進入步驟S1408。此時，能夠判定成因製造批量的變更或期間限定促銷等的影響而對商品資訊產生變更。

因此，此時，在S1408中，機器人控制部1322，基於步驟S1405中取得到的商品資訊，更新對象主資料1100。接著，機器人控制部1322，執行上述步驟S1407所致的抓取對象1300的抓取。接著，結束處理。

如同以上說明，實施形態的機器人1310的控制系統1320包含感測器1321、及機器人控制部1322。感測器1321檢出關於機器人1310的抓取對象1300的外觀的資訊。機器人控制部1322，基於關於抓取對象1300的外觀的資訊的檢出結果、及從上述對象數位孿生模型生成系統100取得的對象主資料1100的抓取資訊，控制機器人1310以執行抓取對象1300的抓取。

根據上述構造，利用登錄在對象主資料1100的抓取資訊，能夠適切地執行抓取對象1300的抓取。

此外，實施形態中，機器人控制部1322，從關於抓取對象1300的外觀的資訊的檢出結果，取得附加於抓取對象1300的商品碼，當取得到的商品碼與登錄至對象主資料1100的商品碼不同的情形，能控制機器人1310，執行其他抓取對象1300的抓取。

根據上述構造，藉由對照商品碼，能夠控制執行錯誤的抓取對象1300的抓取。

又，實施形態中，機器人控制部1322，當從關於抓取對象1300的外觀的資訊的檢出結果取得到的商品碼與登錄至對象主資料1100的商品碼一致的情形，從關於抓取對象1300的外觀的資訊的檢出結果，取得附加於抓取對象1300的表面的商品資訊，當取得到的商品資訊與登錄至對象主資料1100的商品資訊不同的情形，能基於取得的附加資訊更新對象主資料1100。

根據上述構造，因應製造批量的變更或期間限定促銷等影響所致的商品資訊的變更，也能夠更新登錄至對象主資料1100的商品資訊。

接著，參照圖15~圖17，例示關於將實施形態的對象主資料1100利用於EC(電子商務)事業中的假想商店的提供的例子。

圖15為表示實施形態的利用對象主資料1100的假想商店生成系統1500的構造的例示且示意的區塊圖。

如圖15所示，假想商店生成系統1500包含取得部1510、及假想商店生成部1520。取得部1510及假想商店生成部1520，藉由專用的電路以硬體實現也可以、藉由作為將假想商店生成系統1500統括控制的控制電路的處理器作為執行預定的電腦程式的結果以軟體實現也可以。

取得部1510，從上述對象數位孿生模型生成系統100取得對象主資料1100。接著，假想商店生成部1502，將從由取得部1510取得到的對象主資料1100生成的1以上的對象數位孿生模型，在假想空間上模仿實體商店陳列，生成例如接下來的圖16所示的假想商店。

圖16為用來說明實施形態的藉由假想商店生成系統1500生成的假想商店的例示且示意的圖。

如圖16所示，假想商店生成部1502，將陳列作為對象數位孿生模型模式化的多數商品的商品架1610，例如經由網路以能視覺提供至使用者終端的提供的形式假想地生成。使用者，藉由使用設於使用者終端的觸控面板等從商品架1610進行拉出商品的操作，選擇所期望的商品1620，能夠詳細確認從該所期望的商品1620的外觀得到的資訊。

圖17為表示實施形態的假想商店生成系統1500執行的處理的例示且示意的流程圖。

如圖17所示，實施形態中，首先，在步驟S1701中，取得部1501取得由上述對象數位孿生模型生成系統100生成的對象主資料1100。

接著，步驟S1702中，假想商店生成部1502，將從步驟S1701中取得到的對象主資料1100生成的1以上的對象數位孿生模型，在假想空間上模仿實體商店陳列生成的對象數位孿生模型，生成假想商店。接著，結束處理。

如同以上說明，實施形態的假想商店生成系統1500包含取得部1501、及假想商店生成部1502。取得部1510，從上述對象數位孿生模型生成系統100取得對象主資料1100。假想商店生成部1502，生成假想地再現任意陳列登錄至由取得部1501取得到的對象主資料1100的商品碼及商品資訊所對應的商品的商店的假想商店。

根據上述構造，有效活用對象數位孿生模型及對象主資料1100，能夠容易提供模仿實體商店的假想商店。

此外，如同前述，對象主資料1100，網羅了關於對象的外觀的資訊。因此，若利用對象主資料1100，例如對象為食品的情形，也能夠生成能適切提供各使用者有存在的可能性的應避免的特定過敏物質的含有的有無的通知、及用以熱量控制的資訊的通知、取得平衡的進食的推薦、原產地、製造源、及對素材等的堅持的推薦、或因宗教上的理由應避開的食材的含有的有無的通知等的有用的資訊的假想商店。

如上述的有用的資訊，也包含醫藥品或化粧品，一般會在每種商品，基於法律或者業界指引等，在包裝作為可讀取的文字或圖形附加。但是，根據包裝的尺寸的情況，即便是有用的資訊，表示該資訊的文字或圖形的大小常相對較小，有不近距離看則無法讀取的情形。EC事業，即便無法將實際的商品以手拿取進行確認，但會有有用的資訊未必網羅地揭載於銷售網站的這種隱性課題。

相對於此，根據實施形態的技術，活用登錄有根據活用存在於真實世界的多種多樣的物品的對象數位孿生模型得到的關於外觀的詳細資訊的對象主資料1100，能夠在經由網路的假想空間，對使用者提供如同像是實際用手拿取物品來回觀察的體驗。而且，能夠提供使用者可進行在真實世界困難的小文字或圖形的擴大等的從前所沒有的斬新的UX(使用者經驗)。

又，因為登錄在對象主資料1100的資訊為數位資訊，能夠互動地實現對所期望的物品的網羅的檢索、及依照各個使用者的多彩的個性化設定，也能夠導入大大地超出從前的EC服務的斬新服務。

又，藉由監控使用者在假想空間上以手拿取商品的行為，也能夠即時地量測使用者對商品的關心程度。又，因為也能夠進行藉由準備多種包裝的設計及內容量的變化，互動地測定使用者到完成購入的反應的AB測試等，也能夠實現從前所沒有的新穎的即時實時營銷手法的實裝、及動態廣告的插入等。

再來，因為假想商店終究是在假想空間上構築者，也能夠以無物理或經濟上的限制再現將與實體商店同等或其以上的膨大數量的商品群高密度陳列的假想商品架。藉此，因為即便不實際設置實體商店，也能夠在假想空間上有效地得到一樣的體驗，能夠從實體商店的建設預定地的確保、實體商店的建設、向實體商店內的各種設備的導入、從業員的安排、配送系統的整備、或庫存管理等多種問題中解放。

此外，根據實施形態的技術，如同下個圖18所示，也能夠使實體商店1810與假想商店1820協動。

圖18為表示藉由實施形態的技術利用實體商店與假想商店兩者管理商流的管理系統1800的例示且示意的區塊圖。

如圖18所示，管理系統1800，使實體商店1810與假想商店1820協動同時進行管理。根據這種構造，能夠將戰略地展開的實體商店1810，能夠作為在假想商店1820購入的商品的收取服務的窗口活用、或者作為向鄰近顧客的配送據點活用。藉此，能夠無限制地無縫接軌在實際商店的體驗與在假想商店的體驗，無論在事業者觀點或消費者觀點都能夠實現便利性及經濟合理性高的商流。

以上，雖已說明了本發明的幾個實施形態，但該等實施形態僅作為例子提示，並無意限定發明的範圍。該等新穎的實施形態，也可以利用於其他各種形態來實施，在不脫離發明要旨的範圍內，可以進行各種省略、置換、變更。該等實施形態及其變形，包含於發明的範圍及要旨，並於包含申請專利範圍中記載的發明與其均等範圍中。

100:對象數位孿生模型生成系統 121:投影機(光輸出部) 122:SWIR光源(光輸出部) 123:SWIR攝影機(攝像部) 124:可見光攝影機(攝像部) 130:控制部 1100:對象主資料 1300:抓取對象 1310:機器人 1320:控制系統 1321:感測器 1322:機器人控制部 1500:假想商店生成系統 1501:取得部 1502:假想商店生成部

[圖1]圖1為表示實施形態的對象數位孿生模型生成系統的構造的例示且示意的區塊圖。 [圖2]圖2為表示實施形態的控制部執行的時序控制的一例的例示且示意的圖。 [圖3]圖3為表示實施形態的對象的攝像的例示且示意的圖。 [圖4]圖4為用來說明實施形態的點群資料的例示且示意的圖。 [圖5]圖5為用來說明實施形態的刻紋資料的例示且示意的圖。 [圖6]圖6為用來說明實施形態的光吸收特性資料的例示且示意的圖。 [圖7]圖7為用來說明實施形態的組合三維資料及二維資料的模型的例示且示意的圖。 [圖8]圖8為用來說明實施形態的三維資料的補正的例示且示意的區塊圖。 [圖9]圖9為表示實施形態的三維資料的補正的結果的例示且示意的圖。 [圖10]圖10為用來說明實施形態的附加資訊的例示且示意的圖。 [圖11]圖11為用來說明實施形態的對象主資料的例示且示意的圖。 [圖12]圖12為表示實施形態的對象數位孿生模型生成系統執行的處理的例示且示意的流程圖。 [圖13]圖13為表示實施形態的利用對象主資料的控制機器人的控制系統的構造的例示且示意的區塊圖。 [圖14]圖14為表示實施形態的控制系統執行的處理的例示且示意的流程圖。 [圖15]圖15為表示實施形態的利用對象主資料的假想商店生成系統的構造的例示且示意的區塊圖。 [圖16]圖16為用來說明實施形態的藉由假想商店生成系統生成的假想商店的例示且示意的圖。 [圖17]圖17為表示實施形態的假想商店生成系統執行的處理的例示且示意的流程圖。 [圖18]圖18為表示實施形態的利用假想商店的商流系統的構造的例示且示意的區塊圖。

100:對象數位孿生模型生成系統

110:照明生成部

111:構造光圖案生成部

112:RGB光譜生成部

113:WIR光譜生成部

120:感測器系統

121:投影機(光輸出部)

122:SWIR光源(光輸出部)

123:SWIR攝影機(攝像部)

124:可見光攝影機(攝像部)

130:控制部

SW1~SW5:複數開關

A101~A103:虛線箭頭

Claims

一種對象數位孿生模型生成系統，具備：將預定圖案的平面光、及包含可見光及非可見光的複數波長的光，從包圍對象的複數照明位置對前述對象以分別不同的時序輸出的光輸出部；將被前述平面光照射的前述對象、及被前述複數波長的光依序照射的前述對象，在對應前述複數照明位置的複數攝像位置，與分別輸出前述平面光及前述複數波長的光的時序同步個別進行攝像的攝像部；控制前述光輸出部與前述攝像部的控制部；其中，前述控制部，基於被前述平面光照射的前述對象的攝像結果，取得表示遍及前述對象的表面的全周的三維形狀的三維資料，基於被前述複數波長的光依序照射的前述對象的攝像結果，取得從前述複數攝像位置看到的表示遍及前述對象的全周的二維外觀的二維資料，將前述三維資料與前述二維資料相互建立對應，生成以電腦可讀的形式再現前述對象的外觀的對象數位孿生模型。
如請求項1記載的對象數位孿生模型生成系統，其中，前述控制部，基於被前述可見光照射的前述對象的攝像結果，將表示前述對象的表面的刻紋的刻紋資料作為前述二維資料取得，基於被前述非可見光照射的前述對象的攝像結果，將可視化前述對象的表面的光吸收區域的光吸收特性資料作為前述二維資料取得。
如請求項2記載的對象數位孿生模型生成系統，其中，前述控制部，基於從在前述三維資料貼附前述刻紋資料生成的模型，生成表示在某視點的前述對象的外觀的第1外觀影像的生成器、及識別從藉由前述生成器生成的前述第1外觀影像、與從被前述可見光照射的前述對象的攝像結果生成的表示在與前述第1外觀影像相同的視點的前述對象的外觀的第2外觀影像之差的識別器，補正前述三維資料，使得由前述識別器識別的差變小，將補正後的前述三維資料與前述二維資料相互建立對應，生成前述對象數位孿生模型。
如請求項3記載的對象數位孿生模型生成系統，其中，前述控制部，基於從前述對象數位孿生模型取得的前述對象的二維外觀，辨識在前述對象的表面作為文字或圖形附加的附加資訊，生成作為該附加資訊與前述三維資料及前述二維資料一同登錄的關於前述對象的總括資料庫的對象主資料。
如請求項4記載的對象數位孿生模型生成系統，其中，前述控制部，基於前述附加資訊，取得與前述對象對應的商品碼及商品資訊，再將取得到的前述商品碼及前述商品資訊登錄至前述對象主資料。
如請求項5記載的對象數位孿生模型生成系統，其中，前述控制部，執行機器人所致的前述對象的抓取的模擬，學習包含前述對象的最適把持位置的用以實現前述對象的最適抓取的抓取資訊，將學習到的前述抓取資訊再登錄至前述對象主資料。
一種機器人的控制系統，具備：檢出關於機器人的抓取對象的外觀的資訊的感測器；基於關於前述抓取對象的外觀的資訊的檢出結果、及從如請求項6記載的對象數位孿生模型生成系統取得的前述對象主資料的前述抓取資訊，控制前述機器人以執行前述抓取對象的抓取的機器人控制部。
如請求項7記載的機器人的控制系統，其中，前述機器人控制部，從關於前述抓取對象的外觀的資訊的檢出結果，取得附加於前述抓取對象的商品碼，當取得到的前述商品碼與登錄至前述對象主資料的前述商品碼不同的情形，控制前述機器人，執行其他抓取對象的抓取。
如請求項8記載的機器人的控制系統，其中，前述機器人控制部，當從關於前述抓取對象的外觀的資訊的檢出結果取得到的前述商品碼與登錄至前述對象主資料的前述商品碼一致的情形，從關於前述抓取對象的外觀的資訊的檢出結果，取得附加於前述抓取對象的表面的商品資訊，當取得到的前述商品資訊與登錄至前述對象主資料的前述商品資訊不同的情形，基於取得到的前述商品資訊更新前述對象主資料。
一種假想商店生成系統，具備：從如請求項5記載的對象數位孿生模型生成系統取得前述對象主資料的取得部；生成假想地再現任意陳列登錄至由前述取得部取得到的前述對象主資料的商品碼及商品資訊所對應的商品的商店的假想商店的假想商店生成部。
一種對象數位孿生模型生成方法，具備：將預定圖案的平面光、及包含可見光及非可見光的複數波長的光，從包圍對象的複數照明位置對前述對象以分別不同的時序輸出的步驟；將被前述平面光照射的前述對象、及被前述複數波長的光依序照射的前述對象，在對應前述複數照明位置的複數攝像位置，與分別輸出前述平面光及前述複數波長的光的時序同步個別進行攝像的步驟；控制前述輸出的步驟與前述攝像的步驟，基於被前述平面光照射的前述對象的攝像結果，取得表示遍及前述對象的表面的全周的三維形狀的三維資料，基於被前述複數波長的光依序照射的前述對象的攝像結果，取得從前述複數攝像位置看到的表示遍及前述對象的全周的二維外觀的二維資料，將前述三維資料與前述二維資料相互建立對應，生成以電腦可讀的形式再現前述對象的外觀的對象數位孿生模型的步驟。
如請求項11記載的對象數位孿生模型生成方法，具備：基於被前述可見光照射的前述對象的攝像結果，將表示前述對象的表面的刻紋的刻紋資料作為前述二維資料取得，基於被前述非可見光照射的前述對象的攝像結果，將可視化前述對象的表面的光吸收區域的光吸收特性資料作為前述二維資料取得的步驟。
如請求項12記載的對象數位孿生模型生成方法，具備：基於從在前述三維資料貼附前述刻紋資料生成的模型，生成表示在某視點的前述對象的外觀的第1外觀影像的生成器、及識別從藉由前述生成器生成的前述第1外觀影像、與從被前述可見光照射的前述對象的攝像結果生成的表示在與前述第1外觀影像相同的視點的前述對象的外觀的第2外觀影像之差的識別器，補正前述三維資料，使得由前述識別器識別的差變小，將補正後的前述三維資料與前述二維資料相互建立對應，生成前述對象數位孿生模型的步驟。
如請求項13記載的對象數位孿生模型生成方法，具備：基於從前述對象數位孿生模型取得的前述對象的二維外觀，辨識在前述對象的表面作為文字或圖形附加的附加資訊，生成作為該附加資訊與前述三維資料及前述二維資料一同登錄的關於前述對象的總括資料庫的對象主資料的步驟。
如請求項14記載的對象數位孿生模型生成方法，具備：基於前述附加資訊，取得與前述對象對應的商品碼及商品資訊，再將取得到的前述商品碼及前述商品資訊登錄至前述對象主資料的步驟。
如請求項15記載的對象數位孿生模型生成方法，具備：執行機器人所致的前述對象的抓取的模擬，學習包含前述對象的最適把持位置的用以實現前述對象的最適抓取的抓取資訊，將學習到的前述抓取資訊再登錄至前述對象主資料的步驟。
一種機器人的控制方法，具備：檢出關於機器人的抓取對象的外觀的資訊的步驟；基於關於前述抓取對象的外觀的資訊的檢出結果、及從如請求項16記載的對象數位孿生模型生成方法取得的前述對象主資料的前述抓取資訊，控制前述機器人以執行前述抓取對象的抓取的步驟。
如請求項17記載的機器人的控制方法，具備：從關於前述抓取對象的外觀的資訊的檢出結果，取得附加於前述抓取對象的商品碼，當取得到的前述商品碼與登錄至前述對象主資料的前述商品碼不同的情形，控制前述機器人，執行其他抓取對象的抓取的步驟。
如請求項18記載的機器人的控制方法，具備：當從關於前述抓取對象的外觀的資訊的檢出結果取得到的前述商品碼與登錄至前述對象主資料的前述商品碼一致的情形，從關於前述抓取對象的外觀的資訊的檢出結果，取得附加於前述抓取對象的表面的商品資訊，當取得到的前述商品資訊與登錄至前述對象主資料的前述商品資訊不同的情形，基於取得的前述商品資訊更新前述對象主資料的步驟。
一種假想商店生成方法，具備：從如請求項15記載的對象數位孿生模型生成方法取得前述對象主資料的步驟；生成假想地再現任意陳列登錄至取得到的前述對象主資料的商品碼及商品資訊所對應的商品的商店的假想商店的步驟。