TW202014993A

TW202014993A - 資訊處理裝置、記錄媒體、程式產品及資訊處理方法

Info

Publication number: TW202014993A
Application number: TW108106457A
Authority: TW
Inventors: 宮本健
Original assignee: 日商三菱電機股份有限公司
Priority date: 2018-10-11
Filing date: 2019-02-26
Publication date: 2020-04-16
Also published as: JP6541920B1; WO2020075252A1; JPWO2020075252A1

Abstract

本發明之資訊處理裝置之特徵為包括：三維資訊取得部（110），其係取得包含複數畫像、及表示該複數畫像的各個所包含的複數點的三維中的位置的位置資訊的三維資訊；及前景畫像生成部（120），其係由該位置資訊，生成表示該複數畫像的各個所包含的複數平面的平面資訊，由該位置資訊，選擇辨識對象，由該位置資訊，生成辨識對象的多邊形模型，由該複數畫像，選擇作為所生成的多邊形模型的紋理所被使用的畫像，藉由組合所生成的多邊形模型、與所被選擇出的畫像，生成辨識對象的三維模型，且由所生成的三維模型，生成不同的複數二維畫像。

Description

資訊處理裝置、記錄媒體、程式產品及資訊處理方法

本發明係關於資訊處理裝置、記錄媒體、程式產品及資訊處理方法。

為了辨識對象，已開發出一種學習大量畫像的技術。在如上所示之技術中，雖然必須要有大量畫像，但是若為如人或車等般被一般化的對象的畫像，可使用開放原始碼來準備大量畫像。但是，難以大量收集特定的車、特定的設備或特定的製品的畫像。因此，在非專利文獻1中，提出一種為了大量準備特定對象的畫像，在作成將對象的三維模型由複數位置及角度進行彩現（rendering）後的前景畫像之後，貼合在預先備妥的複數背景畫像而大量作成畫像的方法。［先前技術文獻］［非專利文獻］

［非專利文獻1］Manik Goyal, Param Rajpura, Hristo Bojinov, and Ravi Hegde, “Dataset Augmentation with Synthetic Images Improves Semantic Segmentation”, arXiv: 1709. 00849v3, June 26, 2018

［發明所欲解決之課題］

非專利文獻1所記載之技術基於以下記載的2個理由，所生成的畫像並不類似實際上以攝影機所觀測的畫像。結果，在使其學習該等畫像時的辨識精度留有課題。

第1理由係三維模型所設定的紋理與實際上所觀測者不同之三維模型的品質問題。

第2理由係由於將三維模型進行彩現的視點及角度未被適當設定，因此作成現實中並無法觀測的畫像的問題。例如，大量作成椅子在反轉的狀態下浮在空中等在現實中並無法觀測的畫像。

因此，本發明之1或複數實施形態之目的在可大量生成類似實際上所攝影的畫像的畫像。［用以解決課題之手段］

本發明之1態樣之資訊處理裝置之特徵為包括：三維資訊取得部，其係取得包含複數畫像、及表示前述複數畫像的各個所包含的複數點的三維中的位置的位置資訊的三維資訊；畫像處理部，其係由前述位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊；辨識對象選擇部，其係由前述位置資訊，選擇辨識對象；多邊形模型生成部，其係由前述位置資訊，生成前述辨識對象的多邊形模型；紋理選擇部，其係由前述複數畫像，選擇作為前述多邊形模型的紋理所被使用的畫像；及畫像生成部，其係藉由組合前述多邊形模型、與前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像。

本發明之1態樣之電腦可讀取記錄媒體係記錄有用以使電腦執行以下步驟的程式：由表示複數畫像的各個所包含的複數點的三維中的位置的位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊的步驟；由前述位置資訊及前述平面資訊的至少任一方，選擇辨識對象的步驟；由前述位置資訊，生成前述辨識對象的多邊形模型的步驟；由前述複數畫像，選擇作為前述多邊形模型的紋理所被使用的畫像的步驟；及藉由組合前述多邊形模型、及前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像的步驟。

本發明之1態樣之程式產品係內置用以使電腦執行以下步驟的程式：由表示複數畫像的各個所包含的複數點的三維中的位置的位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊的步驟；由前述位置資訊及前述平面資訊的至少任一方，選擇辨識對象的步驟；由前述位置資訊，生成前述辨識對象的多邊形模型的步驟；由前述複數畫像，選擇作為前述多邊形模型的紋理所被使用的畫像的步驟；及藉由組合前述多邊形模型、及前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像的步驟。

本發明之1態樣之資訊處理方法之特徵為：取得包含複數畫像、及表示前述複數畫像的各個所包含的複數點的三維中的位置的位置資訊的三維資訊；由前述位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊；由前述位置資訊，選擇辨識對象；由前述位置資訊，生成前述辨識對象的多邊形模型；由前述複數畫像選擇作為前述多邊形模型所被使用的紋理的畫像；藉由組合前述多邊形模型、及前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像。［發明之效果］

藉由本發明之1或複數態樣，可大量生成類似實際上所攝影的畫像的畫像。

實施形態1. 圖1係概略顯示實施形態1之資訊處理裝置100的構成的方塊圖。資訊處理裝置100係包括：三維資訊取得部110、前景畫像生成部120、三維模型資料庫（以下稱為三維模型DB）130、背景畫像資料庫（以下稱為背景畫像DB）140、畫像合成部150、及學習畫像資料庫（以下稱為學習畫像DB）160。

三維資訊取得部110係取得包含複數畫像、及表示該複數畫像的各個所包含的複數點的三維中的位置的位置資訊的三維資訊。例如，三維資訊取得部110係使用SLAM（Simultaneou Localization And Mapping，同步定位與地圖構建技術）等，取得三維資訊。在本實施形態中，三維資訊係包含：例如由複數視點及角度所攝影到的複數畫像；及表示該複數畫像的各個所包含的複數點的三維中的位置的位置資訊的三維點群資訊。此外，三維資訊亦可包含：該複數畫像；及表示對該複數畫像攝像後的位置及角度的感測器資訊。其中，以位置資訊所示的複數點的三維中的位置亦稱為三維點群。

在此係說明三維資訊取得部110以RGB-D（Red Green Blue-Depth）攝影機予以實現之例。若將對以某視點所攝影到的畫像f（f=1,2,…,F）攝影時所得的點l（l=1,2,…,L_f ）的位置設為q_f1 ，q_f1 係以下述（1）式而得。［數式］

F係SLAM處理中被攝影到的畫像枚數，為1以上的整數。 L_f 係在各畫像內取得距離的像素數，為1以上的整數。 K係RGB-D攝影機的內部參數，為表示焦點或透鏡中心等的參數。 q’_l 係取得距離的畫像的像素的座標。例如，q’_l 係如下述（2）式所示，以將畫像的左上作為原點時的橫方向的像素數u_l 、與縱方向的像素數v_l 的座標所示。［數式2］

d_fl 係由攝影位置至對應畫像f的點l的對象為止的距離。d_fl 係由RGB-D攝影機的Depth channel取得。

點q_fl 係以將攝影機的位置設為原點、光軸方向設為z軸、橫方向為x軸、縱方向為y軸之如圖2所示之座標系來表現。在此，點q_fl 係以依每個畫像（視點）而異的座標系所示。將對各畫像攝影時的點群統合而作成大規模的點群時，必須以統一的座標系表現點群。一般而言，以初次攝影到的畫像（f=1）的座標系，來表現對其他畫像攝影時所得的點群。

轉換成初次攝影到的畫像的座標系之具代表性方法的流程係如以下所示。首先，由初次畫像、與其他畫像，抽出局部特徵量。接著，將由2個畫像所被抽出的局部特徵量進行匹配。接著，使用經匹配的局部特徵量成對（pair），求出2個畫像的關係（平行移動量及旋轉量）。

上述方法係具代表性的方法。除此之外，亦有將在時間上鄰接的畫像關係進行積算來求出與初次畫像的位置關係的方法等。將以如上所示之方法所求出的初次畫像、與其他畫像f的關係（移動量）設為T_1→f ，若以對初次畫像攝影時的座標系表現各點時，成為下述（3）式。［數式3］

接著，最終取得的三維點群係成為點r_fl 的集合。

接著，三維資訊取得部110係生成包含：表示如以上所示所檢測到的三維點群的三維點群資訊、表示RGB-D攝影機的畫像感測器的位置及角度的感測器資訊、及以RGB-D攝影機所攝像到的畫像的三維資訊。三維資訊取得部110係將所生成的三維資訊供予至前景畫像生成部120。

其中，畫像感測器的位置及角度係對各畫像攝影時的位置及角度。將畫像的攝影位置設為p_n ，將角度設為r_n 。畫像的指數（index）係n=1,2,…,N，所被攝像到的畫像枚數設為N（2以上的整數）。角度r_n 的表現若為尤拉角（Euler angles）、Quaternion或Euler-Rodrigues的形式等三維的旋轉角度已規定，則亦可為任何形式。

前景畫像生成部120係由在三維資訊取得部110所取得的三維資訊，生成表示辨識對象的複數前景畫像，而生成表示該複數前景畫像的前景畫像資訊。圖3係概略顯示前景畫像生成部120的構成的方塊圖。前景畫像生成部120係包括：畫像處理部121、辨識對象選擇部122、多邊形模型生成部123、紋理選擇部124、及畫像生成部125。畫像生成部125係包括：彩現參數設定部126、及彩現部127。

畫像處理部121係由三維資訊所包含的位置資訊，生成表示複數平面的平面資訊。平面資訊係表示對應對象的表面的平面者。

以檢測平面之具代表性的方法而言，有RANSAC（RANdom Sample Consensus，隨機抽樣一致）。使用RANSAC來檢測平面的方法係如以下所示。首先，由三維點群之中選擇數點而作成平面。接著，若平面上的點為一定數，所作成的平面即被採用，若平面上的點非為一定數，所作成的平面即被放棄。接著，反覆上述處理，檢測複數平面。

辨識對象選擇部122係由三維資訊選擇辨識對象。在三維資訊所包含的位置資訊或平面資訊，係有包含辨識對象以外的對象的可能性。例如，若在地板上放置辨識對象的物體而對該物體攝影時，亦同時取得地板的三維資訊。為了排除辨識對象以外的對象，辨識對象選擇部122係由位置資訊或平面資訊選擇辨識對象。

例如，辨識對象選擇部122係將以三維點群資訊所示之三維點群顯示在未圖示之顯示部，透過未圖示之輸入部，由操作人員受理辨識對象的選擇。此外，辨識對象選擇部122亦可將以平面資訊所示之複數平面顯示在未圖示之顯示部，透過未圖示之輸入部，由操作人員受理對應辨識對象的平面的選擇，藉此受理辨識對象的選擇。此外，辨識對象選擇部122亦可由三維點群資訊及平面資訊之雙方，受理辨識對象的選擇。

或者，辨識對象選擇部122亦可藉由比較預先備妥之屬於辨識對象的三維模型的辨識對象模型、及經檢測出的三維點群，換言之藉由進行該等的匹配，來選擇辨識對象。在此的辨識對象模型係可例如以CAD（Computer-Aided design，電腦輔助設計）生成。在此，辨識對象模型並非為亦反映出實際對象的紋理的三維模型，而形成為僅在對象的形狀的資訊、或在形狀的資訊，以繪圖等粗略施加紋理的模型。此時，如圖4所示之資訊處理裝置100#所示，另外設有記憶表示辨識對象模型的辨識對象模型資料的辨識對象模型記憶部亦即辨識對象模型DB170。

其中，在該時點選擇辨識對象的理由係基於限定作為後段處理的多邊形的作成範圍之故。對任意三維資訊作成多邊形係很難的問題。作為具代表性的方法之一的Poisson法係根據對象為滑順的事前資訊來作成多邊形的方法。若對象不滑順，例如對於角多的物體，精度會惡化。此外，作為另一具代表性的方法的Delaunary Triangulation係非如Poisson法般使用事前資訊的方法，但是有生成受到三維點群所包含的雜訊影響的多邊形的問題。如上所示，由載有雜訊的資料轉換成多邊形模型，對於任意對象，係難以進行，現實中係適當活用事前資訊。僅使用一部分平面與三維點群，進行後段處理，藉此可生成完整的多邊形模型。

多邊形模型生成部123係生成在辨識對象選擇部122所選擇出的辨識對象的多邊形模型，且生成表示所生成的多邊形模型的多邊形資訊。具體而言，多邊形模型生成部123若使用三維資訊所包含的三維點群資訊及平面資訊，來生成辨識對象的多邊形模型即可。以多邊形模型之生成方法之一例而言，如上所述，有Poisson法或Delaunary Triangulation。

其中，在本實施形態中，多邊形模型生成部123係使用三維點群資訊及平面資訊，來生成多邊形模型，但是亦可僅包含該等的任一方，而由該一方生成另一方，因此多邊形模型生成部123係可由該一方來生成多邊形模型。

紋理選擇部124係選擇對應在多邊形模型生成部123所生成的多邊形模型的紋理。紋理係由在三維資訊取得部110所取得的複數畫像中被選擇。

由複數畫像之中選擇作為紋理所使用的畫像的方法之例係如以下所示。例如，紋理選擇部124係選擇滿足下述（4）式的畫像n，俾以選擇畫像感測器與多邊形模型之間的距離為最短的畫像。［數式4］

p_n 係表示對畫像n攝影時的位置。q₁ 、q₂ 、q₃ 係表示多邊形模型所包含的3點。f（p_n , q₁ , q₂ , q₃ ）係表示多邊形模型、與位置p_n 的距離。

此外，紋理選擇部124係選擇畫像感測器朝向的方向、與多邊形的法線的角度為最小的畫像，因此亦可選擇滿足下述（5）式的畫像n。［數式5］

v_n 係由對畫像n攝影時的畫像感測器的角度r_n 所求出之表示畫像感測器所朝向的方向的向量。m係表示多邊形模型的法線向量。g（v_n , m）係以下述（6）式定義。［數式6］

其中，紋理選擇部124亦可選擇滿足（4）式的畫像n、及滿足（5）式的畫像n的任一者，此外，亦可選擇滿足（4）式及（5）式的畫像n。

紋理選擇部124係在選擇出紋理之後，特定紋理的座標亦即紋理座標。紋理座標係藉由將多邊形模型的3點，投影在作為紋理所被選擇出的畫像而得。投影係以下述（7）式定義。［數式7］

q係表示多邊形模型之中的1點。［r∣p］係將對作為紋理所被選擇出的畫像攝影時的畫像感測器的位置及角度行列化者。K係表示RGB-D攝影機的內部參數。q’係表示將點q投影在作為紋理所被選擇出的畫像上的位置。λ係標度的參數，用以調整為q’=（x, y, 1）^T 的形式者。（x, y）係作為紋理所被選擇出的畫像的像素座標。若RGB-D攝影機的透鏡不正，在像素座標進行去除不正的處理，且求出最終座標。

由像素畫像轉換成紋理座標（u, v）的方法係如下述（8）式所示。［數式8］

w係作為紋理所被選擇出的畫像的橫寬幅，h係該畫像的縱寬幅。

在多邊形模型生成部123所生成的多邊形模型資訊、以及在紋理選擇部124所被選擇出的畫像及紋理座標係作為三維模型資訊而被記憶在三維模型DB130。其中，三維模型資訊亦可未被記憶在三維模型DB130，而被交付至後段之彩現參數設定部126及彩現部127，來進行在該等的處理。

畫像生成部125係藉由組合在多邊形模型生成部123所生成的多邊形模型、及在紋理選擇部124作為紋理所被選擇出的畫像，生成辨識對象的三維模型，且由該三維模型生成不同的複數二維畫像。

彩現參數設定部126係設定包含使用三維模型資訊進行彩現時所使用的複數參數的參數群。例如，彩現參數設定部126係設定表示光源的位置及強度、多邊形模型的反射強度、以及進行彩現時的視點的位置及斜率等的參數群。在此，彩現參數設定部126係以至少1個參數不同的方式設定複數參數群。彩現參數的設定亦可透過顯示部及輸入部，由操作人員以手動進行，亦可由彩現參數設定部126自動進行。若彩現參數設定部126自動設定彩現參數，例如，預先準備複數參數，藉由組合所備妥的複數參數，來設定彩現參數即可。

彩現參數設定部126係將表示所被設定的複數參數群的參數資訊供予至彩現部127。

彩現部127係使用以參數資訊所示之複數參數群的各個，進行以三維模型資訊所示之辨識對象的三維模型的彩現，藉此生成對應辨識對象的三維模型的複數二維畫像。在此，辨識對象的三維模型係藉由組合在多邊形模型生成部123所生成的多邊形模型、與在紋理選擇部124作為紋理所被選擇出的畫像而生成。彩現部127係將藉由彩現所生成的複數二維畫像作為複數前景畫像，且將表示複數前景畫像的各個的畫像資料，作為前景畫像資料而將複數前景畫像資料供予至畫像合成部150。

返回圖1，三維模型DB130係記憶在多邊形模型生成部123所生成的多邊形模型資訊、包含在紋理選擇部124所被選擇出的畫像及紋理座標的三維模型資訊。

背景畫像DB140係記憶背景畫像的畫像資料亦即背景畫像資料。畫像合成部150係將以由前景畫像生成部120所被供予的前景畫像資料所示的前景畫像，合成在以被記憶在背景畫像DB140的背景畫像資料所示之背景畫像，藉此將經合成的畫像作為學習畫像，生成表示該學習畫像的學習畫像資料。學習畫像DB160係記憶在畫像合成部150所生成的學習畫像資料。

圖5係顯示資訊處理裝置100的硬體構成例的方塊圖。資訊處理裝置100係包括：計算機1、輸出機器2、輸入機器3、及感測器4。計算機1係例如可藉由記憶體、及執行被儲存在記憶體的程式的CPU（Central Processing Unit，中央處理單元）等處理器所構成的電腦。如上所示之程式係可透過網路來提供，此外，亦可被記錄在記錄媒體來提供。亦即，如上所示之程式亦可被提供為例如程式產品。

此外，計算機1的一部分亦可由例如單一電路、複合電路、經程式化的處理器、經並列程式化的處理器、ASIC（Application Specific Integrated Circuits，特定用途積體電路）或FPGA（Field Programmable Gate Array，現場可程式化閘陣列）等處理電路所構成。

在此，圖1所示之前景畫像生成部120、三維模型DB130、背景畫像DB140、畫像合成部150、及學習畫像DB160係可藉由計算機1實現。

輸出機器2係如顯示器等般，作為顯示各種畫面畫像的輸出部來發揮功能的裝置。輸入機器3係作為滑鼠、鍵盤、觸控面板等輸入部來發揮功能的裝置。

感測器4係作為取得三維資訊的三維資訊取得部110來發揮功能的裝置。在實施形態1中，感測器4係藉由RGB-D攝影機來實現。其中，感測器4亦可藉由使用IMU（Inertial Measurement Unit，慣性量測單元）、或紅外線、LiDAR（Light Detection and Ranging，光達）、或超音波來取得距離的感測器、及可對2次元的畫像攝像的攝影機的組合來實現。

圖6係顯示資訊處理裝置100的動作的流程圖。資訊處理裝置100係以被記憶在背景畫像DB140的背景畫像資料所示之背景畫像的數量，反覆以下處理（S10）。

三維資訊取得部110係取得三維資訊（S11）。前景畫像生成部120係根據三維資訊取得部110所取得的三維資訊，生成複數前景畫像（S12）。

畫像合成部150係以前景畫像生成部120所生成的複數前景畫像的數量，反覆以下處理（S13）。畫像合成部150係藉由在以被記憶在背景畫像DB140的背景畫像資料所示之背景畫像，合成以在前景畫像生成部120所生成的前景畫像資料所示之前景畫像，而生成學習畫像（S14）。表示如上所示所生成的學習畫像的學習畫像資料係被蓄積在學習畫像DB160。

圖7及圖8係顯示圖6的步驟S12中生成前景畫像的動作的流程圖。圖7係顯示生成三維模型資訊的動作，圖8係顯示由三維模型資訊生成前景畫像的動作。

首先，說明圖7所示之流程圖。畫像處理部121係由三維資訊取得部110所取得的三維資訊，生成平面（S20）。

辨識對象選擇部122係由三維資訊取得部110所取得的三維資訊，選擇辨識對象（S21）。接著，多邊形模型生成部123係使用在畫像處理部121所生成的平面、及在辨識對象選擇部122所被選擇出的三維點群，生成多邊形模型（S21）。

接著，紋理選擇部124係選擇作為對應在多邊形模型生成部123所生成的多邊形模型的紋理所使用的畫像，特定所被選擇出的畫像中的紋理的座標亦即紋理座標（S22）。接著，紋理選擇部124係使在多邊形模型生成部123所生成的多邊形模型資訊、以及在紋理選擇部124所被選擇出的畫像及紋理座標，作為三維模型資訊而記憶在三維模型DB130（S23）。

接著，說明圖8所示之流程圖。彩現部127係由三維模型DB130讀入三維模型資訊（S30）。接著，彩現部127係以彩現參數設定部126所設定的參數的組合數，反覆以下步驟S32及S33的處理（S31）。

在步驟S32中，彩現部127係設定彩現參數設定部126所設定出的參數的1個的組合。在步驟S33中，彩現部127係使用所設定出的參數的組合，進行對應以三維模型資訊所示之辨識對象的三維模型的畫像的彩現。

藉由實施形態1，可使用在一般環境所取得的三維資訊，來大量作成學習用的資料，因此可簡單地大量生成學習用的畫像。

實施形態2. 如圖1所示，實施形態2之資訊處理裝置200係包括：三維資訊取得部110、前景畫像生成部220、三維模型DB130、背景畫像DB140、畫像合成部150、及學習畫像DB160。實施形態2中之三維資訊取得部110、三維模型DB130、背景畫像DB140、畫像合成部150、及學習畫像DB160係與實施形態1中之三維資訊取得部110、三維模型DB130、背景畫像DB140、畫像合成部150、及學習畫像DB160相同。

圖9係概略顯示實施形態2中之前景畫像生成部220的構成的方塊圖。前景畫像生成部220係包括：畫像處理部121、辨識對象選擇部122、多邊形模型生成部123、紋理選擇部124、畫像生成部125、照明環境推定部228、及照明去除部229。實施形態2中之畫像處理部121、辨識對象選擇部122、多邊形模型生成部123、紋理選擇部124、及畫像生成部125係與實施形態1中之畫像處理部121、辨識對象選擇部122、多邊形模型生成部123、紋理選擇部124、及畫像生成部125相同。但是，該等係使用在照明去除部229被去除照明環境的影響後的畫像來進行處理。

照明環境推定部228係由所取得的三維資訊所包含的畫像來推定照明環境。例如，照明環境推定部228係使用所取得的三維資訊所包含的資訊，推定光源的位置、種類、及強度。具體而言，照明環境推定部228係由被照入三維資訊所包含的畫像的照明光的分布，來推定光源的位置、種類、及強度。接著，照明環境推定部228係生成所被推定出之表示光源的位置、種類、及強度的照明資訊，且將該照明資訊供予至照明去除部229。

照明去除部229係由所取得的三維資訊所包含的畫像，去除因在照明環境推定部228被推定出的照明環境所造成的影響。例如，照明去除部229係參照以照明資訊所示之光源的位置、種類、及強度，由三維資訊所包含的畫像中去除照明的影響。具體而言，照明去除部229係以畫像處理進行畫像所包含的影子的去除、鏡面反射的去除等。接著，照明去除部229係在三維資訊包含去除照明的影響後的畫像，而供予至辨識對象選擇部122。

圖10係顯示在實施形態2中生成三維模型資訊的動作的流程圖。其中，在圖10中，關於與圖7相同的處理，係藉由標註與圖7相同的符號而省略詳細說明。

首先，照明環境推定部228係使用所取得的三維資訊所包含的資訊，推定光源的位置、種類、及強度（S40）。接著，照明去除部229係參照以照明資訊所示之光源的位置、種類、及強度，由三維資訊所包含的畫像中去除照明的影響（S41）。接著，處理進至步驟S20。

在步驟S20～S24的處理係與圖7所示之步驟S20～S24的處理相同。但是，在步驟S20～S24的處理中，三維資訊所包含的畫像係成為在步驟S41中去除照明的影響後的畫像。

藉由實施形態2，由於可由三維資訊所包含的畫像，去除被攝像到時的照明環境的影響，因此與實施形態1相比，可生成品質更高的三維模型，學習用畫像的品質提升。

實施形態3. 圖11係概略顯示實施形態3之資訊處理裝置300的構成的方塊圖。資訊處理裝置300係包括：三維資訊取得部110、前景畫像生成部320、三維模型DB130、畫像合成部350、學習畫像DB160、及背景三維資訊資料庫（以下稱為背景三維資訊DB）380。實施形態3中之三維資訊取得部110、三維模型DB130、及學習畫像DB160係與實施形態1中之三維資訊取得部110、三維模型DB130、及學習畫像DB160相同。

背景三維資訊DB380係記憶包含背景畫像、及表示背景畫像所包含的複數點的三維中的位置的背景位置資訊的背景三維資訊的背景三維資訊記憶部。在本實施形態中，背景三維資訊係包含：例如由複數視點及角度所被攝影到的複數背景的畫像亦即複數背景畫像；表示複數背景畫像的各個所包含的複數點的三維中的位置（背景三維點群）的背景位置資訊亦即背景三維點群資訊；表示對應背景的表面的平面亦即背景平面的背景平面資訊；及表示對背景畫像進行攝像後的位置及角度的背景感測器資訊。其中，背景三維資訊亦可欠缺一部分資訊。例如，背景三維點群資訊亦可欠缺。

如圖3所示，實施形態3中之前景畫像生成部320係包括：畫像處理部121、辨識對象選擇部122、多邊形模型生成部123、紋理選擇部124、及畫像生成部325。實施形態3中之畫像處理部121、辨識對象選擇部122、多邊形模型生成部123、及紋理選擇部124係與實施形態1中之畫像處理部121、辨識對象選擇部122、多邊形模型生成部123、及紋理選擇部124相同。

畫像生成部325係藉由組合在多邊形模型生成部123所生成的多邊形模型、與在紋理選擇部124作為紋理所被選擇出的畫像，來生成辨識對象的三維模型，且由該三維模型生成不同的複數二維畫像。

彩現參數設定部326係由被記憶在背景三維資訊DB380的背景三維資訊，特定可將辨識對象的三維模型配置在背景畫像的位置、斜率及尺寸，且以所特定出的位置、斜率及尺寸進行彩現的方式，設定複數參數群。

例如，彩現參數設定部326係當在背景三維資訊所包含的背景畫像上合成前景畫像時，以不會有不諧調感的方式，使用背景三維資訊所包含的視點的位置及斜率、背景平面、以及背景三維點群，設定進行彩現時的視點的位置及斜率。具體而言，彩現參數設定部326係可藉由以三維模型資訊所示之辨識對象的三維模型、及以背景三維模型資訊所示之背景，辨識辨識對象的三維模型與背景的尺寸。因此，彩現參數設定部326係可明確定義在小於以三維模型資訊所示之辨識對象的三維模型的底面的背景平面，並無法設置該辨識對象的三維模型等辨識對象的三維模型與背景的Occlusion或相對關係等關係性。

考慮如以上所示之關係性，彩現參數設定部326係以在以三維模型資訊所示之辨識對象的三維模型、與以背景三維資訊所示之背景之間的深度或尺寸不會有不諧調感的方式，設定複數參數群。例如，彩現參數設定部326係若將以背景三維資訊所示之背景畫像或背景三維點群的至少任一方顯示在未圖示之顯示部，透過未圖示之輸入部，由操作人員受理複數參數群的輸入即可。接著，彩現參數設定部326若設定所被輸入的參數群即可。

此外，彩現參數設定部326係生成作為表示以三維模型資訊所示之辨識對象的三維模型的畫像對象識別資訊的ID、及表示配置對應該辨識對象的三維模型的前景畫像的背景畫像上的位置的配置資訊。該配置資訊係連同參數資訊一起被供予至彩現部327。

彩現部327係與實施形態1同樣地，使用以參數資訊所示之複數參數群的各個，將以三維模型資訊所示之辨識對象的三維模型進行彩現，藉此生成複數二維畫像。彩現部327係將藉由彩現所生成的二維畫像作為前景畫像，將該畫像資料作為前景畫像資料，連同配置資訊一起供予至畫像合成部350。其中，設為在前景畫像資料包含有表示相對應的辨識對象的三維模型的ID者。

返回圖11，畫像合成部350係將由前景畫像生成部320被供予之以前景畫像資料所示的前景畫像，配置在以由前景畫像生成部320被供予之配置資訊所示的位置，藉此進行合成，且將經合成的畫像作為學習畫像，生成表示該學習畫像的學習畫像資料。其中，畫像合成部350若對應前景畫像資料所包含的ID，利用以配置資訊所示的位置及斜率，來配置以該前景畫像資料所示之前景畫像即可。

如以上所示，藉由實施形態3，可大量生成反映出背景畫像、與前景畫像所包含的對象的大小或位置等的畫像。

其中，在以上所記載之實施形態1～3中，係顯示使用RGB-D攝影機作為三維資訊取得部110之例，惟實施形態1～3並非限定於如上所示之例。例如，三維資訊取得部110係可藉由立體攝影機來實現。若藉由立體攝影機取得三維資訊，求出點q_fl 時，由左右攝影機的視差求出該點q_f1 （距離）。關於其他方面，係與使用RGB-D攝影機時相同。

此外，三維資訊取得部110亦可藉由單眼攝影機與IMU（Inertial Measurement unit）的組合來實現。此時，使用藉由單眼攝影機被攝影到的視點不同的二個畫像、及使用IMU所求出的視點的位置關係，求出點q_f1 。關於其他方面，係與使用RGB-D攝影機時相同。

1:計算機 2:輸出機器 3:輸入機器 4:感測器 100、200、300:資訊處理裝置 110:三維資訊取得部 120、220、320:前景畫像生成部 121:畫像處理部 122:辨識對象選擇部 123:多邊形模型生成部 124:紋理選擇部 125、325:畫像生成部 126、326:彩現參數設定部 127、327:彩現部 228:照明環境推定部 229:照明去除部 130:三維模型DB 140:背景畫像DB 150、250、350:畫像合成部 160:學習畫像DB 170:辨識對象模型DB 380:背景三維資訊DB

［圖1］係概略顯示實施形態1及2之資訊處理裝置的構成的方塊圖。［圖2］係用以說明座標系的概略圖。［圖3］係概略顯示實施形態1及3中之前景畫像生成部的構成的方塊圖。［圖4］係概略顯示變形例之資訊處理裝置的構成的方塊圖。［圖5］係顯示資訊處理裝置的硬體構成例的方塊圖。［圖6］係顯示實施形態1之資訊處理裝置的動作的流程圖。［圖7］係顯示在實施形態1中，生成三維模型資訊的動作的流程圖。［圖8］係顯示在實施形態1中，由三維模型資訊生成前景畫像的動作的流程圖。［圖9］係概略顯示實施形態2中之前景畫像生成部的構成的方塊圖。［圖10］係顯示在實施形態2中，生成三維模型資訊的動作的流程圖。［圖11］係概略顯示實施形態3之資訊處理裝置的構成的方塊圖。

100、200:資訊處理裝置

110:三維資訊取得部

120、220:前景畫像生成部

130:三維模型DB

140:背景畫像DB

150:畫像合成部

160:學習畫像DB

Claims

一種資訊處理裝置，其特徵為包括：三維資訊取得部，其係取得包含複數畫像、及表示前述複數畫像的各個所包含的複數點的三維中的位置的位置資訊的三維資訊；畫像處理部，其係由前述位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊；辨識對象選擇部，其係由前述位置資訊及前述平面資訊的至少任一方，選擇辨識對象；多邊形模型生成部，其係由前述位置資訊，生成前述辨識對象的多邊形模型；紋理選擇部，其係由前述複數畫像，選擇作為前述多邊形模型的紋理所被使用的畫像；及畫像生成部，其係藉由組合前述多邊形模型、與前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像。
如申請專利範圍第1項之資訊處理裝置，其中，前述畫像生成部係包括：彩現參數設定部，其係設定複數參數群，俾以將前述所生成的三維模型進行彩現；及彩現部，其係使用前述複數參數群的各個，將前述所生成的三維模型進行彩現，藉此生成前述複數二維畫像。
如申請專利範圍第1或2項之資訊處理裝置，其中，另外包括：辨識對象模型記憶部，其係記憶表示前述辨識對象的三維模型亦即辨識對象模型的辨識對象模型資料，前述辨識對象選擇部係藉由比較以前述辨識對象模型資料所示之前述辨識對象模型與前述三維資訊，來選擇前述辨識對象。
如申請專利範圍第1或2項之資訊處理裝置，其中，另外包括：照明環境推定部，其係推定前述複數畫像的各個中之照明環境；及照明去除部，其係由前述複數畫像的各個，去除因前述所被推定出的照明環境所造成的影響，前述紋理選擇部係由前述影響已被去除的前述複數畫像中，選擇作為前述紋理所被使用的畫像。
如申請專利範圍第3項之資訊處理裝置，其中，另外包括：照明環境推定部，其係推定前述複數畫像的各個中之照明環境；及照明去除部，其係由前述複數畫像的各個，去除因前述所被推定出的照明環境所造成的影響，前述紋理選擇部係由前述影響已被去除的前述複數畫像中，選擇作為前述紋理所被使用的畫像。
如申請專利範圍第1或2項之資訊處理裝置，其中，另外包括：畫像合成部，其係將前述複數二維畫像的各個作為前景畫像而合成在背景畫像，藉此生成複數學習畫像資料。
如申請專利範圍第3項之資訊處理裝置，其中，另外包括：畫像合成部，其係將前述複數二維畫像的各個作為前景畫像而合成在背景畫像，藉此生成複數學習畫像資料。
如申請專利範圍第4項之資訊處理裝置，其中，另外包括：畫像合成部，其係將前述複數二維畫像的各個作為前景畫像而合成在背景畫像，藉此生成複數學習畫像資料。
如申請專利範圍第5項之資訊處理裝置，其中，另外包括：畫像合成部，其係將前述複數二維畫像的各個作為前景畫像而合成在背景畫像，藉此生成複數學習畫像資料。
如申請專利範圍第2項之資訊處理裝置，其中，另外包括：背景三維資訊記憶部，其係記憶包含背景畫像、及表示前述背景畫像所包含的複數點的三維中的位置的背景位置資訊的背景三維資訊，前述彩現參數設定部係由前述背景位置資訊，特定可將前述所生成的三維模型配置在前述背景畫像的位置、斜率及尺寸，以所被特定出的位置、斜率及尺寸進行彩現的方式，設定前述複數參數群。
如申請專利範圍第10項之資訊處理裝置，其中，前述彩現參數設定部係生成表示前述所被特定出的位置的配置資訊，另外包括：畫像合成部，其係將前述複數二維畫像的各個作為前景畫像，在前述背景畫像中，合成在以前述配置資訊所示的位置，藉此生成複數學習畫像資料。
一種電腦可讀取記錄媒體，其係記錄有用以使電腦執行以下步驟的程式：由表示複數畫像的各個所包含的複數點的三維中的位置的位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊的步驟；由前述位置資訊及前述平面資訊的至少任一方，選擇辨識對象的步驟；由前述位置資訊，生成前述辨識對象的多邊形模型的步驟；由前述複數畫像，選擇作為前述多邊形模型的紋理所被使用的畫像的步驟；及藉由組合前述多邊形模型、及前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像的步驟。
一種程式產品，其係內置用以使電腦執行以下步驟的程式：由表示複數畫像的各個所包含的複數點的三維中的位置的位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊的步驟；由前述位置資訊及前述平面資訊的至少任一方，選擇辨識對象的步驟；由前述位置資訊，生成前述辨識對象的多邊形模型的步驟；由前述複數畫像，選擇作為前述多邊形模型的紋理所被使用的畫像的步驟；及藉由組合前述多邊形模型、及前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像的步驟。
一種資訊處理方法，其特徵為：取得包含複數畫像、及表示前述複數畫像的各個所包含的複數點的三維中的位置的位置資訊的三維資訊；由前述位置資訊，生成表示前述複數畫像的各個所包含的複數平面的平面資訊；由前述位置資訊及前述平面資訊的至少任一方，選擇辨識對象；由前述位置資訊，生成前述辨識對象的多邊形模型；由前述複數畫像選擇作為前述多邊形模型所被使用的紋理的畫像；藉由組合前述多邊形模型、及前述所被選擇出的畫像，生成前述辨識對象的三維模型，且由前述所生成的三維模型，生成不同的複數二維畫像。