TW202403670A - 資訊處理裝置、生成方法及生成程式 - Google Patents

資訊處理裝置、生成方法及生成程式 Download PDF

Info

Publication number
TW202403670A
TW202403670A TW111141557A TW111141557A TW202403670A TW 202403670 A TW202403670 A TW 202403670A TW 111141557 A TW111141557 A TW 111141557A TW 111141557 A TW111141557 A TW 111141557A TW 202403670 A TW202403670 A TW 202403670A
Authority
TW
Taiwan
Prior art keywords
image
angle
background image
foreground image
foreground
Prior art date
Application number
TW111141557A
Other languages
English (en)
Inventor
白神健瑠
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202403670A publication Critical patent/TW202403670A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

資訊處理裝置(100)包括：取得部(120)，取得與角度θ相關聯且表示對象物的前景影像、背景影像、對應於背景影像的每個像素之三維(3D)坐標的點雲資料、以及背景影像被生成時的相機位置； 重疊位置決定部(141)，從背景影像之中決定重疊位置；算出部(142)，使用點雲資料算出即為包含重疊位置之區域的平面，且算出即為連結相機位置和重疊位置的直線、與算出的平面之間的角度即角度θ B； 重疊部(146)，將前景影像重疊於背景影像。角度θ為，前景影像的原始影像被生成時對象物被設置的平面、與表示拍攝方向(即為拍攝對象物的方向)的直線之間的角度，且為與角度θ B相同或相似的角度。

Description

資訊處理裝置、生成方法及生成程式
本揭露是關於資訊處理裝置、生成方法及生成程式。
使用經過訓練/學習的模型進行物件識別為眾所周知。經過訓練的模型在訓練階段中需要大像的影像。可以大量準備包含人、車、動物等一般對象物的影像。例如，若使用開放資源(open source)，可以大量準備包含一般對象物的影像。但是，要大量準備特定的車、設備、製品等特定對象物的影像則有困難。此外，當對象物的姿勢改變時，準備大量各種姿勢的對象物會有困難。因此，已有提出用於生成影像的技術(參照專利文獻1)。專利文獻1的資訊處理裝置，取得包含複數影像的三維(3D)資訊，從3D資訊選擇識別對象，藉由從複數影像的每一個切出識別對象範圍(亦即對應於所選之識別對象的範圍)的影像，以從複數影像生成複數前景影像，通過將複數前景影像的每一個合成在複數背景影像的每一個，以生成複數合成影像。 [先前技術文獻] [專利文獻]
[專利文獻1]  國際公開2020-152763號
[發明所欲解決的課題]
順帶一提，在背景影像上重疊前景影像時，由於沒有設定限制，因此可能無法生成真實(實際)的資料。例如，生成以非實際(不真實)的角度配置對象物的影像等。當這樣的影像作為訓練資料時，經過訓練的模型的辨識精確度會降低。
本揭露之目的為生成實際的(真實的)資料。 [用以解決課題的手段]
本揭露的一實施例提供資訊處理裝置。資訊處理裝置，包括：取得部，取得與前景影像角度相關聯且表示對象物的前景影像、背景影像、對應於前述背景影像的每一個像素之三維(3D)坐標的點雲資料、以及前述背景影像被生成時的相機位置； 重疊位置決定部，從前述背景影像之中決定重疊位置；算出部，使用前述點雲資料算出即是包含前述重疊位置之區域的平面，且算出背景影像角度，前述背景影像角度為連結前述相機位置和前述重疊位置的直線與算出的平面之間的角度；以及，重疊部，將前述前景影像重疊於前述背景影像上。前述前景影像角度為，前述前景影像的原始影像被生成時前述對象物被設置的平面、與表示拍攝方向(即為拍攝前述對象物的方向)的直線之間的角度，且為與前述背景影像角度相同或相似的角度。 [發明的效果]
依據本揭露可以生成真實(實際)的資料。
以下將參照圖式說明實施例。以下的實施例，僅僅是示例且在本揭露的範圍內可進行各種修改。
實施例 圖1表示資訊處理裝置所具有之硬體的圖。資訊處理裝置100為執行生成方法的裝置。例如，資訊處理裝置100為伺服器、PC(個人電腦)、智慧型手機等。 資訊處理裝置100包括處理器101、揮發性記憶裝置102、非揮發性記憶裝置103、輸入裝置104、及顯示裝置105。輸入裝置104及顯示裝置105可以存在於資訊處理裝置100的外部。
處理器101控制資訊處理裝置100的全部。例如，處理器101為CPU(中央處理器)、FPGA(現場可程式化邏輯閘陣列)、GPU(圖形處理單元)等。處理器101可以是多重處理器。此外，資訊處理裝置100可以有處理電路。
揮發性記憶裝置102為資訊處理裝置100的主記憶裝置。例如，揮發性記憶裝置102為RAM(隨機存取記憶體)。非揮發性記憶裝置103為資訊處理100的輔助記憶裝置。例如，非揮發性記憶裝置103為HDD(硬碟驅動機)或SSD(固態硬碟)。 輸入裝置104為鍵盤、觸控面板等。顯示裝置105為顯示器。
接著，說明資訊處理裝置100的功能。 圖2表示資訊處理裝置之功能的方塊圖。資訊處理裝置100包括記憶部110、取得部120、前景影像生成部130、及資料生成部140。
記憶部110可以實現為在揮發性記憶裝置102或非揮發性記憶裝置103中已確保的記憶區域。 取得部120、前景影像生成部130、及資料生成部140的部分或全部，可以由處理電路來實現。此外，取得部120、前景影像生成部130、及資料生成部140的部分或全部，可以實現為由處理器101執行的程式的模組。例如，將由處理器101所執行的程式稱為生成程式。例如，生成程式儲存在記錄媒體。
記憶部110儲存各種資訊。例如，記憶部110儲存量測表。量測表會在下文中說明。
取得部120取得包含對象物20的影像。例如，取得部120從相機取得影像。例如，相機為RGB(紅 綠 藍)–D(景深)相機。此外，當相機為RGB相機時，取得部120可以藉由可測量RGB相機和對象物20之間距離的感測器(例如，IMU(慣性測量單元)感測器、紅外線感測器、LiDAR(Light Detection And Ranging，光達))和RGB相機的組合來取得影像。
此外，取得部120可以從外部裝置取得包含對象物20的影像。例如，外部裝置為雲端伺服器。此外，省略外部裝置的圖。
在此，說明拍攝對象物之方法的示例。 圖3表示拍攝對象物的方法之示例(其一)的圖。圖3表示機器人手臂10。在機器人手臂10前端設有相機11。 例如，機器人手臂10的設置位置作為原點進行處理。相機11生成的影像為使用該原點的世界坐標系進行處理。
圖4表示拍攝對象物的方法之示例(其二)的圖。圖4顯示對象物20。對象物20係設置在機器人手臂10被設置的平面上。圖4顯示對象物設置點21。對象物設置點21為接觸該平面的點，且為對象物20的重心或中心。因此，對象物設置點21的Z坐標為0。此外，對象物設置點21可以在攝影前決定。又，可以透過調整，設定對象物設置點21，使得相機11的中心點和對象物20的中心點一致。 例如，相機11的內部參數可以透過相機校準而得到。
接著，具體說明兩種拍攝方法。首先，描述第1種攝影方法。 圖5表示拍攝對象物的方法之示例(其三)的圖。機器人手臂10在動作的同時，從各種角度拍攝對象物20。又，可以適當地改變拍攝時機、拍攝範圍等。
接著，說明第2種拍攝方法。第2種拍攝方法為利用如下所述的方法進行拍攝。 圖6表示物體朝一定方向移動時的示例。圖6顯示皮帶輸送機30。皮帶輸送機30上放置物體31。物體31朝一定方向移動。相機32拍攝平行移動的物體31。利用此種拍攝方法拍攝物體20。具體而言，將參照圖7進行說明。
圖7表示拍攝對象物的方法之示例(其四)的圖。機器人手臂10在移動的同時，拍攝對象物20。 像這樣藉由拍攝對象物20，資訊處理裝置100能夠取得包含對象物20的影像。此外，拍攝對象物20的方法可以使用上述以外的方法。
又，取得部120取得基於世界坐標系的相機位置姿勢。相機位置姿勢由外部參數矩陣 ((R|T)) 表示。例如，相機位置姿勢可以使用相機校準而算出。 而且，取得部120更取得通過相機11的直線與通過對象物設置點21的直線兩者間的角度θ。顯示角度θ。
圖8為表示角度θ的圖。圖8顯示出角度θ。取得部120取得角度θ。角度θ可以如下表示。角度θ為，影像被生成時對象物20被設置的平面與表示拍攝方向的直線兩者間的角度；該拍攝方向為拍攝對象物20的方向。
取得部120在量測表上登錄影像、相機位置姿勢、對象物設置點、對象物設置平面、及角度θ。顯示量測表。
圖9表示量測表的示例的圖。量測表111儲存在記憶部110。量測表111具有如下的項目：對象物ID(識別號)、量測ID、幀編號、影像、相機位置姿勢、對象物設置點、對象物設置平面、角度、及前景影像。
對象物ID之項目中登錄對象物的標識符。量測ID之項目中登錄量測的標識符。幀編號之項目中登錄與所取得影像對應的編號。影像之項目中登錄取得的影像。相機位置姿勢之項目中登錄所取得的相機位置姿勢。對象物設置點之項目中登錄所取得的對象物設置點。此外，所取得的對象物設置點係以世界坐標系的3D坐標表示。對象物設置平面之項目中登錄所取得的對象物設置平面。此外，所取得的對象物設置平面可以用算式(1)表示。
[算式1]
如此，可以用算式(1)表示所取得的對象物設置平面。因此，在對象物設置平面之項目中登錄a、b、c、及d的值。例如，(a, b, c, d)為以(0, 0, 1, 0)表示。 角度之項目中登錄取得的角度θ。前景影像之項目中登錄如後所述的前景影像。 此外，量測表111可以有照明狀況及相機的機種ID之項目。
接著，說明前景影像生成部130。 前景影像生成部130基於影像生成前景影像。換言之，前景影像生成部130擷取出影像中包含的對象物20的區域，將擷取出的區域生成作為前景影像。前景影像生成部130可以使用習知技術生成前景影像。又，前景影像生成部130可以利用以下的方法生成前景影像。
圖10表示前景影像生成部之功能的方塊圖。前景影像生成部130包括區域算出部131、遮罩影像生成部132、及前景影像生成部133。
區域算出部131算出影像內的對象物20的坐標s。詳細而言，區域算出部131使用算式(2)算出坐標s。又，f為幀編號。u f為橫向的像素數。v f為縱向的像素數。K為相機的內部參數。K係以3×3的矩陣表示。(R|T)為外部參數矩陣。(R|T)係以3×4的矩陣表示。q f為在f的影像中對象物設置點21的世界坐標(X f, Y f, Z f)未尾追加1的4維(4D)向量(X f, Y f, Z f, 1)。
[算式2]
區域算出部131算出包含對象物20的矩形區域。例如，區域算出部131利用對象物20的尺寸及對象物設置點21的世界坐標，通過算出包圍對象物20的坐標s的複數點，以算出該矩形區域。
以下，例示在取得部120取得的影像。另外也顯示該矩形區域之例。 圖11表示影像的示例(其一)的圖。圖11顯示影像40。影像40為在取得部120取得的影像。影像40包含對象物20。
圖12的(A)和(B)表示影像的示例(其二)的圖。圖12的(A)顯示對象物設置點21。圖12的(B)顯示矩形區域41。
遮罩影像生成部132使用該矩形區域生成遮罩影像。例如，遮罩影像生成部132使用圖割(GraphCut)等的演法，以像素單位算出顯示對象物20的區域，生成將顯示對象物20的區域去除後的影像作為遮罩影像。例示遮罩影像。
圖13的(A)和(B)表示影像的示例(其三)的圖。圖13的(A)顯示遮罩影像42。遮罩影像42可以用二值化影像表示。例如，表示對象物20的區域用1表示。表示對象物20以外的區域用0表示。
前景影像生成部133，使用遮罩影像生成前景影像。例如，前景影像生成部133，透過對影像40的各個像素的值乘上遮罩影像42的各個像素的值，以生成前景影像。例如，圖13的(B)表示前景影像43。 前景影像生成部133在量測表111登錄前景影像。
接著，使用流程圖說明前景影像生成部130執行的處理。 圖14表示前景影像生成部所執行的處理的示例的流程圖。 (步驟S11) 區域算出部131算出影像內對象物20的坐標s。 (步驟S12) 區域算出部131算出矩形區域。 (步驟S13) 遮罩影像生成部132，使用該矩形區域生成遮罩影像。 (步驟S14) 前景影像生成部133，使用遮罩影像生成前景影像。前景影像為表示對象物20。 (步驟S15) 前景影像生成部133，將前景影像登錄在量測表111。
如量測表111所示，角度與前景影像相關聯。該角度也稱為前景影像角度。例如，該角度為角度θ。該角度為，當前景影像的原始影像生成時對象物20被設置的平面與表示拍攝方向(亦即拍攝對象物20的方向)的直線兩者間的角度。 此外，圖14的處理可以對取得部120所取得的全部影像執行。
接著，說明資料生成部140。 資料生成部140將前景影像重疊在背景影像。背景影像係由取得部120取得。例如，取得部120從記憶部110取得背景影像。又例如，取得部120從外部裝置取得背景影像。
背景影像與點雲資料相關聯，該點雲資料表示背景影像的各個像素所對應的3D坐標。因此，當取得背景影像時，能表示已取得該點雲資料。又，取得部120，可以在與背景影像的取得時機不同的時機，取得該點雲資料。3D坐標為用相機坐標系表示。將說明相機坐標系。
圖15表示相機坐標系的示例的圖。相機坐標系中將相機位置設為原點。相機的拍攝方向為Z軸的正方向。 背景影像與背景影像生成時的相機位置相關聯。因此，當已取得背景影像時，能表示已取得該相機位置。又，取得部120可以在與取得背景影像的時機不同的時機，去取得該相機位置。該相機位置由於是相機坐標系的原點，故可以用(0, 0, 0)表示。 又，背景影像可以與前景影像重疊在背景影像的重疊位置資訊相關聯。
接著，詳細說明資料生成部140的功能。 圖16表示資料生成部之功能的圖。資料生成部140包括重疊位置決定部141、算出部142、檢索部143、選擇部144、轉換部145、及重疊部146。
使用流程圖說明重疊位置決定部141及算出部142執行的處理。 圖17表示重疊位置決定部及算出部所執行的處理的示例(其一)的流程圖。 (步驟S21) 重疊位置決定部141從背景影像中決定重疊位置p B。重疊位置p B為與對象物設置點21相當的位置。重疊位置p B以3D坐標表示。重疊位置決定部141亦可以隨機地決定重疊位置p B。又，重疊位置決定部141基於重疊位置資訊決定重疊位置p B。
(步驟S22) 算出部142使用點雲資料，嘗試算出包含重疊位置p B的區域(亦即平面P B)。例如，算出部142使用點雲資料和RANSAC(隨機抽樣一致)演算法，嘗試算出平面P B。又，平面P B可用算式(1)表示。 當算出平面P B時，處理會進入步驟S23。當沒有算出平面P B時，處理會進入步驟S21。該步驟S21中，重疊位置決定部141決定新的重疊位置。
(步驟S23) 算出部142，算出連結相機位置和重疊位置p B的直線與平面P B兩者間的角度θ B。角度θ B也稱為背景影像角度。
又，當背景影像中重疊範圍已預定時，可以執行以下的處理。 圖18表示重疊位置決定部及算出部所執行的處理的示例(其二)的流程圖。 (步驟S31) 取得部120取得表示重疊範圍的資訊。例如，取得部120從記憶部110取得表示重疊範圍的資訊。 (步驟S32) 重疊位置決定部141從重疊範圍中決定重疊位置p B。例如，重疊位置決定部141從重疊範圍中隨機地決定重疊位置P B。
(步驟S33) 算出部142使用點雲資料，嘗試算出包含重疊位置的區域(亦即平面P B)。例如，算出部142使用點雲資料及RANSAC演算法，嘗試算出平面P B。 當算出平面P B時，處理則進入步驟S34。當無法算出平面P B時，處理則進入步驟S32。在該步驟S32中，重疊位置決定部141決定新的重疊位置。 (步驟S34) 算出部142，算出連結與背景影像相關聯的相機位置和重疊位置p B的直線與平面P B之間的角度θ B。
接著，使用流程圖說明檢索部143、選擇部144、轉換部145、及重疊部146所執行的處理。 圖19表示重疊處理的示例的流程圖(其一)。圖20表示重疊處理的示例的流程圖(其二)。 (步驟S41) 檢索部143基於角度θ B，從量測表111中檢索前景影像的候補作為前景影像候補。詳細而言，檢索部143基於角度θ B，通過對量測表111的角度之項目進行檢索，以檢索前景影像候補。又，例如，檢索部143可以檢索滿足“角度θ B±1”條件的角度θ所對應的前景影像作為前景候補影像。藉此，可以檢索與角度θ B相同或相似的角度相互關聯之1個或多個前景影像候補。
取得部120透過檢索部143取得1個或更多的前景影像候補(亦即前景影像)。又，取得部120可以從外部裝置取得1個或更多的前景影像候補。
(步驟S42) 選擇部144從1或更多個前景影像候補中選擇1個前景影像候補。
在此，當即使角度相同或相似但拍攝方向不同時，外觀為不同的。具體而言，即表示外觀不同的情況。 圖21的(A)和(B)表示外觀不同時的示例的圖。圖21的(A)顯示包含對象物20的影像50。圖21的(B)顯示包含對象物20的影像51。 對應於影像50的角度θ與對應於影像51的角度θ為相同或相似。但是，圖21的(A)及圖21的(B)，顯示對象物20的拍攝方向不同的情形。如圖21的(A)和圖21的(B)所示，即使當角度相同或相似但拍攝方向不同時，外觀是不同的。因此，轉換部145執行轉換處理。
首先，選擇的前景影像候補稱為影像A。在此，相機位置姿勢用外部參數矩陣((R|T))表示。對應於影像A的相機姿勢設為相機姿勢R A。亦即，相機姿勢R A與對應於影像A的相機位置姿勢“(R|T)”的“R”相當。對應於影像A的對象物設置點，設為對象物設置點p A。對應於影像A的對象物設置平面，設為對象物設置平面P A。又，已經獲得對應於背景影像的重疊位置p B及平面P B。對應於背景影像的相機姿勢R B為未知值。
(步驟S43) 轉換部145算出影像A中物體設置位置坐標系C的基本向量。在此，以物體設置位置坐標系C舉例。
圖22表示物體設置位置坐標系的示例的圖。在物體設置位置坐標系C中，連結相機與對象物設置點的向量係設為Z軸。轉換部145執行投影轉換，使得物體設置位置坐標系C中的相機姿勢R A與物體設置位置坐標系C中的相機姿勢R B相等。 以下詳細說明影像A中的物體設置位置坐標系C的基本向量的算出。在此，相機位置的世界坐標設為O A。對象物設置點p A的世界坐標設為X A。通過O A的法線向量與對象物設置平面P A之交點的世界坐標設為Y A。
物體設置位置坐標系C的基本向量的X軸方向以算式(3)表示。
[算式3]
物體設置位置坐標系C的基本向量的Y軸方向以算式(4)表示。
[算式4]
物體設置位置坐標系C的基本向量的Z軸方向以算式(5)表示。
[算式5]
(步驟S44) 轉換部145，算出背景影像中的物體設置位置坐標系C的基本向量。在此，相機坐標系中的相機位置設為O B。重疊位置p B的世界坐標設為X B。通過O B的法線向量與平面P B之交點的世界坐標設為Y B。 物體設置位置坐標系C的基本向量的X軸方向以算式(6)表示。
[算式6]
物體設置位置坐標系C的基本向量的Y軸方向以算式(7)表示。
[算式7]
物體設置位置坐標系C的基本向量的Z軸方向以算式(8)表示。
[算式8]
將由影像A中的基本向量縱向連結而得之矩陣設為T A。T A以算式(9)表示。
[算式9]
將由背景影像中的基本向量縱向連結而得之矩陣設為T B。T B以算式(10)表示。
[算式10]
物體設置位置坐標系C中的影像A的相機姿勢R A1以算式(11)表示。
[算式11]
物體設置位置坐標系C中的背景影像的相機姿勢R B1以算式(12)表示。
[算式12]
世界坐標系C中的背景影像的相機姿勢R B以算式(13)表示。另外，相機姿勢R B為旋轉矩陣。
[算式13]
相機姿勢的轉換矩陣T AB以算式(14)表示。
[算式14]
(步驟S45) 轉換部145使用算式(15)，算出單應性矩陣(Homography Matrix)H AB。又，K為相機的內部參數矩陣。
[算式15]
(步驟S46) 轉換部145使用算式(16)投影轉換影像A。又，算式(16)中的投影轉換也稱為單應性轉換。又，x、y為影像A的像素坐標。x new、y new為投影轉換後的影像A的像素坐標。
[算式16]
像這樣，轉換部145在背景影像的拍攝方向上，投影轉換影像A。換言之，轉換部145在生成背景影像的相機的拍攝方向上，投影轉換影像A。 此外，當背景影像的拍攝方向與影像A的拍攝方向相同時，即使執行步驟S43至步驟46，影像A也不會被投影轉換。
圖23的(A)和(B)表示用以說明投影轉換的圖(其一)。圖23的(A)顯示即為影像A的影像60。圖23的(B)顯示即為背景影像的的影像61。 對應於影像60的角度θ與對應於影像61的角度θ B為相同。但是，對應於影像60的拍攝方向與對應於影像61的拍攝方向為相差90度。因此，外觀不同。因此，轉換部145對影像A進行投影轉換。
圖24表示用以說明投影轉換的圖(其二)。圖24顯示影像62，其為經過投影轉換的影像A。透過執行如此的投影轉換，前景影像的外觀與背景影像的外觀成為相同。
步驟S46之後，處理進入步驟S51。
(步驟S51) 轉換部145，判定相機與對象物設置平面之間的距離在影像A中和背景影像中是否不同。在此，例如，即為影像A之前景影像的原始影像，為透過RGB-D相機生成的影像。因此，影像A(亦即前景影像)的各像素與距離相關聯。又，背景影像，與對應於背景影像的各像素的點雲資料相關聯。因此，透過由點雲資料表示的Z坐標，可以指定距離。 當距離在影像A與背景影像中不同時，意味著影像A與背景影像的比例不同。當距離在影像A與背景影像中不同時，處理則進入步驟S52。當距離在影像A與背景影像中相同時，處理則進入步驟S53。
(步驟S52) 轉換部145對影像A執行比例轉換。 以下詳細說明比例轉換。首先，將影像A中的距離(亦即，表示拍攝方向的向量和對象物設置平面P A的交點、與相機位置之間的距離)設為d A。將背景影像中的距離(亦即，表示拍攝方向的向量和平面P B的交點、與相機位置之間的距離)設為d B。此外，在以下的說明中，假設影像A已經過投影轉換。 轉換部145使用仿射轉換，對影像A執行比例轉換。具體而言，轉換部145使用算式(17)，對影像A執行比例轉換。
[算式17]
在此，例示經過比例轉換後的影像A。 圖25表示經比例轉換的影像的示例的圖。轉換部145，對即為影像A之影像62執行比例轉換。藉此，影像62包含的對象物20縮小。
前述為說明影像A被投影轉換之情形。當影像A的拍攝方向與背景影像的拍攝方向相同時，轉換部145不對影像A執行投影轉換。又，前述已說明對經過投影轉換的影像A執行比例轉換之情形。轉換部145也可以對沒經過投影轉換的影像A執行比例轉換。
(步驟S53) 選擇部144，判定是否已經選擇全部的前景影像候補。當已經選擇全部的前景影像候補時，處理則進入步驟S54。當沒有選擇全部的前景影像候補時，處理則進入步驟S42。
(步驟S54) 選擇部144從1或多個前景影像候補之中，選最佳的前景影像候補，作為要疊加的前景影像。換言之，選擇部144從1或多個前景影像候補之中，選擇由於影像轉換致使的視點變化為最小的影像。
在此，導入用以表示旋轉矩陣P和旋轉矩陣Q相似度的指標d(P,Q)。指標d(P,Q)的值愈小，旋轉矩陣P和旋轉矩陣Q相似度愈高。又，指標d(P,Q)的值小，意味著即使相機姿勢改變，但視點的變化小。指標d(P,Q)可以用算式(18)表示。
[算式18] x∈單位球面上的點
指標d(P,Q)為，通過對在單位球面上隨機取樣的各個點，算出由旋轉矩陣P施加轉換的坐標與由旋轉矩陣Q轉換的坐標之間的距離，進而擬似地算出。
選擇最佳的前景影像候補的處理中，將指標d(P,Q)的“P”替換為相機姿勢R A。又，將指標d(P,Q)的“Q”替換為相機姿勢R B。 當存在N張前景影像候補時，選擇部144使用算式(19)選擇即為最佳的前景影像候補之影像i。
[算式19]
(步驟S55) 重疊部146將選擇的影像i(即前景影像)重疊於背景影像。詳細而言，重疊部146將前景影像重疊於背景影像的重疊位置p B。
在此，於上述為易於理解，已說明對影像A執行投影轉換及比例轉換之情形。但是，實際上，對表示影像A中包含的對象物20的前景影像，被執行投影轉換及比例轉換。
簡單地例示從投影轉換至重疊的過程。 圖26表示從投影轉換到重疊的過程的圖。圖26顯示前景影像70。資料生成部140對前景影像70執行投影轉換。資料生成部140對前景影像70執行比例轉換。換言之，資料生成部140將前景影像70的比例轉換成為背景影像71的比例。資料生成部140將前景影像70重疊於背景影像71。藉此，生成合成影像。合成影像被使用作為訓練(學習)資料。此外，可以將合成影像與量測表111中登錄的資訊相關聯。通過將合成影像與該資訊相關聯，可以縮減訓練資料。又，通過將合成影像與該資訊相關聯，當發生條件不均衡時，可以擷取用以訂正條件不均衡的訓練資料。又，正確答案資訊可以和合成影像相關聯。
資訊處理裝置100，將對應於與角度θ B相同或相似之角度θ的前景影像重疊於背景影像，該θ B對應於該背景影像。因此，藉由將前景影像重疊於背景影像而得到的合成影像成為真實的資料。因此，資訊處理裝置100可以生成真實的資料。
當前景影像的拍攝方向與背景影像的拍攝方向不同時，資訊處理裝置100投影轉換前景影像。藉此，前景影像的方向與背景影像的拍攝方向相同。然後，資訊處理裝置100將投影轉換後的前景影像重疊於背景影像。因此，由前景影像重疊於背景影像而得的合成影像，成為更真實的資料。因此，資訊處理裝置100可生成更真實的資料。
而且，當前景影像的比例與背景影像的比例不同時，資訊處理裝置100對前景影像執行比例轉換。藉此，前景影像被轉換成與背景影像相同的比例。然後，資訊處理裝置100將經過比例轉換後的前景影像重疊於背景影像。因此，由前景影像重疊於背景影像而得到的合成影像，成為更真實(實際)的資料。因此，資訊處理裝置100可生成更真實(實際)的資料。
資訊處理裝置100從複數前景影像候補中，選擇最佳的前景影像候補作為要重疊的前景影像。然後，資訊處理裝置100將即為所選擇的前景影像候補之前景影像重疊於背景影像。因此，由前景影像重疊於背景影像而得到的合成影像，成為最佳的資料。因此，資訊處理裝置100可生成最佳的資料。
10:機器人手臂 11:相機 20:對象物 21:對象物設置點 30:皮帶輸送機 31:物體 32:相機 40:影像 41:矩形區域 42:遮罩影像 43:前景影像 50:影像 51:影像 60:影像 62:影像 70:前景影像 71:背景影像 100:資訊處理裝置 101:處理器 102:揮發性記憶裝置 103:非揮發性記憶裝置 104:輸入裝置 105:顯示裝置 110:記憶部 111:量測表 120:取得部 130:前景影像生成部 131:區域算出部 132:遮罩影像生成部 133:前景影像生成部 140:資料生成部 141:重疊位置決定部 142:算出部 143:檢索部 144:選擇部 145:轉換部 146:重疊部
圖1表示資訊處理裝置所具有之硬體的圖。 圖2表示資訊處理裝置之功能的方塊圖。 圖3表示拍攝對象物的方法之示例(其一)的圖。 圖4表示拍攝對象物的方法之示例(其二)的圖。 圖5表示拍攝對象物的方法之示例(其三)的圖。 圖6表示物體朝一定方向移動時的示例。 圖7表示拍攝對象物的方法之示例(其四)的圖。 圖8為表示角度θ的圖。 圖9表示量測表的示例的圖。 圖10表示前景影像生成部之功能的方塊圖。 圖11表示影像的示例(其一)的圖。 圖12的(A)和(B)表示影像的示例(其二)的圖。 圖13的(A)和(B)表示影像的示例(其三)的圖。 圖14表示前景影像生成部所執行的處理的示例的流程圖。 圖15表示表示相機坐標系的示例的圖。 圖16表示資料生成部之功能的圖。 圖17表示重疊位置決定部及算出部所執行的處理的示例(其一)的流程圖。 圖18表示重疊位置決定部及算出部所執行的處理的示例(其二)的流程圖。 圖19表示重疊處理的示例的流程圖(其一)。 圖20表示重疊處理的示例的流程圖(其二)。 圖21的(A)和(B)表示外觀不同時的示例的圖。 圖22表示物體設置位置坐標系的示例的圖。 圖23的(A)和(B)表示用以說明投影轉換的圖(其一)。 圖24表示用以說明投影轉換的圖(其二)。 圖25表示經比例轉換的影像的示例的圖。 圖26表示從投影轉換到重疊的經過的圖。
10:機器人手臂
100:資訊處理裝置
110:記憶部
120:取得部
130:前景影像生成部
140:資料生成部

Claims (6)

  1. 一種資訊處理裝置，包括： 取得部，取得與前景影像角度相關聯且表示對象物的前景影像、背景影像、對應於前述背景影像的每一個像素之三維(3D)坐標的點雲資料、以及前述背景影像被生成時的相機位置； 重疊位置決定部，從前述背景影像之中決定重疊位置； 算出部，使用前述點雲資料算出即是包含前述重疊位置之區域的平面，且算出背景影像角度；前述背景影像角度為連結前述相機位置和前述重疊位置的直線與算出的平面之間的角度； 重疊部，將前述前景影像重疊於前述背景影像； 其中，前述前景影像角度為，前述前景影像的原始影像被生成時前述對象物被設置的平面、與表示拍攝方向(即為拍攝前述對象物的方向)的直線之間的角度，且為與前述背景影像角度相同或相似的角度。
  2. 如請求項1之資訊處理裝置，更包括 進行投影轉換的轉換部，在前述背景影像的拍攝方向上，對前述前景影像進行投影轉換。
  3. 如請求項1或2之資訊處理裝置，更包括 進行比例轉換的轉換部，將前述前景影像轉換為前述背景影像的比例。
  4. 如請求項1或2之資訊處理裝置，更包括選擇部； 其中，前述取得部，取得複數前景影像候補，前述複數前景影像候補與和前述背景影像角度相同或相似的角度相關聯； 前述選擇部，從前述複數前景影像候補中，選擇最佳的前景影像候補作為要重疊的前景影像； 重疊於前述背景影像的前述前景影像，為所選擇的前景影像候補。
  5. 一種生成方法，由資訊處理裝置執行： 取得背景影像、表示對應於前述背景影像的每一個像素之三維(3D)坐標的點雲資料、以及前述背景影像被生成時的相機位置； 從前述背景影像之中決定重疊位置； 使用前述點雲資料，算出即是包含前述重疊位置之區域的平面； 算出背景影像角度，前述背景影像角度為連結前述相機位置和前述重疊位置的直線、與算出的平面之間的角度； 取得與前景影像角度相關聯且表示對象物的前景影像，前述前景影像角度為與前述背景影像角度相同或相似的角度；以及 將前述前景影像重疊於前述背景影像； 其中，前述前景影像角度為，前述前景影像的原始影像被生成時前述對象物被設置的平面、與表示拍攝方向(即為拍攝前述對象物的方向)的直線之間的角度。
  6. 一種生成程式，用以使資訊處理裝置執行以下的處理： 取得背景影像、表示對應於前述背景影像的每一個像素之三維(3D)坐標的點雲資料、以及前述背景影像被生成時的相機位置； 從前述背景影像之中決定重疊位置； 使用前述點雲資料，算出即是包含前述重疊位置之區域的平面； 算出背景影像角度，前述背景影像角度為連結前述相機位置和前述重疊位置的直線與算出的平面之間的角度； 取得與前景影像角度相關聯且表示對象物的前景影像，前述前景影像角度為與前述背景影像角度相同或相似的角度；以及 將前述前景影像重疊於前述背景影像； 其中，前述前景影像角度為，當前述前景影像的原始影像被生成時，前述對象物被設置的平面、與表示拍攝方向(即為拍攝前述對象物的方向)的直線之間的角度。
TW111141557A 2022-07-06 2022-11-01 資訊處理裝置、生成方法及生成程式 TW202403670A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2022/026814 2022-07-06
PCT/JP2022/026814 WO2024009427A1 (ja) 2022-07-06 2022-07-06 情報処理装置、生成方法、及び生成プログラム

Publications (1)

Publication Number Publication Date
TW202403670A true TW202403670A (zh) 2024-01-16

Family

ID=86052898

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111141557A TW202403670A (zh) 2022-07-06 2022-11-01 資訊處理裝置、生成方法及生成程式

Country Status (3)

Country Link
JP (1) JP7262689B1 (zh)
TW (1) TW202403670A (zh)
WO (1) WO2024009427A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
JP2022029125A (ja) * 2020-08-04 2022-02-17 オムロン株式会社 分類ユニット、生成ユニット、データセット生成装置、フレーム画像分類方法、およびフレーム画像分類プログラム

Also Published As

Publication number Publication date
WO2024009427A1 (ja) 2024-01-11
JP7262689B1 (ja) 2023-04-21
JPWO2024009427A1 (zh) 2024-01-11

Similar Documents

Publication Publication Date Title
JP6330987B2 (ja) 画像処理装置、画像処理方法、及び記憶媒体
KR100793838B1 (ko) 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
JP6897563B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP6011548B2 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP6793151B2 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
JP2010109783A (ja) 電子カメラ
JP2016212784A (ja) 画像処理装置、画像処理方法
CN110111364A (zh) 运动检测方法、装置、电子设备及存储介质
Zhu et al. Robust plane-based calibration of multiple non-overlapping cameras
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
KR101868740B1 (ko) 파노라마 이미지 생성 방법 및 장치
TWI615808B (zh) 全景即時影像處理方法
Zheng et al. What does plate glass reveal about camera calibration?
JP6608311B2 (ja) 画像評価装置及び画像評価プログラム
Cao et al. Field-of-view IoU for object detection in 360° images
JP7192526B2 (ja) 画像処理装置、画像処理方法及びプログラム
TW202403670A (zh) 資訊處理裝置、生成方法及生成程式
WO2019100216A1 (zh) 3d建模方法、电子设备、存储介质及程序产品
JP2008203991A (ja) 画像処理装置
US20230005213A1 (en) Imaging apparatus, imaging method, and program
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
CN113763545A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质