TWI801717B - 一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品 - Google Patents

一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品 Download PDF

Info

Publication number
TWI801717B
TWI801717B TW109105431A TW109105431A TWI801717B TW I801717 B TWI801717 B TW I801717B TW 109105431 A TW109105431 A TW 109105431A TW 109105431 A TW109105431 A TW 109105431A TW I801717 B TWI801717 B TW I801717B
Authority
TW
Taiwan
Prior art keywords
image
images
transformed
physical
different
Prior art date
Application number
TW109105431A
Other languages
English (en)
Other versions
TW202105320A (zh
Inventor
侯曉楠
邱雪濤
萬四爽
Original Assignee
大陸商中國銀聯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商中國銀聯股份有限公司 filed Critical 大陸商中國銀聯股份有限公司
Publication of TW202105320A publication Critical patent/TW202105320A/zh
Application granted granted Critical
Publication of TWI801717B publication Critical patent/TWI801717B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本發明公開了一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品，該方法為：對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像；對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換；根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像。

Description

一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品
本發明屬於電腦視覺領域，尤其關於一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品。
隨圖像識別，是一種利用電腦對圖像進行處理、分析和理解，以識別各種不同模式的目標和對像的技術。舉例來說，對人臉進行識別，驗證身份。圖像識別模型需要用大量的實物圖片做訓練。
對一個圖像識別模型來說，實物圖片數量越多，訓練資料覆蓋的場景越豐富，對實物的識別越準確。但是，人工採集實物圖片的有較大局限性，不能通過調整拍攝條件獲取到一部分場景下的實物圖片，尤其是拍攝條件的細微變化，人工調整拍攝條件會導致實物圖片採集誤差較大，從而造成一部分場景下的實物圖片缺失，訓練資料不完整，進而造成實物識別模型在缺失的這部分場景下，對實物不能準確識別。
因此，現有技術中，人工採集實物圖片造成一部分場景下的實物圖像缺失，訓練資料不完整的問題亟待解決。
本發明實施例提供一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品，解決了現有技術中，人工採集實物圖片造成一部分場景下的實物圖像缺失，訓練資料不完整的問題。
第一方面，本發明實施例提供一種實物圖像生成方法，包括：對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像；對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換；根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像。
可選的，該對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換，包括：按照預設照射變換演算法中M個第一像素值變換規則，對該第一照射圖像中的像素值做M次不同的變換，獲取不同的M個變換後第二照射圖像；其中，該M次不同的變換中每次變換與該M個變換後的第二照射圖像中的一個第二照射圖像唯一對應；M為正整數；以及，該根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像，包括：根據該第一反射圖像和該M個變換後的第二照射圖像，生成與該第一實物圖像不同的M個第二實物圖像。
可選的，該對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換，包括：按照預設反射變換演算法中N個第二像素值變換規則，對該第一反射圖像中的像素值做N次不同的變換，獲取不同的N個變換後的第二反射圖像；其中，該N次不同的變換中每次變換與該N個變換後的第二反射圖像中的一個第二反射圖像唯一對應；N為正整數；以及該 根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像，包括：根據該第一照射圖像和該N個變換後的第二反射圖像，生成與該第一實物圖像不同的N個第二實物圖像。
可選的，該對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換，包括：按照預設照射變換演算法中P個第三像素值變換規則，對該第一照射圖像中的像素值做P次不同的變換，獲取不同的P個變換後的第三照射圖像；其中，該P次不同的變換中每次變換與該P個變換後的第三照射圖像中的一個第三照射圖像唯一對應；P為正整數；按照預設反射變換演算法中Q個第四像素值變換規則，對該第一反射圖像中的像素值做Q次不同的變換，獲取不同的Q個變換後的第三反射圖像；其中，該Q次不同的變換中每次變換與該Q個變換後的第三照射圖像中的一個第三照射圖像唯一對應；Q為正整數；以及該根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像，包括：根據該P個變換後的第三照射圖像和該Q個變換後的第三反射圖像，生成與該第一實物圖像不同P*Q個第二實物圖像。
可選的，該生成至少一個第二實物圖像之後，還包括：將該至少一個第二實物圖像作為訓練資料，輸入至圖像識別模型；根據該訓練資料中每一張第二實物圖像，與該第二實物圖像輸入至該圖像識別模型後的輸出結果，更新該圖像識別模型的參數。
上述方法中，通過對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像，之後對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換，因此可以獲取到變換後 的至少一個照射圖像以及反射圖像，再通過變換後的至少一個圖像、該第一反射圖像和該第一照射圖像相互結合，從而可以通過最初的第一實物圖像生成至少一個實物圖像，以此類推，對人工採集的每一張實物圖像都進行上述步驟，可大幅提升實物圖像，彌補一部分場景下人工採集實物圖像的缺失，達到對訓練資料進行補充的效果。
第二方面，本發明實施例提供一種實物圖像生成裝置，包括：獲取模組，用於對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像；處理模組，用於對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換；以及用於根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像。
可選的，該處理模組，具體用於：按照預設照射變換演算法中M個第一像素值變換規則，對該第一照射圖像中的像素值做M次不同的變換，獲取不同的M個變換後第二照射圖像；其中，該M次不同的變換中每次變換與該M個變換後的第二照射圖像中的一個第二照射圖像唯一對應；M為正整數；根據該第一反射圖像和該M個變換後的第二照射圖像，生成與該第一實物圖像不同的M個第二實物圖像。
可選的，該處理模組，具體用於：按照預設反射變換演算法中N個第二像素值變換規則，對該第一反射圖像中的像素值做N次不同的變換，獲取不同的N個變換後的第二反射圖像；其中，該N次不同的變換中每次變換與該N個變換後的第二反射圖像中的一個第二反射圖像唯一對應；N為正整數；根據該第一照射圖像和該N個變換後的第二反射圖像，生成與該第一實物圖像不同的N個第二實物圖像。
可選的，該處理模組，具體用於：按照預設照射變換演算法中P個第三像素值變換規則，對該第一照射圖像中的像素值做P次不同的變換，獲取不同的P個變換後的第三照射圖像；其中，該P次不同的變換中每次變換與該P個變換後的第三照射圖像中的一個第三照射圖像唯一對應；P為正整數；按照預設反射變換演算法中Q個第四像素值變換規則，對該第一反射圖像中的像素值做Q次不同的變換，獲取不同的Q個變換後的第三反射圖像；其中，該Q次不同的變換中每次變換與該Q個變換後的第三照射圖像中的一個第三照射圖像唯一對應；Q為正整數；根據該P個變換後的第三照射圖像和該Q個變換後的第三反射圖像，生成與該第一實物圖像不同P*Q個第二實物圖像。
可選的，該處理模組，還用於：將該至少一個第二實物圖像作為訓練資料，輸入至圖像識別模型；根據該訓練資料中每一張第二實物圖像，與該第二實物圖像輸入至該圖像識別模型後的輸出結果，更新該圖像識別模型的參數。
第三方面，本發明實施例提供一種實物圖像生成設備，包括：至少一個處理器；以及，與該至少一個處理器通信連接的記憶體；其中，該記憶體存儲有可被該至少一個處理器執行的指令，該指令被該至少一個處理器執行，以使該至少一個處理器能夠執行上述第一方面所述之實物圖像生成方法。
第四方面，本發明實施例提供一種非暫態電腦可讀存儲介質，該非暫態電腦可讀存儲介質存儲電腦指令，該電腦指令用於使該電腦執 行上述第一方面所述之實物圖像生成方法。
第五方面，本發明實施例提供一種電腦程式產品，該電腦程式產品包括存儲在非暫態電腦可讀存儲介質上的計算程式，該電腦程式包括程式指令，當該程式指令被電腦執行時，使該電腦執行上述第一方面所述之實物圖像生成方法。
201-203:步驟
401-404:步驟
501-506:步驟
601:獲取模組
602:處理模組
700:實物圖像生成設備
701:收發器
702:處理器
703:記憶體
704:匯流排系統
圖1為本發明實施例一提供的一種實物圖像生成方法的整體流程圖；
圖2為本發明實施例一提供的一種實物圖像生成方法的步驟流程圖；
圖3為本發明實施例一提供的一種實物圖像生成方法對應本徵分解的示意圖；
圖4為本發明實施例二提供的一種實物圖像生成方法的步驟流程圖；
圖5為本發明實施例三提供的一種實物圖像生成方法的步驟流程圖；
圖6為一種應用於本發明實施例一、二和三的實物圖像生成裝置的結構示意圖；
圖7為一種應用於本發明實施例一、二和三的實物圖像生成設備的結構示意圖。
為利 貴審查委員了解本發明之技術特徵、內容與優點及其所能達到之功效，茲將本發明配合附圖及附件，並以實施例之表達形式詳細 說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的申請範圍，合先敘明。
在本發明的描述中，需要理解的是，術語「中心」、「橫向」、「上」、「下」、「左」、「右」、「頂」、「底」、「內」、「外」等指示的方位或位置關係為基於圖式所示的方位或位置關係，僅是為了便於描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。
圖像識別在電腦視覺領域中被廣泛應用，如各種人臉驗證系統，通過對人臉進行身份識別，獲取身份的許可權，從而進行操作等。實現圖像識別這一功能的工具是圖像識別模型。
實現圖像識別功能之前，圖像識別模型需要用大量的實物圖片做訓練。對一個圖像識別模型來說，實物圖片數量越多，訓練資料覆蓋的場景越豐富，對實物的識別越準確。但是，人工採集實物圖片的有較大局限性，不能通過調整拍攝條件獲取到一部分場景下的實物圖片，尤其是拍攝條件的細微變化，人工調整拍攝條件會導致實物圖片採集誤差較大，從而造成一部分場景下的實物圖片缺失，訓練資料不完整，進而造成實物識別模型在缺失的這部分場景下，對實物不能準確識別。
因此，本發明實施例提出了一種根據少量人工採集的實物圖像的生成更多個實物圖像的方法。如圖1所示，為本發明實施例中提供的一種實物圖像生成方法的整體流程圖。需要說明的是，圖1僅以一張人工採集的實物圖像為例說明該所述過程，人工採集的實物圖像也是在多個場景下 採集的。
給定實物圖像，利用本徵分解演算法將實物圖像分解成照射圖像(Shading image)和反射圖像(Reflectance image)。其中，實物圖像為通過人工採集的初始圖像；照射圖像即反應原圖像光照情況的圖像；反射圖像指在變化的光照條件下能夠維持不變的圖像，反應了原始實物圖像的紋理、材質等。其中，實物圖像、照射圖像和反射圖像均有多個像素點組成，每個像素點都有像素值，各個像素點組合在一起形成圖像，產生視覺效果。每個像素點在實物圖像、照射圖像和反射圖像均有對應的像素值，且實物圖像、照射圖像和反射圖像中的每個像素值之間相互對應。
以一張人工採集的實物圖像為例，得到進行本徵分解後的一張照射圖像和反射圖像後，再對反射圖像和照射圖像做多次不同變換，每次變換後都得到一張與原反射圖像或照射圖像的像素值不完全相同的反射圖像或照射圖像，利用這些修改後的照射圖像和反射圖像便可生成大量與初始圖像集不同的實物圖像。其中，人工採集的實物圖像的亮度一般是由環境光照所影響的，而實物本身的材質資訊與光照情況無關。因此，本發明實施例對反射圖像變換不同的光照條件，得到不同光照條件的多張變換後的反射圖像；以及通過對照射圖像變換不同的紋理等條件，得到同一光照條件多張變換後的照射圖像。需要說明的是，上述變換反射圖像或照射圖像的具體方式均通過預設演算法對反射圖像或照射圖像中像素點的像素值做變換實現。
下面結合圖2，對上述實物圖像生成方法做進一步地詳細介紹。
如圖2所示，為本發明實施例中提供的一種實物圖像生成方法的步驟流程圖。
步驟201：對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像。
步驟201中，第一實物圖像(I)與第一反射圖像(R)、第一照射圖像(S)三者的關係可以由公式表示出來：
I(x,y)=S(x,y)＊R(x,y) (1)
其中(x,y)為像素在圖像中的像素座標。根據該公式，數值求解出反射圖(R)和照射圖(S)，示意圖如圖3所示，圖3為本發明實施例中提供的一種第一實物圖像生成方法對應本徵分解的示意圖。其中第一行是第一實物圖像，中間行是第一反射圖像，最後一行是第一照射圖像。需要說明的是，由於只有第一實物圖像I中像素座標的像素值為已知量，而該像素座標對應的第一照射圖像的像素值和第一反射圖像的像素值不止有一組解，因此在本徵分解過程中，分解出來的第一照射圖像的像素值和第一反射圖像的像素值為隨機選擇的一組解。
步驟202：對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換。
步驟203：根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像。
步驟202中，包括三種情形：第一種情形，至少一次變換以M次變換舉例，按照預設光照變換演算法中M個第一像素值變換規則，對第一照射圖像中的像素值做M次不同的變換，獲 取不同的M個變換後第二照射圖像；其中，M次不同的變換中每次變換與M個變換後的第二照射圖像中的一個第二照射圖像唯一對應；M為正整數；第二種情形，按照預設反射變換演算法中N個第二像素值變換規則，對該第一反射圖像中的像素值做N次不同的變換，獲取不同的N個變換後的第二反射圖像；其中，該N次不同的變換中每次變換與該N個變換後的第二反射圖像中的一個第二反射圖像唯一對應；N為正整數；第三種情形，按照預設照射變換演算法中P個第三像素值變換規則，對該第一照射圖像中的像素值做P次不同的變換，獲取不同的P個變換後的第三照射圖像；其中，該P次不同的變換中每次變換與該P個變換後的第三照射圖像中的一個第三照射圖像唯一對應；P為正整數。
另外，按照預設反射變換演算法中Q個第四像素值變換規則，對該第一反射圖像中的像素值做Q次不同的變換，獲取不同的Q個變換後的第三反射圖像；其中，該Q次不同的變換中每次變換與該Q個變換後的第三照射圖像中的一個第三照射圖像唯一對應；Q為正整數。
在上述三種情形中，以第一種情形舉例，該情形下預設照射變換演算法封裝在一個影像處理軟體，如openCV。影像處理軟體在調用光照條件變換演算法時，又有多種光照條件變換對應的第一像素值變換規則，即一種光照條件對應一個第一像素值變換規則。按照一個第一像素值變換規則對第一照射圖像的像素值進行變換，即可得到對應光照條件下變換後的照射圖像。第二種情形和第三種情形，也是根據光照條件或紋理預設了像素值轉換規則，通過改變像素值獲取到變換了光照條件或紋理的反射圖像和照射圖像，不再贅述。
步驟203中，分別對應步驟202中的情形，包括以下三種情形：第一種情形，進行了步驟202中第一種情形之後，根據該第一反射圖像和該M個變換後的第二照射圖像，生成與該第一實物圖像不同的M個第二實物圖像；第二種情形，進行了步驟202中第二種情形之後，根據該第一照射圖像和該N個變換後的第二反射圖像，生成與該第一實物圖像不同的N個第二實物圖像；第三種情形，進行了步驟202中第三種情形之後，根據該P個變換後的第三照射圖像和該Q個變換後的第三反射圖像，生成與該第一實物圖像不同P*Q個第二實物圖像。
綜上所述，步驟202~步驟203生成實物圖像共有如下三種情形，用公式表示如下：第一種情形，保持本徵分解階段得到的第一反射圖像(R)不變，對第一照射圖像(S)進行不同的修改，得到M次不同的第二照射圖像(AS(i))，然後利用公式(1)計算生成的實物圖像(AI(i))：AI(i)(x,y)=AS(i)(x,y)*AR(x,y),i=1,...,M(2)該情形下，通過修改第一照射圖像的光照條件，生成了實物圖像集：
A=[AI(1),AI(2),...,AI(M)]；第二種情形，保持本徵分解階段得到的第一照射圖像(S)不變，對第一反射圖像(R)進行N次不同的修改，得到不同的反射圖像(BRj)，然後利用公式(1)計算生成的圖片(BIj)：BIj(x,y)=BS(x,y)*BRj(x,y),j=1,...,N；(3)該情形下，通過修改第一反射圖像的紋理，生成了實物圖像集
B=[BI1,BI2,...,BIN]：第三種情形，對第一反射圖像(R)進行Q次不同的修改，得到不同的第三反射圖像(CRj)，對每個第三反射圖像(CRj)保持不變，對第一照射圖像(S)進行P次不同的修改，得到不同的第三照射圖(CSj)，然後利用公式(1)計算生成的圖片(CIj)：
Figure 109105431-A0101-12-0012-1
 得到生成資料集
Figure 109105431-A0101-12-0012-2
步驟203之後，另一種可選的實施方式為，將該至少一個第二實物圖像作為訓練資料，輸入至圖像識別模型；根據該訓練資料中每一張第二實物圖像，與該第二實物圖像輸入至該圖像識別模型後的輸出結果，更新該圖像識別模型的參數。通過生成的第二實物圖像，大幅增加了訓練資料量，可使得圖像識別模型更加精確。
如圖4所示，為本發明實施例二提供的一種實物圖像生成方法的步驟流程圖，本發明實施例二為一種基於本徵分解的多光照人臉圖像生成方法。光照變化是影響人臉識別性能的最關鍵因素，對所述問題的解決程度關係著人臉識別實用化進程的成敗。為了提高人臉識別模型對於光照的強健性，一個最直接的辦法是在訓練資料中加入不同光照條件下的人臉圖像，具體步驟如下：步驟401之前，收集一個通過人工拍攝得到的實物圖像集E，舉例來說，E包含100000張人臉圖像；步驟401：對實物圖像集E中每一個實物圖像進行本徵分解。
步驟401中，舉例來說，k=1,2...100000，對實物圖像集E中的每一個圖片EIk，進行本徵分解，得到對應的反射圖像(ERk)、照射圖像(ESk)。
步驟402：保持反射圖像(ERk)不變，按照預設的光照條件修改演算法對照射圖像(ESk)進行n次不同修改。其中，n為大於1的整數。
步驟402中，每個照射圖像ESk均得到一個變換後的照射圖像集合
Figure 109105431-A0101-12-0013-3
步驟403：根據變換後的照射圖像集合和反射圖像生成實物圖像集合。
進而利用以下公式，生成實物圖像集合
Figure 109105431-A0101-12-0013-4
Figure 109105431-A0101-12-0013-5
；i=1,2...n。
步驟404：確定資料集E中是否還有未進行步驟402和步驟403的實物圖像。
若是，則轉到步驟402；否則，將E中每張實物圖像生成的實物圖像集合，作為最終的生成訓練資料集合Eg。以實物圖像中含有100000張圖片為例，Eg=[E1,...,E100000]，共含有100萬張圖片；利用資料集[E,Eg]進行實物識別模型的訓練，得到對光照條件更加強健性的實物識別模型。
圖5為本發明實施例三提供的一種實物圖像生成方法的步驟流程圖，本發明實施例三為一種基於本徵分解的圖像分割訓練資料生成方法。圖像分割目的是將圖像分成各具特徵的區域並提取感興趣目標的技術， 這些特徵可以是像素、顏色、紋理等，提取目標可以是單個或多個區域。具體步驟如下：步驟501之前，收集一個通過人工拍攝得到的實物圖像集F，舉例來說，F包含1000張風景圖像；步驟501：對實物圖像集F中每一個實物圖像進行本徵分解。
步驟501中，舉例來說，m=1,2...1000，對實物圖像集F中的每一個圖片FIm，進行本徵分解，得到對應的反射圖像(FRm)、照射圖像(FSm)。
步驟502：保持反射圖像(FRm)不變，根據預設的光照條件修改演算法對照射圖像(FSm)進行t次不同修改。需要說明的是，預設的光照條件變換演算法包含多個像素值變換規則，每個像素值變換規則都對應一張變換後的反射圖像。
步驟502中，得到變換後的照射圖像集
Figure 109105431-A0101-12-0014-6
步驟503：根據變換後的照射圖像集，生成實物圖像集
Figure 109105431-A0101-12-0014-7
步驟503利用了以下公式進行變換：
Figure 109105431-A0101-12-0014-8
，i=1,...,t。
步驟504：保持照射圖像(FSm)不變，根據預設的紋理修改演算法對反射圖像(FRm)進行r次不同修改。需要說明的是，預設的紋理變換演算法包含多個像素值變換規則，每個像素值變換規則都對應一張變換後的反射圖像。
步驟504中，得到變換後的反射圖像集
[FRm,1,...,FRm,r]。
步驟505：根據變換後的反射圖像集，生成實物圖像集
Fm '=[FIm,1,...,FIm,r]。
步驟505中利用了以下公式進行變換：
FIm,j(x,y)=FSm(x,y)*FRm,j(x,y),j=1,...,r。
步驟506：確定資料集F中是否還有未進行步驟502且未進行步驟504的實物圖像。若是，則轉到步驟502；否則，將E中每張實物圖像生成的實物圖像集合，作為最終的生成訓練資料集合Fh=[F1,F1 '...,Ft,Fr ']。舉例來說，當t=r=10時，Fh中共含有2萬張實物圖像。利用資料集[F,Fh]進行圖像分割模型的訓練，利用光照條件和顏色、材質條件更為豐富的資料集進行模型訓練，會大幅提升其準確率。
上述方法中，通過對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像，之後對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換，因此可以獲取到變換後的至少一個照射圖像以及反射圖像，再通過變換後的至少一個圖像、該第一反射圖像和該第一照射圖像相互結合，從而可以通過最初的第一實物圖像生成至少一個實物圖像，以此類推，對人工採集的每一張實物圖像都進行上述步驟，可大幅提升實物圖像，彌補一部分場景下人工採集實物圖像的缺失，達到對訓練資料進行補充的效果。
本發明實施例一、二和三中的一種根據少量人工採集的實物圖片生成大量訓練資料的方法，通過對人工採集的實物圖片進行本徵分解 得到照射圖和反射圖，在對照射圖和反射圖按照光照條件或紋理的變化，修改照射圖和反射圖，從而生成包含更加豐富的光照和紋理種類的實物圖片，擴展了圖像識別模型的訓練資料，使得圖像識別模型對不同場景下的實物識別更加準確、更加強健性。
本發明實施例大幅降低了人力投入；通過上述方式，可以生成大量實物圖像作為訓練資料，從而大幅降低資料積累成本，並在較短時間收集大量訓練資料。另外，可以根據具體應用場景，定制化地生成大量訓練資料；此方法可以在原有的實物圖像集的基礎上，生成包含更加豐富的光照和紋理種類的訓練資料集；生成的資料可以訓練出對光照影響更為強健性、對不同場景更加通用的模型，可以提高電腦視覺領域如人臉或物體的檢測與識別、圖像分割的表現。
如圖6所示，為一種應用於本發明實施例一、二和三的實物圖像生成裝置的結構示意圖。
本發明實施例提供一種實物圖像生成裝置，包括：獲取模組601，用於對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像；處理模組602，用於對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換；以及用於根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像。
可選的，該處理模組602，具體用於：按照預設照射變換演算法中M個第一像素值變換規則，對該第一照射圖像中的像素值做M次不同的變換，獲取不同的M個變換後第二照射圖像；其中，該M次不同的變換中 每次變換與該M個變換後的第二照射圖像中的一個第二照射圖像唯一對應；M為正整數；根據該第一反射圖像和該M個變換後的第二照射圖像，生成與該第一實物圖像不同的M個第二實物圖像。
可選的，該處理模組602，具體用於：按照預設反射變換演算法中N個第二像素值變換規則，對該第一反射圖像中的像素值做N次不同的變換，獲取不同的N個變換後的第二反射圖像；其中，該N次不同的變換中每次變換與該N個變換後的第二反射圖像中的一個第二反射圖像唯一對應；N為正整數；根據該第一照射圖像和該N個變換後的第二反射圖像，生成與該第一實物圖像不同的N個第二實物圖像。
可選的，該處理模組602，具體用於：按照預設照射變換演算法中P個第三像素值變換規則，對該第一照射圖像中的像素值做P次不同的變換，獲取不同的P個變換後的第三照射圖像；其中，該P次不同的變換中每次變換與該P個變換後的第三照射圖像中的一個第三照射圖像唯一對應；P為正整數；按照預設反射變換演算法中Q個第四像素值變換規則，對該第一反射圖像中的像素值做Q次不同的變換，獲取不同的Q個變換後的第三反射圖像；其中，該Q次不同的變換中每次變換與該Q個變換後的第三照射圖像中的一個第三照射圖像唯一對應；Q為正整數；根據該P個變換後的第三照射圖像和該Q個變換後的第三反射圖像，生成與該第一實物圖像不同P*Q個第二實物圖像。
可選的，該處理模組602，還用於：將該至少一個第二實物圖像作為訓練資料，輸入至圖像識別模型；根據該訓練資料中每一張第二實物圖像，與該第二實物圖像輸入至該圖像識別模型後的輸出結果，更新該圖 像識別模型的參數。
基於相同的技術構思，本發明實施例提供一種實物圖像生成設備。至少一個處理器；以及，與該至少一個處理器通信連接的記憶體；該記憶體存儲有可被該至少一個處理器執行的指令，該指令被該至少一個處理器執行，以使該至少一個處理器能夠執行上述實施例中的實物圖像生成方法。
以一個處理器為例，圖7為本發明實施例提供的實物圖像生成設備的結構，該實物圖像生成設備700包括：收發器701、處理器702、記憶體703和匯流排系統704；其中，記憶體703，用於存放程式。具體地，程式可以包括程式碼，程式碼包括電腦操作指令。記憶體703可能為隨機存取記憶體(random access memory，簡稱RAM)，也可能為非易失性記憶體(non-volatile memory)，例如至少一個磁碟記憶體。圖中僅示出了一個記憶體，當然，記憶體也可以根據需要，設置為多個。記憶體703也可以是處理器702中的記憶體。
記憶體703存儲了如下的元素，可執行模組或者資料結構，或者它們的子集，或者它們的擴展集：操作指令：包括各種操作指令，用於實現各種操作。
作業系統：包括各種系統程式，用於實現各種基礎業務以及處理基於硬體的任務。
上述本發明實施例實物圖像生成方法可以應用於處理器702中，或者說由處理器702實現。處理器702可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，上述實物圖像生成方法的各步驟可以通過處 理器702中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器702可以是通用處理器、數位訊號處理器(DSP)、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。可以實現或者執行本發明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本發明實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、寄存器等本領域成熟的存儲介質中。該存儲介質位於記憶體703，處理器702讀取記憶體703中的資訊，結合其硬體執行以下步驟：該收發器701，用於對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像；該處理器702，用於對該第一反射圖像和該第一照射圖像中至少一個圖像進行至少一次變換；以及用於根據變換後的至少一個圖像、該第一反射圖像和該第一照射圖像，生成至少一個第二實物圖像。
優選地，該處理器702具體用於：按照預設照射變換演算法中M個第一像素值變換規則，對該第一照射圖像中的像素值做M次不同的變換，獲取不同的M個變換後第二照射圖像；其中，該M次不同的變換中每次變換與該M個變換後的第二照射圖像中的一個第二照射圖像唯一對應；M為正整數；根據該第一反射圖像和該M個變換後的第二照射圖像，生成與該第一實物圖像不同的M個第二實物圖像。
優選地，該處理器702具體用於：按照預設反射變換演算法中N個第二像素值變換規則，對該第一反射圖像中的像素值做N次不同的變換，獲取不同的N個變換後的第二反射圖像；其中，該N次不同的變換中每次變換與該N個變換後的第二反射圖像中的一個第二反射圖像唯一對應；N為正整數；根據該第一照射圖像和該N個變換後的第二反射圖像，生成與該第一實物圖像不同的N個第二實物圖像。
優選地，該處理器702具體用於：按照預設照射變換演算法中P個第三像素值變換規則，對該第一照射圖像中的像素值做P次不同的變換，獲取不同的P個變換後的第三照射圖像；其中，該P次不同的變換中每次變換與該P個變換後的第三照射圖像中的一個第三照射圖像唯一對應；P為正整數；按照預設反射變換演算法中Q個第四像素值變換規則，對該第一反射圖像中的像素值做Q次不同的變換，獲取不同的Q個變換後的第三反射圖像；其中，該Q次不同的變換中每次變換與該Q個變換後的第三照射圖像中的一個第三照射圖像唯一對應；Q為正整數；根據該P個變換後的第三照射圖像和該Q個變換後的第三反射圖像，生成與該第一實物圖像不同P*Q個第二實物圖像。
優選地，該處理器702還用於：將該至少一個第二實物圖像作為訓練資料，輸入至圖像識別模型；根據該訓練資料中每一張第二實物圖像，與該第二實物圖像輸入至該圖像識別模型後的輸出結果，更新該圖像識別模型的參數。
本發明實施例的實物圖像生成設備以多種形式存在，包括但不限於： (1)行動個人電腦設備：這類設備屬於個人電腦的範疇，有計算和處理功能，一般也具備行動上網特性。這類終端包括：PDA、MID和UMPC設備等，例如iPad；(2)其他具有實物圖像生成功能的電子裝置。
本領域具通常知識者可以理解實現上述實施例方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式存儲在一個存儲介質中，包括若干指令用以使得一個設備(可以是單片機，晶片等)或處理器(processor)執行本發明各個實施例方法的全部或部分步驟。而前述的存儲介質包括：USB碟、行動硬碟、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、磁碟或者光碟等各種可以存儲程式碼的介質。
另外，本發明還提供一種非暫態電腦可讀存儲介質，該非暫態電腦可讀存儲介質存儲電腦指令，該電腦指令用於使該電腦執行上述任一項所述之實物圖像生成方法。
另外，本發明還提供一種電腦程式產品，該電腦程式產品包括存儲在非暫態電腦可讀存儲介質上的計算程式，該電腦程式包括程式指令，當該程式指令被電腦執行時，使該電腦執行上述任一項所述之實物圖像生成方法。
最後應說明的是：本領域具通常知識者應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用存儲介 質(包括但不限於磁碟記憶體、光學記憶體等)上實施的電腦程式產品的形式。
對於軟體實現，可通過執行本發明實施例所述功能的模組(例如過程、函數等)來實現本發明實施例所述之技術。軟體代碼可存儲在記憶體中並通過處理器執行。記憶體可以在處理器中或在處理器外部實現。
本發明是參照根據本發明的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些電腦程式指令也可存儲在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得存儲在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，所述指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
以上僅為本發明之較佳實施例，並非用來限定本發明之實施範圍，如果不脫離本發明之精神和範圍，對本發明進行修改或者等同替換，均應涵蓋在本發明申請專利範圍的保護範圍當中。
201-203:步驟

Claims (5)

  1. 一種實物圖像生成方法，包括：對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像；按照預設照射變換演算法中M個第一像素值變換規則，對該第一照射圖像中的像素值做M次不同的變換，獲取不同的M個變換後第二照射圖像；其中，該M次不同的變換中每次變換與該M個變換後的第二照射圖像中的一個第二照射圖像唯一對應；M為正整數；根據該第一反射圖像和該M個變換後的第二照射圖像，生成與該第一實物圖像不同的M個第二實物圖像；或者，按照預設反射變換演算法中N個第二像素值變換規則，對該第一反射圖像中的像素值做N次不同的變換，獲取不同的N個變換後的第二反射圖像；其中，該N次不同的變換中每次變換與該N個變換後的第二反射圖像中的一個第二反射圖像唯一對應；N為正整數；根據該第一照射圖像和該N個變換後的第二反射圖像，生成與該第一實物圖像不同的N個第二實物圖像；或者，按照預設照射變換演算法中P個第三像素值變換規則，對該第一照射圖像中的像素值做P次不同的變換，獲取不同的P個變換後的第三照射圖像；其中，該P次不同的變換中每次變換與該P個變換後的第三照射圖像中的一個第三照射圖像唯一對應；P為正整數；按照預設反射變換演算法中Q個第四像素值變換規則，對該第一反射圖像中的像素值做Q次不同的變換，獲取不同的Q個變換後的第三反射圖 像；其中，該Q次不同的變換中每次變換與該Q個變換後的第三照射圖像中的一個第三照射圖像唯一對應；Q為正整數；根據該P個變換後的第三照射圖像和該Q個變換後的第三反射圖像，生成與該第一實物圖像不同的P*Q個第二實物圖像；將該第二實物圖像作為訓練資料，輸入至圖像識別模型；或者，將該M個第二實物圖像作為訓練資料，輸入至該圖像識別模型；或者，將該P*Q個第二實物圖像作為訓練資料，輸入至該圖像識別模型；根據該訓練資料中每一張第二實物圖像，與該第二實物圖像輸入至該圖像識別模型後的輸出結果，更新該圖像識別模型的參數。
  2. 一種實物圖像生成裝置，包括：獲取模組，用於對第一實物圖像進行本徵分解，獲取該第一實物圖像的第一反射圖像和第一照射圖像；處理模組，用於按照預設照射變換演算法中M個第一像素值變換規則，對該第一照射圖像中的像素值做M次不同的變換，獲取不同的M個變換後第二照射圖像；其中，該M次不同的變換中每次變換與該M個變換後的第二照射圖像中的一個第二照射圖像唯一對應；M為正整數；根據該第一反射圖像和該M個變換後的第二照射圖像，生成與該第一實物圖像不同的M個第二實物圖像；或者，按照預設反射變換演算法中N個第二像素值變換規則，對該第一反射圖像中的像素值做N次不同的變換，獲取不同的N個變換後的第二反射圖像；其中，該N次不同的變換中每次變換與該N個變換後的第二反射圖像中的一個第二反射圖像唯一對應；N為正整數；根據該第一照射圖像和 該N個變換後的第二反射圖像，生成與該第一實物圖像不同的N個第二實物圖像；或者，按照預設照射變換演算法中P個第三像素值變換規則，對該第一照射圖像中的像素值做P次不同的變換，獲取不同的P個變換後的第三照射圖像；其中，該P次不同的變換中每次變換與該P個變換後的第三照射圖像中的一個第三照射圖像唯一對應；P為正整數；按照預設反射變換演算法中Q個第四像素值變換規則，對該第一反射圖像中的像素值做Q次不同的變換，獲取不同的Q個變換後的第三反射圖像；其中，該Q次不同的變換中每次變換與該Q個變換後的第三照射圖像中的一個第三照射圖像唯一對應；Q為正整數；根據該P個變換後的第三照射圖像和該Q個變換後的第三反射圖像，生成與該第一實物圖像不同的P*Q個第二實物圖像；還用於將該N個第二實物圖像作為訓練資料，輸入至圖像識別模型；或者，將該M個第二實物圖像作為訓練資料，輸入至該圖像識別模型；或者，將該P*Q個第二實物圖像作為訓練資料，輸入至該圖像識別模型；根據該訓練資料中每一張第二實物圖像，與該第二實物圖像輸入至該圖像識別模型後的輸出結果，更新該圖像識別模型的參數。
  3. 一種實物圖像生成設備，包括：至少一個處理器；以及，與該至少一個處理器通信連接的記憶體；其中，該記憶體存儲有可被該至少一個處理器執行的指令，該指令被該至少一個處理器執行，以使該至少一個處理器能夠執行如申請專利範圍第1項 所述之實物圖像生成方法。
  4. 一種非暫態電腦可讀存儲介質，該非暫態電腦可讀存儲介質存儲電腦指令，該電腦指令用於使該電腦執行如申請專利範圍第1項所述之實物圖像生成方法。
  5. 一種電腦程式產品，該電腦程式產品包括存儲在非暫態電腦可讀存儲介質上的計算程式，該電腦程式包括程式指令，當該程式指令被電腦執行時，使該電腦執行如申請專利範圍第1項所述之實物圖像生成方法。
TW109105431A 2019-03-25 2020-02-20 一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品 TWI801717B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910227393.2 2019-03-25
CN201910227393.2A CN109961488A (zh) 2019-03-25 2019-03-25 一种实物图像生成方法及装置

Publications (2)

Publication Number Publication Date
TW202105320A TW202105320A (zh) 2021-02-01
TWI801717B true TWI801717B (zh) 2023-05-11

Family

ID=67024923

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109105431A TWI801717B (zh) 2019-03-25 2020-02-20 一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品

Country Status (3)

Country Link
CN (1) CN109961488A (zh)
TW (1) TWI801717B (zh)
WO (1) WO2020192262A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961488A (zh) * 2019-03-25 2019-07-02 中国银联股份有限公司 一种实物图像生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100592763C (zh) * 2007-02-15 2010-02-24 北京思比科微电子技术有限公司 对图像亮度进行调整的方法和装置
CN108388833A (zh) * 2018-01-15 2018-08-10 阿里巴巴集团控股有限公司 一种图像识别方法、装置及设备
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
WO2019014646A1 (en) * 2017-07-13 2019-01-17 Shiseido Americas Corporation REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING
TWI654584B (zh) * 2018-03-02 2019-03-21 由田新技股份有限公司 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655102B2 (en) * 2011-06-10 2014-02-18 Tandent Vision Science, Inc. Method and system for identifying tokens in an image
CN103281513B (zh) * 2013-05-14 2016-03-30 西安理工大学 一种无重叠域监控系统中行人识别方法
CN104700109B (zh) * 2015-03-24 2018-04-10 清华大学 高光谱本征图像的分解方法及装置
CN107103589B (zh) * 2017-03-21 2019-09-06 深圳市未来媒体技术研究院 一种基于光场图像的高光区域修复方法
CN108416805B (zh) * 2018-03-12 2021-09-24 中山大学 一种基于深度学习的本征图像分解方法及装置
CN109961488A (zh) * 2019-03-25 2019-07-02 中国银联股份有限公司 一种实物图像生成方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100592763C (zh) * 2007-02-15 2010-02-24 北京思比科微电子技术有限公司 对图像亮度进行调整的方法和装置
WO2019014646A1 (en) * 2017-07-13 2019-01-17 Shiseido Americas Corporation REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING
CN108388833A (zh) * 2018-01-15 2018-08-10 阿里巴巴集团控股有限公司 一种图像识别方法、装置及设备
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
TWI654584B (zh) * 2018-03-02 2019-03-21 由田新技股份有限公司 強化工件光學特徵之設備、方法、強化工件光學特徵之深度學習方法及非暫態電腦可讀取記錄媒體

Also Published As

Publication number Publication date
TW202105320A (zh) 2021-02-01
WO2020192262A1 (zh) 2020-10-01
CN109961488A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN113256778B (zh) 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
US20220198721A1 (en) Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
CN114758249B (zh) 基于野外夜间环境的目标物监测方法、装置、设备及介质
CN111539247A (zh) 一种超光谱人脸识别方法、装置、电子设备及其存储介质
CN115760886B (zh) 基于无人机鸟瞰图的地块划分方法、装置及相关设备
TWI801717B (zh) 一種實物圖像生成方法及裝置、設備、非暫態電腦可讀存儲介質及電腦程式產品
CN114842240A (zh) 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
CN113378864B (zh) 一种锚框参数的确定方法、装置、设备及可读存储介质
CN109523570A (zh) 运动参数计算方法及装置
CN112967213B (zh) 车牌图像增强方法、装置、设备及存储介质
CN114119695A (zh) 一种图像标注方法、装置及电子设备
CN112686872B (zh) 基于深度学习的木材计数方法
CN113191189A (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
CN113012030A (zh) 图像拼接方法、装置及设备
CN115984712A (zh) 基于多尺度特征的遥感图像小目标检测方法及系统
CN113792671B (zh) 人脸合成图像的检测方法、装置、电子设备及介质
CN108959707A (zh) 一种基于Unity的BIM模型纹理材质可视化方法
JP6175904B2 (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
CN113762059A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN115311296B (zh) 数据生成、图像识别方法及计算机存储介质和终端设备
US20240193980A1 (en) Method for recognizing human body area in image, electronic device, and storage medium