TWI768282B

TWI768282B - 光源資訊預測模型建立方法與系統

Info

Publication number: TWI768282B
Application number: TW109101420A
Authority: TW
Inventors: 黃宜瑾; 利建宏; 許銀雄
Original assignee: 宏碁股份有限公司
Priority date: 2020-01-15
Filing date: 2020-01-15
Publication date: 2022-06-21
Also published as: US11494585B2; US20210216816A1; TW202129554A; US20230045128A1; US11869224B2

Abstract

一種光源資訊預測模型建立方法與光源資訊預測模型建立系統。朝目標物擷取多張訓練影像，其中一白色物件貼附於目標物上。依據各訓練影像中白色物件的色彩，獲取訓練影像的真實光源資訊。依據訓練影像以及真實光源資訊訓練神經網路模型，並於訓練過程依據神經網路模型產生多個預測光源資訊。其中，用以訓練神經網路模型的學習率基於預測光源資訊而適應性調整。

Description

光源資訊預測模型建立方法與系統

本發明是有關於一種白平衡處理技術，且特別是有關於一種光源資訊預測模型建立方法與系統。

隨著科技的發展，各式各樣的智慧型影像擷取裝置，舉凡平板型電腦、個人數位化助理、及智慧型手機等，已成為現代人不可或缺的工具。其中，高階款的智慧型影像擷取裝置所搭載的相機鏡頭已經與傳統消費型相機不相上下，甚至可以取而代之，少數高階款更具有接近數位單眼的畫素和畫質或者是提供更為進階的功能和效果。

拍攝者可能使用影像擷取裝置在不同的地點或時間進行拍攝，因而影像擷取裝置將於不同的光源環境下拍攝影像。拍攝環境裡的光源將直接影響擷取影像中被拍攝目標的呈現顏色。於一應用情境中，傷者可能對傷口或患部拍攝影像並將拍攝影像提供給醫療單位進行診斷，倘若影像中的色彩資訊反應於拍攝環境的光源而發生失真，則將可能無法依據拍攝影像進行正確診斷。白平衡處理的基本步驟就是先估計光源資訊，再使用估測的光源資訊進行影像校正使得影像如同被標準光源照射一般。因此，如何準確地估測出光源資訊實乃本領域技術人員所努力的方向之一。

有鑑於此，本發明提出一種光源資訊預測模型建立方法與光源資訊預測模型建立系統，其可有效率地建立出準確的光源資訊預測模型，從而可依據此光源資訊預測模型進行效果良好的影像白平衡調整。

本發明實施例提供一種光源資訊預測模型建立方法。所述方法包括下列步驟。朝目標物擷取多張訓練影像，其中一白色物件貼附於目標物上。依據各訓練影像中白色物件的色彩，獲取訓練影像的真實光源資訊。依據訓練影像以及真實光源資訊訓練神經網路模型，並於訓練過程依據神經網路模型產生多個預測光源資訊。其中，用以訓練神經網路模型的學習率(learning rate)基於預測光源資訊而適應性調整。

本發明實施例提供一種光源資訊預測模型建立系統，其包括影像感測器、儲存裝置以及處理器。儲存裝置儲存有多個模組。影像感測器朝目標物擷取多張訓練影像，其中一白色物件貼附於目標物上。處理器耦接儲存裝置與影像感測器，經配置而執行所述模組以執行下列步驟。依據各訓練影像中白色物件的色彩，獲取訓練影像的真實光源資訊。依據訓練影像以及真實光源資訊訓練神經網路模型，並於訓練過程依據神經網路模型產生多個預測光源資訊。其中，用以訓練神經網路模型的學習率(learning rate)基於預測光源資訊而適應性調整。

基於上述，於本發明的實施例中，藉由將白色物件貼附於目標物上，可直接依據訓練影像中白色物件的色彩獲取真實光源資訊，以利神經網路模型的訓練。此外，於本發明的實施例中，於神經網路模型的訓練過程中，用以訓練神經網路模型的學習率會基於預測光源資訊而適應性調整，以提昇訓練效率與提昇神經網路模型預測環境光源的準確度。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:光源資訊預測模型建立系統

110:影像感測器

120:電子裝置

122:儲存裝置

124:處理器

31:傷口

32:白色貼紙

Img1:第一訓練影像

Img2:第二訓練影像

Img3:第三訓練影像

M1:神經網路模型

L1:輸入層

L2:隱藏層

L3:輸出層

Img_wb1:第一調整影像

Img_wb2:第二調整影像

Img_wb3:第三調整影像

41:白平衡校正程序

S201~S203、S501~S507:步驟

圖1是根據本發明一實施例的光源資訊預測模型建立系統的方塊圖。

圖2是依照本發明一實施例的光源資訊預測模型建立方法的流程圖。

圖3是依照本發明一實施例的擷取訓練影像的示意圖。

圖4是依照本發明一實施例的光源資訊預測模型建立方法的示意圖。

圖5是依照本發明一實施例的調整學習率的流程圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法、裝置與系統的範例。

圖1是根據本發明一實施例所繪示的光源資訊預測模型建立系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹光源資訊預測模型建立系統之所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，光源資訊預測模型建立系統100包括影像感測器110以及電子裝置120，其中電子裝置120包括儲存裝置122以及處理器124。在本實施例中，電子裝置120可以是個人電腦、筆記型電腦、平板電腦等具有運算功能的電子裝置，並且經由通訊介面(未繪示)以有線或無線的方式接收影像感測器110所拍攝到的影像。

像感測器110可設置於數位相機、單眼相機、數位攝影機、智慧型手機、平板電腦等等。在本實施例中，影像感測器110 為包括透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device，CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)元件或其他元件。鏡頭所擷取到的影像將成像於感測元件並且轉換成數位訊號，以輸出至處理器124。

儲存裝置122用以儲存影像、程式碼等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。

處理器124用以控制光源資訊預測模型建立系統100的構件之間的作動，其可以例如是中央處理單元(central processing unit，CPU)、圖形處理單元(graphic processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)、影像訊號處理器(image signal processor，ISP)、可程式化控制器、特殊應用積體電路(application specific integrated circuits，ASIC)、可程式化邏輯裝置(programmable logic device，PLD)或其他類似裝置或這些裝置的組合。

以下即列舉實施例說明針對光源資訊預測模型建立系統100調整白平衡的方法的詳細步驟。圖2為根據本發明之一實施例所繪示的光源資訊預測模型建立方法的流程圖。本實施例的方法適用於圖1中的光源資訊預測模型建立系統100，以下即搭配光源資訊預測模型建立系統100中的各項元件說明本實施例方法的詳細流程。

請同時參照圖1以及圖2，首先，於步驟S201，影像感測器110朝目標物擷取多張訓練影像。值得一提的是，白色物件貼附於此目標物上，而上述白色物件例如是白色貼紙或其他類型的物件，本發明對此不限制。目標物例如是傷口或其他物件。舉例而言，圖3是依照本發明一實施例的擷取訓練影像的示意圖。請參照圖3，假設拍攝目標物為一傷口31，則操作者可於傷口31附近貼上白色貼紙32。接著，影像感測器110可朝傷口31與白色貼紙32擷取多張訓練影像。於一實施例中，這些訓練影像可以是同一拍攝場景中對應於不同拍攝時間點的連拍影像。當操作者需要多次按壓快門來拍攝這些訓練影像時，白色貼紙更可用來作為定位點，使得操作者可在每次拍攝時大致固定拍攝位置。

於步驟S202，處理器124依據各訓練影像中白色物件的色彩，獲取訓練影像的真實光源資訊。具體而言，於一實施例中，處理器124可依據各式影像物件偵測技術自訓練影像中辨識出白色物件，並依據此白色物件於訓練影像中所呈現的色彩而拍攝當下的真實光源資訊。詳細而言，白色物件於訓練影像中所呈現的色彩取決於拍攝當下的真實光源資訊而呈現出非白色色彩，而此非白色色彩可用以估測出拍攝當下的真實光源資訊。於一實施例中，真實光源資訊可包括對應至RGB通道的RGB成分比例(例如，RGB三色光的光強度比例)。表1為依據三張訓練影像獲取三組真實光源資訊的範例，但本發明對於訓練影像的張數並不加以限制。第一訓練影像的真實光源資訊可為對應至RGB通道的(R1’,G1’,B1’)，依此類推。

於步驟S203，處理器124可依據訓練影像以及真實光源資訊訓練神經網路模型，並於訓練過程依據神經網路模型產生多個預測光源資訊。此神經網路模型例如是遞歸神經網路(Recurrent Neural Networks，RNN)模型。詳細而言，處理器124將依據作為訓練資料集的這些訓練影像與其對應的真實光源資訊進行機器學習而建構出一個神經網路模型。於訓練神經網路模型時，處理器124可依據每次的預測結果(即預測光源資訊)與真實結果(即真實光源資訊)來訓練神經網路模型中各神經網路層的權重資訊。

需注意的是，用以訓練神經網路模型的學習率(learning rate)將基於預測光源資訊而適應性調整。於訓練過程中，處理器124可依據訓練影像以及訓練中的神經網路模型產生對應的預測光源資訊，並依據預測光源資訊與真實光源資訊進行學習而決定如何調整各神經網路層的權重資訊。於此，用以訓練神經網路模型的學習率即每次調整權重資訊的調整幅度。學習率掌握神經網路模型的學習進度，如何調整學習率是訓練出好模型的關鍵要素。於本發明的實施例中，學習率將依據預測出來的預測光源資訊而適應性調整。換言之，於神經網路模型的訓練過程中，學習率是動態變化的，並非為一固定值。藉此，本發明實施例可更有效率地訓練出用以依據影像來預測光源資訊的一個神經網路模型。

於一實施例中，在訓練完神經網路模型之後，此神經網路模型的模型參數(例如神經網路層數目與各神經網路層的權重等等)可儲存於儲存裝置122中以供實際預測光源資訊時使用。基此，處理器124可依據神經網路模型所預測的光源資訊來進行影像白平衡校正，像是依據神經網路模型所預測的光源資訊進行查表而獲取白平衡增益參數等等。藉此，在本實施例中，由於可準確地估測出光源資訊，而使得處理器124所產生並且輸出後的白平衡影像影像可達到更為精準的白平衡表現。

為了更清楚明瞭說明，以下將以神經網路模型為遞歸神經網路(Recurrent Neural Networks，RNN)模型進行說明。於一實施例中，此遞歸神經網路模型例如是長短期記憶模型(Long Short Term Memory，LSTM)模型。圖4是依照本發明一實施例的光源資訊預測模型建立方法的示意圖。請參照圖4，影像感測器110可於時間序列上擷取多張訓練影像，其分別為於時間T1所擷取的第一訓練影像Img1；於時間T2所擷取的第二訓練影像Img2；以及於時間T3所擷取的第三訓練影像Img3。

於此，神經網路模型M1包括輸入層L1、隱藏層L2，以及輸出層L3。對應於時間序列中的時間T1，輸入層L1用於接收第一訓練影像Img1。隱藏層L2依據第一訓練影像Img1與時間T1的權重資訊W1產生輸出層L3中的第一預測光源資訊(R1,G1,B1)。對應於時間序列中的時間T2，輸入層L1用於接收第二訓練影像Img2。隱藏層L2依據第二訓練影像Img2、時間T1的權重資訊W1以及時間T2的權重資訊W2產生輸出層L3中的第二預測光源資訊(R2,G2,B2)。對應於時間序列中的時間T3，輸入層L1用於接收第三訓練影像Img3。隱藏層L2依據第三訓練影像Img3、時間T2的權重資訊W2以及時間T3的權重資訊W3產生輸出層L3中的第三預測光源資訊(R3,G3,B3)。也就是說，神經網路模型M1的隱藏層L2依序基於時間序列上的多張訓練影像而產生多個預測光源資訊。

於一實施例中，處理器124可將預測光源資訊其中至少一與真實光源資訊輸入至損失函數而產生損失值。舉例而言，處理器124可依據第一預測光源資訊(R1,G1,B1)、第二預測光源資訊(R2,G2,B2)第三預測光源資訊(R3,G3,B3)與對應的三組真實光源資訊，處理器124可基於一損失函數(Loss function)計算出損失值。損失函數例如是平方差或Softmax等等。隨後處理器124可依據此損失值，以反向傳遞的方式，由後往前，來調整神經網路模型M1中的權重資訊。

此外，於一實施例中，處理器124可依據預測光源資訊分別對這些訓練影像進行白平衡處理而獲取多張調整影像。請參照圖4，依據一白平衡校正程序41，處理器124可依據第一預測光源資訊(R1,G1,B1)對第一訓練影像Img1進行白平衡處理而獲取第一調整影像Img_wb1。依此類推，處理器124可依據第二預測光源資訊(R2,G2,B2)對第二訓練影像Img2進行白平衡處理而獲取第二調整影像Img_wb2。處理器124可依據第三預測光源資訊(R3,G3,B3)對第三訓練影像Img3進行白平衡處理而獲取第三調整影像Img_wb3。於一實施例中，白平衡校正程序41例如是一轉換層，即處理器124可利用將訓練影像輸入至轉換層(conversion layer)來進行白平衡處理。

於一實施例中，處理器124可依據調整影像決定用以訓練神經網路模型的學習率。請參照圖4，處理器124可藉由比較這些調整影像的像素值來判斷訓練中的模型預測結果是否越來越準確，以適應性調整訓練神經網路模型M1的學習率。

圖5是依照本發明一實施例的調整學習率的流程圖。以下將以圖5來針對上述流程的一種實施細節加以說明。本實施例的方法將搭配圖4實施例一併說明本實施例方法的詳細流程。亦即，在產生第一調整影像Img_wb1、第二調整影像Img_wb2以及第三調整影像Img_wb3之後，藉由比較第一調整影像Img_wb1、第二調整影像Img_wb2以及第三調整影像Img_wb3，處理器124 可決定調升或調降用以更新權重資訊的學習率。

於步驟S501，處理器124藉由比較第二調整影像Img_wb2中多個像素值與第一調整影像Img_wb1中對應的多個像素值，產生第一調整影像Img_wb1與第二調整影像Img_wb2之間的第一差距參數△d1。詳細而言，於一實施例中，處理器124將第二調整影像Img_wb2中各像素的像素值(即RGB通道像素值)對應減去第一調整影像Img_wb1中對應像素的像素值(即RGB通道像素值)，以獲取對應於各像素位置的像素差(即R通道像素差、G通道像素差、B通道像素差)。接著，對這些像素差取絕對值後，處理器124先將各像素位置上的對應至RGB通道的像素絕對差值取平均而獲取對應至各像素位置的像素差統計值。最後，處理器124再對各像素位置的像素差統計值進行平均運算就可獲取第一調整影像Img_wb1與第二調整影像Img_wb2之間的第一差距參數△d1。

基於與步驟S501相似的計算方式，於步驟S502，處理器124藉由比較第三調整影像Img_wb3中多個像素值與第二調整影像Img_wb2中對應的多個像素值，產生第二調整影像Img_wb2與第三調整影像Img_wb3之間的第二差距參數△d2。接著，處理器124將依據第一差距參數△d1與第二差距參數△d2調升或調降學習率。於本實施例中，處理器124藉由比較第一差距參數△d1與第二差距參數△d2，而依據損失值調升或調降學習率。

於是，於步驟S503，處理器124判斷損失值上升或降低。詳細而言，處理器124可在利用第一訓練影像Img1、第二訓練影像Img2以及第三訓練影像Img3進行模型訓練時獲取對應的當前損失值，處理器124將比對此當前損失值與前一次依據另外三張訓練影像進行訓練所產生的先前損失值而得知損失值上升或降低。由此可知，除了真實光源資訊與預測光源資訊之間損失值之外，本發明實施例更依據白平衡校正後的調整影像之間的差異來調整用以訓練神經網路模型的學習率。具體而言，當第二差距參數△d2大於第一差距參數△d1，代表預測光源資訊並不準確，因而可一併用以作為調整學習率的參考因素。

於步驟S504，當損失值降低且第二差距參數△d2大於第一差距參數△d1，處理器124依據第一增加參數調升學習率。於一實施例中，處理器124可依據一第一倍數來調升學習率。例如，假設第一倍數為2，則處理器124可將學習率自0.005乘以2而調升為0.01。於一實施例中，處理器124可依據一第一遞增數來調升學習率。例如，假設第一遞增數為0.003，則處理器124可將學習率自0.005加上0.003而調升為0.008。於步驟S505，當損失值降低且第二差距參數△d2小於第一差距參數△d1，處理器124依據第一減少參數調降學習率。於一實施例中，處理器124可依據一第一除數來調降學習率。例如，假設第一除數為2，則處理器124可將學習率自0.005除以2而調降為0.0025。於一實施例中，處理器124可依據一第一遞減數來調升學習率。例如，假設第一遞減數為0.003，則處理器124可將學習率自0.005減掉0.003而調升為0.002。

於步驟S506，當損失值上升且第二差距參數△d2大於第一差距參數△d1，處理器124依據第二增加參數調升學習率。於步驟S507，當損失值上升且第二差距參數△d2小於第一差距參數△d1，處理器124依據第二減少參數調降學習率。其中，處理器124係以相同的算法而依據第一增加參數與第二增加參數來調升學習率，但第一增加參數相異於第二增加參數。處理器124係以相同的算法而依據第一減少參數與第二減少參數來調降學習率，但第一減少參數相異於第二減少參數。值得一提的是，於一實施例中，第一增加參數大於第二增加參數，且第一減少參數大於第二減少參數。換言之，在損失值降低的情況中，處理器124將以較大幅度調整學習率。在損失值上升的情況中，處理器124將以較小幅度調整學習率。藉此，不僅可加快神經網路模型的學習效率，也避免於訊練過程中發生神經網路模型無法收歛的現象。

綜上所述，於本發明的實施例中，藉由將白色物件貼附於目標物上，可直接依據訓練影像中白色物件的色彩獲取真實光源資訊，以利神經網路模型的訓練。此外，於本發明的實施例中，於神經網路模型的訓練過程中，用以訓練神經網路模型的學習率會基於預測光源資訊而適應性調整，以提昇訓練效率與提昇神經網路模型預測環境光源的準確度。藉此，本發明實施例可基於準確的光源資訊來執行更精準的影像白平衡校正。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S201~S203:步驟

Claims

一種光源資訊預測模型建立方法，所述方法包括：朝一目標物擷取多張訓練影像，其中一白色物件貼附於該目標物上；依據各該些訓練影像中該白色物件的色彩，獲取該些訓練影像的真實光源資訊；以及依據該些訓練影像以及該真實光源資訊訓練一神經網路模型，且於訓練過程依據該神經網路模型產生多個預測光源資訊，其中，用以訓練該神經網路模型的學習率(learning rate)基於該些預測光源資訊而適應性調整，其中依據該些訓練影像以及該真實光源資訊訓練該神經網路模型，並於訓練過程依據該神經網路模型產生該些預測光源資訊的步驟更包括：依據該些預測光源資訊分別對該些訓練影像進行白平衡處理而獲取多張調整影像；將該些預測光源資訊與對應的該真實光源資訊輸入至一損失函數而產生一損失值；以及依據該些調整影像與該損失值決定用以訓練該神經網路模型的該學習率，其中該些調整影像包括第一調整影像、第二調整影像以及第三調整影像，而依據該些調整影像決定用以訓練該神經網路模型的該學習率的步驟包括：藉由比較該第二調整影像中多個像素值與該第一調整影像中對應的多個像素值，產生該第一調整影像與該第二調整影像之間的一第一差距參數；藉由比較該第三調整影像中多個像素值與該第二調整影像中對應的該些像素值，產生該第二調整影像與該第三調整影像之間的一第二差距參數；以及依據該第一差距參數與該第二差距參數調升或調降該學習率。
如申請專利範圍第1項所述的光源資訊預測模型建立方法，其中依據該第一差距參數與該第二差距參數調升或調降該學習率的步驟包括：藉由比較該第一差距參數與該第二差距參數，而依據該損失值調升或調降該學習率。
如申請專利範圍第2項所述的光源資訊預測模型建立方法，其中藉由比較該第一差距參數與該第二差距參數，而依據該損失值調升或調降該學習率的步驟包括：當該損失值下降且該第二差距參數大於該第一差距參數，依據一第一增加參數調升該學習率；以及當該損失值下降且該第二差距參數小於該第一差距參數，依據一第一減少參數調降該學習率。
如申請專利範圍第3項所述的光源資訊預測模型建立方法，其中藉由比較該第一差距參數與該第二差距參數，而依據該損失值調升或調降該學習率的步驟更包括：當該損失值上升且該第二差距參數大於該第一差距參數，依據一第二增加參數調升該學習率；以及當該損失值上升且該第二差距參數小於該第一差距參數，依據一第二減少參數調降該學習率。
如申請專利範圍第4項所述的光源資訊預測模型建立方法，其中該第一增加參數大於該第二增加參數，且該第一減少參數大於該第二減少參數。
如申請專利範圍第1項所述的光源資訊預測模型建立方法，其中該神經網路模型的隱藏層依序基於一時間序列上的該些訓練影像而產生該些預測光源資訊。
如申請專利範圍第1項所述的光源資訊預測模型建立方法，其中該神經網路模型為一迴圈神經網路(Recurrent Neural Networks，RNN)。
一種光源資訊預測模型建立系統，包括：一影像感測器，朝一目標物擷取多張訓練影像，其中一白色物件貼附於該目標物上；一儲存裝置，儲存有多個模組；以及一處理器，耦接該儲存裝置，經配置而執行該些模組以：依據各該些訓練影像中該白色物件的色彩，獲取該些訓練影像的真實光源資訊；以及依據該些訓練影像以及該真實光源資訊訓練一神經網路模型，且於訓練過程依據該神經網路模型產生多個預測光源資訊，其中，用以訓練該神經網路模型的學習率基於該些預測光源資訊而適應性調整，其中該處理器更經配置以：依據該些預測光源資訊分別對該些訓練影像進行白平衡處理而獲取多張調整影像；將該些預測光源資訊與對應的該真實光源資訊輸入至一損失函數而產生一損失值；依據該些調整影像與該損失值決定用以訓練該神經網路模型的該學習率；其中該些調整影像包括第一調整影像、第二調整影像以及第三調整影像；藉由比較該第二調整影像中多個像素值與該第一調整影像中對應的多個像素值，產生該第一調整影像與該第二調整影像之間的一第一差距參數；藉由比較該第三調整影像中多個像素值與該第二調整影像中對應的該些像素值，產生該第二調整影像與該第三調整影像之間的一第二差距參數；以及依據該第一差距參數與該第二差距參數調升或調降該學習率。