TWI701642B

TWI701642B - 虛擬廣告置換方法及電子裝置

Info

Publication number: TWI701642B
Application number: TW108114562A
Authority: TW
Inventors: 林道通; 劉兆翔; 郭庭恩; 王秉珅
Original assignee: 國立臺北大學
Priority date: 2019-04-25
Filing date: 2019-04-25
Publication date: 2020-08-11
Also published as: TW202040534A

Abstract

本揭露提出一種虛擬廣告置換方法及電子裝置。虛擬廣告置換方法包括：接收原始影像並判斷原始影像中的看板區域；以及將虛擬看板投影到看板區域。判斷原始影像中看板區域的步驟包括：將原始影像從第一色彩空間轉換為第二色彩空間及第三色彩空間以獲得原始影像對第一顏色的遮罩，其中第一顏色對應看板區域的底色；以及根據遮罩處理後的原始影像判斷看板區域。

Description

虛擬廣告置換方法及電子裝置

本揭露是有關於一種影像處理方法，且特別是有關於一種虛擬廣告置換方法及電子裝置。

隨著時代的演進，各式各樣的國際運動賽事越來越多。廠商們紛紛在比賽場地設置廣告，藉由轉播及重播達到宣傳的目的。當賽事在國外播放時，因為地域問題，部分在賽場上設置廣告看板的廠商，服務區域並不包含當地，導致轉播中的廣告看板對當地觀眾不起作用而形同虛設。因此，如何能根據地域的不同而進行廣告內容的置換是本領域技術人員應致力的目標。

本揭露提供一種虛擬廣告置換方法及電子裝置，在賽事播放中以虛擬廣告置換原始廣告內容。

本揭露提出一種虛擬廣告置換方法，包括：接收原始影像並判斷原始影像中的看板區域；以及將虛擬看板投影到看板區域。判斷原始影像中看板區域的步驟包括：將原始影像從第一色彩空間轉換為第二色彩空間及第三色彩空間以獲得原始影像對第一顏色的遮罩，其中第一顏色對應看板區域的底色；以及根據遮罩處理後的原始影像判斷看板區域。

本揭露提出一種電子裝置，包括處理器及耦接到處理器的記憶體。上述處理器接收原始影像並判斷原始影像中的看板區域；以及將虛擬看板投影到看板區域。在判斷原始影像中看板區域的步驟中，上述處理器將原始影像從第一色彩空間轉換為第二色彩空間及第三色彩空間以獲得原始影像對第一顏色的遮罩，其中第一顏色對應看板區域的底色；以及根據遮罩處理後的原始影像判斷看板區域。

基於上述，本揭露的虛擬廣告置換方法及電子裝置會判斷原始影像中的看板區域並將虛擬看板投影到看板區域。特別是，本揭露會將原始影像從第一色彩空間轉換為第二色彩空間及第三色彩空間以獲得原始影像對看板底色的遮罩，並根據遮罩處理後的原始影像判斷看板區域。利用第二色彩空間及第三色彩空間獲得遮罩能對原始影像中的光線變化有更強的適應性，以增加判斷看板區域的準確度。

為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1為根據本揭露一實施例的電子裝置的方塊圖。

請參照圖1，本揭露一實施例的電子裝置100包括處理器110及耦接到處理器110的記憶體120。電子裝置100例如是提供影音串流的伺服器或其他類似裝置。舉例來說，電子裝置100可接收影像內容包括國外廣告看板的原始影像，將國外廣告看板替換成國內廣告看板，並產生包括國內廣告看板的輸出影像。處理器110例如是中央處理器(Central Processing Unit，CPU)、微處理器控制單元(Microprocessor Control Unit，MCU)或其他類似裝置。記憶體120例如是動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)、硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid State Drive，SSD)或其他類似裝置。

圖2為根據本揭露一實施例的虛擬廣告置換方法的流程圖。

請參照圖2，在步驟S210中，接收原始影像並判斷原始影像中的看板區域。

在步驟S220中，將虛擬看板投影到看板區域。

步驟S210還可以進一步包括步驟S211、S212及S213。

在步驟S211中，對原始影像進行色彩提取以獲得遮罩。具體來說，處理器110可將原始影像從第一色彩空間(例如，RGB色彩空間)轉換為第二色彩空間(例如，HSV色彩空間)及第三色彩空間(例如，YCrCb色彩空間)以獲得原始影像對第一顏色的遮罩，第一顏色對應看板區域的底色。處理器110根據遮罩處理後的原始影像判斷看板區域。相較於RGB色彩空間，HSV色彩空間及YCrCb色彩空間更能夠適應光線的變化，因此能有更好的色彩提取效果。在一實施例中，看板區域的底色可透過使用者操作滑鼠點擊看板區域的底色部分的像素來獲得。

舉例來說，處理器110可判斷原始影像中的一個當前像素在YCrCb色彩空間的紅色濃度偏移量Cr(或稱為第一通道)與藍色濃度偏移量Cb(或稱為第二通道)的差值是否小於門檻值(例如，判斷|Cr-Cb|是否小於20)。

若差值小於門檻值，根據YCrCb色彩空間對當前像素進行色彩提取。色彩提取方式如下：若當前像素在第一顏色Y值的±35範圍以內且在Cr值的±15範圍以內且在Cb值的±15範圍以內，則當前像素不在遮罩的範圍內；若當前像素不在第一顏色Y值的±35範圍以內或不在Cr值的±15範圍以內或不在Cb值的±15範圍以內，則當前像素則在遮罩的範圍內。

若差值不小於門檻值，根據HSV色彩空間對當前像素進行色彩提取。色彩提取方式如下：若當前像素在第一顏色H值的±15範圍以內且在S值的±80範圍以內且在V值的±45範圍以內，則當前像素不在遮罩的範圍內；若當前像素不在第一顏色H值的±15範圍以內或不在S值的±80範圍以內或不在V值的±45範圍以內，則當前像素則在遮罩的範圍內。

圖3為根據本揭露一實施例的對原始影像進行色彩提取以獲得遮罩的示意圖。請參照圖3，原始影像300可包括看板區域310。看板區域310中的底色部分320可具有第一顏色。當處理器110根據YCrCb色彩空間及HSV色彩空間對第一顏色進行色彩提取之後，可獲得對應第一顏色的遮罩330。透過遮罩330可將原始影像300中接近第一顏色的像素(即，遮罩330以外區域的像素)提取出來。

請再參照圖2，在步驟S212中，進行雜訊濾除。具體來說，處理器110可對遮罩後的原始影像(即，二值化影像)進行雜訊濾除。首先，處理器110可先對二值化影像進行形態學(Morphology)中的閉運算(close)。例如，先將影像作膨脹(Dilation)運算再作侵蝕(Erosion)運算，以填補影像中的小洞、彌補狹窄的間斷及使物體輪廓變平滑，如圖4所示。在進行閉運算之後，處理器110還可進行漫水填充(flood fill)演算法將遮罩範圍外分成多個區域，並將面積小於面積門檻值的至少一個區域加入遮罩的範圍。漫水填充演算法會從一個區域中提取若干個連通的點，以與其他區域分開。圖5為根據本揭露一實施例的雜訊濾除操作的示意圖。請參照圖5，二值化影像500在經過閉運算、漫水填充演算法、並將面積小於面積門檻值的區域加入遮罩的範圍之後，可產生雜訊濾除後影像510。

請再參照圖2，在步驟S213中，進行並邊緣檢測並將邊緣檢測的結果輸入卷積神經網路(Convolutional Neural Network，CNN)以判斷看板區域是否對應欲替換看板。具體來說，當原始影像中存在兩個具有類似底色的看板時，處理器110需要進一步判斷哪個看板才是欲替換看板。因此，處理器110可對雜訊濾除後的二值化影像進行邊緣檢測以提取邊緣，如圖6所示，並將邊緣檢測後的二值化影像輸入一個輸出為兩類的CNN二元分類模型。在訓練此CNN模型時，第一類的輸入為欲替換看板，也就是正樣本；第二類的輸入為其他不相關的看板，也就是負樣本。因此，當欲替換看板輸入訓練完成後的CNN時，CNN會將欲替換看板分類為第一類。如此一來，可透過訓練完成的CNN來判斷輸入看板是否為欲替換看板。為了解決正樣本數不足的問題，處理器110可進行數據增強(Data Augmentation)操作以對原始影像進行旋轉、縮放、平移等幾何變換來增加正樣本的數量。圖7為根據本揭露一實施例的對原始正樣本進行數據增強操作的示意圖。請參照圖7，原始正樣本700可透過進行數據增強操作來增加正樣本數，而產生原始正樣本700、旋轉影像710、變型影像720、縮放影像730、雜訊影像740等多個數據增強後的正樣本。

請再參照圖2，步驟S220還可以進一步包括步驟S221及S222。在步驟S221中，進行矩陣轉換操作。具體來說，處理器110對虛擬看板進行矩陣轉換操作以轉換成對應看板區域的四邊形。圖8為根據本揭露一實施例的對虛擬看板進行矩陣轉換操作的示意圖。請參照圖8，在定位出欲替換看板的位置後，處理器110先將虛擬看板800轉換成轉換後虛擬看板810，再將轉換後虛擬看板810投射到欲替換看板的位置。

請再參照圖2，在步驟S222中，進行遮蔽物處理。具體來說，處理器110對轉換後的虛擬看板進行遮蔽物處理，並將遮蔽物處理後的虛擬看板投影到看板區域。圖9為根據本揭露一實施例的遮蔽物處理的示意圖。請參照圖9，處理器110對看板區域910中的像素顏色(例如，底色顏色911及文字顏色912)進行色彩提取以獲得遮蔽物遮罩920。色彩提取方法類似於上文中透過HSV色彩空間及YCrCb色彩空間進行色彩提取，因此不再贅述。接著，處理器110再將虛擬看板930投影到遮蔽物遮罩920以外的看板區域910。如此可解決運動員遮蔽看板的問題。在一實施例中，底色顏色911及文字顏色912可透過使用者操作滑鼠點擊底色部分及文字部分的像素來獲得。

綜上所述，本揭露的虛擬廣告置換方法及電子裝置會判斷原始影像中的看板區域並將虛擬看板投影到看板區域。特別是，本揭露會將原始影像從第一色彩空間轉換為第二色彩空間及第三色彩空間以獲得原始影像對看板底色的遮罩，並根據遮罩處理後的原始影像判斷看板區域。利用第二色彩空間及第三色彩空間獲得遮罩能對原始影像中的光線變化有更強的適應性，以增加判斷看板區域的準確度。本揭露的虛擬廣告置換方法及電子裝置還會將看板區域的邊緣檢測結果輸入卷積神經網路以確認此看板區域是否為欲替換的看板。此外，為了解決運動員可能檔到看板區域的問題，本揭露還可對看板內顏色進行色彩提取以產生對應遮蔽物的遮罩，再將虛擬看板投射到遮罩以外的區域。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

100:電子裝置

110:處理器

120:記憶體

S210~S213、S220~S222:虛擬廣告置換方法的步驟

300:原始影像

310:看板區域

320:底色部分

330:遮罩

500:二值化影像

510:雜訊去除後影像

700:原始正樣本

710:旋轉影像

720:變型影像

730:縮放影像

740:雜訊影像

800:虛擬看板

810:轉換後虛擬看板

910:看板區域

911、912:顏色

920:遮蔽物遮罩

930:虛擬看板

圖1為根據本揭露一實施例的電子裝置的方塊圖。圖2為根據本揭露一實施例的虛擬廣告置換方法的流程圖。圖3為根據本揭露一實施例的對原始影像進行色彩提取以獲得遮罩的示意圖。圖4為根據本揭露一實施例的閉運算的示意圖。圖5為根據本揭露一實施例的雜訊濾除操作的示意圖。圖6為根據本揭露一實施例的邊緣檢測的示意圖。圖7為根據本揭露一實施例的對原始正樣本進行數據增強操作的示意圖。圖8為根據本揭露一實施例的對虛擬看板進行矩陣轉換操作的示意圖。圖9為根據本揭露一實施例的遮蔽物處理的示意圖。

S210~S213、S220~S222:虛擬廣告置換方法的步驟

Claims

一種虛擬廣告置換方法，包括：接收一原始影像並判斷該原始影像中的一看板區域；以及將一虛擬看板投影到該看板區域，其中，判斷該原始影像中該看板區域的步驟包括：將該原始影像從一第一色彩空間轉換為一第二色彩空間及一第三色彩空間以獲得該原始影像對一第一顏色的一遮罩，其中該第一顏色對應該看板區域的一底色；以及根據遮罩處理後的該原始影像判斷該看板區域。
如申請專利範圍第1項所述的虛擬廣告置換方法，其中該原始影像從一第一色彩空間轉換為一第二色彩空間及一第三色彩空間以獲得該原始影像對該第一顏色的該遮罩的步驟包括：判斷該原始影像的一像素在該第三色彩空間的一第一通道及一第二通道的一差值是否小於一門檻值；若該差值小於該門檻值，根據該第三色彩空間對該像素進行色彩提取；以及若該差值不小於該門檻值，根據該第二色彩空間對該像素進行色彩提取。
如申請專利範圍第2項所述的虛擬廣告置換方法，其中根據該第三色彩空間對該像素進行色彩提取的步驟包括：判斷該像素在該第三色彩空間的多個通道的值是否分別在該第一顏色在該第三色彩空間的該些通道的值的多個預定範圍內；若是，則該像素不在該遮罩的範圍內；以及若否，則該像素在該遮罩的範圍內。
如申請專利範圍第2項所述的虛擬廣告置換方法，其中該第一色彩空間為一RGB色彩空間，該第二色彩空間為一HSV色彩空間，該第三色彩空間為一YCrCb色彩空間，該第一通道為一紅色濃度偏移量且該第二通道為一藍色濃度偏移量。
如申請專利範圍第1項所述的虛擬廣告置換方法，其中根據遮罩處理後的該原始影像判斷該看板區域的步驟包括：對該遮罩處理後的該原始影像進行一雜訊濾除；以及對該雜訊濾除後得到的該看板區域進行一邊緣檢測並將該邊緣檢測的結果的二值化影像輸入兩類輸出的一卷積神經網路以判斷該看板區域是否對應一欲替換看板，其中該兩類輸出包括該欲替換看板及一不相關看板。
如申請專利範圍第5項所述的虛擬廣告置換方法，其中對該遮罩處理後的該原始影像進行該雜訊濾除的步驟包括：對該遮罩處理後的該原始影像進行一膨脹運算及一侵蝕運算，再進行一漫水填充(flood fill)演算法將該遮罩範圍外分成多個區域；以及將面積小於面積門檻值的至少一個該些區域加入該遮罩的範圍。
如申請專利範圍第1項所述的虛擬廣告置換方法，其中將該虛擬看板投影到該看板區域的步驟包括：對矩形的該虛擬看板進行一矩陣轉換操作以轉換成對應該看板區域的一四邊形；以及對轉換後的該虛擬看板進行一遮蔽物處理，並將該遮蔽物處理後的該虛擬看板投影到該看板區域。
如申請專利範圍第7項所述的虛擬廣告置換方法，其中對轉換後的該虛擬看板進行該遮蔽物處理的步驟包括：對該看板區域中的像素顏色進行色彩提取以獲得一遮蔽物遮罩；以及將該虛擬看板投影到該遮蔽物遮罩以外的該看板區域。
一種電子裝置，包括：一處理器；以及一記憶體，耦接到該處理器，其中該處理器接收一原始影像並判斷該原始影像中的一看板區域；以及將一虛擬看板投影到該看板區域，其中，在判斷該原始影像中該看板區域的步驟中，該處理器將該原始影像從一第一色彩空間轉換為一第二色彩空間及一第三色彩空間以獲得該原始影像對一第一顏色的一遮罩，其中該第一顏色對應該看板區域的一底色；以及根據遮罩處理後的該原始影像判斷該看板區域。
如申請專利範圍第9項所述的電子裝置，其中該處理器判斷該原始影像的一像素在該第三色彩空間的一第一通道及一第二通道的一差值是否小於一門檻值；若該差值小於該門檻值，根據該第三色彩空間對該像素進行色彩提取；以及若該差值不小於該門檻值，根據該第二色彩空間對該像素進行色彩提取。