TWI827516B

TWI827516B - 影像處理裝置以及方法

Info

Publication number: TWI827516B
Application number: TW112121002A
Authority: TW
Inventors: 吳昇翰; 李潤容; 陳炫良
Original assignee: 台達電子工業股份有限公司
Priority date: 2023-06-06
Filing date: 2023-06-06
Publication date: 2023-12-21

Abstract

一種影像處理裝置，其包括影像擷取電路、記憶體以及處理器。影像擷取電路，用以拍攝場域影像。記憶體用以儲存多個指令以及場域模板。處理器用以處理多個指令以執行以下步驟：由場域影像找出多個線段；根據多個線段執行融合運算以產生多個融合線；由多個融合線區分出第一群組及第二群組；從第一群組及第二群組中之融合線之間的多個交點，選擇出至少一第一交點集，並從場域模板，選擇出至少一第二交點集；以及計算至少一第一交點集以及至少一第二交點集之間的至少一單應性矩陣。

Description

影像處理裝置以及方法

本揭示有關於一種影像處理裝置以及方法。具體而言，本發明係關於一種計算視角變換的影像處理裝置以及方法。

在一般的針對視角變換的影像處理中，要找到不同視角的影像之間的對應關係，在現行做法中有手動與自動的方式。

然而，手動的方式需要人工對不同影像做預處理，但此方法有時會因人為的誤差(例如，使用者手抖)而造成不精確。此外，人工的方式也非常耗時且耗力。

另外，雖然自動的方式目前可使用電腦視覺與深度學習來得出單應性矩陣。然而，現行方式處理一張影像會非常耗時，且因為是利用深度學習的方式，將無法對內部參數做微調，進而導致在應用的場地的光影景色與訓練資料不相似時，可能會得出錯誤的單應性矩陣。

因此，要如何精確且即時地進行影像的視角變換是本領域技術人員亟欲解決的問題。

本揭示提出一種影像處理裝置，其包括影像擷取電路、記憶體以及處理器。影像擷取電路，用以拍攝場域影像。記憶體用以儲存多個指令以及場域模板。處理器用以處理多個指令以執行以下步驟：由場域影像找出多個線段；根據多個線段執行融合運算以產生多個融合線；由多個融合線區分出第一群組及第二群組；從第一群組及第二群組中之融合線之間的多個交點，選擇出至少一第一交點集，並從場域模板，選擇出至少一第二交點集；以及計算至少一第一交點集以及至少一第二交點集之間的至少一單應性矩陣。

本揭示亦提出一種影像處理方法，包括：由場域影像找出多個線段；根據多個線段執行融合運算以產生多個融合線；由多個融合線區分出第一群組及第二群組；從第一群組及第二群組中之融合線之間的多個交點，選擇出至少一第一交點集，並從場域模板，選擇出至少一第二交點集；以及計算至少一第一交點集以及至少一第二交點集之間的至少一單應性矩陣。

有鑑於目前一般的針對視角變換的影像處理，其可能因為需要大量人力進行預處理以造成大量人力消耗或是訓練參數無法即時微調。此外，由於要仰賴人力的判斷，這也常常造成經視角變換處理後的影像的誤差。

為解決上述問題，本揭示內容提出一種影像處理裝置以及方法，透過色域轉換、找線處理、線段融合、角度差以及距離差的方法以及計算疊合以及未疊合的數量的方法，以大大增加所計算出的單應性矩陣的精準度且可即時對場地的變化進行微調。藉此，可將此高精確度的單應性矩陣用在各種視角變換的影像處理。上述本揭示內容的技術具體以下述實施例為例來進行說明。

參照第1圖，第1圖繪示本揭示一些實施例中的影像處理裝置100的示意圖。如第1圖所示，影像處理裝置100包括影像擷取電路110、記憶體120以及處理器130。處理器130連接於影像擷取電路110以及記憶體120之間。

在一些實施例中，影像處理裝置100可以是任意具有影像處理器的裝置，或者是用以進行提供影像處理功能的裝置，例如可以為計算機、伺服器或處理中心等在此不設限。

在本實施例中，影像擷取電路110用以拍攝場域影像IMG1(例如，網球場或足球場的影像)。在一些實施例中，影像擷取電路110可以由各式的影像擷取器實現，例如攝影電路或感光電路等，用以於預設的拍攝範圍(field of view, FoV)內擷取任意場域(例如，網球場、足球場等)的影像。在一些實施例中，場域影像IMG1可以是RGB色彩空間的影像。在一些實施例中，影像擷取電路110可從特定拍攝角度拍攝場域(例如，網球場或足球場)以產生場域影像IMG1。

另外，在本實施例中，記憶體120用以儲存多個指令，其用以執行後續段落所描述的詳細步驟。在一些實施例中，這些指令可以是相應的軟體或韌體指令程序。在一些實施例中，記憶體120可以由記憶單元、快閃記憶體、唯讀記憶體、硬碟或任何具相等性的儲存組件等實現。

另外，在本實施例中，處理器130用以處理這些指令並執行以下後續段落所描述的詳細步驟。在一些實施例中，處理器130可以由處理單元、中央處理單元或計算單元等實現。

一併參照第2圖，第2圖繪示本揭示一些實施例中的影像處理方法的流程圖，此影像處理方法適用於電子裝置，此電子裝置可以是第1圖的影像處理裝置100，第1圖的影像處理裝置100中的元件用以執行影像處理方法中的步驟S210~S250。如第2圖所示，首先，於步驟S210中，由場域影像IMG1找出多個線段。

在一些實施例中，可將場域影像IMG1由RGB色彩空間轉換為HSV色彩空間的影像，並可根據多個色彩區間將HSV色彩空間的影像轉換為二元影像。接著，可對二元影像執行線偵測運算以產生多個線段。在一些實施例中，線偵測運算可以是霍夫變換或快速線檢測(即，openCV函式庫中的HoughLines函式或FastLineDetector函式)。

在一些實施例中，多個色彩區間包括色相區間、飽和度區間以及明度區間。在一些實施例中，二元影像可以是黑白影像。在一些實施例中，更可對二元影像執行線偵測運算以產生多個線段各自的起點座標以及終點座標。在一些實施例中，可根據多個線段各自的起點座標以及終點座標將多個線段標示於場域影像IMG1上。

以下以實際例子說明二元影像的產生。一併參照第3圖，第3圖繪示本揭示一些實施例中的二元影像BIMG的產生的示意圖。如第3圖所示，假設色相區間為0~180，飽和度區間為0~100，以及明度區間為180~255，可先將場域影像IMG1從RGB色彩空間轉換至HSV色彩空間。

當HSV色彩空間的影像中的像素的色相在0~180中，HSV色彩空間的影像中的像素的飽和度在0~100中，以及HSV色彩空間的影像中的像素的明度在180~255中時，可將HSV色彩空間的影像中的此像素設定為白色。

反之，當HSV色彩空間的影像中的像素的色相不在0~180中，或HSV色彩空間的影像中的像素的飽和度不在0~100中，或HSV色彩空間的影像中的像素的明度不在180~255中時，可將HSV色彩空間的影像中的此像素設定為黑色。藉此，可將HSV色彩空間的影像轉換為二元影像BIMG(即，黑白影像)。

以下以實際例子說明場域影像IMG1上所產生的線段。一併參照第4圖，第4圖繪示本揭示一些實施例中的從場域影像IMG1產生多個線段LS1~LS12的示意圖。如第4圖所示，藉由上述線偵測運算從場域影像IMG1產生線段LS1~LS12，並將線段LS1~LS12標示於場域影像IMG1上。

再者，如第2圖所示，於步驟S220中，根據多個線段執行融合運算以產生多個融合線。

在一些實施例中，融合運算可包括：計算多個線段中的一者以及多個線段中的另一者之間的線段夾角以及最大距離。接著，可根據線段夾角以及最大距離決定多個線段中的一者以及多個線段中的另一者是否融合。

在一些實施例中，可判斷是否線段夾角小於夾角閾值且最大距離小於距離閾值。當判斷線段夾角小於夾角閾值且最大距離小於距離閾值時，可將多個線段中的一者以及多個線段中的另一者融合為多個融合線中的一者。

詳細而言，可任意挑選多個線段中的二者，並判斷兩個挑選的線段是否能融合。當可以融合時，可執行融合運算以計算出其中一融合線的直線方程式。以第4圖為例，可從線段LS1~LS12任意選出二者(例如選擇線段LS1、LS3)以判斷兩個挑選的線段是否能融合以計算出一個直線方程式。即，可對線段LS1~LS12進行66次選擇以判斷是否能融合以計算出多個直線方程式。

在一些實施例中，可利用任意的線段融合處理對多個線段中的一者以及多個線段中的另一者進行融合。在一些實施例中，線段融合處理可以是感知準確線段融合(perceptually accurate line segment merging)演算法、線性回歸(linear regression)演算法或線參數平均演算法(例如，計算兩個線段的起點座標(或終點座標)的平均值以及斜率的平均值以根據起點座標(或終點座標)的平均值以及斜率的平均值產生一個線方程式)等。

以下以實際的例子說明線段夾角以及最大距離。一併參照第5圖，第5圖繪示本揭示一些實施例中的線段夾角的示意圖。如第5圖所示，假設挑選出線段L1~L2，線段L1的延伸線EL與線段L2之間存在線段夾角。藉此，可判斷線段夾角是否小於夾角閾值。

此外，為便於理解本揭露的最大距離如何計算，請一併參照第6圖。第6圖繪示本揭示一些實施例中的最大距離d的示意圖。須說明者，線段L2上任一點至線段L1均對應至一垂直距離，其中距離數值最大的垂直距離即定義為最大距離d。

於本範例中，假設處理器130挑選出線段L1~L2，如第6圖所示，線段L1與線段L2之間存在最大距離d。藉此，處理器130可判斷線段L1與線段L2之間存在的最大距離d是否小於距離閾值。

以下以實際的例子說明多個融合線。一併參照第7圖，第7圖繪示本揭示一些實施例中的場域影像IMG1中的多個融合線IL1~IL10的示意圖。如第7圖所示，可根據融合線IL1~IL10的直線方程式將融合線IL1~IL10標示於場域影像IMG1。

再者，如第2圖所示，於步驟S230中，由多個融合線區分出第一群組及第二群組。

在一些實施例中，可根據斜率閾值由多個融合線區分出第一群組及第二群組。在一些實施例中，可將大於斜率閾值的融合線做為第一群組的融合線，並將不大於斜率閾值的融合線做為第二群組的融合線。

在一些實施例中，以場域影像IMG1的最左側的中間點為基準，可計算第一群組的多個融合線的最小距離，並根據第一群組的多個融合線的最小距離排序第一群組的多個融合線。在一些實施例中，以場域影像IMG1的最上側的中間點為基準，可計算第二群組的多個融合線的最小距離，並根據第二群組的多個融合線的最小距離排序第二群組的多個融合線。以第7圖為例，如第7圖所示，可根據斜率閾值由融合線IL1~IL10辨識出大於斜率閾值的融合線IL1~IL5以及不大於斜率閾值的融合線IL6~IL10。藉此，可將融合線IL1~IL5做為第一群組，並將融合線IL6~IL10做為第二群組。

以下以實際的例子說明第一群組的排序以及第二群組的排序。一併參照第8圖，第8圖繪示本揭示一些實施例中的第一群組的排序的示意圖。如第8圖所示，以影像IMG2的最左側的中間點為基準點LO，計算第一群組的多個融合線VL1~VL5與基準點LO之間的多個最小距離LD1~LD5。藉此，可根據最小距離LD1~LD5依序由融合線VL1排列至融合線VL5。

此外，一併參照第9圖，第9圖繪示本揭示一些實施例中的第二群組的排序的示意圖。如第9圖所示，以影像IMG3的最上側的中間點為基準點UO，計算第二群組的多個融合線HL1~HL5與基準點UO之間的多個最小距離UD1~UD5。藉此，可根據最小距離UD1~UD5依序由融合線HL1排列至融合線HL5。

再者，如第2圖所示，於步驟S240中，從第一群組及第二群組中之融合線之間的多個交點，選擇出至少一第一交點集，並從場域模板，選擇出至少一第二交點集。在一些實施例中，場域模板可以是一個俯瞰場地的場地圖，也可以是以不同與場域影像IMG1的視角拍攝場域所產生的影像。

在一些實施例中，選擇出第一交點集以及第二交點集的步驟包括：隨機地選擇第一群組中的二者以及第二群組中的二者，並將第一群組中的二者以及第二群組中的二者之間的四個交點做為至少一第一交點集中的一者。接著，可隨機地從場域模板選擇多個水平場地線中的二者以及多個垂直場地線中的二者，並將多個水平場地線中的二者以及多個垂直場地線中的二者之間的四個交點做為至少一第二交點集中的一者。

在一些實施例中，當先選擇出第一群組中的二者的其中一者時，可根據此其中一者的排序，從場域模板中選擇出其中一垂直場地線。而當先選擇出第二群組中的二者的其中一者時，可根據此其中一者的排序，從場域模板中選擇出其中一水平場地線。藉此，可大大減少後續選擇出第一交點及以及第二交點集的次數，以降低計算量。

舉例而言，假設先選擇了第一群組中的其中一融合線，且其中一融合線的排序較為前面(即，較靠近場域影像IMG1最左側的中間點)，此時，會選擇出靠近場域模板最左側的垂直場地線，而不會選擇靠近場域模板最右側的垂直場地線。反之，假設先選擇了第一群組中的其中另一融合線，且其中另一融合線的排序較為後面(即，較遠離場域影像IMG1最左側的中間點)，此時，會選擇出較遠離場域模板最左側的垂直場地線，而不會選擇靠近場域模板最左側的垂直場地線。如此一來，將大大降低選擇的次數。

以下以實際的例子說明場域模板中的水平場地線以及垂直場地線。一併參照第10圖，第10圖繪示本揭示一些實施例中的場域模板TEM1的示意圖。如第10圖所示，場域模板TEM1為網球場的場地圖，場地圖上繪示了多個場地線。接著，可從場域模板TEM1中多個場地線計算出多個水平場地線TL1~TL4的直線方程式以及多個垂直場地線TL5~TL9的直線方程式，並可將場域模板TEM1的原點TO設定在場域模板TEM1的左上角，水平場地線TL1~TL4為多個場地線中的所有水平線，垂直場地線TL5~TL9為多個場地線中的所有垂直線。

以下以實際的例子說明第一群組中的二融合線以及第二群組中的二融合線的選擇。一併參照第11圖，第11圖繪示本揭示一些實施例中的選擇多個融合線IL1、IL5、IL6、IL9的示意圖。如第11圖所述，接續第7圖的例子，可從第7圖中的第一群組中的融合線IL1~IL5隨機選出融合線IL1、IL5，並可從第二群組中的融合線IL6~IL10隨機選出融合線IL6、IL9。接著，可將融合線IL1、IL5以及融合線IL6、IL9之間的四個交點IP1~IP4做為其中一個第一交點集。

以下以實際的例子說明兩條水平場地線以及兩條垂直場地線的選擇。一併參照第12圖，第12圖繪示本揭示一些實施例中的選擇兩條水平場地線TL1、TL4以及兩條垂直場地線TL5、TL6的示意圖。如第12圖所述，接續第10圖的例子，可從第10圖中的場域模板TEM1中的水平場地線TL1~TL4隨機選出水平場地線TL1、IL4，並可從垂直場地線TL5~TL9隨機選出垂直場地線TL5、TL6。接著，可將水平場地線TL1、IL4以及垂直場地線TL5、TL6之間的四個交點TP1~TP4做為其中一個第二交點集。

換言之，藉由上述隨機地選擇第一群組中的二者以及第二群組中的二者且隨機地從場域模板選擇多個水平場地線中的二者以及多個垂直場地線中的二者的方法，以第7圖以及第10圖為例，可能產生6000種選擇結果。

再者，如第2圖所示，於步驟S250中，計算至少一第一交點集以及至少一第二交點集之間的至少一單應性矩陣(homography matrix)。

在一些實施例中，至少一單應性矩陣為用以由場域模板的座標轉換至場域影像IMG1的座標的單應性矩陣。舉例而言，場域影像IMG1可以是由電視轉播拍攝視角所拍攝的網球場的影像，場域模板可以是一個俯瞰網球場的場地圖，而單應性矩陣可以是此影像以及場地圖之間的轉換矩陣。此外，只要從此影像取出至少四個點(即，上述其中一第一交點集)以及從場地圖取出至少四個對應點(即，上述對應的其中一第二交點集)就能計算出此單應性矩陣。舉例而言，以第11圖以及第12圖為例，可根據場域影像IMG1中的交點IP1~IP4以及場域模板TEM1中的交點TP1~TP4計算出場域影像IMG1以及場域模板TEM1之間的單應性矩陣。

值得注意的是，單應性矩陣為本領域針對兩個不同視角拍攝同一場景所產生的兩個平面影像之間的轉換矩陣，因此，不再對單應性矩陣的計算加以贅述。

在一些實施例中，在計算單應性矩陣後，可對單應性矩陣執行準確度運算，以產生對應的轉換分數。接著，可利用具有最高的轉換分數的單應性矩陣將待疊合模板疊合於場域影像IMG1以產生疊合影像。在一些實施例中，也可利用複數個最高的轉換分數的單應性矩陣(例如，最高的10個轉換分數的單應性矩陣)將待疊合模板疊合於場域影像IMG1以產生多個疊合影像。

在一些實施例中，準確度運算可包括：針對單應性矩陣中的各者，執行以下步驟：可對第一群組以及第二群組進行視角轉換。接著，可計算轉換的第一群組的各者與場域模板中的對應的垂直場地線之間的第一角度差以及第一距離差，並根據多個第一角度差以及多個第一距離差，計算轉換的第一群組中的各者的第一分數。接著，可計算轉換的第二群組中的各者與場域模板中的對應的水平場地線之間的第二角度差以及第二距離差，並根據多個第二角度差以及多個第二距離差，計算轉換的第二群組中的各者的第二分數。接著，可根據多個第一分數以及多個第二分數計算出多個轉換分數中的一者。

在一些實施例中，可計算其中一第一角度差與一個預設角度之間的商數，並計算其中一第一角度差的商數的雙曲正切函數。接著，可計算其中一第一距離差與一個預設距離之間的商數，並計算其中一第一距離差的商數的雙曲正切函數。接著，根據角度權重、距離權重、其中一第一角度差的商數的雙曲正切函數以及其中一第一距離差的多個商數的雙曲正切函數，計算出轉換的第一群組中的其中一者的第一分數。

在一些實施例中，可計算其中一第二角度差與一個預設角度之間的商數，並計算其中一第二角度差的商數的雙曲正切函數。接著，可計算其中一第二距離差與一個預設距離之間的多個商數，並計算其中一第二距離差的商數的雙曲正切函數。接著，根據角度權重、距離權重、其中一第二角度差的多個商數的雙曲正切函數以及其中一第二距離差的多個商數的雙曲正切函數，計算出轉換的第二群組中的其中一者的第二分數。

以下以實際的例子說明轉換分數的計算。一併參照第13圖，第13圖繪示本揭示一些實施例中的場域模板TEM1上的多個轉換線TSL1~TSL10的示意圖。如第7圖、第10圖以及第13圖所示，延續第11圖以及的12圖的例子，假設基於第11圖以及的12圖的選擇可計算出場域影像IMG1以及場域模板TEM1之間的單應性矩陣，可利用此單應性矩陣將場域影像IMG1中的融合線IL1~IL10轉換為場域模板TEM1上的轉換線TSL1~TSL10的直線方程式(即，進行上述的視角轉換)，其中融合線IL6~IL10為第一群組的融合線，融合線IL1~IL5為第二群組的融合線，轉換線TSL6~TSL10為轉換的第一群組的轉換線，轉換線TSL1~TSL5為轉換的第二群組的轉換線。

進一步而言，由於轉換線TSL1是由第二群組中的融合線IL1轉換而來的，可根據轉換線TSL1，從場域模板TEM1中的水平場地線TL1~TL4中找出對應的水平場地線。

詳細而言，可計算水平場地線TL1~TL4與原點TO之間的最小距離做為多個場地線最小距離，並計算轉換線TSL1與原點TO之間的最小距離做為轉換線TSL1的轉換線最小距離。接著，可計算多個場地線最小距離與轉換線TSL1的轉換線最小距離之間的多個距離差，並選擇與最小的距離差對應的水平場地線做為上述對應的水平場地線。

在本實施例中，針對轉換線TSL1，可藉由上述計算，找出對應的水平場地線為水平場地線TL1。以此類推，藉由上述計算，也可以辨識出轉換線TSL2、TSL4~TSL10分別對應於水平場地線TL2~TL4以及垂直場地線TL5~TL9，並可以辨識出轉換線TSL3對應於水平場地線TL2。

再者，可計算轉換線TSL1與水平場地線TL1之間的傾角的角度差以及最小距離，並將所計算出的傾角的角度差以及最小距離做為轉換線TSL1的第二角度差以及第二距離差。以此類推，藉由上述計算，也可以計算出轉換線TSL2~TSL5的第二角度差以及第二距離差，並計算出轉換線TSL6~TSL10的第一角度差以及第一距離差。

再者，可計算轉換線TSL6的第一角度差與一個預設角度之間的商數，並計算轉換線TSL6的第一角度差的商數的雙曲正切函數。接著，可計算轉換線TSL6的第一距離差與一個預設距離之間的商數，並計算轉換線TSL6的第一距離差的商數的雙曲正切函數。接著，根據角度權重、距離權重、轉換線TSL6的第一角度差的商數的雙曲正切函數以及轉換線TSL6的第一距離差的多個商數的雙曲正切函數，計算出轉換線TSL6的第一分數。以此類推，也可藉由相同的計算，計算出轉換線TSL7~TSL10的第一分數。

再者，可計算轉換線TSL1的第二角度差與一個預設角度之間的商數，並計算轉換線TSL1的第二角度差的商數的雙曲正切函數。接著，可計算轉換線TSL1的第二距離差與一個預設距離之間的商數，並計算轉換線TSL1的第二距離差的商數的雙曲正切函數。接著，根據角度權重、距離權重、轉換線TSL1的第二角度差的商數的雙曲正切函數以及轉換線TSL1的第二距離差的多個商數的雙曲正切函數，計算出轉換線TSL1的第二分數。以此類推，也可藉由相同的計算，計算出轉換線TSL2~TSL5的第二分數。

在一些實施例中，上述角度差(即，第一角度差或第二角度差)的商數的雙曲正切函數如以下公式(1)所示。 …公式(1)

其中angleDiff為角度差的商數的雙曲正切函數，a1為其中一融合線的傾角，a2為場域模板TEM1中與此融合線對應的場地線(即，垂直場地線或水平場地線)的傾角，ā為預設角度(例如由使用者所設定)。

在一些實施例中，上述距離差(即，第一距離差或第二距離差)的商數的雙曲正切函數如以下公式(2)所示。 …公式(2)

其中originDiff為距離差與預設距離之間的商數的雙曲正切函數，d1為其中一融合線與場域模板TEM1的原點(即，原點TO)之間的最小距離，d2為場域模板中與此融合線對應的場地線(即，垂直場地線或水平場地線)與場域模板的原點之間的最小距離，đ為預設距離(例如由使用者所設定)。

在一些實施例中，上述第一分數如以下公式(3)所示。 …公式(3)

其中SC1為第一分數，W1為角度權重，angleDiff1為轉換的第一群組中的其中一轉換線的第一角度差，W2為距離權重，originDiff1為此轉換線的第一距離差。

在一些實施例中，上述第二分數如以下公式(4)所示。 …公式(4)

其中SC2為第二分數，angleDiff1為轉換的第二群組中的其中一轉換線的第二角度差，originDiff1為此轉換線的第二距離差。

再者，根據上述計算出的多個第一分數以及多個第二分數計算出多個轉換分數中的一者。在一些實施例中，上述轉換分數如以下公式(5)所示。 …公式(5)

其中warpingScore為與此單應性矩陣對應的轉換分數，為轉換的第一群組中的所有轉換線的第一分數的總和，為轉換的第二群組中的所有轉換線的第二分數的總和。

值得注意的是，如第11圖以及第12圖所示，由於從場域影像IMG1所選擇的融合線IL1、IL5、IL6、IL9與從場域模板TEM1上選擇的場地線TL1、TL4、TL5、TL6沒有完全對應到(即，融合線IL9是在網球上的單打右邊線上，而場地線TL6是在網球上的單打左邊線上，並沒有對應到)，因此，所計算出的單應性矩陣的轉換效果不佳(如第13圖所示，只有轉換線TSL1、TSL5、TSL6有對應到正確的場地線)。

以下以實際例子說明具有較高轉換分數的單應性矩陣。一併參照第14圖，第14圖繪示本揭示一些實施例中的選擇多個融合線IL1、IL5、IL6、IL10的示意圖。如第14圖所述，接續第7圖的例子，可從第7圖中的第一群組中的融合線IL1~IL5隨機選出融合線IL1、IL5，並可從第二群組中的融合線IL6~IL10隨機選出融合線IL6、IL10。接著，可將融合線IL1、IL5以及融合線IL6、IL10之間的四個交點IP1~IP4做為其中一個第一交點集。

一併參照第15圖，第15圖繪示本揭示一些實施例中的選擇兩條水平場地線IL1、IL5以及兩條垂直場地線IL6、IL9的示意圖。如第15圖所述，接續第10圖的例子，可從第10圖中的場域模板TEM1中的水平場地線TL1~TL4隨機選出水平場地線TL1、IL5，並可從垂直場地線TL5~TL9隨機選出垂直場地線TL6、TL9。接著，可將水平場地線TL1、IL5以及垂直場地線TL6、TL9之間的四個交點TP1~TP4做為其中一個第二交點集。

一併參照第16圖，第16圖繪示本揭示一些實施例中的場域模板TEM1上的多個轉換線TSL1~TSL10的示意圖。如第7圖、第10圖以及第13圖所示，延續第14圖以及的15圖的例子，假設基於第14圖以及的15圖的選擇可計算出場域影像IMG1以及場域模板TEM1之間的單應性矩陣，可利用此單應性矩陣將場域影像IMG1中的融合線IL1~IL10轉換為場域模板TEM1上的轉換線TSL1~TSL10的直線方程式(即，進行上述的視角轉換)，其中融合線IL6~IL10為第一群組的融合線，融合線IL1~IL5為第二群組的融合線，轉換線TSL6~TSL10為轉換的第一群組的轉換線，轉換線TSL1~TSL5為轉換的第二群組的轉換線。

再者，由第16圖可得知，此單應性轉換矩陣地轉換效果較佳(因為所有轉換線TSL1~TSL2、TSL4~TSL10都有對應到正確的場地線，只有轉換線TSL3沒辦法對應到場地線)。接著，可根據第11圖至第13圖的例子的計算方式計算出一個單應性矩陣以及此單應性矩陣的轉換分數。實際計算之後，可發現到此單應性矩陣的轉換分數會遠遠大於第11圖至第13圖的例子的轉換分數。基於上述步驟，本揭示更可以多次(可以是一個預設的次數或是所有可能的選擇的次數)從第一群組以及第二群組選擇出第一交點集，並多次從場域模板選擇出第二交點集，進而計算出多個單應性矩陣。藉此，可找到具有較高轉換分數的單應性矩陣做為最佳的單應性矩陣。

在一些實施例中，準確度運算也可包括：針對至少一單應性矩陣中的各者，執行以下步驟：可對多個垂直場地線上進行視角轉換，並計算多個轉換的垂直場地線上的多個第一疊合像素的數量以及多個第一未疊合像素的數量。接著，可對多個水平場地線上進行視角轉換，並計算多個轉換的水平場地線上的多個第二疊合像素的數量以及多個第二未疊合像素的數量。接著，可根據多個第一疊合像素的數量、多個第一未疊合像素的數量、多個第二疊合像素的數量以及多個第二未疊合像素的數量，計算出多個轉換分數中的一者。

在一些實施例中，也可從上述利用角度差以及距離差的方法所計算出的至少一單應性矩陣中，選擇具有較高的轉換分數的多個單應性矩陣(例如，轉換分數較高的前十個單應性矩陣)執行上述計算疊合以及未疊合的數量的方法以計算出新的轉換分數。

以下以實際例子說明疊合像素以及為疊合像素。一併參照第17圖，第17圖繪示本揭示一些實施例中的場域模板TEM1上的場地線(包含水平場地線以及垂直場地線)的多個像素點P的示意圖。如第17圖所示，可從場域模板TEM1中的場地線擷取多個像素點P的座標。在一些實施例中，可在場域模板TEM1中的場地線上每間隔兩個像素進行一次擷取(或取樣)。

接著，一併參照第18圖，第18圖繪示本揭示一些實施例中的場域影像IMG1上的多個轉換點TSP的示意圖。如第18圖所示，接續第17圖的例子，可利用上述計算出的一個單應性矩陣將場域模板TEM1上的場地線的多個像素點P的座標轉換為場域影像IMG1上的多個轉換點TSP的座標，並將這些轉換點TSP的座標標示在場域影像IMG1。接著，可判斷這些轉換點TSP是否位於上述所產生的黑白影像的白色像素上。當轉換點TSP位於上述所產生的黑白影像的白色像素上時，可辨識為疊合像素，其中由垂直場地線所轉換的疊合像素為第一疊合像素，由水平場地線所轉換的疊合像素為第二疊合像素。

反之，可辨識為未疊合像素(即，多個場地線段OG1~OG3上的像素)，其中由垂直場地線所轉換的未疊合像素為第一未疊合像素，由水平場地線所轉換的未疊合像素為第二未疊合像素。最後，可根據這些第一疊合像素的數量、這些第一未疊合像素的數量、這些第二疊合像素的數量以及這些第二未疊合像素的數量，計算出多個轉換分數中的一者。

在一些實施例中，上述轉換分數如以下公式(6)所示。 …公式(6)

其中projectScore為轉換分數，sum(,)為總和計算函式，numSpoint為所有第一疊合像素的數量以及所有第二疊合像素的數量之總和，W3為未疊合權重，numUSpoint為所有第一未疊合像素的數量以及所有第二未疊合像素的數量之總和。

值得注意的是，上述計算疊合以及未疊合的數量的方法可在執行角度差以及距離差的方法之後執行，也可直接在執行上述步驟S250之後執行，並沒有特別的限制。除此之外，這樣的計算疊合以及未疊合的數量的方法也可正確地追蹤出場域影像的場地上的邊界線(例如，應用於判斷場地上的球是否出界)。

在一些實施例中，在產生至少一單應性矩陣之後，可利用至少一單應性矩陣將待疊合模板轉換為至少一轉換圖，並將至少一轉換圖疊合於場域影像IMG1上。在一些實施例中，當需要將特定影像(例如，由廠商提供的廣告或圖形等)疊合於場域影像IMG1上時，可將特定影像覆蓋於場域模板TEM1上以產生待疊合模板。

以下以實際的例子說明轉換圖的疊合。一併參照第19圖，第19圖繪示本揭示一些實施例中的待疊合模板TEM2的示意圖。如第19圖所示，待疊合模板TEM2具有一個廣告標記AD。藉此，可利用上述單應性矩陣對待疊合模板TEM2進行轉換以將所產生的轉換圖覆蓋於場域影像IMG1上。一併參照第20圖，第20圖繪示本揭示一些實施例中的疊合影像SIMG的示意圖。如第20圖所示，當將轉換圖覆蓋於場域影像上以產生疊合影像SIMG時，疊合影像SIMG上可以產生一個經過變形處理的廣告標記AD，經過變形處理的廣告標記AD可完全依照拍攝場域影像的變形。藉此，可讓使用者在觀看場域影像時，不會感覺到廣告標記AD的形狀怪異。換言之，本揭示的影像處理裝置以及方法可以把廣告標記AD放置在適當位置，降低廣告標記AD的突兀感、避免廣告標記AD變形。

值得注意的是，於應用層面上，本揭示文件的影像處理裝置以及方法除了可以用在上述將廣告投放的應用，更可以用在各種具有機器視覺、圖像分類或是資料分類的領域，舉例而言，此影像處理裝置以及方法也可以用在將虛擬物件投放在場域影像上。另一方面，此影像處理裝置以及方法也可以用在判斷運動場上的球是否出界的辨識。此外，此影像處理裝置以及方法更可以用在全景影像的拍攝或是虛擬實境(擴增實境)的應用。

綜上所述，本揭示所提出的影像處理裝置可結合色域轉換、找線處理、線段融合、角度差以及距離差的方法以及計算疊合以及未疊合的數量的方法，以大大增加所計算出的單應性矩陣的精準度且可即時對場地的變化進行微調。此外，更可解決以往利用大量人工預先影像處理才能計算出單應性矩陣的問題，這也解決人工預處理影像所造成的單應性矩陣的精確度不佳的問題，以及機器學習無法即時進行微調參數的問題。

雖然本揭示的特定實施例已經揭露有關上述實施例，此些實施例不意欲限制本揭示。各種替代及改良可藉由相關領域中的一般技術人員在本揭示中執行而沒有從本揭示的原理及精神背離。因此，本揭示的保護範圍由所附申請專利範圍確定。

100:影像處理裝置

110:影像擷取電路

120:記憶體

130:處理器

IMG1:場域影像

S210~S250:步驟

BIMG:二元影像

LS1~LS12:線段

L1、L2:線段

EL:延伸線

:線段夾角

d:最大距離

IL1~IL10、VL1~VL5、HL1~HL5:融合線

IMG2、IMG3:影像

LO、UO:基準點

LD1~LD5、UD1~UD5:最小距離

TEM1:場域模板

TO:原點

TL1~TL4:水平場地線

TL5~TL9:垂直場地線

IP1~IP4、TP1~TP4:交點

TSL1~TSL10:轉換線

P:像素點

TSP:轉換點

OG1~OG3:場地線段

TEM2:待疊合模板

AD:廣告標記

SIMG:疊合影像

第1圖繪示本揭示一些實施例中的影像處理裝置的示意圖。第2圖繪示本揭示一些實施例中的影像處理方法的流程圖。第3圖繪示本揭示一些實施例中的二元影像的產生的示意圖。第4圖繪示本揭示一些實施例中的從場域影像產生多個線段的示意圖。第5圖繪示本揭示一些實施例中的線段夾角的示意圖。第6圖繪示本揭示一些實施例中的最大距離的示意圖。第7圖繪示本揭示一些實施例中的場域影像中的多個融合線的示意圖。第8圖繪示本揭示一些實施例中的第一群組的排序的示意圖。第9圖繪示本揭示一些實施例中的第二群組的排序的示意圖。第10圖繪示本揭示一些實施例中的場域模板的示意圖。第11圖繪示本揭示一些實施例中的選擇多個融合線的示意圖。第12圖繪示本揭示一些實施例中的選擇兩條水平場地線以及兩條垂直場地線的示意圖。第13圖繪示本揭示一些實施例中的場域模板上的多個轉換線的示意圖。第14圖繪示本揭示一些實施例中的選擇多個融合線的示意圖。第15圖繪示本揭示一些實施例中的選擇兩條水平場地線以及兩條垂直場地線的示意圖。第16圖繪示本揭示一些實施例中的場域模板上的多個轉換線的示意圖。第17圖繪示本揭示一些實施例中的場域模板上的場地線的多個像素點的示意圖。第18圖繪示本揭示一些實施例中的場域影像上的多個轉換點的示意圖。第19圖繪示本揭示一些實施例中的疊合模板的示意圖。第20圖繪示本揭示一些實施例中的疊合影像的示意圖。

S210~S250:步驟

Claims

一種影像處理裝置，包括：一影像擷取電路，用以拍攝一場域影像；一記憶體，用以儲存多個指令以及一場域模板；以及一處理器，用以處理該些指令以執行以下步驟：由該場域影像找出多個線段；根據該些線段執行一融合運算以產生多個融合線；由該些融合線區分出一第一群組及一第二群組；從該第一群組及該第二群組中之該些融合線之間的多個交點，選擇出至少一第一交點集，並從該場域模板，選擇出至少一第二交點集；以及計算該至少一第一交點集以及該至少一第二交點集之間的至少一單應性矩陣。
如請求項1所述之影像處理裝置，其中該融合運算包括：計算該些線段中的一者以及該些線段中的另一者之間的一線段夾角以及一最大距離；以及根據該線段夾角以及該最大距離決定該些線段中的該一者以及該些線段中的該另一者是否融合。
如請求項1所述之影像處理裝置，其中選擇出該至少一第一交點集以及該至少一第二交點集的運作包括：隨機地選擇該第一群組中的二者以及該第二群組中的二者，並將該第一群組中的該二者以及該第二群組中的該二者之間的四個交點做為該至少一第一交點集中的一者；以及隨機地從該場域模板選擇多個水平場地線中的二者以及多個垂直場地線中的二者，並將該些水平場地線中的該二者以及該些垂直場地線中的該二者之間的四個交點做為該至少一第二交點集中的一者。
如請求項1所述之影像處理裝置，其中，在計算該至少一單應性矩陣後，對該至少一單應性矩陣執行一準確度運算，以產生至少一對應的轉換分數；以及利用具有最高的轉換分數的單應性矩陣將一待疊合模板疊合於該場域影像。
如請求項4所述之影像處理裝置，其中該準確度運算包括：針對該至少一單應性矩陣中的各者，執行以下步驟：對該第一群組以及該第二群組進行一視角轉換；計算轉換的第一群組中的各者與該場域模板中的對應的垂直場地線之間的一第一角度差以及一第一距離差，並根據該些第一角度差以及該些第一距離差，計算該轉換的第一群組中的各者的第一分數；計算轉換的第二群組中的各者與該場域模板中的對應的水平場地線之間的一第二角度差以及一第二距離差，並根據該些第二角度差以及該些第二距離差，計算該轉換的第二群組中的各者的第二分數；以及根據該些第一分數以及該些第二分數計算出該些轉換分數中的一者。
如請求項4所述之影像處理裝置，其中該準確度運算包括：針對該至少一單應性矩陣中的各者，執行以下步驟：對該場域模板中的多個水平場地線上進行視角轉換，並計算多個轉換的水平場地線上的多個第一疊合像素的數量以及多個第一未疊合像素的數量；對該場域模板中的多個垂直場地線上進行視角轉換，並計算多個轉換的垂直場地線上的多個第二疊合像素的數量以及多個第二未疊合像素的數量；以及根據該些第一疊合像素的數量、該些第一未疊合像素的數量、該些第二疊合像素的數量以及該些第二未疊合像素的數量，計算出該些轉換分數中的一者。
一種影像處理方法，用於一電子裝置，其中該影像處理方法，包括：由該電子裝置由一場域影像找出多個線段；由該電子裝置根據該些線段執行融合運算以產生多個融合線；由該電子裝置由該些融合線區分出一第一群組及一第二群組；由該電子裝置從該第一群組及該第二群組中之融合線之間的多個交點，選擇出至少一第一交點集，並從一場域模板，選擇出至少一第二交點集；以及由該電子裝置計算該至少一第一交點集以及該至少一第二交點集之間的至少一單應性矩陣。
如請求項7所述之影像處理方法，其中該融合運算包括：由該電子裝置計算該些線段中的一者以及該些線段中的另一者之間的一線段夾角以及一最大距離；以及由該電子裝置根據該線段夾角以及該最大距離決定該些線段中的該一者以及該些線段中的該另一者是否融合。
如請求項7所述之影像處理方法，其中選擇出該至少一第一交點集以及該至少一第二交點集的步驟包括：由該電子裝置隨機地選擇該第一群組中的二者以及該第二群組中的二者，並將該第一群組中的該二者以及該第二群組中的該二者之間的四個交點做為該至少一第一交點集中的一者；以及由該電子裝置隨機地從該場域模板選擇多個水平場地線中的二者以及多個垂直場地線中的二者，並將該些水平場地線中的該二者以及該些垂直場地線中的該二者之間的四個交點做為該至少一第二交點集中的一者。
如請求項7所述之影像處理方法，其中，在計算該至少一單應性矩陣後，由該電子裝置對該至少一單應性矩陣執行準確度運算，以產生至少一對應的轉換分數；以及由該電子裝置利用具有最高的轉換分數的單應性矩陣將一待疊合模板疊合於該場域影像。
如請求項10所述之影像處理方法，其中該準確度運算包括：由該電子裝置針對該至少一單應性矩陣中的各者，執行以下步驟：對該第一群組以及該第二群組進行視角轉換；計算轉換的第一群組中的各者與該場域模板中的對應的垂直場地線之間的一第一角度差以及一第一距離差，並根據該些第一角度差以及該些第一距離差，計算該轉換的第一群組中的各者的第一分數；計算轉換的第二群組中的各者與該場域模板中的對應的水平場地線之間的一第二角度差以及一第二距離差，並根據該些第二角度差以及該些第二距離差，計算該轉換的第二群組中的各者的第二分數；以及根據該些第一分數以及該些第二分數計算出該些轉換分數中的一者。
如請求項10所述之影像處理方法，其中該準確度運算包括：由該電子裝置針對該至少一單應性矩陣中的各者，執行以下步驟：對該場域模板中的多個水平場地線上進行視角轉換，並計算多個轉換的水平場地線上的多個第一疊合像素的數量以及多個第一未疊合像素的數量；對該場域模板中的多個垂直場地線上進行視角轉換，並計算多個轉換的垂直場地線上的多個第二疊合像素的數量以及多個第二未疊合像素的數量；以及根據該些第一疊合像素的數量、該些第一未疊合像素的數量、該些第二疊合像素的數量以及該些第二未疊合像素的數量，計算出該些轉換分數中的一者。