TWI796664B

TWI796664B - 影像校正方法與裝置

Info

Publication number: TWI796664B
Application number: TW110112233A
Authority: TW
Inventors: 鄒濬安
Original assignee: 宏正自動科技股份有限公司
Priority date: 2021-04-01
Filing date: 2021-04-01
Publication date: 2023-03-21
Also published as: CN115205132A; TW202240532A

Abstract

本發明提出一種影像校正方法。該方法包括：辨識第一影像中之至少一物件，以定義物件的物件區塊影像；利用方向計算模型計算物件區塊影像中之物件的物件方向，物件方向分別是二維座標平面上相對於基準軸向的偏轉角度，且偏轉角度為0度至360度之間的任一角度；以及依據偏轉角度產生第一影像的影像偏轉資訊，並利用影像偏轉資訊校正第一影像為第二影像。

Description

影像校正方法與裝置

本發明是有關於一種影像校正方法與裝置。

就現今的影像處理技術而言，針對影像方向錯誤的情況，往往較難偵測影像的方向。尤其是，相機或攝影機往往只能擷取影像像素的顏色資訊，並不會擷取影像相關的方向資訊。此時，若拍攝到錯誤方向的影像或影像在傳送時發生影像方向錯誤，通常只能直接辨識影像的方向，以將影像的方向旋轉至正確的方向。

然而，在上述發生影像方向錯誤的情況下，不僅無法預期進來的畫面方向且目前影像方向辨識方法還往往成效不佳或精確度不高。因此，要如何在發生影像方向錯誤的情況下，提供精確度極佳的影像方向辨識以及校正方法，為本領域技術人員所關心的議題之一。

本發明提供一種影像校正方法。所述方法包括：辨識第一影像中之至少一物件，以定義物件的物件區塊影像；利用方向計算模型計算物件區塊影像中之物件的物件方向，物件方向分別是二維座標平面上相對於基準軸向的偏轉角度，且偏轉角度為0度至360度之間的任一角度；以及依據偏轉角度產生第一影像的影像偏轉資訊，並利用影像偏轉資訊校正第一影像為第二影像。

本發明提供一種影像校正裝置，包括影像擷取電路、記憶體以及處理器。影像擷取電路用以擷取第一影像；記憶體用以儲存多個指令；以及處理器連接影像擷取電路與記憶體，並用以載入並執行多個指令以：接收第一影像，並對第一影像中之至少一物件進行物件辨識，以產生至少一物件區塊影像；利用方向計算模型計算物件區塊影像對應的物件方向，物件方向分別是二維座標平面上相對於基準軸向的偏轉角度，偏轉角度的為0度至360度之間的任一角度；以及依據偏轉角度產生第一影像的影像偏轉資訊，並利用影像偏轉資訊校正第一影像為第二影像。

基於上述，本發明提供的影像校正方法與裝置能在影像方向錯誤的情況下，結合深度學習、權重值以及優先次序的計算，以對影像進行方向辨識，並判斷影像的方向是否錯誤，以將影像旋轉至正確的方向。藉此，可達成節省硬體資源的使用，並增加影像方向辨識的精確度。

第1圖是根據本發明實施例繪示影像校正裝置的方塊圖。參照第1圖，影像校正裝置100包括影像擷取電路110、記憶體120以及處理器130。影像擷取電路110可用以擷取影像。記憶體120可用以儲存多個指令。處理器130可連接影像擷取電路110與記憶體120，並用以載入並執行上述多個指令。值得注意的是，在本實施例中，影像擷取電路110可以被配置於影像校正裝置100中。然而，在其他實施例中，影像擷取電路110也可以被配置於影像校正裝置100以外的其他裝置中。

在一些實施例中，影像校正裝置100可以是拍攝影像的攝影機或相機，也可以是支援影像串流（video steaming）的裝置或平台伺服器。在一些實施例中，影像擷取電路110是具有電荷耦合元件（charge coupled device, CCD）的鏡頭、互補性氧化金屬半導體（complementary metal-Oxide semiconductor，CMOS）的鏡頭、紅外線鏡頭或其他元件鏡頭等的電路。在一些實施例中，上述影像擷取電路110所擷取的影像是由影像擷取電路110直接擷取所拍攝之照片的影像，或週期性地擷取拍攝影片中之幀（frame）的影像。

在一些實施例中，記憶體120可以是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合。

在一些實施例中，處理器130可以是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。

在一些實施例中，處理器130可以有線或無線的方式連接影像擷取電路與記憶體。對於有線方式而言，上述連接的方式可以是透過通用序列匯流排（universal serial bus，USB）、RS232、通用非同步接收器/傳送器（universal asynchronous receiver /transmitter，UART）、內部整合電路（I2C）、序列周邊介面（serial peripheral interface，SPI）、顯示埠（display port）、雷電埠（thunderbolt）或區域網路（local area network，LAN）介面連接的方式。而對於無線方式而言，上述連接的方式可以是透過無線保真（wireless fidelity，Wi-Fi）模組、無線射頻識別（radio frequency identification，RFID）模組、藍芽模組、紅外線模組、近場通訊（near-field communication，NFC）模組或裝置對裝置（device-to-device，D2D）模組連接的方式。

第2圖是根據本發明實施例繪示影像校正方法的流程圖。第2圖所示實施例的方法適用於第1圖的影像校正裝置100，但不以此為限。為清楚說明，下述同時參照第1圖及第2圖，以影像校正裝置100中各元件之間的作動關係來說明第2圖所示影像校正方法的詳細步驟。

首先，於步驟S210中，處理器130可調整第一影像。換言之，處理器130可對從影像擷取電路110所擷取的第一影像進行調整，以產生調整後的第一影像。請注意，倘若第一影像不須經過調整即可被辨識出物件所在，則可省略步驟S210。

在一些實施例中，處理器130可依據預設解析度調整第一影像，其中預設解析度大於或小於第一影像的解析度。此外，此預設解析度可以預先儲存於記憶體120中或者是一個資料伺服器（未繪示）中。藉此，處理器130可從記憶體120或資料伺服器讀取此預設解析度。進一步而言，處理器130可先判斷第一影像的解析度是否與一個預設解析度相同。當處理器130判斷第一影像的解析度與預設解析度不同時，處理器130可將第一影像的影像分別沿垂直方向與水平方向等比例地調整（等比例地放大或縮小），以將第一影像的解析度調整為預設解析度。

舉例而言，第3圖是根據本發明實施例繪示影像調整的示意圖，當判斷第一影像Pic的解析度小於預設解析度時，可先將第一影像Pic沿垂直方向等比例地調整以產生影像Pic’，其中影像Pic’的垂直解析度與預設解析度的垂直解析度相同。再將影像Pic’沿水平方向等比例地調整以產生調整後的第一影像Pic1。值得注意的是，由於上述採用了等比例調整的方法，故影像Pic’與調整後的第一影像Pic1並不會有失真（distortion）的問題。

接著，於步驟S230中，處理器130可辨識調整後的第一影像中之至少一物件，以定義此物件的物件區塊影像。換言之，處理器130可從調整後的第一影像偵測並辨識出至少一物件，再從調整後的第一影像定義並產生前述之至少一物件對應的至少一物件區塊影像。請注意，倘若第一影像不須經過調整即可被辨識出物件所在，則可省略步驟S210，換言之，處理器130也可對第一影像直接進行物件辨識，並定義至少一物件區塊影像。

在一些實施例中，處理器130可依據第一樣本影像對調整後的第一影像中之至少一物件進行該物件辨識，以辨識至少一物件對應的至少一物件類型，其中第一樣本影像包括多個候選物件類型的影像，且多個候選物件類型的影像中的各者包括其各自對應的多個第一物件影像。值得注意的是，此物件辨識的方法可以是目前常用的用以辨識影像中的物件之各種機器學習演算法，並沒有針對物件辨識的方法有特別的限制。

舉例而言，處理器130可預先利用M個候選物件類型各自對應的複數個第一物件影像作為第一樣本影像，並利用第一樣本影像訓練出各自對應的二元（two-class classification）辨識模型（即，用以判斷物件是否存在），其中M可以是任意正整數，並沒有特別的限制。此外，處理器130也可預先利用M個候選物件類型各自對應的複數個第一物件影像作為第一樣本影像，並利用第一樣本影像訓練出一個分類（multiclass classification）辨識模型（即，用以判斷存在哪種物件）。藉此，當處理器130利用上述M個二元辨識模型或一個分類辨識模型從調整後的第一影像辨識出N個物件時，處理器130可辨識出N個物件對應的P個物件類型，其中P為不大於M、N的正整數。此外，上述二元辨識模型可以是基於類神經網路（neural network，NN）演算法或捲積神經網路（convolutional neural network，CNN）演算法等機器學習演算法產生的，而上述分類辨識模型可以是基於CNN演算法、K-鄰近（k-nearest neighbors，KNN）演算法、k-平均（K-mean）演算法、階層式集群分析(hierarchical cluster analysis)演算法以及期望最大化(expectation maximization，EM)演算法等機器學習演算法產生的。

進一步而言，第4圖是根據本發明實施例繪示產生物件區塊影像的示意圖。參照第4圖，可預先利用包含樹木之物件的複數影像，訓練出樹木對應的二元辨識模型，並利用包含人物之物件的複數影像，訓練出人物對應的二元辨識模型。藉此，可利用樹木對應的二元辨識模型判斷調整後的第一影像Pic1中是否存在樹木之物件，並可利用人物對應的二元辨識模型判斷調整後的第一影像Pic1中是否存在人物之物件。又或者是，可直接利用包含樹木之物件的影像與包含人物之物件的影像訓練出分類辨識模型，並利用此分類辨識模型判斷調整後的第一影像Pic1為包含樹木之物件的影像或包含人物之物件的影像。藉由上述的物件辨識方法，可判斷出調整後的第一影像Pic1中是否存在樹木物件T與人物物件M。

同時參照第1圖與第2圖，在進一步的實施例中，處理器130可從調整後的第一影像辨識出多個物件對應的位置資訊。藉此，處理器130可依據位置資訊從調整後的第一影像擷取出多個物件對應的多個物件區塊影像。值得注意的是，此位置辨識的方法可以是目前常用的用以辨識影像中的物件位置之各種機器學習演算法，並沒有針對位置辨識的方法有特別的限制。

在一些實施例中，處理器130可依據多個另一樣本影像從調整後的第一影像辨識出至少一物件對應的位置資訊，其中多個另一樣本影像包括多個物件類型的影像，多個物件類型的影像中的各者包括其各自對應的多個另一物件影像，且多個另一物件影像對應於多個候選物件位置。此外，各候選物件位置可以是影像中的任意位置（即，影像中的任意像素區塊）。藉此，處理器130可依據位置資訊從第一影像擷取出至少一物件對應的至少一物件區塊影像。

在進一步的實施例中，上述位置資訊可包括至少一物件對應的至少一位置座標資訊，其中各位置座標資訊可包括各物件對應的像素座標資訊（例如，各物件的定界框之左上角像素座標與右下角像素座標）。

舉例而言，接續上個例子，當處理器130從調整後的第一影像辨識出N個物件對應的P個物件類型時，處理器130可從記憶體120中讀取預先訓練好的與P個物件類型對應的P個位置辨識（object localization）模型，其中P個物件類型分別對應於P個位置辨識模型。進一步而言，處理器130可預先從外部的各種資料庫或記憶體120中的各種資料庫隨機地讀取T個樣本物件類型的Q個物件影像（即，已對物件進行標示的影像），其中這些樣本物件類型包括上述P個物件類型，且Q個物件影像對應於R個候選位置（即，影像中可存在物件的各種位置），其中T為大於P的正整數，且Q、R為任意正整數（Q、R的值越大，位置辨識模型的精確度越好）。換言之，處理器130可利用T個樣本物件類型對應的Q個影像訓練出T個樣本位置辨識模型，並從T個樣本位置辨識模型選擇與P個物件類型對應的P個位置辨識模型。藉此，處理器130可利用上述P個位置辨識模型從調整後的第一影像辨識出N個物件對應的定界框之左上角像素座標與右下角像素座標。如此一來，處理器130可利用N個定界框之左上角像素座標與右下角像素座標從調整後的第一影像擷取出N個物件對應的至少一物件區塊影像。

此外，上述各位置辨識模型可以是基於區域捲積神經網路（region convolutional neural network，R-CNN）演算法、快速區域捲積神經網路（fast region convolutional neural network，fast R-CNN）演算法以及更快的區域捲積神經網路（faster region convolutional neural network，faster R-CNN）演算法等機器學習演算法產生的。

進一步而言，參照第4圖，當從調整後的第一影像Pic1判斷出樹木物件T與人物物件M時，可利用包含樹木之物件的複數影像，訓練出樹木對應的位置辨識模型，其中這些樹木之物件位於這些影像中的任意候選物件位置。此外，可利用包含人物之物件的複數影像，訓練出人物對應的位置辨識模型，其中這些人物之物件位於這些影像中的任意候選物件位置。藉此，可利用樹木對應的位置辨識模型，從調整後的第一影像Pic1判斷出樹木物件T對應的定界框，並擷取樹木物件T的定界框之左上角像素座標與右下角像素座標。此外，可利用人物對應的位置辨識模型，從調整後的第一影像Pic1判斷出人物物件M對應的定界框，並擷取人物物件M的定界框之左上角像素座標與右下角像素座標。如此一來，可依據樹木物件T的定界框之左上角像素座標與右下角像素座標以及人物物件M的定界框之左上角像素座標與右下角像素座標，從調整後的第一影像Pic1擷取出物件區塊影像Pic2與物件區塊影像Pic3（即，擷取樹木物件T對應的多個像素與人物物件M對應的多個像素）。

同時參照第1圖與第2圖，在另一實施例中，處理器130也可直接依據上述多個另一樣本影像訓練出的物件與位置辨識模組，其中物件與位置辨識模組可用以辨識物件與辨識物件位置。在又一實施例中，處理器130可依據多個另一樣本影像，利用YOLO（you only look once）演算法等機器學習演算法產生物件與位置辨識模組。

接著，於步驟S250中，處理器130可利用方向計算模型計算物件區塊影像中之物件的物件方向。換言之，處理器130可訓練出方向計算模型以利用方向計算模型計算至少一物件區塊影像中的物件之物件方向。在一些實施例中，物件方向分別是二維座標平面上相對於基準軸向的偏轉角度，且此偏轉角度為0度至360度之間的任一角度（即，物件方向的數值是連續（continuous）的數值）。

進一步而言，現有的影像方向辨識方法往往無法精確地辨識方向，且只能辨識大概的數值，故無法精確地辨識出連續變化的方向之角度。為解決上述問題，本案可針對任何影像訓練出上述對應的方向計算模型，且此方向計算模型更可辨識出精確的連續性變化之角度，其中此角度可以是在二維座標平面上相對於基準軸向的偏轉角度（例如，與零度的基準軸向相對的偏轉角度），且此偏轉角度的數值為在0到360之間的連續變化之數值（例如，30.27）。在一實施例中，方向計算模型可以是利用任意具有迴歸（regression）特性的機器學習演算法產生的。

在一實施例中，第5A圖是根據本發明實施例繪示第2圖的影像校正方法之部分步驟的進一步流程圖。同時參照第1圖與第5A圖，步驟S250更可包括步驟S2501。於步驟S2501中，處理器130可依據方向計算模型當中的多個第二樣本影像辨識多個物件區塊對應的多個物件方向。換言之，處理器130可利用多個第二樣本影像訓練出方向計算模型，並利用此方向計算模型辨識多個物件區塊影像對應的多個物件方向。此外，上述多個第二樣本影像可包括多個物件類型的影像，多個物件類型的影像中的各者可包括其各自對應的多個第二物件影像，且多個第二物件影像對應於多個候選方向。

舉例而言，接續上個例子，當處理器130從調整後的第一影像辨識出N個物件對應的P個物件類型時，處理器130可利用各物件類型之S個候選方向對應的影像訓練出P個物件類型對應的一個方向計算模型，其中S為任意正整數（S的值越大，方向計算模型的精確度越好）。

詳細而言，處理器130可針對CNN設定S個候選方向對應的分類器（classifier），並去除末端的歸一化指數（softmax）層，以產生一個方向辨識網路。藉此，處理器130可利用各物件類型之S個候選方向對應的影像，以此方向辨識網路產生一個方向計算模型。如此一來，藉由這個方向計算模型，處理器130可產生S個數值（這S個數值分別對應於S個候選方向），並依據這S個數值以及S個候選方向對應的座標計算出二維座標平面上的一個座標，進而依據此座標判斷在二維座標平面上相對於基準軸向的偏轉角度，以將此偏轉角度作為上述方向計算模型的輸出值。因此，此輸出值的大小可以是0度至360度之間連續性變化的任一角度（即，並非單點式且不連續變化的數值）。處理器130可利用此方向計算模型更精準地辨識上述多個物件區塊影像對應的多個物件方向。

例如，若存在4個候選方向且這4個候選方向分別對應於二維座標平面上的0度、90度、180度以及270度，這4個候選方向對應的座標可分別為(0, 0)、(0, 1)、(-1, 0)以及(0, -1)。若所產生的4個數值分別為0、0、0.5、0.5，便可執行以下計算：0x(0, 0)＋0x(0, 1)+0.5x(-1, 0)+0.5x(0, -1)=(-0.5, -0.5)。藉此，可從二維座標平面判斷座標(-0.5, -0.5)對應於225度，並將225度作為上述方向計算模型的輸出值。

進一步而言，第6圖是根據本發明實施例繪示物件方向的示意圖。參照第6圖，可利用多個候選方向對應的多個樹木之物件的影像與多個候選方向對應的多個人物之物件的影像，透過上述的方向辨識網路產生一個用以辨識樹木與人物之物件方向的方向計算模型。

藉此，可利用上述方向計算模型，判斷物件區塊影像Pic2對應的物件方向D1以及物件區塊影像Pic3對應的物件方向D2，以將物件方向D1與物件方向D2分別作為物件區塊影像Pic2對應的物件方向資料與物件區塊影像Pic3對應的物件方向資料，其中這兩個物件方向資料為0度至360度之間的任一角度。

以下提出針對物件方向資料的例子，第7圖是根據本發明實施例繪示二維座標平面的示意圖。參照第7圖，可將-180度作為基準點（即，作為0），並將任意角度與-180度相減以產生一個差值，進而將此差值除以360度以產生物件方向的數值。藉此，可將此數值作為物件方向資料。如此一來，由第7圖來看，-180度對應的物件方向的數值為0、-90度對應的物件方向的數值為0.25、0度對應的物件方向的數值為0.5以及90度對應的物件方向的數值為0.75等。由此可知，上述物件方向的數值是連續性變化的數值（即，並非單點式且不連續變化的數值）。

最後，同時參照第1圖與第2圖，於步驟S270中，處理器130可依據與上述物件方向對應的偏轉角度產生第一影像的影像偏轉資訊，並利用影像偏轉資訊校正第一影像為第二影像。換言之，處理器130可利用物件區塊影像對應的物件方向判斷調整後的第一影像對應的影像偏轉資訊，藉以將調整後的第一影像進行校正以產生第二影像（即，具有正確影像方向的影像）。

以下以利用多個權重值產生影像偏轉資訊為例，同時參照第1圖與第5A圖，步驟S270可包括步驟S2701與步驟S2703。首先，於步驟S2701中，處理器130可依據多個物件區塊影像對應的多個物件方向以及多個權重值產生多個方向加權值。換言之，處理器130可預先對各物件類型設定對應的權重值，並依據各物件區塊影像對應的物件方向以及各物件區塊影像對應的權重值以產生多個方向加權值。值得注意的是，在調整後的第一影像中，移動之機率越低的物件類型將具有較高的權重值（例如，樹木之物件對應的權重值大於人物之物件對應的權重值）。

在一些實施例中，處理器130可將各物件區塊影像對應的物件方向的數值乘以各物件區塊影像對應的權重值以產生多個方向加權值。舉例而言，假設已辨識出一個第一物件類型的物件區塊影像以及一個第二物件類型的物件區塊影像，其中第一物件類型對應的權重值與第二物件類型對應的權重值分別為0.75與0.25，且第一物件類型的物件區塊影像對應的物件方向的數值以及第二物件類型的物件區塊影像對應的物件方向的數值分別為0.7與0.67。藉此，可將0.75乘以0.7以計算第一物件類型的物件區塊影像對應的方向加權值（即，0.525），並將0.25乘以0.67以計算第二物件類型的物件區塊影像對應的方向加權值（即，0.1675）。

在另一些實施例中，處理器130可依據多個物件區塊影像對應的物件方向的數值計算多個物件類型對應的物件方向平均值，並將多個物件類型對應的物件方向平均值分別乘以多個物件類型對應的權重值，以產生多個方向加權值。舉例而言，假設已辨識出三個第一物件類型的物件區塊影像以及兩個第二物件類型的物件區塊影像，其中第一物件類型對應的權重值與第二物件類型對應的權重值分別為0.75與0.25，且三個第一物件類型的物件區塊影像對應的物件方向的數值分別為0.7、0.69以及0.72，以及兩個第二物件類型的物件區塊影像對應的物件方向的數值分別為0.22以及0.25。藉此，可將0.7、0.69以及0.72相加並除以3，以計算第一物件類型的物件方向平均值（即，0.7033），並將第一物件類型的物件方向平均值乘以0.75，以計算第一物件類型的方向加權值（即，0.5275）。此外，更可將0.22以及0.25相加並除以2，以計算第二物件類型的物件方向平均值（即，0.235），並將第二物件類型的物件方向平均值乘以0.25，以計算第二物件類型的方向加權值（即，0.05875）。

最後，於步驟S2703中，處理器130可依據多個方向加權值計算加權後的影像偏轉資訊。詳細而言，處理器130可依據多個方向加權值計算一個方向加權總合值，並依據方向加權總合值與一個垂直方向（即，90度）產生加權後的影像偏轉資訊。藉此，處理器130可利用加權後的影像偏轉資訊校正調整後的第一影像。進一步而言，處理器130可多個方向加權值相加並除以上述多個權重值的總和，以計算一個方向加權總合值，進而依據方向加權總合值與垂直方向對應的數值產生加權後的影像偏轉資訊。舉例而言，參照第6圖，若將樹木之物件對應的權重值與人物之物件對應的權重值分別設定為0.75與0.25，且物件方向D1與物件方向D2的數值分別為0.7與0.67，可將0.75乘以0.7以計算樹木對應的方向加權值（即，0.525），並將0.25乘以0.67以計算人物對應的方向加權值（即，0.1675）。

藉此，可將樹木對應的方向加權值與人物對應的方向加權值相加並除以權重值的總和（即，樹木之物件對應的權重值以及人物之物件對應的權重值的總和），以產生方向加權總合值（即，0.6925），進而依據方向加權總合值與一個垂直方向對應的數值產生加權後的影像偏轉資訊（即，將0.75與0.6925相減，並乘以360，以計算出調整後的第一影像的偏轉角度為20.7度，進而將20.7度作為加權後的影像偏轉資訊）。

以下以利用多個優先次序產生影像偏轉資訊為例，第5B圖是根據本發明另一實施例繪示第2圖的影像校正方法之部分步驟的進一步流程圖，其中第5B圖與第5A圖的差異僅在於步驟S270中的步驟，故不針對其他雷同的步驟贅述。同時參照第1圖與第5B圖，步驟S270可包括步驟S2705與步驟S2707。

首先，於步驟S2705中，處理器130可搜尋多個物件區塊影像的多個優先次序當中的最高優先次序。詳細而言，處理器130可預先為多個物件類型設定優先次序，並依據各物件區塊影像的優先次序進行排序，進而選擇具有最高優先次序的物件區塊影像。值得注意的是，在調整後的第一影像中，移動之機率越低的物件類型將具有較高的優先次序（例如，樹木之物件對應的優先次序大於人物之物件對應的優先次序）。

最後，於步驟S2707中，處理器130可依據最高優先次序對應之物件區塊影像的物件方向計算影像偏轉資訊。詳細而言，若僅存在具有最高優先次序的一個物件區塊影像，處理器130可將此物件區塊影像的物件方向作為影像偏轉資訊。而若存在具有最高優先次序的多個物件區塊影像，處理器130可從這些物件區塊影像的物件方向計算出一個平均方向（例如，將多個物件區塊影像的物件方向之數值相加以取平均值，並將此平均值作為平均方向的數值），並依據此平均方向與一個垂直方向產生影像偏轉資訊。藉此，處理器130可利用此影像偏轉資訊對調整後的第一影像進行校正。

舉例而言，參照第6圖，若將樹木之物件對應的優先次序與人物之物件對應的優先次序分別設定為1與2，且物件方向D1與物件方向D2的數值分別為0.7與0.67，可將0.7與一個垂直方向相減以產生調整後的第一影像的影像偏轉資訊（即，將0.75與0.7相減，並乘以360，以計算出調整後的第一影像的偏轉角度為18度，進而將18度作為影像偏轉資訊）。

以下以同時考量利用多個權重值與多個優先次序產生影像偏轉資訊為例，第5C圖是根據本發明另一實施例繪示第2圖的影像校正方法之部分步驟的進一步流程圖，其中第5C圖中的步驟S2501、S2709~S2711皆與第5A圖中的所有步驟雷同，且第5C圖中的步驟S2501、S2713~S2715皆與第5B圖中的所有步驟雷同，故不在此對雷同的步驟贅述。同時參照第1圖與第5C圖，步驟S270可包括步驟S2717。

於步驟S2717中，處理器130可依據第一影像偏轉資訊以及第二影像偏轉資訊計算並決定第一影像對應的該影像偏轉資訊。詳細而言，處理器130可同時依據上述針對權重值產生的第一影像偏轉資訊以及針對優先次序產生的第二影像偏轉資訊，計算並決定調整後的第一影像對應的影像偏轉資訊；換句話說，同時採用兩種計算方式藉以選擇較佳的校正方式。

在一些實施例中，處理器130可預先設定一個差值閾值，並將第一影像偏轉資訊中的數值與第二影像偏轉資訊中的數值相減，進而判斷所產生之差值是否大於此差值閾值。若所產生之差值大於此差值閾值，處理器130可直接將第二影像偏轉資訊作為第一影像對應的影像偏轉資訊。反之，處理器130可直接將第一影像偏轉資訊作為第一影像對應的影像偏轉資訊。藉此，處理器130可利用第一影像對應的影像偏轉資訊對調整後的第一影像進行旋轉，以對調整後的第一影像進行校正。

在另一些實施例中，處理器130可預先設定一個偏轉閾值，並判斷第一影像偏轉資訊中的數值與第二影像偏轉資訊中的數值是否皆大於此偏轉閾值。若此兩個數值皆大於此偏轉閾值，處理器130可直接將第一影像偏轉資訊作為調整後的第一影像對應的影像偏轉資訊。反之，處理器130可直接將第二影像偏轉資訊作為第一影像對應的影像偏轉資訊。藉此，處理器130可利用調整後的第一影像對應的影像偏轉資訊對調整後的第一影像進行旋轉，以對調整後的第一影像進行校正。

在一些實施例中，處理器130可依據影像偏轉資訊，並利用旋轉矩陣（rotation matrix）以實現將調整後的第一影像進行旋轉。舉例而言，第8圖是根據本發明實施例繪示利用影像偏轉資訊進行影像旋轉的示意圖。參照第8圖，調整後的第一影像Pic1對應於一個影像方向D3，影像方向D3對應於一個影像偏轉資訊（即，包括影像方向D3與垂直方向之間的角度差）。基於此，可依據影像偏轉資訊，以利用旋轉矩陣將調整後的第一影像進行旋轉，進而產生旋轉影像Pic’，其中旋轉影像Pic’具有影像方向D3’，且影像方向D3’與垂直方向相同。

在進一步的實施例中，同時參照第1圖與第5C圖，在處理器130將調整後的第一影像進行旋轉後，處理器130可對所產生的旋轉影像擷取一個最大內切矩形的影像，以將此最大內切矩形的影像作為第二影像。在另一些實施例中，在處理器130將調整後的第一影像進行旋轉後，處理器130可從所產生的旋轉影像產生一個最小外切矩形的影像，以將此最小外切矩形的影像作為第二影像。

舉例而言，第9A至第9B圖是根據本發明實施例繪示矩形影像之調整的示意圖。參照第9A圖，可從旋轉影像Pic’中擷取一個最大內切矩形的影像Rect1，以將最大內切矩形的影像Rect1作為第二影像。此外，參照第9B圖，可由旋轉影像Pic’中產生一個最小外切矩形的影像Rect2，以將最小外切矩形的影像Rect2作為第二影像，其中最小外切矩形的影像Rect2中除了旋轉影像Pic’之外的像素皆補上數值為0或數值為1的像素，即黑或白。

第10圖是根據本發明另一實施例繪示影像校正方法的流程圖。同時參照第1圖與第10圖，首先，於步驟S1010中，處理器130可對第一影像中之多個物件進行物件辨識，以產生多個物件區塊影像。接著，於步驟S1030中，處理器130可利用方向計算模型針對多個物件區塊影像分別計算多個物件區塊影像對應的多個物件方向，多個物件方向每一者分別是第一影像其中一個物件在二維座標平面上相對於基準軸向的偏轉角度，多個物件方向的多個偏轉角度的大小為0度至360度之間的任一角度。最後，步驟S1050中，處理器130可依據多個物件區塊影像對應的多個物件方向判斷第一影像對應的影像偏轉資訊，並利用影像偏轉資訊校正第一影像以產生第二影像。本實施例的詳細流程已揭露如上，故不在此進一步贅述。

綜上所述，本發明提供的影像校正方法可利用一種影像方向辨識演算法對方向錯誤的影像進行校正。此外，更提出權重值與優先次序的計算方法判斷影像的偏轉角度。藉此，若拍攝到錯誤方向的影像或影像在傳送時發生影像方向錯誤，可提供在影像方向錯誤的情況下辨識並自動校正影像方向，達成節省硬體資源的使用，並增加影像方向辨識的精確度。

雖然本發明已以實施例揭露如上，然並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

110:影像擷取電路 120:記憶體 130:處理器 Pic:第一影像 Pic’:影像 Pic1:調整後的第一影像 Pic2、Pic3:物件區塊影像 T:樹木物件 M:人物物件 D1、D2:物件方向 D3、D3’:影像方向 Pic1’:旋轉影像 Rect1:最大內切矩形的影像 Rect2:最小外切矩形的影像 S210~S270、S2501、S2701~S2717、S1010~S1050:步驟

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。第1圖是根據本發明實施例繪示影像校正裝置的方塊圖。第2圖是根據本發明實施例繪示影像校正方法的流程圖。第3圖是根據本發明實施例繪示影像調整的示意圖。第4圖是根據本發明實施例繪示產生物件區塊影像的示意圖。第5A圖是根據本發明實施例繪示第2圖的影像校正方法之部分步驟的進一步流程圖。第5B圖是根據本發明另一實施例繪示第2圖的影像校正方法之部分步驟的進一步流程圖。第5C圖是根據本發明另一實施例繪示第2圖的影像校正方法之部分步驟的進一步流程圖。第6圖是根據本發明實施例繪示物件方向的示意圖。第7圖是根據本發明實施例繪示二維座標平面的示意圖。第8圖是根據本發明實施例繪示利用影像偏轉資訊進行影像旋轉的示意圖。第9A至第9B圖是根據本發明實施例繪示矩形影像之調整的示意圖。第10圖是根據本發明另一實施例繪示影像校正方法的流程圖。

S1010~S1050:步驟

Claims

一種影像校正方法，包括：藉由一處理器辨識一第一影像中之至少一物件，以定義該物件的一物件區塊影像；藉由該處理器依據一方向計算模型當中的一第二樣本影像辨識該物件區塊影像對應的一物件方向，其中該第二樣本影像包括一物件類型對應的多個第二物件影像，該物件類型對應於該物件，且該些第二物件影像分別對應於多個候選方向，其中該物件方向分別是一二維座標平面上相對於一基準軸向的一偏轉角度，且該偏轉角度為0度至360度之間的任一角度；以及藉由該處理器依據該偏轉角度產生該第一影像的一影像偏轉資訊，並利用該影像偏轉資訊校正該第一影像為一第二影像。
如請求項1所述之影像校正方法，其中藉由該處理器辨識該第一影像中之該物件，以定義該物件的該物件區塊影像的步驟包括：藉由該處理器依據一第一樣本影像，以辨識該物件對應的該物件類型，其中該第一樣本影像包括多個候選物件類型的多個第一物件影像。
如請求項2所述之影像校正方法，其中藉由該處理器辨識該第一影像中之該物件，以定義該物件的該物件區塊影像的步驟更包括：藉由該處理器依據一預設解析度調整該第一影像，其中該預設解析度大於或不大於該第一影像的解析度；藉由該處理器從該調整後的第一影像辨識出該物件對應的一位置資訊；以及藉由該處理器依據該位置資訊從該調整後的第一影像擷取出該物件對應的該物件區塊影像。
如請求項2所述之影像校正方法，其中該第一影像包含多個物件，該些物件分別被定義多個物件區塊影像，該些物件區塊影像藉由該處理器依據該方向計算模型分別被計算對應的多個物件方向，該些物件藉由該處理器依據該第一樣本影像被辨識出對應的多個物件類型。
如請求項4所述之影像校正方法，其中該些物件類型對應於多個權重值，藉由該處理器依據該些物件區塊影像對應的該些物件方向判斷該第一影像對應的該影像偏轉資訊的步驟包括：藉由該處理器依據該些物件區塊影像對應的該些物件方向以及該些權重值產生多個方向加權值；以及藉由該處理器依據該些方向加權值計算加權後的該影像偏轉資訊。
如請求項4所述之影像校正方法，其中該些物件類型對應於多個優先次序，且藉由該處理器依據該些物件區塊影像對應的該些物件方向判斷該第一影像對應的該影像偏轉資訊的步驟包括：藉由該處理器搜尋該些物件區塊影像的該些優先次序當中的一最高優先次序；以及藉由該處理器依據該最高優先次序對應之該物件區塊影像的該物件方向計算該影像偏轉資訊。
如請求項4所述之影像校正方法，其中該些物件類型對應於多個權重值並且對應於多個優先次序，且藉由該處理器依據該些物件區塊影像對應的該些物件方向判斷該第一影像對應的該影像偏轉資訊的步驟包括：藉由該處理器將該些物件區塊影像對應的該些物件方向乘以該些權重值以產生多個方向加權值；藉由該處理器依據該些方向加權值計算加權後的一第一影像偏轉資訊；藉由該處理器搜尋該些物件區塊影像的該些優先次序當中的一最高優先次序；藉由該處理器依據該最高優先次序對應之該物件區塊影像的該物件方向計算一第二影像偏轉資訊；以及藉由該處理器依據該第一影像偏轉資訊以及該第二影像偏轉資訊計算該第一影像對應的該影像偏轉資訊。
一種影像校正裝置，包括：一影像擷取電路，用以擷取一第一影像；一記憶體，用以儲存多個指令；以及一處理器，連接該影像擷取電路與該記憶體，並用以載入並執行該些指令：接收該第一影像，並對該第一影像中之至少一物件進行物件辨識，以產生至少一物件區塊影像；依據一方向計算模型當中的一第二樣本影像辨識該物件區塊影像對應的一物件方向，其中該第二樣本影像包括一物件類型對應的多個第二物件影像，該物件類型對應於該物件，且該些第二物件影像分別對應於多個候選方向，其中該物件方向分別是一二維座標平面上相對於一基準軸向的一偏轉角度，且該偏轉角度為0度至360度之間的任一角度；以及依據該偏轉角度產生該第一影像的一影像偏轉資訊，並利用該影像偏轉資訊校正該第一影像為一第二影像。
如請求項8所述之影像校正裝置，其中該第一影像包含多個物件，該些物件分別被定義多個物件區塊影像，該些物件區塊影像依據該方向計算模型分別被計算對應的多個物件方向，且該處理器更用以：依據多個第一樣本影像，以辨識該些物件對應的多個物件類型，其中該些第一樣本影像包括多個候選物件類型的影像。