TWI681342B - 物件位置判斷電路 - Google Patents

Abstract

本發明揭露一種物件位置判斷電路，其包含有一接收電路、一偵測電路以及一計算電路。在該物件位置判斷電路的操作中，該接收電路用以接收一影像訊號中第N個圖框以及第(N+M)個圖框，其中N為一正整數，M為大於1的正整數；該偵測電路用以偵測一物件在該第N個圖框以及該第(N+M)個圖框中的位置；以及該計算電路用以根據該物件在該第N個圖框以及該第(N+M)個圖框中的位置，以計算出該物件在該第(N+M+A)個圖框中的位置，其中A為一正整數。

Description

物件位置判斷電路

本發明係有關於影像處理，尤指一種判斷影像中特定物件位置的電路。

在目前的人臉辨識系統中，係使用深度學習或類神經網路(Neural Network)的方式來對影像進行分析處理以辨識出人臉在影像中位置。然而，由於深度學習的人工智慧模組需要較高運算量，因此在影像資料內容較大的情形下，可能會超出人工智慧模組的負擔，或是工程師需要設計具有更高能力的人工智慧模組，因而增加了設計與製造上的成本。

因此，本發明的目的之一在於提出一種物件位置判斷電路，其可以僅辨識物件在部分影像圖框中的位置，再透過物件在這些部分影像圖框中的位置來計算/預測出物件在其他圖框上的位置，以降低人工智慧模組的負擔。

在本發明的一個實施例中，揭露一種物件位置判斷電路，其包含有一接收電路、一偵測電路以及一計算電路。在該物件位置判斷電路的操作中，該接收電路用以接收一影像訊號中第N個圖框以及第(N+M)個圖框，其中N為一 正整數，M為大於1的正整數；該偵測電路用以偵測一物件在該第N個圖框以及該第(N+M)個圖框中的位置；以及該計算電路用以根據該物件在該第N個圖框以及該第(N+M)個圖框中的位置，以計算出該物件在該第(N+M+A)個圖框中的位置，其中A為一正整數。

在本發明的另一個實施例中，揭露了包含一物件位置判斷電路以及一影像處理電路的電路架構。該物件位置判斷電路包含有一接收電路、一偵測電路、一計算電路以及一輸出電路。在該物件位置判斷電路的操作中，該接收電路用以接收一影像訊號中第N個圖框以及第(N+M)個圖框，其中N為一正整數，M為大於1的正整數；該偵測電路用以偵測一物件在該第N個圖框以及該第(N+M)個圖框中的位置；該計算電路用以根據該物件在該第N個圖框以及該第(N+M)個圖框中的位置，以計算出該物件在該第(N+M+A)個圖框中的位置，其中A為一正整數；以及該輸出電路用以分別輸出該第N個圖框、該第(N+M)個圖框、以及該第(N+M+A)個圖框中的一區域以作為該物件的位置。在該影像處理電路的操作中，該影像處理電路係用以接收該影像訊號，並根據該第N個圖框、該第(N+M)個圖框、以及該第(N+M+A)個圖框中的該區域以對該影像訊號進行處理，以產生多個輸出影像至一顯示面板並顯示於其上。

110‧‧‧影像處理電路

120‧‧‧物件位置判斷電路

122‧‧‧接收電路

124‧‧‧偵測電路

126‧‧‧計算電路

128‧‧‧輸出電路

130‧‧‧顯示面板

Din‧‧‧影像訊號

F0~F14‧‧‧圖框

410、420、430、R_F4、R_F9、R_F10、R_F11‧‧‧區域

第1圖為根據本發明一實施例之電子裝置的示意圖。

第2圖為根據本發明一實施例之物件位置判斷電路之操作的時序圖。

第3圖為物件位置判斷電路偵測或計算不同圖框內的物件位置的示意圖。

第4圖為影像處理電路根據物件位置資訊來進行影像處理的示意圖。

第5圖為根據本發明一實施例之影像處理方法的流程圖。

第1圖為根據本發明一實施例之電子裝置的示意圖。如第1圖所示，電子裝置包含了一影像處理電路110、一物件位置判斷電路120以及一顯示面板130，其中物件位置判斷電路120包含了一接收電路122、一偵測電路124、一計算電路126以及一輸出電路128。在本實施例中，影像處理電路110以及物件位置判斷電路120可以被整合在一單晶片中，且電子裝置可以是任何包含顯示面板的電子裝置，例如桌上型電腦、筆記型電腦、或是行動裝置等等。

在電子裝置的操作中，影像處理電路110係用來接收一影像訊號Din並產生多個輸出影像(圖框)至顯示面板130並顯示於其上。同時地，物件位置判斷電路120根據影像訊號Din的內容來判斷一物件(例如，人臉)在影像訊號Din之多個圖框中的位置，並產生物件位置資訊(例如，物件在每一個圖框的區域座標)給影像處理電路110，以供影像處理電路110對影像訊號Din進行處理。然而，由於判斷影像中的物件位置是採用深度學習或類神經網路的方式來進行，其需要很高的運算量，因此物件位置判斷電路120的處理能力並無法對每一個圖框都進行物件位置的偵測判斷，因此在本實施例中物件位置判斷電路120僅根據部分的圖框來進行物件位置偵測，並使用外插的計算方式(例如，線性外插)來預測出物件在其他圖框中的位置，以在符合物件位置判斷電路120之處理能力的情形下，仍然可以提供足夠的物件位置資訊供影像處理電路110使用。

具體來說，請同時參考第1、2圖，其中第2圖為根據本發明一實施例之物件位置判斷電路120之操作的時序圖。如第2圖所示，本實施例係假設物件 位置判斷電路120每隔5個圖框才會進行一次物件位置偵測，亦即物件位置判斷電路120僅會對圖框F4、F9進行物件偵測，並再利用所偵測出之物件在圖框F4、F9的位置來計算/預測出物件在圖框F10、F11、F12、F13中的位置，並將物件在圖框F9~F13的位置依序透過輸出電路128傳送給影像處理電路110使用。參考第3圖，假設物件位置判斷電路120判斷出物件在圖框F4中的位置是區域R_F4(中心點座標為(x4,y4))、且物件在圖框F9中的位置是區域R_F9(中心點座標為(x9,y9))，則計算電路126所計算出之物件在圖框F10之區域R_F10的中心點的座標(x10,y10)可以計算如下：x10=x9+(dcx/5)，且y10=y9+(dcy/5)，其中dcx=x9-x4、dcy=y9-y4；物件在圖框F11之區域R_F11的中心點的座標(x11,y11)可以計算如下：x11=x9+2*(dcx/5)，且y11=y9+2*(dcy/5)；物件在圖框F12、F13之區域的中心點座標可以照上述外插的方式計算得到。

在一實施例中，考慮到物件在圖框F10~F13中的位置是透過計算所預測而來，而並非是透過偵測電路124使用深度學習或類神經網路的方式來得到，而可能會有些許的誤差。因此，計算電路126在計算時可以逐漸增加物件在圖框F10~F13中之區域的大小，例如計算電路126所設定之物件在圖框F10之區域R_F10會小於偵測電路124所偵測到之物件在圖框F9的區域R_F9，而計算電路126所設定之物件在圖框F11之區域R_F11會小於物件在圖框F10之區域R_F10...以此類推。舉例來說，假設區域R_F9的寬度及高度分別表示為為w9、h9，則區域R_F10的寬度w10及高度h10可以分別計算如下：w10=w9+(dcx/5)*p1、h10=h10+(dcy/5)*p1，其中p1可以是任意適合的比例參數；區域R_F11的寬度w11及高度h11可以分別計算如下：w11=w9+(dcx/5)*2*p1、h11=h11+(dcy/5)*2*p1；物件在圖框F12、F13之區域的寬度及高度可以照上述方式計算得到。

在一實施例中，偵測電路124在對圖框F4、F9進行物件偵測時會一併產生對應的可靠度參數，其中可靠度參數係用來表示偵測電路124所決定之物件的位置的信心程度。而由於物件在圖框F10~F13中的位置是透過計算所預測而來，故計算電路126在計算出物件在圖框F10~F13中的位置時會一併將每一個圖框所對應到的可靠度參數降低，亦即對應到圖框F10的可靠度參數會低於對應到圖框F9的可靠度參數、對應到圖框F11的可靠度參數會低於對應到圖框F10的可靠度參數、...以此類推，其中圖框F10~F13中每一者的可靠度參數係用來表示計算電路126所決定之物件的位置的信心程度。其中可靠度參數的降低比例可以由工程師根據實際狀況，例如影片內容的運動程度，來設定。

在另一實施例中，計算電路126也可以根據物件位於圖框F9~F13之區域內的色彩/亮度資訊來決定如何調整可靠度資訊，例如當圖框F10之區域R_F10內的色彩/亮度與圖框F10之區域R_F9的差異較小時，計算電路126可以微幅降低對應到圖框F10的可靠度參數；而當圖框F10之區域R_F10內的色彩/亮度與圖框F10之區域R_F9的差異較大時，計算電路126可以大幅降低對應到圖框F10的可靠度參數。舉例來說，假設區域R_F9中最多像素具有的亮度值為Y9、區域R_F10中最多像素具有的亮度值為Yt，則對應到圖框F10的可靠度參數可以調整如下：PV’=PV*(1-abs(Yt-Y9))，其中PV為圖框F10的原始可靠度參數(例如，上一段落提到之對應到圖框F10的可靠度參數)、abs( )為絕對值運算子、且PV’為調整後的可靠度參數。

需注意的是，上述對應到圖框F10~F13的可靠度參數並非必需由計算電路126所產生或調整，而也可以由影像處理電路110在接收到對應到圖框F9的可靠度參數所計算產生或調整。

回到第2圖，圖框F0~F14係依序由影像處理電路110進行處理後傳送至顯示面板130進行播放，因此物件位置判斷電路120可以在圖框F0由影像處理電路110進行處理時對圖框F4進行物件位置的偵測，並暫存物件在圖框F4中的位置資訊，且物件位置判斷電路120在圖框F4由影像處理電路110進行處理時對圖框F9進行物件位置的偵測，並暫存物件在圖框F9中的位置資訊；接著，計算電路126根據暫存在物件位置判斷電路120內的物件在圖框F4、F9中的位置資訊來計算預測出物件在圖框F10~F13中的位置資訊。接著，物件位置判斷電路120依序將物件在圖框F10~F13中的位置資訊傳送給影像處理電路110，以供影像處理電路110根據這些位置資訊來對影像處理電路110進行處理。

類似地，物件位置判斷電路120接著在偵測物件在圖框F14中的位置，並根據物件在圖框F9、F14中的位置來計算預測出物件在F15~F18中的位置，並依序將物件在圖框F14~F18中的位置資訊傳送給影像處理電路110，以供影像處理電路110根據這些位置資訊來對影像處理電路110進行處理。

在一實施例中，影像處理電路110可以根據來自物件位置判斷電路120的物件位置資訊，以在圖框上加上一圖樣以標註該物件。而在一實施例中，若是對應到圖框的可靠度參數低於一臨界值時，影像處理電路110則不會在圖框上加上該圖樣。以第4圖為例來作為說明，假設所偵測的物件是人臉，則物件位置判斷電路120傳送區域410的座標給影像處理電路110以作為物件的位置資訊，且影像處理電路110在圖框F9上加上一矩形框以標註物件的位置。接著，物件位置判斷電路120傳送區域420的座標給影像處理電路110以作物件的位置資訊，此時假設物件位置的可靠度參數高於臨界值，則影像處理電路110在圖框F10 上加上矩形框以標註物件的位置，需注意的是，由於圖框F10的物件位置是由計算電路126所計算預測的，故區域420會比區域410來的大(即使物件在圖框F9、F10的大小相同)。接著，物件位置判斷電路120傳送區域430的座標給影像處理電路110以作物件的位置資訊，此時假設物件位置的可靠度參數低於臨界值，則影像處理電路110不會在圖框F11上加上矩形框，需注意的是，由於圖框F10的物件位置是由計算電路126所計算預測的且位於圖框F10之後，故區域430會比區域420、410來的大。

在另一實施例中，影像處理電路110可以根據來自物件位置判斷電路120的物件位置資訊，以對圖框內的不同區域採用不同的影像處理方式。而在一實施例中，若是對應到圖框的可靠度參數低於一臨界值時，則影像處理電路110則不會對圖框內的不同區域採用不同的影像處理方式。具體來說，以第4圖為例，針對圖框F10，假設物件位置的可靠度參數高於臨界值，則影像處理電路120對區域420內的人臉部分採用第一種影像處理方式(例如，對比度、色彩調整...等等)，並對區域420以外的部分採用第二種影像處理方式。另外，針對圖框F11，假設物件位置的可靠度參數低於臨界值，則影像處理電路120對區域430內的部分以及區域430以外的部分都採用相同的種影像處理方式。

第5圖為根據本發明一實施例之影像處理方法的流程圖。參考以上所揭露的內容，影像處理方法的流程如下所述。

步驟500：流程開始。

步驟502：接收一影像訊號中第N個圖框以及第(N+M)個圖框，其中N為一正整數，M為大於1的正整數。

步驟504：偵測一物件在該第N個圖框以及該第(N+M)個圖框中的位 置。

步驟506：根據該物件在該第N個圖框以及該第(N+M)個圖框中的位置，以計算出該物件在該第(N+M+A)個圖框中的位置，其中A為一正整數。

步驟508：分別輸出該第N個圖框、該第(N+M)個圖框、以及該第(N+M+A)個圖框中的一區域以作為該物件的位置。

步驟510：根據該第N個圖框、該第(N+M)個圖框、以及該第(N+M+A)個圖框中的該區域以對該影像訊號進行處理，以產生多個輸出影像至一顯示面板並顯示於其上。

簡要歸納本發明，在本發明的電路及影像處理方法中，可以僅辨識物件在部分影像圖框中的位置，再透過物件在這些部分影像圖框中的位置來計算/預測出物件在其他圖框上的位置，因此可以降低電路在影像辨識上的負擔。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

110‧‧‧影像處理電路

120‧‧‧物件位置判斷電路

122‧‧‧接收電路

124‧‧‧偵測電路

126‧‧‧計算電路

128‧‧‧輸出電路

130‧‧‧顯示面板

Din‧‧‧影像訊號

Claims (10)

1. 一種物件位置判斷電路，包含有：一接收電路，用以接收一影像訊號中第N個圖框以及第(N+M)個圖框，其中N為一正整數，M為大於1的正整數；一偵測電路，耦接於該接收電路，用以偵測一物件在該第N個圖框以及該第(N+M)個圖框中的位置；以及一計算電路，耦接於該偵測電路，用以根據該物件在該第N個圖框以及該第(N+M)個圖框中的位置，以估計出該物件在該第(N+M+A)個圖框中的位置，其中A為一正整數。
2. 如申請專利範圍第1項所述之物件位置判斷電路，其中該計算電路在不偵測該物件在該第(N+M+A)個圖框的位置的情形下，計算出該物件在該第(N+M+A)個圖框中之位置。
3. 如申請專利範圍第1項所述之物件位置判斷電路，其中該計算電路使用一外插的方式，並根據該物件在該第N個圖框以及該第(N+M)個圖框中的位置，以計算出該物件在該第(N+M+A)個圖框中的位置。
4. 如申請專利範圍第1項所述之物件位置判斷電路，另包含有：一輸出電路，用以分別輸出該第N個圖框、該第(N+M)個圖框、以及該第(N+M+A)個圖框中的一區域以作為該物件的位置，其中該第(N+M+A)個圖框中之該區域的大於該第(N+M)個圖框中之該區域。
5. 如申請專利範圍第1項所述之物件位置判斷電路，其中該偵測電路在 偵測該物件在該第N個圖框以及該第(N+M)個圖框之任一者的位置時一併產生一可靠度參數；以及該計算電路另根據該第(N+M)個圖框之該可靠度參數以產生該第(N+M+A)個圖框的一可靠度參數，其中該第(N+M)個圖框的該可靠度參數係用來表示該偵測電路所決定之該物件的位置的信心程度，且該第(N+M+A)個圖框的該可靠度參數係用來表示該計算電路所決定之該物件的位置的信心程度。
6. 如申請專利範圍第5項所述之物件位置判斷電路，其中該第(N+M+A)個圖框的該可靠度參數低於該第(N+M)個圖框之該可靠度參數。
7. 一種應用在包含一顯示面板之電子裝置中的電路，包含有：一物件位置判斷電路，包含有：一接收電路，用以接收一影像訊號中第N個圖框以及第(N+M)個圖框，其中N為一正整數，M為大於1的正整數；一偵測電路，耦接於該接收電路，用以偵測一物件在該第N個圖框以及該第(N+M)個圖框中的位置；一計算電路，耦接於該偵測電路，用以根據該物件在該第N個圖框以及該第(N+M)個圖框中的位置，以計算出該物件在該第(N+M+A)個圖框中的位置，其中A為一正整數；以及一輸出電路，用以分別輸出該第N個圖框、該第(N+M)個圖框、以及該第(N+M+A)個圖框中的一區域以作為該物件的位置；以及一影像處理電路，耦接於該物件位置判斷電路，用以接收該影像訊號，並根據該第N個圖框、該第(N+M)個圖框、以及該第(N+M+A)個圖框中的該區域以對該影像訊號進行處理，以產生多個輸出影像至該顯示面板 並顯示於其上。
8. 如申請專利範圍第7項所述之電路，其中該偵測電路在偵測該物件在該第N個圖框以及該第(N+M)個圖框之任一者的位置時一併產生一可靠度參數；以及該影像處理電路自該物件位置判斷電路接收該第(N+M)個圖框之該可靠度參數，並根據該第(N+M)個圖框之該可靠度參數、該第(N+M)個圖框之該區域的色彩/亮度資訊、以及該第(N+M+A)個圖框之該區域的色彩/亮度資訊，以產生該第(N+M+A)個圖框的一可靠度參數。
9. 如申請專利範圍第8項所述之電路，其中當該第(N+M+A)個圖框的該可靠度參數高於一臨界值時，該影像處理電路根據該第(N+M+A)個圖框中的該區域以在該第(N+M+A)個圖框上加上一圖樣以標註該物件，以產生該輸出影像至該顯示面板並顯示於其上；以及當該第(N+M+A)個圖框的該可靠度參數不高於該臨界值時，該影像處理電路不會在該第(N+M+A)個圖框上加上該圖樣以標註該物件。
10. 如申請專利範圍第8項所述之電路，其中當該第(N+M+A)個圖框的該可靠度參數高於一臨界值時，該影像處理電路對該第(N+M+A)個圖框中的該區域進行不同於其他區域的影像處理方式，以產生該輸出影像至該顯示面板並顯示於其上；以及當該第(N+M+A)個圖框的該可靠度參數不高於該臨界值時，該影像處理電路不會對該第(N+M+A)個圖框中的該區域進行不同於其他區域的影像處理方式。

Images