TWI446793B - 偵測混合模式影片的裝置與方法 - Google Patents

Description

偵測混合模式影片的裝置與方法

本發明是有關於一種從播放影像還原到拍攝影像的技術，且特別是可以處理影像中附加有一移動方塊的顯示模式。

由於拍攝的影片速率一般會與播送標準不同。影片拍攝速率例如是24 Hz。一般的播送標準例如是NTSC為60 Hz而PAL&SECAM為50 Hz。因此，為了要使拍攝的影片能播放於NTSC或PAL&SECAM等標準，拍攝的影片會被拉到(pull down)所要的播送標準。

例如要從24 Hz改變成PAL標準的50 Hz時，一張拍攝的影像會拆解(pull down)成二張，包括偶影像與奇影像。如一般所知，偶影像是從拍攝的影像中取出屬於偶數掃描線的影像所構成，奇影像是從拍攝的影像中取出屬於奇數掃描線的影像所構成。如此可以將24 Hz改變成約50 Hz的播放速率。換句話說，拍攝的原始影像會依照播放標準所要求的速率，依照所選定的視訊態樣拆解，以奇/偶交錯(interlace)的方式進行播放。

反之，如果要將播放的場景影像(field image)還原原始拍攝的影像，則其需要偵測出其視訊態樣，而根據視訊態樣還原原始拍攝的影像。

圖1繪示如何將較慢速率拍攝的影像轉換成較高速率的播放標準示意圖。參閱圖1，對於以24 Hz拍攝的影像，為了能達到接近50Hz的播放速率，一張原影像100會拆解成奇影像102與偶影像104。奇影像102是取原影像100中屬於奇數掃描線的影像，而偶影像104是取原影像100中屬於偶數掃描線的影像。如此，24 Hz的影片可以轉換成接近50Hz的播放標準。在播放時，再將拆解的影像編織(weave)成播放的影像，就可以例如播放電視上。前面的拆解方式即是所謂的2:2方式。當然，現有的拆解方式不限於2:2的方式，其也可以是2:3方式或其他方式。以2:3方式為例，其即是一張原影像100拆解成奇與偶的二張，緊接的後一張原影像100拆解成奇/偶/奇的三張影像。

就一個電視顯示而言，當顯示區域正在播放主要的播放內容時，會在螢幕底部又疊置一移動圖形，例如移動的文字資訊。圖2繪示傳統的混合模式顯示的顯示方式。參閱圖2，在一個顯示螢幕120中會顯示主要播放的動態影像。但是如果有其他附加的動態影像，例如是移動的文字資訊疊置於螢幕120上，將原始影像屬於此區域的資料覆蓋，例如就會構成有原始影像122與移動字幕124同時顯示。

原始影像122與移動字幕124一般是不同的來源，很可能是不同的影片播放模式。因此，要從播放的影像還原到原始的影片需要對移動的移動字幕124做偵測與處理才可以得到較正確的原始影像資料。

在現有的傳統技術中，例如美國專利申請公開案第2005/0249282號文件揭示將整個畫面區分成多個區塊(block)，而分別對每一個區塊進行影片模式偵測(film mode detection)。如果有混合模式(mix mode)存在的區塊就採用習知的鮑伯(Bob)方式處理。這種方式是以區塊為單元的影片模式偵測(block-based film mode detection)，其需要較多的儲存空間，個別存放移動值(motion value)，而且混合模式的偵測結果是以區塊為單位。

另外，美國專利申請公開案第2009/0256958號文件揭示可以將移動狀態結合影片偵測結果，得到方形混合模式區域(mix mode range)的範圍。然而，混合模式範圍也不是以像素為單元，而且混合模式沒有幫助影片的偵測。當混合模式區域過大，可能造成影片偵測的失敗。

因此，要處理影混合模式的影片的還原方法仍繼續在發展中。

本發明提供一種偵測混合模式影片的裝置與方法，可以有效偵測混合模式的區域，且可以減少混合模式區域對影片模式偵測的影響。

本發明的一實施例提出一種偵測混合模式影片的裝置，包括一場景移動偵測單元、一移動區塊偵測單元、一擴張區塊單元、一延遲單元、一交集處理單元、一場景逆轉單元及一解交織單元。場景移動偵測單元接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值。移動區塊偵測單元將影像劃分為多個不重疊區塊，接收該當前場景影像或是回饋的一先前場景影像的該影像移動值，以偵測出每一個區塊的移動狀態，且標示為一移動區塊。擴張區塊單元將該移動區塊擴張成一擴張移動區塊。延遲單元將接收的該當前場景影像延遲一預定時間後輸出给該擴張區塊單元，成為相對於下一個該當前場景影像的一先前場景影像。交集處理單元以至少一個像素為一交集區域，將具有該移動區塊的該當前場景影像與具有該擴張移動區塊的該先前場景影像做一交集處理，得到一確認移動區塊，並且根據該影像移動值對該交集區域給予一移動強度值。場景逆轉單元根據該移動強度值以及連續輸入的該當前場景影像，將該確認移動區塊排除後，以決定一場景逆轉模式。解交織單元依據該場景逆轉模式將連續輸入的該當前場景影像還原成一影片影像，其中更根據該移動強度值以權重該場景逆轉模式對該確認移動區塊的影像內容做還原。

本發明的一實施例提出一種偵測混合模式影片的方法，實施於一影片還原裝置中的多個功能單元中。此方法包括接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值。接著，決定是否要重置影像偵測資料，其中如果要重置影像偵測資料就直接將該影像移動值輸出當作一移動強度值，如果不要重置影像偵測資料就繼續以下步驟。檢查可能的一移動區塊，其是根據該當前場景影像的該影像移動值與回饋的一先前場景影像的該影像移動值做交集判斷，且估計得到該移動強度值而輸出。根據該當前場景影像，標示該移動區塊。將該移動區塊擴張成一擴張移動區塊，且將該當前場景影像回饋給所述檢查可能的該移動區塊的該步驟，當作該先前場景影像。根據該移動強度值對連續輸入的該當前場景影像中決定為可能的該移動區塊排除後，以決定一場景逆轉模式。依據該場景逆轉模式將連續輸入的該當前場景影像還原成一影片影像，其中更根據該移動強度值以一種權重場景逆轉模式做還原。

本發明的一實施例提出一種偵測混合模式影片的方法，實施於一影片還原裝置中的多個功能單元中。此方法包括接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值。接著，接收該當前場景影像或是回饋的一先前場景影像的該影像移動值，以偵測出至少一個移動區塊，且標示該移動區塊。將該移動區塊擴張成一擴張移動區塊。先將該當前場景影像延遲一預定時間成為相對於該當前場景影像的一先前場景影像。進行一交集處理，以至少一個像素為一交集區域，將具有該移動區塊的該當前場景影像與具有該擴張移動區塊的該先前場景影像做交集運算，得到一確認移動區塊，並且根據該影像移動值對該交集區域給予一移動強度值。根據該移動強度值對連續輸入的該當前場景影像中決定為該確認移動區塊排除後，以決定一場景逆轉模式。進行解交織處理，依據該場景逆轉模式將連續輸入的該當前場景影像還原成一影片影像，其中更根據該移動強度值以一種權重場景逆轉模式對該確認移動區塊的影像內容做還原。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明考慮能有效偵測出動態影像的移動區塊外，可以同時較準確偵測出影片播放模式外，對於移動區塊的部份的影像還原也可以較為準確。

以下舉一些實施例來說明本發明，但是本發明不僅限於所舉的實施例。所舉的實施例之間也可以有適當結合。圖3繪示依據本發明一實施例，偵測混合模式影片的裝置的功能方塊示意圖。圖4繪示依據本發明一實施例，經過圖3的偵測混合模式影片的裝置處理後，所的得到的還原影像示意圖。先參閱圖3，偵測混合模式影片的裝置包括一場景移動偵測單元200、一移動區塊偵測單元202、一延遲單元204、一擴張區塊單元206、一交集處理單元(AND)208、一場景逆轉單元(IVTC)210及一解交織單元(DEI)212。又，此系統操作也配合有相似於開關的重置(reload)單元，以重新開始新的影像資料的偵測。

場景移動偵測單元200，接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值。當前場景影像以field t表示，而相鄰場景影像其例如是先前場景影像以field t-1表示及後續場景影像以field t+1表示。要選擇先前場景影像或是後續場景影像，又或是同時選擇二者來編織的方式是由IVTC的機制來決定。

一般而言，當依照逆轉(inverse telecine，IVTC)機制編織了正確的兩個場景影像時，存在的場景移動(field motion)，一般就只有是由於混合模式所造成的。根據IVTC選擇的編織方向，對2張場景進行場景移動偵測，且例如以像素等級(pixel level)的方式算出一影像移動值(field motion value)。要得到影像移動值一般是根據檢查梳狀(combing)程度來決定。這是由於當有移動區塊在時，由於奇影像與偶影像的拆解後，其屬於移動區塊的影像會有移位，參見圖4(a)，對於垂直的一條影像的像素，會有亮暗交替的現象，即是一般所知的梳狀現象。藉由梳狀現象可以偵測出移動區塊。

上述的作用由移動區塊偵測單元202執行，其接收當前場景影像或是回饋的一先前場景影像的影像移動值，以偵測出至少一個移動區塊，且標示該移動區塊，參見圖4(b)。

擴張區塊單元206是將偵測出來的移動區塊擴張成一擴張移動區塊。

延遲單元204將接收的當前場景影像延遲一預定時間後輸出给該擴張區塊單元，成為相對於下一個該當前場景影像的一先前場景影像。於此，延遲單元204主要是要將擴張的移動區塊延遲以用來在下一個時間點的當前場景影像中尚未被擴張的移動區塊作交集比較，因此，延遲單元204與擴張區塊單元206的順序可以互換。也就是說可以先延遲移後再擴張，或是先擴張後再延遲皆可。

交集處理單元(AND)208以至少一個像素為一交集區域，將具有該移動區塊的該當前場景影像與具有該擴張移動區塊的該先前場景影像做一交集處理，得到一確認移動區塊，並且根據該影像移動值對該交集區域給予一移動強度值。

場景逆轉單元210根據該移動強度值將該確認移動區塊排除後，以決定一場景逆轉模式。解交織單元212依據該場景逆轉模式將連續輸入的該當前場景影像還原成一影片影像，其中更根據該移動強度值以一種權重場景逆轉模式對該確認移動區塊的影像內容做還原。

進一步描述偵測移動方塊的機制，如果將影像劃分成多個區塊來檢測，如果區塊內存在一定數量的像素是屬於移動像素，則記錄其影像移動值給該區塊，即是圖4(b)所標示的移動區塊252、254。區塊的大小為M x N，M,N可以是大於0的正整數，數值愈大，緩衝儲存元件所需的空間愈少，但是混合模式的判斷會比較不精確。

如果場景移動是來自於混合模式，則在前一次相對位置的附近，一定存在原先混合模式的影像移動值。於此，其假設混合模式不會大幅移動。利用這個特性，可以排除不可能的場景移動，而留下比較可能是屬於混合模式的場景移動。如圖3中，由移動區塊偵測單元202的輸出，經過延遲單元204的一次延遲，其例如是一次的垂直同步延遲，成為相對於下一次當前場景的前一張場景。此前一張被標示的移動區塊，會被擴張區塊單元206擴張。如圖4(c)所示，移動區塊252、254被擴張成擴張移動區塊252’、254’。於此，擴張移動區塊252’、254’例如可以由移動區塊252、254的邊緣的像素的移動值，往外擴張一預定的像素。而被擴張的像素的移動值可以設定為周圍例如3x3的一個範圍內中的最大值。

然後交集處理單元(AND) 208再與此次的場景移動進行交集，意思就是「前一次相對位置的附近是否存在場移動值」。最後以像素為單元，將經過交集的結果當成混合值，也就是移動強度值，用於後續影片還原的使用。於此，交集處理單元(AND)208的輸入中的擴張區塊雖然是以區塊為單元，但是場景移動偵測是以像素為單元，所以最後的混合值也是以像素為單元。又如果需要，其也可以變化成小數量的像素為處理單元。

如果當前處理的場景影像(field t)的前一張場景影像(field t-1)與後一張場景影像(field t+1)是來自於相同的影像拆解而來，則可以確定場景移動必來自混合模式。於此，將重置單元(reload)啟動，使其混合值直接等於移動強度值，即是右邊的輸出是切換選擇成下方的路徑，同時左邊的重置單元也切換選擇成下方的路徑。因此，區塊位置的檢查也可以中斷，以避免錯誤的偵測也不斷地一起被繼承下去。再重置時，其他幾個單元202、204、206、208仍會繼續操作，得到擴張區塊，以供下一次交集單元208的處理。經過重置後，就可以切換到上面的正常操作路徑。

如果當前處理的場景影像(field t)的前一張場景影像(field t-1)與後一張場景影像(field t+1)總是不來自於相同的影片影像，其例如是2:2拆解的播放格式，其也會每隔幾次而重置一次，並不完全取決於前一張場景影像(field t-1)與後一張場景影像(field t+1)的由來。

場景逆轉單元(IVTC) 210也接收前後的三個場景影像，以及接收由混合模式偵測單元180所輸出的混合值，其有可稱為鮑伯(Bob)模式權重值，而輸出編織策略(weave strategy)以決定解交織單元(DEI) 212的操作策略是鮑伯(Bob)模式或是編織(weave)模式的還原處理方式。混合值，即是移動強度值，決定解交織單元(DEI) 212在編織時偏向Bob模式的程度。也就是說，其利用權重的機制，來估計原始影片加上混合模式的資訊。

另外，場景逆轉單元(IVTC) 210在進行影片偵測的時候，可以藉由混合值以排除屬於混合模式的像素，如此影片的拆解方式的偵測更精確。如前述，場景逆轉單元(IVTC)210決定解交織單元(DEI) 212的編織策略後，混合值也決定解交織單元(DEI) 212在編織時偏向Bob的程度。如果混合值更強，則就代表其不需要參考其他的場景影像編織，而直接取自相同影像來還原。也就是說，解交織單元212除了接收前後的三個場景影像外也接收場景逆轉單元(IVTC) 210的編織策略以及由混合模式偵測單180所輸出的鮑伯(Bob)模式權重值，最後進行解交織的處理。

如圖4(d)所示，在混合模式的區域就可以得到較為正確的移動影像資料。

配合上述圖3的操作，其可以以一操作流程來描述。圖5繪示依據本發明一實施例，偵測混合模式影片的方法的操作方塊是意圖。參閱圖5，於步驟S100開始操作流程。

於步驟S102，其一照IVTC的判斷結果編織，以偵測出拆解模式。

於步驟S104，根據IVTC的選擇，接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值。

於步驟S106，其決定是否要重置影像偵測資料，如果要重置的話就跳過步驟S106而直接到步驟S114，輸出混合值。如果不要重置的話就進入步驟S108。

於步驟S108，檢查可能的一移動區塊，是根據當前場景影像的該影像移動值與回饋的一先前場景影像的該影像移動值做交集判斷，且估計得到的混合值當作移動強度值，在步驟S114輸出。

於步驟S110，其根據該當前場景影像，標示該移動區塊。

於步驟S112，其將該移動區塊擴張成一擴張移動區塊，且將該當前場景影像回饋給所述檢查可能的移動區塊的步驟S108，當作先前場景影像。

在確定混合值與移動區塊後，藉由圖3的IVTC單元210根據混合值將可能的移動區塊排除後，以決定一場景逆轉模式。

又解交織單元(DEI) 212依據場景逆轉模式將連續輸入的當前場景影像還原成一影片影像，其中更根據混合值以一種權重場景逆轉模式做還原。權重的選擇是在編織模式下，加強傾向鮑伯(Bob)模式的程度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．原影像

102．．．奇影像

104．．．偶影像

120．．．顯示螢幕

122．．．原始影像

124．．．移動字幕

180．．．混合模式偵測單元

200．．．場景移動偵測單元

202．．．移動區塊偵測單元

204．．．延遲單元

206．．．擴張區塊單元

208．．．交集處理單元(AND)

210．．．場景逆轉單元(IVTC)

212．．．解交織單元(DEI)

S100-S114．．．步驟

圖1繪示如何將較慢速率拍攝的影像轉換成較高速率的播放標準示意圖。

圖2繪示傳統的混合模式顯示的顯示方式。

圖3繪示依據本發明一實施例，偵測混合模式影片的裝置的功能方塊示意圖。

圖4繪示依據本發明一實施例，經過圖3的偵測混合模式影片的裝置處理後，所的得到的還原影像示意圖。

圖5繪示依據本發明一實施例，偵測混合模式影片的方法的操作方塊是意圖。

200．．．場景移動偵測單元

202．．．移動區塊偵測單元

204．．．延遲單元

206．．．擴張區塊單元

208．．．交集處理單元(AND)

210．．．場景逆轉單元(IVTC)

212．．．解交織單元(DEI)

Claims (10)

1. 一種偵測混合模式影片的裝置，包括：一場景移動偵測單元，接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值；一移動區塊偵測單元，將影像劃分為不重疊的多個區塊，接收該當前場景影像或是回饋的一先前場景影像的該影像移動值，以偵測出每一個區塊的移動狀態，且標示為一移動區塊；一擴張區塊單元，將該移動區塊擴張成一擴張移動區塊；一延遲單元，將接收的該當前場景影像延遲一預定時間後輸出给該擴張區塊單元，成為相對於下一個該當前場景影像的一先前場景影像；一交集處理單元，以至少一個像素為一交集區域，將具有該移動區塊的該當前場景影像與具有該擴張移動區塊的該先前場景影像做一交集處理，得到一確認移動區塊，並且根據該影像移動值對該交集區域給予一移動強度值；一場景逆轉單元，根據該移動強度值以及連續輸入的該當前場景影像，將該確認移動區塊排除後，以決定一場景逆轉模式；一解交織單元，依據該場景逆轉模式將連續輸入的該當前場景影像還原成一影片影像，其中更根據該移動強度值以一種權重場景逆轉模式對該確認移動區塊的影像內容做還原；以及 一重置切換單元，在一設定條件下切換到一重新啟動路徑，之後又切換回到一循環操作路徑，執行上述該些單元。
2. 如申請專利範圍第1項所述之偵測混合模式影片的裝置，其中該重置切換單元是對該移動區塊偵測單元的一輸入切換於直接接收該場景移動偵測單元所輸出的該當前場景影像的該影像移動值或是接收回饋的該先前場景影像的該影像移動值，以及對應切換於直接將該當前場景影像的該影像移動值當作該移動強度值或是將該交集處理單元的輸出當作該移動強度值，以輸出給該場景逆轉單元與該解交織單元。
3. 如申請專利範圍第1項所述之偵測混合模式影片的裝置，其中該擴張區塊單元是對該擴張移動區塊中的一擴張區域的多個像素的該移動程度值與鄰近像素中的最大該移動強度值相同。
4. 如申請專利範圍第1項所述之偵測混合模式影片的裝置，其中該延遲單元是做一垂直同步延遲。
5. 如申請專利範圍第1項所述之偵測混合模式影片的裝置，其中該交集區域是一個像素單元，以對每一個該像素做該交集處理，給予該移動強度值。
6. 如申請專利範圍第1項所述之偵測混合模式影片的裝置，其中該權重場景逆轉模式是當該解交織單元參考相鄰前後二場景影像對該當前場景影像做解交織時是根據該移動強度值做影像權重插值處理。
7. 如申請專利範圍第1項所述之偵測混合模式影片的裝置，其中所決定的該場景逆轉模式是Bob逆轉模式或是交織逆轉模式。
8. 一種偵測混合模式影片的方法，實施於一影片還原裝置中的多個功能單元中，包括：接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值；決定是否要重置影像偵測資料，其中如果要重置影像偵測資料就直接將該影像移動值輸出當作一移動強度值，如果不要重置影像偵測資料就繼續以下步驟；檢查可能的一移動區塊，是根據該當前場景影像的該影像移動值與回饋的一先前場景影像的該影像移動值做交集判斷，且估計得到該移動強度值而輸出；根據該當前場景影像，標示該移動區塊；將該移動區塊擴張成一擴張移動區塊，且將該當前場景影像回饋給所述檢查可能的該移動區塊的該步驟，當作該先前場景影像；根據該移動強度值對連續輸入的該當前場景影像中決定為可能的該移動區塊排除後，以決定一場景逆轉模式；依據該場景逆轉模式將連續輸入的該當前場景影像還原成一影片影像，其中更根據該移動強度值以一種權重場景逆轉模式做還原；以及一重置步驟，在一設定條件下切換到一重新啟動路徑，之後又切換回到一循環操作路徑，執行上述每一個步 驟。
9. 如申請專利範圍第8項所述之偵測混合模式影片的方法，其中如果要重置影像偵測資料時也包括執行：檢查可能的一移動區塊，是根據該當前場景影像的該影像移動值與回饋的一先前場景影像的該影像移動值做交集判斷；根據該當前場景影像，標示該移動區塊；延遲該當前場景影像；將被延遲的該移動區塊擴張成一擴張移動區塊；檢查可能的一移動區塊，是根據該當前場景影像與該擴張移動區塊做交集判斷。
10. 一種偵測混合模式影片的方法，實施於一影片還原裝置中的多個功能單元中，包括：接收一當前場景影像以及至少一個相鄰場景影像，以偵測出每一個像素的一影像移動值；接收該當前場景影像或是回饋的一先前場景影像的該影像移動值，以偵測出至少一個移動區塊，且標示該移動區塊；將該移動區塊擴張成一擴張移動區塊；先將該當前場景影像延遲一預定時間成為相對於該當前場景影像的一先前場景影像；進行一交集處理，以至少一個像素為一交集區域，將具有該移動區塊的該當前場景影像與具有該擴張移動區塊的該先前場景影像做交集運算，得到一確認移動區塊，並 且根據該影像移動值對該交集區域給予一移動強度值；根據該移動強度值對連續輸入的該當前場景影像中決定為該確認移動區塊排除後，以決定一場景逆轉模式；進行解交織處理，依據該場景逆轉模式將連續輸入的該當前場景影像還原成一影片影像，其中更根據該移動強度值以一種權重場景逆轉模式對該確認移動區塊的影像內容做還原；以及一重置步驟，在一設定條件下切換到一重新啟動路徑，之後又切換回到一循環操作路徑，執行上述每一個步驟。