TWI771991B - 視訊影像插補裝置及適應性移動補償畫面插補方法 - Google Patents

視訊影像插補裝置及適應性移動補償畫面插補方法 Download PDF

Info

Publication number
TWI771991B
TWI771991B TW110114243A TW110114243A TWI771991B TW I771991 B TWI771991 B TW I771991B TW 110114243 A TW110114243 A TW 110114243A TW 110114243 A TW110114243 A TW 110114243A TW I771991 B TWI771991 B TW I771991B
Authority
TW
Taiwan
Prior art keywords
image
layer
subtitle
motion
images
Prior art date
Application number
TW110114243A
Other languages
English (en)
Other versions
TW202242798A (zh
Inventor
王宇光
黃文藝
許焙凱
Original Assignee
宏芯科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏芯科技股份有限公司 filed Critical 宏芯科技股份有限公司
Priority to TW110114243A priority Critical patent/TWI771991B/zh
Priority to US17/523,138 priority patent/US11451740B1/en
Application granted granted Critical
Publication of TWI771991B publication Critical patent/TWI771991B/zh
Publication of TW202242798A publication Critical patent/TW202242798A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)

Abstract

一種視訊影像插補裝置，包括：至少三種影像分層電路及至少三種移動估計電路，各移動估計電路係依據各影像分層處理所產生之各影像的第一影像層及第一字幕層、及後續影像的第二影像層及第二字幕層以得到參考影像層序列及參考字幕層序列，並對參考影像層序列及參考字幕層序列進行移動估計；移動估計篩選電路，用以適應性地決定具有最小移動誤差的移動估計電路；移動補償畫面插補電路，執行移動補償處理以分別產生插補影像層影像及插補字幕層影像；以及播放控制電路，對該等參考影像及該等插補影像進行幀率轉換處理以得到輸出視訊信號。

Description

視訊影像插補裝置及適應性移動補償畫面插補方法
本發明係有關於視訊處理，特別是有關於一種視訊影像插補裝置及適應性移動補償畫面插補方法。
當傳統的視訊影像插補裝置在進行視訊幀率轉換(video frame rate conversion)時，往往會使用MEMC技術，意即移動估計(motion estimation)及移動補償(motion compensation)。然而，隨著社群互動視訊技術之發展，在視訊影像中往往會加入移動字幕，例如是彈幕或是片尾字幕。然而，此類移動字幕的移動向量往往會跟影像中之物件的移動向量不同，故對於傳統的視訊影像插補裝置來説，容易造成MEMC的計算結果不佳，進而產生有瑕疪的影像。
因此，需要一種視訊影像插補裝置及適應性移動補償畫面插補方法以解決上述問題。
本發明係提供一種視訊影像插補裝置，包括：至少三種影像分層電路，各影像分層電路係對一輸入視訊信號中之各影像及相應的後續影像分別進行相應的影像分層處理以產生各影像相應的第一影像層及第一字幕層、及該後續影像相應的第二影像層及第二字幕層；至少三種移動估計電路，各移動估計電路係依據各影像分層處理所產生之各影像的該第一影像層及該第一字幕層、及該後續影像的該第二影像層及該第二字幕層以得到一參考影像層序列及一參考字幕層序列，其中該參考影像層序列及該參考字幕層序列係具有一原始幀率，其中，各移動估計電路並對各影像分層處理相應的該參考影像層序列之各參考影像層及其後續參考影像層進行移動估計以得到在各參考影像層中之各區塊相應的第一移動向量，並對各影像分層處理相應的該參考字幕層序列之各參考字幕層及其後續參考字幕層進行移動估計以得到在各參考字幕層中之各區塊相應的第二移動向量；一移動估計篩選電路，用以適應性地決定具有最小移動誤差的該移動估計電路所產生在各參考影像層中之各區塊相應的該第一移動向量及在各參考字幕層中之各區塊相應的該第二移動向量；一移動補償畫面插補電路，依據具有最小移動誤差的該移動估計電路所產生在各參考影像層中之各區塊相應的該第一移動向量及在各參考字幕層中之各區塊相應的該第二移動向量進行移動補償處理以分別產生在各參考影像層及其後續參考影像層之間的一或多張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的一或多張插補字幕層影像，其中該移動補償畫面插補電路將該參考影像層序列及該參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像；以及一播放控制電路，用以依據該原始幀率及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該輸出視訊信號，其中該播放幀率係大於或等於該原始幀率。
在一些實施例中，該至少三種影像分層電路包括一第一影像分層電路、一第二影像分層電路及一第三影像分層電路，其中該第一影像分層電路、該第二影像分層電路及該第三影像分層電路係分別使用固定亮度分層、動態亮度分層及區塊對比度分層以將該輸入視訊信號中之各影像及相應的後續影像分別進行影像分層以產生各影像相應的該第一影像層及該第一字幕層、及該後續影像相應的該第二影像層及該第二字幕層。
在一些實施例中，該第一影像分層電路係將該輸入視訊信號中之各影像轉換為一灰階影像。該第一影像分層電路並將在該灰階影像中之灰階值大於或等於一亮度閾值的像素設定為該第一字幕層，並將在該灰階影像中之灰階值小於該亮度閾值的像素設定為該第一影像層。
在一些實施例中，該第二影像分層電路係將該輸入視訊信號中之各影像轉換為一灰階影像，並對該灰階影像進行統計以得到該灰階影像之直方圖。該第二影像分層電路更對該直方圖進行等化處理以得到等化直方圖，並將在該等化直方圖中大於或等於一第一過濾閾值比例的像素標記為該第一字幕層，並將在該等化直方圖中小於該第一過濾閾值比例的像素標記為該第一影像層。
在一些實施例中，該第三影像分層電路係將該輸入視訊信號中之各影像轉換為一灰階影像，並將該灰階影像分割為N*N個區塊，並分別對各區塊進行直方圖統計以得到各區塊相應的直方圖，其中N為大於或等於2的正整數。該第三影像分層電路更對各區塊相應的該直方圖進行等化處理以得到各區塊相應的等化直方圖，並且將在各區塊相應的該等化直方圖中大於或等於一第二過濾閾值比例的像素標記為該第一字幕層，並將在各區塊相應的該等化直方圖中小於該第二過濾閾值比例的像素標記為該第一影像層。
在一些實施例中，該移動估計篩選電路係依據各移動估計電路所產生在該參考影像層中之各區塊相應的該第一移動向量及在該參考字幕層中之各區塊相應的該第二移動向量以分別對該參考影像層及該參考字幕層之各區塊進行移動補償以得到第一移動補償影像層及第一移動補償字幕層，並將該第一移動補償影像層及該第一移動補償字幕層分別減去該後續參考影像層及該後續參考字幕層以得到影像層差值影像及字幕層差值影像，並計算在該影像層差值影像及該字幕層差值影像之各像素的絕對差值總和以做為相應的移動誤差。該移動估計篩選電路並比較各移動估計電路相應的該移動誤差以決定具有最小移動誤差的該移動估計電路。
在一些實施例中，該視訊影像插補裝置更包括：一畫面插補評估電路，用以判斷各參考影像及其後續參考影像之間是否有移動差異。當該畫面插補評估電路判斷各參考影像及該後續參考影像之間有移動差異，該畫面插補評估電路係產生在高邏輯狀態的一移動補償畫面插補致能信號。當該畫面插補評估電路判斷各影像及相應的該後續影像之間無移動差異，該畫面插補評估電路係產生在低邏輯狀態的該移動補償畫面插補致能信號。
在一些實施例中，該畫面插補評估電路更依據該原始幀率及該播放幀率以計算在各參考影像及其後續參考影像之間需要進行畫面插補的一影像數量M，其中M為自然數。因應於移動補償畫面插補致能信號處於高邏輯狀態，該移動補償畫面插補電路係執行移動補償以產生在各參考影像層及其後續參考影像層之間的M張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的M張插補字幕層影像。因應於該移動補償畫面插補致能信號處於低邏輯狀態，該移動補償畫面插補電路係複製各參考影像層及各參考字幕層以產生在各參考影像層及其後續參考影像層之間的M張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的M張插補字幕層影像。
在一些實施例中，該移動補償畫面插補電路將該等參考影像及該等插補影像整理為第一視訊序列，並指派相應的第一時間戳至該第一視訊序列中之各影像，且該播放控制電路更指派對應的第二時間戳至各輸出影像。
在一些實施例中，該播放控制電路更比較各輸出影像之該第二時間戳與最接近各輸出影像之該第一視訊序列中之一特定影像的該第一時間戳。當該第二時間戳小於該第一時間戳，該播放控制電路係選擇該影像之先前影像以做為該輸出影像。當該第二時間戳大於或等於該第一時間戳，該播放控制電路係選擇該影像以做為該輸出影像。
本發明更提供一種適應性移動補償畫面插補方法，包括：對該輸入視訊信號中之各影像及相應的後續影像分別進行至少三種影像分層處理，其中各影像分層處理係產生各影像相應的第一影像層及第一字幕層、及該後續影像相應的第二影像層及第二字幕層；依據各影像分層處理所產生之各影像的該第一影像層及該第一字幕層、及該後續影像的該第二影像層及該第二字幕層以得到一參考影像層序列及一參考字幕層序列；對各影像分層處理相應的該參考影像層序列之各參考影像層及其後續參考影像層進行移動估計處理以得到在各參考影像層中之各區塊相應的第一移動向量，並對各影像分層處理相應的該參考字幕層序列之各參考字幕層及其後續參考字幕層進行移動估計以得到在各參考字幕層中之各區塊相應的第二移動向量；適應性地決定相應於各影像分層處理具有最小移動誤差的該移動估計處理所產生在各參考影像層中之各區塊相應的該第一移動向量及在各參考字幕層中之各區塊相應的該第二移動向量，並據以進行移動補償處理以分別產生在各參考影像層及其後續參考影像層之間的一或多張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的一或多張插補字幕層影像；將該參考影像層序列及該參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像；以及依據該原始幀率及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該輸出視訊信號，其中該播放幀率係大於或等於該原始幀率。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的"包含"、"包括"等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
第1圖為依據本發明一實施例中之視訊影像插補裝置的方塊圖。
視訊影像插補裝置100例如可設置於電視、電腦螢幕、投影機、智慧型手機、平板電腦、筆記型電腦之中，用以執行移動補償畫面插補以進行幀率轉換(frame rate conversion)。在一實施例中，視訊影像插補裝置100包括運算電路110、揮發性記憶體120及傳輸介面140。視訊影像插補裝置100可經由傳輸介面140以接收輸入視訊信號，其中該輸入視訊信號具有輸入幀率(frame rate)。運算電路110則執行適應性移動補償畫面插補(motion-compensated frame interpolation)以將該輸入視訊信號轉換為輸出視訊信號，並將該輸出視訊信號以播放幀率在顯示裝置20播放，其中播放幀率大於或等於輸入幀率。顯示裝置20例如可為電視、電腦顯示器、投影機、智慧型手機、平板電腦、筆記型電腦之顯示螢幕，但本發明並不限於此。
在一些實施例中，運算電路110例如可為應用程式導向積體電路(application-specific integrated circuit，ASIC)或是具有相同功能之邏輯電路所實現。
揮發性記憶體120例如可用動態隨機存取記憶體(dynamic random access memory)或靜態隨機存取記憶體(static random access memory)所實現，但本發明並不限於此。傳輸介面140例如為高畫質多媒體介面(high definition multimedia interface，HDMI)、顯示埠(DisplayPort)或視訊圖形陣列(video graphics array，VGA)介面，但本發明並不限於此。揮發性記憶體120可做為一影像緩衝器(image buffer)，用以儲存欲輸出至顯示裝置20之影像。
在一實施例中，外部裝置例如是將相應時間點之字幕疊加於一視訊序列的各原始影像的上方以得到輸入視訊信號中的各影像，故輸入視訊信號的輸入影像序列中之一或多張影像包含字幕，其中上述字幕可包含固定式字幕及/或移動式字幕(例如彈幕或片尾字幕)。
第2圖為依據本發明第1A圖實施例中之運算電路的示意圖。
運算電路110包含影像分層電路211A～211B、212A～212B及213A～213B、移動估計電路220A～220C、移動估計篩選電路230、畫面插補評估電路240、移動補償畫面插補電路250及播放控制電路260。
影像F n及F n+1表示在第一影像序列中之時間點n及n+1所對應的RGB影像。舉例來説，影像分層電路211A～211B、212A～212B及213A～213B是以不同影像分割演算法將影像F n及F n+1分別分割為影像層及字幕層。影像分層電路211A～211B、212A～212B及213A～213B可分別視為單一影像分層電路。
在一實施例中，影像分層電路211A及211B例如是採用固定亮度分層的方式將輸入影像(例如為RGB影像)分離為字幕層及影像層。舉例來説，影像分層電路211A及211B係將輸入影像的各像素進行RGB至YUV轉換以得到一灰階影像，其中灰階影像之各像素的灰階值Y可用式(1)計算而得： Y=0.30R+0.59G+0.11B                                  (1)
其中，R、G、B分別表示在輸入影像中之各像素中的紅色子像素、綠色子像素及藍色子像素的亮度值。若R、G、B之數值介於0至255，則灰階值Y則同樣會介於0至255。影像分層電路211A及211B可設定一亮度閾值比例(例如介於0至1之間)以從輸入影像中過濾出字幕層，其中該亮度閾值比例為可調整參數。舉例來説，若該亮度閾值比例為0.95，則影像分層電路211A及211B可計算出對應的亮度閾值為255*0.95，約等於亮度值242。因此，影像分層電路211A及211B係將在灰階影像中之灰階值大於或等於亮度閾值的像素設定為字幕層相應的像素，並且將在灰階影像中之灰階值小於亮度閾值的像素設定為影像層相應的像素。因此，影像分層電路211A及211B可依據灰階影像中被標記為字幕層及像素層的像素以將輸入影像中的字幕層及影像層進行分離。
舉例來説，影像Fn經過影像分層電路211A可得到字幕層F n_L1T及影像層F n_L1V，且影像F n+1經過影像分層電路211B可得到字幕層F n+1_L1T及影像層F n+1_L1V。舉例來説，第4圖中之影像400例如為影像F n的示意圖，且影像400經過影像分層電路211A可得到影像410及420，其中影像410及420例如分別為字幕層F n_L1T及影像層F n_L1V。需注意的是，在影像410中除了字幕層F n_L1T之外的影像部分均為黑色(即亮度=0)，在影像420中與字幕層F n_L1T相應的像素均為黑色。
在一實施例中，影像分層電路212A及212B例如是採用動態亮度分層的方式將輸入影像(例如為RGB影像)分離為字幕層及影像層。舉例來説，影像分層電路212A及212B同樣將輸入影像的各像素進行RGB至YUV轉換以得到一灰階影像，其中灰階影像之各像素的灰階值Y可用式(1)計算而得。接著，影像分層電路212A及212B係對灰階影像進行統計以得到該灰階影像之直方圖(histogram)300，如第3A圖所示。
影像分層電路212A及212B並對該直方圖進行等化處理(equalization)，以得到等化直方圖310，如第3B圖所示。假定灰階值Y同樣介於0至255之間，若在直方圖300中的統計數值較集中在某個區域(例如高亮度、低亮度或中間亮度)，經過等化處理後，在等化直方圖310中之統計數值可較為均勻地分布在0至255之間。
影像分層電路212A及212B並設定第一過濾閾值比例以使用該等化直方圖310將輸入影像分離為字幕層及影像層，其中該過濾閾值比例為可調整參數。舉例來説，假定第一過濾閾值比例為0.95，影像分層電路212A及212B會將在等化直方圖310中大於或等於該第一過濾閾值比例的像素標記為字幕層，並將在等化直方圖310中小於該第一過濾閾值比例的像素標記為影像層，意即影像分層電路212A及212B會將在該等化直方圖310中之前5%的像素標記為字幕層，並將在該等化直方圖310中之95%內的像素標記為影像層。因此，影像分層電路212A及212B可依據上述字幕層標記及影像層標記以將輸入影像分離為字幕層及影像層。
換言之，影像F n經過影像分層電路212A可得到字幕層F n_L2T及影像層F n_L2V，且影像F n+1經過影像分層電路212B可得到字幕層F n+1_L2T及影像層F n+1_L2V。需注意的是，影像分層電路212A及212B係採用第一過濾閾值比例以對等化直方圖中的像素進行分層，無論灰階影像之整體亮度是偏亮或偏暗，影像分層電路212A及212B均可過濾出相對較亮的像素以標記為字幕層，並將相對較暗的像素標記為影像層。
在一實施例中，影像分層電路213A及213B例如是採用區塊對比度分層的方式將輸入影像(例如為RGB影像)分離為字幕層及影像層。舉例來説，影像分層電路212A及212B同樣將輸入影像的各像素進行RGB至YUV轉換以得到一灰階影像，其中灰階影像之各像素的灰階值Y可用式(1)計算而得。影像分層電路212A及212B並將灰階影像分割為N*N個區域，並分別對每個區域進行直方圖統計，其中N為可調整參數(例如為大於或等於2的正整數)，例如50、100等等，但本發明並不限於此。
影像分層電路212A及212B並對各區塊相應的直方圖進行等化處理(equalization)，以得到各區塊相應的等化直方圖。假定灰階值Y同樣介於0至255之間，若在各區塊相應的直方圖中的統計數值較集中在某個區域(例如高亮度、低亮度或中間亮度)，經過等化處理後，在各區塊相應的等化直方圖中之統計數值可較為均勻地分布在0至255之間。
影像分層電路212A及212B並設定第二過濾閾值比例以使用各區塊相應的等化直方圖將輸入影像分離為字幕層及影像層，其中第二過濾閾值比例為可調整參數。舉例來説，假定第二過濾閾值比例為0.8，影像分層電路212A及212B會將在各區塊相應的等化直方圖中大於或等於該第二過濾閾值比例的像素標記為字幕層，並將在各區塊相應的等化直方圖中小於該第二過濾閾值比例的像素標記為影像層，意即影像分層電路212A及212B會將在各區塊相應的等化直方圖中之前20%的像素標記為字幕層，並將在各區塊相應的等化直方圖中之80%內的像素標記為影像層。因此，影像分層電路212A及212B可依據各區塊之像素的字幕層標記及影像層標記以將輸入影像分離為字幕層及影像層。
換言之，影像F n經過影像分層電路213A可得到字幕層F n_L3T及影像層F n_L3V，且影像F n+1經過影像分層電路213B可得到字幕層F n+1_L3T及影像層F n+1_L3V。
需注意的是，本發明中之影像分層電路的數量並不限定於3種(例如可為3種或以上)，且將影像F n及F n+1分離而得的階層也不限定於僅有影像層及字幕層，需視各影像分層電路實際所使用的影像分割演算法而定。此外，字幕通常會採用亮度相對較高的文字，因此，影像分層電路211A～211B、212A～212B及213A～213B可利用此特性以從影像F n及F n+1分離出各自的影像層及字幕層。
在一實施例中，移動估計電路220A～220C之輸入均包含影像Fn所分離而得的影像層及字幕層、以及影像Fn+1所分離而得的影像層及字幕層。舉例來説，移動估計電路220A之輸入為影像分層電路211A所產生的字幕層F n_L1T及影像層F n_L1V、以及影像分層電路211B所產生的字幕層F n+1_L1T及影像層F n+1_L1V。移動估計電路220A係用以對字幕層F n_L1T及F n+1_L1T進行移動估計，並且對影像層F n_L1V及F n+1_L1V進行移動估計。
在對字幕層及影像層進行移動估計之前，移動估計220A～220C分別包括幀率偵測電路221A～221C以偵測輸入視訊信號之內容的原始幀率。舉例來説，視訊影像插補裝置100例如可透過傳輸介面140接收來自一主機(未繪示)的輸入視訊信號，若傳輸介面140為HDMI介面，則輸入視訊信號的輸入幀率通常是60Hz。然而，主機可能是對某個電影影片(例如原始影片幀率為24Hz)進行畫面插補以符合60Hz之幀率，但主機進行對於24Hz的電影影片之畫面插補方式可透過3：2之重複幀(repeated frame)的方式將24Hz的影片轉換為60Hz的視訊信號。
雖然視訊影像插補裝置100可得知輸入視訊信號之輸入幀率，但視訊影像插補裝置100並無法直接得知輸入視訊信號之內容的原始幀率。當視訊影像插補裝置100欲產生高於60Hz的顯示幀率的輸出視訊信號時，若視訊影像插補裝置100是直接使用輸入視訊信號的各影像進行移動補償畫面插補，則產生的輸出視訊信號會產生明顯的畫面跳動問題。本發明中的幀率偵測電路221A～221C可利用揮發性記憶體120儲存連續多張字幕層及影像層之影像以判斷輸入視訊信號之內容的原始幀率，例如是24Hz、25Hz、30Hz、60Hz等等，但本發明並不限於此。幀率偵測電路221A～221C可利用本發明領域中習知的幀率偵測技術以從各影像分層電路所產生的字幕層序列及影像層序列得到參考字幕層序列及參考影像層序列(意即為輸入視訊信號之內容的原始影像序列之字幕層序列及影像層序列)。
當幀率偵測電路221A已得到參考字幕層序列(例如包括參考字幕層RF n_L1T之序列)及參考影像層序列(例如包括參考影像層RF n_L1V之序列)後，移動估計電路220A係將參考字幕層RF n_L1T及參考影像層RF n_L1V均分割為N*N個區塊，其中N為可調整參數(例如為大於或等於2的正整數)，例如50、100等等，但本發明並不限於此。
在一實施例中，移動估計電路220A～220C係使用區塊比對(block matching)演算法進行移動估計。舉例來説，移動估計電路220A係將參考影像層RF n_L1V中之各區塊在參考影像層RF n+1_L1V之相對位置的區塊進行周圍n個像素旋轉及偏移的比對。舉例來説，移動估計電路220A可對參考影像層RF n_L1V中之各區塊進行正負15度的旋轉及移動以在參考影像層RF n+1_L1V中找到差異最小的位置及角度的相應區塊以計算出參考影像層RF n_L1V中之各區塊相應的第一移動向量(motion vector)，其中上述差異值可利用平均絕對差值(MAD，mean absolute difference)或是均方誤差(MSE, mean squared error)，但本發明並不限於此。
換言之，移動估計電路220A可將參考影像層RF n+1_L1V之相應區塊的位置減去參考影像層RF n_L1V之各區塊的位置以得到參考影像層RF n_L1V之各區塊的第一移動向量。移動估計電路220A可依據類似方式以計算出參考字幕層RF n_L1T中之各區塊相應的第二移動向量。
類似地，移動估計電路220B可計算出參考影像層RF n_L2V及參考字幕層RF n_L2T中之各區塊相應的移動向量。移動估計電路220C可計算出參考影像層RF n_L3V及參考字幕層RF n_L3T中之各區塊相應的移動向量。
移動估計篩選電路230係用以判斷移動估計電路220A、220B及220C中何者的移動估計結果為最準確的移動估計結果，並使用判斷最準確(例如移動誤差最小)的移動估計結果做為後續動態補償畫面插補處理所使用的移動估計結果。舉例來説，當移動估計電路220A已計算出參考影像層RF n_L1V及參考字幕層RF n_L1T中之各區塊相應的移動向量，移動估計篩選電路230可將參考影像層RF n_L1V及參考字幕層RF n_L1T中之各區塊依據相應的移動向量進行移動補償而得到第一移動補償(motion compensated)影像層及第一移動補償字幕層。移動估計篩選電路230並將第一移動補償影像層及第一移動補償字幕層分別減去參考影像層RF n+1_L1V及參考字幕層RF n+1_L1T以得到影像層差值影像及字幕層差值影像，並計算在影像層差值影像及字幕層差值影像之各像素的第一絕對差值總和以做為相應的第一移動誤差。
依據類似方式，移動估計電路220B可計算出第二移動補償影像層及第二移動補償字幕層之各像素的第二移動誤差，且移動估計電路220C可計算出第三移動補償影像層及第三移動補償字幕層之各像素的第三移動誤差。
接著，移動估計篩選電路230係比較第一移動誤差、第二移動誤差及第三移動誤差以決定一最小移動誤差，並將最小移動誤差相應的參考影像層及參考字幕層中之各區塊相應的移動向量傳送至移動補償畫面插補電路(motion compensated frame interpolation circuit)242及畫面插補評估電路(frame interpolation evaluation circuit)240。
若移動估計電路220A之移動估計具有最小移動誤差，畫面插補評估電路240係判斷參考影像層RF n_L1V及RF n+1_L1V之間是否有移動差異，並且判斷參考字幕層RF n_L1T及RF n+1_L1T之間是否有移動差異。舉例來説，畫面插補評估電路240可將參考影像層RF n_L1V及參考字幕層RF n_L1T分別減去參考影像層RF n+1_L1V及參考字幕層RF n+1_L1T，並分別統計影像層差值影像及字幕層差值影像的各像素之絕對差值總和以進行判斷。換言之，因為參考影像RFn係由參考字幕層RF n_L1T及參考影像層RF n_L1V所組成，且參考影像RFn+1係由參考字幕層RF n+1_L1T及參考影像層RF n+1_L1V所組成，故畫面插補評估電路240可判斷參考影像RF n及RF n+1之間是否有移動差異。若移動估計電路220B或220C之移動估計具有最小移動誤差，則畫面插補評估電路240可用類似方式進行判斷。
當畫面插補評估電路240判斷參考影像RF n及RF n+1之間有移動差異(或是移動差異大於或等於預定值)，則畫面插補評估電路240會產生一移動補償畫面插補致能信號MCFI_EN，其例如為高邏輯狀態。當畫面插補評估電路240判斷參考影像RF n及RF n+1之間沒有移動差異(或是移動差異小於預定值)，則畫面插補評估電路240可判斷參考影像RF n及RF n+1之間不需進行移動補償畫面插補電路250，故畫面插補評估電路240所產生的移動補償畫面插補致能信號MCFI_EN例如處於低邏輯狀態。
此外，畫面插補評估電路240係依據輸入視訊信號之內容的原始幀率(註：與輸入視訊信號的輸入幀率可能不同，原始幀率≦輸入幀率)及輸出視訊信號的播放幀率以計算在參考影像RF n及參考影像RF n+1之間需要進行移動補償畫面插補的影像數量M，其中原始幀率及播放幀率亦可分別用iFrame_Rate及oFrame_Rate表示，其中原始幀率iFrame_Rate及播放幀率oFrame_Rate之關係需滿足式(2)：
Figure 02_image001
畫面插補評估電路240並將所計算出的影像數量M傳送至移動補償畫面插補電路250。移動補償畫面插補電路250則依據影像數量M以計算出參考影像Fn及參考影像Fn+1之間的插補影像F int_1、F int_2、…、F int_M，如第5A圖所示。舉例來説，若原始幀率iFrame_Rate=25且播放幀率oFrame_Rate=60，則M=1，意即移動補償畫面插補電路250需計算在參考影像F n及參考影像F n+1之間的1張插補影像。
若原始幀率iFrame_Rate=25且播放幀率oFrame_Rate＝120，意即移動補償畫面插補電路250需計算出在參考影像RF n及參考影像RF n+1之間的3張插補影像F int_1、F int_2及F int_3，如第5B圖所示。當移動補償插補致能信號為高邏輯狀態，則在移動補償畫面插補電路250中，移動補償畫面插補電路250需經由移動補償以計算出在參考影像RF n及參考影像F n+1之間的插補影像F int_1、F int_2及F int_3。當移動補償插補致能信號MCFI_EN為低邏輯狀態，表示參考影像RF n及參考影像RF n+1之間並無移動差異，則移動補償畫面插補電路250可將參考影像RF n複製為插補影像F int_1、F int_2及F int_3。
在一實施例中，當移動估計篩選電路230已決定在參考影像RF n中之特定區塊B0到參考影像RF n+1的移動向量為MV(例如是由移動估計電路220A計算而得)，如第5C圖所示，則移動補償畫面插補電路250可計算出在參考影像RF n中之該特定區塊B0到插補影像F int_1、F int_2及F int_3所對應的移動向量則分別為0.25MV、0.5MV及0.75MV，其中參考影像RF n中之特定區塊B0與插補影像F int_1中之特定區塊B0之間的移動向量如第5D圖所示。
換言之，若參考影像RFn中之特定區塊B0的位置為RFn_B0，則在插補影像Fint_1之特定區塊B0的位置可用式(3)表示：
Figure 02_image003
類似地，在參考影像RF n中之各區塊在插補影像Fint_2及Fint_3中之相應位置則可分別利用式(4)及式(5)計算而得：
Figure 02_image005
Figure 02_image007
因此，在參考影像RF n中之各區塊在插補影像F int_1、F int_2及F int_3中的相應位置可利用類似方式計算而得。
需注意的是，上述實施例中之參考影像RF n及RF n+1可替代為參考影像層或參考字幕層，故亦分別適用於參考影像層及參考字幕層的移動補償，且移動補償畫面插補電路250可依據類似方式分別計算出參考影像層及參考字幕層在各插補影像之部分插補影像，並其疊合以得到完整的各插補影像。
當移動補償畫面插補電路250已計算出在參考影像RF n及RF n+1之間的插補影像F int_1、F int_2、…、F int_M後，移動補償畫面插補電路250係將插補影像F int_1、F int_2、…、F int_M儲存於揮發性記憶體120，並且決定在輸出視訊信號中之影像輸出順序以滿足輸出視訊信號的播放幀率。
詳細而言，移動補償畫面插補電路250在計算出在參考影像RF n及RF n+1之間的插補影像F int_1、F int_2、…、F int_M後，有可能仍然未滿足輸出視訊信號所需的每秒播放幀數。舉例來説，若原始幀率iFrame_Rate=25且播放幀率oFrame_Rate＝120，移動補償畫面插補電路250會計算出在參考影像RF n及RF n+1之間的3張插補影像F int_1、F int_2及F int_3。換言之，輸入視訊信號在每秒鐘內有25張影像，但經過移動補償畫面插補電路250產生插補影像F int_1、F int_2及F int_3後，僅能達到每秒鐘100張影像，尚未滿足輸出視訊信號所需的幀數。因此，當視訊影像插補裝置100在產生輸出視訊信號時，播放控制電路260會執行幀率轉換處理以將輸入視訊信號轉換為滿足播放幀率的輸出視訊信號。
舉例來説，在參考影像序列中的各參考影像RFn均具有對應的時間戳RF n_t，如表1所示：
參考 影像 RF0 RF1 RF2 RF3 RF4 RF5 RF6 RF7 RF8 RF9
時間戳 RF 0_t RF 1_t RF 2_t RF 3_t RF 4_t RF 5_t RF 6_t RF 7_t RF 8_t RF 9_t
時間 (ms) 0 40 80 120 160 200 240 280 320 360
表1
移動補償畫面插補電路250所產生的插補影像F int_1～F int_M亦有相應的時間戳。移動補償畫面插補電路250係將參考影像序列中之各參考影像RF n及插補影像F int_1～F int_M整理為第一視訊序列，並指派對應的時間戳至第一視訊序列之各影像，例如在第一視訊序列的各影像MFn具有相應的時間戳MFn_t。為了便於說明，若在參考影像序列中的兩相鄰參考影像之間使用移動補償以加入1張插補影像，則可得到表2-1及表2-2所示的第一視訊序列：
影像 MF0 MF1 MF2 MF3 MF4 MF5 MF6 MF7 MF8 MF9
時間戳 MF 0_t MF 1_t MF 2_t MF 3_t MF 4_t MF 5_t MF 6_t MF 7_t MF 8_t MF 9_t
時間 (ms) 0 20 40 60 80 100 120 140 160 180
表2-1
影像 MF 10 MF 11 MF 12 MF 13 MF 14 MF 15 MF 16 MF 17 MF 18
時間戳 MF 10_t MF 11_t MF 12_t MF 13_t MF 14_t MF 15_t MF 16_t MF 17_t MF 18_t
時間 (ms) 200 220 240 260 280 300 320 340 360
表2-2
其中，影像MF0、MF2、MF4、…、MF18係分別對應參考影像RF0～RF9。影像MF1、MF3、…、MF17則為插補影像，其對應的時間戳則是在兩相鄰參考影像的時間戳的中間，例如參考影像RF0及RF1(對應於影像MF0及MF2)的時間戳分別在0及40ms，則參考影像RF0及RF1之間的插補影像(對應於影像MF1)的時間戳則在0及40ms的中間，即20ms。
此外，在輸出視訊序列中的各輸出影像OFn亦具有相應的時間戳OFn_t。為了便於說明，假定輸出視訊信號的播放幀率為每幀之間間隔18ms，則可得到表3-1及表3-2所示的輸出視訊序列：
輸出影像 OF0 OF1 OF2 OF3 OF4 OF5 OF6 OF7 OF8 OF9 OF 10
時間戳 OF 0_t OF 1_t OF 2_t OF 3_t OF 4_t OF 5_t OF 6_t OF 7_t OF 8_t OF 9_t OF 10_t
時間 (ms) 0 18 36 54 72 90 108 126 144 162 180
表3-1
輸出影像 OF 11 OF 12 OF 13 OF 14 OF 15 OF 16 OF 17 OF 18 OF 19 OF 20
時間戳 OF 11_t OF 12_t OF 13_t OF 14_t OF 15_t OF 16_t OF 17_t OF 18_t OF 19_t OF 20_t
時間 (ms) 198 216 234 252 270 288 306 324 342 360
表3-2
播放控制電路260例如可依據式(6)之內容以執行幀率轉換處理：
Figure 02_image009
其中MF m_t為最接近輸出影像OFn的時間戳。
舉例來説，第一視訊序列的影像MF0～MF19都是儲存於揮發性記憶體120中。當播放控制電路260欲產生輸出影像OF3時，因為輸出影像OF3的時間戳OF3_t對應於54毫秒(ms)，播放控制電路260會判斷影像MF3最接近輸出影像OF3，且時間戳OF3_t對應的時間係小於影像MF3之時間戳MF3_t所對應的時間，故播放控制電路260會選擇影像MF2做為輸出影像OF3。當播放控制電路260欲產生輸出影像OF10時，因為輸出影像OF10的時間戳OF10_t對應於180毫秒(ms)，播放控制電路260會判斷影像MF9最接近輸出影像OF10，且時間戳OF10_t對應的時間係等於影像MF9之時間戳MF9_t所對應的時間，故播放控制電路260會選擇影像MF9做為輸出影像OF10。當播放控制電路260欲產生輸出影像OF16時，因為輸出影像OF16的時間戳OF16_t對應於288毫秒(ms)，播放控制電路260會判斷影像MF14最接近輸出影像OF16，且時間戳OF16_t對應的時間係大於影像MF14之時間戳MF14_t所對應的時間，故播放控制電路260會選擇影像MF14做為輸出影像OF16。因此，播放控制電路260可使用類似方式以得到輸出視訊序列中的各輸出影像。
第6圖為依據本發明一實施例中之適應性移動補償畫面插補方法的流程圖。請同時參考第2圖及第6圖。
在步驟S610，對該輸入視訊信號中之各影像及相應的後續影像分別進行至少三種影像分層處理，其中各影像分層處理係產生各影像相應的第一影像層及第一字幕層、及該後續影像相應的第二影像層及第二字幕層。舉例來説，影像分層電路211A及211B、影像分層電路212A及212B、以及影像分層電路213A及213B例如是分別採用固定亮度分層、動態亮度分層及區塊對比度分層之方式將輸入視訊信號中之各影像及相應的後續影像分別進行影像分層以產生各影像相應的第一影像層及第一字幕層、及後續影像相應的第二影像層及第二字幕層。
在步驟S620，依據各影像分層處理所產生之各影像的第一影像層及第一字幕層、及該後續影像的第二影像層及第二字幕層以得到一參考影像層序列及一參考字幕層序列，其中該參考影像層序列及該參考字幕層序列係具有一原始幀率。舉例來説，幀率偵測電路221A～221C可利用本發明領域中習知的幀率偵測技術以從各影像分層電路所產生的字幕層序列及影像層序列得到參考字幕層序列及參考影像層序列(意即為輸入視訊信號之內容的原始影像序列之字幕層序列及影像層序列)。
在步驟S630，對各影像分層處理相應的該參考影像層序列之各參考影像層及其後續參考影像層進行移動估計以得到在各參考影像層中之各區塊相應的第一移動向量，並對各影像分層處理相應的該參考字幕層序列之各參考字幕層及其後續參考字幕層進行移動估計以得到在各參考字幕層中之各區塊相應的第二移動向量。舉例來説，移動估計電路220A可對參考影像層RF n_L1V中之各區塊進行正負15度的旋轉及移動以在參考影像層RF n+1_L1V中找到差異最小的位置及角度的相應區塊以計算出參考影像層RF n_L1V中之各區塊相應的第一移動向量，並依據類似方式以計算出參考字幕層RF n_L1T中之各區塊相應的第二移動向量。移動估計電路220B及220C亦可利用類似方式計算在相應的參考影像層之各區塊的第一移動向量及參考字幕層之各區塊的第二移動向量。
在步驟S640，適應性地決定相應於各影像分層處理具有最小移動誤差的移動估計所產生在各參考影像層中之各區塊相應的第一移動向量及在各參考字幕層中之各區塊相應的第二移動向量，並據以進行移動補償處理以分別產生在各參考影像層及其後續參考影像層之間的一或多張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的一或多張插補字幕層影像。舉例來説，移動估計篩選電路230係比較移動估計電路220A、220B及220C相應的第一移動誤差、第二移動誤差及第三移動誤差以決定一最小移動誤差，並將最小移動誤差相應的參考影像層及參考字幕層中之各區塊相應的移動向量傳送至移動補償畫面插補電路242及畫面插補評估電路240。此外，移動補償畫面插補電路250是分別對參考影像層及參考字幕層分別進行移動補償以分別產生在各參考影像層及其後續參考影像層之間的一或多張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的一或多張插補字幕層影像。
在步驟S650，將參考影像層序列及參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像。舉例來説，在參考影像序列中的各參考影像可由相應的參考影像層及參考字幕層所組成，且插補影像亦可由相應的插補影像層影像及插補字幕層影像所組合，故移動補償畫面插補電路250可將參考影像層序列及參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像。
在步驟S660，依據該原始幀率及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該輸出視訊信號，其中該播放幀率係大於或等於該原始幀率。舉例來説，移動補償畫面插補電路250在計算出在參考影像RF n及RF n+1之間的插補影像F int_1、F int_2、…、F int_M後，有可能仍然未滿足輸出視訊信號所需的每秒播放幀數，故播放控制電路260可依據式(6)之內容以執行幀率轉換處理以滿足輸出視訊信號之播放幀率。
綜上所述，本發明係提供一種視訊影像插補裝置及適應性移動補償畫面插補方法，其可將輸入視訊信號之各影像利用不同影像分層方式分割為字幕層及影像層，並且適應性地選擇具有最小誤差之移動估計結果進行移動補償，進而增進移動補償畫面插補所產生之輸出視訊信號的影像品質。
於申請專利範圍中使用如"第一"、"第二"、"第三"等詞係用來修飾申請專利範圍中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
20:顯示裝置 100:視訊影像插補裝置 110:運算電路 120:揮發性記憶體 140:傳輸介面 211A～211B、212A～212B、213A～213B:影像分層電路 220A～220C:移動估計電路 221A～221C:幀率偵測電路 230:移動估計篩選電路 240:畫面插補評估電路 250:移動補償畫面插補電路 260:播放控制電路 300:直方圖 310:等化直方圖 400、410、420:影像 S610-S650:步驟 F n、F n+1:影像 RF n、RF n+1:參考影像 F int_1、F int_2、F int_3、F int_M:插補影像 F n_L1T、F n_L2T、F n_L3T:字幕層 F n_L1V、F n_L2V、F n_L3V:影像層 F n+1_L1T、F n+1_L2T、F n+1_L3T:字幕層 F n+1_L1V、F n+1_L2V、F n+1_L3V:影像層 M:影像數量 MCFI_EN:移動補償畫面插補致能信號 B0:特定區塊 MV:移動向量
第1圖為依據本發明一實施例中之視訊影像插補裝置的方塊圖。 第2圖為依據本發明第1A圖實施例中之運算電路的示意圖。 第3A圖為依據本發明一實施例中之灰階影像的直方圖。 第3B圖為依據第3A圖實施例中之灰階影像的等化直方圖。 第4圖為依據本發明一實施例中將影像分割為影像層及字幕層的示意圖。 第5A圖為依據本發明一實施例中之影像及插補影像之順序的示意圖。 第5B圖為依據本發明一實施例中之影像及插補影像之順序的另一示意圖。 第5C圖為依據本發明一實施例中在影像之特定區塊至下一影像之移動向量的示意圖。 第5D圖為依據本發明一實施例中在影像之特定區塊至下一影像之移動向量的示意圖。 第6圖為依據本發明一實施例中之適應性移動補償畫面插補方法的流程圖。
20:顯示裝置
100:視訊影像插補裝置
110:運算電路
120:揮發性記憶體
140:傳輸介面

Claims (20)

  1. 一種視訊影像插補裝置，包括：至少三種影像分層電路，該等影像分層電路之每一者係對一輸入視訊信號中之各影像及相應的後續影像分別進行相應的影像分層處理以產生各影像相應的第一影像層及第一字幕層、及該後續影像相應的第二影像層及第二字幕層；至少三種移動估計電路，該等移動估計電路之每一者係依據各影像分層處理所產生之各影像的該第一影像層及該第一字幕層、及該後續影像的該第二影像層及該第二字幕層以得到一參考影像層序列及一參考字幕層序列，其中該參考影像層序列及該參考字幕層序列係具有一原始幀率；其中，該等移動估計電路之每一者對各影像分層處理相應的該參考影像層序列之各參考影像層及其後續參考影像層進行移動估計以得到在各參考影像層中之各區塊相應的第一移動向量，並對各影像分層處理相應的該參考字幕層序列之各參考字幕層及其後續參考字幕層進行移動估計以得到在各參考字幕層中之各區塊相應的第二移動向量；一移動估計篩選電路，用以適應性地決定具有最小移動誤差的該移動估計電路所產生在各參考影像層中之各區塊相應的該第一移動向量及在各參考字幕層中之各區塊相應的該第二移動向量；一移動補償畫面插補電路，依據具有最小移動誤差的該移動估計電路所產生在各參考影像層中之各區塊相應的該第一移 動向量及在各參考字幕層中之各區塊相應的該第二移動向量進行移動補償處理以分別產生在各參考影像層及其後續參考影像層之間的一或多張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的一或多張插補字幕層影像；其中該移動補償畫面插補電路將該參考影像層序列及該參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像；以及一播放控制電路，用以依據該原始幀率及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該輸出視訊信號，其中該播放幀率係大於或等於該原始幀率。
  2. 如請求項1之視訊影像插補裝置，其中該至少三種影像分層電路包括一第一影像分層電路、一第二影像分層電路及一第三影像分層電路，其中該第一影像分層電路、該第二影像分層電路及該第三影像分層電路係分別使用固定亮度分層、動態亮度分層及區塊對比度分層以將該輸入視訊信號中之各影像及相應的後續影像分別進行影像分層以產生各影像相應的該第一影像層及該第一字幕層、及該後續影像相應的該第二影像層及該第二字幕層。
  3. 如請求項2之視訊影像插補裝置，其中該第一影像分層電路係將該輸入視訊信號中之各影像轉換為一灰階影像；其中該第一影像分層電路並將在該灰階影像中之灰階值大於或等於一亮度閾值的像素設定為該第一字幕層，並將在該灰階影像中 之灰階值小於該亮度閾值的像素設定為該第一影像層。
  4. 如請求項2之視訊影像插補裝置，其中該第二影像分層電路係將該輸入視訊信號中之各影像轉換為一灰階影像，並對該灰階影像進行統計以得到該灰階影像之直方圖；其中該第二影像分層電路更對該直方圖進行等化處理以得到等化直方圖，並將在該等化直方圖中大於或等於一第一過濾閾值比例的像素標記為該第一字幕層，並將在該等化直方圖中小於該第一過濾閾值比例的像素標記為該第一影像層。
  5. 如請求項2之視訊影像插補裝置，其中該第三影像分層電路係將該輸入視訊信號中之各影像轉換為一灰階影像，並將該灰階影像分割為N*N個區塊，並分別對各區塊進行直方圖統計以得到各區塊相應的直方圖，其中N為大於或等於2的正整數；其中該第三影像分層電路更對各區塊相應的該直方圖進行等化處理以得到各區塊相應的等化直方圖，並且將在各區塊相應的該等化直方圖中大於或等於一第二過濾閾值比例的像素標記為該第一字幕層，並將在各區塊相應的該等化直方圖中小於該第二過濾閾值比例的像素標記為該第一影像層。
  6. 如請求項1之視訊影像插補裝置，其中該移動估計篩選電路係依據各移動估計電路所產生在該參考影像層中之各區塊相應的該第一移動向量及在該參考字幕層中之各區塊相應的該第二移動向量以分別對該參考影像層及該參考字幕層之各區塊進行移動補償以得到第一移動補償影像層及第一移動補償字幕層，並將該第一移動補償影像層及該第一移動補償字幕層分別減去該後續參考影像層及該後續參考字幕層以得到影像層差值影像及字幕層差值影 像，並計算在該影像層差值影像及該字幕層差值影像之各像素的絕對差值總和以做為相應的移動誤差；其中該移動估計篩選電路並比較各移動估計電路相應的該移動誤差以決定具有最小移動誤差的該移動估計電路。
  7. 如請求項1之視訊影像插補裝置，更包括：一畫面插補評估電路，用以判斷各參考影像及其後續參考影像之間是否有移動差異；其中，當該畫面插補評估電路判斷各參考影像及該後續參考影像之間有移動差異，該畫面插補評估電路係產生在高邏輯狀態的一移動補償畫面插補致能信號；其中，當該畫面插補評估電路判斷各影像及相應的該後續影像之間無移動差異，該畫面插補評估電路係產生在低邏輯狀態的該移動補償畫面插補致能信號。
  8. 如請求項7之視訊影像插補裝置，其中該畫面插補評估電路更依據該原始幀率及該播放幀率以計算在各參考影像及其後續參考影像之間需要進行畫面插補的一影像數量M，其中M為自然數；其中，因應於移動補償畫面插補致能信號處於高邏輯狀態，該移動補償畫面插補電路係執行移動補償以產生在各參考影像層及其後續參考影像層之間的M張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的M張插補字幕層影像；其中，因應於該移動補償畫面插補致能信號處於低邏輯狀態，該移動補償畫面插補電路係複製各參考影像層及各參考字幕層以產生在各參考影像層及其後續參考影像層之間的M張插補影像層影 像、以及在各參考字幕層及其後續參考字幕層之間的M張插補字幕層影像。
  9. 如請求項8之視訊影像插補裝置，其中該移動補償畫面插補電路將該等參考影像及該等插補影像整理為第一視訊序列，並指派相應的第一時間戳至該第一視訊序列中之各影像，且該播放控制電路更指派對應的第二時間戳至各輸出影像。
  10. 如請求項9之視訊影像插補裝置，其中該播放控制電路更比較各輸出影像之該第二時間戳與最接近各輸出影像之該第一視訊序列中之一特定影像的該第一時間戳；其中，當該第二時間戳小於該第一時間戳，該播放控制電路係選擇該影像之先前影像以做為該輸出影像；其中，當該第二時間戳大於或等於該第一時間戳，該播放控制電路係選擇該影像以做為該輸出影像。
  11. 一種適應性移動補償畫面插補方法，用於一視訊影像插補裝置，該視訊影像插補裝置包括至少三種影像分層電路至少三種移動估計電路、至少三種移動估計電路、一移動估計篩選電路、一移動補償畫面插補電路、一播放控制電路，該方法包括：利用該等影像分層電路之每一者對一輸入視訊信號中之各影像及相應的後續影像分別進行至少三種影像分層處理，其中各影像分層處理係產生各影像相應的第一影像層及第一字幕層、及該後續影像相應的第二影像層及第二字幕層；利用該等移動估計電路之每一者依據各影像分層處理所產生之各影像的該第一影像層及該第一字幕層、及該後續影像的該第二影像層及該第二字幕層以得到一參考影像層序列及 一參考字幕層序列，其中該參考影像層序列及該參考字幕層序列係具有一原始幀率；利用該等移動估計電路之每一者對各影像分層處理相應的該參考影像層序列之各參考影像層及其後續參考影像層進行移動估計處理以得到在各參考影像層中之各區塊相應的第一移動向量，並對各影像分層處理相應的該參考字幕層序列之各參考字幕層及其後續參考字幕層進行移動估計以得到在各參考字幕層中之各區塊相應的第二移動向量；利用該移動估計篩選電路適應性地決定相應於各影像分層處理具有最小移動誤差的該移動估計處理所產生在各參考影像層中之各區塊相應的該第一移動向量及在各參考字幕層中之各區塊相應的該第二移動向量，並利用該移動補償畫面插補電路依據具有最小移動誤差的該移動估計電路所產生在各參考影像層中之各區塊相應的該第一移動向量及在各參考字幕層中之各區塊相應的該第二移動向量進行移動補償處理以分別產生在各參考影像層及其後續參考影像層之間的一或多張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的一或多張插補字幕層影像；利用該移動補償畫面插補電路將該參考影像層序列及該參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像；以及利用該播放控制電路依據該原始幀率及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對該等參考影像及該 等插補影像進行幀率轉換處理以得到該輸出視訊信號，其中該播放幀率係大於或等於該原始幀率。
  12. 如請求項11之適應性移動補償畫面插補方法，其中該至少三種影像分層處理包括一第一影像分層處理、一第二影像分層處理及一第三影像分層處理分別由該至少三種移動估計電路中的第一影像分層電路、一第二影像分層電路及一第三影像分層電路所執行，其中該第一影像分層處理、該第二影像分層處理及該第三影像分層處理係分別使用固定亮度分層、動態亮度分層及區塊對比度分層以將該輸入視訊信號中之各影像及相應的後續影像分別進行影像分層以產生各影像相應的該第一影像層及該第一字幕層、及該後續影像相應的該第二影像層及該第二字幕層。
  13. 如請求項12之適應性移動補償畫面插補方法，其中該第一影像分層處理包括下列步驟：將該輸入視訊信號中之各影像轉換為一灰階影像；將在該灰階影像中之灰階值大於或等於一亮度閾值的像素設定為該第一字幕層；以及將在該灰階影像中之灰階值小於該亮度閾值的像素設定為該第一影像層。
  14. 如請求項12之適應性移動補償畫面插補方法，其中該第二影像分層處理包括下列步驟：將該輸入視訊信號中之各影像轉換為一灰階影像，並對該灰階影像進行統計以得到該灰階影像之直方圖；對該直方圖進行等化處理以得到等化直方圖；將在該等化直方圖中大於或等於一第一過濾閾值比例的像素標 記為該第一字幕層；以及將在該等化直方圖中小於該第一過濾閾值比例的像素標記為該第一影像層。
  15. 如請求項12之適應性移動補償畫面插補方法，其中該第三影像分層處理包括利用該第三影像分層電路執行下列步驟：將該輸入視訊信號中之各影像轉換為一灰階影像，並將該灰階影像分割為N*N個區塊；分別對各區塊進行直方圖統計以得到各區塊相應的直方圖，其中N為大於或等於2的正整數；對各區塊相應的該直方圖進行等化處理以得到各區塊相應的等化直方圖，並且將在各區塊相應的該等化直方圖中大於或等於一第二過濾閾值比例的像素標記為該第一字幕層；以及將在各區塊相應的該等化直方圖中小於該第二過濾閾值比例的像素標記為該第一影像層。
  16. 如請求項11之適應性移動補償畫面插補方法，其中適應性地決定相應於各影像分層處理具有最小移動誤差的移動估計之步驟包括：依據各移動估計處理所產生在該參考影像層中之各區塊相應的該第一移動向量及在該參考字幕層中之各區塊相應的該第二移動向量以分別對該參考影像層及該參考字幕層之各區塊進行移動補償以得到第一移動補償影像層及第一移動補償字幕層； 將該第一移動補償影像層及該第一移動補償字幕層分別減去該後續參考影像層及該後續參考字幕層以得到影像層差值影像及字幕層差值影像；計算在該影像層差值影像及該字幕層差值影像之各像素的絕對差值總和以做為相應的移動誤差；以及比較各移動估計處理相應的該移動誤差以決定具有最小移動誤差的該移動估計處理。
  17. 如請求項11之適應性移動補償畫面插補方法，其中該視訊影像插補裝置更包括一畫面插補評估電路，且該方法更包括利用該畫面插補評估電路執行下列步驟：判斷各參考影像及其後續參考影像之間是否有移動差異；當判斷各參考影像及該後續參考影像之間有移動差異，產生在高邏輯狀態的一移動補償畫面插補致能信號；以及當判斷各影像及相應的該後續影像之間無移動差異，產生在低邏輯狀態的該移動補償畫面插補致能信號。
  18. 如請求項17之適應性移動補償畫面插補方法，更包括：依據該原始幀率及該播放幀率以計算在各參考影像及其後續參考影像之間需要進行畫面插補的一影像數量M，其中M為自然數；因應於移動補償畫面插補致能信號處於高邏輯狀態，依據該原始幀率及該播放幀率以計算在各參考影像及其後續參考影像之間需要進行移動補償畫面插補的一影像數量M，並產生在各參考影像層及其後續參考影像層之間的M張插補影 像層影像、以及在各參考字幕層及其後續參考字幕層之間的M張插補字幕層影像；以及因應於該移動補償畫面插補致能信號處於低邏輯狀態，複製各參考影像層及各參考字幕層以產生在各參考影像層及其後續參考影像層之間的M張插補影像層影像、以及在各參考字幕層及其後續參考字幕層之間的M張插補字幕層影像。
  19. 如請求項18之適應性移動補償畫面插補方法，更包括：將該等參考影像及該等插補影像整理為第一視訊序列，並指派相應的第一時間戳至該第一視訊序列中之各影像；以及指派對應的第二時間戳至該輸出視訊信號之各輸出影像。
  20. 如請求項19之適應性移動補償畫面插補方法，其中利用該播放控制電路依據該原始幀率及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該輸出視訊信號之步驟包括利用該播放控制電路執行下列步驟：比較各輸出影像之該第二時間戳與最接近各輸出影像之該第一視訊序列中之一特定影像的該第一時間戳；當該第二時間戳小於該第一時間戳，選擇該特定影像之先前影像以做為該輸出影像；以及當該第二時間戳大於或等於該第一時間戳，選擇該特定影像以做為該輸出影像。
TW110114243A 2021-04-21 2021-04-21 視訊影像插補裝置及適應性移動補償畫面插補方法 TWI771991B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110114243A TWI771991B (zh) 2021-04-21 2021-04-21 視訊影像插補裝置及適應性移動補償畫面插補方法
US17/523,138 US11451740B1 (en) 2021-04-21 2021-11-10 Video-image-interpolation apparatus and method for adaptive motion-compensated frame interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110114243A TWI771991B (zh) 2021-04-21 2021-04-21 視訊影像插補裝置及適應性移動補償畫面插補方法

Publications (2)

Publication Number Publication Date
TWI771991B true TWI771991B (zh) 2022-07-21
TW202242798A TW202242798A (zh) 2022-11-01

Family

ID=83286307

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110114243A TWI771991B (zh) 2021-04-21 2021-04-21 視訊影像插補裝置及適應性移動補償畫面插補方法

Country Status (2)

Country Link
US (1) US11451740B1 (zh)
TW (1) TWI771991B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023019712A (ja) * 2021-07-29 2023-02-09 トヨタ自動車株式会社 画像生成装置、画像生成方法、及び車両制御システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027549A1 (en) * 2004-05-17 2009-01-29 Weisgerber Robert C Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation
TW201038056A (en) * 2009-04-15 2010-10-16 Novatek Microelectronics Corp De-interlacing apparatus and method and moving caption compensator
CN102622975A (zh) * 2011-02-01 2012-08-01 宏碁股份有限公司 图框率升频装置及方法
CN103563384A (zh) * 2011-05-27 2014-02-05 松下电器产业株式会社 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置
CN107480670A (zh) * 2016-06-08 2017-12-15 北京新岸线网络技术有限公司 一种字幕检测及提取的方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027549A1 (en) * 2004-05-17 2009-01-29 Weisgerber Robert C Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation
TW201038056A (en) * 2009-04-15 2010-10-16 Novatek Microelectronics Corp De-interlacing apparatus and method and moving caption compensator
CN102622975A (zh) * 2011-02-01 2012-08-01 宏碁股份有限公司 图框率升频装置及方法
CN103563384A (zh) * 2011-05-27 2014-02-05 松下电器产业株式会社 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置
CN107480670A (zh) * 2016-06-08 2017-12-15 北京新岸线网络技术有限公司 一种字幕检测及提取的方法及设备

Also Published As

Publication number Publication date
TW202242798A (zh) 2022-11-01
US11451740B1 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
CN110545413B (zh) 用于执行高动态范围视频的色调映射的方法及装置
US7586540B2 (en) Image interpolation device and a frame rate converter and image display apparatus using the same
CA2429934C (en) Method and apparatus for interface-progressive video conversion
US8558772B2 (en) Image display apparatus
US9406113B2 (en) Image processing apparatus and image display apparatus
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
US8274605B2 (en) System and method for adjacent field comparison in video processing
JP5089783B2 (ja) 画像処理装置及びその制御方法
TWI771991B (zh) 視訊影像插補裝置及適應性移動補償畫面插補方法
JP2009194616A (ja) 画像処理装置
US6359653B1 (en) Method and apparatus for VGA to TV data transformation using background-based adaptive flicker reduction
US20080204593A1 (en) Scan Convertion Image Filtering
US20120008692A1 (en) Image processing device and image processing method
JP2002132225A (ja) 映像信号補正装置およびそれを用いたマルチメディア計算機システム
US9179163B2 (en) Device and method for processing image
US8300150B2 (en) Image processing apparatus and method
TWI790600B (zh) 區域式視訊影像插補裝置及其方法
EP1844608A1 (en) Sparkle processing
US7729022B2 (en) Method for processing image
JP2003046807A (ja) 画像表示装置および画像表示方法
JP2005318588A (ja) ビデオシーケンスの補助データ処理
US7750974B2 (en) System and method for static region detection in video processing
US20110299598A1 (en) Motion vector display circuit and motion vector display method
CN106657945B (zh) 一种非线性分段的伽马校正实现方法
US10122981B2 (en) Color conversion