TWI790600B - 區域式視訊影像插補裝置及其方法 - Google Patents

區域式視訊影像插補裝置及其方法 Download PDF

Info

Publication number
TWI790600B
TWI790600B TW110114246A TW110114246A TWI790600B TW I790600 B TWI790600 B TW I790600B TW 110114246 A TW110114246 A TW 110114246A TW 110114246 A TW110114246 A TW 110114246A TW I790600 B TWI790600 B TW I790600B
Authority
TW
Taiwan
Prior art keywords
image
layer
images
interpolation
region
Prior art date
Application number
TW110114246A
Other languages
English (en)
Other versions
TW202242795A (zh
Inventor
王宇光
黃文藝
許焙凱
Original Assignee
宏芯科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏芯科技股份有限公司 filed Critical 宏芯科技股份有限公司
Priority to TW110114246A priority Critical patent/TWI790600B/zh
Priority to US17/523,269 priority patent/US11425331B1/en
Publication of TW202242795A publication Critical patent/TW202242795A/zh
Application granted granted Critical
Publication of TWI790600B publication Critical patent/TWI790600B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Abstract

一種區域式視訊影像插補裝置，包括：一影像區域分割電路，將輸入視訊信號中之各影像及後續影像分別分割為複數個第一區域及第二區域以得到複數張第一區域影像及第二區域影像；複數個視訊影像插補電路，對相同位置的第一區域影像及第二區域影像進行移動補償畫面插補處理以得到一或多張插補區域影像，並依據各第一區域之原始幀率及播放幀率以對各第一區域之參考影像及插補區域影像進行幀率轉換處理以得到區域輸出影像；以及一區域影像合成電路，用以將各視訊影像插補電路所產生之區域輸出影像疊合以產生輸出視訊信號之輸出影像。

Description

區域式視訊影像插補裝置及其方法
本發明係有關於視訊處理，特別是有關於一種區域式視訊影像插補裝置及其方法。
當傳統的視訊影像插補裝置在進行視訊幀率轉換(video frame rate conversion)所使用移動估計(motion estimation)及移動補償(motion compensation)之技術都是以整張畫面進行處理。然而，隨著視訊應用愈來愈廣泛，在電腦上可能會同時播放兩種不同幀率的影片(例如25Hz及30Hz)、或者是使用者介面(UI)的顯示幀率與輸入視訊信號的原始幀率不同，例如使用者介面之顯示幀率為60Hz，且原始幀率為24Hz。在此情況下，傳統的視訊影像插補裝置所執行的移動估計/移動補償的視訊幀率轉換會產生異常情況，例如畫面跳動的情況。
因此，需要一種區域式視訊影像插補裝置及其方法以解決上述問題。
本發明係提供一種區域式視訊影像插補裝置，包括：一影像區域分割電路，用以將一輸入視訊信號中之各影像及相應的後續影像分別分割為複數個第一區域及複數個第二區域以得到各影像相應的複數張第一區域影像、以及該後續影像相應的複數張第二區域影像；複數個視訊影像插補電路，其中各視訊影像插補電路係用以對在各影像及該後續影像中之相同位置的該第一區域影像及該第二區域影像進行移動補償畫面插補處理以得到一或多張插補區域影像，其中各視訊影像插補電路係依據各第一區域之參考影像序列的原始幀率以及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對各第一區域之參考影像及該一或多張插補區域影像進行幀率轉換處理以得到一區域輸出影像；以及一區域影像合成電路，用以將各視訊影像插補電路所產生之該區域輸出影像疊合以產生該輸出視訊信號之輸出影像。
在一些實施例中，該影像區域分割電路係從該區域式視訊影像插補裝置所設置之一電子裝置取得該輸入視訊信號中各影像之各第一區域的位置資訊，其中該等第一區域包括一使用者介面及一或多個影片顯示區域。在另一些實施例中，該影像區域分割電路係使用邊緣偵測技術以偵測在輸入視訊信號之各影像及該後續影像中的方框，並據以判斷該輸入視訊信號中各影像之各第一區域的位置資訊，其中該等第一區域包括一使用者介面及一或多個影片顯示區域。
在一些實施例中，各視訊影像插補電路係執行至少三種影像分層處理以將相應的該第一區域影像分割為第一影像層及第一字幕層，並將相應的該第二區域影像分割為第二影像層及第二字幕層。各視訊影像插補電路並依據各影像分層處理所產生之各影像的該第一影像層及該第一字幕層、及該後續影像的該第二影像層及該第二字幕層以得到一參考影像層序列及一參考字幕層序列。各視訊影像插補電路並使用各影像分層處理所產生的該參考影像層序列及該參考字幕層序列以分別進行移動估計。各視訊影像插補電路並適應性地決定相應於各影像分層處理具有最小移動誤差的該移動估計所產生在該參考影像層序列之各參考影像層中之各區塊相應的第一移動向量及在該參考字幕層序列之各參考字幕層中之各區塊相應的第二移動向量，並據以進行移動補償處理以分別產生一或多張插補影像層影像及一或多張插補字幕層影像。
在一些實施例中，各視訊影像插補電路將該參考影像層序列及該參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像。各視訊影像插補電路並依據各第一區域之該參考影像序列的該原始幀率及該輸出視訊信號之該播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該區域輸出影像。
本發明更提供一種區域式視訊影像插補方法，用於一區域式視訊影像插補裝置，該方法包括：將一輸入視訊信號中之各影像及相應的後續影像分別分割為複數個第一區域及複數個第二區域以得到各影像相應的複數張第一區域影像、以及該後續影像相應的複數張第二區域影像；對在各影像及該後續影像中之相同位置的該第一區域影像及該第二區域影像進行移動補償畫面插補處理以得到一或多張插補區域影像；依據各第一區域之參考影像序列的原始幀率以及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對各第一區域之參考影像及該一或多張插補區域影像進行幀率轉換處理以得到一區域輸出影像；以及將各移動補償畫面插補電路所產生之該區域輸出影像疊合以產生該輸出視訊信號之輸出影像。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的"包含"、"包括"等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
第1圖為依據本發明一實施例中之區域式視訊影像插補裝置的方塊圖。
區域式視訊影像插補裝置100例如可設置於一電子裝置中，例如電視、電腦螢幕、投影機、智慧型手機、平板電腦、筆記型電腦，用以執行移動補償畫面插補以進行幀率轉換(frame rate conversion)。在一實施例中，區域式視訊影像插補裝置100包括運算電路160、揮發性記憶體120及傳輸介面140。視訊影像插補裝置100可經由傳輸介面140以接收輸入視訊信號，其中該輸入視訊信號具有輸入幀率(frame rate)。運算電路160則執行區域式視訊影像插補以將該輸入視訊信號轉換為輸出視訊信號，並將該輸出視訊信號以播放幀率在顯示裝置20播放，其中播放幀率大於或等於輸入幀率。顯示裝置20例如可為電視、電腦顯示器、投影機、智慧型手機、平板電腦、筆記型電腦之顯示螢幕，但本發明並不限於此。
在一些實施例中，運算電路160例如可為應用程式導向積體電路(application-specific integrated circuit，ASIC)或是具有相同功能之邏輯電路所實現。
揮發性記憶體120例如可用動態隨機存取記憶體(dynamic random access memory)或靜態隨機存取記憶體(static random access memory)所實現，但本發明並不限於此。傳輸介面140例如為高畫質多媒體介面(high definition multimedia interface，HDMI)、顯示埠(DisplayPort)或視訊圖形陣列(video graphics array，VGA)介面，但本發明並不限於此。揮發性記憶體120可做為一影像緩衝器(image buffer)，用以儲存欲輸出至顯示裝置20之影像。
在一實施例中，輸入視訊信號之內容例如包括一或多種原始幀率不同的顯示內容，例如電影影片為24Hz、使用者介面為60Hz、電視劇為25或30Hz等等。此外，外部裝置例如是將相應時間點之字幕疊加於不同的視訊內容的各原始影像的上方以得到輸入視訊信號中的各種顯示內容，故輸入視訊信號的輸入影像序列中之不同顯示內容可包含字幕，其中上述字幕可包含固定式字幕及/或移動式字幕(例如彈幕或片尾字幕)。
第2A圖為依據本發明一實施例中之運算電路的示意圖。
如第2A圖所示，運算電路160包括影像區域分割電路161A－161B、視訊影像插補電路110A～110D、區域影像合成電路190及播放控制電路192。影像F n及F n+1表示在輸入視訊信號中之時間點n及n+1所對應的RGB影像。
舉例來説，影像F n及F n+1可包括多個視窗或區域，且各區域中之視訊信號之內容的原始幀率可能不同，故影像區域分割電路161A－161B可執行影像區域分割處理以將影像F n及F n+1分別分割為相應的多個區域，例如影像F n可分割為區域影像171A～174A，且影像F n+1可分割為區域影像171B～174B。舉例來説，在第2C圖中的影像270例如為影像F n，且影像區域分割電路161A係將影像270分割為區域A1～A4以分別得到區域影像271～274。
在一實施例中，影像區域分割電路161A－161B可從區域式視訊影像插補裝置100所設置之電子裝置的晶片系統或中央處理器取得在輸入視訊信號中之不同區域的位置資訊，例如包括使用者介面及一或多個影片顯示區域之位置資訊。因此，影像區域分割電路161A－161B可依據上述位置資訊以將影像F n及F n+1分別分割為區域影像171A～174A及171B～174B。
在另一實施例中，影像區域分割電路161A－161B可利用本發明領域中的影像邊緣偵測技術以偵測在輸入視訊信號之各影像及後續影像中的方框，並據以判斷使用者介面及影片顯示區域之位置資訊。因此，影像區域分割電路161A－161B可依據上述位置資訊以將影像F n及F n+1分別分割為區域影像171A～174A及171B～174B。
在一些實施例中，視訊影像插補電路110A～110D係分別對在影像F n及F n+1中相同位置的區域影像執行移動估計，再進行移動補償以計算出在區域影像之間的一或多張插補區域影像。
在另一些實施例中，視訊影像插補電路110A～110D可用第2B圖中的視訊影像插補電路110所實現，其可執行適應性移動補償畫面插補處理，例如可將輸入視訊信號之各影像利用不同影像分層方式分割為字幕層及影像層，並且適應性地選擇具有最小誤差之移動估計結果進行移動補償。
區域影像合成電路190係用以將各移動補償畫面插補電路在各輸出時間戳所產生之該區域輸出影像疊合以產生該輸出視訊信號之輸出影像。舉例來説，視訊影像插補電路110A～110D在各輸出時間戳均會產生相應的區域輸出影像，故區域影像合成電路190將同時輸出時間戳的各區域輸出影像疊合即可得到該輸出時間戳的輸出影像。舉例來説，若視訊影像插補電路110A～110D分別產生區域輸出影像281～284，則區域影像合成電路190可將區域輸出影像281～284疊合以產生輸出影像280，如第2D圖所示。
第2B圖為依據本發明第2A圖實施例中之視訊影像插補電路的示意圖。
在第2A圖中的視訊影像插補電路110A～110D例如可用第2B圖中之視訊影像插補電路110所實現。如第2B圖所示，適應性移動補償畫面插補處理200包含影像分層電路211A～211B、212A～212B及213A～213B、移動估計電路220A～220C、移動估計篩選電路230、畫面插補評估電路240、移動補償畫面插補電路250及播放控制電路260。
影像F n及F n+1表示在第一影像序列中之時間點n及n+1所對應的RGB影像。舉例來説，影像分層電路211A～211B、212A～212B及213A～213B是以不同影像分割演算法將影像F n及F n+1分別分割為影像層及字幕層。
在一實施例中，影像分層電路211A及211B例如是採用固定亮度分層的方式將輸入影像(例如為RGB影像)分離為字幕層及影像層。舉例來説，影像分層電路211A及211B係將輸入影像的各像素進行RGB至YUV轉換以得到一灰階影像，其中灰階影像之各像素的灰階值Y可用式(1)計算而得： Y=0.30R+0.59G+0.11B                                  (1)
其中，R、G、B分別表示在輸入影像中之各像素中的紅色子像素、綠色子像素及藍色子像素的亮度值。若R、G、B之數值介於0至255，則灰階值Y則同樣會介於0至255。影像分層電路211A及211B可設定一亮度閾值比例(例如介於0至1之間)以從輸入影像中過濾出字幕層，其中該亮度閾值比例為可調整參數。舉例來説，若該亮度閾值比例為0.95，則影像分層電路211A及211B可計算出對應的亮度閾值為255*0.95，約等於亮度值242。因此，影像分層電路211A及211B係將在灰階影像中之灰階值大於或等於亮度閾值的像素設定為字幕層相應的像素，並且將在灰階影像中之灰階值小於亮度閾值的像素設定為影像層相應的像素。因此，影像分層電路211A及211B可依據灰階影像中被標記為字幕層及像素層的像素以將輸入影像中的字幕層及影像層進行分離。
舉例來説，影像Fn經過影像分層電路211A可得到字幕層F n_L1T及影像層F n_L1V，且影像F n+1經過影像分層電路211B可得到字幕層F n+1_L1T及影像層F n+1_L1V。舉例來説，第4圖中之影像400例如為影像F n的示意圖，且影像400經過影像分層電路211A可得到影像410及420，其中影像410及420例如分別為字幕層F n_L1T及影像層F n_L1V。需注意的是，在影像410中除了字幕層F n_L1T之外的影像部分均為黑色(即亮度=0)，在影像420中與字幕層F n_L1T相應的像素均為黑色。
在一實施例中，影像分層電路212A及212B例如是採用動態亮度分層的方式將輸入影像(例如為RGB影像)分離為字幕層及影像層。舉例來説，影像分層電路212A及212B同樣將輸入影像的各像素進行RGB至YUV轉換以得到一灰階影像，其中灰階影像之各像素的灰階值Y可用式(1)計算而得。接著，影像分層電路212A及212B係對灰階影像進行統計以得到該灰階影像之直方圖(histogram)300，如第3A圖所示。
影像分層電路212A及212B並對該直方圖進行等化處理(equalization)，以得到等化直方圖310，如第3B圖所示。假定灰階值Y同樣介於0至255之間，若在直方圖300中的統計數值較集中在某個區域(例如高亮度、低亮度或中間亮度)，經過等化處理後，在等化直方圖310中之統計數值可較為均勻地分布在0至255之間。
影像分層電路212A及212B並設定第一過濾閾值比例以使用該等化直方圖310將輸入影像分離為字幕層及影像層，其中該過濾閾值比例為可調整參數。舉例來説，假定第一過濾閾值比例為0.95，影像分層電路212A及212B會將在等化直方圖310中大於或等於該第一過濾閾值比例的像素標記為字幕層，並將在等化直方圖310中小於該第一過濾閾值比例的像素標記為影像層，意即影像分層電路212A及212B會將在該等化直方圖310中之前5%的像素標記為字幕層，並將在該等化直方圖310中之95%內的像素標記為影像層。因此，影像分層電路212A及212B可依據上述字幕層標記及影像層標記以將輸入影像分離為字幕層及影像層。
換言之，影像F n經過影像分層電路212A可得到字幕層F n_L2T及影像層F n_L2V，且影像F n+1經過影像分層電路212B可得到字幕層F n+1_L2T及影像層F n+1_L2V。需注意的是，影像分層電路212A及212B係採用第一過濾閾值比例以對等化直方圖中的像素進行分層，無論灰階影像之整體亮度是偏亮或偏暗，影像分層電路212A及212B均可過濾出相對較亮的像素以標記為字幕層，並將相對較暗的像素標記為影像層。
在一實施例中，影像分層電路213A及213B例如是採用區塊對比度分層的方式將輸入影像(例如為RGB影像)分離為字幕層及影像層。舉例來説，影像分層電路212A及212B同樣將輸入影像的各像素進行RGB至YUV轉換以得到一灰階影像，其中灰階影像之各像素的灰階值Y可用式(1)計算而得。影像分層電路212A及212B並將灰階影像分割為N*N個區域，並分別對每個區域進行直方圖統計，其中N為可調整參數(例如為大於或等於2的正整數)，例如50、100等等，但本發明並不限於此。
影像分層電路212A及212B並對各區塊相應的直方圖進行等化處理(equalization)，以得到各區塊相應的等化直方圖。假定灰階值Y同樣介於0至255之間，若在各區塊相應的直方圖中的統計數值較集中在某個區域(例如高亮度、低亮度或中間亮度)，經過等化處理後，在各區塊相應的等化直方圖中之統計數值可較為均勻地分布在0至255之間。
影像分層電路212A及212B並設定第二過濾閾值比例以使用各區塊相應的等化直方圖將輸入影像分離為字幕層及影像層，其中第二過濾閾值比例為可調整參數。舉例來説，假定第二過濾閾值比例為0.8，影像分層電路212A及212B會將在各區塊相應的等化直方圖中大於或等於該第二過濾閾值比例的像素標記為字幕層，並將在各區塊相應的等化直方圖中小於該第二過濾閾值比例的像素標記為影像層，意即影像分層電路212A及212B會將在各區塊相應的等化直方圖中之前20%的像素標記為字幕層，並將在各區塊相應的等化直方圖中之80%內的像素標記為影像層。因此，影像分層電路212A及212B可依據各區塊之像素的字幕層標記及影像層標記以將輸入影像分離為字幕層及影像層。
換言之，影像F n經過影像分層電路213A可得到字幕層F n_L3T及影像層F n_L3V，且影像F n+1經過影像分層電路213B可得到字幕層F n+1_L3T及影像層F n+1_L3V。
需注意的是，本發明中之影像分層電路的數量並不限定於3種(例如可為3種或以上)，且將影像F n及F n+1分離而得的階層也不限定於僅有影像層及字幕層，需視各影像分層電路實際所使用的影像分割演算法而定。此外，字幕通常會採用亮度相對較高的文字，因此，影像分層電路211A～211B、212A～212B及213A～213B可利用此特性以從影像F n及F n+1分離出各自的影像層及字幕層。
在一實施例中，移動估計電路220A～220C之輸入均包含影像Fn所分離而得的影像層及字幕層、以及影像Fn+1所分離而得的影像層及字幕層。舉例來説，移動估計電路220A之輸入為影像分層電路211A所產生的字幕層F n_L1T及影像層F n_L1V、以及影像分層電路211B所產生的字幕層F n+1_L1T及影像層F n+1_L1V。移動估計電路220A係用以對字幕層F n_L1T及F n+1_L1T進行移動估計，並且對影像層F n_L1V及F n+1_L1V進行移動估計。
在對字幕層及影像層進行移動估計之前，移動估計220A～220C分別包括幀率偵測電路221A～221C以偵測輸入視訊信號之內容的原始幀率。舉例來説，區域式視訊影像插補裝置100例如可透過傳輸介面140接收來自一主機(未繪示)的輸入視訊信號，若傳輸介面140為HDMI介面，則輸入視訊信號的輸入幀率通常是60Hz。然而，主機可能是對某個電影影片(例如原始影片幀率為24Hz)進行畫面插補以符合60Hz之幀率，但主機進行對於24Hz的電影影片之畫面插補方式可透過3：2之重複幀(repeated frame)的方式將24Hz的影片轉換為60Hz的視訊信號。
雖然區域式視訊影像插補裝置100可得知輸入視訊信號之輸入幀率，但區域式視訊影像插補裝置100並無法直接得知輸入視訊信號之內容的原始幀率。當區域式視訊影像插補裝置100欲產生高於60Hz的顯示幀率的輸出視訊信號時，若區域式視訊影像插補裝置100是直接使用輸入視訊信號的各影像進行移動補償畫面插補，則產生的輸出視訊信號會產生明顯的畫面跳動問題。本發明中的幀率偵測電路221A～221C可利用揮發性記憶體120儲存連續多張字幕層及影像層之影像以判斷輸入視訊信號之內容的原始幀率，例如是24Hz、25Hz、30Hz、60Hz等等，但本發明並不限於此。幀率偵測電路221A～221C可利用本發明領域中習知的幀率偵測技術以從各影像分層電路所產生的字幕層序列及影像層序列得到參考字幕層序列及參考影像層序列(意即為輸入視訊信號之內容的原始影像序列之字幕層序列及影像層序列)。
當幀率偵測電路221A已得到參考字幕層序列(例如包括參考字幕層RF n_L1T之序列)及參考影像層序列(例如包括參考影像層RF n_L1V之序列)後，移動估計電路220A係將參考字幕層RF n_L1T及參考影像層RF n_L1V均分割為N*N個區塊，其中N為可調整參數(例如為大於或等於2的正整數)，例如50、100等等，但本發明並不限於此。
在一實施例中，移動估計電路220A～220C係使用區塊比對(block matching)演算法進行移動估計。舉例來説，移動估計電路220A係將參考影像層RF n_L1V中之各區塊在參考影像層RF n+1_L1V之相對位置的區塊進行周圍n個像素旋轉及偏移的比對。舉例來説，移動估計電路220A可對參考影像層RF n_L1V中之各區塊進行正負15度的旋轉及移動以在參考影像層RF n+1_L1V中找到差異最小的位置及角度的相應區塊以計算出參考影像層RF n_L1V中之各區塊相應的第一移動向量(motion vector)，其中上述差異值可利用平均絕對差值(MAD，mean absolute difference)或是均方誤差(MSE, mean squared error)，但本發明並不限於此。
換言之，移動估計電路220A可將參考影像層RF n+1_L1V之相應區塊的位置減去參考影像層RF n_L1V之各區塊的位置以得到參考影像層RF n_L1V之各區塊的第一移動向量。移動估計電路220A可依據類似方式以計算出參考字幕層RF n_L1T中之各區塊相應的第二移動向量。
類似地，移動估計電路220B可計算出參考影像層RF n_L2V及參考字幕層RF n_L2T中之各區塊相應的移動向量。移動估計電路220C可計算出參考影像層RF n_L3V及參考字幕層RF n_L3T中之各區塊相應的移動向量。
移動估計篩選電路230係用以判斷移動估計電路220A、220B及220C中何者的移動估計結果為最準確的移動估計結果，並使用判斷最準確(例如移動誤差最小)的移動估計結果做為後續動態補償畫面插補處理所使用的移動估計結果。舉例來説，當移動估計電路220A已計算出參考影像層RF n_L1V及參考字幕層RF n_L1T中之各區塊相應的移動向量，移動估計篩選電路230可將參考影像層RF n_L1V及參考字幕層RF n_L1T中之各區塊依據相應的移動向量進行移動補償而得到第一移動補償(motion compensated)影像層及第一移動補償字幕層。移動估計篩選電路230並將第一移動補償影像層及第一移動補償字幕層分別減去參考影像層RF n+1_L1V及參考字幕層RF n+1_L1T以得到影像層差值影像及字幕層差值影像，並計算在影像層差值影像及字幕層差值影像之各像素的第一絕對差值總和以做為相應的第一移動誤差。
依據類似方式，移動估計電路220B可計算出第二移動補償影像層及第二移動補償字幕層之各像素的第二移動誤差，且移動估計電路220C可計算出第三移動補償影像層及第三移動補償字幕層之各像素的第三移動誤差。
接著，移動估計篩選電路230係比較第一移動誤差、第二移動誤差及第三移動誤差以決定一最小移動誤差，並將最小移動誤差相應的參考影像層及參考字幕層中之各區塊相應的移動向量傳送至移動補償畫面插補電路(motion compensated frame interpolation circuit)242及畫面插補評估電路(frame interpolation evaluation circuit)240。
若移動估計電路220A之移動估計具有最小移動誤差，畫面插補評估電路240係判斷參考影像層RF n_L1V及RF n+1_L1V之間是否有移動差異，並且判斷參考字幕層RF n_L1T及RF n+1_L1T之間是否有移動差異。舉例來説，畫面插補評估電路240可將參考影像層RF n_L1V及參考字幕層RF n_L1T分別減去參考影像層RF n+1_L1V及參考字幕層RF n+1_L1T，並分別統計影像層差值影像及字幕層差值影像的各像素之絕對差值總和以進行判斷。換言之，因為參考影像RF n係由參考字幕層RF n_L1T及參考影像層RF n_L1V所組成，且參考影像RF n+1係由參考字幕層RF n+1_L1T及參考影像層RF n+1_L1V所組成，故畫面插補評估電路240可判斷參考影像RF n及RF n+1之間是否有移動差異。若移動估計電路220B或220C之移動估計具有最小移動誤差，則畫面插補評估電路240可用類似方式進行判斷。
當畫面插補評估電路240判斷參考影像RF n及RF n+1之間有移動差異(或是移動差異大於或等於預定值)，則畫面插補評估電路240會產生一移動補償畫面插補致能信號MCFI_EN，其例如為高邏輯狀態。當畫面插補評估電路240判斷參考影像RF n及RF n+1之間沒有移動差異(或是移動差異小於預定值)，則畫面插補評估電路240可判斷參考影像RF n及RF n+1之間不需進行移動補償畫面插補電路250，故畫面插補評估電路240所產生的移動補償畫面插補致能信號MCFI_EN例如處於低邏輯狀態。
此外，畫面插補評估電路240係依據輸入視訊信號之內容的原始幀率(註：與輸入視訊信號的輸入幀率可能不同，原始幀率≦輸入幀率)及輸出視訊信號的播放幀率以計算在參考影像RF n及參考影像RF n+1之間需要進行移動補償畫面插補的影像數量M，其中原始幀率及播放幀率亦可分別用iFrame_Rate及oFrame_Rate表示，其中原始幀率iFrame_Rate及播放幀率oFrame_Rate之關係需滿足式(2)：
Figure 02_image001
畫面插補評估電路240並將所計算出的影像數量M傳送至移動補償畫面插補電路250。移動補償畫面插補電路250則依據影像數量M以計算出參考影像Fn及參考影像Fn+1之間的插補影像F int_1、F int_2、…、F int_M，如第5A圖所示。舉例來説，若原始幀率iFrame_Rate=25且播放幀率oFrame_Rate=60，則M=1，意即移動補償畫面插補電路250需計算在參考影像F n及參考影像F n+1之間的1張插補影像。
若原始幀率iFrame_Rate=25且播放幀率oFrame_Rate＝120，意即移動補償畫面插補電路250需計算出在參考影像RF n及參考影像RF n+1之間的3張插補影像F int_1、F int_2及F int_3，如第5B圖所示。當移動補償插補致能信號為高邏輯狀態，則在移動補償畫面插補電路250中，移動補償畫面插補電路250需經由移動補償以計算出在參考影像RF n及參考影像F n+1之間的插補影像F int_1、F int_2及F int_3。當移動補償插補致能信號MCFI_EN為低邏輯狀態，表示參考影像RF n及參考影像RF n+1之間並無移動差異，則移動補償畫面插補電路250可將參考影像RF n複製為插補影像F int_1、F int_2及F int_3。
在一實施例中，當移動估計篩選電路230已決定在參考影像RF n中之特定區塊B0到參考影像RF n+1的移動向量為MV(例如是由移動估計電路220A計算而得)，如第5C圖所示，則移動補償畫面插補電路250可計算出在參考影像RF n中之該特定區塊B0到插補影像F int_1、F int_2及F int_3所對應的移動向量則分別為0.25MV、0.5MV及0.75MV，其中參考影像RF n中之特定區塊B0與插補影像F int_1中之特定區塊B0之間的移動向量如第5D圖所示。
換言之，若參考影像RFn中之特定區塊B0的位置為RFn_B0，則在插補影像Fint_1之特定區塊B0的位置可用式(3)表示：
Figure 02_image003
類似地，在參考影像RF n中之各區塊在插補影像Fint_2及Fint_3中之相應位置則可分別利用式(4)及式(5)計算而得：
Figure 02_image005
Figure 02_image007
因此，在參考影像RF n中之各區塊在插補影像F int_1、F int_2及F int_3中的相應位置可利用類似方式計算而得。
需注意的是，上述實施例中之參考影像RF n及RF n+1可替代為參考影像層或參考字幕層，故亦分別適用於參考影像層及參考字幕層的移動補償，且移動補償畫面插補電路250可依據類似方式分別計算出參考影像層及參考字幕層在各插補影像之部分插補影像，並其疊合以得到完整的各插補影像。
當移動補償畫面插補電路250已計算出在參考影像RF n及RF n+1之間的插補影像F int_1、F int_2、…、F int_M後，移動補償畫面插補電路250係將插補影像F int_1、F int_2、…、F int_M儲存於揮發性記憶體120，並且決定在輸出視訊信號中之影像輸出順序以滿足輸出視訊信號的播放幀率。
詳細而言，移動補償畫面插補電路250在計算出在參考影像RF n及RF n+1之間的插補影像F int_1、F int_2、…、F int_M後，有可能仍然未滿足輸出視訊信號所需的每秒播放幀數。舉例來説，若原始幀率iFrame_Rate=25且播放幀率oFrame_Rate＝120，移動補償畫面插補電路250會計算出在參考影像RF n及RF n+1之間的3張插補影像F int_1、F int_2及F int_3。換言之，輸入視訊信號在每秒鐘內有25張影像，但經過移動補償畫面插補電路250產生插補影像F int_1、F int_2及F int_3後，僅能達到每秒鐘100張影像，尚未滿足輸出視訊信號所需的幀數。因此，當區域式視訊影像插補裝置100在產生輸出視訊信號時，播放控制電路260會執行幀率轉換處理以將輸入視訊信號轉換為滿足播放幀率的輸出視訊信號。
舉例來説，在參考影像序列中的各參考影像RFn均具有對應的時間戳RF n_t，如表1所示：
參考 影像 RF0 RF1 RF2 RF3 RF4 RF5 RF6 RF7 RF8 RF9
時間戳 RF 0_t RF 1_t RF 2_t RF 3_t RF 4_t RF 5_t RF 6_t RF 7_t RF 8_t RF 9_t
時間 (ms) 0 40 80 120 160 200 240 280 320 360
表1
移動補償畫面插補電路250所產生的插補影像F int_1～F int_M亦有相應的時間戳。移動補償畫面插補電路250係將參考影像序列中之各參考影像RF n及插補影像F int_1～F int_M整理為第一視訊序列，並指派對應的時間戳至第一視訊序列之各影像，例如在第一視訊序列的各影像MFn具有相應的時間戳MFn_t。為了便於說明，若在參考影像序列中的兩相鄰參考影像之間使用移動補償以加入1張插補影像，則可得到表2-1及表2-2所示的第一視訊序列：
影像 MF0 MF1 MF2 MF3 MF4 MF5 MF6 MF7 MF8 MF9
時間戳 MF 0_t MF 1_t MF 2_t MF 3_t MF 4_t MF 5_t MF 6_t MF 7_t MF 8_t MF 9_t
時間 (ms) 0 20 40 60 80 100 120 140 160 180
表2-1
影像 MF 10 MF 11 MF 12 MF 13 MF 14 MF 15 MF 16 MF 17 MF 18
時間戳 MF 10_t MF 11_t MF 12_t MF 13_t MF 14_t MF 15_t MF 16_t MF 17_t MF 18_t
時間 (ms) 200 220 240 260 280 300 320 340 360
表2-2
其中，影像MF0、MF2、MF4、…、MF18係分別對應參考影像RF0～RF9。影像MF1、MF3、…、MF17則為插補影像，其對應的時間戳則是在兩相鄰參考影像的時間戳的中間，例如參考影像RF0及RF1(對應於影像MF0及MF2)的時間戳分別在0及40ms，則參考影像RF0及RF1之間的插補影像(對應於影像MF1)的時間戳則在0及40ms的中間，即20ms。
此外，在輸出視訊序列中的各輸出影像OFn亦具有相應的時間戳OFn_t。為了便於說明，假定輸出視訊信號的播放幀率為每幀之間間隔18ms，則可得到表3-1及表3-2所示的輸出視訊序列：
輸出影像 OF0 OF1 OF2 OF3 OF4 OF5 OF6 OF7 OF8 OF9 OF 10
時間戳 OF 0_t OF 1_t OF 2_t OF 3_t OF 4_t OF 5_t OF 6_t OF 7_t OF 8_t OF 9_t OF 10_t
時間 (ms) 0 18 36 54 72 90 108 126 144 162 180
表3-1
輸出影像 OF 11 OF 12 OF 13 OF 14 OF 15 OF 16 OF 17 OF 18 OF 19 OF 20
時間戳 OF 11_t OF 12_t OF 13_t OF 14_t OF 15_t OF 16_t OF 17_t OF 18_t OF 19_t OF 20_t
時間 (ms) 198 216 234 252 270 288 306 324 342 360
表3-2
播放控制電路260例如可依據式(6)之內容以執行幀率轉換處理：
Figure 02_image009
其中MF m_t為最接近輸出影像OFn的時間戳。
舉例來説，第一視訊序列的影像MF0～MF19都是儲存於揮發性記憶體120中。當播放控制電路260欲產生輸出影像OF3時，因為輸出影像OF3的時間戳OF3_t對應於54毫秒(ms)，播放控制電路260會判斷影像MF3最接近輸出影像OF3，且時間戳OF3_t對應的時間係小於影像MF3之時間戳MF3_t所對應的時間，故播放控制電路260會選擇影像MF2做為輸出影像OF3。當播放控制電路260欲產生輸出影像OF10時，因為輸出影像OF10的時間戳OF10_t對應於180毫秒(ms)，播放控制電路260會判斷影像MF9最接近輸出影像OF10，且時間戳OF10_t對應的時間係等於影像MF9之時間戳MF9_t所對應的時間，故播放控制電路260會選擇影像MF9做為輸出影像OF10。當播放控制電路260欲產生輸出影像OF16時，因為輸出影像OF16的時間戳OF16_t對應於288毫秒(ms)，播放控制電路260會判斷影像MF14最接近輸出影像OF16，且時間戳OF16_t對應的時間係大於影像MF14之時間戳MF14_t所對應的時間，故播放控制電路260會選擇影像MF14做為輸出影像OF16。因此，播放控制電路260可使用類似方式以得到輸出視訊序列中的各輸出區域影像。
第6圖為依據本發明一實施例中之區域式視訊影像插補方法的流程圖。請同時參考第2A～2B圖及第6圖。
在步驟S610，將一輸入視訊信號中之各影像及相應的後續影像分別分割為複數個第一區域及複數個第二區域以得到各影像相應的複數個第一區域影像、以及該後續影像相應的複數個第二區域影像。舉例來説，影像區域分割電路161A－161B可從區域式視訊影像插補裝置100所設置之電子裝置的晶片系統或中央處理器取得在輸入視訊信號中之不同區域的位置資訊，例如包括使用者介面及一或多個影片顯示區域之位置資訊。此外，影像區域分割電路161A－161B亦可利用本發明領域中的影像邊緣偵測技術以偵測在輸入視訊信號之各影像及後續影像中的方框，並據以判斷使用者介面及影片顯示區域之位置資訊。因此，影像區域分割電路161A－161B可依據上述位置資訊以將影像F n及F n+1分別分割為區域影像171A～174A及171B～174B。
在步驟S620，對在各影像及該後續影像中之相同位置的該第一區域影像及該第二區域影像進行移動補償畫面插補處理以得到一或多張插補區域影像。舉例來説，視訊影像插補電路110A～110D係分別對在影像F n及F n+1中相同位置的區域影像進行移動估計，再進行移動補償以計算出在區域影像之間的一或多張插補區域影像。此外，視訊影像插補電路110A～110D可用第2B圖中的視訊影像插補電路110所實現，其可執行適應性移動補償畫面插補處理，例如可將輸入視訊信號之各影像利用不同影像分層方式分割為字幕層及影像層，並且適應性地選擇具有最小誤差之移動估計結果進行移動補償。
在步驟S630，依據各第一區域之參考影像序列的原始幀率以及該視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對各第一區域之參考影像及該一或多張插補區域影像進行幀率轉換處理以得到區域輸出影像。舉例來説，各第一區域中之參考影像序列的原始幀率可能彼此不同，故視訊影像插補電路110A～110D可依據各第一區域之原始幀率及輸出視訊信號之播放幀率對各第一區域之參考影像及該一或多張插補區域影像進行幀率轉換處理以得到區域輸出影像，藉以避免在各第一區域出現因為移動補償插補而出現畫面的跳動之情況。
在步驟S640，將各移動補償畫面插補電路在各輸出時間戳所產生之該區域輸出影像疊合以產生該輸出視訊信號之輸出影像。舉例來説，視訊影像插補電路110A～110D在各輸出時間戳均會產生相應的區域輸出影像，故區域影像合成電路190將同時輸出時間戳的各區域輸出影像疊合即可得到該輸出時間戳的輸出影像。
綜上所述，本發明係提供一種區域式視訊影像插補裝置及區域式視訊影像方法，其可針對輸入視訊信號中之不同區域中具有不同原始幀率視訊內容分別進行相應的移動補償畫面插補處理，故可解決傳統區域式視訊影像插補裝置在輸入視訊信號中存在有兩種不同原始幀率之視訊內容進行移動補償畫面插補會產生明顯畫面跳動的問題。此外，本發明之區域式視訊影像插補裝置及區域式視訊影像方法更可執行適應性移動補償畫面插補處理以針對輸入視訊信號中之各區域的字幕層及影像層分別進行移動估計/移動補償，藉以得到更佳的視訊影像插補效果，進而增加使用者體驗。
於申請專利範圍中使用如"第一"、"第二"、"第三"等詞係用來修飾申請專利範圍中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
20:顯示裝置 100:區域式視訊影像插補裝置 110、110A-110D:視訊影像插補電路 120:揮發性記憶體 140:傳輸介面 160:運算電路 161A-161B:影像區域分割電路 171A-174A、171B-174B:區域影像 181:區域輸出影像 190:區域影像合成電路 192:播放控制電路 211A～211B、212A～212B、213A～213B:影像分層電路 220A～220C:移動估計電路 221A～221C:幀率偵測電路 230:移動估計篩選電路 240:畫面插補評估電路 250:移動補償畫面插補電路 260:播放控制電路 270:影像 271～274:區域影像 280:輸出影像 281～284:區域輸出影像 300:直方圖 310:等化直方圖 400、410、420:影像 S610－S640:步驟 A1～A4:區域 F n、F n+1:影像 RF n、RF n+1:參考影像 F int_1、F int_2、F int_3、F int_M:插補影像 F n_L1T、F n_L2T、F n_L3T:字幕層 F n_L1V、F n_L2V、F n_L3V:影像層 F n+1_L1T、F n+1_L2T、F n+1_L3T:字幕層 F n+1_L1V、F n+1_L2V、F n+1_L3V:影像層 M:影像數量 MCFI_EN:移動補償畫面插補致能信號 B0:特定區塊 MV:移動向量
第1圖為依據本發明一實施例中之區域式視訊影像插補裝置的方塊圖。 第2A圖為依據本發明一實施例中之運算電路的示意圖。 第2B圖為依據本發明第2A圖實施例中之移動補償畫面插補電路的示意圖。 第2C圖為依據本發明一實施例中影像分割為複數張區域影像的示意圖。 第2D圖為依據本發明一實施例中將複數張區域輸出影像疊合以產生輸出影像的示意圖。 第3A圖為依據本發明一實施例中之灰階影像的直方圖。 第3B圖為依據第3A圖實施例中之灰階影像的等化直方圖。 第4圖為依據本發明一實施例中將影像分割為影像層及字幕層的示意圖。 第5A圖為依據本發明一實施例中之影像及插補影像之順序的示意圖。 第5B圖為依據本發明一實施例中之影像及插補影像之順序的另一示意圖。 第5C圖為依據本發明一實施例中在影像之特定區塊至下一影像之移動向量的示意圖。 第5D圖為依據本發明一實施例中在影像之特定區塊至下一影像之移動向量的示意圖。 第6圖為依據本發明一實施例中之區域式視訊影像插補方法的流程圖。
20:顯示裝置
100:視訊影像插補裝置
120:揮發性記憶體
140:傳輸介面
160:運算電路

Claims (10)

  1. 一種區域式視訊影像插補裝置，包括： 一影像區域分割電路，用以將一輸入視訊信號中之各影像及相應的後續影像分別分割為複數個第一區域及複數個第二區域以得到各影像相應的複數張第一區域影像、以及該後續影像相應的複數張第二區域影像； 複數個視訊影像插補電路，其中各視訊影像插補電路係用以對在各影像及該後續影像中之相同位置的該第一區域影像及該第二區域影像進行移動補償畫面插補處理以得到一或多張插補區域影像，其中各視訊影像插補電路係依據各第一區域之參考影像序列的原始幀率以及該區域式視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對各第一區域之參考影像及該一或多張插補區域影像進行幀率轉換處理以得到一區域輸出影像；以及 一區域影像合成電路，用以將各視訊影像插補電路所產生之該區域輸出影像疊合以產生該輸出視訊信號之輸出影像。
  2. 如請求項1之區域式視訊影像插補裝置，其中該影像區域分割電路係從該區域式視訊影像插補裝置所設置之一電子裝置取得該輸入視訊信號中各影像之各第一區域的位置資訊，其中該等第一區域包括一使用者介面及一或多個影片顯示區域。
  3. 如請求項1之區域式視訊影像插補裝置，其中該影像區域分割電路係使用邊緣偵測技術以偵測在輸入視訊信號之各影像及該後續影像中的方框，並據以判斷該輸入視訊信號中各影像之各第一區域的位置資訊，其中該等第一區域包括一使用者介面及一或多個影片顯示區域。
  4. 如請求項1之區域式視訊影像插補裝置，其中各視訊影像插補電路係執行至少三種影像分層處理以將相應的該第一區域影像分割為第一影像層及第一字幕層，並將相應的該第二區域影像分割為第二影像層及第二字幕層； 其中，各視訊影像插補電路並依據各影像分層處理所產生之各影像的該第一影像層及該第一字幕層、及該後續影像的該第二影像層及該第二字幕層以得到一參考影像層序列及一參考字幕層序列， 其中，各視訊影像插補電路並使用各影像分層處理所產生的該參考影像層序列及該參考字幕層序列以分別進行移動估計； 其中，各視訊影像插補電路並適應性地決定相應於各影像分層處理具有最小移動誤差的該移動估計所產生在該參考影像層序列之各參考影像層中之各區塊相應的第一移動向量及在該參考字幕層序列之各參考字幕層中之各區塊相應的第二移動向量，並據以進行移動補償處理以分別產生一或多張插補影像層影像及一或多張插補字幕層影像。
  5. 如請求項4之區域式視訊影像插補裝置，其中各視訊影像插補電路將該參考影像層序列及該參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像； 其中，各視訊影像插補電路並依據各第一區域之該參考影像序列的該原始幀率及該輸出視訊信號之該播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該區域輸出影像。
  6. 一種區域式視訊影像插補方法，用於一區域式視訊影像插補裝置，該方法包括： 將一輸入視訊信號中之各影像及相應的後續影像分別分割為複數個第一區域及複數個第二區域以得到各影像相應的複數張第一區域影像、以及該後續影像相應的複數張第二區域影像； 對在各影像及該後續影像中之相同位置的該第一區域影像及該第二區域影像進行移動補償畫面插補處理以得到一或多張插補區域影像； 依據各第一區域之參考影像序列的原始幀率以及該區域式視訊影像插補裝置所播放之輸出視訊信號之一播放幀率以對各第一區域之參考影像及該一或多張插補區域影像進行幀率轉換處理以得到一區域輸出影像；以及 將各移動補償畫面插補電路所產生之該區域輸出影像疊合以產生該輸出視訊信號之輸出影像。
  7. 如請求項6之區域式視訊影像插補方法，更包括： 從該區域式視訊影像插補裝置所設置之一電子裝置取得該輸入視訊信號中各影像之各第一區域的位置資訊，其中該等第一區域包括一使用者介面及一或多個影片顯示區域。
  8. 如請求項6之區域式視訊影像插補方法，更包括： 使用邊緣偵測技術以偵測在輸入視訊信號之各影像及該後續影像中的方框，並據以判斷該輸入視訊信號中各影像之各第一區域的位置資訊，其中該等第一區域包括一使用者介面及一或多個影片顯示區域。
  9. 如請求項6之區域式視訊影像插補方法，更包括： 執行至少三種影像分層處理以將相應的該第一區域影像分割為第一影像層及第一字幕層，並將相應的該第二區域影像分割為第二影像層及第二字幕層； 依據各影像分層處理所產生之各影像的該第一影像層及該第一字幕層、及該後續影像的該第二影像層及該第二字幕層以得到一參考影像層序列及一參考字幕層序列； 使用各影像分層處理所產生的該參考影像層序列及該參考字幕層序列以分別進行移動估計；以及 適應性地決定相應於各影像分層處理具有最小移動誤差的該移動估計所產生在該參考影像層序列之各參考影像層中之各區塊相應的第一移動向量及在該參考字幕層序列之各參考字幕層中之各區塊相應的第二移動向量，並據以進行移動補償處理以分別產生一或多張插補影像層影像及一或多張插補字幕層影像。
  10. 如請求項9之區域式視訊影像插補方法，更包括： 將該參考影像層序列及該參考字幕層序列疊合以產生複數張參考影像，並將該一或多張插補影像層影像及一或多張插補字幕層影像疊合以產生一或多張插補影像；以及 依據各第一區域之該參考影像序列的該原始幀率及該輸出視訊信號之該播放幀率以對該等參考影像及該等插補影像進行幀率轉換處理以得到該區域輸出影像。
TW110114246A 2021-04-21 2021-04-21 區域式視訊影像插補裝置及其方法 TWI790600B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110114246A TWI790600B (zh) 2021-04-21 2021-04-21 區域式視訊影像插補裝置及其方法
US17/523,269 US11425331B1 (en) 2021-04-21 2021-11-10 Video-image-interpolation apparatus and method for adaptive motion-compensated frame interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110114246A TWI790600B (zh) 2021-04-21 2021-04-21 區域式視訊影像插補裝置及其方法

Publications (2)

Publication Number Publication Date
TW202242795A TW202242795A (zh) 2022-11-01
TWI790600B true TWI790600B (zh) 2023-01-21

Family

ID=82930206

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110114246A TWI790600B (zh) 2021-04-21 2021-04-21 區域式視訊影像插補裝置及其方法

Country Status (2)

Country Link
US (1) US11425331B1 (zh)
TW (1) TWI790600B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201123841A (en) * 2009-02-19 2011-07-01 Panasonic Corp Recording medium, playback device, integrated circuit
US8036273B2 (en) * 2001-09-17 2011-10-11 Nokia Corporation Method for sub-pixel value interpolation
CN103155547A (zh) * 2011-08-10 2013-06-12 松下电器产业株式会社 能够以高帧率记录逐行图片的记录介质、再现装置、记录装置、再现方法、记录方法
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123787A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法、および、プログラム
JP2014179818A (ja) * 2013-03-15 2014-09-25 Sony Corp 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036273B2 (en) * 2001-09-17 2011-10-11 Nokia Corporation Method for sub-pixel value interpolation
TW201123841A (en) * 2009-02-19 2011-07-01 Panasonic Corp Recording medium, playback device, integrated circuit
CN103155547A (zh) * 2011-08-10 2013-06-12 松下电器产业株式会社 能够以高帧率记录逐行图片的记录介质、再现装置、记录装置、再现方法、记录方法
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming

Also Published As

Publication number Publication date
TW202242795A (zh) 2022-11-01
US11425331B1 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
US7586540B2 (en) Image interpolation device and a frame rate converter and image display apparatus using the same
CN110545413B (zh) 用于执行高动态范围视频的色调映射的方法及装置
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
TW200945904A (en) Image interpolation with halo reduction
US7349030B2 (en) Segment buffer loading in a deinterlacer
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
US10096093B2 (en) Object speed weighted motion compensated interpolation
US8289446B2 (en) Intermediate frame occlusion estimation system using projected vectors
US20040160528A1 (en) Deinterlacer using both low angle and high angle spatial interpolation
US20080063308A1 (en) Frame interpolating circuit, frame interpolating method, and display apparatus
US8542322B2 (en) Motion compensated interpolation system using combination of full and intermediate frame occlusion
US20070103588A1 (en) System and method for adjacent field comparison in video processing
US7809210B2 (en) Smart grey level magnifier for digital display
US6611294B1 (en) Method and device for converting number of frames of image signals
JPH01318376A (ja) 静止画像フリッカ抑制方法
TWI771991B (zh) 視訊影像插補裝置及適應性移動補償畫面插補方法
TWI790600B (zh) 區域式視訊影像插補裝置及其方法
JP5192087B2 (ja) 画像処理装置及び画像処理方法
US20080204593A1 (en) Scan Convertion Image Filtering
US7218355B2 (en) Deinterlacer using block-based motion detection
US9179163B2 (en) Device and method for processing image
TWI404408B (zh) 影像處理裝置及影像處理方法
US8233085B1 (en) Method and system for interpolating a pixel value of a pixel located at an on-screen display
JPH0720238B2 (ja) 動きベクトル検出回路
US20070296855A1 (en) Video processing using region-based statistical measurements