TWI485655B - 影像處理方法 - Google Patents

影像處理方法 Download PDF

Info

Publication number
TWI485655B
TWI485655B TW101113794A TW101113794A TWI485655B TW I485655 B TWI485655 B TW I485655B TW 101113794 A TW101113794 A TW 101113794A TW 101113794 A TW101113794 A TW 101113794A TW I485655 B TWI485655 B TW I485655B
Authority
TW
Taiwan
Prior art keywords
dynamic
picture
vector
current picture
block
Prior art date
Application number
TW101113794A
Other languages
English (en)
Other versions
TW201344634A (zh
Inventor
Tsunghan Tsai
Hsuehyi Lin
Original Assignee
Univ Nat Central
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Central filed Critical Univ Nat Central
Priority to TW101113794A priority Critical patent/TWI485655B/zh
Priority to US13/647,591 priority patent/US8422734B1/en
Publication of TW201344634A publication Critical patent/TW201344634A/zh
Application granted granted Critical
Publication of TWI485655B publication Critical patent/TWI485655B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

影像處理方法
本發明係有關於一種方法,且特別是有關於一種影像處理方法。
近年來液晶顯示器因其重量輕、體積小、低耗電、無輻射等優點,已逐步取代傳統的映像管顯示器。液晶顯示器的顯示方式為保持方式,其特性為在下一次畫面更新前會保持原來的亮度,亦即保持原來的畫面。
由於人眼有視覺暫留的現象,因此液晶顯示器保持原畫面的時間越長,其在視網膜上之影像也暫留越久。另外,人眼於觀看物體時,無論其以線性或非線性的方式運動,人眼會隨著物體的移動而追蹤物體以便清晰地觀察運動中的物體。基於人類視覺上的特性,在畫面更新後,前一畫面的影像因視覺暫留而與目前畫面的影像重疊,而使我們覺得移動的物體邊緣較為模糊,此即動態殘影發生的原由。
所謂液晶顯示器的模糊效應,即為液晶顯示器保持原畫面的特性經由人眼視覺暫留現象所導致,會使相鄰影像畫面相互重疊。舉例而言,當畫面更新時,由於視覺暫留現象而使前一畫面中的物體將與現在畫面中的物體重疊,造成物體的模糊效應,導致使用者觀看的不適。
目前常用的動態估測有兩種,分別為雙向動態估測以及單向動態估測。前述雙向動態估測與傳統的動態估測的不同之處是在於其以插入畫面之區塊為觀點,以對稱的方式在前後兩張畫面之間的搜尋範圍找到最佳比對區塊,之後找出通過該插入畫面區塊的移動軌跡為動態向量。另外,單向動態估測是以目前畫面為基礎,以施行動態估測以及畫面補償。
然而,雙向動態估測會有估測錯誤的狀況,諸如單調背景出現在物件的後面時,其容易估測到背景。單向動態估測則存在動態空白區域或者動態重疊區域,導致畫質大幅下降。
本發明內容之一目的是在提供一種影像處理方法,藉以改善雙向動態估測會有估測錯誤的狀況,諸如背景蓋到物件上面時,其容易估測到背景的問題,此外,亦可用以改善單向動態估測存在動態空白區域或者動態重疊區域,導致畫質大幅下降的問題。
為達上述目的,本發明內容之一技術樣態係關於一種影像處理方法。影像處理方法包含以下步驟:取得一目前畫面與一前一畫面;對目前畫面與前一畫面進行單向動態估測,以取得初始動態向量;對目前畫面、前一畫面與初始動態向量進行動態補償,以取得一插入畫面;根據插入畫面以決定每一插入方塊的搜尋中心以及方塊大小;以插入方塊為中心,對稱地在目前畫面中計算出相對應於複數個目標方塊的複數個第二動態向量;利用前述些第二動態向量在前一畫面中計算出相對應的複數個第三動態向量;對前述些第二動態向量以及前述些第三動態向量進行動態軌跡估測,以取得複數個距離值;以及比較前述些距離值以取得前述些距離值中的最小者,對與前述些距離值中的最小者相應的動態軌跡進行雙向動態補償。
根據本發明一實施例,影像處理方法更包含設定一補償範圍,其中補償範圍為搜尋範圍的一半,其中以插入方塊為中心,對稱地在目前畫面中的計算出相對應於複數個目標方塊的複數個第二動態向量的步驟係為以插入方塊為中心,對稱地在目前畫面中的補償範圍內計算出相對應於複數個目標方塊的複數個第二動態向量。
根據本發明另一實施例,前述些距離值係由下列式子產生:
其中MV1g 是第二動態向量、MV2g 是第三動態向量、(x,y)為目標方塊在目前畫面中的座標、(vx ,vy )=MV1g (x,y)以及(x+offx ,y+offy )為插入方塊在插入畫面的座標。
根據本發明再一實施例,影像處理方法中的單向動態估測包含以下步驟:根據一預設方塊之大小,將目前畫面與前一畫面分割成複數個方塊;目前畫面與前一畫面中分別包含一動態搜尋範圍,在前述些動態搜尋範圍中,對複數個由前述些方塊中選定的基準方塊之每一者以及複數個由前述些方塊中選定的候選方塊之每一者,進行絶對誤差和演算以產生複數個絶對誤差和;以及比較前述些絶對誤差和,以取得前述些絶對誤差和中的最小者,並根據計算出絶對誤差和中的最小者之一組基準方塊以及候選方塊,來計算出初始動態向量。
根據本發明又一實施例,影像處理方法更包含以下步驟:判斷前述些距離值是否小於一預設值,以取得小於預設值之前述些距離值,並定義為複數個最近距離值;對計算出前述些最近距離值之動態向量進行雙向動態補償,以取得複數個雙向絕對誤差和;對計算出前述些最近距離值之動態向量進行基於顏色導向粒子距離的適應性和運算,以取得複數個適應性絕對誤差和;將前述些雙向絕對誤差和與前述些適應性絕對誤差和中的相對應者相加,並判斷相加後的最小值者,以取得與最小值者相對應的動態向量;以及對動態向量進行雙向動態補償。
根據本發明另再一實施例,於影像處理方法中的基於顏色導向粒子距離的適應性和係由下列式子產生:
其中fn-1 為前一畫面、fn 為目前畫面、(x,y)為目前畫面中目標方塊的座標以及BSME為動態估測的方塊大小。
根據本發明另又一實施例,於影像處理方法中的雙向絕對誤差和係由下列式子產生:
BSAD=dist (f n-1 {(x ,y )+MV bi-direct },f n {(x ,y )-MV bi-direct }),
其中(x ,y )為插入畫面中目前插入方塊(current interpolated block)的座標,Y n -1Y n Cr n -1Cr n Cb n -1Cb n 為目前畫面f n 與前一畫面f n -1 中YCrCb顏色領域之三種顏色成分,W是正整數,cur _interp_block 是目前插入方塊的位置。
根據本發明再另一實施例,影像處理方法更包含以下步驟:對目前畫面與前一畫面的影像進行兩次縮小,以產生三個解析度階層的影像,其中目前畫面與前一畫面的影像所在處為第一階層,縮小一次後的階層為第二階層,而縮小兩次後的階層為第三階層;對第三階層的影像進行動態估測,以產生初始動態向量;根據第二階層的大小,將初始動態向量擴大,並根據初始動態向量以對第二階層進行動態校準,以產生第四動態向量;以及根據第一階層的大小,將第四動態向量擴大,並根據第四動態向量以對第一階層進行動態校準,以產生第五動態向量。
根據本發明再又一實施例,影像處理方法更包含以下步驟:藉由中值濾波器對第二階層以及第一階層進行動態校準。
根據本發明又另一實施例,影像處理方法中的中值濾波器之定義如下列式子所示:
上述MV1 g _ med 是經中值濾波器後的候選動態向量,N MVc 是25個相鄰動態向量與目前動態向量的合體,(dx ,dy )[-2,2]與(i ,j )[-2,2]是相鄰動態向量與目前動態向量的參數。
因此,根據本發明之技術內容,本發明實施例藉由提供一種影像處理方法,藉以改善雙向動態估測會有估測錯誤的狀況,諸如單調背景出現在物件的後面時,其容易估測到背景的問題,此外,亦可用以改善單向動態估測存在動態空白區域或者動態重疊區域,導致畫質大幅下降的問題。
為了使本揭示內容之敘述更加詳盡與完備,可參照所附之圖式及以下所述各種實施例,圖式中相同之號碼代表相同或相似之元件。但所提供之實施例並非用以限制本發明所涵蓋的範圍,而結構運作之描述非用以限制其執行之順序,任何由元件重新組合之結構,所產生具有均等功效的裝置,皆為本發明所涵蓋的範圍。
其中圖式僅以說明為目的,並未依照原尺寸作圖。另一方面,眾所週知的元件與步驟並未描述於實施例中,以避免對本發明造成不必要的限制。
第1圖係依照本發明一實施例繪示一種單向動態估測(uni-directional motion estimation,UME)方法之示意圖。在執行後續基於粒子特性之動態軌跡估測預測機制(particle based motion trajectory calibration,PMTC)之前,需先行取得初始動態向量(motion vector),取得的過程如第1圖所示。首先設定一方塊大小,將影像依照前述方塊大小為基準來切割成許多方塊。接下來針對其中每一個方塊,以及一個設定的動態搜尋區塊(search range),在目前畫面Fn 以及前一畫面Fn-1 之間,針對每一個block i以及每一個在搜尋範圍內的候選方塊(search candidate)之間施行絕對誤差和(sum of absolute difference,SAD),並將由block i以及候選方塊之間計算出來的絕對誤差和(SAD)值進行比對,找出最小值之後,即可取得相對應的動態向量,此動態向量即為初始動態向量,SAD的公式如下所示:
上述式子中,fn-1 為前一畫面區塊像素值,fn 為目前畫面的搜尋範圍內區塊像素值,x與y為區塊位置,i與j為區塊內的像素位置,h與k為搜尋比對區塊內的位置(以搜尋範圍中心為原點)。
第2圖係依照本發明另一實施例繪示一種動態軌跡估測預測機制之示意圖。有別於以往使用單純搜尋方式重建遺失影像畫面,在此根據粒子的特性而提出基於粒子特性之動態軌跡估測預測機制。在傳統牛頓力學中,一個物體一旦受到外力影響,前述物體會產生加速度。此演算法之示意圖如第2圖所示。如第2圖所示,目前畫面以及前一畫面之間會施行動態估測,找到相對應的動態向量,此外,前一畫面之動態向量也會被紀錄,用以施行非線性動態估測。
在傳統線性估測中,不但準確度不夠,而且常常會有誤判的情況。因此,使用二次方程式來估測動態軌跡會有更佳的效果。在現實生活中,當一物體受力並因而產生加速度後,前述物體會產生相應的軌跡。前述二次方程式可用以對目前畫面以及前一畫面所產生的動態向量進行動態軌跡估測,隨後,根據軌跡在插入畫面(interpolated frame)中的交點以及此交點與要補償的目標間距離來產生距離之資訊。倘若交點與補償的目標距離越近,則此軌跡就可能是通過補償目標所需之動態軌跡,當選出最接近的軌跡後,就能夠依據軌跡做動態補償工作,以下定義軌跡與插入畫面交點位置的公式:
其中MV 1 g 是目前畫面的動態向量、MV 2 g 是前一畫面的動態向量、(x ,y )為目標方塊在目前畫面中的座標、(vx ,vy )=MV1g (x,y)以及(x+offx,y+offy)為插入方塊在插入畫面的座標。接著,定義軌跡在插入畫面中的交點以及此交點與需補償的目標間距離之公式:
第3圖係依照本發明再一實施例繪示一種基於畫素的動態估測方法(pixel based uni-directional motion estimation engine,PUDME)之流程圖,而第4圖係依照本發明又一實施例繪示一種基於粒子特性之動態軌跡估測的流程圖。有鑑於傳統搜尋方法的效率不彰,在此提出結合雙向動態估測(Bilateral motion estimation,BME)以及單向動態估測之新動態估測機制。
首先,如第3圖所示,上述基於畫素的動態估測採用單向動態估測方法來產生一系列的動態向量,接著,將由第1圖所產生的動態向量陣列,傳送至如第4圖所示之PMTC以進行處理以及施行動態補償(motion compensation)。首先,由基於畫素的動態估測方法傳送過來的動態向量經過基於加速特性之動態軌跡估測預測機制(Acceleration based motion trajectory prediction)之後,可以取的一系列的距離值。
若上述距離值小於一預設的最小門檻值,則會將取得該距離值的相應動態向量施行雙向預測而產生一個雙向絕對誤差和(bi-directional sum of absolute difference,BSAD),上述BSAD可以下列式子表示:
B 1 =(x ,y )+MV bi-direct
B 2 =(x ,y )-MV bi-direct
其中(x ,y )為插入畫面中目前插入方塊的座標,Y n -1Y n Cr n -1Cr n Cb n -1Cb n 為目前畫面f n 與前一畫面f n -1 中YCrCb顏色領域之三種顏色成分,W是一正整數,cur_ interp_block 是目前插入方塊的位置。隨後,基於雙向絕對誤差和以及基於畫素的動態估測方法中每個方塊之動態向量相對應的絕對誤差和值,來決定出最後被選中的動態向量,在依照此動態向量來進行動態補償之程序。在絕對誤差和進行運算時如第3圖所示會參考顏色成分,另外,基於適應性絶對誤差和(Adpative sum of SAD)、基於顏色導向的成本函數(color oriented cost function)以及絶對誤差和之動態估測(ASCOPD)可以用下列公式表示:
上述fn-1 為前一畫面、fn 為目前畫面、(x,y)為目前畫面中目標方塊的座標以及BSME為動態估測的方塊大小。
為了校正錯誤的動態向量,因此對於單向動態估測所產生的動態向量,會藉由中值濾波器(Median filter)對其進行校正錯誤之動態向量的步驟,其定義如下:
上述MV1 g _ med 是經中值濾波器後的候選動態向量,N MVc 是25個相鄰動態向量與目前動態向量的合體,(dx ,dy )[-2,2]與(i ,j )[-2,2]相鄰動態向量與目前動態向量的參數。
此外,第3圖的詳細操作步驟如下所述。首先輸入影片,接著,根據輸入影片的解析度,將輸入影片依照高斯濾波器(Gaussian filter)縮小成複數層。單向動態估測藉由對最高階層進行基於顏色導向粒子距離的適應性和步驟來取得初始動態向量,其經過中值濾波器以進一步增加其搜尋精確度。
中值濾波器係由以下兩個步驟來實現。首先,提供中值濾波器啟動準則與外部偵測信號以決定中值濾波器是否可被實施。其次,中值濾波器藉由參照25個相鄰動態向量來實現,其定義已揭露於上開記載中,在此不做贅述。當介於MV ( dx , dy ) 與所有之間的距離和是最小值時,MV ( dx , dy ) 被指定為MV1 g _ med
當初始動態向量經過中值濾波器,動態向量校準遞迴地在-1至+1之間執行,直到執行至最低階層。最後,經單向動態估測的動態向量被紀錄下來,以供動態軌跡估測步驟之用。
再者,第4圖的詳細操作步驟如下所述。基於粒子特性之動態軌跡估測由兩組程序組成,其包含基於加速特性之動態軌跡預測程序以及單向/雙向成本函數聯合最小化程序(uni-directional/bi-directional cost function joint-minimization)。在開始執行基於粒子特性之動態軌跡估測時,將最小成本與最小距離值初始化,隨後,執行基於加速特性之動態軌跡預測程序以估算dist(T,C)。倘若前述距離小於最小者,可由上述式子得到雙向絕對誤差和以及絕對誤差和A。倘若雙向絕對誤差和加上絕對誤差和A小於最小成本,則選擇相應的MV bi - direct 為最終雙向動態向量(MV bi - dir -final ),最終雙向動態向量(MV bi-dir -final )於目前插入方塊供動態補償。
第5圖係繪示依照本發明另再一實施方式的一種金字塔動態搜尋結構(pyramid search structure)之示意圖。如圖所示,於金字塔搜尋法中,影像首先被縮小兩次,以形成多階層結構,隨後,對最高階層(最小的影像)實行動態估測,當初始動態向量產生後,根據現存常規尺度的動態向量來施行動態校準(motion refinement)。
第6圖係繪示依照本發明另又一實施方式的一種影像處理方法之流程圖。根據本發明一實施例,首先,取得一目前畫面與一前一畫面(步驟601),並對目前畫面與前一畫面進行單向動態估測,以取得初始動態向量。隨後,對目前畫面、前一畫面與初始動態向量進行動態補償,以取得一插入畫面(步驟605),根據插入畫面以決定每一插入方塊的搜尋中心以及方塊大小(步驟606),並以插入方塊為中心,對稱地在目前畫面中的計算出相對應於複數個目標方塊的複數個第二動態向量(步驟608)。然後,利用前述些第二動態向量在前一畫面中計算出相對應的複數個第三動態向量(步驟609),並對前述些第二動態向量以及前述些第三動態向量進行動態軌跡估測,以取得複數個距離值(步驟610)。再者,比較前述些距離值以取得前述些距離值中的最小者,對與前述些距離值中的最小者相應的動態軌跡進行雙向動態補償(步驟611)。
舉例而言,請一併參照第2圖,取得初始的動態向量後,首先根據插入畫面來決定出每個要插補區塊的搜尋中心以及方塊大小(位於(x,y)這個位置)。接著,設定補償範圍(offset)為搜尋範圍(search range)的1/2。再者,以目前插入方塊為中心,對稱的在目前畫面Fn 中找到相對應於目標區塊之動態向量(MV1g ),並利用此動態向量以及由此動態向量所找到的前一畫面(Fn-1 )相對應的動態向量(MV2g(x+vx,y+vy) )。
隨後,依據此兩個動態向量,施行基於粒子特性之動態軌跡估測預測機制,並得到距離值(dis(T,C))。
對於要插補的畫面中,以插入畫面中目前插入方塊為中心,在offset的範圍內針對每一個在範圍中的目前畫面之目標方塊(target block in the current frame),施行基於粒子特性之動態軌跡估測預測機制。
由產生出的距離係數,選擇最近的距離,並以此進行雙向動態補償(bi-directional motion compensation)的動作。
如此一來,本發明實施例之影像處理方法即可改善雙向動態估測會有估測錯誤的狀況,諸如背景蓋到物件上面時,其容易估測到背景的問題,此外,亦可用以改善單向動態估測存在動態空白區域或者動態重疊區域,導致畫質大幅下降的問題。
在一實施例中,影像處理方法更包含以下步驟:設定一補償範圍,其中補償範圍為搜尋範圍的一半(步驟607)。
在另一實施例中,影像處理方法中的單向動態估測包含以下步驟:首先,根據一預設方塊之大小,將目前畫面與前一畫面分割成複數個方塊(步驟602),前述目前畫面與前一畫面中分別包含一動態搜尋範圍,在前述些動態搜尋範圍中,對複數個由前述些方塊中選定的基準方塊之每一者以及複數個由前述些方塊中選定的候選方塊之每一者,進行絶對誤差和演算以產生複數個絶對誤差和(步驟603),隨後,比較前述些絶對誤差和,以取得前述些絶對誤差和中的最小者,並根據計算出絶對誤差和中的最小者之一組基準方塊以及候選方塊,來計算出初始動態向量(步驟604)。
舉例而言,請參照第1圖,根據一個設定的方塊大小,將一個影像切割成許多以此方塊大小為基準的方塊。
針對其中每一個方塊以及一個設定的動態搜尋區塊(search range),在目前畫面(Fn)以及之前的畫面(Fn-1)之間針對每一個block i以及每一個在搜尋範圍內的候選方塊(search candidate)之間施行絕對誤差和演算法,並由block i以及候選方塊之間的絕對誤差和值進行比對,取出最小值,並得到相應的動態向量。
承接第6圖的記載,當選擇完最近的距離後,會有許多動態向量都符合最近距離的限制,因此,接下來根據所得到的絕對誤差和進行第二階段判斷,如第7圖所示,其係繪示依照本發明再另一實施方式的一種影像處理方法之流程圖。根據本發明再一實施例,首先,判斷前述些距離值是否小於一預設值,以取得小於預設值之前述些距離值,並定義為複數個最近距離值(步驟701),隨後,對計算出前述些最近距離值之動態向量進行雙向動態補償,以取得複數個雙向絕對誤差和(步驟702),並對計算出前述些最近距離值之動態向量進行基於顏色導向粒子距離的適應性和運算,以取得複數個適應性絕對誤差和(步驟703)。接著,將前述些雙向絕對誤差和與前述些適應性絕對誤差和中的相對應者相加,並判斷相加後的最小值者,以取得與最小值者相對應的動態向量(步驟704),並對動態向量進行雙向動態補償(步驟705)。
舉例而言,請一併參照第4圖,針對符合最短距離的所有對象中,對每一個對象取出相對應的雙向絕對誤差和,而此係數可以由第3圖之記述中式子所產生。
隨後,針對每一個對象,使用基於顏色導向粒子距離的適應性和公式,找到相對應的絕對誤差和A,而此係數為上述步驟604中的絶對誤差和的最小者之值。
再者,將雙向絕對誤差和以及絕對誤差和A相加。對於每一個符合最短距離的所有對象,當取得每一個雙向絕對誤差以及絕對誤差和A相加的值以後,尋求這些相加結果中最小值,並將其動態向量視為最終之動態向量,進行雙向動態補償。
第8圖係繪示依照本發明再又一實施方式的一種影像處理方法之流程圖。影像處理方法更包含以下步驟:首先,對目前畫面與前一畫面的影像進行兩次縮小,以產生三個解析度階層的影像,其中目前畫面與前一畫面的影像所在處為第一階層,縮小一次後的階層為第二階層,而縮小兩次後的階層為第三階層(步驟801)。接著,對第三階層的影像進行動態估測,以產生初始動態向量(步驟802),根據第二階層的大小,將初始動態向量擴大,並根據初始動態向量以對第二階層進行動態校準,以產生第四動態向量(步驟803)。再者,根據第一階層的大小,將第四動態向量擴大,並根據第四動態向量以對第一階層進行動態校準,以產生第五動態向量(步驟804)。
舉例而言,請一併參照第3圖,將目前畫面Fn 以及前一畫面Fn-1 中原來的影像利用兩次縮小動作以產生三個解析度階層的影像。
請同時參照第3圖以及第5圖,首先,針對最高階層(最小畫面)的影像進行動態估測,產生初始動態向量。在此,當取出相對應的動態向量後,利用中值濾波器對其進行校正錯誤之動態向量的步驟。
隨後,針對每一個較低階層,將動態向量擴大以符合現在畫面大小,並針對上一層所產生的動態向量進行動態校準(motion vector refinement)的動作。當到達最底層後,就能將所有方塊的動態向量估測出來。
如上所述之影像處理方法皆可由軟體、硬體與/或軔體來執行。舉例來說,若以執行速度及精確性為首要考量,則基本上可選用硬體與/或軔體為主;若以設計彈性為首要考量,則基本上可選用軟體為主;或者,可同時採用軟體、硬體及軔體協同作業。應瞭解到,以上所舉的這些例子並沒有所謂孰優孰劣之分,亦並非用以限制本發明,熟習此項技藝者當視當時需要彈性設計之。
再者,所屬技術領域中具有通常知識者當可明白,影像處理方法中之各步驟依其執行之功能予以命名,僅係為了讓本案之技術更加明顯易懂,並非用以限定該等步驟。將各步驟予以整合成同一步驟或分拆成多個步驟,或者將任一步驟更換到另一步驟中執行,皆仍屬於本揭示內容之實施方式。
由上述本發明實施方式可知,應用本發明具有下列優點。本發明實施例藉由提供一種影像處理方法,藉以改善雙向動態估測會有估測錯誤的狀況,諸如單調背景出現在物件的後面時,其容易估測到背景的問題,此外,亦可用以改善單向動態估測存在動態空白區域或者動態重疊區域,導致畫質大幅下降的問題。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
601~611...步驟
701~705...步驟
801~804...步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:
第1圖係依照本發明一實施例繪示一種單向動態估測方法之示意圖。
第2圖係依照本發明另一實施例繪示一種動態軌跡估測預測機制之示意圖。
第3圖係依照本發明再一實施例繪示一種基於畫素的動態估測方法之流程圖。
第4圖係依照本發明又一實施例繪示一種基於粒子特性之動態軌跡估測的流程圖。
第5圖係繪示依照本發明另再一實施方式的一種金字塔動態搜尋結構之示意圖。
第6圖係繪示依照本發明另又一實施方式的一種影像處理方法之流程圖。
第7圖係繪示依照本發明再另一實施方式的一種影像處理方法之流程圖。
第8圖係繪示依照本發明再又一實施方式的一種影像處理方法之流程圖。
601~611...步驟

Claims (10)

  1. 一種影像處理方法,包含:取得一目前畫面與一前一畫面;對該目前畫面與該前一畫面進行一單向動態估測,以取得一初始動態向量;對該目前畫面、該前一畫面與該初始動態向量進行一動態補償,以取得一插入畫面;根據該插入畫面以決定每一插入方塊的搜尋中心以及方塊大小;以該插入方塊為中心,對稱地在該目前畫面中計算出相對應於複數個目標方塊的複數個第二動態向量;在該前一畫面中計算出相對應的複數個第三動態向量;對該些第二動態向量以及該些第三動態向量進行一動態軌跡估測,以取得複數個距離值;以及比較該些距離值以取得該些距離值中的最小者,對與該些距離值中的最小者相應的一動態軌跡進行雙向動態補償。
  2. 如請求項1所述之影像處理方法,更包含:設定一補償範圍,其中該補償範圍為該搜尋範圍的一半,其中以該插入方塊為中心,對稱地在該目前畫面中的計算出相對應於複數個目標方塊的複數個第二動態向量的步驟係為以該插入方塊為中心,對稱地在該目前畫面中的該補償範圍內計算出相對應於複數個目標方塊的複數個第二動態向量。
  3. 如請求項1所述之影像處理方法,其中該些距離值係由下列式子產生: 其中MV1g 是該第二動態向量、MV2g 是該第三動態向量、(x,y)為該目標方塊在該目前畫面中的座標、(vx ,vy )=MV1g (x,y)以及(x+offx ,y+offy )為該插入方塊在該插入畫面中的座標。
  4. 如請求項1所述之影像處理方法,其中該單向動態估測的步驟包含:根據一預設方塊之大小,將該目前畫面與該前一畫面分割成複數個方塊;該目前畫面與該前一畫面中分別包含一動態搜尋範圍,在該些動態搜尋範圍中,對複數個由該些方塊中選定的基準方塊之每一者以及複數個由該些方塊中選定的候選方塊之每一者,進行絶對誤差和演算以產生複數個絶對誤差和;以及比較該些絶對誤差和,以取得該些絶對誤差和中的最小者,並根據計算出該絶對誤差和中的最小者之一組基準方塊以及候選方塊,來計算出該初始動態向量。
  5. 如請求項1所述之影像處理方法,更包含:判斷該些距離值是否小於一預設值,以取得小於該預設值之該些距離值,並定義為複數個最近距離值;對計算出該些最近距離值之動態向量進行雙向動態補償,以取得複數個雙向絕對誤差和;對計算出該些最近距離值之動態向量進行基於顏色導向粒子距離的適應性和運算,以取得複數個適應性絕對誤差和;將該些雙向絕對誤差和與該些適應性絕對誤差和中的相對應者相加,並判斷相加後的最小值者,以取得與該最小值者相對應的該動態向量;以及對該動態向量進行雙向動態補償。
  6. 如請求項5所述之影像處理方法,其中基於顏色導向粒子距離的適應性和(adaptive sum of color-oriented particle distance,ASCOPD)係由下列式子產生: 其中fn-1 為該前一畫面、fn 為該目前畫面、(x,y)為該目前畫面中該目標方塊的座標以及BSME為動態估測的方塊大小。
  7. 如請求項5所述之影像處理方法,其中雙向絕對誤差和(bi-directional sum of absolute difference,BSAD)係由下列式子產生: 其中(x ,y )為插入畫面中目前插入方塊的座標,Y n -1Y n Cr n -1Cr n Cb n -1Cb n 為目前畫面f n 與前一畫面f n -1 中YCrCb顏色領域之三種顏色成分,W是一正整數,cur _interp_block 是目前插入方塊的位置。
  8. 如請求項1所述之影像處理方法,更包含:對該目前畫面與該前一畫面的影像進行兩次縮小,以產生三個解析度階層的影像,其中該目前畫面與該前一畫面的影像所在處為一第一階層,縮小一次後的階層為一第二階層,而縮小兩次後的階層為一第三階層;對該第三階層的影像進行動態估測,以產生該初始動態向量;根據該第二階層的大小,將該初始動態向量擴大,並根據該初始動態向量以對該第二階層進行動態校準,以產生一第四動態向量;以及根據該第一階層的大小,將該第四動態向量擴大,並根據該第四動態向量以對該第一階層進行動態校準,以產生一第五動態向量。
  9. 如請求項8所述之影像處理方法,更包含:藉由一中值濾波器對該第二階層以及該第一階層進行動態校準。
  10. 如請求項9所述之影像處理方法,其中該中值濾波器之定義如下列式子所示: 上述MV1 g_med 是經該中值濾波器後的候選動態向量,N MVc 是25個相鄰動態向量與該目前動態向量的合體,(dx ,dy )[-2,2]與(i ,j )[-2,2]是相鄰動態向量與該目前動態向量的參數。
TW101113794A 2012-04-18 2012-04-18 影像處理方法 TWI485655B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101113794A TWI485655B (zh) 2012-04-18 2012-04-18 影像處理方法
US13/647,591 US8422734B1 (en) 2012-04-18 2012-10-09 Method for processing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101113794A TWI485655B (zh) 2012-04-18 2012-04-18 影像處理方法

Publications (2)

Publication Number Publication Date
TW201344634A TW201344634A (zh) 2013-11-01
TWI485655B true TWI485655B (zh) 2015-05-21

Family

ID=48049197

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101113794A TWI485655B (zh) 2012-04-18 2012-04-18 影像處理方法

Country Status (2)

Country Link
US (1) US8422734B1 (zh)
TW (1) TWI485655B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270945B (zh) * 2018-02-06 2020-10-30 上海通途半导体科技有限公司 一种运动补偿去噪方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652629A (en) * 1995-09-12 1997-07-29 International Business Machines Corporation Bidirectional motion estimation in a motion video compression system
TW200629899A (en) * 2004-07-20 2006-08-16 Qualcomm Inc Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
US7526028B2 (en) * 2003-07-25 2009-04-28 Taiwan Imaging-Tek Corp. Motion estimation method and apparatus for video data compression
TW200922335A (en) * 2007-11-12 2009-05-16 Univ Nat Chunghsing Dynamic compensation time filter method of video compression system without distortion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652629A (en) * 1995-09-12 1997-07-29 International Business Machines Corporation Bidirectional motion estimation in a motion video compression system
US7526028B2 (en) * 2003-07-25 2009-04-28 Taiwan Imaging-Tek Corp. Motion estimation method and apparatus for video data compression
TW200629899A (en) * 2004-07-20 2006-08-16 Qualcomm Inc Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
TW200922335A (en) * 2007-11-12 2009-05-16 Univ Nat Chunghsing Dynamic compensation time filter method of video compression system without distortion

Also Published As

Publication number Publication date
TW201344634A (zh) 2013-11-01
US8422734B1 (en) 2013-04-16

Similar Documents

Publication Publication Date Title
KR100588132B1 (ko) 디스플레이장치
JP5680524B2 (ja) 画像処理装置
CN101924878B (zh) 图像处理设备、介质和方法
US9454805B2 (en) Method and apparatus for reducing noise of image
US8189104B2 (en) Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
RU2461979C2 (ru) Устройство видеоотображения
JP5890547B2 (ja) 画像処理装置
JP2006311480A (ja) 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
WO2008038419A1 (fr) Périphérique et procédé d'affichage et de traitement d'image
KR20070069615A (ko) 움직임 추정장치 및 움직임 추정방법
US20110261264A1 (en) Image Processing
JP2015519837A (ja) 動画に含まれたヘーズを除去する映像処理装置及びその方法
US8526500B2 (en) System and method for global inter-frame motion detection in video sequences
JP5669599B2 (ja) 画像処理装置及びその制御方法
WO2016165112A1 (zh) 一种对比度自适应的视频去噪系统
CN101557516A (zh) 视频质量评估方法及装置
US20150187051A1 (en) Method and apparatus for estimating image noise
WO2012063533A1 (ja) 画像処理装置
JP2016167681A (ja) 画像生成装置および画像生成方法
TWI485655B (zh) 影像處理方法
US20150326786A1 (en) Image processing device, imaging device, and image processing method
JP6508926B2 (ja) 撮像装置および撮像装置の制御方法
JP2009182865A (ja) 画像表示装置及び方法、画像処理装置及び画像処理方法
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
JPWO2016111239A1 (ja) 映像処理装置、映像処理方法及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees