TWI768324B - 影像處理方法及影像處理裝置 - Google Patents

影像處理方法及影像處理裝置 Download PDF

Info

Publication number
TWI768324B
TWI768324B TW109112802A TW109112802A TWI768324B TW I768324 B TWI768324 B TW I768324B TW 109112802 A TW109112802 A TW 109112802A TW 109112802 A TW109112802 A TW 109112802A TW I768324 B TWI768324 B TW I768324B
Authority
TW
Taiwan
Prior art keywords
vector
current
motion
blocks
picture
Prior art date
Application number
TW109112802A
Other languages
English (en)
Other versions
TW202141426A (zh
Inventor
喻仲平
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW109112802A priority Critical patent/TWI768324B/zh
Priority to US17/111,761 priority patent/US11636573B2/en
Publication of TW202141426A publication Critical patent/TW202141426A/zh
Application granted granted Critical
Publication of TWI768324B publication Critical patent/TWI768324B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Television Systems (AREA)

Abstract

一種影像處理方法，包含：將當前畫面和參考畫面縮小尺寸；將縮小後的當前畫面和參考畫面分別切分為複數個第一當前區塊和第一參考區塊；將第一當前區塊和第一參考區塊進行第一運動估測以產生複數個第一運動向量；將當前畫面和參考畫面分別切分為複數個第二當前區塊和第二參考區塊；將第二當前區塊和第二參考區塊進行第二運動估測以產生複數個第二運動向量；以及根據第二運動向量產生當前畫面和參考畫面之間的補幀畫面。第二運動估測包含：針對每一第二當前區塊進行三維遞迴搜尋；以及根據第一運動向量調整在三維遞迴搜尋的複數個估測參數。

Description

影像處理方法及影像處理裝置
本揭示案係關於一種影像處理方法及影像處理裝置，特別是關於一種改善運動向量（Motion vector）的估測的影像處理方法及影像處理裝置。
在影像處理的領域中，進行圖框速率轉換（frame rate conversion，FRC）時，可透過運動估測（motion estimation，ME）計算出運動向量，經過處理後再交由運動補償（motion compensation，MC）來產生兩張原始畫面之間的內插畫面，以使得影像畫面更為平順。
然而，在畫面移動速度過快，或者在硬體成本有限而無法提高計算量時，可能導致影像畫面出現破碎（broken）、毛邊（edge shaking）或頓挫（judder）的情形。因此，針對運動向量的估測，如何兼顧計算成本和精準度為本領域的重要課題。
本揭示內容的一態樣係關於一種影像處理方法，包含：將當前畫面和參考畫面縮小尺寸；將縮小後的當前畫面切分為複數個第一當前區塊；將縮小後的參考畫面切分為複數個第一參考區塊；將第一當前區塊和第一參考區塊進行第一運動估測以產生分別對應於第一當前區塊的複數個第一運動向量；將當前畫面切分為複數個第二當前區塊；將參考畫面切分為複數個第二參考區塊；將第二當前區塊和第二參考區塊進行第二運動估測以產生分別對應於第二當前區塊的複數個第二運動向量；以及根據該些第二運動向量產生該當前畫面和該參考畫面之間的一補幀畫面。第二運動估測包含：針對第二當前區塊的每一者進行三維遞迴搜尋；以及根據第一運動向量調整在三維遞迴搜尋中的複數個估測參數。
本揭示內容的另一態樣係關於一種影像處理裝置。影像處理裝置包含運動估測處理器和運動幀率轉換器。運動估測處理器，用以執行以下操作：將當前畫面和參考畫面縮小尺寸；將縮小後的當前畫面切分為複數個第一當前區塊；將縮小後的參考畫面切分為複數個第一參考區塊；將第一當前區塊和第一參考區塊進行第一運動估測以產生分別對應於第一當前區塊的複數個第一運動向量；將當前畫面切分為複數個第二當前區塊；將參考畫面切分為複數個第二參考區塊；以及將第二當前區塊和第二參考區塊進行第二運動估測以產生分別對應於第二當前區塊的複數個第二運動向量。在第二運動估測中，運動估測處理器用以執行：針對第二當前區塊的每一者進行三維遞迴搜尋；以及根據第一運動向量調整在三維遞迴搜尋中的複數個估測參數。運動幀率轉換器耦接運動估測處理器。運動幀率轉換器用以根據第二運動向量產生當前畫面和參考畫面之間的補幀畫面。
綜上所述，藉由影像處理裝置的運動估測處理器根據影像處理方法進行運動估測，便能提升取得運動向量的效率和精準度。因此，在維持或降低運算成本的條件下，可有效降低影像畫面出現破碎、毛邊或頓挫的情形。
下文係舉實施例配合所附圖式作詳細說明，但所描述的具體實施例僅用以解釋本案，並不用來限定本案，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭示內容所涵蓋的範圍。
請參考第1圖。第1圖為根據本揭示內容之實施例之一種影像處理裝置100的示意圖。如第1圖所示，影像處理裝置100包含緩衝器110、運動估測處理器（motion estimation processor）120和運動幀率轉換器（motion compensation frame rate converter）130。結構上，緩衝器110連接運動估測處理器120和運動幀率轉換器130。
操作上，緩衝器110用以接收影像輸入訊號Vin進行緩衝處理後傳送至運動估測處理器120及/或運動幀率轉換器130。運動估測處理器120用以接收影像輸入訊號Vin並進行運動估測（motion estimation，ME）後傳送相應訊號至運動幀率轉換器130。運動幀率轉換器130用以根據接收到的訊號進行圖框（frame）內插補償，並輸出幀率轉換後的影像輸出訊號Vout。
舉例來說，如第2圖所示，圖框Fk-1和圖框Fk為影像處理裝置100所接收到的影像輸入訊號Vin中任兩個相鄰的畫面。運動估測處理器120將圖框Fk-1和圖框Fk以i乘j為單位切割成多個區塊（block），並利用三維遞迴搜尋（3D recursive search）找出每個區塊的最佳運動向量（best motion vector）傳送至運動幀率轉換器130。
進一步詳細而言，在進行一次掃描（scan）時，運動估測處理器120對於整個畫面的每一個區塊根據各種畫面變化的特性在搜尋視窗（search window）的範圍內產生各種運動向量的候選者（candidate），例如：零（zero）、空間（spatial）、時間（temporal）、全域（global）等候選向量，並從中計算出匹配度最高者作為此區塊的運動向量。接著，運動估測處理器120會將每一次掃描所取得的每個區塊的運動向量再加上一個隨機（random）向量作為下一次進行掃描的初始向量，藉此經由多次的掃描以收斂出每個區塊的最佳運動向量。
之後，運動幀率轉換器130根據圖框Fk-1、圖框Fk和每個區塊的最佳運動向量產生圖框Fk-1和圖框Fk之間的補償畫面。例如，若最佳運動向量大致為由左下至右上的向量，則根據位於圖框Fk-1中左下角的圓形和位於圖框Fk中右上角的圓形，可產生如圖框Fc1～Fc4所示的補償畫面。換言之，經過影像處理裝置100利用影像處理方法後所輸出的影像輸出訊號Vout將包含圖框Fk-1、圖框Fc1～Fc4和圖框Fk。
在加上隨機向量時，若隨機向量的長度（step）太短，可能要經過多次掃描才能觸及到相匹配的區塊。若隨機向量的長度太長，過大的亂數可能導致無法收斂。此外，當畫面的內容移動過快時，即使加長隨機向量的長度也不一定可以收斂到精準的運動向量。因此，本案提出下述影像處理方法以提高運動向量估測的收斂速度和精準度。
請參考第3圖。第3圖為根據本揭示內容之實施例之一種影像處理方法300的流程圖。為方便及清楚說明起見，下述影像處理方法300將配合第1圖～第7圖所示實施例進行說明，但不以此為限，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可對其作各種更動與潤飾。如第3圖所示，影像處理方法300包含操作S310、S320、S330、S340以及S350。
首先，在操作S310中，將當前畫面和參考畫面分別縮小尺寸（scale down）以產生n層當前畫面和n層參考畫面。具體而言，如第4圖和第5圖所示，圖框Fn為影像處理裝置100所接收到的影像輸入訊號Vin中的一幀當前畫面，圖框Ffn為相應於圖框Fn的參考畫面。圖框Fn-1和圖框Ffn-1分別為圖框Fn和圖框Ffn經過一次縮小尺寸後的畫面。依此類推，圖框F1和圖框Ff1分別為經過n-1次縮小尺寸後的畫面。舉例來說，縮小尺寸的倍率可為1/2倍或1/4倍，但本案不以此為限。此外，如第5圖所示，作為參考畫面的圖框Ffn和當前畫面的圖框Fn可為影像輸入訊號Vin中相鄰的兩幀畫面，但本案不以此為限。
接著，在操作S320中，將每一層的當前畫面和參考畫面分別切分為複數個當前區塊和複數個參考區塊。具體而言，第一層的當前畫面F1切分為複數個第一當前區塊。第一層的參考畫面Ff1切分為複數個第一參考區塊。第二層的當前畫面F2切分為複數個第二當前區塊。第二層的參考畫面Ff2切分為複數個第二參考區塊。依此類推，第n層的當前畫面Fn切分為複數個第n當前區塊。第n層的參考畫面Ffn切分為複數個第n參考區塊。
接著，在操作S330中，將第1層的當前區塊和第1層的參考區塊進行第一運動估測以產生分別對應於第1層當前區塊的複數個第一運動向量。具體而言，如第4圖所示，將圖框F1的當前區塊和圖框Ff1的參考區塊進行第一運動估測1ME以產生第一運動向量MV1。
舉例來說，如第6圖所示，第一運動估測1ME是利用三維遞迴搜尋法（3D recursive search）的多次掃描以收斂出第一運動向量MV1。在第一次掃描中，每個當前區塊各自根據初始向量V10在相應的搜尋視窗內產生多個候選向量，計算並比較這些候選向量的匹配度。將匹配度最高的候選向量作為相應於當前區塊的匹配向量V11。接著，在第二次掃描中，將匹配向量V11調整後作為新的初始向量V11b進行運算以產生新的匹配向量V12。依此類推，經過i次掃描後所收斂的匹配向量V1i即為第一運動向量MV1。在部分實施例中，匹配度的計算可利用絕對誤差和（Sum of Absolute Differences，SAD）據以實施，但本案不以此為限。
接著，在操作S340中，將第2層的當前區塊和第2層的參考區塊進行第二運動估測以產生分別對應於第2層當前區塊的複數個第二運動向量，其中根據第1層畫面的第一運動向量調整第二運動估測的估測參數。具體而言，如第4圖所示，將圖框F2的當前區塊和圖框Ff2的參考區塊進行第二運動估測2ME以產生第二運動向量MV2，其中根據第一運動向量MV1調整第二運動估測2ME的估測參數。
舉例來說，如第6圖所示，相似於第一運動估測1ME，第二運動估測2ME也是利用三維遞迴搜尋法的多次掃描以收斂出第二運動向量MV2。除此之外，在第二運動估測2ME中，將根據第一運動向量MV1調整估測參數，例如：隨機向量的方向和長度、對候選向量的處罰、搜尋視窗的大小。
詳細而言，如第7圖所示，在第二運動估測2ME的每一次掃描中，將由上到下、由左而右依序對當前圖框F2的每個當前區塊進行計算以取得每個當前區塊的匹配向量。以當前圖框F2中的一個當前區塊BL0為例來說，在部分實施例中，如下式(1)所示，在第二運動估測2ME時，可將運動向量MV1乘上倍率（如第7圖中向量MV1*S）再加上隨機向量RV作為當前區塊BL0進行第一次掃描的初始向量。為了方便說明起見，以下描述中，將以目標向量代表乘上倍率的運動向量MV1。也就是說，目標向量為第二當前區塊中的某一者所對應的第一當前區塊的第一運動向量乘上倍率所產生的。
Figure 02_image001
式(1)
接著，基於不同畫面變化的特性，在相應的搜尋視窗Swin內產生多個候選向量。計算區塊BL0和多個候選向量所指向的多個候選區塊之間的匹配度。根據匹配度最高的候選區塊和區塊BL0之間的候選向量作為區塊BL0的運動向量。
如此一來，利用上一層的畫面以取得的運動向量MV1作為當層畫面進行運動估測的基本向量的參考，相較於以零向量或者單純的隨機向量作為初始向量，可有效減少掃描次數，較快收斂出運動向量MV2。值得注意的是，隨機向量RV可根據運動向量MV1的長度進行調整。當運動向量MV1的長度越長，隨機向量RV的長度可越大。
又例如，如下式(2)所示，在進行第二運動估測2ME時，可計算運動向量MV1乘上倍率（如第7圖中向量MV1*S）和第2層圖框的運動向量（如第6圖中向量V21）的向量差，即目標向量和第2層圖框的運動向量的向量差。再根據這兩者的大小，決定將第2層圖框的運動向量加上或減去這兩者的向量差，作為下一次掃描的初始向量（如第6圖中向量V21b）。
Figure 02_image003
Figure 02_image005
Figure 02_image007
Figure 02_image009
式(2)
相似地，如下式(3)所示，可將第2層圖框的運動向量（如第6圖中向量V21）和乘上倍率後的運動向量MV1（如第7圖中向量MV1*S）兩者的向量差再除上一個係數，以調整向量差作為下一次掃描的初始向量（如第6圖中向量V21b）所佔的權重。係數越大，運動向量MV2的收斂較傾向第二層圖框的運動向量。係數越小，則運動向量MV2的收斂較傾向參考運動向量MV1。
Figure 02_image011
Figure 02_image005
Figure 02_image007
Figure 02_image009
式(3)
如此一來，藉由前一層的運動向量調整當層的運動估測的隨機向量的方向和長度，使得當層的運動估測的收斂方向和收斂範圍有所參考。相較於無限制的隨機向量，在上述實施例中，能提高運算上的收斂效率，且避免隨機亂數造成的運算成本浪費。
關於估測參數可包含對候選向量的處罰的實施例，將以第7圖中的當前區塊BL0為例進行說明。在此實施例中，候選向量所指向的候選區塊包含區塊BL1、BL2、BL3等等。對應於零候選向量的是在參考圖框Ff2中相同位置的區塊BL1。對應於空間候選向量的是在當前圖框F2中空間分布在左上的區塊BL2。對應於時間候選向量的是在前幀參考圖框Ff中空間分布在右下的區塊BL3。另外對應於全域候選向量的是依據前幀參考圖框Ff的全域向量MVf而得的區塊（圖中未示）。
值得注意的是，第7圖中所繪示的候選區塊僅為方便說明的例子，並非用以限制本案。在其他部分實施例中，候選區塊、候選向量可不限於上述說明的種類，且其數量可依據實際硬體所能達到地計算量而定。例如，搜尋視窗Swin不限於5乘5的區域，可為3乘3的區域。
如下式(4)所示，在進行第二運動估測2ME時，可將圖框F2的所有區塊的候選向量中的空間向量和相應區塊的運動向量MV1進行比較以計算空間向量差值。換言之，將運動向量MV1作為基準以評估圖框F2的空間候選向量的信任度。相似地，將圖框F2的所有區塊的候選向量中的時間向量和相應區塊的運動向量MV1進行比較以計算時間向量差值。以運動向量MV1作為基準評估圖框F2的時間候選向量的信任度。針對向量差值較大（信任度較低）的候選向量種類給予處罰（punish），以過濾哪些特性的運動向量較具有參考價值，進而使得收斂能更快速。在部分實施例中，針對候選向量給予處罰可理解為一種針對候選向量進行評分的機制。給予某一候選向量處罰可藉由增加該候選向量的處罰分數使該候選向量的匹配度降低來實現，當此候選向量的處罰分數高於其他候選向量的處罰分數時，此候選向量的匹配度將低於其他候選向量的匹配度，使此候選向量相較於其他候選向量有較低的機率被選為匹配向量。
Figure 02_image013
Figure 02_image015
Figure 02_image017
Figure 02_image019
式(4)
或者，如下式(5)所示，在部分實施例中，可計算圖框F2中所有區塊和分布在其周圍空間的區塊的運動向量MV1的關聯度。若某個部分區域的關聯度高於預設的關聯度閾值，且此部分區域的上述空間向量差值也高於預設的向量差閾值（代表空間信任度低於預設信任度閾值），則針對圖框F2此部分區域的空間候選向量給予處罰。
Figure 02_image021
Figure 02_image023
Figure 02_image025
式(5)
相似地，如下式(6)所示，在部分實施例中，可計算圖框F2中所有區塊和分布在其周圍空間的區塊的運動向量MV1的關聯度。若某個部分區域的關聯度高，且此部分區域的上述時間向量差值也很高（時間信任度低），則針對圖框F2此部分區域的時間候選向量給予處罰。
Figure 02_image021
Figure 02_image027
Figure 02_image029
式(6)
此外，如下式(7)所示，亦可將圖框F2中所有區塊的運動向量做成直方圖進行分群。若某些在同一群的區域的空間向量差值很高（空間信任度低），則針對圖框F2中這些同群的區域的空間候選向量給予處罰。若某些在同一群的區域的時間向量差值很高（時間信任度低），則針對圖框F2中這些同群的區域的時間候選向量給予處罰。
Figure 02_image031
Figure 02_image033
Figure 02_image025
Figure 02_image035
Figure 02_image029
式(7)
換言之，在從候選向量中進行挑選時，藉由比對前一層的運動向量（如圖框F1的運動向量MV1）的統計數據，可針對當層（如圖框F2）的整個畫面、部分區域或部分分群有效地排除不可信的候選向量，以此提高收斂效率。
值得注意的是，雖然上述實施例中僅說明根據計算結果判斷是否給予某些候選向量處罰，但在其他實施例中，處罰亦可根據向量差值（即，信任度）的程度不同來分配處罰的不同權重。
再者，估測參數可包含搜尋視窗的大小。如下式(8)所示，計算圖框F2中所有區塊和分布在其上、下、左、右的區塊的運動向量MV1的空間關聯度。比較每一個區塊和其相鄰區塊的空間關聯度，並標記空間關聯度較低的區塊。給予空間關聯度低於預設閾值的標記區塊處罰。或者，根據空間關聯度給予標記區域不同權重的處罰。或者，根據空間關聯度越高者給予越大的搜尋視窗，並將空間關聯度越低的標記區域分割成越小的搜尋視窗。
Figure 02_image037
Figure 02_image039
Figure 02_image041
式(8)
如此一來，藉由空間關聯度進行標記，便能根據標記的位置判斷出畫面中物件的邊界，透過處罰或切割搜尋視窗以增強局部區域的運動估測。
依此類推，根據每一層所產生的運動向量調整尺寸下一層的運動估測的估測參數。最後，在操作S350中，將第n層的當前區塊和第n層的參考區塊進行第n運動估測以產生分別對應於第n層當前區塊的複數個第n運動向量，其中根據第n-1層畫面的第n-1運動向量調整第n運動估測的估測參數。具體而言，如第4圖所示，經過n-1次運動估測後將產生第n-1運動向量MVn-1。將圖框Fn的當前區塊和圖框Ffn的參考區塊進行第n運動估測nME以產生第n運動向量MVn，其中根據第n-1運動向量MVn-1調整第n運動估測nME的估測參數。
如此一來，藉由縮小後的上一層畫面所取得的運動向量作為當層畫面進行運動估測的參考，可有效減少整體計算量並提高收斂效率和精準度。
值得注意的是，第3圖～第5圖繪示了n-1次縮小尺寸和n次運動估測，其中n-1為任意正整數。此外，第6圖繪示了i-1次和j-1次的掃描，其中i-1和j-1為任意正整數。
綜上所述，藉由影像處理裝置100的運動估測處理器120根據影像處理方法300進行運動估測，便能提升取得運動向量的效率和精準度。因此，在維持或降低運算成本的條件下，可有效降低影像畫面出現破碎、毛邊或頓挫的情形。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，所屬技術領域具有通常知識者在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像處理裝置 110:緩衝器 120:運動估測處理器 130:運動幀率轉換器 Vin:影像輸入訊號 Vout:影像輸出訊號 300:影像處理方法 S310,S320,S330,S340,S350:操作 Fk-1,Fk,Fc1~Fc4,F1,F2,Fn-1,Fn,Ff1,Ff2,Ffn-1,Ffn:圖框 MV1,MV2,MVn-1,MVn,MV1b:運動向量 1ME,2ME,nME:運動估測 V10,V11,V11b,V12,V1(i-1)b,V1i,V21,V21b,V22,V2(j-1)b,V2j:向量 MV1*S:向量 RV:隨機向量 BL0,BL1,BL2,BL3:區塊
第1圖為根據本揭示內容之實施例之一種影像處理裝置的示意圖。 第2圖為根據本揭示內容之實施例之一種影像所包含的連續畫面的示意圖。 第3圖為根據本揭示內容之實施例之一種影像處理方法的流程圖。 第4圖為根據本揭示內容之實施例之一種運動估測處理器的功能方塊圖。 第5圖為根據本揭示內容之實施例之一種縮小影像尺寸的示意圖。 第6圖為根據本揭示內容之實施例之一種第一和第二運動估測的功能方塊圖。 第7圖為根據本揭示內容之實施例之一種搜尋視窗和候選向量的示意圖。
300:影像處理方法
S310,S320,S330,S340,S350:操作

Claims (8)

  1. 一種影像處理方法，包含：將一當前畫面和一參考畫面縮小尺寸；將縮小後的該當前畫面切分為複數個第一當前區塊；將縮小後的該參考畫面切分為複數個第一參考區塊；將該些第一當前區塊和該些第一參考區塊進行一第一運動估測以產生分別對應於該些第一當前區塊的複數個第一運動向量；將該當前畫面切分為複數個第二當前區塊；將該參考畫面切分為複數個第二參考區塊；將該些第二當前區塊和該些第二參考區塊進行一第二運動估測以產生分別對應於該些第二當前區塊的複數個第二運動向量；以及根據該些第二運動向量產生該當前畫面和該參考畫面之間的一補幀畫面，其中該第二運動估測包含：針對該些第二當前區塊的每一者進行一三維遞迴搜尋；以及根據該些第一運動向量調整在該三維遞迴搜尋中的複數個估測參數，其中該三維遞迴搜尋包含複數次掃描，將該複數次掃描後收斂所得的一匹配向量作為該些第二當前區塊的相應一者的該第二運動向量，其中每次掃描包含：根據一初始向量產生複數個候選向量；計算該些候選向量的複數個匹配度； 將該些匹配度中最高者所對應的該候選向量作為該匹配向量；以及將該匹配向量作為一下次掃描的該初始向量。
  2. 如請求項1所述之影像處理方法，其中根據該些第一運動向量調整在該三維遞迴搜尋中的該些估測參數包含：將該些第二當前區塊中的該者所對應的該第一當前區塊的該第一運動向量乘上一倍率作為一目標向量；以及將該目標向量加上一隨機向量作為第一次掃描的該初始向量。
  3. 如請求項2所述之影像處理方法，其中根據該些第一運動向量調整在該三維遞迴搜尋中的該些估測參數更包含：在該複數次掃描中之一當次掃描中，將一上次掃描的該匹配向量和一向量差作為權重以決定該當次掃描的該初始向量，其中該向量差為該匹配向量和該目標向量之間的差值再除以一調整係數。
  4. 如請求項1所述之影像處理方法，其中根據該些第一運動向量調整在該三維遞迴搜尋中的該些估測參數包含：計算該些第二當前區塊中的一者的該些候選向量中的一 空間向量和該些第二當前區塊中的該者所對應的該第一當前區塊的該第一運動向量的一空間向量差值；計算該些第二當前區塊中的該者的該些候選向量中的一時間向量和該些第二當前區塊中的該者所對應的該第一當前區塊的該第一運動向量的一時間向量差值；當該空間向量差值大於該時間向量差值，降低該空間向量對應的該匹配度；以及當該時間向量差值大於該空間向量差值，降低該時間向量對應的該匹配度。
  5. 如請求項1所述之影像處理方法，其中根據該些第一運動向量調整在該三維遞迴搜尋中的該些估測參數包含：計算該些第二當前區塊中的一者和該些第二當前區塊中的該者的一周圍區域之間的一第一運動向量關聯度；計算該些第二當前區塊中的該者的該些候選向量中的一者和該些第二當前區塊中的該者所對應的該第一當前區塊的該第一運動向量的一向量差值；以及當該第一運動向量關聯度高於一關聯度閾值，且該向量差值高於一向量差閾值時，降低該些候選向量中的該者對應的該匹配度，其中該些候選向量中的該者為一時間向量或一空間向量。
  6. 如請求項1所述之影像處理方法，其中根據 該些第一運動向量調整在該三維遞迴搜尋中的該些估測參數包含：根據該些第一運動向量將該些第二當前區塊進行分群；計算該些第二當前區塊中的一者的該些候選向量中的一者和該些第二當前區塊中的該者所對應的該第一當前區塊的該第一運動向量的一向量差值；以及當該些第二當前區塊中同一群者的該些向量差值高於一向量差閾值時，降低該些候選向量中的該些者對應的該些匹配度，其中該些候選向量中的該些者為複數時間向量或複數空間向量。
  7. 如請求項1所述之影像處理方法，其中根據該些第一運動向量調整在該三維遞迴搜尋中的該些估測參數包含：計算該些第二當前區塊中的一者和該些第二當前區塊中的該者的一周圍區域之間的一第一運動向量關聯度；當該第一運動向量關聯度低於一關聯度閾值，標記該些第二當前區塊中的該者；以及縮小被標記的該些第二當前區塊中的該者的一搜尋視窗。
  8. 一種影像處理裝置，包含：一運動估測處理器，用以執行以下操作：將一當前畫面和一參考畫面縮小尺寸； 將縮小後的該當前畫面切分為複數個第一當前區塊；將縮小後的該參考畫面切分為複數個第一參考區塊；將該些第一當前區塊和該些第一參考區塊進行一第一運動估測以產生分別對應於該些第一當前區塊的複數個第一運動向量；將該當前畫面切分為複數個第二當前區塊；將該參考畫面切分為複數個第二參考區塊；以及將該些第二當前區塊和該些第二參考區塊進行一第二運動估測以產生分別對應於該些第二當前區塊的複數個第二運動向量，其中該第二運動估測包含：針對該些第二當前區塊的每一者進行一三維遞迴搜尋；以及根據該些第一運動向量調整在該三維遞迴搜尋中的複數個估測參數；以及一運動幀率轉換器，耦接該運動估測處理器，用以根據該些第二運動向量產生該當前畫面和該參考畫面之間的一補幀畫面，其中該三維遞迴搜尋包含複數次掃描，該運動估測處理器用以將該複數次掃描後收斂所得的一匹配向量作為該些第二當前區塊的相應一者的該第二運動向量，其中該運動估測處理器用以在每次掃描中執行以下操作：根據一初始向量產生複數個候選向量；計算該些候選向量的複數個匹配度；將該些匹配度中最高者所對應的該候選向量作為該匹配向量；以及 將該匹配向量作為一下次掃描的該初始向量。
TW109112802A 2020-04-16 2020-04-16 影像處理方法及影像處理裝置 TWI768324B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109112802A TWI768324B (zh) 2020-04-16 2020-04-16 影像處理方法及影像處理裝置
US17/111,761 US11636573B2 (en) 2020-04-16 2020-12-04 Image processing method and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109112802A TWI768324B (zh) 2020-04-16 2020-04-16 影像處理方法及影像處理裝置

Publications (2)

Publication Number Publication Date
TW202141426A TW202141426A (zh) 2021-11-01
TWI768324B true TWI768324B (zh) 2022-06-21

Family

ID=78081847

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109112802A TWI768324B (zh) 2020-04-16 2020-04-16 影像處理方法及影像處理裝置

Country Status (2)

Country Link
US (1) US11636573B2 (zh)
TW (1) TWI768324B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949869B (zh) * 2020-07-16 2024-04-26 晶晨半导体(上海)股份有限公司 估计像素块运动矢量的方法和视频处理装置及设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040046891A1 (en) * 2002-09-10 2004-03-11 Kabushiki Kaisha Toshiba Frame interpolation and apparatus using frame interpolation
CN101389022A (zh) * 2007-09-14 2009-03-18 索尼株式会社 图像处理设备、图像处理方法以及图像拾取设备
US20090316786A1 (en) * 2006-04-14 2009-12-24 Nxp B.V. Motion estimation at image borders
CN102918839A (zh) * 2010-03-31 2013-02-06 英特尔公司 用于视频编码的功率高效的运动估计技术
US20140286423A1 (en) * 2013-03-19 2014-09-25 Qualcomm Incorporated Disparity vector derivation in 3d video coding for skip and direct modes
CN110267047A (zh) * 2019-06-28 2019-09-20 苏州浪潮智能科技有限公司 视频帧间运动估计方法、装置、设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801778A (en) 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
KR101042623B1 (ko) * 2004-11-17 2011-06-20 삼성전자주식회사 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치
US8379727B2 (en) * 2008-09-26 2013-02-19 General Instrument Corporation Method and apparatus for scalable motion estimation
US8934544B1 (en) 2011-10-17 2015-01-13 Google Inc. Efficient motion estimation in hierarchical structure
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
TWI589979B (zh) * 2013-05-02 2017-07-01 群邁通訊股份有限公司 雙向鏡頭模組、相機模組及使用該相機模組的電子裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040046891A1 (en) * 2002-09-10 2004-03-11 Kabushiki Kaisha Toshiba Frame interpolation and apparatus using frame interpolation
US20090316786A1 (en) * 2006-04-14 2009-12-24 Nxp B.V. Motion estimation at image borders
CN101389022A (zh) * 2007-09-14 2009-03-18 索尼株式会社 图像处理设备、图像处理方法以及图像拾取设备
CN102918839A (zh) * 2010-03-31 2013-02-06 英特尔公司 用于视频编码的功率高效的运动估计技术
US20140286423A1 (en) * 2013-03-19 2014-09-25 Qualcomm Incorporated Disparity vector derivation in 3d video coding for skip and direct modes
CN110267047A (zh) * 2019-06-28 2019-09-20 苏州浪潮智能科技有限公司 视频帧间运动估计方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US20210327022A1 (en) 2021-10-21
TW202141426A (zh) 2021-11-01
US11636573B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
KR102115066B1 (ko) 비디오 안정화를 위한 적응적 경로 평활화
JP4564564B2 (ja) 動画像再生装置、動画像再生方法および動画像再生プログラム
JP5281891B2 (ja) 適応的な動き検索範囲
US6990148B2 (en) Apparatus for and method of transforming scanning format
JP4166781B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
CN1440203A (zh) 自适应运动估计装置和方法
US20070098075A1 (en) Motion vector estimating device and motion vector estimating method
US20120093231A1 (en) Image processing apparatus and image processing method
US8774276B2 (en) Image processing method for determining motion vectors of interpolated picture and related apparatus
US20110050993A1 (en) Motion estimating method and image processing apparatus
JP2008227702A (ja) 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
TWI768324B (zh) 影像處理方法及影像處理裝置
US8175160B1 (en) System, method, and computer program product for refining motion vectors
US10523961B2 (en) Motion estimation method and apparatus for plurality of frames
US11868438B2 (en) Method and system for self-supervised learning of pillar motion for autonomous driving
RU2747965C1 (ru) Обработка окклюзий для frc c помощью глубокого обучения
KR101337206B1 (ko) 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
US7852939B2 (en) Motion vector detection method and device of the same
KR101589492B1 (ko) 다수의 재귀 규칙을 이용한 디지털 비디오의 움직임 추정 방법 및 시스템
CN113542743B (zh) 图像处理方法及图像处理装置
KR100451184B1 (ko) 모션 벡터 탐색 방법
US11889227B2 (en) Occlusion processing for frame rate conversion using deep learning
JP6792541B2 (ja) 画像生成装置、画像生成方法及び画像生成プログラム
JP3589483B2 (ja) データ処理方法
JP5026152B2 (ja) ディゾルブ検出装置及びプログラム