TWI748459B - 影像處理方法 - Google Patents

影像處理方法 Download PDF

Info

Publication number
TWI748459B
TWI748459B TW109116438A TW109116438A TWI748459B TW I748459 B TWI748459 B TW I748459B TW 109116438 A TW109116438 A TW 109116438A TW 109116438 A TW109116438 A TW 109116438A TW I748459 B TWI748459 B TW I748459B
Authority
TW
Taiwan
Prior art keywords
block
compensation
frame
data
mixing coefficient
Prior art date
Application number
TW109116438A
Other languages
English (en)
Other versions
TW202145795A (zh
Inventor
喻仲平
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW109116438A priority Critical patent/TWI748459B/zh
Priority to US17/152,868 priority patent/US11310460B2/en
Application granted granted Critical
Publication of TWI748459B publication Critical patent/TWI748459B/zh
Publication of TW202145795A publication Critical patent/TW202145795A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

一種影像處理方法，包含：接收第一和第二畫面；根據第一和第二畫面產生複數個運動向量，其中運動向量中之一者對應第一畫面的第一區塊和第二畫面的第二區塊；計算補償區塊的補償位置、補償區塊和第一區塊之間的第一運動向量和補償區塊和第二區塊之間的第二運動向量；根據補償位置加上補償值，再加上第一或第二運動向量之總和是否超過目標範圍，以設定混合係數；根據混合係數調整第一區塊的第一資料或第二區塊的第二資料；根據調整後的第一或該第二資料產生補幀資料。

Description

影像處理方法
本揭示案係關於一種影像處理方法，特別是關於一種改善影像畫面不連續（discontinue）的影像處理方法。
在影像處理的領域中，在使用運動估測補償（motion estimation motion compensation，MEMC）的技術處理低幀（low frame rate）畫面時，部份情況會導致畫面空間上或時間上不連續。例如，當畫面移動速度較快，運動向量（motion vector）指到邊緣外（out of boundary）或黑邊外（out of rim）。或者，當畫面有覆蓋（cover）或顯現（uncover）的區域的時候。又或者使用雙邊內插（bi-interpolation）法計算時有一邊無法取得資料（invalid by search range）或失效（invalid by boundary or rim）的時候。
因此，如何解決畫面不連續的現象為本領域的重要課題。
本揭示內容的一態樣係關於一種影像處理方法，包含：接收第一畫面和第二畫面；根據第一畫面和第二畫面產生複數個運動向量，其中運動向量中之一者對應第一畫面的第一區塊和第二畫面的第二區塊；計算補償區塊的補償位置、補償區塊和第一區塊之間的第一運動向量和補償區塊和第二區塊之間的第二運動向量；根據補償位置加上補償值，再加上第一運動向量或第二運動向量之總和是否超過目標範圍，以設定混合係數；根據混合係數調整第一區塊的第一資料或第二區塊的第二資料；以及根據調整後的第一資料或第二資料產生補幀資料。
綜上所述，藉由影像處理裝置的運動幀率轉換器根據影像處理方法計算、判斷並調整用以內插的兩個區塊的混合比例，便能減少畫面不連續的現象。
下文係舉實施例配合所附圖式作詳細說明，但所描述的具體實施例僅用以解釋本案，並不用來限定本案，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭示內容所涵蓋的範圍。
請參考第1圖。第1圖為根據本揭示內容之實施例之一種影像處理裝置100的示意圖。如第1圖所示，影像處理裝置100包含緩衝器110、運動估測處理器（motion estimation processor）120、運動幀率轉換器（motion compensation frame rate converter）130、邊緣偵測器140（boundary detector）、覆蓋/顯示偵測器150（de-halo detector或cover/uncover detector）以及標誌偵測器160（logo detector）。結構上，緩衝器110連接運動估測處理器120和運動幀率轉換器130。邊緣偵測器140連接運動估測處理器120和運動幀率轉換器130。覆蓋/顯示偵測器150以及標誌偵測器160分別連接運動幀率轉換器130。
操作上，緩衝器110用以接收影像輸入訊號Vin進行緩衝處理後傳送至運動估測處理器120及/或運動幀率轉換器130。邊緣偵測器140用以接收並根據影像輸入訊號Vin取得輸入影像上、下、左、右的四個邊緣RIM，並根據此四個邊緣RIM所圍成的區域作為畫面區域。具體而言，邊緣偵測器140可根據影像輸入訊號Vin的影像尺寸取得四個邊緣。此外，在部分實施例中，邊緣偵測器140可偵測影像輸入訊號Vin內為黑邊（black rim）的部分，且將黑邊部分扣除後的區域作為畫面區域。
覆蓋/顯現偵測器150用以接收並根據影像輸入訊號Vin取得輸入影像的兩幀畫面之間的覆蓋/顯現（cover/ uncover）區域CR。標誌偵測器160用以根據影像輸入訊號Vin取得輸入影像中的標誌（logo），例如頻道標誌。
運動估測處理器120用以接收並根據影像輸入訊號Vin和邊緣RIM進行運動估測（motion estimation，ME），並將產生的運動向量（motion vector）傳送至運動幀率轉換器130。運動幀率轉換器130用以接收並根據影像輸入訊號Vin、邊緣RIM和覆蓋/顯現區域進行圖框（frame）內插補償，並輸出幀率轉換後的影像輸出訊號Vout。
舉例來說，如第2圖所示，圖框Fk為影像處理裝置100所接收到的影像輸入訊號Vin中當前的畫面。圖框Fk-1為影像輸入訊號Vin中相應於當前畫面的一個參考畫面。在部分實施例中，圖框Fk和圖框Fk-1為相鄰的兩幀畫面。運動估測處理器120將圖框Fk-1和圖框Fk以i乘j為單位切割成多個區塊（block），並利用各種運動向量搜尋方法找出每個區塊的最佳運動向量（best motion vector）傳送至運動幀率轉換器130。
之後，運動幀率轉換器130根據圖框Fk-1、圖框Fk和每個區塊的最佳運動向量產生圖框Fk-1和圖框Fk之間的補償畫面。例如，若最佳運動向量大致為由左下至右上的向量，則根據位於圖框Fk-1中左下角的圓形和位於圖框Fk中右上角的圓形，可產生如圖框Fc1～Fc4所示的補償畫面。換言之，經過影像處理裝置100利用影像處理方法後所輸出的影像輸出訊號Vout將包含圖框Fk-1、圖框Fc1～Fc4和圖框Fk。
然而，當用以產生補償畫面的運動向量指到邊緣外（out of boundary）或黑邊外（out of rim），使得進行內插補償時所需參考的資料無法取得或是取得失效的資料，此狀況可能會導致補償畫面的內容出現不連續，或者補償畫面和相鄰畫面在時間上不連續。舉例來說，如第3圖所示，圖框Fc為根據當前圖框Fk和參考圖框Fk-1所產生的補償畫面。理論上，圖框Fc的區塊BL1c是根據運動向量MV1所對應的區塊BL1a和區塊BL1b以權值各為0.5進行加權平均而得。然而，若以區塊BL2c為例，計算運動向量MV2時須參考區塊BL2a和區塊BL2b，但區塊BL2a已超出影像邊緣，因此，區塊BL2a並無法被參照。若將無法被參照的區塊BL2a和運動向量MV2b所指向的區塊BL2b進行加權平均，所取得的補償區塊BL2c很可能出現不連續。針對上述問題，本案提出下述影像處理方法以解決此問題。
請參考第4圖。第4圖為根據本揭示內容之實施例之一種影像處理方法400的流程圖。為方便及清楚說明起見，下述影像處理方法400將配合第1圖～第7圖所示實施例進行說明，但不以此為限，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可對其作各種更動與潤飾。如第4圖所示，影像處理方法400包含操作S410、S420、S430、S440、S450以及S460。
首先，在操作S410中，接收第一畫面和第二畫面。具體而言，如第1圖所示，由影像處理裝置100中的運動估測處理器120接收影像輸入訊號Vin中不同的兩幀畫面。在部分實施例中，第一畫面和第二畫面可為相鄰兩幀畫面，如第2圖中的當前圖框Fk和參考圖框Fk-1。
接著，在操作S420中，根據第一畫面和第二畫面產生複數個運動向量，其中運動向量中之一者對應第一畫面的第一區塊和第二畫面的第二區塊。具體而言，由運動估測處理器120將當前圖框Fk分割為固定尺寸的複數個當前區塊。為了方便說明起見，以下段落將以i乘j的矩陣表示這些當前區塊。之後，由運動估測處理器120針對每個當前區塊在參考圖框Fk-1中搜尋匹配度最高的相應參考區塊，並以當前區塊和相應參考區塊之間的向量作為此當前區塊的運動向量。在部分實施例中，匹配度的計算可利用絕對誤差和（Sum of Absolute Differences，SAD）據以實施，但本案不以此為限。在其他部分實施例中，亦可利用均方差（mean square error，MSE）或平均絕對誤差（mean absolute deviation，MAD)。
如此一來，由運動估測處理器120根據圖框Fk和圖框Fk-1便能計算出相應於i乘j個當前區塊的i乘j個運動向量。
接著，在操作S430中，根據運動向量、第一區塊和第二區塊計算補償區塊的補償位置、補償區塊和第一區塊之間的第一運動向量以及補償區塊和第二區塊之間的第二運動向量。具體而言，以第5圖中的運動向量MVk、區塊B11和區塊B21為例，由運動幀率轉換器130根據運動向量MVk、區塊BL11和區塊BL21可計算出補償區塊Bc1的補償位置。如第5圖所示，補償區塊Bc1的補償位置Pc[x1,y1]為區塊B11的位置P1[x1,y1]和區塊B21的位置P2[x1,y1]的中點。此外，由運動幀率轉換器130可根據補償區塊Bc1的補償位置Pc[x1,y1]和區塊B11的位置P1[x1,y1]之間的向量MV1[x1,y1]作為第一向量，並根據補償區塊Bc1的位置Pc[x1,y1]和區塊B21的位置P2[x1,y1]之間的向量MV2[x1,y1]作為第二向量。
如此一來，由運動估測處理器120根據i乘j個當前區塊的位置、相應於當前區塊的i乘j個參考區塊的位置，便能計算出i乘j個補償區塊的補償位置（如第6圖中的位置P[i,j]）、i乘j個第一運動向量（如第6圖中的MV1[i,j]）以及i乘j個第二運動向量（如第6圖中的MV2[i,j]）。
接著，在操作S440中，根據補償區塊的補償位置加上補償值，再加上第一運動向量或第二運動向量之總和是否超過目標範圍，以設定混合係數。具體而言，如第6圖所示，由運動幀率轉換器130根據補償區塊的補償位置P[i,j]、第一運動向量MV1[i,j]、第二運動向量MV2[i,j]和補償值C[i,j]計算補償區塊所相應的第一區塊和第二區塊的位置，並根據邊緣RIM判斷第一區塊或第二區塊（即，當前區塊或參考區塊）是否超過目標範圍（即，四個邊緣RIM圍成的區域）。當第一區塊或第二區塊超過目標範圍，則根據超出部分的大小來設定混合係數IND[i,j]。當第一區塊或第二區塊未超過目標範圍，則標記此第一區塊或第二區塊的混合係數IND[i,j]為零或捨棄（fail），代表此區塊不需進行額外處理。
舉例來說，若補償區塊的補償位置加上第一運動向量和補償值未超過目標範圍，則設定第一區塊的混合係數為零。當補償區塊的補償位置加上第二運動向量和補償值未超過目標範圍，則設定第二區塊的混合係數為零。另一方面，若補償區塊的補償位置加上第一運動向量和補償值超過目標範圍，則將第一區塊的混合係數設定為兩者的插值。當補償區塊的補償位置加上第二運動向量和補償值超過目標範圍，則將第二區塊的混合係數設定兩者的插值。
進一步詳細說明，如下式(1)所示，Px為補償區塊的補償位置的橫座標值，Py為補償區塊的補償位置的縱坐標值。MVx為第一運動向量或第二運動向量的橫座標值，MVy為第一運動向量或第二運動向量的的縱坐標值。OFFSET為補償值。RIMtop、RIMbottom、RIMleft、RIMright分別為輸入影像的上、下、左、右的邊框，其分別由四個邊框上的複數座標值所定義。IND[x,y]為第一區塊或第二區塊的混合係數。
Figure 02_image001
Figure 02_image003
Figure 02_image005
式(1)
如第5圖所示，由於補償區塊Bc1的位置Pc[x1,y1]加上第一運動向量MV1[x1,y1]和補償值後對應的座標值將落於上方邊框RIMtop之外，因此，根據式(1)將第一區塊B11的混合係數標記為補償值OFFSET。而由於補償區塊Bc1的位置Pc[x1,y1]加上第二運動向量MV2[x1,y1]和補償值後對應的座標值將落於四個邊框界定的輸入影像之內，因此，根據式(1)將設定第二區塊B21的混合係數為零。
又例如，如第5圖所示，由於補償區塊Bc2的位置Pc[x2,y2]加上第一運動向量MV1[x2,y2]和補償值後對應的座標值將落於四個邊框界定的輸入影像之內，因此，根據式(1)將標記第一區塊B12的混合係數為零。而由於補償區塊Bc2的位置Pc[x2,y2]加上第二運動向量MV2[x2,y2]和補償值後對應的座標值將落於下方邊框RIMbottom之外，因此，根據式(1)將第二區塊B22的混合係數標記為補償值OFFSET。
值得注意的是，補償值OFFSET為欲進行處理的距離範圍，可依據使用者的需求進行設定。此外，在部分實施例中，補償值OFFSET可再乘上增益（gain）。增益大小可由韌體進行控制。換言之，補償值OFFSET為可調整的。
接著，在操作S450中，根據混合係數調整第一區塊的第一資料或第二區塊的第二資料。具體而言，如第6圖所示，由運動幀率轉換器130根據混合係數IND[i,j]調整圖框Fk和圖框Fk-1所包含的各個區塊的資料。
進一步而言，當第一區塊和第二區塊的兩個混合係數中一個為零而另一個存在不為零的數值時，將數值不為零的區塊以數值為零的區塊調整其區塊資料。舉例來說，如下式(2)所示，INDa[x,y]為第一區塊的混合係數，INDb[x,y]為第二區塊的混合係數。DATAa[x,y]為第一區塊的第一資料，DATAb[x,y]為第二區塊的第二資料。R為數值簡化位元（Rounding bit）。
Figure 02_image007
Figure 02_image009
Figure 02_image011
Figure 02_image013
式(2)
如第5圖所示，由於區塊B11的混合係數INDa[x,y]不為零且區塊B21的混合係數INDb[x,y]為零，因此，將區塊B21的資料和區塊B11的資料以INDb[x,y]和(MODE-INDb[x,y])的比例進行加權平均以做為新的區塊B11的資料。另一方面，由於區塊B22的混合係數INDb[x,y]不為零且區塊B12的混合係數INDa[x,y]為零，因此，將區塊B12的資料和區塊B22的資料以INDa[x,y]和(MODE-INDa[x,y])的比例進行加權平均以做為新的區塊B22的資料。
在部分實施例中，MODE為搭配補償值OFFSET的數值，可為32或64，但本案不以此為限，本領域具有通常知識者可依實際需求進行設計。
由於在操作S440中是根據上下左右的每個邊框RIM判斷計算結果是否在任一邊有超出，並將超出的數值紀錄以在操作S450中作為進行調整混合係數的比例。換言之，第一混合係數與第一區塊超出邊框RIM的數值呈正相關。第二混合係數與第二區塊超出邊框RIM的數值呈正相關。因此，原先進行單邊內插（single interpolation）的區塊可維持單邊內插。原先進行雙邊內插（bi-interpolation）且加上此計算還是沒超出目標範圍的區塊可維持使用雙邊內插。達到在單邊內插跟雙邊內插之間有另外一種過渡計算以減少畫面不連續的現象。
接著，在操作S460中，根據調整後的第一資料或第二資料產生補幀資料。具體而言，如第6圖所示，由運動幀率轉換器130根據調整後的第一區塊的第一資料和第二區塊的第二資料，以權值各為0.5進行加權平均來產生補幀資料，但本案不以此為限，本領域具有通常知識者可依實際需求進行設計。
如此一來，藉由計算用以內插的區塊的位置是否超出邊緣，判斷此區塊是否可能造成畫面不連續。當進行雙邊內插時，若兩個用以內插的畫面區塊中有一個區塊的資料失效或拿不到資料（即，可能造成畫面不連續），則以加權的方式利用另一個區塊調整此區塊的資料內容。換言之，藉由混合係數調整兩個區塊進行內插的混合（blending）比例，使得所產生的補償區塊較相似於具有有效資料的區塊，而避免因混入不適當的資料造成畫面不連續。
在其他部分實施例中，在影像處理方法100的操作S440中，目標範圍亦可為覆蓋/顯現區域CR。在輸入影像中，先前畫面的圖樣在後續畫面中被覆蓋的區域稱之為覆蓋區域。另一方面，先前畫面未出現的圖樣在後續畫面中顯現的區域稱之為顯現區域。具體而言，由運動幀率轉換器130判斷第一區塊或第二區塊（即，當前區塊或參考區塊）是否超過覆蓋/顯現偵測器150所取得的覆蓋/顯現區域CR。當第一區塊或第二區塊超過覆蓋/顯現區域CR，則根據超出部分的大小設定混合係數IND[i,j]。當第一區塊或第二區塊未超過覆蓋/顯現區域CR，則標記此第一區塊或第二區塊的混合係數IND[i,j]為零或捨棄，代表此區塊不需進行額外處理。
舉例來說，如第7圖所示，在當前圖框Fk中氣球所涵蓋的區域相對於參考圖框Fk-1為覆蓋區域。而在當前圖框Fk中相對於參考圖框Fk-1中的氣球所涵蓋的區塊為顯現區域。以補償區塊BL3c來說，由於第二區塊BL3b落入覆蓋/顯現區域CR內，因此，第二區塊BL3b的混合係數不為零，將根據第一區塊BL3a的混合係數進行區塊資料的調整。另外，以補償區塊BL4c來說，由於第一區塊BL4a落入覆蓋/顯現區域CR內，因此，第二區塊BL3b的混合係數不為零，將根據第一區塊BL3a的混合係數進行區塊資料的調整。
如此一來，藉由計算用以內插的區塊的位置是否落入覆蓋/顯現區域CR，判斷此區塊是否可能造成畫面不連續。當進行雙邊內插時，若兩個用以內插的畫面區塊皆落入覆蓋/顯現區域CR中，則以加權的方式利用位於顯現區域的區塊調整位於覆蓋區域的區塊的資料內容。換言之，藉由混合係數調整兩個區塊進行內插的混合比例，使得所產生的補償區塊較相似於具有有效資料的區塊，而避免因混入不適當的資料造成畫面不連續。
綜上所述，藉由影像處理裝置100的運動幀率轉換器130根據影像處理方法300計算、判斷並調整用以內插的兩個區塊的混合比例，便能減少畫面不連續的現象。此外，本案的影像處理方法300不必使用到硬體的列緩衝器（line butter），因此不會產生大量的額外成本。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，所屬技術領域具有通常知識者在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像處理裝置 110:緩衝器 120:運動估測處理器 130:運動幀率轉換器 140:邊緣偵測器 150:覆蓋/顯現偵測器 160:標誌偵測器 Vin:影像輸入訊號 MV:運動向量 RIM:邊緣 CR:覆蓋/顯現區域 Vout:影像輸出訊號 400:影像處理方法 S410,S420,S430,S440,S450,S460:操作 Fk-1,Fk,Fc,Fc1~Fc4:圖框 MV1,MV2,MVk,MV1[x1,y1],MV1[x2,y2],MV2[x1,y1],MV2[x2,y2],MV1[i,j],MV2[i,j],MV1a,MV1b,MV2a,MV2b:運動向量 BL1a,BL1b,BL1c,BL2a,BL2b,BL2c,BL3a,BL3b,BL3c,BL4a,BL4b,BL4c,B11,B12,B21,B22,Bc1,Bc2:區塊 Pc[x1,y1],Pc[x2,y2],P1[x1,y1],P1[x2,y2],P2[x1,y1],P2[x2,y2],P[i,j]:位置 C[i,j]:補償值 IND[i,j]:混合係數
第1圖為根據本揭示內容之實施例之一種影像處理裝置的示意圖。 第2圖為根據本揭示內容之實施例之一種影像所包含的連續畫面的示意圖。 第3圖為根據本揭示內容之實施例之一種補幀影像的示意圖。 第4圖為根據本揭示內容之實施例之一種影像處理方法的流程圖。 第5圖為根據本揭示內容之實施例之一種運動補償器的功能方塊圖。 第6圖和第7圖為根據本揭示內容之實施例之另一種補幀影像的示意圖。
400:影像處理方法 S410,S420,S430,S440,S450,S460:操作

Claims (9)

  1. 一種影像處理方法，包含：接收一第一畫面和一第二畫面；根據該第一畫面和該第二畫面產生複數個運動向量，其中該些運動向量中之一者對應該第一畫面的一第一區塊和該第二畫面的一第二區塊；計算一補償區塊的一補償位置、該補償區塊和該第一區塊之間的一第一運動向量和該補償區塊和該第二區塊之間的一第二運動向量；根據該補償位置加上一補償值，再加上該第一運動向量或該第二運動向量之一總和是否超過一目標範圍，以設定一混合係數，其中該目標範圍包含一畫面區域或一覆蓋顯現區域；根據該混合係數調整該第一區塊的一第一資料或該第二區塊的一第二資料；以及根據調整後的該第一資料或該第二資料產生一補幀資料。
  2. 如請求項1所述之影像處理方法，其中設定該混合係數包含：當該補償位置加上該第一運動向量和該補償值未超過該目標範圍，設定該第一區塊的一第一混合係數為該補償值；當該補償位置加上該第二運動向量和該補償值未超過該 目標範圍，設定該第二區塊的一第二混合係數為該補償值；當該補償位置加上該第一運動向量和該補償值超過該目標範圍，將該第一混合係數標記為捨棄；以及當該補償位置加上該第二運動向量和該補償值超過該目標範圍，將該第二混合係數標記為捨棄。
  3. 如請求項2所述之影像處理方法，其中根據該混合係數調整該第一資料或該第二資料包含：當第一混合係數被標記為捨棄且該第二混合係數不為零時，將該第一資料根據該第二資料以該第二混合係數進行調整；以及當第一混合係數不為零且該第二混合係數被標記為捨棄時，將該第二資料根據該第一資料以該第一混合係數進行調整。
  4. 如請求項2所述之影像處理方法，其中該第一混合係數和該總和超過該目標範圍的數值呈正相關，該第二混合係數和該總和超過該目標範圍的數值呈正相關。
  5. 如請求項1所述之影像處理方法，更包含：由一邊緣偵測器取得一輸入影像的四個邊緣；以及根據該四個邊緣所圍成的區域作為該畫面區域。
  6. 如請求項1所述之影像處理方法，更包含：由一覆蓋顯現偵測器偵測該第一畫面和該第二畫面中的該覆蓋顯現區域。
  7. 如請求項1所述之影像處理方法，其中計算該補償位置包含：計算該第一區塊和第二區塊的一中點位置作為該補償位置。
  8. 如請求項1所述之影像處理方法，其中該補償值為可調控的。
  9. 如請求項1所述之影像處理方法，其中產生該補幀資料包含：計算該第一資料和該第二資料的算術平均數作為該補幀資料。
TW109116438A 2020-05-18 2020-05-18 影像處理方法 TWI748459B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109116438A TWI748459B (zh) 2020-05-18 2020-05-18 影像處理方法
US17/152,868 US11310460B2 (en) 2020-05-18 2021-01-20 Image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109116438A TWI748459B (zh) 2020-05-18 2020-05-18 影像處理方法

Publications (2)

Publication Number Publication Date
TWI748459B true TWI748459B (zh) 2021-12-01
TW202145795A TW202145795A (zh) 2021-12-01

Family

ID=78512125

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116438A TWI748459B (zh) 2020-05-18 2020-05-18 影像處理方法

Country Status (2)

Country Link
US (1) US11310460B2 (zh)
TW (1) TWI748459B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492249B (zh) * 2019-09-11 2024-04-09 瑞昱半导体股份有限公司 图像处理方法及电路

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102292981A (zh) * 2009-10-08 2011-12-21 日本胜利株式会社 帧率变换装置及方法
CN106060539A (zh) * 2016-06-16 2016-10-26 深圳风景网络科技有限公司 一种低传输带宽的视频编码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
US6760378B1 (en) * 1999-06-30 2004-07-06 Realnetworks, Inc. System and method for generating video frames and correcting motion
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
KR100579493B1 (ko) * 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
JP4396496B2 (ja) 2004-12-02 2010-01-13 株式会社日立製作所 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
TWI399094B (zh) * 2009-06-30 2013-06-11 Silicon Integrated Sys Corp 自適應移動補償內插法與其裝置
US8446524B2 (en) 2010-06-21 2013-05-21 Realtek Semiconductor Corp. Apparatus and method for frame rate conversion
WO2015147689A1 (en) * 2014-03-28 2015-10-01 Huawei Technologies Co., Ltd. Method and device for generating a motion-compensated video frame

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102292981A (zh) * 2009-10-08 2011-12-21 日本胜利株式会社 帧率变换装置及方法
CN106060539A (zh) * 2016-06-16 2016-10-26 深圳风景网络科技有限公司 一种低传输带宽的视频编码方法

Also Published As

Publication number Publication date
US11310460B2 (en) 2022-04-19
TW202145795A (zh) 2021-12-01
US20210360190A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
JP4631966B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4083265B2 (ja) 画像信号の方式変換方法および装置
JP2003163894A (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
JP5645699B2 (ja) 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
JP2011199716A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2012111232A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
EP1721458A1 (en) Reducing artefacts in scan-rate conversion of image signals by combining interpolation and extrapolation of images
JP4092778B2 (ja) 画像信号の方式変換装置及びテレビジョン受像機
KR20040108053A (ko) 움직임 벡터 생성 장치 및 방법
TWI748459B (zh) 影像處理方法
JP2009534900A (ja) 補間画像生成方法及びシステム
JPH11112940A (ja) 動きベクトルの生成方法および装置
US7683971B2 (en) Image conversion apparatus to perform motion compensation and method thereof
US8773587B2 (en) Adaptation of frame selection for frame rate conversion
US20120288001A1 (en) Motion vector refining apparatus
JP3018377B2 (ja) 動きベクトルを用いた動き内挿方法及び装置
TWI389576B (zh) 影像處理裝置以及影像處理方法
CN113726980B (zh) 图像处理方法
CN102523419A (zh) 一种基于运动补偿的数字视频信号转换方法
US20090046208A1 (en) Image processing method and apparatus for generating intermediate frame image
KR20120040764A (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
JPH08205163A (ja) 動き補償予測画像作成装置
JP3022977B2 (ja) テレビジョン信号内挿方式
TW202322047A (zh) 影像處理方法與影像處理電路
TWI730444B (zh) 影像處理方法及電路