TW201333836A - 影像處理方法 - Google Patents

影像處理方法 Download PDF

Info

Publication number
TW201333836A
TW201333836A TW101128006A TW101128006A TW201333836A TW 201333836 A TW201333836 A TW 201333836A TW 101128006 A TW101128006 A TW 101128006A TW 101128006 A TW101128006 A TW 101128006A TW 201333836 A TW201333836 A TW 201333836A
Authority
TW
Taiwan
Prior art keywords
image frame
current image
still
pixels
block
Prior art date
Application number
TW101128006A
Other languages
English (en)
Inventor
Chien-Ming Lu
Yin-Ho Su
Chien-Chang Lin
Original Assignee
Himax Media Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Media Solutions Inc filed Critical Himax Media Solutions Inc
Publication of TW201333836A publication Critical patent/TW201333836A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

一種應用於一影像處理裝置的影像處理方法包含有：判斷一目前影像圖框中的靜止像素以及非靜止像素；將該目前影像圖框分割為複數個區塊，其中每一個區塊包含有複數個像素；參考該目前影像圖框中的靜止像素與非靜止像素以決定出該目前影像圖框中的靜止區塊以及非靜止區塊；以及依據該目前影像圖框中的靜止區塊以及非靜止區塊以重新判斷該目前影像圖框中的靜止像素以及非靜止像素。

Description

影像處理方法
本發明係有關於一種影像處理方法，尤指一種可以更精確地決定出圖框中靜止像素以及非靜止像素的影像處理方法。
運動估計以及運動補償(Motion Estimation and Motion Compensation，MEMC)技術已被廣泛地用來產生內插圖框以加倍一顯示器上所顯示之影像資料的圖框速率(frame rate)，然而，當所顯示的影像資料包含靜止的標誌/標題或是字幕，且位於該些靜止標誌/標題/字幕後的物體正在移動時，由於移動之背景物體的影響，於產生內插圖框時所計算出之有關於靜止的標誌/標題/字幕的運動向量可能會有錯誤(理想上，該些靜止的標誌/標題/字幕的運動向量應該是零)，而造成內插圖框之該些標誌/標題/字幕的位置也跟著錯誤。如此一來，這些靜止的標誌/標題/字幕在顯示上便會變的模糊，而影響到顯示品質。
因此，本發明的目的之一在於提供一種影像處理方法，其可以準確地決定出影像圖框中靜止像素與非靜止像素，且可以將包含靜止像素的區域的運動向量設為零，以解決上述的問題。
依據本發明一實施例，一種應用於一影像處理裝置的影像處理方法包含有：判斷一目前影像圖框中的靜止像素以及非靜止像素；將該目前影像圖框分割為複數個區塊，其中每一個區塊包含有複數個像素；參考該目前影像圖框中的靜止像素以及非靜止像素以決定出該目前影像圖框中的靜止區塊以及非靜止區塊；以及依據該目前影像圖框中的靜止區塊以及非靜止區塊以重新判斷該目前影像圖框中的靜止像素以及非靜止像素。
請參考第1圖，第1圖為依據本發明一實施例之影像處理方法的流程圖，其中在本實施例中，該影像處理方法可以藉由一專用的影像處理電路來進行操作，或是藉由執行儲存於一儲存裝置中的程式碼來產生。第1圖所示之方法係用來對依序對影像訊號中的圖框來進行處理，亦即，第2圖所示的每一個圖框均會依據第1圖所示的步驟來進行操作。在以下有關於第1圖所示之影像處理方法的流程的描述中，係以第2圖所示的影像圖框Fn來作為範例說明。
此外，第2圖所示的影像圖框是由一高解析度(full high definition，full HD)影像訊號降頻(down-sampled)而得到，舉例來說，高解析度影像圖框的解析度為1920＊1080，而第2圖所示之圖框的解析度可以示480＊270。此外，第2圖所示的靜止物件210可以是靜止的標誌/標題/字幕或是任何其他的非關影像內容(non-video)的物件。
於步驟100，流程開始。於步驟102中，以影像圖框Fn中的一第一像素為例，一索貝爾水平濾波器(Sobel horizontal filter)以及一索貝爾垂直濾波器(Sobel vertical filter)被用來決定該第一像素是否位於影像圖框Fn的邊緣。詳細來說，該索貝爾水平濾波器用來對該第一像素作運算以產生一水平濾波結果Ex，而該索貝爾垂直濾波器用來對該第一像素作運算以產生一垂直濾波結果Ey，接著使用以下的公式來判斷該第一像素是否位於影像圖框Fn的邊緣： 如果max(Ex,Ey)>(car+th1)，則該第一像素為影像圖框Fn的邊緣；如果max(Ex,Ey)<=(car+th1)，則該第一像素不為影像圖框Fn的邊緣；其中max(Ex,Ey)為Ex與Ey中較大的值，“var”為該第一像素及其相鄰像素的平均變異數(mean variance)，而“th1”則為一臨界值。
需注意的是上述的邊緣偵測方法僅為一範例說明，而並非作為本發明的限制，於本發明之其他實施例中，其他的邊緣偵測方法亦可被用來判斷該第一像素是否位於影像圖框Fn的邊緣。
於步驟104中，影像圖框Fn之該第一像素的像素值(或是亮度值)被用來與一前一影像圖框Fn-1之該第一像素的像素值作比較以產生一時間比較結果，其中該時間比較結果係用來指出該兩個像素值是否相同(或是很接近)。
在步驟106中，判斷該邊緣偵測結果與該時間比較結果是否均符合規則。舉例來說，當該第一像素被判斷為影像圖框Fn的邊緣且該時間比較結果指出影像圖框Fn的該第一像素值與前一影像圖框Fn-1的該第一像素值相同(或是很接近)時，判斷該邊緣偵測結果與該時間比較結果是均符合規則。
接著，在步驟108中，依據步驟106的判斷結果以及先前影像圖框Fn-1、Fn-2、...等的靜止像素來判斷影像圖框Fn的該第一像素為一靜止像素或是非靜止像素，亦即，如果影像圖框Fn與先前影像圖框Fn-1、Fn-2、...等的第一像素有一大部分均被判斷為符合步驟106的規則，則影像圖框Fn的該第一像素就會被判斷為靜止像素，否則影像圖框Fn的該第一像素判斷為非靜止像素。
於一實施例中，於步驟108，一緩衝器可以被用來儲存一計數值，且該計數值用來指出複數個圖框中有多少個圖框中的第一像素符合步驟106中的規則，舉例來說，當有一個圖框中的第一像素符合規則時，該計數值就會加“1”，而當有一個圖框中的第一像素不符合規則時，該計數值就會減“1”。接著，針對影像圖框Fn的該第一像素，該計數值被用來與一臨界值比較以判斷影像圖框Fn的該第一像素為靜止像素或是非靜止像素，亦即，當該計數值大於該臨界值時，該第一像素便會被判斷為靜止像素；而當該計數值不大於該臨界值時，該第一像素便會被判斷為非靜止像素。
在影像圖框Fn中的所有像素均進行上述步驟102~108的操作之後，影像圖框Fn中的像素便可被分類為靜止像素以及非靜止像素。於本實施例中，靜止像素的值被設為“1”，非靜止像素的值則被設為“0”，而第3圖所示為用來表示影像圖框Fn中的靜止像素與非靜止像素的示意圖像310，其中第3圖的陰影區域則是步驟108中所判斷出的靜止像素。
在影像圖框Fn中的靜止像素與非靜止像素被決定之後，流程進入步驟110以進行後端處理。請參考第4圖所示之後端處理的流程圖，在步驟400中，針對影像圖框Fn中一特定像素，當該特定像素的周邊像素有一部分被判斷為靜止像素時，則直接將該特定像素判斷為靜止像素，而不論該特定像素在步驟108中是否被判斷為靜止像素。舉例來說，請參考第5圖，假設在步驟108中像素P5被判斷為非靜止像素，而該周遭像素(如第5圖所示的兩行與兩列的像素)中有多數均被判斷為靜止像素時，則像素P5會被重新判斷為一靜止像素。
接著，在步驟402中，影像圖框Fn被分為複數個區塊B1_1~BM_N，其中每一個區塊包含有複數個像素，於本實施例中，每一個區塊包含如第6圖所示的八個像素。
在步驟404中，參考步驟108與400中所決定出的靜止像素與 非靜止像素來決定出影像圖框Fn中的靜止區塊與非靜止區塊。於本實施例中，針對每一個區塊，當該區塊包含至少一個靜止像素時，則該區塊就被判斷為一靜止區塊；反之則該區塊被判斷為一非靜止區塊。此外，針對一特定區塊，當該特定區塊的周邊區塊有一部分被判斷為非靜止區塊時，則將該特定區塊則被判斷為非靜止區塊。舉例來說，假設區塊B1_1被判斷為一靜止區塊，而其周邊區塊B2_1、B1_2、B2_2被判斷為非靜止區塊，則區塊B1_1被重新判斷為一非靜止區塊。
於一實施例中，於步驟404，一3＊5緩衝器陣列可以被用來儲存影像圖框Fn中3＊5區塊的暫時決定結果(在以下的敘述中，係以第6圖所示的區塊B1_1~B3_5來做為範例說明，且區塊B2_3作為該特定區塊)，其中每一個緩衝器儲存用來表示相對應之區塊是否為靜止的一數值，舉例來說，假設區塊B1_1在影像圖框Fn與前兩個影像圖框Fn-1與Fn-2中均被判斷為靜止區塊，則相對應的緩衝器則會被設定具有數值“1”；反之則相對應的緩衝器則會被設定具有數值“0”。接著，3＊5緩衝器陣列中的數值被加總以得到一分數，當該分數大於一臨界值(例如“3”)時，區塊B2_3被判斷為一靜止區塊；而當該分數不大於該臨界值時，區塊B2_3被判斷為一非靜止區塊。
接著，在步驟406中，依據靜止區塊與非靜止區塊來重新判斷影像圖框Fn中的靜止像素與非靜止像素。詳細來說，如果任一個非靜止區塊包含有靜止像素時，則該些靜止像素則被重新判斷為非靜 止像素；以及如果任一個靜止區塊包含有非靜止像素時，則該些非靜止像素則被重新判斷為靜止像素。第7圖所示為用來表示影像圖框Fn中重新判斷後之靜止像素與非靜止像素的圖像710的示意圖，與第3圖所示的圖像310相比，圖像710可以清楚地顯示出第2圖的靜止物體210，且圖像中沒有必要的靜止像素則被移除。
接著，流程回到第1圖所示的步驟112，在步驟112中，決定目前影像圖框的一運動程度。舉例來說，該運動程度可以是複數個區域運動向量(regional motion vector)中的一最大區域運動向量，其中該複數個區域運動向量分別對應至影像圖框Fn的複數個區域；或是該運動程度可以是影像圖框Fn的一全域運動向量(global motion vector)；亦或是該運動程度可以是該複數個區域運動向量與該全域運動向量中最大的運動向量。由於決定出域運動向量與全域運動向量的方法系為本領域中具有通常知識者所熟知，故於此不再贅述。
當影像圖框Fn具有高的運動程度時(亦即，該運動程度大於一臨界值)，流程進入步驟114；而當影像圖框Fn具有低的運動程度時(亦即，該運動程度小於該臨界值)，流程進入步驟116。
在步驟114中，包含有第7圖所示之靜止像素的一區域被設為具有零運動向量，且藉由參考此具有零運動向量的該區域來產生影像圖框Fn與其相鄰影像圖框之間的一內插影像圖框，因此，內插影 像圖框中靜止物體的位置將會與影像圖框Fn與其相鄰影像圖框中靜止物體的位置完全相同，故靜止物體在顯示時便不會以模糊的現象發生，影像顯示品質也因此改善。
在步驟116中，第7圖所示之影像圖框Fn的靜止像素與非靜止像素的判斷結果不會被用來產生影像圖框Fn與其相鄰影像圖框之間的一內插影像圖框，亦即當影像圖框Fn具有低的運動程度時，產生內插影像圖框的步驟會忽略步驟100~112中所獲得的判斷結果。
簡要歸納本發明，在本發明之影像處理方法中，影像圖框中的靜止物體會先在以像素為單位(pixel domain)做判斷後，再以區塊為單位(block domain)來判斷，因此，影像圖框中靜止物體在位置上的判斷便會比較準確，且所產生之內插圖框的品質也會改善。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100~114、400~406‧‧‧步驟
210‧‧‧靜止物體
310、710‧‧‧圖像
Fn、Fn-1、Fn-2、Fn-3‧‧‧影像圖框
P1~P9‧‧‧像素
B1_1~BM_N‧‧‧區塊
第1圖為依據本發明一實施例之影像處理方法的流程圖。
第2圖所示為包含複數個影像圖框之一影像訊號的示意圖。
第3圖為用來表示靜止像素之圖像的示意圖。
第4圖為第1圖步驟110所示之後端處理的流程圖。
第5圖為如何重新判斷像素P5為靜止像素的示意圖。
第6圖為如何將影像圖框分為複數個區塊的示意圖。
第7圖為用來表示靜止像素之圖像的示意圖。
100~114‧‧‧步驟

Claims (14)

  1. 一種影像處理方法，應用於一影像處理裝置，包含有：判斷一目前影像圖框中的靜止像素以及非靜止像素；將該目前影像圖框分割為複數個區塊，其中每一個區塊包含有複數個像素；參考該目前影像圖框中的靜止像素以及非靜止像素以決定出該目前影像圖框中的靜止區塊以及非靜止區塊；以及依據該目前影像圖框中的靜止區塊以及非靜止區塊以重新判斷該目前影像圖框中的靜止像素以及非靜止像素。
  2. 如申請專利範圍第1項所述的影像處理方法，其中判斷該目前影像圖框中的靜止像素以及非靜止像素的步驟包含有：使用一空間濾波器來對該目前影像圖框中的每一個像素進行計算，並將該目前影像圖框中的像素值與一相鄰影像圖框中的像素值作比較以決定該目前影像圖框中的靜止像素以及非靜止像素。
  3. 如申請專利範圍第2項所述的影像處理方法，其中判斷該目前影像圖框中的靜止像素以及非靜止像素的步驟另包含有：參考該目前影像圖框之複數個先前影像圖框中的靜止像素來判斷該目前影像圖框中的靜止像素以及非靜止像素。
  4. 如申請專利範圍第1項所述的影像處理方法，其中判斷該目前影 像圖框中的靜止像素以及非靜止像素的步驟包含有：針對該目前影像圖框的一特定像素，當至少一部份的周圍像素被判斷為靜止像素時，則判斷該特定像素為一靜止像素。
  5. 如申請專利範圍第1項所述的影像處理方法，其中決定出該目前影像圖框中的靜止區塊以及非靜止區塊的步驟包含有：針對每一個區塊，當該區塊包含至少一靜止像素時，判斷該區塊為一靜止區塊。
  6. 如申請專利範圍第1項所述的影像處理方法，其中決定出該目前影像圖框中的靜止區塊以及非靜止區塊的步驟包含有：針對該目前影像圖框的一特定區塊，當至少一部份的周圍區塊被判斷為非靜止區塊時，則判斷該特定區塊為一非靜止區塊。
  7. 如申請專利範圍第6項所述的影像處理方法，其中重新判斷該目前影像圖框中的靜止像素以及非靜止像素的步驟包含有：當該特定區塊被判斷為非靜止區塊，且該特定區塊包含至少一靜止像素時，重新判斷該靜止像素為一非靜止像素。
  8. 如申請專利範圍第1項所述的影像處理方法，另包含有：在重新判斷該目前影像圖框中的靜止像素以及非靜止像素之後，設定包含有靜止像素的至少一區塊具有零運動向量。
  9. 如申請專利範圍第8項所述的影像處理方法，另包含有：參考具有零運動向量之該區塊以產生該目前影像圖框與一相鄰影像圖框之間的一內插影像圖框。
  10. 如申請專利範圍第8項所述的影像處理方法，另包含有：決定該目前影像圖框的一運動程度；當該運動程度大於一臨界值時，參考具有零運動向量之該區塊以產生該目前影像圖框與一相鄰影像圖框之間的一內插影像圖框；以及當該運動程度小於一臨界值時，不參考該目前影像圖框之靜止像素以及非靜止像素的重新判斷結果，以產生該目前影像圖框與該相鄰影像圖框之間的該內插影像圖框。
  11. 如申請專利範圍第10項所述的影像處理方法，其中決定該目前影像圖框的該運動程度的步驟包含有：分別決定出對應於該目前影像圖框之複數個區域的複數個區域運動向量；其中該運動程度為該複數個區域運動向量中最大的區域運動向量。
  12. 如申請專利範圍第10項所述的影像處理方法，其中決定該目前影像圖框的該運動程度的步驟包含有：決定出該目前影像圖框的一全域運動向量以作為該運動程度。
  13. 如申請專利範圍第10項所述的影像處理方法，其中該目前影像圖框的該運動程度的步驟包含有：分別決定出對應於該目前影像圖框之複數個區域的複數個區域運動向量；以及決定出該目前影像圖框的一全域運動向量；其中該運動程度為該複數個區域運動向量與該全域運動向量中最大的運動向量。
  14. 如申請專利範圍第1項所述的影像處理方法，其中該目前影像圖框係由一高解析度影像訊號降頻得到。
TW101128006A 2012-02-08 2012-08-03 影像處理方法 TW201333836A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/368,345 US20130201404A1 (en) 2012-02-08 2012-02-08 Image processing method

Publications (1)

Publication Number Publication Date
TW201333836A true TW201333836A (zh) 2013-08-16

Family

ID=48902594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101128006A TW201333836A (zh) 2012-02-08 2012-08-03 影像處理方法

Country Status (2)

Country Link
US (1) US20130201404A1 (zh)
TW (1) TW201333836A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2874119A1 (en) * 2013-11-19 2015-05-20 Thomson Licensing Method and apparatus for generating superpixels
US9819900B2 (en) * 2015-12-30 2017-11-14 Spreadtrum Communications (Shanghai) Co., Ltd. Method and apparatus for de-interlacing television signal

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940557B2 (en) * 2001-02-08 2005-09-06 Micronas Semiconductors, Inc. Adaptive interlace-to-progressive scan conversion algorithm
US8254462B2 (en) * 2005-01-28 2012-08-28 Broadcom Corporation Method and system for block noise reduction
WO2008088325A1 (en) * 2007-01-16 2008-07-24 Utc Fire & Security Corporation System and method for video based fire detection
TWI376645B (en) * 2008-07-29 2012-11-11 Sonix Technology Co Ltd Image processing methof of noise reduction and apparatus thereof
US20100039556A1 (en) * 2008-08-12 2010-02-18 The Hong Kong University Of Science And Technology Multi-resolution temporal deinterlacing
US20100215104A1 (en) * 2009-02-26 2010-08-26 Akira Osamoto Method and System for Motion Estimation
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
WO2010134079A1 (en) * 2009-05-20 2010-11-25 Nissimyan, Nissim Video encoding
TWI407776B (zh) * 2009-06-30 2013-09-01 Silicon Integrated Sys Corp 影像產生裝置、靜態文字偵測裝置及相關方法
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
EP2413586B1 (en) * 2010-07-26 2014-12-03 Sony Corporation Method and device for adaptive noise measurement of a video signal
US8396302B2 (en) * 2011-01-11 2013-03-12 Intel Corporation Method of detecting logos, titles, or sub-titles in video frames

Also Published As

Publication number Publication date
US20130201404A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
US8773595B2 (en) Image processing
US8144255B2 (en) Still subtitle detection apparatus and image processing method therefor
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
JP4869045B2 (ja) 補間フレーム作成方法および補間フレーム作成装置
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
CN103929568A (zh) 用于稳定数字图像帧的第一序列的方法以及图像稳定单元
KR102074555B1 (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
KR20070076337A (ko) 에지영역 판단장치 및 에지영역 판단방법
US8411974B2 (en) Image processing apparatus, method, and program for detecting still-zone area
US8830257B2 (en) Image displaying apparatus
JP2008067194A (ja) フレーム補間回路、フレーム補間方法、表示装置
TWI528790B (zh) 多媒體系統之視窗偵測裝置與方法
US20150208025A1 (en) Video Processing Method and Apparatus
US7643088B2 (en) Artifact reduction in a digital video
US20090310679A1 (en) Video processing apparatus and methods
TW201333836A (zh) 影像處理方法
JP2007060192A (ja) 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体
US20120099767A1 (en) Method and apparatus for temporally-consistent disparity estimation using detection of texture and motion
JP2009182865A (ja) 画像表示装置及び方法、画像処理装置及び画像処理方法
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4886479B2 (ja) 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置
JP2009515395A (ja) 動き推定
JP2008109625A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法