TWI449433B - 影像處理電路及影像處理方法 - Google Patents

影像處理電路及影像處理方法 Download PDF

Info

Publication number
TWI449433B
TWI449433B TW100127285A TW100127285A TWI449433B TW I449433 B TWI449433 B TW I449433B TW 100127285 A TW100127285 A TW 100127285A TW 100127285 A TW100127285 A TW 100127285A TW I449433 B TWI449433 B TW I449433B
Authority
TW
Taiwan
Prior art keywords
absolute error
frequency absolute
difference
low frequency
high frequency
Prior art date
Application number
TW100127285A
Other languages
English (en)
Other versions
TW201309034A (zh
Inventor
Yen Sung Chen
Tsui Chin Chen
Yu Tsung Hu
xing-rui Wang
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW100127285A priority Critical patent/TWI449433B/zh
Priority to US13/563,466 priority patent/US8923643B2/en
Publication of TW201309034A publication Critical patent/TW201309034A/zh
Application granted granted Critical
Publication of TWI449433B publication Critical patent/TWI449433B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

影像處理電路及影像處理方法
本發明是有關於一種影像處理電路及影像處理方法，且特別是有關於一種能根據高頻絕對誤差和或低頻絕對誤差和進行移動補償之影像處理電路及影像處理方法。
請參照第1圖，第1圖繪示係為移動估計和移動補償裝置之示意圖。移動估計和移動補償(Motion Estimate and Motion Compensation,MEMC)裝置1包括移動估計引擎11和移動補償電路12。移動估計引擎11根據目前畫面及參考畫面進行移動估測，使得移動補償電路根據移動估測結果插補出補償畫面。
移動估計引擎11包括區塊匹配單元(Block Matching Unit)111。區塊匹配單元(Block Matching Unit)111會將目前畫面切割成大小相等的區塊，每一個區塊在參考畫面中都有相對應的搜索區域。區塊匹配單元111會計算目前區塊與參考區塊的低頻絕對誤差和以在搜索區域中找出與自己最相似的區塊。
請同時參照第1圖、第2圖、第3圖及第4圖，第2圖繪示係為參考畫面之示意圖，第3圖係為目前畫面之示意圖，第4圖繪示係為插補畫面之示意圖。然而，當播放畫面出現閃爍的場景時，區塊匹配單元111即無法根據低頻絕對誤差和找出與自己最相似的區塊。舉例來說，第2圖之局部區域21及第3圖之局部區域31例如為車燈。局部區域21係為全暗，而局部區域31係為全亮。由於局部區域31與局部區域21之像素差異值過大，因此區塊匹配單元111即無法根據低頻絕對誤差和找出與自己最相似的區塊。如此一來，移動補償電路12會因為區塊匹配單元111的區塊比對不正確而導致移動補償電路12插補出如第4圖繪示之插補畫面。其中局部區域41係對應於局部區域31與局部區域21。而局部區域41會因區塊比對不正確而導致形狀產生畸變。
本發明係有關於一種影像處理電路及影像處理方法，係能根據局部區域為閃爍或物體移動而正確地找出與自己最相似的區塊以正確地進行移動補償。
根據本發明，提出一種影像處理電路。影像處理電路包括區塊匹配單元(Block Matching Unit)、多工器、仲裁器及移動補償電路。區塊匹配單元根據目前畫面之目前區塊及參考畫面之參考區塊計算高頻絕對誤差和(Sum of Absolute Difference,SAD)及低頻絕對誤差和。仲裁器根據仲裁規則控制多工器選擇性地輸出高頻絕對誤差和或低頻絕對誤差和，仲裁規則相關於目前畫面之場景特性。移動補償電路根據多工器輸出之高頻絕對誤差和或低頻絕對誤差和進行移動補償。
根據本發明，提出一種影像處理方法。影像處理方法包括：根據目前畫面之目前區塊及參考畫面之參考區塊計算高頻絕對誤差和(Sum of Absolute Difference,SAD)及低頻絕對誤差和；根據仲裁規則選擇性地輸出高頻絕對誤差和或低頻絕對誤差和，仲裁規則相關於目前畫面之場景特性；以及根據高頻絕對誤差和或低頻絕對誤差和進行移動補償。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
 第一實施例
請同時參照第5圖及第6圖，第5圖繪示係為依照第一實施例之一種影像處理電路之示意圖，第6圖繪示係為依照第一實施例之影像處理方法之流程圖。影像處理電路5包括移動估計引擎51、移動補償電路52、多工器53及仲裁器54，且移動估計引擎51更包括區塊匹配單元(Block Matching Unit)511。影像處理方法能應用於影像處理電路5且包括如下步驟：
首先如步驟61所示，區塊匹配單元511根據目前畫面之目前區塊及參考畫面之參考區塊輸出高頻絕對誤差和(Sum of Absolute Difference,SAD)AC_SAD及低頻絕對誤差和DC_SAD。區塊匹配單元511根據目前區塊之像素值與參考區塊之像素值計算低頻絕對誤差和 DC_SAD。低頻絕對誤差和。(x,y)係為目前區塊與參考區塊的位移量，而一個區塊具有N×N個像素。
高頻絕對誤差和可以有兩種計算方式。第一種計算方式係由區塊匹配單元511根據低頻絕對誤差和DC_SAD及直流差異值DC diff 計算高頻絕對誤差和AC_SAD。高頻絕對誤差和AC_SAD =|DC_SAD -DC diff |。第二種計算方式係由區塊匹配單元511根據目前區塊之像素值、目前區塊之平均像素值DC avg 1 、參考區塊之像素值及參考區塊之平均像素值DC avg 2 計算高頻絕對誤差和AC_SAD。高頻絕對誤差和。
接著如步驟62所示，仲裁器54根據仲裁規則控制多工器53選擇性地輸出高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD，仲裁規則相關於目前畫面之場景特性。然後如步驟63所示，移動補償電路52根據多工器53輸出之高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD進行移動補償。
當局部區域為閃爍(flash)時，移動補償電路52能根據高頻絕對誤差和AC_SAD正確地進行移動補償。相反地，當局部區域為物體移動時，移動補償電路52能根據低頻絕對誤差和DC_SAD正確地進行移動補償。如此一來，不論局部區域為閃爍或物體移動，移動影像處理電路5都能正確地進行移動補償。
前述目前畫面更包括與目前區塊相鄰之數個相鄰區塊，而前述仲裁規則例如係包括一相鄰區塊仲裁規則。相鄰區塊仲裁規則係為若多工器53對應相鄰區塊輸出高頻絕對誤差和AC_SAD，則多工器53對應目前區塊輸出高頻絕對誤差和AC_SAD，若多工器53對應相鄰區塊輸出低頻絕對誤差和DC_SAD，則多工器53對應該目前區塊輸出低頻絕對誤差和DC_SAD。
第二實施例
第二實施例與第一實施例主要不同之處在於第二實施例之仲裁規則係包括一差值仲裁規則。差值仲裁規則係為若差值仲裁規則於高頻絕對誤差和AC_SAD與低頻絕對誤差和DC_SAD之差值大於差異臨限值時，多工器53對應目前區塊輸出高頻絕對誤差和AC_SAD。這是因為當局部區域為閃爍時，高頻絕對誤差和AC_SAD很小，而低頻絕對誤差和DC_SAD很大，所以移動補償電路52能根據高頻絕對誤差和AC_SAD正確地進行移動補償。
相反地，差值仲裁規則係為若高頻絕對誤差和AC_SAD與低頻絕對誤差和DC_SAD之差值不大於差異臨限值時，則多工器53對應目前區塊輸出低頻絕對誤差和DC_SAD。這是因為當局部區域為物體移動時，高頻絕對誤差和AC_SAD很小，且低頻絕對誤差和DC_SAD也很小，所以移動補償電路52能根據低頻絕對誤差和DC_SAD正確地進行移動補償。
第三實施例
第三實施例與第一實施例主要不同之處在於第三實施例之仲裁規則更包括一差值仲裁規則。仲裁器51根據相鄰區塊仲裁規則、相鄰區塊權重值、差值仲裁規則及差值權重值控制多工器53選擇性地輸出高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD。換言之，仲裁器51能根據多個仲裁規則的組合來控制控制多工器53選擇性地輸出高頻絕對誤差和AC_SAD或低頻絕對誤差和DC_SAD，以供移動補償電路52正確地進行移動補償。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10．．．
1．．．移動估計和移動補償裝置
5．．．影像處理電路
11、51．．．移動估計引擎
12、52．．．移動補償電路
21、31、41．．．局部區域
53．．．多工器
54．．．仲裁器
61～63．．．步驟
511、111．．．區塊匹配單元
20．．．
第1圖繪示係為移動估計和移動補償裝置之示意圖。
第2圖繪示係為參考畫面之示意圖。
第3圖係為目前畫面之示意圖。
第4圖繪示係為插補畫面之示意圖。
第5圖繪示係為依照第一實施例之一種影像處理電路之示意圖。
第6圖繪示係為依照第一實施例之影像處理方法之流程圖。
61～63．．．步驟

Claims (16)

  1. 一種影像處理電路，包括：一區塊匹配單元(Block Matching Unit)，係根據一目前畫面之一目前區塊及一參考畫面之一參考區塊計算一高頻絕對誤差和(Sum of Absolute Difference,SAD)及一低頻絕對誤差和；一多工器；一仲裁器，係根據一仲裁規則控制該多工器選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和，該仲裁規則相關於該目前畫面之場景特性；以及一移動補償電路，係根據該多工器輸出之該高頻絕對誤差和或該低頻絕對誤差和進行一移動補償。
  2. 如申請專利範圍第1項所述之影像處理電路，其中該目前畫面更包括與該目前區塊相鄰之複數個相鄰區塊，該仲裁規則包括一相鄰區塊仲裁規則，該相鄰區塊仲裁規則係為若該多工器對應該些相鄰區塊輸出該高頻絕對誤差和，則該多工器對應該目前區塊輸出該高頻絕對誤差和，若該多工器對應該些相鄰區塊輸出該低頻絕對誤差和，則該多工器對應該目前區塊輸出該低頻絕對誤差和。
  3. 如申請專利範圍第2項所述之影像處理電路，其中該仲裁規則更包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，該多工器對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則該多工器對應該目前區塊輸出該低頻絕對誤差和。
  4. 如申請專利範圍第3項所述之影像處理電路，其中該仲裁器係根據該相鄰區塊仲裁規則、一相鄰區塊權重值、該差值仲裁規則及一差值權重值控制該多工器選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和。
  5. 如申請專利範圍第1項所述之影像處理電路，其中該仲裁規則包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，該多工器對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則該多工器對應該目前區塊輸出該低頻絕對誤差和。
  6. 如申請專利範圍第1項所述之影像處理電路，其中該區塊匹配單元根據該目前區塊之像素值與該參考區塊之像素值計算該低頻絕對誤差和。
  7. 如申請專利範圍第1項所述之影像處理電路，其中該區塊匹配單元根據該低頻絕對誤差和及一直流差異值計算該高頻絕對誤差和。
  8. 如申請專利範圍第1項所述之影像處理電路，其中該區塊匹配單元根據該目前區塊之像素值、該目前區塊之平均像素值、該參考區塊之像素值及該參考區塊之平均像素值計算該高頻絕對誤差和。
  9. 一種影像處理方法，包括：根據一目前畫面之一目前區塊及一參考畫面之一參考區塊計算一高頻絕對誤差和(Sum of Absolute Difference,SAD)及一低頻絕對誤差和；根據一仲裁規則選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和，該仲裁規則相關於該目前畫面之場景特性；以及根據該高頻絕對誤差和或該低頻絕對誤差和進行一移動補償。
  10. 如申請專利範圍第9項所述之影像處理方法，其中該目前畫面更包括與該目前區塊相鄰之複數個相鄰區塊，該仲裁規則包括一相鄰區塊仲裁規則，該相鄰區塊仲裁規則係為若對應該些相鄰區塊輸出該高頻絕對誤差和，則對應該目前區塊輸出該高頻絕對誤差和，若對應該些相鄰區塊輸出該低頻絕對誤差和，則對應該目前區塊輸出該低頻絕對誤差和。
  11. 如申請專利範圍第10項所述之影像處理方法，其中該仲裁規則更包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則對應該目前區塊輸出該低頻絕對誤差和。
  12. 如申請專利範圍第11項所述之影像處理方法，其中該輸出步驟係根據該相鄰區塊仲裁規則、一相鄰區塊權重值、該差值仲裁規則及一差值權重值選擇性地輸出該高頻絕對誤差和或該低頻絕對誤差和。
  13. 如申請專利範圍第9項所述之影像處理方法，其中該仲裁規則包括一差值仲裁規則，該差值仲裁規則係為若該差值仲裁規則於該高頻絕對誤差和與該低頻絕對誤差和之差值大於該差異臨限值時，對應該目前區塊輸出該高頻絕對誤差和，若該高頻絕對誤差和與該低頻絕對誤差和之差值不大於該差異臨限值時，則對應該目前區塊輸出該低頻絕對誤差和。
  14. 如申請專利範圍第9項所述之影像處理方法，其中該計算步驟根據該目前區塊之像素值與該參考區塊之像素值計算該低頻絕對誤差和。
  15. 如申請專利範圍第9項所述之影像處理方法，其中該計算步驟根據該低頻絕對誤差和及一直流差異值計算該高頻絕對誤差和。
  16. 如申請專利範圍第9項所述之影像處理方法，其中該計算步驟根據該目前區塊之像素值、該目前區塊之平均像素值、該參考區塊之像素值及該參考區塊之平均像素值計算該高頻絕對誤差和。
TW100127285A 2011-08-01 2011-08-01 影像處理電路及影像處理方法 TWI449433B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100127285A TWI449433B (zh) 2011-08-01 2011-08-01 影像處理電路及影像處理方法
US13/563,466 US8923643B2 (en) 2011-08-01 2012-07-31 Image processing circuit and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100127285A TWI449433B (zh) 2011-08-01 2011-08-01 影像處理電路及影像處理方法

Publications (2)

Publication Number Publication Date
TW201309034A TW201309034A (zh) 2013-02-16
TWI449433B true TWI449433B (zh) 2014-08-11

Family

ID=47626993

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100127285A TWI449433B (zh) 2011-08-01 2011-08-01 影像處理電路及影像處理方法

Country Status (2)

Country Link
US (1) US8923643B2 (zh)
TW (1) TWI449433B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0348207A2 (en) * 1988-06-24 1989-12-27 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting apparatus
US5691775A (en) * 1995-03-30 1997-11-25 Intel Corporation Reduction of motion estimation artifacts
TW200630905A (en) * 2005-02-22 2006-09-01 Sunplus Technology Co Ltd Motion estimation method and system using colors information
TW200704208A (en) * 2005-07-08 2007-01-16 Univ Nat Sun Yat Sen Motion detection system and method for TV frames
US20080226131A1 (en) * 2006-12-22 2008-09-18 Sanyo Electric Co., Ltd. Motion detection apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660182B2 (en) * 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
US8218635B2 (en) * 2005-09-28 2012-07-10 Synopsys, Inc. Systolic-array based systems and methods for performing block matching in motion compensation
KR101200535B1 (ko) * 2006-01-12 2012-11-27 (주)휴맥스 매크로블록 기반의 조명 변화에 대한 적응적 움직임예측/보상 장치 및 방법
US8488676B2 (en) 2007-05-14 2013-07-16 Himax Technologies Limited Motion estimation method
US8345763B2 (en) * 2007-11-27 2013-01-01 Mediatek Inc. Motion compensation method and integrated circuit utilizing the same
TWI410141B (zh) * 2010-08-13 2013-09-21 Univ Nat Central 影像處理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0348207A2 (en) * 1988-06-24 1989-12-27 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting apparatus
US5691775A (en) * 1995-03-30 1997-11-25 Intel Corporation Reduction of motion estimation artifacts
TW200630905A (en) * 2005-02-22 2006-09-01 Sunplus Technology Co Ltd Motion estimation method and system using colors information
TW200704208A (en) * 2005-07-08 2007-01-16 Univ Nat Sun Yat Sen Motion detection system and method for TV frames
US20080226131A1 (en) * 2006-12-22 2008-09-18 Sanyo Electric Co., Ltd. Motion detection apparatus

Also Published As

Publication number Publication date
US8923643B2 (en) 2014-12-30
TW201309034A (zh) 2013-02-16
US20130034310A1 (en) 2013-02-07

Similar Documents

Publication Publication Date Title
JP5645636B2 (ja) フレーム補間装置及び方法
CN105100807B (zh) 一种基于运动矢量后处理的帧率提升方法
US20120093231A1 (en) Image processing apparatus and image processing method
US8204337B2 (en) Image processing system and method for noise reduction
US10021413B2 (en) Apparatus and method for video data processing
TWI452909B (zh) 移動向量校正電路、影像產生裝置及相關方法
JP2013536601A5 (zh)
US9165345B2 (en) Method and system for noise reduction in video systems
KR20090115234A (ko) 화질 개선을 위한 노이즈 검출 및 평가 기술
TWI466063B (zh) 影像內插的處理方法
TW201742001A (zh) 影像雜訊估測方法及裝置與影像擷取裝置
US20150187051A1 (en) Method and apparatus for estimating image noise
US9761003B2 (en) Stereo image depth map generation device and method
TW201345262A (zh) 影像處理電路及影像處理方法
US20140270562A1 (en) Method and system for adaptive pixel replacement
EP2656312B1 (en) Method for producing a panoramic image on the basis of a video sequence and implementation apparatus.
US8953903B2 (en) Method of multi-frame image noise reduction
JP6242742B2 (ja) 画像処理装置、撮像装置及び画像処理方法
TWI449433B (zh) 影像處理電路及影像處理方法
TWI429274B (zh) 具有縮放與清晰裝置之影像處理系統及其方法
US9813620B2 (en) Image processing apparatus, image processing method, program, and camera
CN106063251B (zh) 图像处理装置和图像处理方法
TWI661392B (zh) 影像縫合方法及裝置
TWI466550B (zh) 多媒體裝置及其移動偵測方法
US8665287B2 (en) Color information interpolation method