TWI511531B - 影像編碼裝置、影像編碼方法及影像編碼程式 - Google Patents

影像編碼裝置、影像編碼方法及影像編碼程式 Download PDF

Info

Publication number
TWI511531B
TWI511531B TW101107425A TW101107425A TWI511531B TW I511531 B TWI511531 B TW I511531B TW 101107425 A TW101107425 A TW 101107425A TW 101107425 A TW101107425 A TW 101107425A TW I511531 B TWI511531 B TW I511531B
Authority
TW
Taiwan
Prior art keywords
region
motion
determined
coding
encoding
Prior art date
Application number
TW101107425A
Other languages
English (en)
Other versions
TW201244498A (en
Inventor
Naoki Ono
Atsushi Shimizu
Masaki Kitahara
Seisuke KYOCHI
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201244498A publication Critical patent/TW201244498A/zh
Application granted granted Critical
Publication of TWI511531B publication Critical patent/TWI511531B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

影像編碼裝置、影像編碼方法及影像編碼程式
本發明係關於使編碼器的畫質提升之影像編碼技術，尤其，關於一種影像編碼裝置、影像編碼方法及影像編碼程式，係抑止動作搜尋以及編碼模式(mode)選擇之演算量者。
本發明係依據2011年3月9日，於日本申請之日本國特願2011-051354號主張優先權，並在此引用該內容。
在以H.264/AVC(ISO/IEC 14496-10“MPEG-4 Part 10 Advanced Video Coding”)為代表之影像編碼中，因應屬於編碼對象的圖像的性質，而適切地切換使用利用空間方向的相關而關閉於訊框(frame)內的資訊來進行編碼之畫面內(intra)編碼、及利用時間方向的相關而使用訊框間的資訊來進行編碼之畫面間(inter)編碼，藉此圖謀壓縮效率之提升。於畫面間編碼中係使用有動作補償技術，並搜尋顯示成為編碼對象之區域係存在於稱為參照訊框之過去或未來的訊框的哪個位置，亦即，搜尋顯示在參照訊框及編碼對象訊框之間的動作程度之動作向量(vector)。此時，在參照訊框中，在離開該動作向量份之位置存在有相似之區域，且可期待與該區域之差分值非常的小。利用該者，可不對編碼對象區域的訊號本身，而對與參照訊框之差分訊號進行編碼，藉此提高編碼效率。
在求取動作向量之動作搜尋處理中，稱為區塊匹配 (block matching)之手法係廣為運用。就H.264/AVC而言，係使用將畫面予以分割之矩形區塊區域作為編碼單位。在以參照訊框之編碼對象區塊位置為中心之搜尋範圍中，係算出與編碼對象區塊的畫素值之差分絕對值和等評估值，並將與取得最小值之區塊圖形位置、及與編碼對象區塊位置之距離設為動作向量。在區塊匹配中，對於參照訊框的搜尋範圍內全部的區塊圖形，一面偏移1畫素一面算出評估值之所謂全搜尋之手法係為一般手法。
然而，區塊匹配所需之演算量與其他編碼處理相比係較為大量。尤其，在將區塊匹配適用於即時(real time)的播放實況(live)影像等編碼裝置時，係必須減少動作搜尋之演算量。動作搜尋之演算量係因應搜尋範圍的寬廣度而增加。然而，為了減低演算量而將搜尋範圍單純且一樣地予以窄化，則在存在有動作較大之區域時無法檢測適合的動作向量，而有編碼效率下降之問題。
再者，在H.264/AVC的畫面間編碼中，係許可有變更區塊大小(size)之複數個編碼模式。予以編碼之區塊的單位係稱為巨區塊(macro block)之16×16畫素之矩形區塊。巨區塊係被許可分割為下述之區塊。
(1)於16×16區塊使用一個動作向量。
(2)分割為二個16×8區塊而使用二個動作向量。
(3)分割為二個8×16區塊而使用二個動作向量。
(4)分割為四個8×8區塊，並對於各個8×8區塊許可下述之(4-1)至(4-4)之分割。
(4-1)於一個8×8區塊使用一個動作向量。
(4-2)分割為二個8×4區塊而使用二個動作向量。
(4-3)分割為二個4×8區塊而使用二個動作向量。
(4-4)分割為四個4×4區塊而使用四個動作向量。
為了實施最適當之編碼模式選擇，必須對於所許可之全部的區塊分割將動作向量予以檢測。再者，如前述，H.264/AVC除了畫面間編碼以外亦有畫面內編碼，為了決定使用哪個編碼係必須實施畫面內編碼算出編碼量，並與畫面間編碼之編碼量進行比較。該等模式選擇所需之負荷亦成為影像編碼之演算量增加之要因。
在以往，為了減輕動作搜尋之負荷，係進行按每個區域推測動作量，而藉由對於動作較小之區域適當的窄化搜尋範圍來刪減演算量。該方法係在例如TV會議等將攝影機(camera)予以固定之影像中，由於背景等靜止區域與動區域被明顯的區分開，故係為有效。就按每個區域推測動作量，並對搜尋範圍進行控制之先前技術而言，係有例如專利文獻1所述之技術。就專利文獻1而言，係依據編碼對象訊框及參照訊框之相關評估結果，而藉由縮小動作搜尋範圍來抑制動作搜尋的演算量。
然而，就專利文獻1而言，係有可能由於未考慮相對於動作向量之資訊量來限制搜尋範圍而導致畫質劣化。再者，由於未提及畫面間模式的選擇方法及關於畫面內/畫面間編碼的判定，故並未減輕實施編碼模式判定之演算負荷。
(先前技術文獻) (專利文獻)
專利文獻1：日本特開平8-32969號公報
刪減動作搜尋之演算量對於編碼裝置的高速化而言雖為必要，惟若將搜尋範圍一樣地予以窄化，則有編碼效率下降之問題。再者，如H.264/AVC之編碼模式較多之方式中，亦必須考慮刪減伴隨模式選擇之演算量。
就專利文獻1所述之技術而言，係依據編碼對象訊框及參照訊況之相關評估結果，而藉由針對相關較高之區域縮小動作搜尋範圍來抑制動作搜尋之演算量，惟在搜尋範圍之決定中並未考慮動作向量之資訊量。編碼對象係於編碼對象區塊的畫素值以外亦包含有動作向量。就H.264/AVC而言，係使用在編碼對象區塊的周圍區塊所算出之動作向量的中央值來算出稱為PMV之預測向量，並對在編碼對象區塊所檢測出之動作向量與PMV之差分值進行編碼。
在無關於PMV為較大之值而僅使用相關評估之結果將搜尋範圍窄化時，由於動作向量之資訊量變大而編碼效率下降。再者，由於未提及關於畫面間模式之選擇方法及畫面內/畫面間編碼之判定，故為了編碼模式判定係必須分別對編碼方式所許可之模式實施編碼，且伴隨於該編碼之演算負荷不會減輕。如上述，在先前技術上，係有動作向量的編碼量有可能增加、及伴隨編碼模式判定的演算量之 減輕未能實現之問題。
本發明為有鑑於該等之情事所研創者，目的在於提供一種影像編碼裝置、影像編碼方法及影像編碼程式，係可比先前技術更能有效果地抑制伴隨於動作搜尋及編碼模式判定之影像編碼之演算量。
本發明係為對於輸入影像訊號使用畫面內編碼以及伴隨動作補償之畫面間編碼之影像編碼裝置，其特徵在於具備：判定部，係對於屬於編碼對象之輸入影像訊號判定靜止區域、伴隨著微小動作之區域、或伴隨著一般動作之區域；第一編碼部，對於由前述判定部所判定為靜止區域之區域進行動作向量(0，0)的畫面間編碼；第二編碼部，對於由前述判定部所判定為伴隨著微小動作的區域之區域，在所限制之搜尋範圍內，進行動作搜尋及畫面間編碼；以及第三編碼部，對於由前述判定部所判斷為伴隨著一般動作的區域之區域，以一般的搜尋範圍進行動作搜尋及畫面間編碼。
本發明之特徵在於，前述判定部係使用參照訊框與編碼對象訊框之類似度、及周圍區域之動作向量來進行前述區域判定。
本發明之特徵在於，對於判定為前述靜止區域之區域係限定畫面間編碼模式來進行編碼。
本發明之特徵在於，對於判定為前述伴隨著微小動作的區域之區域係限定畫面間編碼模式來進行編碼。
本發明之特徵在於，復具備決定部，係決定對於判定為前述靜止區域或前述伴隨微小動作的區域之區域是否實施畫面內編碼。
本發明係為對於輸入影像訊號使用畫面內編碼以及伴隨動作補償之畫面間編碼之影像編碼方法，其特徵在於包含：判定步驟(step)，係對於屬於編碼對象之輸入影像訊號判定靜止區域、伴隨著微小動作之區域、或伴隨著一般動作之區域；第一編碼步驟，對於由前述判定步驟所判定為靜止區域之區域進行動作向量(0，0)的畫面間編碼；第二編碼步驟，對於由前述判定步驟所判定為伴隨著微小動作的區域之區域在所限制之搜尋範圍內，進行動作搜尋及畫面間編碼；以及第三編碼步驟，對於由前述判定步驟所判斷為伴隨著一般動作的區域之區域，以一般的搜尋範圍進行動作搜尋及畫面間編碼。
本發明之特徵在於，前述判定步驟係使用參照訊框與編碼對象訊框之類似度、及周圍區域之動作向量來進行前述區域判定。
本發明之特徵在於，對於判定為前述靜止區域之區域係限定畫面間編碼模式來進行編碼。
本發明之特徵在於，對於判定為前述伴隨著微小動作的區域之區域係限定畫面間編碼模式來進行編碼。
本發明之特徵在於，復具備決定步驟，係決定對於判定為前述靜止區域或前述伴隨微小動作的區域之區域是否實施畫面內編碼。
本發明係為使對於輸入影像訊號使用畫面內編碼以及伴隨動作補償之畫面間編碼之影像編碼裝置上的電腦執行影像編碼處理之影像編碼程式，該程式係使前述電腦執行下述步驟：判定步驟，係對於屬於編碼對象之輸入影像訊號判定靜止區域、伴隨著微小動作之區域、或伴隨著一般動作之區域；第一編碼步驟，對於由前述判定步驟所判定為靜止區域之區域進行動作向量(0，0)的畫面間編碼；第二編碼步驟，對於由前述判定步驟所判定為伴隨著微小動作的區域之區域在所限制之搜尋範圍內，進行動作搜尋及畫面間編碼；以及第三編碼步驟，對於由前述判定步驟所判斷為伴隨著一般動作的區域之區域，以一般的搜尋範圍進行動作搜尋及畫面間編碼。
依據本發明，藉由在區域判定上利用周圍向量之值，可得到能一面抑制動作向量編碼量的增加所導致之編碼效率下降，一面抑制伴隨著動作搜尋之演算量之功效。再者，亦可得到伴隨著編碼模式選擇之演算量亦能夠同樣的予以抑制之功效。
於下述係參照圖式說明本發明一實施形態之影像編碼方法、影像編碼裝置及影像編碼程式。第1圖係顯示該實施形態的構成方塊圖。在該圖中符號100係進行影像編碼之編碼部，編碼部100之編碼處理係除了與區域判定部102、動作向量記憶體103、及編碼模式決定部114之資訊 的交換以外，與先前的MPEG-2 H.264之其他執行影像編碼之裝置相同。並且，在參照第1圖來說明編碼部100之構成時，關於編碼部100從以往以來所通常具有之習知功能/構成，係只要未與本發明的說明有直接關聯，則簡單地進行其說明。
儲存於訊框記憶體100之輸入影像訊號係輸入至預測殘差訊號產生部120，且在變更為屬於與由畫面內/畫面間模式決定部119所輸出的預測訊號之殘差之預測殘差訊號之後，輸入至正交變換部104，並輸出由正交變換而來之變換係數。變換係數係輸入至量子化部105，且於量子化部105中依據由編碼控制部109所設定之量子化步驟大小進行量子化。該經過量子化之變換係數係輸入至可變長編碼部106，並於可變長編碼部106中進行可變長編碼。由可變長編碼部106所輸出之編碼資料(data)係於多工化部107中進行多工化，並儲存於緩衝(buffer)部108。從緩衝部108係輸出作為編碼訊流(stream)。
編碼控制部109係依據儲存於緩衝部108之編碼資料量來對量子化部105之產生編碼量進行控制。
另一方面，經過量子化之變換係數係於逆量子化部110中進行逆量子化，且於逆正交變換部111中進行逆正交變換，藉此產生解碼預測殘差訊號。該解碼預測殘差訊號係藉由加算器121而與由畫面內或畫面間編碼而來之預測訊號加算，而產生解碼訊號。由於解碼訊號係用於作為接著之訊框的預測編碼之參照圖像，故儲存於局部解碼(local decode)圖像記憶體112。
再者，儲存於訊框記憶體101之輸入影像訊號係除了前述編碼處理以外亦輸入於區域判定部102，且區域判定部102係依據輸入影像及由動作向量記憶部103所輸入之周圍區域的動作向量資訊，來執行靜止區域、伴隨著微小動作之區域或伴隨著一般動作之區域的判定，並依據判定結果將選擇搜尋範圍及畫面間編碼模式之動作搜尋控制訊號輸入至動作搜尋部113。
動作搜尋部113係使用來自訊框記憶體101之輸入影像訊號及儲存於局部解碼圖像記憶體112之局部解碼圖像，且依照依據由區域判定部102所輸入之動作搜尋控制訊號所決定之搜尋範圍及編碼模式來實施動作搜尋處理。動作補償部115係依據檢測出之動作向量，而參照局部解碼圖像記憶體112來產生由畫面間編碼而來之預測訊號。畫面間模式決定部116係依據動作補償部115的處理結果來決定畫面間編碼模式。
雖除了畫面間編碼以外亦實施畫面內編碼，惟編碼模式決定部114係先行於此使用來自區域判定部102的區域判定結果及由動作搜尋所求得之差分絕對值和等評估值，來決定是否實施畫面內編碼。畫面內編碼部117係因應屬於編碼模式決定部114的處理結果之模式控制訊號來實施畫面內編碼，或不實施畫面內編碼。在實施畫面內編碼時，係使用由訊框記憶體101所輸入之輸入影像訊號來實施畫面內編碼，且畫面內模式決定部118係依據該結果決定畫 面內編碼模式。
畫面內/畫面間模式決定部119係依據畫面內模式與畫面間模式的結果而決定使用哪個模式，並輸出所決定之模式的預測訊號。然而，於編碼模式決定部114中決定為不實施畫面內模式時，則依據來自編碼模式決定部114之控制訊號而必定選擇畫面間模式。
接著參照第2圖，針對動作搜尋的搜尋範圍及編碼模式決定的處理動作進行說明。第2圖係顯示動作搜尋的搜尋範圍及編碼模式決定的處理動作之流程圖(flowchart)。首先，計算參照訊框與編碼對象訊框的同位置之類似度△DC(步驟S1)。並且，雖類似度△DC一般係使用參照訊框及編碼對象訊框的畫素間之差分絕對值和，惟為了減少演算量係可將計算差分絕對值之對象畫素跳過1畫素或2畫素。接著判定△DC的值是否為0(步驟S2)，且在△DC=0時，則判斷為靜止區域且不實施動作搜尋而將動作向量決定為(0，0)，並固定為畫面間編碼模式(步驟S3)。靜止區域之情形時，由於即便將區塊大小予以分割，在全部的區塊動作向量皆成為(0，0)，故無變更編碼模式之意義，在H.264/AVC中使用動作向量數最少之區塊大小16×16係有效率。
另一方面，△DC比0更大時，係判定△DC是否比臨限值Th_DC更小(步驟S8)。該判定結果在△DC比臨限值Th_DC更小時，算出依據周圍向量的中央值所算出之｜PMV｜(步驟S9)，並判定｜PMV｜之值是否為0(步驟S10)。該判定 之結果若｜PMV｜為0，則與△DC為0之情形相同，判斷為靜止區域且不實施動作搜尋而將動作向量決定為(0，0)，並固定為畫面間編碼模式(步驟S3)。
在｜PMV｜之值比0更大時，判定｜PMV｜是否比臨限值Th_PMV更小(步驟S11)。該判定之結果在｜PMV｜比臨限值Th_PMV更小時，判斷為具有微小動作之區域，並將搜尋範圍設定為較狹小來實施動作搜尋處理(步驟S12)。就所設定之搜尋範圍而言，係考量例如包含有與PMV相同動作向量之最小的搜尋範圍等。於第2圖中雖對於畫面間編碼模式未特別加以限制，惟在微小動作時由於可預測即便分割區塊大小，在各區塊所求得之動作向量亦幾乎不會有差別，故為了更加抑制演算量係固定為動作向量數最少之區塊大小16×16，且可不實施在其他畫面間編碼模式上之動作搜尋。
在實施步驟S3或步驟S12之後，係算出由動作搜尋所求得之評估值Cost(步驟S4)。一般而言，在區塊匹配手法中，評估值Cost係使用差分絕對值和。並且，係判定Cost是否比臨限值Th_Cost更小(步驟S5)，於更小時係藉由將編碼模式作為畫面間編碼模式固定而不實施畫面內編碼來刪減伴隨模式選擇之演算量(步驟S6)。在Cost不小於臨限值Th_Cost時，係實施畫面內編碼，並比較畫面內模式與畫面間模式之效率來進行模式判定(步驟S7)。再者，在△DC比臨限值Th_DC更大時，或｜PMV｜之值比Th_PMV更大時，則以一般的搜尋範圍進行動作搜尋，亦不限定編碼 模式(步驟S13)。
如上述，對於編碼對象區域係使用與參照訊框之類似度及周圍向量之值，判定靜止區域、伴隨著微小動作之區域或伴隨著一般動作之區域，而對判定為靜止區域之區域係一面限制畫面間之編碼模式，一面不進行動作搜尋而將動作向量決定為(0，0)。再者，對判定為具有微小動作的區域之區域係限制搜尋範圍來進行動作搜尋。再者，針對該等區域，係藉由以動作搜尋所算出之評估值與臨限值之比較來決定是否實施畫面內編碼。對於判斷為伴隨著一般動作的區域之區域，則以一般的搜尋範圍進行動作搜尋。
藉由使用如此之手法，在靜止區域、伴隨著微小動作之區域、或伴隨著一般動作之區域之判定上，係除了與參照訊框之類似度以外亦利用周圍向量之值，藉此一面抑制動作向量的資訊量變大，一面對於靜止區域及伴隨著微小動作之區域，藉著限定為在狹小範圍之動作搜尋來抑制動作搜尋之演算量。再者，針對靜止區域，藉由抑制畫面間之編碼模式而抑制伴隨著畫面間模式選擇之演算量。再者，針對該等區域，係不實施畫面內編碼而僅以動作搜尋所算出之評估值與臨限值之比較來決定畫面內編碼之實施/不實施，藉此抑制伴隨著畫面內/畫面間模式選擇之演算量。
並且，亦可將用以實現第1圖之處理部的功能之程式紀錄於電腦(computer)可讀取之記錄媒體，並使電腦系統讀取並執行記錄於該記錄媒體之程式，藉此執行影像編碼 處理。並且，在此所謂「電腦系統」係設為包含OS及周邊機器等硬體(hardware)。再者，「電腦可讀取之記錄媒體」係指軟式磁碟(flexible disk)、磁光碟(magneto-optical disk)、ROM、CD-ROM等可攜媒體、電腦系統所內藏之硬碟(hard disk)等記憶裝置。且所謂「電腦可讀取之記憶媒體」亦包含以經由網際網路(internet)等網路(network)或電話線路等通訊線路來傳送程式時之伺服器(server)、或成為用戶端(client)之電腦系統畫面內的揮發性記憶體(RAM)之方式，在一定時間內保持程式者。
再者，上述程式亦可從將該程式儲存於記憶裝置等之電腦系統中，經由傳送媒體或傳送媒體中之傳送波，而藉此傳送至其他電腦系統。在此，所謂傳送程式之「傳送媒體」係指具有以網際網路等網路(通訊網)、或電話線路等通訊線路(通訊線)之方式對資訊進行傳送之功能之媒體者。再者，上述程式係可為用以實現前述功能的一部分者。再者，亦可為將前述之功能藉由與已由電腦系統記錄之程式組合來實現者，亦即所謂差分檔案(file)(差分程式)。
可提供一種影像編碼裝置，係可有效的抑止伴隨著動作搜尋及編碼模式判定之演算量。
(產業上之可利用性)
在影像編碼處理中，可適用於必須抑制動作搜尋及編碼模式選擇的演算量之用途。
100‧‧‧編碼部
101‧‧‧訊框記憶體
102‧‧‧區域判定部
103‧‧‧動作向量記憶體
104‧‧‧正交變換部
105‧‧‧量子化部
106‧‧‧可變長編碼部
107‧‧‧多工化部
108‧‧‧緩衝部
109‧‧‧編碼控制部
110‧‧‧逆量子化部
111‧‧‧逆正交變換部
112‧‧‧局部解碼圖像記憶體
113‧‧‧動作搜尋部
114‧‧‧編碼模式決定部
115‧‧‧動作補償部
116‧‧‧畫面間模式決定部
117‧‧‧畫面內編碼部
118‧‧‧畫面內模式決定部
119‧‧‧畫面內/畫面間模式決定部
120‧‧‧預測殘差訊號產生部
121‧‧‧加算器
S1至S13‧‧‧步驟
第1圖係為顯示本發明第一實施形態的構成之方塊 圖。
第2圖係為顯示本發明第一實施形態之動作搜尋的搜尋範圍及編碼模式決定的處理動作之流程圖。
100‧‧‧編碼部
101‧‧‧訊框記憶體
102‧‧‧區域判定部
103‧‧‧動作向量記憶體
104‧‧‧正交變換部
105‧‧‧量子化部
106‧‧‧可變長編碼部
107‧‧‧多工化部
108‧‧‧緩衝部
109‧‧‧編碼控制部
110‧‧‧逆量子化部
111‧‧‧逆正交變換部
112‧‧‧局部解碼圖像記憶體
113‧‧‧動作搜尋部
114‧‧‧編碼模式決定部
115‧‧‧動作補償部
116‧‧‧畫面間模式決定部
117‧‧‧畫面內編碼部
118‧‧‧畫面內模式決定部
119‧‧‧畫面內/畫面間模式決定部
120‧‧‧預測殘差訊號產生部
121‧‧‧加算器

Claims (11)

  1. 一種影像編碼裝置，係為對於輸入影像訊號使用畫面內編碼以及伴隨動作補償之畫面間編碼者，係具備：判定部，係對於屬於編碼對象之前述輸入影像訊號判定靜止區域、伴隨著微小動作之區域、或伴隨著一般動作之區域；第一編碼部，對於由前述判定部所判定為靜止區域之區域進行動作向量(0，0)的畫面間編碼；第二編碼部，對於由前述判定部所判定為伴隨著微小動作的區域之區域，在所限制之搜尋範圍內，進行動作搜尋及畫面間編碼；以及第三編碼部，對於由前述判定部所判斷為伴隨著一般動作的區域之區域，以一般的搜尋範圍進行動作搜尋及畫面間編碼；前述判定部在依據參照訊框與編碼對象訊框之類似度而判定前述輸入影像訊號是否為前述靜止區域後，在判定為並非前述靜止區域時，依據將屬於以周圍區塊所算出之動作向量的中央值之PMV與臨限值進行比較後之結果，而進行判定前述輸入影像訊號是伴隨著前述一般動作的區域，還是伴隨著前述微小動作的區域。
  2. 如申請專利範圍第1項所述之影像編碼裝置，其中，前述判定部即便在判定為並非前述靜止區域時，亦在進行前述PMV與臨限值之比較之前，進行下述再判定： 在前述PMV的值為0時再判定為靜止區域，在並非為0時則判定為並非靜止區域。
  3. 如申請專利範圍第1項或第2項所述之影像編碼裝置，其中，對於判定為前述靜止區域之區域係限定畫面間編碼模式來進行編碼。
  4. 如申請專利範圍第1項或第2項所述之影像編碼裝置，其中，對於判定為前述伴隨著微小動作的區域之區域係限定畫面間編碼模式來進行編碼。
  5. 如申請專利範圍第1項或第2項所述之影像編碼裝置，復具備：決定部，係決定對於判定為前述靜止區域或伴隨著微小動作的區域之區域是否實施畫面內編碼。
  6. 一種影像編碼方法，係為對於輸入影像訊號使用畫面內編碼以及伴隨動作補償之畫面間編碼之影像編碼方法，係包含：判定步驟，係對於屬於編碼對象之前述輸入影像訊號判定靜止區域、伴隨著微小動作之區域、或伴隨著一般動作之區域；第一編碼步驟，對於由前述判定步驟所判定為靜止區域之區域進行動作向量(0，0)的畫面間編碼；第二編碼步驟，對於由前述判定步驟所判定為伴隨著微小動作的區域之區域，在所限制之搜尋範圍內，進行動作搜尋及畫面間編碼；以及第三編碼步驟，對於由前述判定步驟所判斷為伴隨 著一般動作的區域之區域，以一般的搜尋範圍進行動作搜尋及畫面間編碼；前述判定步驟在依據參照訊框與編碼對象訊框之類似度而判定前述輸入影像訊號是否為前述靜止區域後，在判定為並非前述靜止區域時，依據將屬於以周邊區塊所算出之動作向量的中央值之PMV與臨限值進行比較後之結果，而進行判定前述輸入影像訊號是伴隨著前述一般動作的區域，還是伴隨著前述微小動作的區域。
  7. 如申請專利範圍第6項所述之影像編碼方法，其中，前述判定步驟即便在判定為並非前述靜止區域時，亦在進行前述PMV與臨限值之比較之前，進行下述再判定：在前述PMV的值為0時再判定為靜止區域，在並非為0時則判定為並非靜止區域。
  8. 如申請專利範圍第6項或第7項所述之影像編碼方法，其中，對於判定為前述靜止區域之區域係限定畫面間編碼模式來進行編碼。
  9. 如申請專利範圍第6項或第7項所述之影像編碼方法，其中，對於判定為前述伴隨著微小動作的區域之區域係限定畫面間編碼模式來進行編碼。
  10. 如申請專利範圍第6項或第7項所述之影像編碼方法，復具備：決定步驟，係決定對於判定為前述靜止區域或伴隨著微小動作的區域之區域是否實施畫面內編碼。
  11. 一種影像編碼程式，係為使對於輸入影像訊號使用畫面內編碼以及伴隨動作補償之畫面間編碼之影像編碼裝置上的電腦執行影像編碼處理之影像編碼程式，該程式係使前述電腦執行下述步驟：判定步驟，係對於屬於編碼對象之輸入影像訊號判定靜止區域、伴隨著微小動作之區域、或伴隨著一般動作之區域；第一編碼步驟，對於由前述判定步驟所判定為靜止區域之區域進行動作向量(0，0)的畫面間編碼；第二編碼步驟，對於由前述判定步驟所判定為伴隨著微小動作的區域之區域，在所限制之搜尋範圍內，進行動作搜尋及畫面間編碼；以及第三編碼步驟，對於由前述判定步驟所判斷為伴隨著一般動作的區域之區域，以一般的搜尋範圍進行動作搜尋及畫面間編碼；前述判定步驟在依據參照訊框與編碼對象訊框之類似度而判定前述輸入影像訊號是否為前述靜止區域後，在判定為並非前述靜止區域時，依據將屬於以周邊區塊所算出之動作向量的中央值之PMV與臨限值進行比較後之結果，而進行判定前述輸入影像訊號是伴隨著前述一般動作的區域，還是伴隨著前述微小動作的區域。
TW101107425A 2011-03-09 2012-03-06 影像編碼裝置、影像編碼方法及影像編碼程式 TWI511531B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011051354 2011-03-09

Publications (2)

Publication Number Publication Date
TW201244498A TW201244498A (en) 2012-11-01
TWI511531B true TWI511531B (zh) 2015-12-01

Family

ID=46798192

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101107425A TWI511531B (zh) 2011-03-09 2012-03-06 影像編碼裝置、影像編碼方法及影像編碼程式

Country Status (11)

Country Link
US (1) US9445089B2 (zh)
EP (1) EP2670143B1 (zh)
JP (1) JP5613319B2 (zh)
KR (1) KR101623064B1 (zh)
CN (1) CN103430546B (zh)
BR (1) BR112013022577A2 (zh)
CA (1) CA2828695A1 (zh)
ES (1) ES2609303T3 (zh)
RU (1) RU2551473C2 (zh)
TW (1) TWI511531B (zh)
WO (1) WO2012121234A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6341756B2 (ja) 2014-05-26 2018-06-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
WO2017020184A1 (en) 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. Methods of modifying search areas
EP3225026A4 (en) 2015-07-31 2017-12-13 SZ DJI Technology Co., Ltd. Method of sensor-assisted rate control
EP3329461B1 (en) 2015-07-31 2021-04-07 SZ DJI Technology Co., Ltd. System and method for constructing optical flow fields
CN106993187B (zh) * 2017-04-07 2019-09-06 珠海全志科技股份有限公司 一种可变帧率的编码方法及装置
US11263261B2 (en) 2020-02-14 2022-03-01 Alibaba Group Holding Limited Method and system for characteristic-based video processing
CN117376571A (zh) * 2022-06-30 2024-01-09 深圳市中兴微电子技术有限公司 图像处理方法、电子设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142749A1 (en) * 2002-01-26 2003-07-31 Lg Electronics Inc. Adaptive decision method of motion vector search range
US20040095998A1 (en) * 2002-11-20 2004-05-20 Jeng-Hung Luo Method and apparatus for motion estimation with all binary representation
US20060285594A1 (en) * 2005-06-21 2006-12-21 Changick Kim Motion estimation and inter-mode prediction
US20070064803A1 (en) * 2005-09-16 2007-03-22 Sony Corporation And Sony Electronics Inc. Adaptive motion search range

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JPH0832969A (ja) 1994-07-12 1996-02-02 Canon Inc 動きベクトル検出装置
JP3947316B2 (ja) * 1998-12-21 2007-07-18 株式会社日立製作所 動きベクトル検出装置及びこれを用いた動画像符号化装置
JP2002223419A (ja) * 2000-10-20 2002-08-09 Matsushita Electric Ind Co Ltd 順次走査変換方法および順次走査変換装置
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
WO2005036887A1 (ja) * 2003-10-14 2005-04-21 Nec Corporation 動きベクトル探索方法、動きベクトル探索装置および動きベクトル探索プログラム
JP3880985B2 (ja) * 2004-08-05 2007-02-14 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
EP1734768A1 (en) * 2005-06-15 2006-12-20 Matsushita Electric Industrial Co., Ltd. Adaptive video with intra/inter mode decision based on network congestion
US7852940B2 (en) * 2005-10-20 2010-12-14 Qualcomm Incorporated Scalable motion estimation for video encoding
KR101083379B1 (ko) * 2007-03-14 2011-11-14 니폰덴신뎅와 가부시키가이샤 움직임 벡터 탐색 방법 및 장치 그리고 프로그램을 기록한 기록매체
CN101558637B (zh) * 2007-03-20 2011-10-19 松下电器产业株式会社 摄像装置以及摄像方法
JP4452734B2 (ja) * 2007-08-24 2010-04-21 日本電信電話株式会社 動き補償付きテンポラルフィルタ処理装置，処理方法，処理プログラムおよびコンピュータ読み取り可能な記録媒体
CN102124741B (zh) * 2009-06-22 2014-09-24 松下电器产业株式会社 图像编码方法及图像编码装置
JP5489557B2 (ja) * 2009-07-01 2014-05-14 パナソニック株式会社 画像符号化装置及び画像符号化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142749A1 (en) * 2002-01-26 2003-07-31 Lg Electronics Inc. Adaptive decision method of motion vector search range
US20040095998A1 (en) * 2002-11-20 2004-05-20 Jeng-Hung Luo Method and apparatus for motion estimation with all binary representation
US20060285594A1 (en) * 2005-06-21 2006-12-21 Changick Kim Motion estimation and inter-mode prediction
US20070064803A1 (en) * 2005-09-16 2007-03-22 Sony Corporation And Sony Electronics Inc. Adaptive motion search range

Also Published As

Publication number Publication date
US9445089B2 (en) 2016-09-13
EP2670143B1 (en) 2016-09-28
CN103430546B (zh) 2017-08-04
WO2012121234A1 (ja) 2012-09-13
EP2670143A1 (en) 2013-12-04
RU2551473C2 (ru) 2015-05-27
CN103430546A (zh) 2013-12-04
TW201244498A (en) 2012-11-01
EP2670143A4 (en) 2014-12-17
RU2013140686A (ru) 2015-04-20
KR101623064B1 (ko) 2016-05-20
CA2828695A1 (en) 2012-09-13
ES2609303T3 (es) 2017-04-19
JPWO2012121234A1 (ja) 2014-07-17
KR20130126698A (ko) 2013-11-20
US20130336387A1 (en) 2013-12-19
BR112013022577A2 (pt) 2016-12-06
JP5613319B2 (ja) 2014-10-22

Similar Documents

Publication Publication Date Title
TWI511531B (zh) 影像編碼裝置、影像編碼方法及影像編碼程式
TWI722842B (zh) 影像預測解碼方法
JP5426655B2 (ja) 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法
JP2007329693A (ja) 画像符号化装置、及び画像符号化方法
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
JP5216710B2 (ja) 復号化処理方法
RU2734616C1 (ru) Способ декодирования видео с предсказанием и устройство декодирования видео с предсказанием
JP2007013298A (ja) 画像符号化装置
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP5748225B2 (ja) 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
JP2010193401A (ja) 画像符号化方法及び画像符号化装置
JP2015211386A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2007221201A (ja) 動画像符号化装置及び動画像符号化プログラム
JP6259272B2 (ja) 映像符号化装置及び映像符号化プログラム
JP2010226528A (ja) 符号化装置およびその方法
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP2016178375A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5990133B2 (ja) 映像符号化装置及び映像符号化方法
JP6080726B2 (ja) 動画像符号化装置及び画面内予測モード決定方法及びプログラム
JP5718438B2 (ja) 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法
JP2010233135A (ja) 動画像符号化装置および動画像復号装置
JP2009044769A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2019176421A (ja) 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
JP2009260660A (ja) 符号化装置およびその方法
JP2013197628A (ja) 動画像符号化装置、動画像符号化方法、及びプログラム