JP5194833B2 - 符号化装置および方法、記録媒体、並びにプログラム - Google Patents

符号化装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP5194833B2
JP5194833B2 JP2008012947A JP2008012947A JP5194833B2 JP 5194833 B2 JP5194833 B2 JP 5194833B2 JP 2008012947 A JP2008012947 A JP 2008012947A JP 2008012947 A JP2008012947 A JP 2008012947A JP 5194833 B2 JP5194833 B2 JP 5194833B2
Authority
JP
Japan
Prior art keywords
block
encoding
unit
encoded
encoding method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008012947A
Other languages
English (en)
Other versions
JP2009177417A (ja
JP2009177417A5 (ja
Inventor
数史 佐藤
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008012947A priority Critical patent/JP5194833B2/ja
Priority to PCT/JP2009/051029 priority patent/WO2009093672A1/ja
Priority to US12/812,675 priority patent/US20100284469A1/en
Priority to TW98103079A priority patent/TW200948090A/zh
Priority to CN2009801024373A priority patent/CN101911707B/zh
Publication of JP2009177417A publication Critical patent/JP2009177417A/ja
Publication of JP2009177417A5 publication Critical patent/JP2009177417A5/ja
Application granted granted Critical
Publication of JP5194833B2 publication Critical patent/JP5194833B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は画像符号化装置および方法、画像復号装置および方法、並びにプログラムに関し、特に、圧縮効率の低下を抑制するようにした画像符号化装置および方法、画像復号装置および方法、並びにプログラムに関する。
近年、ＭＰＥＧ（Moving Picture Experts Group）などの方式で画像を圧縮符号化し、パケット化して伝送し、受信側で復号する技術が普及してきた。これによりユーザは高品質の動画像を視聴することができる。
ところでパケットが伝送路の途中で消滅してしまったり、ノイズが重畳して復号不可能になってしまうことがある。そこで、所定のフレームの画像の対象ブロックが復号不可能となった場合、対象ブロックに隣接するブロックを利用して復号を行うことが知られている（例えば、特許文献１）。
特開平６−３１１５０２号公報
しかしながら、特許文献１の技術では、復号不可能になった画像を復元することは可能であるが、符号化効率の低下を抑制することはできない。
本発明は、このような状況に鑑みてなされたものであり、圧縮効率の低下を抑制するものである。
本発明の一側面は、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出する検出部と、前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化する第１の符号化部と、前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化する第２の符号化部と、を備える符号化装置。
前記検出部は、前記対象ブロックを含むピクチャと異なるピクチャにおいて前記対象ブロックに対応する位置にある対応ブロックが第１の符号化方式で符号化された場合に、前記対応ブロックを前記代替ブロックとして検出することができる。
前記検出部は、前記隣接ブロックが第１の符号化方式で符号化された場合に、隣接ブロックを、前記代替ブロックとして検出することができる。
前記対象ブロックを、第１の符号化方式と第２の符号化方式のいずれの方式で符号化するかを判定する判定部を更に備え、前記第２の符号化部は、前記判定部により前記第２の符号化方式で符号化すると判定された前記対象ブロックを符号化することができる。
前記判定部は、エッジ情報を有するブロックを前記第１の符号化方式で符号化するブロックと判定し、エッジ情報を有さないブロックを前記第２の符号化方式で符号化するブロックと判定することができる。
前記第１の符号化方式は、Ｈ．２６４／ＡＶＣ規格に基づく符号化方式である。
前記第２の符号化方式は、テクスチャ解析・合成符号化方式である。
本発明の一側面は、検出部と、第１の符号化部と、第２の符号化部とを備える符号化装置の符号化方法であって、前記検出部は、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、前記第１の符号化部は、前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化し、前記第２の符号化部は、前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化する符号化方法である。
本発明の一側面は、検出部と、第１の符号化部と、第２の符号化部とを備えるコンピュータに、前記検出部は、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、前記第１の符号化部は、前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化し、前記第２の符号化部は、前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化するステップを実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本発明の一側面は、検出部と、第１の符号化部と、第２の符号化部とを備えるコンピュータに、前記検出部は、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、前記第１の符号化部は、前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化し、前記第２の符号化部は、前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化するステップを実行させるためのプログラムである。
本発明の一側面においては、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックが、代替ブロックとして検出され、検出された代替ブロックを利用して、前記対象ブロックが前記第１の符号化方式で符号化され、前記第１の符号化方式で符号化しない前記対象ブロックが前記第２の符号化方式で符号化される。
以上のように、本発明の一側面によれば、圧縮効率の低下を抑制することができる。
以下、図を参照して本発明の実施の形態について説明する。
図１は、本発明の画像符号化装置の一実施の形態の構成を表している。この画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、第１の符号化部６３、代替ブロック検出部６４、判定部６５、第２の符号化部６６、および出力部６７により構成されている。判定部６５は、ブロック分類部７１、モーションスレッディング部７２、およびイグゼンプラ部７３により構成されている。
Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ６２に記憶された画像のうち、ＩピクチャとＰピクチャの画像は、予め第１の符号化方式で符号化する画像とされているので第１の符号化部６３に供給され、Ｂピクチャの情報は、画像の対象ブロックを第１の符号化方式と第２の符号化方式のいずれの方式で符号化するかを判定する判定部６５に供給される。
判定部６５のブロック分類部７１は、画面並べ替えバッファ６２から供給されたＢピクチャの画像のうち、エッジ情報を有するブロックと有しないブロックとを分類し、エッジ情報を有するストラクチャルブロックを、第１の符号化処理を施すブロックとして第１の符号化部６３に出力し、エッジ情報を有しないブロックをイグゼンプラ部７３に供給する。モーションスレッディング部７２は、画面並べ替えバッファ６２から供給されたＢピクチャの画像のモーションスレッドを検出し、イグゼンプラ部７３に供給する。
イグゼンプラ部７３は、モーションスレッドに基づいて、エッジ情報を有しないブロックのＳＴＶの値を後述する式（２）に従って演算するとともに、その値を予め定められている閾値と比較する。ＳＴＶの値が閾値より大きい場合、そのＢピクチャのブロックの画像は、第１の符号化処理を施すブロックであるイグゼンプラの画像として第１の符号化部６３に供給される。イグゼンプラ部７３は、ＳＴＶの値が閾値より小さい場合、そのＢピクチャのブロックを第２の符号化処理を施すブロックであるリムーブドブロックとし、その位置を表す位置情報としてのバイナリマスクを第２の符号化部６６に供給する。
第１の符号化部６３は、画面並べ替えバッファ６２より供給されたＩピクチャとＰピクチャ、ブロック分類部７１より供給されたストラクチャルブロック、イグゼンプラ部７３より供給されたイグゼンプラの各画像を、第１の符号化方式で符号化する。第１の符号化方式としては、例えば、H．２６４およびＭＰＥＧ−４ Ｐａｒｔ１０ （Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（以下Ｈ．２６４／ＡＶＣと記す）を用いることができる。
代替ブロック検出部６４は、第１の符号化部６３で符号化される対象ブロックに隣接する隣接ブロックが第２の符号化方式で符号化されている場合、対象ブロックと隣接ブロックを結ぶ方向の、対象ブロックに最も近い位置のブロックであって、第１の符号化方式で符号化されているブロックを代替ブロックとして検出する。第１の符号化部６３は、この代替ブロックを周辺ブロックとして利用して対象ブロックを第１の符号化方式で符号化する。
第２の符号化部６６は、イグゼンプラ部７３より供給されたバイナリマスクを、第１の符号化方式とは異なる第２の符号化方式で符号化する。第２の符号化方式としては、テクスチャ解析・合成符号化方式を用いることができる。
出力部６７は、第１の符号化部６３の出力と第２の符号化部６６の出力とを合成し、圧縮画像として出力する。
ここでモーションスレッディング部７２が行う基本的処理について説明する。図２に示されるように、モーションスレッディング部７２は画像をＧＯＰ単位で階層構造に分割する。図２の実施の形態では、ＧＯＰ長が８であるＧＯＰが、レイヤ０、レイヤ１およびレイヤ２の３つの階層構造に分割されている。ＧＯＰ長は例えば２のべき乗とすることができるが、それに限られるものではない。
レイヤ２はフレーム（またはフィールド）Ｆ１乃至Ｆ９の９枚のフレームで構成される入力された画像の元のＧＯＰである。レイヤ１はレイヤ２のフレームＦ２，Ｆ４，Ｆ６，Ｆ８を１フレームおきに間引くことで、フレームＦ１，Ｆ３，Ｆ５，Ｆ７，Ｆ９の５フレームで構成したレイヤであり、レイヤ０はレイヤ１のフレームＦ３，Ｆ７を１フレームおきに間引くことで、フレームＦ１，Ｆ５，Ｆ９の３フレームで構成したレイヤである。
モーションスレッディング部７２は、より上位の階層（図２においてより上方に位置する小さい番号で示される階層）の動きベクトルを求めた後、それを利用して、その１つ下のレイヤの動きベクトルを求める。
すなわち、図３Ａに示されるように、モーションスレッディング部７２は、上位の階層のフレームＦ2nとフレームＦ2n+2の動きベクトルＭｖ（Ｆ2n→Ｆ2n+2）をブロックマッチング法などにより演算するとともに、フレームＦ2nのブロックＢ2nに対応するフレームＦ2n+2のブロックＢ2n+2を演算する。
次に、図３Ｂに示されるように、モーションスレッディング部７２は、フレームＦ2nとフレームＦ2n+1（フレームＦ2nとフレームＦ2n+2の中間のフレーム）の動きベクトルＭｖ（Ｆ2n→Ｆ2n+1）をブロックマッチング法などにより演算するとともに、フレームＦ2nのブロックＢ2nに対応するフレームＦ2n+1のブロックＢ2n+1を演算する。
そして、モーションスレッディング部７２は、フレームＦ2n+1とフレームＦ2n+2の動きベクトルＭｖ（Ｆ2n+1→Ｆ2n+2）を、次式から演算する。
Ｍｖ（Ｆ2n+1→Ｆ2n+2）＝Ｍｖ（Ｆ2n→Ｆ2n+2）−Ｍｖ（Ｆ2n→Ｆ2n+1） （１）
以上の原理に基づいて、図２のレイヤ０において、フレームＦ１とフレームＦ９の動きベクトルとフレームＦ１とフレームＦ５の動きベクトルから、フレームＦ５とフレームＦ９の動きベクトルが求められる。次にレイヤ１において、フレームＦ１とフレームＦ３の動きベクトルが求められ、フレームＦ３とフレームＦ５の動きベクトルが、フレームＦ１とフレームＦ５の動きベクトルと、フレームＦ１とフレームＦ３の動きベクトルから求められる。フレームＦ５とフレームＦ７の動きベクトルが求められ、フレームＦ７とフレームＦ９の動きベクトルが、フレームＦ５とフレームＦ９の動きベクトルと、フレームＦ５とフレームＦ７の動きベクトルから求められる。
さらに、レイヤ２において、フレームＦ１とフレームＦ２の動きベクトルが求められ、フレームＦ２とフレームＦ３の動きベクトルが、フレームＦ１とフレームＦ３の動きベクトルと、フレームＦ１とフレームＦ２の動きベクトルから求められる。フレームＦ３とフレームＦ４の動きベクトルが求められ、フレームＦ４とフレームＦ５の動きベクトルが、フレームＦ３とフレームＦ５の動きベクトルと、フレームＦ３とフレームＦ４の動きベクトルから求められる。
フレームＦ５とフレームＦ６の動きベクトルが求められ、フレームＦ６とフレームＦ７の動きベクトルが、フレームＦ５とフレームＦ７の動きベクトルと、フレームＦ５とフレームＦ６の動きベクトルから求められる。フレームＦ７とフレームＦ８の動きベクトルが求められ、フレームＦ８とフレームＦ９の動きベクトルが、フレームＦ７とフレームＦ９の動きベクトルと、フレームＦ７とフレームＦ８の動きベクトルから求められる。
図４は、以上のようにして求められた動きベクトルに基づき演算されたモーションスレッドの例を表している。図４において、黒いブロックは第２の符号化方式で符号化されたリムーブドブロックを表し、白いブロックは第１の符号化方式で符号化されたブロックを表している。
この例においては、例えば、ピクチャＢ０の最も上に位置するブロックは、ピクチャＢ１の上から２番目の位置、ピクチャＢ２の上から３番目の位置、ピクチャＢ３の上から３番目の位置、ピクチャＢ４の上から３番目の位置、ピクチャＢ５の上から２番目の位置まで達するスレッドに属している。
また、ピクチャＢ０の上から５番目に位置するブロックは、ピクチャＢ１の上から５番目の位置まで達するスレッドに属している。
このように、モーションスレッドは、所定のブロックの各ピクチャ上の位置の奇跡（すなわち、動きベクトルの連鎖）を表している。
次に、図５のフローチャートを参照して、図１の画像符号化装置５１の符号化処理について説明する。
ステップＳ１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。並べ替えられたＩピクチャとＰピクチャは第１の符号化処理を行うピクチャであると判定部６５により予め判定（決定）されており、第１の符号化部６３に供給される。Ｂピクチャは判定部６５のブロック分類部７１とモーションスレッディング部７２に供給される。
ステップＳ３において、ブロック分類部７１は、入力されたＢピクチャのブロックを分類する。具体的には、各ピクチャの第１の符号化部６３で行われる符号化の単位としてのブロック（１６×１６画素のサイズのマクロブロック、またはそれ以下のサイズのブロック）が、エッジ情報を含むブロックであるかが判定され、エッジ情報を予め設定されている基準値以上含むブロックと含まないブロックに分類される。エッジ情報を含むブロックは人間の目につき易い画像のブロック（すなわち、第１の符号化処理を施すべきブロック）であるので、ストラクチャルブロックとして第１の符号化部６３に供給される。エッジ情報を含まない画像はイグゼンプラ部７３に供給される。
ステップＳ４において、モーションスレッディング部７２は、Ｂピクチャをモーションスレッディングする。すなわち、図２乃至図４を参照して説明したように、モーションスレッドはブロックの位置の奇跡を表し、この情報がイグゼンプラ部７３に供給される。イグゼンプラ部７３は、この情報に基づいて、後述するＳＴＶを演算する。
ステップＳ５において、イグゼンプラ部７３は、イグゼンプラを抽出する。具体的には、イグゼンプラ部７３は、次式に従ってＳＴＶを演算する。
Figure 0005194833
上記式において、Ｎはモーションスレッディング部７２で求められたモーションスレッドの長さを表し、Ｂｉはモーションスレッドに含まれるブロックを表す。μ6はブロックに時空間（上下左右の空間と前後の時間）おいて隣接するブロックを表す。δはブロックに含まれる画素値の分散値を表し、Ｅはブロックに含まれる画素値の平均値を表す。ｗ1，ｗ2は、予め定められている重み係数である。
ＳＴＶの値が大きいブロックは、隣接するブロックの画素値との差が大きいブロックなので、人の目につき易い画像のブロック（すなわち、第１の符号化処理を施すべきブロック）である。そこでイグゼンプラ部７３は、ＳＴＶの値が予め設定されている閾値より大きいブロックを、イグゼンプラとして第１の符号化部６３に出力する。
以上のように、ステップＳ２乃至Ｓ５の処理は、判定部６５により第１と第２の符号化方式のいずれにより符号化するかの判定を行う処理である。
ステップＳ６において、代替ブロック検出部６４は代替ブロック検出処理を実行する。その処理の詳細は図６を参照して後述するが、この処理により、第１の符号化処理に必要な対象ブロックの周辺情報としての代替ブロックが検出される。ステップＳ７において、第１の符号化部６３は第１の符号化処理を行う。その処理の詳細は、図８と図９を参照して後述するが、この処理により、判定部６５により第１の符号化処理を施すべきブロックとして判定されたブロック、すなわち、Ｉピクチャ、Ｐピクチャ、ストラクチャルブロック、およびイグゼンプラが、代替ブロックを利用して、第１の符号化方式で符号化される。
ステップＳ８において、第２の符号化部６６はイグゼンプラ部７３より供給されたリムーブドブロックのバイナリマスクを第２の符号化方式で符号化する。この処理は、リムーブドブロックを直接的に符号化するものではないが、後述するように画像復号装置で画像を合成することで復号が行われるので、一種の符号化ということができる。
ステップＳ９において、出力部６７は第１の符号化部６３で符号化された圧縮画像に、第２の符号化部６６で符号化された情報を合成して、出力する。この出力が伝送路を介して伝送され、画像復号装置で復号される。
次に図６を参照して、ステップＳ６における代替ブロック検出処理について説明する。同図に示されるように、ステップＳ４１において、代替ブロック検出部６４は、隣接ブロックが全て第１の符号化処理されたものであるかを判定する。
符号化処理は、画面の左上から右下方向のブロックの順番に行われる。図７に示されるように、いま符号化処理の対象とされている対象ブロックがブロックＥであるとすると、既に符号化処理されているブロックであって、対象ブロックＥに隣接するブロックは、対象ブロックＥの左上のブロックＡ、上のブロックＢ、右上のブロックＣ、そして左のブロックＤである。ステップＳ４１では、これらの隣接ブロックＡ乃至Ｄが全て第１の符号化部６３により符号化されたブロックであるかが判定される。
ブロックＡ乃至Ｄが全て第１の符号化部６３により符号化されたブロックである場合、ステップＳ４２において、代替ブロック検出部６４は周辺ブロックとして隣接ブロックＡ乃至Ｄを選択する。すなわち第１の符号化部６３は、対象ブロックＥを符号化するに当たり、隣接ブロックＡ乃至Ｄの動きベクトルに基づく予測処理を行う。この場合、利用可能なブロックが存在するため、効率的な符号化が可能となる。
第１の符号化部６３により符号化されないブロックはリムーブドブロックとされ、第２の符号化部６６において符号化される。隣接ブロックＡ乃至Ｄが第２の符号化部６６により符号化されたブロックである場合（第１の符号化部６３により符号化されたブロックでない場合）、符号化の原理が異なるため、第１の符号化部６３はその隣接ブロックＡ乃至Ｄを対象ブロックＥの符号化に利用することができない。この場合、周辺情報としてのブロックが得られないunavailableの状態としての符号化処理を行うと、すなわち、例えば、対象ブロックが画面の端部に位置し、その外側には隣接ブロックが存在しない場合と同様の処理を行うと、この場合の符号化処理は、隣接ブロックが存在する場合に較べて、符号化効率が低下する。
そこで、隣接ブロックＡ乃至Ｄが全て第１の符号化部６３により符号化されたブロックではない場合、ステップＳ４３において、第１の符号化部６３は、隣接ブロックのうち、リムーブドブロックとされたブロックから所定の閾値以内の距離に、第１の符号化処理が行われたブロックがあるかを判定する。すなわち、隣接ブロックの代わりに用いられる代替ブロックがあるかが判定される。そして、所定の閾値以内の距離に、第１の符号化処理が行われたブロックがある場合（代替ブロックが存在する場合）、代替ブロック検出部６４は、ステップＳ４４において、周辺ブロックとして、その所定の閾値以内の距離の代替ブロックを選択する。
例えば、図７に示されるように、隣接ブロックＡが第１の符号化部６３により符号化されたブロックではない場合（第２の符号化部６６により符号化されたブロックである場合）、対象ブロックＥから隣接ブロックＡの方向の最短の距離に位置するブロックであって、第１の符号化部６３により符号化されたブロックがブロックＡ’である場合、このブロックＡ’が代替ブロックとされる。
代替ブロックＡ’は隣接ブロックＡの近傍のブロックであるため、隣接ブロックＡと類似した特徴を有していると考えられる。すなわち、代替ブロックＡ’は隣接ブロックＡと、比較的高い相関を有している。そこで、この隣接ブロックＡに代えて代替ブロックＡ’を用いて対象ブロックＥに対して第１の符号化を行うことで、すなわち、代替ブロックＡ’の動きベクトルを用いた予測処理を行うことで、符号化効率の低下を抑制することができる。
ただし、代替ブロックＡ’の隣接ブロックＡからの距離が予め設定されている所定の閾値以上離れている場合、代替ブロックＡ’が隣接ブロックＡと類似した特徴を有する画像である可能性が低くなる（相関が低くなる）。その結果、このような閾値以上の距離に位置する代替ブロックＡ’を利用しても、符号化効率の低下を抑制することは困難になる。そこで、閾値以内の距離に位置するブロックだけが代替ブロックとして対象ブロックＥの符号化に利用される。
隣接ブロックＢ，Ｃ，Ｄについても同様であり、それらがリムーブドブロックである場合、その隣接ブロックＢ，Ｃ，Ｄに代えて、それぞれ対象ブロックＥから隣接ブロックＢ，Ｃ，Ｄの方向の閾値以内の距離に位置する代替ブロックＢ’，Ｃ’，Ｄ’の動きベクトルが、対象ブロックＥの第１の符号化に利用される。
なお、この距離の閾値は、固定値としてもよいし、ユーザが定め、第１の符号化部６３により符号化し、圧縮画像に付随して伝送するようにしてもよい。
ステップＳ４３において、隣接ブロックのうち、リムーブドブロックとされたブロックから所定の閾値以内の距離に、第１の符号化処理が行われたブロックが存在しないと判定された場合、ステップＳ４５において、さらに動きベクトルに関しての代替処理が可能かが判定される。
すなわち、代替ブロック検出部６４は、ステップＳ４５において、対応ブロックの動きベクトルが利用可能であるかを判定する。対応ブロック（co-located block）とは、対象ブロックのピクチャと異なるピクチャ（前または後に位置するピクチャ）のブロックであって、対象ブロックに対応する位置のブロックである。この対応ブロックが第１の符号化処理されたブロックである場合には、対応ブロックの動きベクトルが利用可能であると判定される。この場合、ステップＳ４６において、代替ブロック検出部６４は、周辺ブロックとして、対応ブロックを選択する。すなわち、第１の符号化部６３は対応ブロックを対象ブロックの代替ブロックとして、その動きベクトルに基づく予測処理を行って、符号化処理を行う。これによっても、符号化効率の低下を抑制することができる。
対応ブロックの動きベクトルが利用可能でない場合、ステップＳ４７において、代替ブロック検出部６４はブロックがunavailableであるとする。すなわち、この場合には、従来と同様の処理が行われる。
以上のように、ＩピクチャとＰピクチャのブロックの他、Ｂピクチャの人の目につき易い画像のブロックに対して第１の符号化を施すに際し、隣接ブロックが、人の目につき難い画像の第２の符号化を施したブロックである場合、その方向の最も近い第１の符号化した代替ブロックを周辺ブロックとして、対象ブロックの第１の符号化に利用するようにしたので、符号化効率の低下を抑制することができる。
図８は、第１の符号化部６３の一実施の形態の構成を表している。この第１の符号化部６３は、入力部８１、演算部８２、直交変換部８３、量子化部８４、可逆符号化部８５、蓄積バッファ８６、逆量子化部８７、逆直交変換部８８、演算部８９、デブロックフィルタ９０、フレームメモリ９１、スイッチ９２、動き予測・補償部９３、イントラ予測部９４、スイッチ９５、およびレート制御部９６により構成されている。
入力部８１は、画面並べ替えバッファ６２からＩピクチャとＰピクチャ、ブロック分類部７１からストラクチャルブロック、並びにイグゼンプラ部７３からイグゼンプラの各画像を入力する。入力部８１は入力された画像を代替ブロック検出部６４、演算部８２、動き予測・補償部９３、およびイントラ予測部９４に供給する。
演算部８２は、入力部８１より供給される画像から、スイッチ９５により選択された動き予測・補償部９３の予測画像またはイントラ予測部９４の予測画像を減算し、その差分情報を直交変換部８３に出力する。直交変換部８３は、演算部８２からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部８４は直交変換部８３が出力する変換係数を量子化する。
量子化部８４の出力となる、量子化された変換係数は、可逆符号化部８５に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。圧縮画像は、蓄積バッファ８６に蓄積された後、出力される。レート制御部９６は、蓄積バッファ８６に蓄積された圧縮画像に基づいて、量子化部８４の量子化動作を制御する。
また、量子化部８４より出力された、量子化された変換係数は、逆量子化部８７にも入力され、逆量子化された後、さらに逆直交変換部８８において逆直交変換される。逆直交変換された出力は演算部８９によりスイッチ９５から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ９０は、復号された画像のブロック歪を除去した後、フレームメモリ９１に供給し、蓄積させる。フレームメモリ９１には、デブロックフィルタ９０によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
スイッチ９２はフレームメモリ９１に蓄積された参照画像を動き予測・補償部９３またはイントラ予測部９４に出力する。イントラ予測部９４は、入力部８１から供給されたイントラ予測する画像とフレームメモリ９１から供給された参照画像に基づいてイントラ予測処理を行い、予測画像を生成する。イントラ予測部９４は、その際、ブロックに対して適用したイントラ予測モードに関する情報を、可逆符号化部８５に供給する。可逆符号化部８５は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
動き予測・補償部９３は、入力部８１から供給されるインター符号化が行われる画像と、スイッチ９２を介してフレームメモリ９１から供給される参照画像に基づいて動きベクトルを検出し、動きベクトルに基づいて参照画像に動き予測と補償処理を施し、予測画像を生成する。
動き補償・予測装置９３は、動きベクトルを可逆符号化部８５に出力する。可逆符号化部８５は、動きベクトルをやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
スイッチ９５は動き予測・補償部９３またはイントラ予測部９４より出力された予測画像を選択し、演算部８２，８９に供給する。
代替ブロック検出部６４は、イグゼンプラ部７３が出力するバイナリマスクに基づいて、隣接ブロックがリムーブドブロックであるかを判定し、リムーブドブロックである場合、代替ブロックを検出し、その検出結果を可逆符号化部８５、動き予測・補償部９３、およびイントラ予測部９４に出力する。
次に、図９を参照して、第１の符号化部６３が実行する、図５のステップＳ７における第１の符号化処理について説明する。
ステップＳ８１において、入力部８１は画像を入力する。具体的には、入力部８１は、画面並べ替えバッファ６２からＩピクチャとＰピクチャ、ブロック分類部７１からストラクチャルブロック、並びにイグゼンプラ部７３からイグゼンプラの各画像を入力する。ステップＳ８２において、演算部８２は、ステップＳ８１で入力された画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部９３から、イントラ予測する場合はイントラ予測部９４から、それぞれスイッチ９５を介して演算部８２に供給される。
差分データは元の画像データに較べてデータ量が小さくなっている。従って、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ８３において、直交変換部８３は演算部８２から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ８４において、量子化部８４は変換係数を量子化する。この量子化に際しては、後述するステップＳ９５の処理で説明されるように、レートが制御される。
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわちステップＳ８５において、逆量子化部８７は量子化部８４により量子化された変換係数を量子化部８４の特性に対応する特性で逆量子化する。ステップＳ８６において逆直交変換部８８は逆量子化部８７により逆量子化された変換係数を直交変換部８３の特性に対応する特性で逆直交変換する。
ステップＳ８７で演算部８９は、スイッチ９５を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部８２への入力に対応する画像）を生成する。ステップＳ８８においてデブロックフィルタ９０は、演算部８９より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ８９においてフレームメモリ９１は、フィルタリングされた画像を記憶する。なお、フレームメモリ９１にはデブロックフィルタ９０によりフィルタ処理されていない画像も演算部８９から供給され、記憶される。
入力部８１から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ９１から読み出され、スイッチ９２を介して動き予測・補償部９３に供給される。ステップＳ９０において動き予測・補償部９３は、フレームメモリ９１から供給される画像を参照して動きを予測し、その動きに基づいて動き補償を行い、予測画像を生成する。
入力部８１から供給される処理対象の画像（例えば、図１０における画素ａ乃至ｐ）がイントラ処理されるブロックの画像である場合、参照される復号済みの画像（図１０における画素Ａ乃至Ｌ）がフレームメモリ９１から読み出され、スイッチ９２を介してイントラ予測部９４に供給される。これらの画像に基づいて、ステップＳ９１においてイントラ予測部９４は処理対象のブロックの画素を所定のイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素（図１０における画素Ａ乃至Ｌ）としては、デブロックフィルタ９０によりデブロックフィルタリングされていない画素が用いられる。これは、イントラ予測はマクロブロック毎に逐次処理で行われるのに対して、デブロックフィルタリング処理は、一通りの復号処理がなされた後に行われるからである。
輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。
予測モードの種類は、図１１の番号０乃至８で示される方向に対応している。予測モード２は平均値予測である。
ステップＳ９２において、スイッチ９５は予測画像を選択する。すなわちインター予測の場合には動き予測・補償部９３の予測画像が、またイントラ予測の場合にはイントラ予測部９４の予測画像がそれぞれ選択され、演算部８２，８９に供給される。この予測画像が、上述したように、ステップＳ８２，S８７の演算に利用される。
ステップＳ９３において可逆符号化部８５は量子化部８４より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。なお、このとき、ステップＳ９０で動き予測・補償部９３により検出された動きベクトル、並びにステップＳ９１でイントラ予測部９４がブロックに対して適用したイントラ予測モードに関する情報も符号化され、ヘッダ情報に付加される。
ステップＳ９４において蓄積バッファ８６は差分画像を圧縮画像として蓄積する。蓄積バッファ８６に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ９５においてレート制御部９６は、蓄積バッファ８６に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部８４の量子化動作のレートを制御する。
ステップＳ９０，Ｓ９１，Ｓ９３における動き予測処理、イントラ予測処理、および符号化処理において、図６のステップＳ４４，Ｓ４６で選択された周辺ブロックが利用される。すなわち、隣接ブロックに代えて選択された代替ブロックに対する動きベクトルを用いて予測処理が行われる。従って、隣接ブロックが全て第１の符号化処理されたブロックでない場合に、ステップＳ４７における処理と同様に、周辺情報がunavailableであるとして処理するときに較べて、ブロックの効率的な第１の符号化処理が可能となる。
ここで、周辺情報がunavailableであるとされた場合の処理について説明する。
まず、イントラ予測において、イントラ４×4予測モードを例に、周辺情報がunavailable である場合に行なわれる処理について説明する。
図１２Ａにおいて、Ｘが４×４対象ブロック、ＡおよびＢは、ブロックＸの左および上に隣接する４×４ブロックであるとする。ブロックＡ若しくはＢが、unavailable である場合には、フラグdcPredModePredictedFlag = １となり、この時、対象ブロックＸの予測モードは予測モード２(平均値予測モード)となる。すなわち、対象ブロックＸの画素値の平均値の画素からなるブロックが、予測ブロックとされる。
対象ブロックＸがイントラ8×8予測モード、イントラ１６×１６予測モード、色差信号のブロックである場合の動き予測モードに対する処理についても同様である。
動きベクトル符号化において、周辺情報がunavailable である場合に行なわれる処理は次のようになる。
図１２Ｂにおいて、Ｘが対象動き予測ブロック、Ａ乃至Ｄは、それぞれ対象ブロックXの左、上、右上、および左上に隣接する動き予測ブロックであるとする。動き予測ブロックA乃至Ｃの動きベクトルがavailableである場合、対象動き予測ブロックＸに対する動きベクトルの予測値PredMVは、動き予測ブロックA乃至Ｃの動きベクトルのメディアンにより生成される。
これに対して、動き予測ブロックA乃至Ｃのいずれかの動きベクトルがunavailable である場合には、以下のような処理が行なわれる。
まず、ブロックＣの動きベクトルがunavailable である場合、ブロックＡ，Ｂ，Ｄの動きベクトルがavailableであるときは、ブロックXの動きベクトルは、ブロックA，ＢおよびDの動きベクトルのメディアンにより生成される。ブロックBとブロックCのいずれもunavailable である場合、並びにブロックCとブロックDのいずれもunavailable である場合には、メディアン予測は行なわれず、ブロックＡに対する動きベクトルがブロックXの動きベクトルの予測値とされる。ただし、ブロックＡに対する動きベクトルがunavailable である場合、ブロックXの動きベクトルの予測値は０とされる。
次に、周辺情報がunavailable である場合の可変長符号化の処理について説明する。
図１２Aにおいて、Ｘが４×４若しくは８×８対象直交変換ブロック、ＡおよびＢが隣接ブロックであるとする。ブロックAおよびブロックＢにおける値が０ではない直交変換係数の数をｎＡ，ｎＢとすると、ブロックＸに対する可変長変換テーブルは、数ｎＡおよびｎＢにより選択される。しかし、ブロックAがunavailable である場合には、数ｎＡ＝０であるとして、またブロックＢがunavailable である場合には、数ｎＢ＝０であるとして、それに対応する変換テーブルが選択される。
周辺情報がunavailable である場合の算術符号化処理は次のようになる。
ここでは、フラグmb_skip_flagを例にとって説明するが、他のシンタクス要素に対する処理についても同様である。
マクロブロックＫに対して、コンテクストｃｔｘ（K）が次のように定義される。すなわち、マクロブロックＫが、参照フレームの空間的に対応する位置の画素をそのまま用いるスキップトマクロブロックである場合、コンテクストｃｔｘ（K）は１とされ、そうでない場合、０とされる。
Figure 0005194833
対象ブロックＸに対するコンテクストｃｔｘ（X）は次式に示されるように、左の隣接ブロックAのコンテキストｃｔｘ（A）と、上の隣接ブロックBのコンテキストｃｔｘ（B）の和として算出される。
ｃｔｘ（X）＝ ｃｔｘ（A）＋ｃｔｘ（B） （４）
ブロックＡ若しくはブロックＢがunavailable である場合、コンテクストｃｔｘ（A）＝０、若しくはコンテクストｃｔｘ（B）＝０であるとされる。
以上のように、周辺情報がunavailableであるとして処理を実行すると、効率的な処理が困難になるが、上述したように代替ブロックを周辺ブロックとして利用することで、効率的な処理が可能となる。
符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。図１３は、このような画像復号装置の一実施の形態の構成を表している。
画像復号装置１０１は、蓄積バッファ１１１、第１の復号部１１２、代替ブロック検出部１１３、第２の復号部１１４、画面並べ替えバッファ１１５、およびＤ／Ａ変換部１１６を有している。第２の復号部１１４は、補助情報復号部１２１とテクスチャ合成部１２２とを有している。
蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。第１の復号部１１２は蓄積バッファ１１１に蓄積された圧縮画像のうち、第１の符号化が行われている圧縮画像を、第１の復号処理で復号する。この第１の復号処理は、図１の画像符号化装置５１の第１の符号化部６３が行う第１の符号化処理に対応する処理、すなわち、この実施の形態の場合、Ｈ．２６４／ＡＶＣ方式に対応する復号方式の処理である。代替ブロック検出部１１３は、補助情報復号部１２１から供給されるバイナリマスクに基づいて代替ブロックを検出する。その機能は図１の代替ブロック検出部６４と同様である。
第２の復号部１１４は、蓄積バッファ１１１から供給される第２の符号化が行われている圧縮画像に対して第２の復号処理を行う。具体的には、補助情報復号部１２１が、図１の第２の符号化部６６による第２の符号化処理に対応する復号処理を行い、テクスチャ合成部１２２が、補助情報復号部１２１から供給されるバイナリマスクに基づいて、テクスチャの合成処理を行う。このためテクスチャ合成部１２２には、第１の復号部１１２から対象フレームの画像（Ｂピクチャの画像）が供給され、画面並べ替えバッファ１１５から参照画像が供給される。
画面並べ替えバッファ１１５は、第１の復号部１１２で復号されたＩピクチャとＰピクチャの画像と、テクスチャ合成部１２２で合成されたＢピクチャの画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１６は、画面並べ替えバッファ１１５から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
次に図１４を参照して画像復号装置１０１が実行する復号処理について説明する。
ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、第１の復号部１１２は蓄積バッファ１１１から読み出された第１の符号化処理が行われている画像に対して第１の復号処理を施す。その詳細は図１６と図１７を参照して後述するが、これにより図１の第１の符号化部６３で符号化されたＩピクチャとＰピクチャ、並びにＢピクチャのストラクチャルブロックとイグゼンプラの画像（ＳＴＶの値が閾値より大きいブロックの画像）が復号される。ＩピクチャとＰピクチャの画像は画面並べ替えバッファ１１５に供給され、蓄積される。Ｂピクチャの画像はテクスチャ合成部１２２に供給される。
ステップＳ１３３において代替ブロック検出部１１３は代替ブロック検出処理を実行する。この処理は図６を参照して説明した通りであり、隣接ブロックが第１の符号化が行われていないブロックである場合には、代替ブロックが検出される。この処理を行うため、後述するステップＳ１３４で補助情報復号部１２１により復号されたバイナリマスクが代替ブロック検出部１１３に供給されている。代替ブロック検出部１１３はバイナリマスクを利用して、各ブロックが第１の符号化処理が行われたブロックであるのか、あるいは第２の符号化処理が行われたブロックであるのかを確認する。検出された代替ブロックを利用して、ステップＳ１３２の第1の復号処理が行われる。
次に第２の復号部１１４はステップＳ１３４、Ｓ１３５において第２の復号を行う。すなわち、ステップＳ１３４において、補助情報復号部１２１は、蓄積バッファ１１１から供給された第２の符号化処理が行われているバイナリマスクを復号する。復号されたバイナリマスクは、テクスチャ合成部１２２と代替ブロック検出部１１３に出力される。バイナリマスクはリムーブドブロックの位置、すなわち第１の符号化処理が行われていないブロックの位置（第２の符号化処理が行われているブロックの位置）を表している。そこで、上述したように、代替ブロック検出部１１３はこのバイナリマスクを利用して代替ブロックを検出する。
ステップＳ１３５においてテクスチャ合成部１２２は、バイナリマスクで指定されるリムーブドブロックに対してテクスチャ合成を行う。このテクスチャ合成はリムーブドブロック（ＳＴＶの値が閾値より小さい画像のブロック）を再生する処理であり、その原理が図１５に示されている。同図に示されるように、復号の処理対象のブロックである対象ブロックＢ1が属するＢピクチャのフレームが対象フレームＦCであるとする。対象ブロックＢ1がリムーブドブロックであるとすると、その位置がバイナリマスクで表されていることになる。
テクスチャ合成部１２２は、補助情報復号部１２１からバイナリマスクを受け取ると、対象フレームＦCの１フレーム前の前方参照フレームＦPの、対象ブロックに対応する位置を中心とする所定の範囲に探索範囲Ｒを設定する。対象フレームＦCは第１の復号部１１２から、前方参照フレームＦPは画面並べ替えバッファから、それぞれテクスチャ合成部１２２に供給される。そしてテクスチャ合成部１２２は、探索範囲Ｒ内において対象ブロックＢ1と最も高い相関を有するブロックＢ1’を探索する。ただし、対象ブロックＢ1はリムーブドブロックであって、第１の符号化処理が行われていないので、画素値が存在しない。
そこで、テクスチャ合成部１２２は、対象ブロックＢ1の近傍の所定の範囲の領域の画素値を対象ブロックＢ1の画素値に代えて検索に使用する。図１５の実施の形態の場合、対象ブロックＢ1の上方に隣接する領域Ａ1と、下方に隣接する領域Ａ2の画素値が用いられる。テクスチャ合成部１２２は、前方参照フレームＦPにおいて、対象ブロックＢ1、領域Ａ1，Ａ2に対応する参照ブロックＢ1’、領域Ａ1’，Ａ2’を想定し、参照ブロックＢ1’が探索範囲Ｒに位置する範囲で、領域Ａ1，Ａ2と領域Ａ1’，Ａ2’の差分絶対値和や差分二乗和を演算する。
同様の演算が対象フレームＦCの１フレーム後の後方参照フレームＦbにおいても行われる。後方参照フレームＦbも画面並べ替えバッファ１１５からテクスチャ合成部１２２に供給される。そして、演算値が最も小さい（最も相関の高い）位置の領域Ａ1’，Ａ2’に対応する参照ブロックＢ1’が探索され、その参照ブロックＢ1’が対象フレームＦCの対象ブロックＢ1の画素値として合成される。リムーブドブロックが合成されたＢピクチャは画面並べ替えバッファ１１５に供給され、記憶される。
このように、この実施の形態における第２の符号化／復号方式はテクスチャ解析・合成符号化／復号方式であるため、補助情報であるバイナリマスクが符号化され、伝送されるだけで、対象ブロックの画素値は直接的には符号化されず、伝送もされないが、画像復号装置側で、バイナリマスクに基づいて対象ブロックが合成される。
ステップＳ１３６において、画面並べ替えバッファ１１５は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ１３７においてＤ／Ａ変換部１１６は、画面並べ替えバッファ１１５からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
図１６は第１の復号部１１２の一実施の形態の構成を表している。第１の復号部１１２は、可逆復号部１４１、逆量子化部１４２、逆直交変換部１４３、演算部１４４、デブロックフィルタ１４５、フレームメモリ１４６、スイッチ１４７、動き予測・補償部１４８、イントラ予測部１４９、およびスイッチ１５０により構成されている。
可逆復号部１４１は、蓄積バッファ１１１より供給された、図８の可逆符号化部８５により符号化された情報を、可逆符号化部８５の符号化方式に対応する方式で復号する。逆量子化部１４２は可逆復号部１４１により復号された画像を、図８の量子化部８４の量子化方式に対応する方式で逆量子化する。逆直交変換部１４３は、図８の直交変換部８３の直交変換方式に対応する方式で逆量子化部１４２の出力を逆直交変換する。
逆直交変換された出力は演算部１４４によりスイッチ１５０から供給される予測画像と加算されて復号される。デブロックフィルタ１４５は、復号された画像のブロック歪を除去した後、フレームメモリ１４６に供給し、蓄積させるとともに、Ｂピクチャを図１３のテクスチャ合成部１２２に、ＩピクチャとＰピクチャを画面並べ替えバッファ１１５に、それぞれ出力する。
スイッチ１４７は、インター符号化が行われる画像と参照される画像をフレームメモリ１４６から読み出し、動き予測・補償部１４８に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１４６から読み出し、イントラ予測部１４９に供給する。
イントラ予測部１４９には、ヘッダ情報を復号して得られたイントラ予測モードに関する情報が可逆復号部１４１から給される。イントラ予測部１４９は、この情報に基づいて、予測画像を生成する。
動き予測・補償部１４８には、ヘッダ情報を復号して得られた動きベクトルが可逆復号部１４１から供給される。動き予測・補償部１４８は、動きベクトルに基づいて画像に動き予測と補償処理を施し、予測画像を生成する。
スイッチ１５０は、動き予測・補償部１４８またはイントラ予測部１４９により生成された予測画像を選択し、演算部１４４に供給する。
代替ブロック検出部１１３は、図１３の補助情報復号部１２１が出力するバイナリマスクに基づいて代替ブロックを検出し、その検出結果を可逆復号部１４１、動き予測・補償部１４８、およびイントラ予測部１４９に出力する。
次に、図１７を参照して、図１６の第１の復号部１１２が行う図１４のステップＳ１３２の第１の復号処理について説明する。
ステップＳ１６１において、可逆復号部１４１は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図８の可逆符号化部８５により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャのストラクチャルブロックとイグゼンプラが復号される。このとき動きベクトル、イントラ予測モードも復号され、動きベクトルは動き予測・補償部１４８に供給され、イントラ予測モードはイントラ予測部１４９に供給される。
ステップＳ１６２において、逆量子化部１４２は可逆復号部１４１により復号された変換係数を、図８の量子化部８４の特性に対応する特性で逆量子化する。ステップＳ１６３において逆直交変換部１４３は逆量子化部１４２により逆量子化された変換係数を、図８の直交変換部８３の特性に対応する特性で逆直交変換する。これにより図８の直交変換部８３の入力（演算部８２の出力）に対応する差分情報が復号されたことになる。
ステップＳ１６４で演算部１４４は、後述するステップＳ１６９の処理で選択され、スイッチ１５０を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１６５においてデブロックフィルタ１４５は、演算部１４４より出力された画像をフィルタリングする。これによりブロック歪みが除去される。この画像のうちＢピクチャが図１３のテクスチャ合成部１２２に、ＩピクチャとＰピクチャが画面並べ替えバッファ１１５に、それぞれ供給される。ステップＳ１６６においてフレームメモリ１４６は、フィルタリングされた画像を記憶する。
処理対象の画像がインター処理される画像である場合、必要な画像がフレームメモリ１４６から読み出され、スイッチ１４７を介して動き予測・補償部１４８に供給される。ステップＳ１６７において動き予測・補償部１４８は、可逆復号部１４１から供給される動きベクトルに基づいて動き予測し、予測画像を生成する。
処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１４６から読み出され、スイッチ１４７を介してイントラ予測部１４９に供給される。ステップＳ１６８においてイントラ予測部１４９は、可逆復号部１４１から供給されるイントラ予測モードに従ってイントラ予測し、予測画像を生成する。
ステップＳ１６９において、スイッチ１５０は予測画像を選択する。すなわち動き予測・補償部１４８またはイントラ予測部１４９により生成された予測画像の一方が選択され、演算部１４４に供給され、上述したように、ステップＳ１６４において逆直交変換部１４３の出力と加算される。
なお、ステップＳ１６１の可逆復号部１４１の復号処理、ステップＳ１６７の動き予測・補償部１４８の動き予測・補償処理、そしてステップＳ１６８のイントラ予測部１４９のイントラ予測処理においては、代替ブロック検出部１１３により検出された代替ブロックが利用される。従って、効率的な処理が可能となる。
以上の処理が、図１４のステップＳ１３２において行われる。この復号の処理は、図８の第１の符号化部６３が行う、図９のステップＳ８５乃至ステップＳ９２の局部的復号処理と基本的に同様の処理である。
図１８は画像符号化装置の他の実施の形態の構成を表している。この画像符号化装置５１の判定部７０はグローバル動きベクトル検出部１８１をさらに有している。グローバル動きベクトル検出部１８１は、画面並べ替えバッファ６２から供給されるフレームの画面全体の、平行移動や拡大、縮小、回転といったグローバル動きの検出を行い、検出結果に対応するグローバル動きベクトルを、代替ブロック検出部６４と第２の符号化部６６に供給する。
代替ブロック検出部６４は、グローバル動きベクトルに基づいて、元に戻るように画面全体を平行移動、拡大、縮小、または回転して、代替ブロックを検出する。これにより、画面全体が平行移動、拡大、縮小、または回転している場合でも、代替ブロックを正確に検出することができる。
第２の符号化部６６は、バイナリマスクの他、グローバル動きベクトルに対しても第２の符号化処理を施し、復号側に伝送する。
その他の構成と動作は、図１の画像符号化装置５１と同様である。
図１８の符号化装置に対応する画像復号装置は、図１３に示した場合と同様の構成となる。補助情報復号部１２１は、バイナリマスクとともにグローバル動きベクトルも復号し、代替ブロック検出部１１３に供給する。代替ブロック検出部１１３は、代替ブロック検出部６４と同様に、グローバル動きに基づいて、元に戻るように画面全体を平行移動、拡大、縮小、または回転して、代替ブロックを検出する。これにより、画面全体が平行移動、拡大、縮小、または回転している場合でも、代替ブロックを正確に検出することができる。
補助情報復号部１２１により復号されたバイナリマスクとグローバル動きベクトルは、テクスチャ合成部１２２にも供給される。テクスチャ合成部１２２は、グローバル動きに基づいて、元に戻るように画面全体を平行移動、拡大、縮小、または回転して、テクスチャ合成を行う。これにより、画面全体が平行移動、拡大、縮小、または回転している場合でも、テクスチャ合成を正確に行うことができる。
その他の構成と動作は、図１３の画像復号装置１０１と同様である。
以上のように、対象ブロックに隣接する隣接ブロックが、第２の符号化方式で符号化されている場合、対象ブロックと隣接ブロックを結ぶ方向の、対象ブロックに最も近い位置のブロックであって、第１の符号化方式で符号化されている代替ブロックを利用して第1の符号化方式で画像を符号化することで、圧縮率の低下を抑制することができる。
以上においては、第１の符号化方式としてＨ．２６４／ＡＶＣ方式を、第１の復号方式としてそれに対応する復号方式を、第２の符号化方式としてテクスチャ・合成符号化方式を、第２の復号方式としてそれに対応する復号方式を、それぞれ用いるようにしたが、その他の符号化方式／復号方式を用いることもできる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMやハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 モーションスレッディングの基本的処理を説明する図である。 動きベクトルの演算を説明する図である。 モーションスレッディングの結果の例を示す図である。 符号化処理を説明するフローチャートである。 代替ブロック検出処理を説明するフローチャートである。 代替ブロックを説明する図である。 第１の符号化部の一実施の形態の構成を示すブロック図である。 第１の符号化処理を説明するフローチャートである。 イントラ予測を説明する図である。 イントラ予測の方向を説明する図である。 隣接ブロックがunavailableである場合の処理を説明する図である。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 復号処理を説明するフローチャートである。 テクスチャ合成を説明する図である。 第１の復号部の一実施の形態の構成を示すブロック図である。 第１の復号処理を説明するフローチャートである。 本発明を適用した画像符号化装置の他の実施の形態の構成を示すブロック図である。
符号の説明
５１ 画像符号化装置， ６１ Ａ／Ｄ変換部， ６２ 画面並べ替えバッファ， ６３ 第１の符号化部， ６４ 代替ブロック検出部， ６５ 判定部， ６６ 第２の符号化部， ６７ 出力部， ７１ ブロック分類部， ７２ モーションスレッディング部， ７３ イグゼンプラ部， １０１ 画像復号装置， １１１ 蓄積バッファ， １１２ 第１の復号部， １１３ 代替ブロック検出部， １１４ 第２の復号部， １１５ 画面並べ替えバッファ， １１６ Ｄ／Ａ変換部， １２１ 補助情報復号部， １２２ テクスチャ合成部

Claims (10)

  1. 画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出する検出部と、
    前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化する第１の符号化部と、
    前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化する第２の符号化部と、
    を備える符号化装置。
  2. 前記検出部は、前記対象ブロックを含むピクチャと異なるピクチャにおいて前記対象ブロックに対応する位置にある対応ブロックが第１の符号化方式で符号化された場合に、前記対応ブロックを前記代替ブロックとして検出する
    請求項１に記載の符号化装置。
  3. 前記検出部は、前記隣接ブロックが第１の符号化方式で符号化された場合に、隣接ブロックを、前記代替ブロックとして検出する
    請求項２に記載の符号化装置。
  4. 前記対象ブロックを、第１の符号化方式と第２の符号化方式のいずれの方式で符号化するかを判定する判定部を更に備え、
    前記第２の符号化部は、前記判定部により前記第２の符号化方式で符号化すると判定された前記対象ブロックを符号化する
    請求項３に記載の符号化装置。
  5. 前記判定部は、エッジ情報を有するブロックを前記第１の符号化方式で符号化するブロックと判定し、エッジ情報を有さないブロックを前記第２の符号化方式で符号化するブロックと判定する
    請求項４に記載の符号化装置。
  6. 前記第１の符号化方式は、Ｈ．２６４／ＡＶＣ規格に基づく符号化方式である
    請求項１に記載の符号化装置。
  7. 前記第２の符号化方式は、テクスチャ解析・合成符号化方式である
    請求項１に記載の符号化装置。
  8. 検出部と、
    第１の符号化部と、
    第２の符号化部と
    を備える符号化装置の符号化方法であって、
    前記検出部は、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、
    前記第１の符号化部は、前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化し、
    前記第２の符号化部は、前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化する
    符号化方法。
  9. 検出部と、
    第１の符号化部と、
    第２の符号化部と
    を備えるコンピュータに、
    前記検出部は、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、
    前記第１の符号化部は、前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化し、
    前記第２の符号化部は、前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化する
    ステップを実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
  10. 検出部と、
    第１の符号化部と、
    第２の符号化部と
    を備えるコンピュータに、
    前記検出部は、画像の符号化対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、
    前記第１の符号化部は、前記検出部により検出された代替ブロックを利用して、前記対象ブロックを前記第１の符号化方式で符号化し、
    前記第２の符号化部は、前記第１の符号化方式で符号化しない前記対象ブロックを前記第２の符号化方式で符号化する
    ステップを実行させるためのプログラム。
JP2008012947A 2008-01-23 2008-01-23 符号化装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP5194833B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008012947A JP5194833B2 (ja) 2008-01-23 2008-01-23 符号化装置および方法、記録媒体、並びにプログラム
PCT/JP2009/051029 WO2009093672A1 (ja) 2008-01-23 2009-01-23 符号化装置および方法、並びに復号装置および方法
US12/812,675 US20100284469A1 (en) 2008-01-23 2009-01-23 Coding Device, Coding Method, Composite Device, and Composite Method
TW98103079A TW200948090A (en) 2008-01-23 2009-01-23 Image encoding apparatus and method, image decoding apparatus and method, and program
CN2009801024373A CN101911707B (zh) 2008-01-23 2009-01-23 编码设备、编码方法、解码设备和解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008012947A JP5194833B2 (ja) 2008-01-23 2008-01-23 符号化装置および方法、記録媒体、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010251748A Division JP5195875B2 (ja) 2010-11-10 2010-11-10 復号装置及び方法、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2009177417A JP2009177417A (ja) 2009-08-06
JP2009177417A5 JP2009177417A5 (ja) 2010-12-24
JP5194833B2 true JP5194833B2 (ja) 2013-05-08

Family

ID=40901177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008012947A Expired - Fee Related JP5194833B2 (ja) 2008-01-23 2008-01-23 符号化装置および方法、記録媒体、並びにプログラム

Country Status (5)

Country Link
US (1) US20100284469A1 (ja)
JP (1) JP5194833B2 (ja)
CN (1) CN101911707B (ja)
TW (1) TW200948090A (ja)
WO (1) WO2009093672A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340183B2 (en) * 2007-05-04 2012-12-25 Qualcomm Incorporated Digital multimedia channel switching
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
KR102066543B1 (ko) * 2011-01-07 2020-01-15 가부시키가이샤 엔.티.티.도코모 움직임 벡터의 예측 부호화 방법, 예측 부호화 장치, 및 예측 부호화 프로그램, 그리고 움직임 벡터의 예측 복호 방법, 예측 복호 장치, 및 예측 복호 프로그램
US9635383B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for computing a motion vector
JP2012151576A (ja) * 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
BR122015001004B1 (pt) 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
US9094689B2 (en) 2011-07-01 2015-07-28 Google Technology Holdings LLC Motion vector prediction design simplification
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
CN104041041B (zh) 2011-11-04 2017-09-01 谷歌技术控股有限责任公司 用于非均匀运动向量栅格的运动向量缩放
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
US20130208795A1 (en) * 2012-02-09 2013-08-15 Google Inc. Encoding motion vectors for video compression
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
JP5750191B2 (ja) * 2014-10-15 2015-07-15 日立マクセル株式会社 画像復号化方法
JP5911982B2 (ja) * 2015-02-12 2016-04-27 日立マクセル株式会社 画像復号化方法
JP5951915B2 (ja) * 2016-03-30 2016-07-13 日立マクセル株式会社 画像復号化方法
JP5946980B1 (ja) * 2016-03-30 2016-07-06 日立マクセル株式会社 画像復号化方法
JP6181242B2 (ja) * 2016-06-08 2017-08-16 日立マクセル株式会社 画像復号化方法
WO2019000443A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 一种帧间预测的方法及装置
US10469869B1 (en) * 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
CN110650349B (zh) * 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2507204B2 (ja) * 1991-08-30 1996-06-12 松下電器産業株式会社 映像信号符号化装置
JP3519441B2 (ja) * 1993-02-26 2004-04-12 株式会社東芝 動画像伝送装置
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP4289126B2 (ja) * 2003-11-04 2009-07-01 ソニー株式会社 データ処理装置およびその方法と符号化装置
JP3879741B2 (ja) * 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
CN1819657A (zh) * 2005-02-07 2006-08-16 松下电器产业株式会社 图像编码装置和图像编码方法

Also Published As

Publication number Publication date
US20100284469A1 (en) 2010-11-11
TW200948090A (en) 2009-11-16
CN101911707B (zh) 2013-05-01
CN101911707A (zh) 2010-12-08
JP2009177417A (ja) 2009-08-06
WO2009093672A1 (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
JP5194833B2 (ja) 符号化装置および方法、記録媒体、並びにプログラム
US10375417B2 (en) Simplifications for boundary strength derivation in deblocking
US10484691B2 (en) Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus
JP5261376B2 (ja) 画像符号化装置および画像復号化装置
US7643559B2 (en) Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US8098731B2 (en) Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus
KR101471831B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
CN107087191B (zh) 图像解码方法和图像处理设备
KR20120117613A (ko) 동영상 부호화 장치 및 방법
JP2023015241A (ja) 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
JP5195875B2 (ja) 復号装置及び方法、記録媒体、並びにプログラム
JP5598199B2 (ja) 動画像符号化装置
JP2009087323A (ja) 画像処理装置、及び、特定領域検出方法
TW202404354A (zh) 利用卷積模型的預測改進
JP4667423B2 (ja) 画像復号装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees