JP5203379B2 - ビデオ圧縮用の空間規約誘導時間予測 - Google Patents

ビデオ圧縮用の空間規約誘導時間予測 Download PDF

Info

Publication number
JP5203379B2
JP5203379B2 JP2009534712A JP2009534712A JP5203379B2 JP 5203379 B2 JP5203379 B2 JP 5203379B2 JP 2009534712 A JP2009534712 A JP 2009534712A JP 2009534712 A JP2009534712 A JP 2009534712A JP 5203379 B2 JP5203379 B2 JP 5203379B2
Authority
JP
Japan
Prior art keywords
block
prediction
transform
motion compensated
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009534712A
Other languages
English (en)
Other versions
JP2010508708A (ja
Inventor
ギャング フア，
オナー， ジー． グレリューツ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JP2010508708A publication Critical patent/JP2010508708A/ja
Application granted granted Critical
Publication of JP5203379B2 publication Critical patent/JP5203379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

優先権
[0001]本発明は、２００６年１０月３１日に出願した、「Ｓｐａｔｉａｌ Ｓｐａｒｓｉｔｙ Ｉｎｄｕｃｅｄ Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の対応米国仮出願第６０／８５６，０４８号の優先権を主張し、参照によってこれを組み込むものである。
関連出願
[0002]本願は、本発明の法人譲受人に譲渡された、２００６年６月２０日に出願した、「Ａ Ｎｏｎｌｉｎｅａｒ， Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ ｆｏｒ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の米国特許出願第１１／４７１，７４１号に関連する。
発明の分野
[0003]本発明は、圧縮／解凍の分野に関し、より具体的には、本発明は、圧縮及び解凍の一部として動き補償で使用される変換領域での予測の生成に関する。
発明の背景
[0004]ハイブリッドビデオ圧縮は、アンカビデオフレームを符号化することと、その後に予測フレームのセットを予測符号化することからなる。予測符号化は予測誤差フレームを得るために以前に復号されたフレームに関する動き補償予測を用い、その後この予測誤差フレームが符号化される。アンカフレーム及び予測誤差は変換コーダを使用して符号化される。
[0005]図１は、ビデオ符号器を示すブロック図である。図１を参照すると、動き補償（ＭＣ）予測モジュールは、以前に復号されたフレームから動き補償予測を生成する。第１加算器は現フレームから動き補償予測を減算して残差フレーム（ｒｅｓｉｄｕａｌ ｆｒａｍｅ）を得る。変換コーダは、例えば変換、量子化器、及びエントロピ符号器の組合せを使用することによって、残差フレームを符号化された差分（ｃｏｄｅｄ ｄｉｆｆｅｒｅｎｔｉａｌ）に変換する。復号中には、変換復号器は符号化された差分を、例えばエントロピ復号器、逆量子化器、及び逆変換の組合せを使用することによって、再構成残差フレームに変換する。第２加算器は、再構成残差フレームを動き補償予測に加算して、再構成フレームを得る。遅延要素「Ｚ−１」は、ＭＣ予測モジュールによる将来の参照のために、再構成フレームを格納する。
[0006]関連技術の解決策には複数の短所がある。例えば、一部の従来の解決策は、ビデオフレームの間の非常に限られたタイプの時間的依存性の利用に制限されている。すなわち、包括的な動き補償予測動作は、以前に復号されたフレームからブロックを直接に使用することによる、又はこれらのブロックの低域フィルタベースの補間を使用することによる、現フレームのプレディクタの形成に制限される。動き推定が行われ、以前に復号された一又は複数のフレーム内の候補ブロックが見つかったならば、これらのブロック又はその様々な低域フィルタリングされた形が、予測フレーム内のブロックの最良のプレディクタであると仮定される。時間的に相関し周波数に富む他のブロックに対する時間的に独立の変動のような多数の時間的変動は、関連技術の解決策によって考慮されていない。例えば、そのような変動をこうむるブロックの低域フィルタリングされたバージョンは、関連する高周波数信号成分を予測から除去する可能性があり、実際に性能を損なう可能性がある。これらの考慮されない変動は、ハイブリッドビデオコーダで使用される変換コーダを用いて符号化することが非常に難しい動き補償差分を作るので、深刻な性能上の不利益を引き起こす。特定のタイプの輝度変動といったいくつかの固有の問題のある時間変動が研究者によって検討されてきた。しかし、これらの解決策は、該解決策が考案された目的である特定の問題を超えて有効ではない。したがって、これらの解決策は一般的で頑健な解決策を提供はしない。また、一部の研究者はフレーム適応動き補間フィルタをも考案したが、これらはやはり非常に固有の時間展開モデルに制限されている。更に、限られた個数のフィルタリング可能性を有することだけができるので、そのような設計の有効性は空間周波数に富んだシーンを示すビデオシーケンスに対して非常に限られたものとなる。
[0007]関連技術は、通常、均一な並進移動の仮定の下で区分的に滑らかなフレームモデルを用いて進められ、実際に符号化されたフレームがこれらの仮定から逸脱する時に必ず問題を引き起こす。
発明の概要
[0008]本明細書では、空間希薄誘導時間予測（ｓｐａｔｉａｌ ｓｐａｒｓｉｔｙ ｉｎｄｕｃｅｄ ｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｉｏｎ）の方法及び装置を開示する。一実施形態において、この方法は、以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、空間領域での複数の予測を使用して、第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、変換を使用して第１ブロックのブロック変換係数を生成し、ブロック変換係数を使用して、符号化される第２ブロックの予測変換係数を生成し、画素領域での第２動き補償予測を作成するために予測変換係数に対して逆変換を実行することによって複数の予測のそれぞれを生成するステップを含む、ステップと、残差フレームを作るために現フレーム内のブロックから第２動き補償予測を減算するステップと、残差フレームを符号化するステップとを含む。
[0009]本発明は、本発明の様々な実施形態の下で与える詳細な説明及び添付図面からより十分に理解されるが、この説明及び図面は、本発明を特定の実施形態に限定するものと解釈されてはならず、説明及び理解のみのためのものである。
本発明の詳細な説明
[0025]ビデオフレームの改善された動き補償予測の方法及び装置を説明する。一実施形態において、本方法はビデオシーケンス内で直面する洗練された時間的発展中に自動的な成功の予測（例えば二乗平均誤差の意味で）を形成するように設計される。一実施形態において、本方法は一又は複数の以前に復号されたフレームに基づいて符号化されるフレームの予測を形成する。
[0026]本明細書で説明する技法は、伝統的な動き補償予測が失敗するか良く動作しない多数のシナリオにおいてうまく動作することができる。例えば、時間的に無相関の白色雑音がビデオフレーム内に存在し、符号化されるフレームの予測が以前に復号されたフレーム内の雑音の除去から恩恵を受ける場合に、一実施形態において本方法は、動き補償予測中に以前に復号されたフレームの雑音除去を自動的に達成する。また、一実施形態において、複数のシーンの混合がビデオフレーム内に存在し、符号化されるフレームの予測が以前に復号されたフレームの混合の除去（ｄｅｂｌｅｎｄｉｎｇ）から恩恵を受ける場合に、本方法は動き補償予測中に自動的に混合の除去を行う。同様に、一実施形態において本方法は、伝統的な動き補償が失敗するフェードや照明変化などの間に、成功するプレディクタを自動的に検出し形成する。更に、本明細書で説明する技法は、複数の洗練された時間的発展が非常に複雑な時間的発展を形成するために存在する時であっても成功の予測を形成する。
[0027]一実施形態において、本明細書で説明する技法は、符号器及び復号器が提供される予測利益から恩恵を受けるために動き補償予測ループ内で本方法を使用する、ハイブリッドビデオ圧縮システム内部の符号器−復号器の設定で展開される。一実施形態において本方法は、予測に使用されるフレーム及び予測フレームが希薄である領域で適応予測を行うことに基づく。この希薄な領域は、検討中のフレームに対して固定されたものとするか又は最適に計算することができる。
[0028]最後に、説明される技法は頑健で一般的であり、多数のイメージ領域タイプ及び多数の圧縮技法を有効に扱うことができる。導出されるプレディクタは多数のイメージ領域タイプについて正しい周波数選択性を適応的且つ自律的に展開する。
[0029]次の説明では、本発明のより完全な説明を提供するために多数の詳細を示す。しかし、当業者には、これらの特定の詳細なしで本発明を実践できることは明白であろう。他の場合には、本発明を不明瞭にすることを避けるために、周知の構造及びデバイスを詳細にではなくブロック図形式で示す。
[0030]次の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作のアルゴリズム及び記号表現に関して提示される。これらのアルゴリズム的説明及び表現は、データ処理技術の当業者が、彼らの成果の実質をデータ処理技術の他の当業者に最も有効に伝えるのに使用する手段である。アルゴリズムは、本明細書において及び一般に、所望の結果につながるステップの自己完結的シーケンスと考えられる。これらのステップは、物理的量の物理的操作を必要とするステップである。必ずではないが通常、これらの量は、格納、転送、組合せ、比較、及び他の形の操作が可能な電気信号又は磁気信号の形をとる。時々、これらの信号をビット、値、要素、記号、文字、項、数、又は類似物と呼ぶことが、主に一般的使用の理由から便利であることがわかっている。
[0031]しかし、これら及び類似する用語のすべてが、適当な物理的量に関連付けられねばならず、これらの量に適用される単に便利なラベルであることに留意されたい。次の議論から明白なとおり、そうではないと特に述べない限り、この説明全体を通じて、「処理」、「コンピューティング」、「計算」、「判定」、「表示」、又は類似物などの用語を利用する議論は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子）量として表されたデータを操作し、コンピュータシステムメモリ又はレジスタ或いは他のそのような情報記憶デバイス、情報伝送デバイス、又は情報表示デバイス内の物理的量として同様に表される他のデータに変換する、コンピュータシステム又は類似する電子コンピューティングデバイスの動作及び処理を指すことを了解されたい。
[0032]本発明は、本明細書の動作を実行する装置にも関する。この装置は、必要な目的のために特に構成することができ、或いは、コンピュータに格納されたコンピュータプログラムによって選択的に起動するか再構成される汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、フロッピディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光カード、又は電子命令を格納するのに適する、それぞれがコンピュータシステムバスに接続された任意のタイプの媒体などであるがこれらに限定はされないコンピュータ可読記憶媒体に格納することができる。
[0033]本明細書で提示されるアルゴリズム及び表示は、任意の特定のコンピュータ又は他の装置に固有に関係付けられたものではない。様々な汎用システムを、本明細書の教示に従うプログラムと共に使用することができ、或いは、必要な方法ステップを実行するためにより特殊化された装置を構成することが便利であるとわかる場合がある。様々なこれらのシステムの必要な構造は下の説明から明白になる。更に、本発明は特定のプログラミング言語に関して説明されるのではない。様々なプログラミング言語を使用して本明細書で説明される本発明の教示を実施できることを了解されたい。
[0034]機械可読媒体は、機械（例えば、コンピュータ）によって可読の形で情報を格納するか伝送するすべての機構を含む。例えば、機械可読媒体は、読取専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気的、光学的、音響的、又は他の形の伝搬される信号（例えば、搬送波、赤外線信号、ディジタル信号など）などを含む。
概要
[0035]希薄誘導予測を、動き補償処理の一部として使用することができる。より具体的には、符号化されるフレーム内でブロックを予測するために、以前に符号化されたフレームからの候補ブロックを得る。一実施形態においては、必要な場合に、適切な動き補償補間を候補ブロックに適用する。一実施形態においては、予測されるブロックを画素領域で予測するのではなく、予測は変換領域で実行される。したがって、まず候補ブロックがその変換係数を得るために線形変換を使用して変換され、次にこれらの候補ブロック変換係数が予測されるブロックの変換係数を予測／推定するのに使用される。一実施形態において、予測されるブロックの各変換係数は二乗平均予測誤差を最小にすることによって予測される。予測されるブロックの変換係数が予測されたならば、これらを逆変換して画素領域希薄誘導予測を得る。
[0036]一実施形態において、予測の形成中に、必要な時に、符号器は復号器が同一の予測を形成するのを助けるサイド情報を判定して復号器に送る。そのようなサイド情報には、復号器が予測されるブロックに対して希薄誘導予測を使用すべきか否かの指示を含めることができる。そのようなサイド情報には、予測される各ブロック又はブロックの部分集合を予測する時に使用すべき予測パラメータをも含めることができる。
[0037]復号中に、復号器は予測処理を複製して符号器と同一の予測ブロックを得る。一実施形態において、希薄誘導予測が（変換領域で空間的に予測を行うことと同等の計算を実行することによって）画素領域で直接に導出され、最終的な予測オペレータが画素領域で直接に適用される。一実施形態において、符号器は、ブロックの予測が例えば二乗平均誤差の意味で最も有効になるように、各ブロックを予測する前に最適の変換を見つける。サイド情報が符号器によって送信された場合には、復号器はそのサイド情報の助けを得て、符号器が計算した変換と一致させる。一実施形態において、符号器は最良の希薄誘導予測が生じるように動き補償処理を最適化する。
[0038]以下により詳細に述べるように、符号器は使用可能な情報を使用して考えられる予測の部分集合を指定し、サイド情報を介して特定の予測を送ることができる。一実施形態において、本発明の予測技法が、時間的変換を利用するビデオ圧縮アプリケーションで使用される時間的変換を設計するためのリフティングなどの手法と組み合わされることに留意されたい。
[0039]希薄誘導予測の使用は、以前に復号されたフレームからの同一ブロックを取るが符号化されるフレームのより良いプレディクタを形成するために異なる予測技法を適用する追加の予測オプションを提供することによって、動き補償予測を改善する。これは、動きだけを考慮すると、結果の予測が符号化されるフレームに関連しない大量の情報を含むからである。動き補償予測は、この関連しない情報が破棄される場合に実質的に改善される。
[0040]例えば、時間的に無相関の雑音を含むビデオシーケンスでは、以前に復号されたブロックが符号化されるフレームの予測に使用される前にこれらのブロック内の雑音を除去する技法が有益である。あるシーンから別のシーンへのフェードを示すビデオシーケンスでは、以前に復号されたフレームはこの２つのシーンの混合であるが、予測フレームはこの２つのシーンのうちの一方だけを示す場合がある。したがって、以前に復号されたフレームから関連しないシーンを除去する技法は、予測フレームのより良いプレディクタの形成において非常に有益である可能性がある。類似する照明変化、視覚効果、及びビデオシーケンス内の他の変動が、動き補償予測の正確さに悪影響を及ぼす可能性がある。そのような問題及びそれらの問題が引き起こす予測性能損失のすべてを、本明細書で説明する技法を用いて軽減することができる。
[0041]本明細書で説明する技法は、例えばオーディオや医療ボリュームのイメージなどのより高次元の信号などの他のタイプの信号にも適用することができるが、これらに限定されるものではない。
符号器及び復号器の例
[0042]図２Ａは希薄誘導予測を有するハイブリッドビデオコーダの一実施形態のブロック図である。図２Ａを参照すると、動き補償（ＭＣ）予測モジュール２１６は以前に復号されたフレーム２０３から動き補償予測を生成する。希薄誘導予測モジュール２１７は、本明細書で説明するように動き補償予測を増補して、符号化されるフレームのより良い予測を作る。一実施形態において、希薄誘導予測モジュール２１７は因果情報２３０などの因果情報に基づいて動き補償予測を増補する。
[0043]加算器２１１は、増補された動き補償予測を現フレーム２０１から減算して残差フレームを得る。変換コーダ２１２は、例えば変換、量子化器、及びエントロピ符号器の組合せを使用することによって、残差フレームを符号化された差分２０２に変換する。復号中に、変換復号器２１３は、例えばエントロピ復号器、逆量子化器、及び逆変換の組合せを使用することによって、符号化された差分を再構成残差フレームに変換する。加算器２１４は、再構成残差フレームを増補された動き補償予測に加算して再構成フレームを得る。遅延要素「Ｚ−１」２１５は、ＭＣ予測モジュール２１６による将来の参照のために再構成フレームを格納する。
[0044]一実施形態において、ビデオ復号器は、以前に復号されたフレームからのブロックを使用して予測ブロックを生成する動き補償ユニットと、復号されるフレームのより良い予測を作るために動き補償予測を増補する希薄誘導予測モジュールと、残差フレームを復号する復号器と、及び残差フレームを非線形予測に加算する加算器とを含む。遅延要素「Ｚ−１」は、ＭＣ予測モジュールによる将来の参照のために、フィルタリングされたフレームを格納する。
[0045]図２Ｂは機能強化されたビデオ復号器の一実施形態のブロック図である。図２Ｂを参照すると、ＭＣ予測モジュール２２４は以前に復号されたフレーム２３３から動き補償予測を生成する。希薄誘導予測モジュール２２３は、動き補償予測を増補して、復号されるフレームのより良い予測を作る。これは、符号化されたビットストリームから受け取られる予測パラメータ２３２に応答して行われる。一実施形態において、希薄誘導予測モジュール２２３は因果情報２３１などの因果情報に基づいて動き補償予測を増補する。変換復号器２２１は、例えばエントロピ復号器、逆量子化器、及び逆変換の組合せを使用することによって、符号化された差分２３１を再構成残差フレームに変換する。加算器２２２は、再構成残差フレームを増補された動き補償予測に加算して再構成フレームを取得し、この再構成フレームがビデオ復号器から出力される。この出力はディスプレイに送られてもよい。遅延要素「Ｚ−１」２２５は、ＭＣ予測モジュール２２４による将来の参照のために、フィルタリングされたフレームを格納する。
[0046]希薄誘導予測モジュールの動作を以下に更に説明する。
変換
[0047]一実施形態において、上で説明した、候補ブロックに適用される線形変換（予測変換）は、ブロックｐ×ｐ ＤＣＴなどの正規直交ブロック変換である。他の変換すなわち、非直交変換、非ブロック変換を適用することもできる。適用される変換が非ブロック変換であるときには、やはり、符号化されるフレーム／ブロック内の変換係数の予測を形成し、予測が上述したように達成された後に逆変換を実行することができる。空間領域のタイリング（ｔｉｌｉｎｇ）、及び非ブロック変換（ウェーブレット変換、ラップド変換（ｌａｐｐｅｄ ｔｒａｎｓｆｏｒｍ）など）を用いる境界処理を、信号処理における確立された技法を用いて行うことができる。計算を効率的な形で実行するためにこの変換が高速の実施態様を有することが望ましいが、必須ではない。
[0048]一般性を失わずに、利用される予測変換がｐ×ｐブロックＤＣＴであると仮定する。一実施形態において、利用される予測変換が予測誤差の変換符号化に使用される変換とは異なることに留意されたい。
[0049]本明細書で説明する技法を例を通して説明することができる。図３は、符号化されるマクロブロック及び現マクロブロックに関して以前に符号化されたマクロブロックを示す、符号化される現フレームの例の図である。図３を参照すると、現フレーム３００は、以前に復号されたマクロブロック３０１及び符号化されるマクロブロック３０３と共に現マクロブロック３０２を含む。
[0050]本明細書での目的のために、ｘは予測されるｐ×ｐブロックを表す（ｐ２×１ベクトルに配置される）。図４は予測ブロックｘ及び関連する近傍Λｘの例を示す図である。図４を参照すると、ブロックｘ（４０１）は現フレーム３００の現マクロブロック３０２内に示されている。ブロックｘ（４０１）及びマクロブロック３０２の位置は近傍Λｘ（４０２）に対して相対的に図示されている。
[0051]本明細書での目的のために、ｙ（ｐ２×１ベクトルに配置される）は、ｘを予測する際に使用されるフレームからの動き補償ブロックを表す。図５は、Λｘの内部のトレーニングブロック及び動き補償予測内の参照を形成する過去フレーム内の対応するブロックの位置の例を示す図である。図５を参照すると、現フレーム３００及び過去フレーム５００が、近傍Λｘ（４０２）の内部のトレーニングブロックｔ１〜ｔ３の位置と、動きベクトル５０１を作る動き補償予測で参照として使用される過去フレーム５００内の対応するブロックｕ１〜ｕ３の位置と共に示されている。
[0052]Ｈが上の段落で指定された線形ブロック変換（予測変換）（ｐ２×ｐ２行列）を表すものとする。ｘの変換係数はｃ＝Ｈｘによって与えられ、ｙの変換係数はｄ＝Ｈｙによって与えられる。
[0053]ｃ（ｉ）がｘの第ｉ変換係数（ｉ＝１，…，ｐ２）を表すものとする。一実施形態においてｃ（ｉ）は
Figure 0005203379
 としてｄ（ｉ）から予測され、ここで、
Figure 0005203379
 は予測であり、αｉは予測重みである。しかし、予測をより一般的及び非線形とすることもできることに留意されたい（例えば、２００６年６月２０日に出願した、「Ａ Ｎｏｎｌｉｎｅａｒ， Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ ｆｏｒ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の米国特許出願第１１／４７１，７４１号）。補正項ｏｉを式（１）に追加して、
Figure 0005203379
 を介して平均値の変化を考慮に入れることもできる。二乗平均誤差又は類似するメトリックを最小にするためにそのような項を最適に選択することもできる。更に、ｄ（ｉ）のうちでｃ（ｉ）の予測に関連しない部分を除去して
Figure 0005203379
 を作り、
Figure 0005203379
 を介して予測を形成することができるようにするために、空間予測技法を適用することができる。
[0054]いくつかの場合に（例えば、複数の参照フレームが使用可能であるとき、参照フレーム内の複数のブロックが予測されるブロックに一致すると考えられるときなど）、そこから予測すべき複数の以前に復号されたブロックを有する可能性がある。その場合に、これらのブロックの変換係数を線形の形で使用することによって予測を形成することができる。例えば、ｚが、ｅ＝Ｈｚによって与えられる変換係数を有する他の以前に復号されたブロックである場合には、
Figure 0005203379
 を形成することができる。
[0055]予測
Figure 0005203379
 がｉ＝１，…，ｐ２について形成されたならば、ｐ２×１ベクトル
Figure 0005203379
 を得ることができる。予測ブロック
Figure 0005203379
 は
Figure 0005203379
 によって与えられる。
[0056]一実施形態において、予測重みαｉは予測フレーム内の以前に送られたブロックを使用して因果的に判定される。図４を再び参照し、ブロックｘについて、Λｘが、符号化されるフレーム内の少なくともいくつかの以前に復号された画素を含むｘ周辺の空間的近傍を表すものとする。図５に示されているように、各ｔｊ⊂Λｘ及び各ｔｊ内のすべての画素が使用可能であるように、トレーニングブロックｔ１，ｔ２，…，ｔＬはΛｘの内部にあり、ブロックｕ１，ｕ２，…，ｕＬは以前に復号されたフレーム内のトレーニングブロックｔ１，ｔ２，…，ｔＬに対応する。これらのブロックの変換係数を
ｆｊ＝Ｈｔｊ，
ｇｊ＝Ｈｕｊ
を介して得ることによって、
Figure 0005203379
 を得ることが可能になる。
[0057]空間的近傍Λｘ内の情報をよりよく利用できるように、トレーニングブロックｔ１，ｔ２，…，ｔＬをオーバーラップさせることができる。一実施形態において、近傍Λｘは、図４に示されているように、サイズＭ×Ｍのブロックｘの周囲の正方形近傍である。Ｍは、例えばＭ＝３ｐ（行／列方向での変換Ｈ基礎関数のサイズの３倍）、Ｍ＝２ｐなどとすることができる。Ｍは他の整数とすることもできる。別の実施形態では、Λｘは長方形近傍である。更に別の実施形態では近傍Λｘはより一般的な形状を有する。
[0058]一実施形態において、重み判定の上記処理は複数のブロックが予測処理（式（２））で利用される場合に拡張される。別の実施形態において、予測は
Figure 0005203379
 を介して異なるインデックスを有する係数を利用し、上記のように予測重みを因果的に得るように拡張される。
[0059]一実施形態において、符号器と復号器の対は、二乗平均予測誤差が最小になるように、用いる変換Ｈを最適化する。この動作は、符号器によって非因果的に実行された、以前に符号化された情報、復号器に伝達された結果の変換、又はこの２つの混合に基づいて、符号器／復号器によって因果的に実行することができる。一実施形態において変換の最適化は、予測重みの所与のセットから開始し、二乗平均予測誤差が最小になるように重みを条件として最適変換を見つけ、重みを再計算し、その後変換を再計算することなどによって連続して行われる。
[0060]予測動作は、予測される空間領域内の画素の一部又はすべてが複数回予測されるように、オーバーラップする形で行うことができる。その後、最終的な予測が複数の予測の空間的な画素ごとの平均化を行うことによって得られる。サイズｎ×ｎのブロック変換が予測誤差の変換符号化に使用されると仮定する。図６に、ｎ×ｎ圧縮変換ブロックへの現マクロブロックの分解の例を示す。現マクロブロックを符号化する場合に、最初のｎ×ｎブロックが予測され、予測誤差が符号化され、その後第２ブロックが予測され、第２ブロックの予測誤差が符号化されなどする。この符号化の順序はラスタスキャン又はある任意の形とすることができる。
[0061]図７は、予測されるｎ×ｎブロックにオーバーラップする３つのｐ×ｐ予測ブロックの例を示す図である。図７を参照すると、符号化されるブロック７０１がｎ×ｎ圧縮変換ブロック７０２内に示されている。ｐ×ｐ予測ブロック１〜３はブロック７０１にオーバーラップする。これらの３つの予測はブロック７０１の予測誤差を符号化する前に生成される。各予測は、ｐ×ｐ予測ブロック１からｐ×ｐ予測ブロック３までのようにマークされたｐ×ｐ空間領域を予測する。ｐ×ｐ予測ブロックのそれぞれはｎ×ｎブロックを異なる形でカバーする。
[0062]予測されるｎ×ｎブロックを領域（Ａ，Ｂ，Ｃ，Ｄ）に分割することで、これらの領域のそれぞれは、ｐ×ｐ予測ブロックのどれがその領域にオーバーラップするかに応じて異なって予測されるようになる。図８に、図７の３つのｐ×ｐ予測ブロック１〜３がｎ×ｎブロック７０１の全体的な予測を形成する手法を示す。領域Ａ内の画素は、３つの予測ブロックのすべてが領域Ａ内でオーバーラップするので、３つのすべての予測ブロックによって予測される（最終的な予測は３つの予測の線形組合せである）。領域Ｂ内の画素は、ブロック２及び３がそこでオーバーラップするので、予測ブロックのうちの２つ（２及び３）によって予測される（最終的な予測はこの２つの予測の線形組合せである）。領域Ｃ内の画素は、ブロック１及び３がそこでオーバーラップするので、予測ブロックのうちの異なる２つ（１及び３）によって予測される（最終的な予測はこの２つの予測の線形組合せである）。領域Ｄ内の画素は、（予測ブロック３がそこでどの予測ブロックともオーバーラップしないので、）１つの予測ブロック（３）によって予測される。
[0063]ある画素が、それにオーバーラップするｋ個の予測ブロックを有する場合に、この画素の最終的な予測が、ｐ×ｐ予測ブロックのそれぞれによって提供される予測の線形組合せによって形成されることを理解されたい。一実施形態において、線形組合せは単純な平均化によって形成される。別の実施形態では、線形組合せは加重平均を実行することによって形成される。
[0064]ｐ×ｐ予測ブロックによって使用される予測重みは、一実施形態においてトレーニングブロックのセットに対して因果的に計算されるので、現在の予測を助けるために、以前に符号化されたｎ×ｎ変換ブロックを利用することが有利である。図９に、以前に復号されたマクロブロック及び以前に復号されたｎ×ｎブロックを利用したｎ×ｎブロックの予測を示す。図９を参照すると、符号化されるｎ×ｎブロックすなわちブロック９０１の予測は、予測ブロック１〜３を作成するのに使用される、以前に復号されたマクロブロック及び以前に復号されたｎ×ｎブロック（その一部は以前に復号されたｎ×ｎブロック９０３として図示されている）を利用して実行される。
[0065]予測が形成されたならば、符号器は、例えば２００６年６月２０日に出願された、「Ａ Ｎｏｎｌｉｎｅａｒ， Ｐｒｅｄｉｃｔｉｏｎ Ｆｉｌｔｅｒ ｆｏｒ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の米国特許出願第１１／４７１，７４１号に概要を示された技法を使用して、この予測を使用すべきなのか、或いは他の予測を優先してこの予測を破棄すべきなのかを判断することができる。符号器は、予測及び予測重みを指定するのを助けるサイド情報も送ることができる。符号器は、最良の希薄誘導予測が生じるようにするために、動きベクトルの検索を最適化することもできる。符号器は、因果トレーニングブロックを使用して、考えられる予測重みの部分集合を指定し、サイド情報を介してその特定の重みを送ることもできる。一実施形態において、符号器は、因果トレーニングブロックを使用して、考えられる予測重みの確率分布を構成し、構成された分布に基づくエントロピ符号化を介して得られたサイド情報を介してその特定の重みを送ることもできる。符号器は、予測されるブロックの係数のプレディクタを指定する際に、ベクトル量子化及びベクトル符号化技法を使用することもできる。一実施形態において、本方法を、時間的変換を利用するビデオ圧縮アプリケーションで変換設計手法（リフティングベースの手法など）に基づく予測と組み合わせることができる。
[0066]本発明の実施形態が変換符号化でブロック変換並びに非ブロック変換を使用するビデオコーダに対処できることに留意されたい。
[0067]本発明の実施形態は、低域通過、帯域通過、高域通過、テクスチャ、エッジなどのような、大きい範囲の統計に起因する画素値を有するビデオフレームに適用可能である。しかし、本発明は滑らかに変化する画素値を有するビデオフレームに限定されない。
[0068]本発明の一実施形態は、広範囲のビデオの時間的進展にまたがる予測において有効である。一実施形態において、通常のビデオフレームに対するレート−ひずみ性能、及び通常のビデオフレームでの視覚的品質は関連技術より良い。
[0069]本発明の実施形態は計算の複雑さを抑制することを達成する形で展開することもできる。
様々な実施形態
[0070]一実施形態において、希薄誘導予測処理で利用される予測変換はｐ×ｐブロックＤＣＴであり、ここで、ｐは４、５、８、１６などとすることができる。一実施形態において、変換係数予測は式１を使用して実行され、予測重みは式３を介して得られる。近傍Λｘ内の使用可能な既に符号化されたデータに対応するすべてのオーバーラップするｐ×ｐブロック（ｐ×ｐスライディングウィンドウによって決定される）は、トレーニングすなわち式３での計算に使用される。
[0071]予測形成に関して、ｐ×ｐ予測ブロックは、少なくとも１つのトレーニングブロックがその予測ブロックの重みを判定するのに使用可能である場合に形成される。一実施形態において、オーバーラップする予測は、ｎ×ｎ変換ブロック内の各画素が最大の可能な個数の予測を有するようにすべてのシフトで実行される。この個数は予測の形成に使用可能な以前に復号された情報の量のみによって制限される。
[0072]一実施形態において、複数の予測の画素ごとの平均は加重平均によって与えられる。これは、等しい重みを用いて、又は例えばＯｎｕｒ Ｇ． Ｇｕｌｅｒｙｕｚの「Ｗｅｉｇｈｔｅｄ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｅｎｏｉｓｉｎｇ」（Ｐｒｏｃ． Ａｓｉｌｏｍａｒ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌｓ ａｎｄ Ｓｙｓｔｅｍｓ、米国カリフォルニア州パシフィックグローブ、２００３年１１月）などに示されるような、当技術分野で既知のより洗練された重み判定技法を用いて行うことができる。
[0073]上記説明はブロックに関して述べたものであるが、他のサイズ及び形状の領域（例えば非ブロック）を、一般的なサイズ及び形状の領域すなわち非ブロックに対応する予測ベクトルを有すること及びそのようなベクトルを予測することを含むがこれに限定されずに、本発明と共に使用できることに留意されたい。
符号化処理及び復号処理の例
図１０は符号器でのブロックの希薄誘導予測の処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
[0074]図１０を参照すると、この処理は、処理ロジックが、予測される各ｎ×ｎブロックと等しくなるように変数ｂをセットし（処理ブロック１００１）、ｂにオーバーラップするすべてのｐ×ｐフレームブロックと等しくなるように変数ｘをセットすること（処理ブロック１００２）で開始される。予測されるブロックｂごとに、処理ロジックは各ｐ×ｐブロックを取り、ｘの変換係数を予測する（処理ブロック１００３）。変換領域でのこれらの予測を本明細書では
Figure 0005203379
 と称する。
[0075]次に、処理ロジックは空間予測
Figure 0005203379
 を判定する（処理ブロック１００４）。空間予測
Figure 0005203379
 は予測
Figure 0005203379
 を逆変換することによって判定される。
[0076]次に、処理ロジックは、ｘによって表されるｐ×ｐブロックとブロックｂとの交差を判定する（処理ブロック１００５）。言い換えると、空間予測の関連成分が、それがｂとオーバーラップする部分として判定される。処理ロジックは交差内部の予測部分を累算する（処理ブロック１００６）。したがって、関連成分がｂ内の関連画素にまたがって累算される。処理ロジックは交差内の画素の予測カウントを１つ増分する（処理ブロック１００７）。
[0077]次に処理ロジックは、ｂとオーバーラップするすべてのｐ×ｐフレームブロックを検討したかどうかをチェックする（処理ブロック１００８）。そうでない場合には、処理は処理ブロック１００２に推移し、この処理は継続される。検討し終えている場合には、処理ブロックは処理ブロック１００９に推移する。
[0078]処理ブロック１００９で、処理ロジックは、ｂ内の画素ごとに、累算された予測値を累算された予測カウントによって除算してｂの最終的な予測を形成する。累算及び予測カウントは最終的な予測判定を可能にし、その結果ｂ内の画素がｋ個のｐ×ｐブロック（ｋ≧１）によって予測され、累算がｋ個の予測の合計になり、画素の予測がｋになり、最終的な断定がｋによって除算された累算になる。
[0079]最終予測が形成されたならば、処理ロジックはｂの予測誤差を計算する（処理ブロック１０１０）。処理ロジックは予測誤差を符号化し（処理ブロック１０１１）、この予測誤差を復号器に送る。
[0080]また、処理ロジックは予測誤差を復号する（処理ブロック１０１２）。これは復号器によって復号されるはずのものと同一の予測誤差である。処理ロジックは復号された予測誤差を処理ブロック１００９で生成された予測に加算する（処理ブロック１０１３）。これは復号されたブロックｂを形成する。処理ロジックは、復号されたブロックｂを、将来の予測動作によって作られる、以前に復号されたブロックに加算する（処理ブロック１０１４）。本質的に、これは以前に復号された情報を更新する。
[0081]その後、処理ロジックは予測すべき各ｎ×ｎブロックが予測されたかどうかを検出する（処理ブロック１０１５）。検出した場合にはこの処理は終了し、検出しない場合には、この処理は処理ブロック１００１に推移して繰り返し実行される。
[0082]図１１は復号器でのブロックの希薄誘導予測の処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
[0083]図１１を参照すると、この処理は、処理ロジックが、予測される各ｎ×ｎブロックと等しくなるように変数ｂをセットし（処理ブロック１１０１）、ｂにオーバーラップするすべてのｐ×ｐフレームブロックと等しくなるように変数ｘをセットすること（処理ブロック１１０２）で開始される。予測されるブロックｂごとに、処理ロジックは各ｐ×ｐブロックを取りｘの変換係数を予測する（処理ブロック１１０３）。変換領域でのこれらの予測を本明細書では
Figure 0005203379
 と称する。
[0084]次に、処理ロジックは空間予測
Figure 0005203379
 を判定する（処理ブロック１１０４）。空間予測
Figure 0005203379
 は予測
Figure 0005203379
 を逆変換することによって判定される。
[0085]次に、処理ロジックはｘによって表されるｐ×ｐブロックとブロックｂとの交差を判定する（処理ブロック１１０５）。言い換えると、空間予測の関連成分がｂとオーバーラップする部分として判定される。処理ロジックは交差内部の予測部分を累算する（処理ブロック１１０６）。したがって、関連成分がｂ内の関連画素にまたがって累算される。処理ロジックは交差内の画素の予測カウントを１つ増分する（処理ブロック１１０７）。
[0086]次に、処理ロジックは、ｂとオーバーラップするすべてのｐ×ｐフレームブロックを検討したかどうかをチェックする（処理ブロック１１０８）。検討し終えていない場合には、処理は処理ブロック１１０２に推移し、そこでこの処理は継続する。検討し終えている場合には、処理ブロックは処理ブロック１１０９に推移する。
[0087]処理ブロック１１０９で、処理ロジックは、ｂ内の画素ごとに、累算された予測値を累算された予測カウントによって除算してｂの最終的な予測を形成する。累算及び予測カウントは最終的な予測判定を可能にし、その結果、ｂ内の画素がｋ個のｐ×ｐブロック（ｋ≧１）によって予測され、累算がｋ個の予測の合計になり、画素の予測がｋになり、最終的な断定がｋによって除算された累算になる。
[0088]最終予測を形成した後に、処理ロジックは予測と予測誤差とを合計し（処理ブロック１１１０）、ここで処理ロジックは、復号器から受信したブロックｂの予測誤差を復号する（処理ブロック１１１１）。
[0089]予測と予測誤差とを合計した後に、処理ロジックは以前に復号された情報を更新する（処理ブロック１１１２）。一実施形態において、以前に復号された情報の更新は、将来使用するために、復号されたブロックｂを以前に復号されたブロックに追加することを含む。
[0090]以前に復号された情報を更新した後に、処理ロジックは予測される各ｎ×ｎブロックを予測したかどうかをチェックする（処理ブロック１１１３）。予測した場合にはこの処理は終了し、そうでない場合にはこの処理は処理ブロック１１０１に推移して繰り返し実行される。
[0091]図１２は変換領域予測を実行する処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
[0092]図１２を参照すると、この処理は、所与のブロックｘごとに、処理ロジックがｘの動き補償予測であるｙを判定すること（処理ブロック１２０２）によって開始される。次に、処理ロジックは
ｄ＝Ｈｙ
に従ってｙの変換係数を計算する（処理ブロック１２０３）。
[0093]その後、処理ロジックは、インデックスｉ＝１，…，ｐ２によってインデックス付けされた、ｄの各成分の予測重みαｉを判定する（処理ブロック１２０４及び１２０５）。次に、処理ロジックは、次のように予測ベクトル
Figure 0005203379
 を形成する（処理ブロック１２０６）。
Figure 0005203379
[0094]一実施形態において、変換係数を生成することなく予測を生成できることに留意されたい。例えば、画素領域フィルタの適用が変換領域で予測を行うことと同等である場合に、画素領域フィルタを動き補償予測に適用することができる。その場合に、この処理は、前に符号化されたフレームからの第１のブロックを使用して、第１の動き補償予測を生成するために動き補償を実行するステップと、複数の予測を使用して第１の動き補償予測から符号化される第２ブロックの第２の動き補償予測を生成するステップであって、画素領域フィルタの適用の結果が予測変換係数を生成することと同等である場合に、その後に画素領域での第２の動き補償予測を作成するために逆変換されるブロック変換係数から、第１の動き補償予測に画素領域フィルタを適用することによって複数の予測のそれぞれを生成することを含むステップと、残差フレームを作るために現フレーム内のブロックから第２の動き補償予測を減算するステップと、残差フレームを符号化するステップとを含む。
[0095]別の実施形態では、ルックアップテーブルが設計され、その結果、同等の画素領域フィルタ計算が行われるのではなく、変換係数が単にルックアップテーブルへのインデックスを形成するために使用されるようになり、このルックアップテーブルは画素領域フィルタを得るのに使用され、このフィルタが画素領域で適用される。すなわち、一実施形態において、画素領域フィルタは一又は複数の変換係数から形成されるインデックスに基づいてルックアップテーブルから選択される。
[0096]図１３は予測重みを計算する処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
[0097]図１３を参照すると、この処理は、処理ロジックが、必要であればサイド情報を使用して予測重みαｉ（ｉ＝１，…，ｐ２）を初期化することによって開始される（処理ブロック１３０１）。処理ロジックは所与のブロックｘについて画素の近傍Λｘを判定する（処理ブロック１３０２）。
[0098]次に、処理ロジックはΛｘ内の考えられるすべてのｐ×ｐブロックをチェックして、ブロック内のすべての画素が符号器と復号器との両方で使用可能であるか、すなわち以前に符号化され／復号されているかどうかを判定する（処理ブロック１３０３及び１３０４）。
[0099]ブロック内のすべての画素が符号器と復号器との両方で使用可能である場合には、処理ロジックは変数ｊを増分し（処理ブロック１３０５）、動き補償を介して参照フレーム内のマッチングブロックｕを判定する（処理ブロック１３０６）。すなわち、処理ロジックはブロックｔの動き補償予測を判定する。次に、処理ロジックはブロックｔ及びマッチングブロックｕについて変換係数を計算する（処理ブロック１３０７）。
[00100]すべての検討されるブロックに関連する変換係数を計算したならば、処理ロジックは使用可能なサイド情報を利用して予測重みを解く（例えば上記式（３）を使用して）（処理ブロック１３０８）。その後、処理ロジックは予測重みを出力する（処理ブロック１３０９）。
コンピュータシステムの例
[00101]図１４は、本明細書で説明される動作のうちの一又は複数を実行できる例示的コンピュータシステムのブロック図である。図１４を参照すると、コンピュータシステム１４００は、例示的なクライアントコンピュータシステム又はサーバコンピュータシステムを含むことができる。コンピュータシステム１４００は、情報を通信する通信機構又はバス１４１１と、情報を処理する、バス１４１１に接続されたプロセッサ１４１２とを含む。プロセッサ１４１２は、例えばＰｅｎｔｉｕｍ（商標）、ＰｏｗｅｒＰＣ（商標）、Ａｌｐｈａ（商標）など、マイクロプロセッサを含むが、マイクロプロセッサに限定はされない。
[00102]システム１４００は、更に、情報及びプロセッサ１４１２によって実行される命令を格納する、バス１４１１に接続されたランダムアクセスメモリ（ＲＡＭ）又は他のダイナミックストレージデバイス１４０４（メインメモリと称する）を含む。メインメモリ１４０４は、プロセッサ１４１２による命令の実行中に一時変数又は他の中間情報を格納するのに使用することもできる。
[00103]コンピュータシステム１４００は、プロセッサ１４１２用の静的な情報及び命令を格納する、バス１４１１に接続された読取専用メモリ（ＲＯＭ）及び／又は他の静的ストレージデバイス１４０６と、磁気ディスク又は光ディスク及びそれに対応するディスクドライブなどのデータストレージデバイス１４０７とも含む。データストレージデバイス１４０７は、情報及び命令を格納するためにバス１４１１に接続される。
[00104]コンピュータシステム１４００を、更に、コンピュータユーザに情報を表示する、バス１４１１に接続された、陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）などのディスプレイデバイス１４２１に接続することができる。英数字キー及び他のキーを含む英数字入力デバイス１４２２も、プロセッサ１４１２に情報及びコマンド選択を通信するためにバス１４１１に接続することができる。追加のユーザ入力デバイスは、方向情報及びコマンド選択をプロセッサ１４１２に通信し、ディスプレイ１４２１上のカーソル移動を制御する、バス１４１１に接続された、マウス、トラックボール、タッチパッド、スタイラス、又はカーソル方向キーなどのカーソルコントロール１４２３である。
[00105]バス１４１１に接続できるもう１つのデバイスが、紙、フィルム、又は類似するタイプの媒体に情報をマークするのに使用できるハードコピーデバイス１４２４である。バス１４１１に接続できるもう１つのデバイスが、電話機又はハンドヘルドパームデバイスと通信する有線／無線通信機能１４２５である。
[00106]システム１４００の構成要素のいずれか又はすべて及び関連するハードウェアを本発明において使用できることに留意されたい。しかし、コンピュータシステムの他の構成がこれらのデバイスの一部又はすべてを含むことができることを了解されたい。
[00107]本発明の多数の代替形態及び修正形態は、前述の説明を読んだ後に疑いなく当業者に明白になるが、当然ながら、例証として図示され説明された任意の特定の実施形態は、限定的に考えられることを意図するものではない。したがって、様々な実施形態の詳細への言及は、特許請求の範囲を限定することを意図するものではなく、特許請求の範囲自体は本発明に必須と考えられる特徴のみを列挙するものである。
ビデオ符号器を示すブロック図である。 希薄誘導予測を有するハイブリッドビデオコーダの一実施形態を示すブロック図である。 機能強化されたビデオ復号器を示すブロック図である。 符号化される現フレームの例を示す図である。 予測ブロックｘ及び関連する近傍Λｘの例を示す図である。 近傍Λｘの内部のトレーニングブロック及び動き補償予測内の基準を形成する過去フレーム内の対応するブロックの位置の例を示す図である。 ｎ×ｎ圧縮変換ブロックへの現マクロブロックの分解の例を示す図である。 予測されるｎ×ｎブロックにオーバーラップする３つのｐ×ｐ予測ブロックの例を示す図である。 図７の３つのｐ×ｐ予測ブロックがｎ×ｎブロックの全体的な予測を形成する形を示す図である。 以前に復号されたマクロブロック及び以前に復号されたｎ×ｎブロックを用いたｎ×ｎブロックの予測を示す図である。 符号器でブロックの希薄誘導予測を実行する処理の一実施形態を示す流れ図である。 復号器でブロックの希薄誘導予測を実行する処理の一実施形態を示す流れ図である。 変換領域予測を形成する処理の一実施形態を示す流れ図である。 予測重みを計算する処理の一実施形態を示す流れ図である。 例示的コンピュータシステムを示すブロック図である。

Claims (13)

  1. 以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、
    空間領域での複数の予測を使用して前記第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、
    変換を使用して前記第１ブロックのブロック変換係数を生成し、
    前記ブロック変換係数に予測重みを乗ずることで、符号化される前記第２ブロックの予測変換係数を生成し、
    画素領域での前記第２動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する
    ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、
    残差フレームを作るために現行フレーム内のブロックから前記第２動き補償予測を減算するステップと、
    前記残差フレームを符号化するステップと
    を含み、
    前記予測変換係数を生成するステップでは、前記現行フレーム内の以前に復号されたトレーニングブロックの変換係数と、前記以前に符号化されたフレーム内の、該トレーニングブロックに対応するマッチングブロックの変換係数とを求め、該トレーニングブロックの変換係数及び該マッチングブロックの変換係数に基づいて前記予測重みを生成する、
    方法。
  2. 前記ブロックは候補ブロックの補間されたバージョンである、請求項１に記載の方法。
  3. 前記トレーニングブロックがオーバーラップしている、請求項１又は２に記載の方法。
  4. 前記トレーニングブロック及びサイド情報を使用して予測重みのセットを指定するステップをさらに含む、請求項１〜３のいずれか一項に記載の方法。
  5. 前記空間領域での複数の予測から前記ブロックの前記第２動き補償予測を生成するステップが、
    予測される前記ブロックにオーバーラップする複数の予測ブロックを判定するステップと、
    前記複数の予測ブロックに基づいて予測を生成するステップと、
    前記複数の予測の線形組合せを実行するステップと
    を含む、請求項１〜４のいずれか一項に記載の方法。
  6. 前記線形組合せが平均化によって形成される、請求項５に記載の方法。
  7. 動き補償を実行することで、以前に符号化されたフレームからの第１ブロックの第１動き補償予測を生成する動き補償予測モジュールと、
    前記動き補償予測を受け取り、空間領域での複数の予測から符号化される第２ブロックの第２動き補償予測を生成する第２予測モジュールであって、
    変換を使用して前記第１ブロックのブロック変換係数を生成し、
    前記ブロック変換係数に予測重みを乗ずることで、符号化される前記第２ブロックの予測変換係数を生成し、
    前記予測変換係数に対して逆変換を実行することで画素領域での前記第２動き補償予測を作成する
    ことによって前記複数の予測のそれぞれを生成する、第２予測モジュールと、
    現行フレーム内のブロックから前記第２動き補償予測を減算することで残差フレームを作る減算器と、
    前記残差フレームを符号化するコーダと
    を備え、
    第２予測モジュールが、前記現行フレーム内の以前に復号されたトレーニングブロックの変換係数と、前記以前に符号化されたフレーム内の、該トレーニングブロックに対応するマッチングブロックの変換係数とを求め、該トレーニングブロックの変換係数及び該マッチングブロックの変換係数に基づいて前記予測重みを生成する、
    符号器。
  8. 前記第２予測モジュールが、
    予測される前記ブロックにオーバーラップする複数の予測ブロックを判定し、
    前記複数の予測ブロックに基づいて予測を生成し、
    前記複数の予測の線形組合せを実行する
    ことによって前記空間領域での複数の予測から前記ブロックの前記第２動き補償予測を生成する、請求項７に記載の符号器。
  9. システムによって実行される時に、前記システムに、
    以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、
    空間領域での複数の予測を使用して、前記第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、
    変換を使用して前記第１ブロックのブロック変換係数を生成し、
    前記ブロック変換係数に予測重みを乗ずることで、符号化される前記第２ブロックの予測変換係数を生成し、
    画素領域での前記第２動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する
    ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、
    残差フレームを作るために現行フレーム内のブロックから前記第２動き補償予測を減算するステップと、
    前記残差フレームを符号化するステップと
    を含む方法であって、
    前記予測変換係数を生成するステップでは、前記現行フレーム内の以前に復号されたトレーニングブロックの変換係数と、前記以前に符号化されたフレーム内の、該トレーニングブロックに対応するマッチングブロックの変換係数とを求め、該トレーニングブロックの変換係数及び該マッチングブロックの変換係数に基づいて前記予測重みを生成する、該方法を実行させる命令を格納する一又は複数のコンピュータ可読媒体。
  10. 以前に復号されたフレームからの第１ブロックを使用して予測ブロックを生成するステップと、
    前記予測ブロックに応答して、空間領域での複数の予測を使用して動き補償予測を生成するステップであって、
    変換を使用して前記予測ブロックのブロック変換係数を生成し、
    前記ブロック変換係数に予測重みを乗ずることで、符号化される第２ブロックの予測変換係数を生成し、
    画素領域での前記動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する
    ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、
    残差フレームを復号するステップと、
    前記残差フレームを前記動き補償予測に加算するステップと
    を含み、
    前記予測変換係数を生成するステップでは、現行フレーム内の以前に復号されたトレーニングブロックの変換係数と、前記以前に復号されたフレーム内の、該トレーニングブロックに対応するマッチングブロックの変換係数とを求め、該トレーニングブロックの変換係数及び該マッチングブロックの変換係数に基づいて前記予測重みを生成する、
    方法。
  11. 前記空間領域での複数の予測から前記ブロックの前記動き補償予測を生成するステップが、
    予測される前記ブロックにオーバーラップする複数の予測ブロックを判定するステップと、
    前記複数の予測ブロックに基づいて予測を生成するステップと、
    前記複数の予測の線形組合せを実行するステップと
    を含む、請求項１０に記載の方法。
  12. 以前に復号されたフレームからの第１ブロックを使用して予測ブロックを生成する動き補償ユニットと、
    前記予測ブロックに応答して、空間領域での複数の予測から動き補償予測を生成する第２予測モジュールであって、
    変換を使用して前記予測ブロックのブロック変換係数を生成し、
    前記ブロック変換係数に予測重みを乗ずることで、符号化される第２ブロックの予測変換係数を生成し、
    前記予測変換係数に対して逆変換を実行することで画素領域での前記動き補償予測を作成する
    ことによって前記複数の予測のそれぞれを生成する、第２予測モジュールと、
    残差フレームを復号する復号器と、
    前記残差フレームを前記予測に加算する加算器と
    を備え、
    前記第２予測モジュールが、現行フレーム内の以前に復号されたトレーニングブロックの変換係数と、前記以前に復号されたフレーム内の、該トレーニングブロックに対応するマッチングブロックの変換係数とを求め、該トレーニングブロックの変換係数及び該マッチングブロックの変換係数に基づいて前記予測重みを生成する、
    装置。
  13. 前記第２予測モジュールが、
    予測される前記ブロックにオーバーラップする複数の予測ブロックを判定し、
    前記複数の予測ブロックに基づいて予測を生成し、
    前記複数の予測の線形組合せを実行する
    ことによって前記動き補償予測を生成する、請求項１２に記載の装置。
JP2009534712A 2006-10-31 2007-10-31 ビデオ圧縮用の空間規約誘導時間予測 Active JP5203379B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US85604806P 2006-10-31 2006-10-31
US60/856,048 2006-10-31
US11/929,420 US8059902B2 (en) 2006-10-31 2007-10-30 Spatial sparsity induced temporal prediction for video compression
US11/929,420 2007-10-30
PCT/US2007/023037 WO2008054799A2 (en) 2006-10-31 2007-10-31 Spatial sparsity induced temporal prediction for video compression

Publications (2)

Publication Number Publication Date
JP2010508708A JP2010508708A (ja) 2010-03-18
JP5203379B2 true JP5203379B2 (ja) 2013-06-05

Family

ID=39330254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009534712A Active JP5203379B2 (ja) 2006-10-31 2007-10-31 ビデオ圧縮用の空間規約誘導時間予測

Country Status (6)

Country Link
US (1) US8059902B2 (ja)
EP (1) EP2105030A2 (ja)
JP (1) JP5203379B2 (ja)
KR (1) KR101048634B1 (ja)
CN (1) CN101449588B (ja)
WO (1) WO2008054799A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
TWI498003B (zh) 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
IT1394145B1 (it) * 2009-05-04 2012-05-25 St Microelectronics Srl Procedimento e dispositivo per la codifica video digitale, relativo segnale e prodotto informatico
CN102098519B (zh) * 2009-12-09 2013-04-17 浙江大学 视频编码方法、解码方法、编码及解码装置
CN101848393B (zh) * 2010-06-08 2011-08-31 上海交通大学 可伸缩视频稀疏信息处理系统
US8396126B2 (en) * 2010-06-18 2013-03-12 Cisco Technology, Inc. Systems and methods for video coding and transmission
US8428375B2 (en) * 2010-11-17 2013-04-23 Via Technologies, Inc. System and method for data compression and decompression in a graphics processing system
GB2487197B (en) 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
GB2488816A (en) 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
US8837582B2 (en) 2011-06-22 2014-09-16 Blackberry Limited Compressing image data
US8768082B2 (en) 2011-06-22 2014-07-01 Blackberry Limited Compressing image data
CA2841143C (en) * 2011-06-22 2017-02-07 Blackberry Limited Compressing image data
WO2012174636A1 (en) 2011-06-22 2012-12-27 Research In Motion Limited Compressing image data
WO2014138633A2 (en) * 2013-03-08 2014-09-12 Board Of Regents, The University Of Texas System Systems and methods for digital media compression and recompression
SG10202004573WA (en) * 2020-04-03 2021-11-29 Avanseus Holdings Pte Ltd Method and system for solving a prediction problem

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371130B1 (ko) * 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
JP4166305B2 (ja) * 1996-09-20 2008-10-15 エイ・ティ・アンド・ティ・コーポレーション ビデオの画像コーディング及びイントラコーディングのための暗黙の係数予測及び走査適合化を提供するビデオコーダー
US6341144B1 (en) 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US6505299B1 (en) * 1999-03-01 2003-01-07 Sharp Laboratories Of America, Inc. Digital image scrambling for image coding systems
US20040252758A1 (en) * 2002-08-14 2004-12-16 Ioannis Katsavounidis Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
US6944224B2 (en) * 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder
JP2004336103A (ja) 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
KR100566191B1 (ko) 2003-07-30 2006-03-29 삼성전자주식회사 Ｈ.263 멀티미디어 칩을 이용한 엠펙-4 부호화기
US7388999B2 (en) 2003-10-29 2008-06-17 Hewlett-Packard Development Company, L.P. Transformations for denoising images
US7599565B2 (en) * 2004-03-10 2009-10-06 Nokia Corporation Method and device for transform-domain video editing
KR100668345B1 (ko) * 2004-10-05 2007-01-12 삼성전자주식회사 움직임 보상된 계층 생성장치 및 방법
KR100694093B1 (ko) * 2005-02-18 2007-03-12 삼성전자주식회사 영상 블럭의 계수 예측 장치 및 그 방법
US20060285590A1 (en) 2005-06-21 2006-12-21 Docomo Communications Laboratories Usa, Inc. Nonlinear, prediction filter for hybrid video compression

Also Published As

Publication number Publication date
WO2008054799A2 (en) 2008-05-08
CN101449588B (zh) 2012-12-05
US8059902B2 (en) 2011-11-15
WO2008054799A3 (en) 2008-07-24
CN101449588A (zh) 2009-06-03
KR20090018922A (ko) 2009-02-24
JP2010508708A (ja) 2010-03-18
KR101048634B1 (ko) 2011-07-12
US20080101709A1 (en) 2008-05-01
EP2105030A2 (en) 2009-09-30

Similar Documents

Publication Publication Date Title
JP5203379B2 (ja) ビデオ圧縮用の空間規約誘導時間予測
JP5259396B2 (ja) ハイブリッド映像圧縮のための非線形予測フィルタ
JP4920599B2 (ja) ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ
US6983079B2 (en) Reducing blocking and ringing artifacts in low-bit-rate coding
US11070834B2 (en) Low-complexity method for generating synthetic reference frames in video coding
JP4988715B2 (ja) ビデオ符号化におけるノイズフィルタリング方法及び装置
RU2664389C1 (ru) Способ и устройство для компенсации движения с предсказанием
US20060133481A1 (en) Image coding control method and device
MX2014008778A (es) Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
JP2007501555A (ja) ビデオエンコードおよびデコードの方法および対応する装置
US10652541B2 (en) Method and device for encoding video data
WO2007037912A2 (en) Integrated spatial-temporal prediction
KR20150095591A (ko) 시각적 인지 특성을 이용한 ｐｖｃ 방법
US8848783B2 (en) Motion picture encoding/decoding apparatus, and apparatus and method for adaptive overlapped block motion compensation by variable unit for same
CN107113426B (zh) 使用广义图形参数执行基于图形的变换的方法和设备
GB2519289A (en) Method and apparatus for displacement vector component transformation in video coding and decoding
US8792549B2 (en) Decoder-derived geometric transformations for motion compensated inter prediction
US10735733B2 (en) Method and device for encoding video data
JP2010041191A (ja) 画像符号化方法及び画像符号化装置
KR20100136907A (ko) 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치
JP5358485B2 (ja) 画像符号化装置
Segall et al. Application of the motion vector constraint to the regularized enhancement of compressed video
JPH07336687A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130213

R150 Certificate of patent or registration of utility model

Ref document number: 5203379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250