JP5368482B2 - ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置 - Google Patents

ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置 Download PDF

Info

Publication number
JP5368482B2
JP5368482B2 JP2010545859A JP2010545859A JP5368482B2 JP 5368482 B2 JP5368482 B2 JP 5368482B2 JP 2010545859 A JP2010545859 A JP 2010545859A JP 2010545859 A JP2010545859 A JP 2010545859A JP 5368482 B2 JP5368482 B2 JP 5368482B2
Authority
JP
Japan
Prior art keywords
predictors
block
decoding
decoder
different viewpoints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010545859A
Other languages
English (en)
Other versions
JP2011511597A (ja
JP2011511597A5 (ja
Inventor
フン キム,ジエ
スー,イエピン
イン,ペン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011511597A publication Critical patent/JP2011511597A/ja
Publication of JP2011511597A5 publication Critical patent/JP2011511597A5/ja
Application granted granted Critical
Publication of JP5368482B2 publication Critical patent/JP5368482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願とのクロスリファレンス
本出願は、2008年2月5日付で出願された米国仮出願第61/026,275号(代理人整理番号PU080012)の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。
本発明には、一般的には、ビデオ符号化およびビデオ復号に関し、より具体的には、ビデオ符号化および復号におけるインプリシットな(implicit)ブロック分割のための方法および装置に関する。
マクロブロック内の相異なる領域のために相異なる予測を提供することにより、より正確な動き補償を提供する多くの手法が提案されている。例として、ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MEPG−4(Moving Picture Experts Group−4) Part 10 AVC(Part 10 Advanced Video Coding)規格/ITU−T(International Telecommunication Union, Telecommunication Sector)H.264勧告(以下、「MPEG−4 AVC規格」と呼ぶ)において使用されている技術や階層的四分木(QT:quadtree)手法が挙げられる。
これらの手法においては、マクロブロックがより小さなブロックに分割され、各ブロックに最良に一致するものを見つけるためのサーチが行われる。マクロブロック内のブロックの数が増加すると、オリジナルのマクロブロックと一致するマクロブロックとの間の歪み(distortion)が減少する一方で、オーバーヘッドが増加する。従って、最小のレート歪みポイントが存在し、最良のブロック・モードが、通常、ラグランジュ・ツール(Langrangian tool)によって決定される。
四分木手法において方形または矩形のブロック形状を使用して一致させる能力を向上させるために、ジオメトリーに基づく手法(GEO)が提案されている。ジオメトリーに基づく手法においては、ブロックが、スロープによって描かれるラインおよび変換パラメータにより、ウエッジと呼ばれる2つのより小さなブロックに分割される。最良のパラメータおよび一致するウエッジは、一緒にサーチされる。ジオメトリーに基づく手法は、四分木法手法よりも良好にオブジェクトの境界を捉えるが、このジオメトリーに基づく手法は、依然として、直線の分割またはパーティションの制約を受ける。
遮蔽(occlusion)の問題を解決するために、オブジェクトに基づく動き分割方法が提案されている。オブジェクトに基づく動き分割方法に従えば、ブロックにおける相異なる動きを捉えるために、ブロック分割の後に隣接ブロックからの動きベクトルがコピーされる。分割情報を送信することを回避するために、時点(t−1)および時点(t−2)において前に符号化されたフレームが使用されて時点(t)での現在のフレームのための分割を推定する。
動き補償された予測符号化(MCPC: motion―compensated predictive coding)は、フレーム間相関を利用するのに最も有効であることが判明している。動き補償された予測符号化スキームにおいては、オリジナルの入力フレームと復号されたフレームからの予測と間の差分が符号化される。この差分フレームは、通常、予測エラー・フレームとして知られている。
予測値を利用する目的は、予測エラー・フレームのエネルギーを低減することにより、変換後の予測エラー・フレームがより低いエントロピーを有するようにし、低ビット・レートで符号化できるようにすることである。ビデオ圧縮における主要な設計チャレンジの1つは、どのように予測の質を高めるかであり、換言すると、どのように現在の信号に可能な限り近い予測子を得るかである。
現在のブロックに基づく動き補償、または、ディスパリティ補償においては、オリジナルのブロック・コンテキストは、どのような形状をとる場合もあるため、固定サイズの矩形ブロックを用いると、良好な予測子を見つける能力が制限されてしまう。ブロックに基づくサーチ手法は、ブロック内の支配的な部分との一致を見つけるものであり、遮蔽されたオブジェクトは、良好には予測されない。予測の精度を考慮すると、最適な方法は、オリジナルのブロックを複数の異なるオブジェクトに分割し、セグメント毎に一致するものをサーチすることである。しかしながら、これには、符号化器が分割情報を復号器に送信することが必要となり、この余分なオーバーヘッドは、拡張された予測子による利点を上回ってしまうものである。
従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置によって対処される。
本願の原理の態様によれば、装置が提供され、この装置は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも2つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって符号化する符号化器を備える。符号化器は、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する。
本願の原理の別の態様によれば、方法が提供され、この方法は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも2つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって符号化する符号化ステップを含む。符号化ステップは、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信するステップを含む。
本発明のさらに別の態様によれば、装置が提供され、この装置は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも2つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号器を備える。この復号器は、インプリシットにブロック分割情報を決定する。
本発明のさらに別の態様によれば、方法が提供され、この方法は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも2つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号ステップを含む。復号ステップは、インプリシットにブロック分割情報を決定するステップを含む。
本願の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。
本願の原理は、以下の例示的な図面に従って、良好に理解されるであろう。
本願の原理に係る実施の形態に従った、インプリシットなブロック分割(IBS)ブロック・モードを有する例示的な符号化器のブロック図である。 本願の原理に係る実施の形態に従った、インプリシットなブロック分割(IBS)ブロック・モードを有する例示的な復号器のブロック図である。 本願の原理が適用されるピクチャ分割のための一次元k平均(k−means)法によるクラスタリングに関して行われる後処理の例を示す図である。 本願の原理の実施の形態に従った、画像ブロックのための、予測子のペア、さらに、関連する重みインデックスのサーチを決定する例示的な方法のフロー図である。 本願の原理の実施の形態に従った、画像ブロックのための、インプリシットなブロック分割(IBS)予測子を算出する例示的な方法のフロー図である。
本願の原理は、ビデオ符号化および復号におけるインプリシットな(implicit)ブロック分割(セグメント化)のための方法および装置に関する。
本説明は、本願の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本願の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。
本明細書に記載された全ての例および条件付の文言は、本願の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。
また、本明細書における本願の原理、態様、および、実施の形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。
従って、例えば、当業者であれば、本明細書において示されたブロック図は、本願の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表す。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。
各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ(DSP: digital signal processor)・ハードウエア、ソフトウエアを格納する読み出し専用メモリ(ROM: read‐only memory)、ランダム・アクセス・メモリ(RAM: random access memory)、および不揮発性の記憶装置を暗黙的に含むことがある。
また、従来のおよび/または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。
請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、a)機能を実行する回路要素を組み合わせたもの、または、b)形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、出願人は、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなす。
明細書において、本願の原理の「一実施の形態」、「実施の形態」、またはこの類の記載が言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも1つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、またはこの類の記載は、必ずしも、全てが同一の実施の形態について言及するものではない。
用語「/」、「および/または」、さらに、「〜のうちの少なくとも1つ」のうちのいずれかの使用は、例えば、「A/B」、「Aおよび/またはB」、さらに、「AおよびBのうちの少なくとも1つ」の場合、1番目に列挙されたオプション(A)のみの選択、2番目に列挙されたオプション(B)のみの選択、または、両方のオプション(AおよびB)の選択を包含すると意図される。別の例として、「A、B、および/またはC」、「A、B、およびCのうちの少なくとも1つ」の場合、このような文言は、1番目に列挙されたオプション(A)のみの選択、2番目に列挙されたオプション(B)のみの選択、3番目に列挙されたオプション(C)のみの選択、1番目および2番目に列挙されたオプション(AおよびB)のみの選択、1番目および3番目に列挙されたオプション(AおよびC)のみの選択、2番目および3番目に列挙されたオプション(BおよびC)のみの選択、または、全ての3つのオプション(A、B、およびC)の選択を包含すると意図される。列挙された多くの項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。
さらに、本願の原理の1つ以上の実施の形態を本明細書中でMPEG−4 AVC規格のマルチビュー・ビデオ符号化に関連させて説明しているが、本願の原理は、この規格のみに限定されるものではなく、従って、本願の原理の精神を逸脱することなく、MPEG−4規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。例えば、本明細書中に提供された本願の原理の開示内容を考慮して、本技術分野、さらに、関連する技術分野における当業者であれば、本願の原理を逸脱することなく、スケーラブルなビデオ符号化(SVC: scalable video coding)およびマルチビュー・ビデオ符号化(MVC:multi−view coding)環境に本願の原理を容易に適用することができる。マルチビュー・ビデオ符号化(MVC)は、マルチビュー・シーケンスの符号化のための圧縮フレームワークである。マルチビュー・ビデオ符号化(MVC)シーケンスは、異なるビュー・ポイント(視点)から同じシーンを捉えた2つ以上のビデオ・シーケンスのセット(集合)である。スケーラブルなビデオ符号化(SVC)は、基本レイヤーおよび1つ以上の拡張レイヤーを有するビットストリームにビデオ・シーケンスを符号化することを指す。
さらに、本明細書において使用する「クロスビュー」および「インタービュー」は、同じ意味で使用され、双方とも、現在のビューではないビューに属するピクチャを指す。
さらに、本明細書において使用する記載「ブロック分割情報」は、現在のピクチャの一つの部分を符号化および/または復号するために使用される少なくとも1つ以上の参照ピクチャ、または、その部分の分割を記述した情報を指す。一実施の形態においては、このようなブロック分割情報は、少なくとも2つの予測子の間の差分に適用される分割に関する。一実施の形態においては、このようなブロック分割情報は、特定の参照ピクチャのどの画素がブロック分割処理に従って分割された特定の参照ピクチャのどのセグメントに属するかを示す情報に関する。なお、このようなブロック分割情報は、対応する復号器に対してエクスプリシットには(explicitly)信号送信されない。むしろ、このようなブロック分割情報は、限定するものではないが、ハイレベル・シンタックス要素を含む1つ以上のシンタックス要素を用いて、対応する復号器に対してインプリシットに信号送信されることがある。
さらに、本明細書において使用される「ハイレベル・シンタックス」は、マクロブロック層よりも階層的に上位に位置するビットストリームに存在するシンタックスを意味する。例えば、本明細書において使用されるハイレベル・シンタックスは、限定するものではないが、スライス・ヘッダ・レベル、補助拡張情報(SEI:Supplemental Enhancement Information)レベル、ピクチャ・パラメータ・セット(PPS)・レベル、シーケンス・パラメータ・セット(SPS:Sequence Parameter Set)・レベル、さらに、ネットワーク抽象化層(NAL:network abstraction layer)ユニット・ヘッダ・レベルでのシンタックスを意味する場合がある。
上述したように、本願の原理は、ビデオ符号化および復号においてインプリシットなブロック分割を行うための方法および装置に関する。
図1を参照すると、インプリシットなブロック分割(IBS: implicit block segmentation)ブロック・モードを有する例示的な符号化器が概ね参照符号100によって示されている。
結合器105の出力部は、変換器110の入力部と信号通信するように結合されている。変換器110の出力部は、量子化器115の入力部と信号通信するように結合されている。量子化器115の出力部は、エントロピー符号化器120の第1の入力部および逆量子化器125の入力部と信号通信するように結合されている。逆量子化器125の出力部は、逆変換器130の入力部と信号通信するように結合されている。逆変換器130の出力部は、結合器132の第1の非反転入力部と信号通信するように結合されている。デブロッキング・フィルタ135の出力部は、復号済参照ピクチャ・バッファ140の入力部と信号通信するように結合されている。復号済参照ピクチャ・バッファ140の出力部は、分割デバイス145の入力部およびスイッチ160の第2の入力部と信号通信するように結合されている。
分割デバイス145の出力部は、重みインデックス決定デバイス150の入力部と信号通信するように結合されている。重みインデックス決定デバイス150の第1の出力部は、予測子結合器155の入力部と信号通信するように結合されている。予測子結合器155の第1の出力部は、スイッチ160の第1の入力部と信号通信するように結合されている。スイッチ160の出力部は、結合器105の反転入力部と信号通信するように結合されている。予測子結合器155の第2の出力部は、結合器132の第2の非反転入力部と信号通信するように結合されている。結合器132の出力部は、デブロッキング・フィルタ135の入力部と信号通信するように結合されている。
重みインデックス決定デバイス150の第2の出力部は、スイッチ165の第1の入力部と信号通信するように結合されている。スイッチ165の第2の入力部は、未結合の状態である。スイッチ165の出力部は、エントロピー符号化器120の第2の入力部と信号通信するように結合されている。
結合器105の非反転入力部は、入力されたビデオを受信するため、符号化器100の入力部として利用可能である。エントロピー符号化器120の出力部は、ビットストリームを出力するため、符号化器100の出力部として利用可能である。
重みインデックス決定デバイス150は、(分割デバイス145によって決定された)各セグメントの重みインデックスを見つける。予測子結合器155は、各セグメントの予測子を結合する。
図1において、スイッチ160の第1の入力部およびスイッチ165の第1の入力部の双方が使用されると、IBSモードが有効となる。
図2を参照すると、インプリシットなブロック分割(IBS)ブロック・モードを有する例示的な復号器が概ね参照符号200によって示されている。
エントロピー復号器205の出力部は、逆量子化器210の入力部、復号済参照ピクチャ・バッファ240の第1の入力部、さらに、スイッチ245の第1の入力部と信号通信可能に結合されている。スイッチ245の第2の入力部は、未結合の状態である。逆量子化器210の出力部は、逆変換器215の入力部と信号通信するように結合されている。逆変換器215の出力部は、結合器220の第1の非反転入力部と信号通信するように結合されている。結合器220の出力部は、デブロッキング・フィルタ225の入力部と信号通信するように結合されている。デブロッキング・フィルタ225の出力部は、復号済参照ピクチャ・バッファ240の第2の入力部と信号通信するように結合されている。復号済参照ピクチャ・バッファ240の出力部は、分割デバイス235の入力部とスイッチ250の第2の入力部と信号通信するように結合されている。分割デバイス235の出力部は、予測子結合器230の第1の入力部と信号通信するように結合されている。予測子結合器230の出力部は、スイッチ250の第1の入力部と信号通信するように結合されている。スイッチ250の出力部は、結合器220の第2の非反転入力部と信号通信するように結合されている。スイッチ245の出力部は、予測子結合器230の第2の入力部と信号通信するように結合されている。
エントロピー復号器205の入力部は、ビットストリームを受信するために、復号器200の入力部として利用可能である。デブロッキング・フィルタ225の出力部は、ピクチャのシーケンスを出力するために、復号器200の出力部として利用可能である。
図2において、スイッチ245の第1の入力部およびスイッチ250の第1の入力部が使用されると、IBSモードが有効となる。
よって、本願の原理に従えば、オリジナルのブロックが分割されないビデオ符号化および復号の方法および装置が提供される。この代わりに、復号器の側で利用可能な参照ブロックに対して分割を行い、分割を記述する余分なオーバーヘッドが復号器に送信される必要性を取り除く。本願の原理に従って、候補となる予測子を組み合わせることにより、予測子を推定する。これにより、既存のビデオ符号化規格において予測信号が形成される方法が拡張される。本願の原理は、エクスプリシットな信号の送信を行わないブロック分割を使用し、余分なオーバーヘッド無しに、ローカル信号特性に適応できるようにする点において、既存の手法とは異なる。一実施の形態においては、我々は、MPEG−4 AVC規格環境において、インプリシットな分割を適用する。しかしながら、上述したように、本願の原理は、MPEG−4 AVC規格のみに限定されるものではない。
<インプリシットなブロック分割(IBS)のための符号化アルゴリズム>
例示的な目的のため、所与のマクロブロックには、2つの予測子p、p(例えば、隣接フレームからの2つの16×16のブロック)が利用可能であるものとし、p、p1をそれぞれ基本予測子と呼ぶ。2つの予測子p、pは、符号化器によって選択されており、これらの2つの予測子p、pの位置が復号器に信号送信される。予測のための最適な分割は、オリジナルのマクロブロックにおける各画素が最良の近似を提供する予測子pまたはpに割り当てられるように行われる。しかしながら、これは、その決定がオリジナルのブロック自体に依存しているため、インプリシットに(副情報を送信することなく)行うことはできない。予測子間の差分に依存する予期される利得についての観察に基づいて、我々は、各予測子の差分(p=p−p)のブロックに対して分割を適用する。予測子の差分のノイズ特性のため、エッジに基づく分割方法は、16×16のマクロブロックで単純な境界を効率的に検出するものではない。
従来技術の手法、以下、「k平均法(k−means)によるクラスタリングの従来技術手法と呼ぶ」においては、一次元(1−D)k平均法によるクラスタリングが基本的な分割アルゴリズムとして使用される。k平均法によるクラスタリングの従来技術手法に従えば、N重心が、pの最大値と最小値の間の均一な距離で初期化される。最大ラン(すなわち、繰り返し回数)は、20に設定される。一次元k平均法によるクラスタリングにおいては、空間連結性(spatial connectivity)は考慮されないため、k平均法によるクラスタリングの後、同一のセグメントにおいて、分断された画素が存在する。空間情報を考慮して、2ステップの後処理が適用される。図3を参照すると、ピクチャ分割のための一次元k平均法によるクラスタリングに関して行われる後処理の例が概ね参照符号300によって示されている。2ステップの後処理における最初のステップとして、同一のセグメント310に割り当てられる分断された画素305は、結合された成分のラベル付けを用いて、複数の異なるセグメントに分類される。従って、図3の左端のブロック301に関し、ブロック301の右上隅は、真ん中のブロック302におけるセグメント320となる。第2に、ノイズを含むセグメントを回避するために、セグメント330の画素の数がNpixよりも小さい場合、セグメント330は、現在のセグメント330とのセグメント平均差分が最小である隣接セグメント(たとえば、セグメント310およびセグメント320のいずれか)と結合される。なお、セグメントの数は、基本予測子と拡張予測子との間のディスパリティに依存する。実験的には、k平均法によるクラスタリングの従来技術手法においては、NおよびNpixは、それぞれ、2および10に設定される。
各セグメントの最適な重みは、差分の二乗和を最小にすることによって算出される。しかしながら、符号化されるブロックからの情報を用いて最適な重みが算出された後、選択された値を信号送信しなければならない。16×16のブロックでは、このような信号送信のオーバーヘッドは、残差エラーの全体としての減少を考慮すれば、受け入れられない場合がある。オーバーヘッドを制限するために、一実施の形態においては、各重みは、予測のために使用する{p、p、(p+p)/2}に対応する所定のセット(集合)W={(1,0)、(0,1)、(1/2,1/2)}からそれぞれ選択される。従って、3つの値{0、1、2}のみを有する重みインデックスが信号送信される。要するに、符号化されるべきブロックの予測は、各セグメントに使用されるべき2つの予測子pおよびpと重みを信号送信することによって達成される。分割情報自体は、復号された予測子と同様に、符号化器および復号器によって生成され、そのため、副情報が送信される必要はない。
<他の符号化アルゴリズムおよびバリエーション>
インプリシットなブロック分割のための上述した符号化アルゴリズムに加え、インプリシットなブロック分割の効率性を高めるために、以下に説明するもののうちの1つあるいはそれ以上を適用することもできる。
a.分割方法
i)エッジに基づく分割方法を使用することができる。例えば、キャニー・エッジ(Canny edge)検出器および/または、ソーベル・エッジ(Sobel edge)検出器を分割のために使用することができ、分断されたエッジをハフ変換(Hough transform)を使用して結合させることができる。
b.分割対象
i)基本レイヤー予測子を分割のために使用することができる。例えば、基本レイヤー予測子と拡張レイヤー予測子との間の予測子の差分に対して分割処理を適用する代わりに、インプリシットなブロック分割のために、利用可能な参照値からの基本レイヤー予測子のみを使用することができる。各参照値は、復号器の側でも利用可能であるため、分割情報は信号送信されない。
ii)深度マップを分割のために使用することができる。例えば、深度マップをマルチビュー・ビデオ・シーケンスにおいて利用可能である場合には、この深度マップを分割のために使用することができる。なぜならば、オブジェクト深度は正確であり、オブジェクト境界を推定するための鍵となるからである。分割をインプリシットに行うために、同一の深度マップを復号器の側で利用可能である。
c.サーチ方法
i)拡張予測子の候補の限られたセットを使用することができる。例えば、分割に関わるサーチの演算量を低減するために、基本レイヤー予測子の候補の限られたセットを使用することができる。演算量をさらに低減するために、フルサーチを行う代わりに、拡張レイヤーの候補の限られたセットを使用することができる。拡張レイヤー予測子の候補として、基本レイヤー予測子の候補の同じセットを使用することができる。
ii)基本レイヤー予測子と拡張レイヤー予測子の双方のために、フルサーチを行うことができる。例えば、基本レイヤーと拡張レイヤー予測子の双方がフルサーチ範囲でサーチされる場合には、最高の符号化効率を得ることができる。この手法により、インプリシットなブロック分割の符号化効率が最高となる。
d.エラー・メトリック
分割境界は、MPEG−4 AVC規格における4×4、または、8×8の離散コサイン変換(DCT: discrete cosine transform)境界と一致しないため、残差のDCレベルが相異なるセグメントで異なる場合には、高周波数成分は、離散コサイン変換の後、増加する。差分絶対値和(SAD)や差分二乗和(SSD)では、ACの増加を測定することができない。従って、ACの増加量を測定するための異なるエラー・メトリックを使用してより良好に一致するものを見つけることができる。例えば、アダマール(Hadamard)・エラー・メトリックを使用して重みインデックスを選択することができる。
e.追加重みインデックス
最適な重みの信号送信が、16×16のマクロブロックの各セグメントにおいて得られる利得を上回ってしまうことがあるため、代わりに、所定の重みのセット(集合)Wが使用される。(1,0)および(0,1)の基本的なセットから拡張されるものをセットWにおける重みとすることができる。各インデックスは、重みの発生頻度に基づいて割り当てられる。重みが頻繁に選択される場合には、小さなインデックスが割り当てられる。例えば、追加重み(3/4,1/4)(1/4,3/4)をセットWに追加し、それぞれを、‘3’および‘4’にマッピングすることができる。2値算術符号化(BAC:binary arithmetic coding)または、可変長符号化(VLC:variable length coding)は、十分な符号化利得があるときにのみ、これらのインデックスが選択されるようにする。
<インプリシットなブロック分割(IBS)のための復号アルゴリズム>
復号器において、符号化処理からの追加情報には、マクロブロックにおいて使用される予測子のタイプが含まれることがある。例えば、2つの予測子が使用される場合、即ち、基本レイヤー予測子および拡張レイヤー予測子が使用される場合、この情報は、最終的には、復号器に伝達される。さらに、このような追加情報には、各セグメントの重みインデックスが含まれることがある。
この情報を利用して、インプリシットなブロック分割(IBS)のために、以下のアルゴリズムが適用される。
1.シンタックスを復号する
2.基本レイヤー予測子(p)および拡張レイヤー予測子(p)を取得する。2つの予測子より、予測子の差分が以下のように算出される。
=p−p
3.基本レイヤー予測子pおよび拡張レイヤー予測子pのコンテキストに基づいて、予測子の差分pに対して、符号化器側で適用されたものと同じ分割方法を適用する。例えば、限定するものではないが、一次元(1−D)k平均法によるクラスタリング、エッジに基づく分割などを含む分割処理を後処理と共に適用することができる。
4.各セグメントにつき、符号化器から送信された重みインデックスを使用して、各セグメントの重み付けされた予測子の和が算出される。
上述したアルゴリズムにおいては、拡張予測子の数は1つに限定されているが、本技術分野および関連する技術分野の当業者であれば、拡張予測子のために複数の予測子を使用できることが容易に理解できよう。さらに、符号化器および復号器によって重みインデックスが共有される場合、重みインデックスを任意の組み合わせで定義することができる。即ち、符号化器および復号器が同じ情報を共有する限り、重みマトリックスを定義することができる。従って、「任意の組み合わせ」は、W={(1,0)、(0,1)、(1/2,1/2)、(1/3,2/3)、(1/6,5/6)}など、「任意の有用な組み合わせ」を意味する。勿論、本願の原理の精神を逸脱することなく、他の組み合わせを使用することもできる。
<MPEG−4 AVC規格のためのインプリシットなブロック分割の実施>
インプリシットなブロック分割(IBS)は、どのようなビデオ符号化器および復号器においても実施することができる。一実施の形態においては、本願の原理は、MPEG−4 AVC規格に関して実施される。現在のインター・ブロック・モードは、インター16×16モードとインター16×8モードとの間にインター16×16_IBSを挿入することによって拡張される。表1は、PスライスおよびSPスライスのためのマクロブロック・タイプの値0〜5を示している。
Figure 0005368482
サーチの演算量を低減するために、基本レイヤーの予測子pの候補には限られたセットを使用し、拡張レイヤー予測子pにはフルサーチを行う。基本予測子の最良の候補は、インター16×16、インター16×8、インター8×16、およびインター8×8のモードのモードによって最良に一致したものから収集される。さらに、オリジナルのマクロブロック・セグメントに最良に一致したものが基本レイヤー予測子の候補のセットに追加される。オリジナル・マクロブロック・セグメントに最良に一致したものは、インター16×16の動きサーチ・ステップを用いて見つけられる。
インター16×16_IBSのための最良の予測子のペア(p、p)を選択するために、一実施の形態においては、3つの異なるエラー・メトリックが使用される。各基本レイヤー予測子の候補につき、サーチ範囲内で、最良の相補的な拡張レイヤー予測子がサーチされる。第1のエラー・メトリックは、差分絶対値和であり、これは、各セグメントの重みインデックスを決定するのに使用される。各セグメントの差分絶対値和は、セット(集合)Wにおける全ての重みについて算出され、最小の差分絶対値和を有する重みインデックスが選択される。第2に、所与の基本レイヤー予測子のための最良の拡張レイヤー予測子の選択において、簡略化されたレート歪み(R−D:rate−distortion)コスト、即ち、Jが以下のように規定される。
Figure 0005368482
ここで、Nは、pにおけるセグメントの数であり、Bは、B=log2|W|として規定されるセグメント毎の重みインデックスのビット数であり、MVcost(p)は、拡張レイヤー予測子pの動きベクトルのコストである。MVcost()およびλは、ジョイント・モデル参照ソフトウエアにおける符号化方法に従っている。M個の基本レイヤー予測子の候補に対し、同じ数の一致する拡張レイヤー予測子が見つけられる。最後に、M個の基本レイヤー予測子および拡張レイヤー予測子のペアのレート歪みコスト(RD)が算出され、(例えば、レート歪みモード決定を使用して、)MPEG−4 AVC規格における他の各ブロック・モードのレート歪みコストと比較される。インター16×16_IBSにおける符号化された情報には、基本レイヤー予測子および拡張レイヤー予測子の参照インデックスおよび動きベクトル、さらに、各セグメントの重みインデックスが含まれる。重みインデックスは、例えば、レート歪みモード決定における可変長符号、さらに、ビットストリーム符号化における2値算術符号によって符号化される。勿論、本願の原理の精神を逸脱することなく、他の符号化技術を使用してもよい。
例示的なスライス・ヘッダ・シンタックスを表2に示す。
Figure 0005368482
例示的なマクロブロック予測シンタックスを表3に示す。
Figure 0005368482
表3に関し、extractSegment()は、ref_idxl0、ref_idxl1、mvd_l0、およびmvd_l1により予測子から信号送信された各セグメントを算出し、見つかった数のセグメントを返す関数である。
図4を参照すると、予測子のペアおよび関連する重みインデックス・サーチを決定する方法が概ね参照符号400によって示されている。方法400は、例えば、ビデオ符号化器において実施することができる。
方法400は、制御をループ・リミット・ブロック406に受け渡す開始ブロック405を含む。ループ・リミット・ブロック406は、基本レイヤー予測子および拡張レイヤー予測子の最良のペア(p、p)のためのループを開始し、制御を機能ブロック408に受け渡す。機能ブロック408は、セグメントの初期数をNに設定し、制御を機能ブロック410に受け渡す。機能ブロック410は、予測子の差分pを基本レイヤー予測子{p}466および拡張レイヤー予測子{p}477を使用してp=p−pにより算出し、制御を機能ブロック415に受け渡す。機能ブロック415は、一次元(1−D)k平均法によるクラスタリングおよび後処理を予測子の差分pに適用し、制御を機能ブロック420に受け渡す。機能ブロック420は、各セグメントにおいて最良の重みインデックスを見つけ、制御を決定ブロック425に受け渡す。判定ブロック425は、現在のセグメントのレート歪み(R−D)のコストjが最低であるかどうかを判定する。現在のセグメントのレート歪み(R−D)のコストjが最低である場合には、制御が機能ブロック430に受け渡される。そうでない場合には、制御が判定ブロック435に受け渡される。
機能ブロック430は、所与の基本レイヤー予測子pについて、重みインデックスおよび拡張レイヤー予測子pを更新し、制御を判定ブロック435に受け渡す。
判定ブロック435は、全ての拡張レイヤー予測子pがサーチされたかどうかを判定する。全ての拡張レイヤー予測子pがサーチされた場合には、制御が判定ブロック440に受け渡される。そうでない場合には、制御が機能ブロック410に戻され、拡張レイヤー予測子477のうち、次のもの{p}を使用して予測子の差分pを算出する。
判定ブロック440は、(p,p)のレート歪み(R−D)コストが最低であるかどうかを判定する。(p,p)のレート歪み(R−D)コストが最低である場合には、制御が機能ブロック445に受け渡される。そうでない場合には、制御が判定ブロック450に受け渡される。
機能ブロック445は、重みインデックスおよびペア(p,p)を更新し、制御を判定ブロック450に受け渡す。
判定ブロック450は、全ての基本レイヤー予測子pがサーチされたかどうかを判定する。全ての基本レイヤー予測子pがサーチされた場合には、制御がループ・リミット・ブロック455に受け渡される。そうでない場合には、制御が機能ブロック410に戻され、基本レイヤー予測子466のうち、次のもの{p}を使用して予測子の差分pを算出する。
機能ブロック455は、(p,p)の最良のペアのためのループを終了し、制御を機能ブロック458に受け渡す。機能ブロック458は、(p,p)の最良のペアを返し、制御を終了ブロック499に受け渡す。
図5を参照すると、画像ブロックのためのインプリシットなブロック分割(IBS)予測子を算出する例示的な方法が概ね参照符号500によって示されている。方法500は、例えば、ビデオ復号器において実施することができる。
方法500は、制御を機能ブロック508に受け渡す開始ブロック505を含む。機能ブロック508は、セグメントの初期数をNに設定し、制御を機能ブロック510に受け渡す。機能ブロック510は、予測子の差分pを基本レイヤー予測子{p}566および拡張レイヤー予測子{p}577を使用してp=p−pにより算出し、制御を機能ブロック515に受け渡す。機能ブロック515は、一次元(1−D)k平均法によるクラスタリングおよび後処理を予測子の差分pに適用し、制御を機能ブロック520に受け渡す。機能ブロック520は、重みインデックス588を使用して、各セグメントにおいて予測子の重み付けされた和を算出し、制御を機能ブロック525に受け渡す。機能ブロック525は、各セグメントについて、予測子を組み合わせ、制御を機能ブロック530に受け渡す。機能ブロック530は、インプリシットなブロック分割(IBS)予測子を返し、制御を終了ブロック599に受け渡す。
<不一致補償ツールとの組み合わせ>
MPEG−4 AVC規格における4×4または8×8のブロック離散コサイン変換により、離散コサイン変換ブロック内にセグメント境界が存在するとき、異なる予測子による残差エラーは、AC成分を増加させやすい。クロスビュー符号化において照射の不一致が存在すると、これは、深刻である。本願の原理に従って提案されるインプリシットなブロック分割(IBS)に照射補償ツールを組み合わせることにより、クロスビュー予測の符号化効率が向上するであろう。
本発明の多くの付随する利点/特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、1つの利点/特徴は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも2つの予測子の画素の差分に対するブロック分割処理を使用することによって符号化する符号化器を備える装置である。符号化器は、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する。
別の利点/特徴は、上述した符号化器を有する装置であって、符号化器は、復号器による上記部分の復号に使用するための少なくとも2つの予測子を信号送信する、この装置である。
また、別の利点/特徴は、上述した符号化器を有する装置であって、符号化器は、復号器による上記部分の復号に使用するための重みインデックスを信号送信する、この装置である。
さらに、別の利点/特徴は、上述した符号化器を有する装置であって、ブロック分割は、少なくとも1つの参照ピクチャにおける少なくとも1つのブロックに対して行われる、この装置である。
さらに、別の利点/特徴は、上述した符号化器を有する装置であって、ブロック分割は、エッジに基づく分割およびk平均法によるクラスタリングの少なくとも一方を使用して行われる、この装置である。
さらに、別の利点/特徴は、上述した符号化器を有する装置であって、ブロック分割の後に、符号化器は、少なくとも2つの予測子の画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、この装置である。
さらに、別の利点/特徴は、上述した符号化器を有する装置であって、各セグメントにつき、符号化器は、少なくとも2つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、上記部分のための最終的な予測子を算出する、この装置である。
さらに、別の利点/特徴は、上述した符号化器を有する装置であって、符号化器は、少なくとも2つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信する、この装置である。
さらに、別の利点/特徴は、上述した符号化器を有する装置であって、ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じ、または、類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの1つである、この装置である。ピクチャは、複数の異なる視点のうちの現在の視点を表す。少なくとも2つの予測子のうちの少なくとも一方は、複数の異なる視点のうちの現在の視点ではない、複数の異なる視点のうちの特定の視点に対応するインタービュー予測値である。少なくとも2つの予測子のうちの少なくとも他方は、複数の異なる視点のうちの現在の視点に対応する時間的な予測値である。
本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。
より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、1つ以上の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、入出力(I/O)インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、CPUによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。
添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本願の原理の範囲に含まれるべきものと解釈するべきである。

Claims (34)

  1. ピクチャの少なくとも一つの部分を符号化する符号化器であって、ブロック分割処理が当該部分に対する少なくとも2つの予測子の画素の差分に適用され、該符号化器が前記少なくとも2つの予測子の各々に対する対応する重みを算出し、そして、重み付けされた予測子の和として前記部分に対する最終的な予測子を算出する、前記符号化器を備え、
    前記符号化器は、復号器による前記部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する、装置。
  2. 前記符号化器は、前記復号器による前記部分の復号に使用するための前記少なくとも2つの予測子の位置を信号送信する、請求項1に記載の装置。
  3. 前記符号化器は、前記復号器による前記部分の復号に使用するための、前記少なくとも2つの予測子に適用される重みを示す重みインデックスを信号送信する、請求項1に記載の装置。
  4. 前記ブロック分割は、少なくとも1つの参照ピクチャにおける少なくとも1つのブロックに対して行われる、請求項1に記載の装置。
  5. 前記ブロック分割は、エッジに基づく分割およびk平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項1に記載の装置。
  6. 前記ブロック分割の後に、前記符号化器は、前記少なくとも2つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、請求項1に記載の装置。
  7. 前記符号化器は、前記少なくとも2つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信する、請求項1に記載の装置。
  8. 前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの1つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも2つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも2つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項1に記載の装置。
  9. ピクチャの少なくとも一つの部分を符号化するステップであって、ブロック分割処理が当該部分に対する少なくとも2つの予測子の画素の差分に適用され、該符号化するステップが前記少なくとも2つの予測子の各々に対する対応する重みを算出ことと、重み付けされた予測子の和として前記部分に対する最終的な予測子を算出することを含む、該符号化するステップと、
    前記符号化するステップは、復号器による前記部分の復号に使用するためのブロック分割情報をインプリシットに信号送信することを含む、方法。
  10. 前記符号化ステップは、前記復号器による前記部分の復号に使用するための前記少なくとも2つの予測子の位置を信号送信するステップを含む、請求項9に記載の方法。
  11. 前記符号化ステップは、前記復号器による前記部分の復号に使用するための、前記少なくとも2つの予測子に適用される重みを示す重みインデックスを信号送信するステップを含む、請求項9に記載の方法。
  12. 前記ブロック分割は、少なくとも1つの参照ピクチャにおける少なくとも1つのブロックに対して行われる、請求項9に記載の方法。
  13. 前記ブロック分割は、エッジに基づく分割およびk平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項9に記載の方法。
  14. 前記ブロック分割の後に、前記少なくとも2つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用するステップをさらに含む、請求項9に記載の方法。
  15. 前記符号化ステップは、前記少なくとも2つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信するステップを含む、請求項9に記載の方法。
  16. 前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの1つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも2つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも2つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項9に記載の方法。
  17. ピクチャの少なくとも一つの部分を復号する復号器であって、ブロック分割処理が当該部分に対する少なくとも2つの予測子の画素の差分に適用され、該復号器が前記少なくとも2つの予測子の各々に対する対応する重みを算出し、そして、重み付けされた予測子の和として前記部分に対する最終的な予測子を算出する、前記復号器を備え、
    前記復号器は、インプリシットにブロック分割情報を決定する、装置。
  18. 前記ブロック分割情報は、少なくとも1つのシンタックス要素からインプリシットに決定される、請求項17に記載の装置。
  19. 前記復号器は、当該復号器による前記部分の復号に使用するための前記少なくとも2つの予測子の位置を示す信号を受信する、請求項17に記載の装置。
  20. 前記復号器は、当該復号器による前記部分の復号に使用するための、前記少なくとも2つの予測子に適用される重みを示す重みインデックスを受信する、請求項17に記載の装置。
  21. 前記ブロック分割は、少なくとも1つの参照ピクチャにおける少なくとも1つのブロックに対して行われる、請求項17に記載の装置。
  22. 前記ブロック分割は、エッジに基づく分割およびk平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項17に記載の装置。
  23. 前記ブロック分割の後に、前記復号器は、前記少なくとも2つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、請求項17に記載の装置。
  24. 前記復号器は、前記部分の復号に使用する前記少なくとも2つの予測子の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を受信する、請求項17に記載の装置。
  25. 前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの1つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも2つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも2つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項17に記載の装置。
  26. ピクチャの少なくとも一つの部分を復号するステップであって、ブロック分割処理が当該部分に対する少なくとも2つの予測子の画素の差分に適用され、該復号するステップが前記少なくとも2つの予測子の各々に対する対応する重みを算出し、そして、重み付けされた予測子の和として前記部分に対する最終的な予測子を算出する、前記復号ステップを含み、
    前記復号するステップは、インプリシットにブロック分割情報を決定することを含む、方法。
  27. 前記ブロック分割情報は、少なくとも1つのシンタックス要素からインプリシットに決定される、請求項26に記載の方法。
  28. 前記復号ステップは、前記復号器による前記部分の復号に使用するための前記少なくとも2つの予測子の位置を示す信号を受信するステップを含む、請求項26に記載の方法。
  29. 前記復号ステップは、前記復号器による前記部分の復号に使用するための、前記少なくとも2つの予測子に適用される重みを示す重みインデックスを受信するステップを含む、請求項26に記載の方法。
  30. 前記ブロック分割は、少なくとも1つの参照ピクチャにおける少なくとも1つのブロックに対して行われる、請求項26に記載の方法。
  31. 前記ブロック分割は、エッジに基づく分割およびk平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項26に記載の方法。
  32. 前記ブロック分割の後に、前記復号器は、前記少なくとも2つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用するステップを含む、請求項26に記載の方法。
  33. 前記復号ステップは、前記部分の復号に使用する前記少なくとも2つの予測子の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を受信するステップを含む、請求項26に記載の方法。
  34. 前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの1つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも2つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも2つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項26に記載の方法。
JP2010545859A 2008-02-05 2009-01-15 ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置 Active JP5368482B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US2627508P 2008-02-05 2008-02-05
US61/026,275 2008-02-05
PCT/US2009/000263 WO2009099510A1 (en) 2008-02-05 2009-01-15 Methods and apparatus for implicit block segmentation in video encoding and decoding

Publications (3)

Publication Number Publication Date
JP2011511597A JP2011511597A (ja) 2011-04-07
JP2011511597A5 JP2011511597A5 (ja) 2012-03-01
JP5368482B2 true JP5368482B2 (ja) 2013-12-18

Family

ID=40619629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010545859A Active JP5368482B2 (ja) 2008-02-05 2009-01-15 ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置

Country Status (7)

Country Link
US (1) US8953679B2 (ja)
EP (1) EP2243297B1 (ja)
JP (1) JP5368482B2 (ja)
KR (1) KR101571341B1 (ja)
CN (1) CN101933329B (ja)
BR (1) BRPI0907748A2 (ja)
WO (1) WO2009099510A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
MX2012004265A (es) 2009-10-20 2012-05-29 Samsung Electronics Co Ltd Metodo y aparato de generacion de flujo y metodo y aparato de procesamiento de flujo.
EP2326091B1 (en) * 2009-11-13 2015-08-12 NTT DoCoMo, Inc. Method and apparatus for synchronizing video data
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
KR102185765B1 (ko) * 2010-08-11 2020-12-03 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US9521424B1 (en) * 2010-10-29 2016-12-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for local weighted prediction coefficients estimation for video encoding
GB2488334B (en) * 2011-02-23 2015-07-22 Canon Kk Method of decoding a sequence of encoded digital images
RU2586064C2 (ru) 2011-03-18 2016-06-10 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
JP6072678B2 (ja) * 2011-04-25 2017-02-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US8989256B2 (en) * 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
US20130003847A1 (en) * 2011-06-30 2013-01-03 Danny Hong Motion Prediction in Scalable Video Coding
BR112014004062A2 (pt) 2011-08-31 2017-03-07 Sony Corp dispositivos e métodos de codificação e decodificação
US20140321546A1 (en) * 2011-08-31 2014-10-30 Sony Corporation Image processing apparatus and image processing method
WO2013035452A1 (ja) * 2011-09-05 2013-03-14 シャープ株式会社 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
HUE034631T2 (en) 2011-11-11 2018-02-28 Ge Video Compression Llc Adaptive partition coding
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
KR101810916B1 (ko) * 2011-11-11 2017-12-20 지이 비디오 컴프레션, 엘엘씨 분할 코딩을 이용한 효과적인 예측
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US9392274B2 (en) 2012-03-22 2016-07-12 Qualcomm Incorporated Inter layer texture prediction for video coding
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
WO2013171173A1 (en) 2012-05-14 2013-11-21 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US20140044162A1 (en) * 2012-08-08 2014-02-13 Qualcomm Incorporated Adaptive inference mode information derivation in scalable video coding
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
KR101835358B1 (ko) * 2012-10-01 2018-03-08 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10750190B2 (en) * 2016-10-11 2020-08-18 Lg Electronics Inc. Video decoding method and device in video coding system
CN117061736A (zh) 2017-01-13 2023-11-14 谷歌有限责任公司 视频代码化的复合预测
WO2020106124A1 (ko) * 2018-11-23 2020-05-28 가온미디어 주식회사 효율적 블록 분할을 처리하는 영상 복호화 및 부호화 방법
EP4059217A4 (en) * 2019-11-27 2023-11-29 HFI Innovation Inc. METHOD AND APPARATUS FOR DERIVING UNIFORM WEIGHT AND MOVEMENT INDICES FOR GEOMETRIC FUSION MODE IN VIDEO CODING
TWI805511B (zh) 2022-10-18 2023-06-11 國立中正大學 內積計算裝置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2618915B2 (ja) 1987-09-10 1997-06-11 富士通株式会社 動き補償のブロックサイズ決定方法
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
JP3377893B2 (ja) 1995-10-25 2003-02-17 沖電気工業株式会社 動画像符号化復号化装置
SE511514C2 (sv) * 1997-05-13 1999-10-11 Ericsson Telefon Ab L M Förfarande och anordning för bildkompression
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US6711211B1 (en) * 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
US6909749B2 (en) * 2002-07-15 2005-06-21 Pts Corporation Hierarchical segment-based motion vector encoding and decoding
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
US20040258162A1 (en) * 2003-06-20 2004-12-23 Stephen Gordon Systems and methods for encoding and decoding video data in parallel
JP2006246351A (ja) 2005-03-07 2006-09-14 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
CN100466725C (zh) * 2005-11-03 2009-03-04 华为技术有限公司 多媒体通信方法及其终端
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
EP2243297A1 (en) 2010-10-27
JP2011511597A (ja) 2011-04-07
KR20100136962A (ko) 2010-12-29
EP2243297B1 (en) 2017-03-08
US8953679B2 (en) 2015-02-10
CN101933329B (zh) 2013-05-29
US20100329334A1 (en) 2010-12-30
KR101571341B1 (ko) 2015-11-25
CN101933329A (zh) 2010-12-29
WO2009099510A1 (en) 2009-08-13
BRPI0907748A2 (pt) 2015-07-21

Similar Documents

Publication Publication Date Title
JP5368482B2 (ja) ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置
JP5224458B2 (ja) マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
KR101944289B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
TWI488145B (zh) 於多重視圖編碼視訊中利用區域差異向量的運動跳過模式之方法及裝置
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
TW201742465A (zh) 用於視訊寫碼之仿射運動預測
JP2015144487A (ja) ビデオ復号処理のためにアダブティブなジオメトリック分割を行う方法および装置
WO2006073116A1 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2013523010A (ja) ビデオ符号化およびビデオ復号化のための暗示的適応型動きベクトル予測器選択の方法および装置
CN114128260A (zh) 全局运动矢量的高效编码
CN114009042A (zh) 具有全局运动的帧中的候选
JP6528635B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6019797B2 (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
KR101078525B1 (ko) 다중시점 영상의 부호화 방법
TW202408243A (zh) 用於視頻編解碼的解碼器側運動向量優化和雙向光流的方法和裝置
KR20120079561A (ko) 선택적 다중 예측을 통한 적응적 인트라 예측 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130131

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130912

R150 Certificate of patent or registration of utility model

Ref document number: 5368482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250