JP6258704B2 - ブロック統合およびスキップモードをサポートする画像符号化および画像復号化 - Google Patents

ブロック統合およびスキップモードをサポートする画像符号化および画像復号化 Download PDF

Info

Publication number
JP6258704B2
JP6258704B2 JP2013537146A JP2013537146A JP6258704B2 JP 6258704 B2 JP6258704 B2 JP 6258704B2 JP 2013537146 A JP2013537146 A JP 2013537146A JP 2013537146 A JP2013537146 A JP 2013537146A JP 6258704 B2 JP6258704 B2 JP 6258704B2
Authority
JP
Japan
Prior art keywords
block
current block
bitstream
integration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013537146A
Other languages
English (en)
Other versions
JP2013542691A (ja
Inventor
ハイコ シュヴァルツ
ハイコ シュヴァルツ
ハイナー キルヒホーファー
ハイナー キルヒホーファー
フィリップ ヘレ
フィリップ ヘレ
ジーモン オーディン
ジーモン オーディン
ヤン シュテーゲマン
ヤン シュテーゲマン
ベンヤミン ブロス
ベンヤミン ブロス
デトレフ マルペ
デトレフ マルペ
トーマス ウィーガント
トーマス ウィーガント
Original Assignee
ジーイー ビデオ コンプレッション エルエルシー
ジーイー ビデオ コンプレッション エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーイー ビデオ コンプレッション エルエルシー, ジーイー ビデオ コンプレッション エルエルシー filed Critical ジーイー ビデオ コンプレッション エルエルシー
Publication of JP2013542691A publication Critical patent/JP2013542691A/ja
Application granted granted Critical
Publication of JP6258704B2 publication Critical patent/JP6258704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本願は、画像および/またはビデオ符号化、および、特に、ブロック分割およびスキップモードをサポートするコーデックに関する。
多くの画像および/またはビデオコーデックは、ブロックの単位で画像を処理する。例えば、予測コーデックは、予測パラメータについてあまりにも多くの補助情報を使うことになるが、高空間分解能で予測パラメータセットを非常に正確に設定することと、予測パラメータの低空間分解能のために予測残差を符号化するのに必要なビット量の増加を招く、予測パラメータを非常に粗く設定することとの間の良い妥協点を得るために、ブロック粒度を使用する。要するに、予測パラメータのための最適な設定が、両端の間のどこかにある。
上述の課題についての最適解を得るために、いくつかの試みがなされている。例えば、行および列に規則的に配置されたブロックへの画像の規則的な細分化を使用する代わりに、マルチツリー分割する細分化は、細分化情報のための適切な要求でブロックに画像を細分化することの自由度を増加させようとする。しかし、マルチツリー細分化さえも、著しい量のデータの信号化を必要とし、画像を細分化する際の自由度は、このようなマルチツリー細分化を使用する場合でさえ、かなり制限される。
画像細分化を信号化するために必要な補助情報の量と、画像を細分化する際の自由度との間のより良いトレードオフを可能にするために、ブロックの統合が、統合情報を信号化するために必要な妥当な量の追加データで、可能な画像細分化の数を増加させるために使用されることができる。統合されているブロックに関しては、結果として生じるブロックの統合されたグループが画像の直接細分化された部分であるかのように、同様に、符号化パラメータは、全体でただ一度だけビットストリームの中で送信されることを必要とする。
画像内容を符号化する際の効率をさらに増加させるために、スキップモードは、いくつかのブロックベースの画像コーデックに導入され、スキップモードは、符号器が特定のブロックの残差データを復号器に送信することを避けることを可能にした。すなわち、スキップモードは、特定のブロックについての残差データ送信を抑制するという可能性である。特定のブロックに関する残差データの送信を抑制する性能は、結果として符号化品質と費やされる全体のビットレートとの間の最適トレードオフが期待されうる符号化/予測パラメータを符号化するためのより広い粒度間隔をもたらす。当然、このことにより残差データを符号化するのに必要なレートを低下させている残余部分を減少させるが、その一方で、符号化/予測パラメータの符号化の空間分解能を増加させることは、結果として補助情報レートの増加をもたらす。しかし、スキップモードを利用可能性であることによって、残余部分が非常に小さいので残余部分の別個の送信も省略しうるように、符号化/予測パラメータが送信される粒度を適度に更に増加させるだけで、急激な符号化レートの節約を得ることが有利でありえる。
しかしながら、ブロック統合およびスキップモード使用の組み合わせによって新たに生じる残存する冗長のため、なお、より良い符号化効率を達成する必要がある。
このように、本発明の目的は、増加した符号化効率を有する符号化構想を供給することである。この目的は、出願に係る独立請求項によって達成される。
本発明の根底にある考えは、統合のアクティブ化およびスキップモードのアクティブ化の両方に関してビットストリームの中で共通の信号化が使用される場合、更なる符号化効率の増加が達成されうるということである。すなわち、ビットストリームの中の1つ又は複数のシンタックス要素の可能な状態のうちの1つが、画像の現在のサンプルセットに関して、各サンプルセットが統合されることになっており、符号化されてビットストリームに挿入された予測残差を有しないことを信号化しうる。別な言い方をすれば、共通のフラグが、現在のサンプルセットと関連した符号化パラメータが、統合候補に従ってセットされることになるか、または、ビットストリームから取り出されることになるか、並びに、画像の現在のサンプルセットが、いかなる残差データもなしで、現在のサンプルセットと関連した符号化パラメータに応じた予測信号のみに基づいて、再構築されることになるかどうか、または、ビットストリームの中の残差データによって現在のサンプルセットと関連した符号化パラメータに応じた予測信号をリファインすることによって再構築されることになるかを共通に信号化する。
本発明の発明者は、この統合のアクティブ化とスキップモードのアクティブ化の共通の信号化の導入が、統合のアクティブ化および/またはスキップモードのアクティブ化を互いに別々に信号化するための付加的オーバーヘッドが、低減されうる、または、統合およびスキップモードが同時にアクティブ化されない場合には費やされる必要がありうるように、ビットレートを節約することを発見した。
本発明の有利な実施態様は、付随した従属請求項の対象である。
本願の好ましい実施態様は、図に関して更に詳細に以下に説明される。
図1は、実施形態による符号化のための装置のブロック図を示す。 図2は、より詳細な実施形態による符号化のための装置のブロック図を示す。 図3は、実施形態による復号のための装置のブロック図を示す。 図4は、より詳細な実施形態による復号のための装置のブロック図を示す。 図5は、図1または図2の符号器の可能な内部構造のブロック図を示す。 図6は、図3または図4の復号器の可能な内部構造のブロック図を示す。 図7aは、ツリールートブロック、符号化単位(ブロック)、および予測単位(パーティション)に画像の可能な細分化を概略的に示す。 図7bは、図示に従ってパーティションのレベルにまで、図7aに示されたツリールートブロックの細分化ツリーを示す。 図8は、実施形態による可能なサポートされた分割パターンのセットのための実施形態を示す。 図9は、図8に従ってブロック分割を使用するときに、ブロック統合とブロック分割を組み合わせることから効率的に生じる可能な分割パターンを示す。 図10は、実施形態によるスキップ/ダイレクトモードのための候補ブロックを示す。 図11は、実施形態によるシンタックスのシンタックス部分を示す。 図12は、実施形態によるシンタックスのシンタックス部分を示す。 図13aは、実施形態によるシンタックスのシンタックス部分を示す。 図13bは、実施形態によるシンタックスのシンタックス部分を示す。 図14は、実施形態によるパーティションのための隣接したパーティションの定義を概略的に示す。
以下の記載に関して、同じ参照符号が異なる図に関係して使用されるときはいつでも、これらの図の1つに関して提示された各要素に関連した説明が、1つの図から他の図へと説明を移ることがこの他の図の残りの記載と矛盾しない場合には、同様に、他の図に適用される点に留意されたい。
図1は、ビットストリーム30に画像20を符号化する装置10を示す。当然、画像20は、符号器がビデオエンコーダである場合にはビデオの一部でありえる。
図1には明示的に示されてはいないが、画像20は、サンプルの配列として示される。画像20のサンプル配列は、サンプルセット40に分割される。そして、それらは、画像20の重なりなしの1つの連結された領域をカバーしているサンプルセットなどのいかなるサンプルのセットでもありえる。理解を容易にするために、サンプルセット40がブロック40として(以下、ブロックと呼ぶ)示されるが、以下の記載は、特別な種類のサンプルセット40に制限されるものとしてみなされるべきではない。具体的な実施形態によれば、サンプルセット40は、長方形のおよび/または正方形のブロックである。
例えば、画像20は、例として図1に示されるようにブロック40が行および列に配置されるように、ブロック40の規則的な配置に細分化されうる。しかし、ブロック40への画像20の他のいかなる細分化も可能でありうる。特に、ブロック40への画像20の細分化は、固定されうる、すなわち、デフォルトで復号器に知られうる、または、復号器へのビットストリーム30の中でシグナリングされうる。特に、画像20のブロック40は、サイズの点で変わりうる。例えば、クワッドツリー(quad−tree)細分化などのマルチツリー細分化は、この場合、マルチツリー細分化のリーフブロック(leaf block)を形成するブロック40を得るために、画像20に、または、規則的に配置されたツリールートブロックへの画像20の規則的な予めの細分化に適用されうる。
いずれにせよ、符号器10は、現在のサンプルセット40に関して、現在のサンプルセット40と関連した符号化パラメータが、統合候補に従ってセットされることになるか、または、ビットストリーム30から取り出されることになるかどうか、そして、画像20の現在のサンプルセットが、いかなる残差データなしで、現在のサンプルセットと関連した符号化パラメータに応じた予測信号にのみ基づいて再構築されることになるか、または、ビットストリーム30の中の残差データによって、現在のサンプルセット40と関連した符号化パラメータに応じた予測信号をリファインすることによって再構築されることになるかどうかを共通にシグナリングする、ビットストリーム30の中のフラグを符号化するように構成される。例えば、符号器10は、現在のサンプルセット40に関して、第1の状態をとる場合、現在のサンプルセット40と関連した符号化パラメータが、ビットストリーム30から取り出されることになるのではなく、統合候補に従ってセットされることになること、および、画像20の現在のサンプルセットが、いかなる残差データなしで、現在のサンプルセットと関連した符号化パラメータに応じた予測信号のみに基づいて再構築されることになることを、そして、他の状態をとる場合、現在のサンプルセット40と関連した符号化パラメータが、ビットストリーム30から取り出されることになること、または、画像20の現在のサンプルセットが、ビットストリーム30の中の残差データによって、現在のサンプルセット40と関連した符号化パラメータに応じた予測信号をリファインすることによって再構築することになることを共通にシグナリングする、ビットストリーム30の中のフラグを符号化するように構成される。このことは、以下のことを意味する。符号器10は、ブロック40の統合をサポートする。統合は、条件的である。すなわち、すべてのブロック40が、統合に従うというわけではない。いくつかのブロック40に関して、それは、例えばレート歪み最適化の観点において、現在ブロック40を統合候補と統合することが有利であるが、他のブロックに関しては、その逆が当てはまる。特定のブロック40が統合の対象とされるべきかどうかを決めるために、符号器10は、統合候補のセットまたはリストを決定し、これらの統合候補の各々に関して、その統合候補と現在ブロック40を統合することが、例えばレート歪み最適化の観点で、最も好ましい符号化オプションを形成するかどうかをチェックする。符号器10は、ビットストリーム30の、前に符号化された部分に基づいて、現在ブロック40のための統合候補のセットまたはリストを決定するように構成される。例えば、符号器10は、符号器10によって適用された符号化順に従って前に符号化された、位置的におよび/または時間的に隣接したブロック40と関連した符号化パラメータを採用することによって、統合候補のセットまたはリストの少なくとも一部を抽出する。時間的隣接は、例えば、画像20が属するビデオの前に符号化された画像のブロックを表し、その時間的に隣接するブロックは、現在の画像20の現在ブロック40に空間的に重なるように位置する。したがって、統合候補のセットまたはリストのこの部分に関して、各統合候補と空間的におよび/または時間的に隣接したブロックとの間に1対1の関連がある。各統合候補は、それと関連した符号化パラメータを有する。現在ブロック40が統合候補のいずれかに統合される場合、符号器10は、統合候補に従って、現在ブロック40の符号化パラメータをセットする。例えば、符号器10は、各統合候補に等しくなるように、現在ブロック40の符号化パラメータをセットすることができる。すなわち、符号器10は、各統合候補から現在ブロック40の符号化パラメータを複製することができる。このように、統合候補のセットまたはリストのこの上記部分に関して、統合候補の符号化パラメータは、空間的におよび/または時間的に隣接したブロックから直接採用される、または、各統合候補の符号化パラメータは、それを採用することによって、すなわち、それと等しい統合候補をセットすることによって、この種の空間的におよび/または時間的に隣接したブロックから得られる。しかしながら、一方で、例えば、領域変更に従って、採用された符号化パラメータをスケールすることによって、領域変更を考慮にいれる。例えば、統合に従う符号化パラメータの少なくとも一部は、動きパラメータを含むことができる。しかし、動きパラメータは、異なる参照画像インデックスに関するものでもよい。より正確には、採用されることになる動きパラメータは、現在の画像と参照画像との間の特定の時間間隔に関するものでもよく、そして、現在ブロックを各動きパラメータを有する各統合候補と統合する際に、符号器10は、その時間間隔を現在ブロックのために選択される時間間隔に適用するために、各統合候補の動きパラメータをスケールするように構成されうる。
いずれにせよ、これまで説明された統合候補は、それらの全部がそれらと関連した符号化パラメータを有するという共通点があり、そして、これらの統合候補と隣接したブロックとの間に1対1の関連がある。したがって、上記統合候補のいずれかとブロック40を統合することは、スケーリングアダプテーション等を除いて、符号化パラメータがブロック40のこれらのグループ内で画像20の全域で異ならないように、1つ又は複数のブロック40のグループへのこれらのブロックの統合として考えられうる。事実上、上記統合候補のいずれかに関する統合は、符号化パラメータが画像20にわたって異なる粒度を削減する。その上、上記統合候補のいずれかに関する統合は、結果として、それぞれ、ブロック40およびブロック40のグループに画像20を細分化する際の付加的な自由度をもたらす。従って、この点に関して、ブロックのこの種のグループへのブロック40の統合は、符号器10に、ブロック40のこれらのグループの単位で、画像20の全域で異なる符号化パラメータを使用して、画像20を符号化させるといえる。
上で述べた統合候補の他に、符号器10は、2つ以上の隣接したブロックの符号化パラメータの組み合わせ、例えばそれらの算術平均、幾何平均または隣接したブロックの符号化パラメータの中央値などの結果である統合候補のセット/リストに統合候補を追加することもできる。
このように、事実上、符号器10は、ブロック40への画像20の細分化によって定められる粒度と比較して、符号化パラメータがビットストリーム30の中で明示的に送信される粒度を削減する。これらのブロック40のいくつかは、上記概説された統合オプションを用いて、全く同一の符号化パラメータを使用して、ブロックのグループを形成する。いくつかのブロックは、統合によって互いに連結されるが、各スケーリングアダプテーションおよび/または組合せの機能によって互いに相関している異なる符号化パラメータを使用する。いくつかのブロック40は、統合に従わず、したがって、符号器10は、ビットストリーム30に符号化パラメータを直接符号化する。
符号器10は、画像20のための予測信号を決定するために、このように定められたブロック40の符号化パラメータを使用する。符号器10は、予測信号が各ブロック40と関連した符号化パラメータによって決まるという点において、予測信号のブロックごとのこの決定を実行する。
符号器10によって実行された別の決定は、残余部分、すなわち、現在ブロック40の各局部での予測信号と元の画像内容との差がビットストリーム30の中で送信されることになるかどうかということである。すなわち、符号器10は、ブロック40に関して、スキップモードが各ブロックに適用されるかどうかを決定する。スキップモードが適用される場合、符号器10は、単に、各ブロック40と関連した符号化パラメータから得られた又はそれに応じた予測信号の形で、現在の部分40の中の画像20を符号化し、スキップモードが選択されなかった場合、符号器10は、予測信号と残差データの両方を使用して、ブロック40の中のビットストリーム30への画像20を符号化する。
統合とスキップモードに関する決定をシグナリングするためにビットレートを節約するために、符号器10は、ブロック40のための1つのフラグを使用して、両方の決定を共通にシグナリングする。より正確には、共通の信号化が、統合およびスキップモードの両方のアクティブ化が、第1の可能なフラグ状態をとっているビットストリーム30の中の各ブロック40のフラグによって共通に示され、一方、そのフラグの他のフラグ状態が、統合またはスキップモードのうちのいずれかがアクティブ化されないことを復号器に示すだけであるように、実現されることができる。例えば、符号器10は、特定のブロック40に関して、統合をアクティブ化するが、スキップモードを非アクティブ化させるように決定することができる。その場合、符号器10は、統合およびスキップモードのうちの少なくとも1つの非アクティブ化をビットストリーム30の中でシグナリングするために、他のフラグ状態を使用し、一方で、その後に、例えば、別のフラグを用いてビットストリーム30の中で統合のアクティブ化をシグナリングする。したがって、符号器10は、統合およびスキップモードが同時にアクティブ化されないブロック40の場合にだけこの更なるフラグを送信する必要がある。更に後述する実施形態において、第1のフラグは、mrg_cbfまたはskip_flagと呼ばれ、一方、補助的な統合インジケータフラグは、mrgまたはmerge_flagと呼ばれる。統合およびスキップモードのアクティブ化を共通に信号化するための1つの信号化状態のこの共通使用がビットストリーム30の全体のビットレートを削減することが、本願の発明者によって発見された。
上で説明された信号化状態に関して、この種の信号化状態が、ビットストリーム30の1ビットの状態によって決定されることができる点に留意する必要がある。しかし、符号器10は、ビットストリーム30をエントロピー符号化するように構成されう、したがって、フラグおよびビットストリーム30の信号化状態の間の相関関係は、より複雑になりうる。その場合、その状態は、エントロピー復号化領域においてビットストリーム30の1ビットに対応することができる。更に、信号化状態は、符号語が可変長符号化方式に従って割り当てられるフラグの2つの状態のうちの1つに対応することができる。算術符号化の場合には、統合およびスキップモードのアクティブ化を共通にシグナリングする信号化状態は、算術符号化方式の基礎をなしているシンボルアルファベットのシンボルのうちの1つに対応しうる。
上記概説されたように、符号器10は、ビットストリーム30の中のフラグを使用して、統合およびスキップモードの同時のアクティブ化を信号送信する。下で更に詳細に概説されるように、このフラグは、2つ以上の可能な状態を有するシンタックス要素の中で送信されうる。このシンタックス要素は、例えば、同様に他の符号化オプションも信号送信しうる。詳細は、下で更に詳しく説明される。しかし、その場合、1つ又は複数のシンタックス要素の可能な状態のうちの1つは、同時のアクティブ化を信号化する。すなわち、現在ブロック40のちょうど言及されたシンタックス要素が、この所定の可能な状態をとるときはいつでも、符号器10は、それによって、統合およびスキップモードのアクティブ化を信号化する。復号器は、このように統合のアクティブ化およびスキップモードのアクティブ化に関して、それぞれ、更なる信号化を必要としない。
上で概説された記載に関して、ブロック40への画像20の分割が、符号化パラメータが画像20のために決定される最も微細な解像度を示さないこともある点に留意する必要がある。むしろ、符号器10は、サブブロック50および60に、すなわち、サンプルサブセットに、それぞれ、現在ブロック40を分割するためのサポートされた分割パターンのうちの1つをビットストリーム30の中で信号送信するために、更なる分割情報と各ブロックを付随させうる。その場合、同時の統合/スキップ決定は、ブロック40の単位で、符号器10によって実行されるが、例えば、互いに分離した補助的な統合決定および/またはスキップモード決定に伴う符号化パラメータは、図1の例として示されたブロック40において、ブロック40の再分割の単位で、すなわち、サブブロック50および60の単位で、画像20に関して定められる。当然、非分割モードは、サポートされた分割パターンのうちの1つを示すことができ、それによって、結果として符号器10が単にブロック40のための符号化パラメータの1セットを決定するだけである。各分割パターンのサブブロック50および60の数にかかわりなく、統合決定は、すべてのサブブロックに、すなわち、その1つ又は複数のサブブロックに適用しうる。すなわち、統合がブロック40に関してアクティブ化される場合、このアクティブ化は、すべてのサブブロックに有効でありうる。以下に更に概説される実施形態によれば、統合およびスキップモードのアクティブ化を共通にシグナリングする上述の共通の状態は、フラグ又はシンタックス要素がこの状態をとる場合に、現在ブロックについての分割情報の更なる送信が必要ないように、現在ブロック40についてのサポートされた分割パターンのうちの非分割パターンを、追加的に、同時にシグナリングする。当然、別の方法として、サポートされた分割パターンの中の他のいかなる分割パターンも、統合およびスキップモードのアクティブ化に加えて、同時に示されることができる。
本願のいくつかの実施形態によれば、符号器10は、ブロック40のブロック分割とサブブロック50および60の統合の共通使用から生じるビット効率ペナルティを回避する。より正確には、符号器10は、例えばレート歪み最適化の観点において、更なる分割ブロック40により良いかどうかに関して、そして、サポートされた分割パターンのうちのいずれが、特定の符号化パラメータが画像20の現在ブロック40の中でセットされる若しくは定められる粒度を適用させるために、現在ブロック40のために使用されなければならないかに関して、決定しうる。下で更に詳細に概説されるように、符号化パラメータは、例えば、インター予測パラメータなどの予測パラメータを示すことができる。この種のインター予測パラメータは、例えば、参照画像インデックス、動きベクトル(motion vector)などを含むことができる。サポートされた分割パターンは、例えば、非分割モード(non−partitioning mode)、すなわち現在ブロック40が更に分割されないオプション、横分割モード(horizontally partitioning mode)、すなわち現在ブロック40が横方向に延びた線に沿って上部又は最上部と下部又は最下部に分割されるオプション、および、縦分割モード(vertically partitioning mode)、すなわち現在ブロック40が縦方向に延びた線に沿って左側部分および右側部分に縦に分割されるオプションを含むことができる。これの他に、サポートされた分割パターンは、現在ブロック40が現在ブロック40の4分の1とそれぞれみなされる更なる4つのブロックに更に規則的に分割されるオプションを含むこともできる。更に、その分割は、画像20のすべてのブロック40に、または、インター予測モードなどの、それと関連する特定の符号化モードを有するものなどの単にその適当なサブセットだけに関係することができる。同様に、統合が、それ自体で、単に特定のブロック、例えばインター予測モードで符号化されたものに関して利用できるだけでありうることに留意されたい。下で更に概説される実施形態によれば、上述した共通に解釈された状態はまた、各ブロックがイントラ予測モードでなくインター予測モードであることを同時に信号送信する。したがって、ブロック40に関して上述したフラグの1つの状態は、このブロックが更に分割されず、統合およびスキップモードの両方がアクティブ化されるインター予測符号化ブロックであることを信号送信しうる。しかし、フラグが他の状態をとっている場合の補助的な決定として、各パーティションまたはサンプルサブセット50および60は、統合が各パーティション50および60に適用されるかどうかを信号送信するために、ビットストリーム30の中で更なるフラグによって、個々に同時に起こりうる。更に、サポートされた分割モードの異なるサブセットは、ブロック40に関して利用可能でありえ、それは、例えば、ブロックサイズ、それが、組み合わせて又は個々に、マルチツリー再分割リーフブロックである場合、ブロック40の細分化レベルによって決まる。
すなわち、特にブロック40を得るためのブロックへの画像20の細分化が、固定されうる、または、ビットストリームの中でシグナリングされうる。同様に、現在ブロック40を更に分割するために使用される分割パターンは、分割情報の形で、ビットストリーム30の中で信号送信されることができる。従って、その分割情報は、このように、ブロック40への画像20の細分化の一種の拡張であるとして考えることができる。一方では、ブロック40への画像20の細分化の元の粒度の更なる関連は、まだ維持されうる。例えば、符号器10は、ビットストリーム30の中で、ブロック40によって定められた粒度で、画像20の各部分またはブロック40のために使用される符号化モードを信号化するように構成されうる一方で、符号器10は、各ブロック40のために選択された各分割パターンによって定められる増加した(微細な)粒度で、各ブロック40の中で各符号化モードの符号化パラメータを変化させるように構成される。例えば、ブロック40の粒度で信号送信された符号化モードは、時間インター予測モード、視点間(inter−view)予測モードなどのイントラ予測モード、インター予測モードなどの間で区別することができる。各ブロック40の分割から生じる1つ又は複数のサブブロック(パーティション)と関連した符号化パラメータの種類は、各ブロック40に割り当てられた符号化モードに依存する。例えば、イントラ符号化されたブロック40に関して、符号化パラメータは、画像20の前に復号された部分のどの画像内容が各ブロック40を満たすように使用されるかについての空間的な方向を含みうる。インター符号化されたブロック40の場合、符号化パラメータは、特に、動き補償予測のための動きベクトルを含むことができる。
図1は、例として、2つの更なるサブブロック50およびブロック60に細分化されているものとしての現在ブロック40を示す。特に、縦分割モードが例として示される。より小さいブロック50およびブロック60は、サブブロック50およびサブブロック60、または、パーティション50およびパーティション60、または、予測単位50および予測単位60とも呼ぶことができる。特に、符号器10は、サポートされた分割パターンの信号送信された1つが、2つ以上の更なるブロック50およびブロック60への現在ブロック40の細分化を特定する場合に、符号化順で更なるブロック50およびブロック60の1番目の更なるブロック以外の全ての更なるブロックに関して、各更なるブロックのための符号化パラメータ候補のセットから、各更なるブロックに統合されるときに、サポートされた分割パターンの1つとなるであろう更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成される。もっと正確に言えば、サポートされた分割パターンの各々のために、符号化順は、結果として生じる1つ又は複数のパーティション50およびパーティション60の間で定められる。図1の場合、符号化順は、例として、左のパーティション50が右のパーティション60の前に符号化されることを定める矢印70で示される。横分割モードの場合には、上のパーティションが下のパーティションの前に符号化されることが定められうる。いずれにせよ、符号器10は、符号化順70で2番目のパーティション60に関して、各2番目のパーティション60についての符号化パラメータ候補のセットから、この統合の結果、すなわち、両方のパーティション50およびパーティション60が、実際、低い符号化率で現在ブロック40について非分割モードを選択することによって等しく生じうるそれと関連した同じ符号化パラメータを有するであろうことを回避するために、1番目のパーティション50と関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成される。
より正確に言えば、符号器10は、ブロック分割とともに効率的な方法でブロック統合を使用するように構成されうる。ブロック統合に関する限り、符号器10は、パーティション50およびパーティション60ごとに、符号化パラメータ候補の各セットを決定しうる。符号器は、前に復号されたブロックと関連した符号化パラメータに基づいて、パーティション50およびパーティション60ごとに、符号化パラメータ候補のセットを決定するように構成されることができる。特に、符号化パラメータ候補のセットの中の符号化パラメータ候補の少なくともいくつかは、前に復号されたパーティションの符号化パラメータと等しいことがある、すなわち、前に復号されたパーティションの符号化パラメータから採用されることがある。加えて、または、代わりに、符号化パラメータ候補の少なくともいくつかは、中央値、平均などの適切な組み合わせによって、2つ以上の前に符号化されたパーティションと関連した符号化パラメータ候補から得られうる。しかし、符号器10が、符号化パラメータ候補の削減されたセットの決定と、除去後に1つ以上のこの種の符号化パラメータ候補が残る場合に、1つの除かれなかった又は選択された符号化パラメータ候補に依存して、各パーティションと関連した符号化パラメータをセットするために、1番目でないパーティション60ごとに、残りの除かれなかった符号化パラメータ候補のうちの1つの選択を実行するように構成されるので、符号器10は、パーティション50とパーティション60との再結合に効率よくつながるであろう符号化パラメータ候補が除かれるように除去を実行するように構成される。すなわち、それにより効率的な分割状況が、単に分割情報だけを用いてこの分割を直接信号送信する場合よりも複雑に符号化されるシンタックスの集まりは、効果的に回避される。
さらに、符号化パラメータ候補のセットがより小さくなるにつれて、ビットストリーム30に統合情報を符号化するのに必要な補助情報の量は、これらの候補セットのより少ない数の要素のため減少しうる。特に、復号器が、図1の符号器がするのと同じ方法で符号化パラメータ候補のセットを決定して、その後削減することが可能であるので、図1の符号器10は、例えば、ビットストリーム30にシンタックス要素を挿入するためにより少ないビットを使用して、符号化パラメータ候補の削減されたセットを利用することができ、除かれなかった符号化パラメータのどれが統合のために使われることになるかを特定する。当然、ビットストリーム30へのシンタックス要素の導入は、各パーティションのための除かれなかった符号化パラメータ候補の数が単に1である場合には、完全に抑制されることができる。いずれにしても、統合により、すなわち、除かれなかった符号化パラメータ候補のうちの残りの1つ、又は選択された1つに依存して、各パーティションと関連した符号化パラメータを設定することにより、符号器10は、ビットストリーム30への各分割のための符号化パラメータの完全に新たな挿入を抑制することが可能であり、これにより同様に補助情報を削減する。本願のいくつかの実施形態によれば、符号器10は、各パーティションのための符号化パラメータ候補のうちの残りの1つ、又は選択された1つをリファインするためのリファインメント情報を、ビットストリーム30の中で信号化するように構成されうる。
統合候補リストを削減するという上記可能性によって、符号器10は、パーティションの符号化パラメータとのそれらの符号化パラメータの比較によって除かれることになる統合候補を決定するように構成され、それによる統合は、別のサポートされた分割パターンを生ずる。例えば、左のパーティション50の符号化パラメータが右のパーティション60のための符号化パラメータ候補のセットの1つの要素を形成するとすれば、符号化パラメータ候補を処理するこの方法は、効率的に、図1に示した場合の少なくとも1つの符号化パラメータ候補を除く。しかし、更なる符号化パラメータ候補は、それらが左のパーティション50の符号化パラメータに等しい場合にも、除かれうる。しかし、本発明の他の実施形態によれば、符号器10は、各パーティションに統合されるときに、結果としてサポートされた分割パターンのうちの1つとなるであろう候補ブロックのこのセットから、その又はそれらの候補ブロックを除去することによって、符号化順で2番目以降のパーティションごとに、候補ブロックのセットを決定するように構成されうる。ある意味では、これは以下のことを意味する。符号器10は、候補セットの各要素が、その候補がその関連したパーティションの各符号化パラメータを採用するという点でそれと関連した、現在ブロック40または前に符号化されるブロック40のいずれかのちょうど1つのパーティションを有するように、パーティション50またはパーティション60(すなわち、符号化順で1番目のものとその次のもの)それぞれのために、統合候補を決定するように構成されることができる。例えば、候補セットの各要素は、前に符号化されたパーティションのこの種の符号化パラメータのうちの1つに等しくありえる、すなわち、その中から採用されうる、または、少なくとも、追加的にスケーリングすること又は追加的に送信されたリファインメント情報を用いたリファインメントなどによって、ただ1つのこの種の前に符号化されたパーティションの符号化パラメータから得られうる。しかし、符号器10はまた、この種の候補セットに、更なる要素または候補を加えるように、すなわち、1つ以上の前に符号化されたパーティションの符号化パラメータの組み合わせから得られた、または、修正によって、1つの動きパラメータリストの符号化パラメータだけをとることなどによって1つの前に符号化されたパーティションの符号化パラメータから得られた符号化パラメータ候補を加えるように構成されうる。「組み合わされた(combined)」要素のために、各候補要素の符号化パラメータと各パーティションとの間の1:1の関連性がある。図1の説明の1番目の変形例によれば、符号器10は、全部の候補セットから全部の候補を除くように構成されることができ、その符号化パラメータは、パーティション50の符号化パラメータに等しい。図1の説明の後者の変形例によれば、符号器10は、パーティション50と関連している候補セットの要素だけを除くように構成されることができる。両方の見解を一致させれば、符号器10は、結合によって得られる符号化パラメータを有する候補セットの残りの部分まで除去(及び等しい符号化パラメータを有する候補のサーチ)を拡げることなく、いくつかの(例えば隣接した)前に符号化されたパーティションとの1:1の関連を示している候補セットの部分から候補を除くように構成されることができる。しかし、当然、1つの組み合わせが冗長表現にもつながる場合、これは、リストから冗長な符号化パラメータを除くことによって、または、組み合わされた候補にも冗長チェックを実行することによって、解決することができる。
図1の上記実施形態にフィットする復号器の実施形態について説明する前に、より詳細な実施態様の図1による、符号化のための装置、すなわち、符号器が、図2に関して下で更に詳細に概説される。図2は、ブロック40へ画像20を細分化するように構成されたサブディバイダー(subdivider)72と、上で概説されたように、1つ又は複数のサンプルセットのグループにブロック40を統合するように構成されたマージャー(merger)74と、サンプルセットのグループの単位で画像20の全域で異なる符号化パラメータを使用して画像20を符号化するように構成された符号器または符号化ステージ76と、ストリームジェネレータ78を含むような符号器を示す。符号器76は、画像20を予測して、所定のブロックについての予測残差を符号化することによって、画像20を符号化するように構成される。すなわち、符号器76は、上記の通り、すべてのブロック40についてではないが、予測残差を符号化する。むしろ、それらのいくつかは、スキップモードをアクティブ化させる。ストリームジェネレータ78は、少なくともブロック40のサブセットごとに、1つ又は複数のシンタックス要素とともに、ビットストリーム30に予測残差および符号化パラメータを挿入するように構成され、各ブロックが他のブロックとともにグループのうちの1つに統合されるかどうかや各ブロックがスキップモードを使用するかどうかをシグナリングする。上述の通り、サブディバイダー72の細分化の基礎をなしている細分化情報は、ストリームジェネレータ78によって画像20に関してビットストリーム30に符号化されうる。これは、図2の破線で示される。マージャー74による統合決定および符号器76によるスキップモード決定は、上で概説されたように、現在ブロック40の1つ又は複数のシンタックス要素の可能な状態のうちの1つが、各ブロックが、画像20の他のブロックとともに、ブロックのグループのうちの1つに統合されることになっており、ビットストリーム30に、符号化され、挿入された予測残差を有しないことを信号化するように、ストリームジェネレータ78によってビットストリーム30に共通に符号化される。ストリームジェネレータ78は、例えば、その挿入を実行するために、エントロピー符号化を使用することができる。サブディバイダー72は、ブロック40への画像20の細分化、並びに、パーティション50および60へのそれぞれ任意の更なる分割の役割を果たしうる。マージャー74は、上で概説された統合決定の役割を果たし、一方、符号器76は、例えば、ブロック40についてのスキップモードを決定しうる。当然、これらの決定の全ては、組み合わせにおけるレート/歪み測度に影響し、したがって、装置10は、どのオプションが好ましいかを確かめるために、いくつかの決定オプションを試してみるように構成されうる。
図1および図2に関する本発明の実施形態による符号器について説明した後、実施形態による復号化のための装置、すなわち、復号器80が、図3に関して説明される。図3の復号器80は、上記の通り、符号化された画像20を有するビットストリーム30を復号するように構成される。特に、復号器80は、現在のサンプルセットまたはブロック40に関して、現在ブロック40と関連した符号化パラメータが統合候補によってセットされることになるか、または、ビットストリーム30から取り出されることになるかについての第1の決定、および、画像20の現在ブロック40が残差データなしでも、現在ブロック40と関連した符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、ビットストリーム30の中で残差データによって現在ブロック40と関連した符号化パラメータに応じた予測信号をリファインすることによって再構築されることになるかについての第2の決定に関する、ビットストリーム30の中の上述したフラグに共通に応答するように構成される。
すなわち、復号器の機能は、図1および図2に関して説明された符号器のそれとほとんど一致する。例えば、復号器80は、ブロック40に画像40の細分化を実行するように構成されうる。この細分化は、デフォルトで復号器80に知られていることができる、または、復号器80は、ビットストリーム30から各細分化情報を抽出するように構成されることができる。ブロック40が統合されるときはいつでも、復号器80は、統合候補によってその符号化パラメータをセットすることによって、そのブロック40と関連した符号化パラメータを得るように構成されうる。統合候補を決定するために、復号器80は、符号器がそうしたのとちょうど同じ方法で、統合候補のセットまたはリストの上で概説された決定を実行することができる。これは、本願のいくつかの実施形態に従って、ブロック分割およびブロック統合間の上で概説された冗長を回避するために、統合候補の事前のセット/リストの削減さえも含む。統合がアクティブ化されるときはいつでも、統合候補の決定されたセットまたはリストの中からの選択は、各統合インデックスをビットストリーム30から抽出することによって復号器80によって実行されることができる。統合インデックスは、上記の通りに決定された統合候補の(削減された)セットまたはリストから使用される統合候補を指し示す。更に、上でも説明されたように、復号器80はまた、サポートされた分割パターンのうちの1つに従った分割にブロック40をかけるように構成されることもできる。当然、これらの分割パターンのうちの1つは、ブロック40が更に分割されない非分割モードを含みうる。特定のブロック40のための統合およびスキップモードのアクティブ化を示している共通に定められた状態をとっている十分に説明されたフラグの場合には、復号器80は、いかなる残差信号との予測信号の組み合わせよりはむしろ予測信号のみに基づいて現在ブロック40を再構築するように構成されることができる。換言すれば、復号器80は、その場合、現在ブロック40のための残差データ抽出を抑制して、現在ブロックの符号化パラメータから抽出された予測信号を用いることによって、現在ブロック40の中の画像20を再構築するだけである。上ですでに説明されたように、復号器80は、フラグの共通の状態を、このブロックがインター予測されたブロックである、および/または更に分割されなかったブロックであるという現在ブロック40のための信号化としても解釈することができる。すなわち、復号器80は、ビットストリーム30の中の現在ブロック40の問題のフラグが、現在ブロック40と関連した符号化パラメータが統合を使用してセットされることになることをシグナリングする場合、それが統合候補に従ってこれらの符号化パラメータをセットすることによって現在ブロック40と関連した符号化パラメータを得て、いかなる残差データなしで現在ブロック40の符号化パラメータに応じた予測信号にだけ基づいて画像20の現在ブロック40を再構築するように構成されうる。しかし、問題のフラグが、現在ブロック40が統合に従属しない、または、スキップモードが使用されないことをシグナリングする場合、復号器80は、ビットストリーム30の中で他のフラグに応答することができ、その結果、復号器80は、この他のフラグに依存して、各統合候補によってそれをセットすることによって現在ブロックと関連した符号化パラメータを得て、ビットストリーム30から現在ブロックに関する残差データを得て、予測信号および残差データに基づいて画像20の現在ブロック40を再構築する、または、ビットストリーム30から現在ブロック40に関する残差データを得て、予測信号および残差データに基づいて画像20の現在ブロック40を再構築する。上で概説されるように、復号器80は、第1のフラグが、統合およびスキップモードのアクティブ化を同時にシグナリングする共通シグナリング状態(commonly signaling state)をとらない場合にだけ、ビットストリーム30の中で他のフラグの存在を予測するように構成されうる。そのときだけ、復号器80は、統合がスキップモードなしで起こるかどうか確かめるために、他のフラグをビットストリームから抽出する。当然、別な方法として、復号器80は、スキップモードがアクティブか非アクティブかをシグナリングする他の第3のフラグを用いて、第2のフラグが統合の非アクティブをシグナリングする場合に、現在ブロック40のためのビットストリーム30の中でこの第3のフラグを待つように構成されることができる。
図2と同様に、図4は、図3の復号のための装置のありうる実施態様を示す。したがって、図4は、復号するための装置、すなわち、復号器80を示し、それは、ビットストリーム30に符号化された画像20をブロック40に細分化するように構成されたサブディバイダー82と、ブロック40を1つ又は複数の各ブロックのグループに統合するように構成されたマージャー84と、サンプルセットのグループの単位で画像20の全域で異なる符号化パラメータを使用して画像20を復号するまたは再構築するように構成された復号器86と、エクストラクター(extractor)88とを含む。復号器86はまた、所定のブロック40、すなわち、スキップモードがスイッチオフされたものに関して、画像20を予測して、所定のブロック40についての予測残差を復号して、予測残差と画像20を予測することからから生じる予測とを組み合わせることによって、画像20を復号するように構成される。エクストラクター88は、ブロック40の少なくともサブセットの各々に関して1つ又は複数のシンタックス要素とともに、各ブロック40が他のブロック40とともにグループの1つに統合されることになるか否かをシグナリングするビットストリーム30から予測残差と符号化パラメータを抽出するように構成される。ここで、マージャー84は、1つ又は複数のシンタックス要素に応答してその統合を実行するように構成され、その1つ又は複数のシンタックス要素の可能な状態のうちの1つが、他のブロック40とともにブロックのグループの1つに統合されることになっており、ビットストリーム30に符号化され、挿入された予測残差を有しないことを信号化する。
このように、図4を図2と比較して、サブディバイダー82は、サブディバイダー72によって発生された細分化をもとに戻すように、サブディバイダー72のような働きをする。サブディバイダー82は、デフォルトで画像20の細分化について知っているかまたはエクストラクター88を介してビットストリーム30から細分化情報を抽出する。同様に、マージャー84は、ブロック40の統合を形成して、ビットストリーム30の中で上で概説されたシグナリングを介してブロック40およびブロック部分に関してアクティブ化される。復号器86は、ビットストリーム30の中で符号化パラメータを使用して画像20の予測信号の生成を実行する。統合の場合には、復号器86は、隣接したブロック/パーティションから現在ブロック40または現在ブロックパーティションの符号化パラメータを複製するか、あるいは、そうでなければ、統合候補に従ってその符号化パラメータをセットする。
すでに上で概説されたように、エクストラクター88は、現在ブロックに関するフラグ又はシンタックス要素の可能な状態のうちの1つを、統合およびスキップモードのアクティブ化を同時にシグナリングする信号として解釈するように構成される。同時に、エクストラクター88は、また、現在ブロック40のためのサポートされた分割パターンの中の所定の1つをシグナリングするためにも、その状態を解釈することができる。例えば、所定の分割パターンは、ブロック40が分割されないままで、このように1つのパーティション自体を形成する非分割モードでありえる。したがって、エクストラクター88は、各フラグまたはシンタックス要素が同時にシグナリングする状態をとらない場合、ビットストリーム30が、単にブロック40の分割をシグナリングする分割情報を含むのを予想する。下で更に詳細に概説されるように、分割情報が、シンタックス要素を介してビットストリーム30の中で伝達されう、それは、現在ブロック40の符号化モードを制御する、すなわち、ブロック40をインター符号化されるものとイントラ符号化されるものとに並行して分割する。その場合、第1のフラグ/シンタックス要素の共通シグナリング状態は、インター予測符号化モードの信号化と解釈されることもできる。シグナリングされた分割情報から生じるパーティションの各々に関して、エクストラクター88は、ブロック40のための第1のフラグ/シンタックス要素が、統合およびスキップモードのアクティブ化を同時にシグナリングする共通シグナリング状態をとらない場合には、他の統合フラグをビットストリームから抽出することができる。その場合、スキップモードは、スイッチオフされるようにエクストラクター88によって必然的に解釈されう、そして、統合が個々にパーティションに関してビットストリーム30によってアクティブにされうるが、残差信号は、この現在ブロック40のためにビットストリーム30から抽出される。
このように、図3または図4の復号器80は、ビットストリーム30を復号するように構成される。上述の通り、ビットストリーム30は、画像20の現在ブロック40のためのサポートされた分割パターンのうちの1つをシグナリングすることができる。復号器80は、サポートされた分割パターンのうちのシグナリングされた1つが2つ以上のパーティション50およびパーティション60への現在ブロック40の細分化を特定する場合、符号化順70におけるパーティションのうちの1番目のパーティション50以外の全てのパーティションに関して、すなわち、図1及び図3に示された例におけるパーティション60に関して、各パーティションのための符号化パラメータ候補のセットから、各パーティションと統合されるときに、サポートされた分割パターンのうちの1つ、すなわち、サポートされた分割パターンのうちの1つであるがビットストリーム30の中でシグナリングされなかったものとなる、パーティションのいずれかと関連した符号化パラメータと同じである又は等しい符号化パラメータを有する符号化パラメータ候補を除くように構成されうる。
例えば、復号器80は、除かれなかった符号化パラメータ候補の数が0でない場合に、除かれなかったパラメータ候補のうちの1つに依存して、各パーティション60と関連した符号化パラメータをセットするように構成されることができる。例えば、復号器80は、付加的なリファインメントの有無にかかわらず、および/または、符号化パラメータが関連する時間的距離によるスケーリングの有無にかかわらず、除かれなかった符号化パラメータ候補のうちの1つに等しくなるように、それぞれ、パーティション60の符号化パラメータをセットする。例えば、除かれなかった候補のうち統合する符号化パラメータ候補は、パーティション60のためのビットストリーム30の中で明示的にシグナリングされた参照画像インデックスとは別のそれと関連した参照画像インデックスを有しうる。その場合、符号化パラメータ候補の符号化パラメータは、それぞれ参照画像インデックスと関連した動きベクトルを定めることができ、復号器80は、両方の参照画像インデックス間の比率に従って、最後に選択された除かれなかった符号化パラメータ候補の動きベクトルをスケールするように構成されることができる。このように、上述の変形例によれば、統合に従う符号化パラメータは、動きパラメータを含む一方で、参照画像インデックスは、それから分離される。しかし、上記のように、別の実施形態によれば、参照画像インデックスは、統合に従う符号化パラメータの一部でもありえる。
統合挙動がインター予測されたブロック40に制限されうることは、図1及び図2の符号器と図3及び図4の復号器に等しくあてはまる。したがって、復号器80および符号器10は、現在ブロック40に関してイントラおよびインター予測モードをサポートして、現在ブロック40がインター予測モードで符号化されている場合にだけ候補の統合を実行するように構成されることができる。したがって、この種のインター予測された前に符号化されたパーティションの符号化/予測パラメータだけが、候補リストを決定/構築するために使用されることができる。
すでに上で述べたように、符号化パラメータは、予測パラメータでもよく、復号器80は、各パーティションのための予測信号を得るために、パーティション50およびパーティション60の予測パラメータを使用するように構成されることができる。当然、符号器10も、同様に予測信号の抽出を実行する。しかし、符号器10は、加えて、適切な最適化の意味において、いくつかの最適化を得るために、ビットストリーム30の中にすべての他のシンタックスとともに予測パラメータをセットする。
更に、すでに上で説明されたように、符号器は、各パーティションのための(除かれなかった)符号化パラメータ候補の数が1より大きいものである場合だけ、(除かれなかった)符号化パラメータ候補にインデックスを挿入するように構成されることができる。したがって、復号器80は、(除かれなかった)符号化パラメータ候補の数が1より大きいものである場合、例えばパーティション60のための(除かれなかった)符号化パラメータ候補の数に応じて、ビットストリーム30が、(除かれなかった)符号化パラメータ候補のうちのどれが統合のために使用されるかについて特定しているシンタックスを含むのを単に予想するように構成されうる。しかし、候補セットが総計で2より小さくなる場合は、上述の通り、ただ1つの前に符号化されたパーティションの符号化パラメータを採用するまたはそれらから抽出することによって得られたそれらの候補まで候補セットの削減の実行を制限することによって、組み合わされた符号化パラメータ、すなわち、1つ以上又は2つ以上の前に符号化されたパーティションの符号化パラメータの組合せによって得られたパラメータを使用した候補のリスト/セットを拡張することによって生じることから、通常、除外されうる。同様に逆のこと、すなわち、通常、他のサポートされた分割パターンとなるパーティションのそれと同じ値を有する全ての符号化パラメータ候補を除くことも可能である。
決定に関して、復号器80は、符号器10がするように動作する。すなわち、復号器80は、前に復号されたパーティションと関連した符号化パラメータに基づいて、パーティション又はブロック40のパーティションのための統合候補のセットを決定するように構成されることができる。すなわち、符号化順は、各ブロック40のパーティション50およびパーティション60の中でだけでなく、画像20自体のブロック40の中でも定められる。パーティション60の前に符号化されていたすべてのパーティションは、このように、図3の場合のパーティション60などの、後に続くパーティションのいずれかのための符号化パラメータ候補のセットの決定のための基準として役立つ。上でも説明されているように、符号器および復号器は、統合候補のセットの決定を、特定の空間および/または時間的隣接にあるパーティションに制限することができる。例えば、復号器80は、現在のパーティションに隣接する、前に復号されたパーティションと関連した符号化パラメータに基づいて、統合候補のセットを決定するように構成されることができ、この種のパーティションは、現在ブロック40の外側および内部に位置する。当然、統合候補の決定は、符号化順で1番目のパーティションのために実行されることもできる。単に除去のみは、されないこともある。
図1の説明と一致して、復号器80は、前に復号されたパーティションの最初のセットから、各1番目でないパーティション60のための符号化パラメータ候補のセットを決定するように構成されることができ、イントラ予測モードで符号化されているものを除外する。
更に、符号器が、ブロック40に画像20を細分化するために、細分化情報をビットストリームに導入している場合には、復号器80は、ビットストリーム30の細分化情報に従って、この種の符号化ブロック40への画像20の細分化を元に戻すように構成されることができる。
図1ないし図4に関して、現在ブロック40のための残差信号が、符号化パラメータに関してパーティションによって定められた粒度と異なりうる粒度でビットストリーム30を介して送信されることができることに留意する必要がある。例えば、スキップモードがアクティブにされていないブロックに関して、図1の符号器10は、パーティション50およびパーティション60への分割とは並列の又は独立した方法で、1つ又は複数の変換ブロックにブロック40を細分化するように構成されることができる。符号器は、更なる細分化情報によって、ブロック40のための各変換ブロック細分化を信号化しうる。次に、復号器80は、ビットストリームの更なる細分化情報によって、1つ又は複数の変換ブロックへのブロック40のこの更なる細分化を元に戻して、これらの変換ブロックの単位で、ビットストリームから現在ブロック40の残差信号を抽出するように構成されることができる。変換ブロック分割の意義は、符号器におけるDCTなどの変換と復号器におけるIDCTなどの対応する逆変換が、個々に、ブロック40の各変換ブロックの中で実行されることである。ブロック40の中で画像20を再構築するために、符号器10は、各パーティション50およびパーティション60で符号化パラメータを適用することによって得られた予測信号と残差信号を、それぞれ、加算するなどして、結合する。しかし、残差符号化は、変換および逆変換をそれぞれ含まず、予測残差が例えば変わりに空間ドメインにおいて符号化されることに留意されたい。
下記の更なる実施形態の更にあり得る詳細を説明する前に、図1ないし図4の符号器および復号器の可能性のある内部構造は、図5および図6に関して説明される。しかしながら、マージャーおよびサブディバイダーは、ハイブリッド符号化性質に集中するように、これらの図には示されない。図5は、例として、符号器10がどのように内部的に構築されるかについて示す。図に示すように、符号器10は、減算器108、変換器100、およびビットストリームジェネレータ102を含むことができ、それらは、図5に示すように、エントロピー符号化を実行することができる。要素108、要素100および要素102は、画像20を受信する入力112と前述のビットストリーム30を出力している出力114との間で連続的に接続される。特に、減算器108は、入力112と接続されるその非反転入力を有し、変換器100は、減算器108の出力とビットストリームジェネレータ102の1番目の入力との間に接続され、次に、ビットストリームジェネレータ102は、出力114と接続される出力を有する。図5の符号器10は、さらに、逆変換器104と、アダー110とを含み、それらは、変換器100の出力に、記載された順に、連続的に接続される。符号器10は、更に、アダー110の出力とアダー110の更なる入力と減算器108の逆入力との間に接続される予測器106とを含む。
図5の要素は、以下の通りに相互に作用する。予測器106は、減算器108の逆入力に印加されて、予測の結果、すなわち予測信号を用いて、画像20の部分を予測する。減算器108の出力は、次に、予測信号と画像20の各部との間の差、すなわち残差信号を示す。残差信号は、変換器100の変換符号化に従う。すなわち、変換器100は、変換係数レベルを得るために、DCTなどの変換、および変換された残差信号、すなわち、変換係数に関する量子化を実行しうる。逆変換器104は、変換器100の量子化のため情報損失を除いて変換器100に残差信号入力に対応する、再構築された残差信号を得るために、変換器100によって出力された最終的な残差信号を再構築する。再構築された残差信号と予測器106による出力としての予測信号の足し合わせは、結果として画像20の各部分の再構築となり、アダー110の出力から予測器106の入力へと送られる。予測器106は、イントラ予測モード、インター予測モードなどのような上述のような種々のモードで作動する。予測信号を得るために予測器106によって適用された予測モードおよび対応する符号化または予測パラメータは、ビットストリームへの挿入のためのエントロピー符号器102に、予測器106によって送られる。
符号器に関して図5に示された可能性に対応する図3および図4の復号器80の内部構造の可能な実施態様が、図6に示される。図に示すように、復号器80は、図6に示すようにエントロピー復号器として実施されるビットストリーム抽出器150、逆変換器152、およびアダー154として実行されることができ、それらは、記載の順に、復号器の入力158および出力160との間に接続される。更に、図6の復号器は、アダー154の出力とその更なる入力との間に接続される予測器156を含む。エントロピー復号器150は、予測器156のパラメータ入力と接続される。
図6の復号器の機能を簡単に説明すると、エントロピー復号器150は、ビットストリーム30に含まれるすべての情報を抽出するためにある。使用されたエントロピー符号化スキームは、可変長符号化または算術符号化でもよい。これによって、エントロピー復号器150は、残差信号を示しているビットストリーム変換係数レベルから元に戻し、逆変換器152にそれを送る。更に、エントロピー復号器150は、上述のエクストラクター88として働き、ビットストリームからすべての符号化モードおよび関連した符号化パラメータを元に戻して、予測器156にそれを送る。加えて、分割情報および統合情報は、エクストラクター150によってビットストリームから抽出される。逆変換された、すなわち再構築された残差信号および予測器から得られるような予測信号は、アダー154によって加算されるなどして、結合され、次に、こうして元に戻された再構築された信号を出力160で出力し、それを予測器156に送る。
図5および図6を比較することから明白になるように、要素152、要素154および要素156は、機能的に、図5の要素104、要素110および要素106に対応する。
図1〜図6についての上記説明において、いくつかの異なる可能性は、画像20の可能な細分化および画像20を符号化することに関係するパラメータのいくつかを変化させる際の対応する粒度に関して提示された。この種の可能性は、図7aおよび図7bに関しても説明される。図7aは、画像20のうちの一部を示す。図7aの実施形態によれば、符号器および復号器は、最初に、ツリールートブロック200に画像20を細分化するように構成される。そのようなツリールートブロックは、図7aに示される。ツリールートブロックへの画像20の細分化は、点線で示すように行および列で規則的になされる。ツリールートブロック200のサイズは、符号器によって選択されることができて、ビットストリーム30によって復号器にシグナリングされた。代わりに、これらのツリールートブロック200のサイズは、デフォルトで固定することができる。ツリールートブロック200は、符号化ブロックまたは符号化単位と呼ぶことがある上述の区別されたブロック40を生じさせるために、クワッドツリー分割を用いて細分化される。これらの符号化ブロックまたは符号化単位は、図7aの細い実線によって描画される。これによって、符号器は、各ツリールートブロック200に細分化情報を加えて、その細分化情報をビットストリームに挿入する。この細分化情報は、ツリールートブロック200がブロック40に細分化されることになる方法について示す。これらのブロック40の粒度で、およびその単位で、予測モードが、画像20の中で変化する。上記のように、各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、どのサポートされた分割パターンが各ブロック40のために使用されるかについての分割情報を伴う。しかしながら、この点に関しては、共通シグナリング状態をとるとき、このブロック40のための他の分割情報の明示的な送信が符号器側で抑制されう、したがって、復号器側で予想されることができないように、上述したフラグ/シンタックス要素は、各ブロック40のためのサポートされた分割モードのうちの1つを同時にシグナリングしうることを想起されたい。図7aについて示した場合において、多くの符号化ブロック40に関しては、符号化ブロック40が空間的に対応するパーティションと一致するように、非分割モードが選択されている。換言すれば、符号化ブロック40は、同時に、それと関連した予測パラメータの各セットを有するパーティションである。予測パラメータの種類は、次に、各符号化ブロック40と関連したモードに依存する。しかし、他の符号化ブロックは、例として、更に分割されるように示される。ツリールートブロック200の一番右上の角の符号化ブロック40は、例えば、4つのパーティションに分割されることが示されるが、ツリールートブロック200の一番右下の角の符号化ブロックは2つのパーティションに縦に細分化されることが例示的に示される。パーティションへの分割のための細分化は、点線によって示される。図7aはまた、このように定められたパーティションの中の符号化順を示す。図に示すように、深さ優先走査順が使用される。ツリールートブロック境界を横切って、符号化順は、ツリールートブロック200の行が画像20の上から下への行ごとに走査される走査順で進められうる。この方法によって、特定のパーティションがその上側の境界と左側の境界に隣接する前に符号化されたパーティションを有する可能性を最大にすることが可能である。各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、統合がその中の対応するパーティションのために作動するかどうかについて示しているビットストリームの中の統合スイッチインジケータを有することができる。単にこのルールがブロック40の最も小さい可能なブロックサイズに関してなされるだけであるという例外によって、パーティション/予測単位へのブロックの分割が、最大で2つのパーティションの分割に制限されることができる点に留意する必要がある。これは、ブロック40を得るためにクワッドツリー細分化を使用する場合、ブロック40に画像20を細分化するための細分化情報と、パーティションにブロック40を細分化するための分割情報との間の冗長を回避することができる。あるいは、非対称のものを含む又は含まない、単に1つ又は2つのパーティションへの分割だけが許容されることができる。
図7bは、細分化ツリーを示す。実線については、ツリールートブロック200の細分化が示され、一方、点線は、符号化ブロック40であるクワッドツリー細分化のリーフブロックの分割を表す。すなわち、符号化ブロックの分割は、クワッド細分化の一種の拡張を示す。
すでに上で述べたように、各符号化ブロック40は、変換ブロックが各符号化ブロック40の異なる細分化を示しうるように、変換ブロックに並列して細分化されうる。図7aおよび図7bに示されないこれらの変換ブロックの各々に、符号化ブロックの残差信号を変換するための変換は、別々に実行されうる。
以下に、本発明の更なる実施形態について説明する。前記実施形態が、ブロック統合とブロック分割との間の関連に集中した一方で、以下の記載はまた、スキップ/ダイレクトモードなどの現在のコーデックにおいて知られた他の符号化原理に関する本願の態様を含む。にもかかわらず、以下の記載は、別の実施形態、すなわち上記のものから分離された実施形態を単に説明するだけであるとみなされるということではない。むしろ、下記の説明も、上記実施形態に関する可能な実施態様の詳細を明らかにする。したがって、下記の説明は、すでに上で示された図の引用符号を使用し、その結果、後述する各可能な実施態様はまた、上記実施形態の可能なバリエーションを定める。これらのバリエーションの大部分は、個々に前記実施形態に移されうる。
換言すれば、本願の実施形態は、サンプルのセットに関して、統合と残差データの欠如の組み合わされたシグナリングによって、画像およびビデオ符号化アプリケーションにおいて補助情報のレートを削減するための方法を説明する。換言すれば、画像およびビデオ符号化アプリケーションの補助情報レートは、統合スキームの使用を示しているシンタックス要素および残差データの欠如を示しているシンタックス要素を組み合わせることによって削減される。
更に、これらのバリエーションおよび詳細を説明する前に、画像およびビデオコーデックに関する概要が示される。
画像およびビデオ符号化アプリケーションにおいて、画像と関連したサンプル配列は、任意に形作られた領域、三角形、または他の形状を含む長方形又は四角ブロックまたはサンプルの他の集合を示しうる、サンプルの特定のセット(またはサンプルセット)に通常分割される。サンプル配列の細分化は、シンタックスによって固定されうる、または、細分化は、ビットストリームの中で(少なくとも部分的に)シグナリングされる。細分化情報をシグナリングするための補助情報レートを小さく保つために、シンタックスは、通常、より小さいブロックへのブロックの細分化などの単純な分割となる限られた数の選択のみを許容する。よく使用される分割スキームは、4つのより小さい正方形ブロックへの、または、同一サイズの2つの長方形ブロックへの、または、異なるサイズの2つの長方形ブロックへの正方形ブロックの分割である。ここで、実際に使用される分割は、ビットストリームの中でシグナリングされる。サンプルセットは、予測情報または残差符号化モードなどを特定する特定の符号化パラメータと関係する。ビデオ符号化アプリケーションにおいて、分割は、しばしば、動き表現のためになされる。(分割パターン内の)ブロックのすべてのサンプルは、動きパラメータの同じセットと関係し、それは、予測の種類(例えば、リスト0、リスト1、または双予測;および/または平行移動またはアフィン予測または異なる動きモデルを用いた予測)を特定するパラメータ、使用される参照画像を特定するパラメータ、通常、予測器に差として送信される参照画像に対する動きを特定するパラメータ(例えば、変位ベクトル、アフィン動きパラメータベクトル、他の動きモデルのための動きパラメータベクトル)、動きパラメータの精度(例えば2分の1サンプルまたは4分の1サンプルの精度)、(例えば照度補償のための)参照サンプル信号の重み付けを特定するパラメータ、または、現在ブロックの動き補償された予測信号を得るために使用される補間フィルタを特定するパラメータを含みうる。サンプルセットごとに、(例えば、予測および/または残差符号化を特定するために)個々の符号化パラメータが送信されると仮定される。改善された符号化効率を得るために、本発明は、2つ以上のサンプルセットをいわゆるサンプルセットのグループに統合する方法および特定の実施形態を示す。この種のグループの全てのサンプルセットは、同じ符号化パラメータを共有する。そして、それは、そのグループにおけるサンプルセットのうちの1つと共に送信されることができる。こうすることによって、符号化パラメータは、個々にサンプルセットのグループのサンプルセットごとに送信される必要はなく、その代わりに、符号化パラメータは、サンプルセットの全グループのために一度だけ送信される。
その結果、符号化パラメータを送信するための補助情報レートは削減され、全体の符号化効率は、改善される。代わりのアプローチとして、符号化パラメータのうちの1つ又は複数のための付加的なリファインメントは、サンプルセットのグループのサンプルセットの1つ又は複数のために送信されることができる。そのリファインメントは、グループのすべてのサンプルセットに、または、それが送信されるサンプルセットだけに、適用されうる。
本発明のいくつかの実施形態は、(上述のように)さまざまなサブブロック50、60へのブロックの分割と統合処理を組み合わせる。通常、画像またはビデオ符号化システムは、ブロック40のためのさまざまな分割パターンをサポートする。一例として、正方形ブロックは、分割されないか、または、同じサイズの4つの正方形ブロックに、(正方形ブロックが縦又は横に分割される)2つの同じサイズの2つの長方形ブロックに、若しくは、(縦又は横に)2つの異なるサイズの長方形ブロックに分割されうる。説明された典型的なパーティションパターンは、図8に示される。上記説明に加えて、分割は、1以上のレベルの分割さえも関係しうる。例えば、正方形のサブブロックはまた、任意選択で、同じ分割パターンを使用して更に分割されうる。この種の分割処理が、(正方形又は長方形)ブロックを例えばその隣接ブロックのうちの1つと統合することを可能にする統合処理と組み合わされるときに生じる問題は、それが生じる分割が、分割パターンと統合信号の異なる組合せによって得ることができるということである。それ故、同じ情報は、異なる符号語を使用してビットストリームにおいて送信されることができ、それは、符号化効率に関して明らかに最適状態に及ばない。単純な例として、(図8の左上隅にて示したように、)更に分割されない正方形ブロックを考慮する。この分割は、このブロック40が細分化されないというシンタックス要素を送ることによって、直接、シグナリングされることができる。しかし、同じパターンは、このブロックが、例えば、2つの縦に(または横に)配置された長方形ブロック50、60に細分化されることを特定するシンタックス要素を送ることによってシグナリングされることもできる。それから、これらの長方形ブロックのうちの2番目が1番目の長方形ブロックと統合されることを特定する統合情報を送ることができ、結果として、そのブロックが更に分割されないという信号を送るときとちょうど同じ分割となる。同じことは、最初にブロックが4つの正方形のサブブロックに細分化されることを特定して、それから、全てのこれらの4つのブロックを効率的に統合する統合情報を送ることによって得られる。この構想は、明らかに最適状態に及ばない(我々が同じものをシグナリングするために異なる符号語を有するからである)。
本発明のいくつかの実施形態は、補助情報レートを削減して、したがってブロックのための異なる分割パターンを提供するという構想と統合についての構想との組み合わせのために、符号化効率を増加させることに関する構想および可能性を説明する。図8の分割パターン例を見れば、2つ長方形ブロックを用いた分割パターンのいずれかによって更に分割されなかったブロックの「シミュレーション(simulation)」は、長方形ブロックが1番目の長方形ブロックと統合される場合を禁ずる(すなわち、ビットストリームシンタックス仕様から除外する)ときに回避されうる。より深く問題をみるとき、1番目の長方形ブロックと同じパラメータ(例えば、予測を特定するための情報)と関係する隣接(すなわち、1番目でない長方形ブロック)と2番目の長方形を統合することによって細分化されなかったパターンを「シミュレートする(simulate)」ことは可能である。これらの統合パラメータが、結果としてサポートされた分割パターンのうちの1つをシグナリングすることによって得ることもできるパターンをもたらすとき、特定の統合パラメータの送信が、ビットストリームシンタックスから除外される方法で、統合情報の送信を条件づけることによって、冗長は回避される。例として、現在の分割パターンが、例えば、2番目のブロック、すなわち図1及び図3の場合のブロック60のための統合情報を送る前に、図1及び図3に示すように、2つの長方形ブロックへの細分化を特定する場合、可能な統合候補のうちのどれが、1番目の長方形ブロック、すなわち図1及び図3の場合のブロック50と同じパラメータ(例えば、予測信号を特定するためのパラメータ)を有するかをチェックされることができる。そして、(1番目の長方形ブロック自体を含む)同じ動きパラメータを有する全ての候補は、統合候補のセットから除かれる。統合情報をシグナリングするために送られる符号語またはフラグは、結果として生じる候補セットに適合される。候補セットがパラメータチェックによって空になる場合、統合情報は送信されない。候補セットがちょうど1つのエントリからなる場合、そのブロックが統合されるかどうかについてシグナリングされるだけであり、その候補は、復号器側で得られるので、シグナリングされる必要がない。上記例に関して、同じ構想はまた、4つのより小さい正方形ブロックに正方形ブロックを分割する分割パターンにも使用される。ここで、統合フラグの送信は、細分化を特定しない分割パターンも、同じサイズの2つの長方形ブロックへの細分化を特定する2つの分割パターンのいずれもが統合フラグの組み合わせによって達成されない方法で構成される。特定の分割パターンを用いた上記例に最も多い構想を説明したが、(他の分割パターンと対応する統合情報との組合せによって特定の分割パターンの仕様を回避する)同じ構想が分割パターンの他のセットのために使用されることができることは明らかである。
考慮される必要がある他の態様は、統合構想がビデオ符号化設計で見られるスキップまたはダイレクトモードにある意味で類似しているということである。スキップ/ダイレクトモードにおいて、基本的に、動きパラメータは、現在ブロックのために送信されないが、空間的および/または時間的隣接から推定される。スキップ/ダイレクトモードの特定の効率的な構想において、動きパラメータ候補(参照フレームインデックス、変位ベクトル、その他)のリストは、空間および/または時間的隣接から生成され、候補パラメータのうちのどれが選択されるかについて特定するこのリストへのインデックスが送信される。双予測されたブロック(または多重仮説フレーム)のために、別の候補が参照リストごとにシグナリングされることができる。可能な候補は、現在ブロックの上部のブロック、現在ブロックの左のブロック、現在ブロックの左上のブロック、現在ブロックの右上のブロック、これらの候補でさまざまなものの中央値予測器、1つ又は複数の前の参照フレームにおける同じ位置に配置されたブロック(または、他のすでに符号化されたブロック、または、すでに符号化されたブロックから得られる組み合わせ)を含むことができる。
スキップ/ダイレクトを統合構想と組み合わせることは、ブロックがスキップ/ダイレクトまたは統合モードを使用して、符号化されうることを意味する。スキップ/ダイレクトおよび統合構想は類似するが、セクション1において更に詳細に説明される2つの構想の違いがある。スキップおよびダイレクトの主な違いは、スキップモードが残差信号が送信されないことを更にシグナリングすることである。統合構想が使用されるときに、通常、ブロックが0以外の変換係数レベルを含むかどうかをシグナリングするフラグが送信される。
改善された符号化効率を得るために、上及び下で説明される実施形態は、サンプルセットが他のサンプルセットの符号化パラメータを使用するかどうかのシグナリングと残差信号がブロックのために送信されないかどうかのシグナリングとを組み合わせる。組み合わされたフラグは、サンプルセットが他のサンプルセットの符号化パラメータを使用すること、および、残差データが送信されないことを示す。この場合に関して、2つではなく1つのフラグだけが送信されることを必要とする。
上述したように、本発明のいくつかの実施形態はまた、統合アプローチが、ビットストリームの冗長を生ぜしめることなしで、画像のサンプル配列のための分割を選択するための可能性の数を著しく増加させるので、ビットストリームを生み出すためにより大きな自由度を符号器に供給する。符号器が、例えば、特定のレート歪み測度を最小化するために、より多くの選択肢の中から選ぶことができるので、符号化効率は、改善されうる。例として、分割と統合との組み合わせによって示されうる追加のパターンのいくつか(例えば図9のパターン)は、(動き推定およびモード決定のための対応するブロックサイズを使用して)追加的にテストされることができ、純粋に分割することによって(図8)、そして、分割および統合によって(図9)提供された最も良いパターンが、特定のレート歪み測度に基づいて選択されることができる。加えて、ブロックごとに、すでに符号化された候補セットのいずれかを用いた統合が、特定のレート歪み測度の減少において生ずるかどうかについてテストされることができ、対応する統合フラグは、符号化処理の間、セットされる。要約すると、符号器を作動させるいくつかの可能性がある。単純なアプローチにおいて、符号器は、(最高水準の符号化スキームとして)サンプル配列の最大の細分化を最初に決定することができる。そうすると、それは、サンプルセットごとに、他のサンプルセットまたはサンプルセットの他のグループを用いた統合が特定のレート歪みコスト測度を削減するかどうかをチェックすることができる。ここで、サンプルセットの統合されたグループと関連した予測パラメータは、(新たな動きサーチを実行することによって、)再推定されることができる。または、現在サンプルセットのためにすでに決定された予測パラメータおよび統合のための候補サンプルセット(またはサンプルセットのグループ)は、サンプルセットの考慮されたグループのために評価されることができる。より広範囲なアプローチにおいて、特定のレート歪みコスト測度は、サンプルセットの付加的な候補グループのために評価されることができる。特例として、さまざまな可能な分割パターン(例えば図8参照)をテストするときに、分割および統合の組み合わせによって示されることができるパターンの一部又は全部(例えば図9参照)は、加えて、テストされることができる。すなわち、パターンの全てに関して、特定の動き推定およびモード決定処理が実行され、最も小さいレート歪み測度を得るパターンが選択される。この処理は、上記の低煩雑性処理と組み合わされることもできる。その結果、結果として生じるブロックのために、(例えば図8および図9のパターンの外で)すでに符号化されたブロックに関する統合がレート歪み測度の減少を生じさせるかどうかが追加的にテストされる。
以下において、例えば図1、図2および図5の符号器と図3、図4および図6の復号器などに関して、上で概説された実施形態のためのいくつかの可能な詳細な実施態様について説明される。すでに上で述べたように、それは画像およびビデオ符号化において使用可能である。上述の通り、画像または画像のためのサンプル配列の特定のセットは、ブロックに分解されることができ、それは、特定の符号化パラメータと関連している。画像は、通常、複数のサンプル配列からなる。加えて、画像は、付加的な補助のサンプル配列と関連しうる。そして、それは、例えば、透明性情報または距離画像を特定することができる。(補助のサンプル配列を含む)画像のサンプル配列は、1つ又は複数のいわゆる平面群に分類されることができる。ここで、各平面群は、1つ又は複数のサンプル配列からなる。画像の平面群は、独立に、または、画像が1つ又は複数の平面群と関連している場合には、同じ画像の他の平面群からの予測によって、符号化されうる。各平面群は、通常、ブロックに分解される。ブロック(またはサンプル配列の対応するブロック)は、インター画像予測またはイントラ画像予測によって予測される。ブロックは、異なるサイズを有することができて、正方形または長方形でありえる。ブロックへの画像の分割は、シンタックスによって固定することもでき、または、それは、(少なくとも部分的に)ビットストリームの中でシグナリングすることもできる。しばしば定められたサイズのブロックに関する細分化の信号を送るシンタックス要素が送信される。この種のシンタックス要素は、小さいブロックに細分化されるかや、どのように分割されるかを特定することができ、そして、例えば予測の目的で、符号化パラメータと関連している。可能な分割パターンの例が図8に示される。ブロック(またはサンプル配列の対応するブロック)のすべてのサンプルに関して、関連した符号化パラメータの復号は、特定の方法で特定される。例において、ブロックの全てのサンプルが、(すでに符号化された画像のセットにおいて参照画像を識別する)参照インデックス、(参照画像と現在の画像との間のブロックの動きについての測度を特定する)動きパラメータ、補間フィルタを特定するためのパラメータ、イントラ予測モードなどの予測パラメータの同じセットを使用して、予測される。動きパラメータは、横成分および縦成分を有する変位ベクトルによって、または、6つの成分からなるアフィン動きパラメータなどの高次動きパラメータによって、示されることができる。特定の予測パラメータ(例えば参照インデックスおよび動きパラメータ)の複数のセットが1つのブロックと関連することも可能である。その場合、これらの特定の予測パラメータのセットごとに、ブロック(またはサンプル配列の対応するブロック)のための1つの中間の予測信号が生成され、そして、最終的な予測信号は、中間の予測信号を重畳することを含む結合によって構築される。対応する重み付けパラメータおよび場合によっては(重み付けされた和に加算される)一定のオフセットは、画像に関して、若しくは参照画像、若しくは参照画像セットに関して固定されうる、または、それらは、対応するブロックのための予測パラメータのセットに含まれうる。元のブロック(またはサンプル配列の対応するブロック)とそれらの予測信号との差(残差信号とも呼ばれる)は、通常、変換され、量子化される。しばしば、二次元変換が、残差信号(または残差ブロックのための対応するサンプル配列)に適用される。変換符号化のために、(予測パラメータの特定のセットが使用された)ブロック(またはサンプル配列の対応するブロック)は、変換を適用する前に、更に分割されることができる。変換ブロックは、予測のために使用されるブロックと等しくする、またはそれより小さくすることができる。変換ブロックが、予測のために使用されるブロックの2つ以上を含むことも可能である。異なる変換ブロックは、異なるサイズを有することができ、そして、変換ブロックは正方形または長方形のブロックを表すことができる。図1〜図7に関する上記例では、1番目の細分化のリーフノード、すなわち符号化ブロック40が、一方では、符号化パラメータの粒度を定めているパーティションに、一方では、二次元変換が個々に適用される変換ブロックに更に並列に分割されうる点が留意された。変換後、結果として生じる変換係数は、量子化され、そして、いわゆる変換係数レベルが得られる。変換係数レベル並びに予測パラメータ、そして、あれば、細分化情報は、エントロピー符号化される。特に、変換ブロックのための符号化パラメータは、残差パラメータと呼ばれている。予測パラメータと同様に残差パラメータ、そして、あれば、細分化情報は、エントロピー符号化されうる。H.264としての最新技術のビデオ符号化標準において、符号化ブロックフラグ(coded block flag)(CBF)と呼ばれているフラグは、全ての変換係数レベルが0であり、従って、残差パラメータが符号化されないことをシグナリングしうる。本発明によれば、このシグナリングは、統合アクティブ化シグナリングと組み合わされる。
最新技術の画像およびビデオ符号化標準において、シンタックスによって供給されるブロックに画像(または平面群)を細分化することの可能性は、非常に制限される。通常、事前に定められたサイズのブロックがより小さいブロックに細分化されうるかどうか(場合によってはその方法)が特定されるだけでありえる。例えば、H.264における最大のブロックサイズは、16x16である。16x16ブロックは、マクロブロックとも呼ばれ、各画像は、1番目のステップにおいて、マクロブロックに分割される。16x16マクロブロックごとに、それが16x16ブロックとして、または、2つの16x8ブロックとして、または、2つの8x16ブロックとして、または、4つの8x8ブロックとして、符号化されるかどうかがシグナリングされうる。16x16ブロックが4つの8x8ブロックに細分化される場合、これらの8x8ブロックの各々は、1つの8x8ブロックとして、または、2つの8x4ブロックとして、または、2つの4x8ブロックとして、または、4つの4x4ブロックとして、符号化されうる。最新技術の画像およびビデオ符号化標準のブロックに分割を特定するための可能性の小さいセットは、細分化情報をシグナリングするための補助情報レートが小さく保たれることができる利点があるが、ブロックのための予測パラメータを送信するのに必要なビットレートが、以下に説明されるように有意になりうるという不利な点がある。予測情報の信号を送るための補助情報レートは、通常、ブロックのための全体のビットレートの有意な量を示す。そして、この補助情報が削減されるときに、符号化効率は、増加することができる。そして、それは、例えば、より大きいブロックサイズを使用することにより達成されることができる。H.264と比較してサポートされた分割パターンのセットを増加させることも可能である。例えば、図8に示された分割パターンは、すべてのサイズ(または選択されたサイズ)の正方形のブロックのために供給されることができる。ビデオシーケンスの実像または画像は、特定の性質を有する任意で形づくられたオブジェクトからなる。例えば、この種のオブジェクトまたはオブジェクトの部分は、一意なテクスチャまたは一意な動きによって特徴づけられる。そして、通常、予測パラメータの同一のセットは、この種のオブジェクトまたはオブジェクトの一部のために使用されることができる。しかし、オブジェクト境界は、通常、大きな予測ブロック(例えばH.264の16x16マクロブロック)のための可能なブロック境界と一致しない。符号器は、通常、結果として特定のレート歪みコスト測度の最小限になる(可能性の限られたセットの中の)細分化を決定する。任意で形作られたオブジェクトのために、これは、結果として多数の小ブロックになる。この記述は、上記(述べたような)多くの分割パターンが供給されるときにも成立する。分割パターンの量があまりにも大きくなってはならない点に留意する必要がある。というのも、多くの補助情報および/または符号器/復号器の計算量が、これらのパターンを信号を送信し、処理するのに必要となるからである。そこで、任意で形作られたオブジェクトは、分割のため、しばしば結果として多数の小ブロックになる。そして、これらの小ブロックの各々が、送信される必要がある予測パラメータのセットと関連するので、補助情報レートは、全体のビットレートの有意な部分になりうる。しかし、小ブロックのいくつかが、まだ同じオブジェクトの領域またはオブジェクトの一部を示すので、多数の得られたブロックのための予測パラメータは、同じである又は非常に類似している。直観的に、ブロックを細分化することを可能にするだけなく、細分化の後に得られる2つ以上のブロックを統合することを可能にする方法でシンタックスが拡張されるとき、符号化効率は増加されうる。結果として、同じ予測パラメータによって符号化される一群のブロックを得る。この種の一群のブロックのための予測パラメータは、一回のみ符号化されることを必要とする。図1〜図7の上記例において、例えば、統合が起こる場合、現在のブロック40のための符号化パラメータは送信されない。すなわち、符号器は、現在ブロックと関連した符号化パラメータを送信せず、そして、復号器は、ビットストリーム30が現在ブロック40のための符号化パラメータを含むことを予想しない。むしろ、その特定の実施形態によれば、単にリファインメント情報だけが、統合された現在ブロック40のために伝達されうる。候補セットの決定およびその削減並びに統合などが、画像20のうちの他の符号化ブロック40のために実行される。符号化ブロックは、何とか符号化チェーンに沿って符号化ブロックのグループを形成する。そこにおいて、これらのグループのための符号化パラメータは、全体で一回だけビットストリームの中で送信される。
符号化予測パラメータの数を減らすことによって節約されるビットレートが統合情報のために追加的に費やされるビットレートより大きい場合、説明された統合は、結果として増加した符号化効率になる。(統合のための)説明されたシンタックス拡張が、冗長を生じさせることなしで、ブロックへの画像または平面群の分割を選択する際の付加的な自由度を符号器に供給することが、更に述べられなければならない。符号器は、まず細分化をして、それから結果として生じるブロックのいくつかが予測パラメータの同一のセットを有するかどうかをチェックするようには制限されない。1つの単純な変形例として、符号器は、最新技術の符号化技術として細分化を最初に決定することができる。次に、その隣接ブロック(またはブロックの関連したすでに決定されたグループ)のうちの1つとの統合が、レート歪みコスト測度を削減するかどうかをブロックごとにチェックすることができる。これにおいて、ブロックの新しいグループと関連した予測パラメータが、(例えば新たな動きサーチを実行することによって、)再度推定されることができる、または、現在ブロックおよび隣接のブロック若しくはブロックのグループのためにすでに決定された予測パラメータが、ブロックの新たなグループのために評価されることができる。符号器は、分割および統合の組み合わせによって供給されるパターン(のサブセット)を直接チェックすることもできる。すなわち、動き推定およびモード決定は、すでに上で述べたように結果として生じる形状でなされることができる。統合情報は、ブロックベースでシグナリングされうる。実際上、その統合はまた、現在ブロックのための予測パラメータの推定で得た結果と解釈されることもできる。ここで、推定された予測パラメータは、隣接したブロックのうちの1つの予測パラメータに等しく設定される。
スキップとは別のモードに関して、(CBFのような)付加的なフラグは、残差信号が送信されないことをシグナリングするために必要とされる。H.264の最新の技術ビデオ符号化標準のスキップ/ダイレクトモードの2つの変形、時間的ダイレクトモードおよび空間的ダイレクトモードがあり、それは、画像レベルで選択される。両方のダイレクトモードは、Bピクチャに適用できるだけである。時間的ダイレクトモードにおいて、参照画像リスト0に関する参照インデックスは、0に等しくセットされ、参照画像リスト1に関する参照インデックス並びに両方の参照リストに関する動きベクトルは、参照画像リスト1の第1の参照画像の同じ位置に配置されたマクロブロックの動きデータに基づいて得られる。時間的ダイレクトモードは、時間コロケートした(temporal collocated)ブロックからの動きベクトルを使用して、現在ブロックとそのコロケートブロックとの間の時間距離に従って動きベクトルをスケールする。空間的ダイレクトモードにおいて、両方の参照画像リストのための参照インデックスおよび動きベクトルは、基本的には、空間的隣接における動きデータに基づいて推定される。参照インデックスは、空間的隣接において対応する参照インデックスの最小値として選択され、そして、各動きベクトル構成要素は、空間的隣接における対応する動きベクトル構成要素の中線に等しくセットされる。スキップモードは、(PおよびBピクチャの)H.264の16x16マクロブロックを符号化するために使用されることができるだけであり、ダイレクトモードは、16x16マクロブロックまたは8x8サブマクロブロックを符号化するために使用されることができる。ダイレクトモードとは対照的に、統合が現在ブロックに適用される場合、すべての予測パラメータは、現在ブロックが統合されるブロックから複製されることができる。統合はまた、結果として1つのパターンのすべてのサンプルが同じ予測パラメータを使用して予測している上述のよりフレキシブルな分割パターンをもたらす任意のブロックサイズに適用されることもできる。
上記または下記で概説される実施形態の根本概念は、統合およびCBFフラグを結合することによって、CBFフラグを送信するために必要であるビットレートを削減することである。サンプルセットが統合を使用して、残差データが送信されない場合、1つのフラグは、両方をシグナリングして送信される。
画像およびビデオ符号化アプリケーションにおける補助情報レートを削減するために、(長方形または正方形のブロックまたは任意の形状の領域またはサンプルの他の集合を示しうる)サンプルの特定のセットは、通常、符号化パラメータの特定のセットと関連する。これらのサンプルセットの各々に関して、符号化パラメータは、ビットストリームに含まれる。符号化パラメータは、予測パラメータを示すことができ、それは、サンプルの対応するセットがすでに符号化されたサンプルを使用してどのように予測されるかについて特定する。サンプルセットへの画像のサンプル配列の分割は、シンタックスによって固定されうるかまたはビットストリームの中の対応する細分化情報によってシグナリングされうる。1つのブロックについて複数の分割パターンが、許容されうる。サンプルセットのための符号化パラメータは、シンタックスによって与えられる所定の順で送信される。サンプルの現在のセットに関して、それがサンプルセットのグループに1つ又は複数の他のサンプルセットに(例えば、予測の目的で)統合されることがシグナリングされうる。対応する統合情報のための値の可能なセットは、特定の分割パターンが他の分割パターンと対応する統合データとの組み合わせによって示すことができない方法で、採用された分割パターンに適用されうる。サンプルセットのグループための符号化パラメータは、一度だけ送信されることを必要とする。予測パラメータに加えて、残差パラメータ(例えば変換補助情報および量子化補助情報および変換係数レベル)が送信されることができる。現在のサンプルセットが統合される場合、統合プロセスを示している補助情報が送信される。この補助情報は、更に、統合情報と呼ばれる。上記および下記で説明される実施形態は、統合情報のシグナリングが(残差データがブロックのために存在するかどうかを特定している)符号化ブロックフラグのシグナリングと組み合わされる構想を説明する。
特別な実施形態において、統合情報は、組み合わされた、いわゆるmrg_cbfフラグを含み、それは、現在のサンプルセットが統合され、かつ、残差データが送信されない場合、1に等しい。この場合、更なる符号化パラメータおよび残差パラメータは送信されない。組み合わされたmrg_cbfフラグが0に等しい場合、統合が適用されるかどうかを示している他のフラグが符号化される。さらに、残差パラメータが送信されないことを示しているフラグは、符号化される。CABACおよびコンテキスト適応VLCにおいて、統合情報に関連したシンタックス要素のための確率の導出(およびVLCテーブル・スイッチング)のためのコンテキストは、すでに送信されたシンタックス要素および/または復号化パラメータ(例えば組み合わされたmrg_cbfフラグ)の関数として、選択されることができる。
好ましい実施形態において、組み合わされたmrg_cbfフラグを含んでいる統合情報は、符号化パラメータ(例えば予測情報および細分化情報)の前に符号化される。
好ましい実施形態において、複合mrg_cbfフラグを含んでいる統合情報は、符号化パラメータ(例えば予測情報および細分化情報)のサブセットの後、符号化される。細分化情報から生じる、全てのサンプルセットに関して、統合情報は、符号化されることができる。
図11から図13に関して更に下で説明される実施形態において、mrg_cbfは、skip_flagと呼ばれている。通常、mrg_cbfは、ブロック統合と関連したスキップの他のバージョンであることを示すために、merge_skipと呼ばれていることができる。
以下の好ましい実施形態は、長方形および正方形のブロックを示すサンプルのセットに関して説明されるが、それは直接の方法でサンプルの任意の形状の領域または他の集合まで拡張されうる。好ましい実施形態は、統合方式に関連したシンタックス要素と残差データの欠如を示しているシンタックス要素との組み合わせを示す。残差データは、残差補助情報並びに変換係数レベルを含むことができる。好ましい実施態様に関しても、残差データの欠如は、符号化ブロックフラグ(CBF)によって特定されるが、それは同様に他の手段またはフラグによって表現されうる。0に等しいCBFは、残差データが送信されないケースに関する。
1.統合フラグおよびCBFフラグの組み合わせ
以下に、補助的な統合をアクティブにするフラグは、mrgと呼ばれているが、後の図11〜図13に関して、それはmerge_flagと呼ばれている。同様に、統合インデックスは、現在はmrg_idxと呼ばれているが、後で、merge_idxが使用される。
1つのシンタックス要素を用いた統合フラグとCBFフラグとの可能な組み合わせが、このセクションにおいて説明される。以下概説されるこの可能な組み合わせの説明は、図1〜図6に示されて上記説明のいずれにでも転換することができる。
好ましい実施形態において、最大で3つのシンタックス要素が、統合情報およびCBFを特定するために送信される。
第1のシンタックス要素(以下、mrg_cbfと呼ぶ)は、サンプルの現在のセットが他のサンプルセットと統合されるかどうか、そして、すべての対応するCBFが0に等しいかどうか特定する。(統合なしで異なる分割パターンによってシグナリングされうる分割を生じる候補の可能性のある除去の後、)候補サンプルセットの抽出されたセットが空でない場合にのみ、mrg_cbfシンタックス要素は、符号化されることができる。しかし、統合候補のリストが決して消えないこと、すなわち、少なくとも1つまたは少なくとも2つの利用可能な統合候補があることが、デフォルトで保証されうる。本発明の好ましい実施形態において、候補サンプルセットの抽出されたセットが空でない場合、mrg_cbfシンタックス要素は、以下の通りに符号化される。
− 現在ブロックが統合され、かつ、CBFがすべての構成要素(例えば輝度および2つの彩度構成要素)に関して0に等しい場合、mrg_cbfシンタックス要素は1にセットされて、符号化される。
− そうでない場合、mrg_cbfシンタックス要素は、0に等しく設定されて、符号化される。
mrg_cbfシンタックス要素についての値0および1は、切り替えられることもできる。
別にmrgと呼ばれる第2のシンタックス要素は、サンプルの現在のセットが他のサンプルセットに統合されるかどうかを特定する。mrg_cbfシンタックス要素が1に等しい場合、mrgシンタックス要素は符号化されず、代わりに1に等しいと推定される。(候補サンプルの抽出されたセットが空であるので)mrg_cbfシンタックス要素がない場合、mrgシンタックス要素もまた存在せず、0に等しいと推定される。しかし、統合候補のリストが決して消えないこと、すなわち、少なくとも1つまたは少なくとも2つの利用可能な統合候補があることが、デフォルトで保証されうる。
mrgシンタックス要素が1に等しい(または1に等しいと推定される)場合にのみ符号化される、mrg_idxとも呼ばれる第3のシンタックス要素は、候補サンプルセットのセットのうちのどれが統合のために採用されるかについて特定する。好ましい実施形態において、候補サンプルセットの抽出されたセットが1つ以上の候補サンプルセットを含む場合、mrg_idxシンタックス要素は符号化されるだけである。別の好ましい実施形態において、候補サンプルセットの抽出されたセットのうちの少なくとも2つのサンプルセットが異なる符号化パラメータと関連する場合、mrg_idxシンタックス要素は、符号化されるだけである。
統合候補リストは、構文解析処理能力を改善して、情報損失に関してよりロバストになるように、構文解析および再構築を分離するために固定されることができることが述べられなければならない。より正確には、その分離は、リストエントリおよび符号語の固定された割り当てを使用することにより保証されることができる。これはリストの長さを固定することを要しない。しかし、付加的な候補を付け加えることによってリストの長さを同時に固定することは、固定された(より長い)符号語の符号化効率損失を補償することを可能にする。このように、前述のように、候補のリストが1つ以上の候補を含む場合、統合インデックスシンタックス要素は、送信されることができるだけである。しかし、これは、統合インデックスを解析する前にリストを抽出することを必要とし、同時にこれらの2つの処理を実行することを妨げるだろう。増加した構文解析スループットを可能にし、構文解析プロセスを伝送誤差に関してよりロバストにするために、インデックス値および固定された数の候補ごとに一定の符号語を使用することによりこの依存性を取り除くことは可能である。この数が候補選択によって達しない場合、リストを完成させるために補助的候補を抽出することは可能である。これらの付加的な候補は、すでにリストにあるおそらく異なる候補の動きパラメータから構築されるいわゆる組み合わされた候補、および0動きベクトルを含むことができる。
好ましい実施形態において、予測パラメータ(または、より一般的には、サンプルセットと関連した特定の符号化パラメータ)のサブセットが送信された後、サンプルのセットのための統合情報は符号化される。予測パラメータのサブセットは、1つ又は複数の参照画像インデックス、または、動きパラメータベクトルまたは参考画像インデックスの1つ又は複数の構成要素、および動きパラメータベクトルの1つ又は複数の構成要素からなりうる。
好ましい実施形態において、統合情報のmrg_cbfシンタックス要素は、分割モードの削減されたセットに関してのみ、符号化される。分割モードの可能なセットは、図8に示される。好ましい実施形態において、分割モードのこの削減されたセットは、1つに限られていて、第1の分割モード(図8のリストの左上)に対応する。例えば、ブロックが更に分割されない場合だけ、mrg_cbfは符号化される。更なる例として、mrg_cfbは、正方形のブロックについてのみ、符号化されることができる。
他の好ましい実施形態において、統合情報のmrg_cbfシンタックス要素は、この分割が図8に示される可能な分割モードのうちの1つ、例えば左下の4ブロックを用いた分割モードである分割の1つのブロックのためだけ、符号化される。好ましい実施形態において、これらの分割モードのうちの1つで組合せられる一つ以上のブロックがある場合、(復号化順で)1番目の統合されたブロックの統合情報は、全体のパーティションのためのmrg_cbfシンタックス要素を含む。その後復号される同じ分割モードの他のすべてのブロックに関して、統合情報は、サンプルの現在のセットが他のサンプルセットに統合されるかどうかを特定しているmrgシンタックス要素を含むだけである。残差データがあるかどうかの情報は、1番目のブロックにおいて符号化されるmrg_cbfシンタックス要素から推定される。
更なる本発明の好ましい実施形態において、サンプルのセットのための統合情報は、予測パラメータ(または、より一般的には、サンプルセットと関連する特定の符号化パラメータ)の前に符号化される。mrg_cbf、mrgおよびmrg_idxシンタックス要素を含む統合情報は、上記の1番目の好ましい実施形態に示されたような方法で符号化される。統合情報が、サンプルの現在のセットが他のサンプルのセットに統合されないこと、そして、構成要素のうちの少なくとも1つに関して、CBFが1に等しいことをシグナリングする場合、予測または符号化パラメータおよび残差パラメータは送信されるだけである。好ましい実施形態において、mrg_cbfシンタックス要素が、現在ブロックが統合され、すべての構成要素のためのCBFが0に等しいことを特定する場合、この現在ブロックに関して、統合情報の後に必要とされる信号化はもはやない。
他の本発明の好ましい実施形態において、シンタックス要素mrg_cbf、mrgおよびmrg_idxは、1つまたは2つのシンタックス要素として組み合わされて、符号化される。好ましい実施形態において、mrg_cbfおよびmrgは、1つのシンタックス要素に組み合わされる。そして、それは以下のケースのいずれかを特定する:(a)ブロックが統合され、それが残差データを含まないケース、(b)ブロックが統合され、残差データを含む(または残差データを含みうる)ケース、(c)ブロックが統合されないケース。他の好ましい形態において、シンタックス要素mrgおよびmrg_idxは、1つのシンタックス要素に組み合わされる。Nが統合候補の数である場合、組み合わされたシンタックス要素は、以下のケースのうちの1つを特定する:ブロックが統合されない、ブロックが候補1に統合される、ブロックが候補2に統合される、…、ブロックが候補Nに統合される。本発明の更なる好ましい実施形態において、シンタックス要素mrg_cfb、mrgおよびmrg_idxは、1つのシンタックス要素に結合される。そして、(候補の数であるNを用いて)それは以下のケースの1つを特定する:ブロックが統合されない、ブロックが候補1に統合され且つ残差データを含まない、ブロックが候補2に統合され且つ残差データを含まない、…、ブロックが候補Nに統合され且つ残差データを含まない、ブロックが候補1に統合され且つ残差データを含む(または含みうる)、ブロックが候補2に統合され且つ残差データを含む(または含みうる)。ブロックが候補Nに統合され且つ残差データを含む(または含みうる)。組み合わされたシンタックス要素は、可変長符号によって送信されることができるか、または算術符号化によって送信されることができるか、またはいかなる特定の2値化方式も使用してバイナリの算術符号化によって送信されることができる。
2.統合フラグとCBFフラグとの組み合わせおよびスキップ/ダイレクトモード
スキップ(SKIP)/ダイレクト(DIRECT)モードは、特定のブロックサイズおよび/またはブロック形状の全て又はそれのみのためにサポートされうる。最新の技術ビデオ符号化標準H.264に特定されるようなスキップ/ダイレクトモードの拡張において、候補ブロックのセットは、スキップ/ダイレクトモードのために使用される。スキップとダイレクトとの違いは残差パラメータが送られるかどうかである。スキップおよびダイレクトの(例えば予測に関する)パラメータは、対応する候補のいずれかから推定されることができる。どの候補が符号化パラメータを推定するために使用されるかについてシグナリングする候補インデックスは、符号化される。複数の予測が(H.264 B―フレームにおいて使用される双予測的なブロックのような)現在ブロックのための最終的な予測信号を形成するために組み合わされる場合、あらゆる予測は異なる候補に関しうる。このようにあらゆる予測のために、候補インデックスは、符号化されることができる。
本発明の好ましい実施形態において、スキップ/ダイレクトのための候補リストは、統合モードのための候補リストとは異なる候補ブロックを含むことができる。1つの例が、図10に示される。候補リストは、以下のブロックを含むことができる(現在ブロックは、Xiで示される)
●動きベクトル(Motion Vector)(0,0)
●中央値(Median)(左(Left)、上(Above)、角(Corner)間)
●左ブロック(Left block)(Li)
●上ブロック(Above block)(Ai)
●角ブロック(順番に:右上(Above Right)(Ci1)、左下(Below Left)(Ci2)、左上(Above Left)(Ci3))
●異なるが、すでに符号化された画像のコロケートブロック(Collocated block)
以下の記号は、下記実施形態を説明するために使用される。
●set_mvp_oriは、スキップ/ダイレクトモードのために使用される候補のセットである。このセットは{中央値(Median)、左ブロック(Left)、上ブロック(Above)、角ブロック(Corner)、コロケートブロック(Collocated)}から構成される。中央値(Median)は、中央値(左、上、角の順序付けられたセットの中央値)であり、コロケートブロック(collocated)は、最も近い参照フレーム(参照画像リストのうちの1つの1番目の参照画像)によって与えられ、対応する動きベクトルは時間距離に従ってスケールされる。例えば、左(Left)、上(Above)、角(Corner)ブロックがない場合、0に等しい両方の構成要素を有する動きベクトル(Motion Vector)が、追加的に、候補のリストに挿入されうる。
●set_mvp_combは、set_mvp_oriのサブセットである。
好ましい実施形態において、スキップ/ダイレクトモードおよびブロック統合モードの両方がサポートされる。スキップ/ダイレクトモードは、候補の元のセット(set_mvp_ori)を使用する。ブロック統合モードに関連した統合情報は、組み合わされたmrg_cbfシンタックス要素を含むことができる。
他の実施形態において、スキップ/ダイレクトモードとブロック統合モードはサポートされが、スキップ/ダイレクトモードは候補の修正されたセット(set_mvp_comb)を使用する。候補のこの修正されたセットは、元のセットset_mvp_oriの特定のサブセットでありえる。好ましい実施形態において、候補の修正されたセットは、角(Corner)ブロックおよびコロケート(Collocated)ブロックから成る。
他の実施形態において、候補の修正されたセットは、コロケート(Collocated)ブロックから成るだけである。更なるサブセットが可能である。
他の実施形態において、スキップモードが関連したパラメータの前に、mrg_cbfシンタックス要素を含んでいる統合情報は符号化される。他の実施形態において、スキップモードが関連したパラメータは、mrg_cbfシンタックス要素を含んでいる統合情報の前に符号化される。
他の実施形態によれば、ダイレクトモードは、アクティブにされない(存在しない)ことができ、ブロック統合は、mrg_cbfと交換されるスキップモードを有する候補の拡張セットを有する。
好ましい実施形態において、ブロック統合のための候補リストは、異なる候補ブロックを含むことができる。1つの例が、図10に示される。候補リストは、以下のブロックを含むことができる(現在ブロックは、Xiで示される):
●動きベクトル(Motion Vector)(0,0)
●左ブロック(Left block)(Li)
●上ブロック(Above block)(Ai)
●異なるが、すでに符号化された画像のコロケートブロック(Collocated block)
●角ブロック(順番に:右上(Above Right)(Ci1)、左下(Below Left)(Ci2)、左上(Above Left)(Ci3))
●組み合わされた双予測的な候補
●スケールされていない双予測的な候補
ブロック統合のための候補の位置が、メモリーアクセスを省くためにインター予測のMVPのリストと同じでありえることが述べられなければならない。
更に、リストは、構文解析処理能力を改善し、情報損失に関してよりロバストにするために構文解析および再構築を分離するように上で概説された方法で「固定される(fixed)」ことができる。
3.CBFの符号化
好ましい実施形態において、mrg_cfbシンタックス要素が0に等しい(それは、ブロックも統合されないこと、または、それがゼロ以外の残差データを含むことをシグナリングする)場合、残差データのすべての構成要素(例えば輝度および2つの彩度構成要素)がゼロであるか否かについてシグナリングするフラグが送信される。mrg_cfbが1に等しい場合、このフラグは送信されない。特定の構成において、mrg_cfbが0に等しい場合、このフラグは送信されず、シンタックス要素mrgはブロックが統合されることを特定する。
他の好ましい実施形態において、mrg_cfbシンタックス要素が0に等しい(それは、ブロックが統合されない、または、それがゼロ以外の残差データを含むことをシグナリングする)場合、構成要素のための残差データがゼロであるか否かについてシグナリングする各構成要素についてのシンタックス要素が送信される。
異なるコンテキストモデルは、mrg_cbfのために使用されることができる。
このように、上記実施形態は、特に、
サンプルのサンプルセットに画像を細分化するように構成されたサブディバイダーと、
サンプルセットを1つ又は複数のサンプルセットの独立のセットにそれぞれ統合するように構成されたマージャーと、
サンプルセットの独立のセットの単位で、画像の全域で異なる符号化パラメータを使用して、画像を符号化するように構成された符号器であって、前記符号器は、画像を予測して、所定のサンプルセットについての予測残差を符号化することによって、画像を符号化するように構成された符号器と、
各サンプルセットが他のサンプルセットとともに独立のセットのうちの1つに統合されるかどうかに関してシグナリングする、サンプルセットの少なくともサブセットの各々のための1つ又は複数のシンタックス要素に加えて、ビットストリームに予測残差および符号化パラメータを挿入するために構成されたストリームジェネレータとを含む、画像を符号化する装置を示す。
更に、その中に符号化された画像を有しているビットストリームを復号するための装置が説明され、それは、
サンプルセットに画像を細分化するように構成されたサブディバイダーと、
各々サンプルセットを1つ又は複数のサンプルセットの独立のセットに統合するように構成されたマージャーと、
サンプルセットの独立のセットの単位で、画像の全域で異なる符号化パラメータを使用して画像を復号するように構成された復号器であって、前記復号器は、所定のサンプルセットに関して、画像を予測して、所定のサンプルセットについての予測残差を復号して、予測残差と画像を予測することから生じる予測とを組み合わせることによって画像を復号するように構成された復号器と、
前記各サンプルセットが他のサンプルセットとともに独立のセットのうちの1つに統合されることになるかどうかに関してシグナリングする、サンプルセットの少なくともサブセットの各々のための1つ又は複数のシンタックス要素とともに、ビットストリームから予測残差および符号化パラメータを抽出するように構成されたエクストラクターであって、前記マージャーがシンタックス要素に応答して統合を実行するように構成されたエクストラクターとを含む。
1つ又は複数のシンタックス要素の可能な状態のうちの1つは、各サンプルセットが他のサンプルセットとともに独立のセットの1つに統合されることになっており、ビットストリームに、符号化されて、挿入された予測残差を有しないことを信号化する。
エクストラクターはまた、ビットストリームから細分化情報を抽出するように構成され、サブディバイダーは、細分化情報に応答してサンプルセットに画像を細分化するように構成される。
エクストラクターおよびマージャーは、例えば、サンプルセット走査順に従ってサンプルセットを通って順次進み、現在のサンプルセットに関して、
ビットストリームから第1のバイナリシンタックス要素(mrg_cbf)を抽出し、
第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、現在のサンプルセットを独立のセットのうちの1つに、現在のサンプルセットのための符号化パラメータが、この独立のセットと関連した符号化パラメータに等しいことを推定することによって、現在のサンプルセットを統合し、現在のサンプルセットについての予測残差の抽出をスキップし、サンプルセット走査順における次のサンプルセットに進み、
第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、ビットストリームから第2のシンタックス要素(mrg、mrg_idx)を抽出し、
第2のシンタックス要素に応じて、現在のサンプルセットについての予測残差に関する少なくとも1つの更なるシンタックス要素を抽出するとともに、独立のセットのうちの1つに、現在のサンプルセットのための符号化パラメータがこの独立のセットと関連した符号化パラメータに等しいことを推定することによって、現在のサンプルセットを統合する、または、現在のサンプルセットのための符号化パラメータの抽出を実行するように構成されうる。
少なくともサンプルセットのサブセットの各々のための1つ又は複数のシンタックス要素はまた、各サンプルセットが他のサンプルセットとともに独立のセットのいずれか1つに統合されることになる場合、各サンプルセットと隣接する所定の候補サンプルのセットのうちのどれを用いて、各サンプルセットが統合されるかをシグナリングすることができる。
エクストラクターは、1つ又は複数のシンタックス要素が、各サンプルセットが他のサンプルセットとともに独立のセットのいずれかに統合されることになることをシグナリングする場合、
各サンプルセットについての符号化パラメータの少なくとも一部が予測されることになるかどうかや、各サンプルセットに隣接する所定の候補サンプルの更なるセットのいずれから予測されることになるかをシグナリングする1つ又は複数の更なるシンタックス要素(スキップ/ダイレクトモード)を、ビットストリームから抽出するように構成されうる。
その場合、所定の候補サンプルセットのセットおよび所定の候補サンプルセットの更なるセットは、少数の所定の候補サンプルセットのセットおよび所定の候補サンプルセットの更なるセットの所定の候補サンプルセットに関して、互いに独立である又は交わりうる。
エクストラクターはまた、ビットストリームから細分化情報を抽出するように構成されえて、サブディバイダーは、細分化情報に応答して、サンプルセットに階層的に画像を細分化するように構成され、エクストラクターは、画像が細分化されるサンプルセットによって構成される、親サンプルセットの子サンプルセットを通って順次進み、そして、現在の子サンプルセットに関して、
第1のバイナリシンタックス要素(mrg_cbf)をビットストリームから抽出し、
第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、独立のセットのうちの1つに、現在の子サンプルセットのための符号化パラメータがこの独立のセットと関連した符号化パラメータに等しいことを推定することによって、現在の子サンプルセットを統合し、現在の子サンプルセットについての予測残差の抽出をスキップし、次の子サンプルセットに進み、
第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、第2のシンタックス要素(mrg、mrg_idx)をビットストリームから抽出し、そして、
第2のシンタックス要素に応じて、現在の子サンプルセットについての予測残差に関する少なくとも1つの更なるシンタックス要素を抽出し、次の子サンプルセットに進むと共に、独立のセットの1つに、現在の子サンプルセットについての符号化パラメータがこの独立のセットと関連した符号化パラメータに等しいことを推定することによって、現在の子サンプルセットを統合し、または、現在の子サンプルセットについての符号化パラメータの抽出を実行し、
次の子サンプルセットに関して、現在の子サンプルセットの第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、第1のバイナリシンタックス要素の抽出をスキップし、代わりに第2のシンタックス要素を抽出することから始まり、そして、現在の子サンプルセットの第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、第1のバイナリシンタックス要素を抽出するように構成される。
例えば、親サンプルセット(CU)が2つの子サンプルセット(PU)に分割されることを仮定してみる。第1のPUについては、第1のバイナリシンタックス要素(merge_cbf)が、第1のバイナリ状態を有する場合、1)第1および第2のPU(CU全体)は、ビットストリームに残差データを有さず、2)第2のPUについては、第2のバイナリシンタックス要素(merge_flag、merge_idx)はシグナリングされる。しかし、第1のPUのための第1のバイナリシンタックス要素が、第2のバイナリ状態を有する場合、1)第1のPUについては、第2のバイナリシンタックス要素(merge_flag、merge_idx)がシグナリングされ、同様に、残差データがビットストリームにあり、一方、2)第2のPUについては、第1のバイナリシンタックス要素(merge_cbf)がシグナリングされる。このように、merge_cbfがすべての前の子サンプルセットに関して第2のバイナリ状態にある場合、merge_cbfは、PUレベルで、すなわち、連続した子サンプルに関してシグナリングされることがありえる。merge_cbfが、連続した子サンプルセットのための第1のバイナリ状態にある場合、この子サンプルセットに続くすべての子サンプルセットが、ビットストリームに残差データを有するというわけではない。例えば、例えば4つのPUに分割されたCUに関して、merge_cbfは、符号化順で3番目および4番目のPUが、ビットストリームに残差データを有しないが、1番目のPUは有するまたは有しうることを意味する2番目のPUに関する第1のバイナリ状態にあることもありえる。
第1および第2のバイナリシンタックス要素は、コンテキスト適応可変長符号化またはコンテキスト適応(バイナリ)算術符号化を使用して符号化されうる、そして、シンタックス要素を符号化するためのコンテキストは、すでに符号化されたブロックのこれらのシンタックス要素のための値に基づいて得られる。
他の好ましい実施形態において説明したように、候補のリストが一つ以上の候補を含む場合にのみ、シンタックス要素merge_idxが送信されうる。これは、統合インデックスを構文解析する前にリストを得ることを必要とする。これらの2つの処理を並列に実行することを妨げる。増加した構文解析スループットを可能にし、構文解析プロセスを伝送誤差に関してよりロバストにするために、インデックス値ごとの固定された符号語および固定の数の候補を使用することにより、この依存性を取り除くことは可能である。この数が候補選択によって達しない場合、リストを完成させるために、補助的候補を得ることは可能である。これらの付加的な候補は、すでにリストにあるおそらく異なる候補の動きパラメータおよび0動きベクトルから構築される、いわゆる組み合わされた候補(combined candidates)を含みうる。
他の好ましい実施形態において、候補セットのブロックのうちのどれをシグナリングするかのシグナリングするためのシンタックスが、符号器および復号器で同時に適用される。例えば、統合に関するブロックの3つの選択が与えられる場合、それらの3つの選択は、シンタックスにあるのみで、エントロピー符号化のために考慮される。他の全ての選択についての確率は0であるとみなされて、エントロピー符復号化は、符号器および復号器で同時に適合される。
統合プロセスの結果として推定される予測パラメータは、ブロックと関連している予測パラメータの全セットを示すことができる、または、それらは、これらの予測パラメータ(例えば多仮説予測(multi−hypotheses prediction)が使用されるブロックの1つの仮説のための予測パラメータ)のサブセットを示すことができる。
好ましい実施形態において、統合情報に関連したシンタックス要素は、コンテキストモデリングを使用してエントロピー符号化される。
上で概説された実施形態を特定のシンタックスへ移す1つの方法は、次の図に関して以下において説明される。特に、図11〜図13は、上で概説された実施形態を利用するシンタックスの異なる部分を示す。特に、下で概説される実施形態によれば、画像20が、まず、その画像内容が図11に示されるシンタックスcoding_treeを使用して符号化される符号化ツリーブロックに分けられる。そこに示されるように、例えば、コンテキスト適応バイナリ算術符号化または他の特定のエントロピー符号化モードに関するentropy_coding_mode_flag=1について、現在の符号化ツリーブロックのクワッドツリー細分化は、符号400でsplit_coding_unit_flagと呼ばれているフラグによってシンタックス部coding_treeの中にシグナリングされる。図11に示すように、以下に説明される実施形態によれば、ツリールートブロックは、図7aに示すように深さ優先走査順でsplit_coding_unit_flagによってシグナリングされるように、細分化される。リーフノードに達するときはいつでも、それはシンタックス関数coding_unitを使用して直ちに符号化される符号化単位を示す。このことは、現在のsplit_coding_unit_flagがセットされるかどうかに関してチェックする402の条件節に注目するときに、図11から分かる。YESの場合は、関数coding_treeは再帰的に呼ばれ、符号器および復号器で、それぞれ、更なるsplit_coding_unit_flagの更なる送信/抽出をもたらす。そうでない場合、すなわち、split_coding_unit_flag=0である場合、図7aのツリールートブロック200の現在のサブブロックは、リーフブロックであり、この符号化単位を符号化するために、図10の関数coding_unitが404で呼ばれる。
現在説明された実施形態において、上述のオプションは、どの統合がインター予測モードが利用できる画像のために単に使用可能なだけかについて使用される。すなわち、イントラ符号化スライス/画像は、いずれにしろ統合を使用しない。このことは、図12から認識でき、イントラ画像スライスタイプと異なるスライスタイプの場合、すなわち、現在の符号化単位が属する現在のスライスがパーティションがインター符号化されることを可能にする場合にのみ、フラグskip_flagが406で送信される。本実施形態によれば、統合は、単にインター予測に関連した予測パラメータだけに関する。本実施形態によれば、skip_flagは、全部の符号化単位40のためにシグナリングされ、そして、skip_flagが1に等しい場合、このフラグ値は、
1)現在の符号化単位のための分割モードが、それが分割されず、その符号化単位のパーティションのみそれ自体を示す、非分割モードであること、
2)現在の符号化単位/パーティションが、インター符号化される、すなわち、インター符号化モードに割り当てられること、
3)現在の符号化単位/パーティションが、統合の影響を受けること、
4)現在の符号化単位/パーティションが、スキップモードに従属する、すなわち、スキップモードをアクティブにすること
を並行して復号器にシグナリングする。
したがって、skip_flagがセットされる場合、関数prediction_unitは、408で呼ばれ、現在の符号化単位を予測単位であるとして示す。しかし、これは、統合オプションのスイッチングの唯一の可能性ではない。むしろ、全部の符号化単位に関連したskip_flagが406でセットされない場合、非イントラ画像スライスの符号化単位の予測タイプがシンタックス要素pred_typeによって410でシグナリングされ、それに応じて、現在の符号化単位が更に分割されない場合に、例えば412で、現在の符号化単位のいかなるパーティションに関する関数prediction_unitを呼ぶ。図12において、単に4つの異なる分割オプションだけが利用できるように示されるが、図8に示された他の分割オプションも同様に利用可能でありうる。他の可能性は、分割オプションPART_NxNが利用可能でないが、他は可能であることであろう。図8に示される分割オプションとの図12に使用された分割モードの名前との間の関連は、個々の分割オプションの下の各添え字によって図8に示される。予測タイプシンタックス要素pred_typeは、予測モード、すなわち、イントラ符号化かインター符号化かをシグナリングするだけでなく、インター符号化モードの場合の分割もシグナリングすることに留意されたい。インター符号化モードの場合が、更に述べられる。関数prediction_unitは、前述の符号化順におけるパーティション50および60などのパーティションごとに呼ばれる。関数prediction_unitは、414でskip_flagをチェックすることから始める。skip_flagがセットされる場合、416において必然的にmerge_idxが続く。ステップ414のチェックは、406で信号化されたような全体の符号化単位に関連したskip_flagがセットされたかどうかに関してチェックすることについてのものである。そうでない場合は、merge_flagは、418で再度信号化され、後者がセットされる場合は、現在のパーティションについての統合候補を示すmerge_idxが、420で続く。さらに、merge_flagは、現在の符号化単位の現在の予測モードが、インター予測モード(422を参照)である場合にのみ、418で現在のパーティションのために信号化される。すなわち、skip_flagがセットされていない場合、予測モードは、410でpred_typeを介してシグナリングされる。ここにおいて、予測単位ごとに、pred_typeは、インター符号化モードがアクティブである(422を参照)場合には、統合特定フラグ、すなわち、merge_flagは、統合インデックスmerge_idxによってパーティションごとに統合がアクティブにされるとき、続くパーティションごとに、個々に、送信される。
図13から分かるように、本実施形態によれば、424の現在の予測単位のために使用される予測パラメータの送信は、統合が現在の予測のために使用されない場合にのみ、すなわち、統合は、skip_flagによっても、各パーティションのmerge_flagによってもアクティブにされないので、実行される。
すでに上で示されるように、skip_flag=1は、残差データが送信されないことになると同時にシグナリングする。これは、その送信の直後にskip_flagの状態をチェックする条件節428の他のオプションの中の残差データ送信から得られるように、現在の符号化単位についての図12の426における残差データの送信が、skip_flagが0に等しい場合にのみ起こることから得られる。
今まで、図11〜図13の実施形態は、entropy_coding_mode_flagが1に等しいという仮定の下においてのみ説明された。しかし、図11〜図13の実施形態は、他のエントロピー符号化モードが、例えば可変長符号化、より正確であるために、例えばコンテキスト適応可変長符号化など、シンタックス要素をエントロピー符号化するために、使用される場合である、entropy_coding_mode_flag=0の場合の上で概説された実施形態のうちの一実施形態を含む。特に、統合とスキップモードのアクティブ化を同時にシグナリングする可能性は、共通シグナリング状態が各シンタックス要素の2つ以上の状態の中のうちの1つの状態だけである、上で概説された変形例に従う。このことについて、ここでより詳細に説明する。しかしながら、両方のエントロピー符号化モード間で切り替わる可能性が、任意であり、したがって、別の実施形態は、2つのエントロピー符号化モードのうちの1つを可能にすることのみによって、図11〜図13から容易に得ることができることが強調される。
例えば、図11を参照されたい。entropy_coding_mode_flagが0に等しく、かつ、slice_typeシンタックス要素が、現在のツリールートブロックがインター符号化スライスに属することをシグナリングする、すなわち、インター符号化モードが利用できる場合、シンタックス要素cu_split_pred_part_modeは、430で送信されて、このシンタックス要素は、その名前により示されるように、各分割情報とともに、現在の符号化単位の更なる細分化に関する情報、スキップモードのアクティブ化または非アクティブ化、統合および予測モードのアクティブ化または非アクティブ化をシグナリングする。表1を参照されたい。
Figure 0006258704
表1は、現在の符号化単位が現在のツリールートブロックの中のクワッドツリー細分化において最も小さいものではないサイズを有する場合におけるシンタックス要素cu_split_pred_part_modeの可能な状態の意味を特定する。その可能な状態は、表1の最も左端の列にリストされる。表1が、現在の符号化単位が最も小さいサイズを有しない場合に関連するので、cu_split_pred_part_modeの状態、すなわち、状態0がある。そして、それは、それは現在の符号化単位が、実際の符号化単位でなく、更なる4つの符号化単位に細分化される必要があり、それらがさらに432の関数coding_treeを呼ぶことによって概説されたように、深さ優先走査順で走査されることをシグナリングする。すなわち、cu_split_pred_part_mode=0は、現在のツリールートブロックの現在のクワッドツリー細分化単位が、4つの更により小さい単位に細分化されることになること、すなわち、split_coding_unit_flag=1をシグナリングする。しかし、cu_split_pred_part_modeがその他の可能な状態をとる場合、split_coding_unit_flag=0であり、現在の単位が現在のツリールートブロックのリーフブロック、すなわち、符号化単位を形成する。その場合、cu_split_pred_part_modeの残りの可能な状態のうちの1つは、現在の符号化単位が統合の影響下にあり、表1の3番目の列でskip_flagが1に等しいことによって示されるスキップモードがアクティブ化されていることを同時にシグナリングする、上で説明された共通シグナリング状態を示す。一方で、現在の符号化単位の更なるパーティションが生じないこと、すなわち、PART_2Nx2Nが分割モードとして選択されることを同時にシグナリングする。cu_split_pred_part_modeはまた、スキップモードが非アクティブ化で、統合のアクティブ化をシグナリングする可能な状態がある。これは、可能な状態2であり、それは、skip_flag=0であるとともにmerge_flag=1である、非分割モードがアクティブである、すなわち、PART_2Nx2Nに対応する。すなわち、その場合、merge_flagは、prediction_unitシンタックスの中ではなく、予めシグナリングされる。cu_split_pred_part_modeの残りの可能な状態において、1つ以上のパーティションに現在の符号化単位を分割するこれらの分割モードについて、他の分割モードに関するインター予測モードは、シグナリングされる。
Figure 0006258704
表2は、現在のツリールートブロックのクワッドツリー細分化に従って、現在の符号化単位が可能な限りの最小のサイズを有する場合に、cu_split_pred_part_modeの可能な状態の重要性またはセマンティクスを示す。その場合、cu_split_pred_part_modeのすべての可能な状態は、split_coding_unit_flag=0による更なる細分化に対応しない。しかし、可能な状態0は、そのskip_flag=1であることをシグナリングする、すなわち、統合がアクティブ化され、かつ、スキップモードがアクティブ化されることを同時にシグナリングする。さらに、それは、非分割モードが起こること、すなわち、分割モードPART_2Nx2Nをシグナリングする。可能な状態1は、表1の可能な状態2に対応し、それは、表2の可能な状態2にあてはまり、それは表1の可能な状態3に対応する。
図11〜図13の実施形態の前記説明が、すでに大部分の機能および意味を説明したが、一部の更なる情報が下に示される。
1と等しいskip_flag[x0][y0]は、現在の符号化単位のために(図の40を参照)、PまたはBスライスを復号するとき、動きベクトル予測器インデックス(merge_idx)以外のどんなシンタックス要素も、skip_flag[x0][y0]の後に解析されないことを特定する。0と等しいskip_flag[x0][y0]は、符号化単位がスキップされないことを特定する。配列インデックスx0,y0は、画像の左上の輝度サンプルと関連して、考慮された符号化単位の左上の輝度サンプルの位置(x0、y0)を特定する(図の20を参照)。
skip_flag[x0][y0]がないときに、0に等しいことが推定される。
上記の通り、skip_flag[x0][y0]が1に等しい場合、
− PredModeは、MODE_SKIPに等しいと推定される
− PartModeは、PART_2Nx2Nに等しいと推定される
cu_split_pred_part_mode[x0][y0]は、split_coding_unit_flagを、そして、符号化単位がskip_flag[x0][y0]、merge_flag[x0][y0]、PredMode、および符号化単位のPartModeを分割されない時を特定する。配列インデックスx0およびy0は、画像の左上の輝度サンプルと関連して、符号化単位の左上の輝度サンプルの位置(x0,y0)を特定する。
merge_flag[x0][y0]は、現在の予測単位(図の50および60、すなわち、符号化単位40の中のパーティション)についてのインター予測パラメータが隣接したインター予測されたパーティションから推定されるかどうかを特定する。配列インデックスx0,y0は、画像の左上の輝度サンプルと関連して、考慮された予測ブロックの左上の輝度サンプルの位置(x0,y0)を特定する。
merge_idx[x0][y0]は、統合候補リストの統合候補インデックスを特定する。ここで、x0,y0は、画像の左上の輝度サンプルと関連して、考慮された予測ブロックの左上の輝度サンプルの位置(x0,y0)を特定する。
図11〜図13の前記説明において特に示されていないが、統合候補または統合候補のリストは、本実施形態において、例として、空間的に隣接した予測単位/パーティションの符号化パラメータまたは予測パラメータだけを使用して決定されるだけでなく、むしろ、候補のリストも、時間的に隣接し、前に符号化された画像の時間的に隣接したパーティションの予測パラメータを使用することにより形成される。さらに、空間的におよび/または時間的に隣接した予測単位/パーティションの予測パラメータの組み合わせは、使用され、統合候補のリストに含まれる。当然、単にそのサブセットだけは、使用されることができる。特に、図14は、空間的な隣接、すなわち、空間的に隣接したパーティションまたは予測単位を決定する1つの可能性を示す。図14は、例として、予測単位またはパーティション60、およびピクセルB0〜B2およびA0〜A1を示し、パーティション60の境界500に直に隣接した位置にする、すなわち、B2は、パーティション60の左上のピクセルに斜めに隣接し、B1は、パーティション60の一番右上のピクセルに縦に隣接して、B0は、パーティション60の一番右上のピクセルに斜めに位置して、A1はパーティション60の一番左下のピクセルの横に位置し、A0は、パーティション60の一番左下のピクセルに斜めに位置している。ピクセルB0〜B2並びにA0およびA1のうちの少なくとも1つを含むパーティションは、空間的隣接を形成し、その予測パラメータは、統合候補を形成する。
利用可能であった他の分割モードにつながるそれらの候補の上述の任意の除去を実行するために、以下の関数が使用されうる。
特に、候補N、すなわち、ピクセルN=(B0,B1,B2,A0,A1)、すなわち、位置(xN,yN)をカバーする予測単位/パーティションから生ずる符号化/予測パラメータは、以下の条件のいずれかが真である場合に、候補リストから除かれる(分割モードPartModeおよび符号化単位の中の各分割を示している対応する分割インデックスPartIdxについての図8を参照されたい)。
− 現在の予測単位のPartModeは、PART_2NxNであり、PartIdxは、1に等しく、輝度位置(xN,yN)(PartIdx=0)と輝度位置(xP,yP−1)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP−1]==mvLX[xN,yN]
refIdxLX[xP,yP−1]==refIdxLX[xN,yN]
predFlagLX[xP,yP−1]==predFlagLX[xN,yN]
− 現在の予測単位のPartModeは、PART_Nx2Nであり、PartIdxは、1に等しく、輝度位置(xP−1,yP)(PartIdx=0)と輝度位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP−1,yP]==mvLX[xN,yN]
refIdxLX[xP−1,yP]==refIdxLX[xN,yN]
predFlagLX[xP−1,yP]==predFlagLX[xN,yN]
− 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは3に等しく、輝度位置(xP−1,yP)(PartIdx=2)と輝度位置(xP−1,yP−1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP−1,yP]==mvLX[xP−1,yP−1]
refIdxLX[xP−1,yP]==refIdxLX[xP−1,yP−1]
predFlagLX[xP−1,yP]==predFlagLX[xP−1,yP−1]
そして、輝度位置(xP,yP−1)(PartIdx=1)および輝度位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP−1]==mvLX[xN,yN]
refIdxLX[xP,yP−1]==refIdxLX[xN,yN]
predFlagLX[xP,yP−1]==predFlagLX[xN,yN]
− 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは3に等しく、輝度位置(xP,yP−1)(PartIdx=1)と輝度位置(xP−1,yP−1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP−1]==mvLX[xP−1,yP−1]
refIdxLX[xP,yP−1]==refIdxLX[xP−1,yP−1]
predFlagLX[xP,yP−1]==predFlagLX[xP−1,yP−1]
そして、輝度位置(xP−1,yP)(PartIdx=2)および輝度位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP−1,yP]==mvLX[xN,yN]
refIdxLX[xP−1,yP]==refIdxLX[xN,yN]
この点に関して、位置またはロケーション(xP,yP)が、現在のパーティション/予測単位の最も大きい画素を示す点に留意されたい。すなわち、第1の項目に従って、隣接する予測単位、すなわち予測単位Nの各符号化パラメータが直接採用することによって得られたすべての符号化パラメータ候補は、チェックされる。しかし、他の付加的な符号化パラメータ候補は、それがシンタックスによってサポートされた他の分割パターンを得ることになるであろう発生している各予測単位の符号化パラメータと等しいかどうかに関して、同じ方法でチェックされる。ちょうど説明された実施形態によれば、符号化パラメータの同一性は、動きベクトル、すなわちmvLX、参照インデックス、すなわちrefIxLX、およびXが0または1である参照リストXと関連した、パラメータ、すなわち動きベクトルおよび参照インデックスがインター予測において使用されることを示している予測フラグpredFlagLXの同一性のチェックを含む。
隣接した予測単位/パーティションの符号化パラメータ候補の除去についての前述の可能性もまた、図8の右の半分に示される非対称の分割モードをサポートする場合には適用できる点に留意されたい。その場合、モードPART_2NxNは、全て横に細分化しているモードを示し、PART_Nx2Nは、全て縦に細分化しているモードに対応しうる。更に、モードPART_NxNは、サポートされた分割モードまたは分割パターンから除外されることができて、その場合、単なる第1の2つの除去チェックだけが実行されなければならない。
実施形態図11〜図14に関して、イントラ予測されたパーティションを候補のリストから除外すること、すなわち、それらの符号化パラメータが当然に候補のリストに含まれないことがありうることにも留意すべきである。
更に、それぞれ、3つのコンテキストがskip_flag、merge_flagおよびmerge_idxのために使用されることができることに留意されたい。
いくつかの態様が装置に関連して説明されたが、これらの態様はまた、対応する方法の記載も示すことは明らかである。ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップに関連して説明された態様もまた、対応するブロックまたは項目の記載または対応する装置の機能を示す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラミング可能なコンピュータまたは電子回路のようなハードウェア装置によって(または用いて)実行されることができる。いくつかの実施形態では、最も重要な方法ステップの1つまたは複数は、この種の装置によって実行されることができる。
特定の実現要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実行されることができる。実施態様は、各方法が実行されるように、それはプログラミング可能な計算機システムと協動する(または協動することができる)、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、Blue―Ray、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して実行されることができる。従って、デジタル記憶媒体は、計算機可読でありえる。
本発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの1つが実行されるように、プログラミング可能な計算機システムと協動することができる、電子的に読み込み可能な制御信号を有するデータキャリアを含む。
通常、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実行されることができ、コンピュータプログラム製品が、コンピュータ上で動作するときに、プログラムコードが本方法のうちの1つを実行するように機能する。プログラムコードは、例えば、機械読み取り可読キャリアに格納されることができる。
他の実施形態は、機械読み取り可読キャリアに格納される、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含む。
従って、換言すれば、本発明の方法の実施形態は、コンピュータプログラムはコンピュータ上で動作するときに、本願明細書において説明された方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
従って、本発明の方法の更なる実施形態は、その上に記録されて、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含んでいるデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体または記録された媒体は、一般的に、有形である、および/または、一時的でない。
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されることができる。
更なる実施形態は、本願明細書において説明される方法のうちの1つを実行するために構成された又は適合された、処理手段、例えばコンピュータまたはプログラム可能な論理回路を含む。
更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをそれにインストールされたコンピュータを含む。
本発明による更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的に、または、光学的に)転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等でありえる。装置またはシステムは、例えば、コンピュータプログラムを受信機へ転送するためのファイルサーバを含むことができる。
いくつかの実施形態では、プログラム可能な論理回路(例えば論理プログラミング可能デバイス)は、本願明細書において説明された方法の機能の一部または全部を実行するために使用されることができる。いくつかの実施形態において、論理プログラミング可能デバイスは、本願明細書において説明された方法のうちの1つを実行するために、マイクロプロセッサと協動することができる。通常、本方法は、好ましくは、いかなるハードウェア装置によっても実行される。
上記実施形態は、本発明の原理のために、単に示しているだけである。本願明細書において説明された装置および詳細の修正及び変更が、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲だけによって制限され、本願明細書における実施形態の記載および説明として示された具体的な詳細によっては制限されないという意図である。

Claims (12)

  1. 画像(20)が中に符号化されるビットストリーム(30)を復号するように構成された装置であって、前記画像のサンプル配列は、ブロックに分割され、前記ビットストリームは各ブロックに関し前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかを示し、前記装置は、現在のブロックに関して、前記現在のブロックと関連した符号化パラメータが、統合候補に従って統合によりセットされることになるか、または、前記ビットストリーム(30)から取り出されることになるかについての第1の決定、および、前記画像(20)の前記現在のブロックが、いかなる残差データもなしで、前記現在のブロックと関連した前記符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、前記ビットストリーム(30)の中の残差データによって、前記現在のブロック(40)と関連した前記符号化パラメータに応じた前記予測信号をリファインすることによって再構築されることになるかについての第2の決定、および前記現在のブロックがインター予測モードで符号化されるかについての第3の決定に関する前記ビットストリーム(30)の中のフラグに共通に応答するようにコンピュータプログラムとして実装され、
    その結果、前記装置は、
    前記ビットストリーム(30)の中の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされることになること、前記現在のブロックの前記残差データが送信されないこと、および前記現在のブロックがインター予測モードで符号化されることをシグナリングする場合、
    統合候補に従って前記現在のブロック(40)と関連した前記符号化パラメータをセットすることによって前記現在のブロック(40)と関連した前記符号化パラメータが得られるように統合を実行し、かつ、前記現在のブロック(40)と関連した前記符号化パラメータを得て、いかなる残差データもなしで、前記符号化パラメータに応じた予測信号のみに基づいて前記インター予測モードを使用して前記画像(20)の前記現在のサンプルセット(40)を再構築し、かつ、
    前記ビットストリーム(30)の中の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされることにならないことをシグナリングする場合、
    前記ビットストリームから前記現在のブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングするシンタックス要素を抽出し、前記現在のブロックがさらに分割される前記現在の各分割に関し、前記シンタックス要素が前記現在のブロックがインター予測モードで符号化されることをシグナリングする場合、統合フラグは、前記各分割に関し前記統合のアクティブ化をシグナリングすることを特徴とする、装置。
  2. 前記装置は、前記装置が、
    前記ビットストリームの中の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされることになることをシグナリングしない場合、
    前記ビットストリーム内の前記統合フラグに応じて、前記装置が、
    前記現在のブロック(40)の各分割と関連した前記符号化パラメータが統合候補に従って前記現在のブロック(40)の各分割と関連した前記符号化パラメータをセットすることによって得られ、前記ビットストリーム(30)から前記現在のブロック(40)の各分割についての残差データを得て、前記予測信号および前記残差データに基づいて前記画像(20)の前記現在のブロック(40)の各分割を再構築するように前記現在のブロックの前記各分割に関する前記統合をアクティブ化する、または、
    前記ビットストリーム(30)から前記現在のブロック(40)の各分割と関連した前記符号化パラメータを抽出し、前記ビットストリーム(30)から前記現在のブロック(40)の各分割についての残差データを得て、前記予測信号および前記残差データに基づいて前記画像(20)の前記現在のブロック(40)の各分割を再構築するように、
    前記現在のブロックの各分割に関して前記ビットストリームの中の前記統合フラグに応答するように、構成されることを特徴とする、請求項1に記載の装置。
  3. 符号化された画像(20)を有するビットストリームを復号するための装置であって、
    サンプル(40)のブロックに前記画像(20)を細分化するように構成されたサブディバイダー(82)と、
    1つ又は複数のブロックのグループに前記ブロック(40)をそれぞれ統合するように構成されたマージャー(84)と、
    ブロックの前記グループの単位で、前記画像(20)の全域で異なる符号化パラメータを使用して、前記画像(20)を復号するように構成された復号器(86)であって、前記復号器(86)は、所定のブロックに関して、前記画像(20)を予測し、前記所定のブロックについての予測残差を復号し、前記予測残差と前記画像(20)を予測することから生じる予測とを組み合わせることによって前記画像を復号するように構成された復号器であって、前記ビットストリームは、各ブロックに関し、前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングするように構成された前記復号器(86)と、
    前記ブロック(40)の少なくともサブセットの各々のための1つ又は複数のシンタックス要素とともに、前記各ブロック(40)がインター予測モードで符号化されるか、前記各ブロックは、他のブロック(40)とともに前記グループのうちの1つに統合されることになるか、および前記各ブロックの残差データは送信されることにならないかどうかに関してシグナリングする、前記ビットストリーム(30)から前記予測残差および前記符号化パラメータを抽出するように構成されたエクストラクター(88)であって、前記マージャー(84)は、前記1つ又は複数のシンタックス要素に応答して、前記統合を実行するように構成される、前記エクストラクターとを含み、
    前記1つ又は複数のシンタックス要素の可能な状態のうちの1つは、前記各ブロック(40)が、インター予測モードで符号化され、他のブロック(40)とともに前記グループのうちの1つに統合されることになっており、前記ビットストリーム(30)に、符号化され、挿入された予測残差を有しないことを信号化し、かつ、前記エクストラクター(88)は、前記ビットストリームから、前記1つまたは複数のシンタックス要素が前記可能な状態の1つを仮定しない各ブロックに関し、前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングするシンタックス要素を抽出するように構成され、分割情報は、前記各ブロックの分割を信号化かつ前記各ブロックが前記分割情報に従って分割される各分割に関し、前記各ブロックがインター予測モードで符号化される場合、統合フラグを信号化し、前記統合フラグは、前記各分割のための前記統合を個々にアクティブ化するように構成されていることを特徴とする、装置。
  4. 前記エクストラクターはまた、前記ビットストリームから細分化情報を抽出するようにも構成され、かつ、前記サブディバイダーは、前記細分化情報に応答して、ブロックに前記画像を細分化するように構成されることを特徴とする、請求項3に記載の装置。
  5. 前記エクストラクターおよび前記マージャーは、ブロック走査順に従って、前記ブロックを通って順次進むように構成され、かつ、現在のブロックに関して、
    前記ビットストリームから第1のバイナリシンタックス要素を抽出し、
    前記第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、前記現在のブロックについての前記符号化パラメータがこのグループと関連した前記符号化パラメータと等しいことを推定することによって、前記グループのうちの1つに前記現在のブロックを統合し、前記現在のブロックについての前記予測残差の前記抽出をスキップし、ブロック走査順における次のブロックに進み、
    前記第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、前記ビットストリームから第2のシンタックス要素を抽出し、
    前記第2のシンタックス要素に応じて、前記グループのうちの1つに、前記現在のブロックについての前記符号化パラメータがこのグループと関連した前記符号化パラメータに等しいことを推定することによって、前記現在のブロックを統合する、または、前記現在のブロックについての前記予測残差に関する少なくとも1つの更なるシンタックス要素を抽出することによって、前記現在のブロックについての前記符号化パラメータの前記抽出を実行するように構成されることを特徴とする、請求項3又は請求項4に記載の装置。
  6. ビットストリーム(30)に画像(20)を符号化するための装置であって、前記画像(20)のサンプル配列は、ブロック(40)に分割され、かつ前記ビットストリームは、各ブロックに関し前記各ブロックはイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングし、前記装置は、現在のブロックに関して、前記現在のブロック(40)と関連した符号化パラメータが、統合候補に従って統合されることによりセットされることになるか、または、前記ビットストリーム(30)から取り出されることになるかに関して、および、前記画像(20)の前記現在のブロック(40)が、いかなる残差データもなしで、前記現在のブロック(40)と関連した前記符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、前記ビットストリーム(30)の中の残差データによって前記現在のブロック(40)と関連した前記符号化パラメータに応じた前記予測信号をリファインすることによって再構築されることになるかに関して、および前記現在のブロックがインター予測モードで符号化されるかの第3の決定を共通にシグナリングする前記ビットストリームの中のフラグを符号化するようにコンピュータプログラムとして実装され、
    その結果、前記装置は、
    前記ビットストリーム(30)の中の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされることになること、前記現在のブロックの前記残差データが送信されないこと、および前記現在のブロックが前記インター予測モードで符号化されることをシグナリングする場合、
    前記現在のブロック(40)と関連した前記符号化パラメータが、統合候補に従ってセットされて、前記画像(20)の前記現在のブロック(40)が、いかなる残差データもなしで、前記符号化パラメータに応じた予測信号のみに基づいて前記インター予測モードを使用して再構築されることになるように前記統合がアクティブ化され、かつ
    前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされないことになることをシグナリングする場合、
    シンタックス要素を前記現在のブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングするビットストリームに挿入し、かつ、前記シンタックス要素が、前記現在のブロックがさらに分割される前記現在のブロックの各分割に関し、前記現在のブロックがインター予測モードで符号化されることをシグナリングする場合、統合フラグは前記各分割に関し前記統合のアクティブ化をシグナリングすることを特徴とする、装置。
  7. 画像を符号化するための装置であって、
    サンプルのブロックに前記画像を細分化するように構成されたサブディバイダー(72)と、
    前記ブロックを1つ又は複数のブロックのグループにそれぞれ統合するように構成されたマージャー(74)と、
    ブロックの前記グループの単位で、前記画像の全域で異なる符号化パラメータを使用して、前記画像を符号化するように構成された符号器(76)であって、前記符号器(76)は、前記画像を予測して、所定のブロックについての予測残差を符号化することによって、前記画像を符号化するように構成され、各ブロックに関し前記ビットストリームは、前記各ブロックがイントラ予測モードあるいはインター予測モードで符号化されるかをシグナリングする、前記符号器(76)と、
    前記ブロックの少なくともサブセットの各々についての1つ又は複数のシンタックス要素とともに、前記各ブロックがインター予測モードで符号化されるか、前記各ブロックが他のブロックとともに前記グループのうちの1つに統合されるかおよび前記各ブロックの残差データが送信されることにならないか否かをシグナリングする、ビットストリームに前記予測残差および前記符号化パラメータを挿入するように構成されたストリームジェネレータ(78)とを含み、
    前記1つ又は複数のシンタックス要素の可能な状態のうちの1つは、前記各ブロックがインター予測モードで符号化され、他のブロックとともに前記グループのうちの1つに統合されることになっており、前記ビットストリームに、符号化され、挿入された予測残差を有しないことを信号化し、かつ、前記ストリームジェネレータ(78)は、前記1つまたは複数のシンタックス要素が前記可能な状態の1つを仮定しない各ブロックに関し前記ビットストリームに挿入するように構成され、シンタックス要素は各ブロックがイントラ予測モードまたはインター予測モードで符号化されたかをシグナリングし、分割情報は、前記ビットストリーム内で前記各ブロックの分割を信号化し、かつ前記各ブロックが前記分割情報に従って分割される各分割に関し、統合フラグを信号化し、前記統合フラグは、前記各分割のための前記統合を個々にアクティブ化することを特徴とする、装置。
  8. 画像(20)が中に符号化されるビットストリーム(30)を復号するための方法であって、前記画像のサンプル配列は、ブロックに分割され、かつ前記ビットストリームは、各ブロックに関し前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングし、前記方法は、前記方法を実行するためにプログラムされたコンピュータにより実行され、前記方法は、現在のブロックに関して、前記現在のブロックと関連した符号化パラメータが、統合候補に従って統合されることによりセットされることになるか、または、前記ビットストリーム(30)から取り出されることになるかについての第1の決定、および、前記画像(20)の前記現在のブロック(40)が、いかなる残差データもなしで、前記現在のブロック(40)と関連した前記符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、前記ビットストリームの中の残差データによって、前記現在のブロック(40)と関連した前記符号化パラメータに応じた前記予測信号をリファインすることによって再構築されることになるかについての第2の決定、および前記現在のブロックがインター予測ブロックで符号化されるかについての第3の決定に関する、前記ビットストリーム(30)の中のフラグに共通に反応するステップを含み、
    その結果、
    前記ビットストリーム(30)の中の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされることになること、前記現在のブロックの前記残差データが送信されないこと、および前記現在のブロックがインター予測モードで符号化されることをシグナリングする場合、
    前記現在のブロック(40)と関連した前記符号化パラメータが、統合候補に従って前記現在のブロック(40)と関連した前記符号化パラメータをセットすることによって得られ、かつ、前記画像(20)の前記現在のブロック(40)が、いかなる残差データもなしで、前記符号化パラメータに応じた予測信号のみに基づいて前記インター予測モードを使用して再構築されるように前記統合が実行され、かつ
    前記ビットストリーム(30)の中の前記フラグが、前記現在のブロック(40)に関連した前記符号化パラメータが統合パラメータに従ってセットされることにならないことをシグナリングする場合、
    シンタックス要素は、イントラ予測モードまたはインター予測モードで符号化されるかをシグナリングし、かつ、前記シンタックス要素が、前記現在のブロックがさらに分割される前記現在のブロックの各パーティションに関し前記現在のブロックがインター予測モードで符号化されることをシグナリングする場合、前記各分割に関する前記統合のアクティブ化を示す統合フラグは、前記ビットストリームから抽出されることを特徴とする、方法。
  9. 符号化された画像(20)を有するビットストリームを復号するための方法であって、前記方法は、前記方法を実行するためにプログラムされたコンピュータにより実行され、前記方法は、
    ブロックに前記画像(20)を細分化するステップと、
    前記ブロックを1つ又は複数のブロックのグループにそれぞれ統合するステップと、
    ブロックのグループの単位で、前記画像(20)の全域で異なる符号化パラメータを使用して、前記画像(20)を復号するステップであって、前記画像(20)を予測して、所定のブロックについての予測残差を復号して、前記予測残差と前記所定のブロックに関する前記画像(20)を予測することから生じる予測とを組み合わせることによって、前記画像を復号するように構成されるステップであって、各ブロックについて前記ビットストリームは前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングする前記ステップと、
    前記ブロック(40)の少なくともサブセットの各々のための1つ又は複数のシンタックス要素とともに、前記各ブロック(40)がインター予測モードで符号化されるか、前記各ブロックが他のブロックとともに前記グループのうちの1つに統合されることになるかおよび前記各ブロックの前記残差データが送信されないことになるかどうかをシグナリングする、前記ビットストリーム(30)から前記予測残差および前記符号化パラメータを抽出するステップであって、前記統合(84)は、前記1つ又は複数のシンタックス要素に応答して実行される前記ステップとを含み、
    前記1つ又は複数のシンタックス要素の可能な状態のうちの1つは、前記各ブロック(40)が、インター予測モードで符号化され、他のブロック(40)とともに前記グループのうちの1つに統合されることになっており、前記ビットストリーム(30)に、符号化され、挿入された予測残差を有しないことを信号化し、かつ、前記抽出は、前記ビットストリームから、前記1つまたは複数のシンタックス要素が前記可能な状態の1つを仮定しない各ブロックに関し、前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングするシンタックス要素、前記各ブロックの分割をシグナリングする分割情報、および前記各ブロックが前記分割情報に従って分割される各分割に関し、前記各ブロックがインター予測モードで符号化される場合、統合フラグを抽出し、前記統合フラグは、前記各分割のための前記統合を個々にアクティブ化することを特徴とする、前記方法。
  10. ビットストリーム(30)に画像(20)を符号化するための方法であって、前記画像(20)のサンプル配列は、ブロック(40)に分割され、かつ前記ビットストリームは、各ブロックについて前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングし、前記方法は、前記方法を実行するためにプログラムされたコンピュータにより実行され、前記方法は、現在のブロックに関して、前記現在のブロック(40)と関連した符号化パラメータが、統合候補に従って統合されることによりセットされることになるか、または、前記ビットストリーム(30)から取り出されることになるかに関して、および、前記画像(20)の前記現在のブロック(40)が、いかなる残差データもなしで、前記現在のブロック(40)と関連した前記符号化パラメータに応じた予測信号のみに基づいて、再構築されることになるか、または、前記ビットストリーム(30)の中の残差データによって、前記現在のブロック(40)と関連した前記符号化パラメータに応じた前記予測信号をリファインすることによって、再構築されることになるかに関して、および前記現在のブロックがインター予測モードで符号化されるかの第3の決定を共通にシグナリングする前記ビットストリームの中のフラグを符号化するステップを含み、
    その結果、
    前記ビットストリーム(30)の中の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされることになること、前記現在のブロックの前記残差データが送信されないこと、および前記現在のブロックがインター予測モードで符号化されること、をシグナリングする場合、
    前記現在のブロック(40)と関連した前記符号化パラメータが、統合候補に従ってセットされて、前記画像(20)の前記現在のブロック(40)が、いかなる残差データもなしで、前記符号化パラメータに応じた予測信号のみに基づいて前記インター予測モードを使用して再構築されることになるように前記統合がアクティブ化され、かつ、
    前記ビットストリーム(30)の中の前記フラグが、前記現在のブロック(40)と関連した前記符号化パラメータが統合候補に従ってセットされることにならないことをシグナリングする場合、
    シンタックス要素が前記現在のブロックがイントラ予測モードまたはインター予測モードで符号化されるかをシグナリングし、前記シンタックス要素が、前記現在のブロックがさらに分割される前記現在の各分割について、インター予測モードで符号化され、統合フラグが前記ビットストリームに挿入された前記各分割に対し前記統合の活動化をシグナリングすることを特徴とする、方法。
  11. 画像を符号化するための方法であって、
    前記方法は、前記方法を実行するためにプログラムされたコンピュータにより実行され、前記方法は、
    サンプルのブロックに前記画像を細分化するステップと、
    前記ブロックを1つ又は複数のブロックのグループにそれぞれ統合するステップと、
    ブロックの前記グループの単位で、前記画像の全域で異なる符号化パラメータを使用して、前記画像を符号化するステップであって、前記符号器(76)は、前記画像を予測して、所定のブロックについての予測残差を符号化することによって、前記画像を符号化するように構成され、各ブロックに関し前記ビットストリームは、前記各ブロックがイントラ予測モードあるいはインター予測モードで符号化されるかをシグナリングする、前記ステップと、
    前記ブロックの少なくともサブセットの各々についての1つ又は複数のシンタックス要素とともに、前記各ブロックがインター予測モードで符号化されるか、前記各ブロックが他のブロックとともに前記グループのうちの1つに統合されるかおよび前記各ブロックの残差データが送信されることにならないか否かシグナリングする、ビットストリームに、前記予測残差および前記符号化パラメータを挿入するステップとを含み、
    前記1つ又は複数のシンタックス要素の可能な状態のうちの1つは、前記各ブロックがインター予測モードで符号化され、他のブロックとともに前記グループのうちの1つに統合されることになっており、前記ビットストリームに、符号化され、挿入された予測残差を有しないことを信号化し、前記1つ又は複数のシンタックス要素が前記可能な状態の1つを仮定しない各ブロックに関し、前記挿入は、ビットストリームへの挿入を含み、シンタックス要素は、前記各ブロックがイントラ予測モードまたはインター予測モードで符号化されるかを信号化し、分割情報は、前記ビットストリーム内で前記各ブロックの分割を信号化し、かつ前記各ブロックが前記分割情報に従って分割される各分割に関し、統合フラグを信号化し、前記統合フラグは、前記各分割のための前記統合を個々にアクティブ化することを特徴とする、前記方法。
  12. コンピュータ上で動作するときに、請求項8ないし請求項11のいずれかに記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
JP2013537146A 2010-11-04 2011-11-04 ブロック統合およびスキップモードをサポートする画像符号化および画像復号化 Active JP6258704B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41024610P 2010-11-04 2010-11-04
US61/410,246 2010-11-04
PCT/EP2011/069408 WO2012059577A1 (en) 2010-11-04 2011-11-04 Picture coding supporting block merging and skip mode

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2015201550A Division JP6659298B2 (ja) 2010-11-04 2015-10-09 ブロック統合およびスキップモードをサポートする画像符号化
JP2015201551A Division JP6659299B2 (ja) 2010-11-04 2015-10-09 ブロック統合およびスキップモードをサポートする画像符号化

Publications (2)

Publication Number Publication Date
JP2013542691A JP2013542691A (ja) 2013-11-21
JP6258704B2 true JP6258704B2 (ja) 2018-01-10

Family

ID=44925528

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2013537146A Active JP6258704B2 (ja) 2010-11-04 2011-11-04 ブロック統合およびスキップモードをサポートする画像符号化および画像復号化
JP2015201551A Active JP6659299B2 (ja) 2010-11-04 2015-10-09 ブロック統合およびスキップモードをサポートする画像符号化
JP2015201550A Active JP6659298B2 (ja) 2010-11-04 2015-10-09 ブロック統合およびスキップモードをサポートする画像符号化
JP2018000340A Active JP6727238B2 (ja) 2010-11-04 2018-01-04 ブロック統合およびスキップモードをサポートする画像符号化
JP2018000341A Active JP6856554B2 (ja) 2010-11-04 2018-01-04 ブロック統合およびスキップモードをサポートする画像符号化
JP2021044196A Active JP7381513B2 (ja) 2010-11-04 2021-03-18 ブロック統合およびスキップモードをサポートする画像符号化
JP2023188257A Pending JP2024020281A (ja) 2010-11-04 2023-11-02 ブロック統合およびスキップモードをサポートする画像符号化

Family Applications After (6)

Application Number Title Priority Date Filing Date
JP2015201551A Active JP6659299B2 (ja) 2010-11-04 2015-10-09 ブロック統合およびスキップモードをサポートする画像符号化
JP2015201550A Active JP6659298B2 (ja) 2010-11-04 2015-10-09 ブロック統合およびスキップモードをサポートする画像符号化
JP2018000340A Active JP6727238B2 (ja) 2010-11-04 2018-01-04 ブロック統合およびスキップモードをサポートする画像符号化
JP2018000341A Active JP6856554B2 (ja) 2010-11-04 2018-01-04 ブロック統合およびスキップモードをサポートする画像符号化
JP2021044196A Active JP7381513B2 (ja) 2010-11-04 2021-03-18 ブロック統合およびスキップモードをサポートする画像符号化
JP2023188257A Pending JP2024020281A (ja) 2010-11-04 2023-11-02 ブロック統合およびスキップモードをサポートする画像符号化

Country Status (17)

Country Link
US (10) US9924193B2 (ja)
EP (3) EP4270957A2 (ja)
JP (7) JP6258704B2 (ja)
KR (10) KR102126374B1 (ja)
CN (11) CN107071488B (ja)
DK (2) DK2636218T3 (ja)
ES (2) ES2955542T3 (ja)
FI (1) FI3962088T3 (ja)
HK (1) HK1245543A1 (ja)
HU (2) HUE063103T2 (ja)
LT (2) LT2636218T (ja)
PL (2) PL2636218T3 (ja)
PT (2) PT3962088T (ja)
RS (2) RS62555B1 (ja)
SI (2) SI3962088T1 (ja)
TW (7) TWI644561B (ja)
WO (1) WO2012059577A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082468A (ja) * 2010-11-04 2018-05-24 ジーイー ビデオ コンプレッション エルエルシー ブロック統合およびスキップモードをサポートする画像符号化

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2991355T3 (en) 2010-04-13 2018-02-19 Ge Video Compression Llc Inheritance in sampler array multitree subdivision
KR102311520B1 (ko) 2010-04-13 2021-10-13 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
BR122020007923B1 (pt) * 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
KR102360146B1 (ko) 2010-04-13 2022-02-08 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
WO2012118358A2 (ko) * 2011-03-03 2012-09-07 한국전자통신연구원 변환 계수 스캔 방법 및 그 장치
KR20120100836A (ko) * 2011-03-03 2012-09-12 한국전자통신연구원 변환 계수 스캔 방법 및 그 장치
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
JP5982734B2 (ja) 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9313494B2 (en) 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
JP5318292B2 (ja) 2011-06-23 2013-10-16 パナソニック株式会社 画像復号方法及び画像復号装置
CN106878723B (zh) * 2011-06-24 2019-11-12 太阳专利托管公司 编码方法及编码装置
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
RU2608244C2 (ru) 2011-06-27 2017-01-17 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений
BR112013030181B1 (pt) 2011-06-28 2022-09-27 Sun Patent Trust Método de decodificação para decodificar um parâmetro de controle para controlar decodificação de uma imagem, e método de codificação para codificar um parâmetro de controle para controlar codificação de uma imagem
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
JP5905884B2 (ja) 2011-06-30 2016-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 復号方法及び復号装置
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA2838575C (en) 2011-07-11 2018-06-12 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US9300975B2 (en) 2011-09-11 2016-03-29 Texas Instruments Incorporated Concurrent access shared buffer in a video encoder
WO2013106190A1 (en) * 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9749645B2 (en) * 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
US10230956B2 (en) 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN110996100B (zh) 2012-10-01 2022-11-25 Ge视频压缩有限责任公司 解码器、解码方法、编码器和编码方法
US9699450B2 (en) 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
CN104396248B (zh) 2012-10-12 2019-11-08 韩国电子通信研究院 图像编码/解码方法和使用其的装置
KR20140051789A (ko) * 2012-10-22 2014-05-02 (주)휴맥스 3차원 비디오에서의 뷰간 움직임 예측 방법 및 뷰간 병합 후보 결정 방법
US20140219331A1 (en) * 2013-02-06 2014-08-07 Magnum Semiconductor, Inc. Apparatuses and methods for performing joint rate-distortion optimization of prediction mode
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
KR102318785B1 (ko) 2013-10-14 2021-10-27 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
KR20160075705A (ko) 2013-10-25 2016-06-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化/デコーディングにおけるブロックベクトル予測
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
CN105393537B (zh) 2014-03-04 2019-08-27 微软技术许可有限责任公司 用于基于散列的块匹配的散列表构建和可用性检查
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
JP2017512026A (ja) 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング,エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
US10250895B2 (en) * 2014-03-14 2019-04-02 Sharp Kabushiki Kaisha DPB capacity limits
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
EP2975008B1 (en) 2014-07-16 2017-03-01 Saint-Gobain Glass France Transparent diffusive oled substrate and method for producing such a substrate
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN115665423A (zh) 2014-09-30 2023-01-31 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
ES2637715T3 (es) 2014-12-01 2017-10-16 Saint-Gobain Glass France Sustrato OLED difusor transparente y método para producir dicho sustrato
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US9936201B2 (en) 2015-01-27 2018-04-03 Qualcomm Incorporated Contexts for large coding tree units
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
WO2016197334A1 (zh) * 2015-06-09 2016-12-15 华为技术有限公司 图像编解码方法和设备
US10091506B2 (en) * 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
CN108965871B (zh) 2015-09-29 2023-11-10 华为技术有限公司 图像预测的方法及装置
US11695958B2 (en) * 2016-02-01 2023-07-04 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using edge-adaptive graph-based transform
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
WO2018056703A1 (ko) * 2016-09-20 2018-03-29 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018062892A1 (ko) * 2016-09-28 2018-04-05 엘지전자(주) 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치
WO2018062950A1 (ko) * 2016-09-30 2018-04-05 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
EP3525460A4 (en) * 2016-10-06 2020-06-17 LG Electronics Inc. -1- METHOD FOR PROCESSING A VIDEO BASED ON AN INTRAPREDICATION MODE AND DEVICE THEREFOR
KR20180045530A (ko) 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
CN117119179A (zh) * 2016-11-18 2023-11-24 株式会社Kt 视频解码方法、视频编码方法和压缩视频数据发送设备
WO2018097626A1 (ko) 2016-11-25 2018-05-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
WO2018146558A2 (en) * 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
KR20230143626A (ko) 2017-03-22 2023-10-12 한양대학교 산학협력단 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법
US10630978B2 (en) 2017-05-12 2020-04-21 Blackberry Limited Methods and devices for intra-coding in video compression
JP7147145B2 (ja) * 2017-09-26 2022-10-05 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
KR102524628B1 (ko) 2018-01-05 2023-04-21 에스케이텔레콤 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
CN115002460A (zh) 2018-01-05 2022-09-02 Sk电信有限公司 视频解码设备、视频编码设备和非暂时性计算机可读介质
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
JP7170738B2 (ja) * 2018-02-28 2022-11-14 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. 複合予測および制限付きマージ
CN114697652B (zh) * 2018-03-05 2023-11-14 松下电器(美国)知识产权公司 解码装置、解码方法和存储介质
KR102570087B1 (ko) * 2018-03-27 2023-08-25 (주)휴맥스 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치
AU2019247240B2 (en) * 2018-04-01 2022-03-31 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image
US10659781B2 (en) * 2018-04-02 2020-05-19 Tencent America LLC Concatenated coding units in flexible tree structure
CN110505482B (zh) * 2018-05-16 2021-10-26 华为技术有限公司 一种编解码方法及装置
EP3821605A1 (en) * 2018-07-13 2021-05-19 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Partitioned intra coding concept
US11051025B2 (en) * 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
CN110858905B (zh) 2018-08-26 2023-04-07 北京字节跳动网络技术有限公司 基于多运动模型的跳过和直接模式编解码的视频块中的修剪方法及装置
WO2020060374A1 (ko) * 2018-09-21 2020-03-26 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
BR112021005558A2 (pt) * 2018-09-24 2021-06-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho para codificar e decodificar um bloco de coeficientes de transformação, codificador para codificar e decodificador para decodificar um bloco de coeficiente de transformação, método para codificar e decodificar um bloco de coeficientes de transformação, corrente de dados
US20210400298A1 (en) * 2018-09-28 2021-12-23 Lg Electronics Inc. Method and apparatus for processing video signal by using affine prediction
JP7230189B2 (ja) 2018-10-08 2023-02-28 エルジー エレクトロニクス インコーポレイティド シンタックスデザイン方法及びシンタックスを用いてコーディングを行う装置
CN112868240B (zh) 2018-10-23 2023-06-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
CN113287317B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间编解码工具
CN111107354A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 一种视频图像预测方法及装置
US10931958B2 (en) 2018-11-02 2021-02-23 Fungible, Inc. JPEG accelerator using last-non-zero (LNZ) syntax element
US10848775B2 (en) 2018-11-02 2020-11-24 Fungible, Inc. Memory layout for JPEG accelerator
US10827191B2 (en) 2018-11-02 2020-11-03 Fungible, Inc. Parallel coding of syntax elements for JPEG accelerator
US10827192B2 (en) * 2018-11-02 2020-11-03 Fungible, Inc. Work allocation for JPEG accelerator
US11115652B2 (en) 2018-12-07 2021-09-07 Tencent America LLC Method and apparatus for further improved context design for prediction mode and coded block flag (CBF)
US10893298B2 (en) 2018-12-12 2021-01-12 Tencent America LLC Method and apparatus for video coding
WO2020123998A1 (en) * 2018-12-13 2020-06-18 Tencent America LLC Video decoding by determining block reconstruction based on signaling information
KR102625145B1 (ko) * 2018-12-17 2024-01-16 삼성전자주식회사 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
KR20210103539A (ko) * 2018-12-20 2021-08-23 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인접 샘플 감소에 의해 선형 또는 아핀 변환을 사용하는 인트라 예측
KR20210107733A (ko) * 2019-01-18 2021-09-01 주식회사 윌러스표준기술연구소 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
KR20210119429A (ko) * 2019-02-19 2021-10-05 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
JP7148739B2 (ja) 2019-03-04 2022-10-05 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおいて文脈コーディングされたサインフラグを使用する映像デコーディング方法及びその装置
US20220279163A1 (en) * 2019-08-21 2022-09-01 Lg Electronics Inc. Image encoding/decoding method and device for performing prediction on basis of hmvp candidate, and method for transmitting bitstream
CN111050165B (zh) * 2019-11-29 2022-02-22 苏州浪潮智能科技有限公司 一种视频解码的方法、设备及介质
US11405628B2 (en) 2020-04-06 2022-08-02 Tencent America LLC Method and apparatus for video coding
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
WO2023135518A1 (en) * 2022-01-12 2023-07-20 Nokia Technologies Oy High-level syntax of predictive residual encoding in neural network compression

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3353968B2 (ja) 1992-09-25 2002-12-09 オリンパス光学工業株式会社 画像処理装置
JPH08298665A (ja) 1994-04-21 1996-11-12 Sanyo Electric Co Ltd 動きベクトル検出回路、検出方法、及び動画像圧縮回路
US6026232A (en) 1995-07-13 2000-02-15 Kabushiki Kaisha Toshiba Method and system to replace sections of an encoded video bitstream
KR100287868B1 (ko) 1998-06-17 2001-05-02 구자홍 디지털 저장 매체의 신호 기록재생장치
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
US7200275B2 (en) * 2001-12-17 2007-04-03 Microsoft Corporation Skip macroblock coding
JP4088205B2 (ja) 2002-06-11 2008-05-21 松下電器産業株式会社 符号化装置、コンピュータ読取可能なプログラム、符号化方法。
WO2004073312A1 (en) * 2003-02-17 2004-08-26 Koninklijke Philips Electronics N.V. Video coding
US20060047522A1 (en) 2004-08-26 2006-03-02 Nokia Corporation Method, apparatus and computer program to provide predictor adaptation for advanced audio coding (AAC) system
US8948266B2 (en) 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
EP1647937A1 (en) * 2004-10-15 2006-04-19 Sony Deutschland GmbH Method for motion estimation
US7551772B2 (en) * 2004-11-30 2009-06-23 Hewlett-Packard Development Company, L.P. Blur estimation in a digital image
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
CN101375605A (zh) * 2006-01-31 2009-02-25 汤姆森许可贸易公司 用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置
EP2011237A1 (en) 2006-04-21 2009-01-07 Kabushiki Kaisha Toshiba Method and apparatus for entropy coding and decoding
US20080025390A1 (en) * 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
JP4956304B2 (ja) 2006-08-08 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
BRPI0809512A2 (pt) * 2007-04-12 2016-03-15 Thomson Licensing método e aparelho para mesclagem dependente de contexto para modos salto-direto para codificação e decodificação de vídeo
JP4774382B2 (ja) * 2007-05-08 2011-09-14 株式会社リコー 画像処理装置、画像処理回路、及び、画像処理方法
EP2191652B1 (en) * 2007-09-02 2017-02-08 Lg Electronics Inc. A method and an apparatus for processing a video signal
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
JP2011509631A (ja) 2008-01-11 2011-03-24 トムソン ライセンシング ビデオおよび奥行きの符号化
JP5071721B2 (ja) 2008-02-27 2012-11-14 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
TWI370410B (en) * 2008-12-30 2012-08-11 Ind Tech Res Inst Image processing method for providing depth information
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
US20110090954A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Video Codes with Directional Transforms
CN101835044B (zh) * 2010-04-23 2012-04-11 南京邮电大学 一种频率域分布式视频编码中的分类组合方法
KR101484281B1 (ko) * 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
EP2897365B1 (en) * 2010-07-09 2017-02-01 Samsung Electronics Co., Ltd Apparatus for decoding video by using block merging
KR102126374B1 (ko) 2010-11-04 2020-06-24 지이 비디오 컴프레션, 엘엘씨 블록 병합 및 스킵 모드를 지원하는 화상 코딩
KR101505755B1 (ko) * 2010-11-25 2015-03-24 엘지전자 주식회사 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
US20120189052A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)
US20120195366A1 (en) 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082468A (ja) * 2010-11-04 2018-05-24 ジーイー ビデオ コンプレッション エルエルシー ブロック統合およびスキップモードをサポートする画像符号化
US10841608B2 (en) 2010-11-04 2020-11-17 Ge Video Compression, Llc Picture coding supporting block merging and skip mode

Also Published As

Publication number Publication date
ES2955542T3 (es) 2023-12-04
TW201230812A (en) 2012-07-16
KR20190053298A (ko) 2019-05-17
US20210006821A1 (en) 2021-01-07
KR102405537B1 (ko) 2022-06-08
JP6659298B2 (ja) 2020-03-04
LT2636218T (lt) 2021-12-10
CN107071487A (zh) 2017-08-18
KR20210099179A (ko) 2021-08-11
US20200186826A1 (en) 2020-06-11
EP3962088A1 (en) 2022-03-02
CN107071492B (zh) 2020-11-27
JP2016029823A (ja) 2016-03-03
WO2012059577A1 (en) 2012-05-10
KR101603860B1 (ko) 2016-03-15
TWI799816B (zh) 2023-04-21
PT3962088T (pt) 2023-09-25
TW202333498A (zh) 2023-08-16
RS64610B1 (sr) 2023-10-31
CN107071491A (zh) 2017-08-18
CN107071486B (zh) 2020-10-30
FI3962088T3 (fi) 2023-09-20
LT3962088T (lt) 2023-10-10
TW201717617A (zh) 2017-05-16
KR20180098703A (ko) 2018-09-04
KR20240038124A (ko) 2024-03-22
TWI725348B (zh) 2021-04-21
KR20160037246A (ko) 2016-04-05
KR102126374B1 (ko) 2020-06-24
US10602182B2 (en) 2020-03-24
PL2636218T3 (pl) 2022-01-03
JP6659299B2 (ja) 2020-03-04
CN107105303A (zh) 2017-08-29
TW201929548A (zh) 2019-07-16
CN107071490B (zh) 2020-07-14
JP6856554B2 (ja) 2021-04-07
JP2021101571A (ja) 2021-07-08
KR102286294B1 (ko) 2021-08-06
EP3962088B1 (en) 2023-06-21
SI2636218T1 (sl) 2021-12-31
JP2016029824A (ja) 2016-03-03
CN107105304A (zh) 2017-08-29
DK3962088T3 (da) 2023-09-18
TW201626793A (zh) 2016-07-16
CN107071490A (zh) 2017-08-18
US10027976B2 (en) 2018-07-17
CN107105304B (zh) 2020-06-09
TW202201963A (zh) 2022-01-01
KR101607426B1 (ko) 2016-03-29
PL3962088T3 (pl) 2023-11-27
US10382777B2 (en) 2019-08-13
US20130279577A1 (en) 2013-10-24
US20240146954A1 (en) 2024-05-02
TWI559740B (zh) 2016-11-21
CN106851320A (zh) 2017-06-13
CN107071489B (zh) 2020-10-30
ES2891598T3 (es) 2022-01-28
KR20140142363A (ko) 2014-12-11
HUE056453T2 (hu) 2022-02-28
HK1245543A1 (zh) 2018-08-24
KR20200075901A (ko) 2020-06-26
US9924193B2 (en) 2018-03-20
EP2636218A1 (en) 2013-09-11
US20160309179A1 (en) 2016-10-20
TW202333499A (zh) 2023-08-16
US20180184111A1 (en) 2018-06-28
US20180302642A1 (en) 2018-10-18
TWI832743B (zh) 2024-02-11
US20170366821A1 (en) 2017-12-21
CN107071489A (zh) 2017-08-18
CN103299623A (zh) 2013-09-11
KR102648076B1 (ko) 2024-03-18
KR101527666B1 (ko) 2015-06-09
US9788009B2 (en) 2017-10-10
CN107105303B (zh) 2020-05-15
KR20220076542A (ko) 2022-06-08
SI3962088T1 (sl) 2023-10-30
TWI513277B (zh) 2015-12-11
CN107071492A (zh) 2017-08-18
JP2018082467A (ja) 2018-05-24
TWI833626B (zh) 2024-02-21
US10841608B2 (en) 2020-11-17
EP2636218B1 (en) 2021-06-30
JP2018082468A (ja) 2018-05-24
CN107071487B (zh) 2020-09-15
KR102024178B1 (ko) 2019-09-23
JP6727238B2 (ja) 2020-07-22
CN107071491B (zh) 2020-11-03
US20190246136A1 (en) 2019-08-08
CN103299623B (zh) 2017-03-08
CN107071488A (zh) 2017-08-18
CN107071486A (zh) 2017-08-18
JP2013542691A (ja) 2013-11-21
US10785500B2 (en) 2020-09-22
CN107071488B (zh) 2020-06-09
DK2636218T3 (da) 2021-10-04
JP2024020281A (ja) 2024-02-14
JP7381513B2 (ja) 2023-11-15
US11785246B2 (en) 2023-10-10
KR20130084314A (ko) 2013-07-24
US10382776B2 (en) 2019-08-13
KR20140142362A (ko) 2014-12-11
KR101894355B1 (ko) 2018-09-04
EP4270957A2 (en) 2023-11-01
HUE063103T2 (hu) 2023-12-28
TWI644561B (zh) 2018-12-11
CN106851320B (zh) 2020-06-02
RS62555B1 (sr) 2021-12-31
PT2636218T (pt) 2021-10-06
US20190158871A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
JP6727238B2 (ja) ブロック統合およびスキップモードをサポートする画像符号化
JP6728249B2 (ja) ブロック分割及びブロック統合をサポートする画像符号化

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140827

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150609

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151009

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151020

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171207

R150 Certificate of patent or registration of utility model

Ref document number: 6258704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250