JP6590918B2 - 画像を符号化する方法、画像を復号する方法、画像を符号化する装置、画像を復号する装置、及びプログラム - Google Patents

画像を符号化する方法、画像を復号する方法、画像を符号化する装置、画像を復号する装置、及びプログラム Download PDF

Info

Publication number
JP6590918B2
JP6590918B2 JP2017517079A JP2017517079A JP6590918B2 JP 6590918 B2 JP6590918 B2 JP 6590918B2 JP 2017517079 A JP2017517079 A JP 2017517079A JP 2017517079 A JP2017517079 A JP 2017517079A JP 6590918 B2 JP6590918 B2 JP 6590918B2
Authority
JP
Japan
Prior art keywords
block
image
mode
coding tree
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017517079A
Other languages
English (en)
Other versions
JP2017535150A (ja
JP2017535150A5 (ja
Inventor
ラロシュ ギローム
ラロシュ ギローム
ジスケ クリストフ
ジスケ クリストフ
オンノ パトリス
オンノ パトリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2017535150A publication Critical patent/JP2017535150A/ja
Publication of JP2017535150A5 publication Critical patent/JP2017535150A5/ja
Application granted granted Critical
Publication of JP6590918B2 publication Critical patent/JP6590918B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Description

本発明は、ビデオを符号化または復号するプロセスにおいて、画素のブロックを符号化または復号するための方法およびデバイスに関する。さらに具体的には、本発明は、ＨＥＶＣスクリーンコンテンツ拡張のＩＮＴＲＡ（イントラ）ブロックコピーモードを用いる際に並列化を取り扱う方法に関する。これは、ＩＮＴＲＡブロックコピーモードにおいて予測子ブロックを設けるため利用可能な領域の制御に基づく。
さらに具体的には、本方法は、画素のブロックが、同一の画像に属する予測子ブロックに基づいて予測的に符号化される場合の符号化のモードに適用する。画素のブロックを符号化するこのモードは、一般にＩＮＴＲＡブロックコピーモードと言われる。これは、高効率ビデオ符号化（ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）：ＩＳＯ／ＩＥＣ２３００８−２ ＭＰＥＧ−Ｈ Ｐａｒｔ２／ＩＴＵ−Ｔ Ｈ．２６５）国際規格のスクリーンコンテンツ拡張のためのツールの候補として検討され、現在は同規格のスクリーンコンテンツ拡張に入っている。
ビデオシーケンス中の画像を符号化するとき、画像は、まず、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）と言われる画素の等サイズのエンティティである符号化要素に分割される。符号化ツリーブロックのサイズは、通常、６４×６４画素である。次いで、各符号化ツリーブロックは、より小さなブロックの階層的に分解され、そのサイズは変得ることができ、符号化のための実際のブロックである。これらの符号化のためのより小さなブロックは符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）と言われる。
個別の符号化ユニットの符号化は、通常、予測的である。これは、最初に、予測子ブロックが決められることを意味する。次に、予測子ブロックと符号化ユニットとの間の差が計算される。この差は残差と呼ばれる。次いでこの残差が圧縮される。符号化ユニットの実際の符号化された情報は、予測子ブロックおよび圧縮残差を算定する仕方を示すためのいくつかの情報で構成されている。最良の予測子ブロックは、効率的に圧縮できそうな小さな残差を得るため、符号化ユニットにできるだけ類似したブロックである。
符号化はロスが多いことがある、すなわち符号化のプロセスで情報が失われる。画素の復号されたブロックは、当初の符号化ユニットと正確に同じではない。通常、情報の喪失は、エントロピー符号化の前に残差に適用される量子化に由来する。この量子化は、正確さの喪失の犠牲を払って、より高い圧縮比を可能にする。通常、高い周波数、すなわち高レベルの細部はブロック中から除去される。
符号化のロスをなくすことができる、すなわち残差が量子化されない。この種の符号化は、符号化ユニットの当初のサンプルの正確なコピーを回復することを可能にする。このロスのない符号化は、ロスの多い圧縮に比べて、はるかに小さな圧縮比を代価として払って得られる。
符号化モードは、符号化ユニットの予測的な符号化法のための予測子ブロックを決めるのに用いられる方法に基づいて定義される。
第一の符号化モードはＩＮＴＲＡモードと言われる。ＩＮＴＲＡモードによれば、予測子ブロックは、現画像（現在の画像）内の符号化ユニットを直接に取り囲む画素の値に基づいて構成される。予測子ブロックが、現画像のブロックでなく構成材であることに留意する。予測子ブロックを構築するため、境界のどの画素群を実際に使い、それらをどう使うのかを決めるために、或る方向が用いられる。ＩＮＴＲＡモードの背景にある考え方は、自然画像の一般的な一貫性に起因して、符号化ユニットを直接に取り囲む画素は現符号化ユニットの画素と類似している可能性が高い、ということである。したがって、これら周辺の画素に基づく予測子ブロックを用いて、符号化ユニットの画素の値の良好な予測を得ることが可能である。
第二の符号化モードは、ＩＮＴＥＲ（インター）モードと言われる。ＩＮＴＥＲモードによれば、予測子ブロックは、別の画像のブロックである。ＩＮＴＥＲモードの背景にある考え方は、シーケンスにおいて次に続く画像は一般に非常に近似している、ということである。主な差異は、通常、カメラの視野移動に起因する、またはシーン中の被写体の動きに起因するこれらの画像の間での動きに由来する。予測子ブロックは、ベクトルが、現画像内の符号化ユニットの位置に対し、参照画像におけるその位置を示すことによって決められる。このベクトルは動きベクトルと言われる。このモードによれば、本モードを用いるかかる符号化ユニットの符号化は、動きベクトルおよび圧縮残差を含む動き情報を含む。
本文書において本発明者らはＩＮＴＲＡブロックコピーモードと呼ばれる第三の符号化モードに焦点を当てる。このＩＮＴＲＡブロックコピーモードによれば、ブロック予測子は、現画像の実際のブロックである。予測子ブロックを探すためにブロックベクトルが用いられる。このブロックベクトルは、現画像中の符号化ユニットの場所に対する、同じ現画像中の予測子ブロックの場所を示す。これは、このブロックベクトルが、ＩＮＴＥＲモードの動きベクトルといくつかの類似性を共有していることになる。これは、ときとして、類推による動きベクトルと呼ばれる。厳密に言えば、１つの画像内で動きはないことになるので、簡明化のため、本文書では、動きベクトルは常にＩＮＴＥＲモードを指し、一方、ブロックベクトルは、ＩＮＴＲＡブロックコピーモードに対して用いられる。
因果原理は、特定の符号化ユニットを復号するための全ての情報は既に再構築された符号化ユニットの基づかなければならないと述べる原理である。符号化では全情報が利用可能であると見なすことができる。すなわち、所与の符号化ユニットを符号化するために、全現画像から、またはシーケンス中の全ての復号済みで利用可能な他の画像からの任意の情報を使用することが可能ということになろう。復号においては事情が異なる。現画像の復号は、通常、全ての符号化ユニットを逐次的に復号することによって行われる。この復号の順序は、通常、ラスタスキャン順に従う、すなわち、画像の上部左から開始され、左から右へ、最上部から底部へと進む。所与の符号化ユニットを復号するとき、該現符号化ユニットの上部または左に位置する現画像の部分だけが既に復号されていることになる。これだけが、現符号化ユニットの復号のために利用可能な情報である。符号化にあたってはこのことを考慮に入れなければならない。例えば、復号では、ＩＮＴＲＡブロックコピーモードにおける予測子ブロックは、利用可能となる画像の部分に属している必要がある。
復号では、ＩＮＴＲＡブロックコピーモードを用いて符号化されたブロックを復元するために、最初に、ブロックベクトルを使って予測子ブロックが決められる。次いで、残差が復号され、生の再構築ブロックを得るために、予測子に適用される。
完了画像が再構築されたならば、いくつかのポストフィルタリングが適用される。通常、ブロック符号化に起因する再構築画像中のいくつかのアーチファクトを除去するために、最初のフィルタが適用される。このフィルタはデブロッキングフィルタと呼ばれる。通常、必須ではないが、次いで最終画像を得るためにサンプル適応ループフィルタ（ＳＡＯ：ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）が適用される。
一部の復号アーキテクチャにおいて、処理をスピードアップするために、処理が並列化される。この状況では、例えば、特定の符号化ツリーブロックが再構築されている間に、その前のブロックがフィルタされる。すなわち、或る符号化ツリーブロックの再構築と他のブロックのフィルタリングとが並行して行われる。
ＨＥＶＣ規格は、フレームの並列処理およびインター並列処理のためのフレキシブル参照フレーム管理のために、ウェーブフロント、またはタイル、またはスライスとしていくつかの高レベルの並列処理を提供する。これらのツールは必須ではないが、それでも、デコーダは、それらの関連シンタクスをたとえそれらが必須でなくても復号する必要がある。
本文書において本発明者らは、ウェーブフロントの並列処理、およびそれをどのように、個別の符号化ユニットの符号化のＩＮＴＲＡブロックコピーモードに効率的に組み合わせるか、に焦点を当てる。
ウェーブフロント並列処理（ＷＰＰ）は、符号化ツリーブロックのラインの再構築の並列化に基づく。すなわち、いくつかの符号化ツリーブロックが並行して再構築される。符号化ツリーブロックの後続のラインの再構築には前のラインからのいくつかの情報が必要であるという事実に起因して、各ラインの処理の間に後れ時間が発生する。これは、並列化された相異なるラインの再構築は、各ラインの間での後れ時間を伴って進むことを意味する。
ウェーブフロント並列処理は、ＩＮＴＲＡブロックコピーモードによって符号化された個別の符号化ユニットを再構築するときに問題をもたらすことがある。実際上、ＩＮＴＲＡブロックコピーモードによって符号化された符号化ユニットに対するブロック予測子は、基因領域全体、すなわち前の符号化ツリーブロックラインおよび現ライン（現在のライン）中の前の符号化ツリーブロックのどこかに位置し得る。前のラインが検討中のラインと並行して再構築されているので、ＩＮＴＲＡブロックコピーモードによって符号化された符号化ユニットの再構築のために予測子ブロックが必要なときに、まだそれが再構築されていないことが起こり得る。しかして、ＩＮＴＲＡブロックコピーモードは、ウェーブフロント並列再構築と完全には両立しない。
本発明は、１つ以上の前述の懸案事項に対処するために考案された。
本発明の方法は、例えば以下の構成を有する。すなわち、画像を符号化する方法であって、前記画像は、１又は複数のブロックで構成された符号化ツリーブロックを複数含み、各ブロックは、複数のモードの中から選択されたモードによって符号化され、前記複数のモードは、対象のブロックが当該対象のブロックが含まれる現在の画像のブロックを用いて符号化される第１のモードを含み、前記方法は、前記第１のモードにおいて用いる前記現在の画像のブロックを所定の探索範囲内のブロックの中から決定する探索処理を実行する探索ステップと、前記探索処理によって決定された前記現在の画像のブロックの位置を示す動きベクトルを示す情報を符号化する符号化ステップとを含み、前記探索ステップにおいて、前記画像における最も左上の位置を原点とし、Ｘを前記画像の水平方向の座標とし、Ｙを前記画像の垂直方向の座標とし、前記対象のブロックが含まれる符号化ツリーブロックにおける最も左上の位置を（Ｘ０，Ｙ０）とし、Ｙ≦Ｙ０、かつ、（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）とした場合に、前記対象のブロックが含まれる符号化ツリーブロックの符号化済みのブロック、又は、座標（Ｘ，Ｙ）を有する符号化ツリーブロックの符号化済みのブロックに探索範囲を制限して前記探索処理を実行する。
本発明の方法は、例えば以下の構成を有する。すなわち、ビットストリームから画像を復号する方法であって、前記画像は、１又は複数のブロックで構成された符号化ツリーブロックを複数含み、各ブロックは、複数のモードの中から選択されたモードによって復号され、前記複数のモードは、対象のブロックが当該対象のブロックが含まれる現在の画像のブロックを用いて復号される第１のモードを含み、前記方法は、前記対象のブロックの動きベクトルを示す情報を前記ビットストリームから復号する復号ステップと、前記情報に基づいて特定される動きベクトルに従って、前記対象のブロックを前記第１のモードを用いて復号する際に用いる前記現在の画像のブロックを決定する決定ステップとを含み、前記画像における最も左上の位置を原点とし、Ｘを前記画像の水平方向の座標とし、Ｙを前記画像の垂直方向の座標とし、前記対象のブロックが含まれる符号化ツリーブロックにおける最も左上の位置を（Ｘ０，Ｙ０）とし、Ｙ≦Ｙ０、かつ、（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）とした場合に、前記対象のブロックを前記第１のモードを用いて復号する際に用いる前記現在の画像のブロックは、前記対象のブロックが含まれる符号化ツリーブロックの復号済みのブロック、又は、座標（Ｘ，Ｙ）を有する符号化ツリーブロックの復号済みのブロックに制限される。
また、本発明の第一態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測因子ブロックに基づいて符号化されるモードであり、本方法は、前記１つのモードに対し、探索領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、として定めるステップを含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。
或る実施形態において、この符号化は、ウェーブフロント並列処理を用いて行われる。
本発明の第二態様では、画像を復号する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて復号されるモードであり、本方法は、前記１つのモードに対し、前記予測子ブロックを得ることの可能な領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定するステップを含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。
或る実施形態において、この復号は、ウェーブフロント並列処理を用いて行われる。
本発明の第三態様では、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、本デバイスは、前記１つのモードに対し、探索領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、として定めるための手段を含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。
本発明の第四態様では、画像を復号するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて復号されるモードであり、本デバイスは、前記前記予測子ブロックを得ることの可能な領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の符号化ツリーブロックの再構築済みブロックによって構成される領域、に限定するための手段を含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。例えば、この領域を限定するステップは、予測子ブロックを得る対象の領域が、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の符号化ツリーブロックの再構築済みブロックによって構成される領域の外部にあることが判明した場合、復号プロセスを実施しない（例えば停止する）形をとることができ、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。
本発明の第五態様では、画像を符号化および復号するためのシステムが提供され、本システムは、前述のエンコーダの態様による画像を符号化するためのデバイスと、前述のデコーダの態様による画像を復号するためのデバイスとを含む。
この符号化のためのデバイスおよび復号のためのデバイスは、ウェーブフロント並列処理を用いるように構成することができる。
該符号化のためのデバイスおよび復号のためのデバイスは、画像をそれぞれ符号化し、復号するための同じ数の同期化スレッドを用いるように構成することが可能である。
本発明の第六態様によれば、符号化画像を含むビットストリームが提供され、符号化画像は、前述の符号化態様に従って符号化されている。
本発明の第七態様によれば、画像の符号化シーケンスを含むビットストリームが提供され、これら画像はそれぞれ、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは、複数のモードの或るモードによって符号化されており、１つのモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、ビットストリームによって示される一切の予測子ブロックの位置は、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定され、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。
本発明の第八態様によれば、前述のビットストリームの態様によるビットストリームを格納しているマシン可読担体またはストレージ媒体が提供される。また、この担体は、前記ビットストリームが具現化されている信号とすることも可能である。
本発明の第九態様によれば、プログラム可能装置のためのコンピュータプログラム製品が提供され、本コンピュータプログラム製品は、該プログラム可能装置中にロードされ実行されると、前述の方法の態様のいずれかによる方法を実装するための命令のシーケンスを含む。
本発明の第十態様によれば、前述の方法の態様のいずれか１つによる方法を実装するためのコンピュータプログラムの命令を格納するコンピュータ可読ストレージ媒体が提供される。
本発明のさらなる態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つＸ≦Ｘ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
上記によれば、ウェーブフロント処理を可能にするための実装が簡単である。
本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
上記によれば、探索領域がより大きくなりこれはより良好な符号化をもたらす。
本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
上記によれば、探索領域がより大きくなりこれはより良好な符号化をもたらす。
本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）＜−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
上記によれば、実装はより簡単となる。
本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｘ≦Ｘ０、且つＹ＝Ｙ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、前の符号化ツリーブロックライン群および現符号化ツリーブロックラインの全てのスレッドによって再構築された全てのデータによって構成される領域として定めるステップを含む。
本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の同期化された並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、（現符号化ツリーブロックを含む）全てのスレッドにより再構築された全てのデータによって構成される領域として定めるステップを含む。
或る実施形態において、符号化はウェーブフロント並列化モードによって行われる。
本発明の別の態様によれば、画像を復号する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、復号は、復号の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの復号に専用であり、前記複数のスレッドは同期化される。
本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つＸ≦Ｘ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域、として定めるための手段を含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、
ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域、として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の底部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｘ≦Ｘ０、且つＹ＝Ｙ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。
本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、以前の符号化ツリーブロックライン群および現符号化ツリーブロックラインの全てのスレッドによって再構築された全てのデータによって構成される領域、として定めるための手段を含む。
本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の同期化された並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、全てのスレッドによって再構築された全てのデータによって構成される領域、として定めるための手段を含む。
本発明の別の態様によれば、画像を復号するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、複数の復号並列スレッドを処理するための手段を含み、各スレッドは、符号化ツリーブロックの１つのラインの復号に専用であり、同期化とは、前記複数のスレッドを同期化することを意味する。
本発明の別の態様によれば、画像を符号化および復号するためのシステムが提供され、本システムは、本発明によるエンコーダと、本発明によるデコーダとを含む。
或る実施形態において、該エンコーダおよびデコーダは、それぞれ画像を符号化し復号するために同じ数の同期化スレッドを用いている。
本発明の別の態様によれば、符号化画像を含むビットストリームが提供され、符号化画像は本発明によって符号化されている。
本発明の別の態様によれば、プログラム可能装置のためのコンピュータプログラム製品が提供され、本コンピュータプログラム製品は、該プログラム可能装置中にロードされ実行されたとき、本発明による方法を実装するための命令のシーケンスを含む。
本発明の別の態様によれば、本発明による方法を実装するためのコンピュータプログラムの命令を格納しているコンピュータ可読ストレージ媒体が提供される。
前述で挙げた本発明のいくつかの態様は、複数のモードのうちのＩｎｔｒａブロックコピーモードであるモードについて述べているが、但し当然のことながら、これはこのモードに対する単なる任意的なラベルであって、限定することは意図されていない。したがって、これらの態様は、それらの意図範囲内に、Ｉｎｔｒａブロックコピーモードと称されるか別途に称されるかにかかわらず、符号化（または復号）されている現画像の実際のブロックである予測子ブロックに基づいて、符号化（または復号）が行われる、任意のモードを有する。
本発明による方法は少なくとも部分的にコンピュータ実装が可能である。したがって、本発明は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは、一般に本明細書では全て「回路」、「モジュール」、または「システム」といわれることもある、ソフトウェアおよびハードウェア態様を組み合わせた実施形態の形を取ることができる。さらに、本発明は、媒体に具体化されたコンピュータ可用プログラムコードを有する任意の有形の表現媒体中に具現化されたコンピュータプログラム製品の形を取ることもできる。
本発明はソフトウェア中に実装可能なので、本発明は、プログラム可能装置への供給のため、任意の適切な搬送媒体上のコンピュータ可読コードとして具現化することができる。有形の搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、または固体メモリデバイスなどのストレージ媒体を含み得る。一時的搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または例えばマイクロ波もしくはＲＦ信号等の電磁気信号などの信号を含み得る。
以降に、単に例示のため、以下の図面を参照しながら本発明の諸実施形態を説明することとする。
ＨＥＶＣエンコーダのアーキテクチャを示す。 ＨＥＶＣデコーダのアーキテクチャを示す。 ビデオフレームのレベル分解を示す。 ウェーブフロント処理の原理を示す。 ウェーブフロントによる、コンテキスト変数の初期化のためのブロックの場所を示す。 基因領域の概念を示す。 ＩＮＴＲＡブロックコピー探索領域を示す。 本発明によって解決される問題を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つの実施形態を示す。 本発明の１つ以上の実施形態の実装のためのコンピューティングデバイスの概略ブロック図を示す。
図１は、ＨＥＶＣエンコーダのアーキテクチャを示す。このビデオエンコーダにおいて、当初のシーケンス１０１は、画素のブロック１０２に分割される。次いで各ブロックに符号化モードが反映される。ＨＥＶＣで通常使用される、符号化モードの２つのファミリがある。すなわち、空間的予測に基づくモードまたはＩＮＴＲＡモード１０３、ならびに動き推定１０４および動き補償１０５をベースにした時間的予測に基づくモードまたはＩＮＴＥＲモードである。ＩＮＴＲＡ符号化ユニットは、一般に、ＩＮＴＲＡ予測と呼ばれる処理によって、その因果境界にある符号化済み画素から予測される。
時間的予測は、最初に、動き推定ステップ１０４において、符号化ユニットに最も近く合致する、参照フレーム１１６の参照領域中と呼ばれる以前のまたは将来のフレームを見出すことにある。この参照領域は予測子ブロックを構成する。次に、この符号化ユニットが、予測子ブロックを用いて予測され、動き補償ステップ１０５で残差が計算される。
空間的および時間的予測の双方の場合において、当初の予測子ブロックから符号化ユニットを差し引くことによって残差が計算される。
ＩＮＴＲＡ予測では、予測方向が符号化される。時間的予測では、少なくとも１つの動きベクトルが符号化される。但し、動きベクトル符号化に関するビットレートのコストをさらに低減するために、動きベクトルは直接には符号化されない。実際上は、動きが一様であると仮定すれば、動きベクトルを、その動きベクトルとその周囲の動きベクトルとの間の差として符号化するのが特に有利である。例えば、Ｈ．２６４／ＡＶＣ符号化規格では、動きベクトルは、現ブロックの上側および左側に位置する３つのブロックの間で計算されたメディアンベクトルに対して符号化される。このメディアンベクトルと現ブロックの動きベクトルとの間で計算される残差動きベクトルとも呼ばれる差だけが、ビットストリーム中に符号化される。これは、モジュール「Ｍｖ予測および符号化」１１７において処理される。各符号化ベクトルの値は、動きベクトルフィールド１１８に格納される。予測に使われる隣接の動きベクトルは、動きベクトルフィールド１１８から抽出される。
次いで、モジュール１０６で、レート歪みパフォーマンスを最適にするモードが選択される。冗長部をさらに低減するために、モジュール１０７で、一般にはＤＣＴである変換が、残差ブロックに適用され、モジュール１０８で係数に量子化が適用される。係数の量子化ブロックは、次いでモジュール１０９でエントロピー符号化され、その結果がビットストリーム１１０に挿入される。
エンコーダは、次いでモジュール１１１〜１１６で、今後の動き推定のため、符号化されたフレームの復号を実施する。これらのステップは、エンコーダとデコーダとが同じ参照フレームを持つことを可能にする。符号化フレームを再構築するために、残差は、モジュール１１１で逆量子化され、画素ドメイン中に「再構築された」残差を供するために、モジュール１１２で逆変換される。符号化モード（ＩＮＴＥＲまたはＩＮＴＲＡ）の如何によって、この残差はＩＮＴＥＲ予測子１１４またはＩＮＴＲＡ予測子１１３に加えられる。
次いで、この初期の再構築は、モジュール１１５で、１つまたはいくつかの種類のポストフィルタリングによって、フィルタされる。これらのポストフィルタが、この符号化および復号ループに組み込まれている。このことは、エンコーダ側とデコーダ側とで同じ参照フレームを用いるために、これらフィルタリングが、エンコーダ側とデコーダ側とで、再構築フレームに適用される必要があることを意味する。このポストフィルタリングの目的は、圧縮のアーチファクトを除去することである。
図２には、デコーダの原理が表されている。最初にビデオストリーム２０１が、モジュール２０２でエントロピー復号される。次いで、画素値を得るために、残差データがモジュール２０３で逆量子化され、モジュール２０４で逆変換される。また、モードデータもエントロピー復号され、そのモードの機能で、ＩＮＴＲＡ型の復号またはＩＮＴＥＲ型の復号が行われる。ＩＮＴＲＡモードの場合、ビットストリーム２０５中に指定されたＩＮＴＲＡ予測モードの機能で、ＩＮＴＲＡ予測子が決められる。モードがＩＮＴＥＲの場合、ビットストリームから動き情報が抽出される２０２。これは、参照フレームインデックスおよび動きベクトル残差で構成される。動きベクトルを得るために、動きベクトル予測子が動きベクトル残差に加えられる２１０。次いで、参照フレーム中の参照領域を見付けるために動きベクトルが使用される２０６。なお、次の復号動きベクトルの予測に用いるために、復号動きベクトルを使って動きベクトルフィールドデータ２１１が更新される。復号フレームのこの最初の再構築は、次いで、エンコーダ側で使われたのと全く同じポストフィルタを使ってポストフィルタリングされる２０７。デコーダの出力は、圧縮解除されたビデオ２０９である。
このＩＮＴＲＡブロックコピー符号化モードは、極度に繰り返しの多いパターンに特によく適している。具体的には、従来式のＩＮＴＲＡ予測方法を使って符号化するのが非常に困難な、例えば、グリフ、文字のグラフィカル表現、または従来式ＧＵＩ要素などのグラフィカル要素の符号化の助力となることが知られている。
予測が、隣り合う符号化ユニットの間の一致性に基づいているのに注目すべきである。この一致性は、現フレーム内で検討するときは地理的であり、連続するフレーム群に亘って検討するときは時間的となり得よう。この種の一致性は自然な画像中で生じる。ＩＮＴＲＡブロックコピー符号化モードは、テキストまたは象徴画像に専用のモードとして見られるので、この種の画像に対して予測は無用と考えられる。例えば、相互に近い良好な予測子を有するテキストを表現する画像中の２つの連続する符号化ユニットを有する理由はない。第一符号化ユニットが文字「Ａ」の一部であるとすれば、良好な予測子ブロックは、したがって、テキスト中の別の「Ａ」から得られることになろう。また、次の符号化ユニットは、テキスト中の別の「Ｐ」からの予測子ブロックを有する「Ｐ」文字であろう。先験的に、同じ近隣中の２つの予測子ブロックを有する理由はない。これが、従来技術が、ＩＮＴＲＡブロックコピー符号化モードに予測を導入することを考えなかった理由である。
ＨＥＶＣでは、異なる種類の、ＳＥＩメッセージと呼ばれる特定のＮＡＬユニットを送信することが可能である。ＳＥＩメッセージは表示プロセスに関する情報を包含しており、したがって随意である。
図３は、ＨＥＶＣで用いられる符号化構造体を示す。ＨＥＶＣおよび以前のその先行版の１つによれば、当初のビデオシーケンス３０１は、デジタル画像「画像ｉ」の連続である。当業者には周知であるように、デジタル画像は、係数が画素で表される１つ以上のマトリックスで表現される。
画像３０２はスライス３０３に分割される。スライスは画像の一部または画像の全体である。ＨＥＶＣでは、これらのスライスは、一般にサイズ６４画素×６４画素のブロックである、オーバーラップのない符号化ツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）３０４に分割される。次いで各符号化ツリーブロックを、四分ツリー分解を用いて、より小さな可変サイズの符号化ユニット（ＣＵ）３０５に反復的に分割することができる。符号化ユニットは、基本的な符号化要素であり、最大のサイズが符号化ユニットのサイズに等しい２つのサブユニット、すなわち、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）および変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）で構成される。予測ユニットは、画素値の予測のための、符号化ユニットの区画に対応する。各符号化ユニットは、最大４つの正方形区画ユニットまたは２つの矩形区画ユニット３０６にさらに区分することが可能である。変換ユニットは、ＤＣＴによって空間的に変換される基本単位を表すために用いられる。符号化ユニットは、４分ツリー表現３０７に基づいてＴＵに区分することが可能である。
各スライスは、１つのＮＡＬユニット中に組み込まれる。さらに、ビデオシーケンスの符号化パラメータは、パラメータセットと呼ばれる専用のＮＡＬユニット中に格納される。ＨＥＶＣおよびＨ．２６４／ＡＶＣでは、２種類のパラメータセットＮＡＬユニットが用いられ、第一には、全ビデオシーケンスの間変更されない全てのパラメータを集めた、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のＮＡＬユニットがある。通常、該ユニットは、符号化プロフィール、ビデオフレームのサイズ、および他のパラメータを取り扱う。第二に、ピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、フレームごとに変化し得る各種の値を符号化する。また、ＨＥＶＣは、ストリームの全体的構造を表すパラメータを包含するビデオパラメータセット（ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）も含む。
リアルタイムでまたは高速での実装のためには、多くの場合、いくつかの符号化および復号プロセスを並列化することが必要となる。ＨＥＶＣ規格は、フレーム並列化のためにウェーブフロントまたはタイルまたはスライスとしていくつかの高レベルの並列化、およびインター並列化のためにフレキシブルな参照フレームマネジメントを提供する。これらのツールは必須ではないが、それでも、デコーダは、それらツールの関連シンタクスをたとえツールが必須でなくても復号する必要がある。
本発明は、ウェーブフロント処理が、ＨＥＶＣのスクリーンコンテンツ拡張のＩＮＴＲＡブロックコピーツールと組み合わされているときのウェーブフロント処理に焦点を絞っている。ウェーブフロント処理の原理が図４に提示されている。この原理は、符号化ツリーブロックのいくつかのラインの復号処理を並列化することである。並列化を提供するため一部の予測は回避するが、符号化効率にいくばくかのロスを発生させるタイルまたは従来式スライスとは違って、このウェーブフロントは、予測の大多数を保っている。ウェーブフロントは、並列化のための各ラインの間で後れ時間を発生させる。図４の例では、４つのスレッドが並列に実行されている。すなわち、４つの現符号化ツリーブロックが並列に復号されている。スレッドの間に後れ時間があり、例えば、第二ストリームは、第一スレッドによって復号された情報の一部を必要とする。したがって、復号は、エントロピー復号に対し１つ符号化ツリーブロックの後れを伴って実行される。同様に、スレッド３は、スレッド２…などからいくつかの復号された情報を必要とする。各符号化ツリーブロックの構文解析および再構築が全く同じと見なすとすれば、図４に表わされているように、デコーダでの後れは、２つ符号化ツリーブロックとなるはずである。実際の再構築では、現符号化ツリーブロックを復号するために、右上の符号化ツリーブロックの右上の符号化ユニットが必要となり得よう。したがって、スレッドがそれの前のスレッドを待つことを防止するためには、２つ符号化ツリーブロックの後れ時間を考慮する必要がある。
ＨＥＶＣ規格では、ウェーブフロント処理は明確には定義されていない。いくつかのＣＡＢＡＣ再設定だけが明示で記載されている。フラグｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが有効化され、或る符号化ツリーブロックのラインの最初の符号化ツリーブロックの最初の画素が復号されるとき、ＣＡＢＡＣのコンテキスト変数は、図５に表されているように、空間的に隣接したブロックＴを使って初期化される。さらに正確には、このＣＡＢＡＣのコンテキスト変数は、ブロックＴの変数と同じ値を取る。このブロックは、右上の符号化ツリーブロックの最初のブロックである。このブロックＴが利用可能でない場合、コンテキスト変数は、フレームの最初の符号化ツリーブロックとして初期化される。
したがって、ＨＥＶＣウェーブフロントについては、各符号化ツリーブロックの最初のブロックに対するＣＡＢＡＣの依存関係だけが、従来式復号プロセスとは異なる。従来式復号プロセスに対しては、符号化ツリーブロックラインの最初の符号化ツリーブロックのコンテキスト変数の値は、前の符号化ツリーブロックラインの最新の符号化ツリーブロックの最新のブロックのコンテキスト変数の値に等しく設定される。ウェーブフロントが可能にされているとき、この変数コンテキストは、右上の符号化ツリーブロック（Ｔ）のコンテキストに初期化される。これが、ウェーブフロントをエンコーダおよびデコーダの両方で用いるため、デコーダ側で必要な唯一の変更である。
さらに、いくつかのエントリポイントシンタクス要素によって、コンテキスト変数ＣＡＢＡＣをフレームの最初の符号化ツリーブロックとして再設定することが可能である。だが、これらの特定のエントリポイントは、本ソリューションに対しては不必要である。
ＨＥＶＣの定義中のスクリーンコンテンツ符号化拡張は、スクリーン符号化シーケンスを効率的に符号化するための追加のツールを包含する。現在の追加されたツールは、Ｉｎｔｒａブロックコピーモード、パレットモード、および残差カラー変換である。本発明は、Ｉｎｔｒａブロックコピーモードだけに焦点を絞っており、したがって、以下ではこのモードだけについて説明する。
しかしながら、パレットモードおよびＩＮＴＲＡブロックコピーモードは新規のイントラモードであり、前述の理由によって、それぞれ図１および２の１０３および２０５に加えられることに留意されたい。
ＨＥＶＣのスクリーンコンテンツ符号化拡張に対する追加のモードとして、Ｉｎｔｒａブロックコピー（ＩＢＣ：Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）が加えられた。この予測方法は、極度に繰り返しの多いパターンに特によく適している。具体的には、従来式のイントラ予測方法を使って符号化するのが非常に困難な、例えば、グリフ（すなわち、文字のグラフィカル表現）、または従来式ＧＵＩ要素などのグラフィカル要素の符号化の助力となることが知られている。
図６は、このＩｎｔｒａブロックコピー予測モードがどのように機能するかを示す。
ハイレベルで、画像は符号化ユニットに分割されラスタスキャン順に符号化される。しかして、符号化ブロック６０１を符号化するとき、領域６０３の全てのブロックが既に符号化／復号されており、エンコーダ／デコーダに利用可能と見なすことができる。領域６０３は、符号化ユニット６０１の基因領域と呼ばれる。符号化ユニット６０１が符号化／復号されたならば、該ユニットは、次の符号化ユニットに対する基因領域に属することになる。この次の符号化ユニットならびに全ての次に来るユニットは、打点域として示された領域６０４に属し、現符号化ユニット６０１を符号化するために使用することはできない。基因領域が生の再構築済みのブロックによって構成されていることに注目すべきである。所与の符号化ユニットを符号化するために使われる情報は、当初のブロックの情報が復号において利用できないという理由で画像の当初のブロック群ではない。復号で利用可能な唯一の情報は、基因領域中の画素のブロックの再構築済みバージョン、すなわち、これらのブロックの復号済みバージョンである。この理由で、符号化において、基因領域の先に符号化されたブロックが、これらブロックのこの再構築済みバージョンを提供するために復号される。
ＩＮＴＲＡブロックコピーは、ブロック６０１の予測を生成するため使用する必要のある、基因領域中のブロック６０２をシグナリングすることによって機能する。例えば、ブロック６０２は、照合アルゴリズムを用いて見出すことができる。ＨＥＶＣスクリーンコンテンツ拡張では、このブロックは、ブロックベクトル６０５によって示され、予測子によるこのベクトルの残差がビットストリーム中で送信される。
ＩＮＴＲＡブロックコピー予測子は、現フレームの全ての再構築済みの基因領域から得られる。他のイントラモードについては、基因領域がループフィルタリングされることはない。
このブロックベクトルは、符号化ユニット６０１の特定のポイントと予測子ブロック６０２中の相応ポイントとの間の座標上の差である。ＩＮＴＥＲブロックに対しサブ画素の精度を用いることが可能であろうが、ここでの変位量は、通常、画素の整数単位であり、したがって、コストのかかるサブ画素の補間は必要としない。
現在のＩＮＴＲＡブロックコピー設計では、各ＩＮＴＲＡブロックコピー符号化ユニットは、図３に示されるように、１つまたは２つのＰＵに分割することができる。また、最小の符号化ユニットサイズ８×８に対して、符号化ユニットは、各々４×４画素の４つのＰＵに分割することも可能である。
インターモードに対して、Ｎ×Ｎの区分化は利用可能でない。これは、４×４のブロックサイズがインターモードのため使えないことを意味する。次のテーブルは、両方のモードに対するブロックサイズをまとめたものである。

Ｉｎｔｒａブロックコピー予測モードの現在の実装では、エンコーダ側での探索領域はブロックサイズによって決まる。これを以下のテーブルに表す。
現在のエンコーダの実装では、２Ｎ×ＮおよびＮ×２ＮのＰＵのサイズは、８×８の符号化ユニットに対してだけ検証されていることに留意されたい。これらのサイズはこのテーブルには示されていない。２つの型のイントラブロックコピーブロックベクトル推定がある。第一型は従来式ＩＮＴＲＡブロックコピー探索であり、これは、専用のブロック照合アルゴリズムに対応する。第二型はハッシュ探索アルゴリズムに基づいている。また、２つの探索範囲が定義される。
図７に示されるように、フレーム７０１に対し、２つの符号化ツリーブロックの探索範囲が、左側符号化ツリーブロック７０３と、現符号化ツリーブロック７０２の既に符号化／復号されたブロック群とに対応している。現符号化ツリーブロックの既に符号化されたブロック群が、図７中の打点領域中に示されている。全フレーム探索は、既に符号化／復号された全ての符号化ツリーブロック７０４に対応する。
イントラブロックコピーモードにおいて、「ブロック」ベクトルは、図６の符号化対象ブロック６０１中の特定のポイントと予測子ブロック６０２中の相応ポイントとの間の座標上の差である。ＩＮＴＥＲブロックについてはサブ画素の精度を用いることが可能であろうが、ここでの変位量は画素の整数単位であり、したがって、コストのかかるサブ画素の補間は必要としない。
このブロックベクトル（ＢＶ：ｂｌｏｃｋ ｖｅｃｔｏｒ）は、ＢＶの左側、上側、または現符号化ツリーブロックの直近に復号されたブロックベクトル、または直近に復号されたＢＶとすることが可能な予測子を用いて、それ自体が予測される。このベクトル予測子は、当然、復号済みイントラブロックコピーのブロックに由来する。これらの方法によって、予測子インデックスが送信される。
前述したように、ＩＮＴＲＡブロックコピーは、イントラモードであり、したがってその予測子は、いかなるループフィルタリングよりも前の、生の再構築済みデータに由来する。結果として、復号においてウェーブフロント処理を用いるデコーダの実装は減らすべきである。図８に示されるように実際は、ＩＮＴＲＡブロックコピーブロック予測子は、再構築がされていない符号化ツリーブロックから得ることも可能である。つまり、これは、デコーダがこのＩＮＴＲＡブロックコピー予測子の復号処理を十分に待つことが可能なことを意味する。したがって、各符号化ツリーブロックラインの各最初のブロックが、各々の前の符号化ツリーブロックラインの最後のブロックをポイントするという最悪の場合を考慮すると、ウェーブフロントを用いる復号処理が、従来式復号よりも有意に高速であることはできない。
本発明の第一実施形態において、現符号化ツリーブロックに対し、ＩＮＴＲＡブロックコピーの探索範囲は、全ての左側、左上、および上側の符号化ツリーブロック、および、当然ながら現符号化ツリーブロックの再構築済みブロックに限定される。ＩＮＴＲＡブロックコピーの探索範囲は、ＩＮＴＲＡブロックコピーモードによって所与の符号化ユニットの符号化するために、予測子ブロックが探索可能な画像中の領域である。これは、エンコーダ側で、右上の符号化ツリーブロックはＩＮＴＲＡブロックコピー予測のために利用できないと見なされ、結果として、デコーダ側で、現符号化ツリーブロックに対するＩＮＴＲＡブロックコピーブロック予測子がどの右上符号化ツリーブロックもポイントできない、ことを意味する。図９は、スレッド４の現符号化ツリーブロックに対するこの実施形態を示す。
すなわち、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つＸ≦Ｘ０
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定められ、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。当然ながら、この領域は、現符号化ツリーブロックに対して既に再構築されたブロックだけを包含する。
このソリューションは、実装に関しては非常に簡単で、ウェーブフロント処理を大幅に簡略化する。
他の諸実施形態において、符号化効率を向上すべく、さらに多くの再構築済みブロックが、ＩＮＴＲＡブロックコピー予測または現符号化ツリーブロックのため利用可能である。
１つの実施形態において、現符号化ツリーブロックの右上から始まり画像の上端で終わる、斜め方向ブロック群の左側に位置する全ての符号化ツリーブロック（ＣＴＢ）が、ＩＮＴＲＡブロックコピー予測のために利用可能である。前述の斜め方向ブロック群は、１つＣＴＢをｘ軸に沿って正方向に、次いで１つＣＴＢをｙ軸に沿って負方向に次々と進むラインを追って、段のある（すなわち階段状の）パスをラインが画像の上端に達するまでたどる。さらに、現ＣＴＢ行（スレッド）の任意の既に再構築済みのＣＴＢ、および現ＣＴＢの任意の再構築済みのブロックも、ＩＮＴＲＡブロックコピー予測のために利用可能である。図１０は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。デコーダ側では、現符号化ツリーブロックに対するＩＮＴＲＡブロックコピー予測子はこの領域だけに由来する。これは、スレッドの間の１つ符号化ツリーブロックの後れ時間を用いるエンコーダに対応する。
すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。
別の実施形態において、現符号化ブロックの再構築済みブロックに加え、斜め方向ブロック群の左側の全ての符号化ツリーブロックは、２つ符号化ブロック遅れでＩＮＴＲＡブロックコピー予測のために利用可能である。図１１は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。
すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２（Ｙ−Ｙ０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。
この実施形態は、最初のものに比べて符号化効率を増加させるが、図１１に示されているように、この探索範囲はスレッド間の後れ時間を増加させる可能性がある。
別の実施形態において、ＩＮＴＲＡブロックコピー予測のために、現符号化ブロックの再構築済みブロックに加え、前の符号化ツリーブロックラインについては１つ符号化ツリーブロックの後れ、全ての他の前の符号化ツリーブロックラインは２つ符号化ツリーブロックの後れで、斜め方向ブロック群の左側の全ての符号化ツリーブロックが利用可能である。図１２は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。これは、現符号化ツリーブロックの復号のため再構築済みの右上符号化ユニットを利用可能にするために、スレッドの間で２つ符号化ツリーブロックの遅れでフレームを復号するデコーダに対応する。この領域は、デコーダのウェーブフロント処理に対しより深く専用化される。
すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）＜−２（Ｙ−Ｙ０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。
１つの実施形態において、一スレッドの各ＩＮＴＲＡブロックコピーのブロックは、この同じスレッドによって再構築されたブロックだけにアクセスが可能である。これは、エンコーダ側での、ＩＮＴＲＡブロックコピーのための符号化ツリーブロックラインの探索領域の使用に対応する。この実施形態は、ウェーブフロント処理に対するフレキシブルな復号を提供する。実際上、ＩＮＴＲＡブロックコピーを使わない実装に比べ、符号化ツリーブロックラインの間の追加的な依存性はないが、この実施形態は符号化効率を低下させる。
すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｘ≦Ｘ０、且つＹ＝Ｙ０
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。
或る特定の実施形態において、ウェーブフロントが可能にされているとき、エンコーダおよびデコーダの両方が、必要な数のスレッドを備えたウェーブフロント並列化を用いる。さらに、この実施形態に対してはこれらスレッドが同期化される。これは、各スレッドが、後続の符号化ツリーブロックの復号を開始する前に、他のスレッドの全ての符号化ツリーブロックの復号の終了を待つことを意味する。この場合、エンコーダおよびデコーダにおいて、全ブロックの再構築が符号化ツリーブロックレベルで同期化される。この実施形態では、或るスレッドのＩＮＴＲＡブロックコピーブロックは、全ての利用可能な再構築済み符号化ツリーブロックに、たとえ対象符号化ツリーブロックが下側の符号化ツリーブロックライン中に在ってもアクセスできる。例えば、図１２では、各復号済み符号化ツリーブロックの各ＩＮＴＲＡブロックコピーブロック（Ｘでマークされている）は、従来式実装中のスレッド４の全ての利用可能なデータにアクセスできる。さらに、或る符号化ツリーブロックの各ブロックは、それ自体の符号化ツリーブロックの全ての再構築済みブロックにアクセスすることが可能である。この実施形態の利点は、それが各符号化ツリーブロックに対するブロックの平均数を増加させ、可能な予測の不足に起因して、他の後続の符号化ツリーブロックラインに比べてビットレートが一般により高い１番目の符号化ツリーブロックラインに対する探索領域を増大させることである。この実施形態では、単一スレッドデコーダが複数スレッドデコーダと同じ復号結果を得られることに留意されたい。実際上、符号化ツリーブロックの同期化だけが必須である。
図１３は、２つＣＴＢ後れに対し、単一スレッドデコーダ実装が使われた場合のＣＴＢの復合順序を示す。考慮されている後れが１つＣＴＢの場合は別の順序が必要である。
図１４は、本発明の１つ以上の実施形態の実装のためのコンピューティングデバイス１４００の概略ブロック図である。コンピューティングデバイス１４００は、マイクロコンピュータ、ワークステーション、または軽量携帯デバイスなどのデバイスであってよい。コンピューティングデバイス１４００は、以下に接続された通信バスを含む：
− マイクロプロセッサなど、ＣＰＵとも呼ばれる中央処理ユニット１４０１；
− 本発明の実施形態の方法の実行コード、ならびに本発明の実施形態による、画像の少なくとも部分を符号化または復号する方法を実装するために必要な変数およびパラメータを記録するようになされたレジスタを格納するための、ＲＡＭとも呼ばれるランダムアクセスメモリ１４０２であって、そのメモリ容量は、例えば拡張ポートに接続された随意的ＲＡＭによって拡張可能な、該ランダムアクセスメモリ；
− 本発明の実施形態を実装するためのコンピュータプログラムを格納するための、ＲＯＭとも呼ばれる読み取り専用メモリ１４０３
− ネットワークインターフェース１４０４は、通常、通信ネットワークに接続され、それを介して処理対象のデジタルデータが送信または受信される。
ネットワークインターフェース１４０４は単一のネットワークインターフェースとすることも、各種のネットワークインターフェース（例えば、有線およびワイヤレスインターフェース、または各種の有線またはワイヤレスインターフェース群）のセットで構成することも可能である。ＣＰＵ１４０１中で実行されるソフトウェアアプリケーションの制御の下で、データパケットが、送信のためネットワークインターフェースに書き込まれ、あるいは受信のためネットワークインターフェースから読み取られる；
− ユーザインターフェース１４０５は、ユーザからの入力を受信するため、あるいはユーザに情報を表示するために使うことができる；
− ＨＤとも呼ばれるハードディスク１４０６は、大量ストレージデバイスとして設けることが可能である。
− Ｉ／Ｏモジュール１４０７は、映像源またはディスプレイなどの外部デバイスとの間でデータを受信／送信するために使うことができる。
実行可能コードは、読み取り専用メモリ１４０３中、ハードディスク１４０６上、または例えばディスクなどのリムーバブルデジタル媒体上のいずれかに格納することが可能である。別形によれば、プログラムの実行可能コードは、実行される前に、ハードディスク１４０６など通信デバイス１４００のストレージ手段の１つの中に格納するために、ネットワークインターフェース１４０４を介し通信ネットワークを用いて受信することができる。
中央処理ユニット１４０１は、本発明の実施形態によるプログラムまたはプログラム群の命令またはソフトウェアコードの部分、の実行を制御および命令するようになされており、これら命令は前述のストレージ手段の１つの中に格納される。電源が入った後、ＣＰＵ１４０１は、当該命令が、例えばプログラムＲＯＭ１４０３またはハードディスク（ＨＤ：ｈａｒｄ−ｄｉｓｃ）１４０６からロードされた後、主ＲＡＭメモリ１４０２からのソフトウェアアプリケーションに関する命令を実行することができる。かかるソフトウェアアプリケーションは、ＣＰＵ１４０１に実行されると、本明細書に記載のフローチャートのステップを遂行させる。
本明細書に記載のアルゴリズムのどのステップも、ＰＣ（「Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（パーソナルコンピュータ）」）、ＤＳＰ（「Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（デジタル信号プロセッサ）」）、またはマイクロコントローラなどのプログラム可能コンピューティングマシンによる、命令セットまたはプログラムの実行によってソフトウェアの中に実装すること、あるいは、ＦＰＧＡ（「Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールドプログラマブルゲートアレイ）」）またはＡＳＩＣ（「Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途集積回路）」）などのマシンまたは専用部品によってハードウェアの中に別途に実装すること、が可能である。
特定の実施形態を参照しながら、本発明を上記で説明してきたが、本発明は、これら特定の実施形態に限定されるものでなく、当業者には諸修改が明白であろうがそれらの修改は本発明の範囲に含まれる。
当業者には、前述の例示的な実施形態を参照することにより、多くのさらなる修改および変形が浮かぶであろうが、これらの実施形態は、例としてだけ提示されており本発明の範囲を限定するものでなく、発明の範囲は添付の特許請求の範囲によってのみ定められる。具体的には、適切な場合、各種実施形態からの各種の特徴を置き換えることが可能である。
特許請求の範囲中の、用語「含む」は他の要素またはステップを排除するものではなく、不定冠詞「或る（ａまたはａｎ）」は複数を排除しない。相異なる従属請求項において述べられる相異なる特徴は、これらの特徴の組み合わせが有利に使用できないことを示すものではない。

Claims (7)

  1. 画像を符号化する方法であって、
    前記画像は、１又は複数のブロックで構成された符号化ツリーブロックを複数含み、
    各ブロックは、複数のモードの中から選択されたモードによって符号化され、
    前記複数のモードは、対象のブロックが当該対象のブロックが含まれる現在の画像のブロックを用いて符号化される第１のモードを含み、
    前記方法は、
    前記第１のモードにおいて用いる前記現在の画像のブロックを所定の探索範囲内のブロックの中から決定する探索処理を実行する探索ステップと、
    前記探索処理によって決定された前記現在の画像のブロックの位置を示す動きベクトルを示す情報を符号化する符号化ステップと
    を含み、
    前記探索ステップにおいて、
    前記画像における最も左上の位置を原点とし、
    Ｘを前記画像の水平方向の座標とし、Ｙを前記画像の垂直方向の座標とし、
    前記対象のブロックが含まれる符号化ツリーブロックにおける最も左上の位置を（Ｘ０，Ｙ０）とし、
    Ｙ≦Ｙ０、かつ、（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）とした場合に、
    前記対象のブロックが含まれる符号化ツリーブロックの符号化済みのブロック、又は、座標（Ｘ，Ｙ）を有する符号化ツリーブロックの符号化済みのブロックに探索範囲を制限して前記探索処理を実行する
    ことを特徴とする方法。
  2. 前記画像をウェーブフロント並列処理を用いて符号化する場合に、前記探索ステップにおいて前記探索範囲を制限して前記探索処理を実行する、
    ことを特徴とする請求項１に記載の方法。
  3. ビットストリームから画像を復号する方法であって、
    前記画像は、１又は複数のブロックで構成された符号化ツリーブロックを複数含み、
    各ブロックは、複数のモードの中から選択されたモードによって復号され、
    前記複数のモードは、対象のブロックが当該対象のブロックが含まれる現在の画像のブロックを用いて復号される第１のモードを含み、
    前記方法は、
    前記対象のブロックの動きベクトルを示す情報を前記ビットストリームから復号する復号ステップと、
    前記情報に基づいて特定される動きベクトルに従って、前記対象のブロックを前記第１のモードを用いて復号する際に用いる前記現在の画像のブロックを決定する決定ステップと
    を含み、
    前記画像における最も左上の位置を原点とし、
    Ｘを前記画像の水平方向の座標とし、Ｙを前記画像の垂直方向の座標とし、
    前記対象のブロックが含まれる符号化ツリーブロックにおける最も左上の位置を（Ｘ０，Ｙ０）とし、
    Ｙ≦Ｙ０、かつ、（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）とした場合に、
    前記対象のブロックを前記第１のモードを用いて復号する際に用いる前記現在の画像のブロックは、
    前記対象のブロックが含まれる符号化ツリーブロックの復号済みのブロック、又は、座標（Ｘ，Ｙ）を有する符号化ツリーブロックの復号済みのブロックに制限される
    ことを特徴とする方法。
  4. 前記画像をウェーブフロント並列処理を用いて復号する場合に、前記対象のブロックを前記第１のモードを用いて復号する際に用いる前記現在の画像のブロックは、前記対象のブロックが含まれる符号化ツリーブロックの復号済みのブロック、又は、座標（Ｘ，Ｙ）を有する符号化ツリーブロックの復号済みのブロックに制限される
    ことを特徴とする請求項３に記載の方法。
  5. 画像を符号化する装置であって、
    前記画像は、１又は複数のブロックで構成された符号化ツリーブロックを複数含み、
    各ブロックは、複数のモードの中から選択されたモードによって符号化され、
    前記複数のモードは、対象のブロックが当該対象のブロックが含まれる現在の画像のブロックを用いて符号化される第１のモードを含み、
    前記装置は、
    前記第１のモードにおいて用いる前記現在の画像のブロックを所定の探索範囲内のブロックの中から決定する探索処理を実行する探索手段と、
    前記探索処理によって決定された前記現在の画像のブロックの位置を示す動きベクトルを示す情報を符号化する符号化手段と
    を有し、
    前記探索手段は、
    前記画像における最も左上の位置を原点とし、
    Ｘを前記画像の水平方向の座標とし、Ｙを前記画像の垂直方向の座標とし、
    前記対象のブロックが含まれる符号化ツリーブロックにおける最も左上の位置を（Ｘ０，Ｙ０）とし、
    Ｙ≦Ｙ０、かつ、（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）とした場合に、
    前記対象のブロックが含まれる符号化ツリーブロックの符号化済みのブロック、又は、座標（Ｘ，Ｙ）を有する符号化ツリーブロックの符号化済みのブロックに探索範囲を制限して前記探索処理を実行する
    ことを特徴とする装置。
  6. ビットストリームから画像を復号する装置であって、
    前記画像は、１又は複数のブロックで構成された符号化ツリーブロックを複数含み、
    各ブロックは、複数のモードの中から選択されたモードによって復号され、
    前記複数のモードは、対象のブロックが当該対象のブロックが含まれる現在の画像のブロックを用いて復号される第１のモードを含み、
    前記装置は、
    前記対象のブロックの動きベクトルを示す情報を前記ビットストリームから復号する復号手段と、
    前記情報に基づいて特定される動きベクトルに従って、前記対象のブロックを前記第１のモードを用いて復号する際に用いる前記現在の画像のブロックを決定する決定手段と
    を有し、
    前記画像における最も左上の位置を原点とし、
    Ｘを前記画像の水平方向の座標とし、Ｙを前記画像の垂直方向の座標とし、
    前記対象のブロックが含まれる符号化ツリーブロックにおける最も左上の位置を（Ｘ０，Ｙ０）とし、
    Ｙ≦Ｙ０、かつ、（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）とした場合に、
    前記対象のブロックを前記第１のモードを用いて復号する際に用いる前記現在の画像のブロックは、
    前記対象のブロックが含まれる符号化ツリーブロックの復号済みのブロック、又は、座標（Ｘ，Ｙ）を有する符号化ツリーブロックの復号済みのブロックに制限される
    ことを特徴とする装置。
  7. 請求項１〜４のいずれか１項に記載の方法を、コンピュータに実行させることを特徴とするプログラム。
JP2017517079A 2014-10-06 2015-10-06 画像を符号化する方法、画像を復号する方法、画像を符号化する装置、画像を復号する装置、及びプログラム Active JP6590918B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1417634.1A GB2531001B (en) 2014-10-06 2014-10-06 Method and apparatus for vector encoding in video coding and decoding
GB1417634.1 2014-10-06
PCT/EP2015/073060 WO2016055484A1 (en) 2014-10-06 2015-10-06 Method and apparatus for vector encoding in video coding and decoding

Publications (3)

Publication Number Publication Date
JP2017535150A JP2017535150A (ja) 2017-11-24
JP2017535150A5 JP2017535150A5 (ja) 2018-11-08
JP6590918B2 true JP6590918B2 (ja) 2019-10-16

Family

ID=51946909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517079A Active JP6590918B2 (ja) 2014-10-06 2015-10-06 画像を符号化する方法、画像を復号する方法、画像を符号化する装置、画像を復号する装置、及びプログラム

Country Status (8)

Country Link
US (1) US11051037B2 (ja)
EP (1) EP3205091B1 (ja)
JP (1) JP6590918B2 (ja)
KR (1) KR102076398B1 (ja)
CN (1) CN106797464B (ja)
GB (1) GB2531001B (ja)
RU (2) RU2663348C1 (ja)
WO (1) WO2016055484A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3269142B1 (en) * 2015-04-13 2021-09-15 MediaTek Inc. Methods of constrained intra block copy for reducing worst case bandwidth in video coding
WO2018076336A1 (zh) * 2016-10-31 2018-05-03 富士通株式会社 视频解码方法、视频解码装置和电子设备
FR3068557A1 (fr) * 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
FR3062010A1 (fr) 2017-07-05 2018-07-20 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'une sequence d'images
FR3068558A1 (fr) 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
US11240500B2 (en) * 2018-06-01 2022-02-01 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
KR20220048066A (ko) * 2018-07-18 2022-04-19 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 히스토리-기반 모션 벡터 예측을 사용한 비디오 코딩 방법 및 장치
WO2020025041A1 (en) * 2018-08-03 2020-02-06 Mediatek Inc. Method and apparatus of enhanced intra block copying mode for video coding
CN113170173B (zh) * 2018-11-28 2024-04-12 北京字节跳动网络技术有限公司 变换量化或量化旁路模式的改进方法
AU2019407687A1 (en) 2018-12-21 2021-06-10 Sony Group Corporation Image processing device and method
CN113170195A (zh) 2018-12-22 2021-07-23 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
WO2020156540A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
CN113396592B (zh) * 2019-02-02 2023-11-14 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区管理
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
CN117640927A (zh) 2019-03-04 2024-03-01 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
US11252442B2 (en) * 2019-04-08 2022-02-15 Tencent America LLC Method and apparatus for video coding
CA3146016A1 (en) 2019-07-06 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
MX2022000110A (es) * 2019-07-10 2022-02-10 Beijing Bytedance Network Tech Co Ltd Identificacion de muestras para la copia intra-bloque en codificacion de video.
CN117579816A (zh) 2019-07-11 2024-02-20 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
WO2021013240A1 (en) * 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
JP7307274B2 (ja) 2019-09-23 2023-07-11 北京字節跳動網絡技術有限公司 仮想パイプラインデータユニットに基づいたイントラブロックコピー仮想バッファの設定
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100380980C (zh) * 2002-04-23 2008-04-09 诺基亚有限公司 用于在视频编码系统中指示量化器参数的方法与设备
CN101064849A (zh) * 2006-04-29 2007-10-31 鲁海宁 动态图像编码方法、装置和计算机可读记录介质
WO2011118486A1 (ja) * 2010-03-23 2011-09-29 東レ株式会社 分離膜およびその製造方法
US8837592B2 (en) 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
US20120082238A1 (en) 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary variability in flexible partitioning
US20130121417A1 (en) 2011-11-16 2013-05-16 Qualcomm Incorporated Constrained reference picture sets in wave front parallel processing of video data
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9838684B2 (en) * 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
US10390034B2 (en) * 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10477232B2 (en) * 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
WO2015194394A1 (ja) 2014-06-20 2015-12-23 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
KR101961385B1 (ko) * 2014-07-07 2019-03-25 에이치에프아이 이노베이션 인크. 인트라 블록 카피 검색 및 보상 범위의 방법
EP3202150B1 (en) * 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
EP3251350B1 (en) * 2015-01-29 2023-04-19 VID SCALE, Inc. Intra-block copy searching

Also Published As

Publication number Publication date
GB201417634D0 (en) 2014-11-19
CN106797464B (zh) 2020-10-30
RU2018126868A3 (ja) 2019-03-13
JP2017535150A (ja) 2017-11-24
GB2531001B (en) 2019-06-05
KR20170063808A (ko) 2017-06-08
EP3205091A1 (en) 2017-08-16
RU2018126868A (ru) 2019-03-13
US11051037B2 (en) 2021-06-29
US20180302645A1 (en) 2018-10-18
RU2663348C1 (ru) 2018-08-03
CN106797464A (zh) 2017-05-31
KR102076398B1 (ko) 2020-02-11
WO2016055484A1 (en) 2016-04-14
GB2531001A (en) 2016-04-13
RU2684200C2 (ru) 2019-04-04
EP3205091B1 (en) 2023-05-17

Similar Documents

Publication Publication Date Title
JP6590918B2 (ja) 画像を符号化する方法、画像を復号する方法、画像を符号化する装置、画像を復号する装置、及びプログラム
JP6882560B2 (ja) 画像予測方法および装置
TWI722341B (zh) 用於在視訊寫碼中自適應之迴路濾波之線路緩衝減少
US11044473B2 (en) Adaptive loop filtering classification in video coding
TWI499285B (zh) 判定視訊寫碼之解塊濾波之邊界強度值
JP6378433B2 (ja) イントラｂｃとインター予測の統合のためのａｍｖｐおよびマージ候補リスト導出
EP3158750B1 (en) Intra block copy block vector signaling for video coding
JP2020145716A (ja) 並列処理のためのイントラブロックコピー予測制限
KR102579286B1 (ko) 비디오 샘플들의 변환된 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템
CN112385234B (zh) 图像和视频译码的设备和方法
AU2013228045A1 (en) Method, apparatus and system for encoding and decoding video data
TW201513640A (zh) 跨層之圖像分割之位元流限制
GB2531003A (en) Method and apparatus for vector encoding in video coding and decoding
US20150350674A1 (en) Method and apparatus for block encoding in video coding and decoding
US10178405B2 (en) Enhanced coding and decoding using intra block copy mode
GB2533905A (en) Method and apparatus for video coding and decoding
WO2015145504A1 (ja) 画像復号装置、画像復号方法、及び集積回路
US9219926B2 (en) Image encoding apparatus, image encoding method and program, image decoding apparatus, image decoding method and program
US10805611B2 (en) Method and apparatus of constrained sequence header
JP2018064189A (ja) 符号化装置、復号装置及びプログラム
JP2014230031A (ja) 画像符号化装置、及び画像符号化プログラム
KR102498157B1 (ko) 영상을 인코딩 및 디코딩하기 위한 방법, 인코딩 및 디코딩 장치, 및 해당 컴퓨터 프로그램
JP2017204879A (ja) 動画像符号化装置及び動画像符号化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190917

R151 Written notification of patent or utility model registration

Ref document number: 6590918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151