JP5875989B2 - ビデオ・エンコードおよびデコードのための低複雑性テンプレート照合予測のための方法および装置 - Google Patents

Description

関連出願への相互参照
本願は2010年1月19日に出願された米国仮出願第61/296,329号の利益を主張する。この仮出願の内容はここに参照によってその全体において組み込まれる。

技術分野
本願の原理は、概括的にはビデオ・エンコードおよびデコードに、より詳細にはビデオ・エンコードおよびデコードのための複雑さが低下したテンプレート照合予測（template matching prediction）のための方法および装置に関する。

画素より小さなスケールでの動き補償は現在のビデオ・エンコーダおよびデコーダにおいて広く使われている。たとえば、国際標準化機関／国際電気標準会議（ISO/IEC）動画像専門家グループ４（MPEG-4）パート10先進ビデオ符号化（AVC）規格／国際電気通信連合電気通信部門（ITU-T）H.264勧告（以下、「MPGE-4 AVC規格」）では、四分の一画素精度までの動き補償が使われる。そのような方式は本稿では「第一の従来技術のアプローチ」と称する。図１に目を向けると、MPEG-4 AVC規格に基づく4倍の（1/4画素ベクトルのための）フレームのアップサンプリングが概括的に参照符号１００で示されている。アップサンプリングは、まず1/2画素生成のために6タップのウィーナー・フィルタを適用し、次いで1/4画素生成のために双線形フィルタを適用することを含む。

ビデオ符号化専門家グループ（VCEG: Video Coding Experts Group）によって提案される第二の従来技術のアプローチは、エイリアシング・アーチファクトをもつシーケンスについて、1/8画素補償を使ってさらに符号化効率を改善することを含む。固定補間フィルタを使うことに加えて、エイリアシング、量子化および動き推定誤差、カメラ雑音などによりよく対処するために、適応的な補間方式が考慮された。適応的な補間方式は、符号化効率を高めるために、各サブ画素位置についてオンザフライで補間フィルタ係数を推定する。あらゆる込み入った補間方式を考慮に入れると、すべての参照フレームを補間して、そのような補間されたフレームをサブ画素精度でデコーダにおいて記憶することは意味をなさない。というのも、補間される必要があるサブ画素位置は若干数だけだからである。そのような方式は、デコーダにおける高いメモリ消費および高い計算量につながる可能性が高い。デコーダにおいてオンザフライで動き補償を実行する一つの方法は、MPEG-4 AVC規格に対するキー・テクノロジー・エリア（KTA: Key Technology Area）ソフトウェア改善によって実行されるところである。

テンプレート照合予測〔テンプレート・マッチング予測〕（TMP: template matching prediction）は、動き／変位情報（motion/displaced information）（動きベクトル（motion vector）、参照インデックス（reference index）および変位したベクトル（displaced vector））の伝送を回避することによって、インター予測およびイントラ予測両方についての符号化効率を稼ぐために使われる技法である。テンプレート照合予測は、ビデオ画像には多数の反復パターンが存在するという想定に基づいている。よって、テンプレート照合は、近隣のピクセルを照合することによって、デコードされた諸ビデオ画像を通じて似通ったパターンを探索する。最終的な予測は、一般に、いくつかの最良マッチの平均である。テンプレート照合は、インター予測およびイントラ予測の両方で使うことができる。しかしながら、テンプレート照合予測の欠点は、エンコーダおよびデコーダの両方で同じ探索を実行する必要があるということである。このように、テンプレート照合予測はデコーダの計算量を有意に高めることがある。

〈インター予測におけるテンプレート照合予測〉
インター予測におけるテンプレート照合予測は、動きベクトルを送ることなくして目標ピクセルを予測する一つの方法である。フレームの目標ブロックが与えられたとき、そのブロックにおけるある目標ピクセルは、参照サンプルの集合から最適ピクセルを見出すことによって決定される。ここで、最適ピクセルの諸隣接ピクセルは、目標ピクセルの諸隣接ピクセルと最高の相関をもつ。目標ピクセルのそうした隣接ピクセルはテンプレート（template）と呼ばれる。従来技術では、テンプレートは通例、目標ピクセルの再構成された周囲のピクセルから取られる。図２に目を向けると、インター予測のためのテンプレート照合予測方式の一例が概括的に参照符号２００によって示されている。テンプレート照合予測方式２００は、探索領域２１１、探索領域２１１内の予測２１２および予測２１２に関する近傍２１３をもつ再構成された参照フレーム２１０に関わる。テンプレート照合予測方式２００はまた、目標ブロック２５１、目標ブロック２５１に関するテンプレート２５２および再構成済みの領域２５３をもつ現在フレーム２５０にも関わる。インター予測の場合、テンプレート照合予測プロセスは、デコーダ側における動きベクトル探索と見ることができる。ここでは、テンプレート照合は、伝統的な動き推定技法と非常によく似た仕方で実行される。すなわち、参照フレームにおいてしかるべく変位された、テンプレートの形をした領域についてコスト関数を計算することによって、動きベクトルが評価される。次いで、そのテンプレートについての最良の動きベクトルが、目標エリアを予測するために使われる。再構成または少なくとも予測信号がすでに存在する画像エリアだけが、探索のためにアクセスされる。よって、デコーダは、追加的な副情報なしでも、テンプレート照合プロセスを実行し、目標エリアを予測することができる。

テンプレート照合は、動きベクトルの伝送なしに目標ブロック中のピクセルを予測することができる。テンプレート照合予測の予測パフォーマンスは、目標ブロックとそのテンプレートとの間の相関が高ければ、伝統的なブロック照合方式のパフォーマンスに匹敵することが期待される。従来技術では、テンプレートは、目標ピクセルの再構成済みの空間的な近隣ピクセルから取られている。近隣ピクセルは時に、目標ピクセルとの相関が低い。よって、テンプレート照合予測のパフォーマンスは、伝統的なブロック照合方式より低いことがある。

〈イントラ予測におけるテンプレート照合予測〉
イントラ予測では、テンプレート照合予測は、目標ブロックから遠く離れたピクセルによって予測を生成できるので、利用可能な非局所的な予測アプローチの一つである。イントラ・テンプレート照合においては、テンプレートの定義はインター・テンプレート照合における定義と同様である。しかしながら、一つの違いは、探索範囲が現在画像のデコード済みの部分に限定されるということである。図３に目を向けると、イントラ予測のためのテンプレート照合予測方式の一例が概括的に参照符号３００によって示されている。テンプレート照合予測方式３００は、画像３７７のデコード済みの部分３１０に関わる。画像３７７のデコード済みの部分３１０は、探索領域３１１、探索領域３１１内の候補予測３１２および候補予測３１２に関する近傍３１３をもつ。テンプレート照合予測方式３００はまた、画像３７７の未デコード部分３２０にも関わる。画像３７７の未デコード部分３２０は、目標ブロック３２１、目標ブロック３２１に関するテンプレート３２２をもつ。簡単のため、以下の記述はイントラ・テンプレート照合に基づくが、インター・テンプレートの対応物にも容易に拡張できることが当業者には理解される。

デコーダにおけるテンプレート照合予測に関する問題は、テンプレート照合はデコーダにおいて探索を実行する必要があり、そのような探索を何の制約条件も要求することなく実行するので、参照フレームのすべてについてサブ画素補間を実行し、サブ画素精度をもつそのような補間されたフレームをデコーダにおいて記憶する必要があるということである。これは、デコーダにおける、たとえばメモリおよび計算量を含む複雑さを著しく高めることがある。

従来技術のこれらおよびその他の欠点および不都合な点が、ビデオ・エンコードおよびデコードのための低複雑性テンプレート照合予測のための方法および装置に向けられる本願の原理によって対処される。

本願の原理のある側面によれば、装置が提供される。本装置は、テンプレート照合予測を使って、画像中の少なくともある画像ブロックをエンコードするビデオ・エンコーダを含む。テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される。

本願の原理のもう一つの側面によれば、ビデオ・エンコーダにおける方法が提供される。本方法は、テンプレート照合予測を使って、画像中の少なくともある画像ブロックをエンコードすることを含む。テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される。

本願の原理のさらにもう一つの側面によれば、装置が提供される。本装置は、テンプレート照合予測を使って、画像中の少なくともある画像ブロックをデコードするビデオ・デコーダを含む。テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される。

本願の原理のさらにもう一つの側面によれば、ビデオ・デコーダにおける方法が提供される。本方法は、テンプレート照合予測を使って、画像中の少なくともある画像ブロックをデコードすることを含む。テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される。

本願の原理のこれらおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき、例示的な実施形態の以下の詳細な説明から明白となるであろう。

本願の原理は、以下の例示的な図面に基づいてよりよく理解されうる。
MPEG-4 AVC規格に基づく４倍の（1/4画素ベクトルのための）フレームのアップサンプリングを示す図である。 インター予測についてテンプレート照合予測方式の例を示す図である。 イントラ予測についてテンプレート照合予測方式の例を示す図である。 本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ・エンコーダを示すブロック図である。 本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ・デコーダを示すブロック図である。 本願の原理のある実施形態に基づく、複雑さが低下したテンプレート照合を使ってピクチャについての画像データをエンコードする例示的な方法を示す流れ図である。 本願の原理のある実施形態に基づく、複雑さが低下したテンプレート照合を使ってピクチャについての画像データをデコードする例示的な方法を示す流れ図である。

本願の原理は、ビデオ・エンコードおよびデコードのための複雑さが低下したテンプレート照合予測のための方法および装置に向けられる。

本記述は、本願の原理を例解する。よって、本稿で明示的に記述や図示がされていなくても、本願の原理を具現し、その精神および範囲内に含まれるさまざまな構成を当業者が考案できるであろうことは理解されるであろう。

本稿で記載されるあらゆる例および条件付きの言辞は、読者が、本発明の原理および当該技術を進歩させる発明者によって寄与される概念を理解するのを支援するという教育目的のために意図されているのであって、そのような個別的に記載されている例および条件に限定することなく解釈されるものである。

さらに、本願の原理の原理、側面および実施形態ならびにその個別的な例を記載する本稿におけるあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物、すなわち構造にかかわりなく同じ機能を実行する任意の開発された要素の両方を含むことが意図されている。

よって、たとえば、当業者は、本稿に呈示されるブロック図が本願の原理を具現する例示的な回路の概念図を表すものであることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどがあったとすると、それらはいずれも、コンピュータ可読媒体において実質的に表現され、コンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことが理解されるであろう。これはそのようなコンピュータまたはプロセッサが明示的に示されているかどうかにはよらない。

図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行することのできるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有されるプロセッサによって、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されうる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを指すものと解釈されるべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ（「DSP」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ROM」）、ランダム・アクセス・メモリ（「RAM」）および不揮発性記憶装置を含みうる。

従来のものおよび／またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。

本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばａ）その機能を実行する回路素子の組み合わせまたはｂ）任意の形の、したがってファームウェア、マイクロコードなどを含むソフトウェアを、当該機能を実行するためにそのソフトウェアを実行するための適切な回路と組み合わせたものを包含することが意図されている。そのような請求項によって定義される本願の原理は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本願で示されている手段と等価であると見なされる。

明細書における本願の原理の「一つの実施形態」または「ある実施形態」またはその変形への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所に現れる「一つの実施形態では」または「ある実施形態では」といった句の出現は、必ずしもみな同じ実施形態を指すのではない。

たとえば「A/B」「Aおよび／またはB」「AおよびBの少なくとも一つ」の場合のような「／」「および／または」「…の少なくとも一つ」のいずれかの使用は、最初に挙げられるオプション（A）のみの選択、または二番目に挙げられるオプション（B）のみの選択、または両方のオプション（AおよびB）の選択を包含することが意図されている。さらなる例として、「A、Bおよび／またはC」や「A、BおよびCの少なくとも一つ」の場合には、そのような表現は、最初に挙げられるオプション（A）のみの選択、または二番目に挙げられるオプション（B）のみの選択、または三番目に挙げられるオプション（C）のみの選択、または最初と二番目に挙げられるオプション（AおよびB）のみの選択、または最初と三番目に挙げられるオプション（AおよびC）のみの選択、または二番目と三番目に挙げられるオプション（BおよびC）のみの選択、または三つすべてのオプション（AおよびBおよびC）の選択を包含することが意図されている。これは、当業者には明白であろうが、挙げられる項目がいくら多数でも、拡張できる。

また、本稿での用法では、「ピクチャ」および「画像」の語は交換可能に使用され、ビデオ・シーケンスからのスチール画像またはピクチャを指す。知られているように、ピクチャはフレームであってもフィールドであってもよい。

さらに、本稿での用法では、「信号伝達する（signal）」という語は対応するデコーダに何かを示すことをいう。たとえば、エンコーダは、特定の型の探索（整数探索、1/2画素探索または1/4画素探索）および／または探索範囲（近隣の動きベクトル、小さな探索範囲または大きな探索範囲）および／またはフィルタ型（双線形フィルタまたは標準的な動き補償で使われているのと同じ補間フィルタ）を、どの特定の型の探索および／または探索範囲および／またはフィルタ型がエンコーダ側で使われているかをデコーダに知らせるために、信号伝達しうる。このようにして、同じ型の探索および／または探索範囲および／またはフィルタ型がエンコーダ側とデコーダ側の両方で使用されうる。信号伝達は多様な仕方で達成されうることを理解しておくべきである。たとえば、一つまたは複数のシンタックス要素、フラグなどが、対応するデコーダに情報を信号伝達するために使用されうる。

さらに、本稿での用法では、「標準的な動き補償」および「標準的な動き推定」という表現はそれぞれ、（本願の原理ではなく）既存のビデオ符号化規格および／または既存のビデオ符号化勧告に従って実行される動き補償および動き推定をいう。よって、たとえば、「標準的な動き推定」という表現は、たとえばMPEG-4 AVC規格によって実行される従来の動き推定プロセスを指すのに使われることがある。また、「標準的な動き補償」および「通常の動き補償」という表現が本稿では交換可能に使われており、「標準的な動き推定」および「通常の動き推定」という表現が本稿では交換可能に使われていることを注意しておく。知られているように、動き推定は、通例ビデオ・シーケンス中の隣り合うフレームから、ある二次元画像から別の二次元画像への変換を記述する諸動きベクトルを決定するプロセスである。

図４に目を向けると、本願の原理が適用されうる例示的なビデオ・エンコーダが概括的に参照符号４００で示されている。ビデオ・エンコーダ４００は、組み合わせ器４８５の非反転入力と信号通信する出力をもつフレーム順序付けバッファ４１０を含む。組み合わせ器４８５の出力は、変換器および量子化器４２５の第一の入力と信号通信で接続されている。変換器および量子化器４２５の出力は、エントロピー符号化器４４５の第一の入力および逆変換器および逆量子化器４５０の第一の入力と信号通信で接続されている。エントロピー符号化器４４５の出力は、組み合わせ器４９０の第一の非反転入力と信号通信で接続されている。組み合わせ器４９０の出力は、出力バッファ４３５の第一の入力と信号通信で接続されている。

エンコーダ・コントローラ４０５の第一の出力は、フレーム順序付けバッファ４１０の第二の入力、逆変換器および逆量子化器４５０の第二の入力、ピクチャ型決定モジュール４１５の入力、マクロブロック型（MB型）決定モジュール４２０の第一の入力、イントラ予測モジュール４６０の第二の入力、ブロック解除（deblocking）フィルタ４６５の第二の入力、動き補償器４７０の第一の入力、動き推定器およびテンプレート照合予測モジュール４７５の第一の入力および参照ピクチャ・バッファ４８０の第二の入力と信号通信で接続されている。

エンコーダ・コントローラ４０５の第二の出力は、補足向上情報（SEI: Supplemental Enhancement Information）挿入器４３０の第一の入力、変換器および量子化器４２５の第二の入力、エントロピー符号化器４４５の第二の入力、出力バッファ４３５の第二の入力、シーケンス・パラメータ・セット（SPS: Sequence Parameter Set）およびピクチャ・パラメータ・セット（PPS: Picture Parameter Set）挿入器４４０の入力と信号通信で接続されている。

SEI挿入器４３０の出力は組み合わせ器４９０の第二の非反転入力と信号通信で接続されている。

ピクチャ型決定モジュール４１５の第一の出力は、フレーム順序付けバッファ４１０の第三の入力と信号通信で接続されている。ピクチャ型決定モジュール４１５の第二の出力は、マクロブロック型決定モジュール４２０の第二の入力と信号通信で接続されている。

シーケンス・パラメータ・セット（SPS）およびピクチャ・パラメータ・セット（PPS）挿入器４４０の出力は、組み合わせ器４９０の第三の非反転入力と信号通信で接続されている。

逆量子化器および逆変換器４５０の出力は、組み合わせ器４１９の第一の非反転入力と信号通信で接続されている。組み合わせ器４１９の出力は、イントラ予測モジュール４６０の第一の入力およびブロック解除フィルタ４６５の第一の入力と信号通信で接続されている。ブロック解除フィルタ４６５の出力は参照ピクチャ・バッファ４８０の第一の入力と信号通信で接続されている。参照ピクチャ・バッファ４８０の出力は、動き推定器およびテンプレート照合予測モジュール４７５の第二の入力および動き補償器４７０の第三の入力と信号通信で接続されている。動き推定器およびテンプレート照合予測モジュール４７５の第一の出力は、動き補償器４７０の第二の入力と信号通信で接続されている。動き推定器およびテンプレート照合予測モジュール４７５の第二の出力は、エントロピー符号化器４４５の第三の入力と信号通信で接続されている。

動き補償器４７０の出力は、スイッチ４９７の第一の入力と信号通信で接続されている。イントラ予測モジュール４６０の出力は、スイッチ４９７の第二の入力と信号通信で接続されている。マクロブロック型決定モジュール４２０の出力は、スイッチ４９７の第三の入力と信号通信で接続されている。スイッチ４９７の第三の入力は、該スイッチの「データ」入力（制御入力、すなわち第三の入力に対していう）が動き補償器４７０またはイントラ予測モジュール４６０によって提供されるべきか否かを決定する。スイッチ４９７の出力は、組み合わせ器４１９の第二の非反転入力および組み合わせ器４８５の反転入力と信号通信で接続されている。

フレーム順序付けバッファ４１０の第一の入力およびエンコーダ・コントローラ４０５の入力は、入力ピクチャを受け取るためのエンコーダ４００の入力として利用可能である。さらに、補足向上情報（SEI）挿入器４３０の第二の入力は、メタデータを受け取るためのエンコーダ４００の入力として利用可能である。出力バッファ４３５の出力は、エンコーダ４００の出力として、ビットストリームを出力するために利用可能である。

図５に目を向けると、本願の原理が適用されうる例示的なビデオ・デコーダが概括的に参照符号５００で示されている。ビデオ・デコーダ５００は、エントロピー・デコーダ４４５の第一の入力と信号通信で接続された出力をもつ。エントロピー・デコーダ５４５の第一の出力は、逆変換器および逆量子化器５５０の第一の入力と信号通信で接続されている。逆変換器および逆量子化器５５０の出力は、組み合わせ器５２５の第二の非反転入力と信号通信で接続されている。組み合わせ器５２５の出力は、ブロック解除フィルタ５６５の第二の入力およびイントラ予測モジュール５６０の第一の入力と信号通信で接続されている。ブロック解除フィルタ５６５の第二の出力は、参照ピクチャ・バッファ５８０の第一の入力と信号通信で接続されている。参照ピクチャ・バッファ５８０の出力は、動き補償器およびテンプレート照合予測モジュール５７０の第二の入力と信号通信で接続されている。

エントロピー・デコーダ５４５の第二の出力は、動き補償器およびテンプレート照合予測モジュール５７０の第三の入力、ブロック解除フィルタ５６５の第一の入力およびイントラ予測器５６０の第三の入力と信号通信で接続されている。エントロピー・デコーダ５４５の第三の出力は、デコーダ・コントローラ５０５の入力と信号通信で接続されている。デコーダ・コントローラ５０５の第一の出力は、エントロピー・デコーダ５４５の第二の入力と信号通信で接続されている。デコーダ・コントローラ４０５の第二の出力は、逆変換器および逆量子化器５５０の第二の入力と信号通信で接続されている。デコーダ・コントローラ５０５の第三の出力は、ブロック解除フィルタ５６５の第三の入力と信号通信で接続されている。デコーダ・コントローラ５０５の第四の出力は、イントラ予測モジュール５６０の第二の入力、動き補償器およびテンプレート照合予測モジュール５７０の第一の入力および参照ピクチャ・バッファ５８０の第二の入力と信号通信で接続されている。

動き補償器およびテンプレート照合予測モジュール５７０の出力は、スイッチ５９７の第一の入力と信号通信で接続されている。イントラ予測モジュール５６０の出力は、スイッチ５９７の第二の入力と信号通信で接続されている。スイッチ５９７の出力は、組み合わせ器５２５の第一の非反転入力と信号通信で接続されている。

入力バッファ５１０の入力は、デコーダ５００の入力として、入力ビットストリームを受け取るために利用可能である。ブロック解除フィルタ５６５の第一の出力は、デコーダ５００の出力として、出力ピクチャを出力するために利用可能である。

ここで、上記のように、本願の原理は、ビデオ・エンコードおよびデコードのための複雑さが低下したテンプレート照合予測のための方法および装置に向けられる。本稿に開示される方法および装置は、同時にテンプレート照合予測の符号化効率を維持しつつ、デコーダの複雑さを低下させることを理解しておくべきである。さらに、本願の原理はエンコーダの複雑さも低下させることができる。上記のように、テンプレート照合予測は、動き／変位情報（動きベクトル、参照インデックスおよび変位ベクトル）の伝送を回避することによって、インター予測およびイントラ予測両方について符号化効率を稼ぐことができる。しかしながら、テンプレート照合予測の欠点は、エンコーダおよびデコーダの両方で同じ探索を実行しなければならないということである。これは、デコーダの複雑さが大幅に増大しうることを意味する。

本願の原理に基づき、我々は、テンプレート照合予測のための対応する設定を制約することによって、テンプレート照合予測を単純化するための方法および装置を開示する。有利なことに、本願の原理に基づくそのような単純化したテンプレート照合予測は、デコーダの複雑さを低下させる。デコードの複雑さ（complexity）は、メモリ消費および計算量（computational complexity）を含む。具体的には、本願の原理のある実施形態では、テンプレート照合予測を、サブ画素精度未満に制限する。もう一つの実施形態では、より少数の探索点を使う（すなわち、より少数の位置を探索する）。さらにもう一つの実施形態では、より単純なサブ画素補間方式を使う。

一般に、本願の原理に基づくテンプレート照合予測は、以下のステップを含むと考えることができる：
（１）TMP探索精度が定義される。
（２）TMP探索精度がフル画素精度より高い場合、エンコーダによって、ルーマ／クロマのサブ画素位置がTMP精度で補間される。
（３）あるフレームのある目標ブロックを与えられて、エンコーダによって、補間されたフレームにおける参照サンプルの集合から、諸最適ピクセルの探索が実行される。ここで、諸最適ピクセルの隣接ピクセルは、目標ピクセルの隣接ピクセルと最高の相関をもつ。
（４）前記諸最適ピクセルが、上記ブロックのテンプレート照合予測として使われる。

第一の実施形態では、我々は、他の通常の動き補償方法より低いサブ画素精度で探索するようテンプレート照合予測を制限することを提案する。この制限は、符号化効率を劣化させない。というのも、我々はテンプレート照合予測から得られたいくつかの最良マッチを平均するが、該平均とサブ画素はエイリアシング軽減において同じような役割を果たすことが見出されたからである。ある実施形態では、エンコーダにおいて、サブ画素位置が、通常の動き探索およびテンプレート照合予測の前に、フレーム全体について補間される。その際、通常の動き探索かテンプレート照合予測かの判断がビットストリームにおいて送られる。デコーダでは、通常の動き探索とテンプレート照合予測のどちらが使われるかに依存して、各目標ブロックについて動き補償がオンザフライで実行されることができる。ある個別的なサブ実施形態では、テンプレート照合予測探索を、フル画素精度でのみ許容されるよう制限する。たとえば、そのような場合、補間精度は（たとえば通常の動き探索によって要求される）サブ画素で実行されることができるが、TMP探索はフル画素グリッドのみに制限されることができる。こうして、あるブロックについてテンプレート照合予測が選択される場合、デコーダにおいて、このブロックについて補間は必要とされない。クロマ解像度がルーマ解像度と同じでない場合、たとえばYUV4:2:0の場合、クロマ動きベクトル（MV: motion vector）はルーマ動きベクトルの半分であり、動きベクトル探索はルーマについてのみ実行される。というのも、クロマ動きベクトルが1/2画素精度の場合については、クロマ動きベクトルを、最も近いフル画素に近似することができるからである。

第二の実施形態では、我々は、テンプレート照合予測を、より少数の探索点に制限することを提案する。ある実施形態では、テンプレート照合予測は、候補位置の集合のみを探索する。候補位置は、（現在のブロックの動きベクトル予測子のような）よく予測された（well predicted）中心をもつ小さな探索範囲内であってもよいし、あるいは空間的／時間的な近隣ピクセルの動きベクトルから導出されてもよい。これは、現在のピクセルは、近隣ピクセルのものに似ている確率が高いという想定に基づいており、テンプレート照合予測は一般にそれらのピクセルをテンプレートとして使う。

第三の実施形態では、我々は、テンプレート照合予測のためにより複雑でないサブ画素補間方法を使うことを提案する。あるサブ実施形態では、ルーマ成分がフル画素精度であり、クロマ成分が1/2画素精度であることを許容する。1/2画素補間のためには、双線形フィルタが使われる。これは、平均とサブ画素がエイリアシング軽減のために似た役割を果たし、よってあまり複雑なサブ画素補間フィルタは必要としないという第一の方式と似た理論に基づいている。

上記の諸方式は、独立してまたは合同して適用できる。さらに、上記の諸方式は、たとえばスライス・ヘッダ、ピクチャ・パラメータ・セット（PPS）、シーケンス・パラメータ・セット（SPS）、ネットワーク抽象化層（NAL: network abstraction layer）ユニット・ヘッダ、補足向上情報（SEI）メッセージなどといった、高レベルのシンタックスで信号伝達されることができる。

〈シンタックス〉
表１は、本願の原理のある実施形態に基づく、スライス・ヘッダのための例示的なシンタックスを示している。

ここで、表１のシンタックス要素の意味について、さらに詳細に下記に記載する。

tmp_search_precision_ind〔テンプレート探索精度指標〕が0に等しいことは、テンプレート照合において整数探索を使うことを指定し、
tmp_search_precision_indが1に等しいことは、テンプレート照合において1/2画素探索を使うことを指定し、
tmp_search_precision_indが2に等しいことは、テンプレート照合において1/4画素探索を使うことを指定する。

tmp_search_candidate_ind〔テンプレート探索候補指標〕が0に等しいことは、テンプレート照合において近隣の動きベクトルのみを使うことを指定し、
tmp_search_candidate_indが1に等しいことは、テンプレート照合のために（現在ブロックの動きベクトル予測子のような）よく予測された中心をもつ、あるいは空間的／時間的な近隣のピクセルの動きベクトルから導かれた探索範囲を使うことを指定する。

tmp_subpel_interp_flag〔テンプレート・サブ画素補間フラグ〕が0に等しいことは、テンプレート照合において双線形フィルタを使うことを指定し、
tmp_subpel_interp_flagが1に等しいことは、通常の動き補償と同じ補間フィルタを使うことを指定する。

一例として、組み合わされたアプローチが使用される。このアプローチでは、YUV4:2:0が考えられ、動きベクトル探索はルーマ成分についてのみ実行される。動きベクトル探索はフル画素精度に限定し、そのような探索を、[−2,2]から定義される探索範囲をもつ小さな窓のみに制約する。探索中心は、MPEG-4 AVC規格において行われているように、現在ブロックの動きベクトル予測子として定義される。クロマ補間については、双線形フィルタがサブ画素補間のために使用される。

図６に目を向けると、複雑さが低下したテンプレート照合を使ってピクチャについての画像データをエンコードする例示的な方法が、概括的に参照符号６００によって示されている。方法６００は、開始ブロック６０５を含み、これは制御をループ端ブロック６１０に渡す。ループ端ブロック６１０は、各スライスにわたるループを開始し、制御を機能ブロック６１５に渡す。機能ブロック６１５は通常のおよびテンプレート照合予測（TMP）探索精度を定義し、制御を機能ブロック６２０に渡す。機能ブロック６２０はTMPパラメータをエンコードし、制御を機能ブロック６２５に渡す。機能ブロック６２５はルーマ・サブ画素およびクロマ・サブ画素位置を補間し、これをバッファに記憶し、制御をループ端ブロック６３０に渡す。該ループ端ブロックは各ルーマ／クロマ・ブロックにわたるループを開始し、制御を機能ブロック６３５および機能ブロック６４０に渡す。機能ブロック６３５は通常の動き探索を実行し、制御を機能ブロック６３６に渡す。機能ブロック６３６は最良のルーマ動きベクトルを設定し、制御を機能ブロック６３７に渡す。機能ブロック６３７はクロマ動きベクトルを計算し、制御を機能ブロック６３８に渡す。機能ブロック６３８はRDコストJ1を計算し、制御を機能ブロック６５０に渡す。機能ブロック６４０は、ある探索範囲内のテンプレート照合予測探索を実行し、制御を機能ブロック６４１に渡す。機能ブロック６４１は、N個の最良の候補を見出し、それらを平均し、制御を機能ブロック６４２に渡す。機能ブロック６４２は対応するクロマ動きベクトルを計算し、クロマ成分のN個の最良の候補を平均し、制御を機能ブロック６４５に渡す。機能ブロック６４５はRDコストJ2を計算し、制御を判断ブロック６５０に渡す。判断ブロック６５０はJ1＜J2であるか否かを判定する。もしそうであれば、制御は機能ブロック６５５に渡される。もしそうでなければ、制御は機能ブロック６５２に渡される。機能ブロック６５５はモード情報をエンコードし、制御を機能ブロック６６０に渡す。機能ブロック６６０はブロックの動きベクトル（MV）をエンコードし、制御をループ端ブロック６７０に渡す。機能ブロック６５２はブロックのモードをエンコードし、制御をループ端ブロック６７０に渡す。ループ端ブロック６７０は各ルーマ／クロマ・ブロックについてのループを終了し、制御をループ端ブロック６８０に渡す。ループ端ブロック６８０はスライスにわたるループを終了し、制御を機能ブロック６９９に渡す。

図７に目を向けると、複雑さが低下したテンプレート照合を使ってピクチャについての画像データをデコードする例示的な方法が、概括的に参照符号７００によって示されている。方法７００は、開始ブロック７０５を含み、これは制御をループ端ブロック７１０に渡す。ループ端ブロック７１０は、各スライスにわたるループを開始し、制御を機能ブロック７１５に渡す。機能ブロック７１５はTMPパラメータをデコードし、制御をループ端ブロック７２０に渡す。ループ端ブロック７２０は各ルーマ／クロマ・ブロックにわたるループを開始し、制御を機能ブロック７３０に渡す。機能ブロック７３０は現在ブロックのモードをデコードし、制御を判断ブロック７４０に渡す。判断ブロック７４０は現在のモードがTMPモードか否かを判定する。もしそうであれば、制御は機能ブロック７４５に渡される。そうでなければ、制御は機能ブロック７５５に渡される。機能７４５は、TMP精度がフル画素精度より高い場合に、TMP精度でルーマのサブ画素位置を補間し、制御を機能ブロック７５０に渡す。機能ブロック７５０は、ある探索範囲内でTMP動き検索を実行し、制御を機能ブロック７７０に渡す。機能ブロック７７０は最良のルーマ動きベクトルを設定し、制御を機能ブロック７７５に渡す。７７５はクロマ動きベクトルを計算し、制御を機能ブロック７８０に渡す。機能ブロック７８０は、クロマ動きベクトル精度がフル画素精度より高い場合に、クロマのサブ画素位置を補間し、制御をループ端ブロック７８５に渡す。機能ブロック７８５は、各ルーマ／クロマ・ブロックについてのループを終了し、制御をループ端ブロック７９０に渡す。ループ端ブロック７９０は各スライスにわたるループを終了し、制御を終了ブロック７９９に渡す。機能ブロック７５５は動きベクトルをデコードし、制御を機能ブロック７６０に渡す。機能ブロック７６０は通常の精度でルーマのサブ画素を補間し、制御を機能ブロック７６５に渡す。機能ブロック７６５は通常の動き補償を実行し、制御を機能ブロック７７０に渡す。

ここで、本発明の多くの付随する利点／特徴のいくつかの記載を与えておく。そのいくつかはすでに上述されている。たとえば、一つの利点／特徴は、テンプレート照合予測を使って、ピクチャにおける少なくともある画像ブロックをエンコードするビデオ・エンコーダを有する装置である。前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される、装置。

もう一つの利点／特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法によって使用される精度より低いサブ画素精度に制約することと、前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、対応するデコーダにおいて要求される動き探索を欠く、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つにおける符号化モードによって使用される精度より低い前記サブ画素精度に制約することと、を含む、装置である。

さらにもう一つの利点／特徴は、上記のような、上記ビデオ・エンコーダを有する装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法より低いサブ画素精度に制約することと、前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、対応するデコーダにおいて要求される動き探索を欠く、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つにおける符号化モードによって使用される精度より低い前記サブ画素精度に制約することと、を含む、装置であって、前記テンプレート照合予測動きベクトル探索および前記標準的な動き推定方法のうちのいずれかを実行する前に前記ピクチャの全体についてサブ画素位置が補間され、補間されたサブ画素位置の少なくとも一部が前記テンプレート照合予測動きベクトル探索に使用される、装置である。

さらにもう一つの利点／特徴は、上記のような、上記ビデオ・エンコーダを有する装置であって、前記テンプレート照合予測動きベクトル探索および前記標準的な動き推定方法のうちのいずれかを実行する前に前記ピクチャの全体についてサブ画素位置が補間され、補間されたサブ画素位置の少なくとも一部が前記テンプレート照合予測動きベクトル探索に使用される、装置であって、前記画像ブロックを前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードするか、前記画像ブロックを前記標準的な動き推定方法の結果を使ってエンコードするかの決定がなされ、前記決定の結果が対応するデコーダへの伝送のためにエンコードされる、装置である。

さらに、もう一つの利点／特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法との関連で実行される動き推定方法より少数の位置を探索するよう制約することを含む、装置である。

さらに、もう一つの利点／特徴は、上記のような、上記ビデオ・エンコーダを有する装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法より少数の位置を探索するよう制約することを含む、装置であって、前記より少数の位置が探索範囲に対応し、前記探索範囲の中心が前記画像ブロックの動きベクトル予測子に対応する、装置である。

また、もう一つの利点／特徴は、上記のような、上記ビデオ・エンコーダを有する装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法より少数の位置を探索するよう制約することを含む、装置であって、前記より少数の位置が、前記画像ブロックに関して空間的な近隣ピクセルおよび時間的な近隣ピクセルの少なくとも一方の動きベクトルによって決定される、装置である。

さらに、もう一つの利点／特徴は、上記のようなビデオ・エンコーダを有する装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な補間方式に比べ、より複雑でないサブ画素補間方式を、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索のために使うよう制約することを含む、装置である。

さらに、もう一つの利点／特徴は、上記のような、上記ビデオ・エンコーダを有する装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き補償方法によって使用される精度より低いサブ画素精度に制約することと、前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、対応するデコーダにおいて要求される動き探索を欠く、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つにおける符号化モードによって使用される精度より低い前記サブ画素精度に制約することと、を含む、装置であって、前記画像ブロックのルーマ成分がフル画素精度で補間され、前記画像ブロックのクロマ成分が二分の一画素精度で補間される、装置である。

本願の原理のこれらおよびその他の特徴および利点は、本願の教示に基づいて当業者によって容易に認識されうる。本願の原理の教示がハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせのさまざまな形で実装されうることは理解されるものである。

最も好ましくは、本願の原理の教示はハードウェアおよびソフトウェアの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット上に具体的に具現されたアプリケーション・プログラムとして実装されてもよい。該アプリケーション・プログラムはいかなる好適なアーキテクチャを有する機械にアップロードされ、該機械によって実行されてもよい。好ましくは、前記機械は、一つまたは複数の中央処理ユニット（「CPU」）、ランダム・アクセス・メモリ（「RAM」）および入出力（「I/O」）インターフェースといったハードウェアをもつコンピュータ・プラットフォーム上で実装される。前記コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含みうる。本稿に記載されたさまざまなプロセスおよび機能はマイクロ命令コードの一部もしくはアプリケーション・プログラムの一部またはそれらの任意の組み合わせであってよく、CPUによって実行されてよい。さらに、追加的なデータ記憶ユニットおよび印刷ユニットといったさまざまな他の周辺ユニットがコンピュータ・プラットフォームに接続されていてもよい。

付属の図面に描かれている構成システム・コンポーネントおよび方法のいくつかは好ましくはソフトウェアにおいて実装されるので、システム・コンポーネントまたはプロセス機能ブロックの間の実際の接続は、本願の原理がプログラムされる仕方に依存して異なることがありうる。本稿の教示を与えられれば、当業者は、本願の原理のこれらおよび同様の実装または構成を考えることができるであろう。

本稿では例示的な実施形態が付属の図面を参照して記載されてきたが、本願の原理はそうした厳密な実施形態に限定されるものではなく、本願の原理の範囲や精神から外れることなく当業者がそれにさまざまな変更および修正を実施しうることは理解されるものである。そのようなすべての変更および修正は付属の請求項に記載される本願の原理の範囲内に含まれることが意図されている。
いくつかの付記を記載しておく。
〔付記１〕
テンプレート照合予測を使って、ピクチャにおける少なくともある画像ブロックをエンコードするビデオ・エンコーダを有する装置であって、前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される、装置。
〔付記２〕
付記１記載の装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き補償方法によって使用される精度より低いサブ画素精度に制約することと、
前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、対応するデコーダにおいて要求される動き探索を欠く、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つにおける符号化モードによって使用される精度より低い前記サブ画素精度に制約することと、
を含む、装置。
〔付記３〕
前記テンプレート照合予測動きベクトル探索および前記標準的な動き推定方法のうちのいずれかを実行する前に前記ピクチャの全体についてサブ画素位置が補間され、補間されたサブ画素位置の少なくとも一部が前記テンプレート照合予測動きベクトル探索に使用される、付記２記載の装置。
〔付記４〕
前記画像ブロックを前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードするか、前記画像ブロックを前記標準的な動き推定方法の結果を使ってエンコードするかの決定がなされ、前記決定の結果が対応するデコーダへの伝送のためにエンコードされる、付記３記載の装置。
〔付記５〕
付記１記載の装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法との関連で実行される動き推定方法より少数の位置を探索するよう制約することを含む、装置。
〔付記６〕
付記５記載の装置であって、前記より少数の位置が探索範囲に対応し、前記探索範囲の中心が前記画像ブロックの動きベクトル予測子に対応する、装置。
〔付記７〕
付記５記載の装置であって、前記より少数の位置が、前記画像ブロックに関して空間的な近隣ピクセルおよび時間的な近隣ピクセルの少なくとも一方の動きベクトルによって決定される、装置。
〔付記８〕
付記１記載の装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な補間方式に比べ、より複雑でないサブ画素補間方式を、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索のために使うよう制約することを含む、装置。
〔付記９〕
前記画像ブロックのルーマ成分がフル画素精度で補間され、前記画像ブロックのクロマ成分が二分の一画素精度で補間される、付記２記載の装置。
〔付記１０〕
ビデオ・エンコーダにおける方法であって：
テンプレート照合予測を使って、ピクチャにおける少なくともある画像ブロックをエンコードすること（６１５、６２０、６４０、６４１、６４２）を含み、前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される（６１５、６２５、６４０）、方法。
〔付記１１〕
付記１０記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き補償方法によって使用される精度より低いサブ画素精度に制約することと、
前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、対応するデコーダにおいて要求される動き探索を欠く、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つにおける符号化モードによって使用される精度より低い前記サブ画素精度に制約することと（６１５）、
を含む、方法。
〔付記１２〕
前記テンプレート照合予測動きベクトル探索および前記標準的な動き推定方法のうちのいずれかを実行する前に前記ピクチャの全体についてサブ画素位置が補間され（６２５）、補間されたサブ画素位置の少なくとも一部が前記テンプレート照合予測動きベクトル探索に使用される（６４０、６４２）、付記１１記載の方法。
〔付記１３〕
前記画像ブロックを前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードするか、前記画像ブロックを前記標準的な動き推定方法の結果を使ってエンコードするかの決定がなされ（６３８、６４５、６５０）、前記決定の結果が対応するデコーダへの伝送のためにエンコードされる（６５５、６５２）、付記１２記載の方法。
〔付記１４〕
付記１０記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法との関連で実行される動き推定方法より少数の位置を探索するよう制約する（６４０）ことを含む、方法。
〔付記１５〕
付記１４記載の方法であって、前記より少数の位置が探索範囲に対応し、前記探索範囲の中心が前記画像ブロックの動きベクトル予測子に対応する（６４０）、方法。
〔付記１６〕
付記１４記載の方法であって、前記より少数の位置が、前記画像ブロックに関して空間的な近隣ピクセルおよび時間的な近隣ピクセルの少なくとも一方の動きベクトルによって決定される（６４０）、方法。
〔付記１７〕
付記１０記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な補間方式に比べ、より複雑でないサブ画素補間方式を、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索のために使うよう制約する（６２５）ことを含む、方法。
〔付記１８〕
前記画像ブロックのルーマ成分がフル画素精度で補間され、前記画像ブロックのクロマ成分が二分の一画素精度で補間される（６２５）、付記１７記載の方法。
〔付記１９〕
テンプレート照合予測を使って、ピクチャにおける少なくともある画像ブロックをデコードするビデオ・デコーダを有する装置であって、前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される、装置。
〔付記２０〕
付記１９記載の装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き補償方法によって使用される精度より低いサブ画素精度に制約することと、
前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、対応するデコーダにおいて要求される動き探索を欠く、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つにおける符号化モードによって使用される精度より低い前記サブ画素精度に制約することと、
を含む、装置。
〔付記２１〕
前記画像ブロックを前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードするか、前記画像ブロックを前記標準的な動き推定方法の結果を使ってエンコードするかの決定の結果がデコードされ、前記結果が前記ビデオ・デコーダによって、前記画像ブロックをデコードするために前記テンプレート照合予測動きベクトル探索を適用するか前記標準的な動き推定方法を適用するかを決定するために使われる、付記２０記載の装置。
〔付記２２〕
付記２１記載の装置であって、前記テンプレート照合予測動きベクトル探索がフル画素解像度で許可されるのが、前記決定の結果が、前記画像ブロックが前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードされたことを示すときのみである、装置。
〔付記２３〕
付記１９記載の装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法との関連で実行される動き推定方法より少数の位置を探索するよう制約することを含む、装置。
〔付記２４〕
付記２３記載の装置であって、前記より少数の位置が探索範囲に対応し、前記探索範囲の中心が前記画像ブロックの動きベクトル予測子に対応する、装置。
〔付記２５〕
付記２３記載の装置であって、前記より少数の位置が、前記画像ブロックに関して空間的な近隣ピクセルおよび時間的な近隣ピクセルの少なくとも一方の動きベクトルによって決定される、装置。
〔付記２６〕
付記１９記載の装置であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な補間方式に比べ、より複雑でないサブ画素補間方式を、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索のために使うよう制約することを含む、装置。
〔付記２７〕
前記画像ブロックのルーマ成分がフル画素精度で補間され、前記画像ブロックのクロマ成分が二分の一画素精度で補間される、付記２６記載の装置。
〔付記２８〕
ビデオ・デコーダにおける方法であって、テンプレート照合予測を使って、画像中の少なくともある画像ブロックをデコードする（７１５、７４５、７５０、７７０）ことを含み、前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される（７１５、７４５、７５０）、方法。
〔付記２９〕
付記２８記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き補償方法によって使用される精度より低いサブ画素精度に制約することと、
前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、対応するデコーダにおいて要求される動き探索を欠く、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つにおける符号化モードによって使用される精度より低い前記サブ画素精度に制約することと（７１５、７４５）、
を含む、方法。
〔付記３０〕
前記画像ブロックを前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードするか、前記画像ブロックを前記標準的な動き推定方法の結果を使ってエンコードするかの決定の結果がデコードされ（７３０、７４０）、前記結果が前記ビデオ・デコーダによって、前記画像ブロックをデコードするために前記テンプレート照合予測動きベクトル探索を適用するか（７４０、７５０）前記標準的な動き推定方法を適用するか（７５５、７６０、７６５）を決定するために使われる、付記２９記載の方法。
〔付記３１〕
付記３０記載の方法であって、前記テンプレート照合予測動きベクトル探索がフル画素解像度で許可されるのが、前記決定の結果が、前記画像ブロックが前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードされたことを示すときのみである（７４５）、方法。
〔付記３２〕
付記２８記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な動き推定方法との関連で実行される動き推定方法より少数の位置を探索するよう制約する（７１５、７５０）「ことを含む、方法。
〔付記３３〕
付記３２記載の方法であって、前記より少数の位置が探索範囲に対応し、前記探索範囲の中心が前記画像ブロックの動きベクトル予測子に対応する（７５０）、方法。
〔付記３４〕
付記３２記載の方法であって、前記より少数の位置が、前記画像ブロックに関して空間的な近隣ピクセルおよび時間的な近隣ピクセルの少なくとも一方の動きベクトルによって決定される（７５０）、方法。
〔付記３５〕
付記２８記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、既存のビデオ符号化規格および既存のビデオ符号化勧告の少なくとも一つに対応する標準的な補間方式に比べ、より複雑でないサブ画素補間方式を、前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索のために使うよう制約する（７１５、７４５）ことを含む、方法。
〔付記３６〕
前記画像ブロックのルーマ成分がフル画素精度で補間され、前記画像ブロックのクロマ成分が二分の一画素精度で補間される（７４５）、付記３５記載の方法。
〔付記３７〕
テンプレート照合予測を使ってエンコードされたピクチャにおける少なくともある画像ブロックを含むビデオ信号データがエンコードされているコンピュータ読み取り可能な記憶媒体であって、前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約される、記憶媒体。

Claims (15)

1. ビデオ・エンコーダにおける方法であって：
   テンプレート照合予測を使って、ピクチャにおける少なくともある画像ブロックをエンコードすることを含み、前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約され、前記一つまたは複数の制約条件が、
   通常の動き探索およびテンプレート照合予測を実行する前に、フレームについて、サブ画素位置を補間し、その際、前記通常の動き探索か前記テンプレート照合予測かの判断はビットストリームにおいて送られ、
   前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索をフル画素精度に制約し、前記ビデオ符号化規格もしくは勧告における、対応するデコーダにおいて動き探索を必要としない符号化モードを使うときにサブ画素補間精度を使うことを含み、
   前記テンプレート照合予測から得られる複数のマッチを平均すること（６１５）を含む、方法。
2. 前記テンプレート照合予測動きベクトル探索および前記動き推定方法のうちのいずれかを実行する前に前記ピクチャの全体についてサブ画素位置が補間され、補間されたサブ画素位置の少なくとも一部が前記テンプレート照合予測動きベクトル探索に使用される、請求項１記載の方法。
3. 前記画像ブロックを前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードするか、前記画像ブロックを前記動き推定方法の結果を使ってエンコードするかの決定がなされ、前記決定の結果が対応するデコーダへの伝送のためにエンコードされる、請求項２記載の方法。
4. 請求項１記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、前記動き推定方法との関連で実行される動き推定方法より少数の位置を探索するよう制約することを含む、方法。
5. 請求項４記載の方法であって、前記より少数の位置が探索範囲に対応し、前記探索範囲の中心が前記画像ブロックの動きベクトル予測子に対応する、方法。
6. 請求項４記載の方法であって、前記より少数の位置が、前記画像ブロックに関して空間的な近隣ピクセルおよび時間的な近隣ピクセルの少なくとも一方の動きベクトルによって決定される、方法。
7. 前記画像ブロックのルーマ成分がフル画素精度で補間され、前記画像ブロックのクロマ成分が前記サブ画素精度で補間される、請求項１記載の方法。
8. ビデオ・デコーダにおける方法であって、テンプレート照合予測を使って、画像中の少なくともある画像ブロックをデコードすることを含み、前記テンプレート照合予測は、該テンプレート照合予測の実行の複雑さを低下させる一つまたは複数の制約条件を使って選択可能な形で制約され、前記一つまたは複数の制約条件が、
   通常の動き探索およびテンプレート照合予測を実行する前に、フレームについて、サブ画素位置を補間し、その際、前記通常の動き探索か前記テンプレート照合予測かの判断はビットストリームにおいて送られ、
   前記テンプレート照合予測のために実行されるテンプレート照合予測動きベクトル探索についてフル画素精度を使うよう制約し、対応するデコーダのためにエンコードされる動きベクトルを生成するまたは対応するデコーダにおいて動き探索を必要としないビデオ符号化規格もしくは勧告の補間方式を使うときはサブ画素精度を使うことを含み、
   前記テンプレート照合予測から得られる複数のマッチを平均することを含む、
   方法。
9. 請求項８記載の方法であって、前記一つまたは複数の制約条件が、
   前記テンプレート照合予測のために実行される前記テンプレート照合予測動きベクトル探索を、前記ビデオ符号化規格もしくは勧告における、対応するデコーダにおいて動き探索を必要としない符号化モードによって使用される精度より低い前記サブ画素精度に制約することを含む、方法。
10. 前記画像ブロックを前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードするか、前記画像ブロックを前記動き推定方法の結果を使ってエンコードするかの決定の結果がデコードされ、前記結果が前記ビデオ・デコーダによって、前記画像ブロックをデコードするために前記テンプレート照合予測動きベクトル探索を適用するか前記動き推定方法を適用するかを決定するために使われる、請求項９記載の方法。
11. 請求項１０記載の方法であって、前記テンプレート照合予測動きベクトル探索がフル画素解像度で許可されるのが、前記決定の結果が、前記画像ブロックが前記テンプレート照合予測動きベクトル探索の結果を使ってエンコードされたことを示すときのみである、方法。
12. 請求項８記載の方法であって、前記一つまたは複数の制約条件が、前記テンプレート照合予測を、前記動き推定方法との関連で実行される動き推定方法より少数の位置を探索するよう制約することを含む、方法。
13. 請求項１２記載の方法であって、前記より少数の位置が探索範囲に対応し、前記探索範囲の中心が前記画像ブロックの動きベクトル予測子に対応する、方法。
14. 請求項１２記載の方法であって、前記より少数の位置が、前記画像ブロックに関して空間的な近隣ピクセルおよび時間的な近隣ピクセルの少なくとも一方の動きベクトルによって決定される、方法。
15. 前記画像ブロックのルーマ成分がフル画素精度であり、前記画像ブロックのクロマ成分が前記サブ画素精度で補間される、請求項８記載の方法。
    

Images