JP5502765B2 - サブピクセル値補間方法 - Google Patents

Description

本発明は、データの符号化および復号化におけるサブピクセル値の補間方法に係り、特にデジタル画像の符号化および復号化に関するが、これに限定されない。

デジタル動画像は、フィルムに記録された一般的な動画像と同様、静止画像の連続から成る。１秒間に１５乃至３０フレームという高いフレームレートで画像を次々に表示することによって、画像が動いているかのような錯覚が起こる。フレームレートが高いことから、連続したフレームの画像は似通っている。したがって、画像は大量の冗長情報を含む。
あるシーンを例にとってみると、このシーンは背景などの静止要素と、アナウンサーの顔や交通の流れなどの動要素とを含む。あるいは、このシーンを記録するカメラ自体が動くこともある。すると、画像中のすべての要素が同様の動きをする。
多くの場合、ある画像フレームと次の画像フレームとの間の変化は小さい。当然のことながら、ここでは運動の本質が前提となる。例えば、あるフレームから次のフレームへの変化は、運動が速ければ速いほど大きくなる。また、あるシーンが複数の動要素を含んでいれば、動要素が１つの場合よりも変化は大きい。

未加工、すなわち圧縮されていないデジタル動画像のフレームは、大量の画像情報を含んでいる。各フレームはピクセルから成り、例えばＱＣＩＦという一般的なデジタル映像フォーマットの場合、１フレーム内には１７６×１４４ピクセル、すなわち２５，３４４ピクセルが存在する。各ピクセルは相当数のビットで表すこともできる。ビットは、ピクセルに対応する画像領域中の輝度成分および／または色差成分についての情報を伝達する。
画像中の輝度成分や色差成分の表示には、いわゆるＹＵＶカラーモデルを用いるのが一般的である。輝度成分（Ｙ）は画像の強度（明るさ）を表し、２つの色差成分（ＵおよびＶ）は画像の色の内容を表す。

輝度成分／色差成分表示に基づくカラーモデルには、３原色（赤色、緑色、青色（ＲＧＢ））成分表示に基づくカラーモデルと比較して、いくつかの利点がある。人間の視覚体系は色の変化よりも明るさの変化に敏感であることから、ＹＵＶカラーモデルではこの視覚の特性を利用して、色差成分（Ｕ、Ｖ）の解像度を輝度成分（Ｙ）の解像度よりも低くしている。これにより、画質をあまり低下させずに、色差情報の符号化に必要な情報の量を減らすことができる。

色差成分の解像度を低くするには、サブサンプルをするのが一般的である。１６×１６ピクセルの１ブロックは、輝度情報を含む１６×１６ピクセルの１ブロックによって表される。これに対応する色差成分をそれぞれ８×８ピクセルの１ブロックで表す。このブロックは、輝度成分の１６×１６ピクセルに等しい画像の一部分を表示する。
こうして、因数２を用いて色差成分をｘ方向およびｙ方向に空間的にサブサンプルする。その結果、１６×１６ピクセルの輝度ブロックと２つの８×８ピクセルの色差ブロックとが得られる。これらの集合をＹＵＶマクロブロック、あるいは単にマクロブロックと称す。

ＱＣＩＦ画像は１１×９個のマクロブロックを含む。輝度ブロックとクロミナンスブロックとが８ビット解像度で（すなわち０乃至２５５の範囲内の数で）表現される場合には、各マクロブロックが必要とするビットの総数は（１６×１６×８）＋２×（８×８×８）＝３，０７２ビットである。したがって、ＱＣＩＦ形式で画像フレームを表示するのに必要なビット数は、９９×３，０７２＝３０４，１２８ビットとなる。

つまり、ＹＵＶカラーモデルでフレームレートが３０ｆｐｓのとき、ＱＣＩＦ形式で動画像を送信／記録／表示するのに必要なデータ量は９Ｍｂｐｓより大きい。これは極めて高いデータレートであり、膨大な記憶容量、送信チャネル容量およびハードウェアの処理性能が要求される。したがって、画像の記録、送信および表示アプリケーションには向いていない。

ＩＳＤＮや従来のＰＳＴＮ（公衆交換電話網）などの固定回線ネットワークを通じてリアルタイムで動画データを伝送する場合には、利用可能なデータ伝送の帯域幅は一般に６４ｋｂｐｓ程度である。また、部分的に無線通信リンクを通じて送信を行う携帯テレビ電話機の場合は、利用可能な帯域幅は２０ｋｂｐｓ程度である。つまり、回線容量の小さい通信ネットワークを通じてデジタル動画像を送信するためには、画像データの表示に必要な情報量を大幅に削減しなければならない。そのため、ある程度の画質を保ったまま、送信する情報量を削減する画像圧縮技術が開発されてきた。

画像圧縮技術の基本となっているのは、動画像の冗長性および知覚的に認識しにくい部分の除去である。動画像の冗長性は、空間的冗長性、時間的冗長性、スペクトル冗長性に分類することができる。「空間的冗長性」は、フレーム内の隣接するピクセル間の相関関係を表す。「時間的冗長性」は、動画像の１フレームに出現するオブジェクトは次のフレームにも出現しやすいことを示す。また、「スペクトル冗長性」は、同一画像中の異なる色差成分間の相関関係を示す。

動画像の場合、冗長性を除去しただけでは十分に効率的な圧縮を実現することはできない。したがって、現在のビデオエンコーダの多くは、動画像中の重要性の低い部分の画質も低下させる。また、効率的な可逆符号化を行うと、圧縮された画像ビットストリームの冗長性も除去できる。その際、「可変長符号化（ＶＬＣ）」と称される技術を用いるのが一般的である。

ＩＴＵ−Ｔ勧告の画像圧縮規格Ｈ．２６１、Ｈ．２６３（＋）（＋＋）、Ｈ．２６Ｌや、Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ勧告のＭＰＥＧ−４は、「動き補償時間的予測」を利用する。これは時間的冗長性を除去する形式であり、フレーム間で画像中のオブジェクトや領域の動きを追うことによって、いくつか（多数）のフレームの内容を「予測」する。

時間的冗長性の除去を利用しない圧縮画像を一般的にＩＮＴＲＡ符号化フレームあるいはＩフレームと称す。一方、時間的に予測された画像をＩＮＴＥＲ符号化フレームあるいはＰフレームと称す。Ｉフレームの場合、予測画像（動き補償された画像）の画質は、画像内容を正確に表現するには不十分である。したがって、各Ｉフレームには空間的に圧縮された予測誤差（ＰＥ）も関係することになる。

多くの画像圧縮規格は、双方向予測されたフレームを利用できる。このフレームをＢピクチャあるいはＢフレームと称す。Ｂピクチャは２つの参照ピクチャ、すなわち「固定」ピクチャ（ＩフレームおよびＰフレーム）の間に挿入され、その一方または両方から予測される。Ｂピクチャ自体は固定ピクチャとしては用いられない。つまり、Ｂピクチャから他のフレームを予測することはないので、Ｂピクチャを除去しても未来の動画像の画質を低下させることはない。
圧縮された動画像において発生するフレームを図３に示す。図示するように、動画像はＩＮＴＲＡフレームあるいはＩフレーム３０から開始される。矢印３３は予測過程の進行方向を示し、Ｐフレーム３４を形成する。また、矢印３１ａおよび３１ｂは双方向予測過程の進行方向を示し、Ｂフレーム３６を形成する。

図１および図２は、動き補償予測を用いた画像符号化体系の例を示す概略図である。図１には動き補償を行うエンコーダ１０を、図２にはこれに対応するデコーダ２０を示す。図１のエンコーダ１０は、動き領域推定ブロック１１と、動き領域符号化ブロック１２と、動き補償予測ブロック１３と、予測誤差符号化ブロック１４と、予測誤差復号化ブロック１５と、多重化ブロック１６と、フレームメモリ１７と、加算器１９とを備える。また、図２のデコーダ２０は、動き補償予測ブロック２１と、予測誤差復号化ブロック２２と、逆多重化ブロック２３と、フレームメモリ２４とを備える。

動き補償を用いる画像コーダは、予測誤差フレームＥ_ｎ（ｘ，ｙ）における情報量の最小化を動作の理念としている。予測誤差フレームは、符号化される現フレームＩ_ｎ（ｘ，ｙ）と予測フレームＰ_ｎ（ｘ，ｙ）との間の差であるから、

と表せる。

予測フレームＰ_ｎ（ｘ，ｙ）は、参照フレームＲ_ｎ（ｘ，ｙ）のピクセル値から求められる。参照フレームとなるのは、以前に符号化および送信されたフレームの１つである。このフレームは、例えば現フレームの直前のフレームであってもよく、エンコーダ１０のフレームメモリ１７に格納されている。具体的には、予測フレームＰ_ｎ（ｘ，ｙ）を構築するには、参照フレームＲ_ｎ（ｘ，ｙ）内のいわゆる「予測ピクセル」を求めればよい。「予測ピクセル」は、実質的に現フレームのピクセルと一致する。

動き情報は、現フレームのピクセルとこれに対応する参照フレームの予測ピクセルとの関係（例えば相対的な位置、回転、大きさなど）を表す。動き情報が得られると、この情報にしたがって予測ピクセルを移動することにより、予測フレームが構成される。こうして、予測フレームの画像は参照フレームのピクセル値を用いて現フレームの近似画像となる。したがって、前述の予測誤差フレームは、予測フレームが提供する現フレームの近似画像と現フレームとの間の差分を表す。
動き補償予測を用いるビデオエンコーダが提供する利点は、予測誤差フレーム内の予測誤差情報と予測に必要な動き情報とを共に表示することで、現在のフレームの概要を得られるという点である。

しかし、フレーム内には大量のピクセルが存在することから、各ピクセルの動き情報を別々にデコーダに送信するのは非効率的である。したがって、ほとんどのビデオ符号化体系においては、現フレームを大きな画像セグメントＳ_ｋに分割し、このセグメントに関係する動き情報をデコーダに伝達する。例えば、フレームの各マクロブロックに動き情報を提供し、その後同じ動き情報をマクロブロック内のすべてのピクセルに提供する。Ｈ．２６Ｌなどのいくつかの画像符号化規格においては、マクロブロックはさらに小さなブロックに分割され、その小さなブロックのそれぞれが独自の動き情報を有する。

動き情報は、動きベクトル［Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ）］の形をとるのが一般的である。Δｘ（ｘ，ｙ）およびΔｙ（ｘ，ｙ）は、現フレームＩ_ｎ（ｘ，ｙ）内の位置（ｘ，ｙ）におけるピクセルから参照フレームＲ_ｎ（ｘ，ｙ）内のピクセルへの水平方向および垂直方向の移動を表す。
動きベクトル［Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ）］は、動き領域推定ブロック１１で算出される。また、現フレームの一連の動きベクトル［Δｘ（・），Δｙ（・）］は動きベクトル領域と称される。

一般に、現フレーム内のマクロブロックの位置は左上端の（ｘ，ｙ）の組み合わせによって特定される。したがって、動き情報とフレームの各マクロブロックとが関連しているビデオ符号化体系においては、各動きベクトルは、あるピクセルの水平方向への移動Δｘ（ｘ，ｙ）および垂直方向への移動Δｙ（ｘ，ｙ）を表す。このピクセルは、参照フレームＲ_ｎ（ｘ，ｙ）内のブロックの左上端のピクセルに対して現フレームＩ_ｎ（ｘ，ｙ）内のマクロブロックの左上端のピクセルを表す（図４（ｂ）を参照）。

動き推定は演算処理的に大規模なタスクである。参照フレームＲ_ｎ（ｘ，ｙ）と現フレーム内のＮ×Ｎピクセルの正方形マクロブロックとを例にとってみる（図４（ａ）参照）。動き推定の目的は、何らかの基準にしたがって、現画像中のマクロブロックの特徴に一致するＮ×Ｎのマクロブロックを参照フレーム内に見つけることである。現フレーム内のマクロブロックのピクセルと参照フレーム内のブロックのピクセルとの間の差の絶対値の和（ＳＡＤ）を基準としてもよい。この過程を一般的に「ブロックマッチング」と呼ぶ。

マッチさせるブロックの形と参照フレーム内のブロックの形とは異なっていてもよい。現実世界の物体が、大きさや回転、そりなどの違いがあっても構わないのと同様である。しかし、現在の国際画像符号化規格において用いられる動きモデルは併進運動（後述する）のみである。したがって、ブロックは固定的長方形でよい。
一致するブロックを見つける機会を最大限にするには参照フレーム全体を検索するのが理想的だが、それではビデオエンコーダに過大な負荷がかかってしまう。したがって、図４（ｃ）に示すように検索領域を［−ｐ，ｐ］に限定する。これは、現フレーム内のマクロブロックの元々の位置の周辺領域である。

エンコーダ１０からデコーダ２０へ伝達する動き情報の量を減らすためには、エンコーダ１０の動き領域符号化ブロック１２において動きベクトル領域を符号化する。ここで、画像セグメントの動きベクトルは所定の関数を用いて再表示される。すなわち、動きベクトル領域はモデルとともに表される。現在用いられるほとんどすべての動きベクトル領域モデルは追加的動きモデルであり、以下の一般的公式に当てはまる。

この公式の係数ａ_ｉおよびｂ_ｉを「動き係数」と称す。動き係数はデコーダ２０に伝送される（図１および図２に示す情報ストリーム２）。また、関数ｆ_ｉおよびｇ_ｉを「動き領域基底関数」と称す。ｆ_ｉおよびｇ_ｉは、エンコーダとデコーダにとって既知の関数である。適切な動きベクトル領域（Δ^~ｘ（ｘ，ｙ），Δ^~ｙ（ｘ，ｙ））は、これらの係数および基底関数を用いて構成できる。基底関数はエンコーダ１０およびデコーダ２０にとって既知である（基底関数はエンコーダ１０およびデコーダ２０に格納されている）ため、エンコーダには動き係数のみを伝達すればよい。これによって、フレームの動き情報を表示するのに必要な情報量を削減できる。

最も単純な動きモデルは併進運動モデルで、このモデルが各セグメントの動きベクトルを記述するのに必要な係数は２つのみである。動きベクトルの値は、

から求められる。

併進運動モデルは１６×１６および８×８ピクセルブロックの動きを説明するモデルであり、さまざまな国際規格（ＩＳＯ ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，ＩＴＵ−Ｔ勧告Ｈ．２６１およびＨ．２６３）で広く用いられている。併進運動モデルを用いるシステムは一般的にフルピクセル解像度またはフルピクセルの比の解像度（例えば１／２ピクセル解像度あるいは１／４ピクセル解像度）で動き推定を実行する。
予測フレームＰ_ｎ（ｘ，ｙ）は、エンコーダ１０の動き補償予測ブロック１３において構築され、次式から求められる。

予測誤差符号化ブロック１４では、２次元関数の有限級数（変形）として表示することによって予測誤差フレームＥ_ｎ（ｘ，ｙ）を圧縮する。ここでは例えば、２次元離散的コサイン変換（ＤＣＴ）を用いることが可能である。変換係数は、デコーダに伝達される前に量子化およびエントロピー符号化（例えばハフマン符号化）される（図１および２の情報ストリーム１参照）。量子化によって誤差が生じることから、予測誤差フレームＥ_ｎ（ｘ，ｙ）にはいくらかの劣化（情報の喪失）が起こる。

この劣化を補償するために、エンコーダ１０は予測誤差復号化ブロック１５も備える。復号化された予測誤差フレームE^~ _ｎ（ｘ，ｙ）は、変換係数を用いて構築される。こうして部分的に復号化された予測誤差フレームを、加算器１９で予測フレームＰ_ｎ（ｘ，ｙ）に加える。また、復号化された現フレームＩ^~ _ｎ（ｘ，ｙ）をフレームメモリ１７に格納し、次の参照フレームＲ_ｎ＋１（ｘ，ｙ）としてさらに用いる。
動きベクトルについての情報を伝達する情報ストリーム２は、マルチプレクサ１６で予測誤差に関する情報と組み合わされる。そして、少なくともこれら２タイプの情報を含む情報ストリーム３がデコーダ２０へ送られる。

次に、画像デコーダ２０の動作を説明する。
デコーダ２０のフレームメモリ２４は、先に再構築した参照フレームＲ_ｎ（ｘ，ｙ）を格納する。デコーダ２０の動き補償予測ブロック２１では、方程式（５）をもとに予測フレームＰ_ｎ（ｘ，ｙ）が構築される。その際、受信した動き係数情報と参照フレームＲ_ｎ（ｘ，ｙ）のピクセル値とを用いる。予測誤差復号化ブロック２２では、送信された予測誤差フレームＥ_ｎ（ｘ，ｙ）の変換係数を用いて、復号化された予測誤差フレームＥ^~ _ｎ（ｘ，ｙ）を構築する。
復号化された現フレームＩ^~ _ｎ（ｘ，ｙ）のピクセルは、その後予測フレームＰ_ｎ（ｘ，ｙ）と復号化された予測誤差フレームＥ^~ _ｎ（ｘ，ｙ）とを加えることによって再構築される。

から求められる。

復号化された現フレームは、次の参照フレームＲ_ｎ＋１（ｘ，ｙ）としてフレームメモリ２４に格納されてもよい。
動きベクトル［Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ）］は、参照フレームＲ_ｎ（ｘ，ｙ）に対する現フレームのマクロブロックの動きを示す。前述したデジタル画像の動き補償符号化および復号化において、動きベクトルは参照フレーム内のいずれのピクセルを指し示してもよい。つまり、デジタル動画像のフレーム間の動きは、フレーム内の画像ピクセルによって定められた解像度（いわゆるフルピクセル解像度）でのみ表現することができる。

しかし、実際の動きの精度は無原則である。したがって、前述のシステムはデジタル動画像におけるフレーム間の動きの近似モデルしか提供できない。一般的に、フルピクセル解像度における画像フレーム間の動きのモデルは、各マクロブロック／フレームの予測誤差（ＰＥ）情報を能率的に最小化できるほど正確ではない。そのため、Ｈ．２６３（＋）（＋＋）やＨ．２６Ｌといった多くの画像符号化基準では、「仲介」画像ピクセルを指し示す動きベクトルを用いることができる。これにより、実際の動きのより正確なモデルを得ることが可能になる。また、エンコーダからデコーダへ伝達する予測誤差情報をさらに削減できる。言い換えれば、動きベクトルは「サブピクセル」解像度を有していてもよい。

動きベクトルがサブピクセル解像度を有することが可能になると、符号化および復号化の動作の複雑性が増大してしまう。よって、動きベクトルの解像度は制限するのが望ましい。例えば、前述の画像符号化基準で動きベクトルが有することができるのは、フルピクセル解像度、１／２ピクセル解像度、１／４ピクセル解像度に限られる。
動きベクトルが有することのできる解像度がフルピクセル解像度または１／２ピクセル解像度であるビデオ符号化体系の場合、サブピクセル解像度での動き予測は２段階過程で実行するのが一般的である（図５を参照）。

第１段階では、ブロックマッチングなどの動き推定体系を用いてフルピクセル解像度の動きベクトルを決定する。このフルピクセル解像度の動きベクトルを図５に示す。
第２段階では、第１段階で決定された動きベクトルを絞り込み、１／２ピクセル解像度を実現する。図５に示す例の場合、１６×１６ピクセルから成る８つの新しい検索ブロックを形成することによって１／２ピクセル解像度を実現する。図５の各ブロックの左上端にはＸ印を付す。この位置は［Δｘ＋ｍ／２、Δｙ＋ｎ／２］で表され、ｍおよびｎは−１、０または１の値をとる。ただし、ｍとｎとが同時に０の値をとることはできない。

原画像ピクセルのピクセル値しか明らかではないため、１／２ピクセル位置のサブピクセルの値（例えば輝度値および／または色差値）は８つの新しい検索ブロックのそれぞれについて推定されなければならない。このとき、何らかの補間体系を用いる。
１／２ピクセル解像度でサブピクセルの値を補間すると、８つの検索ブロックはそれぞれマクロブロックと比較される。このマクロブロックの動きベクトルが検索されている。フルピクセル解像度で動きベクトルを決定するために実行されたブロックマッチング過程と同様、マクロブロックは、例えばＳＡＤなど何らかの基準を用いて、８つの検索ブロックのそれぞれと比較される。比較の結果、最小ＳＡＤが得られる。

動画像中の動きの性質によっては、この最小値は、（フルピクセル解像度を有する）もともとの動きベクトルが指定する位置と一致していてもよい。あるいは、１／２ピクセル解像度の位置と一致していてもよい。こうして、動きベクトルがフルピクセル位置を指すのか、あるいはサブピクセル位置を指すのかを決定することができる。また、サブピクセル解像度が適切であれば、的確なサブピクセル解像度の動きベクトルを決定することができる。以上述べた体系は、同様の方法で他のサブピクセル解像度（例えば１／４ピクセル解像度）に拡張可能である。

参照フレームにおけるサブピクセル値の推定は、実際には周囲のピクセル値からサブピクセル値を補間することによって行われる。一般的に、非整数位置（ｘ，ｙ）＝（ｎ＋Δｘ，ｍ＋Δｙ）のサブピクセル値Ｆ（ｘ，ｙ）の補間は２次元の演算として公式化することができる。これを数学的に表すと、以下のようになる。

ここで、ｆ（ｋ，ｌ）はフィルタ係数である。また、ｎおよびｍはｘとｙとをそれぞれ切捨てて整数値にすることで求められる。フィルタ係数はｘおよびｙの値によって異なり、補間フィルタはいわゆる「分離形フィルタ」である。その場合、サブピクセル値Ｆ（ｘ，ｙ）は以下の式から求められる。

動きベクトルは、エンコーダ内で計算される。対応する動き係数が一度デコーダに伝達されると、エンコーダで行ったのと同じ方法で、必要なサブピクセルを容易に補間できる。こうして、フレームメモリ２４の参照フレームに続くフレームは、参照フレームと動きベクトルとから再構築することができる。

ビデオコーダにサブピクセル値補間を適用する最も簡単な方法は、各サブピクセル値を必要とされるたびに補間するというものである。しかし、この方法では同一のサブピクセル値が何度も必要となり、それを補間するための計算を何度も行うため、エンコーダでの計算がより複雑になる。すなわち、負荷が不必要に増大してしまう。したがって、この方法はエンコーダにおいては非効率的である。
エンコーダにかかる負荷を抑えるために、すべてのサブピクセル値をエンコーダに関係するメモリで前もって計算し格納するという代替的な方法もある。本明細書においては、この解決策を「事前」補間と称す。

事前補間は負荷を抑えるが、その一方でメモリの使用量を大幅に増やしてしまうという欠点がある。例えば、動きベクトルの精度が水平面においても垂直面においても１／４ピクセルの場合、事前に計算した完全な画像のサブピクセル値を格納すると、補間されていない原画像を格納するのに必要なメモリの１６倍のメモリを使用することになってしまう。さらに、実際にはエンコーダの動きベクトルの計算には不要なサブピクセルまで計算してしまう。また、事前に計算したサブピクセル値の大部分はデコーダでは不要なため、ビデオデコーダでの事前補間も非効率的である。したがって、デコーダにおいては事前の計算をしないほうがよい。

エンコーダでは、いわゆる「オンデマンド」補間を用いてメモリの必要量を減らすことができる。例えば、望ましいピクセル精度が１／４ピクセル解像度の場合、フレーム全体に関して１／２ピクセル解像度のサブピクセルだけを事前に補間し、メモリに格納する。１／４ピクセル解像度のサブピクセルの値は、動き予測／補償過程において、必要なときにのみ計算される。この場合、必要とされるメモリの量は、補間されていない原画像を格納するのに必要な量のわずか４倍である。

事前補間を行う場合、補間過程の計算の複雑性すなわち負荷は、エンコーダ全体にかかる負荷のごく一部でしかない。これは、各ピクセルが１度しか補間されないためである。したがって、事前サブピクセル値補間の場合には、エンコーダでの補間過程の複雑性はそれほど大きな問題ではない。一方、オンデマンド補間ではサブピクセルが何度も補間されるため、エンコーダに多大な負荷がかかる。したがって、サブピクセル値の補間のために行われなければならない計算操作や操作の周期数の点から考えると、補間過程の複雑性は重要な問題となる。
デコーダでは数回にわたって同一のサブピクセル値が用いられるが、中にはまったく必要とされない値もある。したがって、デコーダにおいては事前補間を全く行わないほうがよい。すなわち、サブピクセル値は事前に計算しないのが望ましい。

２つの補間体系は、ＩＴＵ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｔａｎｄａｒｄａｉｚａｔｉｏｎ Ｓｅｃｔｏｒ， Ｓｔｕｄｙ Ｇｒｏｕｐ １６で進められている研究の一部であるＶｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）のＱｕｅｓｔｉｏｎ６および１５として開発されている。これらの補間体系が提案されたのは、ＩＴＵ−Ｔ勧告のＨ．２６Ｌに統合するためであり、評価および更なる開発を行うべく試験モデル（ＴＭＬ）で実践されている。Ｑｕｅｓｔｉｏｎ１５に相当する試験モデルを試験モデル５（ＴＭＬ５）、Ｑｕｅｓｔｉｏｎ６に相当する試験モデルを試験モデル６（ＴＭＬ６）と称す。以下、ＴＭＬ５およびＴＭＬ６で提議された補間体系を説明する。

ＴＭＬ５で用いられるサブピクセル値補間体系の説明に関しては、ＴＭＬ５に特有のピクセル位置およびサブピクセル位置を説明する図１０（ａ）を参照する。また、図１１（ａ）を参照してＴＭＬ６で用いられるサブピクセル値補間体系を説明する。図１２（ａ）については、本発明によるサブピクセル値補間方法に関連して後述する。
これら３つの図は、各補間方法の理解を助けるとともに、各補間方法の差異を明確にするためのものである。３つの図のいずれにおいても、文字Ａは原画像ピクセル（フルピクセル解像度）を表す。より具体的には、文字Ａは動画像のフレームに相当し、画像データにおけるピクセルの位置を表している。

ピクセルＡのピクセル値は、画像ソースから現フレームＩ_ｎ（ｘ，ｙ）として受信される。あるいは、再構築されてエンコーダ１０またはデコーダ２０のフレームメモリ１７、２４に参照フレームＲ_ｎ（ｘ，ｙ）として格納される。他の文字はすべてサブピクセル位置を表し、サブピクセル位置のサブピクセルの値は補間によって得られる。
本明細書では、特定のピクセル位置およびサブピクセル位置を識別するため、一貫して以下の語を用いる。

「１ピクセル水平位置」は、原画像データの１列に並んだサブピクセルの位置である。図１０（ａ）および図１１（ａ）の同じ列に並んだサブピクセルｃおよびｅ、図１２（ａ）の同列に並んだサブピクセルｂおよびｅは、１ピクセル水平位置にある。
「１ピクセル垂直位置」は、原画像データの１行に並んだサブピクセルの位置である。図１０（ａ）および図１１（ａ）の同じ行に並んだサブピクセルｂおよびｄ、図１２（ａ）の同じ行に並んだサブピクセルｂおよびｄは、１ピクセル垂直位置にある。
この定義によると、ピクセルＡは１ピクセル水平位置および１ピクセル垂直位置にあることになる。

「１／２ピクセル水平位置」は、１／２ピクセル解像度で１列に並んだサブピクセルの位置である。図１０（ａ）および図１１（ａ）のサブピクセルｂ、ｃ、ｅはこれに分類される。また、図１２（ａ）のサブピクセルｂ、ｃ、ｆも同じである。
同様に、「１／２ピクセル垂直位置」は１／２ピクセル解像度で１行に並んだサブピクセルの位置である。図１０（ａ）および図１１（ａ）のサブピクセルｃ、ｄと、図１２（ａ）のサブピクセルｅ、ｆ、ｈとがこれにあたる。

「１／４ピクセル水平位置」は１／４ピクセル解像度で１列に並んだサブピクセルの位置である。図１０（ａ）のサブピクセルｄ、ｅ、図１１（ａ）のサブピクセルｄ、ｇ、図１２（ａ）のサブピクセルｄ、ｇ、ｈがその例である。
同様に、「１／４ピクセル垂直位置」は１／４ピクセル解像度で１行に並んだサブピクセルの位置を説明する。図１０（ａ）のサブピクセルｅ、ｆ、図１１（ａ）のｅ、ｆ、ｇ、図１２（ａ）のｅ、ｆ、ｈがこれにあたる。
前述した各語の定義は、対応する図に描かれた「包絡線」によって示される。

特定のピクセルを表すには、多くの場合２次元基準が便利であるという点にも注意する必要がある。ここでは、図１０（ａ）、図１１（ａ）および図１２（ａ）における包絡線の交点を調べることによって適切な２次元基準を得ることができる。この原理を適用すると、例えば図１０（ａ）のピクセルｄは、１／２ピクセル水平位置および１／２ピクセル垂直位置にあり、サブピクセルｅは１ピクセル水平位置および１／４ピクセル垂直位置にある。

また、基準を簡略化するために、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルと、１ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルと、１／２ピクセル水平位置および１／２ピクセル垂直位置とのサブピクセルとを、１／２解像度サブピクセルとする。１／４ピクセル水平位置および／または１／４ピクセル垂直位置のサブピクセルは、１／４解像度サブピクセルとする。

２つの試験モデルの説明および本発明の詳細な説明においては、ピクセルは最小値０および最大値２^ｎ−１を有する。ここで、ｎはピクセル値のために用意されたビットの数である。一般的なビット数は８である。サブピクセルが補間された後、その補間されたサブピクセルの値が２^ｎ−１を超える場合には、その範囲は［０，２^ｎ−１］に収められる。すなわち、最小値より小さい値は最小値（０）になり、最大値より大きい値は最大値（２^ｎ−１）になる。この操作をクリッピングと呼ぶ。

次に、図１０（ａ）乃至（ｃ）を参照して、ＴＭＬ５によるサブピクセル値補間体系を説明する。
１． １／２ピクセル水平位置および１ピクセル垂直位置のサブピクセル値、すなわち図１０（ａ）の１／２解像度サブピクセルｂは、６タップフィルタを用いて算出される。このフィルタは６つのピクセル（Ａ_１乃至Ａ_６）の値に基づいて１／２解像度サブピクセルｂを補間する。
図１０（ｂ）に示すように、これら６つのピクセル（Ａ_１乃至Ａ_６）は、１ピクセル水平位置および１ピクセル垂直位置にあり、ｂについて対称である。このサブピクセルｂの値は、ｂ＝（Ａ_１−５Ａ_２＋２０Ａ_３＋２０Ａ_４−５Ａ_５＋Ａ_６＋１６）／３２から求められる。演算子／は切捨てを伴う除算を表す。この演算の結果はクリッピングされ、［０，２^ｎ−１］の範囲内に収められる。

２． １／２解像度サブピクセルｃは、段階１で用いたのと同じ６タップフィルタと、垂直方向の６つの近接したピクセルまたはサブピクセル（Ａまたはｂ）とを用いて算出される。図１０（ｃ）を参照すると、フィルタは６つのピクセル（Ａ_１乃至Ａ_６）の値に基づいて、１ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルｃの値を補間する。これら６つのピクセルは、１ピクセル水平位置および１ピクセル垂直位置にあり、ｃについて対称である。このサブピクセルｃの値は、ｃ＝（Ａ_１−５Ａ_２＋２０Ａ_３＋２０Ａ_４−５Ａ_５＋Ａ_６＋１６）／３２から求められる。

同様に、１／２ピクセル水平位置および１／２ピクセル垂直位置における１／２解像度サブピクセルｃの値は、ｃ＝（ｂ_１−５ｂ_２＋２０ｂ_３＋２０ｂ_４−５ｂ_５＋ｂ_６＋１６）／３２から求められる。ここでも、演算子／は切捨てを伴う除算を表す。こうした演算によって得られたサブピクセルｃの値はさらにクリッピングされ、［０，２^ｎ−１］の範囲内に収められる。
補間過程のこの時点で、すべての１／２解像度サブピクセルの値が算出される。過程はさらに、１／４解像度サブピクセル値の算出へと進行する。

３． １／４解像度サブピクセルｄの値は、線形補間と、水平方向の隣接するピクセルの値および／または１／２解像度サブピクセルとを用いて算出される。より詳細には、１／４ピクセル水平位置および１ピクセル垂直位置での１／４解像度サブピクセルｄの値は、隣接する１ピクセル水平位置および１ピクセル垂直位置のピクセル（ピクセルＡ）と、１／２ピクセル水平位置および１ピクセル垂直位置の１／２解像度サブピクセル（サブピクセルｂ）との平均をとることによって算出される。すなわち、ｄ＝（Ａ＋ｂ）／２から求めることができる。

１／４ピクセル水平位置および１／２ピクセル垂直位置の１／４解像度サブピクセルｄの値は、隣接する１ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルｃと、１／２ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルｃとの平均をとることによって算出される。すなわち、ｄ＝（ｃ_１＋ｃ_２）／２から求められる。演算子／はやはり切捨てを伴う除算を表す。

４． １／４解像度サブピクセルｅの値は、線形補間と、垂直方向の隣接するピクセルおよび／または１／２解像度サブピクセルとを用いて算出される。特に、１ピクセル水平位置および１／４ピクセル垂直位置の１／４解像度サブピクセルｅは、隣接する１ピクセル水平位置および１ピクセル垂直位置のピクセル（ピクセルＡ）と、１ピクセル水平位置および１／２ピクセル垂直位置のサブピクセル（サブピクセルｃ）との平均をとることによって算出される。すなわち、ｅ＝（Ａ＋ｃ）／２から求められる。

１／２ピクセル水平位置および１／４ピクセル垂直位置の１／４解像度サブピクセルｅ_３は、隣接する１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセル（サブピクセルｂ）と、１／２ピクセル水平位置および１／２ピクセル垂直位置のサブピクセル（サブピクセルｃ）との平均をとることによって算出される。すなわち、ｅ＝（ｂ＋ｃ）／２から求められる。

さらに、１／４ピクセル水平位置および１／４ピクセル垂直位置のサブピクセルｅは、隣接する１／４ピクセル水平位置および１ピクセル垂直位置のサブピクセル（サブピクセルｄ）と、１／４ピクセル水平位置および１／２ピクセル垂直位置のサブピクセル（サブピクセルｄ）との平均をとることによって算出される。すなわち、ｅ＝（ｄ_１＋ｄ_２）／２から求められる。ここでもやはり、演算子／は切捨てを伴う除算を表す。

５． １／４解像度サブピクセルｆの値は、隣接する１ピクセル水平位置および１ピクセル垂直位置の４つのピクセルの値の平均をとることによって求められる。すなわち、ｆ＝（Ａ_１＋Ａ_２＋Ａ_３＋Ａ_４＋２）／４から求めることができる。ここでは、ピクセルＡ_１、Ａ_２、Ａ_３、Ａ_４は４つの隣接した原ピクセルである。

ＴＭＬ５には、デコーダが演算処理的に複雑であるという欠点がある。これは、ＴＭＬ５が用いる１／４解像度サブピクセル値の補間方法が１／２解像度サブピクセル値の補間に依存していることに起因する。つまり、１／４解像度ピクセルの値は１／２解像度サブピクセルの値から求められるので、１／４解像度ピクセルの値を補間するためには、１／２解像度サブピクセルの値を先に計算しなければならないのである。

さらに、１／４解像度サブピクセルのうちいくつかの値は、別の１／４解像度サブピクセルの補間された値に依存することから、１／４解像度サブピクセル値の切捨ては、いくつかの１／４解像度サブピクセル値の精度に悪影響を及ぼす。つまり、この１／４解像度サブピクセル値は、切捨ておよびクリッピングされなかった値から計算される場合に比べて不正確である。
ＴＭＬ５のもう１つの欠点は、１／４解像度サブピクセル値を補間するためには１／２解像度サブピクセルを格納しなければならないという点である。したがって、最終的に不要な結果を格納するための超過メモリが必要となる。

本明細書においては、ＴＭＬ６によるサブピクセル値補間体系を直接補間と称す。次にこれを説明する。エンコーダにおいて、ＴＭＬ６による補間方法は前述したＴＭＬ５の補間方法と同様のはたらきをする。ただし、全体にわたって最高精度が保たれるという点は異なっている。最高精度を達成するために、切上げもクリッピングもされていない補間値を用いる。図１１（ａ）乃至（ｃ）を参照して、エンコーダに適用されるＴＭＬ６による補間方法を、段階を追って説明する。

１． １／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値、すなわち図１１（ａ）の１／２解像度サブピクセルｂの値は、初めに６タップフィルタを用いて中間値ｂ′を計算することによって得られる。フィルタは６つのピクセル（Ａ_１乃至Ａ_６）の値に基づいて中間値ｂ′を算出する。これら６つのピクセルは１ピクセル水平位置および１ピクセル垂直位置に並んでおり、サブピクセルｂについて対称である。これを図１１（ｂ）に示す。中間値ｂ′は、ｂ′＝（Ａ_１−５Ａ_２＋２０Ａ_３＋２０Ａ_４−５Ａ_５＋Ａ_６）から得られる。サブピクセルｂの最終的な値は、ｂ＝（ｂ′＋１６）／３２から求められ、［０，２^ｎ−１］の範囲内に収められる。前述したように、演算子／は切捨てを伴う除算を表す。

２． １／２解像度サブピクセルｃの値は、初めに中間値ｃ′を計算することによって得られる。
図１１（ｃ）を参照すると、１ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルｃの中間値ｃ′は、１ピクセル水平位置および１ピクセル垂直位置で１列に並んだ、サブピクセルｃについて対称な６つのピクセル（Ａ_１乃至Ａ_６）の値に基づいて計算される。中間値ｃ′は、ｃ′＝（Ａ_１−５Ａ_２＋２０Ａ_３＋２０Ａ_４−５Ａ_５＋Ａ_６）から求められる。１ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルｃの値は、ｃ＝（ｃ′＋１６）／３２から求められる。

同様に、１／２ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルの中間値ｃ′は、ｃ′＝（ｂ_１−５ｂ_２＋２０ｂ_３＋２０ｂ_４−５ｂ_５＋ｂ_６）から求められる。また、この１／２解像度サブピクセルｃの最終的な値は、（ｃ′＋５１２）／１０２４から求められる。ここでも演算子／は切捨てを伴う除算を表し、１／２解像度サブピクセルｃの値はさらにクリッピングされて、［０，２^ｎ−１］の範囲内に収められる。

３． １／４解像度サブピクセルｄの値は以下のように計算される。
１／４ピクセル水平位置および１ピクセル垂直位置の１／４解像度サブピクセルｄの値は、隣接する１ピクセル水平位置および１ピクセル垂直位置のピクセル（ピクセルＡ）の値と、段階（１）で算出された１／２ピクセル水平位置および１ピクセル垂直位置の１／２解像度サブピクセル（サブピクセルｂ）の中間値ｂ′とから、ｄ＝（３２Ａ＋ｂ′＋３２）／６４にしたがって算出される。

１／４ピクセル水平位置および１／２ピクセル垂直位置の１／４解像度サブピクセルｄの値は、隣接する１／２解像度サブピクセルｃの中間値ｃ′を用いて補間される。１／２解像度サブピクセルｃは、１ピクセル水平位置および１／２ピクセル垂直位置と、１／２ピクセル水平位置および１／２ピクセル垂直位置とにあり、ｄ＝（３２ｃ_１′＋ｃ_２＋１０２４）／２０４８から求められる。ここでも演算子／は切捨てを伴う除算を表す。最終的に得られた１／４解像度サブピクセル値ｄはクリッピングされ、［０，２^ｎ−１］の範囲内に収められる。

４． １／４解像度サブピクセルｅの値は次のように算出される。
１ピクセル水平位置および１／４ピクセル垂直位置の１／４解像度サブピクセルｅは、隣接する１ピクセル水平位置および１ピクセル垂直位置のピクセル（ピクセルＡ）の値と、段階（２）で算出された１ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルｃの中間値ｃ′とから、ｅ＝（３２Ａ＋ｃ′＋３２）／６４にしたがって求められる。

１／２ピクセル水平位置および１／４ピクセル垂直位置の１／４解像度サブピクセルｅは、段階（１）で算出された隣接する１／２ピクセル水平位置および１ピクセル垂直位置の１／２解像度サブピクセルｂの中間値ｂ′と、段階（２）で算出された１／２ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルｃの中間値ｃ′とから、ｅ＝（３２ｂ′＋ｃ′＋１０２４）／２０４８にしたがって求められる。
ここでも演算子／は切捨てを伴う除算を表す。最終的に得られた１／４解像度サブピクセル値ｅはクリッピングされ、［０，２^ｎ−１］の範囲内に収められる。

５． １／４解像度サブピクセルｇの値は、原ピクセルＡと、隣接する３つの１／２解像度サブピクセルの中間値とから、ｇ＝（１０２４Ａ＋３２ｂ′＋３２ｃ_１′＋ｃ_２′＋２０４８）／４０９６にしたがって求められる。前述したように、演算子／は切捨てを伴う除算を表す。最終的に得られた１／４解像度サブピクセル値ｇはクリッピングされ、［０，２^ｎ−１］の範囲内に収められる。

６． １／４解像度サブピクセルｆの値は、１ピクセル水平位置および１ピクセル垂直位置の４つの隣接するピクセルの平均値をとることによって補間される。サブピクセルｆの値は、ｆ＝（Ａ_１＋Ａ_２＋Ａ_３＋Ａ_４＋２）／４から求められる。ピクセルＡ_１乃至Ａ_４は、４つの隣接する原ピクセルである。

デコーダにおいては、サブピクセル値は、６タップフィルタを水平方向および垂直方向に適用することによって直接得られる。１／４サブピクセル解像度の場合、１ピクセル垂直位置でピクセルおよびサブピクセルに適用されるフィルタ係数は、６つのピクセルＡでは［０，０，６４，０，０，０］、６つのサブピクセルｄでは［１，−５，５２，２０，−５，１］、６つのサブピクセルｂでは［２，−１０，４０，４０，−１０，２］、６つのサブピクセルｄでは［１，−５，２０，５２，−５，１］である（図１１（ａ）を参照）。
これらのフィルタ係数は、サブピクセル値の補間の際に、同列中の各ピクセルあるいはサブピクセルに適用される。

水平方向および垂直方向にフィルタを適用した後、補間された値ｃ′は、ｃ＝（ｃ′＋２０４８）／４０９６にしたがって標準化され、クリッピングされて［０，２^ｎ−１］の範囲内に収まる。動きベクトルが水平方向または垂直方向のどちらかで整数ピクセル位置を指す場合には、多くのゼロ係数が用いられる。ＴＭＬ６の実施においては、異なるサブピクセルケースに最適化されたソフトウェアでは異なるブランチが用いられる。これによって、ゼロ係数による乗算をなくす。

ＴＭＬ６においては、１／４解像度サブピクセル値は前述の中間値を用いて直接求められる。切上げやクリッピングされた１／２解像度サブピクセルの値から求められることはない。したがって、１／４解像度サブピクセル値を得るために１／２解像度サブピクセルの値を算出する必要はない。具体的には、１／２解像度サブピクセルの最終的な値を計算する際に、切捨てやクリッピングを行う必要はない。また、１／４解像度サブピクセル値を計算するために１／２解像度サブピクセル値を格納しておく必要もない。

このように、ＴＭＬ６はＴＭＬ５よりも演算処理的に単純である。ＴＭＬ６では必要とされる切捨て操作やクリッピング操作が少ないためである。しかし、ＴＭＬ６の欠点は、エンコーダにおいてもデコーダにおいても正確性の高い計算が要求されるという点である。高精度の補間を行うためには、ＡＳＩＣ内のシリコンの領域を増やすとともに、ＣＰＵの演算処理性能を高めなければならない。さらに、ＴＭＬ６の定める直接補間をオンデマンド方式で実施するには大容量のメモリが要求される。これは、内蔵型の装置においては特に重要な要素である。

以上に鑑みると、サブピクセル補間に関するビデオエンコーダの要件と画像デコーダの要件とは異なっている。これが、エンコーダとデコーダの両方において満足のいく性能を提供できるサブピクセル値補間方法の開発において重大な問題となっている。さらに、前述した現在の試験モデル（ＴＭＬ５、ＴＭＬ６）のいずれも、エンコーダとデコーダの両方のアプリケーションにとって最適な解決策を提供することができない。

本発明の第１の態様によると、ビデオ符号化における補間の方法が提供される。この方法において、画像は、縦横に配列され所定のダイナミックレンジを有する値によって表示されるピクセルを含む。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にあり、補間されて、端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。端数ピクセル水平位置および端数ピクセル垂直位置は１／２^ｘにしたがって区画される。ｘは最大値Ｎを有する正の整数である。

この方法は、次の３つの段階を含む。
ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置の値とが必要なとき、これらの値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間する段階。

ｂ）１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値が必要なとき、これらの値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセル値の第１加重合計と、１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの値の第２加重合計とのうち選択した１つを用いて直接補間する段階。サブピクセル値の第１加重合計および第２加重合計は段階（ａ）にしたがって求められる。

ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値が必要なとき、これらの値を、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルまたはピクセルの値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルまたはピクセルの値との加重平均をとることによって補間する段階。変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内の整数値をとる。第１および第２サブピクセルまたはピクセルは、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルに対して対角線上に位置する。

第１加重および第２加重は、段階ｃ）の加重平均において用いるのが好ましい。加重の相対的な規模は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の第１および第２サブピクセルまたはピクセルの（直線的な対角線上の）近接性に反比例する。
第１および第２サブピクセルまたはピクセルは、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルについて（等距離で）対称的に位置する。第１加重および第２加重は等しい値を有してもよい。

段階ｂ）の１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値の第１加重合計は、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルが必要なときに用いられてもよい。
段階ｂ）の１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値の第２加重合計は、１／２^Ｎピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルが必要なときに用いられてもよい。

ある実施例においては、１／２^Ｎピクセル水平位置および１ピクセル垂直位置のサブピクセルと、１／２^Ｎピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルとの値が必要とされる場合、これらの値は、計算されているサブピクセルの水平位置に対応した水平位置および１ピクセル水平位置の第１ピクセルまたはサブピクセルと、計算されているサブピクセルの垂直位置に対応した垂直位置および１／２^Ｎ−１ピクセル水平位置の第２ピクセルまたはサブピクセルとの値の平均をとることによって補間される。

１ピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値とが必要とされる場合、これらの値は、計算されているサブピクセルの水平位置に対応した水平位置および１ピクセル垂直位置の第１ピクセルまたはサブピクセルと、計算されているサブピクセルの水平位置に対応した水平位置および１／２^Ｎ−１ピクセル垂直位置の第２ピクセルまたはサブピクセルとの値の平均をとることによって補間される。

１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値は、１ピクセル水平位置および１ピクセル垂直位置のピクセルの値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値との平均をとることによって補間される。
１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値は、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値との平均をとることによって補間される。

１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのうち半数の値は、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とから成る第１組の平均をとることによって補間される。１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の残る半数のサブピクセルの値は、１ピクセル水平位置および１ピクセル垂直位置のピクセルの値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とから成る第２組の平均をとることによって補間される。

１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値は、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とから成る第１組の平均をとることによって、また、隣接するサブピクセルの値は、１ピクセル水平位置および１ピクセル垂直位置のピクセルの値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置から成る第２組の平均をとることによって、交互に補間される。

１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルは、水平方向に交互に補間されてもよい。
１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルは、水平方向に交互に補間されてもよい。
１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値が必要とされる場合には、これらの値は、最も近い複数のピクセルの平均をとることによって交互に補間されてもよい。

加重合計を直接用いてサブピクセル値を補間する段階ａ）およびｂ）のうち少なくとも１つは、所定のダイナミックレンジよりも広いダイナミックレンジを有するサブピクセル値の中間値の計算を行ってもよい。
１／２^Ｎ−１サブピクセル解像度を有するサブピクセルの中間値は、１／２^Ｎサブピクセル解像度を有するサブピクセル値の計算に用いられてもよい。

本発明の第２の態様によると、ビデオ符号化における補間の方法が提供される。このビデオ符号化方法において、画像は、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを備える。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にあり、補間されて、端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生する。この方法は、３つの段階を備える。

ａ）１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルの値とが必要なとき、これらの値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間する段階。
ｂ）１／２ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルの値が必要なとき、これらの値を、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値を用いて、段階ａ）に従って直接補間する段階。
ｃ）１／４ピクセル水平位置および１／４ピクセル垂直位置のサブピクセルの値が必要なとき、これらの値を、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルの値とから成る第１組と、１ピクセル水平位置および１ピクセル垂直位置のピクセルの値と、１／２ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルの値とから成る第２組とのうち少なくとも１組の平均をとることによって補間する段階。

本発明の第３の態様によると、ビデオ符号化の補間の方法が提供される。この補間方法において、画像は、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを備える。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にあり、補間されて端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生する。端数ピクセル水平位置および垂直位置は、１／２^ｘに従って区画される。ｘは、最大値Ｎを有する整数である。この方法は、２つの段階を備える。

ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とが必要なとき、これらの値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間する段階。
ｂ）サブピクセル水平位置およびサブピクセル垂直位置のサブピクセルの値が必要なとき、これらの値を、計算されるサブピクセルの垂直位置に対応した垂直位置のサブピクセルの値の第１加重合計と、計算されるサブピクセルの水平位置に対応した水平位置のサブピクセルの値の第２加重合計との選択を用いて直接補間する段階。

第１加重合計で用いられるサブピクセルは、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルであってもよい。また、第１加重合計は、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値を補間するために用いられてもよい。
第２加重合計で用いられるサブピクセルは、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルであってもよい。また、第２加重合計は、１／２^Ｎピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値を補間するために用いられてもよい。

１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値が必要なとき、これらの値は、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とから成る第１組と、１ピクセル水平位置および１ピクセル垂直位置のピクセルの値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの値とから成る第２組とのうち、少なくとも１組の平均をとることによって補間される。
前述の説明において、Ｎは２，３，４の値から成るリストから選択した整数に等しくてもよい。

１／４ピクセル水平位置のサブピクセルは、左隣に１ピクセル水平位置のピクセルを、右隣に１／２ピクセル水平位置のサブピクセルを有するサブピクセルと、左隣に１／２ピクセル水平位置のサブピクセルを、右隣に１ピクセル水平位置のピクセルを有するサブピクセルとして解釈される。これに対して、１／４ピクセル垂直位置のサブピクセルは、上隣に１ピクセル垂直位置のピクセルを、下隣に１／２ピクセル垂直位置のサブピクセルを有するサブピクセルと、上隣に１／２ピクセル垂直位置のサブピクセルを、下隣に１ピクセル垂直位置のピクセルを有するサブピクセルとして解釈される。
ダイナミックレンジという用語は、サブピクセル値および加重合計がとることのできる値の範囲を表す。
拡張または縮小によってダイナミックレンジを好適に変更することは、ダイナミックレンジを表すのに用いられるビットの数を変更することに等しい。

本発明の実施例においては、この補間方法は、多数の画像ブロックに分割された画像に適用される。好ましくは、各画像ブロックは４つの角を有し、各角は１ピクセル水平位置および１ピクセル垂直位置に配置されたピクセルによって区画される。また、好ましくは、この補間方法は、ブロックがサブピクセル値補間に利用可能になる場合、各画像ブロックに適用される。代替的には、本発明の方法によるサブピクセル値補間は、画像中のすべての画像ブロックがサブピクセル値補間に利用できるようになると行われる。
この方法は、ビデオ符号化において用いられるのが好ましい。また、この方法は、ビデオ復号化において用いられるのが好ましい。

本発明のある実施例においては、この方法が符号化において用いられる場合には、事前補間として実施される。すると、１／２ピクセル位置のすべてのサブピクセルの値と、１／４ピクセル位置のすべてのサブピクセルの値とが計算され、動き予測符号化の最中に、予測フレームの決定に用いられる前に格納される。
代替的な実施例においては、この方法は事前補間およびオンデマンド補間の組み合わせとして実行される。その場合、一定の比率あるいは種類のサブピクセル値が計算され、予測フレームの決定に用いられる前に格納される。また、別の一定のサブピクセル値は、動き予測符号化中に必要とされる場合にのみ計算される。
この方法が復号化に用いられる場合には、サブピクセルは、動きベクトルがその必要を表示する場合にのみ補間されるのが望ましい。

本発明の第４の態様によると、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを備えた画像を符号化するための動画像コーダが提供される。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にある。補間器を備えたビデオコーダが用いられ、端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。端数ピクセル水平位置および端数ピクセル垂直位置は、１／２^ｘに従って区画される。ここで、ｘは最大値Ｎを有する正の整数である。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間し、ｂ）１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値の第１加重合計と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値の第２加重合計とのうち選択した一つを用いて直接補間し、第１および第２加重合計は段階ａ）に従って計算し、ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルまたはピクセルの値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルまたはピクセルの値との加重平均をとることにより補間し、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内で整数値をとり、第１および第２サブピクセルまたはピクセルは１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルに対して対角線上に位置するように構成される。
このビデオコーダは、ビデオエンコーダを備えていてもよい。また、ビデオデコーダを備えていてもよい。ビデオエンコーダおよびビデオデコーダの両方を備えるコーデックがあってもよい。

本発明の第５の態様によると、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを含む画像を符号化するためのビデオコーダを含んだ通信端末が提供される。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にある。ビデオコーダは補間器を備え、端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。端数ピクセル水平位置および端数ピクセル垂直位置は、１／２^ｘに従って区画される。ｘは最大値Ｎを有する正の整数である。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて補間し、ｂ）１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値の第１加重合計と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値の第２加重合計とのうち選択した１つを用いて直接補間し、第１および第２加重合計の値は段階ａ）に従って計算され、ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の値を、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルまたはピクセルの値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルまたはピクセルの値との加重平均をとることによって補間し、変数ｍ、ｎ、ｐおよびｑは、１乃至Ｎの範囲内で整数値をとり、第１および第２サブピクセルまたはピクセルは、１／２^Ｎピクセル水平位置および１／２^Ｎ垂直位置のサブピクセルに対して対角線上に配置されるよう構成される。

この通信端末は、ビデオエンコーダを備えてもよい。また、ビデオデコーダを備えてもよい。ビデオエンコーダおよびビデオデコーダを備えるビデオコーデックを備えるのが好ましい。
通信端末は、ユーザインターフェースと、プロセッサと、送信ブロックおよび受信ブロックのうち少なくとも１つと、本発明の第３および第４の態様のうち少なくとも１つによるビデオコーダとを備えるのが好ましい。プロセッサは、送信ブロックおよび／または受信ブロックとビデオコーダとの動作を制御するのが望ましい。

本発明の第６の態様によると、通信端末とネットワークとを備えた遠隔通信システムが提供される。通信端末は通信リンクによって接続され、この通信リンクを介して符号化された動画像が送信される。通信端末はビデオコーダを備える。ビデオコーダは、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを備えた画像を符号化する。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にある。ビデオコーダは補間器を備え、補間器は端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。端数ピクセル水平位置および端数ピクセル垂直位置は、１／２^ｘに従って区画される。ｘは最大値Ｎを有する正の整数である。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間し、ｂ）１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値の第１加重合計と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値の第２加重合計とのうち選択した１つを用いて直接補間し、第１および第２加重合計の値は、段階ａ）に従って計算され、ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルまたはピクセルの値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルまたはピクセルの値との加重合計をとることによって補間し、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内で整数値をとり、第１および第２サブピクセルまたはピクセルは、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルに対して対角線上に配置されるよう構成される。

通信システムは、移動体通信端末と無線ネットワークを備えた移動体通信システムであるのが好ましい。移動体通信端末と無線ネットワークとの間の接続は、無線リンクによって形成される。ネットワークは、通信端末が他の通信端末とネットワークとの間の通信リンクを介してネットワークに接続されたほかの通信端末と通信を行うことを可能にするのが好ましい。

本発明の第７の態様によると、通信端末とネットワークとを備えた遠隔通信システムが提供される。遠隔通信ネットワークと通信端末とは通信リンクによって接続される。この通信リンクを介して符号化された動画像が送信される。ネットワークはビデオコーダを備え、このビデオコーダが、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを備えた画像を符号化する。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置に配置される。ビデオコーダは補間器を備え、補間器は端数ピクセル水平位置および端数ピクセル垂直位置でサブピクセルの値を発生させる。端数ピクセル水平位置および端数ピクセル垂直位置は、１／２^Ｘに従って区画される。ｘは最大値Ｎを有する正の整数である。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間し、ｂ）１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値の第１加重合計と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値の第２加重合計とを用いて直接補間し、第１および第２加重合計の値は、段階ａ）に従って計算し、ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルまたはピクセルの値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルまたはピクセルの値との加重平均をとることによって補間し、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内で整数値をとり、第１および第２サブピクセルまたはピクセルは、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルに対して対角線上に設置されるよう構成される。

本発明の第８の態様によると、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを備えた画像を符号化するためのビデオコーダが提供される。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にある。コーダは補間器を備え、補間器は端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。サブピクセルの解像度は正の整数Ｎによって決定される。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間し、ｂ）サブピクセル水平位置およびサブピクセル垂直位置のサブピクセルの値が必要なとき、この値を、計算されているサブピクセルの垂直位置に対応した垂直位置のサブピクセルの値の第１加重合計と、計算されているサブピクセルの水平位置に対応した水平位置のサブピクセルの値の第２加重合計とのうち選択された１つを用いて直接補間するよう構成される。

補間器はさらに、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値を用いて第１加重合計を形成してもよい。また、第１加重合計を用いて、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値を補間してもよい。
また、補間器は、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値を用いて第１加重合計を形成してもよい。また、第２加重合計を用いて１／２^Ｎピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値を補間してもよい。
補間器は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルの値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とから成る第１組と、１ピクセル水平位置および１ピクセル垂直位置のピクセルの値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とから成る第２組のうち少なくとも１組の平均をとることによって補間してもよい。

本発明の第９の態様によると、画像を符号化するためのビデオコーダを備えた通信端末が提供される。画像は、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを備える。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置に配置される。コーダは補間器を備え、補間器は端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。サブピクセルの解像度は、正の整数Ｎによって決定される。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間し、ｂ）サブピクセル水平位置およびサブピクセル垂直位置のサブピクセルの値が必要なとき、これらの値を、計算されているサブピクセルの垂直位置に対応した垂直位置のサブピクセルの値の第１加重合計と、計算されているサブピクセルの水平位置に対応した水平位置のサブピクセルの第２加重合計とのうち選択した１つを用いて直接補間するよう構成される。

本発明の第１０の態様によると、通信端末とネットワークとを備える遠隔通信システムが提供される。遠隔通信ネットワークと通信端末とは、通信リンクによって接続される。符号化された動画像は、通信リンクを介して送信される。通信端末はビデオコーダを備え、ビデオコーダは、縦横に配置され所定のダイナミックレンジを有する値によって表されるピクセルを含む画像を符号化する。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置にある。コーダは補間器を備え、補間器は端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。サブピクセルの解像度は、正の整数Ｎによって決定される。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間し、ｂ）サブピクセル水平位置およびサブピクセル垂直位置のサブピクセルの値が必要なとき、これらの値を、計算されているサブピクセルの垂直位置に対応した垂直位置のサブピクセルの値の第１加重合計と、計算されているサブピクセルの水平位置に対応した水平位置のサブピクセルの値の第２加重合計とのうち選択した１つを用いて直接補間するよう構成される。

本発明の第１１の態様によると、通信端末とネットワークとを備えた遠隔通信システムが提供される。遠隔通信ネットワークと通信端末とは通信リンクによって接続され、符号化された動画像はこの通信リンクを介して送信される。ネットワークはビデオコーダを備え、縦横に配列され所定のダイナミックレンジを有する値によって表されるピクセルを備える。これらのピクセルのうち、行状に並んだピクセルは１ピクセル水平位置に、列状に並んだピクセルは１ピクセル垂直位置に配置される。コーダは補間器を備え、端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルの値を発生させる。サブピクセルの解像度は正の整数Ｎによって決定される。

補間器は、ａ）１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値と、１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの値とを、１ピクセル水平位置および１ピクセル垂直位置のピクセルの加重合計を用いて直接補間し、ｂ）サブピクセル水平位置およびサブピクセル垂直位置のサブピクセルの値が必要なとき、この値を、計算されているサブピクセルの垂直位置に対応した垂直位置のサブピクセルの値の第１加重合計と、計算されているサブピクセルの水平位置に対応した水平位置のサブピクセルの値の第２加重合計とのうち選択した１つを用いて直接補間するよう構成される。

図６に、本発明によるビデオ符号化および復号化装置を備えた端末機を示す。より正確には、図６に示すのはＩＴＵ−Ｔ勧告のＨ．３２４によるマルチメディア端末６０である。この端末はマルチメディア送受信機であると考えてよい。
端末６０は、通信ネットワークを介して送信されるマルチメディアデータストリームをキャプチャし、符号化し、多重化する素子を含む。また、受信したマルチメディアコンテンツを逆多重化し、復号化し、表示する素子も含む。ＩＴＵ−Ｔ勧告のＨ．３２４は端末の全体的な動作を定義するとともに、さまざまな構成部品を制御するほかの勧告を参照する。

この種のマルチメディア端末は、対話式テレビ電話などのリアルタイムアプリケーションに用いることができるほか、非リアルタイムアプリケーションにも利用することができる。インターネット上のマルチメディアコンテンツサーバが配信するビデオクリップの検索／ストリーミングがその例である。
図６のＨ．３２４端末は、本発明の方法によるアプリケーションに適した多数のマルチメディア端末のひとつに過ぎない。また、端末装置の位置および実装についても多数の選択肢が存在する。

図６に示すように、マルチメディア端末は、アナログＰＳＴＮなどの固定回線電話網に接続された通信装置の内部にあってもよい。その場合、マルチメディア端末はモデム７１を装備する。モデム７１は、ＩＴＵ−Ｔ勧告のＶ．８、Ｖ．３４およびＶ．８ｂｉｓに準拠している。
また、このマルチメディア端末は外部モデムに接続してもよい。モデムは、マルチメディア端末が形成した多重化デジタルデータおよび制御信号を、ＰＳＴＮを介した伝送に適したアナログ形式に変換する。また、マルチメディア端末がＰＳＴＮから受信したアナログ形式のデータおよび制御信号をデジタルデータストリームに変換する。このデジタルデータストリームは多重化され、端末によって適切な方法で処理される。

Ｈ．３２４マルチメディア端末は、ＩＳＤＮなどのデジタル固定回線網に直接接続できるような方法で実装されてもよい。その場合、モデム７１はＩＳＤＮユーザネットワークインターフェースに置き換えられる。図６には、ＩＳＤＮユーザネットワークインターフェースの代わりにブロック７２を示す。
Ｈ．３２４マルチメディア端末は、移動体通信アプリケーションに適用されてもよい。無線通信リンクで使用される場合には、モデム７１は任意の適切な無線インターフェースと置き換えることができる。例えば、図６では代替ブロック７３がこれにあたる。Ｈ．３２４／Ｍマルチメディア端末は、ＧＳＭ方式の第２世代携帯電話ネットワークに接続する無線送受信機を含んでいてもよい。あるいは、ＵＭＴＳ方式の第３世代携帯電話ネットワークへの接続が可能な無線送受信機を含んでいてもよい。

双方向通信、すなわち画像データの送受信が可能なように設計されたマルチメディア端末においては、本発明によるビデオエンコーダおよびビデオデコーダの両方を提供すると都合がよい。このような１対のエンコーダおよびデコーダはしばしば「コーデック」と称される単一の結合機能装置として実装される。

本発明によるビデオエンコーダは、特定の補間体系と、事前サブピクセル値補間およびオンデマンドサブピクセル値補間の特定の組み合わせとを用いて、サブピクセル解像度への動き補償ビデオ符号化を行う。したがって、受信端末の画像デコーダは、一般的に、圧縮ビデオデータストリームを形成した送信端末のエンコーダと互換性を持つように実装されなければならない。互換性がないと、動き補償の質や再構築された画像フレームの正確性に悪影響を及ぼしてしまう。

図６を参照して、典型的なＨ．３２４マルチメディア端末をさらに詳細に説明する。
マルチメディア端末６０は、「端末装置」と称されるさまざまな素子を含む。ビデオ装置６１、オーディオ装置６２、テレマティクス装置６３などがこれにあたる。
ビデオ装置６１は、例えば動画像をキャプチャするためのビデオカメラ、受信したビデオコンテンツを表示するためのモニタ、任意のビデオ処理装置などを含んでいてもよい。オーディオ装置６２は、発話メッセージをキャプチャするためのマイクロホン、受信したオーディオコンテンツを再形成するためのラウドスピーカ、追加的なオーディオ処理装置を含んでいてもよい。また、テレマティクス装置６３は、データ端末、キーボード、電子ホワイトボード、あるいはファクス機器などの静止画像受信機を含んでいてもよい。

ビデオ装置６１はビデオコーデック６５と結合している。ビデオコーデック６５は、本発明によるビデオエンコーダおよび対応するビデオデコーダを備える。このエンコーダおよびデコーダについては後述する。
ビデオコーデック６５は、キャプチャしたビデオデータを適切な形式で符号化し、通信リンクを介してさらに送信する。また、圧縮されたビデオコンテンツを通信ネットワークから受信し、復号化する。図６に示す例においては、ビデオコーデックは適切な変更を加えられ、ＩＴＵ−Ｔ勧告のＨ．２６３にしたがって実装される。そして、エンコーダおよびデコーダの両方で、本発明によるサブピクセル補間方法を実施する。

同様に、端末のオーディオ装置はオーディオコーデックと結合される。このオーディオコーデック６６を図６に示す。ビデオコーデックと同様、オーディオコーデックもエンコーダおよびデコーダを備える。エンコーダおよびデコーダは、端末のオーディオ装置がキャプチャしたオーディオデータを適切な形式に変換し、通信リンクを介して送信するとともに、符号化されたオーディオデータをネットワークから受信し、ラウドスピーカなどでの再生に適した形式に変換する。オーディオコーデックの出力は遅延ブロック６７に渡される。これによって画像の符号化過程で生じた遅延を補償し、オーディオコンテンツとビデオコンテンツとを同期化する。

マルチメディア端末のシステム制御ブロック６４は、適切な制御プロトコルを用いてエンドツーネットワーク信号を制御し（信号ブロック６８）、送信端末と受信端末との間にコモンモードを確立する。信号ブロック６８は、送信端末および受信端末の符号化機能および復号化機能についての情報を交換する。また、ビデオエンコーダのさまざまな符号化モードをイネーブルにするのに用いられる。

さらに、システム制御ブロック６４は、データ符号化の使用も制御する。データ送信に用いられる符号化のタイプに関する情報は、符号化ブロック６９からマルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＭＵＸ装置）７０へ渡される。
マルチメディア端末からのデータの送信中に、ＭＵＸ／ＤＭＵＸ装置７０は、符号化および同期化されたビデオストリームおよびオーディオストリームと、テレマティクス装置６３から入力されたデータおよび制御データとを結合し、１つのビットストリームを形成する。

このビットストリームには、符号化ブロック６９が提供するデータ符号化のタイプに関する情報が（もし存在するならば）適用される。この情報は、符号化モードの選択に用いられる。これに対し、多重化および符号化されたマルチメディアビットストリームを受信すると、ＭＵＸ／ＤＭＵＸ装置７０はこのビットストリームを復号化し、構成マルチメディアコンポーネントに分割し、適切なコーデックおよび／または端末装置へと渡す。これにより復号化および再形成が行われる。

本発明によるマルチメディア端末、ビデオエンコーダ、ビデオデコーダおよびビデオコーデックの機能的素子は、ソフトウェアまたは専用ハードウェアとして、あるいは両者の組み合わせとして実装することができる。本発明によるビデオ符号化方法および復号化方法は、コンピュータが解読可能な指示を含むコンピュータプログラムの形で実装されて、本発明の機能的段階を実行するのに特に適している。したがって、本発明によるエンコーダおよびデコーダは、記憶媒体に格納され、パーソナルデスクトップコンピュータなどのコンピュータで実行されるソフトウェアコードとして実装されたうえで、このコンピュータにビデオ符号化および／または復号化機能を提供してもよい。

マルチメディア端末６０が移動体端末である場合、すなわちマルチメディア端末６０が無線送受信機７３を備えている場合には、追加的な素子を含んでもよい。これは、当業者であれば容易に理解できる。ある実施例においては、マルチメディア端末６０はディスプレイおよびキーボードを有するユーザインターフェースを備える。ユーザは、ユーザインターフェースとマイクロプロセッサなどのＣＰＵを含む必須の機能的ブロックとによって、マルチメディア端末６０を操作することができる。ＣＰＵは、例えばマルチメディア端末、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、デジタルカメラなどのさまざまな機能を担う各ブロックを制御する。

マイクロプロセッサの操作命令、すなわちマルチメディア端末６０の基本的な機能に相当するプログラムコードはＲＯＭに格納され、必要に応じてマイクロプロセッサによって、例えばユーザの制御にしたがって実行される。マイクロプロセッサはプログラムコードに基づき、無線送受信機７３を用いて移動体通信網との接続を確立して、マルチメディア端末６０が無線パスを介して移動体通信網へ／から情報を送信／受信することを可能にする。

マイクロプロセッサは、ユーザインターフェースの状態を監視するとともにデジタルカメラを制御する。また、ユーザの命令に応じてカメラに指示を送り、デジタル画像をＲＡＭに記録させる。さらに、画像をキャプチャすると（あるいはキャプチャ中に）画像セグメント（例えばマクロブロック）に分割し、エンコーダを用いてこのセグメントの動き補償符号化を行う。これにより、前述した圧縮動画像が発生する。

ユーザはマルチメディア端末６０に命令して、キャプチャした画像をディスプレイ上に表示する。または、無線送受信機７３を使って、圧縮した動画像を別のマルチメディア端末、固定回線（ＰＴＳＮ）に接続したテレビ電話、あるいは他の遠隔通信装置に送信する。好適な実施例においては、最初のセグメントが符号化されると即座に画像データの送信が開始される。したがって、受信側は、対応する復号化過程を最小の遅延で開始することができる。

図９は、本発明の実施例による移動体遠隔通信網の概略図である。マルチメディア端末（ＭＳ）は無線リンクを使って基地局（ＢＴＳ）と通信を行う。基地局はさらに、いわゆるＡｂｉｓインターフェースを通じて基地局コントローラ（ＢＳＣ）に接続する。ＢＳＣは複数の基地局を制御および管理する。
複数（一般的には数十）のＢＴＳと、基地局を制御する１つのＢＳＣとから成るエンティティを、基地局サブシステム（ＢＳＳ）と称す。ＢＳＣは無線通信チャネルおよびハンドオーバーを管理する。また、いわゆるＡインターフェースを通して移動体通信交換局（ＭＳＣ）にも接続する。ＭＳＣは移動体へ／からの接続の成立を調整する。さらに、ＭＳＣを通して、移動体通信網の外への接続も確立される。

移動体通信網の外には、ゲートウェイ（ＧＴＷ）によってこの移動体通信網に接続された別のネットワークが存在してもよい。インターネットや公衆交換電話網（ＰＳＴＮ）がその例である。こうした外部ネットワークあるいは電話通信網は、コンピュータ（ＰＣ）などのビデオ符号化局および復号化局を備えてもよい。本発明の実施例においては、移動体遠隔通信網はビデオサーバ（ＶＳＲＶＲ）を備え、サービスに加入しているＭＳにビデオデータを提供する。

ビデオデータは、前述した動き補償画像圧縮方法を用いて圧縮される。ＶＳＲＶＲはオンライン画像ソースへのＧＴＷとして機能するか、または以前に記録された画像クリップを備えていてもよい。典型的なテレビ電話アプリケーションは、例えば２つあるいは１つのＭＳと、ＰＳＴＮに接続されたテレビ電話、インターネットに接続されたＰＣ、あるいはインターネットまたはＰＳＴＮのうちいずれかに接続されたＨ．２６１と互換性のある端末と、を備える。

図７に、本発明の実施例によるビデオエンコーダ７００を示す。また、図８には本発明の実施例によるビデオデコーダ８００を示す。
エンコーダ７００は、カメラや他の画像ソース（図示せず）からの画像信号を受信するための入力端末７０１と、ＤＣＴ変換器７０５と、量子化器７０６と、逆量子化器７０９と、逆ＤＣＴ変換器７１０と、結合器７１２および７１６と、事前サブピクセル補間ブロック７３０と、フレームストア７４０と、オンデマンド補間ブロック７５０とを備える。オンデマンド補間ブロック７５０と動き補償ブロック７６０とは組み合わせて用いる。

エンコーダ７００はさらに、動き領域符号化ブロック７７０および動き補償予測ブロック７８０も備える。スイッチ７０２および７１４はコントロールマネジャ７２０の制御により協調して動作し、画像符号化のＩＮＴＲＡモードとＩＮＴＥＲモードとの間でエンコーダを切り替える。また、エンコーダ７００はマルチプレクサユニット（ＭＵＸ／ＤＭＵＸ）７９０も備える。ＭＵＸ／ＤＭＵＸ７９０は、エンコーダ７００が形成するさまざまなタイプの情報から１つのビットストリームを形成し、遠隔受信端末に送信する。あるいは、このビットストリームを例えばコンピュータのハードドライブ（図示せず）などの大容量記憶媒体に格納する。

エンコーダアーキテクチャが事前サブピクセル補間ブロック７３０およびオンデマンドサブピクセル値補間ブロック７５０を備えるか否かは、本発明に従ったサブピクセル値補間の方法による。エンコーダ７００は、事前サブピクセル値補間を行わない実施例の場合、事前サブピクセル値補間ブロック７３０を備えない。事前サブピクセル補間のみを実行する本発明の別の実施例においては、オンデマンドサブピクセル値補間ブロック７５０を備えない。また、事前サブピクセル値補間およびオンデマンドサブピクセル値補間の両方が行われる実施例においては、事前サブピクセル値補間ブロック７３０とオンデマンドサブピクセル値補間ブロック７５０との両方を備える。

次に、本発明によるエンコーダ７００の動作を詳細に説明する。入力端末７０１で画像ソースから受信した非圧縮画像の各フレームは、基本的にマクロブロックごとに受信および処理される。その際、ラスタ走査の順番で行うのが好ましい。また、新しい動画像の符号化を開始する際には、動画像の最初のフレームをＩＮＴＲＡモードで符号化する。
続いて、エンコーダは、以下の状況のいずれかに当てはまらない限り、各フレームをＩＮＴＥＲ形式で符号化するようプログラムされる。

１）符号化される現フレームと予測に用いられる参照フレームとが異なっており、必要以上の予測誤差情報が生まれる。
２）所定のＩＮＴＲＡフレーム繰り返し間隔が終了した。
３）受信端末から、ＩＮＴＲＡ形式で符号化されたフレームを要求するフィードバックを受信した。

状況１）の発生を検出するには、結合器７１６の出力を監視する。結合器７１６は、現在符号化中のフレームのマクロブロックとその予測との間の差分を形成する。マクロブロックと予測とは、動き補償予測ブロック７８０で形成される。この差分の大きさ（例えばピクセル値のＳＡＤ）が所定のしきい値を超えると、結合器７１６は制御ライン７１７を介して制御マネジャ７２０に通知する。制御マネジャ７２０はスイッチ７０２およびスイッチ７１４を操作し、エンコーダ７００をＩＮＴＲＡ符号化モードに切り替える。

状況２）の発生は、制御マネジャ７２０に実装されたタイマまたはフレームカウンタによって監視される。タイマが失効するか、フレームカウンタが所定のフレーム数に達すると、制御マネジャ７２０はスイッチ７０２およびスイッチ７１４を操作して、エンコーダをＩＮＴＲＡ符号化モードに切り替える。
状況３）は、制御マネジャ７２０が、例えば制御ライン７１８を介して受信端末からフィードバック信号を受信する場合に発生する。フィードバック信号は、受信端末がＩＮＴＲＡフレームの更新を必要としていることを表す。

これらの状況は、例えば以前に送信されたフレームが障害によって著しく破損し、受信器では復号化できない場合に発生する。すると、受信機は次のフレームをＩＮＴＲＡ形式で符号化し、符号化の手順を再初期化するよう要請する。
エンコーダおよびデコーダは、１／４ピクセル解像度までの動きベクトルの測定が可能なように実装される。また、後述するように、より高い解像度も可能である。

次に、ＩＮＴＲＡ符号化モードにおけるエンコーダ７００の動作を説明する。ＩＮＴＲＡモードでは、制御マネジャ７２０がスイッチ７０２を操作して入力ライン７１９からの画像入力に対応する。画像信号入力は、入力端末７０１から入力ライン７１９を介してマクロブロックごとに受信される。原画像ピクセルの各マクロブロックは、ＤＣＴ変換器７０５によってＤＣＴ係数に変換される。その後、このＤＣＴ係数は量子化器７０６に進み、量子化パラメータ（ＱＰ）を用いて量子化される。

制御マネジャ７２０は制御ライン７２２を通じてＱＰの選択を制御する。ＤＣＴ変換および量子化された各マクロブロックは、そのフレームのＩＮＴＲＡ符号化された画像情報７２３を作成する。また、量子化器７０６からＭＵＸ／ＤＭＵＸ７９０に渡される。
ＭＵＸ／ＤＭＵＸ７９０は、ＩＮＴＲＡ符号化された画像情報と、制御情報（例えばヘッダデータ、量子化パラメータ情報、誤差訂正データなど）とを結合し、符号化された画像情報７２５の１つのビットストリームを形成する。圧縮されたビデオビットストリームの冗長性の削減には、可長変符号化（ＶＬＣ）を用いる。これは当業者には周知の技術である。

量子化器７０６が出力したデータは、逆量子化器７０９を通り、逆ＤＣＴ変換７１０を適用することによって逆量子化データとなる。こうして、エンコーダ７００に部分的に復号化されたピクチャが形成される。その結果得られたデータは、結合器７１２に入力される。ＩＮＴＲＡモードでは、スイッチ７１４は、スイッチ７１４を介した結合器７１２への入力がゼロとなるよう設定される。つまり、結合器７１２が行う操作は、逆量子化器７０９と逆ＤＣＴ変換器７１０によって形成された、復号化された画像データの伝達に相当する。

事前サブピクセル値補間が行われる実施例の場合、結合器７１２からの出力は、事前サブピクセル値補間ブロック７３０に印加される。事前サブピクセル値補間ブロック７３０への入力は、復号化された画像ブロックの形をとる。事前サブピクセル値補間ブロック７３０においては、復号化された各マクロブロックはサブピクセル補間される。所定の一部のサブピクセル解像度サブピクセル値が本発明の補間方法にしたがって計算され、復号化されたピクセル値とともにフレームストア７４０に格納されるような方法で、サブピクセル補間が行われる。

事前サブピクセル補間が行われない実施例の場合、事前サブピクセル補間ブロックはエンコーダアーキテクチャ内には存在しない。結合器７１２からの出力は復号化された画像ブロックを含み、フレームストア７４０に直接印加される。
現フレームの次のマクロブロックが受信され、ブロック７０５、７０６、７０９、７１０、７１２における符号化段階および復号化段階を経ると、フレームストア７４０には復号化されたＩＮＴＲＡフレームが形成される。現フレームの最後のマクロブロックがＩＮＴＲＡ符号化され、続いて復号化されるとき、フレームストア７４０は完全に復号化されたフレームを含む。このフレームは、続いて受信されたＩＮＴＥＲ形式のビデオフレームを符号化する際に、予測参照フレームとして使用することができる。
事前サブピクセル値補間が行われる本発明の実施例においては、フレームストア７４０が格納している参照フレームは、少なくとも部分的にサブピクセル解像度へ補間される。

次に、ＩＮＴＥＲ符号化モードにおけるエンコーダ７００の動作を説明する。ＩＮＴＥＲ符号化モードでは、制御マネジャ７２０がスイッチ７０２を操作し、ライン７２１からの入力を受信する。ライン７２１は、結合器７１６の出力を含む。結合器７１６は、符号化されているフレームの現在のマクロブロックとその予測との間の差分を表す予測誤差情報を形成する。この差分は動き補償予測ブロック７８０で生じたものである。

予測誤差情報はＤＣＴ変換器７０５でＤＣＴ変換され、量子化器７０６で量子化される。これによって、ＤＣＴ変換および量子化された予測誤差情報のマクロブロックが形成される。この各マクロブロックは、量子化器７０６からＭＵＸ／ＤＭＵＸ装置７９０へ渡される。ＭＵＸ／ＤＭＵＸ装置７９０は、予測誤差情報７２３を動き係数７２４（後述する）および制御情報（例えばヘッダデータ、量子化パラメータ情報、誤差訂正データなど）と結合し、符号化された画像情報の１つのビットストリーム７２５を形成する。

量子化器７０６は、符号化された予測誤差情報７２３を出力する。予測誤差情報７２３は、逆量子化器７０９を通り、ブロック７１０において逆ＤＣＴ変換される。これにより、エンコーダ７００に予測誤差情報が形成される。この情報は、ＩＮＴＥＲ符号化されたフレームの各マクロブロックの予測誤差情報である。部分的に復号化された予測誤差情報のマクロブロックはこのようにして発生し、結合器７１２に入力される。

ＩＮＴＥＲモードでは、結合器７１２が現ＩＮＴＥＲフレームの動き予測マクロブロックも受信するようにスイッチ７１４を設定する。ＩＮＴＥＲフレームは、動き補償予測ブロック７８０で形成される。結合器７１２はこれら２つの情報を結合し、現ＩＮＴＥＲフレームの画像ブロックを再構築する。
ＩＮＴＲＡ符号化されたフレームに関して前述したように、事前サブピクセル値補間を行う本発明の実施例においては、結合器７１２からの出力は事前サブピクセル補間ブロック７３０に印加される。したがって、ＩＮＴＥＲ符号化モードでの事前サブピクセル値補間ブロック７３０への入力は、復号化された画像ブロックの形をとる場合もある。

事前サブピクセル値補間ブロック７３０においては、復号化された各マクロブロックはサブピクセル補間される。このとき、本発明の補間方法によって所定の一部のサブピクセル値が計算されるとともに、復号化されたピクセル値と一緒にフレームストア７４０に格納される。
事前サブピクセル補間が行われない実施例では、エンコーダアーキテクチャ内に事前サブピクセル補間ブロックは存在しない。また、結合器７１２からの出力は復号化された画像ブロックを含み、フレームストア７４０に直接印加される。

ビデオ信号のマクロブロックが続いて画像ソースから受信され、ブロック７０５、７０６、７０９、７１０、７１２で前述の符号化段階および復号化段階を経ると、フレームストア７４０では復号化されたＩＮＴＥＲフレームが形成される。フレームの最後のマクロブロックがＩＮＴＥＲ符号化され、続いて復号化されるとき、フレームストア７４０は完全に復号化されたフレームを含む。
このフレームは、続いて受信した画像フレームをＩＮＴＥＲ形式に符号化する際に、予測参照フレームとして用いられる。事前サブピクセル値補間が行われる本発明の実施例においては、フレームストア７４０に格納された参照フレームは、少なくとも部分的にサブピクセル解像度に補間される。

次に、現フレームのマクロブロックの予測の手順を説明する。
ＩＮＴＥＲ形式で符号化されたフレームはいずれも動き補償予測を行うための参照フレームを必要とする。つまり、動画像を符号化する場合、最初に符号化されるフレームは、それがその動画像の最初のフレームかあるいは別のフレームかにかかわらず、ＩＮＴＲＡ形式で符号化されなければならない。
すなわち、制御マネジャ７２０がビデオエンコーダ７００をＩＮＴＥＲ符号化モードに切り替えると、エンコーダのフレームストア７４０では既に完全な参照フレームを利用できる。この参照フレームは、以前に符号化されたフレームを部分的に復号化することによって形成される。一般的に、参照フレームは、ＩＮＴＲＡ符号化されたフレームまたはＩＮＴＥＲ符号化されたフレームを部分的に復号化することによって形成される。
現フレームのマクロブロックの予測の第１段階は、動き推定ブロック７６０によって行われる。動き推定ブロック７６０はライン７２７を介して符号化中のフレームの現在のマクロブロックを受信する。また、ブロックマッチング操作を行って、実質的に現在のマクロブロックと一致する参照フレームの領域を特定する。

本発明によると、ブロックマッチングはサブピクセル解像度に合わせて行われる。ブロックマッチングは、エンコーダ７００の実装および行われる事前サブピクセル補間の度合いに応じて実行されるが、その基本的な理念はすべての場合において類似している。具体的には、動き推定ブロック７６０は、差分値（例えば絶対値の差の和）を計算することによってブロックマッチングを行う。差分値は、調査される現フレームのマクロブロックと、参照フレーム内のピクセル／サブピクセルの最も適合する領域の候補との間におけるピクセル値の差分を表す。

差分値は、現フレームのマクロブロックと参照フレームの所定の調査領域内のテスト領域候補との間で可能なオフセットすべて（例えば１／４または１／８サブピクセル精度のｘ、ｙ変位）に関して形成され、動き推定ブロック７６０が最小算出差分値を決定する。
現フレームのマクロブロックと、最小差分値をもたらす参照フレームのピクセル値／サブピクセル値のテスト領域候補との間のオフセットは、当該マクロブロックの動きベクトルを規定する。本発明のある実施例においては、初めにピクセル精度の動きベクトルの当初推定が決定され、それから前述のサブピクセル精度のレベルまで高められていく。

事前サブピクセル値補間を行わないエンコーダの実施例においては、ブロックマッチング過程で必要とされるすべてのサブピクセル値が、オンデマンドサブピクセル値補間ブロック７５０において計算される。動き推定ブロック７６０はオンデマンドサブピクセル値補間ブロック７５０を制御し、必要であれば、オンデマンド方式でのブロックマッチングに必要な各サブピクセル値を算出する。
この場合、動き推定ブロック７６０はブロックマッチングを１段階で行うよう実装される。すると、所望のサブピクセル解像度を有する動きベクトルが直接探し出される。あるいは、動き推定ブロック７６０は、ブロックマッチングを２段階で行ってもよい。２段階の場合には、第１段階で例えばフルピクセルあるいは１／２ピクセル解像度の動きベクトルの調査を行い、第２段階で動きベクトルを所望のサブピクセル解像度まで精緻化してもよい。

ブロックマッチングにおいては、現フレームのｎ×ｍピクセルのブロックは、１つずつ、補間された参照フレームのｎ×ｍピクセルまたはサブピクセルのブロックと比較される。そのため、ブロックマッチングは大きな負荷を伴う。したがって、オンデマンドピクセル補間ブロック７５０によってオンデマンド方式で計算されたサブピクセルは、一連の差分値が決定されるとき、数回にわたって計算される必要がある。演算処理的な複雑性／負荷から考えると、画像エンコーダにおいては、この方法は最も効率的な方法ではない。

事前サブピクセル値補間のみを行うエンコーダの実施例においては、ブロックマッチングは１段階で実行される。所望のサブピクセル解像度を有する動きベクトルを決定するには、参照フレームが必要である。参照フレームのすべてのサブピクセル値は、ブロック７３０において事前に計算され、フレームストア７４０に格納される。したがって、ブロックマッチングの際にはサブピクセル値を直接利用することができる。サブピクセル値は動き推定ブロック７６０によって、必要に応じてフレームストア７４０から読み出される。

しかし、すべてのサブピクセル値がフレームストア７４０から利用可能である場合においてもなお、ブロックマッチングは２段階で行った方が演算処理的に効率的である。これは、差分値の計算の必要が少ないためである。完全事前サブピクセル値補間を行うと、エンコーダにおける計算の複雑性は軽減される。しかしその一方で、メモリの消費という点からは最も効率的な方法であるとは言えないことを理解しておかなければならない。

エンコーダで事前サブピクセル値補間およびオンデマンドサブピクセル値補間の両方が行われる実施例においては、動き推定ブロック７６０は、事前サブピクセル値補間ブロック７３０で以前に計算しフレームストア７４０に格納したサブピクセル値を読み出すことができるような方法で実装される。また、動き推定ブロック７６０は、オンデマンドサブピクセル値補間ブロック７５０を制御し、必要とされる追加的なサブピクセル値を計算する。

ブロックマッチングは、１段階または２段階で実施される。２段階で実施される場合には、事前に計算したサブピクセル値をフレームストア７４０から読み出して第１段階で用い、第２段階ではオンデマンドサブピクセル値補間ブロック７５０によって計算されたサブピクセル値を用いる。
この場合、ブロックマッチング過程の第２段階で用いられるサブピクセル値を連続して比較するとともに複数回計算する必要がある。ただし、重複する計算の数は、事前サブピクセル値計算が行われない場合よりかなり少ない。また、事前サブピクセル値補間のみが行われる場合の実施例と比べ、メモリの消費も抑えられる。

動き推定ブロック７６０は、推定される現フレームのマクロブロックの動きベクトルを一度作り出すと、この動きベクトルを動き領域符号化ブロック７７０に出力する。動き領域符号化ブロック７７０は、動き推定ブロック７６０から受信した動きベクトルの近似値を求める。
動きモデルは一般的に一連の基底関数を有する。より具体的には、動き領域符号化ブロック７７０は動きベクトルを一連の係数値（「動き係数」と称す）として表す。動き係数は基底関数によって乗算され、動きベクトルの近似値を形成する。動き係数７２４は、動き領域符号化ブロック７７０から動き補償予測ブロック７８０に渡される。

動き補償予測ブロック７８０は、動き推定ブロック７６０が特定する参照フレームの最も適合するテスト領域候補のピクセル／サブピクセル値も受信する。図７に示すように、これらのピクセル／サブピクセル値は、オンデマンドサブピクセル補間ブロック７５０からライン７２９を介して動き補償予測ブロック７８０に渡される。本発明の別の実施例においては、当該ピクセル値は動き推定ブロック７６０自身から供給される。
動き補償予測ブロック７８０は、動き領域符号化ブロック７７０と、最も適合するテスト領域候補のピクセル／サブピクセル値とが発生する動きベクトルの近似表示を用いて、予測されるピクセル値のマクロブロックを作り出す。予測されるピクセル値のマクロブロックは、補間された参照フレームから発生した現マクロブロックのピクセル値の予測を表示する。

予測されるピクセル値のマクロブロックは、結合器７１６に渡される。結合器７１６では、新しい現フレームからピクセル値のマクロブロックを差し引く。これによって、前述したように、マクロブロックの予測誤差情報７２３を作り出す。
動き領域符号化ブロックが形成した動き係数７２４は、ＭＵＸ／ＤＭＵＸ７９０にも渡される。動き係数７２４はＭＵＸ／ＤＭＵＸ７９０において当該マクロブロックの予測誤差情報７２３と結合され、符号化されたビデオストリーム７２５を形成する。このビデオストリーム７２５は受信端末へ送信される。

次に、本発明によるビデオデコーダ８００の操作を説明する。図８に示すのは、デコーダ８００である。デコーダ８００は、エンコーダ７００から符号化されたビデオストリーム７２５を受信および逆多重化するデマルチプレクサユニット（ＭＵＸ／ＤＭＵＸ）８１０と、逆量子化器８２０と、逆ＤＣＴ変換器８３０と、動き補償予測ブロック８４０と、フレームストア８５０と、結合器８６０と、制御マネジャ８７０と、出力端末８８０と、事前サブピクセル値補間ブロック８４５と、オンデマンドサブピクセル補間ブロック８９０とを備える。オンデマンドサブピクセル補間ブロック８９０は動き補償予測ブロック８４０と連結している。実際には、デコーダ８００の制御マネジャ８７０とエンコーダ７００の制御マネジャ７２０とは、エンコーダ７００とデコーダ８００とが同じビデオコーデックの一部である場合には、同一のプロセッサである。

図８に示すのは、デコーダにおいて、事前サブピクセル値補間とオンデマンドサブピクセル値補間とを組み合わせて行う場合の実施例である。事前サブピクセル値補間のみが行われる他の実施例では、デコーダ８００はオンデマンドサブピクセル値補間ブロック８９０を含まない。

本発明の好適な実施例においては、デコーダでは事前サブピクセル値補間を行わない。そのため、事前サブピクセル値補間ブロック８４５はデコーダのアーキテクチャから除かれる。事前サブピクセル値補間とオンデマンドサブピクセル値補間との両方を行うのであれば、デコーダは事前サブピクセル値補間ブロック８４５およびオンデマンドサブピクセル値補間ブロック８９０の両方を備える。

制御マネジャ８７０は、復号化されているフレームがＩＮＴＲＡフレームなのか、それともＩＮＴＥＲフレームなのかに応じて、デコーダ８００の動作を制御する。ＩＮＴＲＡ／ＩＮＴＥＲトリガ制御信号は、デコーダの復号化モードを切り替える。この制御信号は、例えば映像タイプ情報から読み出される。映像タイプ情報は、エンコーダから受信した圧縮された各ビデオフレームのヘッダ部分において提供される。

ＩＮＴＲＡ／ＩＮＴＥＲトリガ制御信号は、他のビデオコーデック制御信号とともに、制御ライン８１５を介して制御マネジャ８７０に渡される。このビデオコーデック制御信号は、ＭＵＸ／ＤＭＵＸ装置８１０が、符号化されたビデオストリームから逆多重化したものである。
ＩＮＴＲＡフレームが復号化されると、符号化されたビデオストリーム７２５は逆多重化され、ＩＮＴＲＡ符号化されたマクロブロックおよび制御情報となる。ＩＮＴＲＡ符号化されたフレームの符号化されたビデオストリームは動きベクトルを含まない。復号化過程は、マクロブロックごとに行われる。

ＭＵＸ／ＤＭＵＸ装置８１０がビデオストリーム７２５からマクロブロックの符号化された情報７２３を抽出すると、この情報７２３は逆量子化器８２０に渡される。制御マネジャは逆量子化器８２０を制御し、ビデオストリーム７２５において提供される制御情報に従って、符号化された情報のマクロブロックを適切なレベルで逆量子化する。
逆量子化されたマクロブロックは、続いて逆ＤＣＴ変換器８３０で逆ＤＣＴ変換され、画像情報の復号化されたブロックを形成する。制御マネジャ８７０は結合器８６０を制御し、ＩＮＴＲＡ符号化されたマクロブロックの復号化に参照情報が使いられるのを防止する。画像情報の復号化されたブロックは、デコーダのビデオ出力端末８８０に渡される。

事前サブピクセル値補間を行うデコーダの実施例においては、逆量子化器８２０および逆ＤＣＴ変換器８３０での逆量子化および逆ＤＣＴ変換を経て復号化された画像情報（すなわちピクセル値）のブロックは、事前サブピクセル値補間ブロック８４５に渡される。ここで、本発明の方法によるサブピクセル値補間が行われる。適用される事前サブピクセル値補間の程度は、デコーダの実装の詳細によって決定される。
オンデマンドサブピクセル値補間を行わない本発明の実施例においては、事前サブピクセル値補間ブロック８４５がすべてのサブピクセル値を補間する。

事前サブピクセル値補間およびオンデマンドサブピクセル値補間を組み合わせて行う実施例においては、事前サブピクセル値補間ブロック８４５はサブピクセル値の一部を補間する。これは例えば、１／２ピクセル位置のすべてのサブピクセルを含んでもよいし、あるいは１／２ピクセル位置および１／４ピクセル位置のサブピクセルの組み合わせを含んでもよい。いずれにしろ、事前サブピクセル値補間の後、補間されたサブピクセル値は、もともとの復号化されたピクセル値とともにフレームストア８５０に格納される。
連続するマクロブロックが復号化および事前補間および格納されるとき、少なくとも部分的にサブピクセル解像度に補間された復号化されたフレームは、フレームストア８５０において漸次組み立てられ、動き補償予測の参照フレームとして利用できるようになる。

事前サブピクセル値補間を行わないデコーダの実施例においては、復号化された画像情報（すなわちピクセル値）のブロックがフレームストア８５０に直接渡される。このブロックは、逆量子化器８２０および逆ＤＣＴ変換器８３０でマクロブロックについて行われた逆量子化および逆ＤＣＴ変換の結果生じたものである。連続するマクロブロックが復号化および格納されるとき、１ピクセル解像度を有する復号化されたフレームは漸次組み立てられ、動き補償予測の参照フレームとして利用できるようになる。

ＩＮＴＥＲフレームが復号化されると、符号化されたビデオストリーム７２５は逆多重化され、符号化された予測誤差情報７２３となる。これは、フレームの各マクロブロック、関連する動き係数７２４および制御情報の予測誤差情報である。ここでもやはり、マクロブロックごとに復号化を行う。ＭＵＸ／ＤＭＵＸ装置８１０は、ビデオストリーム７２５から、符号化されたマクロブロックの予測誤差情報７２３を抽出する。この情報は逆量子化器８２０に渡される。
制御マネジャ８７０は逆量子化器８２０を制御し、動画像ストリーム７２５で受信した制御情報にしたがって、符号化された予測誤差情報のマクロブロックを適度に逆量子化する。逆量子化された予測誤差情報のマクロブロックは、続いて逆ＤＣＴ変換器８３０で逆ＤＣＴ変換され、マクロブロックの復号化された予測誤差情報をもたらす。

ＭＵＸ／ＤＭＵＸ装置８１０は、該当するマクロブロックに関連した動き係数７２４をビデオストリーム７２５から抽出する。この動き係数７２４は動き補償予測ブロック８４０に渡される。動き補償予測ブロック８４０は、エンコーダ７００でＩＮＴＥＲ符号化されたマクロブロックの符号化に用いたのと同一の動きモデルを用いて、マクロブロックの動きベクトルを再構成する。再構成された動きベクトルは、もともとはエンコーダの動き予測ブロック７６０によって決定された動きベクトルに近似する。

デコーダの動き補償予測ブロック８４０は、再構成された動きベクトルを用いて、フレームストア８５０に格納されている予測参照フレーム内の１ブロックのピクセル／サブピクセル値の位置を特定する。参照フレームは、例えば、以前に復号化されたＩＮＴＲＡフレームであってもよい。あるいは、以前に復号化されたＩＮＴＥＲフレームであってもよい。どちらの場合であっても、再構成された動きベクトルが表示するピクセル値／サブピクセル値のブロックは、該当するマクロブロックの予測を表す。
再構成された動きベクトルは、いずれのピクセルあるいはサブピクセルを指してもよい。動きベクトルが、現マクロブロックの予測がピクセル値（すなわち１ピクセル位置でのピクセルの値）から形成されることを示すのであれば、これらのピクセル値は各フレームの復号化中に直接得られるので、単にフレームストア８５０から読み出される。

動きベクトルが、現マクロブロックの予測がサブピクセル値から形成されることを示すのであれば、これらのサブピクセル値はフレームストア８５０から読み出されるか、またはオンデマンドサブピクセル補間ブロック８９０で計算されなければならない。サブピクセル値の計算が必要なのか、あるいは単にフレームストアから読み出されるのかは、デコーダで行われる事前サブピクセル値の程度による。

デコーダが事前サブピクセル値補間を行わない実施例においては、必要とされるサブピクセル値はすべてオンデマンドサブピクセル値補間ブロック８９０で計算される。一方、すべてのサブピクセルが事前に補間される実施例においては、動き補償予測ブロック８４０は、必要なサブピクセル値をフレームストア８５０から直接読み出すことができる。事前サブピクセル値補間とオンデマンドサブピクセル値補間とを組み合わせて用いる実施例においては、必要なサブピクセル値を読み出すのに必要な動作は、どのサブピクセル値が事前に補間されるかによる。

１／２ピクセル位置のすべてのサブピクセル値が事前に計算される実施例の場合を例に挙げる。再構成されたマクロブロックの動きベクトルが１ピクセル位置のピクセルあるいは１／２ピクセル位置のサブピクセルを指す場合、マクロブロックの予測に必要なすべてのピクセル値あるいはサブピクセル値はフレームストア８５０にあり、そこから動き補償予測ブロック８４０によって読み出される。

しかし、動きベクトルが１／４ピクセル位置でサブピクセルを表示するならば、マクロブロックの予測を形成するのに必要なサブピクセルはフレームストア８５０には存在しない。したがって、オンデマンドサブピクセル値補間ブロック８９０において計算される。この場合、オンデマンドサブピクセル値補間ブロック８９０は任意のピクセルあるいはサブピクセルを読み出し、フレームストア８５０から補間を実行するとともに、以下に説明する補間方法を適用する。オンデマンドサブピクセル値補間ブロック８９０において計算されたサブピクセル値は、動き補償予測ブロック８４０に渡される。

マクロブロックの予測が得られると、予測（すなわち、予測されたピクセル値のマクロブロック）は動き補償予測ブロック８４０から結合器８６０へと渡される。結合器８６０では、予測とマクロブロックの復号化された予測誤差情報とを組み合わせ、再構成された画像ブロックを形成する。この画像ブロックはデコーダのビデオ出力端末８８０に渡される。
エンコーダ７００およびデコーダ８００において、フレームが事前サブピクセル補間される範囲と、オンデマンドサブピクセル値補間が実施される量とは、ビデオエンコーダ７００のハードウェア実装や使用環境により決定される。例えば、ビデオエンコーダが利用できるメモリが限られている場合、あるいはメモリを他の機能のために蓄えておかなければならない場合、行われる事前サブピクセル値補間の量を制限しておくのが適当である。

動画像の符号化操作を行うマイクロプロセッサの処理能力が制限されている場合、つまり、例えば１秒間に実行できる操作の数が比較的少ない場合には、実施するオンデマンドサブピクセル値補間の量を制限するのが適当である。移動体通信においては、例えば、ビデオ符号化および復号化機能は携帯電話や類似の無線端末に内蔵され、移動体電話ネットワークと通信を行う。メモリおよび処理能力は限られる。

こうした場合、動画像エンコーダにおいて効率的な補間を行うには、事前サブピクセル値補間とオンデマンドサブピクセル値補間とを組み合わせるのが最善の選択である。ビデオデコーダ８００において事前サブピクセル値を用いることは、一般的に好ましくない。これは、事前サブピクセル値を用いると、実際には復号化過程では使用されない多くのサブピクセル値を計算しなければならないためである。
しかし、エンコーダとデコーダとでそれぞれの動作を最適化するのに行われる事前補間およびオンデマンド補間の量は異なるが、エンコーダもデコーダも事前サブピクセル値補間とオンデマンドサブピクセル値補間との間で同一の分割を用いるように実装されることは理解しておかなければならない。

以上の説明は、エンコーダ７００およびデコーダ８００の双方向予測フレーム（Ｂフレーム）を説明するものではない。しかし、本発明の実施例において双方向予測フレームの機能が提供され得ることは理解されるべきである。そうした機能の提供は、当業者の着想の範囲内であると考えられる。

本発明によるエンコーダ７００またはデコーダ８００は、ハードウェアまたはソフトウェアを用いて、あるいは両者の組み合わせを用いて実現可能である。ソフトウェアに実装されたエンコーダまたはデコーダとは、例えば、さまざまなプログラムによって使用可能なブロックを形成する分離プログラムまたはソフトウェアであってもよい。以上の説明および図面においては機能ブロックを別々の装置として示しているが、各ブロックの機能を例えば１つのプログラムユニットに実装することも可能である。

さらに、エンコーダ７００およびデコーダ８００を組み合わせて、符号化機能と復号化機能との両方を有するビデオコーデックを形成してもよい。こうしたコーデックは、マルチメディア端末に実装されてもよいし、ネットワークに実装されてもよい。本発明によるコーデックは、コンピュータプログラムやコンピュータプログラム素子であってもよい。あるいは部分的にハードウェアを用いて実装されてもよい。

次に、エンコーダ７００およびデコーダ８００で用いられる本発明によるサブピクセル補間方法について詳述する。初めに、一般的概念のレベルでこの方法を紹介する。その後、２つの実施例を挙げて説明する。第１の好適な実施例においては、サブピクセル値補間は１／４ピクセル解像度まで実行される。第２の好適な実施例においては、１／８ピクセル解像度まで拡大して考える。

補間は、エンコーダとデコーダとで同一の値を生み出さなければならない。しかし同時に、それぞれに対して最適化されなければならない。例えば、本発明の第１の実施例によるエンコーダにおいては、サブピクセル値補間が１／４ピクセル解像度まで実行される。この場合、動き予測で必要な場合に限り、１／２ピクセル解像度のピクセルを事前補間し、１／４ピクセル解像度のサブピクセルをオンデマンド方式で補間するのが最も効率的である。すると、メモリの消費が抑えられ、演算処理的な複雑性／負荷は許容範囲内に保たれる。

一方、デコーダにおいてはサブピクセルを事前に計算しない方がよい。そのため、デコーダの好適な実施例は、事前サブピクセル値補間ブロック８４５を含まないのがよい。したがって、すべてのサブピクセル値補間はオンデマンドサブピクセル値補間ブロック８９０で行われる。

以下に説明する補間方法においては、図１２（ａ）で示したピクセル位置を参照する。この図においては、Ａと表示したピクセルは原ピクセル（すなわち、１ピクセル水平位置および１ピクセル垂直位置のピクセル）を表す。他の文字で表示したピクセルは、補間されるサブピクセルを表す。前述の仕様に基づいて、ピクセル位置およびサブピクセル位置を説明する。

次に、すべてのサブピクセル位置を補間するために必要な段階を説明する。
１／２解像度サブピクセルｂの値は、初めにＫ次近似フィルタを用いて中間値ｂ′を計算することによって、次式から得られる。

ここで、ｘ_ｉはフィルタ係数のベクトルであり、Ａ_ｉは対応する１ピクセル水平位置および１ピクセル垂直位置の原ピクセル値Ａのベクトルである。また、Ｋはフィルタの指令を定義する整数である。したがって、方程式（９）は以下のように書き換えられる。

フィルタ係数ｘ_ｉの値とフィルタＫの次数とは、実施例ごとに異なってよい。同様に、同じ実施例であっても、異なるサブピクセルの計算には異なる係数値を用いてもよい。別の実施例においては、フィルタ係数ｘ_ｉの値とフィルタの次数とは、どの１／２解像度サブピクセルｂが補間されているかによって決まる。ピクセルＡ_ｉは、補間される１／２解像度サブピクセルｂについて対称に配置され、このサブピクセルｂに隣接する。

１／２ピクセル水平位置および１ピクセル垂直位置の１／２解像度サブピクセルｂの場合、ピクセルＡ_ｉはｂに対して水平に配置される（図１２（ｂ）参照）。１ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルｂが補間される場合には、ピクセルＡ_ｉはｂに対して垂直に配置される（図１２（ｃ）参照）。
１／２解像度サブピクセルｂの最終的な値は、一定の比率_１で中間値ｂ′を分割することによって計算される。その際、切捨てにより整数値を得る。また、結果はクリッピングされ［０，２^ｎ−１］の範囲内に収められる。本発明の別の実施例においては、切捨ての代わりに切上げを行ってもよい。一定の比率_１を選択してフィルタ係数ｘ_ｉの和に等しくするのが好ましい。

１／２解像度サブピクセルｃの値は、最初にＭ次近似フィルタを用いて中間値ｃ′を計算することによって次式から得られる。

ここで、ｙ_ｉはフィルタ係数のベクトルであり、ｂ_ｉは対応する水平方向または垂直方向の中間値ｂ_ｉ′のベクトルである。すなわち、

フィルタ係数ｙ_ｉの値とフィルタＭの次数とは、実施例ごとに異なってよい。同様に、同じ実施例であっても、異なるサブピクセルの計算には異なる係数を用いてもよい。ｂ′の値は、１／２解像度サブピクセルｂの中間値であるのが好ましい。サブピクセルｂは、１／２解像度サブピクセルｃについて対称に配置され、このサブピクセルｃに隣接する。本発明の実施例においては、１／２解像度サブピクセルｂはサブピクセルｃに対して水平方向に配置される。また、代替的な実施例においては、サブピクセルｃに対して垂直方向に配置される。

１／２解像度サブピクセルｃの最終的な値は、一定比率_２で中間値ｃ′を分割することによって計算される。その際、切捨てにより整数値を得る。また、結果はクリッピングされ［０，２^ｎ−１］の範囲内に収められる。本発明の別の実施例においては、切捨ての代わりに切上げを行ってもよい。一定比率_２は比率_１＊比率_１に等しいのが好ましい。
水平方向で中間値ｂ′を用いると、垂直方向で中間値ｂ′を用いたのと同じ結果が得られる。
１／４解像度サブピクセルｈの値の補間には２つの方法がある。両方法とも、補間される１／４解像度サブピクセルｈに隣接する１／２解像度サブピクセルをつなぐ対角線に沿って線形補間を行う。

第１の実施例においては、サブピクセルｈの値は、サブピクセルｈに最も近い２つの１／２解像度サブピクセルｂの値の平均をとることによって計算される。第２の実施例においては、サブピクセルｈの値は、最も近いピクセルＡと最も近い１／２解像度サブピクセルｃとの平均をとることによって計算される。これにより、異なる線形補間の組み合わせを用いて、４つの画像ピクセルＡから成る異なるグループの領域内でサブピクセルｈの値を決定する可能性が生じる。

しかし、同一の補間結果を得るためには、エンコーダとデコーダとで同一の組み合わせを用いなければならない。図１３にサブピクセルｈの対角線補間方法の４つの選択肢を示す。サブピクセルｈは、１つの画像内で隣接する４つのピクセルから成るグループにある。
ＴＭＬ環境での模擬計算によって、両実施例の圧縮効率は類似していることが証明された。ただし、第２の実施例ではサブピクセルｃを計算するにはいくつかの中間値を計算しなければならないため複雑性が高い。したがって、第１の実施例の方が好ましい。

１／４解像度サブピクセルｄおよびｇの値は、線形補間を用いて、水平方向に隣接するサブピクセルの値から計算される。
言い換えれば、１／４解像度サブピクセルｄの値は、水平方向に隣接する原画像ピクセルＡと１／２解像度サブピクセルｂとの平均をとることによって得られる。同様に、１／４解像度サブピクセルｇの値は、水平方向に隣接した１／２解像度サブピクセルｂと１／２解像度サブピクセルｃとの平均をとることによって得られる。

ｅ、ｆおよびｉと表示された１／４解像度サブピクセルの値は、線形補間を用いて垂直方向の隣接したサブピクセルの値から計算される。より詳細には、１／４解像度サブピクセルｅの値は、垂直方向に隣接する原画像ピクセルＡと１／２解像度サブピクセルｂとの平均をとることによって得られる。同様に、１／４解像度サブピクセルｆの値は、垂直方向に隣接する１／２解像度サブピクセルｂと１／２解像度サブピクセルｃとの平均をとることによって得られる。

本発明の実施例においては、１／４解像度サブピクセルｉの値は、１／４解像度サブピクセルｆを得る方法と同じ方法で得られる。本発明の別の実施例においては、サブピクセルｉの値は、４つの最も近い原画像ピクセルの値を用いて、（Ａ_１＋Ａ_２＋Ａ_３＋Ａ_４＋２）／４にしたがって求められる。これは、前述したＨ．２６試験モデルＴＭＬ５およびＴＭＬ６と共通している。

ピクセル値および／またはサブピクセル値を伴う平均は、すべて適切な方法を用いて求められる。例えば、１／４解像度サブピクセルｄの値は、ｄ＝（Ａ＋ｂ）／２またはｄ＝（Ａ＋ｂ＋１）／２と定義される。
ピクセルＡと１／２解像度サブピクセルｂとの合計値に１を加算すると、切上げまたは切捨て効果が得られる。この操作を適用して、サブピクセルｄの値の切上げまたは切捨てを行い、続いて次に最も高い整数値を切上げまたは切捨てる。これは、いずれの整数の合計値にも当てはまる。また、本発明の方法に従って平均をとり、切上げまたは切捨て効果を制御してもよい。

本発明によるサブピクセル値補間方法は、ＴＭＬ５およびＴＭＬ６のそれぞれの利点を提供する。
ＴＭＬ５では、１／４解像度サブピクセルのうちいくつかの値は、以前に補間された値に依存する。この値は、別の１／４解像度サブピクセルのために得られたものである。本発明による補間方法では、すべての１／４解像度サブピクセルを、原画像ピクセルまたは１／２解像度サブピクセルの位置から線形補間を用いて計算する。

したがって、本発明の方法では、１／４解像度サブピクセル値の精度が低下することはない。ＴＭＬ５では、他の１／４解像度サブピクセルの中間切捨ておよびクリッピングを行うため、１／４解像度サブピクセル値の精度は低下してしまう。図１２（ａ）を参照すると、１／４解像度サブピクセルｈ（および本発明の一実施例におけるサブピクセルｉ）は、他の１／４ピクセルへの依存度を低くするために、対角線に補間されている。

本発明の方法においては、ＴＭＬ５に比べて、デコーダで１／４解像度サブピクセルの値を得るために必要な計算の数（およびプロセッササイクルの数）が削減される。加えて、１／４解像度サブピクセル値の計算には、別の１／４解像度サブピクセル値を決定するのに必要な計算の数と同じくらい多数の計算が必要である。
具体的には、必要とされる１／２解像度サブピクセル値が既に利用できる場合（例えば、１／２解像度サブピクセル値が事前に計算されている場合）、事前に計算された１／２解像度サブピクセルから１／４解像度サブピクセル値を補間するのに必要な計算の数は、利用可能な１／２解像度サブピクセル値から別の１／４解像度サブピクセルを補間するのに必要な計算の数と同じである。

ＴＭＬ６と比較すると、本発明による方法では、全てのサブピクセルの計算に高精度の計算能力を用いる必要はない。具体的には、すべての１／４解像度サブピクセル値が原画像ピクセルまたは１／２解像度サブピクセル値から線形補間を用いて計算されるので、補間に必要な計算能力の精度は低くてもよい。

本発明による方法のハードウェア実装（例えばＡＳＩＣ（特定用途向け集積回路））では、低精度の計算能力を用いることにより、１／４解像度サブピクセル値の計算に必要不可欠な素子（例えばゲート）の数を削減する。これにより、補間機能に不可欠なシリコンの領域も削減することができる。

実際には、サブピクセルの大多数は１／４解像度サブピクセル（図１２（ａ）に示される１５個のサブピクセルのうち１２個が１／４解像度サブピクセル）である。この点において、本発明は極めて重要な利点を提供する。汎用ＣＰＵ（中央演算処理機）の標準的な命令セットまたはＤＳＰ（デジタルシグナルプロセッサ）を用いてサブピクセル補間を行うソフトウェア実装では、一般的に、必要とされる計算能力の精度を低下させると計算の速度が上昇する。これは特に「低コスト」実装に都合がよい。低コスト実装では、どのような型のＡＳＩＣよりも汎用ＣＰＵを用いるのが望ましい。

本発明による方法は、ＴＭＬ５と比較してさらに利点を提供する。前述したように、デコーダにおいて常時必要とされるのは、１５個のサブピクセル位置のうち１つのみである。すなわち、受信した動きベクトル情報によって示される１ピクセルのみが必要とされる。したがって、任意のサブピクセル位置のサブピクセル値が最小数の段階を経て計算され、正確に補間された値が算出される場合には都合がよい。本発明による方法はこの機能を提供する。

既に詳述したように、１／２解像度サブピクセルｃは、垂直方向または水平方向にフィルタリングを行うことにより補間される。水平方向または垂直方向のどちらでフィルタリングを行っても、得られるｃの値は同じである。デコーダはこの特性を利用して、１／４解像度サブピクセルｆおよびｇの値を計算する際に必要な操作の数を最小化する。
例えば、デコーダが１／４解像度サブピクセルｆの値を必要とする場合、１／２解像度サブピクセルｃは垂直方向に補間されなければならない。１／４解像度サブピクセルｇの値が必要な場合には、ｃの値を水平方向で補間するのがよい。このように、１／４解像度サブピクセルの値を求める場合、本発明による補間方法は柔軟であると言える。ＴＭＬ５にはこうした柔軟性はない。

次に、２つの実施例を説明する。第１の実施例は、１／４ピクセル解像度までのサブピクセルを計算するための好適な実施例である。第２の実施例では、１／８ピクセル解像度サブピクセルの値の計算まで範囲を広げる。両実施例の場合とも、本発明による方法を用いることで生じる演算処理的な複雑性／負荷と、同じ状況でＴＭＬ５およびＴＭＬ６による補間方法を用いることで生じる付加との比較を示す。

１／４ピクセル解像度でサブピクセルを補間する好適な実施例を、図１２（ａ）乃至（ｃ）を参照して説明する。以下では、すべての画像ピクセルおよび最終的なサブピクセルの補間値は８ビットで表される。
ここでは、ｉ）１／２ピクセル水平位置および１ピクセル垂直位置の１／２解像度サブピクセルの計算およびｉｉ）１ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルの計算を説明する。

１． １／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの値、すなわち図１２（ａ）の１／２解像度サブピクセルｂは、最初に６つのピクセル（Ａ_１乃至Ａ_６）の値を用いて中間値ｂ′＝（Ａ_１−５Ａ_２＋２０Ａ_３＋２０Ａ_４−５Ａ_５＋Ａ_６）を計算することによって得られる。その際、図１２（ｂ）および（ｃ）に示すように、６つのピクセルは１ピクセル水平位置および１ピクセル垂直位置で、ｂを含むピクセルの行または列内にある。
１／２解像度サブピクセルの最終的な値は、（ｂ′＋１６）／３２として計算される。ここで、演算子／は切捨てを伴う除算を示す。結果はクリッピングされ、［０，２５５］の範囲内に収められる。
次に、１／２ピクセル水平位置および１／２ピクセル垂直位置の１／２解像度サブピクセルの計算について説明する。

２． １／２ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルの値、すなわち図１２（ａ）の１／２解像度のサブピクセルｃは、中間値ｂ′を用いて、ｃ＝（ｂ_１′−５ｂ_２′＋２０ｂ_３′＋２０ｂ_４′−５ｂ_５′＋ｂ_６′＋５１２）／１０２４として計算される。中間値ｂ′は、ｃを含むサブピクセルの行または列にあり、ｃについて対称に配置されている。演算子／はここでも切捨てを伴う除算を表す。また、結果はクリッピングされて［０，２５５］の範囲内に収められる。

前述したように、水平方向で１／２解像度サブピクセルｂの中間値ｂ′を用いると、垂直方向で１／２解像度サブピクセルｂの中間値ｂ′を用いるのと同じ結果が得られる。したがって、本発明によるエンコーダにおいては、１／２解像度サブピクセルｂの補間の方向は、好適な実行モードに従って選択される。
また、本発明によるデコーダでは、サブピクセルｂの補間の方向は、（もし存在するならば）どの１／４解像度サブピクセルが１／２解像度サブピクセルｃを用いて補間されるのかにしたがって選択される。
続いて、ｉ）１／４ピクセル水平位置および１ピクセル垂直位置と、ｉｉ）１／４ピクセル水平位置および１／２ピクセル垂直位置と、ｉｉｉ）１ピクセル水平位置および１／４ピクセル垂直位置と、ｉｖ）１／２ピクセル水平位置および１／４ピクセル垂直位置との１／４解像度サブピクセルの計算を説明する。

３． １／４ピクセル水平位置および１ピクセル垂直位置の１／４解像度サブピクセルｄの値は、水平方向の隣接する原画像ピクセルＡおよび１／２解像度サブピクセルｂを用いて、ｄ＝（Ａ＋ｂ）／２にしたがって計算される。同様に、１／４ピクセル水平位置および１／２ピクセル垂直位置の１／４解像度サブピクセルｇの値は、水平方向の２つの隣接する１／２解像度サブピクセルｂおよびｃを用いて、ｇ＝（ｂ＋ｃ）／２にしたがって計算される。

また、１ピクセル水平位置および１／４ピクセル垂直位置の１／４解像度サブピクセルｅの値は、垂直方向の隣接する原画像ピクセルＡおよび１／２解像度サブピクセルｂを用いて、ｅ＝（Ａ＋ｂ）／２にしたがって計算される。さらに、１／２ピクセル水平位置および１／４ピクセル垂直位置の１／４解像度サブピクセルｆは、垂直方向の２つの隣接する１／２解像度サブピクセルｂおよびｃを用いて、ｆ＝（ｂ＋ｃ）／２から決定される。すべての場合において、演算子／は切捨てを伴う除算を表す。
１／４水平位置および１／４垂直位置での１／４解像度サブピクセルの計算は、以下の通りである。

４． １／４ピクセル水平位置および１／４ピクセル垂直位置の１／４解像度サブピクセルｈは、対角線方向の２つの隣接する１／２解像度サブピクセルｂを用いて、ｈ＝（ｂ_１＋ｂ_２）／２にしたがって計算される。演算子／は切捨てを伴う除算を表す。
５． １／４解像度サブピクセルｉの値は、４つの最も近い原画像ピクセルＡを用いて、ｉ＝（Ａ_１＋Ａ_２＋Ａ_３＋Ａ_４＋２）／４から計算される。ここでも、演算子／は切捨てを伴う除算を表す。

次に、本発明の第１の好適な実施例における演算処理的な複雑性を分析する。
エンコーダでは同一のサブピクセル値が複数回計算されてしまう。したがって、前述したように、すべてのサブピクセル値を事前に計算し、メモリに格納することによって、エンコーダの複雑性を軽減することができる。しかし、この解決方法はメモリ消費を大幅に増やしてしまう。

本発明の好適な実施例においては、動きベクトルの精度は水平次元においても垂直次元においても１／４ピクセル解像度である。事前に計算した画像全体のサブピクセル値を格納するためには、原画像を格納するのに必要なメモリの１６倍のメモリが必要である。メモリ消費を削減するためには、１／２解像度サブピクセルを事前に補間し、１／４解像度サブピクセルをオンデマンドで、すなわち必要なときにのみ計算すればよい。

本発明の方法によれば、１／４解像度サブピクセルの値のオンデマンド補間に必要なのは、１／２解像度サブピクセルからの線形補間のみである。事前に計算した１／２解像度サブピクセルを格納する場合、これを表示するのに必要なのは８ビットのみであるため、必要とされるメモリは原画像メモリの４倍である。
しかし、事前補間により１／２解像度サブピクセルを事前に計算するのと同一の方法をＴＭＬ６の直接補間体系と併せて用いる場合、メモリの必要量は補間されていない原画像を格納するのに必要なメモリの９倍となる。これは、ＴＭＬ６の各１／２解像度サブピクセルに関連した高精度の中間値を格納するには大量のビットが必要であることに起因する。
さらに、動き補償の実行中に行われるサブピクセル補間は、ＴＭＬ６における場合より複雑である。これは、スケーリングとクリッピングとが１／２サブピクセル位置および１／４サブピクセル位置ごとに行われなければならないためである。

次に、本発明によるサブピクセル値補間方法の複雑性をビデオデコーダに適用した場合と、ＴＭＬ５およびＴＭＬ６で用いられる補間方法の場合とを比較する。以下の分析では、各方法によるサブピクセル値の補間は、正確に補間された値を得るのに必要な最小数の段階を経て行われる。
各方法は、特定のＮ×Ｍブロックで補間されるすべてのサブピクセルに共通の中間値が１度だけ計算されるような方法に基づいて、ブロック内で実行される。図１４にこの例を示す。図１４を参照すると、１／２解像度サブピクセルｃの４×４ブロックを計算するためには、最初に１／２解像度サブピクセルｂの９×４ブロックが計算されることがわかる。
ＴＭＬ５で用いられるサブピクセル補間方法と比較して、本発明による方法は、演算処理的な複雑性が低い。これは以下のような理由による。

１． ＴＭＬ５で用いられるサブピクセル値補間体系とは異なり、本発明の方法によると、垂直方向または水平方向でフィルタリングを行うことによって１／２解像度サブピクセルｃの値が得られる。したがって、１／４解像度サブピクセルｆが必要な場合には垂直方向で、１／４解像度サブピクセルｇが必要な場合には水平方向で、１／２解像度サブピクセルｃを補間すれば、操作の数を削減することができる。

図１５に１／４解像度サブピクセルｇを補間するために計算されなければならないすべての１／２解像度サブピクセルを示す。１／４解像度サブピクセルｇは、４×４の原画像ピクセルによって区画された画像ブロック内に位置し、ＴＭＬ５の補間方法（図１５（ａ））と、本発明による方法（図１５（ｂ））とを用いて計算される。
この例において、ＴＭＬ５によるサブピクセル値補間方法では、全部で８８個の１／２解像度サブピクセルを補間しなければならない。一方、本発明による方法では、７２個の１／２解像度サブピクセルを計算すればよい。図１５（ｂ）から明らかなように、本発明によれば、１／２解像度サブピクセルｃを水平方向に補間することによって、必要な計算の数を削減する。

２． 本発明の方法によると、１／４解像度サブピクセルｈは、対角線方向の２つの隣接する１／２解像度サブピクセルから線形補間によって計算される。図１６（ａ）および（ｂ）にそれぞれ示すのは、ＴＭＬ５によるサブピクセル値補間方法と本発明によるサブピクセル値補間方法とを用いて計算される１／２解像度サブピクセルの数である。
１／２解像度サブピクセルを計算することによって、原画像ピクセルの４×４のブロックにおける１／４解像度サブピクセルｈの値が得られる。ＴＭＬ５による方法を用いると、全部で５６個の１／２解像度サブピクセルを補間する必要がある。一方、本発明の方法によると、４０個の１／２解像度サブピクセルを補間すればよい。

表１に、ここで検討する３つのサブピクセル値補間方法によるデコーダの複雑性をまとめる。３つの方法とは、ＴＭＬ５による補間方法、ＴＭＬ６で用いられる直接補間方法および本発明による補間方法である。ここでは、６タップフィルタリングの回数および線形補間操作の回数によって複雑性を測定する。
１／４解像度サブピクセルｉの補間は、ｉ＝（Ａ_１＋Ａ_２＋Ａ_３＋Ａ_４＋２）／４により計算される。これは双一次補間で、２つの線形補間操作を効率的に備える。図１７には、原画像ピクセルの４×４の１つのブロックでサブピクセル値を補間するのに必要な操作を１５個のサブピクセル位置ごとに一覧で示す。各サブピクセル位置には、わかりやすいように番号を付す。

図１７を参照すると、位置１は原画像ピクセルＡの位置である。また、位置２乃至１６はサブピクセル位置である。位置１６は１／４解像度サブピクセルｉの位置である。平均操作回数を算出するために、動きベクトルが各サブピクセルを指す可能性は同一とする。したがって、複雑性の平均は、１５個の各サブピクセル位置の和と単一のフルピクセル位置との平均となる。

表１によると、本発明による方法に必要な６タップフィルタ操作の回数はＴＭＬ６によるサブピクセル値補間方法よりも少ない。また、追加的に行う線形補間操作もわずかである。６タップフィルタ操作は線形補間操作よりもずっと複雑であることから、２つの方法の複雑性は同程度である。これらに比べると、ＴＭＬ５によるサブピクセル値補間方法の複雑性はかなり高い。

次に、１／８ピクセル解像度サブピクセルの補間を行うための好適な実施例を図１８、１９および２０を参照して説明する。
図１８は、本発明による方法の拡張アプリケーションにおいて、ピクセル、１／２解像度サブピクセル、１／４解像度サブピクセル、１／８解像度サブピクセルの説明に用いられる用語を示している。

１． 図１８において、ｂ^１、ｂ^２、ｂ^３と表示された１／２解像度および１／４解像度サブピクセルは、初めに中間値ｂ^１′、ｂ^２′およびｂ^３′を計算することによって得られる。すなわち、ｂ^１′＝（−３Ａ_１＋１２Ａ_２−３７Ａ_３＋２２９Ａ_４＋７１Ａ_５−２１Ａ_６＋６Ａ_７−Ａ_８）と、ｂ^２′＝（−３Ａ_１＋１２Ａ_２−３９Ａ_３＋１５８Ａ_４＋１５８Ａ_５−３９Ａ_６＋１２Ａ_７−３Ａ_８）と、ｂ^３′＝（−Ａ_１＋６Ａ_２−２１Ａ_３＋７１Ａ_４＋２２９Ａ_５−３７Ａ_６＋１３Ａ_７−３Ａ_８）とから得られる。その際、１ピクセル水平位置および１ピクセル垂直位置の隣接する８つの画像ピクセル（Ａ_１乃至Ａ_８）の値を用いる。

これらのピクセルは、水平方向または垂直方向にｂ^１、ｂ^２、ｂ^３を含んでおり、１／２解像度サブピクセルｂ^２について対称に配置されている。中間値ｂ^１′およびｂ^３′を得るために用いられるフィルタ係数における非対称が原因となって、ピクセルＡ_１乃至Ａ_８は１／４解像度サブピクセルｂ^１およびｂ^３に対して対称ではない。
サブピクセルｂ^ｉ（ｉ＝１，２，３）の最終的な値は、ｂ^ｉ＝（ｂ^ｉ′＋１２８）／２５６にしたがって計算される。ここで、演算子／は切捨てを伴う除算を表す。結果はクリッピングされ、［０，２５５］の範囲内に収められる。

２． ｃ^ｉｊ（ｉ，ｊ＝１，２，３）と表示された１／２解像度サブピクセルおよび１／４解像度サブピクセルの値は、ｃ^１ｊ＝（−３ｂ_１′^ｊ＋１２ｂ_２′^ｊ−３７ｂ_３′^ｊ＋２２９ｂ_４′^ｊ＋７１ｂ_５′^ｊ−２１ｂ_６′^ｊ＋６ｂ_７′^ｊ−ｂ_８′^ｊ＋３２７６８）／６５５３６と、ｃ^２ｊ＝（−３ｂ_１′^ｊ＋１２ｂ_２′^ｊ−３９ｂ_３′^ｊ＋１５８ｂ_４′^ｊ＋１５８ｂ_５′^ｊ−３９ｂ_６′^ｊ＋１２ｂ_７′^ｊ−３ｂ_８′^ｊ＋３２７６８）／６５５３６と、ｃ^３ｊ＝（−ｂ_１′^ｊ＋６ｂ_２′^ｊ−２１ｂ_３′^ｊ＋７１ｂ_４′^ｊ＋２２９ｂ_５′^ｊ−３７ｂ_６′^ｊ＋１３ｂ_７′^ｊ−３ｂ_８′^ｊ＋３２７６８）／６５５３６とにしたがって計算される。その際、垂直方向の８つの隣接するサブピクセル（ｂ_１ ^ｊ乃至ｂ_８ ^ｊ）のために計算された中間値ｂ^１′、ｂ^２′、ｂ^３′を用いる。

縦方向に配置されたサブピクセルｂ^ｊは、１／２解像度および１／４解像度のサブピクセルｃ^ｉｊを備える。ｃ^ｉｊは補間され、１／２解像度サブピクセルｃ^２ｊについて対称に配置される。サブピクセル値ｃ^１ｊおよびｃ^３ｊを得るために用いられるフィルタ係数における非対称が原因となって、サブピクセルｂ_１ ^ｊ乃至ｂ_８ ^ｊは１／４解像度サブピクセルｃ^１ｊおよびｃ^３ｊに対して対称ではない。ここでも、演算子／は切捨てを伴う除算を表す。サブピクセルｃ^ｉｊの補間された値は、フレームメモリに格納される前に、クリッピングされ［０，２５５］の範囲内に収められる。
本発明の別の実施例においては、１／２解像度および１／４解像度のサブピクセルｃ^ｉｊは、水平方向の中間値ｂ^１′、ｂ^２′およびｂ^３′を用いて同様の方法で計算される。

３． １／８解像度サブピクセルｄは、水平方向または垂直方向で、最も近い画像ピクセルの値、１／２解像度サブピクセルまたは１／４解像度サブピクセルから、線形補間を用いて計算される。例えば、上左端の１／８解像度サブピクセルｄは、ｄ＝（Ａ＋ｂ^１＋１）／２にしたがって計算される。前述したように、演算子／は切捨てを伴う除算を表す。

４． １／８解像度サブピクセルｅおよびｆの値は、線形補間を用いて、隣接する画像ピクセル値、１／２解像度サブピクセルまたは１／４解像度サブピクセルから対角線方向で計算される。例えば、図１８を参照すると、上左端のピクセルである１／８解像度サブピクセルｅは、ｅ＝（ｂ^１＋ｂ^１＋１）／２にしたがって計算される。

本発明の第１の実施例において、各１／８解像度サブピクセルの補間に用いられる対角線方向を図１９（ａ）に示す。以降これを「好適な方法１」と称す。１／８解像度サブピクセルｇは、ｇ＝（Ａ＋３ｃ^２２＋３）／４にしたがって計算される。演算子／は切捨てを伴う除算を表す。

以降「好適な方法２」と称す本発明の別の実施例においては、演算処理的な複雑性は、１／２解像度サブピクセルｂ^２からの線形補間を用いて１／８解像度サブピクセルｆを補間することにより、さらに削減される。すなわち、ｆはｆ＝（３ｂ^２＋ｂ^２＋２）／４にしたがって求められる。ｆに近いサブピクセルｂ^２には３が掛けられる。本発明のこの実施例で用いられる対角線補間体系を図１９（ｂ）に示す。さらに別の実施例においては、異なる対角線補間体系も考えられる。

ピクセル値および／またはサブピクセル値の平均が１／８解像度サブピクセルの決定に用いられる場合、この平均はいずれも任意の適切な方法で形成される。平均の算出に用いられる値の和に１を加えると、切上げまたは切捨ての効果がもたらされる。切上げまたは切捨てを、該当する平均に続いて適用することにより、次に最も高い整数値が求められる。本発明の別の実施例においては、１の加算は行われない。

前述した１／４ピクセル解像度へのサブピクセル値補間の場合と同様、エンコーダにおいては、補間するサブピクセル値の一部だけを事前に計算することによりメモリの必要量を削減することができる。１／８ピクセル解像度へのサブピクセル値補間の場合には、１／２解像度サブピクセルおよび１／４解像度サブピクセルをすべて事前に計算し、１／８解像度サブピクセルの値が必要な場合にはオンデマンド方式で計算するのがよい。

このような手順を踏むと、ＴＭＬ５による補間方法も、本発明による補間方法も、１／２解像度サブピクセル値および１／４解像度サブピクセル値を格納するのに原画像メモリの１６倍のメモリを必要とする。しかし、同様の手順でＴＭＬ６による直接補間方法を用いると、１／２解像度サブピクセルおよび１／４解像度サブピクセルの中間値が格納されなければならない。これらの中間値は３２ビット精度で表される。その結果、補間されていない原画像の６４倍のメモリが必要となる。

以下、本発明によるサブピクセル値補間方法が１／８ピクセル解像度までのサブピクセル値を計算するビデオデコーダに適用された場合の複雑性を、ＴＭＬ５およびＴＭＬ６で用いられる補間体系の複雑性と比較する。１／４ピクセル解像度サブピクセル値補間の分析について説明したのと同様、各方法における任意のサブピクセル値補間は、正確に補間された値を得るのに必要な最小数の段階のみを経て実行される。また、各方法は、Ｎ×Ｍブロックにおいて補間されるすべてのサブピクセルに共通の中間値が１度だけ計算されるような方法に基づいて、ブロックで実装される。

表２に３つの補間方法の複雑性をまとめる。各方法において実行される８タップフィルタの数および線形補間操作の数という点から複雑性を測定する。
表２に示すのは、１つの原画像ピクセルの４×４ブロック中にある６３個の１／８解像度サブピクセルのそれぞれを補間するのに必要な操作の数である。各サブピクセル位置は、図２０に示した数によって特定される。

図２０において、位置１は原画像ピクセルの位置であり、位置２乃至６４はサブピクセル位置である。操作数の平均を計算するとき、動きベクトルが各サブピクセル位置を指す可能性は同一である。したがって、複雑性の平均は、６３個の各サブピクセル位置の和と単一のフルピクセル位置との平均である。

表２に見られるように、好適な方法１および２にしたがって実行される８タップフィルタリング操作の数は、ＴＭＬ５のサブピクセル値補間方法で行われる８タップフィルタリングの操作数よりもそれぞれ２６％および３４％少ない。また、好適な方法１および好適な方法２における線形補間操作の数はいずれも、ＴＭＬ５に比べて２５％少ない。しかし、この点は８タップフィルタリング操作における削減に比べればそれほど重要ではない。表２からは、ＴＭＬ６で用いられる直接補間方法が１／８解像度サブピクセルの値を補間するのに用いられる場合、その複雑性は好適な方法１および２と同等であることも読み取れる。

以上の説明から、当業者には、本発明の範囲内でさまざまな修正が行われ得ることは明らかである。本発明の好適な実施例のうちいくつかを詳述したが、多くの修正および変形が可能であり、こうした変形等はすべて本発明の範囲内にあるものとする。

従来技術による画像エンコーダを示す図。 従来技術による画像デコーダを示す図。 画像符号化で用いられるフレームのタイプを示す図。 （ａ）乃至（ｃ）は、ブロックマッチングの各段階を示す。 サブピクセル解像度への動き予測の過程を示す図。 本発明の方法を実装した画像符号化および復号化装置を備えた端末機を示す図。 本発明の実施例によるビデオエンコーダを示す図。 本発明の実施例によるビデオデコーダを示す図。 本発明の実施例による移動体通信網の概略図。 ＴＭＬ５に特異的なピクセル位置およびサブピクセル位置を説明する図。 １／２解像度サブピクセルの補間を示す図。 １／２解像度サブピクセルの補間を示す図。 ＴＭＬ６に特異的なピクセル位置およびサブピクセル位置を説明する図。 １／２解像度サブピクセルの補間を示す図。 １／２解像度サブピクセルの補間を示す図。 本発明に特異的なピクセル位置およびサブピクセル位置を説明する図。 本発明による１／２解像度サブピクセルの補間を示す図。 本発明による１／２解像度サブピクセルの補間を示す図。 サブピクセルの対角線上補間の選択肢を示す図。 別の１／２解像度サブピクセル値を計算するために必要な１／２解像度サブピクセル値を示す図。 （ａ）は、画像ブロックにおいて、ＴＭＬ５の補間方法を用いて１／４解像度サブピクセル値を補間するために計算されなければならない１／２解像度サブピクセル値を示す図、（ｂ）は、画像ブロックにおいて、本発明の補間方法を用いて１／４解像度サブピクセル値を補間するために計算されなければならない１／２解像度サブピクセル値を示す図。 （ａ）は、画像ブロックにおいて、ＴＭＬ５のサブピクセル値補間方法を用いて１／４解像度サブピクセルの値を求めるために計算されなければならない１／２解像度サブピクセルの数を示す図、（ｂ）は、画像ブロックにおいて、本発明のサブピクセル値補間方法を用いて１／４解像度サブピクセルの値を求めるために計算されなければならない１／２解像度サブピクセルの数を示す図。 １５個のサブピクセル位置のそれぞれに番号を付した図。 ピクセル、１／２解像度サブピクセル、１／４解像度サブピクセル、１／８解像度サブピクセルの説明に用いられる用語を示す図。 （ａ）は、本発明の実施例における各１／８解像度サブピクセルの補間に用いられる対角線の方向を示す図、（ｂ）は、本発明の別の実施例における各１／８解像度サブピクセルの補間に用いられる対角線の方向を示す図。 画像中の１／８解像度サブピクセルの説明に用いられる用語を示す図。

Claims (80)

1. 画像を補間する方法であって、
   前記画像が、縦横に配列され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
   前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
   前記画像はサブピクセルのサブピクセル値を発生し、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
   前記端数ピクセル水平位置および端数ピクセル垂直位置は数学的表記１／２^ｘにしたがって表され、ここでｘは１乃至Ｎの範囲内の正の整数であり、１／２^ｘは端数ピクセル補間の特定のレベルを表し、Ｎは端数ピクセル補間の最大レベルを表すことであって、
   前記方法は、
   ａ）第１中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値とを、１ピクセル水平位置および１ピクセル垂直位置にそれぞれ存在するピクセルのピクセル値の加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨てることと、の段階と、
   ｂ）第２中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の第１加重合計か、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の第２加重合計のいずれか１つを用いて補間することであって、第１および第２加重合計は段階ａ）に従って求められ、前記第２中間サブピクセル値は、前記第１または第２加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記第１または第２加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨てることと、の前記段階と、
   ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を補間する段階であって、前記補間する段階は、
   １／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルの切り捨てられたサブピクセル値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルの切り捨てられたサブピクセル値との加重平均、または、
   １ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との加重平均
   のいずれかをとることによる、ただし、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内の整数値をとり、第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルに対して対角線上に位置する、前記補間する段階と、
   を備えることを特徴とする方法。
2. 請求項１に記載の方法において、
   第１および第２加重は前記段階ｃ）に記載の加重平均において用いられ、前記加重の相対値は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルと、前記段階ｃ）で用いられる第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々との対角直線上の近接性に依存することを特徴とする方法。
3. 請求項２に記載の方法において、
   前記段階ｃ）で用いられる第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々が、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルについて対称的に配置されており、
   前記第１加重と第２加重とは等しい値を有することを特徴とする方法。
4. 請求項１に記載の方法において、
   前記段階ｂ）における第１加重合計が、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値が補間されるときに用いられることを特徴とする方法。
5. 請求項１に記載の方法において、
   前記段階ｂ）における第２加重合計が、１／２^Ｎピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値が補間されるときに用いられることを特徴とする方法。
6. 請求項１に記載の方法において、
   前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間することを含むことを特徴とする方法。
7. 請求項１に記載の方法において、
   前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間することを含むことを特徴とする方法。
8. 請求項１に記載の方法において、
   １／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の所定のサブピクセルのサブピクセル値を、請求項１に記載の段階ｃ）の例外として、前記補間されるサブピクセルの最隣接ピクセルである複数のピクセルのピクセル値の平均をとることによって補間することを含むことを特徴とする方法。
9. 請求項１に記載の方法において、
   Ｎは、２、３、４のいずれか１つの整数値に等しいことを特徴とする方法。
10. 請求項１に記載の方法において、
    前記第１中間サブピクセル値のダイナミックレンジは、前記段階ａ）の加重合計で用いられる各々のピクセルのピクセル値を表示するために用いられるビット数と、前記段階ａ）の加重合計で用いられる各々の加重の合計を表示するために必要なビット数との和によって定義される、
    ことを特徴とする方法。
11. 請求項１に記載の方法において、
    前記第１中間サブピクセル値を第１スケールファクタで数学的に除することによって、前記第１中間サブピクセル値を切り捨てることを含み、
    前記第１スケールファクタは前記段階ａ）の加重合計で用いられる各々の加重の合計に等しい値を有すること、
    を備えることを特徴とする方法。
12. 請求項１に記載の方法において、
    前記第２中間サブピクセル値を第２スケールファクタで数学的に除することによって、前記第２中間サブピクセル値を切り捨てることを含み、ここで、前記第２スケールファクタは、
    前記段階ａ）の加重合計で用いられる各々の加重の合計に等しい値に前記段階ｂ）の第１または第２加重合計で用いられる各々の加重の合計に等しい値を乗じた値に等しい値を有すること、
    を特徴とする方法。
13. 画像を補間する方法であって、
    前記画像は、縦横に配列され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
    前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
    サブピクセルのサブピクセル値を発生させ、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
    前記方法は、
    ａ）第１中間サブピクセル値を求めるために、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルのサブピクセル値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルにそれぞれ存在するピクセル値の加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨てることと、の段階と、
    ｂ）第２中間サブピクセル値を求めるために、１／２ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルのサブピクセル値を、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の第１加重合計か、１ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルの補間値の第２加重合計のいずれか１つを用いて補間する段階であって、第１加重合計および第２加重合計は前記段階ａ）に従って求められ、前記第２中間サブピクセル値は、前記第１または第２加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記第１または第２加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨てることと、の前記段階と、
    ｃ）１／４ピクセル水平位置および１／４ピクセル垂直位置の特定のサブピクセルのサブピクセル値を、少なくとも１組の値の加重平均をとることによって補間する段階であって、
    ここで前記少なくとも１組とは、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値と、１ピクセル水平位置および１／２ピクセル垂直位置の対角線上で対向するサブピクセルの切り捨てられたサブピクセル値とから成る第１組と、１ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２ピクセル水平位置および１／２ピクセル垂直位置の対角線上反対側のサブピクセルの切り捨てられたサブピクセル値とから成る第２組とのうちの少なくとも１組であり、
    前記第１組および第２組は補間されるサブピクセルに対して相互に対角線上に位置する、前記補間する段階と、
    を備えることを特徴とする方法。
14. 画像を補間するための補間器であって、
    前記画像が、縦横に配置され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
    前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
    前記補間器は、端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルのサブピクセル値を発生するよう構成され、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
    前記端数ピクセル水平位置および端数ピクセル垂直位置は数学的表記１／２^ｘにしたがって表され、ここでｘは１乃至Ｎの範囲内の正の整数であり、１／２^ｘは端数ピクセル補間の特定のレベルを表し、Ｎは端数ピクセル補間の最大レベルを表すことであって、
    前記補間器は、
    ａ）第１中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値とを、１ピクセル水平位置および１ピクセル垂直位置にそれぞれ存在するピクセルのピクセル値の加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間をし、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨て、
    ｂ）第２中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値を、それぞれ１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値から成る第１加重合計か、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの補間値から成る第２加重合計のいずれか１つを用いて補間することであって、前記第１および第２加重合計は前記ａ）に従って求められ、前記第２中間サブピクセル値は、前記第１または第２加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記第１または第２加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間をし、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨て、
    ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を補間し、ここで、
    １／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルの切り捨てられたサブピクセル値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルの切り捨てられたサブピクセル値との加重平均、または、１ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との加重平均のいずれかをとることによる、ただし、
    変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内で整数値をとり、第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルに対して対角線上に位置することとする、前記補間する
    よう構成されることを特徴とする補間器。
15. 請求項１４に記載の補間器において、
    前記補間器は、第１および第２加重を前記段階ｃ）に記載の加重平均において用いるように構成され、
    前記加重の相対値は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルと、前記段階ｃ）で用いられる第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々との対角直線上の近接性に依存することを特徴とする補間器。
16. 請求項１５に記載の補間器において、
    前記段階ｃ）で用いられる第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々が、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルについて対称的に配置されており、
    等しい値を有する前記第１加重と第２加重を使用するように構成されることを特徴とする補間器。
17. 請求項１４に記載の補間器において、前記補間器は、前記段階ｂ）における第１加重合計を、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値が補間されるときに用いるよう構成されることを特徴とする補間器。
18. 請求項１４に記載の補間器において、前記補間器は、前記段階ｂ）における第２加重合計を、１／２^Ｎピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値が補間されるときに用いるよう構成されることを特徴とする補間器。
19. 請求項１４に記載の補間器において、前記補間器は、前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間するよう構成されることを特徴とする補間器。
20. 請求項１４に記載の補間器において、前記補間器は、前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間するよう構成されることを特徴とする補間器。
21. 請求項１４に記載の補間器において、前記補間器は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の所定のサブピクセルのサブピクセル値を、請求項１４に記載の段階ｃ）の例外として、前記補間されるサブピクセルの最隣接ピクセルである複数のピクセルのピクセル値の平均をとることによって補間することを特徴とする補間器。
22. 請求項１４に記載の補間器において、Ｎは、２、３、４のいずれか１つの整数値であることを特徴とする補間器。
23. 請求項１４に記載の補間器において、
    前記第１中間サブピクセル値のダイナミックレンジは、前記段階ａ）の加重合計で用いられる各々のピクセルのピクセル値を表示するために用いられるビット数と、前記段階ａ）の加重合計で用いられる各々の加重の合計を表示するために必要なビット数との和によって定義される、
    ことを特徴とする補間器。
24. 請求項１４に記載の補間器において、
    前記第１中間サブピクセル値を第１スケールファクタで数学的に除することによって、前記第１中間サブピクセル値を切り捨てるように構成され、ここで、
    前記第１スケールファクタは、前記段階ａ）の加重合計で用いられる各々の加重の合計に等しい値を有すること、
    を特徴とする補間器。
25. 請求項１４に記載の補間器において、
    前記第２中間サブピクセル値を第２スケールファクタで数学的に除することによって、前記第２中間サブピクセル値を切り捨てるように構成され、ここで前記第２スケールファクタは、
    前記段階ａ）の加重合計で用いられる各々の加重の合計に等しい値に前記段階ｂ）の加重合計で用いられる各々の加重の合計に等しい値を乗じた値に等しい値を有すること、
    を特徴とする補間器。
26. 請求項１４乃至２５のいずれかに記載の補間器を備えることを特徴とするビデオエンコーダ、ビデオデコーダ、コーデックまたは通信端末。
27. 画像を補間するためのコンピュータプログラムであって、
    前記画像が、縦横に配列され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
    前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
    前記画像はサブピクセルのサブピクセル値を発生し、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
    前記端数ピクセル水平位置および端数ピクセル垂直位置は数学的表記１／２^ｘにしたがって表され、ここでｘは１乃至Ｎの範囲内の正の整数であり、１／２^ｘは端数ピクセル補間の特定のレベルを表し、Ｎは端数ピクセル補間の最大レベルを表すことであって、
    前記コンピュータプログラムは、
    ａ）第１中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値とを、１ピクセル水平位置および１ピクセル垂直位置にそれぞれ存在するピクセルのピクセル値の加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨てることと、のコードと、
    ｂ）第２中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の第１加重合計か、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の第２加重合計のいずれか１つを用いて補間するコードであって、第１および第２加重合計は段階ａ）に従って求められ、前記第２中間サブピクセル値は、前記第１または第２加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記第１または第２加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨てることと、のコードと、
    ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を補間するコードであって、前記補間するコードは、
    １／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルの切り捨てられたサブピクセル値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルの切り捨てられたサブピクセル値との加重平均、または、
    １ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との加重平均
    のいずれかをとることによる、ただし、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内の整数値をとり、第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルに対して対角線上に位置する、前記補間するコードと、
    を備えることを特徴とするコンピュータプログラム。
28. 画像を補間する方法であって、
    前記画像が、縦横に配列され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
    前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
    サブピクセルのサブピクセル値を発生し、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
    前記端数ピクセル水平位置および端数ピクセル垂直位置は数学的表記１／２^ｘにしたがって表され、ここでｘは１乃至Ｎの範囲内の正の整数であり、１／２^ｘは端数ピクセル補間の特定のレベルを表し、Ｎは端数ピクセル補間の最大レベルを表すことであって、
    前記方法は、
    ａ）第１中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値とを、１ピクセル水平位置および１ピクセル垂直位置にそれぞれ存在するピクセルのピクセル値の加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨てることと、の段階と、
    ｂ）第２中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値を、段階ａ）で求められる１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の加重合計を用いて補間することであって、前記第２中間サブピクセル値は、前記加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨てることと、の段階と、
    ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を補間する段階であって、前記補間する段階は、
    １／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルの切り捨てられたサブピクセル値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルの切り捨てられたサブピクセル値との加重平均、または、
    １ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との加重平均
    のいずれかを用いて補間することによる、ただし、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内の整数値をとり、第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルに対して対角線上に位置する、前記補間する段階と、
    を備えることを特徴とする方法。
29. 請求項２８に記載の方法において、
    第１および第２加重は前記段階ｃ）に記載の加重平均において用いられ、
    前記加重の相対値は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルと、前記段階ｃ）で用いられる第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々との対角直線上の近接性に依存することを特徴とする方法。
30. 請求項２９に記載の方法において、
    前記段階ｃ）で用いられる第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々が、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルについて対称的に配置されており、
    前記第１加重と第２加重とは等しい値を有することを特徴とする方法。
31. 請求項２８に記載の方法において、
    前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間することを含むことを特徴とする方法。
32. 請求項２８に記載の方法において、
    前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間することを含むことを特徴とする方法。
33. 請求項２８に記載の方法において、
    Ｎは、２、３、４のいずれか１つの整数値に等しいことを特徴とする方法。
34. 画像を補間する方法であって、
    前記画像は、縦横に配列され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
    前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
    サブピクセルのサブピクセル値を発生し、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
    前記方法は、
    ａ）第１中間サブピクセル値を求めるために、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルのサブピクセル値とを、１ピクセル水平位置および１ピクセル垂直位置のそれぞれに存在するピクセルの加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨てることと、の段階と、
    ｂ）第２中間サブピクセル値を求めるために１／２ピクセル水平位置および１／２ピクセル垂直位置のサブピクセルのサブピクセル値を、前記段階ａ）で求められる１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の加重合計を用いて補間することであって、前記第２中間サブピクセル値は、前記加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨てることと、の段階と、
    ｃ）１／４ピクセル水平位置および１／４ピクセル垂直位置のサブピクセルのサブピクセル値を、少なくとも１組の値の加重平均をとることによって補間する段階であって、
    ここで前記少なくとも１組とは、１／２ピクセル水平位置および１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値と、１ピクセル水平位置および１／２ピクセル垂直位置の対角線上で対向するサブピクセルの切り捨てられたサブピクセル値とから成る第１組と、１ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２ピクセル水平位置および１／２ピクセル垂直位置の対角線上で対向するサブピクセルの切り捨てられたサブピクセル値とから成る第２組とのうちの少なくとも１組であり、
    前記第１組および第２組は補間されているサブピクセルに関し相互に対角線上に位置する
    前記補間する段階と、
    を特徴とする方法。
35. 画像を補間するための補間器であって、
    前記画像が、縦横に配置され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
    前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
    前記補間器は、端数ピクセル水平位置および端数ピクセル垂直位置のサブピクセルのサブピクセル値を発生するよう構成され、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
    前記端数ピクセル水平位置および端数ピクセル垂直位置は数学的表記１／２^ｘにしたがって表され、ここでｘは１乃至Ｎの範囲内の正の整数であり、１／２^ｘは端数ピクセル補間の特定のレベルを表し、Ｎは端数ピクセル補間の最大レベルを表すことであって、
    前記補間器は、
    ａ）第１中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値とを、１ピクセル水平位置および１ピクセル垂直位置にそれぞれ存在するピクセルの加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間をし、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨て、
    ｂ）第２中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値を、前記段階ａ）で求められる１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の加重合計を用いて補間することであって、前記第２中間サブピクセル値は、前記加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間し、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨て、
    ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を補間し、ここで、
    １／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置の第１サブピクセルの切り捨てられたサブピクセル値と、１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置の第２サブピクセルの切り捨てられたサブピクセル値との加重平均、または、
    １ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との加重平均
    のいずれかをとることによる、ただし、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内で整数値をとり、第１および第２各々のサブピクセルまたはピクセルおよびサブピクセルの各々は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルに対して対角線上に位置することとする、前記補間する
    よう構成されることを特徴とする補間器。
36. 請求項３５に記載の補間器において、
    前記補間器は、第１および第２加重を前記段階ｃ）に記載の加重平均において用いるよう構成され、
    前記加重の相対値は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルと、前記段階ｃ）で用いられる第１および第２サブピクセルまたはピクセルの各々との対角直線上の近接性に依存することを特徴とする補間器。
37. 請求項３６に記載の補間器において、
    前記補間器は、前記段階ｃ）で用いられる第１および第２サブピクセルまたはピクセルおよびサブピクセルの各々が、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルについて対称的に配置されている状況において、等しい値を有する前記第１加重と第２加重とを用いるよう構成されていることを特徴とする補間器。
38. 請求項３５に記載の補間器において、
    前記補間器は、前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間するよう構成されていることを特徴とする補間器。
39. 請求項３５に記載の補間器において、
    前記補間器は、前記段階ｃ）における１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との平均をとることによって補間するよう構成されていることを特徴とする補間器。
40. 請求項３５に記載の補間器において、
    前記補間器は、２、３、４のいずれか１つの整数値であるＮの値を用いるよう構成されていることを特徴とする補間器。
41. 請求項３５乃至４０のいずれかに記載の補間器を備えることを特徴とするビデオエンコーダ、ビデオデコーダ、コーデックまたは通信端末。
42. 画像を補間するためのコンピュータプログラムであって、
    前記画像が、縦横に配列され所定のダイナミックレンジを有するピクセル値によって表されるピクセルであって、前記所定のダイナミックレンジは前記ピクセルがとることのできる値の範囲に相当する、前記ピクセルを備え、
    前記ピクセルは１ピクセル水平位置および１ピクセル垂直位置にあり、
    サブピクセルのサブピクセル値を発生し、ここでサブピクセルは端数ピクセル水平位置および端数ピクセル垂直位置のうち少なくとも１つを有する位置にあって、
    前記端数ピクセル水平位置および端数ピクセル垂直位置は数学的表記１／２^ｘにしたがって表され、ここでｘは１乃至Ｎの範囲内の正の整数であり、１／２^ｘは端数ピクセル補間の特定のレベルを表し、Ｎは端数ピクセル補間の最大レベルを表すことであって、
    前記コンピュータプログラムは、
    ａ）第１中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルのサブピクセル値と、１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値とを、１ピクセル水平位置および１ピクセル垂直位置のそれぞれに存在するピクセルのピクセル値の加重合計を用いて補間することであって、前記第１中間サブピクセル値は、前記所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第１中間サブピクセル値を切り捨てることと、のコードと、
    ｂ）第２中間サブピクセル値を求めるために、１／２^Ｎ−１ピクセル水平位置および１／２^Ｎ−１ピクセル垂直位置のサブピクセルのサブピクセル値を、段階ａ）で求められる１／２^Ｎ−１ピクセル水平位置および１ピクセル垂直位置のサブピクセルの第１中間サブピクセル値の加重合計を用いて補間することであって、前記第２中間サブピクセル値は、前記加重合計に用いられる第１中間サブピクセル値の所定のダイナミックレンジに、前記加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記所定のダイナミックレンジを有する、切り捨てられたサブピクセル値を求めるために、前記第２中間サブピクセル値を切り捨てることと、のコードと、
    ｃ）１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置のサブピクセルのサブピクセル値を補間するコードであって、ここで、
    第１サブピクセル又はピクセルすなわち１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置のピクセルの切り捨てられたサブピクセル値と、第２サブピクセル又はピクセルすなわち１／２^Ｎ−ｐピクセル水平位置および１／２^Ｎ−ｑピクセル垂直位置のピクセルの切り捨てられたサブピクセル値との加重平均、または、
    １ピクセル水平位置および１ピクセル垂直位置のピクセルのピクセル値と、１／２^Ｎ−ｍピクセル水平位置および１／２^Ｎ−ｎピクセル垂直位置のサブピクセルの切り捨てられたサブピクセル値との加重平均
    のいずれかをとることによる、ただし、変数ｍ、ｎ、ｐ、ｑは１乃至Ｎの範囲内の整数値をとり、第１サブピクセルおよび第２サブピクセル各々のまたはピクセルおよびサブピクセルの各々は、１／２^Ｎピクセル水平位置および１／２^Ｎピクセル垂直位置の補間されるサブピクセルに対して対角線上に位置することとする、前記補間するコードと、
    を備えることを特徴とするコンピュータプログラム。
43. 各コーナー間に中間ピクセルを有さない４つのコーナーピクセルにより区画される長方形に境された領域の内部に位置するサブピクセルのサブピクセル値を決定するためのサブピクセル値補間方法において、
    前記ピクセルは、前記ピクセルがとることのできる値の範囲に相当する所定のダイナミックレンジを伴うピクセル値を有し、
    ピクセルおよびサブピクセルは行列に配置され、前記ピクセルおよびサブピクセルの位置は前記長方形に境された領域の内部で座標表記Ｋ／２^Ｎ，Ｌ／２^Ｎを用いて数学的に表現可能であり、ＫおよびＬは各々ゼロと２^Ｎとの間の値を有する正の整数であり、Ｎは１よりも大きい正の整数であってサブピクセル値補間の特定の程度を表し、
    前記方法は：
    第１中間値を生成するために、偶数値に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルと、ゼロに等しいＫおよび偶数値に等しいＬの座標を有するサブピクセルとについて、それぞれ行および列に位置するピクセルの値の第１加重合計を用いてサブピクセル値を補間することであって、前記第１中間値は、前記所定のダイナミックレンジに、前記第１加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記第１中間値を第１スケールファクタで数学的に除することによって、前記第１中間値を切り捨てることであって、前記第１スケールファクタは、前記ピクセルの所定のダイナミックレンジに等しいダイナミックレンジを有する、切り捨てられた補間サブピクセル値を形成するために、前記第１加重合計に用いられる各々の加重の合計に等しい値を有する、前記切り捨てることと、の段階と；
    第２中間値を生成するために、偶数値に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計か、または、ゼロに等しいＫおよび偶数値に等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計かのうち、選択した１つを用いて、偶数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間することであって、前記第２中間値は、前記第２加重合計に用いられる第１中間値の所定のダイナミックレンジに、前記第２加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記第２中間値を第２スケールファクタで数学的に除することによって、前記第２中間値を切り捨てることであって、前記第２スケールファクタは、前記ピクセルの所定のダイナミックレンジに等しいダイナミックレンジを有する、切り捨てられた補間サブピクセル値を形成するために、前記第１加重合計に用いられる各々の加重の合計に、前記第２加重合計に用いられる各々の加重の合計を乗じたものに等しい値を有する、前記切り捨てることと、の段階と；
    最隣接するピクセルのピクセル値と座標１／２，１／２に位置するサブピクセルの切り捨てられた補間サブピクセル値との加重平均と、座標１／２，１／２を有する前記サブピクセルと前記最隣接するピクセルとによって区画される長方形に境された領域の象限内に位置し、ゼロを含む偶数値のＫおよびＬの座標を有する１組の対角線上に対向するサブピクセルの切り捨てられた補間サブピクセル値の加重平均とのうち、選択した１つに従って、奇数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間する段階と；
    を含むことを特徴とする方法。
44. 請求項４３に記載の方法において、
    いずれも奇数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間するために選択された加重平均の第１加重および第２加重を用いる段階を備え、前記選択された加重平均が、最隣接するピクセルの値と座標１／２，１／２に位置するサブピクセルの切り捨てられた補間サブピクセル値との加重平均である場合に、前記最隣接するピクセルと前記座標１／２，１／２に位置するサブピクセルとのそれぞれの直線的な対角距離に反比例するように、サブピクセル値を補間中の前記いずれも奇数値のＫおよびＬの座標を有するサブピクセルに対する前記第１加重および第２加重の相対的な大きさを選択することを特徴とする方法。
45. 請求項４３に記載の方法において、
    いずれも奇数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間するために選択された加重平均に第１加重および第２加重を用いる段階を備え、前記選択された加重平均が、いずれも偶数値のＫおよびＬの座標を有する１組の対角線的に対向するサブピクセルの切り捨てられた補間サブピクセル値の加重平均である場合に、いずれも偶数値のＫおよびＬの座標を有するサブピクセルのそれぞれの直線的な対角距離に反比例するように、サブピクセル値を補間中の前記いずれも奇数値のＫおよびＬの座標を有するサブピクセルに対する前記第１加重および第２加重の相対的な大きさを選択することを特徴とする方法。
46. 請求項４４に記載の方法において、
    最隣接するピクセルと座標１／２，１／２に位置するサブピクセルとが、サブピクセル値を補間中のいずれも奇数値のＫおよびＬの座標を有するサブピクセルから等距離にある場合、等しい値の第１加重および第２加重を用いる段階を含むことを特徴とする方法。
47. 請求項４５に記載の方法において、
    いずれも偶数値のＫおよびＬの座標を有する複数のサブピクセルが、サブピクセル値を補間中のいずれも奇数値のＫおよびＬの座標を有するサブピクセルから等距離にある場合、等しい値の第１加重および第２加重を用いる段階を含むことを特徴とする方法。
48. 請求項４３に記載の方法において、
    ある偶数値に等しいＫおよびある奇数値に等しいＬの座標を有するサブピクセルのサブピクセル値も必要である場合に、ある偶数値に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計を用いて、いずれも偶数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
49. 請求項４３に記載の方法において、
    ある奇数値に等しいＫおよびある偶数値に等しいＬの座標を有するサブピクセルのサブピクセル値も必要である場合に、ゼロに等しいＫおよびある偶数値に等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計を用いて、いずれも偶数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
50. 請求項４３に記載の方法において、
    ゼロに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と、２に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、１に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
51. 請求項４３に記載の方法において、
    ２^Ｎに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と、２^Ｎ−２に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、２^Ｎ−１に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
52. 請求項４３に記載の方法において、
    ゼロに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルのピクセル値と、２に等しいＫおよび２^Ｎに等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、１に等しいＫと２^Ｎに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
53. 請求項４３に記載の方法において、
    ２^Ｎに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルのピクセル値と、２^Ｎ−２に等しいＫおよび２^Ｎに等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、２^Ｎ−１に等しいＫおよび２^Ｎに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
54. 請求項４３に記載の方法において、
    ゼロに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と、ゼロに等しいＫおよび２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、ゼロに等しいＫおよび１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
55. 請求項４３に記載の方法において、
    ２^Ｎに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と、２^Ｎに等しいＫおよび２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、２^Ｎに等しいＫおよび１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
56. 請求項４３に記載の方法において、
    ゼロに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルのピクセル値と、ゼロに等しいＫおよび２^Ｎ−２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、ゼロに等しいＫおよび２^Ｎ−１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
57. 請求項４３に記載の方法において、
    ２^Ｎに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルのピクセル値と、２^Ｎに等しいＫおよび２^Ｎ−２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、２^Ｎに等しいＫおよび２^Ｎ−１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
58. 請求項４３に記載の方法において、
    長方形に境された領域を区画する４つのコーナーピクセルのピクセル値の加重平均をとることによって、２^Ｎ−１に等しいＫおよび２^Ｎ−１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間する段階を備えることを特徴とする方法。
59. 請求項４３に記載の方法において、
    ２，３，４の値からなるリストからＮの値を選択する段階を備えることを特徴とする方法。
60. 請求項４３に記載の方法において、
    前記第１中間値のダイナミックレンジは、前記第１加重合計で用いられる各々のピクセルのピクセル値を表示するために用いられるビット数と、前記第１加重合計で用いられる各々の加重の合計を表示するために必要なビット数との和によって定義される、
    ことを特徴とする方法。
61. サブピクセル値補間のための補間器であって、前記補間器は各コーナー間に中間ピクセルを有さない４つのコーナーピクセルにより区画される長方形に境された領域の内部に位置するサブピクセルのサブピクセル値を決定するよう構成され、
    前記ピクセルは、前記ピクセルがとることのできる値の範囲に相当する所定のダイナミックレンジを伴うピクセル値を有し、
    ピクセルおよびサブピクセルは行列に配置され、前記ピクセルおよびサブピクセルの位置は前記長方形に境された領域の内部で座標表記Ｋ／２^Ｎ，Ｌ／２^Ｎを用いて数学的に表現可能であり、ＫおよびＬは各々ゼロと２^Ｎとの間の値を有する正の整数であり、Ｎは１よりも大きい正の整数であってサブピクセル値補間の特定の程度を表し、前記補間器は：
    最隣接するピクセルの値と座標１／２，１／２に位置するサブピクセルの値との加重平均と、座標１／２，１／２を有する前記サブピクセルと前記最隣接するピクセルとによって区画される長方形に境された領域の象限内に位置し、ゼロを含む偶数値のＫおよびＬの座標を有する１組の対角線上に対向するサブピクセルの値の加重平均とのうち、選択した１つに従って、奇数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間し；
    第１中間値を生成するために、偶数値に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルと、ゼロに等しいＫおよび偶数値に等しいＬの座標を有するサブピクセルとについて、それぞれ行および列に位置するピクセルの値の第１加重合計を用いてサブピクセル値を補間することであって、前記第１中間値は、前記所定のダイナミックレンジに、前記第１加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記第１中間値を第１スケールファクタで数学的に除することによって、前記第１中間値を切り捨てることであって、前記第１スケールファクタは、前記ピクセルの所定のダイナミックレンジに等しいダイナミックレンジを有する、切り捨てられた補間サブピクセル値を形成するために、前記第１加重合計に用いられる各々の加重の合計に等しい値を有する、前記切り捨てをし；
    第２中間値を生成するために、偶数値に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計か、または、ゼロに等しいＫおよび偶数値に等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計かのうち、選択した１つを用いて、偶数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間することであって、前記第２中間値は、前記第２加重合計に用いられる第１中間値の所定のダイナミックレンジに、前記第２加重合計に用いられる各々の加重の合計に等しい値を乗じたものと等しいダイナミックレンジを有する、前記補間することと、前記第２中間値を第２スケールファクタで数学的に除することによって、前記第２中間値を切り捨てることであって、前記第２スケールファクタは、前記ピクセルの所定のダイナミックレンジに等しいダイナミックレンジを有する、切り捨てられた補間サブピクセル値を形成するために、前記第１加重合計に用いられる各々の加重の合計に、前記第２加重合計に用いられる各々の加重の合計を乗じたものに等しい値を有する、前記切り捨てをし；
    最隣接するピクセルのピクセル値と座標１／２，１／２に位置するサブピクセルの切り捨てられた補間サブピクセル値との加重平均と、座標１／２，１／２を有する前記サブピクセルと前記最隣接するピクセルとによって区画される長方形に境された領域の象限内に位置し、ゼロを含む偶数値のＫおよびＬの座標を有する１組の対角線上に対向するサブピクセルの切り捨てられた補間サブピクセル値の加重平均とのうち、選択した１つに従って、奇数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間する；
    よう構成されることを特徴とする補間器。
62. 請求項６１に記載の補間器において、前記補間器は、いずれも奇数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間するために選択された加重平均に第１加重および第２加重を用いるように構成され、前記選択された加重平均が、隣接するピクセルの値と座標１／２，１／２に位置するサブピクセルの切り捨てられた補間サブピクセル値との加重平均である場合に、前記補間器は、前記隣接するピクセルと前記座標１／２，１／２に位置するサブピクセルとのそれぞれの直線的な対角距離に反比例するように、サブピクセル値を補間中の前記いずれも奇数値のＫおよびＬの座標を有するサブピクセルに対する前記第１加重および第２加重の相対的な大きさを選択するよう構成されることを特徴とする補間器。
63. 請求項６１に記載の補間器において、
    前記補間器は、いずれも奇数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間するために選択された加重平均に第１加重および第２加重を用いるように構成され、前記選択された加重平均が、いずれも偶数値のＫおよびＬの座標を有する１組の対角線上に対向するサブピクセルの切り捨てられた補間サブピクセル値の加重平均である場合に、前記補間器は、いずれも偶数値のＫおよびＬの座標を有するサブピクセルのそれぞれの直線的な対角距離に反比例するように、サブピクセル値を補間中の前記いずれも奇数値のＫおよびＬの座標を有するサブピクセルに対する前記第１加重および第２加重の相対的な大きさを選択するよう構成されることを特徴とする補間器。
64. 請求項６２に記載の補間器において、
    前記補間器は、隣接するピクセルと座標１／２，１／２に位置するサブピクセルとが、サブピクセル値を補間中のいずれも奇数値のＫおよびＬの座標を有するサブピクセルから等距離にあるとき、等しい値の第１加重および第２加重を用いるように構成されることを特徴とする補間器。
65. 請求項６３に記載の補間器において、
    前記補間器は、いずれも偶数値のＫおよびＬの座標を有するサブピクセルが、サブピクセル値を補間中のいずれも奇数値のＫおよびＬの座標を有するサブピクセルから等距離にあるとき、等しい値の第１加重および第２加重を用いるように構成されることを特徴とする補間器。
66. 請求項６１に記載の補間器において、
    前記補間器は、ある偶数値に等しいＫおよびある奇数値に等しいＬの座標を有するサブピクセルのサブピクセル値も必要である場合に、ある偶数値に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計を用いて、いずれも偶数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間するように構成されることを特徴とする補間器。
67. 請求項６１に記載の補間器において、
    前記補間器は、ある奇数値に等しいＫおよびある偶数値に等しいＬの座標を有するサブピクセルのサブピクセル値も必要である場合に、ゼロに等しいＫおよびある偶数値に等しいＬの座標を有するサブピクセルの第１中間値と、隣接する長方形に境された領域において対応する座標を有するサブピクセルの第１中間値との第２加重合計を用いて、いずれも偶数値のＫおよびＬの座標を有するサブピクセルについてサブピクセル値を補間するように構成されることを特徴とする補間器。
68. 請求項６１に記載の補間器において、
    前記補間器は、ゼロに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と２に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、１に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するよう構成されることを特徴とする補間器。
69. 請求項６１に記載の補間器において、
    前記補間器は、２^Ｎに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と、２^Ｎ−２に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、２^Ｎ−１に等しいＫおよびゼロに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するよう構成されることを特徴とする補間器。
70. 請求項６１に記載の補間器において、
    ゼロに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルのピクセル値と、２に等しいＫおよび２^Ｎに等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、１に等しいＫおよび２^Ｎに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するように構成されることを特徴とする補間器。
71. 請求項６１に記載の補間器において、
    前記補間器は、２^Ｎに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルの値と、２^Ｎ−２に等しいＫおよび２^Ｎに等しいＬの座標を有するサブピクセルの値との平均をとることによって、２^Ｎ−１に等しいＫおよび２^Ｎに等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するように構成されることを特徴とする補間器。
72. 請求項６１に記載の補間器において、
    前記補間器は、ゼロに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と、ゼロに等しいＫおよび２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、ゼロに等しいＫおよび１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するよう構成されることを特徴とする補間器。
73. 請求項６１に記載の補間器において、
    前記補間器は、２^Ｎに等しいＫおよびゼロに等しいＬの座標を有するピクセルのピクセル値と、２^Ｎに等しいＫおよび２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、２^Ｎに等しいＫおよび１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するよう構成されることを特徴とする補間器。
74. 請求項６１に記載の補間器において、
    前記補間器は、ゼロに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルのピクセル値と、ゼロに等しいＫおよび２^Ｎ−２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、ゼロに等しいＫおよび２^Ｎ−１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するよう構成されることを特徴とする補間器。
75. 請求項６１に記載の補間器において、
    前記補間器は、２^Ｎに等しいＫおよび２^Ｎに等しいＬの座標を有するピクセルのピクセル値と、２^Ｎに等しいＫおよび２^Ｎ−２に等しいＬの座標を有するサブピクセルの切り捨てられた補間サブピクセル値との平均をとることによって、２^Ｎに等しいＫおよび２^Ｎ−１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するよう構成されることを特徴とする補間器。
76. 請求項６１に記載の補間器において、
    前記補間器は、長方形に境された領域を区画する４つのコーナーピクセルのピクセル値の加重平均をとることによって、２^Ｎ−１に等しいＫおよび２^Ｎ−１に等しいＬの座標を有するサブピクセルについてサブピクセル値を補間するよう構成されることを特徴とする補間器。
77. 請求項６１に記載の補間器において、Ｎは２に等しく設定されることを特徴とする補間器。
78. 請求項６１に記載の補間器において、Ｎは３に等しく設定されることを特徴とする補間器。
79. 請求項６１に記載の補間器において、
    前記第１中間値のダイナミックレンジは、前記第１加重合計で用いられる各々のピクセルのピクセル値を表示するために用いられるビット数と、前記第１加重合計で用いられる各々の加重の合計を表示するために必要なビット数との和によって定義される、
    ことを特徴とする補間器。
80. 請求項６１乃至７９のいずれかに記載の補間器を備えることを特徴とするビデオエンコーダ、ビデオデコーダ、通信端末またはビデオコーデック。

Images