JP4358153B2 - 動き推定および補償に基づいた画像補間システムのための方法と装置 - Google Patents

Description

本発明は、順次（シーケンシャル）画像表示の分野に関し、より正確には、画像の符号化、あるいはビデオまたはフィルム形態の画像シーケンス内への画像の挿入のため画像処理方法に関する。

あるビデオまたはフィルム画像処理システムでは、画像レート（１秒あたりの画像数）が高品位表示に対して不十分である。したがって、画像レートの向上と表示品質の改善のために、追加の画像が補間関数により生成され、原画像(original image)の間に表示されている。この種の補間関数は、従来、特に、先行する原画像(preceding original image)の画素（ピクセル）値と次に来る原画像(following original image)の画素値のいずれかまたはその両方の関数として、補間画像(interpolated image)の画素値を算出している。

このような補間関数は、ビデオまたはフィルムの連続する画像間に存在する相関に基づいている。これは、ビデオ画像シーケンスでは、動いている対象物が、通常、いくつかの連続する画像の異なったそれぞれの領域に現れるからである。したがって、補間画像は、先行する原画像と次に来る原画像のいずれかまたはその両方の部分から生成される。

従来、画像は画素ブロックに分割されており、２つの画像間でこのブロックの動きがあったとしても、各ブロックはある画像から他の画像へは実質的に同一になるという仮定がなされている。したがって、画像は、補間されている画像の現在の各ブロックに対して、先行する原画像と次に来る原画像のいずれかまたはその両方におけるブロックの１つであって最も有力なブロックを求めることにより、原画像から補間されことになる。

動き推定方法と補償方法のいずれかまたはその両方は、補間画像の生成にこのように適用されるブロック探索方法を提供する。動いている対象が現れている連続する画像のこれらの部分間の相関は、実際には、動きベクトルで記述することができる。動きベクトルは、１つの画像から他の画像への画素ブロックの動きを記述する。動きベクトルは、次に来る画像で実質的に同一の画素ブロックの位置に到達するために、先行する画像のブロックに適用される変位を表わす垂直成分と水平成分を有している。

このような方法は、従来、例えばＭＰＥＧ標準に基づいたシステムのようなビデオデータ圧縮システムに使用されている。このようなシステムを使用して、データをデジタルネットワークまたは電話回線にさえも速やかに転送可能にするように、あるいはデータをデジタル媒体に記録可能にするようにこのデータを圧縮することにより、送信または格納される画像データ量を低減している。したがって、ある基準画像だけが符号化されて送信され、そして受信側において、欠けている中間画像は、符号化された画像とともに送信された動きベクトルにしたがって補間される。

上述したようにこのようなシステムでは、送信側において、中間画像は、できるだけ少ない情報量を送信するように、処理されている。したがって、中間画像はブロックに分割される。各ブロックについて、現在のブロックと、先行する原画像及び／または次に来る原画像あるいは既に処理された画像の選択された(selected)候補ブロック間の相関関係が計算される。この相関計算により、各候補ブロックに関する誤差が出力される。中間画像の現在のブロックを表わすために、候補ブロックが選出される(elected)。選出された候補ブロックは、現在のブロックと最も高い相関を有するブロックか、そうでなければ最も小さな誤差を有するブロックである。受信側での中間画像の補間を可能にするために、処理された画像は、補間されるべき画像の現在のブロックに関して通常送信される、次の情報によって送信される。すなわち；
選出された候補ブロックを指示する情報、
選出された候補ブロックの、現在のブロックの位置に対する変位を表わす動きベクトルの情報、及び
相関計算によって得られた誤差情報、である。

このようにして、受信側では、欠落した処理画像は、符号化された画像とともに受信された受信情報に基づいて補間され、これらの画像の各ブロックの画素値がこうして決められる。

あるインターレース型画像表示システムも、動き推定方法と補償方法のいずれかまたはその両方を使用している。

画像レート変換装置もこのような方法を用いている。このような装置は、原画像の補間によって得られた追加の画像の生成により、実際に、原画像のレート向上を可能にしている。従来、これらの装置は、異なった画像レートを含んでいる、一方では画像生成、符号化、伝送及び／または蓄積システムと、他方では画像表示システムとの間の画像レートを適応させるのに使用されている。

この場合、補間されるべき画像はブロックに分割される。ブロックのそれぞれについて、通常、候補ベクトルが生成される。候補ベクトルのそれぞれに対して、候補ブロックに対する現在のブロックの位置の変位に対応した、先行する原画像のブロックと次に来る原画像のブロックとが選択され、次に、先行する画像の選択されたブロックと次に来る画像の選択されたブロックとの間の相関が計算される。選出された候補ベクトルは、計算された相関が最大になるベクトルである。次に、現在のブロックが、選出された候補ベクトルに対応する先行する原画像のブロック及び次に来る原画像のブロックから補間される。このようにして、補間によって画像が生成される。

用語「処理された画像(processed image)」は、動きベクトルが選出された複数ブロックに分割された画像を指す。したがって、補間画像は、処理された画像の補間によって生成される。

次のセクションにおいて、動き推定方法において従来から使用されている基本概念を説明する。次のいくつかのタイプの画像を識別することが一般的な手法である：すなわち、他の画像への参照なく符号化される、タイプＩの原画像（イントラ画像；intra image）と、先行する原画像に基づいた動き推定アルゴリズムによって補間された、タイプＰの画像（予測画像；predictive image）と、先行する原画像と次に来る原画像に基づいた動き推定アルゴリズムによって補間された、タイプＢの画像（双方向画像；bidirectional image）である。

一般に、動き推定は、処理される画素のブロックは先行する原画像と次に来る原画像のいずれかまたはその両方のブロックの変位としてモデル化できる、という仮定に基づいている。したがってそのようなモデルでは、１つの任意の画素ブロックの各画素が実質的に同じ変位を受けるものと仮定されている。処理された画像の各画素ブロックに関連した動きベクトルは、この変位移動を表わしている。次に、補間画像を得るために、先行する原画像の各画素ブロックと次に来る原画像の各画素ブロックのいずれかまたはその両方に対してそれぞれ関連する動きベクトルに対応する変位を適用することによって、処理されている画像の現在の各ブロックが、先行する原画像と次に来る原画像のいずれかまたはその両方の画素ブロックから生成される。

動き推定方法では、画素の現在のブロックに関連した動きベクトルが、候補の動きベクトル(candidate motion vector)のセットの中から選出される。従来の方法では、候補の動きベクトルのそれぞれに対して誤差が計算され、選出された動きベクトルは、候補の動きベクトルの中で、計算された最小の誤差、すなわち最も高い相関を有する動きベクトルである。

所与の現在のブロックについて、候補の動きベクトルの少なくとも２つに対して計算された誤差が実質的に等しい場合、この現在のブロックに最も適した動きベクトルを選出することは難しい。しかし、このような方法の性能は、補間画像がこの情報から得られるので、現在のブロックに関連する動きベクトルの選択に特に依存することになる。計算された誤差に基づいて動きベクトルを選出するのが難しい場合には、候補の動きベクトルについて計算された誤差にペナルティを適用する、ある方法が用いられる。

このように、候補ベクトルに関して変調された誤差を与えるように、各候補ベクトルの計算された誤差にペナルティを適用する動き推定方法が知られている。現在のブロックについての選出された動きベクトルは、候補の動きベクトルの中で、このように変調された最小の誤差を持つ動きベクトルである。

特許出願ＷＯ ０２／８７２１０は、ペナルティを有する誤差を計算する方法を開示しており、ペナルティは候補の動きベクトルの位置及びノルムに依存している。
ＷＯ０２／８７２１０

本発明は、ペナルティ変調誤差を計算する手順を改善することを目的とする。したがって本発明は、候補ベクトルに対応した関連するブロックの画素値に関する特性に基づいて、候補ベクトルに対し、適合したペナルティを決める方法を開示している。

本発明の第１の側面は、決められた画像シーケンスにおいて先行する原画像と次に来る原画像との間にそれぞれ挿入されることが意図された各画像を処理する動き推定方法であって、各画像は複数の画素ブロックに分割されており、処理される画像の各画素ブロックには動きベクトルが関連し、処理中の画像の現在のブロックに関し、
空間的動きベクトルおよび時間的動きベクトルとそれぞれ呼ばれている、処理中の画像のそれぞれの画素ブロックに関連した動きベクトルの選択と、先行する処理された画像のそれぞれの画素ブロックに関連した動きベクトルの選択とのいずれかまたはその両方を実行するステップと、
選択された動きベクトルから候補の動きベクトルを生成するステップと、
候補の動きベクトルのそれぞれの誤差を計算するステップと、
候補の動きベクトルの少なくとも１つのサブセットのペナルティを決めるステップと、
計算された誤差およびこのようにして決められたペナルティに基づいて、候補の動きベクトルの中から１つの動きベクトルを選出するステップと、
選出された動きベクトルを現在の画素ブロックに関連付ける情報を格納するステップと、
を有し、ペナルティは、少なくとも、先行する原画像中の画素ブロックであってそこから候補の動きベクトルが現在のブロックを指し示している画素ブロックの画素の値と、少なくとも、次に来る原画像中の画素ブロックであって候補の動きベクトルが現在のブロックから指し示している画素ブロックの画素の値とのいずれかまたはその両方に基づいて決められる、方法を提案する。

本発明の１つの態様では、空間的動きベクトルから生成された候補の動きベクトルに対し、先行する原画像中の画素ブロックの画素の平均輝度に対応する第１の値であって、この画素ブロックから候補の動きベクトルは現在のブロックを指し示している、第１の値が計算される。次に、先行する原画像中の画素ブロックの画素の平均輝度に対応する第２の値を計算するステップであって、その画素ブロックから候補の動きベクトルは動きベクトルに関連する画素ブロックを指し示し、候補の動きベクトルはその動きベクトルから生成されている、第２の値が計算される。次に、第１の値及び第２の値の間の比較に基づいて、第１の値と第２の値が実質的に異なる場合にはペナルティが相対的に大きくなり、第１の値と第２の値が実質的に等しい場合にはペナルティが相対的に小さくなるようなやり方で、ペナルティが決められる。

本発明の一態様において、空間的動きベクトルから生成された候補の動きベクトルに対し、次に来る原画像の画素ブロックの画素の平均輝度に対応する第３の値であって、この画素ブロックを候補の動きベクトルは現在のブロックから指し示している、第３の値を計算することも可能である。次に、次に来る原画像の画素ブロックの画素の平均輝度に対応する第４の値であって、その画素ブロックから候補の動きベクトルは動きベクトルが関連する画素ブロックを指し示し、候補の動きベクトルはその動きベクトルから生成されている、第４の値を計算することも可能である。次に、第３の値及び第４の値の間の比較に基づいて、第３の値と第４の値が実質的に異なる場合にはペナルティが相対的に大きくなり、第３の値と第４の値が実質的に等しい場合にはペナルティが相対的に小さくなるようなやり方で、ペナルティを決めることが可能である。

一実施形態において、時間的動きベクトルから生成された候補の動きベクトルに対し、先行する原画像の画素ブロックの画素間の最大のコントラストに対応する第５の値であって、その画素ブロックから候補の動きベクトルが現在の画素ブロックを指し示している、第５の値を計算することも可能である。次に、第５の値に基づいて、第５の値が相対的に小さい場合にはペナルティが相対的に大きくなり、第５の値が相対的に大きい場合にはペナルティが相対的に小さくなるようなやり方で、ペナルティが決められる。

本発明の一実施形態において、時間的動きベクトルから生成された候補の動きベクトルに対し、次に来る原画像の画素ブロックの画素間の最大のコントラストに対応する第６の値であって、候補のベクトルはその画素ブロックを現在の画素ブロックから指し示している、第６の値を計算することが可能である。次に、第６の値に基づいて、第６の値が相対的に小さい場合にはペナルティが相対的に大きくなり、第６の値が相対的に大きい場合にはペナルティが相対的に小さくなるようなやり方で、ペナルティが決められる。

本発明の一実施形態において、候補の動きベクトルのサブセットは、最小の誤差を有する候補の動きベクトルと、決められた数の、最小誤差との間の差分が決められたしきい値よりも小さい誤差を有する候補の動きベクトルとを含む。

本発明の第２の側面は、決められた画像シーケンスにおいて先行する原画像と次に来る原画像との間にそれぞれ挿入されることが意図された各画像を処理する動き推定装置であって、各画像は複数の画素ブロックに分割されており、処理される画像の各画素ブロックには動きベクトルが関連し、処理中の画像の現在のブロックに関し、
空間的動きベクトルおよび時間的動きベクトルとそれぞれ呼ばれている、処理中の画像のそれぞれの画素ブロックに関連した動きベクトルと、先行して処理された画像のそれぞれの画素ブロックに関連した動きベクトルのいずれかまたはその両方を選択する選択部と、
選択された動きベクトルから候補の動きベクトルを生成する生成部と、
候補の動きベクトルのそれぞれの誤差を計算する計算部と、
候補の動きベクトルの少なくとも１つのサブセットのペナルティを決める決定部と、
計算された誤差およびこのようにして決められたペナルティに基づいて、前記候補の動きベクトルの中から１つの動きベクトルを選択する選出部と、
選出された動きベクトルを現在の画素ブロックに関連付ける情報を格納するメモリと、
を有し、ペナルティは、少なくとも、先行する原画像中の画素ブロックであってそこから候補の動きベクトルが現在のブロックを指し示している画素ブロックの画素の値と、少なくとも、次に来る原画像中の画素ブロックであって候補の動きベクトルが現在のブロックから指し示している画素ブロックの画素の値とのいずれかまたはその両方に基づいて決められる、装置を提案する。

本発明の第３の側面は、デジタルコンピュータの内部メモリに直接ロード可能な「コンピュータプログラム」プロダクトであって、プログラムをコンピュータで実行する場合に第１の側面にしたがう方法のステップを実行するソフトウェアコード部分を有するコンピュータプログラムプロダクトを提案する。

本発明の他の側面、目的、および利点は、その実施形態の１つの説明を読むことにより明白になるだろう。

本発明も、図面の助けを借りてより一層明白に理解されるだろう。

動き推定方法は、一般に、処理中の画像中の所与の現在のブロックに対して、先行する処理された画像または処理中の画像中に存在し、現在の画素ブロックを表わす候補である複数の画素ブロックが選択されるステップを含んでいる。そのような選択は、例えば、先行する処理された画像の画素ブロックの位置を例えば現在のブロックの位置に対して定義することにより、なされてもよい。このように、各候補の画素ブロックは先行する処理された画像のブロックであるので、動きベクトルはそれに対応付けられる。その結果、現在のブロックを表わすために先行する処理された画像中の複数のピクセルブロックを選択することにより、それぞれに関連付けられた複数の動きベクトルも選択される。

図１は、本発明の実施の一形態による方法において、処理中の画像の各画素ブロックに対して行われる主要なステップを示している。既に処理された画像のブロックに関連付けられた、または処理中の画像のブロックに既に関連付けられている動きベクトルが、ステップ１０１において選択される。次に、ステップ１０２において、候補の動きベクトルが、これらの選択された動きベクトルのそれぞれから生成される。各候補の動きベクトルに関連した誤差がステップ１０３において計算される。そのような誤差計算については以下に詳細に説明する。次に、候補の動きベクトルのサブセットに対して、ステップ１０４において、先行する原画像と次に来る原画像のいずれかまたはその両方のある画素ブロックの画素値に基づいてペナルティ値が決められる。次に、ステップ１０５において、処理されているブロックに最適な動きベクトルが、候補の動きベクトルの中から選出される。最後に、ステップ１０６において、処理中の画素ブロックに選出された動きベクトルを関連付ける情報がメモリに格納される。

動き推定方法は、画素ブロックに既に関連付けられている動きベクトルの中から、非常に多様な判断基準にしたがって、時間的動きベクトルおよび空間的動きベクトルとそれぞれ呼ばれている、先行して処理された画像中、または同一の画像中のいずれかの動きベクトルを選択することができる。本発明は、任意の他の種類の動きベクトルの選択を包含している。

現在のブロックに対する動きベクトルの選択の種類が何であれ、候補ベクトルは、従来、選択された動きベクトルから生成されている。「動きベクトルからの候補ベクトルの生成」という表現は、候補ベクトルが選択された動きベクトルとは異なってもよい事実を意味していることに注意されたい。これは、選択された動きベクトルが、このような画像処理方法の性能を最適化できる候補ベクトルの生成に適しているであろうからである。

次に、生成された候補ベクトルの中から現在のブロックに最適な動きベクトルが選出される選出ステップが、通常、実行される。候補ベクトルの中で最適なものを決めるために、候補の動きベクトルのそれぞれに対する誤差が計算される。従来、この誤差は、ある画素ブロックの画素ごとの相関により計算されている。画像圧縮システムでは、次に来るまたは先行する原画像の画素ブロックと現在の画素ブロックとの間の相関計算が行われる。特に、このようなシステムでは、このステップが送信側で行われるので、現在のブロックの画素値が使用される。画像レート変換システムでは、処理中の現在のブロックの画素の値が利用できないので、次に来る原画像と先行する原画像のいずれかまたはその両方の画素ブロックにおいて相関計算を行うのが好ましい。

図２は、画像レート変換システムにおける画素ブロック相関を用いた誤差計算を示している。処理中の画像１０は現在のブロック１３を含んでいる。処理中の画像１０は、先行する原画像１１と次に来る原画像１２にしたがって処理される。相関計算が、先行する原画像１１中の第１の画素ブロック１４と次に来る原画像１２中の第２の画素ブロック１５の間で行われる。第１の画素ブロック１４は、そこから候補ベクトル１６が現在のブロック１３を指し示す画素のブロックである。第２の画素ブロック１５は、そこへ候補ベクトル１６が現在の画素ブロック１３から指し示す画素ブロックである。次に、２つのブロック１４と１５間の画素値の差分が、画素ごとに計算される。次に、これらの差分の絶対値の和に等しい値が誤差として得られる。

本発明は、現在のブロックに対する候補ベクトルに関する誤差を計算する任意の他の方法も包含している。

本発明の実施の一形態では、空間的動きベクトルから生成された候補ベクトルに関する誤差に適用されるペナルティは、以下に示す原理に基づくのが好ましい。処理された画像または処理中の画像の画素ブロックに既に関連付けられた動きベクトルは、それに関連付けられているブロックが、現在のブロックが属している対象と同一の対象に属する場合、現在のブロックの画素の集合の動きをなお一層よく表現している。事実、全く同一の対象の種々の部分が画像全体にわたり同一の動きをする可能性は、異なった対象の部分よりより高いように思われる。

本発明の目的は、この原理を有利に適用することである。そのため、本発明の実施の一形態では、現在の画素ブロックと同一の対象に属する画素ブロックに関連付けられた動きベクトルから生成された候補ベクトルを、現在のブロックに関して選出するのが好ましい。逆に、現在のブロックが属している対象とは異なる対象に属する画素ブロックに関連付けられた動きベクトルから生成された候補ベクトルを、その選出に際し、選ばないようにすることが好ましい。

本発明の実施の一形態において、２つの画素ブロックが同一の対象のブロックかどうか判定するために、平均輝度比較が行われる。それにより、実質的に等しい平均輝度を持つ２つのブロックが同一の対象に属する２つのブロックであると仮定される。それと対照的に、実質的に異なる平均輝度を持つ２つのブロックは、異なる対象に属する２つのブロックであると仮定される。

このようにして本発明の実施の一形態では、空間的動きベクトルから生成された候補ベクトルに関するペナルティを決めるために、先行する原画像の第１と第２の画素ブロックの平均輝度が計算される。第１の画素ブロックは、候補ベクトルがそこから現在の画素ブロックを指し示す画素ブロックに対応する。第２の画素ブロックは、候補ベクトルが空間的動きベクトルが関連付けられた画素ブロックをそこから指し示す画素ブロックに対応し、ここで候補ベクトルは、空間的動きベクトルから生成されたものである。このような輝度計算は、実質的に等しい計算された誤差を有する候補ベクトル、または少なくともそれらの誤差によっては候補ベクトルの中の最適なものが確実には選出されないような候補ベクトルに対して行われるのが好ましいことに注意されたい。

こうして得られた第１と第２の画素ブロックの輝度が実質的に等しい場合、相対的に小さい値のペナルティが適用される。逆に、それらの輝度が実質的に異なる場合、相対的に大きい値のペナルティがこの候補ベクトルに適用される。

図３は、本発明の実施の一形態によるペナルティを決める方法を示している。処理中の画像１０の現在のブロック１３に対して、候補ベクトル１６が、現在のブロック１３に隣接する画素ブロック１８に関連する動きベクトルから生成され、処理中の画像で既に処理されている。したがって、平均輝度は、そこから候補ベクトル１６が現在のブロック１３を指し示す画素ブロック１４に対して計算される。候補ベクトル１６がそこから隣接する画素ブロック１８を指し示している画素ブロック１７の平均輝度が計算される。２つの平均輝度が実質的に等しい場合、候補ベクトル１６に割り当てられるペナルティは相対的に小さい。しかし、２つの平均輝度が実質的に異なる場合、候補ベクトル１６に割り当てられるペナルティは相対的に大きくなる。

ペナルティを決めるこのような方法は、次に来る原画像のブロックに対しても行うことができる。このように、候補ベクトル１６が現在のブロック１３から指し示している画素ブロック１５の平均輝度が計算される。候補ベクトル１６が、隣接するピクセルブロック１８から指し示している画素ブロック１９の平均輝度が計算される。２つの平均輝度が実質的に等しい場合、候補ベクトル１６に割り当てられるペナルティは相対的に小さい。しかし、２つの平均輝度が実質的に異なる場合、候補ベクトル１６に割り当てられるペナルティは相対的に大きくなる。

画像圧縮システムの場合には、処理中の画像の画素ブロックの値が利用できるので、現在のブロック１３の平均輝度と隣接する画素ブロック１８の平均輝度を計算することができる。２つの平均輝度の比較により、上記と同一の方法でペナルティを決めることができる。

図４、図５及び図６は、ペナルティを決める同一の方法を示している。

本発明の実施の一形態において、時間的動きベクトルから生成された候補ベクトルに関連する誤差に適用されるペナルティは、以下に説明する原理に基づいている。

一般に、既に上に説明したように、誤差計算は、画素ごとに画素値の差分を取ることにより行われる。差分の絶対値の和が誤差を表わす。したがって、処理中の画素ブロックの画素が比較的多数あって、原画像からのまたはその原画像への候補ベクトルにより表わされる動きに追随する場合には、この候補ベクトルに対してそれぞれ得られる誤差値は比較的小さくなる。

以上の説明から、高いコントラストを持つ画素ブロック、すなわち画素が実質的に全く異なった値を持つブロックの誤差値と比較して、最も低いコントラストを有する画素ブロック、すなわち画素が実質的に等しい値を有するブロックに関して、同一のシフトに関する誤差値は比較的小さくなることが理解されるだろう。これは、コントラストの高い画素ブロックのわずかなシフトが大きな誤差を生むのに対して、コントラストの低い画素ブロックのシフトに関して計算された誤差は、比較的小さいままだからである。本発明の目的は、この原理を有利に利用することにある。

このように、本発明の実施の一形態では、時間的動きベクトルから生成された候補ベクトルについては、コントラストの低い画素のブロックに関連付けられた候補ベクトルに対して、相対的に大きい値のペナルティが決められるのに対して、コントラストの高い画素のブロックに関連付けられた動きベクトルに対しては、相対的に小さなペナルティが決められる。その結果、誤差が実質的に等しい場合には、よりコントラストの高い画素のブロックに関連する時間的動きベクトルから生成された候補ベクトルが選出されるのが好ましい。そのため、画素ブロックのコントラスト値を得るために、ブロックの画素の最小値とブロックの画素の最大値の間の差分が、候補ベクトルがそこから現在の画素ブロックを指し示している先行する原画像の画素ブロックにおいて計算される。

本発明の好ましい実施の形態において、所与の候補ベクトルについては、ペナルティが誤差に加えられる。いくつかの候補ベクトルの計算された誤差における差があまり顕著でない場合には、現在のブロックに関してより適切な動きベクトルが選択できるように、最も大きな値のペナルティが選択される。

そのような輝度計算とコントラスト計算のいずれかまたはその両方は、最小の、実質的に等しい計算された誤差を有する候補ベクトルか、または少なくともそれらの誤差によっては候補ベクトルの中の最適なものが確実には選出されないような候補ベクトルに対して行われるのが好ましい。

したがって、２つまたはそれ以上の候補ベクトルがブロックの画素の動きの表現に関して実質的に等しいと考えられる誤差の差のしきい値が定義される。実施の一形態において、ペナルティは、最も小さい誤差を有し、かつ誤差の差がしきい値より小さい候補ベクトルに対してのみ決められる。

優れた性能が、本発明の実施の形態の単純な実施により達成される。

本発明は、画像シーケンス中の速い動きおよびより優れた性能の均一性に関して、画像の演出を改善することを可能にしている。それは好都合にも、はじめに定義されたシステムで行うことができる。

図１は、本発明の実施の一形態による方法の主要なステップを示している。 図２は、誤差を算出する手法を示している。 図３は、本発明の実施の一形態によるペナルティを算出する手法を示している。 図４は、本発明の実施の一形態によるペナルティを算出する手法を示している。 図５は、本発明の実施の一形態によるペナルティを算出する手法を示している。 図６は、本発明の実施の一形態によるペナルティを算出する手法を示している。

Claims (13)

1. 決められた画像シーケンスにおいて先行する原画像と次に来る原画像との間にそれぞれ挿入されることが意図された各画像を処理する動き推定方法であって、各画像は複数の画素ブロックに分割されており、処理される画像の各画素ブロックには動きベクトルが関連し、処理中の画像の現在のブロックに関し、
   空間的動きベクトルおよび時間的動きベクトルとそれぞれ呼ばれている、処理中の画像の決められた画素ブロックにそれぞれ関連した動きベクトルの選択と、既に処理された画像の決められた画素ブロックにそれぞれ関連した動きベクトルの選択とのいずれかまたはその両方を実行するステップ（１０１）と、
   前記選択された動きベクトルから候補の動きベクトルを生成するステップ（１０２）と、
   前記候補の動きベクトルのそれぞれの誤差を計算するステップ（１０３）と、
   候補の動きベクトルの少なくとも１つのサブセットのペナルティを決めるステップ（１０４）と、
   前記計算された誤差およびこのようにして決められた前記ペナルティに基づいて、前記候補の動きベクトルの中から１つの動きベクトルを選出するステップ（１０５）と、
   前記選出された動きベクトルを現在の画素ブロックに関連付ける情報を格納するステップ（１０６）と、
   を有し、
   前記ペナルティは、（ａ）前記先行する原画像（１１）中の画素ブロックであって当該画素ブロックから前記候補の動きベクトル（１６）が現在のブロック（１３）を指し示している画素ブロック（１４）の画素の値と、（ｂ）前記次に来る原画像（１２）中の画素ブロックであって前記候補の動きベクトル（１６）が現在のブロック（１３）から指し示している画素ブロック（１５）の画素の値と、のいずれかまたはその両方に基づいて決められる、動き推定方法。
2. 空間的動きベクトルから生成された候補の動きベクトルに対し、
   前記先行する原画像（１１）中の画素ブロック（１４）の画素の平均輝度に対応する第１の値であって、この画素ブロック（１４）から前記候補の動きベクトル（１６）は現在のブロック（１３）を指し示している、前記第１の値を計算するステップと、
   前記先行する原画像（１１）中の画素ブロック（１７）の画素の平均輝度に対応する第２の値であって、その画素ブロック（１７）から前記候補の動きベクトル（１６）は動きベクトルに関連する画素ブロック（１８）を指し示し、前記候補の動きベクトル（１６）は前記動きベクトルから生成されている、前記第２の値を計算するステップと、
   前記第１の値及び第２の値の間の比較に基づいて、前記第１の値と第２の値が実質的に異なる場合にはペナルティが相対的に大きくなり、前記第１の値と第２の値が実質的に等しい場合にはペナルティが相対的に小さくなるようなやり方で、前記ペナルティを決めるステップと、
   をさらに有する、請求項１に記載の方法。
3. 空間的動きベクトルから生成された候補の動きベクトルに対し、
   前記次に来る原画像（１２）の画素ブロック（１５）の画素の平均輝度に対応する第３の値であって、この画素ブロック（１５）を前記候補の動きベクトル（１６）は現在のブロック（１３）から指し示している、前記第３の値を計算するステップと、
   前記次に来る原画像（１２）の画素ブロック（１９）の画素の平均輝度に対応する第４の値であって、その画素ブロック（１９）を前記候補の動きベクトル（１６）は前記動きベクトルが関連する画素ブロック（１８）から指し示し、前記候補の動きベクトル（１６）は前記動きベクトルから生成されている、前記第４の値を計算するステップと、
   前記第３の値及び第４の値の間の比較に基づいて、前記第３の値と第４の値が実質的に異なる場合にはペナルティが相対的に大きくなり、前記第３の値と第４の値が実質的に等しい場合にはペナルティが相対的に小さくなるようなやり方で、前記ペナルティを決めるステップと、
   をさらに有する、請求項１または２に記載の方法。
4. 時間的動きベクトルから生成された候補の動きベクトルに対し、
   前記先行する原画像（１１）の画素ブロック（１４）の画素間の最大のコントラストに対応する第５の値であって、前記画素ブロック（１４）から前記候補の動きベクトルが現在の画素ブロック（１３）を指し示している、前記第５の値を計算するステップと、
   前記第５の値に基づいて、前記第５の値が相対的に小さい場合には前記ペナルティが相対的に大きくなり、前記第５の値が相対的に大きい場合には前記ペナルティが相対的に小さくなるようなやり方で、前記ペナルティを決めるステップと、
   をさらに有する、請求項１乃至３のいずれか１項に記載の方法。
5. 時間的動きベクトルから生成された候補の動きベクトルに対し、
   前記次に来る原画像（１２）の画素ブロック（１５）の画素間の最大のコントラストに対応する第６の値であって、前記候補のベクトル（１６）は前記現在の画素ブロック（１３）から前記画素ブロック（１５）を指し示している、前記第６の値を計算するステップと、
   前記第６の値に基づいて、前記第６の値が相対的に小さい場合には前記ペナルティが相対的に大きくなり、前記第６の値が相対的に大きい場合には前記ペナルティが相対的に小さくなるようなやり方で、前記ペナルティを決めるステップと、
   をさらに有する、請求項１乃至４のいずれか１項に記載の方法。
6. 候補の動きベクトルの前記サブセットは、最小の誤差を有する候補の動きベクトルと、決められた数の、前記最小誤差との間の差分が決められたしきい値よりも小さい誤差を有する候補の動きベクトルとを含む、請求項１乃至５のいずれか１項に記載の方法。
7. 決められた画像シーケンスにおいて先行する原画像と次に来る原画像との間にそれぞれ挿入されることが意図された各画像を処理する動き推定装置であって、各画像は複数の画素ブロックに分割されており、処理される画像の各画素ブロックには動きベクトルが関連し、処理中の画像の現在のブロックに関し、
   空間的動きベクトルおよび時間的動きベクトルとそれぞれ呼ばれている、処理中の画像の決められた画素ブロックにそれぞれ関連した動きベクトルと、既に処理された画像の決められた画素ブロックにそれぞれ関連した動きベクトルのいずれかまたはその両方を選択する選択部と、
   前記選択された動きベクトルから候補の動きベクトルを生成する生成部と、
   前記候補の動きベクトルのそれぞれの誤差を計算する計算部と、
   候補の動きベクトルの少なくとも１つのサブセットのペナルティを決める決定部と、
   前記計算された誤差およびこのようにして決められた前記ペナルティに基づいて、前記候補の動きベクトルの中から１つの動きベクトルを選択する選出部と、
   前記選出された動きベクトルを現在の画素ブロックに関連付ける情報を格納するメモリと、
   を有し、
   前記ペナルティは、（ａ）前記先行する原画像（１１）中の画素ブロックであって当該画素ブロックから前記候補の動きベクトル（１６）が現在のブロック（１３）を指し示している画素ブロック（１４）の画素の値と、（ｂ）前記次に来る原画像（１２）中の画素ブロックであって前記候補の動きベクトル（１６）が現在のブロック（１３）から指し示している画素ブロック（１５）の画素の値と、のいずれかまたはその両方に基づいて決められる、動き推定装置。
8. 空間的動きベクトルから生成された候補の動きベクトルに対し、
   前記先行する原画像（１１）中の画素ブロック（１４）の画素の平均輝度に対応する第１の値であって、この画素ブロック（１４）から前記候補の動きベクトル（１６）は現在のブロック（１３）を指し示している、前記第１の値を計算する輝度計算部と、
   前記先行する原画像（１１）中の画素ブロック（１７）の画素の平均輝度に対応する第２の値であって、その画素ブロック（１７）から前記候補の動きベクトル（１６）は動きベクトルに関連する画素ブロック（１８）を指し示し、前記候補の動きベクトル（１６）は前記動きベクトルから生成されている、前記第２の値を計算する輝度計算部と、
   前記第１の値及び第２の値の間の比較に基づいて、前記第１の値と第２の値が実質的に異なる場合にはペナルティが相対的に大きくなり、前記第１の値と第２の値が実質的に等しい場合にはペナルティが相対的に小さくなるようなやり方で、前記ペナルティを決める決定部と、
   をさらに有する、請求項７に記載の装置。
9. 空間的動きベクトルから生成された候補の動きベクトルに対し、
   前記次に来る原画像（１２）の画素ブロック（１５）の画素の平均輝度に対応する第３の値であって、この画素ブロック（１５）を前記候補の動きベクトル（１６）は現在のブロック（１３）から指し示している、前記第３の値を計算する輝度計算部と、
   前記次に来る原画像（１２）の画素ブロック（１９）の画素の平均輝度に対応する第４の値であって、その画素ブロック（１９）を前記候補の動きベクトル（１６）は前記動きベクトルが関連する画素ブロック（１８）から指し示し、前記候補の動きベクトル（１６）は前記動きベクトルから生成されている、前記第４の値を計算する輝度計算部と、
   前記第３の値及び第４の値の間の比較に基づいて、前記第３の値と第４の値が実質的に異なる場合にはペナルティが相対的に大きくなり、前記第３の値と第４の値が実質的に等しい場合にはペナルティが相対的に小さくなるようなやり方で、前記ペナルティを決める決定部と、
   をさらに有する請求項７または８に記載の装置。
10. 時間的動きベクトルから生成された候補の動きベクトルに対し、
    前記先行する原画像（１１）の画素ブロック（１４）の画素間の最大のコントラストに対応する第５の値であって、前記画素ブロック（１４）から前記候補の動きベクトルが現在の画素ブロック（１３）を指し示している、前記第５の値を計算するコントラスト計算部と、
    前記第５の値に基づいて、前記第５の値が相対的に小さい場合には前記ペナルティが相対的に大きくなり、前記第５の値が相対的に大きい場合には前記ペナルティが相対的に小さくなるようなやり方で、前記ペナルティを決める決定部と、
    をさらに有する、請求項７乃至９のいずれか１項に記載の装置。
11. 時間的動きベクトルから生成された候補の動きベクトルに対し、
    前記次に来る原画像（１２）の画素ブロック（１５）の画素間の最大のコントラストに対応する第６の値であって、前記候補のベクトル（１６）は前記現在の画素ブロック（１３）から前記画素ブロック（１５）を指し示している、前記第６の値を計算するコントラスト計算部と、
    前記第６の値が比較的小さい場合にはペナルティが比較的大きくなり、前記第６の値が比較的大きい場合にはペナルティが比較的小さくなるように、前記第６の値に基づいてペナルティを決める決定部と、
    をさらに有する、請求項７から１０のいずれか１項に記載の装置。
12. 候補の動きベクトルの前記サブセットは、最小の誤差を有する候補の動きベクトルと、決められた数の、前記最小誤差との間の差分が決められたしきい値よりも小さい誤差を有する候補の動きベクトルとを含む、請求項７乃至１１のいずれか１項に記載の装置。
13. デジタルコンピュータの内部メモリに直接ロード可能なコンピュータプログラムであって、前記デジタルコンピュータに、請求項１乃至６のいずれか１項に記載の方法における各ステップを実行させるコンピュータプログラム。

Images