JP3903358B2 - 動きベクトルの評価方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像処理において、検出した動きベクトルの正しさを評価する評価方法および装置に関する。
【０００２】
【従来の技術】
従来、動きベクトルの正しさを評価するには２フィールド間の対応するブロックの画像間で相関を求め、これによって動きベクトルの正しさを評価していた。
【０００３】
この評価方法を図１につき説明する。
図１において、１０４は第ｆフィールドの画像、１０５は第ｆ＋１フィールドの画像である。また、１０３はその正しさを評価しようとする動きベクトルであり、１０１は、１０３の動きベクトルが割り当てられているブロックである。この従来の技術では、動きベクトル１０３により第ｆフィールド上のブロック１０１に対応する第ｆ＋１フィールド上のブロック１０２を求め、ブロック１０１とブロック１０２との画像間の相関を求め、この相関の大きさによって動きベクトル１０３の正しさを評価（相関が大きい程、動きベクトルが正しい）するようにしていた。
【０００４】
【発明が解決しようとする課題】
上記従来の評価方法では、正しさを評価しようとする動きベクトルが割り当てられているブロックの位置によっては、第ｆ＋１フィールド上の対応するブロックの画像が存在せず、動きベクトルの評価を正しく行うことができない場合がある。
【０００５】
これを図２につき説明する。
いま、フィールドの画像が、静止した背景の前を物体が移動した画像であるとする。図２において、２０４は第ｆフィールド、２０５は第ｆ＋１フィールドである。ここで、第ｆフィールドにおける領域２０６（図中、ドットを付して示す領域）で示す物体が第ｆ＋１フィールド上の領域２０７（ドットを付して示す領域）の位置に移動し、それ以外の領域は静止した背景であるとする。また、静止した背景に含まれるブロック２０１で検出した動きベクトル２０３は零ベクトルであるとする。背景は静止しているので、動きベクトル２０３は正しいと評価されるべき動きベクトルである。
【０００６】
従来の方法で動きベクトル２０３の正しさを評価するものとすると、動きベクトル２０３により第ｆフィールド上のブロック２０１に対応する第ｆ＋１フィールド上のブロック２０２を求め、ブロック２０１とブロック２０２との画像間の相関を求めることになる。しかし、図２に示す例では、ブロック２０２で示す領域は移動物体が背景を隠すため、ブロック２０１の画像は背景、ブロック２０２の画像は移動物体となり、これら２つのブロックの画像間の相関は低くなり、動きベクトル２０３の正しさは低いという誤った評価結果を与える。
【０００７】
つまり、上述の例に示されるように、従来の動きベクトルの評価方法では、移動物体が領域２０２と重なる位置にない限りは正しい評価結果を与えるが、物体が動くことにより次のフィールドで隠れる領域については動きベクトルを正しく評価することができないという解決すべき課題があった。
【０００８】
本発明の目的は、このように動きベクトルを正しく評価することができなくなることのないような動きベクトルの評価方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明動きベクトルの評価方法は、任意のフィールドの画像に対し、ｎフィールド（ｎは任意の整数）前および後のそれぞれのフィールドの画像と前記任意のフィールドの画像中の任意のブロックに割り当てられている動きベクトルとを使用し、前記動きベクトルが割り当てられているフィールドの画像と同一の時間的位置のフィールドの画像における前記任意のブロックと同じ空間的位置にあるブロックの画像を動き補償型画像内挿により作成し、該作成したブロックの画像と前記任意のフィールドの画像中の前記任意のブロックの画像とを比較し、それら両ブロックの画像間の相関の大きさによって前記割り当てられている動きベクトルの正しさを評価することを特徴とするものである。
【００１０】
また、本発明動きベクトルの評価装置は、第ｆフィールドの画像中の任意のブロックに割り当てられている動きベクトル、第ｆ−１フィールドの画像および第ｆ＋１フィールドの画像が供給されて、動き補償内挿された第ｆフィールドの内挿ブロックの画像であって前記任意のブロックと同じ空間的位置にある内挿ブロックの画像を出力する動き補償型画像内挿部と、前記第ｆフィールド中の前記任意のブロックの画像と前記動き補償内挿された第ｆフィールドの内挿ブロックの画像が供給されて、前記第ｆフィールド中の前記任意のブロックの画像と、前記動き補償内挿された第ｆフィールドの内挿ブロックの画像との相関を求める比較部とを少なくとも具え、前記求めた相関の大きさを、前記第ｆフィールドの画像中の前記任意のブロックにおける動きベクトルの正しさの指標として前記比較部から出力することを特徴とするものである。
【００１１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図３は、本発明による動きベクトル評価装置の一実施形態のブロック図である。なお、図中、
【外１】

は１フィールド遅延回路を示している。
図３において、動き補償型画像内挿部Ａには、第ｆフィールドの動きベクトル３０１、第ｆ−１フィールドの画像３０２、および第ｆ＋１フィールドの画像３０３が入力され、第ｆフィールドと同じ時間的位置の画像３０４を、動き補償型画像内挿により作成して出力する。次に、この内挿により作成した画像３０４と、縦続接続された１フィールド遅延回路［外１］の接続点から得られる第ｆフィールドの画像３０５とを比較部Ｂに入力して、両入力画像を比較し相関を求める。そして相関の大きさを第ｆフィールドの動きベクトル３０１の正しさの指標として出力する（相関が大きいほど動きベクトルが正しい）。
【００１２】
図３に示した本発明による動きベクトル評価装置の動作は、 図４によって説明される。
図４において、４０２は第ｆフィールドの画像（図３中、３０５に相当）、４０１は第ｆ−１フィールドの画像（図３中、３０２に相当）、および４０３は第ｆ＋１フィールドの画像（図３中、３０３に相当）である。そして、画像４０１、画像４０３および第ｆフィールドの動きべクトル（図４には示されない）を用いて、動き補償型画像内挿により第ｆ−１フィールドと第ｆ＋１フィールドの時間的に中間に位置する画像４０４（これは、上記画像４０２の時間的位置に一致する）を作成する（図３中、３０４に相当）。
【００１３】
次に、第ｆフィールドの画像４０２（図３中、３０５に相当）中の任意のブロック４０６（細いドットを付して示す領域）と、そのブロック４０６の動きベクトルを用い動き補償型画像内挿により作成した画像４０４（図３中、３０４に相当）中で、画像４０２中のブロック４０６と同じ空間的位置にあるブロック４０５（細いドットを付して示す領域）との画像間で相関を求める。この相関の大きさを、ブロック４０６における動きベクトルの正しさの指標とする（相関が大きい程動きベクトルが正しい）。
【００１４】
なお、以上では説明を簡単にするため、第ｆフィールドと同じ時間的位置の画像全体を動き補償型画像内挿する例を示したが、少なくとも動きベクトルの評価を行なおうとするブロックに対応したブロック画像を動き補償型画像内挿により作成すれば当該動きベクトルの評価が可能である。
【００１５】
上記において、動き補償型画像内挿部Ａ（図３参照）としては、例えば、「方式変換におけるアンカバー処理の検討」（信学技報ＩＥ95-132（1996−02），井口他）に記載されているような、アンカバー処理を伴った動き補償型画像内挿部を用いるのが好ましい。上記文献記載のアンカバー処理を伴った動き補償型画像内挿では、双方向に検出した動きベクトルを用いることで、検出面上と内挿面上のカバード／アンカバードバックグラウンド領域とその領域の動きベクトルとを推定した上で、カバード／アンカバードバックグラウンド領域の画像内挿時には、隣接する片側のフィールドの画像のみを用いることで、カバード／アンカバードバックグランド領域の正しい内挿画像を作成している。
【００１６】
次に、本発明による動きベクトルの評価がどのように行われるかについて説明する。
いま、第ｆフィールドの位置（ｘ１，ｙ１）における画素の値をｇ（ｆ，ｘ１，ｙ１）と定義する。 また、 動き補償型画像内挿部Ａ（図３参照）に第ｆ−１フィールドの画像、第ｆ＋１フィールドの画像、および第ｆフィールドの動きベクトルを入力したときに、同内挿部の出力画像の位置（ｘ１，ｙ１）における画素の値をＩ（ｆ−１，ｆ＋１，ｆ，ｘ１，ｙ１）と定義する。さらに、第ｆフィールド上の動きベクトルの正しさを評価するブロックをＳとする。
【００１７】
上記の表現方法に従うと、第ｆ−１フィールドの画像、第ｆ＋１フィールドの画像、および第ｆフィールドの動きベクトルを動き補償型画像内挿部に入力したとき、出力画像の位置（ｐ，ｑ）における画素の値はＩ（ｆ−１，ｆ＋１，ｆ，ｐ，ｑ）となる。比較部Ｂ（図３参照）では、例えば領域（ブロック）間の画像の相関として、領域に含まれる画素の誤差の絶対値の総和を用いると、誤差の絶対値の総和が小さいほど相関が大きい。このとき、誤差の絶対値の総和は、以下の式
【数１】

で求める。この式の演算結果の値の大きさが第ｆフィールド上のブロックＳにおける動きベクトルの正しさである（式の演算結果が小さいほど動きベクトルが正しい）。
【００１８】
また、上述例では動きベクトルの評価に使用するフィールドは２つであるとしたが、３つ以上のフィールドを用いて評価してもよい。
【００１９】
ここで、静止した背景の前を物体が移動する場合を考える。このような場合、従来の動きベクトルを評価する方法では移動物体が背景を隠す場合が生じ、誤った評価が得られることがあった。
【００２０】
図５は、このような場合における、従来および本発明の両方による動きベクトルの評価方法の効果を比較説明している。
図５において、５０１は第ｆ−１フィールドの画像、５０２は第ｆフィールドの画像、５０３は第ｆ＋１フィールドの画像とする。これらの画像中で、第ｆ−１フィールドで５０７（ドットを付して示している）の領域にあった物体が第ｆフィールドで５０８（同じくドットを付して示している）の領域に移動し、第ｆ＋１フィールドでは５０９（同じくドットを付して示している）の領域に移動したとする。この領域以外は背景で静止しているものとする。ここで、第ｆフィールドの領域５０６（細かいドットを付して示している）が動きベクトルを検定するブロックで、零ベクトルが割り当てられているものとする。
【００２１】
まず、従来法では、ブロック５０６（細かいドットを付して示している）と、ブロック５０６が零ベクトルにより第ｆ＋１フィールドの画像５０３上で対応するブロック５１０（破線で囲んで示したブロック）との間で画像の相関を求めるが、ブロック５０６の画像は背景であるのに対しブロック５１０の画像は移動してきた物体となるため、ブロック５０６とブロック５１０の画像間の相関が低くなり、本来正しいはずの零ベクトルを誤りとする場合がある。
【００２２】
これに対し、本発明による動きベクトルの評価方法では、上述した井口他の文献記載の方法にあるようなアンカバー処理を伴なった動き補償型画像内挿により第ｆ−１フィールドと第ｆ＋１フィールドの画像から、第ｆフィールドと同じ時間的位置の第ｆ′フィールドの画像５０４を作成し（ここに、ｆ′は内挿第ｆフィールド）、第ｆフィールドのブロック５０６（細かいドットを付して示している）の画像と内挿により作成した第ｆ′フィールドの画像中の同じ空間的位置のブロック５０５（細かいドットを付して示している) の画像との相関を求めるようにしている。 ここでブロック５０６もブロック５０５も背景の画像であるため、２つのブロック間の相関は高くなり、ブロック５０６に割り当てられた零ベクトルは正しいと評価され、正しい評価結果を与える。
【００２３】
【発明の効果】
従来の動きベクトルの評価方法では、第ｆ＋１フィールドで対応する領域が存在しないブロックについては、動きベクトルの正しさをより正確に求めることができなかったが、本発明による方法によれば、第ｆフィールドの時間的位置の画像を動き補償型画像内挿により作成することにより、第ｆ＋１フィールドで対応する領域が存在しないブロックについても動きベクトルの正しさを正確に評価することができる。
【図面の簡単な説明】
【図１】従来の動きベクトルの評価方法を説明する図である。
【図２】従来の評価方法では、評価を正しく行うことができない場合があることを説明する図である。
【図３】本発明による動きベクトル評価装置の一実施形態のブロック図である。
【図４】図３の動きベクトル評価装置の動作を説明する図である。
【図５】従来および本発明の両方による動きベクトルの評価方法の効果を比較説明する図である。
【符号の説明】
Ａ 動き補償型画像内挿部
Ｂ 比較部
［外１］１フィールド遅延回路

Claims (2)

1. 任意のフィールドの画像に対し、ｎフィールド（ｎは任意の整数）前および後のそれぞれのフィールドの画像と前記任意のフィールドの画像中の任意のブロックに割り当てられている動きベクトルとを使用し、前記動きベクトルが割り当てられているフィールドの画像と同一の時間的位置のフィールドの画像における前記任意のブロックと同じ空間的位置にあるブロックの画像を動き補償型画像内挿により作成し、該作成したブロックの画像と前記任意のフィールドの画像中の前記任意のブロックの画像とを比較し、それら両ブロックの画像間の相関の大きさによって前記割り当てられている動きベクトルの正しさを評価することを特徴とする動きベクトルの評価方法。
2. 第ｆフィールドの画像中の任意のブロックに割り当てられている動きベクトル、第ｆ−１フィールドの画像および第ｆ＋１フィールドの画像が供給されて、動き補償内挿された第ｆフィールドの内挿ブロックの画像であって前記任意のブロックと同じ空間的位置にある内挿ブロックの画像を出力する動き補償型画像内挿部と、
   前記第ｆフィールド中の前記任意のブロックの画像と前記動き補償内挿された第ｆフィールドの内挿ブロックの画像が供給されて、前記第ｆフィールド中の前記任意のブロックの画像と、前記動き補償内挿された第ｆフィールドの内挿ブロックの画像との相関を求める比較部と
   を少なくとも具え、
   前記求めた相関の大きさを、前記第ｆフィールドの画像中の前記任意のブロックにおける動きベクトルの正しさの指標として前記比較部から出力することを特徴とする動きベクトルの評価装置。

Images