JP2978406B2 - 局所異常の排除による動きベクトルフィールド生成装置およびその方法 - Google Patents

局所異常の排除による動きベクトルフィールド生成装置およびその方法

Info

Publication number
JP2978406B2
JP2978406B2 JP6269913A JP26991394A JP2978406B2 JP 2978406 B2 JP2978406 B2 JP 2978406B2 JP 6269913 A JP6269913 A JP 6269913A JP 26991394 A JP26991394 A JP 26991394A JP 2978406 B2 JP2978406 B2 JP 2978406B2
Authority
JP
Japan
Prior art keywords
motion vector
energy function
image
generating
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6269913A
Other languages
English (en)
Other versions
JPH07168943A (ja
Inventor
イウ シウ−レオン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JPH07168943A publication Critical patent/JPH07168943A/ja
Application granted granted Critical
Publication of JP2978406B2 publication Critical patent/JP2978406B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、複数の画素を有し、動
きを示す一連の画像を分析する装置およびその方法に関
し、特に、一連の動画像における動きベクトルフィール
ドを評価し、その結果に基づいて動きベクトルフィール
ドを表すサンプル値を生成する動きベクトルフィールド
生成装置およびその方法に関する。
【０００２】
【従来の技術】動きベクトルフィールドとは、ある画像
フレームから次の画像フレームへの画像の動きを画素か
ら画素へと写像するものである。フレーム中の各画素
は、その次のフレーム、またはその前のフレームにおい
て、その画素にマッチングする画素を規定する動きベク
トルを有する。これらの動きベクトルを組み合わせたも
のが、動きベクトルフィールドである。
【０００３】本願記載の技術は、画像フィールドまたは
画像フレームの一部などのフレーム以外の画像構成要素
にも容易に適用しうるが、動きベクトルのフィールドと
の用語上の混乱を避けるために、以下の記述では画像フ
レームのみに言及することにする。
【０００４】動きベクトルフィールドの評価は、コンピ
ュータビジョン、動画像の動き補償符号化、画像雑音除
去、および画像フレームレート変換など、多くの領域で
努力がなされている中でも重要な課題である。動きベク
トルフィールド評価の問題は、本質的に理解するのが難
しい。なぜなら、一連の画像列を示す為に、異なる組み
合わせの動きベクトルフィールドを数多く使うことがで
きるからである。
【０００５】単純なアプローチとしては例えば、画素の
ブロックが定常変換（constant translation)またはア
フィンモーションなどの同種類の動きをすると仮定する
方法がある。この種のブロックマッチング法では、動き
を十分に評価できないことが多い。なぜなら、この方法
では、ブロックの外側の画素の動きが無視されているか
らである。したがって、ブロックのサイズが大きい場合
には、ブロック内の画素の本当の動きを説明するには、
この動きのモデルは不正確であるし、また、ブロックの
サイズが小さい場合には、雑音にかなりの影響を受ける
可能性がある。
【０００６】動きベクトルフィールド評価の問題を解決
するための従来のアプローチでは、何千もの未知数を有
する多くの式を同時に解く必要が生ずる。階調度、相
関、空間−時間的エネルギー関数、および特徴照合など
に基づく数多くの技術が提案されている。これらの技術
は、各画素の輝度などの画像の局所的（ローカル）な特
徴、ならびにエッジおよび対象物境界などのより非局所
的（グローバル）な特徴に依存するものである。
【０００７】最近、動きベクトル評価の２つの問題、即
ち動きベクトルの不連続性およびオクルージョンの解決
に成功した２つのプロセスが提案された。１番目のプロ
セスは、J. Konradらによって "Bayesian Estimation o
f Motion Vector Fields"（IEEE Transactions on Patt
ern Analysis and Machine Intelligence、第14巻、910
〜927頁、1992年9月）と題する論文に記載された「ライ
ンプロセス」である。２番目は、R. Depommierらにより
"Motion Estimation with Detection of Occlusion Ar
eas" (IEEE International Conference on Acoustics a
nd Speech Signal Processing、 第III巻、269〜272頁、
1992年) と題する論文に記載された「オクルージョンプ
ロセス」である。確かに成功はしているものの、一方で
はこれらのプロセスは、評価を必要とする未知数の数を
実質的に増加させており、また、ラインプロセスおよび
／またはオクルージョンプロセス特有の他のパラメータ
を導入している。
【０００８】ブロックマッチング法のこの欠陥に対処す
るために、動きフィールド全体に対する包括的公式化が
提案されている。このような公式化は、例えば、B. Hor
nらにより、"Determining Optical Flow" (Artificial
Intelligence、第17巻、185〜203頁、1981年)と題する
論文に提案されている。この提案によれば、動き制約式
のエラーおよび全画像にわたる動きの平滑のエラーを最
小限にとどめることにより、動きベクトルは評価され
る。この公式化に従えば、動き制約式は、画像輝度が動
きの軌跡に沿って一定であるという仮定より導かれる。
この平滑な動きという仮定からのどのような逸脱も動き
ベクトルの変化度の２乗として測定される。このアプロ
ーチによれば、弾性のある動きなどの一般的な型の動き
の操作は改善できるが、動きが連続的でないところ（即
ち、動き境界）では動きベクトルフィールドのブレ(blu
r)を生ずる傾向にある。
【０００９】E. Hilderithによる"Computations Underl
ying the Measurement of Visual Motion" (Artificial
Intelligence、第23巻、309〜354頁、1984年)と題する
論文で、動き境界の取り扱いの問題の部分的解決が提案
されている。この提案によれば、動きベクトルフィール
ドは輪郭に沿ってのみ平滑であり、それを横切っては平
滑でないように仮定されている。この提案により、ブレ
の問題は克服される。なぜなら、確かに、輪郭に沿って
いない場所の動きベクトルは得られないが、この技術に
よれば、例えばテクスチャによる動き境界に対応しない
輪郭を横切っては動きの情報は伝えられないからであ
る。これらの型の輪郭は、現実世界の画像に共通のもの
である。
【００１０】前に述べたように、ラインプロセスをマル
コフランダムフィールドモデリングおよび確率的弛緩法
に結び付けた技術が、S. Germanらにより、"Stochastic
Relaxation, Gibbs Distributions, and the Bayesian
Restoration of Images"(IEEE Transactions on Patte
rn Analysis and Machine Intelligence、第6巻、721〜
741頁、1984年11月)と題する論文に提案されており、そ
れに記載の技術は劣化した画像の復元に用いられた。こ
の文献では、ラインプロセスは画像輝度の境界を印すブ
ーリアンフィールドである。他の研究者たちは、この考
えを採用して、ラインプロセスを修正することにより評
価された動きベクトルフィールドのブレの問題を克服
し、動きの境界を表示しようとしてきた。
【００１１】
【発明が解決しようとする課題】以上に記載したような
２つの問題（不連続とオクルージョン）を解決する技術
は、例えば、前に言及したJ. Konradらによる論文に含
まれている。この方法の欠点の１つとして、ラインプロ
セスを実施するためには、隣接する２つの画素毎に１つ
の付加的な未知数を導入しなければならない点がある。
これらの付加的未知数のために、この方法を用いたどの
アルゴリズムも、演算上のオーバヘッドが大幅に増大す
る。
【００１２】オクルージョンとは、定義上、画像のある
部分が、そのシーンの同じ部分に対応する別の画像にマ
ッチする部分を見いだせないことを意味する。画像のそ
の部分は、ある画像フレームからその次の画像フレーム
にかけて遮られる。現実世界の画像においてはオクルー
ジョンはきわめて頻繁に発生する。例えば、ある対象物
が別の対象物の前に移動するとき、ある対象物がカメラ
に向かって移動するとき、あるいは、対象物が回転する
ときなどに発生する。たった２つのフレームのみを用い
る場合には、オクルージョンのために動きの十分な評価
を得ることが困難である。なぜなら、ある画像の少なく
とも一部については、もう一方の画像に対応する画像部
分がないからである。
【００１３】この問題を解決する単純な方法としては、
３つの画像フレーム、すなわち、目標とするフレーム、
ならびに、その目標フレームの直前および直後に発生す
るフレームを用いる方法がある。現実世界の画像におい
ては、たいていの場合、中間フレームの画像部分にマッ
チする部分は、それに先立つフレームあるいはそれに続
くフレームのいずれかに見いだせるものである。前に言
及したDepommierらによる論文では、Konradらの論文に
述べられているように、ラインプロセスをオクルージョ
ンプロセスと結び付け、３つのフレームを用いることに
よってオクルージョン領域を検出する方法が提案されて
いる。しかしながら、この組み合わせの欠点としては、
モデルを生み出すためには、ラインプロセスのみを行う
場合に比べてさらに多くの未知数およびパラメータが必
要になることがある。
【００１４】本発明はこのような現状に鑑みてなされた
ものであり、その目的は、従来の技術で問題とされてい
たオクルージョンや不連続な動きによる動きベクトルフ
ィールドの評価への影響をなくし、かつ評価時の演算オ
ーバーヘッドを減じる事にある。
【００１５】
【課題を解決するための手段】本発明の動きベクトルフ
ィールド生成装置は、一連の画像フレームのうち現在の
画像フレームの個々の画像成分および少なくとも１つの
他の画像フレームの対応する画像成分の動きを示す動き
ベクトルフィールドを表すサンプル値を生成する装置で
あって、該装置は、該現在の画像フレームの画像成分の
うち１つと該１つの他の画像フレームのうち対応する１
つの画像成分との間の動きの評価にそれぞれ対応する複
数の動きベクトル値の初期値を生成する初期化手段と、
該現在のフレームにおける現在の画像成分に対応する目
標動きベクトル（ターゲットモーションベクトル）に対
するエネルギー関数の関数値を生成する手段であって、
該エネルギー関数は、該目標動きベクトルと近傍動きベ
クトルのうち該現在の画像フレームの該現在の画像成分
を囲む画像成分に対応する近傍動きベクトルとの関数で
あり、ある近傍動きベクトルと該目標動きベクトルとの
差が所定の閾値よりも大きい場合には該近傍動きベクト
ルを異常動きベクトルとして無視するエネルギー関数値
生成手段と、各動きベクトル値を修正することによって
該現在の画像の該エネルギー関数を最小とし、該動きベ
クトルフィールドを表す該サンプル値を生成するエネル
ギー最小化手段とを備えており、そのことにより上記目
的が達成される。
【００１６】また、各画像成分が前記画像の単位画素で
あってもよい。
【００１７】また、各画像成分が複数の単位画素を含ん
でいてもよい。
【００１８】また、前記目標動きベクトルについてのエ
ネルギー関数値を発生させる手段が、前記動きベクトル
フィールドにおける該目標動きベクトルに隣接する近傍
動きベクトルのみで表される関数に基づいて、前記異常
動きベクトルを排除する手段を含んでいてもよい。
【００１９】前記エネルギー関数値を発生させる手段
が、前記目標動きベクトルを囲むＮｃ個（Ｎｃ：正の整
数）の近傍動きベクトルのそれぞれを比較し、該Ｎｃ個
の近傍動きベクトルのうち他のものよりも大きさの大き
い該Ｎｃ個の近傍動きベクトルのうちから所定数の近傍
動きベクトルを識別する手段と、該識別された近傍動き
ベクトルを前記異常動きベクトルとして排除する手段と
を備えていてもよい。
【００２０】前記エネルギー関数値生成手段が、前記目
標動きベクトルを囲むＮｃ個の近傍動きベクトルのそれ
ぞれを評価して、該Ｎｃ個の近傍動きベクトルにそれぞ
れの大きさを示す大きさ値を割り当てる手段と、割り当
てられた該大きさ値のうち１つを、該Ｎｃ個の近傍動き
ベクトルの中央大きさ値として識別する手段と、該中央
大きさ値よりも大きな大きさ値を有する該識別された近
傍動きベクトルを、異常動きベクトルとして排除する手
段とを備えていてもよい。
【００２１】前記エネルギー最小化手段では反復処理を
行っており、該反復処理においては該エネルギー関数値
生成手段によって用いられる前記エネルギー関数を、全
ての近傍動きベクトルを用いる第１のエネルギー関数か
ら、異常動きベクトルを排除する第２のエネルギー関数
へ、該反復処理の所定の瞬間に切り換える手段を有して
いてもよい。
【００２２】好ましくは、前記動きベクトルフィールド
が、前記現在の画像フレームの個々の画像成分および該
現在のフレームとは異なる第１および第２の画像フレー
ムの対応する画像成分の動きを示すものであり、前記初
期化手段が、第１の複数の初期動きベクトル値を生成す
る手段および第２の複数の初期動きベクトル値を生成す
る手段を備えており、該第１の複数の初期動きベクトル
値のそれぞれは該現在の画像フレームの該画像成分のう
ち１つと該第１の画像フレームにおける対応する１つの
画像成分との間の動きの評価に対応し、該第２の複数の
初期動きベクトル値のそれぞれは該現在の画像フレーム
の該画像成分のうち１つと該第２の画像フレームにおけ
る対応する１つの画像成分との間の動きの評価に対応し
ており、前記目標動きベクトルのための前記エネルギー
関数値生成手段が、該目標動きベクトルと該第１の複数
の近傍動きベクトルとの関数である第１のエネルギー関
数値を該目標動きベクトルに対して生成する手段と、該
目標動きベクトルと該第２の複数の近傍動きベクトルと
の関数である第２のエネルギー関数値を該目標動きベク
トルに対して生成する手段と、該第１および第２のエネ
ルギー関数値の間の大きさの差に基づいて、該第１およ
び第２のエネルギー関数値のうち一方を、生成されたエ
ネルギー関数値として選択する手段とを備えていてもよ
い。
【００２３】前記目標動きベクトルのための前記エネル
ギー関数値生成手段が、該目標動きベクトルと前記第１
および第２の複数の近傍動きベクトルのうち一方との関
数である第３のエネルギー関数値を該目標動きベクトル
に対して生成する手段と前記第１、第２および第３のエ
ネルギー関数値の間の大きさの差に基づいて、該第１、
第２および第３のエネルギー関数値のうち１つを、生成
されたエネルギー関数値として選択する手段とを備えて
いてもよい。
【００２４】前記現在の画像における前記エネルギー関
数最小化手段が、シミュレーションアニーリングアルゴ
リズムを用いて該エネルギー関数を処理する手段を備え
ていてもよい。
【００２５】本発明の動きベクトルフィールド生成方法
は、一連の画像フレームのうち現在の画像フレームの個
々の画像成分および少なくとも１つの他の画像フレーム
の対応する画像成分の動きを示す動きベクトルフィール
ドを表すサンプル値を生成する方法であって、該方法
は、（ａ）該現在の画像フレームの画像成分のそれぞれ
異なる１つに対応する複数の初期動きベクトル値を生成
するステップと、（ｂ）該現在の画像フレームにおける
現在の画像成分に対応する目標動きベクトルに対するエ
ネルギー関数の関数値を生成するステップであって、該
エネルギー関数は、該目標動きベクトルと近傍動きベク
トルのうち該現在の画像フレームの該現在の画像成分を
囲む画像成分に対応する近傍動きベクトルとの関数であ
り、ある近傍動きベクトルと該目標動きベクトルとの差
が所定の閾値よりも大きい場合には該近傍動きベクトル
を異常動きベクトルとして無視する、ステップと、
（ｃ）各動きベクトル値を修正することによって該現在
の画像の該エネルギー関数を最小とし、該動きベクトル
フィールドを表す該サンプル値を生成するステップとを
包含しており、そのことにより上記目的が達成される。
【００２６】また、各画像成分が前記画像の単位画素で
あってもよい。
【００２７】また、各画像成分が複数の単位画素を含ん
でいてもよい。
【００２８】また、前記ステップ（ｂ）が、前記動きベ
クトルフィールドにおいて前記目標動きベクトルに隣接
する近傍動きベクトルのみで表される関数に基づいて前
記異常動きベクトルを排除するステップを含んでいても
よい。
【００２９】前記ステップ（ｂ）は反復プロセスであ
り、該反復プロセスは、前記ステップ（ｂ）によって用
いられるエネルギー関数を、全ての近傍動きベクトルを
用いる第１のエネルギー関数から、異常動きベクトルを
排除する第２のエネルギー関数へ、該反復ステップの所
定の瞬間に切り換えるステップを含んでいてもよい。
【００３０】前記動きベクトルフィールドが、前記現在
の画像フレームの個々の画像成分および該現在のフレー
ムとは異なる第１および第２の画像フレームの対応する
画像成分の動きを示すものであり、前記ステップ（ａ）
が、第１の複数の初期動きベクトル値を生成する前記ス
テップおよび第２の複数の初期動きベクトル値を生成す
るステップを備えており、該第１の複数の初期動きベク
トル値のそれぞれは該現在の画像フレームの該画像成分
のうち１つと該第１の画像フレームにおける対応する１
つの画像成分との間の動きの評価に対応し、該第２の複
数の初期動きベクトル値のそれぞれは該現在の画像フレ
ームの該画像成分のうち１つと該第２の画像フレームに
おける対応する１つの画像成分との間の動きの評価に対
応しており、前記ステップ（ｂ）が、該目標動きベクト
ルと該第１の複数の近傍動きベクトルとの関数である第
１のエネルギー関数値を該目標動きベクトルに対して生
成するステップと、該目標動きベクトルと該第２の複数
の近傍動きベクトルとの関数である第２のエネルギー関
数値を該目標動きベクトルに対して生成するステップ
と、該第１および第２のエネルギー関数値の間の大きさ
の差に基づいて、該第１および第２のエネルギー関数値
のうち一方を、生成されたエネルギー関数値として選択
するステップとを包含していてもよい。
【００３１】前記ステップ（ｂ）が、該目標動きベクト
ルと前記第１および第２の複数の近傍動きベクトルのう
ち一方との関数の関数値である第３のエネルギー関数値
を該目標動きベクトルに対して生成するステップと、前
記第１、第２および第３のエネルギー関数値の間の大き
さの差に基づいて、該第１、第２および第３のエネルギ
ー関数値のうち１つを、生成されたエネルギー関数値と
して選択するステップとを備えていてもよい。
【００３２】前記ステップ（ｃ）が、シミュレーション
アニーリングアルゴリズムを用いた該エネルギー関数を
処理する手段を備えていてもよい。
【００３３】
【作用】本発明による局所異常の排除による動きベクト
ルフィールドの生成装置及びその方法は、以下の様に第
１および第２の画像から動きベクトルフィールドを生成
する画像分析システムにおいて実現される。即ち、フィ
ールドにおける動きベクトルのエネルギー関数を規定
し、第１の画像におけるある画素およびその近傍の画素
に関連する動きベクトルを、そのエネルギー関数に従っ
て第２の画像における画素と関連する動きベクトルと比
較し、かつ近傍の動きベクトルのうちほんのいくつかの
みに基づいて目的関数を最小限にする。近傍の動きベク
トルに対応する排除された動きベクトルは、しきい値範
囲から外れている差を有する。排除された近傍の動きベ
クトルは、局所的に得られる動きベクトルの値のみに基
づいて排除される。
【００３４】
【実施例】本発明の一実施例において、第１の画像フレ
ームにおける画素値は、第１画像の後に発生する第２の
画像フレーム内の近傍画素値および第１画像の前に発生
する第３の画像フレーム内の他の近傍画素値と比較され
る。この実施例により、動きの不連続性および画像内の
画素のオクルージョンの両方による動きベクトルエラー
が実質的に解消される。
【００３５】以下に提案する本発明の動作を理解するた
めには、問題の本質を把握するためにも、平滑仮定を用
いて動きベクトルフィールドを規定する元来の技術を再
検討するのが役に立つ。
【００３６】映像化されている対象物に対してカメラが
移動すると、それに対応して画像に変化が生じる。とり
あえず、ある領域および新たに出現した領域のオクルー
ジョンを無視すれば、時間ｔにおいて画像のあらゆる点
に対し、異なる時間において捕捉された別の画像にはそ
れぞれの点に対応する点が存在する。このような対応す
る点同士をそれぞれ直線で結んで一組の動きベクトルを
生みだし、画像面に投影されたこれらのベクトルの組と
して移動フィールド（動きベクトルフィールド）を規定
することができる。動きベクトル評価の目的は、観測さ
れた画像列からこのような動きベクトルフィールドを評
価することである。したがって、この動きベクトルフィ
ールドは、コンピュータビジョン、動画像の動き補償符
号化、雑音除去およびフレームレート変換などの分野で
役に立つさまざまな種類の画像処理に用いることができ
る。
【００３７】本発明による、二つ以上の画像の画素を表
すデータ値以外に、動きベクトルフィールドを表すデー
タ値を生成するための一例について、以下に数学的導出
を説明する。しかしながら、以下に記載の方法自体は数
学的方法ではない。この導出は、ただこの方法の堅固さ
を示すためだけに表されているにすぎない。
【００３８】理想のカメラを介して観測される真の時間
可変画像（時間に依存して変化する画像）をtilde_ｇと
し、フィルタリング、ガンマ補正、量子化、および雑音
による歪みなどの取得プロセスにおけるいくつかの変形
を経て、通常のカメラから得られ、tilde_ｇに関連して
観測される画像をｇとする。なお、tilde_ｇを式中では
以下の様に記す。
【００３９】
【数１】
【００４０】観測された画像ｇは、垂直、水平、および
時間的サンプリング周期（Ｔv,Ｔh,Ｔt）でサンプリン
グされた画素値の長方形格子Λを生成する。一つの画像
フレームにおける全画素数は、Ｎ＝Ｎv×Ｎhと表され
る。画素は、ｘi＝［ｍＴv，ｎＴh］として順番づけら
れる。ここで、ｉ＝ｍＮh＋ｎ、ｍ＝０, ..., Ｎv−
１、かつｎ＝０, ..., Ｎh−１である。ｇkをｋ番目の
画像フレーム、およびｇ（ｘ，ｋ）をｋ番目のフレーム
の空間的位置ｘにおける輝度とそれぞれ仮定する。一般
性を失うことなく、フレームｇkおよびｇk+1から動きベ
クトルフィールドを評価する問題に焦点を当てる。tild
e_ｄlおよびｄlをこのような動きベクトルフィールドの
真の値および推定値とし、かつｄl（ｘi）を画素ｘiに
おける評価された動きベクトルとする。なお、tilde_ｄ
lを式中では以下の様に記す。
【００４１】
【数２】
【００４２】サイズｃを有する近傍システムに対する画
素ｘi近傍の組をAleph_c（ｘi）とする（即ち、Aleph_c
（ｘi）＝｛ｘj：０＜‖ｘi−ｘj‖2≦ｃ｝）。また、
｜Aleph_c（ｘi）｜は、Aleph_c（ｘi）における要素の
数を示す。なおAleph_c（ｘi）を式中では以下のように
記す。
【００４３】
【数３】
【００４４】どのような近傍サイズも用いることができ
ると考えられるが、表記の便宜を図るために、以下に記
載する本発明の実施例においては、一つの中央画素とそ
れに直接隣接する八つの画素を備えているシステム（即
ち、Aleph_2（ｘi））を採用する。この近傍の例を図１
に参照番号１１０で示している。図１において、長方形
の各ボックスは、それぞれ画像における画素の位置を表
している。この近傍における中央の画素を、参照番号１
１２で示している。
【００４５】図１に示す画像および（図示しない）他の
画像について、その動画像において動きベクトルフィー
ルドを得るためには、動きベクトルおよび画像輝度値に
関連する構造的モデルを特定し、かつ基礎となる真の動
きに関していくつかの仮定を行うことが望ましい。例え
ば、動きの軌跡に沿っては画像輝度は変化しないと仮定
することは一般的である。この仮定は、以下の式（１）
により定められる。
【００４６】
【数４】
【００４７】それに加えて、小さな近傍においては動き
ベクトルは平滑に変化すると仮定するのは、有益であ
る。これら二つの仮定から、ある画像における動きは、
以下の式（２）に規定する非局所的平滑（ＧＳ）動きモ
デル（ＵGS）を用いて、以下のエネルギー関数を最小限
にすることにより、評価できる。
【００４８】
【数５】
【００４９】ここで、移動した画素の差の２乗（ＰＤ
Ｓ）、即ちα（ｘi，ｄl（ｘi），l）は以下の式（３）
により規定される。
【００５０】
【数６】
【００５１】また、動きベクトルの差の２乗（ＭＤ
Ｓ）、即ちβ（ｄl（ｘi），ｄl（ｘj））は、以下の式
（４）により規定される。
【００５２】
【数７】
【００５３】パラメータλ0は、画像輝度および平滑仮
定に関連する動きの情報の重要性を表す重み係数であ
る。
【００５４】平滑仮定を局所異常の排除と調和させるた
めに、式（２）を以下の式（５）に書き換えることがで
きる。
【００５５】
【数８】
【００５６】以上の記述から明らかなように、ｘjがｘi
に対して動き境界の他方の側に属するとき、動き境界に
おいて、異常はＭＤＳ、即ちβ（ｄl（ｘi），ｄ
l（ｘj））である。これらの異常は、ＭＤＳ、即ちβ
（ｄl（ｘi），ｄl（ｘj））の平均値を通してｄ
l（ｘi）の評価値に影響を与え、エネルギー関数全体を
通して他の画素にエラーを伝える。これらの異常が平均
値の中に入りこまないうちに排除できれば、評価された
動きベクトルフィールドのブレの一因となることはな
い。閾値に基づいて異常を排除する方法によれば、満足
のいく結果が得られることがわかっている。この方法に
よれば、式（５）のエネルギー関数は、以下の式（６）
に示すように修正される。
【００５７】
【数９】
【００５８】ここで、指示関数δjは、以下の式（７）
により規定される。
【００５９】
【数１０】
【００６０】また、許容された近傍の総数は、以下の式
（８）により規定される。
【００６１】
【数１１】
【００６２】式（７）において
【００６３】
【数１２】
【００６４】（以下数式を除く文中ではtilde_βrと記
す）は、{β(dl(xi),dl(xj))、ｘj∈Aleph（ｘi）｝の
順番づけられたＭＤＳのｒ番目のランクである。すなわ
ち、
【００６５】
【数１３】
【００６６】かつＴor≧１は、しきい値定数である。
【００６７】式（６）によれば、異常が基準値tilde_β
rのＴor倍よりも大きな値を有する場合、異常は、ＭＤ
Ｓの平均値から排除される。このしきい値は、Aleph
（ｘi）におけるＭＤＳから誘導されるので、排除する
異常の演算は、動きベクトルの増幅に対し反応しない。
したがって、式（６）に従って演算するシステムは、異
常を局所的に識別できる。それに加えて、画像の平滑な
領域においては、すべての近傍のＭＤＳが定義上類似す
るため、すべての近傍は許容される。
【００６８】しきい値基準値tilde_βrの選択は、２つ
の相反する要素を含んでいる。即ち、排除される異常の
最大数と平滑仮定を伝える必要のある近傍の数である。
最も高いランクが選択されると、異常は全く排除されな
い。最も低いランクが選択された場合には、１つを除い
てすべての近傍が異常として排除され、平滑仮定は一方
向にのみ伝わることができる。tilde_β2を基準値とし
て用いた場合には、動いている長方形の対象物を含んで
いる画像について良い結果が得られることを発明者は確
定した。なぜなら、それによって、動いているコーナー
の周囲の五つの異常を排除することができるからであ
る。
【００６９】局所的測定に基づいて異常を除外するため
に、他の測度を用いることができると考えられる。例え
ば、しきい値Ｔorは、近傍におけるすべてのサンプルの
中間値に設定することができる。このしきい値を用いる
のが有益なのは、画像における各画素を処理するのに必
要な演算の数を減らすことができるからである。
【００７０】上記の方法は、隣接する別のフィールドに
対して、動きベクトルフィールドをある画像に生成する
のに適用できる。しかしながら、上述したように、この
方法ではオクルージョンの問題を処理するのに十分でな
い可能性がある。なぜなら、２つの別の画像、即ち、目
標とする画像の１つ前および１つ後の画像が、目標とす
る画像に動きベクトルフィールドを生成するために用い
られるからである。
【００７１】この方法によればl1＞０およびl2＜０とす
ると、後に続くフレームｇk+l1および前のフレームｇ
k+l2から決定されるように、最良の前向きの動きまたは
最良の後ろ向きの動きのいずれかが選ばれる。
【００７２】非局所的平滑動きモデルについては、エネ
ルギー関数は、以下の式（１０）により表されるよう
に、上記式（５）から誘導される。
【００７３】
【数１４】
【００７４】ここで、因子ｗ1は、別々のフレームから
の動き情報の相対的重要性を決定する重みである。
【００７５】演算を簡約するために、各画素における動
きベクトルフィールドは定常変換に従うものと仮定す
る。これは、以下の式（１１）により表される。
【００７６】
【数１５】
【００７７】前向きおよび後ろ向きの動きを伴う非局所
的平滑動きモデルを用いたエネルギー関数は、以下の式
（１２）により規定される。
【００７８】
【数１６】
【００７９】同様に、前向きおよび後ろ向きの動きにつ
いて局所異常を用いたエネルギー関数は、以下の式（１
３）を用いて規定できる。
【００８０】
【数１７】
【００８１】動きベクトルフィールドの推定値は、式
（１１）により制約されるように、三つの与えられたフ
レームを用いて、式（１２）または式（１３）のいずれ
かを最小化することにより決定できる。この演算におい
て、l2＝−l1のとき、以下のように仮定するのが有用で
ある。
【００８２】
【数１８】
【００８３】式（５）、（６）、（１２）および（１
３）におけるエネルギー関数を最小化するためには、多
くの方法を用いることができる。発明者は先に言及した
Genmanらの論文に記載のシミュレーションアニーリング
として知られている技術を選択した。
【００８４】このアルゴリズムを以下に要約して記載す
る。正確さΔおよび各方向に総計レヘル２Ｎd＋１を有
する一対の可能な動きベクトル値をＳdが表すと仮定す
る。これは、以下の式（１６）により表される。
【００８５】
【数１９】
【００８６】Ｉ＝｛０, ..., Ｎ−１｝およびＩi＝Ｉ−
｛ｉ｝と仮定する。エネルギー関数Ｕ（ｄl）を用いて
未知の動きベクトルフィールドｄlを評価するのが望ま
しい。動きベクトルフィールドｄlは、以下の式（１
７）に示すように、Gibbsの分布を用いて確率場として
モデル化できる。
【００８７】
【数２０】
【００８８】この式において、変数Ｔは、アニーリング
用のシミュレーション温度であり、Ｚは、ΣＰ（ｄl）
＝lとなるような正規化パラメータである。Bayesの規則
および完全確率の法則を用いれば、現在の画素ｘiにお
ける動きベクトルの確率、画素ｘi以外の画素の与えら
れた動きベクトルは、以下の式（１８）および（１９）
に示すように表される。
【００８９】
【数２１】
【００９０】Ｔ0を最初のシミュレーション温度、Ｔfを
最後のシミュレーション温度、かつｄl0を動きベクトル
フィールドの任意の最初の推定値とそれぞれ仮定する
と、以下のアルゴリズムを用いることによって、シミュ
レーションアニーリングのアルゴリズムを式（５）
（６）（１２）および（１３）のエネルギー関数を最小
化するのに用いることができる。
【００９１】温度をＴ0に設定 温度がＴfを越えるまで以下の操作を繰り返す。
【００９２】ｉを０からＮ−１まで変化させる。
【００９３】選択したエネルギー関数におけるｄ
l（ｘi）を式（１９）における 条件つき確率から生成された確率標本で置き換える 何らかのアニーリングスケジュールに従って温度を下げ
る 発明者は、アニーリングスケジュールが非常に高いシミ
ュレーション温度（例えばＴ0＝５００）に始まり、低
い温度（例えばＴf＝０．１）で終わるように決定し
た。それに加えて、発明者は満足のいく結果を生み出す
アニーリングスケジュールが、以下の（２０）式の指数
関数によって、ｋ番目の反復についてのシミュレーショ
ン温度Ｔkを規定するように決定した。
【００９４】
【数２２】
【００９５】ここで、ａは１．０をわずかに下回る定数
である。二次元確率標本は、二次元分布を水平に集積す
ることにより得られる一次元周辺累積分布から垂直成分
をまず生成させることにより、式（１９）における二変
量離散確率分布から生成される。したがって、水平成分
は、生成した垂直成分により与えられた二次元分布から
得られた一次元累積分布から生成させることができる。
【００９６】式（５）（６）（１２）および（１３）に
おけるエネルギー関数に対して、局所エネルギー関数の
いくつかに対してのみ関連するように、式（１９）の対
応する条件つき確率を減少させることができる。例え
ば、非局所的平滑動きモデルのエネルギー関数に対し
て、現在の画素ｘiの局所エネルギー関数は、以下の式
（２１）により表される。
【００９７】
【数２３】
【００９８】ここで、
【００９９】
【数２４】
【０１００】式（１８）の第１項は、シミュレーション
アニーリングの開始する以前に予め計算できる。第二項
は、Aleph（ｘi）における周辺の画素の動きベクトルに
のみ依存する。したがって、画像におけるすべての画素
に対する新しい動きベクトルを同時に計算することがで
きる。それゆえ、最小化の問題は、後述する図６に示す
プロセッサなどの高度に並列なプロセッサを用いること
により、画素単位に解くことができる。本発明に従って
動きベクトルフィールドの生成に用いるのに適したプロ
セッサは、例えば、D. Chinらにより、"The Princeton
Engine: A Real-Time Video System Simulator" (IEEE
Transactions on Consumer Electronics、1988年5月、2
85〜297頁)と題する論文に記載されたプリンストンエン
ジンがある。
【０１０１】式（２１）は、非局所的平滑動きモデルに
関するが、式（５）と式（６）との間、および式（１
２）と式（１３）との間と同様に容易に改変され、局所
異常排除を用いる等価エネルギー関数を生成し得る。さ
らに、非局所的平滑動きモデルに関して、式（２１）
は、さらに換算され、式（２２）によって定義されるエ
ネルギー関数を生成する。
【０１０２】
【数２５】
【０１０３】図１から図５を参照しながら、プロセスの
動作を説明する。図１において、正方形の中央領域１１
４は、画像１００のフレーム内に定義されている。この
画像において、各々の小さな長方形は、それぞれ異なる
画素値に対応する。本願に記載の装置および方法によっ
て使用される例示的な画像データは、ランダムな値の画
素を有する。画像は、説明を明確にするために、対照的
な中央部とその周辺部とにより示されている。
【０１０４】このフレームから次のフレームへの動きが
ない場合には、図２に示されるような動きベクトルフィ
ールドが生成される。この動きベクトルフィールドにお
いて、すべてのベクトル要素はゼロであり、画像に動き
がないことを示している。
【０１０５】しかし、中央領域１１４が、現在のフレー
ムと次のフレームとの間で、破線で囲まれた箱によって
示される領域１１６の位置に移動するならば、この領域
内の各画素の動きベクトルは、画素が動きの方向に移動
したことを示さなければならない。
【０１０６】しかし、非局所的平滑動きを仮定する従来
技術を用いると、図３に示されるような動きベクトルフ
ィールドが生成される。このフィールドにおいて、中央
領域１１４’は、図１に示されるフレーム画像における
領域１１４に対応する。領域１１４’の中央における動
きベクトルは正しいが、領域３１０に示されるような動
き境界におけるベクトルは正しくない。領域１１４’の
上方および左側の動きベクトルは、オクルージョンのた
めに誤っている。領域１１４’の下方および右側の動き
ベクトルは、動き不連続のために誤っている。
【０１０７】このデータがビデオ符号化装置に適用され
ると、誤った動きベクトルが生成され、符号化画像フレ
ームを示すのに必要なデータ量が増加する。
【０１０８】本発明による方法を、２つのフレーム、す
なわち、領域１１４を含むフレームおよび領域１１６を
含むフレームからの動きベクトルフィールドを生成する
のに用いると、図４に示されるような動きベクトルフィ
ールドが生成される。領域４１０におけるエラーのよう
な、動き不連続に関連するエラーをなくすことはできる
たが、領域３１０におけるようなオクルージョンに関連
するエラーは残った。
【０１０９】上記のように、オクルージョンに関連する
エラーは、他の２つのフレーム、すなわち、現在のフレ
ームの１つ前のフレームおよび現在のフレームの１つ後
のフレームが現在のフレームと共に用いられる本発明に
よる方法を用いることによって解消され、動きベクトル
フィールドを示すデータ値を生成し得る。この方法によ
って生成される例示的な動きベクトルフィールドを図５
に示す。動きベクトルフィールドを形成するすべての動
きベクトルにおいては、重大なエラーはない。
【０１１０】上記のように、図６は、本発明により動き
ベクトルフィールドを生成するのに用いられ得る高度並
列プロセッサのブロック図である。このプロセッサシス
テムは、Ｎｈ×Ｎｖ個のプロセッサＰ0、0からＰ
Nv-1,Nh-1を有している。言い換えると、このプロセッ
サシステムは現在の画像内の各画素に対して１つのプロ
セッサを有する。１画素当たり１より少ないプロセッサ
を有する他の並列構造も使用できる。または、下記のプ
ロセスを、現在のフレーム内の各画素を連続して処理す
ることによって単一なプロセッサ上で実施することもで
きる。
【０１１１】図６に示されるように、現在のフィールド
Ｆk、前回のフィールドＦk-1、および次のフィールドＦ
k+1に対応する入力サンプルは、入力／出力（Ｉ／Ｏ）
プロセッサ６１０に与えられる。このプロセッサ６１０
は、制御プロセッサ６１２の制御下で、サンプルをマル
チポートメモリ６１４に記憶する。メモリ６１４は、例
えば、複数のプロセッサＰ0,0からＰNv-1、Nh-1のそれぞ
れに対応して異なる部分を割り当てられたメモリであっ
てもよい。メモリ６１４およびプロセッサＰ0, 0からＰ
Nv-1,Nh-1は、図７を参照しながら以下に記載する方法
により動作し、２また３個の画像フィールドを示すサン
プルからの動きベクトルフィールドを示すサンプルを生
成する。
【０１１２】Ｉ／Ｏプロセッサ６１０は、３個のフレー
ムのデータを受け取るものとして示されているが、定常
状態の動作においては、１つの新しいフレームのデータ
のみが、所定時間にプロセッサ６１０に与えられ得る。
前回保存されたフレームのうちの２つは、フレームＦk
に対応する保存データがフレームＦk+1を示すデータと
なり、フレームＦk-1に対応する保存データがフレーム
Ｆkを示すデータとなるように、容易に再指定される。
【０１１３】上記のような動きベクトルフィールドを生
成する２フレーム方法はまた、図６に示されるプロセッ
サシステムを用いて実行される。この場合、２つのフレ
ームＦkおよびＦk+1のみがメモリ６１４に保存され、プ
ロセッサＰ0,0からＰNv-1,Nh -1によって用いられる。
【０１１４】図７は、本発明の例示的な実施例の全体的
な動作を示すフローチャート図である。このプロセスに
おける第１ステップであるステップ７１０において、原
画像は、Ｉ／Ｏプロセッサ６１０によってメモリ６１４
に保存される。上記のように、メモリ６１４は、単一の
マルチポートメモリであるか、またはプロセッサＰ0, 0
からＰNv-1,Nh-1の間に配分されていてもよい。従っ
て、メモリに画素値を保存する事によって、それぞれの
プロセッサに値が割り当てられる。本発明の例示的な実
施例において、各プロセッサは、現在のフレームおよび
システムに入力される他の１つまたは複数のフレームか
ら、その目標とする画素値および近傍の画素値へとアク
セスするだけでよい。
【０１１５】次に、ステップ７１２において、個々のプ
ロセッサのそれぞれは、その画素に対してランダム動き
ベクトルを生成する。このことは、例えば、各プロセッ
サがそれぞれ異なるシード値を用いる疑似乱数生成器を
用いて成し遂げられる。
【０１１６】ステップ７１４において、非局所的平滑動
きモデルが、フレームの各画素に対して定義される。こ
れらの関数は、上記の式（５）および（１２）によって
定義される。ステップ７１６において、初期および最終
シミュレーション温度が設定される。上記のように、こ
れらの温度の例示的な値は、それぞれ５００および０．
１である。ステップ７２０において、現在のシミュレー
ション温度値が最終シミュレーション温度値よりも大き
い場合には、制御がステップ７２２に転送される。そう
でない場合には、プロセスはステップ７３２で完了す
る。
【０１１７】ステップ７２２は、現在のシミュレーショ
ン温度値を切り替え、温度値ＴSと比較する。現在の温
度がＴSよりも低い場合には、エネルギー関数は、非局
所的平滑画像を仮定する関数から局所異常を排除する関
数（すなわち、式（５）から式（６）または式（１２）
から式（１３））へと切り替えられる。非局所的平滑エ
ネルギー関数は、上記のように、演算オーバーヘッドを
減少させるのに使用されるが、画像の縁部を移動させる
際にエラーを生じる。次に、異常を排除するエネルギー
関数は、画像の動き輪郭における動きベクトルを補正す
るのに使用される。
【０１１８】どのエネルギー関数が選択される場合で
も、プロセッサＰ0,0からＰNv-1,Nh-1のそれぞれは、式
（２１）に従って新しいランダム動きベクトルを生成す
る。あるいは、新しいランダム動きベクトルは、式
（６）が式（５）から改変されるのと同様の方法で改変
された式（２１）に類似した式（図示されていない）に
従って、動きベクトルの生成から異常を省略するために
生成される。
【０１１９】次に、ステップ７２８において、エネルギ
ー関数の新しい値が新しい動きベクトルに基づいて生成
される。ステップ７３０において、シミュレーション温
度は下げられ、制御は上記のステップ７２０に転送され
る。
【０１２０】演算が完了すると、プロセッサＰ0,0から
ＰNv-1,Nh-1のそれぞれは、その対応する画素に対する
動きベクトルを示す値を含む。これらの動きベクトル
は、制御プロセッサ６１２によって動きベクトルフィー
ルドとしてメモリ６１４から読み出され、動きベクトル
フィールドサンプル値を用いる回路に適用される。
【０１２１】エネルギー関数値を計算する際に局所異常
を排除するエネルギー関数は、図７に示されるプロセス
においてエネルギー関数のみとして使用される。このこ
とは、例えば、ＴSをＴOに設定することによって成し遂
げられる。
【０１２２】さらに、目標とするフレームに先行する画
像フレームおよび後続する画像フレームを用いて目標と
する画像フレームの動きベクトルフィールドを導く動作
は、一般化され、任意の数の付加フレームが収容され得
る。これらのフレームは、ペアフレームもしくは３フレ
ームからなる、または他のマルチフレームグルーピング
で組み合わされ、試験的な動きベクトルを生成する。こ
れらの代替実施例において、画像フレームのそれぞれの
組み合わせに対応する複数の動きベクトルから１つの動
きベクトルを選択する基準は、最小動きベクトルである
か、または動きベクトルの他の関数である。
【０１２３】動きベクトルフィールドデータを用いる２
つの例示的なシステムは、図８および図９に示される。
図８は、例えば、Motion Picture Experts Group (MPE
G)によって規定される基準に従って符号化高精細ＴＶ信
号を生成する従来の動き適応ビデオ符号化回路のブロッ
ク図である。この基準に従って動作する例示的なシステ
ムは、DERIVATION AND USE OF MOTION VECTORS IN A DI
FFERENTIAL PULSE CODE MODULATION SYSTEMという名称
の米国特許第5,198,901号において記載されている。動
き適応ビデオ符号化技術に関するこの特許の教示を、本
願では参考のために援用している。
【０１２４】図８において示されるシステムにおいて、
入力ビデオ信号は、カスケード接続フレームメモリ８１
０および８１２、ならびに図６に示されるような、入力
画像データから動きベクトルフィールドデータを生成す
るプロセッサシステムに与えられる。入力ビデオ信号、
およびフレームメモリ８１０からの出力信号は、動き補
償回路８１６に与えられ、フレームメモリ８１０からの
出力ビデオ信号はまた、減算器８２０にも与えられる。
【０１２５】一般に、（フレームメモリ８１８によって
与えられる）前回のフレームからの複合化ビデオ情報か
ら、（メモリ８１０によって与えられる）現在のビデオ
情報を減算することによって得られる微分画素値を符号
化することによって動作する。これらのシステムはま
た、先行するフレーム、後続するフレーム、またはその
両方における類似のデータに基づいてビデオデータを生
成できる方法を有する。これらのプロセスにおいて動き
を認めるためには、現在のフレームのデータは、現在の
フレームのデータに最もよくマッチする他のフレームの
１つの画像データから減算される。所定ブロックの画素
値のすべてにおいて、このデータは動きベクトルによっ
て同定される。
【０１２６】本発明の例示的な実施例を用いて、プロセ
ッサ８１４は、動きベクトルフィールドを示すデータ値
を動き補償回路８１６に与える。次に、回路８１６は、
この情報を用いて、目標とする画素値を含むブロックの
最善の動きベクトルを計算する。この動きベクトルは、
例えば、減算器８２０に与えられている現在のフレーム
からの画素のブロックに対応する個々の動きベクトルを
平均することによって計算される。
【０１２７】実質的に同一の結果を成し遂げるために用
いられる得る他の方法は、式（５）、（６）、（１
２）、（１３）および（２１）を用いて図７のフローチ
ャート図によって説明される、個々の画素値が画素のブ
ロックにおいて置換される方法を実施することである。
この代替方法の実施において、動きベクトルを生成し、
２つの動きベクトル間の差を決定する演算は、画素のブ
ロック単位で処理される。
【０１２８】動きベクトルフィールドを示すデータを有
効に用いることのできる他のシステムは、図９に示され
る。この図は、ロボットアーム制御システムのブロック
図である。ロボットアーム制御システムは、ロボットア
ーム９１２と、アーム９１２の動作領域を走査するカメ
ラ９１０とを有している。カメラ９１０からの画像デー
タはメモリ９１４に与えられ、メモリ９１４に与えられ
た画像データは、動きベクトルフィールドデータを生成
する図６に示されるプロセッサシステムなどのプロセッ
サシステム９１６に与えられる。動きベクトルフィール
ドデータは、ロボットアーム制御器９１８に与えられ、
ロボットアーム制御器９１８は、このデータおよびロボ
ットアーム９１２からのデータを用いてその動作領域に
おいてアーム９１２を動作する。
【０１２９】動きベクトルフィールドは、この種のシス
テムにおいて用いられ、ロボットアーム９１２に対応す
る画像部分およびアーム９１２によって操作される製品
に対応する画像の他の部分の相対的な動きを決定する。
【０１３０】本発明は、例示する実施例に基づいて説明
したが、本発明は、請求の範囲の精神および範囲内で上
記の概略のように実施され得る。
【０１３１】
【発明の効果】本発明による局所異常の排除による動き
ベクトルフィールドの評価方法および装置を用いると、
従来の問題点であった動きの不連続性およびオクルージ
ョンの両方による動きベクトルのエラーを実質的に解消
することができる。
【０１３２】また、本発明では、動きベクトルフィール
ドの評価を各画素毎に行うことができるため、高度に並
列化したプロセッサを用いることにより、高速な演算を
実現可能となる。
【図面の簡単な説明】
【図１】本発明による入力画像の例を示す図である。
【図２】図１による画像の動きのない列に対する画像ベ
クトルフィールドを示す図である。
【図３】動いている成分を含む図１による画像の列に対
する画像ベクトルフィールドを示す図である。
【図４】図１による画像に対し、本発明の第１の実施例
を用いて生成され、評価された画像ベクトルフィールド
を示す図である。
【図５】図１による第１、第２、および第３の画像に対
し、本発明の第２の実施例を用いて生成され、評価され
た画像ベクトルフィールドを示す図である。
【図６】本発明の実施例を実現するのに適した並列プロ
セッサコンピュータシステムを示すブロック図である。
【図７】本発明による動きベクトルフィールドの生成を
示すフローチャートの図である。
【図８】ビデオ信号の動き適応符号化の助けとなる本発
明の実施例を用いたビデオ符号化システムを示すブロッ
ク図である。
【図９】ビデオ入力データに基づきロボットアームを方
向づける助けとなる本発明の実施例を用いたロボットビ
ジョンシステムを示すブロック図である。
【符号の説明】
１１４’ 動きベクトルフィールドの中央領域 ３１０ オクルージョンによるエラー発生領域 ４１０ 動きの不連続によるエラー発生領域
フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 7/20 H04N 7/24

Claims (18)

    (57)【特許請求の範囲】
  1. 【請求項１】 一連の画像フレームのうち現在の画像フ
    レームの個々の画像成分および少なくとも１つの他の画
    像フレームの対応する画像成分の動きを示す動きベクト
    ルフィールドを表すサンプル値を生成する動きベクトル
    フィールド生成装置であって、該動きベクトルフィール
    ド生成装置は、該現在の画像フレームの画像成分のうち
    １つと該１つの他の画像フレームのうち対応する１つの
    画像成分との間の動きの評価にそれぞれ対応する複数の
    動きベクトル値の初期値を生成する初期化手段と、該現
    在のフレームにおける現在の画像成分に対応する目標動
    きベクトル（ターゲットモーションベクトル）に対する
    エネルギー関数の関数値を生成するエネルギー関数値生
    成手段であって、該エネルギー関数は、該目標動きベク
    トルと近傍動きベクトルのうち該現在の画像フレームの
    該現在の画像成分を囲む画像成分に対応する近傍動きベ
    クトルとの関数であり、ある近傍動きベクトルと該目標
    動きベクトルとの差が所定の閾値よりも大きい場合には
    該近傍動きベクトルを異常動きベクトルとして無視する
    エネルギー関数値生成手段と、各動きベクトル値を修正
    することによって該現在の画像の該エネルギー関数を最
    小とし、該動きベクトルフィールドを表す該サンプル値
    を生成するエネルギー最小化手段とを備えている動きベ
    クトルフィールド生成装置。
  2. 【請求項２】 前記画像成分のそれぞれが前記画像の単
    位画素である請求項１に記載の装置。
  3. 【請求項３】 前記画像成分のそれぞれが複数の単位画
    素を含む請求項１に記載の装置。
  4. 【請求項４】 前記目標動きベクトルについてのエネル
    ギー関数値を発生させる手段が、前記動きベクトルフィ
    ールドにおける該目標動きベクトルに隣接する近傍動き
    ベクトルのみで表される関数に基づいて、前記異常動き
    ベクトルを排除する手段を含む請求項１に記載の装置。
  5. 【請求項５】 前記エネルギー関数値を発生させる手段
    が、前記目標動きベクトルを囲むＮｃ個（Ｎｃ：正の整
    数）の近傍動きベクトルのそれぞれを比較し、該Ｎｃ個
    の近傍動きベクトルのうち他のものよりも大きさの大き
    い該Ｎｃ個の近傍動きベクトルのうちから所定数の近傍
    動きベクトルを識別する手段と、該識別された近傍動き
    ベクトルを前記異常動きベクトルとして排除する手段と
    を備えている請求項４に記載の装置。
  6. 【請求項６】 前記エネルギー関数値生成手段が、前記
    目標動きベクトルを囲むＮｃ個の近傍動きベクトルのそ
    れぞれを評価して、該Ｎｃ個の近傍動きベクトルにそれ
    ぞれの大きさを示す大きさ値を割り当てる手段と、割り
    当てられた該大きさ値のうち１つを、該Ｎｃ個の近傍動
    きベクトルの中央大きさ値として識別する手段と、該中
    央大きさ値よりも大きな大きさ値を有する該識別された
    近傍動きベクトルを、異常動きベクトルとして排除する
    手段とを備えている請求項４に記載の装置。
  7. 【請求項７】 前記エネルギー最小化手段では反復処理
    を行っており、該反復処理においては該エネルギー関数
    値生成手段によって用いられる前記エネルギー関数を、
    全ての近傍動きベクトルを用いる第１のエネルギー関数
    から、異常動きベクトルを排除する第２のエネルギー関
    数へ、該反復処理の所定の瞬間に切り換える手段を有す
    る、請求項４に記載の装置。
  8. 【請求項８】 前記動きベクトルフィールドが、前記現
    在の画像フレームの個々の画像成分および該現在のフレ
    ームとは異なる第１および第２の画像フレームの対応す
    る画像成分の動きを示すものであり、前記初期化手段
    が、第１の複数の初期動きベクトル値を生成する手段お
    よび第２の複数の初期動きベクトル値を生成する手段を
    備えており、該第１の複数の初期動きベクトル値のそれ
    ぞれは該現在の画像フレームの該画像成分のうち１つと
    該第１の画像フレームにおける対応する１つの画像成分
    との間の動きの評価に対応し、該第２の複数の初期動き
    ベクトル値のそれぞれは該現在の画像フレームの該画像
    成分のうち１つと該第２の画像フレームにおける対応す
    る１つの画像成分との間の動きの評価に対応しており、
    前記目標動きベクトルのための前記エネルギー関数値生
    成手段が、該目標動きベクトルと該第１の複数の近傍動
    きベクトルとの関数である第１のエネルギー関数値を該
    目標動きベクトルに対して生成する手段と、該目標動き
    ベクトルと該第２の複数の近傍動きベクトルとの関数で
    ある第２のエネルギー関数値を該目標動きベクトルに対
    して生成する手段と、該第１および第２のエネルギー関
    数値の間の大きさの差に基づいて、該第１および第２の
    エネルギー関数値のうち一方を、生成されたエネルギー
    関数値として選択する手段とを備えている請求項１に記
    載の装置。
  9. 【請求項９】 前記目標動きベクトルのための前記エネ
    ルギー関数値生成手段が、該目標動きベクトルと前記第
    １および第２の複数の近傍動きベクトルのうち一方との
    関数である第３のエネルギー関数値を該目標動きベクト
    ルに対して生成する手段と、前記第１、第２および第３
    のエネルギー関数値の間の大きさの差に基づいて、該第
    １、第２および第３のエネルギー関数値のうち１つを、
    生成されたエネルギー関数値として選択する手段とを備
    えている請求項８に記載の装置。
  10. 【請求項１０】 前記現在の画像における前記エネルギ
    ー関数最小化手段が、シミュレーションアニーリングア
    ルゴリズムを用いて該エネルギー関数を処理する手段を
    備えている請求項１に記載の装置。
  11. 【請求項１１】 一連の画像フレームのうち現在の画像
    フレームの個々の画像成分および少なくとも１つの他の
    画像フレームの対応する画像成分の動きを示す動きベク
    トルフィールドを表すサンプル値を生成する方法であっ
    て、該方法は、 （ａ）該現在の画像フレームの画像成分のそれぞれ異な
    る１つに対応する複数の初期動きベクトル値を生成する
    ステップと、（ｂ）該現在の画像フレームにおける現在
    の画像成分に対応する目標動きベクトルに対するエネル
    ギー関数の関数値を生成するステップであって、該エネ
    ルギー関数は、該目標動きベクトルと近傍動きベクトル
    のうち該現在の画像フレームの該現在の画像成分を囲む
    画像成分に対応する近傍動きベクトルとの関数であり、
    ある近傍動きベクトルと該目標動きベクトルとの差が所
    定の閾値よりも大きい場合には該近傍動きベクトルを異
    常動きベクトルとして無視するステップと、（ｃ）各動
    きベクトル値を修正することによって該現在の画像の該
    エネルギー関数を最小とし、該動きベクトルフィールド
    を表す該サンプル値を生成するステップとを包含する方
    法。
  12. 【請求項１２】 前記画像成分のそれぞれが前記画像の
    単位画素である請求項１１に記載の方法。
  13. 【請求項１３】 前記画像成分のそれぞれが複数の単位
    画素を含む請求項１１に記載の方法。
  14. 【請求項１４】 前記ステップ（ｂ）が、前記動きベク
    トルフィールドにおいて前記目標動きベクトルに隣接す
    る近傍動きベクトルのみで表される関数に基づいて前記
    異常動きベクトルを排除するステップを含む請求項１１
    に記載の方法。
  15. 【請求項１５】 前記ステップ（ｂ）は反復プロセスで
    あり、該反復プロセスは、前記ステップ（ｂ）によって
    用いられるエネルギー関数を、全ての近傍動きベクトル
    を用いる第１のエネルギー関数から、異常動きベクトル
    を排除する第２のエネルギー関数へ、該反復ステップの
    所定の瞬間に切り換えるステップを含む、請求項１４に
    記載の方法。
  16. 【請求項１６】 前記動きベクトルフィールドが、前記
    現在の画像フレームの個々の画像成分および該現在のフ
    レームとは異なる第１および第２の画像フレームの対応
    する画像成分の動きを示すものであり、前記ステップ
    （ａ）が、第１の複数の初期動きベクトル値を生成する
    前記ステップおよび第２の複数の初期動きベクトル値を
    生成するステップを包含しており、該第１の複数の初期
    動きベクトル値のそれぞれは該現在の画像フレームの該
    画像成分のうち１つと該第１の画像フレームにおける対
    応する１つの画像成分との間の動きの評価に対応し、該
    第２の複数の初期動きベクトル値のそれぞれは該現在の
    画像フレームの該画像成分のうち１つと該第２の画像フ
    レームにおける対応する１つの画像成分との間の動きの
    評価に対応しており、前記ステップ（ｂ）が、該目標動
    きベクトルと該第１の複数の近傍動きベクトルとの関数
    である第１のエネルギー関数値を該目標動きベクトルに
    対して生成するステップと、該目標動きベクトルと該第
    ２の複数の近傍動きベクトルとの関数である第２のエネ
    ルギー関数値を該目標動きベクトルに対して生成するス
    テップと、該第１および第２のエネルギー関数値の間の
    大きさの差に基づいて、該第１および第２のエネルギー
    関数値のうち一方を、生成されたエネルギー関数値とし
    て選択するステップとを包含する請求項１１に記載の方
    法。
  17. 【請求項１７】 前記目標動きベクトルに対するエネル
    ギー関数値を生成する前記ステップが、該目標動きベク
    トルと前記第１および第２の複数の近傍動きベクトルの
    うち一方との関数の関数値である第３のエネルギー関数
    値を該目標動きベクトルに対して生成するステップと、
    前記第１、第２および第３のエネルギー関数値の間の大
    きさの差に基づいて、該第１、第２および第３のエネル
    ギー関数値のうち１つを、生成されたエネルギー関数値
    として選択するステップとを備えている請求項１６に記
    載の方法。
  18. 【請求項１８】 前記ステップ（ｃ）が、シミュレーシ
    ョンアニーリングアルゴリズムを用いた該エネルギー関
    数を処理する手段を備えている請求項１１に記載の方
    法。
JP6269913A 1993-11-03 1994-11-02 局所異常の排除による動きベクトルフィールド生成装置およびその方法 Expired - Fee Related JP2978406B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/146,746 1993-11-03
US08/146,746 US5471252A (en) 1993-11-03 1993-11-03 Method and apparatus for estimating motion vector fields by rejecting local outliers

Publications (2)

Publication Number Publication Date
JPH07168943A JPH07168943A (ja) 1995-07-04
JP2978406B2 true JP2978406B2 (ja) 1999-11-15

Family

ID=22518825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6269913A Expired - Fee Related JP2978406B2 (ja) 1993-11-03 1994-11-02 局所異常の排除による動きベクトルフィールド生成装置およびその方法

Country Status (4)

Country Link
US (1) US5471252A (ja)
EP (1) EP0652536B1 (ja)
JP (1) JP2978406B2 (ja)
DE (1) DE69427801T2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706059A (en) * 1994-11-30 1998-01-06 National Semiconductor Corp. Motion estimation using a hierarchical search
JP3688377B2 (ja) * 1996-01-31 2005-08-24 富士通株式会社 画像特徴追跡装置及び画像特徴追跡方法
GB2311184A (en) * 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
US6285774B1 (en) * 1998-06-08 2001-09-04 Digital Video Express, L.P. System and methodology for tracing to a source of unauthorized copying of prerecorded proprietary material, such as movies
WO2000011863A1 (en) * 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
WO2000019713A1 (de) * 1998-09-30 2000-04-06 Micronas Munich Gmbh Schaltung zur wandlung einer bildrate
JP3576402B2 (ja) * 1998-10-23 2004-10-13 三菱電機株式会社 画像復号化装置
US6628715B1 (en) 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
US6625216B1 (en) 1999-01-27 2003-09-23 Matsushita Electic Industrial Co., Ltd. Motion estimation using orthogonal transform-domain block matching
GB2348064A (en) * 1999-03-16 2000-09-20 Mitsubishi Electric Inf Tech Motion vector field encoding
GB9906420D0 (en) * 1999-03-19 1999-05-12 Isis Innovation Method and apparatus for image processing
US6621929B1 (en) * 1999-06-22 2003-09-16 Siemens Corporate Research, Inc. Method for matching images using spatially-varying illumination change models
GB9920401D0 (en) 1999-08-27 1999-11-03 Isis Innovation Non-rigid motion image analysis
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US8113839B2 (en) * 2000-07-21 2012-02-14 Sony Corporation Information processing apparatus, information processing method, information processing system, and storage medium
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US6854386B2 (en) 2000-10-31 2005-02-15 International Imaging Materials Inc. Ceramic decal assembly
US6990904B2 (en) 2000-10-31 2006-01-31 International Imaging Materials, Inc Thermal transfer assembly for ceramic imaging
US6796733B2 (en) 2000-10-31 2004-09-28 International Imaging Materials Inc. Thermal transfer ribbon with frosting ink layer
US6738099B2 (en) * 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
KR20030029937A (ko) * 2001-07-06 2003-04-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 제어된 벡터 통계들을 이용한 모션 추정 및 보상
JP2005506626A (ja) * 2001-10-25 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas
US7164800B2 (en) * 2003-02-19 2007-01-16 Eastman Kodak Company Method and system for constraint-consistent motion estimation
TWI250423B (en) * 2004-07-30 2006-03-01 Ind Tech Res Inst Method for processing video images
US7715645B2 (en) * 2004-11-17 2010-05-11 Samsung Electronics Co., Ltd. Methods to estimate noise variance from a video sequence
TWI463874B (zh) * 2008-01-02 2014-12-01 Mstar Semiconductor Inc 產生目標影像區塊的影像處理方法及其相關裝置
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
US8515579B2 (en) * 2009-12-09 2013-08-20 GM Global Technology Operations LLC Systems and methods associated with handling an object with a gripper
TWI466538B (zh) * 2012-01-20 2014-12-21 Altek Corp 影像處理方法及其裝置
KR101932916B1 (ko) * 2012-06-28 2018-12-27 삼성전자 주식회사 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치
CN103618904B (zh) * 2013-11-20 2017-02-22 华为技术有限公司 基于像素的运动估计方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661853A (en) * 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
DE3853554T2 (de) * 1987-06-09 1995-08-24 Sony Corp Bewegungsvektorabschätzung in Fernsehbildern.
GB2231749B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231751B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
JP2687670B2 (ja) * 1990-04-19 1997-12-08 松下電器産業株式会社 動き検出回路および手ぶれ補正装置
DE4104067C2 (de) * 1991-02-11 1994-08-25 Telefonbau & Normalzeit Gmbh Verfahren zur Verbesserung der Qualität von Bewegungsvektoren für digitale Bildübertragung
US5198901A (en) * 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
US5386249A (en) * 1992-01-22 1995-01-31 Samsung Electronics Co., Ltd. Video motion detector with full-band response except for diagonal spatial frequencies

Also Published As

Publication number Publication date
US5471252A (en) 1995-11-28
DE69427801T2 (de) 2002-04-04
EP0652536A3 (en) 1997-02-12
EP0652536A2 (en) 1995-05-10
DE69427801D1 (de) 2001-08-30
JPH07168943A (ja) 1995-07-04
EP0652536B1 (en) 2001-07-25

Similar Documents

Publication Publication Date Title
JP2978406B2 (ja) 局所異常の排除による動きベクトルフィールド生成装置およびその方法
Kokaram et al. Detection of missing data in image sequences
US5557684A (en) System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters
JP3207461B2 (ja) ３次元対象物のトラッキング方法及び装置
US5930379A (en) Method for detecting human body motion in frames of a video sequence
CN110378348B (zh) 视频实例分割方法、设备及计算机可读存储介质
US6628715B1 (en) Method and apparatus for estimating optical flow
US5907626A (en) Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh
KR20100139030A (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
CN112200157A (zh) 一种降低图像背景干扰的人体3d姿态识别方法及其系统
JP2000306108A (ja) オプティカルフロー推定方法
EP0586708B1 (en) Image processor and method therefor
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
Pan et al. Robust object tracking against template drift
Sim et al. Robust reweighted MAP motion estimation
EP4174770B1 (en) Monocular-vision-based detection of moving objects
JP4201958B2 (ja) 動画像のオブジェクト抽出装置
WO2010070128A1 (en) Method for multi-resolution motion estimation
US20050129312A1 (en) Unit for and method of segmentation
Chan et al. Iterative maximum likelihood displacement field estimation in quantum-limited image sequences
JPH05288543A (ja) 視覚情報と触覚情報とを統合した認識装置
Crinon et al. Adaptive model-based motion estimation
Yacoob et al. Temporal multi-scale models for flow and acceleration
JPH08242454A (ja) グローバル動きパラメタ検出方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990805

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees