JPH10224798A - 動きベクトル検出方法および検出装置 - Google Patents
動きベクトル検出方法および検出装置Info
- Publication number
- JPH10224798A JPH10224798A JP2303597A JP2303597A JPH10224798A JP H10224798 A JPH10224798 A JP H10224798A JP 2303597 A JP2303597 A JP 2303597A JP 2303597 A JP2303597 A JP 2303597A JP H10224798 A JPH10224798 A JP H10224798A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- parameters
- area
- plane
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 高精度かつ安定して動きベクトルを検出でき
ると共に、動きベクトル算出の信頼度情報を同時に算出
できる。 【解決手段】 動画像のデータを入力してこの動画像に
おける１枚分の静止画面を対象画像として取り込む第１
のステップST１と、対象画像のある画素を中心としたそ
の近傍の所定範囲を第１の設定領域として設定し、この
第１の設定領域内の解像度を高くする第２のステップST
２と、解像度が高められた第１の設定領域に対応する領
域に所定の演算手法により平面を当てはめ、その平面に
関する複数のパラメータと誤差分散に関するパラメータ
とを求める第３のステップST３と、求められたパラメー
タを用いて複数の領域のサイズの中から最適となる第２
の設定領域をスケールとして選択する第４のステップST
４と、選択された第２の設定領域内の動きベクトルを算
出すると共に、この動きベクトルを信頼度情報としての
前記誤差分散に関するパラメータと共に出力する第５の
ステップST５と、を少なくとも備える。
ると共に、動きベクトル算出の信頼度情報を同時に算出
できる。 【解決手段】 動画像のデータを入力してこの動画像に
おける１枚分の静止画面を対象画像として取り込む第１
のステップST１と、対象画像のある画素を中心としたそ
の近傍の所定範囲を第１の設定領域として設定し、この
第１の設定領域内の解像度を高くする第２のステップST
２と、解像度が高められた第１の設定領域に対応する領
域に所定の演算手法により平面を当てはめ、その平面に
関する複数のパラメータと誤差分散に関するパラメータ
とを求める第３のステップST３と、求められたパラメー
タを用いて複数の領域のサイズの中から最適となる第２
の設定領域をスケールとして選択する第４のステップST
４と、選択された第２の設定領域内の動きベクトルを算
出すると共に、この動きベクトルを信頼度情報としての
前記誤差分散に関するパラメータと共に出力する第５の
ステップST５と、を少なくとも備える。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像データから
動き情報を検出する動きベクトル検出方法および検出装
置に係り、特に勾配法により或る画素を含むスケールと
しての第２の設定領域を平面に当てはめて動きベクトル
を算出する際に信頼度情報をも求めることができる動き
ベクトル検出方法および検出装置に関する。
動き情報を検出する動きベクトル検出方法および検出装
置に係り、特に勾配法により或る画素を含むスケールと
しての第２の設定領域を平面に当てはめて動きベクトル
を算出する際に信頼度情報をも求めることができる動き
ベクトル検出方法および検出装置に関する。
【０００２】
【従来の技術】動画像上での各点での動きベクトルは様
々な動画像処理の基礎となる重要な情報であり、従来か
ら様々な研究がなされて来た。この分野における研究の
成果としては、例えば、「J.L.Barron, D.J.Fleet,
S.S.Beauchemin, "Systems andExperiment: Performanc
e of Optical Flow Techniques", InternationalJ
ournal of Computer Vision, vol.12,No.1, pp.43-77,
1994」や「A.Mitiche,P.Bouthemy, "Computation and
Analysis of Image Motion: A Synopsisof Curre
nt Problems and Methods," International Journal
of ComputerVision, vol.19, No.1, pp.29-55, 1996」
などが挙げられる。
々な動画像処理の基礎となる重要な情報であり、従来か
ら様々な研究がなされて来た。この分野における研究の
成果としては、例えば、「J.L.Barron, D.J.Fleet,
S.S.Beauchemin, "Systems andExperiment: Performanc
e of Optical Flow Techniques", InternationalJ
ournal of Computer Vision, vol.12,No.1, pp.43-77,
1994」や「A.Mitiche,P.Bouthemy, "Computation and
Analysis of Image Motion: A Synopsisof Curre
nt Problems and Methods," International Journal
of ComputerVision, vol.19, No.1, pp.29-55, 1996」
などが挙げられる。
【０００３】上記文献にも述べられているように、動き
ベクトルの計算方法には様々な種類があるが、現在広く
用いられているのは勾配法とブロックマッチング法であ
る。勾配法とは、前後のフレーム間で輝度が保存される
という仮定のもと、画像の空間微分と時間微分と動きベ
クトルの間の関係を表す以下の拘束条件式を用いて動き
ベクトルを求める方法である。
ベクトルの計算方法には様々な種類があるが、現在広く
用いられているのは勾配法とブロックマッチング法であ
る。勾配法とは、前後のフレーム間で輝度が保存される
という仮定のもと、画像の空間微分と時間微分と動きベ
クトルの間の関係を表す以下の拘束条件式を用いて動き
ベクトルを求める方法である。
【０００４】
【数１】 ここで、「f(x,t)」は画像の輝度分布、「v(x,t)」は動
きベクトルを表わしている。
きベクトルを表わしている。
【０００５】式（１）は未知パラメータが２つあるの
で、このままでは動きベクトルを求目ることはできな
い。したがって、着目する画素の点の近傍の幾つかの画
素の点において上記式（１）を立式し、これらを連立さ
せて解く必要がある。
で、このままでは動きベクトルを求目ることはできな
い。したがって、着目する画素の点の近傍の幾つかの画
素の点において上記式（１）を立式し、これらを連立さ
せて解く必要がある。
【０００６】
【発明が解決しようとする課題】勾配法は、得られる動
きベクトルの精度が高いため小さな動きに対しては比較
的良好な結果が得られるが、画像間の動きが激しいと時
間軸方向での画像の滑らかさの仮定が成り立たなくな
り、結果としては正しいベクトルが得られなくなるとい
う欠点がある。また、連立方程式の解を最小二乗法によ
り求める場合、最尤推定値を得るためには、各々の式に
加わる誤差の分散を見積り、それをもとに正規化した上
で連立させる必要がある。
きベクトルの精度が高いため小さな動きに対しては比較
的良好な結果が得られるが、画像間の動きが激しいと時
間軸方向での画像の滑らかさの仮定が成り立たなくな
り、結果としては正しいベクトルが得られなくなるとい
う欠点がある。また、連立方程式の解を最小二乗法によ
り求める場合、最尤推定値を得るためには、各々の式に
加わる誤差の分散を見積り、それをもとに正規化した上
で連立させる必要がある。
【０００７】しかしながら従来の研究では、上式（１）
にどのような誤差が加わるのかという非常に重要な時間
にあまり関心が払われてこなかった。そのため、式
（１）をそのまま連立させたり、着目点を中心に、中心
から離れる程小さくなるような均一な重みづけを適当に
割り当てて連立させるなど、統計的な裏付けのない手法
が多く見られ、そのため得られた動きベクトルにどの程
度の信頼度を持たせて判断するか等を正しく見積もるこ
とができなかった。さらに、勾配法は前後のフレーム間
においては輝度が保存されるという仮定の下に動きベク
トルの算出を行なっているが、実際の画像においては画
像のちらつき等により、勾配法で用いている前後のフレ
ーム間での輝度の保存という上記仮定は、成立しない場
合が多く、このため、勾配法により算出される動きベク
トルはロバスト性に欠けていると云う問題もある。
にどのような誤差が加わるのかという非常に重要な時間
にあまり関心が払われてこなかった。そのため、式
（１）をそのまま連立させたり、着目点を中心に、中心
から離れる程小さくなるような均一な重みづけを適当に
割り当てて連立させるなど、統計的な裏付けのない手法
が多く見られ、そのため得られた動きベクトルにどの程
度の信頼度を持たせて判断するか等を正しく見積もるこ
とができなかった。さらに、勾配法は前後のフレーム間
においては輝度が保存されるという仮定の下に動きベク
トルの算出を行なっているが、実際の画像においては画
像のちらつき等により、勾配法で用いている前後のフレ
ーム間での輝度の保存という上記仮定は、成立しない場
合が多く、このため、勾配法により算出される動きベク
トルはロバスト性に欠けていると云う問題もある。
【０００８】一方、ブロックマッチング法は動きが激し
い場合であっても、勾配法ほどの性能の低下はないが、
精度が画素単位でしか求められないために、画像間の動
きが小さい場合は精度が落ちるという問題がある。両手
法に共通の問題は、いわゆるアパーチャー問題である。
ブロックマッチング法も勾配法も共に画像上の１点のデ
ータのみからは動きベクトルを計算することができな
い。このため、画像上の着目点の周りの小領域の部分画
像を用いて計算を行なう。以下、この小領域の部分画像
をブロックと呼ぶことにする。
い場合であっても、勾配法ほどの性能の低下はないが、
精度が画素単位でしか求められないために、画像間の動
きが小さい場合は精度が落ちるという問題がある。両手
法に共通の問題は、いわゆるアパーチャー問題である。
ブロックマッチング法も勾配法も共に画像上の１点のデ
ータのみからは動きベクトルを計算することができな
い。このため、画像上の着目点の周りの小領域の部分画
像を用いて計算を行なう。以下、この小領域の部分画像
をブロックと呼ぶことにする。
【０００９】アパーチャー問題とは、例えば、図２
（ａ）のように、ブロック内に全くテクスチャーがない
場合や、ある方向に全く輝度変化がない場合、正しい動
きを検出することが出来なくなる問題のことである。こ
の様に極端な場合でなくても、ブロック内の画像にテク
スチャーが乏しい場合、ノイズ等の影響を受けやすくな
り、結果として正しい動きベクトルが得られなくなる。
（ａ）のように、ブロック内に全くテクスチャーがない
場合や、ある方向に全く輝度変化がない場合、正しい動
きを検出することが出来なくなる問題のことである。こ
の様に極端な場合でなくても、ブロック内の画像にテク
スチャーが乏しい場合、ノイズ等の影響を受けやすくな
り、結果として正しい動きベクトルが得られなくなる。
【００１０】したがって、テクスチャーの乏しい部分で
はより広範囲の画像を基に動きの検出をする必要があ
る。以下では動きの検出に用いるブロックの大きさをス
ケールと呼ぶことにする。大きなスケールを用いる程、
アパーチャー問題は回避されやすくなるが、その分検出
される動きがなまってしまい、得られる動きベクトル場
の空間解像度が低下してしまう。特に動き輪郭付近や対
象が変形している部分では、なるべく小さなスケールを
用いることが望ましい。このように、スケールに関して
は、アパーチャー問題と空間解像度のトレードオフがあ
るので、場所毎にこのトレードオフを考慮に入れて最適
なスケールを選択する必要がある。
はより広範囲の画像を基に動きの検出をする必要があ
る。以下では動きの検出に用いるブロックの大きさをス
ケールと呼ぶことにする。大きなスケールを用いる程、
アパーチャー問題は回避されやすくなるが、その分検出
される動きがなまってしまい、得られる動きベクトル場
の空間解像度が低下してしまう。特に動き輪郭付近や対
象が変形している部分では、なるべく小さなスケールを
用いることが望ましい。このように、スケールに関して
は、アパーチャー問題と空間解像度のトレードオフがあ
るので、場所毎にこのトレードオフを考慮に入れて最適
なスケールを選択する必要がある。
【００１１】動きベクトルの計算において、もう一つの
重要な問題は、得られた動きベクトルの信頼度の評価で
ある。計算により得られる動きベクトルには様々な理由
から誤差が含まれる。この誤差の大きさを見積もること
は、計算により得られた動きベクトルに基づいて様々な
動画像処理を行なう上で、極めて重要である。また、動
きによる遮蔽などが生じている部分では、本来動きベク
トルは存在しないが、従来の手法においてはこのような
部分についても動きベクトルが計算されてしまい、その
結果として全く誤った動きベクトルが算出されてしまう
ことになる。このため、単に動きベクトルを計算するだ
けでなく、その妥当性を判定することも必要とされる。
重要な問題は、得られた動きベクトルの信頼度の評価で
ある。計算により得られる動きベクトルには様々な理由
から誤差が含まれる。この誤差の大きさを見積もること
は、計算により得られた動きベクトルに基づいて様々な
動画像処理を行なう上で、極めて重要である。また、動
きによる遮蔽などが生じている部分では、本来動きベク
トルは存在しないが、従来の手法においてはこのような
部分についても動きベクトルが計算されてしまい、その
結果として全く誤った動きベクトルが算出されてしまう
ことになる。このため、単に動きベクトルを計算するだ
けでなく、その妥当性を判定することも必要とされる。
【００１２】本発明は、動画像情報より得られた画像に
基づいて高精度かつ安定して動きベクトルを検出できる
と共に、動きベクトル算出の信頼度情報を動きベクトル
と同時に算出することのできる動きベクトル検出方法お
よび動きベクトル検出装置を提供することを目的とす
る。
基づいて高精度かつ安定して動きベクトルを検出できる
と共に、動きベクトル算出の信頼度情報を動きベクトル
と同時に算出することのできる動きベクトル検出方法お
よび動きベクトル検出装置を提供することを目的とす
る。
【００１３】
【課題を解決するための手段】上記課題を解決するた
め、請求項１に係る動きベクトル検出方法は、動画像の
データを入力してこの動画像における１枚分の静止画面
を対象画像として取り込む第１のステップと、上記対象
画像におけるある画素を中心としたその近傍の所定範囲
を第１の設定領域として設定して、この第１の設定領域
内の解像度を高くする第２のステップと、解像度が高め
られた前記第１の設定領域に対応する領域に所定の演算
手法により平面を当てはめて、その平面に関する複数の
パラメータと誤差分散に関するパラメータとを求める第
３のステップと、求められた前記パラメータを用いて、
複数の領域のサイズの中から最適となる第２の設定領域
をスケールとして選択する第４のステップと、選択され
た前記第２の設定領域内の動きベクトルを算出すると共
に、前記誤差分散に関するパラメータを信頼度情報とし
て、求められた前記動きベクトルに付加して出力する第
５のステップと、を少なくとも備えることを特徴として
いる。
め、請求項１に係る動きベクトル検出方法は、動画像の
データを入力してこの動画像における１枚分の静止画面
を対象画像として取り込む第１のステップと、上記対象
画像におけるある画素を中心としたその近傍の所定範囲
を第１の設定領域として設定して、この第１の設定領域
内の解像度を高くする第２のステップと、解像度が高め
られた前記第１の設定領域に対応する領域に所定の演算
手法により平面を当てはめて、その平面に関する複数の
パラメータと誤差分散に関するパラメータとを求める第
３のステップと、求められた前記パラメータを用いて、
複数の領域のサイズの中から最適となる第２の設定領域
をスケールとして選択する第４のステップと、選択され
た前記第２の設定領域内の動きベクトルを算出すると共
に、前記誤差分散に関するパラメータを信頼度情報とし
て、求められた前記動きベクトルに付加して出力する第
５のステップと、を少なくとも備えることを特徴として
いる。
【００１４】また、請求項２に係る動きベクトル検出方
法は、請求項１の動きベクトル検出方法であって、前記
第３のステップにおいて求められる平面に関する複数の
パラメータは、平面に関する３つのパラメータであり、
この平面に関する３つのパラメータに誤差分散に関する
１つのパラメータを合わせて４つのパラメータを求める
と共に、前記第４のステップでスケールとして選択され
る前記第２の設定領域は、前記４つのパラメータに基づ
いて選択される固定範囲の領域であることを特徴として
いる。
法は、請求項１の動きベクトル検出方法であって、前記
第３のステップにおいて求められる平面に関する複数の
パラメータは、平面に関する３つのパラメータであり、
この平面に関する３つのパラメータに誤差分散に関する
１つのパラメータを合わせて４つのパラメータを求める
と共に、前記第４のステップでスケールとして選択され
る前記第２の設定領域は、前記４つのパラメータに基づ
いて選択される固定範囲の領域であることを特徴として
いる。
【００１５】さらに、請求項３に係る動きベクトル検出
方法は、請求項１の動きベクトル検出方法であって、前
記第３のステップにおいて求められる平面に関する複数
のパラメータは、平面に関する３つのパラメータであ
り、この平面に関する３つのパラメータに誤差分散に関
する１つのパラメータを合わせて４つのパラメータを求
めると共に、前記第４のステップでスケールとして選択
される前記第２の設定領域は、前記４つのパラメータに
基づいて選択される可変の範囲の領域であることを特徴
としている。
方法は、請求項１の動きベクトル検出方法であって、前
記第３のステップにおいて求められる平面に関する複数
のパラメータは、平面に関する３つのパラメータであ
り、この平面に関する３つのパラメータに誤差分散に関
する１つのパラメータを合わせて４つのパラメータを求
めると共に、前記第４のステップでスケールとして選択
される前記第２の設定領域は、前記４つのパラメータに
基づいて選択される可変の範囲の領域であることを特徴
としている。
【００１６】また、請求項４に係る動きベクトル検出方
法は、請求項１の動きベクトル検出方法であって、前記
第５のステップにおいて出力される信頼度情報が、この
第５のステップにおいて求められた動きベクトルの画像
上での確率密度分布を示すものであり、これにより求め
られた動きベクトルについての信頼度を確認できること
を特徴としている。
法は、請求項１の動きベクトル検出方法であって、前記
第５のステップにおいて出力される信頼度情報が、この
第５のステップにおいて求められた動きベクトルの画像
上での確率密度分布を示すものであり、これにより求め
られた動きベクトルについての信頼度を確認できること
を特徴としている。
【００１７】さらに、請求項５に係る動きベクトル検出
方法は、請求項１の動きベクトル検出方法であって、前
記第５のステップにより求められた前記信頼度情報とし
ての前記誤差分散に関するパラメータを用いて、前記第
５のステップで求められた動きベクトルに誤りがある場
合にこの誤りを修正する第６のステップを更に備えるこ
とを特徴としている。
方法は、請求項１の動きベクトル検出方法であって、前
記第５のステップにより求められた前記信頼度情報とし
ての前記誤差分散に関するパラメータを用いて、前記第
５のステップで求められた動きベクトルに誤りがある場
合にこの誤りを修正する第６のステップを更に備えるこ
とを特徴としている。
【００１８】本発明では、従来の勾配法の動きベクトル
のモデルをより現実に則したかたちに拡張し、動きベク
トルの計算に統計的な裏付けを与える。これにより種々
の統計的情報を得ることが可能になる。以下、本発明で
用いる動きベクトルのモデルと、それに基づく動きベク
トル及びその信頼度情報の算出方法を説明する。
のモデルをより現実に則したかたちに拡張し、動きベク
トルの計算に統計的な裏付けを与える。これにより種々
の統計的情報を得ることが可能になる。以下、本発明で
用いる動きベクトルのモデルと、それに基づく動きベク
トル及びその信頼度情報の算出方法を説明する。
【００１９】本発明では、勾配法の拘束条件式である上
式（１）の代わりに、次式（２）を用いる。
式（１）の代わりに、次式（２）を用いる。
【数２】 ここで、
【数３】 は点 (x, t) の近傍の画像に当てはめた平面についての
点 (x, t) での値、「n(x, t)」は当てはめた平面の勾
配ベクトル、ｂは前後のフレーム間の輝度変化のバイア
ス、をそれぞれ表わす未知パラメータである。
点 (x, t) での値、「n(x, t)」は当てはめた平面の勾
配ベクトル、ｂは前後のフレーム間の輝度変化のバイア
ス、をそれぞれ表わす未知パラメータである。
【００２０】また、上式（２）に加えられる誤差の分散
を次式（３）で見積もる。
を次式（３）で見積もる。
【数４】 ここで、
【数５】 は点 (x, t) の近傍の画像に平面を当てはめたときの残
差の分散、
差の分散、
【数６】 は画像に加わるノイズの分散、
【数７】 は画像に加わる変形の度合をそれぞれ表わすパラメータ
である。
である。
【００２１】Ｎ点からなる小領域Ｓにおいて上式（２）
を連立させると次式（４）のようになる。但し、
を連立させると次式（４）のようになる。但し、
【数８】 の限定が加えられる。
【数９】 次に、式（４）を以下の数１０の表記を用いて書き直す
と、式（５）になる。
と、式（５）になる。
【数１０】 この最小二乗解は次式（６）で求められる。
【数１１】
【数１２】 とおくと、式（６）は数１２を用いて変換すると式
（７）のようになる。次に、数１１の行列を用いると、
求める動きベクトルｖは、 ｖ＝ＣＢｚ （８） と表せる。このとき、ベクトルｖの分散共分散行列は、
式（８）に基づいて次式（９）のように表せる。但し、
Ｖ（ｘ）はｘの分散共分散行列を表わす。 Ｖ（ＣＢｚ）＝ＣＢＶ（ｚ）ＢＴＣＴ （９）
（７）のようになる。次に、数１１の行列を用いると、
求める動きベクトルｖは、 ｖ＝ＣＢｚ （８） と表せる。このとき、ベクトルｖの分散共分散行列は、
式（８）に基づいて次式（９）のように表せる。但し、
Ｖ（ｘ）はｘの分散共分散行列を表わす。 Ｖ（ＣＢｚ）＝ＣＢＶ（ｚ）ＢＴＣＴ （９）
【００２２】ここで、ｚは、各要素が分散の異なる独立
な正規分布に従うベクトルｄの各要素をその標準偏差で
割ったものなので、このベクトルの分散共分散行列は単
位行列である。従って、ベクトルｖの分散共分散行列は
ＣＢＢＴＣＴで与えられる。この行列をΣとおく。
な正規分布に従うベクトルｄの各要素をその標準偏差で
割ったものなので、このベクトルの分散共分散行列は単
位行列である。従って、ベクトルｖの分散共分散行列は
ＣＢＢＴＣＴで与えられる。この行列をΣとおく。
【００２３】行列Σの固有値、固有ベクトルを各々
【数１３】 とおくと、ｖは期待値
【数１４】 を中心に、ｅi 方向の分散が
【数１５】 の二次元正規分布に従うことが分かる（図３参照）。
【００２４】したがって、行列Ｖの固有値が動きベクト
ルの推定精度を測る尺度になる。式（６）を用いて推定
される動きベクトルとバイアス
ルの推定精度を測る尺度になる。式（６）を用いて推定
される動きベクトルとバイアス
【数１６】 を基に、式（７）の素推定誤差△ｄは次式で与えられ
る。
る。
【数１７】 ベクトル△ｄの各要素は各々独立な標準正規分布に従う
ので、残差二乗和はＸ２分布に従う。このため、Ｘ２検
定により、算出された動きベクトルの妥当性が判定でき
る。
ので、残差二乗和はＸ２分布に従う。このため、Ｘ２検
定により、算出された動きベクトルの妥当性が判定でき
る。
【００２５】以上のように、本発明によれば、映像から
高精度かつ安定に動きベクトルが求められるとともに、
動きベクトルの信頼度情報が同時に算出される。
高精度かつ安定に動きベクトルが求められるとともに、
動きベクトルの信頼度情報が同時に算出される。
【００２６】また、本発明に係る動きベクトル検出装置
は以下の構成を有している。
は以下の構成を有している。
【００２７】まず、請求項６に係る動きベクトル検出装
置は、入力された動画像データをある時点における１枚
の静止画像をフレーム画像として順次に抽出するフレー
ム抽出手段と、前記フレーム抽出手段により抽出された
異なる時点における少なくとも２枚の静止画像を前記フ
レーム画像毎に記憶する第１の記憶手段と、前記フレー
ム画像におけるある画素の近傍の所定範囲を第１の設定
領域とし、この第１の設定領域の解像度を高める高解像
度化手段と、前記高解像度化手段により解像度を高めら
れたフレーム画像を記憶する第２の記憶手段と、前記解
像度を高められたフレーム画像に所定の平面を当てはめ
て、この平面を当てはめる際に所定の演算方法により各
画素毎に平面に関する複数のパラメータと計算の際に生
じる誤差の分散に関するパラメータとを推定するパラメ
ータ抽出手段と、抽出された前記複数のパラメータを記
憶する第３の記憶手段と、第３の記憶手段に記憶されて
いる前記複数のパラメータを用いて動きベクトルの算出
を行うべき範囲であるスケールとしての第２の設定領域
を決定する領域サイズ決定手段と、推定された前記パラ
メータに基づいて最適な重みづけを用いる勾配法を用い
て前記第１の記憶手段に記憶されていり前記異なる時点
におけるフレーム画像より前記ある画素における動きベ
クトルを算出すると共に、前記誤差の分散に関するパラ
メータを用いて前記算出された動きベクトルの信頼度情
報をも算出する動きベクトル算出手段と、を備えること
を特徴としている。
置は、入力された動画像データをある時点における１枚
の静止画像をフレーム画像として順次に抽出するフレー
ム抽出手段と、前記フレーム抽出手段により抽出された
異なる時点における少なくとも２枚の静止画像を前記フ
レーム画像毎に記憶する第１の記憶手段と、前記フレー
ム画像におけるある画素の近傍の所定範囲を第１の設定
領域とし、この第１の設定領域の解像度を高める高解像
度化手段と、前記高解像度化手段により解像度を高めら
れたフレーム画像を記憶する第２の記憶手段と、前記解
像度を高められたフレーム画像に所定の平面を当てはめ
て、この平面を当てはめる際に所定の演算方法により各
画素毎に平面に関する複数のパラメータと計算の際に生
じる誤差の分散に関するパラメータとを推定するパラメ
ータ抽出手段と、抽出された前記複数のパラメータを記
憶する第３の記憶手段と、第３の記憶手段に記憶されて
いる前記複数のパラメータを用いて動きベクトルの算出
を行うべき範囲であるスケールとしての第２の設定領域
を決定する領域サイズ決定手段と、推定された前記パラ
メータに基づいて最適な重みづけを用いる勾配法を用い
て前記第１の記憶手段に記憶されていり前記異なる時点
におけるフレーム画像より前記ある画素における動きベ
クトルを算出すると共に、前記誤差の分散に関するパラ
メータを用いて前記算出された動きベクトルの信頼度情
報をも算出する動きベクトル算出手段と、を備えること
を特徴としている。
【００２８】また、請求項７に係る動きベクトル検出装
置は、請求項１の動きベクトル検出装置において、前記
動きベクトル算出手段が、勾配法により動きベクトルの
算出を行なうと共に、この勾配法による動きベクトルの
算出の前にブロックマッチング法により大まかな位置合
わせを行なうことを特徴としている。
置は、請求項１の動きベクトル検出装置において、前記
動きベクトル算出手段が、勾配法により動きベクトルの
算出を行なうと共に、この勾配法による動きベクトルの
算出の前にブロックマッチング法により大まかな位置合
わせを行なうことを特徴としている。
【００２９】さらに、請求項８に係る動きベクトル検出
装置は、請求項６の動きベクトル検出装置において、前
記高解像度化手段は、前記フレーム画像のある画素を中
心として前記所定平面の当てはめのための第１の設定領
域を決定する第１の領域決定手段を備えることを特徴と
している。
装置は、請求項６の動きベクトル検出装置において、前
記高解像度化手段は、前記フレーム画像のある画素を中
心として前記所定平面の当てはめのための第１の設定領
域を決定する第１の領域決定手段を備えることを特徴と
している。
【００３０】また、請求項９に係る動きベクトル検出装
置は、請求項６の動きベクトル検出装置において、前記
領域サイズ決定手段は、前記第２の設定領域として最も
最適な範囲の領域を複数のサイズの領域の中から選択す
る第２の領域決定手段を備えることを特徴としている。
置は、請求項６の動きベクトル検出装置において、前記
領域サイズ決定手段は、前記第２の設定領域として最も
最適な範囲の領域を複数のサイズの領域の中から選択す
る第２の領域決定手段を備えることを特徴としている。
【００３１】さらに、請求項１０に係る動きベクトル検
出装置は、請求項６の動きベクトル検出装置において、
前記動きベクトル算出手段により算出された動きベクト
ルに関する信頼度情報に基づいて、求められた前記動き
ベクトルに誤りが含まれる場合にこの誤りを修正する動
きベクトル修正手段を更に備えることを特徴としてい
る。
出装置は、請求項６の動きベクトル検出装置において、
前記動きベクトル算出手段により算出された動きベクト
ルに関する信頼度情報に基づいて、求められた前記動き
ベクトルに誤りが含まれる場合にこの誤りを修正する動
きベクトル修正手段を更に備えることを特徴としてい
る。
【００３２】
【発明の実施の形態】以下、本発明に係る動きベクトル
検出方法および検出装置の好適な実施形態について、添
付図面を参照しながら詳細に説明する。
検出方法および検出装置の好適な実施形態について、添
付図面を参照しながら詳細に説明する。
【００３３】まず、図１のフローチャートに従って本発
明の第１実施形態に係る動きベクトル検出方法について
説明する。第１実施形態に係る動きベクトル検出方法
は、動画像のデータを入力してこの動画像における１枚
分の静止画面を対象画像として取り込む第１のステップ
ST１と、上記対象画像におけるある画素を中心としたそ
の近傍の所定範囲を第１の設定領域として設定して、こ
の第１の設定領域内の解像度を高くする第２のステップ
ST２と、解像度が高められた前記第１の設定領域に対応
する領域に所定の演算手法により平面を当てはめてその
平面に関する複数のパラメータと誤差分散に関するパラ
メータとを求める第３のステップST３と、求められた前
記パラメータを用いて、複数の領域のサイズの中から最
適となる第２の設定領域をスケールとして選択する第４
のステップST４と、選択された前記第２の設定領域内の
動きベクトルを算出すると共にこの動きベクトルを信頼
度情報としての前記誤差分散に関するパラメータと共に
出力する第５のステップST５と、を少なくとも備えてい
る。
明の第１実施形態に係る動きベクトル検出方法について
説明する。第１実施形態に係る動きベクトル検出方法
は、動画像のデータを入力してこの動画像における１枚
分の静止画面を対象画像として取り込む第１のステップ
ST１と、上記対象画像におけるある画素を中心としたそ
の近傍の所定範囲を第１の設定領域として設定して、こ
の第１の設定領域内の解像度を高くする第２のステップ
ST２と、解像度が高められた前記第１の設定領域に対応
する領域に所定の演算手法により平面を当てはめてその
平面に関する複数のパラメータと誤差分散に関するパラ
メータとを求める第３のステップST３と、求められた前
記パラメータを用いて、複数の領域のサイズの中から最
適となる第２の設定領域をスケールとして選択する第４
のステップST４と、選択された前記第２の設定領域内の
動きベクトルを算出すると共にこの動きベクトルを信頼
度情報としての前記誤差分散に関するパラメータと共に
出力する第５のステップST５と、を少なくとも備えてい
る。
【００３４】前記第３のステップST３により求められる
平面に関する複数のパラメータは、平面に関する３つの
パラメータであり、この平面に関する３つのパラメータ
に誤差分散に関する１つのパラメータを合わせて４つの
パラメータを求めると共に、前記第４のステップST４で
スケールとして選択される前記第２の設定領域は、前記
４つのパラメータに基づいて選択される固定範囲の領域
としても良い。
平面に関する複数のパラメータは、平面に関する３つの
パラメータであり、この平面に関する３つのパラメータ
に誤差分散に関する１つのパラメータを合わせて４つの
パラメータを求めると共に、前記第４のステップST４で
スケールとして選択される前記第２の設定領域は、前記
４つのパラメータに基づいて選択される固定範囲の領域
としても良い。
【００３５】また、前記第３のステップST３において求
められる平面に関する複数のパラメータは、平面に関す
る３つのパラメータであり、この平面に関する３つのパ
ラメータに誤差分散に関する１つのパラメータを合わせ
て４つのパラメータを求めると共に、前記第４のステッ
プST４でスケールとして選択される前記第２の設定領域
は、前記４つのパラメータに基づいて選択される可変の
範囲の領域としても良い。
められる平面に関する複数のパラメータは、平面に関す
る３つのパラメータであり、この平面に関する３つのパ
ラメータに誤差分散に関する１つのパラメータを合わせ
て４つのパラメータを求めると共に、前記第４のステッ
プST４でスケールとして選択される前記第２の設定領域
は、前記４つのパラメータに基づいて選択される可変の
範囲の領域としても良い。
【００３６】さらに、前記第５のステップST５において
出力される信頼度情報としての前記誤差分散に関するパ
ラメータは、この第５のステップST５において求められ
た動きベクトルが前記第４のステップST４において選択
された前記スケールとしての前記第２の設定領域の大き
さを示すものであり、これにより求められた動きベクト
ルについての信頼度を確認できるようにしても良い。
出力される信頼度情報としての前記誤差分散に関するパ
ラメータは、この第５のステップST５において求められ
た動きベクトルが前記第４のステップST４において選択
された前記スケールとしての前記第２の設定領域の大き
さを示すものであり、これにより求められた動きベクト
ルについての信頼度を確認できるようにしても良い。
【００３７】また、前記第５のステップST５により求め
られた前記信頼度情報としての前記誤差分散に関するパ
ラメータを用いて、前記第５のステップST５で求められ
た動きベクトルに誤りがある場合にこの誤りを修正する
第６のステップST６を更に備えるようにしても良い。
られた前記信頼度情報としての前記誤差分散に関するパ
ラメータを用いて、前記第５のステップST５で求められ
た動きベクトルに誤りがある場合にこの誤りを修正する
第６のステップST６を更に備えるようにしても良い。
【００３８】上記第１実施形態に係る動きベクトル検出
方法の詳細な内容について図４ないし図７に示す第２実
施形態に係る動きベクトル検出方法を用いて説明する。
図４は本発明の第２実施形態に係る動きベクトル検出方
法における処理の流れを示すブロック図である。図にお
いて、パラメータ推定ステップST11においては、入力画
像１を入力として、各画素について、その画素の近傍を
平面で近似する際の平面のパラメータ及び誤差分散の推
定を行なう。スケール選択ステップST12では、前記パラ
メータ推定ステップST11により推定されたパラメータを
用いて各画素について、オプティカルフローを算出する
ための最適なスケールを選択する。動きベクトル計算ス
テップST13では、前記スケール選択ステップST12により
選択されたスケールと前記パラメータ推定ステップST11
により推定されたパラメータとを用いて、入力画像１、
２の間に生じている動きベクトルとその信頼度情報とを
算出する。
方法の詳細な内容について図４ないし図７に示す第２実
施形態に係る動きベクトル検出方法を用いて説明する。
図４は本発明の第２実施形態に係る動きベクトル検出方
法における処理の流れを示すブロック図である。図にお
いて、パラメータ推定ステップST11においては、入力画
像１を入力として、各画素について、その画素の近傍を
平面で近似する際の平面のパラメータ及び誤差分散の推
定を行なう。スケール選択ステップST12では、前記パラ
メータ推定ステップST11により推定されたパラメータを
用いて各画素について、オプティカルフローを算出する
ための最適なスケールを選択する。動きベクトル計算ス
テップST13では、前記スケール選択ステップST12により
選択されたスケールと前記パラメータ推定ステップST11
により推定されたパラメータとを用いて、入力画像１、
２の間に生じている動きベクトルとその信頼度情報とを
算出する。
【００３９】動きベクトル修正ステップST14において
は、動きベクトル計算ステップST13により算出された動
きベクトルと、その信頼度情報とを用いて誤った動きベ
クトルの修正を行なう。
は、動きベクトル計算ステップST13により算出された動
きベクトルと、その信頼度情報とを用いて誤った動きベ
クトルの修正を行なう。
【００４０】以下、上記各ステップST11ないしST14の具
体的な処理について説明する。
体的な処理について説明する。
【００４１】パラメータ推定ステップST11は画像の各画
素について、その画素近傍を平面で近似し、平面のパラ
メータ及び近似誤差分散を算出する。
素について、その画素近傍を平面で近似し、平面のパラ
メータ及び近似誤差分散を算出する。
【００４２】仮にブロックマッチングにより画素単位の
位置合わせを行なうものとすると、位置合わせが終わっ
た後の点（ｘ，ｔ）における動きベクトルは図５の斜線
部のような点（ｘ，ｔ）を中心とした正方形の領域に一
様に分布することになる。この場合、領域内には画素が
１点しかないので、このままでは平面の当てはめが行な
えない。そこで、まず画像をリサンプリングして解像度
を上げて、その後で対応する領域に最小二乗法の手法に
より平面を当てはめて誤差の分散を求める（図６参
照）。画像のリサンプリング手法に関しては、例えば、
文献「吹抜敬彦著、“画像のディジタル信号処理”、日
刊工業新聞社、１９８１刊」等がある。で述べられてい
る手法を用いることができる。平面の当てはめ残差をデ
ータの自由度（当てはめに用いるデータの点数―３―）
で割れば点（ｘ，ｔ）における近似誤差の分散数５を求
めることができる。
位置合わせを行なうものとすると、位置合わせが終わっ
た後の点（ｘ，ｔ）における動きベクトルは図５の斜線
部のような点（ｘ，ｔ）を中心とした正方形の領域に一
様に分布することになる。この場合、領域内には画素が
１点しかないので、このままでは平面の当てはめが行な
えない。そこで、まず画像をリサンプリングして解像度
を上げて、その後で対応する領域に最小二乗法の手法に
より平面を当てはめて誤差の分散を求める（図６参
照）。画像のリサンプリング手法に関しては、例えば、
文献「吹抜敬彦著、“画像のディジタル信号処理”、日
刊工業新聞社、１９８１刊」等がある。で述べられてい
る手法を用いることができる。平面の当てはめ残差をデ
ータの自由度（当てはめに用いるデータの点数―３―）
で割れば点（ｘ，ｔ）における近似誤差の分散数５を求
めることができる。
【００４３】図４におけるスケール選択ステップST12の
詳細な処理ルーチンは、図７のフローチャートに示され
ている。この処理ルーチンは、前記パラメータ推定ステ
ップST11により推定されたパラメータを用いて各画素に
ついてのオプティカルフローを算出するための最適なス
ケールを選択する動作である。予めスケールの最大値と
最小値、推定精度の閾値を決めたうえで、以下のような
手順で行なう。
詳細な処理ルーチンは、図７のフローチャートに示され
ている。この処理ルーチンは、前記パラメータ推定ステ
ップST11により推定されたパラメータを用いて各画素に
ついてのオプティカルフローを算出するための最適なス
ケールを選択する動作である。予めスケールの最大値と
最小値、推定精度の閾値を決めたうえで、以下のような
手順で行なう。
【００４４】画像上の全ての点で以下の処理を行なう
が、最初にステップST20において、ある点についてのス
ケールの選択を開始する。まず、ステップST21において
スケールを最小に設定する。次に、設定されたスケール
により式（９）を用いて計算される動きベクトルの分散
共分散行列Σを求める（ステップST22）。次いで、ステ
ップST23において、行列Σの最大固有値が閾値以下であ
るか否かを判断する。ステップST23において、行列Σの
最大固有値が閾値以下である下判断された場合には、ス
テップST27に飛んで、ある点に関するスケールをそのス
ケールに設定してその点に関する処理を終了する。
が、最初にステップST20において、ある点についてのス
ケールの選択を開始する。まず、ステップST21において
スケールを最小に設定する。次に、設定されたスケール
により式（９）を用いて計算される動きベクトルの分散
共分散行列Σを求める（ステップST22）。次いで、ステ
ップST23において、行列Σの最大固有値が閾値以下であ
るか否かを判断する。ステップST23において、行列Σの
最大固有値が閾値以下である下判断された場合には、ス
テップST27に飛んで、ある点に関するスケールをそのス
ケールに設定してその点に関する処理を終了する。
【００４５】ステップST23において、行列Σの最大固有
値が閾値以下でないものと判断された場合には、ステッ
プST24において、ひとサイズ大きなスケールを選択して
そのスケールを設定する。このとき、設定されたスケー
ルの固有値が、予め設定されている最大値を超えている
か否かが、ステップST25において判断される。固有値が
最大値を超えていなければステップST26によりスケール
をひとサイズ大きくしてステップST22ないしST25の処理
を繰り返す。ステップST25において、スケールが最大値
を超えてしまったものと判断された場合には、ステップ
ST27において範囲内で最小の最大固有値を有するスケー
ルを設定して、ステップST28のように、ある点について
のスケール設定を終了する。
値が閾値以下でないものと判断された場合には、ステッ
プST24において、ひとサイズ大きなスケールを選択して
そのスケールを設定する。このとき、設定されたスケー
ルの固有値が、予め設定されている最大値を超えている
か否かが、ステップST25において判断される。固有値が
最大値を超えていなければステップST26によりスケール
をひとサイズ大きくしてステップST22ないしST25の処理
を繰り返す。ステップST25において、スケールが最大値
を超えてしまったものと判断された場合には、ステップ
ST27において範囲内で最小の最大固有値を有するスケー
ルを設定して、ステップST28のように、ある点について
のスケール設定を終了する。
【００４６】次に、ステップST29において、スケールを
選択すべき全ての点について、スケールが選択されたか
否かが判断され、全てについてスケールが設定されたも
のと判断された場合には処理ルーチンが終了する。そう
でなければ、ステップST30において、次の点についての
スケールの選択処理ルーチンを開始して、上記ステップ
ST20ないしST29を繰り返すことになる。
選択すべき全ての点について、スケールが選択されたか
否かが判断され、全てについてスケールが設定されたも
のと判断された場合には処理ルーチンが終了する。そう
でなければ、ステップST30において、次の点についての
スケールの選択処理ルーチンを開始して、上記ステップ
ST20ないしST29を繰り返すことになる。
【００４７】大きなスケールを用いる場合、徒にデータ
の点数を増やしても計算量が大きくなるだけなので、例
えば図８のような種々のマスクを用いてオプティカルフ
ローの計算に用いるデータを間引いて計算を行なうこと
も可能である。図８（ａ）はサイズが「７×７」で３７
ポイントのマスクを示しており、図８（ｂ）は同じ３７
ポイントで「９×９」のマスクである。以下、ポイント
数は全て３７で同じであるが、図８（ｃ）は「１１×１
１」のマスク、図８（ｄ）は「１３×１３」のマスク、
そして図８（ｅ）は「１５×１５」のマスクである。こ
のように、マスクの目の粗さを変えることにより計算に
用いるデータ量を間引いて計算しても良い。
の点数を増やしても計算量が大きくなるだけなので、例
えば図８のような種々のマスクを用いてオプティカルフ
ローの計算に用いるデータを間引いて計算を行なうこと
も可能である。図８（ａ）はサイズが「７×７」で３７
ポイントのマスクを示しており、図８（ｂ）は同じ３７
ポイントで「９×９」のマスクである。以下、ポイント
数は全て３７で同じであるが、図８（ｃ）は「１１×１
１」のマスク、図８（ｄ）は「１３×１３」のマスク、
そして図８（ｅ）は「１５×１５」のマスクである。こ
のように、マスクの目の粗さを変えることにより計算に
用いるデータ量を間引いて計算しても良い。
【００４８】また、このときのマスクの形状は各辺が均
一の長さを有する正方形に限るものではなく、例えば長
方形のマスクや楕円形のマスク等の種々の形状のマスク
を用いることも可能である。
一の長さを有する正方形に限るものではなく、例えば長
方形のマスクや楕円形のマスク等の種々の形状のマスク
を用いることも可能である。
【００４９】次に、図４のステップST14に示す動きベク
トル修正ステップST14の詳細な処理ルーチンについて、
図９を用いて説明する。この動きベクトル修正ステップ
に用いる手法においては、オプティカルフローの計算の
際に、小領域内ではオプティカルフローが均一であるこ
とを仮定して計算を行なっている。逆に、得られたオプ
ティカルフローも小領域内で均一であるべきだと考え
る、オプティカルフローの修正が可能になる。
トル修正ステップST14の詳細な処理ルーチンについて、
図９を用いて説明する。この動きベクトル修正ステップ
に用いる手法においては、オプティカルフローの計算の
際に、小領域内ではオプティカルフローが均一であるこ
とを仮定して計算を行なっている。逆に、得られたオプ
ティカルフローも小領域内で均一であるべきだと考え
る、オプティカルフローの修正が可能になる。
【００５０】小領域のオプティカルフローは、一部の誤
りを除けば、ほぼ均一であることが期待される。小領域
内のオプティカルフローデータの分布は、真のオプティ
カルフローを中心とした分布に外れ値が加わったものだ
とすると、クラスタリングにより小領域内のオプティカ
ルフローのメインクラスターを抽出することにより誤っ
たデータを取り除くことが出来る。残ったデータについ
て最尤推定を行なえば、より真の値に近いオプティカル
フローが得られることになる。具体的なオプティカルフ
ローの修正は、以下の手順で行なわれる。
りを除けば、ほぼ均一であることが期待される。小領域
内のオプティカルフローデータの分布は、真のオプティ
カルフローを中心とした分布に外れ値が加わったものだ
とすると、クラスタリングにより小領域内のオプティカ
ルフローのメインクラスターを抽出することにより誤っ
たデータを取り除くことが出来る。残ったデータについ
て最尤推定を行なえば、より真の値に近いオプティカル
フローが得られることになる。具体的なオプティカルフ
ローの修正は、以下の手順で行なわれる。
【００５１】図９において、ステップST31において、除
去するオプティカルフローの割合のパラメータがα％と
してユーザー等により設定する。ステップST32において
は、小領域内のオプティカルフローのうちから信頼度が
低いものとして前記ステップST31で設定されたα％のオ
プティカルフローが取り除かれる。誤ったオプティカル
フローの大部分は信頼度が低いものと考えられるので、
これにより誤ったオプティカルフローのほとんどは取り
除かれる。
去するオプティカルフローの割合のパラメータがα％と
してユーザー等により設定する。ステップST32において
は、小領域内のオプティカルフローのうちから信頼度が
低いものとして前記ステップST31で設定されたα％のオ
プティカルフローが取り除かれる。誤ったオプティカル
フローの大部分は信頼度が低いものと考えられるので、
これにより誤ったオプティカルフローのほとんどは取り
除かれる。
【００５２】次に、残ったオプティカルフローから除去
されるオプティカルフローの平均からの距離の割合のパ
ラメータがβ％としてユーザー等により設定される（ス
テップST33）。ステップST34においては、残ったオプテ
ィカルフローの平均をとり、平均からの距離の大きいも
のが、を前記ステップST33で設定されたβ％だけ取り除
かれる。これは、誤っているが信頼度が高いオプティカ
ルフローを除くための処理である。
されるオプティカルフローの平均からの距離の割合のパ
ラメータがβ％としてユーザー等により設定される（ス
テップST33）。ステップST34においては、残ったオプテ
ィカルフローの平均をとり、平均からの距離の大きいも
のが、を前記ステップST33で設定されたβ％だけ取り除
かれる。これは、誤っているが信頼度が高いオプティカ
ルフローを除くための処理である。
【００５３】ステップST35は、最尤値を推定するための
処理ルーチンである。このステップにおいては、残った
オプティカルフローをもとに最尤推定によりオプティカ
ルフローの修正が行なわれる。以下、このステップST35
の最尤推定によるオプティカルフローの修正手法につい
て説明する。
処理ルーチンである。このステップにおいては、残った
オプティカルフローをもとに最尤推定によりオプティカ
ルフローの修正が行なわれる。以下、このステップST35
の最尤推定によるオプティカルフローの修正手法につい
て説明する。
【００５４】まず、上記ステップST33およびST34までで
残ったデータがｎ個あるものとしてｉ番目のオプティカ
ルフローベクトルをｖi，その共分散行列をΣiとする。
共分散行列は、ステップST36に示すように、式（９）に
当てはめ残差の二乗和を乗じた後、データの自由度で割
ったものを用いる。次に、データｖi が真のオプティカ
ルフロー
残ったデータがｎ個あるものとしてｉ番目のオプティカ
ルフローベクトルをｖi，その共分散行列をΣiとする。
共分散行列は、ステップST36に示すように、式（９）に
当てはめ残差の二乗和を乗じた後、データの自由度で割
ったものを用いる。次に、データｖi が真のオプティカ
ルフロー
【００５５】
【数１８】 に共分散行列Σi に従う変動が加わったものであるとす
ると、ステップST37に示すように、その尤度は次式（１
２）により得られる。
ると、ステップST37に示すように、その尤度は次式（１
２）により得られる。
【００５６】
【数１９】 したがって、ステップST38のように、数１８の最尤推定
値数１４は次式（１３）を最小化することにより求めら
れる。
値数１４は次式（１３）を最小化することにより求めら
れる。
【００５７】
【数２０】 上式（１３）を最小化する数１４は次式（１４）により
求められる。
求められる。
【００５８】
【数２１】 次に、上記動きベクトル検出方法を用いて動きベクトル
を検出する動きベクトル検出装置の具体例について、図
１０を参照しながら詳細に説明する。図１０は本発明の
第２実施形態に係る動きベクトル検出装置の構成を示す
ブロック図である。図１０において、第２実施形態に係
る動きベクトル検出装置は、入力された動画像データを
ある時点における１枚の静止画像をフレーム画像として
順次に抽出するフレーム抽出手段１と、前記フレーム抽
出手段１により抽出された異なる時点における少なくと
も２枚の静止画像を前記フレーム画像毎に記憶する第１
の記憶手段２と、前記フレーム画像におけるある画素の
近傍の所定範囲を第１の設定領域とし、この第１の設定
領域の解像度を高める高解像度化手段５と、前記高解像
度化手段５により解像度を高められたフレーム画像を記
憶する第２の記憶手段８と、前記解像度を高められたフ
レーム画像に所定の平面を当てはめて、この平面を当て
はめる際に所定の演算方法により各画素毎に平面に関す
る複数のパラメータと計算の際に生じる誤差の分散に関
するパラメータとを推定するパラメータ抽出手段９と、
抽出された前記複数のパラメータを記憶しておく第３の
記憶手段１０と、第３の記憶手段１０に記憶されている
前記複数のパラメータを用いて動きベクトルの算出を行
うべき範囲であるスケールとしての第２の設定領域を決
定する領域サイズ決定手段１１と、推定された前記パラ
メータに基づいて最適な重みづけを用いる勾配法を用い
て前記第１の記憶手段に記憶されていり前記異なる時点
におけるフレーム画像より前記ある画素における動きベ
クトルを算出すると共に、前記誤差の分散に関するパラ
メータを用いて前記算出された動きベクトルの信頼度情
報をも算出する動きベクトル算出手段１３と、を備えて
いる。
を検出する動きベクトル検出装置の具体例について、図
１０を参照しながら詳細に説明する。図１０は本発明の
第２実施形態に係る動きベクトル検出装置の構成を示す
ブロック図である。図１０において、第２実施形態に係
る動きベクトル検出装置は、入力された動画像データを
ある時点における１枚の静止画像をフレーム画像として
順次に抽出するフレーム抽出手段１と、前記フレーム抽
出手段１により抽出された異なる時点における少なくと
も２枚の静止画像を前記フレーム画像毎に記憶する第１
の記憶手段２と、前記フレーム画像におけるある画素の
近傍の所定範囲を第１の設定領域とし、この第１の設定
領域の解像度を高める高解像度化手段５と、前記高解像
度化手段５により解像度を高められたフレーム画像を記
憶する第２の記憶手段８と、前記解像度を高められたフ
レーム画像に所定の平面を当てはめて、この平面を当て
はめる際に所定の演算方法により各画素毎に平面に関す
る複数のパラメータと計算の際に生じる誤差の分散に関
するパラメータとを推定するパラメータ抽出手段９と、
抽出された前記複数のパラメータを記憶しておく第３の
記憶手段１０と、第３の記憶手段１０に記憶されている
前記複数のパラメータを用いて動きベクトルの算出を行
うべき範囲であるスケールとしての第２の設定領域を決
定する領域サイズ決定手段１１と、推定された前記パラ
メータに基づいて最適な重みづけを用いる勾配法を用い
て前記第１の記憶手段に記憶されていり前記異なる時点
におけるフレーム画像より前記ある画素における動きベ
クトルを算出すると共に、前記誤差の分散に関するパラ
メータを用いて前記算出された動きベクトルの信頼度情
報をも算出する動きベクトル算出手段１３と、を備えて
いる。
【００５９】前記第１の記憶手段２は、前フレームの画
像を記憶しておく前フレームメモリ３と、現在の負レム
の画像を記憶しておく現フレームメモリ４とを備え、ま
た、前記高解像度化手段５は、前記フレーム画像におけ
るある画素の近傍の所定範囲を第１の設定領域として設
定する第１領域設定部６と、この第１の設定領域の解像
度を高める高解像度化部７とを備えている。
像を記憶しておく前フレームメモリ３と、現在の負レム
の画像を記憶しておく現フレームメモリ４とを備え、ま
た、前記高解像度化手段５は、前記フレーム画像におけ
るある画素の近傍の所定範囲を第１の設定領域として設
定する第１領域設定部６と、この第１の設定領域の解像
度を高める高解像度化部７とを備えている。
【００６０】前記動きベクトル算出手段１３は、勾配法
により動きベクトルの算出を行なうと共に、この勾配法
による動きベクトルの算出の前にブロックマッチング法
により大まかな位置合わせを行なう動きベクトル粗検出
部１４を備えている。
により動きベクトルの算出を行なうと共に、この勾配法
による動きベクトルの算出の前にブロックマッチング法
により大まかな位置合わせを行なう動きベクトル粗検出
部１４を備えている。
【００６１】前記領域サイズ決定手段は、前記第２の設
定領域として最も最適な範囲の領域を複数のサイズの領
域の中から選択する第２の領域決定手段を備えている。
定領域として最も最適な範囲の領域を複数のサイズの領
域の中から選択する第２の領域決定手段を備えている。
【００６２】また、上記動きベクトル検出装置は、前記
動きベクトル算出手段１３により算出された動きベクト
ルに関する信頼度情報に基づいて、求められた前記動き
ベクトルに誤りが含まれる場合にこの誤りを修正する動
きベクトル修正手段１２を更に備えるようにしても良
い。
動きベクトル算出手段１３により算出された動きベクト
ルに関する信頼度情報に基づいて、求められた前記動き
ベクトルに誤りが含まれる場合にこの誤りを修正する動
きベクトル修正手段１２を更に備えるようにしても良
い。
【００６３】
【発明の効果】以上詳細に説明したように、本発明に係
る動きベクトル検出方法および動きベクトル検出装置に
よれば、入力された動画像データより得られた映像に基
づいて高精度かつ安定的にオプティカルフローを求める
ことができると共に、オプティカルフローの信頼度情報
を同時に得ることができる。
る動きベクトル検出方法および動きベクトル検出装置に
よれば、入力された動画像データより得られた映像に基
づいて高精度かつ安定的にオプティカルフローを求める
ことができると共に、オプティカルフローの信頼度情報
を同時に得ることができる。
【００６４】したがって、信頼度情報に示された信頼度
が低い場合には、信頼度の低さに応じた動きベクトルの
算出を行うことができ、動きベクトルの精度の向上を図
ることが可能となる。
が低い場合には、信頼度の低さに応じた動きベクトルの
算出を行うことができ、動きベクトルの精度の向上を図
ることが可能となる。
【図１】本発明の第１実施形態に係る動きベクトル検出
方法の動作ステップを示すフローチャートである。
方法の動作ステップを示すフローチャートである。
【図２】動きベクトル検出方法におけるアパーチャー問
題を説明するための説明図である。
題を説明するための説明図である。
【図３】動きベクトル検出方法におけるベクトルの分散
共分散行列における分散の状態を示す説明図である。
共分散行列における分散の状態を示す説明図である。
【図４】本発明の第１実施形態に係る動きベクトル検出
方法の処理の流れを示すフローチャートである。
方法の処理の流れを示すフローチャートである。
【図５】ブロックマッチングにより画素の位置合わせが
終了した後の動きベクトルを示す説明図である。
終了した後の動きベクトルを示す説明図である。
【図６】第１の設定領域をリサンプリングすることによ
り解像度を高めた状態を示す説明図である。
り解像度を高めた状態を示す説明図である。
【図７】図４におけるスケール選択ステップの詳細な処
理ルーチンを示すフローチャートである。
理ルーチンを示すフローチャートである。
【図８】スケール選択ステップで用いる種々のマスクの
例を示す説明図である。
例を示す説明図である。
【図９】図４における動きベクトル修正ステップの詳細
な処理ルーチンを示すフローチャートである。
な処理ルーチンを示すフローチャートである。
【図１０】本発明の第２実施形態に係る動きベクトル検
出装置の構成を示すブロック図である。
出装置の構成を示すブロック図である。
ST１ 第１のステップ ST２ 第２のステップ ST３ 第３のステップ ST４ 第４のステップ ST５ 第５のステップ ST６ 第６のステップ ST11 パラメータ推定ステップ ST12 スケール選択ステップ ST13 動きベクトル計算ステップ ST14 動きベクトル修正ステップ １ フレーム抽出手段 ２ 第１の記憶手段 ３ 前フレームメモリ ４ 現フレームメモリ ５ 高解像度化手段 ８ 第２の記憶手段 ９ パラメータ抽出手段 １０ 第３の記憶手段 １１ 領域サイズ決定手段 １２ 動きベクトル修正手段 １３ 動きベクトル算出手段
Claims (10)
- 【請求項１】動画像のデータを入力してこの動画像にお
ける１枚分の静止画面を対象画像として取り込む第１の
ステップと、 上記対象画像におけるある画素を中心としたその近傍の
所定範囲を第１の設定領域として設定して、この第１の
設定領域内の解像度を高くする第２のステップと、 解像度が高められた前記第１の設定領域に対応する領域
に所定の演算手法により平面を当てはめて、その平面に
関する複数のパラメータと誤差分散に関するパラメータ
とを求める第３のステップと、 求められた前記パラメータを用いて、複数の領域のサイ
ズの中から最適となる第２の設定領域をスケールとして
選択する第４のステップと、 選択された前記第２の設定領域内の動きベクトルを算出
すると共に、前記誤差分散に関するパラメータを信頼度
情報として、求められた動きベクトルに付加して出力す
る第５のステップと、 を少なくとも備えることを特徴とする動きベクトル検出
方法。 - 【請求項２】前記第３のステップにおいて求められる平
面に関する複数のパラメータは、平面に関する３つのパ
ラメータであり、この平面に関する３つのパラメータに
誤差分散に関する１つのパラメータを合わせて４つのパ
ラメータを求めると共に、前記第４のステップでスケー
ルとして選択される前記第２の設定領域は、前記４つの
パラメータに基づいて選択される固定範囲の領域である
ことを特徴とする請求項１に記載の動きベクトル検出方
法。 - 【請求項３】前記第３のステップにおいて求められる平
面に関する複数のパラメータは、平面に関する３つのパ
ラメータであり、この平面に関する３つのパラメータに
誤差分散に関する１つのパラメータを合わせて４つのパ
ラメータを求めると共に、 前記第４のステップでスケールとして選択される前記第
２の設定領域は、前記４つのパラメータに基づいて選択
される可変の範囲の領域であることを特徴とする請求項
１に記載の動きベクトル検出方法。 - 【請求項４】前記第５のステップにおいて出力される信
頼度情報は、この第５のステップにおいて求められた動
きベクトルの画像上での確率密度分布を示すものであ
り、これにより求められた動きベクトルについての信頼
度を確認できることを特徴とする請求項１に記載の動き
ベクトル検出方法。 - 【請求項５】前記第５のステップにより求められた前記
信頼度情報としての前記誤差分散に関するパラメータを
用いて、前記第５のステップで求められた動きベクトル
に誤りがある場合にこの誤りを修正する第６のステップ
を更に備えることを特徴とする請求項１に記載の動きベ
クトル検出方法。 - 【請求項６】入力された動画像データをある時点におけ
る１枚の静止画像をフレーム画像として順次に抽出する
フレーム抽出手段と、 前記フレーム抽出手段により抽出された異なる時点にお
ける少なくとも２枚の静止画像を前記フレーム画像毎に
記憶する第１の記憶手段と、 前記フレーム画像におけるある画素の近傍の所定範囲を
第１の設定領域とし、この第１の設定領域の解像度を高
める高解像度化手段と、 前記高解像度化手段により解像度を高められたフレーム
画像を記憶する第２の記憶手段と、 前記解像度を高められたフレーム画像に所定の平面を当
てはめて、この平面を当てはめる際に所定の演算方法に
より各画素毎に平面に関する複数のパラメータと計算の
際に生じる誤差の分散に関するパラメータとを推定する
パラメータ抽出手段と、 抽出された前記複数のパラメータを記憶する第３の記憶
手段と、 第３の記憶手段に記憶されている前記複数のパラメータ
を用いて動きベクトルの算出を行うべき範囲であるスケ
ールとしての第２の設定領域を決定する領域サイズ決定
手段と、 推定された前記パラメータに基づいて最適な重みづけを
用いる勾配法を用いて前記第１の記憶手段に記憶されて
いり前記異なる時点におけるフレーム画像より前記ある
画素における動きベクトルを算出すると共に、前記誤差
の分散に関するパラメータを用いて前記算出された動き
ベクトルの信頼度情報をも算出する動きベクトル算出手
段と、 を備えることを特徴とする動きベクトル検出装置。 - 【請求項７】前記動きベクトル算出手段は、勾配法によ
り動きベクトルの算出を行なうと共に、この勾配法によ
る動きベクトルの算出の前にブロックマッチング法によ
り大まかな位置合わせを行なうことを特徴とする請求項
６に記載の動きベクトル検出装置。 - 【請求項８】前記高解像度化手段は、前記フレーム画像
のある画素を中心として前記所定平面の当てはめのため
の第１の設定領域を決定する第１の領域決定手段を備え
ることを特徴とする請求項６に記載の動きベクトル検出
装置。 - 【請求項９】前記領域サイズ決定手段は、前記第２の設
定領域として最も最適な範囲の領域を複数のサイズの領
域の中から選択する第２の領域決定手段を備えることを
特徴とする請求項６に記載の動きベクトル検出装置。 - 【請求項１０】前記動きベクトル算出手段により算出さ
れた動きベクトルに関する信頼度情報に基づいて、求め
られた前記動きベクトルに誤りが含まれる場合にこの誤
りを修正する動きベクトル修正手段を更に備えることを
特徴とする請求項６に記載の動きベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2303597A JPH10224798A (ja) | 1997-02-05 | 1997-02-05 | 動きベクトル検出方法および検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2303597A JPH10224798A (ja) | 1997-02-05 | 1997-02-05 | 動きベクトル検出方法および検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10224798A true JPH10224798A (ja) | 1998-08-21 |
Family
ID=12099223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2303597A Pending JPH10224798A (ja) | 1997-02-05 | 1997-02-05 | 動きベクトル検出方法および検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10224798A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003534742A (ja) * | 2000-05-19 | 2003-11-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 方法、システム及び装置 |
| JP2005160015A (ja) * | 2003-11-07 | 2005-06-16 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2015150226A (ja) * | 2014-02-14 | 2015-08-24 | 日本電信電話株式会社 | 習熟度評価方法、およびプログラム |
-
1997
- 1997-02-05 JP JP2303597A patent/JPH10224798A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003534742A (ja) * | 2000-05-19 | 2003-11-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 方法、システム及び装置 |
| JP4663201B2 (ja) * | 2000-05-19 | 2011-04-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 方法、システム及び装置 |
| JP2005160015A (ja) * | 2003-11-07 | 2005-06-16 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2015150226A (ja) * | 2014-02-14 | 2015-08-24 | 日本電信電話株式会社 | 習熟度評価方法、およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
| EP1677250B9 (en) | Image collation system and image collation method | |
| US6820137B2 (en) | Computer-readable recording medium storing resolution converting program, resolution converting device and resolution converting method | |
| US20110243451A1 (en) | Image processing apparatus and method, and program | |
| US7986813B2 (en) | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor | |
| US7616789B2 (en) | Method and apparatus for forming images and image furnishing service system | |
| JP5006304B2 (ja) | 動的な視覚的シーンからの画像シーケンスにおける連続図地分離のための方法および装置 | |
| US8351708B2 (en) | Information processing apparatus, information processing method, computer program, and recording medium | |
| US20070173744A1 (en) | System and method for detecting intervertebral disc alignment using vertebrae segmentation | |
| JP2007042072A (ja) | 追跡装置 | |
| WO2001004837A2 (en) | Method and apparatus for detecting independent motion in three-dimensional scenes | |
| US8731246B2 (en) | Motion vector detection device, apparatus for detecting motion vector and motion vector detection method | |
| CN113591823B (zh) | 深度预测模型的训练及人脸深度图像的生成方法、装置 | |
| US6999633B1 (en) | Data processing apparatus and method | |
| JPH10224798A (ja) | 動きベクトル検出方法および検出装置 | |
| Tian et al. | Motion estimation and segmentation | |
| JP3629236B2 (ja) | 物体画像追跡方法及びプログラム | |
| US20050002456A1 (en) | Motion vector detector for frame rate conversion and method thereof | |
| EP1023695B1 (en) | Method of deciding on the presence of global motion by using 2-dimensional translational motion vectors and linear regression | |
| JPH10123163A (ja) | 流速分布測定方法 | |
| WO2023275941A1 (en) | Image processing apparatus, feature map generating apparatus, learning model generation apparatus, image processing method, and computer-readable recording medium | |
| JP4235855B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| CN115880338A (zh) | 标注方法、标注装置及计算机可读存储介质 | |
| JP2851263B2 (ja) | ノイズレベル検出方法とその装置、画像処理装置 | |
| JPH08249470A (ja) | オプティカルフロー推定方法 |