JPH11250264A

JPH11250264A - 動きベクトル推定方法および装置

Info

Publication number: JPH11250264A
Application number: JP5353598A
Authority: JP
Inventors: Kazuhisa Iguchi; 和久井口; Hajime Sonehara; 源曽根原; Yuji Nojiri; 裕司野尻
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1998-03-05
Filing date: 1998-03-05
Publication date: 1999-09-17
Anticipated expiration: 2018-03-05
Also published as: JP3759834B2

Abstract

(57)【要約】【課題】動画像に用いられる動きベクトルの検出にあ
たり、動きベクトルの検出漏れを除去し、従来技術に比
し正しい動きベクトルを推定する方法および装置を提供
する。【解決手段】予め定めた判定基準により動きベクトル
の信頼性が高いと判定され、かつ、同一の動きベクトル
を持った複数の画像領域を外接線分で結んだ内側の領域
から、前記複数の画像領域を除去し、残余の領域に対
し、前記複数の画像領域の動きベクトルの向きを考慮し
て隣接する複数フィールドとの間で相関を求め、該相関
が予め定めた基準を満たさない部分領域を除去した前記
残余の領域に対して、前記複数の画像領域の持つ動きベ
クトルを割り当てる動きベクトル推定方法およびこの方
法を実施するための装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は動画像処理におけ
る動きベクトルの検出に関し、特に大きな動き物体の中
央付近など、特徴のない領域で生じることのある動きベ
クトルの検出漏れを除去し、正しい動きベクトルを推定
する方法および装置に関するものである。

【０００２】

【従来の技術】従来、動きベクトルの検出漏れ領域に動
きベクトルを割り当てる手法としては、たとえば検出し
た動きベクトルにＬＰＦ（低域通過フィルタ）をかける
手法や、メディアンフィルタ、多数決フィルタをかける
手法がある。動きベクトルにＬＰＦをかける手法は、検
出した動きベクトルにＬＰＦをかけることにより、動き
ベクトルを用いて行なう画像処理において検出漏れを起
こした領域が与える妨害を低減することができる場合が
ある。メディアンフィルタ、多数決フィルタは、動きベ
クトルの検出漏れ領域が小さいとき、周囲の領域で検出
した動きベクトルを、動きベクトルの検出漏れ領域に割
り当てることができる。

【０００３】

【発明が解決しようとする課題】動きベクトルの検出漏
れの例を図１に示す。図１は静止した背景の前を左に移
動する自動車の画像を対象に検出した動きベクトルの例
である。図１の参照番号１０１は自動車の外形を表し、
矢印１０２は検出した動きベクトルで、矢印の長さで動
きベクトルの大きさを、矢印の向きで動きの方向を表
す。領域１０３は動きベクトルの検出漏れ領域である。
図１の領域１０３のように、動き物体の中央付近など、
動きベクトル検出に用いる特徴の少ない領域で、動きベ
クトルの検出漏れ（多くの場合、零ベクトルとして誤検
出する）が生じることがある。

【０００４】動きベクトルにＬＰＦをかける手法は、異
なる動きベクトルを検出した領域の境界付近では、正し
い動きベクトルを検出した領域でもＬＰＦの効果により
動きベクトルの値が変化し、動きベクトルの検出漏れ領
域に割り当てられる動きベクトルもＬＰＦの効果により
正しい動きベクトルとは異なる値となるなどの問題点が
ある。

【０００５】例えば、図２は図１の動きベクトルに２次
元ＬＰＦをかけた例である。この場合、領域１０３の動
きベクトルを零ベクトルとすると、矢印２０１のベクト
ルは、２次元ＬＰＦがかかったことにより、動きベクト
ルの値が検出した値よりも小さく変化している。また、
矢印２０２のように検出漏れ領域の一部にも動きベクト
ルが割り当てられているが、その値はＬＰＦの効果によ
り正しい動きベクトルより小さなものが割り当てられて
いる。２次元ＬＰＦのタップ数を大きくして効果の及ば
ない領域を減少させようとすると、正しい値が誤って修
正されてしまう領域が拡大してしまう。動きベクトルに
ＬＰＦをかける手法には以上のような問題点が存在す
る。

【０００６】動きベクトルにメディアンフィルタをかけ
る手法、多数決フィルタをかける手法は共に、動きベク
トルの検出漏れ領域の面積が大きいときに、効果が及ば
ない領域が発生する。また、動きベクトルを検出した領
域の形状によっては、正しく動きベクトルを検出した領
域の動きベクトルが、他の動きベクトルに置きかわって
しまうことがある、という問題点がある。

【０００７】例えば図３は図１の動きベクトルに多数決
フィルタをかけた例である。この場合、参照番号１０４
で示す領域１０３の中央の領域に動きベクトルが割り当
てられない。また、参照番号１０５の領域は正しく検出
した動きベクトルが周囲の動きベクトルに置きかえられ
てしまう。動きベクトルにメディアンフィルタや多数決
フィルタをかける手法には以上のような問題点が存在す
る。

【０００８】そこで本発明の目的は、前述の諸問題を排
除し、動画像に用いられる動きベクトルの検出にあた
り、大きな動き物体の中央付近など、特徴のない領域で
生じることのある動きベクトルの検出漏れを除去し、従
来技術より正しい動きベクトルを推定する方法および装
置を提供せんとするものである。

【０００９】

【課題を解決するための手段】この目的を達成するた
め、本発明動きベクトル推定方法は、予め定めた判定基
準により動きベクトルの信頼性が高いと判定され、か
つ、同一の動きベクトルを持った複数の画像領域を外接
線分で結んだ内側の領域から、前記複数の画像領域を除
去し、残余の領域に対し、前記複数の画像領域の動きベ
クトルの向きを考慮して隣接する複数フィールドとの間
で相関を求め、該相関が予め定めた基準を満たさない部
分領域を除去した前記残余の領域に対して、前記複数の
画像領域の持つ動きベクトルを割り当てることを特徴と
するものである。

【００１０】また、複数の異なる動きベクトルが割り当
てられた領域に対しては、各動きベクトルの向きを考慮
して隣接する複数フィールドとの間で相関を求め、該相
関が最も大きい動きベクトルをその領域に割り当てる動
きベクトルとして決定することを特徴とするものであ
る。

【００１１】またさらに本発明動きベクトル推定装置
は、予め定めた方法による動きベクトルの検出を行なう
動きベクトル検出部と；該検出された動きベクトルの予
め定めた判定基準による動きベクトル信頼性の判定によ
り信頼性ある動きベクトルを有すると判定され、かつ、
同一の動きベクトルを有する閉領域を信頼領域として抽
出する信頼領域抽出部と；抽出された前記信頼領域のう
ち同一の動きベクトルを有する複数の信頼領域を外接線
分で結んだ内側の領域を包含領域として抽出する包含領
域抽出部と；抽出された前記包含領域内の前記信頼領域
を前記包含領域から除去して拡張領域を抽出する拡張領
域抽出部と；前記信頼領域の動きベクトルが示す進行方
向側にのみ存在する拡張領域および前記進行方向とは逆
側にのみ存在する拡張領域を進行方向拡張領域および後
退方向拡散領域とし、前記進行方向拡張領域について
は、予め定めた関係にある背景の動きベクトルと信頼領
域の動きベクトルとを用いて各別に求めた隣接する過去
の複数フィールドとの間で相関を予め定めた大きさのブ
ロック毎に求め、あるブロックについて背景の動きベク
トルを用いて求めた相関が信頼領域の動きベクトルを用
いて求めた相関より大きくなる場合にはそのブロックを
前記拡張領域より除外し、前記後退方向拡張領域につい
ては、予め定めた関係にある背景の動きベクトルと信頼
領域の動きベクトルとを用いて各別に求めた隣接する未
来の複数フィールドとの間で相関を予め定めた大きさの
ブロック毎に求め、あるブロックについて背景の動きベ
クトルを用いて求めた相関が信頼領域の動きベクトルを
用いて求めた相関より大きくなる場合にはそのブロック
を前記拡張領域より除外する余剰領域除去部と；前記除
外した余剰領域以外の拡張領域に前記信頼領域の動きベ
クトルを割り当てる動きベクトル割り当て部と；前記包
含領域が異なった複数の包含領域でオーパラップして求
められ複数の動きベクトルが割り当てられる領域が存在
する場合に、そのオーバラップ領域に属する各ブロック
について、前記割り当てられた全ての動きベクトルを各
別に用いて隣接する未来および過去の複数フィールドと
の間で相関を求め、相関が最も大きくなる動きベクトル
を前記オーバラップ領域に属する各ブロックに割り当て
る複数の動きベクトルが割り当てられた領域処理部と；
を具備することを特徴とするものである。

【００１２】

【発明の実施の形態】以下添付図面を参照し実施例によ
り本発明の実施の形態を詳細に説明する。図４に本発明
方法を達成するためのこれに限定されない一実施例構成
ブロック線図を示す。

【００１３】ブロック３０１の動きベクトル検出部で
は、予め設定したやり方により動きベクトルの検出を行
う。高い信頼性を持ち、かつ、同一の動きベクトルを有
する閉領域を信頼領域と呼び、ブロック３０２の信頼領
域抽出部で信頼領域の抽出を行う。

【００１４】同一の動きベクトルを検出した複数の信頼
領域を囲む領域を包含領域と呼ぶ。ブロック３０３の包
含領域抽出部では、以下の処理を行う。信頼領域のう
ち、同一の動きベクトルを検出した領域を抽出し、抽出
した複数の領域を外接線分で結んだ内側の領域を包含領
域とする。

【００１５】ブロック３０４の拡張領域抽出部で抽出す
る拡張領域とは、包含領域から包含領域に含まれる上記
の同一の動きベクトルを持つ複数の信頼領域を除去した
残余の領域のことである。例えば図５の、領域１４０
１，１４０２，１４０３が同一の動きベクトルを検出し
た信頼領域であるとする。これら３つの領域による包含
領域は図６にドットを施して示す領域１４０４であり、
拡張領域は図７に示す領域１４０５である。

【００１６】ブロック３０５の拡張領域中余剰な領域除
去部では、信頼領域の動きベクトルの示す進行方向側に
のみ存在する拡張領域と、信頼領域の進行方向とは逆側
にのみ存在する拡張領域に分けて処理を行う。例えば、
図５の信頼領域１４０１，１４０２，１４０３がいずれ
も左方向の動きベクトルを示しているとすると、信頼領
域の進行方向側にのみ存在する進行方向拡張領域は図８
の領域１４０６、信頼領域の進行方向とは逆側にのみ存
在する後退方向拡張領域は領域１４０７となる。

【００１７】信頼領域より進行方向側にのみ存在する進
行方向拡張領域については、予め定めた関係にある背景
の動きベクトルと信頼領域の動きベクトルとを用いて各
別に求めた隣接する過去の複数フィールドとの間で相関
を予め定めた大きさのブロック毎に求める。背景の動き
ベクトルとしては、包含領域に隣接する一つまたは複数
の他の信頼領域の持つ動きベクトルや、画面中で検出さ
れた面積が最大の動きベクトルなどを用いることがで
き、何を用いるかを予め設定しておく。第ｆフィールド
における座標（ｘ，ｙ）のブロックに含まれる画素をｓ
（ｆ，ｘ，ｙ）と表し、２つのブロックｓ（ｆ，ｘ，
ｙ）とｓ（ｇ，ｐ，ｑ）との相関をｃ（ｓ（ｆ，ｘ，
ｙ），ｓ（ｇ，ｐ，ｑ））とする。第ｎフィールドの任
意ブロック（ｘ，ｙ）の動きベクトル（Ｖ_x, Ｖ_y）に
よる隣接する過去のｍ個のフィールドとの相関を、

【数１】と表す。進行方向拡張領域の各ブロックについて、この
ような相関を、信頼領域の動きベクトルと背景の動きベ
クトルを用いて各別に求める。あるブロックについて信
頼領域以外の背景の動きベクトルを用いて求めた相関
が、信頼領域の動きベクトルを用いて求めた相関より大
きくなったとき、そのブロックを拡張領域から除外す
る。以上の操作を、進行方向拡張領域内の全ブロックに
対して行う。

【００１８】信頼領域より進行方向とは逆側にのみ存在
する後退方向拡張領域についても同様に、背景の動きベ
クトルと信頼領域の動きベクトルを用いて各別に求めた
隣接する未来の複数フィールドとの相関をブロック毎に
求める。第ｎフィールドのあるブロック（ｘ，ｙ）の動
きベクトル（Ｖ_x, Ｖ_y）による隣接する未来のｍ個の
フィールドとの相関は、

【数２】と表す。後退方向拡張領域の各ブロックについて、この
ような相関を、信頼領域の動きベクトルと背景の動きベ
クトルを用いて各別に求める。あるブロックについて信
頼領域以外の背景の動きベクトルを用いて求めた相関
が、信頼領域による動きベクトルを用いて求めた相関よ
り大きくなったとき、そのブロックを拡張領域から除外
する。以上の操作を、後退方向拡張領域内の全ブロック
に対して行う。以上の２つの処理後に残った拡張領域に
図４のブロック３０６の動きベクトル割り当て部で信頼
領域の動きベクトルを割り当てる。

【００１９】以上の説明は図６に示す１つの包含領域を
対象にした処理の説明であるが、実際の動画像では同一
の動きベクトルが検出される信頼領域が複数種類出現す
ることが多いため図６に示す包含領域が複数種類現れる
ことになる。それぞれの包含領域が独立であれば、上記
の処理だけでも一つのブロックに複数の動きベクトルが
割り当てられることはない。しかし、それぞれの包含領
域がオーバーラップしているような場合にはオーバーラ
ップ部分については複数種類の包含領域内の処理が行な
われることがある。この場合、一つのブロックに複数の
異なる動きベクトルが割り当てられることとなる。この
ように、ある領域に複数の異なる動きベクトルが割り当
てられたときは、領域内のブロック各別について、ブロ
ック図４の３０７の複数の動きベクトルが割り当てられ
た領域の処理部で以下に示す処理を行う。ブロックをＹ
とする。割り当てられた複数の動きベクトルをＶ１，Ｖ
２，・・・，Ｖｐ，・・・，Ｖｎとする。各々の動きベ
クトルの元になった信頼領域の集合をＳ１，Ｓ２，・・
・，Ｓｐ，・・・，Ｓｎとする。信頼領域の集合Ｓ１，
Ｓ２，・・・，Ｓｐ，・・・，Ｓｎによる包含領域を各
々Ｈ１，Ｈ２，・・・，Ｈｐ，・・・，Ｈｎとする。包
含領域Ｈｘが、他のどの信頼領域Ｓ１，Ｓ２，・・・，
Ｓｎとも重ならないような信頼領域の集合Ｓｐが存在す
るとき、領域Ｙの動きベクトルをＶｐとする。

【００２０】条件を満たす信頼領域の集合Ｓｘが複数存
在するときは、条件を満たす複数の信頼領域の動きベク
トルを各別に用いて隣接する未来の複数フィールドとの
間の相関および、隣接する過去の複数フィールドとの間
の相関を求め、相関が最も大きくなる動きベクトルをブ
ロックＹの動きベクトルとする。条件を満たす信頼領域
の集合Ｓｘが存在しないときは、割り当てられた全ての
動きベクトルＶ１，Ｖ２，・・・，Ｖｐ，・・・，Ｖｎ
を各別に用いて隣接する未来の複数フィールドとの間の
相関および、隣接する過去の複数フィールドとの間の相
関を求め、相関が最も大きくなる動きベクトルをブロッ
クＹの動きベクトルとする。

【００２１】さて、より具体的に再度説明すると、図４
のブロック３０１に示す動きベクトル検出部では、ブロ
ックマッチング法や勾配法などにより双方向の動きベク
トルを検出する。双方向の動きベクトル検出とは、各フ
ィールドの被写体の移動を特定のラインに注目して表し
た図９に示すように、第ｎフィールドを基準に第（ｎ＋
１）フィールドを探索する順方向の探索と、第（ｎ＋
１）フィールドを基準に第ｎフィールドを探索する逆方
向の探索を行なうことである。

【００２２】図４のブロック３０２に示す信頼領域抽出
部では、検出した動きベクトルの信頼性の検出を行うと
ともに、同一の動きベクトルを有する閉領域を信頼領域
として抽出する。動きベクトルの信頼性の検出は使用す
る動きベクトル検出法にも依存するが、例えば隣接する
予め定めた数の複数フィールド間（例えば未来の５フィ
ールド間）で、順方向・逆方向共に同一の動きベクトル
を検出した領域を信頼領域として検出する。図１０に示
す例では、第ｎフィールド上の領域５０１が信頼領域と
なる。動きベクトルの信頼性の検出は、例えば特開平４
−３６５１８５号記載の手法でも判定することができ
る。

【００２３】図４のブロック３０３に示す包含領域抽出
部では、信頼領域のうち同一の動きベクトルを検出した
複数の信頼領域に外接する線分で囲まれた領域を包含領
域として求める。例えば、図１１の領域６０１，６０
２，６０３が同一の動きベクトルを有する信頼領域とす
ると、信頼領域に外接する線分で囲まれた包含領域は領
域６０４となる。図４のブロック３０４の拡張領域抽出
部で、包含領域から信頼領域を除いた領域を拡張領域と
して抽出する。図１１の例では、包含領域６０４から信
頼領域を除いた領域６０５および６０６が拡張領域とな
る。

【００２４】図４のブロック３０５に示す拡張領域中余
剰な領域除去部では、領域の進行方向を考慮して以下の
処理を行なう。図１２の領域８０１，８０２，８０３を
左向きの動きベクトルを持った信頼領域とする。信頼領
域より進行方向側にのみ存在する進行方向拡張領域８０
４については、予め定めた関係にある背景の動きベクト
ルおよび信頼領域の動きベクトルを各別に用いて予め定
めた数（たとえば４）の隣接する過去の複数フィールド
との間で相関を予め定めた大きさのブロック（例えば１
画素）毎に求める。信頼領域より進行方向とは逆側にの
み存在する後退方向拡張領域８０５は、背景の動きベク
トルおよび信頼領域の動きベクトルを各別に用いて予め
定めた数（例えば４）の隣接する未来の複数フィールド
との間の相関をブロック（例えば１画素）毎に求める。
そして信頼領域の動きベクトルによる相関が背景の動き
ベクトルによる相関より小さくなる部分領域を拡張領域
から除去する。背景の動きベクトルとしては、包含領域
８０６に隣接する他の信頼領域の持つ動きベクトルや画
面中で検出された面積が最大の動きベクトルを用いるこ
とができる。

【００２５】図１３に、信頼領域と拡張領域の関係を１
次元的に表した例を示す。図１３の領域８０３が信頼領
域、矢印９０１が信頼領域の持つ動きベクトルである。
領域８０５が信頼領域の進行方向とは逆側にのみ存在す
る後退方向拡張領域である。背景のベクトルを零ベクト
ルとする。複数フィールドとの間の相関としては、例え
ば、自フィールドと、他の各フィールドのマッチング値
の合計を用いる。マッチング値とは例えば輝度レベルの
差の絶対値で、この場合にはマッチング値が小さいほど
相関が大きい。信頼領域の動きベクトルによって拡張領
域８０５と対応する未来の各フィールド上の領域を領域
９０２，９０３，９０４，９０５とする。同様に、背景
の動きベクトルによって拡張領域８０５と対応する各フ
ィールド上の領域を領域９０６，９０７，９０８，９０
９とする。信頼領域の動きベクトルによる未来のフィー
ルドとの相関（この例ではマッチング値の合計）とは、
領域８０５と９０２のマッチング値、領域８０５と９０
３のマッチング値、領域８０５と９０４のマッチング
値、領域８０２と９０５のマッチング値を画素毎に合計
したものである。背景の動きベクトルによる未来のフィ
ールドとの相関（この例ではマッチング値の合計）とは
領域８０５と９０６のマッチング値、領域８０５と９０
７のマッチング値、領域８０５と９０８のマッチング
値、領域８０５と９０９のマッチング値を画素毎に合計
したものである。信頼領域の進行方向側にのみ存在する
進行方向拡張領域８０４については、信頼領域の動きベ
クトルによって拡張領域８０４と対応する過去の各フィ
ールド上の領域を、領域９１０，９１１，９１２，９１
３とし、背景の動きベクトルによって拡張領域８０４と
対応する各フィールド上の領域を領域９１４，９１５，
９１６，９１７とする。信頼領域の動きベクトルによる
過去のフィールドとの相関（この例ではマッチング値の
合計）とは、領域８０４と９１０のマッチング値、領域
８０４と９１１のマッチング値、領域８０４と９１２の
マッチング値、領域８０４と９１３のマッチング値を画
素毎に合計したものである。背景の動きベクトルによる
過去のフィールドとの相関（この例ではマッチング値の
合計）とは、領域８０４と９１４のマッチング値、領域
８０４と９１５のマッチング値、領域８０４と９１６の
マッチング値、領域８０４と９１７のマッチング値を画
素毎に合計したものである。信頼領域の動きベクトルに
よる相関より、背景ベクトルによる相関の方が大きくな
った画素を拡張領域から除去する。

【００２６】図１４の領域１６０１，１６０２が余剰な
拡張領域の例であり、図１５の領域１００１，１００２
が余剰な拡張領域を除去した後に残った拡張領域の例で
ある。図４のブロック３０６の動きベクトル割り当て部
で余剰な領域の除去の後に残った拡張領域に、信頼領域
の動きベクトルを割り当てる。

【００２７】次に複数の異なる動きベクトルが割り当て
られた領域に対して図４のブロック３０７の複数の動き
ベクトルが割り当てられた領域の処理部では次のような
処理を行なう。例えば、図１６は領域１２０１，１２０
２，１２０３が同一の動きベクトルを持った信頼領域で
あり、領域１２０４，１２０５は他の同一の動きベクト
ルを持った信頼領域であり、領域１２０１の動きベクト
ルと領域１２０４の動きベクトルは異なるものとする。
領域１２０６は領域１２０１，１２０２，１２０３によ
る包含領域であり、領域１２０７は領域１２０４，１２
０５による包含領域である。このときハッチを施した領
域１２０８に領域１２０１の動きベクトルと領域１２０
４の動きベクトルの２つの動きベクトルが割り当てられ
たとすると、包含領域１２０６は内部に異なる動きベク
トルを持つ信頼領域１２０４と１２０５を持つが、包含
領域１２０７は内部に他の信頼領域を含まないため、領
域１２０８には信頼領域１２０４の動きベクトルを割り
当てる。

【００２８】条件を満たす信頼領域の集合Ｓｘが複数存
在するときは次のように処理する。例えば図１７は領域
１７０１，１７０２が同一の動きベクトルを持った信頼
領域であり、領域１７０４，１７０５は他の同一の動き
ベクトルを持った信頼領域であり、領域１７０１の動き
ベクトルと領域１７０４の動きベクトルは異なるものと
する。領域１７０６は領域１７０１，１７０２による包
含領域であり、領域１７０７は領域１７０４，１７０５
による包含領域である。このとき、包含領域１７０６も
１７０７も内部に他の信頼領域を含まないため、ハッチ
を施した領域１７１０については、条件を満たす信頼領
域の集合Ｓｘが複数存在することになる。この場合、領
域１７１０に含まれるブロック（例えば１画素）各別に
ついて以下の処理を行なう。条件を満たす信頼領域の集
合Ｓｘに対応する動きベクトル各別について、隣接する
過去の複数フィールドとの間の相関、および、隣接する
未来の複数フィールドとの間の相関を求め、相関を最大
にする動きベクトルをブロックに割り当てる。相関とし
ては例えば差分を示すマッチング値の合計を用いる。

【００２９】図１９は、２つの動きベクトルが割り当て
られたブロック１８０１を１次元で示した例である。動
きベクトル１８１２と動きベクトル１８０３の２つの動
きベクトルが割り当てられた例である。このとき、ブロ
ック１８０１が動きベクトル１８０３により未来の各フ
ィールド上で対応するブロックはブロック１８０４，１
８０５，１８０６，１８０７であり、過去の各フィール
ド上で対応するブロックは、ブロック１８２０，１８１
９，１８１８，１８１７である。ブロック１８０１が動
きベクトル１８１２により未来の各フィールド上で対応
するブロックはブロック１８０８，１８０９，１８１
０，１８１１であり、過去の各フィールド上で対応する
ブロックはブロック１８１６，１８１５，１８１４，１
８１３である。このときブロック１８０１とブロック１
８０４のマッチング、ブロック１８０１とブロック１８
０５のマッチング値、ブロック１８０１とブロック１８
０６のマッチング値、ブロック１８０１とブロック１８
０７のマッチング値の合計およびブロック１８０１とブ
ロック１８１７のマッチング値、ブロック１８０１とブ
ロック１８１８のマッチング値、ブロック１８０１とブ
ロック１８１９のマッチング値、ブロック１８０１とブ
ロック１８２０のマッチング値の合計と、ブロック１８
０１とブロック１８０８のマッチング値、ブロック１８
０１とブロック１８０９のマッチング値、ブロック１８
０１とブロック１８１０のマッチング値、ブロック１８
０１とブロック１８１１のマッチング値の合計およびブ
ロック１８０１とブロック１８１３のマッチング値、ブ
ロック１８０１とブロック１８１４のマッチング値、ブ
ロック１８０１とブロック１８１５のマッチング値、ブ
ロック１８０１とブロック１８１６のマッチング値の合
計を比較し、マッチング値の合計が小さくなる（相関が
大きくなる）方の動きベクトルをブロック１８０１に割
り当てる。

【００３０】条件を満たす信頼領域の集合Ｓｘが存在し
ないときは次のように処理する。例えば、図１８は領域
１３０１，１３０２，１３０３が同一の動きベクトルを
持った信頼領域であり、領域１３０４，１３０５は他の
同一の動きベクトルを持った信頼領域であり、領域１３
０１の動きベクトルと領域１３０４の動きベクトルは異
なるものとする。領域１３０６は領域１３０１，１３０
２，１３０３による包含領域であり、領域１３０７は領
域１３０４，１３０５による包含領域である。このと
き、包含領域１３０６も１３０７も、内部に他の信頼領
域を含むため、隣接する複数フィールドとの間の相関を
用いて領域１１０２内の各ブロック（例えば１画素）に
割り当てる動きベクトルを決定する。相関としては例え
ばマッチング値の合計を用いる。

【００３１】図２０は、２つの動きベクトルが割り当て
られたブロック１１０１を１次元で示した例である。動
きベクトル１１１２と動きベクトル１１０３の２つの動
きベクトルが割り当てられた例である。このとき、ブロ
ック１１０１が動きベクトル１１０３により未来の各フ
ィールド上で対応するブロックはブロック１１０４，１
１０５，１１０６，１１０７であり、過去の各フィール
ド上で対応するブロックはブロック１１２０，１１１
９，１１１８，１１１７である。ブロック１１０１が動
きベクトル１１１２により未来の各フィールド上で対応
するブロックは、ブロック１１０８，１１０９，１１１
０，１１１１であり、過去の各フィールド上で対応する
ブロックは、ブロック１１１６，１１１５，１１１４，
１１１３である。このときブロック１１０１とブロック
１１０４のマッチング値、ブロック１１０１とブロック
１１０５のマッチング値、ブロック１１０１とブロック
１１０６のマッチング値、ブロック１１０１とブロック
１１０７のマッチング値の合計およびブロック１１０１
とブロック１１１７のマッチング値、ブロック１１０１
とブロック１１１８のマッチング値、ブロック１１０１
とブロック１１１９のマッチング値、ブロック１１０１
とブロック１１２０のマッチング値の合計と、ブロック
１１０１とブロック１１０８のマッチング値、ブロック
１１０１とブロック１１０９のマッチング値、ブロック
１１０１とブロック１１１０のマッチング値、ブロック
１１０１とブロック１１１１のマッチング値の合計およ
びブロック１１０１とブロック１１１３のマッチング
値、ブロック１１０１とブロック１１１４のマッチング
値、ブロック１１０１とブロック１１１５のマッチング
値、ブロック１１０１とブロック１１１６のマッチング
値の合計とを比較し、マッチング値の合計が小さくなる
（相関が大きくなる）方の動きベクトルをブロック１１
０１に割り当てる。なお、以上の図４に示した各処理部
の処理はソフトウェアで処理可能である。

【００３２】以上本発明の実施の形態をいくつかの実施
例につき図面を参照して詳細に説明してきたが、本発明
はこれら実施例に限定されることなく、特許請求の範囲
に記載された発明の要旨内で各種の変形、変更の可能な
ことは当業者に自明であろう。

【００３３】

【発明の効果】本発明は、ＬＰＦを使った従来の割り当
て方法と比べると、正しく検出した動きベクトルの値を
変化させない点と、正しく検出した動きベクトルの値と
同じ動きベクトルを動きベクトルの検出漏れを生じた領
域に割り当てることができる点で優れている。メディア
ンフィルタや多数決フィルタを用いた従来の手法と比べ
ると、検出漏れ領域の面積が大きくても、検出漏れ領域
に動きベクトルを割り当てることができる点で優れてい
る。

【図面の簡単な説明】

【図１】動きベクトルの検出漏れの例を示す図。

【図２】ＬＰＦを用いた例を示す図。

【図３】多数決フィルタを用いた例を示す図。

【図４】本発明装置の一実施例の構成ブロック線図。

【図５】信頼領域を説明する図。

【図６】包含領域を説明する図。

【図７】拡張領域を説明する図。

【図８】信頼領域の進行方向側にのみ存在する進行方向
拡張領域と、信頼領域の進行方向逆側にのみ存在する後
退方向拡張領域を説明する図。

【図９】双方向動きベクトル検出を説明する図。

【図１０】信頼領域の抽出例を示す図。

【図１１】拡張領域を説明する図。

【図１２】拡張領域のうち、信頼領域の進行方向側にの
み存在する進行方向拡張領域と、信頼領域の進行方向逆
側にのみ存在する後退方向拡張領域を説明する図。

【図１３】拡張領域のうち、信頼領域の進行方向側にの
み存在する進行方向領域は隣接する過去のフィールドと
マッチングをとり、信頼領域の進行方向逆側にのみ存在
する後退方向拡張領域は隣接する未来のフィールドとマ
ッチングをとることを説明する図。

【図１４】余剰な拡張領域の例を示す図。

【図１５】余剰な拡張領域を除去した後の例を示す図。

【図１６】１つの領域に２つの動きベクトルが割り当て
られたとき、包含領域と信頼領域の関係から動きベクト
ルを決定することを説明する図。

【図１７】１つの領域に２つの動きベクトルが割り当て
られたとき、包含領域と信頼領域の関係から動きベクト
ルを決定できない一例を説明する図。

【図１８】１つの領域に２つの動きベクトルが割り当て
られたとき、包含領域と信頼領域の関係から動きベクト
ルを決定できない他の例を説明する図。

【図１９】１つの領域に２つの動きベクトルが割り当て
られ、いずれも一定条件を満たすとき、マッチング値の
合計により１つの動きベクトルを選択することを説明す
る図。

【図２０】１つの領域に２つの動きベクトルが割り当て
られ、いずれも一定条件を満たさないとき、マッチング
値の合計により１つの動きベクトルを選択することを説
明する図。

【符号の説明】

１０１自動車の外形１０２，２０１，２０２動きベクトルを示す矢印１０３動きベクトルの検出漏れ領域３０１動きベクトル検出部３０２信頼領域抽出部３０３包含領域抽出部３０４拡張領域抽出部３０５拡張領域中余剰な領域除去部３０６動きベクトル割り当て部３０７複数の動きベクトルが割り当てられた領域の処
理部６０１，６０２，６０３，８０１，８０２，８０３，１
２０１，１２０２，１２０３，１２０４，１２０５，１
３０１，１３０２，１３０３，１３０４，１３０５，１
４０１，１４０２，１４０３，１７０１，１７０２，１
７０４，１７０５信頼領域６０４，８０６，１２０６，１２０７，１３０６，１３
０７，１４０４，１７０６，１７０７包含領域６０５，６０６，１４０５拡張領域

Claims

【特許請求の範囲】

【請求項１】予め定めた判定基準により動きベクトル
の信頼性が高いと判定され、かつ、同一の動きベクトル
を持った複数の画像領域を外接線分で結んだ内側の領域
から、前記複数の画像領域を除去し、残余の領域に対
し、前記複数の画像領域の動きベクトルの向きを考慮し
て隣接する複数フィールドとの間で相関を求め、該相関
が予め定めた基準を満たさない部分領域を除去した前記
残余の領域に対して、前記複数の画像領域の持つ動きベ
クトルを割り当てることを特徴とする動きベクトル推定
方法。
【請求項２】請求項１記載の動きベクトル推定方法に
おいて、複数の異なる動きベクトルが割り当てられた領
域に対し、各動きベクトルの向きを考慮して隣接する複
数フィールドとの間で相関を求め、該相関が最も大きい
動きベクトルをその領域に割り当てる動きベクトルとし
て決定することを特徴とする動きベクトル推定方法。
【請求項３】予め定めた方法による動きベクトルの検
出を行なう動きベクトル検出部と；該検出された動きベ
クトルの予め定めた判定基準による動きベクトル信頼性
の判定により信頼性ある動きベクトルを有すると判定さ
れ、かつ、同一の動きベクトルを有する閉領域を信頼領
域として抽出する信頼領域抽出部と；抽出された前記信
頼領域のうち同一の動きベクトルを有する複数の信頼領
域を外接線分で結んだ内側の領域を包含領域として抽出
する包含領域抽出部と；抽出された前記包含領域内の前
記信頼領域を前記包含領域から除去して拡張領域を抽出
する拡張領域抽出部と；前記信頼領域の動きベクトルが
示す進行方向側にのみ存在する拡張領域および前記進行
方向とは逆側にのみ存在する拡張領域を進行方向拡張領
域および後退方向拡散領域とし、前記進行方向拡張領域
については、予め定めた関係にある背景の動きベクトル
と信頼領域の動きベクトルとを用いて各別に求めた隣接
する過去の複数フィールドとの間の相関を予め定めた大
きさのブロック毎に求め、あるブロックについて背景の
動きベクトルを用いて求めた相関が信頼領域の動きベク
トルを用いて求めた相関より大きくなる場合にはそのブ
ロックを前記拡張領域より除外し、前記後退方向拡張領
域については、予め定めた関係にある背景の動きベクト
ルと信頼領域の動きベクトルとを用いて各別に求めた隣
接する未来の複数フィールドとの間の相関を予め定めた
大きさのブロック毎に求め、あるブロックについて背景
の動きベクトルを用いて求めた相関が信頼領域の動きベ
クトルを用いて求めた相関より大きくなる場合にはその
ブロックを前記拡張領域より除外する余剰領域除去部
と；前記除外した余剰領域以外の拡張領域に前記信頼領
域の動きベクトルを割り当てる動きベクトル割り当て部
と；前記包含領域が異なった複数の包含領域でオーパラ
ップして求められ複数の動きベクトルが割り当てられる
領域が存在する場合に、そのオーバラップ領域に属する
各ブロックについて、前記割り当てられた全ての動きベ
クトルを各別に用いて隣接する未来および過去の複数フ
ィールドとの間で相関を求め、相関が最も大きくなる動
きベクトルを前記オーバラップ領域に属する各ブロック
に割り当てる複数の動きベクトルが割り当てられた領域
処理部と；を具備することを特徴とする動きベクトル推
定装置。