JPH11110563A

JPH11110563A - 被写体の動き検出方法及び装置

Info

Publication number: JPH11110563A
Application number: JP9274075A
Authority: JP
Inventors: Akitoshi Tsukamoto; 明利塚本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1997-10-07
Filing date: 1997-10-07
Publication date: 1999-04-23

Abstract

(57)【要約】【課題】カメラの振動の影響を排除して被写体の動き
に忠実な動きベクトルを検出する。【解決手段】複数の画像フレームにわたって、相互に
対応する動きベクトルを連結し、この連結の状態に応じ
た処理を行うことによって被写体の動きに忠実な動きベ
クトルを検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、連続した画像フレ
ームでとらえた被写体の動きを、その動きベクトルを用
いて検出する被写体の動き検出方法及び装置に関するも
のである。

【０００２】

【従来の技術】撮像画像中の動きベクトルを用いて被写
体の動きを検出することは従来から行われている。

【０００３】文献１『安居院猛、長尾智晴著、「画像の
処理と認識」、昭晃堂、１９９２年、pp.１６４−１７
０』例えば、上記文献１には、連続する画像フレーム間で対
応点を決定して動きベクトルを求める方法として、ブロ
ックマッチング法や勾配法が開示されている。

【０００４】その一つブロックマッチング法について説
明する。

【０００５】時刻ｔの撮像で得られた画像フレームをＩ
ｔとし、この画像フレームＩｔ中の位置（ｘ，ｙ）にお
ける画素の明るさ（画素値）をＩｔ（ｘ，ｙ）と表記す
る。ここでｘ、ｙは整数である。すなわち、当該画素の
位置は図２に示すような画面座標系により指定される。

【０００６】ブロックマッチング法においては、画像フ
レーム中の微小領域の画像の類似に基づいて画像フレー
ム間の対応づけを行うことにより、動きベクトルを得る
ものである。例えば、画像フレームＩｔ上の位置（ｘ，
ｙ）の画素の対応を求めるには、当該位置（ｘ，ｙ）を
中心とする縦横２Ｌ＋１画素のブロックに着目し、この
ブロックに階調が最も近いブロックを、Ｉｔに続く画像
フレームＩｔ＋１上で探索する。

【０００７】ブロック間の階調が一致する度合い、すな
わち一致度を表わす量として文献１に記載されたものの
うち、よく用いられるブロック内画素の差分階調値の絶
対値の和を次の式（１）に示す。

【０００８】Ｄ（ｘ，ｙ，ｘ’，ｙ’）＝ΣΣ│Ｉ（ｘ＋ｉ，ｙ＋ｊ，ｔ） −Ｉ（ｘ’＋ｉ，ｙ’＋ｊ，ｔ＋１）│…（１）この式（１）において、総和ΣΣは、ｉが−ＬからＬに
ついて、ｊが−ＬからＬについてである。

【０００９】式（１）の一致度を最良、すなわち最小に
する位置（ｘ’，ｙ’）を画像フレームＩｔ＋１上の探
索範囲内において求めることにより（ｘ，ｙ）の対応点
（Ｘ，Ｙ）を決定する。すなわち、Ｄ（ｘ，ｙ，Ｘ，Ｙ）＝ｍｉｎＤ（ｘ，ｙ，ｘ’，ｙ’）…（２）ただし、式(２）において、（ｘ’，ｙ’）は当該探索
範囲内の各位置を示す。

【００１０】このような処理を繰り返すことにより、例
えば画像フレームＩｔ上における多数の点の動きベクト
ルを求めることができる。

【００１１】

【発明が解決しようとする課題】ところが、上述の方法
では、動きベクトルを連続する２枚の画像フレームから
求めるため、例えば振動しながら走行する車両から撮像
する場合や、手ぶれが生じる場合など、カメラ自体が振
動していると、静止した被写体に対して動きベクトルを
検出するなど、求めた動きベクトルにはカメラの振動に
よる急激な画像変化が影響して、被写体とカメラの相対
的な動きのなかで連続的で滑らかな動きだけに対応した
動きベクトルを得ることができなくなる。

【００１２】

【課題を解決するための手段】

（Ａ）かかる課題を解決するため、カメラに取り込まれ
た画像フレーム中の各点の動きベクトルを用いて被写体
の動きを検出する方法において、以下のようにしたこと
を特徴とする。

【００１３】すなわち、第１の発明においては、複数の
画像フレームにわたって、相互に対応する動きベクトル
を連結し、この連結の状態に応じた処理を行うことによ
って被写体とカメラの相対的な動きに忠実な動きベクト
ルを検出することを特徴とする。

【００１４】また、第２の発明においては、(１）第１
の画像フレーム上に始点を、第２の画像フレーム上に終
点を持つ第１の動きベクトルを検出し、（２）この第１
の動きベクトルの終点近傍の所定範囲内に始点を持つ、
１又は複数の第２の動きベクトルを連結候補として選択
し、（３）現時点の次の時点の動きベクトルに連結する
動きベクトルとして実際に検出された動きベクトルの他
に予測的に生成される動きベクトルを得て、（４）この
予測的に生成される動きベクトルを前記連結候補に加
え、（５）この連結候補のなかから第１の基準に基づい
て１つの動きベクトルを選択して前記第１の動きベクト
ルに連結することを特徴とする。

【００１５】（Ｂ）カメラに取り込まれた画像フレーム
中の各点の動きベクトルを用いて被写体の動きを検出す
る装置において、以下のようにしたことを特徴とする。

【００１６】すなわち、第３の発明においては、複数の
画像フレームにわたって、相互に対応する動きベクトル
を連結する手段と、この連結の状態に応じた処理を行う
ことによって被写体の動きに忠実な動きベクトルを検出
する手段とを備えることを特徴とする。

【００１７】また、第４の発明においては、（１）第１
の画像フレーム上に始点を、第２の画像フレーム上に終
点を持つ第１の動きベクトルを検出する手段と、（２）
この第１の動きベクトルの終点近傍の所定範囲内に始点
を持つ、１又は複数の第２の動きベクトルを連結候補と
して選択する手段と、（３）現時点の次の時点の動きベ
クトルに連結する動きベクトルとして実際に検出された
動きベクトルの他に予測的に生成される動きベクトルを
得る手段と、（４）この予測的に生成される動きベクト
ルを前記連結候補に加える手段と、（５）この連結候補
のなかから第１の基準に基づいて１つの動きベクトルを
選択して前記第１の動きベクトルに連結す備えることを
特徴とする。

【００１８】第１及び第３の発明によれば、複数の画像
フレームにわたる動きベクトルの連結状態を検出するこ
とで、カメラが振動している場合に、カメラの振動によ
る急激な画像の変化の影響を排除した動きベクトルであ
って、被写体とカメラの相対的な動きのなかで連続的で
滑らかな動きに忠実な動きベクトルを検出することが可
能となる。さらに、第２及び第４の発明によれば、当該
カメラの振動が急激な場合にも対処できる。

【００１９】

【発明の実施の形態】

（Ａ）第１の実施形態以下、本発明の被写体の動き検出方法及び装置を、動画
撮像用のビデオカメラに適用した場合を例に、図面を参
照しながら、第１の実施形態について詳説する。

【００２０】（Ａ−１）第１の実施形態の構成被写体の動きを検出するシステム２００を示す図１にお
いて、カメラ２０１の映像信号出力端子にはこの映像信
号をＡ／Ｄ変換するＡ／Ｄ変換装置２０２が接続され、
このＡ／Ｄ変換装置２０２の出力は、所定の時間間隔で
２つの接点間で切換えられるスイッチ２０３によって、
２つのメモリ２０４Ａ又は２０４Ｂの入力端子に接続さ
れる。メモリ２０４Ａ、２０４Ｂは映像信号を画像フレ
ーム単位で取り込むフレームメモリである。

【００２１】２つのメモリ２０４Ａ、２０４Ｂに格納さ
れている時間的に連続する２つの画像フレームを比較す
ることにより、例えばブロックマッチング法で動きベク
トルを算出する動きベクトル算出装置２０５の出力端子
は、１画像フレーム全域の各点についての多数の動きベ
クトルを、必要なフレーム数だけ格納している動きベク
トル格納装置２０６に接続されている。

【００２２】この動きベクトル格納装置２０６の出力端
子には、後述する方法で複数フレームにわたる（多数
の）動きベクトルを選択して連結する動きベクトル連結
装置２０７が接続されている。

【００２３】動きベクトル連結装置２０７の出力端子に
は、連結処理された動きベクトルから合成された（多数
の）連結ベクトルを格納する連結ベクトル格納装置２０
８が接続され、この連結ベクトル格納装置２０８の出力
端子には、当該連結ベクトルを連結された動きベクトル
数で割ることにより時間的に平滑化した平滑化ベクトル
として出力する連結ベクトル平滑化装置２０９が接続さ
れている。

【００２４】以下、上記のような構成を有する第１の実
施形態の動作について説明する。

【００２５】（Ａ−２）第１の実施形態の動作（Ａ−２−１）動きベクトル算出装置２０５の動作動きベクトル算出装置２０５における処理のフローチャ
ートを図３に示す。

【００２６】ブロックマッチング法を実行するために、
動きベクトル算出装置２０５は、先ず処理ブロックを決
めなければならない。

【００２７】処理ブロックＢＰの中心に位置する点は、
図４（Ａ）に示すように、メモリ２０４Ａ又は２０４Ｂ
から読み出された１つの前記画像フレームＩｔ内におい
て、縦横に（ｈ＋１）×（w＋１）個だけ設定されてい
る。

【００２８】いま、フレームＩｔに対し、図２の画面座
標系を適用して（ｘ，ｙ）＝（ｍ，ｎ）に位置する点Ｐ
１に着目する。

【００２９】点Ｐ１を中心とするブロックＢＰ１は、図
４（Ａ）の点Ｐ１の周辺を拡大して示した図４（Ｂ）に
実線で示すように、縦横共に２Ｌ＋１画素からなり、周
囲と正方形の境界線を有する微小領域である。フレーム
Ｉｔ上の他の処理ブロックについても中心の点とその周
囲のブロックの関係は同じである。

【００３０】図４（Ｂ）において、例えば点Ｐ１を中心
とする実線で示した正方形の処理ブロックＢＰ１内に
は、点Ｐ２、Ｐ３など９個の点が存在し、点Ｐ２を中心
とする破線で示した正方形の処理ブロックＢＰ２、点Ｐ
３を中心とする一点鎖線で示した正方形のブロックＢＰ
３などが互いにオーバーラップするように設定されてい
る。なお、図４（Ｂ）に図示したのは、３つの処理ブロ
ックだけであるが、全ての点には、ＢＰ１と合同な正方
形の処理ブロックがその点を中心として設定されてお
り、これらは相互にオーバーラップしている。

【００３１】従って、これらのブロックも一つの画像フ
レームＩｔ上に（ｈ＋１）×（w＋１）個だけ存在す
る。

【００３２】動きベクトル算出装置２０６は、前記（ｈ
＋１）×（w＋１）個の処理ブロックの１つひとつに対
し所定の順序で処理開始を決定して行く。いま例えば処
理ブロックＢＰ１の処理開始を決定したとする（Ｓ３０
１）。

【００３３】ＢＰ１を処理するために、画像フレームＩ
ｔに続いてメモリ２０４Ａ又は２０４Ｂから読み出し中
の画像フレームＩｔ＋１上の座標（ｍ，ｎ）の近傍にあ
る探索範囲内の各位置（ｘ’，ｙ’）に対して動きベク
トル算出装置２０５は、例えば上述の式（１）を用いて
処理ブロックＢＰ１に対する差分階調値Ｄ（ｘ，ｙ，
ｘ’，ｙ’）が最も小さいブロックの探索を行う。

【００３４】そしてこの探索によって得られたＩｔ＋１
上のブロックの中心点（Ｘ，Ｙ）（すなわち、点Ｐ１と
の間に上述の式(２）が成立する点）を終点とし、処理
対象の点Ｐ１を始点とするベクトルが求める動きベクト
ルとなる。このようなブロックマッチングを画像フレー
ムＩｔ上の各ブロックについて実行する（Ｓ３０２）。

【００３５】得られた点Ｐ１に対する動きベクトル（Ｘ
−ｘ，Ｙ−ｙ）などの動きベクトルは、順次に動きベク
トル格納装置２０６に格納されて行く（Ｓ３０３）。

【００３６】（Ａ−２−２）動きベクトル格納装置２０
６の動作以下ではこの動きベクトルを、その始点の属する画像フ
レームの時刻、例えば時刻ｔを用いてＶｔ（ｍ，ｎ）と
表記し、時刻ｔの動きベクトルと呼ぶ。

【００３７】なお、この動きベクトルＶｔ（ｍ，ｎ）に
はその始点、終点の情報は含まないものとしてメモリの
容量を節約する。必要な場合には、動きベクトルの始点
は（ｍ、ｎ）から割り出すことができ終点はその始点か
らＶｔ（ｍ、ｎ）だけ変化した点として算出できる。

【００３８】そして図５に示すように、始点の所属によ
って画像フレームＩｔとＩｔ＋１、すなわち時刻ｔとｔ
＋１に分類された状態で各動きベクトルは、動きベクト
ル格納装置２０８に格納される。

【００３９】以降の時刻の画像フレーム内に始点を持つ
動きベクトルは、古いほうの動きベクトルが記憶されて
いる領域に上書きする。

【００４０】このようにして、常に過去２フレーム分の
動きベクトルを格納する。

【００４１】（Ａ−２−３）動きベクトル連結装置２０
７の動作動きベクトル連結装置２０７は、動きベクトル格納装置
２０６に格納された２フレーム分の動きベクトル、例え
ば図５の時刻ｔおよびｔ＋１の動きベクトルを連結す
る。

【００４２】この処理フローチャートを図６に示す。先
ずステップＳ６０１において、時刻ｔの動きベクトルを
順次取り出す。これをＶｔ（ｍ，ｎ）とする。そして時
刻ｔ＋１の動きベクトルのうち、Ｖｔ（ｍ，ｎ）の終点
近傍に始点を持つ動きベクトルを取り出す。この際には
Ｖｔ（ｍ，ｎ）の終点の情報のみが用いられる（Ｓ６０
２）。

【００４３】この近傍の範囲を、例えば処理ブロックと
同じ縦横２Ｌ＋１画素の範囲とすると、最多で９個の動
きベクトルが取り出される可能性がある。ここで、取り
出された動きベクトルの終点を中心とする正方形である
前記近傍範囲内の複数の座標を（ｍｉ、ｎｉ）と表記す
る。そして複数の座標（ｍｉ，ｎｉ）を始点とする複数
の動きベクトルをＶｔ＋１（ｍｉ、ｎｉ）と書く。

【００４４】次に、取り出されたＶｔ＋１（ｍｉ、ｎ
ｉ）のうちＶｔ（ｍ，ｎ）と連結させる動きベクトルの
候補となるものを選択する。ここでは画像フレームの切
り換わり時間に比べて被写体の動きの変化は十分に小さ
いとみなして、動きの変化が小さいものを候補とするよ
う、差分ベクトルＶｔ＋１（ｍｉ，ｎｉ）−Ｖｔ（ｍ，
ｎ）のＸ成分およびＹ成分がそれぞれ閾値以下であるも
のを選択する（Ｓ６０３）。

【００４５】そして、選択された各Ｖｔ＋１（ｍｉ、ｎ
ｉ）に連結される動きベクトルの候補としてＶｔ（ｍ，
ｎ）を順次に追加登録する（Ｓ６０４）。

【００４６】ここまでのステップＳ６０１〜６０４の処
理は、フレームＩｔ上の全てのＶｔ（ｍ，ｎ）について
繰り返される（Ｓ６０５のＮ）。各Ｖｔ（ｍ，ｎ）によ
って構成される候補の集合を、あるＶｔ＋１（ｍ，ｎ）
に対する連結ベクトル候補集合と呼ぶ。

【００４７】この候補集合のなかから、所定の基準、例
えばあるＶｔ＋１（ｍ，ｎ）の始点に最も近い終点を有
するＶｔ（ｍ，ｎ）を連結ベクトルとするとの基準、に
基づいて連結ベクトルを決定し（Ｓ６０５のＹ）、当該
特定のＶｔ（ｍ，ｎ）とＶｔ＋１（ｍ，ｎ）との連結を
実行する（Ｓ６０６）。

【００４８】各Ｖｔ＋１（ｍ、ｎ）の連結ベクトル候補
集合の要素のうち、当該Ｖｔ＋１（ｍ，ｎ）に連結され
るものを連結ベクトルと呼ぶ。

【００４９】（Ａ−２−４）連結ベクトル格納装置２０
８の動作このようにして決定された連結ベクトルは、連結ベクト
ル格納装置２０８に格納される。連結ベクトル格納装置
２０８には時刻ｔ以前の連結ベクトルも格納されてお
り、その内容は新しく決定された連結ベクトルの内容に
応じて更新される。

【００５０】図７に連結ベクトルの更新の動作を示す。
図７は、連結ベクトル格納装置２０８に搭載されたメモ
リのメモリ空間を図２の画面座標系に対応するように展
開してみせたものである。

【００５１】先ず、図７（Ａ）に示すように、時刻ｔ＋
１の動きベクトルＶｔ＋１（ｍ１，ｎ１）の連結ベクト
ルＶｔ（ｍ０、ｎ０）を、連結ベクトル格納装置２０８
内の当該メモリのアドレス（ｍ１、ｎ１）に格納する。

【００５２】次に、時刻ｔ＋２の動きベクトルＶｔ＋２
（ｍ２，ｎ２）の連結ベクトルとして当該動きベクトル
Ｖｔ＋１（ｍ１，ｎ１）が決定されたとすると、連結ベ
クトル格納装置２０８は、動きベクトルＶｔ＋２（ｍ
２，ｎ２）の連結ベクトルを時刻ｔ＋１以前にさかのぼ
ってアドレス（ｍ２，ｎ２）に格納する。

【００５３】すなわち、図７（Ｂ）に示すように、アド
レス（ｍ２，ｎ２）には連結ベクトルＶｔ＋１（ｍ１，
ｎ１）を格納し、さらにそのＶｔ＋１（ｍ１，ｎ１）の
連結ベクトルであったＶｔ（ｍ０，ｎ０）も格納する。

【００５４】同様に、次の時刻ｔ＋３の動きベクトルＶ
ｔ＋３（ｍ３、ｎ３）の連結ベクトルとして動きベクト
ルＶｔ＋２（ｍ２，ｎ２）が決定されたとすると、図７
（Ｃ）に示すように、アドレス（ｍ３，ｎ３）には連結
ベクトルＶｔ＋２（ｍ２，ｎ２）を格納し、さらにその
連結ベクトルとして格納されていたＶｔ＋１（ｍ１、ｎ
１）及びＶｔ（ｍ０，ｎ０）も格納する。このようにし
て連結ベクトル格納装置２０８は、現時点で得られる動
きベクトルの過去の連結ベクトルを格納する。この際、
各アドレスに格納した連結ベクトルの数も格納する。こ
の動きベクトル数は最大でＮ個とする。

【００５５】（Ａ−２−５）連結ベクトル平滑化２０９
の動作連結ベクトル平滑化装置２０９は上記の処理によって得
られた連結ベクトル群を受け取り、これを時間的に平滑
化したベクトルを出力する。

【００５６】すなわち、図７の例を用いると、最新の動
きベクトルＶｔ＋３（ｍ３，ｎ３）と、これと連結ベク
トルの関係を成すＶｔ＋２（ｍ２，ｎ２）、これと連結
ベクトルを成すＶｔ＋１（ｍ１，ｎ１），…などの全て
（ただし最大Ｎ個まで）のベクトル和をとって、これを
足し合わせたベクトル数で割ったものを、平滑化ベクト
ルＶｔ＋３’（ｍ３，ｎ３）として出力する。

【００５７】処理されている最新の画像フレームについ
てのこのような平滑化処理は、当該画像フレーム内の全
動きベクトルについて行われる。

【００５８】（Ａ−３）第１の実施形態の効果上記のような第１の実施形態は、次のような効果を奏す
る。

【００５９】図８(Ａ）〜（Ｄ）に示す映像は、静止物
体Ｏ１及び水平に移動する物体Ｏ２をフレーム内にとら
えながらカメラが上下振動した場合の連続画像であり、
時間経過に伴って順次に同図(Ａ）〜（Ｄ）が得られ
る。この連続画像に対するブロックマッチング法により
得られた動きベクトルは、カメラの振動の影響で図９
（Ａ）〜（D）のようになる。これは、従来の方法によ
って最終的に得られる動きベクトルと同じである。

【００６０】第１の実施形態によれば、図９（A)〜（D)
の動きベクトルに対し、さらに連結及び平滑化処理を行
うことによってカメラの振動の影響を相殺でき、図１０
に示すように、図１０（Ａ）の初期状態では不十分であ
った被写体の動きに対応した動きベクトルの検出が、図
１０(Ｂ）から（Ｄ）へと、時間が経過するにつれて次
第に被写体の動きに対応し、安定してくる。

【００６１】すなわち、第１の実施形態によれば、撮像
時におけるあらゆる方向のカメラの振動の影響を低減さ
せ、被写体とカメラの相対的な動きのなかで連続的で滑
らかな動きに忠実な安定した動きベクトルを求めること
ができる。

【００６２】（Ａ−４)第１の実施形態の変更例上記の説明では動きベクトルの連結候補として、差分ベ
クトルのＸ成分及びＹ成分がそれぞれ閾値以下となるも
のを選出するとしたが、動きベクトル自体に信頼度など
の評価値が与えられている場合は、さらにその評価値に
対する条件を設定し、これも同時に満足するものだけを
連結候補とすることもできる。これによれば、連結候補
が多過ぎる場合に連結候補数を絞りこむことができ、シ
ステムの負荷を低減することが可能である。当該評価値
としては、例えば式（２）で与えられる一致度などを用
いることもできる。

【００６３】また、本方式で得られた動きベクトルの評
価値として、例えば連結された動きベクトルの数を与え
ることもできる。一般に、連結された動きベクトルの数
が増すほど、当該動きベクトルが被写体の動きに対応し
ている可能性が高いと考えられるからである。

【００６４】(Ｂ）第２の実施形態第１の実施形態では時刻ｔ＋１の動きベクトルに連結す
る時刻ｔの動きベクトルを決定する際に、差分ベクトル
のＸ成分およびＹ成分がそれぞれ閾値以下であるものを
連結候補として選択し、そのうち連結に最も適当なもの
をさらに選択する。しかしカメラの振動の影響が突発的
に大きくなった場合や、あるいは環境の一時的な変化に
よって瞬間的に正しい動きベクトルが得られなかった場
合には、連結候補が得られなくなる可能性がある。

【００６５】例えば、画像フレームが１フレーム切り換
わる時間におけるフレーム上の被写体の動き（あるいは
カメラ２０１の動きの影響）が、ブロックマッチングを
行う探索範囲を超えるほど急激であった場合に、対応関
係のない動きベクトルのみで連結ベクトル候補集合が構
成されたり、あるいは当該探索範囲を超えるほどでなく
ても前記閾値設定時の想定を超える程度に急激な動きが
発生した場合である。このような場合には、全ての前記
差分ベクトルのX成分又はＹ成分が閾値を超えるなどの
理由で動きベクトルの連結処理が行われなくなる可能性
がある。

【００６６】このような状況に対処するため、第２の実
施形態は時刻ｔ＋１の動きベクトルに連結する動きベク
トルとして、時刻ｔの動きベクトルだけでなく平滑化ベ
クトルから生成した予測ベクトルをも考慮することを特
徴とする。

【００６７】（Ｂ−１）第２の実施形態の構成図１１に第２の実施形態に係る被写体の動きを検出する
システム１１００を示す。図１１において、図１の各部
と対応する部分には図１と同一の符号を付してその詳し
い説明は省略する。検出システム１１００は検出システ
ム２００に予測ベクトル生成装置１１０１と予測ベクト
ル格納装置１１０２を付加した構成である。

【００６８】この予測ベクトル生成装置１１０１は、連
結ベクトル平滑化装置２０９で生成される平滑化ベクト
ルに基づいて後述する予測ベクトルを生成するために、
その入力端子を連結ベクトル平滑化装置２０９の出力端
子に接続し、その出力端子には生成された予測ベクトル
を格納するための予測ベクトル格納装置１１０２の入力
端子が接続されている。

【００６９】さらに予測ベクトル格納装置１１０２の出
力端子は、動きベクトル連結装置２０７の連結動作の基
礎となる上述の連結ベクトル候補集合に生成した予測ベ
クトルを加えるために、動きベクトル連結装置２０９に
接続されている。

【００７０】以下、上記のような構成を有する第２の実
施形態の動作について説明する。

【００７１】（Ｂ−２）第２の実施形態の動作（Ｂ−２−１）予測ベクトル生成装置１１０１の動作予測ベクトル生成装置１１０１の処理フローチャートを
図１２に示す。

【００７２】図１２において、先ず、連結ベクトル平滑
化装置２０９が出力した平滑化ベクトルＶｔ’（ｍ、
ｎ）を、予測ベクトル生成装置１１０１が読み出す（Ｓ
１２０１）。

【００７３】次に平滑化ベクトルＶｔ’（ｍ，ｎ）の終
点の近傍に、所定の近傍範囲を設定する。この近傍範囲
は、例えば、前記連結ベクトルの候補選択前に用いた近
傍の範囲と同様に縦横２Ｌ＋１画素の範囲としてよい。
取り出された１平滑化ベクトルの終点を中心とする正方
形である前記近傍範囲内の複数の点の座標を（ｍｋ、ｎ
ｋ）と表記する（Ｓ１２０２）。

【００７４】そして点（ｍｋ，ｎｋ）を始点とする複数
の予測ベクトル、すなわち現時点、時刻ｔの次の時点ｔ
＋１の動きベクトルに連結する動きベクトルとして実際
に検出された動きベクトルの他に予測的に生成された動
きベクトル、の候補として時刻ｔの１平滑化ベクトルＶ
ｔ’（ｍ，ｎ）を加える（Ｓ１２０３）。現時点、時刻
ｔにおける予測ベクトルをＶｔ＋１’’（ｍ，ｎ）と表
記する。

【００７５】前記近傍範囲（ＢＰ）がオーバーラップし
ているために当該１の平滑化ベクトルＶｔ’（ｍ，ｎ）
と同時刻ｔの別な平滑化ベクトル、例えばＶｔ（ｍ＋
１，ｎ）も前記複数の点（ｍｋ，ｎｋ）のうちのいくつ
かをその終点の近傍範囲内に含む。従って、このＶｔ
（ｍ＋１，ｎ）も（ｍｋ，ｎｋ）内に始点を持つ予測ベ
クトルＶｔ’’（ｍ，ｎ）から見てＶｔ（ｍ，ｎ）と共
に予測ベクトルの候補となる。

【００７６】ステップＳ１２０１〜１２０３の処理は、
例えば時刻ｔの１画像フレーム上に終点を持つ平滑化ベ
クトルのうち予測ベクトルの候補となったもの全ての処
理（Ｓ１２０１〜１２０３）が終了するまで繰り返され
る（Ｓ１２０４のＮ）。

【００７７】そして、画像フレームＩｔ上に終点を持つ
全ての平滑化ベクトルＶｔ’（ｍ，ｎ）についてＳ１２
０１〜１２０３の処理が終了する（Ｓ１２０４のＹ）
と、アルゴリズムはステップＳ１２０５に進む。

【００７８】ステップＳ１２０５において、前記予測ベ
クトルの候補のなかから平滑化ベクトルとしての評価
値、例えば連結ベクトル数が最も多い平滑化ベクトルを
予測ベクトルとして決定する（Ｓ１２０５）。あるい
は、予測ベクトルの候補となる平滑化ベクトルのうち、
当該平滑化ベクトルの終点が当該予測ベクトルの始点に
最も近いものを予測ベクトルとして決定してもよい。

【００７９】生成された予測ベクトルＶｔ＋１’’
（ｍ，ｎ）は、直ちに予測ベクトル格納装置１１１１に
格納される。

【００８０】（Ｂ−２−２）予測ベクトル格納装置１１
０２及び動きベクトル連結装置２０７の動作動きベクトル連結装置２０７の処理動作は第１の実施形
態とほぼ同様であり、そのフローチャートは図６と同様
である。ただし、時刻ｔ＋１とｔ＋２の動きベクトルを
連結する際にステップＳ６０１において取り出される動
きベクトルは、時刻ｔ＋１の動きベクトルＶｔ＋１
（ｍ，ｎ）だけでなく、予測ベクトル格納装置１１０２
に格納されている予測ベクトルＶｔ＋１’’（ｍ，ｎ）
も含むものとする。

【００８１】また、ステップＳ６０５の動きベクトルの
連結処理で行われる連結ベクトルの決定に際しては、時
刻ｔ＋１の動きベクトルを優先するものとし、連結ベク
トル侯補に時刻ｔ＋１の動きベクトルが無い場合に限っ
て予測ベクトルを連結ベクトルに決定する。

【００８２】（Ｂ−３）第２の実施形態の効果上記のような第２の実施形態は、次のような効果を奏す
る。

【００８３】動きベクトル検出結果を示す図１３は、第
１の実施形態における図９に対応する図である。図９
（Ｃ）の時点において、カメラ２０１又は被写体が急激
に動くと、図１３（Ｃ）のように動きベクトルが検出で
きないことがある。この場合、第１の実施形態によれば
動きベクトルの連結処理はこの時点で中断するため、そ
の直後では平滑化ベクトルは得られず動きベクトルがそ
のまま出力される。従って、図１０（Ａ）のように被写
体の動きへの対応が不十分な初期状態が再現されてしま
う。

【００８４】一方、第２の実施形態の動きベクトル検出
結果を図１４に示す。図１３（Ｃ）の時点においてカメ
ラ２０１などの急激な動きで動きベクトルが検出できな
かったため、第１の実施形態の方法では、図１４（Ｃ）
の時点において平滑化ベクトルが得られない。

【００８５】図１４（Ｃ）に破線で示すように、第２の
実施形態では、平滑化ベクトルから生成された予測ベク
トルを本来得られるべき平滑化ベクトルの代わりに用い
ることにより、当該急激な動きがおさまった図１４
（Ｄ）の時点では、この予測ベクトルを連結して直ちに
再び平滑化ベクトルを生成することができる。

【００８６】従って、第２の実施形態によれば、カメラ
の振動の影響を低減させるほか、環境の変動などにより
一時的に動きベクトルが検出できないような場合でも、
安定した動き検出を行うことができる。

【００８７】（Ｂ−４）第２の実施形態の変更例なお、上記の説明では時刻ｔ＋１の予測ベクトルＶｔ＋
１’’（ｍ，ｎ）を平滑化ベクトルＶｔ’（ｍ，ｎ）か
ら生成するものとして説明したが、これは時刻ｔの予測
ベクトルＶｔ’’（ｍ，ｎ）から同様に生成することも
でき、さらにこれを再帰的に繰り返すこともできる。こ
れは図１１に破線で示したように、予測ベクトル格納装
置１１０２の出力を予測ベクトル生成装置１１０１にフ
ィードバックすることによって可能となる。このような
工夫により、環境変化が長時間続くような場合にも対処
できる。

【００８８】（Ｃ）他の実施形態上記の第１及び第２の実施形態では、２次元の画像フレ
ームを出力する２次元カメラを用いて説明したが、本発
明は、１次元のイメージ・センサ・カメラなどにも適用
可能である。これによって、受光素子の配列方向の振動
の影響を低減あるいは解消できるので、振動が発生する
環境下でも安定した精度で被測定物の計測などを行うこ
とが可能になる。

【００８９】また、上記の第１及び第２の実施形態で
は、動画の撮像が前提となっていたが、本発明が効果を
発揮するのは必ずしも動画に限らない、いわゆる電子ス
チルカメラなどで静止画を撮像する場合にも手ぶれなど
の対策として効果的である。

【００９０】

【発明の効果】以上のように、第１及び第３の発明によ
れば、複数の画像フレームにわたる動きベクトルの連結
状態に応じた処理を行うので、カメラが動いている場合
に被写体の動きに忠実な動きベクトルを検出することが
可能となる。さらに、第２及び第４の発明によれば、当
該カメラの動きが急激な場合でも安定的に被写体の動き
に忠実な動きベクトルを検出することができる。

【図面の簡単な説明】

【図１】第１の実施形態に係る動きベクトルの検出シス
テムを示すブロック図である。

【図２】従来、及び第１、第２の実施形態に係る画面座
標系の設定を示す概略図である。

【図３】第１及び第２の実施形態に係るベクトル算出装
置の動作を示すフローチャートである。

【図４】第１及び第２の実施形態に係る画像フレーム上
の点、及びその点の近傍に設定された処理ブロックを示
す概略図である。

【図５】第１及び第２の実施形態に係る動きベクトル格
納装置の動作を示す概略図である。

【図６】第１及び第２の実施形態に係る動きベクトル連
結処理装置の動作を示すフローチャートである。

【図７】第１及び第２の実施形態に係る連結ベクトル格
納装置の動作を示す概略図である。

【図８】第１及び第２の実施形態の動作を説明するため
に、連続撮像された被写体の一例である。

【図９】第１及び第２の実施形態の動作を示し、図８の
連続撮像に対応する動きベクトルの変化を示す概略図で
ある。

【図１０】第１及び第２の実施形態の動作を示し、図８
の連続撮像に対応して動きベクトルを平滑化した場合の
概略図である。

【図１１】第２の実施形態に係る動きベクトルの検出シ
ステムを示すブロック図である。

【図１２】第２の実施形態に係る予測ベクトル生成装置
の動作を示すフローチャートである。

【図１３】第１及び第２の実施形態の動作を示し、連続
撮像時にカメラ又は被写体の急激な動きがあると、動き
ベクトルが検出できなくなることを示している。

【図１４】第２の実施形態の動作を示し、図１３に対応
して動きベクトルが検出できない部分を予測ベクトルで
補うことを示している。

【符号の説明】

２０１，…カメラ、２０５…動きベクトル算出装置、２
０６…動きベクトル格納装置、２０７…動きベクトル連
結装置、２０８…連結ベクトル格納装置、２０９…連結
ベクトル平滑化装置、１１０１…予測ベクトル生成装
置、１１０２…予測ベクトル格納装置、Ｉｔ、Ｉｔ＋１
…画像フレーム、Ｖｔ（ｍ，ｎ）、Ｖｔ＋１（ｍ，ｎ）
…動きベクトル、Ｖｔ’（ｍ，ｎ）…平滑化ベクトル、
Ｖ’’ｔ（ｍ，ｎ）…予測ベクトル、Ｏ１、Ｏ２…被写
体。

Claims

【特許請求の範囲】

【請求項１】カメラに取り込まれた画像フレーム中の
各点の動きベクトルを用いて被写体の動きを検出する方
法において、複数の画像フレームにわたって、相互に対応する動きベ
クトルを連結し、この連結の状態に応じた処理を行うことによって被写体
の動きに忠実な動きベクトルを検出することを特徴とす
る被写体の動き検出方法。
【請求項２】カメラに取り込まれた画像フレーム中の
各点の動きベクトルを用いて被写体の動きを検出する方
法において、第１の画像フレーム上に始点を、第２の画像フレーム上
に終点を持つ第１の動きベクトルを検出し、この第１の動きベクトルの終点近傍の所定範囲内に始点
を持つ、１又は複数の第２の動きベクトルを連結候補と
して選択し、現時点の次の時点の動きベクトルに連結する動きベクト
ルとして実際に検出された動きベクトルの他に予測的に
生成される動きベクトルを得て、この予測的に生成される動きベクトルを前記連結候補に
加え、この連結候補のなかから第１の基準に基づいて１つの動
きベクトルを選択して前記第１の動きベクトルに連結す
ることを特徴とする被写体の動き検出方法。
【請求項３】請求項２の被写体の動き検出方法におい
て、前記予測的に生成される動きベクトルは、現時点までに既に連結された各動きベクトルを時間的に
平滑化し、この平滑化に基づいて生成することを特徴とする被写体
の動き検出方法。
【請求項４】請求項２の被写体の動き検出方法におい
て、前記予測的に生成される動きベクトルは、現時点の次の
時点以降にも繰り返し用いられることを特徴とする被写
体の動き検出方法。
【請求項５】請求項２〜４のうちいずれかの被写体の
動き検出方法において、予測的に生成される動きベクトルを除いた前記連結候補
に動きベクトルが無い場合に限り、前記予測的に生成さ
れる動きベクトルを前記連結候補に加えることを特徴と
する被写体の動き検出方法。
【請求項６】請求項１〜５のうちいずれかの被写体の
動き検出方法において、前記連結は、第１の画像フレーム上に始点を、第２の画像フレーム上
に終点を持つ第１の動きベクトルを検出し、この第１の動きベクトルの終点近傍の所定範囲内に始点
を持つ、１又は複数の第２の動きベクトルを連結候補と
して選択し、さらにこの第２の動きベクトルのなかから第１の基準に
基づいて１つの動きベクトルを選択して、この動きベク
トルを前記第１の動きベクトルに連結することによって
行うことを特徴とする被写体の動き検出方法。
【請求項７】請求項５又は６の被写体の動き検出方法
において、前記予測的に生成される動きベクトルは、先ず、前記平滑化された動きベクトルのなかから、第１
の動きベクトルの終点近傍の所定範囲内に終点を持つも
のを候補として選択し、次に、平滑化の品位が第２の基準に照らして最も優れて
いる動きベクトルを当該予測的に生成される動きベクト
ルとすることによって生成されることを特徴とする被写
体の動き検出方法。
【請求項８】請求項７の被写体の動き検出方法におい
て、前記第２の基準は、連結された動きベクトルの数が多い
平滑化ほど高品位であるとするものであることを特徴と
する被写体の動き検出方法。
【請求項９】請求項２〜８のうちいずれかの被写体の
動き検出方法において、前記第１の基準は、第１の動きベクトルとの差が最も小
さい動きベクトルを選択するものであることを特徴とす
る被写体の動き検出方法。
【請求項１０】請求項２〜９のうちいずれかの被写体
の動き検出方法において、前記連結候補は、動きベクトルとしての評価値が所定のレベルより優れて
いるもののなかから選択することを特徴とする被写体の
動き検出方法。
【請求項１１】カメラに取り込まれた画像フレーム中
の各点の動きベクトルを用いて被写体の動きを検出する
装置において、複数の画像フレームにわたって、相互に対応する動きベ
クトルを連結する手段と、この連結の状態に応じた処理を行うことによって被写体
の動きに忠実な動きベクトルを検出する手段とを備える
ことを特徴とする被写体の動き検出装置。
【請求項１２】カメラに取り込まれた画像フレーム中
の各点の動きベクトルを用いて被写体の動きを検出する
装置において、第１の画像フレーム上に始点を、第２の画像フレーム上
に終点を持つ第１の動きベクトルを検出する手段と、この第１の動きベクトルの終点近傍の所定範囲内に始点
を持つ、１又は複数の第２の動きベクトルを連結候補と
して選択する手段と、現時点の次の時点の動きベクトルに連結する動きベクト
ルとして実際に検出された動きベクトルの他に予測的に
生成される動きベクトルを得る手段と、この予測的に生成される動きベクトルを前記連結候補に
加える手段と、この連結候補のなかから第１の基準に基づいて１つの動
きベクトルを選択して前記第１の動きベクトルに連結す
る手段とを備えることを特徴とする被写体の動き検出装
置。
【請求項１３】請求項１２の被写体の動き検出装置に
おいて、前記予測的に生成される動きベクトルを生成する手段
は、現時点までに既に連結された各動きベクトルを時間的に
平滑化する手段と、この平滑化に基づいて当該予測的に生成される動きベク
トルを生成する手段とを具備することを特徴とする被写
体の動き検出装置。
【請求項１４】請求項１２の被写体の動き検出装置
は、前記予測的に生成される動きベクトルを、現時点の
次の時点以降にも繰り返し用いるための手段をさらに備
えることを特徴とする被写体の動き検出装置。
【請求項１５】請求項１２〜１４のうちいずれかの被
写体の動き検出装置において、前記１つの動きベクトルを選択して前記第１の動きベク
トルに連結する手段は、予測的に生成される動きベクトルを除いた前記連結候補
に動きベクトルが無い場合に限り、前記予測的に生成さ
れる動きベクトルを前記連結候補に加えることを特徴と
する被写体の動き検出装置。
【請求項１６】請求項１１〜１５のうちいずれかの被
写体の動き検出装置において、前記動きベクトルを連結する手段は、第１の画像フレーム上に始点を、第２の画像フレーム上
に終点を持つ第１の動きベクトルを検出する手段と、この第１の動きベクトルの終点近傍の所定範囲内に始点
を持つ、１又は複数の第２の動きベクトルを連結候補と
して選択する手段と、さらにこの第２の動きベクトルのなかから第１の基準に
基づいて１つの動きベクトルを選択して、この動きベク
トルを前記第１の動きベクトルに連結する手段と具備す
ることを特徴とする被写体の動き検出装置。
【請求項１７】請求項１５又は１６の被写体の動き検
出装置において、前記予測的に生成される動きベクトルを生成する手段
は、先ず、前記平滑化された動きベクトルのなかから、第１
の動きベクトルの終点近傍の所定範囲内に終点を持つも
のを候補として選択し、次に、平滑化の品位が第２の基準に照らして最も優れて
いる動きベクトルを当該予測的に生成される動きベクト
ルとして生成する手段を備えることを特徴とする被写体
の動き検出装置。
【請求項１８】請求項１７の被写体の動き検出装置に
おいて、前記第２の基準は、連結された動きベクトルの数が多い
平滑化ほど高品位であるとするものであることを特徴と
する被写体の動き検出装置。
【請求項１９】請求項１２〜１８のうちいずれかの被
写体の動き検出装置において、前記第１の基準は、第１の動きベクトルとの差が最も小
さい動きベクトルを選択するものであることを特徴とす
る被写体の動き検出装置。
【請求項２０】請求項１２〜１９のうちいずれかの被
写体の動き検出装置において、前記連結候補を選択する手段は、動きベクトルとしての評価値が所定のレベルより優れて
いるもののなかから動きベクトルを選択することを特徴
とする被写体の動き検出装置。