JP2945870B2 - 動き検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動いている対象物
の撮像画像に基づきその対象物の動き（対象物の空間的
な位置の変化）を検出する動き検出装置に関するもので
ある。

【０００２】

【従来の技術】従来、撮像画像から対象物の向きを認識
する方法が提案されている。例えば特開平５−２１５５
３１号公報には、三次元計測装置により対象物の三次元
形状データを取り込み、この三次元形状データを法線デ
ータに変換して対象物の向きを判別する物体識別方法が
提案されている。

【０００３】また、ビデオ監視システムにおいては、注
視方向が変更可能なビデオカメラを備え、対象物の移動
に応じてビデオカメラの注視方向（光軸方向）を変更
し、その対象物を追跡するシステムが知られている。こ
のビデオ監視システムにおいては、例えばパターンマッ
チング法によりフレーム画像間の相関値を演算し、その
演算結果が最大となる方向に逐次、ビデオカメラの注視
方向を変更して対象物の追跡が行われるようになってい
る。

【０００４】

【発明が解決しようとする課題】ところで、上記特開平
５−２１５５３１号公報に示される物体識別方法やビデ
オ監視システムにおいては、撮像装置として通常のビデ
オカメラが利用されている。ビデオカメラは、１／３０
秒毎にフレーム画像を取り込むようになっているので、
このフレーム画像の取込周期（以下、フレームレートと
いう。）より高速で画像処理を行うことはできない。

【０００５】このため、高速で移動する対象物に対して
はその対象物の動きを検出し、この検出結果をフィード
バックして制御システムを構成することは困難である。
例えばゴルフのスイング、野球の投球、バッティング等
の各種運動のフォームを解析する場合、対象物の移動速
度は１００ｋｍ／ｈ（＝２８ｍ／ｓ）を越え、この場合
の撮像面における対象物の投影像の移動速度は１フレー
ム当たり１００画素〜数１００画素分にもなる場合があ
るので、従来のビデオカメラによる撮像画像ではフレー
ム画像間の対象物の画像変化が大きく、フレーム画像間
での対象物の動きを迅速かつ確実に検出することは困難
である。

【０００６】特に、上記特開平５−２１５５３１号公報
に示される物体識別方法は、三次元形状データを法線デ
ータに変換して対象物の向きを検出しているので、各フ
レーム画像毎に対象物の向きを演算するだけで長時間を
要し、フレーム画像間の対象物の向きから対象物の動き
を迅速に検出することは困難である。また、パターンマ
ッチング法によりフレーム画像間の相関値を演算する方
法でもフレーム画像間の画像変化が大きくなるほど、相
関演算のための演算量が増大するので、動き解析のため
の画像処理時間が長時間化する。

【０００７】従って、高速で移動する対象物の動きを検
出し、対象物の動きを追跡するシステムに従来の方法を
適用することは極めて困難である。

【０００８】本発明は、上記課題に鑑みてなされたもの
であり、対象物が高速で移動している場合にも迅速かつ
確実にその動きを検出することのできる動き検出装置を
提供するものである。

【０００９】

【課題を解決するための手段】本発明は、対象物の撮像
画像からその対象物の動きを検出する動き検出装置であ
って、モニタと、該モニタに対象物を表示するためのモ
ニタ用撮像手段と、複数の画素を二次元状に配列してな
る撮像面を有し、この撮像面に投影された上記対象物の
光像が１画素分移動する時間以下のサンプリング時間で
上記対象物のフレーム画像が取込可能な撮像手段と、上
記撮像手段で撮像された上記対象物の画像に含まれる少
なくとも３個の特定部位の画像を指定する指定手段と、
上記撮像手段で取り込まれたフレーム画像毎に上記特定
部位の画像を抽出する画像抽出手段と、抽出された上記
特定部位の画像の撮像画面内における位置を算出する第
１の位置算出手段と、フレーム画像毎に撮像画面内の位
置情報と上記撮像手段の位置情報とから各特定部位の空
間的な位置を算出する第２の位置算出手段と、フレーム
画像毎に上記複数の特定部位の空間的な位置情報に基づ
き上記対象物の位置及び向きを検出し、検出結果を前記
モニタの撮影画像に重畳表示させる姿勢検出手段とを備
えたものである。

【００１０】上記構成によれば、撮像手段により運動し
ている対象物の動画が取り込まれる。この動画を構成す
る各フレーム画像は、撮像面に投影された対象物の光像
が１画素分移動する時間と同一若しくはそれよりも短い
サンプリング時間で取り込まれる。フレーム画像が取り
込まれる毎に、対象物の画像内に予め指定された対象物
の向きを決定するための少なくとも３個の特定部位の画
像が抽出され、その特定部位の撮像画面内における位置
が算出される。更に、フレーム画像毎に各特定部位の撮
影画面内の位置情報と撮像手段の位置情報とに基づきそ
の特定部位の空間的な位置が算出され、少なくとも３個
の特定部位の空間的な位置情報に基づき対象物の位置及
び向きが検出され、検出結果はモニタの撮影画像に重畳
表示される。

【００１１】

【発明の実施の形態】図１は、本発明に係る動き検出装
置のブロック図である。動き検出装置１は、少なくとも
３箇所以上の特定の部位に識別マークが付された対象物
を撮像する撮像部２、この撮像部２の第１の撮像素子２
２で撮像された画像をモニタ表示する表示部３、上記撮
像部２の第２の撮像素子２３で撮像された画像に基づき
フレーム画像毎に識別マークが付された特定部位の画像
を抽出する特定画像抽出部４、この特定画像抽出部４で
抽出された各特定部位の撮像画像面内における位置情報
に基づき対象物の動き（各フレーム画像における空間的
な位置及び向き）を検出する姿勢検出部５及び入力部６
から構成されている。

【００１２】撮像部２は、撮影レンズ２１、第１，第２
の撮像素子２２，２３及びビームスプリッタ２４を備え
ている。第１の撮像素子２２は、撮影レンズ２１の光軸
上の後方適所に配置され、ビームスプリッタ２４は、光
軸上の撮影レンズ２１と第１の撮像素子２２間の適所に
配置されている。また、第２の撮像素子２３は、ビーム
スプリッタ２４の下方位置であって、ビームスプリッタ
２４からの距離がビームスプリッタ２４と第１の撮像素
子２２との間の距離と同一となる位置に配置されてい
る。

【００１３】撮影レンズ２１は、被写体の光像を第１の
撮像素子２２の撮像面に結像するものである。ビームス
プリッタ２４は、上記光像の一部を第２の撮像素子２３
に導くものである。ビームスプリッタ２４は、反射面全
体が半透過性のミラーで構成してもよく、部分的に一部
光像が透過する（例えば反射面の周辺部は全反射し、中
央部は一部透過する）ミラーで構成してよい。第２の撮
像素子２３はビームスプリッタ２４に対する位置関係が
第１の撮像素子２２と同一に設定されているので、上記
光像の一部は、第２の撮像素子２３の撮像面に結像され
る。

【００１４】第１の撮像素子２２は、撮影対象物をモニ
タ表示するための撮像手段で、ＣＣＤエリアセンサ２２
１とこのＣＣＤエリアセンサ２２１の駆動を制御するＣ
ＣＤドライバ２２２とからなる通常のビデオカメラに使
用される撮像素子で構成されている。ＣＣＤエリアセン
サ２２２は、二次元状に配列された多数の光電変換素子
（以下、画素という。）を有し、被写体の光像（以下、
被写体像という。）を各画素で電気信号（蓄積電荷）に
光電変換して取り込む。ＣＣＤドライバ２２２は、１／
３０秒毎に所定時間だけＣＣＤエリアセンサ２２１の電
荷蓄積動作（撮像動作）を行わせ、その撮像画像（フレ
ーム画像）を表示部３に出力する。表示部３では、入力
された各フレーム画像が１／３０秒毎に更新的に表示さ
れ、これにより被写体像が動画として再生される。

【００１５】一方、第２の撮像素子２３は、対象物に付
された識別マークにより特定される特定部位を検出する
ための撮像手段で、フレーム画像を高速（例えばフレー
ムレートτ＝０．１ｍｓ）で取り込むとともに、各フレ
ーム画像を高速処理可能な並列ビジョンセンサで構成さ
れている。なお、フレームレートτは、撮影対象の移動
速度に応じて操作者が入力部６より適当に設定し得るよ
うになっている。

【００１６】並列ビジョンセンサは、各光電変換素子と
並列演算素子（ＰＥ：Processing Element）とを１対１
に対応させ、画素データの並列演算及び高速処理が可能
になされたセンサである（Proc. IEEE Int. Conf. on I
ntelligent Robotics and Systems,pp.373-377,199
2）。並列ビジョンセンサは、その撮像面にｎ×ｍのマ
トリックス状に配列された複数の画素を有するととも
に、各画素に対応して複数の並列演算素子を有し、各並
列演算素子は対応する画素とそれに隣接する４個の画素
に接続されている。

【００１７】図２は、各画素に結合された並列演算素子
のブロック構成の一例を示す図である。並列演算素子
は、３個の演算用シフトレジスタ２３１ａ，２３１ｂ，
２３１ｃ、ＡＬＵ（Arithmetic and Logical Unit）２
３２、乗算器２３３及び６個のＭＵＸ（Multiplexer）
２３４ａ〜２３４ｆから構成されている。ＡＬＵ２３２
は、ＡＮＤ、ＯＲ、ＥＸ−ＯＲ及び加減算等の演算が可
能になっている。このように第２の撮像素子２３は、並
列ビジョンシステムで構成されているので、ビデオレー
トτ（約３３ｍｓ）よりはるかに高速でフレーム画像を
取り込み、所要の画像処理を実行することが可能になっ
ている。

【００１８】表示部３は、ＣＲＴ、ＬＣＤ等の画像表示
装置からなり、第１の撮像素子２２で撮像された画像や
上記姿勢検出部５の検出結果を表示させるものである。

【００１９】特定画像抽出部４は、第２の撮像素子２３
で撮像された対象物の画像からこの対象物に付された識
別マークの画像をフレーム画像毎に抽出し、撮像画面内
における位置座標を算出するとともに、この位置座標と
撮像部２の対象物に対する相対的な撮像位置とから対象
物の各特定部位の空間的な位置を算出するものである。
ある二つの識別マークが撮像部２に対して正対している
とき、その識別マークの距離は最大であり、その距離が
短くなれば、識別マークが付された特定部位はいずれか
の方向に回転していることを示す。そして、その回転方
向は撮像部２に取り込まれている他の識別マークの特定
部位との関係で判別することができる。更に、撮像部２
を２つ設け、対象物を三角測距すれば、三次元的な位置
関係は更に明瞭になる。

【００２０】特定画像抽出部４は、セルフウィンドウ法
により上記識別マークの画像を抽出し、その画像を構成
する画素位置から撮像画面内の位置座標を算出する。ま
た、図略の自動焦調節装置（ＡＦ装置）により算出され
る対象物の識別マークが付された特定部位までの距離と
上記位置座標とからその特定部位の空間的な位置を算出
する。

【００２１】識別マークは、対象物の移動に伴う当該対
象物の特定部位の動きを検出するため、その特定部位に
付されるのものである。例えばテニスのストロークにお
けるラケット、グリップ部位の動きを検出する場合、図
３（ａ）（ｂ）に示すように、テニスプレイヤーの手の
ひらＰ１、手の甲Ｐ２、上腕の内側Ｐ３、上腕の外側Ｐ
４、ラケットＲのグリップの先端部の表裏面Ｐ５，Ｐ６
及びグリップエンドＰ７等の複数箇所の部位に識別マー
クＭが添付される。識別マークＭは、例えば図４に示す
ように、丸印，三角印，星印，四角印等の形状を有し、
かつ、添付される周囲（図３の例では、手やラケットの
部分）に対してコントラストが明瞭となる、例えば鮮明
な赤色等の識別力の高いマークである。各部位の識別マ
ークＭは、全て同じマークでもよいし、個々に異なるマ
ークでもよい。

【００２２】フォアハンドストロークの動きをプレーヤ
ーの斜め前から撮像すると、テイクバックの状態ではプ
レーヤーの腕は図３（ａ）の状態となり、フォロースル
ーの状態では図３（ｂ）の状態となり、各識別マークＭ
の付されている特定部位の判別が問題となる。すなわ
ち、一連の動きを特定部位を変えながら追跡し、その動
きの位置と向きを算出している。識別マークＭを全て同
じマークとした場合、各識別マークＭの付された特定部
位を識別する必要があるが、動きを検出する前に各識別
マークＭの相対的な位置関係を特定画像抽出部４に入力
しておけば、追跡中に当初追跡していた識別マークＭが
隠れ、隠れていた別の識別マークＭが現われても、この
識別マークＭと隠れていない他の識別マークＭとの相対
的な位置関係から、現われた別の識別マークＭがどの部
位に付されたマークであるかを判別することができる。

【００２３】なお、対象物の向きは、その対象物上の３
点の位置が分かれば知ることができるので、識別マーク
Ｍは、少なくとも３個付されていればよい。しかし、対
象物の動きにより識別マークＭが隠れることがあるの
で、かかる場合にも対象物の向きを検出し得るように予
備の識別マークＭを設けておくことが望ましい。

【００２４】セルフウィンドウ法は、最初に撮像画像内
で抽出すべき画像（識別マークＭの画像。以下、ターゲ
ットという。）を特定するとともに、そのターゲットの
形状を１画素分だけ相似的に拡大した形状のウィンドウ
を作成し、次に、フレーム画像が取り込まれる毎に、現
フレーム画像と前フレーム画像で作成したウィンドウと
の積画像を演算することにより現フレーム画像における
ターゲットを抽出するとともに、このターゲットに対す
るウィンドウを作成し、以下、各フレーム画像が取り込
まれる毎にウィンドウによるターゲットの抽出とウィン
ドウの再作成とを繰り返してターゲットの動きを検出す
るものである。

【００２５】各フレーム画像は、後述するように撮像面
におけるターゲットの移動距離が１画素以内となるサン
プリング周期で取り込まれるので、現フレーム画像と前
フレーム画像で作成したウィンドウとの積画像を演算す
ることにより現フレーム画像において確実にターゲット
を抽出することができるようになっている。

【００２６】図５は、画像処理におけるセルフウィンド
ウ法の具体的な演算方法を示す概念図である。

【００２７】識別マークＭによりＮ個の特定部位が指定
されている場合、時刻ｋで取り込まれたフレーム画像を
ｆ_k（ｉ，ｊ）、このフレーム画像ｆ_k（ｉ，ｊ）におけ
るｒ（＝１，２，…Ｎ）番目の特定部位に関する処理画
像をｇ_k,r（ｉ，ｊ）、この処理画像ｇ_k,r（ｉ，ｊ）に
対するウィンドウ画像をＷ_k,r（ｉ，ｊ）とすると、セ
ルフウィンドウ法による演算は、下記数１に示す（１）
〜（４）のアルゴリズムにより行われる。

【００２８】

【数１】

【００２９】特定画像抽出部４は、第２の撮像素子２３
により高速のフレームレートτ（例えばτ＝０．１ｍ
ｓ）で取り込まれた各フレーム画像についてセルフウィ
ンドウ法により識別マークＭを抽出し、第２の撮像素子
２３の撮像面における識別マークＭの位置座標と対象物
に対する撮像部２の撮像位置とから識別マークＭの空間
的な位置座標を演算する。

【００３０】高速のフレームレートで取り込まれた各フ
レーム画像毎に識別マークＭが抽出される（すなわち、
識別マークＭを抽出するサンプリング周波数が高周波化
されている）ので、第２の撮像素子２３の撮像面におい
て識別マークＭが高速で移動した場合にも特定画像抽出
部４ではセルフウィンドウ法により識別マークＭの動き
を確実に追跡することが可能になっている。

【００３１】例えば撮影レンズ２１の焦点距離ｆを２０
ｍｍ、第２の撮像素子２３の横方向の画素ピッチを０．
０２ｍｍとし、撮像部２から５ｍ離れた位置でテニスプ
レーヤーがｖ＝１００ｋｍ／ｈで水平方向（撮像部２の
光軸に対して垂直方向）にストロークした場合、第２の
撮像素子２３の撮像面における識別マークＭの移動量Ｄ
ｘは、ビデオレートではフレームレート当たりＤｘ＝
（２０×０．０３３）・ｖ／（０．０２×５）＝６．６
ｖ≒１８３画素となるが、フレーム画像が第２の撮像素
子２３により、例えば０．１ｍｓの高速レートで取り込
まれていると、フレームレート当たりＤｘは、ビデオレ
ートの場合に対して約１／３３０の０．８画素となり、
セルフウィンドウ法により識別マークＭの追跡が確保で
きている。

【００３２】姿勢検出部５は、特定画像抽出部４による
識別マークＭの空間的な位置座標に基づき対象物の動き
（すなわち、各フレーム画像毎の空間的な位置及びその
向き）を演算し、その演算結果を表示部３に出力するも
のである。表示部３は、姿勢検出部５から入力される対
象物の位置及向きの情報に基づき対象物の移動軌跡を第
１の撮像素子２２で撮像された画像に重畳して表示す
る。すなわち、例えばテニスプレーヤーのストローク画
像の場合、１ストロークにおけるラケットやプレーヤー
の手の動きに合わせて識別マークが付された特定部位の
移動軌跡を表示する。

【００３３】また、入力部６は、サンプリングレートτ
及び画像取込時間Ｔの入力、識別マークＭの指定を行う
ものである。

【００３４】次に、対象物の動き検出装置の動作制御に
ついて、図６に示すフローチャートに従って説明する。
なお、ここでは、上述したテニスラケットのストローク
画像を例に説明するが、本発明に係る動き検出装置は、
テニスに限らず、ゴルフのスイング、サッカー、野球、
水泳、体操等の各種の運動における身体の動きや運動用
具の扱い方を研究、解析するための計測装置として利用
することができる。

【００３５】まず、ラケットＲを握ったプレーヤーのグ
リップ部を第１の撮像素子２２で撮像し、その撮像画像
を表示部３に表示させ、操作者によりその表示画像から
ストロークの動きを調べるのに好適な識別マークＭが３
個以上設定される（＃１）。

【００３６】例えば図３において、Ｐ１，Ｐ２，Ｐ３の
識別マークＭが設定される。このとき、操作者は、スト
ロークの動き全体が撮像し得るように撮像部２の視野を
適当に設定することが必要である。

【００３７】続いて、操作者により、入力部６からサン
プリング時間（フレームレート）τと測定時間Ｔが設定
される（＃２）。なお、サンプリング時間τ及び測定時
間Ｔは、撮影対象の移動速度に応じて適当な値が設定さ
れる。

【００３８】テニスラケットのストロークのフォームを
確認するため低速でラケットを振る場合は、ビデオレー
トでも十分であるが、実際のストロークフォームを分析
するため、例えば上述の例で示したように、およそ１０
０ｋｍ／ｈの高速でラケットを振る場合は、サンプリン
グ時間を０．２ｍｓ以下、測定時間を３秒程度に設定す
れば、複雑な演算処理を必要とせずに確実にストローク
動作を追跡することができる。

【００３９】続いて、操作者により図略の操作ボタンに
より測定開始が指示されると（＃３）、サンプリング時
間τ及び測定時間Ｔを計時する内部タイマ（図略）のカ
ウントが開始されるとともに（＃４）、第２の撮像素子
２３による撮像動作が開始される（＃５）。

【００４０】最初にフレーム画像が取り込まれると、特
定画像抽出部４によりこのフレーム画像について上述し
たセルフウィンドウ法により指定された３個の識別マー
クＭの抽出が行われるとともに（＃５）、その抽出画像
の撮像画面における位置座標が算出され、この位置座標
と撮像部２の位置とから対象物の識別マークＭが付され
た特定部位の空間的な位置座標が算出される。そして、
姿勢検出部５により３個の特定部位の空間的な位置座標
に基づきプレーヤーのグリップ部及びラケットの空間的
な位置と向きとが算出され（＃６，＃７）、この算出結
果は直ちに表示部３に出力され、第１の撮像素子２２で
撮像された画像に重畳して表示される（＃８）。

【００４１】続いて、サンプリング時間τが経過してい
るか否が判別され（＃９）、経過していれば（＃９でＹ
ＥＳ）、更に測定時間Ｔが経過しているか否かが判別さ
れ（＃１０）、経過していなければ（＃１０でＮＯ）、
＃５に戻り、次のフレーム画像が取り込まれるととも
に、そのフレーム画像について３個の識別マークＭの抽
出及び空間的な位置座標の算出並びにプレーヤーのグリ
ップ部及びラケットの空間的な位置及び向きの算出、そ
の算出結果の表示等が行われる（＃５〜＃８）。なお、
対象物の位置及び向きの算出及び表示は、トラッキング
のサンプリング時間τで行う必要はないので、所望の表
示サンプリング時間ΔＴを別に設定し、この表示サンプ
リング時間ΔＴ毎に上記＃６〜＃８の処理を行うように
してもよい。

【００４２】以下、同様の手順で、測定時間Ｔ内でサン
プリング時間τ毎に高速でフレーム画像が取り込まれ、
各フレーム画像について識別マークＭの抽出及び空間的
な位置座標の算出並びにプレーヤーのグリップ部及びラ
ケットＲの位置、向きの算出等が行われ、この算出結果
が表示部３に逐次、第１の撮像素子２２で撮像されたモ
ニタ画像に重畳して表示される。この場合、各特定点の
移動軌跡を重畳して表示させるとよい。このようにする
と、モニタ画像からストロークにおける手首の使い方や
ラケットの扱い方を容易に把握することができる。そし
て、測定時間Ｔが経過すると（＃１０でＹＥＳ）、第２
の撮像素子２３による撮像動作を停止して測定を終了す
る。

【００４３】なお、上記フローチャートでは動きのデー
タを表示部３に出力して表示されるようにしていたが、
図略のメモリに記憶させるようにしてもよい。第１の撮
像素子２２によるモニタ画像を録画しておき、再生時に
メモリに記憶している動きのデータを再生画像に同期し
て出力させるようにすれば、測定データの有効活用が可
能になる。

【００４４】また、上記フローチャートでは、モニタ画
像に動きの演算結果を重畳してリアルタイムで表示させ
るようにしていたが、記録したグリップ部等の動きの情
報を表示部３にグラフィク表示させるようにしてもよ
い。

【００４５】本発明に係る動き検出装置は、高速動作に
対しても複雑な演算処理をすることなく確実に動作を追
跡することができるので、その結果としてプレーヤーの
動きが高速で検出され、プレーヤーの動作中にその動き
の修正指示等が可能で、従来の装置に比して測定結果を
より有効に活用することができる。

【００４６】また、本発明に係る動き検出装置は、自動
車の運転者の居眠りやわき見を監視する監視装置に適用
することも可能である。

【００４７】図７は、上記監視装置のブロック構成図で
ある。監視装置は、図１において、入力部６を除去し、
監視制御部７とスピーカ８とを追加した構成を有してい
る。図１において、特定点追跡部４は、撮像画像の中の
識別マークＭを指定することにより対象物の特定部位を
指定するようになっていたが、この実施形態では、運転
者の顔の特徴点、例えば目、鼻、耳等の特徴的な形状を
有する部位の画像が初期指定されるようになっている。
この初期設定は、運転者が表示部３にモニタ表示された
自分の顔画像に対してポインタ等により目、鼻等の特徴
点を囲むことにより指定される。

【００４８】監視制御部７は、特定画像抽出部４による
運転者の顔の向きの情報に基づき運転者の状態（正常な
顔の向きに対して下向きである居眠り状態や横向きであ
るわき見等の異常な運転状態）を判別し、異常な運転状
態のときは運転者に警告を発するものである。スピーカ
８は、警告音を発するものである。

【００４９】この監視装置では、予め運転者の顔の特徴
点を３点以上、登録しておき、運転者が自動車を運転し
ている間、運転者の顔の向きを監視する。撮像部２によ
り高速のフレームレートτで取り込まれる各フレーム画
像毎に、特定画像抽出部４で３個の特徴点が抽出される
とともに、その空間的な位置座標が演算される。この位
置座標は、第２の撮像素子２３の撮像面における特徴点
の位置と撮像部２の取付位置とから算出される。そし
て、この位置情報に基づき姿勢検出部５で運転者の顔の
向きが演算され、この演算結果が監視制御部７に入力さ
れる。

【００５０】監視制御部７は、所定時間内の運転者の顔
の動きを監視し、例えば所定時間以上、運転者が前方以
外の方向を向き続けていると、わき見若しくは居眠りの
おそれがあると判断して、スピーカ８で警告を発生させ
る。この警告は断続音等の注意を喚起する音でもよく、
メッセージを音声で発音するものでもよい。

【００５１】なお、上記監視機能を自動車の低速時に作
動させると、過剰に警告音が発せられるおそれがあるの
で、好ましくは自動車の速度が所定速度以上になってい
るとき、上記監視装置を作動させるようにするとよい。

【００５２】本監視装置では、運転者の顔の動きを高速
で検出することができるので、安全確認のため運転者が
頻繁に顔を動かしている場合でも確実にその動きを検出
して異常な運転状態を判別することができ、しかもその
判別結果をリアルタイムで運転者にフィードバックする
ことにより重大事故を未然に防止することができる。

【００５３】なお、この実施形態では、顔の動きから運
転者の運転状態を判別するようにしているが、例えば瞳
を特徴点とし、この瞳が所定時間以上隠れているとき、
異常な運転状態と判別して警告を発するようにしてもよ
い。

【００５４】また、スピーカ８に代えて自動車に付属し
ているラジオを警告装置としてもよい。すなわち、運転
者の運転姿勢が異常であると判別されると、オフ状態の
ラジオのスイッチをオンにし、あるいはオン状態のラジ
オのボリュウムを大きくしてラジオ放送により異常を伝
達するようにしてもよい。更に、顔の動きを時間周波数
領域で分析し、顔の動きが単調になっているとき、上記
警告を発するようにしてもよい。

【００５５】上記実施形態では、運動のフォームの解析
装置や監視装置について説明したが、本発明に係る動き
検出装置は、対象物の動き検出し、その検出結果に基づ
き何らかの制御を行うシステムに広く適用することがで
きる。例えばオペレータの動きに応じて遠隔地にある操
作部材の制御を行わせるテレイグジスタンスの入力装
置、任意の向きで搬送されている方向性のある部品を受
け取る装置における部品の受取方向及び受取位置を決定
する装置、人工衛星のドッキングの際に相手の衛星の動
きに合わせて自己の姿勢の微調整を行うドッキング誘導
装置、オペーレータの顔の動きにより表示画面上のポイ
ンタを移動させて所望の入力指示を行う位置指示装置等
にも適用することができる。

【００５６】

【発明の効果】以上説明したように、本発明によれば、
動いている対象物のフレーム画像を、撮像面に投影され
た対象物の光像が１画素分移動する時間以下のサンプリ
ング時間で取り込み、各フレーム画像毎に対象物に指定
された少なくとも３個の特定部位の空間的な位置座標を
算出し、更にこの算出結果に基づき対象物の空間的な位
置及び向きを算出し、フレーム画像間の対象物の空間的
な位置及び向きの変化から対象物の動きを検出するよう
にしたので、高速で動いている対象物の動きを迅速かつ
正確に検出することができ、かつ検出結果をモニタの撮
影画像に重畳表示できる。

【図面の簡単な説明】

【図１】本発明に係る物体の動き検出装置のブロック図
である。

【図２】並列演算素子のブロック構成の一例を示す図で
ある。

【図３】識別マークが付されるテニスプレイヤーの特定
部位の一例を示す図である。

【図４】識別マークの一例を示す図である。

【図５】画像処理におけるセルフウィンドウ法の具体的
な演算方法を示す概念図である。

【図６】本発明に係る物体の動き検出装置の動作制御を
示すフローチャートである。

【図７】本発明に係る物体の動き検出装置が適用された
居眠り等の監視装置のブロック図である。

【符号の説明】

１ 動き検出装置 ２，２′ 撮像部 ２１ 撮影レンズ ２２ 第１の撮像素子 ２２１ ＣＣＤエリアセンサ ２２２ ＣＣＤドライバ ２３ 第２の撮像素子（撮像手段） ２３１ａ〜２３１ｃ シフトレジスタ ２３２ ＡＬＵ ２３３ 乗算器 ２３４ａ〜２３４ｆ ＭＵＸ ２４ ビームスプリッタ ３ 表示部 ４ 特定画像抽出部（画像抽出手段，第１，第２の位置
算出手段） ５ 姿勢検出部（姿勢検出手段） ６ 入力部（指定手段） ７ 監視制御部 ８ スピーカ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 石川 正俊 千葉県柏市大室1571番地の32 (56)参考文献 特開 平５−159058（ＪＰ，Ａ) 特開 平７−264458（ＪＰ，Ａ) 石井正俊，「２次元情報処理アーキテ クチャ」，1996年，極限集積化シリコン 知能エレクトロニクス，ｐ242−251 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/20 H04N 7/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 対象物の撮像画像からその対象物の動き
   を検出する動き検出装置であって、モニタと、該モニタ
   に対象物を表示するためのモニタ用撮像手段と、複数の
   画素を二次元状に配列してなる撮像面を有し、この撮像
   面に投影された上記対象物の光像が１画素分移動する時
   間以下のサンプリング時間で上記対象物のフレーム画像
   が取込可能な撮像手段と、上記撮像手段で撮像された上
   記対象物の画像に含まれる少なくとも３個の特定部位の
   画像を指定する指定手段と、上記撮像手段で取り込まれ
   たフレーム画像毎に上記特定部位の画像を抽出する画像
   抽出手段と、抽出された上記特定部位の画像の撮像画面
   内における位置を算出する第１の位置算出手段と、フレ
   ーム画像毎に撮像画面内の位置情報と上記撮像手段の位
   置情報とから各特定部位の空間的な位置を算出する第２
   の位置算出手段と、フレーム画像毎に上記複数の特定部
   位の空間的な位置情報に基づき上記対象物の位置及び向
   きを検出し、検出結果を前記モニタの撮影画像に重畳表
   示させる姿勢検出手段とを備えたことを特徴とする動き
   検出装置。