JPH09185708A - 相関追跡システム - Google Patents
相関追跡システムInfo
- Publication number
- JPH09185708A JPH09185708A JP7342320A JP34232095A JPH09185708A JP H09185708 A JPH09185708 A JP H09185708A JP 7342320 A JP7342320 A JP 7342320A JP 34232095 A JP34232095 A JP 34232095A JP H09185708 A JPH09185708 A JP H09185708A
- Authority
- JP
- Japan
- Prior art keywords
- template
- matching
- templates
- image
- coincidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 本発明は、画像上で対象物を追跡する相関追
跡システムに関し、参照ブロックの周囲に設けた探索ブ
ロック内で参照ブロックの複数のテンプレートのうち最
も一致度の大きい位置を探索し移動ベクトルや一致テン
プレートに対応するデータ、指令を出力し、対象物の形
状が急激に変化しても安定に精度良好に追跡することを
目的とする。 【解決手段】 対象物の変化する形状を表す複数のテン
プレートと、画像上で複数のテンプレートについて順次
マッチングを行って最も一致度の大きいテンプレートを
見つけて当該テンプレートの位置への移動ベクトルを逐
次算出して更新し対象物を追跡する手段とを備えるよう
に構成する。
跡システムに関し、参照ブロックの周囲に設けた探索ブ
ロック内で参照ブロックの複数のテンプレートのうち最
も一致度の大きい位置を探索し移動ベクトルや一致テン
プレートに対応するデータ、指令を出力し、対象物の形
状が急激に変化しても安定に精度良好に追跡することを
目的とする。 【解決手段】 対象物の変化する形状を表す複数のテン
プレートと、画像上で複数のテンプレートについて順次
マッチングを行って最も一致度の大きいテンプレートを
見つけて当該テンプレートの位置への移動ベクトルを逐
次算出して更新し対象物を追跡する手段とを備えるよう
に構成する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像上で対象物を
追跡する相関追跡システムに関するものである。
追跡する相関追跡システムに関するものである。
【０００２】
【従来の技術】従来、カメラによって撮影した画像上で
相関演算によってテンプレートとの一致度を計算し、最
も一致する場所へ参照ブロック（ウィンドウ）を移動さ
せて追跡することが行われている。
相関演算によってテンプレートとの一致度を計算し、最
も一致する場所へ参照ブロック（ウィンドウ）を移動さ
せて追跡することが行われている。
【０００３】
【発明が解決しようとする課題】上述した従来の単一の
テンプレートとカメラで撮影した画像上で相関演算して
最も一致度の大きい場所に参照ブロックを移動させて追
跡していたため、形状が変化した対象物に対しては、誤
差を最小とするように追跡できず、安定した追跡が困難
であるという問題があった。
テンプレートとカメラで撮影した画像上で相関演算して
最も一致度の大きい場所に参照ブロックを移動させて追
跡していたため、形状が変化した対象物に対しては、誤
差を最小とするように追跡できず、安定した追跡が困難
であるという問題があった。
【０００４】これを解決するために、特開昭５−２９５
５９１号公報に記載されているように、上部に配置した
カメラの画像から、走っている車を認識する際に、車の
全体ではなく、特徴的な部分を複数個追跡して、ブロッ
ク毎の追跡ブロックの速度関係などから追跡の妥当性を
評価し、安定な追跡を実現する技術がある。この技術で
は、形状が変化してしまう場合、テンプレートの更新処
理を行って実現するものであり、追跡開始時点からすで
に形状が変化したり、急激な形状変化している物体を追
跡できないという問題がある。
５９１号公報に記載されているように、上部に配置した
カメラの画像から、走っている車を認識する際に、車の
全体ではなく、特徴的な部分を複数個追跡して、ブロッ
ク毎の追跡ブロックの速度関係などから追跡の妥当性を
評価し、安定な追跡を実現する技術がある。この技術で
は、形状が変化してしまう場合、テンプレートの更新処
理を行って実現するものであり、追跡開始時点からすで
に形状が変化したり、急激な形状変化している物体を追
跡できないという問題がある。
【０００５】本発明は、これらの問題を解決するため、
参照ブロックの周囲に設けた探索ブロック内で参照ブロ
ックの複数のテンプレートのうち最も一致度の大きい位
置を探索し移動ベクトルや一致テンプレートに対応する
データ、指令を出力し、対象物の形状が急激に変化して
も安定に精度良好に追跡することを目的としている。
参照ブロックの周囲に設けた探索ブロック内で参照ブロ
ックの複数のテンプレートのうち最も一致度の大きい位
置を探索し移動ベクトルや一致テンプレートに対応する
データ、指令を出力し、対象物の形状が急激に変化して
も安定に精度良好に追跡することを目的としている。
【０００６】
【課題を解決するための手段】図１を参照して課題を解
決するための手段を説明する。図１において、テンプレ
ート１は、対象物の変化する形状あるいは対象物の人の
異なる表情などを表す複数のテンプレートである。
決するための手段を説明する。図１において、テンプレ
ート１は、対象物の変化する形状あるいは対象物の人の
異なる表情などを表す複数のテンプレートである。
【０００７】マッチング手段２は、画像上の対象物と複
数のテンプレート１とをマッチングして最も一致度が大
きいテンプレートを見つけるものである。次に、動作を
説明する。
数のテンプレート１とをマッチングして最も一致度が大
きいテンプレートを見つけるものである。次に、動作を
説明する。
【０００８】マッチング手段２が画像上で複数のテンプ
レート１について順次マッチングを行って最も一致度の
大きいテンプレート１を見つけて当該テンプレート１の
位置への移動ベクトルを逐次算出して更新し対象物を追
跡するようにしている。
レート１について順次マッチングを行って最も一致度の
大きいテンプレート１を見つけて当該テンプレート１の
位置への移動ベクトルを逐次算出して更新し対象物を追
跡するようにしている。
【０００９】また、マッチング手段２が画像上で複数の
テンプレート１について順次マッチングを行って最も一
致度の大きいテンプレート１を見つけ、この見つけたテ
ンプレート１に対応したデータあるいは指令などを計算
機システムに出力させたりするようにしている。
テンプレート１について順次マッチングを行って最も一
致度の大きいテンプレート１を見つけ、この見つけたテ
ンプレート１に対応したデータあるいは指令などを計算
機システムに出力させたりするようにしている。
【００１０】この際、対象物の変化する形状を表す複数
のテンプレート１が、手の形状が表す意味に対応づけた
手の画像のテンプレート１とするようにしている。ま
た、対象物の変化する形状を表す複数のテンプレート１
が、人の顔などの異なる表情に対応づけたテンプレート
１とするようにしている。
のテンプレート１が、手の形状が表す意味に対応づけた
手の画像のテンプレート１とするようにしている。ま
た、対象物の変化する形状を表す複数のテンプレート１
が、人の顔などの異なる表情に対応づけたテンプレート
１とするようにしている。
【００１１】従って、参照ブロックの周囲に設けた探索
ブロック内で参照ブロックの複数のテンプレート１のう
ち最も一致度の大きいテンプレート１を算出して直前の
位置から現在の位置への移動ベクトル５を求めたり、最
も一致度の大きいテンプレート１に対応するデータ、指
令あるいは表情を出力したりなどすることにより、対象
物の形状が変化しても安定に精度良好に追跡することが
可能となると共に、対象物の形状の変化に対応したデー
タ、指令、表情などを認識して出力することが可能とな
る。
ブロック内で参照ブロックの複数のテンプレート１のう
ち最も一致度の大きいテンプレート１を算出して直前の
位置から現在の位置への移動ベクトル５を求めたり、最
も一致度の大きいテンプレート１に対応するデータ、指
令あるいは表情を出力したりなどすることにより、対象
物の形状が変化しても安定に精度良好に追跡することが
可能となると共に、対象物の形状の変化に対応したデー
タ、指令、表情などを認識して出力することが可能とな
る。
【００１２】
【発明の実施の形態】次に、図１から図５を用いて本発
明の実施の形態および動作を順次詳細に説明する。
明の実施の形態および動作を順次詳細に説明する。
【００１３】図１は、本発明の動作説明フローチャート
を示す。図１において、Ｓ１は、画像を取り込む。これ
は、ビデオカメラで対象物を撮影した画像を取り込む。
を示す。図１において、Ｓ１は、画像を取り込む。これ
は、ビデオカメラで対象物を撮影した画像を取り込む。
【００１４】Ｓ２は、全画面を指定する。これは、Ｓ１
で取り込んだ画像について、画面上に表示された全体に
ついて探索する旨を指定する。Ｓ３は、テンプレートを
１つ選択する。これは、対象物の形状や表情などを表す
予め作成した複数のテンプレート１のうちから１つのテ
ンプレートを選択する。
で取り込んだ画像について、画面上に表示された全体に
ついて探索する旨を指定する。Ｓ３は、テンプレートを
１つ選択する。これは、対象物の形状や表情などを表す
予め作成した複数のテンプレート１のうちから１つのテ
ンプレートを選択する。
【００１５】Ｓ４は、マッチングして一致度を算出す
る。これは、Ｓ２で指定した画面全体についてテンプレ
ートを順次ずらしながらパターンマッチングを行い、一
致度を算出する。
る。これは、Ｓ２で指定した画面全体についてテンプレ
ートを順次ずらしながらパターンマッチングを行い、一
致度を算出する。
【００１６】Ｓ５は、最も一致する位置と一致度を記憶
する。Ｓ６は、終わりか判別する。ＹＥＳの場合には、
全てのテンプレートについてマッチングを終わったの
で、Ｓ７に進む。ＮＯの場合には、Ｓ３で次のテンプレ
ートを取り出し、Ｓ４以降を繰り返す。
する。Ｓ６は、終わりか判別する。ＹＥＳの場合には、
全てのテンプレートについてマッチングを終わったの
で、Ｓ７に進む。ＮＯの場合には、Ｓ３で次のテンプレ
ートを取り出し、Ｓ４以降を繰り返す。
【００１７】Ｓ７は、一致度が最も大きいテンプレート
の位置から追跡を開始する。以上のＳ１からＳ７の処理
によって、取り込んだ画像について複数のテンプレート
１のそれぞれについて最も一致する位置と一致度を算出
し、そのうちの最も一致度が大きいテンプレート１を見
つけることができたこととなる。
の位置から追跡を開始する。以上のＳ１からＳ７の処理
によって、取り込んだ画像について複数のテンプレート
１のそれぞれについて最も一致する位置と一致度を算出
し、そのうちの最も一致度が大きいテンプレート１を見
つけることができたこととなる。
【００１８】Ｓ８は、画像を取り込む。Ｓ９は、探索ブ
ロックを設定する。これは、後述する図２に示すよう
に、Ｓ７で見つけた最も一致度の大きいテンプレート１
の位置を追跡開始点とし、当該追跡開始点を中心に所定
の大きさの探索ブロックを設定し、マッチングする領域
を小さくする。
ロックを設定する。これは、後述する図２に示すよう
に、Ｓ７で見つけた最も一致度の大きいテンプレート１
の位置を追跡開始点とし、当該追跡開始点を中心に所定
の大きさの探索ブロックを設定し、マッチングする領域
を小さくする。
【００１９】Ｓ１０は、テンプレートを１つ選択する。
Ｓ１１は、探索ブロック内で一致度が最も大きくなる位
置を探す。これは、後述する図２に示すように、Ｓ９で
設定した探索ブロック内でテンプレート１の大きさの参
照ブロックを設けて順次移動させつつパターンマッチン
グを行い、最も一致度の大きい位置を探す。
Ｓ１１は、探索ブロック内で一致度が最も大きくなる位
置を探す。これは、後述する図２に示すように、Ｓ９で
設定した探索ブロック内でテンプレート１の大きさの参
照ブロックを設けて順次移動させつつパターンマッチン
グを行い、最も一致度の大きい位置を探す。
【００２０】Ｓ１２は、一致度と位置を記憶する。Ｓ１
３は、終わりか判別する。ＹＥＳの場合には、全てのテ
ンプレート１についてマッチングを終わったので、Ｓ１
４に進む。一方、ＮＯの場合には、Ｓ１０で次のテンプ
レート１を１つ取り出し、Ｓ１１以降を繰り返す。
３は、終わりか判別する。ＹＥＳの場合には、全てのテ
ンプレート１についてマッチングを終わったので、Ｓ１
４に進む。一方、ＮＯの場合には、Ｓ１０で次のテンプ
レート１を１つ取り出し、Ｓ１１以降を繰り返す。
【００２１】Ｓ１４は、一致度の最も大きいテンプレー
トが示す位置へ参照ブロックを移動させる。これは、後
述する図２に示すように、全てのテンプレート１につい
てマッチングを行い、最も一致度の大きいテンプレート
１の位置に、参照ブロックを移動させ、このときの移動
ベクトルを求める。
トが示す位置へ参照ブロックを移動させる。これは、後
述する図２に示すように、全てのテンプレート１につい
てマッチングを行い、最も一致度の大きいテンプレート
１の位置に、参照ブロックを移動させ、このときの移動
ベクトルを求める。
【００２２】Ｓ１５は、終了指示ありか判別する。ＹＥ
Ｓの場合には、終了する。ＮＯの場合には、Ｓ８に戻り
次の画像を取り込み、Ｓ９以降を繰り返す。以上のＳ７
からＳ１５によって、画像上で最も一致度の大きいテン
プレートの位置を中心に所定大きさの探索ブロックを設
定しこの探索ブロック内で取り込んだ画像について複数
のテンプレート１をずらしながらマッチングを行い最も
一致度の大きい位置および一致度を求め、これらのうち
から最も一致度の大きいテンプレート１を見つこのテン
プレート１への移動ベクトルを求めることを繰り返し、
対象物を追跡する。これにより、対象物の形状が変化し
てもいずれかのテンプレート１に一致し、精度良好に追
跡することが可能となる。
Ｓの場合には、終了する。ＮＯの場合には、Ｓ８に戻り
次の画像を取り込み、Ｓ９以降を繰り返す。以上のＳ７
からＳ１５によって、画像上で最も一致度の大きいテン
プレートの位置を中心に所定大きさの探索ブロックを設
定しこの探索ブロック内で取り込んだ画像について複数
のテンプレート１をずらしながらマッチングを行い最も
一致度の大きい位置および一致度を求め、これらのうち
から最も一致度の大きいテンプレート１を見つこのテン
プレート１への移動ベクトルを求めることを繰り返し、
対象物を追跡する。これにより、対象物の形状が変化し
てもいずれかのテンプレート１に一致し、精度良好に追
跡することが可能となる。
【００２３】図２は、本発明の概念説明図を示す。図２
の（ａ）は、探索ブロック／参照ブロックを示す。図２
の（ａ−１）は直前のビデオフレームを示し、図２の
（ａ−２）は現在のビデオフレームを示す。ここで、直
前のビデオフレーム中の探索ブロック３は、最も一致度
が大きいテンプレート１を中心に所定サイズのブロック
であって、探索する領域を表す。参照ブロック４は、テ
ンプレート１の大きさのブロックであって、当該参照ブ
ロック４のテンプレート１について、探索ブロック３内
を順次ずらしながら一致度を求め、最も大きい一致度を
算出する。図示の最もマッチングが取れた参照ブロック
４が算出できた場合、移動ベクトル５を図示のように、
前回の最も一致度が大きいテンプレート１の参照ブロッ
ク４の中心位置から、今回の最も一致度が大きいテンプ
レート１の参照ブロック４の中心位置への移動ベクトル
５として求める。
の（ａ）は、探索ブロック／参照ブロックを示す。図２
の（ａ−１）は直前のビデオフレームを示し、図２の
（ａ−２）は現在のビデオフレームを示す。ここで、直
前のビデオフレーム中の探索ブロック３は、最も一致度
が大きいテンプレート１を中心に所定サイズのブロック
であって、探索する領域を表す。参照ブロック４は、テ
ンプレート１の大きさのブロックであって、当該参照ブ
ロック４のテンプレート１について、探索ブロック３内
を順次ずらしながら一致度を求め、最も大きい一致度を
算出する。図示の最もマッチングが取れた参照ブロック
４が算出できた場合、移動ベクトル５を図示のように、
前回の最も一致度が大きいテンプレート１の参照ブロッ
ク４の中心位置から、今回の最も一致度が大きいテンプ
レート１の参照ブロック４の中心位置への移動ベクトル
５として求める。
【００２４】以上のように、直前のビデオフレームで最
も一致度の大きいテンプレート１の中心位置から、現在
のビデオフレームで最も一致度の大きいテンプレート１
の中心位置までの移動ベクトル５を図示のように求める
ことにより、対象物が変化しても予め作成した複数のテ
ンプレート１のいずれかに一致する限り、極めて精度良
好に対象物を追跡することが可能となる。
も一致度の大きいテンプレート１の中心位置から、現在
のビデオフレームで最も一致度の大きいテンプレート１
の中心位置までの移動ベクトル５を図示のように求める
ことにより、対象物が変化しても予め作成した複数のテ
ンプレート１のいずれかに一致する限り、極めて精度良
好に対象物を追跡することが可能となる。
【００２５】図２の（ｂ）は、追跡対象物が変化する場
合の様子を示す。図２の（ｂ−１）は、直前のビデオフ
レームの参照ブロック４内に存在する対象物を示す。こ
の直前のビデオフレームのときの対象物は、図２の（ｂ
−２）の複数のテンプレート１のうちのテンプレート
との一致度が最も高いとして算出されたものである。
合の様子を示す。図２の（ｂ−１）は、直前のビデオフ
レームの参照ブロック４内に存在する対象物を示す。こ
の直前のビデオフレームのときの対象物は、図２の（ｂ
−２）の複数のテンプレート１のうちのテンプレート
との一致度が最も高いとして算出されたものである。
【００２６】図２の（ｂ−２）は、テンプレート例を示
す。ここでは、対象物の形状が、図示のないしの４
つのテンプレート１のいずれかに変わるので、図示のよ
うに４つのテンプレート１を予め登録したものである。
す。ここでは、対象物の形状が、図示のないしの４
つのテンプレート１のいずれかに変わるので、図示のよ
うに４つのテンプレート１を予め登録したものである。
【００２７】図２の（ｂ−３）は、現在のビデオフレー
ムについて移動ベクトルを算出した様子を示す。ここ
で、右下の参照ブロック（直前）４は、図２の（ｂ−
１）の直前の対象物の参照ブロック４であって、テンプ
レートとの一致度が最も大きい。一方、左上の参照ブ
ロック（現在）４は、現在の対象物の参照ブロック４で
あって、テンプレートとの一致度が最も大きいとして
その位置および一致度が求められたものである。これに
より、移動ベクトル５が参照ブロック（直前）４のテン
プレートでマッチングした中心位置から参照ブロック
（現在）４のテンプレートでマッチングした中心位置
までの移動ベクトル５として算出されることとなる。
ムについて移動ベクトルを算出した様子を示す。ここ
で、右下の参照ブロック（直前）４は、図２の（ｂ−
１）の直前の対象物の参照ブロック４であって、テンプ
レートとの一致度が最も大きい。一方、左上の参照ブ
ロック（現在）４は、現在の対象物の参照ブロック４で
あって、テンプレートとの一致度が最も大きいとして
その位置および一致度が求められたものである。これに
より、移動ベクトル５が参照ブロック（直前）４のテン
プレートでマッチングした中心位置から参照ブロック
（現在）４のテンプレートでマッチングした中心位置
までの移動ベクトル５として算出されることとなる。
【００２８】以上のように、直前のビデオフレームから
現在のビデオフレームになったときに対象物と最も一致
するテンプレート１がテンプレートからテンプレート
に変化しても、本願発明では予め変化すると予想され
る形状のテンプレート１を登録しておき、急激に変化し
てもいずれかのテンプレート１に一致するものとして安
定かつ精度良好に位置および移動距離（移動ベクトル）
を追跡することが可能となる。
現在のビデオフレームになったときに対象物と最も一致
するテンプレート１がテンプレートからテンプレート
に変化しても、本願発明では予め変化すると予想され
る形状のテンプレート１を登録しておき、急激に変化し
てもいずれかのテンプレート１に一致するものとして安
定かつ精度良好に位置および移動距離（移動ベクトル）
を追跡することが可能となる。
【００２９】次に、図３のフローチャートに示す順序に
従い、複数のテンプレートによるマッチング時の動作を
詳細に説明する。図３は、本発明のマッチングフローチ
ャートを示す。
従い、複数のテンプレートによるマッチング時の動作を
詳細に説明する。図３は、本発明のマッチングフローチ
ャートを示す。
【００３０】図３において、Ｓ２１は、ｎ＝１と初期設
定する。Ｓ２２は、ｎ番目のテンプレートを読み出す。
Ｓ２３は、テンプレートとマッチングし、一致度および
移動ベクトルを算出する。これは、既述したように、テ
ンプレートをずらしながら画像とのマッチングを行い、
一致度を算出して最も大きい一致度の位置を求め、次
に、直前の位置から現在の位置までの移動ベクトルを算
出する。
定する。Ｓ２２は、ｎ番目のテンプレートを読み出す。
Ｓ２３は、テンプレートとマッチングし、一致度および
移動ベクトルを算出する。これは、既述したように、テ
ンプレートをずらしながら画像とのマッチングを行い、
一致度を算出して最も大きい一致度の位置を求め、次
に、直前の位置から現在の位置までの移動ベクトルを算
出する。
【００３１】Ｓ２４は、テンプレート番号と対応する一
致度、移動ベクトルを格納して記憶する。Ｓ２５は、登
録されているテンプレートをすべて処理したか判別す
る。ＹＥＳの場合には、Ｓ２７に進む。ＮＯの場合に
は、Ｓ２６でｎ＝ｎ＋１して次のテンプレートについ
て、Ｓ２２以下を繰り返す。
致度、移動ベクトルを格納して記憶する。Ｓ２５は、登
録されているテンプレートをすべて処理したか判別す
る。ＹＥＳの場合には、Ｓ２７に進む。ＮＯの場合に
は、Ｓ２６でｎ＝ｎ＋１して次のテンプレートについ
て、Ｓ２２以下を繰り返す。
【００３２】以上のＳ２１からＳ２６の処理によって、
複数のテンプレート毎に、直前の対象物の位置から、現
在のテンプレートが最も一致した一致度およびこの一致
した位置までの移動ベクトルをそれぞれ算出できたこと
となる。
複数のテンプレート毎に、直前の対象物の位置から、現
在のテンプレートが最も一致した一致度およびこの一致
した位置までの移動ベクトルをそれぞれ算出できたこと
となる。
【００３３】Ｓ２７は、一致度の最も大きいテンプレー
ト番号と移動ベクトルを抽出する。Ｓ２８は、抽出した
移動ベクトルで参照ブロックの位置を更新する。Ｓ２９
は、マッチングしたテンプレートの意味を出力する。こ
れは、Ｓ２７で抽出した一致度の最も大きいテンプレー
ト番号に対応づけて予め登録されている情報を取り出
す。。
ト番号と移動ベクトルを抽出する。Ｓ２８は、抽出した
移動ベクトルで参照ブロックの位置を更新する。Ｓ２９
は、マッチングしたテンプレートの意味を出力する。こ
れは、Ｓ２７で抽出した一致度の最も大きいテンプレー
ト番号に対応づけて予め登録されている情報を取り出
す。。
【００３４】Ｓ３０は、Ｓ２９で取り出した情報がデー
タか指令か判別する。指令の場合には、Ｓ３１で対応す
る処理を起動する。データの場合には、Ｓ３２でそのデ
ータを出力する（例えば後述する複数のテンプレートの
うち最も一致度が大きいテンプレートが後述する図４の
の場合には、対応づけて登録されている数字“０”を
出力する）。
タか指令か判別する。指令の場合には、Ｓ３１で対応す
る処理を起動する。データの場合には、Ｓ３２でそのデ
ータを出力する（例えば後述する複数のテンプレートの
うち最も一致度が大きいテンプレートが後述する図４の
の場合には、対応づけて登録されている数字“０”を
出力する）。
【００３５】以上のＳ２７からＳ３２によって、複数の
テンプレートのうち最も一致度の大きいテンプレートの
テンプレート番号と移動ベクトルを抽出し、この移動ベ
クトルおよびテンプレート番号に対応するデータを出力
したり、指令に応じた処理を起動したりなどすることが
可能となる。
テンプレートのうち最も一致度の大きいテンプレートの
テンプレート番号と移動ベクトルを抽出し、この移動ベ
クトルおよびテンプレート番号に対応するデータを出力
したり、指令に応じた処理を起動したりなどすることが
可能となる。
【００３６】図４は、本発明の手形状の認識例を示す。
図４の（ａ）は直前のフレームを示し、図４の（ｂ）は
現在のフレームを示す。ここで、直前の参照ブロック４
内の対象物が手を開いた図４の（ｃ−１）のテンプレー
トとの一致度が最も大きく、現在の参照ブロック４内
の対象物が２本の指を出した図４の（ｃ−１）のテンプ
レートとの一致度が最も大きい場合の例である。この
場合には、参照ブロック（直前）４の最も一致度の大き
いテンプレートが、参照ブロック（現在）４の最も一
致度の大きいテンプレートとして算出されるので、こ
のときの移動ベクトル５は図示のように得られ、そのと
きのテンプレート番号として得られることとなり、数
字“２”を出力する（図３のＳ３２）。
図４の（ａ）は直前のフレームを示し、図４の（ｂ）は
現在のフレームを示す。ここで、直前の参照ブロック４
内の対象物が手を開いた図４の（ｃ−１）のテンプレー
トとの一致度が最も大きく、現在の参照ブロック４内
の対象物が２本の指を出した図４の（ｃ−１）のテンプ
レートとの一致度が最も大きい場合の例である。この
場合には、参照ブロック（直前）４の最も一致度の大き
いテンプレートが、参照ブロック（現在）４の最も一
致度の大きいテンプレートとして算出されるので、こ
のときの移動ベクトル５は図示のように得られ、そのと
きのテンプレート番号として得られることとなり、数
字“２”を出力する（図３のＳ３２）。
【００３７】図４の（ｃ）はテンプレート例を示す。図
４の（ｃ−１）は、テンプレートに対応づけて数字を登
録した例を示す。ここでは、図示の形状のテンプレート
ないしに対応づけて、数字“０”ないし“５”を登
録している（尚、数字“５”については回転したイメー
ジも登録している。この回転したイメージを登録しなく
ても、画面上でテンプレート１を回転させてマッチング
を行うようにしてもよい）。
４の（ｃ−１）は、テンプレートに対応づけて数字を登
録した例を示す。ここでは、図示の形状のテンプレート
ないしに対応づけて、数字“０”ないし“５”を登
録している（尚、数字“５”については回転したイメー
ジも登録している。この回転したイメージを登録しなく
ても、画面上でテンプレート１を回転させてマッチング
を行うようにしてもよい）。
【００３８】図４の（ｃ−２）は、テンプレートに対応
づけて意味を登録した例を示す。ここでは、図示の形状
のテンプレートないし(16)に対応づけて、意味“ｏ
ｋ”、“ｇｏｏｄ”、“ｎｏ ｇｏｏｄ”などを図示の
ように登録する。これにより、図示のテンプレート１の
うちの最も一致度の大きいテンプレート番号に対応する
意味が出力されることとなる。
づけて意味を登録した例を示す。ここでは、図示の形状
のテンプレートないし(16)に対応づけて、意味“ｏ
ｋ”、“ｇｏｏｄ”、“ｎｏ ｇｏｏｄ”などを図示の
ように登録する。これにより、図示のテンプレート１の
うちの最も一致度の大きいテンプレート番号に対応する
意味が出力されることとなる。
【００３９】図５は、本発明の表情の認識例を示す。図
５の（ａ）は、人の上半身の画像をカメラで撮影し、そ
のときの目の位置を検出して設定した参照ブロック（直
前）４を示す。ここでは、図５の（ｂ）のテンプレート
１のうちのテンプレートに最も一致度が大きいとして
マッチングされる。
５の（ａ）は、人の上半身の画像をカメラで撮影し、そ
のときの目の位置を検出して設定した参照ブロック（直
前）４を示す。ここでは、図５の（ｂ）のテンプレート
１のうちのテンプレートに最も一致度が大きいとして
マッチングされる。
【００４０】図５の（ｂ）は、テンプレートの例を示
す。ここでは、人の目の形状の変化として、テンプレー
トないしを予め登録する。図５の（ｃ）は、目を閉
じた状態の参照ブロック（現在）を示す。この場合に
は、図５の（ｂ）のテンプレートと最も一致度が大き
いとして算出されるので、このときのテンプレートに
対応づけて登録されている人の表情（例えば“目を閉じ
た状態”という表情、あるいは他の任意の表情）を出力
することが可能となる。
す。ここでは、人の目の形状の変化として、テンプレー
トないしを予め登録する。図５の（ｃ）は、目を閉
じた状態の参照ブロック（現在）を示す。この場合に
は、図５の（ｂ）のテンプレートと最も一致度が大き
いとして算出されるので、このときのテンプレートに
対応づけて登録されている人の表情（例えば“目を閉じ
た状態”という表情、あるいは他の任意の表情）を出力
することが可能となる。
【００４１】図５の（ｄ）は、首を傾けた状態の参照ブ
ロック（現在）を示す。この場合には、図５の（ｂ）の
テンプレートと最も一致度が大きいとして算出される
ので、このときのテンプレートに対応づけて登録され
ている人の表情（例えば“首を傾けた状態”という表
情、あるいは他の任意の表情）を出力することが可能と
なる。
ロック（現在）を示す。この場合には、図５の（ｂ）の
テンプレートと最も一致度が大きいとして算出される
ので、このときのテンプレートに対応づけて登録され
ている人の表情（例えば“首を傾けた状態”という表
情、あるいは他の任意の表情）を出力することが可能と
なる。
【００４２】
【発明の効果】以上説明したように、本発明によれば、
参照ブロック４の周囲に設けた探索ブロック３内で参照
ブロック４の複数のテンプレート１のうち最も一致度の
大きいテンプレート１を算出して直前の位置から現在の
位置への移動ベクトル５を求めたり、最も一致度の大き
いテンプレート１に対応するデータ、指令あるいは表情
を出力したりなどする構成を採用しているため、対象物
の形状が変化しても安定に精度良好に追跡することがで
きると共に、対象物の形状の変化に対応したデータ、指
令、表情などを認識して出力することができる。
参照ブロック４の周囲に設けた探索ブロック３内で参照
ブロック４の複数のテンプレート１のうち最も一致度の
大きいテンプレート１を算出して直前の位置から現在の
位置への移動ベクトル５を求めたり、最も一致度の大き
いテンプレート１に対応するデータ、指令あるいは表情
を出力したりなどする構成を採用しているため、対象物
の形状が変化しても安定に精度良好に追跡することがで
きると共に、対象物の形状の変化に対応したデータ、指
令、表情などを認識して出力することができる。
【図１】本発明の動作説明フローチャートである。
【図２】本発明の概念説明図である。
【図３】本発明のマッチングフローチャートである。
【図４】本発明の手形状の認識例である。
【図５】本発明の表情の認識例である。
１：テンプレート ２：マッチング手段 ３：探索ブロック ４：参照ブロック ５：移動ベクトル
Claims (4)
- 【請求項１】画像上で対象物を追跡する相関追跡システ
ムにおいて、 対象物の変化する形状を表す複数のテンプレートと、 画像上で上記複数のテンプレートについて順次マッチン
グを行って最も一致度の大きいテンプレートを見つけて
当該テンプレートの位置への移動ベクトルを逐次算出し
て更新し対象物を追跡する手段とを備えたことを特徴と
する相関追跡システム。 - 【請求項２】画像上で対象物を追跡する相関追跡システ
ムにおいて、 対象物の変化する形状を表す複数のテンプレートと、 画像上で上記複数のテンプレートについて順次マッチン
グを行って最も一致度の大きいテンプレートを見つけ、
この見つけたテンプレートに対応づけられたデータある
いは指令を出力する手段とを備えたことを特徴とする相
関追跡システム。 - 【請求項３】上記対象物の変化する形状を表す複数のテ
ンプレートが、手の形状が表す意味に対応づけた手の画
像のテンプレートとしたことを特徴とする請求項２記載
の相関追跡システム。 - 【請求項４】上記対象物の変化する形状を表す複数のテ
ンプレートが、人の顔などの異なる表情に対応づけたテ
ンプレートとしたことを特徴とする請求項２記載の相関
追跡システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34232095A JP3673578B2 (ja) | 1995-12-28 | 1995-12-28 | 相関追跡システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34232095A JP3673578B2 (ja) | 1995-12-28 | 1995-12-28 | 相関追跡システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09185708A true JPH09185708A (ja) | 1997-07-15 |
| JP3673578B2 JP3673578B2 (ja) | 2005-07-20 |
Family
ID=18352820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34232095A Expired - Fee Related JP3673578B2 (ja) | 1995-12-28 | 1995-12-28 | 相関追跡システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3673578B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003005302A1 (fr) * | 2001-07-05 | 2003-01-16 | Advantest Corporation | Appareil de traitement d'images et procede de traitement d'images |
| US7035433B1 (en) | 1998-12-25 | 2006-04-25 | Kabushiki Kaishi Toshiba | Image recognition method and apparatus |
| US8509482B2 (en) | 2009-12-21 | 2013-08-13 | Canon Kabushiki Kaisha | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8682414B2 (en) | 2009-11-27 | 2014-03-25 | Mitsubishi Heavy Industries, Ltd. | Radiation therapy apparatus control method and radiation therapy apparatus controller |
| KR101404653B1 (ko) * | 2013-03-07 | 2014-06-09 | 국방과학연구소 | 상관추적을 위한 참조영상 복원 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62247410A (ja) * | 1985-12-04 | 1987-10-28 | Aisin Seiki Co Ltd | 電気装置の付勢制御装置 |
| JPH05165968A (ja) * | 1991-12-18 | 1993-07-02 | Komatsu Ltd | 物体の位置・姿勢認識装置 |
| JPH0667601A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | 手話通訳装置および手話通訳システム |
| JPH07271986A (ja) * | 1994-03-28 | 1995-10-20 | Yusaku Fujii | プール監視方法 |
| JPH07303289A (ja) * | 1994-05-02 | 1995-11-14 | Murata Mfg Co Ltd | 車載用赤外線リモコン装置 |
| JPH07325619A (ja) * | 1994-06-01 | 1995-12-12 | Nec Corp | 遠隔制御装置 |
-
1995
- 1995-12-28 JP JP34232095A patent/JP3673578B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62247410A (ja) * | 1985-12-04 | 1987-10-28 | Aisin Seiki Co Ltd | 電気装置の付勢制御装置 |
| JPH05165968A (ja) * | 1991-12-18 | 1993-07-02 | Komatsu Ltd | 物体の位置・姿勢認識装置 |
| JPH0667601A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | 手話通訳装置および手話通訳システム |
| JPH07271986A (ja) * | 1994-03-28 | 1995-10-20 | Yusaku Fujii | プール監視方法 |
| JPH07303289A (ja) * | 1994-05-02 | 1995-11-14 | Murata Mfg Co Ltd | 車載用赤外線リモコン装置 |
| JPH07325619A (ja) * | 1994-06-01 | 1995-12-12 | Nec Corp | 遠隔制御装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7035433B1 (en) | 1998-12-25 | 2006-04-25 | Kabushiki Kaishi Toshiba | Image recognition method and apparatus |
| US7388970B2 (en) | 1998-12-25 | 2008-06-17 | Kabushiki Kaisha Toshiba | Image recognition method and apparatus |
| US7394918B2 (en) | 1998-12-25 | 2008-07-01 | Kabushiki Kaisha Toshiba | Image recognition method and apparatus |
| WO2003005302A1 (fr) * | 2001-07-05 | 2003-01-16 | Advantest Corporation | Appareil de traitement d'images et procede de traitement d'images |
| US8509482B2 (en) | 2009-12-21 | 2013-08-13 | Canon Kabushiki Kaisha | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3673578B2 (ja) | 2005-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220366576A1 (en) | Method for target tracking, electronic device, and storage medium | |
| CN109102522B (zh) | 一种目标跟踪方法及装置 | |
| EP1934941B1 (en) | Bi-directional tracking using trajectory segment analysis | |
| JP3782368B2 (ja) | 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置 | |
| JP2002182680A (ja) | 操作指示装置 | |
| CN114372173A (zh) | 一种基于Transformer架构的自然语言目标跟踪方法 | |
| JP2008250999A (ja) | 対象物追跡方法、対象物追跡装置および対象物追跡プログラム | |
| CN108830170A (zh) | 一种基于分层特征表示的端到端目标跟踪方法 | |
| CN110969110A (zh) | 一种基于深度学习的人脸跟踪方法及系统 | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH09185708A (ja) | 相関追跡システム | |
| JP2003346158A (ja) | 顔画像による顔領域追跡方法 | |
| CN108664918B (zh) | 基于背景感知相关滤波器的智能车辆前方行人跟踪方法 | |
| JP2002056388A (ja) | ロボット装置 | |
| CN110309729A (zh) | 基于异常峰值检测和孪生网络的跟踪与重检测方法 | |
| CN102682445B (zh) | 一种仿蜥蜴亚目避役科生物视觉坐标提取算法 | |
| WO2021033242A1 (ja) | 画像認識装置、画像認識方法、及び、画像認識プログラム | |
| JP2002044519A (ja) | 動画像内オブジェクト抽出方法及び装置 | |
| EP3940640A1 (en) | A method and a data processing system for aligning a first panoramic image and a second panoramic image in a navigation procedure | |
| Hao et al. | Egocentric Human Activities Recognition with Multi-modal Interaction Sensing | |
| JP2006127530A (ja) | 動画像内オブジェクト抽出方法及び装置 | |
| JPH06258028A (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 | |
| JP2001060265A (ja) | 画像処理装置および方法、並びに媒体 | |
| JPH07160870A (ja) | 近似曲線生成装置 | |
| JP2000132692A (ja) | 曲線の特徴点抽出方法及びこの方法を記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040728 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041028 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |