JPH07192136A - 物体追跡方法および装置 - Google Patents
物体追跡方法および装置Info
- Publication number
- JPH07192136A JPH07192136A JP7770894A JP7770894A JPH07192136A JP H07192136 A JPH07192136 A JP H07192136A JP 7770894 A JP7770894 A JP 7770894A JP 7770894 A JP7770894 A JP 7770894A JP H07192136 A JPH07192136 A JP H07192136A
- Authority
- JP
- Japan
- Prior art keywords
- time
- image
- tracking
- target object
- reference time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 追跡中の対象物体に一時的な遮蔽がおきた場
合、複数の物体が存在し互いに交差する場合などにも、
対象物体を正確に追跡する。 【構成】 時刻制御処理１１は、逐次入力される画像の
時刻を現時刻とし、現時刻から遡るある時刻を基準時刻
とする。基準時刻と現時刻の差が一定時間に満たない場
合は現時刻を調整する。画像蓄積処理１２は、基準時刻
の画像（基準画像）、その追跡物体位置（基準位置）、
及び、基準時刻以降現時刻までの動画像を蓄積する。選
択処理１３は、蓄積された基準時刻以降現時刻までの動
画像の中から、基準画像の基準位置に最も類似する画像
および位置を選択する。位置・時刻制御処理１４は、選
択された画像の時刻、画像及び位置を、新たな基準時
刻、基準画像、基準位置とする。
合、複数の物体が存在し互いに交差する場合などにも、
対象物体を正確に追跡する。 【構成】 時刻制御処理１１は、逐次入力される画像の
時刻を現時刻とし、現時刻から遡るある時刻を基準時刻
とする。基準時刻と現時刻の差が一定時間に満たない場
合は現時刻を調整する。画像蓄積処理１２は、基準時刻
の画像（基準画像）、その追跡物体位置（基準位置）、
及び、基準時刻以降現時刻までの動画像を蓄積する。選
択処理１３は、蓄積された基準時刻以降現時刻までの動
画像の中から、基準画像の基準位置に最も類似する画像
および位置を選択する。位置・時刻制御処理１４は、選
択された画像の時刻、画像及び位置を、新たな基準時
刻、基準画像、基準位置とする。
Description
【０００１】
【産業上の利用分野】本発明は、画像処理分野におい
て、連続的に入力される動画像中に存在する物体を安定
に追跡する方法および装置に関し、特に複数の物体が互
いに交差する場合や物体の遮蔽が生じる場合にも、安定
な物体追跡を行う方法および装置に関する。
て、連続的に入力される動画像中に存在する物体を安定
に追跡する方法および装置に関し、特に複数の物体が互
いに交差する場合や物体の遮蔽が生じる場合にも、安定
な物体追跡を行う方法および装置に関する。
【０００２】
【従来の技術】動画像中の移動物体の追跡技術は、これ
まで多くの手法が提案されているが、遮蔽等に対応でき
るとされる方法は限られている。
まで多くの手法が提案されているが、遮蔽等に対応でき
るとされる方法は限られている。
【０００３】従来の物体追跡技術で遮蔽等に対応できる
方法は、背景を予め蓄えておき、これと得られた新たな
画像との差分をある閾値を用いて２値化することにより
領域を切りだすか、または、連続する２枚の画像の差を
ある閾値により２値化して移動領域を切り出し、各時間
において近い領域を対応づけて追跡結果とする手法であ
る。この場合、動画像中の移動物体が一時的に遮蔽され
たり、２物体が交差するなどすると正確な対応づけがで
きない。このため、従来は遮蔽後の位置を遮蔽前の軌跡
から予測して、物体の対応づけを行っていた。
方法は、背景を予め蓄えておき、これと得られた新たな
画像との差分をある閾値を用いて２値化することにより
領域を切りだすか、または、連続する２枚の画像の差を
ある閾値により２値化して移動領域を切り出し、各時間
において近い領域を対応づけて追跡結果とする手法であ
る。この場合、動画像中の移動物体が一時的に遮蔽され
たり、２物体が交差するなどすると正確な対応づけがで
きない。このため、従来は遮蔽後の位置を遮蔽前の軌跡
から予測して、物体の対応づけを行っていた。
【０００４】なお、この種の物体追跡技術に関する公知
文献としては、例えば、嶺 直道、八木康史、谷内田正
彦；「時系列差分画像を用いた複数移動物体の抽出およ
び追跡」（情報処理学会研究報告 コンピュータビジョ
ン ８１−７，１９９３）、及び、Ｉshiwark Ｓethi，
Ｒamesh Ｊain；「Ｆinding Ｔrajectories of Ｆeature
Points in a Ｍonocular Ｉmage Ｓequence」（ＩＥＥ
Ｅ−ＰＡＭＩ−９ Ｎo.１，１９８７）がある。
文献としては、例えば、嶺 直道、八木康史、谷内田正
彦；「時系列差分画像を用いた複数移動物体の抽出およ
び追跡」（情報処理学会研究報告 コンピュータビジョ
ン ８１−７，１９９３）、及び、Ｉshiwark Ｓethi，
Ｒamesh Ｊain；「Ｆinding Ｔrajectories of Ｆeature
Points in a Ｍonocular Ｉmage Ｓequence」（ＩＥＥ
Ｅ−ＰＡＭＩ−９ Ｎo.１，１９８７）がある。
【０００５】
【発明が解決しようとする課題】上記のように、従来技
術では、動画像中の移動物体が一時的に遮蔽されるなど
する場合、遮蔽後の位置を遮蔽前の軌跡から予測して、
物体の対応づけを行っていたため、２物体が互いにぶつ
かって反射する場合や、遮蔽中に移動量が大きく変化す
る場合などにおいては、根拠のある対応づけはできない
という問題があった。
術では、動画像中の移動物体が一時的に遮蔽されるなど
する場合、遮蔽後の位置を遮蔽前の軌跡から予測して、
物体の対応づけを行っていたため、２物体が互いにぶつ
かって反射する場合や、遮蔽中に移動量が大きく変化す
る場合などにおいては、根拠のある対応づけはできない
という問題があった。
【０００６】本発明の目的は、動画像中の移動物体追跡
中に対象物体に一時的な遮蔽がおきた場合や、複数の物
体が存在して互いに交差する場合などにも、個々の対象
物体を正確に追跡する物体追跡方法および装置を提供す
ることにある。
中に対象物体に一時的な遮蔽がおきた場合や、複数の物
体が存在して互いに交差する場合などにも、個々の対象
物体を正確に追跡する物体追跡方法および装置を提供す
ることにある。
【０００７】
【課題を解決するための手段】上記目的を達成するため
に、本発明では、基準となる時刻、画像、対象物体位置
が与えられると、それに続く各時刻の画像を一定枚数メ
モリに蓄えておき、必要とする枚数が蓄えられた時点
で、これらの蓄積された画像を用い、基準とする画像の
対象物体に最も類似すると考えられる画像と位置とを同
時に決定し、この決定した時刻、画像、位置を新たな基
準時刻、基準画像、追跡対象物体位置として、この時刻
以前に対応する画像を利用しないことを特徴とする。
に、本発明では、基準となる時刻、画像、対象物体位置
が与えられると、それに続く各時刻の画像を一定枚数メ
モリに蓄えておき、必要とする枚数が蓄えられた時点
で、これらの蓄積された画像を用い、基準とする画像の
対象物体に最も類似すると考えられる画像と位置とを同
時に決定し、この決定した時刻、画像、位置を新たな基
準時刻、基準画像、追跡対象物体位置として、この時刻
以前に対応する画像を利用しないことを特徴とする。
【０００８】
【作用】本発明による移動物体自動追跡では、従来の個
々の物体の特徴を利用しながら行う追跡法に対し、自動
的に時間分解能を変化させる時間分解能制御機能を組み
込むことにより、遮蔽などで形状が変化した時刻の画像
を自動的にとばすことが可能である。この結果、遮蔽、
天候の一時的変化などが生じた時刻の画像は自動的にと
ばされ、これらに影響されにくい安定で正確な動物体追
跡が実現できる。
々の物体の特徴を利用しながら行う追跡法に対し、自動
的に時間分解能を変化させる時間分解能制御機能を組み
込むことにより、遮蔽などで形状が変化した時刻の画像
を自動的にとばすことが可能である。この結果、遮蔽、
天候の一時的変化などが生じた時刻の画像は自動的にと
ばされ、これらに影響されにくい安定で正確な動物体追
跡が実現できる。
【０００９】
【実施例】以下、図面を用いて本発明の実施例について
説明する。
説明する。
【００１０】図１は、請求項１および２の発明の物体追
跡方法の枠組を示す処理フロー図である。時刻制御処理
１１は、逐次入力される動画像の時刻を現時刻とし、該
現時刻から遡るある時刻を基準時刻とする。基準時物と
現時刻の差が一定時間に満たない場合は、その差が一定
時間になるまで待ち、現時刻を調整する。基準時刻は、
処理の開始時は該処理の開始時刻（１枚目の動画像の処
理時刻）とし、それ以外の場合には、後述の位置・時刻
制御処理１４により決定される値を用いる。
跡方法の枠組を示す処理フロー図である。時刻制御処理
１１は、逐次入力される動画像の時刻を現時刻とし、該
現時刻から遡るある時刻を基準時刻とする。基準時物と
現時刻の差が一定時間に満たない場合は、その差が一定
時間になるまで待ち、現時刻を調整する。基準時刻は、
処理の開始時は該処理の開始時刻（１枚目の動画像の処
理時刻）とし、それ以外の場合には、後述の位置・時刻
制御処理１４により決定される値を用いる。
【００１１】画像蓄積処理１２は、基準時刻以降現時刻
までの連続的に入力される複数の動画像と、基準時刻の
画像（基準画像）と、動画像中の追跡する物体（対象物
体）の基準時刻における位置（基準位置）をメモリ内に
蓄えておく。
までの連続的に入力される複数の動画像と、基準時刻の
画像（基準画像）と、動画像中の追跡する物体（対象物
体）の基準時刻における位置（基準位置）をメモリ内に
蓄えておく。
【００１２】選択処理１３は、基準画像の基準位置に最
も類似する画像および位置を基準時刻以降現時刻までの
複数の動画像の中から選択する。
も類似する画像および位置を基準時刻以降現時刻までの
複数の動画像の中から選択する。
【００１３】位置・時刻制御処理１４は、上記選択処理
１３により選択された画像の時刻を新たな基準時刻、選
択された位置を基準位置、基準時刻の画像を基準画像と
する。
１３により選択された画像の時刻を新たな基準時刻、選
択された位置を基準位置、基準時刻の画像を基準画像と
する。
【００１４】そして、上記各処理１１〜１４を繰り返
し、連続的に入力される動画像中の追跡対象物体の位置
を逐次把握している。
し、連続的に入力される動画像中の追跡対象物体の位置
を逐次把握している。
【００１５】ここで、選択処理１３についてさらに詳し
く説明する。選択処理は類似度の利用が前提となる。類
似度を求める処理には、様々な方法があるが、代表的な
テンプレートマッチングを例として説明する。例えば、
基準位置の近傍領域をマッチングに用いるテンプレート
領域、テンプレート領域の各点を基準画像の画素値で置
き換えたものをテンプレートとする。ある画像内にテン
プレート領域と同じ形状の領域が与えらると、テンプレ
ート領域におけるテンプレートとの類似度を定義するこ
とができる。最も簡単な方法は、
く説明する。選択処理は類似度の利用が前提となる。類
似度を求める処理には、様々な方法があるが、代表的な
テンプレートマッチングを例として説明する。例えば、
基準位置の近傍領域をマッチングに用いるテンプレート
領域、テンプレート領域の各点を基準画像の画素値で置
き換えたものをテンプレートとする。ある画像内にテン
プレート領域と同じ形状の領域が与えらると、テンプレ
ート領域におけるテンプレートとの類似度を定義するこ
とができる。最も簡単な方法は、
【００１６】
【数１】
【００１７】を類似度とする方法である。但し、ｆ
（ｘ，ｙ）は基準画像、ｇ（ｘ，ｙ）は画像、（ｘ0，
ｙ0）をテンプレート領域の中心（基準位置）、（ｘ1，
ｙ1）を類似度を求める領域の中心、Ωをテンプレート
領域とする。この場合、小さい値を示す（ｘ1，ｙ1）ほ
ど、画像のこの点がテンプレートに類似していると言え
る。
（ｘ，ｙ）は基準画像、ｇ（ｘ，ｙ）は画像、（ｘ0，
ｙ0）をテンプレート領域の中心（基準位置）、（ｘ1，
ｙ1）を類似度を求める領域の中心、Ωをテンプレート
領域とする。この場合、小さい値を示す（ｘ1，ｙ1）ほ
ど、画像のこの点がテンプレートに類似していると言え
る。
【００１８】図１の選択処理１３で用いる類似度を求め
る処理は、各点の類似度が数値で得られる処理であれば
よい。例えば、差の絶対値を２乗した合計（Σ｜ｆ−ｇ
｜2)、領域間の相関係数（この場合、値は−１と１の間
になり、大きな値、すなわち１に近い値ほど類似度が高
い）などが考えられる。これは、一般に追跡処理で利用
される手法であり、例えば、谷内田正彦編 コンピュー
タビジョン（丸善、１９９０年発行）では、明るさの相
関として述べられている。一方、背景画像との差の２値
化結果の中心位置を移動物体とするなど、直接物体位置
を求め、類似度が数値で示されない処理は、本発明への
利用は適当でない。
る処理は、各点の類似度が数値で得られる処理であれば
よい。例えば、差の絶対値を２乗した合計（Σ｜ｆ−ｇ
｜2)、領域間の相関係数（この場合、値は−１と１の間
になり、大きな値、すなわち１に近い値ほど類似度が高
い）などが考えられる。これは、一般に追跡処理で利用
される手法であり、例えば、谷内田正彦編 コンピュー
タビジョン（丸善、１９９０年発行）では、明るさの相
関として述べられている。一方、背景画像との差の２値
化結果の中心位置を移動物体とするなど、直接物体位置
を求め、類似度が数値で示されない処理は、本発明への
利用は適当でない。
【００１９】次にテンプレートマッチングを例にして選
択処理を詳述する。追跡しようとする物体の領域にテン
プレート領域を選び、続く時刻の画像において最も類似
する領域を探し出す処理は、追跡しようとする物体の追
跡を行うことに対応する。同じように、あるテンプレー
ト領域に対し、蓄積したすべての画像の中から最も類似
する領域を探し出す処理を類似度に従って行うと、テン
プレートに対して最も類似する画像を同時に選ぶことが
できる。
択処理を詳述する。追跡しようとする物体の領域にテン
プレート領域を選び、続く時刻の画像において最も類似
する領域を探し出す処理は、追跡しようとする物体の追
跡を行うことに対応する。同じように、あるテンプレー
ト領域に対し、蓄積したすべての画像の中から最も類似
する領域を探し出す処理を類似度に従って行うと、テン
プレートに対して最も類似する画像を同時に選ぶことが
できる。
【００２０】図２は、物体の移動に伴い遮蔽が生じる例
について、選択処理をさらに詳細に説明する図である。
図２において、２１は基準画像である。便宜的にこの時
刻（基準時刻）をｔ0 とする。２２は、基準画像内の追
跡対象物体、２３は追跡対象物体２２がやがて隠れる遮
蔽物、２４は追跡の基準となる基準位置である。基準時
刻ｔ0における基準位置２４をＰ0とする。２５−１〜２
５−ｎは基準時刻に続く時刻の画像列であり、画像１，
画像２，…，画像ｎで示す。これらの時刻をｔk＝ｔ0＋
ｋ（ｋ＝１，２，…ｎ）とする。２６−１〜２６−ｎは
画像列２５−１〜２５−ｎの追跡結果位置で、基準画像
２１と画像列中の各画像において基準位置２４に最も類
似すると考えられた物体の位置である。基準位置２４の
Ｐ0に対し、画像列中の各画像の追跡結果位置をＰ1，Ｐ
2，…，Ｐn とする。また、このそれぞれの類似度は、
ｓ1…ｓnとする。
について、選択処理をさらに詳細に説明する図である。
図２において、２１は基準画像である。便宜的にこの時
刻（基準時刻）をｔ0 とする。２２は、基準画像内の追
跡対象物体、２３は追跡対象物体２２がやがて隠れる遮
蔽物、２４は追跡の基準となる基準位置である。基準時
刻ｔ0における基準位置２４をＰ0とする。２５−１〜２
５−ｎは基準時刻に続く時刻の画像列であり、画像１，
画像２，…，画像ｎで示す。これらの時刻をｔk＝ｔ0＋
ｋ（ｋ＝１，２，…ｎ）とする。２６−１〜２６−ｎは
画像列２５−１〜２５−ｎの追跡結果位置で、基準画像
２１と画像列中の各画像において基準位置２４に最も類
似すると考えられた物体の位置である。基準位置２４の
Ｐ0に対し、画像列中の各画像の追跡結果位置をＰ1，Ｐ
2，…，Ｐn とする。また、このそれぞれの類似度は、
ｓ1…ｓnとする。
【００２１】図２では画像１，画像２，…，画像ｎに示
すように、追跡対象物体２２が画像１から遮蔽物２３に
隠れはじめ、画像ｎで再び完全に現れるため、基準画像
２１に対する類似度は、２５−ｎの画像ｎが最も良く、
２５−１〜２５−（ｎ−１）の画像１，画像２，…，画
像ｎ−１はあまり類似しない。類似度ｓi がゼロに近い
ほど類似しているとすると、すべての画像１，画像２，
…，画像ｎ−１に対し、ｓn＜ｓi（ｉ＝１，２，…，(n
-1））が成り立つ。
すように、追跡対象物体２２が画像１から遮蔽物２３に
隠れはじめ、画像ｎで再び完全に現れるため、基準画像
２１に対する類似度は、２５−ｎの画像ｎが最も良く、
２５−１〜２５−（ｎ−１）の画像１，画像２，…，画
像ｎ−１はあまり類似しない。類似度ｓi がゼロに近い
ほど類似しているとすると、すべての画像１，画像２，
…，画像ｎ−１に対し、ｓn＜ｓi（ｉ＝１，２，…，(n
-1））が成り立つ。
【００２２】図２のような場合、選択処理１３では、基
準時刻ｔ0 以降、時刻ｉ＝ｔ1，ｔ2，…，ｔn-1にあた
る画像１，画像２，…，画像ｎ−１をとばし、時刻ｔn
の画像ｎを選ぶこととなる。位置・時刻制御処理１４で
は、該選択された画像ｎを新たな基準画像として、その
時刻ｔnを基準時刻、追跡結果位置Ｐnを基準位置とす
る。これにより、結果的に時間分解能を変更した効果を
生む。
準時刻ｔ0 以降、時刻ｉ＝ｔ1，ｔ2，…，ｔn-1にあた
る画像１，画像２，…，画像ｎ−１をとばし、時刻ｔn
の画像ｎを選ぶこととなる。位置・時刻制御処理１４で
は、該選択された画像ｎを新たな基準画像として、その
時刻ｔnを基準時刻、追跡結果位置Ｐnを基準位置とす
る。これにより、結果的に時間分解能を変更した効果を
生む。
【００２３】図２は、一般的な物体追跡法に対し、時間
分解能を自動的に変化させる本発明手法の基本概念を示
したものであり、個々の処理には高度化のための様々な
変更が可能である。例えば図２では、新たな基準時刻は
基準画像と最も類似すると判断される画像の時刻、基準
画像はその時刻の画像、基準位置は得られた物体位置と
する最も単純な処理例を示した。しかし、例えば基準画
像は、基準時刻の画像１枚から構成するのではなく、以
前の基準画像を平均化したり、重みづけして用いること
も可能である。これは、適当なテンプレートの更新を行
うことに相当する。また、基準位置は、目的や状況にあ
わせて位置を補正を行ったり、テンプレートを用いた場
合にはテンプレートの大きさを変化させたり、回転をさ
せることなどが可能である。
分解能を自動的に変化させる本発明手法の基本概念を示
したものであり、個々の処理には高度化のための様々な
変更が可能である。例えば図２では、新たな基準時刻は
基準画像と最も類似すると判断される画像の時刻、基準
画像はその時刻の画像、基準位置は得られた物体位置と
する最も単純な処理例を示した。しかし、例えば基準画
像は、基準時刻の画像１枚から構成するのではなく、以
前の基準画像を平均化したり、重みづけして用いること
も可能である。これは、適当なテンプレートの更新を行
うことに相当する。また、基準位置は、目的や状況にあ
わせて位置を補正を行ったり、テンプレートを用いた場
合にはテンプレートの大きさを変化させたり、回転をさ
せることなどが可能である。
【００２４】さらに、図２で説明した選択処理を改良
し、対応づけエラーを回避することも可能である。これ
について以下に説明する。
し、対応づけエラーを回避することも可能である。これ
について以下に説明する。
【００２５】追跡対象物体が時間とともに変化する時、
類似度が高くても（数１の例では小さな値をとること）
対応づけが正しくない場合も起こりうる。そこで、図２
で説明した選択処理に対応づけが信頼できるか否かの判
定を組み合せ、例えば対応づけが信頼できるであろうと
考えられる画像および位置に限ったり、信頼できないも
のを除いた上で、最も類似度が高いものを選び、これを
選択処理結果とする。
類似度が高くても（数１の例では小さな値をとること）
対応づけが正しくない場合も起こりうる。そこで、図２
で説明した選択処理に対応づけが信頼できるか否かの判
定を組み合せ、例えば対応づけが信頼できるであろうと
考えられる画像および位置に限ったり、信頼できないも
のを除いた上で、最も類似度が高いものを選び、これを
選択処理結果とする。
【００２６】対応づけが信頼できるか否かの判定は、例
えば次のようにして行う。基準画像の基準位置ｐ0と、
画像ｋ（ｋ＝１，…，ｎ）での追跡結果位置ｐkがすで
にわかっている時、それぞれの追跡結果位置ｐkが信頼
できるか否かを判断する。これには基準画像と画像ｋの
役目を反転させ、追跡結果位置ｐkを基準位置とみなし
て基準画像上に追跡結果位置を求める。基準画像上のこ
の位置を追跡結果位置ｐ0′として、基準位置ｐ0と追跡
結果位置ｐ0′とを比較する。もしこれが一致または非
常に近ければ、追跡結果位置ｐkは信頼できる。一方、
基準位置ｐ0と追跡結果位置ｐ0′との距離が離れてお
り、さらにもう一度追跡結果位置ｐ0′を基準位置とし
て画像ｋ上で追跡した追跡結果位置ｐk′が追跡結果位
置ｐkとほぼ一致するなら、追跡結果位置ｐkは全く信頼
できず、その他の結果が出た場合には、追跡結果位置ｐ
kが信頼できるか否かは特定できないと考えられる。
えば次のようにして行う。基準画像の基準位置ｐ0と、
画像ｋ（ｋ＝１，…，ｎ）での追跡結果位置ｐkがすで
にわかっている時、それぞれの追跡結果位置ｐkが信頼
できるか否かを判断する。これには基準画像と画像ｋの
役目を反転させ、追跡結果位置ｐkを基準位置とみなし
て基準画像上に追跡結果位置を求める。基準画像上のこ
の位置を追跡結果位置ｐ0′として、基準位置ｐ0と追跡
結果位置ｐ0′とを比較する。もしこれが一致または非
常に近ければ、追跡結果位置ｐkは信頼できる。一方、
基準位置ｐ0と追跡結果位置ｐ0′との距離が離れてお
り、さらにもう一度追跡結果位置ｐ0′を基準位置とし
て画像ｋ上で追跡した追跡結果位置ｐk′が追跡結果位
置ｐkとほぼ一致するなら、追跡結果位置ｐkは全く信頼
できず、その他の結果が出た場合には、追跡結果位置ｐ
kが信頼できるか否かは特定できないと考えられる。
【００２７】図３に、対応づけが信頼できない例を示
す。ここで、時刻（基準時刻）ｔ0に３つの物体（人
物）Ａ，Ｂ，Ｃが存在し、そのうちの物体Ａを追跡対象
物体として基準位置ｐ0が与えられたとする。また、ｐ1
〜ｐ6は時刻ｔ1〜ｔ6における追跡結果位置であり、そ
れぞれｔ1とｔ5とｔ6では物体Ａに、ｔ2とｔ3では物体
Ｂに、ｔ4では物体Ｃに与えられたとする。この例で
は、時刻ｔ1では、ｐ0と対応する物体Ａが最も類似する
が、続く時刻ｔ2，ｔ3，ｔ4では遮蔽等の影響で、物体
Ｂ，Ｃの方が類似していると見做されたものである。そ
こで、例えば物体Ｃが追跡結果位置ｐ4となった時刻ｔ4
の画像について、対応づけが信頼できるか否かの判定結
果を調べると、時刻ｔ4における追跡結果位置ｐ4が最も
類似する時刻ｔ0の基準画像上の位置は、物体Ａのｐ0で
はなく、物体Ｃとなる。このためｐ4は信頼できないと
判定される。
す。ここで、時刻（基準時刻）ｔ0に３つの物体（人
物）Ａ，Ｂ，Ｃが存在し、そのうちの物体Ａを追跡対象
物体として基準位置ｐ0が与えられたとする。また、ｐ1
〜ｐ6は時刻ｔ1〜ｔ6における追跡結果位置であり、そ
れぞれｔ1とｔ5とｔ6では物体Ａに、ｔ2とｔ3では物体
Ｂに、ｔ4では物体Ｃに与えられたとする。この例で
は、時刻ｔ1では、ｐ0と対応する物体Ａが最も類似する
が、続く時刻ｔ2，ｔ3，ｔ4では遮蔽等の影響で、物体
Ｂ，Ｃの方が類似していると見做されたものである。そ
こで、例えば物体Ｃが追跡結果位置ｐ4となった時刻ｔ4
の画像について、対応づけが信頼できるか否かの判定結
果を調べると、時刻ｔ4における追跡結果位置ｐ4が最も
類似する時刻ｔ0の基準画像上の位置は、物体Ａのｐ0で
はなく、物体Ｃとなる。このためｐ4は信頼できないと
判定される。
【００２８】選択処理１３で、対応づけが信頼できるも
のに限った処理を組み込んだ場合には、対応づけが信頼
できるとされたすべての画像に対して、ｓn＜ｓiが成り
立つようにｉを選ぶ。信頼できないものを除いた処理に
ついても、同様である。
のに限った処理を組み込んだ場合には、対応づけが信頼
できるとされたすべての画像に対して、ｓn＜ｓiが成り
立つようにｉを選ぶ。信頼できないものを除いた処理に
ついても、同様である。
【００２９】図４は、請求項３の発明の物体追跡装置の
構成例を示す図である。基準時刻格納部３１は、追跡の
基準となる時刻（基準時刻）を蓄えている。基準位置格
納部３２は、基準時刻の追跡対象物体の位置（基準位
置）を格納している。基準画像格納部３３は、基準時刻
に対応する基準画像を格納している。基準画像は、基本
的には基準時刻の画像である。
構成例を示す図である。基準時刻格納部３１は、追跡の
基準となる時刻（基準時刻）を蓄えている。基準位置格
納部３２は、基準時刻の追跡対象物体の位置（基準位
置）を格納している。基準画像格納部３３は、基準時刻
に対応する基準画像を格納している。基準画像は、基本
的には基準時刻の画像である。
【００３０】画像入力部３４は、カメラ映像やファイル
からの連続する画像を入力し、位置・時刻制御３７の制
御下で、各画像に時刻を対応させる。動画像格納部３５
は、画像入力部３４から逐次画像を受け取り、位置・時
刻制御部３７の制御下で基準時間以降現時刻までの動画
像をその時刻と一緒に格納する。位置・時間分解能選択
部３６は、基準時刻格納部３１、基準位置格納部３２、
基準画像格納部３３から基準時刻、基準位置、基準画像
を入力し、また、位置・時刻制御部３７から現時刻を受
け取り、動画像格納部３５内の基準時間以降現時刻まで
の動画像の中から基準画像と最も類似すると判断される
画像、物体位置およびその時刻を選択する。位置・時刻
制御部３７は、位置・時間分解能選択部３６の出力に従
って、新たな基準時刻、基準位置、基準画像を決定し
て、それぞれ格納部３２，３３に格納し、さらに現時刻
を必要な時刻まで進める。
からの連続する画像を入力し、位置・時刻制御３７の制
御下で、各画像に時刻を対応させる。動画像格納部３５
は、画像入力部３４から逐次画像を受け取り、位置・時
刻制御部３７の制御下で基準時間以降現時刻までの動画
像をその時刻と一緒に格納する。位置・時間分解能選択
部３６は、基準時刻格納部３１、基準位置格納部３２、
基準画像格納部３３から基準時刻、基準位置、基準画像
を入力し、また、位置・時刻制御部３７から現時刻を受
け取り、動画像格納部３５内の基準時間以降現時刻まで
の動画像の中から基準画像と最も類似すると判断される
画像、物体位置およびその時刻を選択する。位置・時刻
制御部３７は、位置・時間分解能選択部３６の出力に従
って、新たな基準時刻、基準位置、基準画像を決定し
て、それぞれ格納部３２，３３に格納し、さらに現時刻
を必要な時刻まで進める。
【００３１】図５は、図４中の動画像格納部３５および
位置・時間分解能選択部３６の詳細構成を示す図であ
る。動画像格納部３５はｎ個の画像格納部３５１−１〜
３５１−ｎからなり、基準時刻以降現時刻までの各時刻
の各画像を個々に格納する。各画像にはその時刻を付加
情報として含ませる。位置・時間分解能選択部３６にお
ける物体位置検出部３６１−１〜３６１−ｎは、上記画
像格納部３５１−１〜３５１−ｎの基準時刻以降時刻ま
での各時刻の各画像に対し、基準画像の追跡対象物体位
置に最も類似する物体の位置とその類似度を検出する。
これは通常の追跡処理で実現できる。また、ここでは、
先の対応づけが信頼できるものに限った処理あるいは信
頼できないものを除いた処理を組み込んでもよい。時間
分解能選択部３６２は、上記物体位置検出部３６１−１
〜３６１−ｎのすべての結果中から最も類似度が高いと
された画像の時刻を選ぶ。
位置・時間分解能選択部３６の詳細構成を示す図であ
る。動画像格納部３５はｎ個の画像格納部３５１−１〜
３５１−ｎからなり、基準時刻以降現時刻までの各時刻
の各画像を個々に格納する。各画像にはその時刻を付加
情報として含ませる。位置・時間分解能選択部３６にお
ける物体位置検出部３６１−１〜３６１−ｎは、上記画
像格納部３５１−１〜３５１−ｎの基準時刻以降時刻ま
での各時刻の各画像に対し、基準画像の追跡対象物体位
置に最も類似する物体の位置とその類似度を検出する。
これは通常の追跡処理で実現できる。また、ここでは、
先の対応づけが信頼できるものに限った処理あるいは信
頼できないものを除いた処理を組み込んでもよい。時間
分解能選択部３６２は、上記物体位置検出部３６１−１
〜３６１−ｎのすべての結果中から最も類似度が高いと
された画像の時刻を選ぶ。
【００３２】
【発明の効果】以上のように、本発明では、個々の物体
の特徴を利用しながら自動的に時間分解能を変化させ
て、遮蔽、交差や天候変化により追跡対象物体の形状が
一時的に変化する時刻の画像や対応づけが信頼できない
画像を自動的に無視することにより、不要な時刻の画像
を使用せずに追跡を行うことが可能であり、複数物体の
存在、物体の一時的な遮蔽、物体どおしの交差、天候の
変化による見え方の急激な一時的変化、また追跡の繰り
返しによる誤差の累積がおきやすい場合などにも、長時
間の安定な対象物体の追跡を行うことが可能になる。
の特徴を利用しながら自動的に時間分解能を変化させ
て、遮蔽、交差や天候変化により追跡対象物体の形状が
一時的に変化する時刻の画像や対応づけが信頼できない
画像を自動的に無視することにより、不要な時刻の画像
を使用せずに追跡を行うことが可能であり、複数物体の
存在、物体の一時的な遮蔽、物体どおしの交差、天候の
変化による見え方の急激な一時的変化、また追跡の繰り
返しによる誤差の累積がおきやすい場合などにも、長時
間の安定な対象物体の追跡を行うことが可能になる。
【図１】本発明の物体追跡方法の処理の枠組を示すフロ
ー図である。
ー図である。
【図２】物体の移動に伴い遮蔽が生じる例を用いた選択
処理の詳細を説明する図である。
処理の詳細を説明する図である。
【図３】基準位置と追跡結果位置の対応づけが信頼でき
ない例を示す図である。
ない例を示す図である。
【図４】本発明の物体追跡装置の構成例を示す図であ
る。
る。
【図５】図３の動画像格納部及び位置・時間分解能選択
部の詳細構成例を示す図である。
部の詳細構成例を示す図である。
１１ 時刻制御処理 １２ 画像蓄積処理 １３ 選択処理 １４ 位置・時刻制御処理 ３１ 基準時刻格納部 ３２ 基準位置格納部 ３３ 基準画像格納部 ３４ 画像入力部 ３５ 動画像格納部 ３６ 位置・時間分解能選択部 ３７ 位置・時刻制御部
Claims (3)
- 【請求項１】 入力される動画像中に存在する物体の位
置を逐次追跡する方法において、 追跡の基準の時刻（以下、基準時刻という）と現在の時
刻（以下、現時刻という）との時間差が一定となるよう
に現時刻を制御する処理と、 基準時刻における画像（以下、基準画像という）、その
追跡対象物体位置、および基準時刻から現時刻までの複
数の画像を蓄える処理と、 基準画像およびその追跡対象物体位置に最も類似する画
像および物体の位置（以下、追跡結果位置という）を基
準時刻以降現時刻までの複数の画像の中から選択する処
理と、 選択された画像の時刻を新たな基準時刻とし、該選択さ
れた画像を新たな基準画像、その追跡結果位置を新たな
追跡対象物体位置とする処理と、 を有し、上記各処理を繰り返すことにより、追跡対象物
体位置を逐次把握することを特徴とする物体追跡方法。 - 【請求項２】 請求項１記載の物体追跡方法において、
前記選択処理では、基準時刻以降現時刻までの各画像に
ついて、当該追跡結果位置と基準画像の追跡対象物体位
置との対応づけが信頼できるか否か判定し、対応づけが
信頼できる画像あるいは信頼できないものを除いた画像
を対象にして、基準画像およびその追跡対象物体位置に
最も類似する画像および追跡結果位置を選択することを
特徴とする物体追跡方法。 - 【請求項３】 入力される動画像中に存在する物体の位
置を逐次追跡する装置において、 動画像を入力する画像入力部と、 追跡の基準の時刻（基準時刻）と、基準時刻に対応する
画像（基準画像）、基準時刻における追跡対象物体の位
置を格納する格納部と、 基準時刻に続く各時刻の動画像を格納する動画像格納部
と、 動画像格納部内の各画像の中から基準画像の追跡対象物
体位置に最も類似する物体の位置およびその時の時刻を
選択する位置・時間分解能選択部と、 上記位置・時間分解能選択部の出力に従って新たに基準
時刻、基準画像および追跡対象物体位置を決定して格納
するとともに、現時刻を制御す位置・時刻制御部と、 を有することを特徴とした物体追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7770894A JPH07192136A (ja) | 1993-11-22 | 1994-04-15 | 物体追跡方法および装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-292271 | 1993-11-22 | ||
| JP29227193 | 1993-11-22 | ||
| JP7770894A JPH07192136A (ja) | 1993-11-22 | 1994-04-15 | 物体追跡方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07192136A true JPH07192136A (ja) | 1995-07-28 |
Family
ID=26418779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7770894A Pending JPH07192136A (ja) | 1993-11-22 | 1994-04-15 | 物体追跡方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07192136A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046647A (ja) * | 2002-07-12 | 2004-02-12 | Univ Waseda | 動画像データに基づく移動物体追跡方法及び装置 |
| JP2007272733A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2015179438A (ja) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | 画像処理装置、移動速度判定方法、および移動速度判定プログラム |
| JP2015179439A (ja) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | 画像処理装置、追跡方法、および追跡プログラム |
| JP2019174292A (ja) * | 2018-03-28 | 2019-10-10 | 株式会社トプコン | 測量装置、測量方法 |
| WO2024042705A1 (ja) * | 2022-08-26 | 2024-02-29 | 日本電気株式会社 | 映像処理システム、映像処理方法、及び映像処理装置 |
-
1994
- 1994-04-15 JP JP7770894A patent/JPH07192136A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046647A (ja) * | 2002-07-12 | 2004-02-12 | Univ Waseda | 動画像データに基づく移動物体追跡方法及び装置 |
| JP2007272733A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2015179438A (ja) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | 画像処理装置、移動速度判定方法、および移動速度判定プログラム |
| JP2015179439A (ja) * | 2014-03-19 | 2015-10-08 | オムロン株式会社 | 画像処理装置、追跡方法、および追跡プログラム |
| JP2019174292A (ja) * | 2018-03-28 | 2019-10-10 | 株式会社トプコン | 測量装置、測量方法 |
| WO2024042705A1 (ja) * | 2022-08-26 | 2024-02-29 | 日本電気株式会社 | 映像処理システム、映像処理方法、及び映像処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102192830B1 (ko) | 트랙킹 네트워크를 포함한 CNN(Convolutional Neural Network)을 사용하여 이미지 상의 객체에 대응하는 바운딩 박스를 획득하기 위한 방법 및 이를 이용한 장치 | |
| CN110309706B (zh) | 人脸关键点检测方法、装置、计算机设备及存储介质 | |
| CN107886048B (zh) | 目标跟踪方法及系统、存储介质及电子终端 | |
| US5210799A (en) | System and method for ranking and extracting salient contours for target recognition | |
| US20090296985A1 (en) | Efficient Multi-Hypothesis Multi-Human 3D Tracking in Crowded Scenes | |
| CN109978911B (zh) | 一种图像特征点跟踪方法和相机 | |
| US8098903B2 (en) | Apparatus for adjusting focus and exposure based on a face image and method of controlling same | |
| CN109902619B (zh) | 图像闭环检测方法及系统 | |
| CN111445526A (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| CN106447701A (zh) | 用于图像相似性确定、对象检测和跟踪的方法和装置 | |
| JP2008262331A (ja) | オブジェクト追跡装置およびオブジェクト追跡方法 | |
| CN105513083A (zh) | 一种ptam摄像机跟踪方法及装置 | |
| CN101710427A (zh) | 面部检测器和面部检测方法 | |
| CN111027555B (zh) | 一种车牌识别方法、装置及电子设备 | |
| Kataria et al. | Improving structure from motion with reliable resectioning | |
| JPH07192136A (ja) | 物体追跡方法および装置 | |
| Holzer et al. | Multilayer adaptive linear predictors for real-time tracking | |
| US8050455B2 (en) | Photographing apparatus and method for controlling target tracking | |
| KR101124560B1 (ko) | 동영상 내의 자동 객체화 방법 및 객체 서비스 저작 장치 | |
| CN111640134A (zh) | 人脸跟踪方法、装置、计算机设备及其存储装置 | |
| JP3505872B2 (ja) | 画像内動体追尾装置 | |
| EP1211639A2 (en) | Method and apparatus for extracting object from video image | |
| CN111986231A (zh) | 一种多目标跟踪方法及系统 | |
| US20220392107A1 (en) | Image processing apparatus, image processing method, image capturing apparatus, and non-transitory computer-readable storage medium | |
| EP4174770A1 (en) | Monocular-vision-based detection of moving objects |