JPH04329490A - 自動追尾装置 - Google Patents
自動追尾装置Info
- Publication number
- JPH04329490A JPH04329490A JP3100040A JP10004091A JPH04329490A JP H04329490 A JPH04329490 A JP H04329490A JP 3100040 A JP3100040 A JP 3100040A JP 10004091 A JP10004091 A JP 10004091A JP H04329490 A JPH04329490 A JP H04329490A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- similarity
- histogram
- target
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005484 gravity Effects 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、デジタル画像信号を用
いて、対象物を追尾する自動追尾装置に関するものであ
る。
いて、対象物を追尾する自動追尾装置に関するものであ
る。
【０００２】
【従来の技術】画像のある部分が、他の画像のどの部分
に対応するのかを求める方法に、一般にはテンプレート
マッチングという手法が用いられている。テンプレート
マッチング法とは検出しようとする対象を表すテンプレ
ートを画像の全部または一部について移動させながら、
それぞれの位置についてテンプレートと重なる画像の部
分パターンとの相関値を求め、その値が最大となる位置
を求めるという方法である。したがって、最初に追尾し
たい対象物のテンプレートを求めておき、画像フレーム
毎にテンプレートマッチングを行うことにより、動画像
における、テンプレートによる対象物の追尾が実現する
。
に対応するのかを求める方法に、一般にはテンプレート
マッチングという手法が用いられている。テンプレート
マッチング法とは検出しようとする対象を表すテンプレ
ートを画像の全部または一部について移動させながら、
それぞれの位置についてテンプレートと重なる画像の部
分パターンとの相関値を求め、その値が最大となる位置
を求めるという方法である。したがって、最初に追尾し
たい対象物のテンプレートを求めておき、画像フレーム
毎にテンプレートマッチングを行うことにより、動画像
における、テンプレートによる対象物の追尾が実現する
。
【０００３】
【発明が解決しようとする課題】しかしながら上記のよ
うな従来の方法は、対象物の形が不変な場合は特に問題
無いが、人間などのように形状変化が大きいものを追尾
しようとすると、追尾しようとする対象物との相関が低
くなるため対象物以外の位置で相関値が最大となる場合
があり、追尾に失敗してしまうという課題を有していた
。
うな従来の方法は、対象物の形が不変な場合は特に問題
無いが、人間などのように形状変化が大きいものを追尾
しようとすると、追尾しようとする対象物との相関が低
くなるため対象物以外の位置で相関値が最大となる場合
があり、追尾に失敗してしまうという課題を有していた
。
【０００４】本発明はかかる従来の自動追尾装置の課題
に鑑み、対象物の形が不変な場合に限らず、人間などの
ように形状変化が大きいものであっても追尾することの
できる自動追尾装置を提供することを目的とする。
に鑑み、対象物の形が不変な場合に限らず、人間などの
ように形状変化が大きいものであっても追尾することの
できる自動追尾装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明は、初期設定時に
、対象物を追尾するための対象枠を設定する対象枠設定
手段と、対象枠の外側を示す類似度枠を設定する類似度
枠設定手段と、対象枠内の特徴量のヒストグラムを求め
る第１のヒストグラム処理手段と、類似度枠内の特徴量
ヒストグラムを求める第２のヒストグラム処理手段と、
初期設定時に、第１のヒストグラム処理手段によって得
られたヒストグラムと第２のヒストグラム処理手段によ
って得られたヒストグラムとから類似度を判定する類似
度判定手段と、類似度が所定値より低い特徴量の中から
追尾に用いる代表特徴量を決定する代表特徴量決定手段
と、代表特徴量により対象位置を探索する対象位置探索
手段とを備えた自動追尾装置である。
、対象物を追尾するための対象枠を設定する対象枠設定
手段と、対象枠の外側を示す類似度枠を設定する類似度
枠設定手段と、対象枠内の特徴量のヒストグラムを求め
る第１のヒストグラム処理手段と、類似度枠内の特徴量
ヒストグラムを求める第２のヒストグラム処理手段と、
初期設定時に、第１のヒストグラム処理手段によって得
られたヒストグラムと第２のヒストグラム処理手段によ
って得られたヒストグラムとから類似度を判定する類似
度判定手段と、類似度が所定値より低い特徴量の中から
追尾に用いる代表特徴量を決定する代表特徴量決定手段
と、代表特徴量により対象位置を探索する対象位置探索
手段とを備えた自動追尾装置である。
【０００６】また、本発明は、初期設定時に、対象物を
追尾するための対象枠を設定する対象枠設定手段と、対
象枠の外側を示す類似度枠を設定する類似度枠設定手段
と、対象枠内の特徴量のヒストグラムを求める第１のヒ
ストグラム処理手段と、類似度枠内の特徴量ヒストグラ
ムを求める第２のヒストグラム処理手段と、初期設定時
に、第１のヒストグラム処理手段によって得られたヒス
トグラムと第２のヒストグラム処理手段によって得られ
たヒストグラムとから、追尾に用いる複数の特徴量を候
補特徴量として選択する候補特徴量選択手段と、対象追
尾時に、複数の候補特徴量の中から追尾に用いる代表特
徴量を選択する代表特徴量選択手段と、代表特徴量によ
り対象位置を探索する対象位置探索手段とを備えた自動
追尾装置である。
追尾するための対象枠を設定する対象枠設定手段と、対
象枠の外側を示す類似度枠を設定する類似度枠設定手段
と、対象枠内の特徴量のヒストグラムを求める第１のヒ
ストグラム処理手段と、類似度枠内の特徴量ヒストグラ
ムを求める第２のヒストグラム処理手段と、初期設定時
に、第１のヒストグラム処理手段によって得られたヒス
トグラムと第２のヒストグラム処理手段によって得られ
たヒストグラムとから、追尾に用いる複数の特徴量を候
補特徴量として選択する候補特徴量選択手段と、対象追
尾時に、複数の候補特徴量の中から追尾に用いる代表特
徴量を選択する代表特徴量選択手段と、代表特徴量によ
り対象位置を探索する対象位置探索手段とを備えた自動
追尾装置である。
【０００７】
【作用】本発明は前記した構成により、初期設定時に、
対象物を示す対象枠と対象物の外側を示す類似度枠を設
定し、対象枠内の特徴量のヒストグラムと類似度枠内の
特徴量のヒストグラムを求め、そのヒストグラムの類似
度が所定値より低い特徴量の中から追尾に用いる代表特
徴量を決定し、追尾時には、例えば、対象枠から求めた
探索範囲内における代表特徴量の重心位置を求め、それ
と、初期設定時に求めておいた重心位置と対象枠との位
置関係とを用いて対象枠の位置を決定する。
対象物を示す対象枠と対象物の外側を示す類似度枠を設
定し、対象枠内の特徴量のヒストグラムと類似度枠内の
特徴量のヒストグラムを求め、そのヒストグラムの類似
度が所定値より低い特徴量の中から追尾に用いる代表特
徴量を決定し、追尾時には、例えば、対象枠から求めた
探索範囲内における代表特徴量の重心位置を求め、それ
と、初期設定時に求めておいた重心位置と対象枠との位
置関係とを用いて対象枠の位置を決定する。
【０００８】また、初期設定時に、対象物を示す対象枠
と対象物の外側を示す類似度枠を設定し、対象枠内の特
徴量のヒストグラムと類似度枠内の特徴量のヒストグラ
ムを求め、そのヒストグラムの類似度をもとに追尾に用
いる複数の候補特徴量を決定し、追尾時には、例えば、
対象枠内の特徴量のヒストグラムと類似度枠内の特徴量
のヒストグラムとの類似度を用いて、候補特徴量の中か
ら代表特徴量を選択し、対象枠から求めた探索範囲内に
おける代表特徴量の重心位置を求め、それと、初期設定
時に求めておいた重心位置と対象枠との位置関係とを用
いて対象枠の位置を決定する。
と対象物の外側を示す類似度枠を設定し、対象枠内の特
徴量のヒストグラムと類似度枠内の特徴量のヒストグラ
ムを求め、そのヒストグラムの類似度をもとに追尾に用
いる複数の候補特徴量を決定し、追尾時には、例えば、
対象枠内の特徴量のヒストグラムと類似度枠内の特徴量
のヒストグラムとの類似度を用いて、候補特徴量の中か
ら代表特徴量を選択し、対象枠から求めた探索範囲内に
おける代表特徴量の重心位置を求め、それと、初期設定
時に求めておいた重心位置と対象枠との位置関係とを用
いて対象枠の位置を決定する。
【０００９】
【実施例】図１は本発明の第１の実施例における自動追
尾装置のブロック図を示すものである。図１において、
１は画像信号入力端子、２は画像信号入力端子１から得
られる画像信号を濃度レベルに分類する色濃度変換部、
３は操作者が対象枠を設定する対象枠設定部、４はその
対象枠の位置を記憶する対象枠位置記憶部、５はその対
象枠の位置から類似度枠を設定する類似度枠設定部、６
はその類似度枠の位置を記憶する類似度枠位置記憶部、
７はその対象枠内の濃度ヒストグラムを求めるヒストグ
ラム処理部、８は前記類似度枠内の濃度ヒストグラムを
求めるヒストグラム処理部、９はヒストグラム処理部７
によって得られた濃度ヒストグラムとヒストグラム処理
部８によって得られた濃度ヒストグラムとから類似度を
判定するための類似度判定部、１０は類似度判定部９の
結果を用いて対象物の追尾に用いる色（以下代表色と称
す）を決定する代表色決定部、１１はその代表色を記憶
する代表色記憶部、１２は対象枠位置記憶部４に記憶さ
れている対象枠の位置をもとに対象物の追尾できる範囲
を決定する探索範囲決定部、１３は探索範囲内での代表
色の重心位置を求める重心位置計算部、１４は重心位置
と対象枠位置との相対位置関係を求める相対位置計算部
、１５はその相対位置を記憶する相対位置記憶部、１６
はその重心位置と相対位置とから対象枠の位置を求める
対象枠位置計算部である。
尾装置のブロック図を示すものである。図１において、
１は画像信号入力端子、２は画像信号入力端子１から得
られる画像信号を濃度レベルに分類する色濃度変換部、
３は操作者が対象枠を設定する対象枠設定部、４はその
対象枠の位置を記憶する対象枠位置記憶部、５はその対
象枠の位置から類似度枠を設定する類似度枠設定部、６
はその類似度枠の位置を記憶する類似度枠位置記憶部、
７はその対象枠内の濃度ヒストグラムを求めるヒストグ
ラム処理部、８は前記類似度枠内の濃度ヒストグラムを
求めるヒストグラム処理部、９はヒストグラム処理部７
によって得られた濃度ヒストグラムとヒストグラム処理
部８によって得られた濃度ヒストグラムとから類似度を
判定するための類似度判定部、１０は類似度判定部９の
結果を用いて対象物の追尾に用いる色（以下代表色と称
す）を決定する代表色決定部、１１はその代表色を記憶
する代表色記憶部、１２は対象枠位置記憶部４に記憶さ
れている対象枠の位置をもとに対象物の追尾できる範囲
を決定する探索範囲決定部、１３は探索範囲内での代表
色の重心位置を求める重心位置計算部、１４は重心位置
と対象枠位置との相対位置関係を求める相対位置計算部
、１５はその相対位置を記憶する相対位置記憶部、１６
はその重心位置と相対位置とから対象枠の位置を求める
対象枠位置計算部である。
【００１０】以上のように構成された第１の実施例の自
動追尾装置について、以下その動作を説明する。
動追尾装置について、以下その動作を説明する。
【００１１】入力端子１に画像信号が入力されと、色濃
度変換部２では、画像信号をもとに色濃度変換を行う。 ここで色濃度変換とは、画像の各画素が、濃度レベルの
どの度数に含まれるかを求めることである。例えば図２
のように、入力される画像信号がＲＧＢ（赤，緑，青）
の３次元データの場合に、各信号について０から最大値
までを８分割すると、濃度レベルは８×８×８で５１２
分割されることになる。またひとつの画素について表現
すると、例えば画像信号のＲＧＢのデータが斜線で示し
た範囲内に存在すれば、Ｒ（赤）：度数３、Ｇ（緑）：
度数０、Ｂ（青）：度数５というようになり、画素の色
は、ＲＧＢを各度数で混ぜたものとなる。
度変換部２では、画像信号をもとに色濃度変換を行う。 ここで色濃度変換とは、画像の各画素が、濃度レベルの
どの度数に含まれるかを求めることである。例えば図２
のように、入力される画像信号がＲＧＢ（赤，緑，青）
の３次元データの場合に、各信号について０から最大値
までを８分割すると、濃度レベルは８×８×８で５１２
分割されることになる。またひとつの画素について表現
すると、例えば画像信号のＲＧＢのデータが斜線で示し
た範囲内に存在すれば、Ｒ（赤）：度数３、Ｇ（緑）：
度数０、Ｂ（青）：度数５というようになり、画素の色
は、ＲＧＢを各度数で混ぜたものとなる。
【００１２】次に、まず、初期設定時の動作について説
明する。初期設定時において操作者は、図３のように、
追尾する対象物２０、例えば人物を任意に決定し、対象
枠設定部３によって、対象物２０のまわりに矩形の対象
枠２１を設定する。対象枠位置記憶部４は、この対象枠
２１の位置と大きさを記憶する。例えば、対象枠２１の
左上の座標（ｉ，ｊ）と対象枠２１の縦，横の長さをそ
れぞれ記憶する。類似度枠設定部５では、対象枠位置記
憶部４から対象枠の位置と大きさを得て、類似度枠を設
定し、類似度枠位置記憶部６で類似度枠の位置と大きさ
を記憶する。その類似度枠の決定法は、例えば図４に示
すように、対象枠２２（２１）の外側に、それを囲むよ
うに、縦横それぞれ対象枠の√２倍の大きさの類似度枠
２３を設定する。このようにすると、対象枠２２と、類
似度枠２３とに囲まれた部分（斜線で示した部分、以下
類似度枠内と称す）の面積が対象枠内の面積と同じにな
る。
明する。初期設定時において操作者は、図３のように、
追尾する対象物２０、例えば人物を任意に決定し、対象
枠設定部３によって、対象物２０のまわりに矩形の対象
枠２１を設定する。対象枠位置記憶部４は、この対象枠
２１の位置と大きさを記憶する。例えば、対象枠２１の
左上の座標（ｉ，ｊ）と対象枠２１の縦，横の長さをそ
れぞれ記憶する。類似度枠設定部５では、対象枠位置記
憶部４から対象枠の位置と大きさを得て、類似度枠を設
定し、類似度枠位置記憶部６で類似度枠の位置と大きさ
を記憶する。その類似度枠の決定法は、例えば図４に示
すように、対象枠２２（２１）の外側に、それを囲むよ
うに、縦横それぞれ対象枠の√２倍の大きさの類似度枠
２３を設定する。このようにすると、対象枠２２と、類
似度枠２３とに囲まれた部分（斜線で示した部分、以下
類似度枠内と称す）の面積が対象枠内の面積と同じにな
る。
【００１３】操作者による対象枠２１の設定が終了した
後の第１フレームの動作について説明する。ヒストグラ
ム処理部７では、色濃度変換された画像信号をもとに対
象枠２１内の色濃度ヒストグラムを計算し、ヒストグラ
ム処理部８では、色濃度変換された画像信号をもとに類
似度枠内の色濃度ヒストグラムを計算する。類似度判定
部９では、ヒストグラム処理部７によって得られた色濃
度ヒストグラムとヒストグラム処理部８によって得られ
た色濃度ヒストグラムとから例えば次の数式１により各
色濃度レベルｎについて類似度（ｎ）を求める。類似度
（ｎ）＝（類似度枠内における濃度レベルｎの画素数）
／（対象枠内における濃度レベルｎの画素数）
・・・
（１）このようにして求めた類似度について、所定の値
（例えば０．５）より小さいものについて類似度が低い
と判定する。代表色決定部１０では類似度判定部９によ
り類似度が低いと判定されたものの中から、例えば画素
数の１番多いものが選択され、選択した代表色を代表色
記憶部１１に記憶する。代表色記憶部１１の内容は第１
フレーム以後固定する。一方、探索範囲決定部１２では
、対象枠位置記憶部４に記憶されている対象枠２１の位
置と大きさから探索範囲を決定するが、初期設定時には
対象枠２１の位置と大きさをそのまま出力する。重心位
置計算部１３では、図５に示すように、探索範囲決定部
１２により決定された探索範囲内（対象枠２５（２１）
内）での代表色の重心位置２７を求める。相対位置計算
部１４では、重心位置計算部１３による代表色の重心位
置２７と対象枠位置記憶部４からの対象枠２５（２１）
の位置情報とから、重心位置２７と対象枠２５との相対
位置関係を求め、相対位置記憶部１５に記憶する。相対
位置記憶部１５の内容は第１フレーム以後固定する。
後の第１フレームの動作について説明する。ヒストグラ
ム処理部７では、色濃度変換された画像信号をもとに対
象枠２１内の色濃度ヒストグラムを計算し、ヒストグラ
ム処理部８では、色濃度変換された画像信号をもとに類
似度枠内の色濃度ヒストグラムを計算する。類似度判定
部９では、ヒストグラム処理部７によって得られた色濃
度ヒストグラムとヒストグラム処理部８によって得られ
た色濃度ヒストグラムとから例えば次の数式１により各
色濃度レベルｎについて類似度（ｎ）を求める。類似度
（ｎ）＝（類似度枠内における濃度レベルｎの画素数）
／（対象枠内における濃度レベルｎの画素数）
・・・
（１）このようにして求めた類似度について、所定の値
（例えば０．５）より小さいものについて類似度が低い
と判定する。代表色決定部１０では類似度判定部９によ
り類似度が低いと判定されたものの中から、例えば画素
数の１番多いものが選択され、選択した代表色を代表色
記憶部１１に記憶する。代表色記憶部１１の内容は第１
フレーム以後固定する。一方、探索範囲決定部１２では
、対象枠位置記憶部４に記憶されている対象枠２１の位
置と大きさから探索範囲を決定するが、初期設定時には
対象枠２１の位置と大きさをそのまま出力する。重心位
置計算部１３では、図５に示すように、探索範囲決定部
１２により決定された探索範囲内（対象枠２５（２１）
内）での代表色の重心位置２７を求める。相対位置計算
部１４では、重心位置計算部１３による代表色の重心位
置２７と対象枠位置記憶部４からの対象枠２５（２１）
の位置情報とから、重心位置２７と対象枠２５との相対
位置関係を求め、相対位置記憶部１５に記憶する。相対
位置記憶部１５の内容は第１フレーム以後固定する。
【００１４】次に、第２フレームの説明をする。既に第
１フレームにおいて、対象枠設定部３によって対象枠２
５が決定され、対象枠位置記憶部４に記憶されている。 また探索に用いる代表色の濃度レベルは代表色記憶部１
１に記憶されており、代表色の重心２７と対象枠２５と
の相対位置関係も、相対位置記憶部１５に記憶されてい
る。
１フレームにおいて、対象枠設定部３によって対象枠２
５が決定され、対象枠位置記憶部４に記憶されている。 また探索に用いる代表色の濃度レベルは代表色記憶部１
１に記憶されており、代表色の重心２７と対象枠２５と
の相対位置関係も、相対位置記憶部１５に記憶されてい
る。
【００１５】まず、入力端子１に第２フレームの画像信
号が入力され、色濃度変換部２で、第１フレームの場合
と同様に画像信号の色濃度変換を行い重心位置計算部１
３に供給される。一方、探索範囲決定部１２では、対象
枠位置記憶部４に記憶されている対象枠２５の位置と大
きさから探索範囲として対象枠２５のまわりの一定範囲
を決定する。例えば、図４のように対象枠２２（２５）
のまわりに探索範囲２４を設定する。重心位置計算部１
３では、探索範囲決定部１２により決定された探索範囲
内について、代表色記憶部１１に記憶されている代表色
の重心位置を求める。対象枠位置計算部１６では重心位
置計算部１３で求めた重心位置と相対位置記憶部１５に
記憶されている相対位置とから対象枠の位置を求め対象
位置として出力する。そして、対象枠位置記憶部４に記
憶させ、前の位置を更新する。第３フレーム以後におい
ては第２フレームの処理を繰り返す。対象位置探索手段
は、それら探索範囲決定部１２、重心位置計算部１３、
等によって構成される。
号が入力され、色濃度変換部２で、第１フレームの場合
と同様に画像信号の色濃度変換を行い重心位置計算部１
３に供給される。一方、探索範囲決定部１２では、対象
枠位置記憶部４に記憶されている対象枠２５の位置と大
きさから探索範囲として対象枠２５のまわりの一定範囲
を決定する。例えば、図４のように対象枠２２（２５）
のまわりに探索範囲２４を設定する。重心位置計算部１
３では、探索範囲決定部１２により決定された探索範囲
内について、代表色記憶部１１に記憶されている代表色
の重心位置を求める。対象枠位置計算部１６では重心位
置計算部１３で求めた重心位置と相対位置記憶部１５に
記憶されている相対位置とから対象枠の位置を求め対象
位置として出力する。そして、対象枠位置記憶部４に記
憶させ、前の位置を更新する。第３フレーム以後におい
ては第２フレームの処理を繰り返す。対象位置探索手段
は、それら探索範囲決定部１２、重心位置計算部１３、
等によって構成される。
【００１６】以上のように本実施例によれば、探索範囲
内において、代表色の画素の重心を求め、初期設定時で
決定されている、代表色の重心と対象枠との相対位置関
係を用いて、新たに対象枠の位置を再計算することによ
り対象物の追尾を行うため、人間などのように、形状が
変化しても色情報の変化しない対象物に対しては、良好
に追従を行うことができる。
内において、代表色の画素の重心を求め、初期設定時で
決定されている、代表色の重心と対象枠との相対位置関
係を用いて、新たに対象枠の位置を再計算することによ
り対象物の追尾を行うため、人間などのように、形状が
変化しても色情報の変化しない対象物に対しては、良好
に追従を行うことができる。
【００１７】図６は本発明の第２の実施例における自動
追尾装置のブロック図を示すものである。図６において
、図１と同じ手段には、同一番号を付しその説明を省略
する。３０は候補色選択部、３１は候補色記憶部、３２
は代表色決定部、３３は候補色相対位置計算部、３４は
候補色相対位置記憶部である。以上のように構成された
第２の実施例の自動追尾装置について、以下その動作を
説明する。
追尾装置のブロック図を示すものである。図６において
、図１と同じ手段には、同一番号を付しその説明を省略
する。３０は候補色選択部、３１は候補色記憶部、３２
は代表色決定部、３３は候補色相対位置計算部、３４は
候補色相対位置記憶部である。以上のように構成された
第２の実施例の自動追尾装置について、以下その動作を
説明する。
【００１８】まず、初期設定時の動作について説明する
。操作者は、対象枠設定部３によって、図３のように対
象物のまわりに矩形の対象枠２１を設定し、対象枠位置
記憶部４に、対象枠２１の位置と大きさを記憶する。 類似度枠設定部５では、対象枠位置記憶部４から対象枠
２１の位置と大きさを得て、図４のように類似度枠２３
を設定し、類似度枠位置記憶部６で類似度枠２３の位置
と大きさを記憶する。
。操作者は、対象枠設定部３によって、図３のように対
象物のまわりに矩形の対象枠２１を設定し、対象枠位置
記憶部４に、対象枠２１の位置と大きさを記憶する。 類似度枠設定部５では、対象枠位置記憶部４から対象枠
２１の位置と大きさを得て、図４のように類似度枠２３
を設定し、類似度枠位置記憶部６で類似度枠２３の位置
と大きさを記憶する。
【００１９】操作者による対象枠２１（２３）の設定が
終了した後の第１フレームで、ヒストグラム処理部７で
は、色濃度変換された画像信号をもとに対象枠内の色濃
度ヒストグラムを計算し、ヒストグラム処理部８では、
色濃度変換された画像信号をもとに類似度枠内の色濃度
ヒストグラムを計算する。類似度判定部９では、ヒスト
グラム処理部７によって得られた対象枠内の色濃度ヒス
トグラムとヒストグラム処理部８によって得られた類似
度枠内の色濃度ヒストグラムとから各色濃度レベルにつ
いて類似度を求める。このようにして求めた類似度につ
いて、所定の値（例えば０．５）より小さいものについ
て類似度が低いと判定する。候補色選択部３０では、類
似度判定部９により類似度が低いと判定されたもの全て
を候補色として選択し、選択された候補色を候補色記憶
部３１に記憶しておく。候補色記憶部３１の内容は、第
１フレーム以後固定する。また、代表色決定部３２は、
初期設定時にはその候補色記憶部３１に記憶されている
候補色を全て選択し、重心計算部１３に出力する。一方
、探索範囲決定部１２は、初期設定時には対象枠２１（
２３）の位置と大きさをそのまま出力する。重心位置計
算部１３では、探索範囲決定部１２により決定された探
索範囲内（対象枠内）での全ての候補色の重心位置をそ
れぞれ求める。候補色相対位置計算部３３では、重心位
置計算部１３による各候補色の重心位置と対象枠位置記
憶部４からの対象枠位置情報とから、各候補色における
重心位置と対象枠との相対位置関係を求め、候補色相対
位置記憶部３４に記憶する。候補色相対位置記憶部３４
の内容は第１フレーム以後固定する。
終了した後の第１フレームで、ヒストグラム処理部７で
は、色濃度変換された画像信号をもとに対象枠内の色濃
度ヒストグラムを計算し、ヒストグラム処理部８では、
色濃度変換された画像信号をもとに類似度枠内の色濃度
ヒストグラムを計算する。類似度判定部９では、ヒスト
グラム処理部７によって得られた対象枠内の色濃度ヒス
トグラムとヒストグラム処理部８によって得られた類似
度枠内の色濃度ヒストグラムとから各色濃度レベルにつ
いて類似度を求める。このようにして求めた類似度につ
いて、所定の値（例えば０．５）より小さいものについ
て類似度が低いと判定する。候補色選択部３０では、類
似度判定部９により類似度が低いと判定されたもの全て
を候補色として選択し、選択された候補色を候補色記憶
部３１に記憶しておく。候補色記憶部３１の内容は、第
１フレーム以後固定する。また、代表色決定部３２は、
初期設定時にはその候補色記憶部３１に記憶されている
候補色を全て選択し、重心計算部１３に出力する。一方
、探索範囲決定部１２は、初期設定時には対象枠２１（
２３）の位置と大きさをそのまま出力する。重心位置計
算部１３では、探索範囲決定部１２により決定された探
索範囲内（対象枠内）での全ての候補色の重心位置をそ
れぞれ求める。候補色相対位置計算部３３では、重心位
置計算部１３による各候補色の重心位置と対象枠位置記
憶部４からの対象枠位置情報とから、各候補色における
重心位置と対象枠との相対位置関係を求め、候補色相対
位置記憶部３４に記憶する。候補色相対位置記憶部３４
の内容は第１フレーム以後固定する。
【００２０】次に、第２フレームの説明をする。既に前
フレームにおいて、対象枠設定部３によって対象枠が決
定されおり、対象枠位置記憶部４に対象枠の位置が、類
似度枠位置記憶部６に類似度枠の位置がそれぞれ記憶さ
れており、各候補色と対象枠との相対位置関係も、候補
色相対位置記憶部３４に記憶されている。まず、入力端
子１に第２フレームの画像信号が入力され、色濃度変換
部２で、第１フレームの場合と同様に画像信号の色濃度
変換を行いヒストグラム処理部７，８と重心位置計算部
１３に供給される。ヒストグラム処理部７では、対象枠
内の色濃度ヒストグラムを計算し、ヒストグラム処理部
８では、類似度枠内の色濃度ヒストグラムを計算する。 類似度判定部９では、ヒストグラム処理部７によって得
られた色濃度ヒストグラムとヒストグラム処理部８によ
って得られた色濃度ヒストグラムとから第１フレームの
場合と同様にして類似度を求め、代表色決定部３２に出
力する。代表色決定部３２では候補色記憶部３１に記憶
されている候補色の中から、例えば、類似度判定部９に
より類似度が最も低いと判定されたものを選択する。探
索範囲決定部１２では、対象枠位置記憶部４に記憶され
ている対象枠の位置と大きさから探索範囲として例えば
図４のように対象枠のまわりの一定範囲を決定する。重
心位置計算部１３では、探索範囲決定部１２により決定
された探索範囲内について、代表色決定部３２で決定さ
れた代表色の重心位置を求める。対象枠位置計算部１６
では重心位置計算部１３で求めた重心位置と候補色相対
位置記憶部３４に記憶されている候補色相対位置のうち
の代表色の相対位置とから対象枠の位置を求め対象位置
として出力する。そして、対象枠位置記憶部４に記憶さ
せ、前の位置を更新する。また、類似度枠設定部５によ
り類似度枠の位置が求められ、類似度枠記憶部６の内容
も更新される。第３フレーム以後においては第２フレー
ムの処理を繰り返す。対象位置探索手段は、それら探索
範囲決定部１２、重心位置計算部１３、等によって構成
される。
フレームにおいて、対象枠設定部３によって対象枠が決
定されおり、対象枠位置記憶部４に対象枠の位置が、類
似度枠位置記憶部６に類似度枠の位置がそれぞれ記憶さ
れており、各候補色と対象枠との相対位置関係も、候補
色相対位置記憶部３４に記憶されている。まず、入力端
子１に第２フレームの画像信号が入力され、色濃度変換
部２で、第１フレームの場合と同様に画像信号の色濃度
変換を行いヒストグラム処理部７，８と重心位置計算部
１３に供給される。ヒストグラム処理部７では、対象枠
内の色濃度ヒストグラムを計算し、ヒストグラム処理部
８では、類似度枠内の色濃度ヒストグラムを計算する。 類似度判定部９では、ヒストグラム処理部７によって得
られた色濃度ヒストグラムとヒストグラム処理部８によ
って得られた色濃度ヒストグラムとから第１フレームの
場合と同様にして類似度を求め、代表色決定部３２に出
力する。代表色決定部３２では候補色記憶部３１に記憶
されている候補色の中から、例えば、類似度判定部９に
より類似度が最も低いと判定されたものを選択する。探
索範囲決定部１２では、対象枠位置記憶部４に記憶され
ている対象枠の位置と大きさから探索範囲として例えば
図４のように対象枠のまわりの一定範囲を決定する。重
心位置計算部１３では、探索範囲決定部１２により決定
された探索範囲内について、代表色決定部３２で決定さ
れた代表色の重心位置を求める。対象枠位置計算部１６
では重心位置計算部１３で求めた重心位置と候補色相対
位置記憶部３４に記憶されている候補色相対位置のうち
の代表色の相対位置とから対象枠の位置を求め対象位置
として出力する。そして、対象枠位置記憶部４に記憶さ
せ、前の位置を更新する。また、類似度枠設定部５によ
り類似度枠の位置が求められ、類似度枠記憶部６の内容
も更新される。第３フレーム以後においては第２フレー
ムの処理を繰り返す。対象位置探索手段は、それら探索
範囲決定部１２、重心位置計算部１３、等によって構成
される。
【００２１】なお、本実施例においては、代表色決定部
３２の動作として、候補色記憶部３１に記憶されている
候補色の中から、類似度判定部９により類似度が最も低
いと判定されたものを選択するようにしたが、これに限
定するものではなく、例えば、候補色記憶部３１に記憶
されている候補色の中から、面積が所定値より大きく類
似度の最も低いものを代表色として選択するようにして
もよい。
３２の動作として、候補色記憶部３１に記憶されている
候補色の中から、類似度判定部９により類似度が最も低
いと判定されたものを選択するようにしたが、これに限
定するものではなく、例えば、候補色記憶部３１に記憶
されている候補色の中から、面積が所定値より大きく類
似度の最も低いものを代表色として選択するようにして
もよい。
【００２２】以上のように本実施例によれば、探索範囲
内において、代表色の画素の重心を求め、初期設定時の
代表色の重心と対象枠との相対位置関係を用いて対象枠
の位置を計算することにより、対象物の追尾を行うが、
あらかじめ、代表色の候補を複数もっておき、各フレー
ム毎に類似度の判定を行うため、追尾の途中で代表色と
して用いていた色が背景に現れた場合にも良好に追尾を
続行することができる。
内において、代表色の画素の重心を求め、初期設定時の
代表色の重心と対象枠との相対位置関係を用いて対象枠
の位置を計算することにより、対象物の追尾を行うが、
あらかじめ、代表色の候補を複数もっておき、各フレー
ム毎に類似度の判定を行うため、追尾の途中で代表色と
して用いていた色が背景に現れた場合にも良好に追尾を
続行することができる。
【００２３】なお、第１及び第２の実施例において、類
似度枠を図４に示すように設定するようにしたが、必ず
しも対象枠内の面積と類似度枠内の面積が等しくなるよ
うにする必要はない。例えば、面積が異なる場合には、
類似度の計算式を面積で正規化するか、類似度判定部に
おけるしきい値を変化させることにより同様の効果が得
られる。類似度枠の形状についてもこれに限定されるも
のではなく、対象枠の外側にあればよい。
似度枠を図４に示すように設定するようにしたが、必ず
しも対象枠内の面積と類似度枠内の面積が等しくなるよ
うにする必要はない。例えば、面積が異なる場合には、
類似度の計算式を面積で正規化するか、類似度判定部に
おけるしきい値を変化させることにより同様の効果が得
られる。類似度枠の形状についてもこれに限定されるも
のではなく、対象枠の外側にあればよい。
【００２４】また、追跡に使用する代表色として色濃度
変換した色の中から選択するようにしているが、色濃度
変換した色に限らず対象物の持つ特徴量であればどれを
用いてもよい。
変換した色の中から選択するようにしているが、色濃度
変換した色に限らず対象物の持つ特徴量であればどれを
用いてもよい。
【００２５】
【発明の効果】以上説明したように、本発明によれば、
対象物の形が不変な場合に限らず、人間などのように形
状変化が大きいものであっても追尾することができ、そ
の実用的効果は大きい。
対象物の形が不変な場合に限らず、人間などのように形
状変化が大きいものであっても追尾することができ、そ
の実用的効果は大きい。
【図１】本発明の第１の実施例の自動追尾装置のブロッ
ク図である。
ク図である。
【図２】図１の動作を説明するための色濃度レベルを示
す３次元グラフである。
す３次元グラフである。
【図３】対象と対象枠を説明するための構成図である。
【図４】類似度枠と探索範囲を説明するための構成図で
ある。
ある。
【図５】代表色の重心と対象枠との位置関係を説明する
ための構成図である。
ための構成図である。
【図６】本発明の第２の実施例の自動追尾装置のブロッ
ク図である。
ク図である。
１ 画像信号入力端子
２ 色濃度変換部
３ 対象枠設定部
４ 対象枠位置記憶部
５ 類似度枠設定部
６ 類似度枠位置記憶部
７，８ ヒストグラム処理部
９ 類似度判定部
１０ 代表色決定部
１１ 代表色記憶部
１２ 探索範囲決定部
１３ 重心位置計算部
１４ 相対位置計算部
１５ 相対位置記憶部
１６ 対象枠位置計算部
３０ 候補色選択部
３１ 候補色記憶部
３２ 代表色決定部
Claims (3)
- 【請求項１】 初期設定時に、対象物を追尾するため
の対象枠を設定する対象枠設定手段と、対象枠の外側を
示す類似度枠を設定する類似度枠設定手段と、前記対象
枠内の特徴量のヒストグラムを求める第１のヒストグラ
ム処理手段と、前記類似度枠内の特徴量ヒストグラムを
求める第２のヒストグラム処理手段と、初期設定時に、
前記第１のヒストグラム処理手段によって得られたヒス
トグラムと前記第２のヒストグラム処理手段によって得
られたヒストグラムとから類似度を判定する類似度判定
手段と、前記類似度が所定値より低い特徴量の中から追
尾に用いる代表特徴量を決定する代表特徴量決定手段と
を備え、さらに前記代表特徴量により、追尾時における
対象枠位置を決める対象位置探索手段とを備えたことを
特徴とする自動追尾装置。 - 【請求項２】 初期設定時に、対象物を追尾するため
の対象枠を設定する対象枠設定手段と、対象枠の外側を
示す類似度枠を設定する類似度枠設定手段と、前記対象
枠内の特徴量のヒストグラムを求める第１のヒストグラ
ム処理手段と、前記類似度枠内の特徴量ヒストグラムを
求める第２のヒストグラム処理手段と、初期設定時に、
前記第１のヒストグラム処理手段によって得られたヒス
トグラムと前記第２のヒストグラム処理手段によって得
られたヒストグラムとから追尾に用いる複数の特徴量を
候補特徴量として選択する候補特徴量選択手段と、対象
追尾時に、前記複数の候補特徴量の中から追尾に用いる
代表特徴量を選択する代表特徴量選択手段と、前記代表
特徴量により、追尾時の対象枠位置を決める対象位置探
索手段とを備えたことを特徴とする自動追尾装置。 - 【請求項３】 対象位置探索手段は、初期設定時に前
記対象枠と前記代表特徴量の重心位置との相対位置を求
め記憶する相対位置算出記憶手段と、前フレームの対象
枠をもとに次フレームでの対象物の探索範囲を決定する
探索範囲決定手段と、前記次フレームにおける前記探索
範囲内における前記代表特徴量の重心位置を求めるため
の重心位置算出手段と、前記重心位置と前記相対位置と
から対象枠位置を求める対象位置算出手段とを有するこ
とを特徴とする請求項１または２の自動追尾装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3100040A JP3026850B2 (ja) | 1991-05-01 | 1991-05-01 | 自動追尾装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3100040A JP3026850B2 (ja) | 1991-05-01 | 1991-05-01 | 自動追尾装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04329490A true JPH04329490A (ja) | 1992-11-18 |
| JP3026850B2 JP3026850B2 (ja) | 2000-03-27 |
Family
ID=14263412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3100040A Expired - Fee Related JP3026850B2 (ja) | 1991-05-01 | 1991-05-01 | 自動追尾装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3026850B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000082145A (ja) * | 1998-01-07 | 2000-03-21 | Toshiba Corp | 物体抽出装置 |
| JP2015143946A (ja) * | 2014-01-31 | 2015-08-06 | 富士通株式会社 | 移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラム |
-
1991
- 1991-05-01 JP JP3100040A patent/JP3026850B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000082145A (ja) * | 1998-01-07 | 2000-03-21 | Toshiba Corp | 物体抽出装置 |
| JP2015143946A (ja) * | 2014-01-31 | 2015-08-06 | 富士通株式会社 | 移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3026850B2 (ja) | 2000-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5471535A (en) | Method for detecting a contour of a given subject to be separated from images and apparatus for separating a given subject from images | |
| US7684592B2 (en) | Realtime object tracking system | |
| JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
| US9196043B2 (en) | Image processing apparatus and method | |
| US7082224B2 (en) | Statistic calculating method using a template and corresponding sub-image to determine similarity based on sum of squares thresholding | |
| JP2004505393A (ja) | イメージ変換および符号化技術 | |
| KR100591608B1 (ko) | 영상 정합시 대응점 검색방법 | |
| CN110443170B (zh) | 一种人体关键点确定方法、装置及电子设备 | |
| CN109993202B (zh) | 一种线稿型图形相似度判断方法、电子设备及存储介质 | |
| CN115588190A (zh) | 一种成熟果实识别和采摘点定位方法及装置 | |
| CN109948653B (zh) | 一种图像相似度判断方法、电子设备及存储介质 | |
| CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
| JPH04329490A (ja) | 自動追尾装置 | |
| EP1316067B1 (en) | Analysing a moving image | |
| JP4181313B2 (ja) | シーン内容情報付加装置及びシーン内容情報付加プログラム | |
| JP2981382B2 (ja) | パターンマッチング方法 | |
| JP3163216B2 (ja) | 代表特徴量抽出方法及び代表特徴量抽出装置 | |
| KR100886323B1 (ko) | 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치 | |
| CN113362390A (zh) | 一种基于椭圆检测的快速圆形目标定位视频处理方法 | |
| JPH10247246A (ja) | 物体検出方法 | |
| JP2516844B2 (ja) | 部品検出方法及び装置 | |
| JP2003067764A (ja) | 画像処理方法及び装置と、画像検索方法及び装置と、画像処理プログラム及びそのプログラムの記録媒体と、画像検索プログラム及びそのプログラムの記録媒体 | |
| CN110349183B (zh) | 一种基于kcf的跟踪方法、装置、电子设备及存储介质 | |
| JP2005079675A (ja) | カット点検出装置及びカット点検出プログラム | |
| JPH04282989A (ja) | 自動追尾装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |