JP3026850B2 - 自動追尾装置 - Google Patents
自動追尾装置Info
- Publication number
- JP3026850B2 JP3026850B2 JP3100040A JP10004091A JP3026850B2 JP 3026850 B2 JP3026850 B2 JP 3026850B2 JP 3100040 A JP3100040 A JP 3100040A JP 10004091 A JP10004091 A JP 10004091A JP 3026850 B2 JP3026850 B2 JP 3026850B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- similarity
- target frame
- histogram
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、デジタル画像信号を用
いて、対象物を追尾する自動追尾装置に関するものであ
る。
いて、対象物を追尾する自動追尾装置に関するものであ
る。
【０００２】
【従来の技術】画像のある部分が、他の画像のどの部分
に対応するのかを求める方法に、一般にはテンプレート
マッチングという手法が用いられている。テンプレート
マッチング法とは検出しようとする対象を表すテンプレ
ートを画像の全部または一部について移動させながら、
それぞれの位置についてテンプレートと重なる画像の部
分パターンとの相関値を求め、その値が最大となる位置
を求めるという方法である。したがって、最初に追尾し
たい対象物のテンプレートを求めておき、画像フレーム
毎にテンプレートマッチングを行うことにより、動画像
における、テンプレートによる対象物の追尾が実現す
る。
に対応するのかを求める方法に、一般にはテンプレート
マッチングという手法が用いられている。テンプレート
マッチング法とは検出しようとする対象を表すテンプレ
ートを画像の全部または一部について移動させながら、
それぞれの位置についてテンプレートと重なる画像の部
分パターンとの相関値を求め、その値が最大となる位置
を求めるという方法である。したがって、最初に追尾し
たい対象物のテンプレートを求めておき、画像フレーム
毎にテンプレートマッチングを行うことにより、動画像
における、テンプレートによる対象物の追尾が実現す
る。
【０００３】
【発明が解決しようとする課題】しかしながら上記のよ
うな従来の方法は、対象物の形が不変な場合は特に問題
無いが、人間などのように形状変化が大きいものを追尾
しようとすると、追尾しようとする対象物との相関が低
くなるため対象物以外の位置で相関値が最大となる場合
があり、追尾に失敗してしまうという課題を有してい
た。
うな従来の方法は、対象物の形が不変な場合は特に問題
無いが、人間などのように形状変化が大きいものを追尾
しようとすると、追尾しようとする対象物との相関が低
くなるため対象物以外の位置で相関値が最大となる場合
があり、追尾に失敗してしまうという課題を有してい
た。
【０００４】本発明はかかる従来の自動追尾装置の課題
に鑑み、対象物の形が不変な場合に限らず、人間などの
ように形状変化が大きいものであっても追尾することの
できる自動追尾装置を提供することを目的とする。
に鑑み、対象物の形が不変な場合に限らず、人間などの
ように形状変化が大きいものであっても追尾することの
できる自動追尾装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明は、入力された画
像信号を色空間の特徴量に変換する色濃度変換手段と、
初期設定時に、対象物を追尾するための対象枠を設定す
る対象枠設定手段と、対象枠の外側を示す類似度枠を設
定する類似度枠設定手段と、対象枠内の前記色濃度変換
手段により変換された特徴量のヒストグラムを求める第
１のヒストグラム処理手段と、類似度枠内の前記色濃度
変換手段により変換された特徴量ヒストグラムを求める
第２のヒストグラム処理手段と、初期設定時に、第１の
ヒストグラム処理手段によって得られたヒストグラムと
第２のヒストグラム処理手段によって得られたヒストグ
ラムとから類似度を判定する類似度判定手段と、類似度
が所定値より低い特徴量の中から追尾に用いる代表特徴
量を決定する代表特徴量決定手段と、代表特徴量により
対象位置を探索する対象位置探索手段とを備えた自動追
尾装置である。
像信号を色空間の特徴量に変換する色濃度変換手段と、
初期設定時に、対象物を追尾するための対象枠を設定す
る対象枠設定手段と、対象枠の外側を示す類似度枠を設
定する類似度枠設定手段と、対象枠内の前記色濃度変換
手段により変換された特徴量のヒストグラムを求める第
１のヒストグラム処理手段と、類似度枠内の前記色濃度
変換手段により変換された特徴量ヒストグラムを求める
第２のヒストグラム処理手段と、初期設定時に、第１の
ヒストグラム処理手段によって得られたヒストグラムと
第２のヒストグラム処理手段によって得られたヒストグ
ラムとから類似度を判定する類似度判定手段と、類似度
が所定値より低い特徴量の中から追尾に用いる代表特徴
量を決定する代表特徴量決定手段と、代表特徴量により
対象位置を探索する対象位置探索手段とを備えた自動追
尾装置である。
【０００６】また、本発明は、初期設定時に、対象物を
追尾するための対象枠を設定する対象枠設定手段と、対
象枠の外側を示す類似度枠を設定する類似度枠設定手段
と、対象枠内の特徴量のヒストグラムを求める第１のヒ
ストグラム処理手段と、類似度枠内の特徴量ヒストグラ
ムを求める第２のヒストグラム処理手段と、初期設定時
に、第１のヒストグラム処理手段によって得られたヒス
トグラムと第２のヒストグラム処理手段によって得られ
たヒストグラムとから、追尾に用いる複数の特徴量を候
補特徴量として選択する候補特徴量選択手段と、対象追
尾時に、複数の候補特徴量の中から追尾に用いる代表特
徴量を選択する代表特徴量選択手段と、代表特徴量によ
り対象位置を探索する対象位置探索手段とを備えた自動
追尾装置である。
追尾するための対象枠を設定する対象枠設定手段と、対
象枠の外側を示す類似度枠を設定する類似度枠設定手段
と、対象枠内の特徴量のヒストグラムを求める第１のヒ
ストグラム処理手段と、類似度枠内の特徴量ヒストグラ
ムを求める第２のヒストグラム処理手段と、初期設定時
に、第１のヒストグラム処理手段によって得られたヒス
トグラムと第２のヒストグラム処理手段によって得られ
たヒストグラムとから、追尾に用いる複数の特徴量を候
補特徴量として選択する候補特徴量選択手段と、対象追
尾時に、複数の候補特徴量の中から追尾に用いる代表特
徴量を選択する代表特徴量選択手段と、代表特徴量によ
り対象位置を探索する対象位置探索手段とを備えた自動
追尾装置である。
【０００７】
【作用】本発明は前記した構成により、初期設定時に、
対象物を示す対象枠と対象物の外側を示す類似度枠を設
定し、対象枠内の色濃度変換された特徴量のヒストグラ
ムと類似度枠内の色濃度変換された特徴量のヒストグラ
ムを求め、そのヒストグラムの類似度が所定値より低い
特徴量の中から追尾に用いる代表特徴量を決定し、追尾
時には、例えば、対象枠から求めた探索範囲内における
代表特徴量の重心位置を求め、それと、初期設定時に求
めておいた重心位置と対象枠との位置関係とを用いて対
象枠の位置を決定する。
対象物を示す対象枠と対象物の外側を示す類似度枠を設
定し、対象枠内の色濃度変換された特徴量のヒストグラ
ムと類似度枠内の色濃度変換された特徴量のヒストグラ
ムを求め、そのヒストグラムの類似度が所定値より低い
特徴量の中から追尾に用いる代表特徴量を決定し、追尾
時には、例えば、対象枠から求めた探索範囲内における
代表特徴量の重心位置を求め、それと、初期設定時に求
めておいた重心位置と対象枠との位置関係とを用いて対
象枠の位置を決定する。
【０００８】また、初期設定時に、対象物を示す対象枠
と対象物の外側を示す類似度枠を設定し、対象枠内の特
徴量のヒストグラムと類似度枠内の特徴量のヒストグラ
ムを求め、そのヒストグラムの類似度をもとに追尾に用
いる複数の候補特徴量を決定し、追尾時には、例えば、
対象枠内の特徴量のヒストグラムと類似度枠内の特徴量
のヒストグラムとの類似度を用いて、候補特徴量の中か
ら代表特徴量を選択し、対象枠から求めた探索範囲内に
おける代表特徴量の重心位置を求め、それと、初期設定
時に求めておいた重心位置と対象枠との位置関係とを用
いて対象枠の位置を決定する。
と対象物の外側を示す類似度枠を設定し、対象枠内の特
徴量のヒストグラムと類似度枠内の特徴量のヒストグラ
ムを求め、そのヒストグラムの類似度をもとに追尾に用
いる複数の候補特徴量を決定し、追尾時には、例えば、
対象枠内の特徴量のヒストグラムと類似度枠内の特徴量
のヒストグラムとの類似度を用いて、候補特徴量の中か
ら代表特徴量を選択し、対象枠から求めた探索範囲内に
おける代表特徴量の重心位置を求め、それと、初期設定
時に求めておいた重心位置と対象枠との位置関係とを用
いて対象枠の位置を決定する。
【０００９】
【実施例】図１は本発明の第１の実施例における自動追
尾装置のブロック図を示すものである。図１において、
１は画像信号入力端子、２は画像信号入力端子１から得
られる画像信号を濃度レベルに分類する色濃度変換部、
３は操作者が対象枠を設定する対象枠設定部、４はその
対象枠の位置を記憶する対象枠位置記憶部、５はその対
象枠の位置から類似度枠を設定する類似度枠設定部、６
はその類似度枠の位置を記憶する類似度枠位置記憶部、
７はその対象枠内の濃度ヒストグラムを求めるヒストグ
ラム処理部、８は前記類似度枠内の濃度ヒストグラムを
求めるヒストグラム処理部、９はヒストグラム処理部７
によって得られた濃度ヒストグラムとヒストグラム処理
部８によって得られた濃度ヒストグラムとから類似度を
判定するための類似度判定部、１０は類似度判定部９の
結果を用いて対象物の追尾に用いる色（以下代表色と称
す）を決定する代表色決定部、１１はその代表色を記憶
する代表色記憶部、１２は対象枠位置記憶部４に記憶さ
れている対象枠の位置をもとに対象物の追尾できる範囲
を決定する探索範囲決定部、１３は探索範囲内での代表
色の重心位置を求める重心位置計算部、１４は重心位置
と対象枠位置との相対位置関係を求める相対位置計算
部、１５はその相対位置を記憶する相対位置記憶部、１
６はその重心位置と相対位置とから対象枠の位置を求め
る対象枠位置計算部である。
尾装置のブロック図を示すものである。図１において、
１は画像信号入力端子、２は画像信号入力端子１から得
られる画像信号を濃度レベルに分類する色濃度変換部、
３は操作者が対象枠を設定する対象枠設定部、４はその
対象枠の位置を記憶する対象枠位置記憶部、５はその対
象枠の位置から類似度枠を設定する類似度枠設定部、６
はその類似度枠の位置を記憶する類似度枠位置記憶部、
７はその対象枠内の濃度ヒストグラムを求めるヒストグ
ラム処理部、８は前記類似度枠内の濃度ヒストグラムを
求めるヒストグラム処理部、９はヒストグラム処理部７
によって得られた濃度ヒストグラムとヒストグラム処理
部８によって得られた濃度ヒストグラムとから類似度を
判定するための類似度判定部、１０は類似度判定部９の
結果を用いて対象物の追尾に用いる色（以下代表色と称
す）を決定する代表色決定部、１１はその代表色を記憶
する代表色記憶部、１２は対象枠位置記憶部４に記憶さ
れている対象枠の位置をもとに対象物の追尾できる範囲
を決定する探索範囲決定部、１３は探索範囲内での代表
色の重心位置を求める重心位置計算部、１４は重心位置
と対象枠位置との相対位置関係を求める相対位置計算
部、１５はその相対位置を記憶する相対位置記憶部、１
６はその重心位置と相対位置とから対象枠の位置を求め
る対象枠位置計算部である。
【００１０】以上のように構成された第１の実施例の自
動追尾装置について、以下その動作を説明する。
動追尾装置について、以下その動作を説明する。
【００１１】入力端子１に画像信号が入力されと、色濃
度変換部２では、画像信号をもとに色濃度変換を行う。
ここで色濃度変換とは、画像の各画素が、濃度レベルの
どの度数に含まれるかを求めることである。例えば図２
のように、入力される画像信号がＲＧＢ（赤，緑，青）
の３次元データの場合に、各信号について０から最大値
までを８分割すると、濃度レベルは８×８×８で５１２
分割されることになる。またひとつの画素について表現
すると、例えば画像信号のＲＧＢのデータが斜線で示し
た範囲内に存在すれば、Ｒ（赤）：度数３、Ｇ（緑）：
度数０、Ｂ（青）：度数５というようになり、画素の色
は、ＲＧＢを各度数で混ぜたものとなる。
度変換部２では、画像信号をもとに色濃度変換を行う。
ここで色濃度変換とは、画像の各画素が、濃度レベルの
どの度数に含まれるかを求めることである。例えば図２
のように、入力される画像信号がＲＧＢ（赤，緑，青）
の３次元データの場合に、各信号について０から最大値
までを８分割すると、濃度レベルは８×８×８で５１２
分割されることになる。またひとつの画素について表現
すると、例えば画像信号のＲＧＢのデータが斜線で示し
た範囲内に存在すれば、Ｒ（赤）：度数３、Ｇ（緑）：
度数０、Ｂ（青）：度数５というようになり、画素の色
は、ＲＧＢを各度数で混ぜたものとなる。
【００１２】次に、まず、初期設定時の動作について説
明する。初期設定時において操作者は、図３のように、
追尾する対象物２０、例えば人物を任意に決定し、対象
枠設定部３によって、対象物２０のまわりに矩形の対象
枠２１を設定する。対象枠位置記憶部４は、この対象枠
２１の位置と大きさを記憶する。例えば、対象枠２１の
左上の座標（ｉ，ｊ）と対象枠２１の縦，横の長さをそ
れぞれ記憶する。類似度枠設定部５では、対象枠位置記
憶部４から対象枠の位置と大きさを得て、類似度枠を設
定し、類似度枠位置記憶部６で類似度枠の位置と大きさ
を記憶する。その類似度枠の決定法は、例えば図４に示
すように、対象枠２２（２１）の外側に、それを囲むよ
うに、縦横それぞれ対象枠の√２倍の大きさの類似度枠
２３を設定する。このようにすると、対象枠２２と、類
似度枠２３とに囲まれた部分（斜線で示した部分、以下
類似度枠内と称す）の面積が対象枠内の面積と同じにな
る。
明する。初期設定時において操作者は、図３のように、
追尾する対象物２０、例えば人物を任意に決定し、対象
枠設定部３によって、対象物２０のまわりに矩形の対象
枠２１を設定する。対象枠位置記憶部４は、この対象枠
２１の位置と大きさを記憶する。例えば、対象枠２１の
左上の座標（ｉ，ｊ）と対象枠２１の縦，横の長さをそ
れぞれ記憶する。類似度枠設定部５では、対象枠位置記
憶部４から対象枠の位置と大きさを得て、類似度枠を設
定し、類似度枠位置記憶部６で類似度枠の位置と大きさ
を記憶する。その類似度枠の決定法は、例えば図４に示
すように、対象枠２２（２１）の外側に、それを囲むよ
うに、縦横それぞれ対象枠の√２倍の大きさの類似度枠
２３を設定する。このようにすると、対象枠２２と、類
似度枠２３とに囲まれた部分（斜線で示した部分、以下
類似度枠内と称す）の面積が対象枠内の面積と同じにな
る。
【００１３】操作者による対象枠２１の設定が終了した
後の第１フレームの動作について説明する。ヒストグラ
ム処理部７では、色濃度変換された画像信号をもとに対
象枠２１内の色濃度ヒストグラムを計算し、ヒストグラ
ム処理部８では、色濃度変換された画像信号をもとに類
似度枠内の色濃度ヒストグラムを計算する。類似度判定
部９では、ヒストグラム処理部７によって得られた色濃
度ヒストグラムとヒストグラム処理部８によって得られ
た色濃度ヒストグラムとから例えば次の数式１により各
色濃度レベルｎについて類似度（ｎ）を求める。類似度
（ｎ）＝（類似度枠内における濃度レベルｎの画素数）
／（対象枠内における濃度レベルｎの画素数）
・・・（１）このようにして求めた類
似度について、所定の値（例えば０．５）より小さいも
のについて類似度が低いと判定する。代表色決定部１０
では類似度判定部９により類似度が低いと判定されたも
のの中から、例えば画素数の１番多いものが選択され、
選択した代表色を代表色記憶部１１に記憶する。代表色
記憶部１１の内容は第１フレーム以後固定する。一方、
探索範囲決定部１２では、対象枠位置記憶部４に記憶さ
れている対象枠２１の位置と大きさから探索範囲を決定
するが、初期設定時には対象枠２１の位置と大きさをそ
のまま出力する。重心位置計算部１３では、図５に示す
ように、探索範囲決定部１２により決定された探索範囲
内（対象枠２５（２１）内）での代表色の重心位置２７
を求める。相対位置計算部１４では、重心位置計算部１
３による代表色の重心位置２７と対象枠位置記憶部４か
らの対象枠２５（２１）の位置情報とから、重心位置２
７と対象枠２５との相対位置関係を求め、相対位置記憶
部１５に記憶する。相対位置記憶部１５の内容は第１フ
レーム以後固定する。
後の第１フレームの動作について説明する。ヒストグラ
ム処理部７では、色濃度変換された画像信号をもとに対
象枠２１内の色濃度ヒストグラムを計算し、ヒストグラ
ム処理部８では、色濃度変換された画像信号をもとに類
似度枠内の色濃度ヒストグラムを計算する。類似度判定
部９では、ヒストグラム処理部７によって得られた色濃
度ヒストグラムとヒストグラム処理部８によって得られ
た色濃度ヒストグラムとから例えば次の数式１により各
色濃度レベルｎについて類似度（ｎ）を求める。類似度
（ｎ）＝（類似度枠内における濃度レベルｎの画素数）
／（対象枠内における濃度レベルｎの画素数）
・・・（１）このようにして求めた類
似度について、所定の値（例えば０．５）より小さいも
のについて類似度が低いと判定する。代表色決定部１０
では類似度判定部９により類似度が低いと判定されたも
のの中から、例えば画素数の１番多いものが選択され、
選択した代表色を代表色記憶部１１に記憶する。代表色
記憶部１１の内容は第１フレーム以後固定する。一方、
探索範囲決定部１２では、対象枠位置記憶部４に記憶さ
れている対象枠２１の位置と大きさから探索範囲を決定
するが、初期設定時には対象枠２１の位置と大きさをそ
のまま出力する。重心位置計算部１３では、図５に示す
ように、探索範囲決定部１２により決定された探索範囲
内（対象枠２５（２１）内）での代表色の重心位置２７
を求める。相対位置計算部１４では、重心位置計算部１
３による代表色の重心位置２７と対象枠位置記憶部４か
らの対象枠２５（２１）の位置情報とから、重心位置２
７と対象枠２５との相対位置関係を求め、相対位置記憶
部１５に記憶する。相対位置記憶部１５の内容は第１フ
レーム以後固定する。
【００１４】次に、第２フレームの説明をする。既に第
１フレームにおいて、対象枠設定部３によって対象枠２
５が決定され、対象枠位置記憶部４に記憶されている。
また探索に用いる代表色の濃度レベルは代表色記憶部１
１に記憶されており、代表色の重心２７と対象枠２５と
の相対位置関係も、相対位置記憶部１５に記憶されてい
る。
１フレームにおいて、対象枠設定部３によって対象枠２
５が決定され、対象枠位置記憶部４に記憶されている。
また探索に用いる代表色の濃度レベルは代表色記憶部１
１に記憶されており、代表色の重心２７と対象枠２５と
の相対位置関係も、相対位置記憶部１５に記憶されてい
る。
【００１５】まず、入力端子１に第２フレームの画像信
号が入力され、色濃度変換部２で、第１フレームの場合
と同様に画像信号の色濃度変換を行い重心位置計算部１
３に供給される。一方、探索範囲決定部１２では、対象
枠位置記憶部４に記憶されている対象枠２５の位置と大
きさから探索範囲として対象枠２５のまわりの一定範囲
を決定する。例えば、図４のように対象枠２２（２５）
のまわりに探索範囲２４を設定する。重心位置計算部１
３では、探索範囲決定部１２により決定された探索範囲
内について、代表色記憶部１１に記憶されている代表色
の重心位置を求める。対象枠位置計算部１６では重心位
置計算部１３で求めた重心位置と相対位置記憶部１５に
記憶されている相対位置とから対象枠の位置を求め対象
位置として出力する。そして、対象枠位置記憶部４に記
憶させ、前の位置を更新する。第３フレーム以後におい
ては第２フレームの処理を繰り返す。対象位置探索手段
は、それら探索範囲決定部１２、重心位置計算部１３、
等によって構成される。
号が入力され、色濃度変換部２で、第１フレームの場合
と同様に画像信号の色濃度変換を行い重心位置計算部１
３に供給される。一方、探索範囲決定部１２では、対象
枠位置記憶部４に記憶されている対象枠２５の位置と大
きさから探索範囲として対象枠２５のまわりの一定範囲
を決定する。例えば、図４のように対象枠２２（２５）
のまわりに探索範囲２４を設定する。重心位置計算部１
３では、探索範囲決定部１２により決定された探索範囲
内について、代表色記憶部１１に記憶されている代表色
の重心位置を求める。対象枠位置計算部１６では重心位
置計算部１３で求めた重心位置と相対位置記憶部１５に
記憶されている相対位置とから対象枠の位置を求め対象
位置として出力する。そして、対象枠位置記憶部４に記
憶させ、前の位置を更新する。第３フレーム以後におい
ては第２フレームの処理を繰り返す。対象位置探索手段
は、それら探索範囲決定部１２、重心位置計算部１３、
等によって構成される。
【００１６】以上のように本実施例によれば、探索範囲
内において、代表色の画素の重心を求め、初期設定時で
決定されている、代表色の重心と対象枠との相対位置関
係を用いて、新たに対象枠の位置を再計算することによ
り対象物の追尾を行うため、人間などのように、形状が
変化しても色情報の変化しない対象物に対しては、良好
に追従を行うことができる。
内において、代表色の画素の重心を求め、初期設定時で
決定されている、代表色の重心と対象枠との相対位置関
係を用いて、新たに対象枠の位置を再計算することによ
り対象物の追尾を行うため、人間などのように、形状が
変化しても色情報の変化しない対象物に対しては、良好
に追従を行うことができる。
【００１７】図６は本発明の第２の実施例における自動
追尾装置のブロック図を示すものである。図６におい
て、図１と同じ手段には、同一番号を付しその説明を省
略する。３０は候補色選択部、３１は候補色記憶部、３
２は代表色決定部、３３は候補色相対位置計算部、３４
は候補色相対位置記憶部である。以上のように構成され
た第２の実施例の自動追尾装置について、以下その動作
を説明する。
追尾装置のブロック図を示すものである。図６におい
て、図１と同じ手段には、同一番号を付しその説明を省
略する。３０は候補色選択部、３１は候補色記憶部、３
２は代表色決定部、３３は候補色相対位置計算部、３４
は候補色相対位置記憶部である。以上のように構成され
た第２の実施例の自動追尾装置について、以下その動作
を説明する。
【００１８】まず、初期設定時の動作について説明す
る。操作者は、対象枠設定部３によって、図３のように
対象物のまわりに矩形の対象枠２１を設定し、対象枠位
置記憶部４に、対象枠２１の位置と大きさを記憶する。
類似度枠設定部５では、対象枠位置記憶部４から対象枠
２１の位置と大きさを得て、図４のように類似度枠２３
を設定し、類似度枠位置記憶部６で類似度枠２３の位置
と大きさを記憶する。
る。操作者は、対象枠設定部３によって、図３のように
対象物のまわりに矩形の対象枠２１を設定し、対象枠位
置記憶部４に、対象枠２１の位置と大きさを記憶する。
類似度枠設定部５では、対象枠位置記憶部４から対象枠
２１の位置と大きさを得て、図４のように類似度枠２３
を設定し、類似度枠位置記憶部６で類似度枠２３の位置
と大きさを記憶する。
【００１９】操作者による対象枠２１（２３）の設定が
終了した後の第１フレームで、ヒストグラム処理部７で
は、色濃度変換された画像信号をもとに対象枠内の色濃
度ヒストグラムを計算し、ヒストグラム処理部８では、
色濃度変換された画像信号をもとに類似度枠内の色濃度
ヒストグラムを計算する。類似度判定部９では、ヒスト
グラム処理部７によって得られた対象枠内の色濃度ヒス
トグラムとヒストグラム処理部８によって得られた類似
度枠内の色濃度ヒストグラムとから各色濃度レベルにつ
いて類似度を求める。このようにして求めた類似度につ
いて、所定の値（例えば０．５）より小さいものについ
て類似度が低いと判定する。候補色選択部３０では、類
似度判定部９により類似度が低いと判定されたもの全て
を候補色として選択し、選択された候補色を候補色記憶
部３１に記憶しておく。候補色記憶部３１の内容は、第
１フレーム以後固定する。また、代表色決定部３２は、
初期設定時にはその候補色記憶部３１に記憶されている
候補色を全て選択し、重心計算部１３に出力する。一
方、探索範囲決定部１２は、初期設定時には対象枠２１
（２３）の位置と大きさをそのまま出力する。重心位置
計算部１３では、探索範囲決定部１２により決定された
探索範囲内（対象枠内）での全ての候補色の重心位置を
それぞれ求める。候補色相対位置計算部３３では、重心
位置計算部１３による各候補色の重心位置と対象枠位置
記憶部４からの対象枠位置情報とから、各候補色におけ
る重心位置と対象枠との相対位置関係を求め、候補色相
対位置記憶部３４に記憶する。候補色相対位置記憶部３
４の内容は第１フレーム以後固定する。
終了した後の第１フレームで、ヒストグラム処理部７で
は、色濃度変換された画像信号をもとに対象枠内の色濃
度ヒストグラムを計算し、ヒストグラム処理部８では、
色濃度変換された画像信号をもとに類似度枠内の色濃度
ヒストグラムを計算する。類似度判定部９では、ヒスト
グラム処理部７によって得られた対象枠内の色濃度ヒス
トグラムとヒストグラム処理部８によって得られた類似
度枠内の色濃度ヒストグラムとから各色濃度レベルにつ
いて類似度を求める。このようにして求めた類似度につ
いて、所定の値（例えば０．５）より小さいものについ
て類似度が低いと判定する。候補色選択部３０では、類
似度判定部９により類似度が低いと判定されたもの全て
を候補色として選択し、選択された候補色を候補色記憶
部３１に記憶しておく。候補色記憶部３１の内容は、第
１フレーム以後固定する。また、代表色決定部３２は、
初期設定時にはその候補色記憶部３１に記憶されている
候補色を全て選択し、重心計算部１３に出力する。一
方、探索範囲決定部１２は、初期設定時には対象枠２１
（２３）の位置と大きさをそのまま出力する。重心位置
計算部１３では、探索範囲決定部１２により決定された
探索範囲内（対象枠内）での全ての候補色の重心位置を
それぞれ求める。候補色相対位置計算部３３では、重心
位置計算部１３による各候補色の重心位置と対象枠位置
記憶部４からの対象枠位置情報とから、各候補色におけ
る重心位置と対象枠との相対位置関係を求め、候補色相
対位置記憶部３４に記憶する。候補色相対位置記憶部３
４の内容は第１フレーム以後固定する。
【００２０】次に、第２フレームの説明をする。既に前
フレームにおいて、対象枠設定部３によって対象枠が決
定されおり、対象枠位置記憶部４に対象枠の位置が、類
似度枠位置記憶部６に類似度枠の位置がそれぞれ記憶さ
れており、各候補色と対象枠との相対位置関係も、候補
色相対位置記憶部３４に記憶されている。まず、入力端
子１に第２フレームの画像信号が入力され、色濃度変換
部２で、第１フレームの場合と同様に画像信号の色濃度
変換を行いヒストグラム処理部７，８と重心位置計算部
１３に供給される。ヒストグラム処理部７では、対象枠
内の色濃度ヒストグラムを計算し、ヒストグラム処理部
８では、類似度枠内の色濃度ヒストグラムを計算する。
類似度判定部９では、ヒストグラム処理部７によって得
られた色濃度ヒストグラムとヒストグラム処理部８によ
って得られた色濃度ヒストグラムとから第１フレームの
場合と同様にして類似度を求め、代表色決定部３２に出
力する。代表色決定部３２では候補色記憶部３１に記憶
されている候補色の中から、例えば、類似度判定部９に
より類似度が最も低いと判定されたものを選択する。探
索範囲決定部１２では、対象枠位置記憶部４に記憶され
ている対象枠の位置と大きさから探索範囲として例えば
図４のように対象枠のまわりの一定範囲を決定する。重
心位置計算部１３では、探索範囲決定部１２により決定
された探索範囲内について、代表色決定部３２で決定さ
れた代表色の重心位置を求める。対象枠位置計算部１６
では重心位置計算部１３で求めた重心位置と候補色相対
位置記憶部３４に記憶されている候補色相対位置のうち
の代表色の相対位置とから対象枠の位置を求め対象位置
として出力する。そして、対象枠位置記憶部４に記憶さ
せ、前の位置を更新する。また、類似度枠設定部５によ
り類似度枠の位置が求められ、類似度枠記憶部６の内容
も更新される。第３フレーム以後においては第２フレー
ムの処理を繰り返す。対象位置探索手段は、それら探索
範囲決定部１２、重心位置計算部１３、等によって構成
される。
フレームにおいて、対象枠設定部３によって対象枠が決
定されおり、対象枠位置記憶部４に対象枠の位置が、類
似度枠位置記憶部６に類似度枠の位置がそれぞれ記憶さ
れており、各候補色と対象枠との相対位置関係も、候補
色相対位置記憶部３４に記憶されている。まず、入力端
子１に第２フレームの画像信号が入力され、色濃度変換
部２で、第１フレームの場合と同様に画像信号の色濃度
変換を行いヒストグラム処理部７，８と重心位置計算部
１３に供給される。ヒストグラム処理部７では、対象枠
内の色濃度ヒストグラムを計算し、ヒストグラム処理部
８では、類似度枠内の色濃度ヒストグラムを計算する。
類似度判定部９では、ヒストグラム処理部７によって得
られた色濃度ヒストグラムとヒストグラム処理部８によ
って得られた色濃度ヒストグラムとから第１フレームの
場合と同様にして類似度を求め、代表色決定部３２に出
力する。代表色決定部３２では候補色記憶部３１に記憶
されている候補色の中から、例えば、類似度判定部９に
より類似度が最も低いと判定されたものを選択する。探
索範囲決定部１２では、対象枠位置記憶部４に記憶され
ている対象枠の位置と大きさから探索範囲として例えば
図４のように対象枠のまわりの一定範囲を決定する。重
心位置計算部１３では、探索範囲決定部１２により決定
された探索範囲内について、代表色決定部３２で決定さ
れた代表色の重心位置を求める。対象枠位置計算部１６
では重心位置計算部１３で求めた重心位置と候補色相対
位置記憶部３４に記憶されている候補色相対位置のうち
の代表色の相対位置とから対象枠の位置を求め対象位置
として出力する。そして、対象枠位置記憶部４に記憶さ
せ、前の位置を更新する。また、類似度枠設定部５によ
り類似度枠の位置が求められ、類似度枠記憶部６の内容
も更新される。第３フレーム以後においては第２フレー
ムの処理を繰り返す。対象位置探索手段は、それら探索
範囲決定部１２、重心位置計算部１３、等によって構成
される。
【００２１】なお、本実施例においては、代表色決定部
３２の動作として、候補色記憶部３１に記憶されている
候補色の中から、類似度判定部９により類似度が最も低
いと判定されたものを選択するようにしたが、これに限
定するものではなく、例えば、候補色記憶部３１に記憶
されている候補色の中から、面積が所定値より大きく類
似度の最も低いものを代表色として選択するようにして
もよい。
３２の動作として、候補色記憶部３１に記憶されている
候補色の中から、類似度判定部９により類似度が最も低
いと判定されたものを選択するようにしたが、これに限
定するものではなく、例えば、候補色記憶部３１に記憶
されている候補色の中から、面積が所定値より大きく類
似度の最も低いものを代表色として選択するようにして
もよい。
【００２２】以上のように本実施例によれば、探索範囲
内において、代表色の画素の重心を求め、初期設定時の
代表色の重心と対象枠との相対位置関係を用いて対象枠
の位置を計算することにより、対象物の追尾を行うが、
あらかじめ、代表色の候補を複数もっておき、各フレー
ム毎に類似度の判定を行うため、追尾の途中で代表色と
して用いていた色が背景に現れた場合にも良好に追尾を
続行することができる。
内において、代表色の画素の重心を求め、初期設定時の
代表色の重心と対象枠との相対位置関係を用いて対象枠
の位置を計算することにより、対象物の追尾を行うが、
あらかじめ、代表色の候補を複数もっておき、各フレー
ム毎に類似度の判定を行うため、追尾の途中で代表色と
して用いていた色が背景に現れた場合にも良好に追尾を
続行することができる。
【００２３】なお、第１及び第２の実施例において、類
似度枠を図４に示すように設定するようにしたが、必ず
しも対象枠内の面積と類似度枠内の面積が等しくなるよ
うにする必要はない。例えば、面積が異なる場合には、
類似度の計算式を面積で正規化するか、類似度判定部に
おけるしきい値を変化させることにより同様の効果が得
られる。類似度枠の形状についてもこれに限定されるも
のではなく、対象枠の外側にあればよい。
似度枠を図４に示すように設定するようにしたが、必ず
しも対象枠内の面積と類似度枠内の面積が等しくなるよ
うにする必要はない。例えば、面積が異なる場合には、
類似度の計算式を面積で正規化するか、類似度判定部に
おけるしきい値を変化させることにより同様の効果が得
られる。類似度枠の形状についてもこれに限定されるも
のではなく、対象枠の外側にあればよい。
【００２４】また、追跡に使用する代表色として色濃度
変換した色の中から選択するようにしているが、色濃度
変換した色に限らず対象物の持つ特徴量であればどれを
用いてもよい。
変換した色の中から選択するようにしているが、色濃度
変換した色に限らず対象物の持つ特徴量であればどれを
用いてもよい。
【００２５】
【発明の効果】以上説明したように、本発明によれば、
対象物の形が不変な場合に限らず、人間などのように形
状変化が大きいものであっても追尾することができ、そ
の実用的効果は大きい。
対象物の形が不変な場合に限らず、人間などのように形
状変化が大きいものであっても追尾することができ、そ
の実用的効果は大きい。
【図１】本発明の第１の実施例の自動追尾装置のブロッ
ク図である。
ク図である。
【図２】図１の動作を説明するための色濃度レベルを示
す３次元グラフである。
す３次元グラフである。
【図３】対象と対象枠を説明するための構成図である。
【図４】類似度枠と探索範囲を説明するための構成図で
ある。
ある。
【図５】代表色の重心と対象枠との位置関係を説明する
ための構成図である。
ための構成図である。
【図６】本発明の第２の実施例の自動追尾装置のブロッ
ク図である。
ク図である。
１ 画像信号入力端子 ２ 色濃度変換部 ３ 対象枠設定部 ４ 対象枠位置記憶部 ５ 類似度枠設定部 ６ 類似度枠位置記憶部 ７，８ ヒストグラム処理部 ９ 類似度判定部 １０ 代表色決定部 １１ 代表色記憶部 １２ 探索範囲決定部 １３ 重心位置計算部 １４ 相対位置計算部 １５ 相対位置記憶部 １６ 対象枠位置計算部 ３０ 候補色選択部 ３１ 候補色記憶部 ３２ 代表色決定部 ３３ 候補色相対位置計算部 ３４ 候補色相対位置記憶部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−123877（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 H04N 7/18 G06T 1/00
Claims (3)
- 【請求項１】入力された画像信号を色空間の特徴量に変
換する色濃度変換手段と、初期設定時に、対象物を追尾
するための対象枠を設定する対象枠設定手段と、対象枠
の外側を示す類似度枠を設定する類似度枠設定手段と、
前記対象枠内の前記色濃度変換手段により変換された特
徴量のヒストグラムを求める第１のヒストグラム処理手
段と、前記類似度枠内の前記色濃度変換手段により変換
された特徴量ヒストグラムを求める第２のヒストグラム
処理手段と、初期設定時に、前記第１のヒストグラム処
理手段によって得られたヒストグラムと前記第２のヒス
トグラム処理手段によって得られたヒストグラムとから
類似度を判定する類似度判定手段と、前記類似度が所定
値より低い特徴量の中から追尾に用いる代表特徴量を決
定する代表特徴量決定手段とを備え、さらに前記代表特
徴量により、追尾時における対象枠位置を決める対象位
置探索手段とを備えたことを特徴とする自動追尾装置。 - 【請求項２】 初期設定時に、対象物を追尾するための
対象枠を設定する対象枠設定手段と、対象枠の外側を示
す類似度枠を設定する類似度枠設定手段と、前記対象枠
内の特徴量のヒストグラムを求める第１のヒストグラム
処理手段と、前記類似度枠内の特徴量ヒストグラムを求
める第２のヒストグラム処理手段と、初期設定時に、前
記第１のヒストグラム処理手段によって得られたヒスト
グラムと前記第２のヒストグラム処理手段によって得ら
れたヒストグラムとから追尾に用いる複数の特徴量を候
補特徴量として選択する候補特徴量選択手段と、対象追
尾時に、前記複数の候補特徴量の中から追尾に用いる代
表特徴量を選択する代表特徴量選択手段と、前記代表特
徴量により、追尾時の対象枠位置を決める対象位置探索
手段とを備えたことを特徴とする自動追尾装置。 - 【請求項３】 対象位置探索手段は、初期設定時に前記
対象枠と前記代表特徴量の重心位置との相対位置を求め
記憶する相対位置算出記憶手段と、前フレームの対象枠
をもとに次フレームでの対象物の探索範囲を決定する探
索範囲決定手段と、前記次フレームにおける前記探索範
囲内における前記代表特徴量の重心位置を求めるための
重心位置算出手段と、前記重心位置と前記相対位置とか
ら対象枠位置を求める対象位置算出手段とを有すること
を特徴とする請求項１または２の自動追尾装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3100040A JP3026850B2 (ja) | 1991-05-01 | 1991-05-01 | 自動追尾装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3100040A JP3026850B2 (ja) | 1991-05-01 | 1991-05-01 | 自動追尾装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04329490A JPH04329490A (ja) | 1992-11-18 |
| JP3026850B2 true JP3026850B2 (ja) | 2000-03-27 |
Family
ID=14263412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3100040A Expired - Fee Related JP3026850B2 (ja) | 1991-05-01 | 1991-05-01 | 自動追尾装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3026850B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3612227B2 (ja) * | 1998-01-07 | 2005-01-19 | 株式会社東芝 | 物体抽出装置 |
| JP2015143946A (ja) * | 2014-01-31 | 2015-08-06 | 富士通株式会社 | 移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラム |
-
1991
- 1991-05-01 JP JP3100040A patent/JP3026850B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04329490A (ja) | 1992-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
| US5471535A (en) | Method for detecting a contour of a given subject to be separated from images and apparatus for separating a given subject from images | |
| JPH10503307A (ja) | 画像識別装置 | |
| JPH08180176A (ja) | 画像蓄積・管理装置、画像インデックス生成方法及び画像インデックス生成装置 | |
| KR20020067514A (ko) | 이미지 매칭 | |
| KR100591608B1 (ko) | 영상 정합시 대응점 검색방법 | |
| CN109993202B (zh) | 一种线稿型图形相似度判断方法、电子设备及存储介质 | |
| CN109948653B (zh) | 一种图像相似度判断方法、电子设备及存储介质 | |
| JPH05181411A (ja) | 地図情報照合更新方式 | |
| JP3311077B2 (ja) | 画像検索装置 | |
| JP3026850B2 (ja) | 自動追尾装置 | |
| JP2000331156A (ja) | 輪郭に沿うトラッカを自動的に決定するための方法、及び該方法を実施するプログラムを記憶した記憶媒体 | |
| JP2003216948A (ja) | 代表色抽出装置及び代表色抽出プログラム | |
| JP4181313B2 (ja) | シーン内容情報付加装置及びシーン内容情報付加プログラム | |
| JP2981382B2 (ja) | パターンマッチング方法 | |
| JPH10187972A (ja) | 光源色の判定方法 | |
| JP2936599B2 (ja) | カラー画像処理装置 | |
| JP3163216B2 (ja) | 代表特徴量抽出方法及び代表特徴量抽出装置 | |
| US20050111734A1 (en) | Image partitioning apparatus and method | |
| JP3461143B2 (ja) | カラー画像目標位置検出装置 | |
| JP3576759B2 (ja) | 画像処理装置 | |
| JP2002152762A (ja) | 画像処理装置および画像処理プログラムを記録した記録媒体 | |
| JPH11296672A (ja) | 画像色情報抽出方法 | |
| JP3199009B2 (ja) | 画像蓄積・管理装置及び画像インデックス生成方法 | |
| JP2516844B2 (ja) | 部品検出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |