JPH0795461A

JPH0795461A - 目標追尾装置

Info

Publication number: JPH0795461A
Application number: JP5261680A
Authority: JP
Inventors: Takayuki Sakamoto; 隆之坂本; Koji Kageyama; 浩二景山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-09-25
Filing date: 1993-09-25
Publication date: 1995-04-07

Abstract

(57)【要約】【目的】本発明は、目標追尾装置において、目標物体の
他に類似の色の物体が存在したり照明が変化した場合で
も確実に目標を追尾する。【構成】目標物体のほかに非常に似た色の物体があつた
場合でも、彩度信号の違い、物体の距離、物体の運動の
情報等によつて目標物体の位置を連続的に検出するよう
にしたことにより、目標物体の追尾性能を向上すること
ができ、また照明が変化しても彩度を予想することで目
標物体の追尾が可能となり、かくして簡易な構成で目標
物体の他に類似の色の物体が存在したり、照明が変化し
た場合でも確実に目標を追尾し得る。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。産業上の利用分野従来の技術発明が解決しようとする課題課題を解決するための手段（図１及び図２）作用（図１及び図２）実施例（図１〜図５）発明の効果

【０００２】

【産業上の利用分野】本発明は目標追尾装置に関し、例
えばテレビジヨンカメラを目標物体の動きに合わせて動
かし目標を追尾するものに適用し得る。

【０００３】

【従来の技術】従来、目標追尾装置として、テレビジヨ
ンカメラを目標物体の動きに合わせて動かし、目標を追
尾するようになされたものがある。このような場合、ま
ずテレビジヨンカメラで撮像された画像中の目標物体の
動きを検出する。この動き検出方法としては、ブロツク
マツチングによる手法が一般的である。このブロツクマ
ツチングの手法は目標の周辺もしくは特徴的な部分の画
像をオリジナルブロツクとして設定し、引き続く画像内
をブロツク化してオリジナルブロツクとブロツクの画素
同士の差の絶対値和が最小になるブロツクを検出し目標
の位置を決定している。

【０００４】

【発明が解決しようとする課題】ところがこのようにブ
ロツクマツチングの手法を用いた目標追尾装置において
は、目標の位置決定がオリジナルブロツクに含まれる形
の情報に依存しているため、目標自体が変形した場合や
目標の大きさが変化した場合には、追尾が困難になる問
題があつた。また画像内のブロツクとオリジナルブロツ
クとの画素同士の差の絶対値を計算する処理は、計算量
が多いため回路構成が複雑になつたり、マイクロコンピ
ユータでの実現が困難になる問題があつた。

【０００５】このような問題を解決するため、カラー画
像信号中の固定された色を特徴量として、その色に対し
て色画像を水平／垂直の各方向に積分した画像の時間連
続性すなわち、前回検出された領域に接している領域を
目標物体として追尾を行うことが考えられる。ところが
この場合には、特徴色を固定しているため色相の微妙な
違いや変化に対応することが困難であり、また位置決定
においては、領域が離れているすなわち目標物体が余り
大きさを持たない場合や、ある程度速い速度で動いてい
る場合には、時空間画像の連続性が途切れてしまい位置
決定が困難になる問題がある。またこの方法では数画面
分の時空間画像を記憶する必要があり、その分メモリの
使用量が多くなる問題があつた。

【０００６】またある色を特徴量として、その色が存在
するか否かの情報に基づいて、色画像を水平／垂直の各
々の方向に評価関数を作成し、目標を追尾する方法が考
えられる。ところがこの方法では、特徴色（色相）が同
一の物体を分離することが困難であり誤判定を起こした
り、位置決定において２次元データから１次元データを
作るために２つの物体を１つのものとして扱つたり、さ
らに２つの同一色の物体が交差したときに、どちらの物
体が目標かが不明になりやすいという問題があつた。

【０００７】本発明は以上の点を考慮してなされたもの
で、目標物体の他に類似の色の物体が存在したり照明が
変化した場合でも確実に目標を追尾し得る目標追尾装置
を提案しようとするものである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力されるカラー画像信号ＴＶ１
の注目領域内の色相ヒストグラムより目標物体の特徴色
を特定する特徴色設定手段１４（ＳＰ２６）、１６と、
特定された特徴色の輝度信号及び彩度信号より輝度予想
関数を作成する予想関数作成手段１４（ＳＰ３１）と、
特徴色と輝度予想関数より、画像内で目標物体の候補ピ
クセルを選別し予想値からの差を算出する差算出手段１
４（ＳＰ３１）と、画像内の差の量から１次元評価関数
を算出する１次元評価関数算出手段１４（ＳＰ３１）
と、１次元評価関数からしきい値を適応的に変化させ２
値データ化する２値データ化手段１４（ＳＰ３１）と、
２値データから画像内の目標物体の位置を決定する位置
決定手段１４（ＳＰ３１）と、予想関数作成手段１４
（ＳＰ３１）、差算出手段１４（ＳＰ３１）、１次元評
価関数算出手段１４（ＳＰ３１）、２値データ化手段１
４（ＳＰ３１）、位置決定手段１４（ＳＰ３１）を繰り
返して画像内の目標物体の位置を連続的に検出する目標
物体検出手段１４（ＳＰ３１）と、検出された目標物体
の位置により、テレビジヨンカメラ１０のパン及び又は
チルト１５を制御するカメラ制御手段１４（ＳＰ３２）
とを設けるようにした。

【０００９】

【作用】目標物体検出手段１４（ＳＰ３１）において、
目標物体のほかに非常に似た色の物体があつた場合で
も、彩度信号の違い、物体の距離、物体の運動の情報等
によつて目標物体の位置を連続的に検出するようにした
ことにより、目標物体の追尾性能を向上することがで
き、また照明が変化しても彩度を予想することにより目
標物体の追尾が可能となる。かくして簡易な構成で目標
物体の他に類似の色の物体が存在したり、照明が変化し
た場合でも確実に目標を追尾し得る。

【００１０】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１１】図１においては全体として目標追尾装置を
示し、以下輝度をＹ、色相をＨ、彩度をＳとし、後述す
るメモリの値Ｈのメモリ内の画像で、水平方向にｊ番
目、垂直方向にｉ番目の画素値を、それぞれ色相、輝
度、彩度についてＨij、Ｙij、Ｓijとする。すなわちテ
レビジヨンカメラ１０で撮像されたカラー画像信号ＴＶ
１は、フイルタ／変換ブロツク１１に入力されローパス
フイルタで帯域制限された後、フイールド画像に対して
水平方向に１／16、垂直方向１／８のデシメイシヨンが
行われ、さらに色差信号が色相Ｈ、彩度Ｓに変換され、
この結果得られる輝度Ｙ、色相Ｈ、彩度Ｓがそれぞれ独
立に画像メモリ１２に格納される。

【００１２】画像メモリ１２に輝度Ｙ、色相Ｈ、彩度Ｓ
でなる画像が格納されると、メモリコントロールブロツ
ク１３よりマイクロコンピユータ１４に対してインタラ
プト信号ＩＮＴが出力される。マイクロコンピユータ１
４はインタラプト信号ＩＮＴを受け取ると、画像メモリ
１２の画像データにアクセスが可能となることを判断
し、画像メモリ１２への書き込み禁止信号ＰＲＴをメモ
リコントロールブロツク１３に出力し画像データを保護
する。また追尾対象の目標はパン／チルタ１５のスイツ
チ１６が押されたときに、画面中央に存在する物体を設
定して特徴量を抽出する。

【００１３】この設定が終了すると、マイクロコンピユ
ータ１４は画像メモリ１２への書き込み禁止信号ＰＲＴ
を解除する信号をメモリコントロールブロツク１３に出
力し、これにより画像メモリ１２に新しい画像データが
格納される。新たな画像データが格納されると再びマイ
クロコンピユータ１４に対して、インタラプト信号ＩＮ
Ｔが出力され、上述したように設定された特徴量と画像
メモリ１２内の画像より目標の位置を検出し、この検出
結果をパン／チルタ１５のモータに出力して、テレビジ
ヨンカメラ１０を動かす。その後は再度スイツチ１６が
押されるまで、画像メモリ１２の画像データの更新、マ
イクロコンピユータ１４での位置検出及びテレビジヨン
カメラ１０の制御を繰り返す。

【００１４】ここで実際上マイクロコンピユータ１４内
では、図２に示すような、目標追尾処理手順ＳＰ２０が
実行される。すなわちこのフローチヤートにおいて、ス
テツプＳＰ２０はマイクロコンピユータ１４内部での全
体の処理の開始であり、ステツプＳＰ２１は全体の処理
を終了するか否かの判定であり、終了する場合ステツプ
ＳＰ２２に移つて当該目標追尾処理手順ＳＰ２０を終了
する。

【００１５】またステツプＳＰ２３、ステツプＳＰ２８
はメモリプロテクトの解除処理であり、ステツプＳＰ２
４、ステツプＳＰ２９はインタラプト信号ＩＮＴの有無
を検出する処理であり、ステツプＳＰ２５、ステツプＳ
Ｐ３０はメモリプロテクトの設定処理である。さらにス
テツプＳＰ２６は目標からの特徴量を抽出する処理であ
り、ステツプＳＰ２７は位置認識処理を開始するか否か
の判定処理であり、ステツプＳＰ３１は目標の位置を検
出する処理であり、ステツプＳＰ３２は検出された位置
情報よりパン／チルタ１５のモータを制御する処理であ
る。

【００１６】ここでまずステツプＳＰ２６における目標
からの特徴量抽出の処理について説明する。なお目標と
は、画面中央に位置している物体を示す。最初に画面中
央を中心とする領域Ｄ０（例えば４×４のブロツク）を
目標として設定する。この領域Ｄ０内で彩度Ｓ_ij及び輝
度Ｙ_ijについて、それぞれ次式

【数１】及び次式

【数２】を満たす位置（i, j）の色相Ｈ_ijの集合をＳ_D0とする。
但し（１）式及び（２）式において、Ｓ TH、Ｙ TH0
、Ｙ TH1 は彩度Ｓ及び輝度Ｙについて予め設定され
たスレシホールドを示す。

【００１７】次に画面中央を中心とする領域Ｄ１（例え
ば８×８のブロツク）を設定し、Ｓ_D0の要素のＤ１での
ヒストグラムを作成し、ヒストグラムの最大値を示すイ
ンデクスＨ_centerを算出する。さらにインデツクスＨ
_centerは画像の変化により変動する可能性があるため
に、例えば次式

【数３】に示すようにある幅（Ｈ TH）を設定する。

【００１８】上述したＨ_start、Ｈ_end、Ｓ TH、Ｙ
TH0 、Ｙ TH1 を満足する場所を領域Ｄ１内で検出し、
（Ｙ_ij，Ｓ_ij）の組を求め、次式

【数４】の式で近似して係数ａ0 を求める。また、（Ｙ_ij，
Ｓ_ij）の組の平均値ＹAV、ＳAVから、次式

【数５】となるように係数ｂ0 を算出し、次式

【数６】を予想関数として定める。この関数付近のデータは、同
一の物体であると見なすことで、彩度Ｓが輝度Ｙの変化
（照明の変化）によつて変わつても目標の特徴量であ
る、（Ｙ，Ｓ）の関係を算出することができる。このよ
うにして、求められたＨ_start、Ｈ_end、Ｓ TH、Ｙ
TH0 、Ｙ TH1 、ａ0 、ｂ0 を目標の特徴量として追尾
を行う。

【００１９】次にステツプＳＰ３１での画像内の特徴量
を抽出して目標の位置を検出する動作を以下に示す。ま
ず特徴量の抽出について図３を参照して説明を行なう。
例として、画面上の（３、３）の位置の画像情報
（Ｙ₃₃，Ｈ₃₃，Ｓ₃₃）から、どのようにして特徴量Ｅ₃₃
を抽出するかについて説明する。最初に色相Ｈについ
て、次式

【数７】に示す条件を判定する。条件を満たさない場合は、特徴
量Ｅ₃₃を次式

【数８】とする。次に彩度Ｓについて、次式

【数９】に示す条件を判定する。条件を満たさない場合は、特徴
量Ｅ₃₃を次式

【数１０】とする。さらに輝度Ｙについて、次式

【数１１】に示す条件を判定する。条件を満たさない場合は、特徴
量Ｅ₃₃を次式

【数１２】とする。

【００２０】上述した（７）、（９）、（11）式の条件
を全て満たした場合は、次式

【数１３】で予想を行なう。この予想値ＹとＹ₃₃の誤差｜ｅ₃₃｜を
評価値Ｅ₃₃とする。但し、誤差｜ｅ₃₃｜がＥ_maxを越え
る場合は、次式

【数１４】とする。このようなの操作を各画素で行つていく。（図
３参照）その結果、設定した特徴量に似ている画素ほ
ど、Ｅ_ijの値は０に近づくことになる。

【００２１】実際には、図３のデータから位置を算出す
るのは、計算量が多いためマイクロコンピユータでの処
理には余り適さない。そこで、図３の２次元データを１
次元データに変換する。その方法は各行、各列の最小値
を代表値として図３の１次元データＸ(i)、Ｙ(i)を作成
する。１次元データ列の最小値min を計算し、次式

【数１５】をスレシホールドとして、データの２値化を図４のよう
に行う。スレシホールドを適応的に切り替えることによ
り、目標が小さくなつていつた時の評価値が大きくなつ
た場合でも目標を見失わなくする効果がある。また、最
小値min の時間的変化を計算することで、その変化が急
に大きくなつた場合などは、目標が隠れたり又はいなく
なつたりしたとし、追尾を中断する。

【００２２】上述の方法で２値化されたデータ（図４）
の内、１が連続する区間を１つの領域として図４のよう
に複数の領域を算出し、その複数領域から位置を計算す
る。最初に前回算出された位置に最も距離が近い領域を
検出する。その後で算出された領域の重心を計算し、そ
の点を今回の位置とする。このような方法でＸ(i)、Ｙ
(i)のデータから位置（ｘ，ｙ）を算出し、パン／チル
タ１５のモータを制御することにより目標を追尾する。

【００２３】また過去の位置データからの予測値、例え
ば過去の位置をＸt-n ……Ｘt-1 としたとき、それらの
点で２次曲線をつくり今回の点（予測値）を算出する。
その予想値から上述のように２値化されたデータの各々
の領域の距離が最小となる領域を検出し、位置決めを行
なうことも可能である。この効果は似ているものが交差
した場合に、過去の運動から予測をすることで単純な動
きの場合は、領域（位置）の誤判定を防ぐことが可能と
なる。

【００２４】さらに上述のように２値化されたデータか
ら作られる領域のうち、目標と思われる領域が、上述し
た手法で特定できるが、その後すぐに位置を求めない
で、Ｘ(i)、Ｙ(i)で作られる領域の中で再度、評価値を
求め上述のように位置を計算することも可能である。こ
の効果は、図５のように１次元データが矛盾を持つてい
るときに、正確な位置を検出することが可能となる。

【００２５】上述のＸ(i)、Ｙ(i)で決定された領域で囲
まれる２次元の領域は目標を含む領域であるので、その
大きさ（面積）を検出し、その大きさの変化から誤判定
したかどうかをチエツクすることができる。また大きさ
の変化に応じてズームモータを駆動することもできる
し、領域内の画像情報からフオーカスレンズやアイリス
を動かすことが可能となる。

【００２６】以上の構成によれば、目標物体のほかに非
常に似た色の物体があつた場合でも、彩度信号の違い、
物体の距離、物体の運動等の情報によつて目標物体の位
置を連続的に検出するようにしたことにより、目標物体
の追尾性能を向上することができ、また照明が変化して
も彩度を予想することで目標物体の追尾が可能となり、
かくして追尾性能を格段的に向上して確実に目標を追尾
し得る目標追尾装置を実現できる。

【００２７】さらに上述の構成によれば、１画面内の１
次元情報から位置決めを行うために、少ないメモリ量で
かつ特徴領域の接触がない場合にも位置情報を安定に計
算することができ、また計算量が少ないので、専用の回
路を作らなくてもマイクロコンピユータでリアルタイム
処理を実現できる。

【００２８】なお上述の実施例においては、位置の予想
関数や輝度Ｙの予想関数に色々な関数を導入したり、得
られた評価値を直接２次元データとして扱い、その重心
を求めることで位置を算出するようにしても良い。

【００２９】また上述の実施例においては、テレビジヨ
ンカメラから入力された画像信号に基づいて目標を追尾
する場合について述べたが、これに限らず、ビデオテー
プレコーダやコンピユータ、ゲーム機等で再生された画
像信号などを入力として与え、当該画像信号中に設定し
た目標を追尾するようにしても良い。

【００３０】さらに上述の実施例においては、本発明と
して目標を自動的に追尾する装置に適用したが、本発明
はこれに限らず、セキユリテイシステムの無人化やテレ
ビ会議システム、マルチメデイアシステム等のようにテ
レビジヨンカメラで被写体を目標追尾するものや、画像
内の被写体の位置より被写体にロツクしたオートフオー
カス、オートアイリス、オートズーム、手ぶれ補正する
テレビジヨンカメラにも適用でき、さらに目標の位置デ
ータを出力することにより、コンピユータやゲーム機な
どの位置入力を画像から行うことも可能にできる。

【００３１】

【発明の効果】上述のように本発明によれば、目標物体
のほかに非常に似た色の物体があつた場合でも、彩度信
号の違い、物体の距離、物体の運動の情報等によつて目
標物体の位置を連続的に検出するようにしたことによ
り、目標物体の追尾性能を向上することができ、また照
明が変化しても彩度を予想することにより目標物体の追
尾が可能となり、かくして簡易な構成で目標物体の他に
類似の色の物体が存在したり照明が変化した場合でも確
実に目標を追尾し得る目標追尾装置を実現できる。

【００３２】また１画面内の１次元情報から位置決めを
行うために、少ないメモリ量でかつ特徴領域の接触がな
い場合にも位置情報を安定に計算することができ、また
計算量が少ないので、専用の回路を作らなくてもマイク
ロコンピユータでリアルタイム処理を実現できる目標追
尾装置を実現できる。

【図面の簡単な説明】

【図１】本発明による目標追尾装置の一実施例の構成を
示すブロツク図である。

【図２】図１のマイクロコンピユータ内で実行する目標
追尾処理手順を示すフローチヤートである。

【図３】２次元画像から１次元評価関数への変換の説明
に供する略線図である。

【図４】１次元データＸ(i)からＸ座標を算出する説明
に供する略線図である。

【図５】１次元データの矛盾を解決する手法の説明に供
する略線図である。

【符号の説明】

１０…カメラ、１１…フイルタ／変換ブロツク、１２…
画像メモリ、１３…メモリコントロールブロツク、１４
…マイクロコンピユータ、１５…パン／チルタ、１６…
…スイツチ。

Claims

【特許請求の範囲】

【請求項１】入力されるカラー画像信号の注目領域内の
色相ヒストグラムより目標物体の特徴色を特定する特徴
色設定手段と、特定された上記特徴色の輝度信号及び彩度信号より輝度
予想関数を作成する予想関数作成手段と、上記特徴色と上記輝度予想関数より、画像内で上記目標
物体の候補ピクセルを選別し予想値からの差を算出する
差算出手段と、上記画像内の上記差の量から１次元評価関数を算出する
１次元評価関数算出手段と、上記１次元評価関数からしきい値を適応的に変化させ２
値データ化する２値データ化手段と、上記２値データから上記画像内の上記目標物体の位置を
決定する位置決定手段と、上記予想関数作成手段、上記差算出手段、上記１次元評
価関数算出手段、上記２値データ化手段、上記位置決定
手段を繰り返して、上記画像内の上記目標物体の上記位
置を連続的に検出する目標物体検出手段と、検出された上記目標物体の上記位置により、テレビジヨ
ンカメラのパン及び又はチルトを制御するカメラ制御手
段とを具えることを特徴とする目標追尾装置。
【請求項２】上記目標物体検出手段より得られる過去の
上記目標物体の上記位置から次回の上記目標物体の上記
位置を予想する位置予想手段を具えることを特徴とする
請求項１に記載の目標追尾装置。
【請求項３】上記カメラ制御手段は、上記画像内の特定
領域を指定して上記テレビジヨンカメラのフオーカス及
び又はアイリスを制御するようにしたことを特徴とする
請求項１又は請求項２に記載の目標追尾装置。
【請求項４】上記目標物体検出手段によつて検出された
上記目標物体の位置と、上記２値データより上記画像内
の上記目標物体の大きさを検出する大きさ検出手段を具
えることを特徴とする請求項１に記載の目標追尾装置。
【請求項５】上記大きさ検出手段で検出された上記目標
物体の領域を決定し、さらに上記予想関数作成手段、上
記差算出手段、上記１次元評価関数算出手段、上記２値
データ化手段、上記位置決定手段を上記目標物体の領域
内で繰り返して、上記位置の矛盾を解決する矛盾解決手
段を具えることを特徴とする請求項４に記載の目標追尾
装置。
【請求項６】上記カメラ制御手段は、上記大きさ検出手
段で検出された上記目標物体の大きさに応じて、上記テ
レビジヨンカメラのズームモータの制御するようにした
ことを特徴とする請求項４に記載の目標追尾装置。
【請求項７】上記目標物体検出手段で検出された上記画
像中の上記目標物体の位置を、位置入力装置に送出する
ようにしたことを特徴とする請求項１に記載の目標追尾
装置。