JP3057004B2

JP3057004B2 - 追尾装置

Info

Publication number: JP3057004B2
Application number: JP8158640A
Authority: JP
Inventors: 聡古川; 健一萩尾
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1996-06-19
Filing date: 1996-06-19
Publication date: 2000-06-26
Anticipated expiration: 2016-06-19
Also published as: JPH1013729A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、追尾対象を追尾す
る追尾装置に関する。

【０００２】

【従来の技術】近年、追尾対象を追尾する追尾装置が、
結婚式場、ホテル等における宴会場において花嫁等をＴ
Ｖカメラで自動的に連続撮影したり、照明を追尾対象の
動きに合わせて自動的に照射したりする用途に利用され
ている。この種の追尾装置は大別すると、不特定の追尾
対象を追尾するもの及び追尾したい追尾対象が予め決ま
っているものの２種類があった。

【０００３】前者は、撮像手段によって撮像された画像
を表示した画面上の追尾対象の特徴（例えば色や形状な
ど）を予め記憶しておき、順次入力される画像の中から
前記特徴と最も一致度が高い位置を検出するものであ
る。この種の具体的方法としては所謂テンプレートマッ
チングがある。テンプレートマッチングは、追尾対象を
含む領域の画像データをテンプレートとして記憶し、順
次入力される画像をテンプレートと同じサイズのブロッ
クに分け、画素毎にテンプレートとブロックの画素値と
の差分の絶対値を計算してこの絶対値を累積し、累積値
が最も小さいブロックの位置を追尾対象の位置とするも
のである。

【０００４】後者は、追尾対象に装着した赤外光発信器
や色票等のマーカを所謂二値化処理で抽出することで追
尾対象の位置を算出するものである。

【０００５】

【発明が解決しようとする課題】ところで、テンプレー
トマッチングを利用した従来の追尾装置は、テンプレー
トとブロックの相対的に同じ座標の画素値の差分をとる
ため、追尾対象の形状が変化すると（例えば、追尾対象
が人間の場合など）、正しい位置での差分の絶対値の累
積値が大きくなってしまって追尾対象を追尾できなくな
ることがあった。また、追尾対象に形状が類似した物体
が多数存在するような環境においては追尾精度が低くな
るという問題があった。

【０００６】このようなテンプレートマッチングの問題
を解決するために、追尾対象の色情報を抽出し、例えば
ヒストグラムとして特徴量を持つ手法が提案されてい
る。この手法は、ヒストグラムが形状に依存しない、色
情報が照明変化に比較的強い等の特徴があるが、追尾中
に追尾対象と照明との距離や角度が変化すると、色情報
が変化するため、記憶していた色情報を抽出できず追尾
が困難になってしまうことがあった。

【０００７】一方、マーカを二値化処理することで追尾
する方法は、マーカとして赤外光発信器を使う場合、赤
外光は人には見えないため出力パワーを大きくすること
ができ、その赤外光を安定して受光できれば追尾も安定
して行えるという特徴がある。しかし、マーカは追尾対
象自体や他の物体によって見えなくなる場合があり、そ
れを防ぐためには追尾対象に多数のマーカ（赤外光発信
器）を装着しなければならないという問題があった。ま
た、使用環境によっては写真機の測距装置やハロゲンラ
ンプなど赤外光発信器以外にも赤外成分を持つ光源が存
在する場合があり、赤外光発信器以外からの赤外光を追
尾してしまい、追尾対象を追尾できなくなってしまうこ
とがあった。

【０００８】本発明は上記事由に鑑みて為されたもので
あり、その目的は、追尾対象を確実に精度良く追尾でき
る追尾装置を提供することにある。

【０００９】

【課題を解決するための手段】請求項１の発明は、上記
目的を達成するために、所定領域を撮像する撮像手段
と、前記撮像手段からの第１の映像信号に基づいて追尾
対象に取着されたマーカを検出するマーカ検出手段と、
前記撮像手段からの第２の映像信号中の追尾対象を含む
領域を追尾対象領域として設定する追尾対象設定手段
と、前記追尾対象設定手段で設定された追尾対象領域の
特徴値を記憶する特徴値記憶手段と、前記撮像手段から
の映像信号中から前記特徴値記憶手段に記憶した追尾対
象の特徴値との類似度を計算してその計算結果に基づい
て追尾対象の存在する位置を求める対象抽出手段と、前
記マーカ検出手段あるいは前記対象抽出手段のいずれか
を使用して順次入力される映像信号における追尾対象の
位置を検出する位置検出手段とを備えて成ることを特徴
とするものであり、マーカを検出できる場合は追尾対象
の形状や色が変化しても安定して追尾することができ、
マーカを検出できない場合は追尾対象の色や形状などの
特徴値を利用して追尾対象を追尾するので、追尾対象を
連続して確実に精度良く追尾することができる。

【００１０】請求項２の発明は、請求項１の発明におい
て、マーカとして赤外光発信器を用い、前記赤外光発信
器が映像信号に同期して発信するので、赤外光発信器以
外からの赤外光の影響を受けずに、安定してマーカの抽
出ができるから、追尾対象を精度良く追尾することがで
きる。請求項３の発明は、請求項１の発明において、位
置検出手段が、マーカ検出手段でマーカを検出できない
時に対象抽出手段を使用するので、マーカが検出されて
いる時は処理時間がかかる対象抽出を行わなくてもよ
く、高速に追尾対象の位置を検出することができる。

【００１１】請求項４の発明は、請求項１のい発明にお
いて、位置検出手段が、マーカ検出手段で複数のマーカ
の候補を検出した時に対象抽出手段を使用するので、マ
ーカが１つだけ検出されている時は処理時間がかかる対
象抽出を行わなくてもよく、高速に追尾対象の位置を検
出することができ、複数のマーカの候補があるときに対
象抽出を行うことで追尾信頼性を向上できる。

【００１２】請求項５の発明は、請求項１の発明におい
て、位置検出手段が、マーカ検出手段で検出したマーカ
の候補の位置と対象抽出手段の出力結果とを使用して追
尾対象の位置を求めるので、追尾信頼性を高くすること
ができる。請求項６の発明は、請求項１の発明におい
て、位置検出手段が検出した追尾対象の位置を基に特徴
値記憶手段が記憶している特徴値を更新する特徴値更新
手段を付加したので、追尾信頼性を高くすることができ
る。

【００１３】請求項７の発明は、請求項１乃至請求項６
の発明において、撮像手段による撮像方向を調整する撮
像方向調整手段を付加し、前記撮像方向調整手段は位置
検出手段の出力に基づいて撮像方向が調整されるので、
広い範囲で追尾対象を追尾することができる。請求項８
の発明は、請求項１乃至請求項７の発明において、撮像
手段とは別の場所に設置された指向性を持ち且つその照
射方向を変えることができる照明装置と、位置検出手段
が検出した追尾対象の位置に基づいて照明装置の照射方
向を追尾対象を照射するように制御する照明制御手段と
を付加したので、追尾対象を精度良く追尾することがで
きるとともに、追尾対象に確実に照明を照射することが
できる。

【００１４】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。（実施形態１）図１に本実施形態の追尾装置のブロック
図を示す。本追尾装置は、撮像手段として白黒のＣＣＤ
カメラ１０とカラーのＣＣＤカメラ１５とを備え、ＣＣ
Ｄカメラ１０からの映像信号を信号処理する信号処理部
１２と、信号処理部１２の出力の二値化処理を行う二値
化処理部１３と、二値化処理部１３からの出力をＩＲ画
像データとして格納する画像記憶部１４と、ＣＣＤカメ
ラ１５からの映像信号を信号処理する信号処理部１６
と、信号処理部１６からの出力をカラー画像データとし
て記憶する画像記憶部１７と、前記各部の制御及び後述
の処理を行う主制御装置３０と、主制御装置３０の指示
により画像記憶部１４，１７を制御する記憶制御部１８
と、前記カラー画像に基づいて求めた追尾対象の特徴値
を記憶する特徴値記憶部１９とで構成される。ここで、
白黒のＣＣＤカメラ１０の前面には赤外光のみを透過す
る赤外透過フィルタ１１が設けられている。

【００１５】本追尾装置は、追尾対象４０にマーカとし
ての赤外光発信器４１を予め装着し、ＣＣＤカメラ１０
によって撮像された画像中から赤外発信器４１が出力す
る赤外光を抽出することにより追尾対象の位置を検出す
る処理と、カラーのＣＣＤカメラ１５によって撮像され
た画像を入力し、初期設定で抽出及び記憶した画像中の
追尾対象４０の画像特徴を基に、ＣＣＤカメラ１５で撮
像されたカラー画像中から追尾対象の位置を検出する処
理とを組み合わせて追尾対象４０の位置を出力するもの
であり、これらの処理を繰り返すことで追尾対象を連続
的に追尾するものである。ここで、赤外光発信器４１
は、赤外領域（例えば、波長８９０ｎｍ付近）にピーク
を持つ赤外発光ダイオード（以下、赤外ＬＥＤと称す）
などで構成され、赤外ＬＥＤに直流電流を流すことによ
り常時発光している。而して、本追尾装置では、マーカ
が検出できる場合は追尾対象４０の形状や色が変化して
も追尾対象４０を追尾することができ、マーカが検出で
きない場合はカラー画像に基づいて追尾対象４０を追尾
するので、追尾対象４０を連続して追尾することができ
るのである。ここにおいて、上述した主制御装置３０は
マイクロコンピュータを用いて実現される。

【００１６】上記動作を行うために、主制御装置３０に
は、追尾開始及び追尾終了を指示する運転スイッチ２０
が接続されている。なお、運転スイッチ２０は、追尾開
始スイッチと追尾終了スイッチとが別々のもので構成し
ても良いことは勿論である。また、本実施形態の追尾装
置では、ＣＣＤカメラ１０及びＣＣＤカメラ１５のレン
ズ焦点距離やＣＣＤのサイズ等は略同じであり、各ＣＣ
Ｄカメラ１０，１５は略同じ領域を撮像するようになっ
ている。

【００１７】以下、主制御装置３０の動作を図２に基づ
いて説明する。まず、運転スイッチ２０により追尾の開
始を指示する（Ｓｔｅｐ１）と、運転スイッチ２０によ
り追尾の終了が指示されたか否かが確認され（Ｓｔｅｐ
２）、追尾の終了が指示された時には追尾を終了する
（Ｓｔｅｐ３）。一方、追尾の終了が指示されていない
時は、初期設定が行われたか否かが確認され（Ｓｔｅｐ
４）、初期設定が行われていない時は初期設定として追
尾対象４０の画像上の特徴（色や形状など）を記憶する
処理を行う。

【００１８】ここで、初期設定を行う場合は、主制御装
置３０が記憶制御部１８へ、ＣＣＤカメラ１５からのカ
ラー画像を入力して画像記憶部１７に格納するように指
示する（Ｓｔｅｐ５）。すると、ＣＣＤカメラ１５にて
撮像した映像信号ＣＬＶＤが信号処理部１６で赤
（Ｒ），緑（Ｇ），青（Ｂ）の３原色の成分に分離され
（ＲＧＢ信号変換され）て、アナログ−デジタル変換
（以下、Ａ／Ｄ変換と称す）などの処理が行われた後、
画像記憶部１７にカラー画像データとして格納される。
画像記憶部１７へのカラー画像データの格納が完了する
と、記憶制御部１８から主制御装置３０にその旨が通知
され、主制御装置３０は、追尾対象４０の初期位置、例
えば画面の中央の所定の範囲（記憶領域）で、追尾対象
４０がもつ画像特徴値を抽出するために、画像記憶部１
７における記憶領域の対応するアドレスのデータを読み
出してそのデータを処理することで追尾対象の特徴値を
算出し、その結果を特徴値記憶部１９に格納する（Ｓｔ
ｅｐ６）。特徴値としては、画像記憶部１７における記
憶領域内の画像データそのものやヒストグラムを用いれ
ば良いが、本実施形態では画像データそのもの(R(i,j),
G(i,j),B(i,j))をテンプレートとして記憶する。ただ
し、R(i,j),G(i,j),B(i,j)それぞれは、記憶領域の左上
の座標を(0,0) とした時の座標(i,j) のＲ成分の値、Ｇ
成分の値、Ｂ成分の値であり、テンプレートのサイズは
Ｉ×Ｊとしてある（つまり、０≦ｉ＜Ｉ、０≦ｊ＜
Ｊ）。

【００１９】主制御装置３０は、初期設定が終了した
ら、追尾対象４０に装着した赤外光発信器41が出力する
赤外光を検知する処理を行う。赤外光透過フィルタ１１
を介してＣＣＤカメラ１０にて撮像した映像信号ＩＲＶ
Ｄは信号処理部１２でＡ／Ｄ変換などの処理が行われた
後、二値化処理部１３にて所定のしきい値で二値化処理
され、画像記憶部１４にＩＲ画像データとして格納され
る（Ｓｔｅｐ７）。ここで、本追尾装置では、白黒のＣ
ＣＤの感度、赤外光透過フィルタ１１の感度及び赤外光
発信器４１の出力の特性は、それぞれ例えば図３のＡ，
Ｂ，Ｃに示すような特性（なお、Ａ，Ｂは相対感度、Ｃ
は相対出力を示している）を持つもので構成してあり、
ＣＣＤカメラ１０には図３の斜線部分Ｄの感度で赤外光
が入力される。したがって、７００ｎｍから１０００ｎ
ｍの波長の光のみを透過するので、二値化処理により前
記波長の領域のみが抽出できるのである。画像記憶部１
４へのＩＲ画像データの格納が完了すると、記憶制御部
１８から主制御装置３０にその旨が通知され、主制御装
置３０において、画面上のマーカ、すなわち、赤外光発
信器４１の位置がマーカ検出手段により算出される（Ｓ
ｔｅｐ８）。

【００２０】主制御装置３０は、マーカを検出するため
に、画像記憶部１４内の二値化されたＩＲ画像データを
領域分けする所謂ラベリング処理を行い、ラベル付けさ
れた領域毎に重心位置（中心位置）及び面積を算出し
て、求めた重心位置及び面積を記憶しておく。赤外光発
信器４１がＣＣＤカメラ１０の視野に入っていれば、通
常１つの領域がマーカの存在する対象候補領域として抽
出され、赤外光発信器４１が他の物体などにより隠れて
いたりＣＣＤカメラ１０の視野外であると領域は抽出さ
れない。また、赤外光発信器４１以外の赤外光源や反射
光の影響で複数の領域が抽出される場合もある。もし、
対象候補領域が複数抽出された場合は、赤外光発信器４
１の出力光によるものでないことが明らかな対象候補領
域を以下の手順で排除する。手順１）抽出された対象候補領域の面積が所定の大きさ
の範囲内であればその領域を対象候補とする。手順２）前回選択された対象領域の重心位置と、対象候
補領域の重心位置の距離が最も近い領域を対象領域とす
る。すなわち、主制御装置は、手順１で追尾対象候補とされ
た領域の重心位置を基に手順２にしたがって赤外光発信
器４１の光による領域を選択し、追尾対象４０の位置を
出力する（Ｓｔｅｐ９）。つまり、主制御装置３０は、
選択された領域の重心位置（中心位置）の画面中央から
の変位Δｘ，Δｙを求め、追尾信号として出力する。

【００２１】一方、抽出領域が存在しない場合、すなわ
ち、Ｓｔｅｐ８においてマーカ（赤外光発振器４１）が
検出されない場合は、カラー画像を入力するように、主
制御装置３０が記憶制御部１８に指示する（Ｓｔｅｐ１
０）。すると、ＣＣＤカメラ１５にて撮像した映像信号
ＣＬＶＤが信号処理部１６で３原色信号に変換され（Ｒ
ＧＢ信号変換され）て、Ａ／Ｄ変換などの処理が行われ
た後、画像記憶部１７にカラー画像データとして格納さ
れる。画像記憶部１７へのカラー画像データの格納が完
了すると、記憶制御部１８は主制御装置３０にその旨を
通知する。すると、主制御装置３０は、初期設定時に特
徴値記憶部１９に格納した追尾対象４０の特徴値と類似
の特徴値を持つ画面ブロックを探す処理を行う。つま
り、各画面ブロックの画像データを画像記憶部１７から
読み出し、初期設定と同様にして特徴値を算出し、各画
面ブロックの特徴値と追尾対象４０の特徴値（初期設定
において特徴値記憶部１９に格納したもの）とを比較し
て、評価値を計算して追尾対象４０の存在する位置（画
面ブロック）を求める対象抽出処理を行う（Ｓｔｅｐ１
１）。特徴値として画像データを利用する場合、評価値
cor(x,y)の計算は、追尾対象４０の画像データ（テンプ
レート）と画面ブロック（入力画像）の対応する座標の
画素値との差分の絶対値の累積和を利用する。ここで、
入力画像の座標(i,j) のＲ成分の値をRin(i,j)、入力画
像の座標(i,j)のＧ成分の値をGin(i,j)、入力画像の座
標(i,j) のＢ成分の値Bin(i,j)とし、テンプレートの座
標(i,j) のＲ成分の値をRtp(i,j)、テンプレートの座標
(i,j) のＧ成分の値をGty(i,j)、テンプレートの座標
(i,j) のＢ成分の値をBty(i,j)とし、画面左上を原点と
した時の画面ブロックのオフセットをx,y とすると、評
価値cor(x,y)は、 cor(x,y)= Σ_i=0 ^I-1Σ_j=0 ^J-1(｜Rin(x+i,y+j)-Rtp
(i,j) ｜+ ｜Gin(x+i,y+j)-Gty(i,j) ｜+ ｜Bin(x+i,y+
j)-Bty(i,j) ｜）で求められ、画面ブロックの画像がテンプレートの画像
に類似しているほど値が小さくなる。したがって、全て
の画面ブロックに対して上式の演算を行い、最も小さい
値をとる画面ブロックとその画面ブロックのオフセット
x,y を求めることによって追尾対象４０の存在する位置
を知ることができるのである。そして、主制御装置３０
は、このオフセット値の基準を画面左上から画面中央に
変更して得た変位Δｘ，Δｙを求め（つまり、位置検出
を行い）、追尾信号として出力する（Ｓｔｅｐ１２）。

【００２２】主制御装置３０は、Ｓｔｅｐ１２又はＳｔ
ｅｐ９において変位Δｘ，Δｙを出力した後、Ｓｔｅｐ
２に戻って追尾の終了が指示されていないかを確認し、
追尾の終了が指示されるまで上記の処理を繰り返すこと
によって追尾を継続する。つまり、ＣＣＤカメラ１０か
らの映像信号によるＩＲ画像に基づいてマーカである赤
外光発信器４１を検出し、赤外光発信器４１が検知でき
ない時はＣＣＤカメラ１５からの映像信号によるカラー
画像で処理を行うので、赤外光発信器４１が検知できれ
ば信頼性高く追尾対象４０を追尾することができ、赤外
光発信器４１を検知できない場合はカラー画像処理によ
り追尾対象４０の追尾を続行する。カラー画像処理に基
づいた追尾は短い時間であれば十分な追尾性能が得ら
れ、赤外光発信器４１が再び検出されればカラー画像処
理による追尾誤差をキャンセルできるので、精度良く確
実に追尾対象４０を追尾することができるのである。

【００２３】（実施形態２）本実施形態の追尾装置は、
実施形態１と同様に、マーカを検出することによって追
尾対象を追尾し、マーカを検出できない時には入力画像
の特徴値に基づいて追尾対象を追尾するものであり、マ
ーカが赤外光発信器からなり、この赤外光発信器が撮像
手段からの映像信号に同期して間欠的に発信する点に特
徴がある。すなわち、本追尾装置は、赤外光発信器４１
からの発光のタイミングを制御することにより、赤外光
発信器４１以外からの赤外光（ノイズ）が存在する場合
の追尾精度を高めるものである。

【００２４】図４に本実施形態の追尾装置の特徴となる
部分のブロック図を示し、本追尾装置の特徴となる動作
を説明する。赤外領域の光に感度がある白黒のＣＣＤカ
メラよりなる撮像手段２９からの映像信号は同期抽出手
段２８及びＡ／Ｄ変換手段２４に入力される。すると、
同期抽出手段２８では、映像信号の中から図５（ａ）に
示すような垂直同期信号を抽出する。この垂直同期信号
（パルス信号）は、１／６０秒間隔であり、映像の１フ
ィールド分の時間を表しているものである。こうして抽
出された垂直同期信号は、同期送信手段２３に送られ、
電波として送信される。なお、この同期送信手段２３か
ら電波を送信する時の方式は、ＦＭやＡＭのような一般
的な変調方式でよく、出力も数十メートル到達する程度
の低出力のものでよい。同期送信手段２３から送信され
た同期信号（垂直同期信号）は、赤外光発信器４１の同
期受信手段４２にて復調され、赤外ＬＥＤ駆動手段４３
に入力される。赤外ＬＥＤ駆動手段４３では、図５
（ｂ）に示すように、同期信号の１パルス毎に信号のハ
イレベルとローレベルが切り換わる間欠的な赤外ＬＥＤ
駆動信号を生成して出力する。このため、赤外ＬＥＤ４
４は、撮像手段２９のフィールドのタイミングに同期し
て、発光と消灯を繰り返す。このため、撮像手段２９で
は、赤外光発信器４１を撮像すると、あるフィールドで
は赤外ＬＥＤ４４からの赤外光がフィールド期間全域に
わたって撮像され、次のフィールドでは赤外光が全く撮
像されない。

【００２５】また、Ａ／Ｄ変換手段２４に入力された撮
像手段２９からの映像信号は、Ａ／Ｄ変換手段２４にて
デジタル信号に変換され、そのデジタル信号は一旦、映
像記憶手段２５に入力される。ここで、映像記憶手段２
５では１フィールド分のデータを記憶する。この種のメ
モリはフィールドメモリと呼ばれ、デジタル処理を行う
テレビジョン等で一般的に使われているものでよい。映
像記憶手段２５に記憶されたデータは次のフレームで読
み出され、映像差分手段２６に入力される。映像差分手
段２６では、映像記憶手段２５からのデータ、すなわ
ち、１フィールド前の映像と、現在の映像との差分を求
めることにより、映像の変化部分を抽出する。

【００２６】例えば、図５（ａ）のフィールドＥでの画
像に、図６（ａ）に示すように赤外光発信器４１からの
赤外光４１’と、赤外光発信器４１以外からの赤外光よ
りなるノイズ成分Ｎが存在している場合でも、図５
（ａ）のフィールドＦでの画像ではノイズ成分Ｎだけが
存在する（赤外発信器４１は消灯している）ので、映像
差分手段２６にてフィールドＥの画像（図６（ａ））と
フィールドＦの画像（図６（ｂ））との差分を抽出する
ことにより図６（ｃ）に示すような画像が得られ、赤外
光発信器４１からの赤外光４１’のみをマーカとして検
出できるのである。つまり、赤外光発信器４１以外から
の赤外光よりなるノイズ成分Ｎは常時発光している場合
が多く、また、点滅している場合でも撮像手段２９のフ
ィールドに同期して点滅していることはないため、映像
差分手段２６での差分処理により打ち消すことができ、
赤外ＬＥＤ４４のみを抽出できるのである。

【００２７】ただし、ノイズ光であっても、その発光し
た瞬間などは、同期した赤外ＬＥＤ４４からの赤外光４
１’と同様に、ある連続した２フィールド間では差分処
理により抽出されてしまうこともあるため、更に次の連
続した２フィールド間においても差分処理を行い、２回
連続して抽出された場合のみ赤外ＬＥＤ４４からの赤外
光４１’であると判定することが望ましい。

【００２８】而して、本追尾装置は、外乱ノイズを含ん
だ画像の中から赤外ＬＥＤ４４の発光のみを検出し、そ
の位置を特定することができるから、スポットライト等
をその位置に向けることにより、人物を追尾照射するこ
ともできる。（実施形態３）本実施形態の追尾装置の基本構成及び基
本動作は実施形態１と略同じなので、その特徴となる動
作を図７に基づいて説明する。

【００２９】本追尾装置の主制御装置３０では、Ｓｔｅ
ｐ８において、マーカの候補である対象領域候補が少な
くとも１つ検出されると、マーカが複数検出されたか否
かが判断され（Ｓｔｅｐ９）、マーカが１つの時は実施
形態１と同様に選択された領域の重心位置を赤外光発信
器４１からの赤外光として選択し、選択された領域の重
心位置の画面中央からの変位Δｘ，Δｙを求める位置検
出を行って、変位Δｘ，Δｙを出力する（Ｓｔｅｐ１
０）。一方、Ｓｔｅｐ９にて、マーカが複数検出された
時はカラー画像を入力するように記憶制御部１８に指示
する（Ｓｔｅｐ１１）。そして、実施形態１と同様にし
て各画面ブロックの評価値cor(x,y)を算出する対象抽出
処理を行う（Ｓｔｅｐ１２）。その後、この評価値cor
(x,y)とマーカの候補が見つかった位置とを基に、マー
カである確率が最も高い位置を以下の手順で求める。手順１）画面ブロック内にマーカ候補がなければその画
面ブロックは対象候補領域から外す。手順２）評価値cor(x,y)が所定の値よりも大きい画面ブ
ロックは対象候補領域から外す。手順３）残った画面ブロックのうち、前回の処理で選択
された追尾対象４０の位置に最も近い画面ブロックを選
択する。

【００３０】そして、主制御装置３０は、以上の手順１
〜３で選択された画面ブロックとそのオフセットx,y を
求め、さらに、このオフセット値の基準を画面左上から
画面中央に変更して得た変位Δｘ，Δｙを求める位置検
出を行い（Ｓｔｅｐ１３）、変位Δｘ，Δｙを追尾信号
として出力する。一方、抽出領域が存在しない場合、す
なわち、Ｓｔｅｐ８においてマーカ（マーカの候補）が
検出されない場合は、Ｓｔｅｐ１４〜１６において実施
形態１（のＳｔｅｐ１０〜Ｓｔｅｐ１２）と同様の動作
を行う。

【００３１】主制御装置３０は、Ｓｔｅｐ１０，１３，
１６において変位Δｘ，Δｙを出力した後、実施形態１
と同様にＳｔｅｐ２に戻って追尾の終了が指示されてい
ないかを確認し、追尾の終了が指示されるまで上記の処
理を繰り返すことによって追尾を継続する。すなわち、
本追尾装置は、赤外光発信器４１を検知できているとき
は、ＩＲ画像で処理を行い、赤外光発信器４１を検知で
きない時、又は、複数のマーカの候補が検知された時に
カラー画像で処理を行うので、赤外光発信器４１が単独
で検知できれば信頼性高く追尾するし、検知できなくて
も、カラー画像処理により追尾を続行するのである。ま
た、マーカの候補が複数検知される場合はカラー画像処
理によって最も類似度の高いものをマーカとして選択す
るので、追尾信頼性を高くできるのである。

【００３２】（実施形態４）本実施形態の追尾装置の基
本構成及び基本動作は実施形態１と略同じなので、その
特徴となる動作を図８に基づいて説明する。本追尾装置
の主制御装置３０では、Ｓｔｅｐ８において、マーカの
候補である対象候補領域が検出された場合、ＩＲ画像に
基づいて位置検出を行い（Ｓｔｅｐ９）、その後、カラ
ー画像を入力するように指示する（Ｓｔｅｐ１０）。そ
して、実施形態１と同様にして各画面ブロックの評価値
cor(x,y)を算出する対象抽出処理を行う（Ｓｔｅｐ１
１）。この評価値とマーカ候補が見つかった位置を基
に、最もマーカである確率が高い位置を以下の手順で求
める。手順１）画面ブロック内にマーカ候補がなければその画
面ブロックは対象候補領域から外す。手順２）評価値cor(x,y)が所定の値よりも大きい画面ブ
ロックは対象候補領域から外す。手順３）残った画面ブロック内、前回の処理で選択され
た対象位置に最も近い画面ブロックを選択する。

【００３３】そして、主制御装置３０は、以上の手順１
〜３で選択された画面ブロックとそのオフセットx,y を
求め、さらに、このオフセット値の基準を画面左上から
画面中央に変更して得た変位Δｘ，Δｙを求める位置検
出を行い（Ｓｔｅｐ１２）、変位Δｘ，Δｙを追尾信号
として出力する。一方、抽出領域が存在しない場合、す
なわち、Ｓｔｅｐ８においてマーカ（マーカの候補）が
検出されない場合は、Ｓｔｅｐ１３〜１５において実施
形態１（のＳｔｅｐ１０〜１２）と同様の動作を行い、
評価値が最も小さい画面ブロックの画面中央からの変位
Δｘ，Δｙを追尾信号として出力する。

【００３４】主制御装置３０は、Ｓｔｅｐ１２，１５に
おいて変位Δｘ，Δｙを出力した後、実施形態１と同様
にＳｔｅｐ２に戻って追尾の終了が指示されていないか
を確認し、追尾の終了が指示されるまで上記の処理を繰
り返すことによって追尾を継続する。つまり、本追尾装
置は、マーカが検出される場合でも、ＩＲ画像とカラー
画像との両方で処理を行ってその結果を統合して追尾対
象４０の位置を算出しているので、追尾信頼性を高くで
きるのである。

【００３５】（実施形態５）本実施形態の追尾装置の基
本構成及び基本動作は実施形態４と略同じなので、その
特徴となる動作を図９に基づいて説明する。本追尾装置
の主制御装置３０では、Ｓｔｅｐ１２又はＳｔｅｐ１５
において、変位Δｘ，Δｙを出力した後、Ｓｔｅｐ１２
又はＳｔｅｐ１５にて追尾対象４０が存在すると判断さ
れた画面ブロックの特徴値（画像データ）を、初期設定
で記憶した対象特徴値の替わりに記憶し、つまり、特徴
値を更新し（Ｓｔｅｐ１６）、Ｓｔｅｐ２に戻って、追
尾の終了が指示されていないかを確認し、追尾の終了が
指示されるまで上記の処理を繰り返すことによって追尾
を継続する。

【００３６】このため、本追尾装置では、ＩＲ画像又は
カラー画像で処理を行ってその結果に基づいて追尾対象
４０の特徴値を更新しているので、もしカラー画像処理
の途中でテンプレートの内容が壊れてしまっても、新た
に特徴値が更新されるので、追尾信頼性を高くすること
ができるのである。（実施形態６）図１０に本実施形態の追尾装置のブロッ
ク図を示す。本追尾装置の基本構成及び基本動作は実施
形態１と略同じであり、その特徴とするところは、パン
（水平方向）、チルト（垂直方向）の２軸の制御用モー
タを具備する回転台２１を備え、ＣＣＤカメラ１０，１
５が回転台２１上に設置されていて、主制御装置３０か
らの制御信号（追尾信号）により回転台２１がパン、チ
ルト方向に回転することにある。

【００３７】以下、本追尾装置の主制御装置の動作を図
１１に基づいて説明するが、Ｓｔｅｐ１〜Ｓｔｅｐ１５
までは実施形態４の動作と同じなので説明を省略する。
本追尾装置では、主制御装置３０において、Ｓｔｅｐ１
２又はＳｔｅｐ１５にて追尾対象４０の位置を算出し、
画面中央からの変位Δｘ，Δｙが出力されている。そし
て、主制御装置３０は、この出力に基づいて、画面中央
からΔｘ，Δｙの位置に存在する追尾対象４０が画面中
央にくるように回転台２１を制御する（Ｓｔｅｐ１
６）。ここで、Δｘはパン方向、Δｙはチルト方向に対
応させてあり、Δｘ，Δｙを偏差とするフィードバック
制御を行っている。なお、主制御装置３０からの出力で
ある制御信号は、回転台２１にシリアル通信の機能を持
たせてシリアル通信によりデータ送信してもよいし、オ
ン、オフ制御を行ってもよい。

【００３８】主制御装置３０は、Ｓｔｅｐ１６にて回転
台２１を制御した後、Ｓｔｅｐ２に戻り、追尾の終了が
指示されていないかを確認し、以後上記の処理を繰り返
すことによって追尾を継続する。本追尾装置では、追尾
対象４０の位置に基づいて、ＣＣＤカメラ１０，１５が
設置された回転台２１の制御を行うので、より広い範囲
での追尾対象４０の追尾が可能となる。

【００３９】なお、回転台２１を、他の実施形態の追尾
装置に付加してもよいことは勿論である。（実施形態７）図１２に本実施形態の追尾装置のブロッ
ク図を示す。本追尾装置の基本構成は実施形態６と略同
じであり、その特徴とするところは、回転台２１がポテ
ンショメータを具備し、主制御装置３０からの制御信号
により現在の姿勢を出力する点と、回転台２１と連動し
て制御されて追尾対象４０を照射する照明装置２２を備
えている点にある。ここで、照明装置２２は、指向性を
有するものであり、回転台２１から離れた位置に設置さ
れている。

【００４０】以下、本追尾装置の動作を図１３に基づい
て説明するが、Ｓｔｅｐ１〜Ｓｔｅｐ１５までは実施形
態４と同じなので説明を省略する。主制御装置３０は、
Ｓｔｅｐ１２又はＳｔｅｐ１５にて追尾対象４０の位置
を算出し、画面中央からの変位Δｘ，Δｙを出力してい
る。そして、主制御装置３０は、回転台２１からパン・
チルト方向それぞれの回転角に対応したポテンショメー
タの値を読み込み、回転台２１の姿勢ひいては取り付け
られたＣＣＤカメラ１０，１５の姿勢を求める（Ｓｔｅ
ｐ１６）。その後、Ｓｔｅｐ１７において、ＣＣＤカメ
ラ１０又はＣＣＤカメラ１５の位置とＣＣＤカメラ１
０，１５一方の姿勢から、そのＣＣＤカメラの光軸と床
面の交点あるいは所定の高さの面との交点を算出し、つ
いで交点と照明装置２２の位置から照明装置の向きを計
算する座標変換処理を行う。さらに、その後、主制御装
置３０は、実施形態６のＳｔｅｐ１６と同様に回転台２
１を制御する（Ｓｔｅｐ１８）。そして、照明が追尾対
象４０の方向を向くように照明装置２２を制御する（Ｓ
ｔｅｐ１９）。

【００４１】主制御装置３０は、Ｓｔｅｐ１９の処理を
行った後、Ｓｔｅｐ２に戻り、追尾の終了が指示されて
いないかを確認し、以後上記の処理を繰り返すことによ
って、追尾対象が移動しても、追尾対象４０に照明を照
射し続けることが可能となるのである。なお、回転台２
１及び照明装置２２を、他の実施形態の追尾装置に付加
してもよいことは勿論である。

【００４２】

【発明の効果】請求項１の発明は、所定領域を撮像する
撮像手段と、前記撮像手段からの第１の映像信号に基づ
いて追尾対象に取着されたマーカを検出するマーカ検出
手段と、前記撮像手段からの第２の映像信号中の追尾対
象を含む領域を追尾対象領域として設定する追尾対象設
定手段と、前記追尾対象設定手段で設定された追尾対象
領域の特徴値を記憶する特徴値記憶手段と、前記撮像手
段からの映像信号中から前記特徴値記憶手段に記憶した
追尾対象の特徴値との類似度を計算してその計算結果に
基づいて追尾対象の存在する位置を求める対象抽出手段
と、前記マーカ検出手段あるいは前記対象抽出手段のい
ずれかを使用して順次入力される映像信号における追尾
対象の位置を検出する位置検出手段とを備えているか
ら、マーカを検出できる場合は追尾対象の形状や色が変
化しても安定して追尾することができ、マーカを検出で
きない場合は追尾対象の色や形状などの特徴値を利用し
て追尾対象を追尾するので、追尾対象を連続して確実に
精度良く追尾することができるという効果がある。

【００４３】請求項２の発明は、請求項１の発明におい
て、マーカとして赤外光発信器を用い、前記赤外光発信
器が映像信号に同期して発信するので、赤外光発信器以
外からの赤外光の影響を受けずに、安定してマーカの抽
出ができるから、追尾対象を精度良く追尾することがで
きるという効果がある。請求項３の発明は、請求項１の
発明において、位置検出手段が、マーカ検出手段でマー
カを検出できない時に対象抽出手段を使用するので、マ
ーカが検出されている時は処理時間がかかる対象抽出を
行わなくてもよく、高速に追尾対象の位置を検出するこ
とができるという効果がある。

【００４４】請求項４の発明は、請求項１のい発明にお
いて、位置検出手段が、マーカ検出手段で複数のマーカ
の候補を検出した時に対象抽出手段を使用するので、マ
ーカが１つだけ検出されている時は処理時間がかかる対
象抽出を行わなくてもよく、高速に追尾対象の位置を検
出することができ、複数のマーカの候補があるときに対
象抽出を行うことで追尾信頼性を向上できるという効果
がある。

【００４５】請求項５の発明は、請求項１の発明におい
て、位置検出手段が、マーカ検出手段で検出したマーカ
の候補の位置と対象抽出手段の出力結果とを使用して追
尾対象の位置を求めるので、追尾信頼性を高くすること
ができるという効果がある。請求項６の発明は、請求項
１の発明において、位置検出手段が検出した追尾対象の
位置を基に特徴値記憶手段が記憶している特徴値を更新
する特徴値更新手段を付加したので、追尾信頼性を高く
することができるという効果がある。

【００４６】請求項７の発明は、請求項１乃至請求項６
の発明において、撮像手段による撮像方向を調整する撮
像方向調整手段を付加し、前記撮像方向調整手段は位置
検出手段の出力に基づいて撮像方向が調整されるので、
広い範囲で追尾対象を追尾することができるという効果
がある。請求項８の発明は、請求項１乃至請求項７の発
明において、撮像手段とは別の場所に設置された指向性
を持ち且つその照射方向を変えることができる照明装置
と、位置検出手段が検出した追尾対象の位置に基づいて
照明装置の照射方向を追尾対象を照射するように制御す
る照明制御手段とを付加したので、追尾対象を精度良く
追尾することができるとともに、追尾対象に確実に照明
を照射することができるという効果がある。

【図面の簡単な説明】

【図１】実施形態１を示すブロック図である。

【図２】同上の動作説明図である。

【図３】同上の要部の動作説明図である。

【図４】実施形態２の要部を示すブロック図である。

【図５】同上の動作説明図である。

【図６】同上の動作説明図である。

【図７】実施形態３の動作説明図である。

【図８】実施形態４の動作説明図である。

【図９】実施形態５の動作説明図である。

【図１０】実施形態６を示すブロック図である。

【図１１】同上の動作説明図である。

【図１２】実施形態７を示すブロック図である。

【図１３】同上の動作説明図である。

【符号の説明】

１０ＣＣＤカメラ１１赤外光透過フィルタ１２信号処理部１３二値化処理部１４画像記憶部１５ＣＣＤカメラ１６信号処理部１７画像記憶部１８記憶制御部１９特徴値記憶部２０運転スイッチ３０主制御装置

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 F21S 10/00 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】所定領域を撮像する撮像手段と、前記撮
像手段からの第１の映像信号に基づいて追尾対象に取着
されたマーカを検出するマーカ検出手段と、前記撮像手
段からの第２の映像信号中の追尾対象を含む領域を追尾
対象領域として設定する追尾対象設定手段と、前記追尾
対象設定手段で設定された追尾対象領域の特徴値を記憶
する特徴値記憶手段と、前記撮像手段からの映像信号中
から前記特徴値記憶手段に記憶した追尾対象の特徴値と
の類似度を計算してその計算結果に基づいて追尾対象の
存在する位置を求める対象抽出手段と、前記マーカ検出
手段あるいは前記対象抽出手段のいずれかを使用して順
次入力される映像信号における追尾対象の位置を検出す
る位置検出手段とを備えて成ることを特徴とする追尾装
置。
【請求項２】マーカとして赤外光発信器を用い、前記
赤外光発信器が映像信号に同期して発信することを特徴
とする請求項１記載の追尾装置。
【請求項３】位置検出手段は、マーカ検出手段がマー
カを検出できない時に対象抽出手段を使用することを特
徴とする請求項１記載の追尾装置。
【請求項４】位置検出手段は、マーカ検出手段が複数
のマーカの候補を検出した時に対象抽出手段を使用する
ことを特徴とする請求項１記載の追尾装置。
【請求項５】位置検出手段は、マーカ検出手段が検出
したマーカの候補の位置と対象抽出手段の出力結果とを
使用して追尾対象の位置を求めることを特徴とする請求
項１記載の追尾装置。
【請求項６】位置検出手段が検出した追尾対象の位置
を基に特徴値記憶手段が記憶している特徴値を更新する
特徴値更新手段を付加したことを特徴とする請求項１記
載の追尾装置。
【請求項７】撮像手段による撮像方向を調整する撮像
方向調整手段を付加し、前記撮像方向調整手段は位置検
出手段の出力に基づいて撮像方向が調整されることを特
徴とする請求項１乃至請求項６記載の追尾装置。
【請求項８】撮像手段とは別の場所に設置された指向
性を持ち且つその照射方向を変えることができる照明装
置と、位置検出手段が検出した追尾対象の位置に基づい
て照明装置の照射方向を追尾対象を照射するように制御
する照明制御手段とを付加したことを特徴とする請求項
１乃至請求項７記載の追尾装置。