JP3429194B2 - 自動追尾装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、主カメラで追跡対
象物を自動追尾する自動追尾装置に関し、特に、ブロッ
クマッチングを用いた追跡を行う場合に、追跡対象物の
カメラ光軸方向の動きを効率良く追尾する自動追尾装置
に関する。

【０００２】

【従来の技術】従来、映画・スポーツ中継でのカメラ制
御、移動ロボット・自律走行車の制御、ジェスチャ・表
情・視線の認識、監視、観測の自動化等の分野では、画
面内の運動物体を画像処理を用いて自動追尾する技術が
知られている。例えば、実開昭５８−１７８７７３号公
報には、モニタテレビ上の目標の大きさが常に一定とな
るようにズーム機構を制御することにより、目標の接近
若しくは離遠を追尾できるよう構成したテレビ追尾装置
が開示されている。また、特開平３−１７４６７１号公
報には、フーリエ変換に基づいた相関処理を行うことに
より、移動物体の大きさや方向が変化しても、目標物を
自動的に追尾するよう構成した光学的自動追尾装置が開
示されている。

【０００３】ところが、前者は、目標とその周囲の景色
とのコントラスト差を利用しているので、黒い背景の中
の白い目標物を追尾する程度の追尾能力しかないという
問題がある。また、後者は、カメラからの画像を一括処
理する方式を採用するため、追跡するためのウインドウ
処理ができず、複数の移動物体が存在する場合にはどち
らを追跡すべきかが不明になるという問題がある。

【０００４】このため、「日本ロボット学会誌 Vol.13
No.1,P134-140,1995“局所相関演算に基づく実時間ビジ
ョンシステムの開発”」では、ブロックマッチングに基
づく相関演算を行うことにより、上記問題を招くことな
く自動追尾を行っている。具体的には、追尾対象の画像
と現在注視している局所的な画像領域との間で密に相関
演算を行い、追尾対象物の動きの変化をとらえ、動きの
変化量を現在注視しているポイントに反映することによ
って、頑強かつ高速な追尾を実現している。

【０００５】

【発明が解決しようとする課題】しかしながら、この追
尾装置は、動きをとらえるための相関演算を固定された
テンプレート画像で行なっているため、上下左右の動き
には対応できる反面、前後（奥行き方向）の動きには追
尾しきれないという問題がある。すなわち、この追尾装
置が採用するブロックマッチングは、その追跡能力の頑
強さと速度面から有効である反面、このブロックマッチ
ングにおける目標物のカメラ光軸方向の動きの追跡をす
ることができないという問題を有する。

【０００６】奥行き方向への動きに追随する追尾装とし
て、特開平１−２４５７７号公報には、撮像装置の光軸
と並行に移動してくる遠方の移動物体に対しても再生画
面上で追尾することができる移動物体追尾装置が開示さ
れている。しかし、撮像装置の光軸と垂直な平面を移動
する移動物体の追跡技術が示されていないため、かかる
問題の現実的解決には至っていない。

【０００７】そこで、本発明では、上記課題を解決し、
ブロックマッチングを用いた追跡を行う場合に、目標物
のカメラ光軸方向の動きを効率良く自動追尾することが
できる自動追尾装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、追跡対象物を局所相関方式で追尾す
る主カメラと、ズームレンズ及びパンチルト機構を少な
くとも有し、前記追尾対象物を拡大画像として捉えるサ
ブカメラと、前記主カメラからの画像情報とテンプレー
ト画像とのマッチングにより前記追跡対象物の移動量を
算出する第１の算出手段と、前記サブカメラが捉えた追
跡対象物の奥行き方向の動きを示すオプティカルフロー
を算出する第２の算出手段と、前記第２の算出手段によ
る算出結果に基づいて前記サブカメラのパンチルト動作
角及びズームレンズ並びに前記第１の算出手段が用いる
追跡対象物のテンプレート画像の大きさを制御する制御
手段とを具備することを特徴とする。このため、ブロッ
クマッチングを用いた追跡を行う場合に、目標物のカメ
ラ光軸方向の動きを効率良く自動追尾することができ
る。

【０００９】また、第２の発明は、前記制御手段が、前
記サブカメラのズームレンズの倍率が前記追跡対象物が
サブカメラの視野角に収まる最大倍率となるよう制御す
ることを特徴とする。このため、追跡対象物のカメラ光
軸方向の動きを検出するためのオプティカルフローを精
度良く求めることができる。

【００１０】また、第３の発明は、前記第２の算出手段
が、局所相関演算に基づいて追跡対象物の画像の大きさ
の変化を算出することを特徴とする。このため、高速に
オプティカルフローを求め、カメラ光軸方向のすばやい
動きにも追随することができる。

【００１１】

【００１２】また、第４の発明は、前記制御手段が、前
記第２の算出手段が算出したオプティカルフローのダイ
バージェンスを用いて前記サブカメラのズームレンズの
倍率を制御することを特徴とする。このため、計算量の
少ないダイバージェンスを利用した一層高速な自動追尾
が可能となる。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。まず最初に、本実施の形態
で用いる自動追尾装置の概念について説明する。本実施
の形態で用いる自動追尾装置は、図１に示すように、主
カメラ１の他にサブカメラ２を設け、このサブカメラ２
により追跡対象物の奥行き方向の移動を検出し、検出し
た変化量に基づいて主カメラ１が追跡する追跡対象物の
テンプレート画像の大きさを変え、もって追跡対象物の
奥行き方向への動きに追随できるようにしている。

【００１４】すなわち、主カメラ１が追跡対象物を追跡
する際には、追跡対象物のテンプレート画像を画像メモ
リのデータとずらしマッチングし、追跡対象物の移動方
向及び移動量を求めるため、追跡対象物の奥行き方向の
移動によって追跡対象物の大きさが変動すると、テンプ
レート画像をそのまま用いることができなくなる。この
ため、この自動追尾装置では、追跡対象物の奥行き方向
の移動に応答して、テンプレート画像の大きさを拡大又
は縮小することとしている。なお、この自動追尾装置で
は、追跡対象物の動きをオプティカルフローとして算定
し、フローベクトル場を解析することにより、追跡対象
物がカメラに近づいてくるのか離れて行くのかを算出し
ている。

【００１５】また、この自動追尾装置では、サブカメラ
２を用いて追跡対象物の奥行き方向の動きであるオプテ
ィカルフローを算出するため、追跡対象物をサブカメラ
２の画面全体で捉えることが精度上望ましい。このた
め、追跡対象物の奥行き方向の動きに連動してサブカメ
ラ２のズーム倍率及びパンチルト運動を調整し、視野の
狭いサブカメラ２の視界に追跡対象物が入るようにして
いる。したがって、もし追跡対象物が奥行き方向に遠の
いたり近づいたりした場合は、その画像全体のオプティ
カルフローの変化としてとらえることができる。

【００１６】このように、サブカメラ２からの画像では
常にオプティカルフローが推定されており、得られるフ
ローベクトル場のダイバージェンス（ｄｉｖ＝ｄｕ／ｄ
ｘ＋ｄｖ／ｄｙ）を計算している。そして、このダイバ
ージェンス（ｄｉｖ）の絶対値があるしきい値を超えた
場合には、追跡対象物が奥行き方向に動いたとみなし、
ダイバージェンス（ｄｉｖ）の値に比例した倍率でテン
プレート画像の拡大あるいは縮小を行なう。このように
テンプレート画像を変える事によって主カメラ１は奥行
き方向の動きも含めて対象物を追尾することができる。

【００１７】次に、本実施の形態で用いる自動追尾装置
の構成について説明する。図１は、本実施の形態で用い
る自動追尾装置の全体構成を示す図である。同図に示す
ように、この自動追尾装置は、主カメラ１、サブカメラ
２、画像追尾演算装置３、オプティカルフロー演算部
４、制御部５からなる。

【００１８】主カメラ１は、撮像対象を局所相関方式で
追尾する比較的視野角が広いＣＣＤカメラモジュールで
あり、サブカメラ２は、パンチルト台７によるパンチル
ト動作が可能であり、電気信号により拡大縮小率が変化
するズームレンズ６を有するＣＣＤカメラである。主カ
メラ１の他にサブカメラ２を設けた理由は、主カメラ１
のみでは、ウインドウ内の画像情報が少なく、追跡対象
物の動き情報であるオプティカルフローを精度良く求め
ることができないためである。すなわち、このオプティ
カルフローは、追跡対象物が存在する追跡ウインドウ内
で計算により求まるため、ウインドウ内の画像情報が多
ければ、その精度が向上する。このため、この自動追尾
装置では、追跡対象物のみを大きくとらえる補助的なカ
メラ（サブカメラ２）を設けている。なお、主カメラ１
の映像信号は画像追尾演算処理装置３に入力され、サブ
カメラ２からの映像信号はオプティカルフロー演算部４
に入力される。また、サブカメラ２のズームレンズ６を
制御する信号線は制御部５に接続され、またサブカメラ
２が載るパンチルト台７の制御信号も制御部５に接続さ
れる。

【００１９】画像追尾演算装置３は、主カメラ１からの
画像情報に基づいて対象物の動き量を算出する処理部で
あり、図２に示すように、画像メモリ３ａ、相関演算処
理部３ｂ及びテンプレート画像３ｃからなる。オプティ
カルフロー演算部４は、対象画像の大きさの変化を含む
オプティカルフローを算出する処理部であり、図３に示
すように、画像メモリ４ａ及び相関演算処理部４ｂから
なる。このように、画像追尾演算処理装置３及びオプテ
ィカルフロー演算部４は、同一の機能を有する相関演算
部３ｂ及び相関演算部４ｂをそれぞれ内在する。

【００２０】この相関演算部３ｂ及び４ｂは、基準とな
るテンプレート画像及びその座標値を受け付け、図４に
示すように、その座標の近傍に位置する候補画像とテン
プレート画像のずれ量を求める。例えば、８×８ピクセ
ルのテンプレート画像に対して２４×２４ピクセルのウ
インドウの中のあらゆるずらし量に対する候補画像とテ
ンプレート画像との間で相関をとり、最も一致度が高い
ずれ量の画像を探し出しそのずれ量を求める。そして、
画像追尾演算処理装置３では、相関演算部３ｂが求めた
ずれ量を追跡対象の移動量とみなし、オプティカルフロ
ー演算部４では、テンプレート画像を１つ前の処理時の
画像として相関演算部４ｂが求めたずれ量を移動ベクト
ルとみなす。

【００２１】なお、このオプティカルフロー演算部４
は、例えば特開平９−７３５４０号公報に開示される改
良型相関法を用いることもでき、この場合には、局所相
関演算に基づいて追跡対象物の動きベクトルの信頼度を
計算し、信頼度の高いフローベクトルから信頼度の低い
フローベクトルを補完により求めることになる。この改
良型相関法を用いると、若干の速度低下を伴うものの、
信頼度が低くノイズ成分の多い動きベクトルを信頼度が
高い動きベクトルで補完することができるため、オプテ
ィカルフローを正確に求め、もってノイズに強い追跡処
理を行うことができる。

【００２２】制御部５は、画像追尾演算処理部３及びオ
プティカルフロー演算部４の出力に基づいて、サブカメ
ラ２のパンチルト動作角及びズームレンズ６と、主カメ
ラ１で追跡する追跡対象物のテンプレート画像の大きさ
を制御する制御部であり、図５に示すように、パンチル
ト機構制御部５ａ、ダイバージェンス計算部５ｂ、ズー
ムレンズ制御部５ｃ及びテンプレート画像拡大縮小処理
部５ｄからなる。

【００２３】ここで、パンチルト機構制御部５ａは、画
像追尾演算処理部３からのデータに基づいて、サブカメ
ラ２のパンチルト台７の制御を行なう処理部である。ま
た、ダイバージェンス計算部５ｂは、オプティカルフロ
ー演算部４からのフローベクトル場データ（ｕ，ｖ）に
基づいて、ダイバージェンスすなわち ｄｉｖ＝ｄｕ／ｄｘ＋ｄｖ／ｄｙ（スカラー量） を計算する処理部である。なお、この計算結果は、ズー
ムレンズ制御部５ｃ及びテンプレート画像拡大縮小処理
部５ｄに出力される。ズームレンズ制御部５ｃは、この
ダイバージェンスを用いてサブカメラ２のズームレンズ
６の最適倍率の決定を行い、またテンプレート画像拡大
縮小処理部５ｄは、追跡対象物の奥行き方向への移動に
応答する大きさの変化に対応するために、テンプレート
画像３ｃの拡大縮小を行う。

【００２４】具体的には、主カメラ１が追跡対象物を追
跡する場合に、画像追尾演算処理装置３が、追跡対象物
の現在の座標と追尾演算処理の単位時間における対象物
の移動方向および移動量を制御部５に送り、制御部５
は、その移動量に応じた分だけパンチルト台７を動か
し、サブカメラ２に常に追跡対象物がその視野内におさ
まるようにする。このため、図６に示すように、主カメ
ラ１は追跡対象物を広視野角で追跡し、サブカメラ２は
追跡対象物を常に視野角いっぱいに得ることができる。

【００２５】次に、追跡対象物が奥行き方向に移動した
場合すなわちカメラに近づいたり離れたりする場合につ
いて説明する。すでに説明したように、制御部５のズー
ムレンズ制御部５ｃにより、サブカメラ２は常に追跡対
象物を視野角全体で捉えることができるので、追跡対象
物の奥行き方向の移動を敏感に把握できる。

【００２６】具体的には、この追跡対象物の奥行き方向
の移動は、オプティカルフロー演算部４から得られるフ
ローベクトル場の変化として捉えることができるため、
ダイバージェンス計算部５ｂは、このフローベクトル場
の変化からベクトル場のダイバージェンス（ｄｉｖ）を
計算して、奥行き方向の移動量を検出する。そして、主
カメラ１に写っている追跡対象物は、このダイバージェ
ンス（ｄｉｖ）に比例した大きさに変化していることに
なるので、テンプレート画像拡大縮小処理部５ｄが追跡
対象物の比較の対象となるテンプレート画像３ｃをこの
ダイバージェンス（ｄｉｖ）に比例した倍率で拡大又は
縮小処理する。また、サブカメラ２に写る画像の大きさ
もダイバージェンス（ｄｉｖ）に応答して変化している
ので、ズームレンズ制御部５ｃが、ダイバージェンス
（ｄｉｖ）に基づいてズームレンズ６の倍率を変化させ
る。

【００２７】このように、本実施の形態では、追跡対象
物の奥行き方向への移動に伴う追跡対象物の大きさの変
化を、テンプレート画像３ｃの拡大縮小及びズームレン
ズ６の倍率変更により吸収するため、主カメラ１及びサ
ブカメラ２がともに追跡対象物を適切に捕らえることが
でき、３次元トラッキングが可能となる。

【００２８】

【発明の効果】以上詳細に説明したように、第１の発明
は、主カメラの他にサブカメラを設け、サブカメラが捉
えた追跡対象物の奥行き方向の動きに基づいて、サブカ
メラのパンチルト動作角及びズームレンズ並びに追跡対
象物のテンプレート画像の大きさを制御するよう構成し
たので、下記に示す効果が得られる。 １）ブロックマッチングを用いた追跡を行う場合に、追
跡対象物のカメラ光軸方向の動きを効率良く自動追尾す
ることができる。 ２）従来弱点とされてきた奥行き方向の動きについて、
オプティカルフローを求めることのできるサブカメラを
加え奥行き方向の動きを推定し、それをテンプレート画
像の拡大縮小倍率に反映させることで正確な３次元的ト
ラッキングが可能となる。

【００２９】また、第２の発明は、サブカメラのズーム
レンズの倍率を追跡対象物がサブカメラの視野角に収ま
る最大倍率となるよう制御するよう構成したので、下記
に示す効果が得られる。 １）追跡対象物のカメラ光軸方向の動きを検出するため
のオプティカルフローを精度良く求めることができる。 ２）追跡対象物のカメラ光軸方向の動き情報をサブカメ
ラの全視野で求めるため動き情報が精密に求まり、それ
がテンプレート画像の拡大縮小率に反映されるためより
正確な追跡が可能となる。

【００３０】また、第３の発明は、局所相関演算に基づ
いて追跡対象物の画像の大きさの変化を算出するよう構
成したので、高速にオプティカルフローを求め、カメラ
光軸方向のすばやい動きにも追随することができる。

【００３１】

【００３２】また、第４の発明は、オプティカルフロー
のダイバージェンスを用いてサブカメラのズームレンズ
の倍率を制御するよう構成したので、下記に示す効果が
得られる。 １）計算量の少ないダイバージェンスをもとに光軸方向
の動きを求めているので、さらに高速にカメラ光軸方向
の動きを求めることができ、より一層高速な追跡処理が
可能となる。 ２）ノイズに強くかつ対象物体のカメラ光軸方向の動き
に対応できる追跡処理が可能となる。

【図面の簡単な説明】

【図１】本実施の形態で用いる自動追尾装置の全体構成
を示すブロック図である。

【図２】図１に示す画像追尾演算処理装置の構成を示す
ブロック図である。

【図３】図１に示すオプティカルフロー演算部の構成を
示すブロック図である。

【図４】図２及び図３に示す相関演算処理部の処理を説
明する説明図である。

【図５】図１に示す制御部の構成を示すブロック図であ
る。

【図６】主カメラとサブカメラが追跡する対象物の画像
を示す説明図である。

【符号の説明】 １…主カメラ ２…サブカメラ ３…画像追尾演算装置 ４…オプティカルフロー演算部 ５…制御部 ６…ズームレンズ ７…パンチルト台

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 追跡対象物を局所相関方式で追尾する主
   カメラと、 ズームレンズ及びパンチルト機構を少なくとも有し、前
   記追尾対象物を拡大画像として捉えるサブカメラと、 前記主カメラからの画像情報とテンプレート画像とのマ
   ッチングにより前記追跡対象物の移動量を算出する第１
   の算出手段と、 前記サブカメラが捉えた追跡対象物の奥行き方向の動き
   を示すオプティカルフローを算出する第２の算出手段
   と、 前記第２の算出手段による算出結果に基づいて前記サブ
   カメラのパンチルト動作角及びズームレンズ並びに前記
   第１の算出手段が用いる追跡対象物のテンプレート画像
   の大きさを制御する制御手段と、 を具備することを特徴とする自動追尾装置。
2. 【請求項２】 前記制御手段は、前記サブカメラのズー
   ムレンズの倍率が前記追跡対象物がサブカメラの視野角
   に収まる最大倍率となるよう制御することを特徴とする
   請求項１記載の自動追尾装置。
3. 【請求項３】 前記第２の算出手段は、局所相関演算に
   基づいて追跡対象物の画像の大きさの変化を算出するこ
   とを特徴とする請求項１又は２記載の自動追尾装置。
4. 【請求項４】 前記制御手段は、前記第２の算出手段が
   算出したオプティカルフローのダイバージェンスを用い
   て前記サブカメラのズームレンズの倍率を制御すること
   を特徴とする請求項３記載の自動追尾装置。