JP7325180B2 - 追尾装置および方法 - Google Patents

Description

本発明は、追尾装置および方法に関する。

監視及びモニタリングシステムでは、パン・チルト・ズームを調整可能なＰＴＺカメラがよく用いられる。追尾対象が常に撮影され続けるように、自動的にＰＴＺカメラのパン・チルト・ズームを制御するＰＴＺ追尾技術が知られている。ここでパンとはカメラの向きを左右に振ること、チルトとはカメラの向きを上下に振ること、ズームとは画角を望遠または広角に変化させることを意味する。

この技術を用いて特定の人物などを追尾しようとしたとき、画像上での人物の交差や重なっていた人物の分離によって、ある人物Ａを追尾していたはずが、異なる人物Ｂを追尾してしまうという場合がある。このような問題に対応するために、特許文献１では、人が交差したり分離したりした場合に、各人物が誰かを判断する顔認証を行う頻度を上げる。これにより、追尾時に入れ替わりが発生し得る場面でも、各人物が誰かを素早く判断し、入れ替わりが起きたまま追尾することを減らすことができる。また、特許文献２では追尾対象を見失った際に、カメラをズームアウトさせて得られた画像から、追尾対象を探索することが開示されている。

特開２０１５－０５３０３２号公報 特開２００８－１０３８９０号公報

しかしながら、特許文献１に記載の技術では、顔認証を用いて各人物が誰かを判断するため、カメラで撮影された画像に顔が映っている必要がある。追尾したい人物や、その人物と交差した人物の顔が画像になかなか映らない場合には、頻度を上げても追尾すべき人物の判断ができず、誤った追尾をしてしまう可能性がある。

誤った追尾をしてしまうと、追尾したい人物が撮像範囲から外れてしまう場合があり、撮影範囲から外れてしまうと、入れ替わりが起きていることが判明しても、追尾したい人物を再度撮影することが難しくなる。

特許文献２に記載の技術のようにズームアウトした場合でも、追尾したい人物と入れ替わった人物とが異なる方向に進んでいたり、２人の距離が離れてしまったりすると追尾したい人物を再度撮影することができない。そのため、画像内で探索を行っても追尾したい人物の追尾を再開することができない。

本発明はこうした課題に鑑みてなされたものであり、その目的は、追尾したい人物などの物体と他の物体との入れ替わりが発生した場合でも、追尾したい物体の追尾を再開することを可能とする技術の提供にある。

本発明のある態様は追尾装置に関する。この追尾装置は、時間的に連続する複数の画像において、主追尾物体を追尾する追尾手段と、前記複数の画像において、前記主追尾物体の近傍に存在する追尾候補物体を登録する登録手段と、前記複数の画像のうち現在の画像において前記主追尾物体が検出されない場合に、前記登録された追尾候補物体が撮影範囲に入るよう撮像手段を制御する制御手段と、を備え、前記追尾手段は、前記主追尾物体と前記追尾候補物体との類似度を算出し、前記登録手段は、前記追尾候補物体と、前記算出された類似度と、を対応付けて登録し、前記制御手段は、現在の主追尾物体が指定された対象ではないと判断された場合、前記類似度に基づいて前記追尾候補物体の優先度を決定する。

本発明によれば、追尾したい人物などの物体と他の物体との入れ替わりが発生した場合でも、追尾したい物体の追尾を再開することができる。

実施の形態に係る追尾システムの構成の例を示す模式図である。 図１のＰＴＺカメラの機能および構成を示すブロック図である。 図１の追尾システムにおけるＰＴＺ追尾処理の流れを示すフローチャートである。 図３の追尾処理ステップにおける処理の流れを示すフローチャートである。 撮像部により順に撮像された画像の列の例を示す図である。 入れ替わりの例を示す図である。 図４の予測処理ステップにおける処理の流れを示すフローチャートである。 優先度の付け方の例を示す図である。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

＜実施の形態＞
図１は、実施の形態に係る追尾システム２の構成の例を示す模式図である。追尾システム２は、ＰＴＺカメラ１０６と、インターネットやＬＡＮやＷＡＮや携帯電話網などのネットワーク１０４と、表示装置１０１と、入力装置１０３と、録画装置１０２と、認証情報記録装置１０７と、を備える。ＰＴＺカメラ１０６と表示装置１０１と録画装置１０２と認証情報記録装置１０７とはネットワーク１０４を介して互いに接続される。入力装置１０３は表示装置１０１と接続される。ＰＴＺカメラ１０６は、表示装置１０１、録画装置１０２からの要求に応じて、ネットワーク１０４を介してそれらの装置に映像１０５を送信する。録画装置１０２は、ＰＴＺカメラ１０６から得た映像１０５をＨＤＤやＳＤＤや光ディスクなどの記録媒体に保存する。表示装置１０１は、ＰＴＺカメラ１０６から得た映像１０５や、録画装置１０２に保存された映像を読みだして表示したり、入力装置１０３を通じてユーザからの要求を受け取り、ＰＴＺカメラ１０６へ要求を送信したりする。認証情報記録装置１０７は、物体を識別するための情報を保持する。

図２は、図１のＰＴＺカメラ１０６の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

ＰＴＺカメラ１０６は、撮像部２００と制御部２５０とを含む。
撮像部２００は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子と、雲台とを含んでおり、撮像範囲を撮像することで映像を生成する。撮像部２００は、パン、チルト、ズームを変化させることで撮像範囲を変えることができる。

通信Ｉ／Ｆ部２５１は、ＨＴＴＰやＴＣＰ／ＩＰなどの通信方式に基づき情報の送受信を担当し、ネットワーク１０４とのインタフェースとして機能する。
映像入力部２５２は、撮像部２００から撮像データを受け取る。ここで撮像データは、撮像部２００により撮像された映像、およびその映像の撮像時の撮像部２００の姿勢情報(パン値、チルト値、ズーム値)を含むデータである。

映像符号化部２５３は、映像入力部２５２から撮像データを受け取り、映像を所定の符号化方式で符号化する。ここで、符号化方式としてはＪＰＥＧ、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、Ｈ．２６５などの方式がある。
映像送信部２５４は、映像符号化部２５３によって符号化された映像を、通信Ｉ／Ｆ部２５１経由で外部へ送信する。

入力部２５５は、入力装置１０３を通じて取得されたユーザ入力や、ユーザ入力に基づいて選択されたデータなどを、通信Ｉ／Ｆ部２５１を通じて受け取る。
物体検出部２５６は、映像入力部２５２によって取得された撮像データから撮像画像を受け取る。そして、物体検出部２５６は、既知のパターン認識や機械学習などの各種手法を利用し、与えられた撮像画像から顔や人体などの物体を検出する。

物体追尾部２５７は、時系列に沿って取得された複数の画像の間、すなわち時間的に連続する画像間において、対応する物体同士の対応付けを行う。対応付け処理は、画像間の物体の検出結果のうち、同一物体に対応する検出結果同士をペアリングするマッチング問題として定式化できる。まず、物体の類似度を、物体を表す図形の位置やサイズ、物体から抽出された特徴量などの値を使って定義する。次に、もっとも類似度の高い検出結果の組から順番にペアを作る方法や、全体の類似度の和が最大になるようペアを作る全体最適化方法を用いて、検出結果のマッチングを行うことができる。対応付けられた物体には同一のＩＤが付与される。

判断部２６１は、入力部２５５から得られたユーザ入力やデータをもとに、物体追尾部２５７で追尾している物体が、ユーザによって指定された対象であるか否かを判断する。判断部２６１は、指定された対象であると判断された物体を主追尾物体として設定する。物体が指定された対象であるか否かの判断手法として、本実施の形態では人物認証、特に顔認証を用いる。顔認証は、予め登録されている人物の顔情報と、撮像画像上の人物の顔から抽出した情報と、を照らし合わせて同一人物か判定する技術である。本実施の形態において、予め登録されている人物の顔情報は認証情報記録装置１０７から取得される。なお、判断手法は顔認証に限定されず、個人または特定の物体を識別する手法であればどのような手法が採用されてもよい。また、個人または特定の物体を識別する手法の代わりに、判断部２６１はユーザからの入力を用いて、物体が指定された対象であるか否かを判定してもよい。

登録部２５８は、物体追尾部２５７で得られた追尾結果と、主追尾物体として設定されている物体のＩＤとから、主追尾物体と入れ替わった可能性がある物体を追尾候補物体として不図示の保持部に登録する。主追尾物体と入れ替わった可能性がある物体は、主追尾物体と交差した物体や主追尾物体から分離した物体などように、現在または過去の画像において主追尾物体の近傍に存在する物体を指す。また、主追尾物体と交差した物体や分離した物体だけでなく、追尾候補物体と交差した物体や追尾候補物体から分離した物体も追尾候補物体として登録される。

追尾候補軌跡記録部２５９は、登録部２５８によって登録された追尾候補物体の軌跡を、物体追尾部２５７の追尾結果を基に記録する。
追尾候補位置予測部２６０は、追尾候補物体が撮像部２００の撮像範囲内にいない場合、追尾候補軌跡記録部２５９が記録する情報から追尾候補物体の現在位置を予測する。
追尾制御部２６２は、主追尾物体または追尾候補物体が撮像部２００の撮像範囲に入るように撮像部２００を制御する。追尾制御部２６２はＰＴＺカメラ１０６のパンモータ、チルトモータおよびズームモータを制御するための命令を生成し、発行する。

図３～図８を用いてＰＴＺ追尾処理の詳細を説明する。
図３は、図１の追尾システム２におけるＰＴＺ追尾処理の流れを示すフローチャートである。Ｓ３０１で、制御部２５０は、外部から通信Ｉ／Ｆ部２５１を通じて、ＰＴＺ追尾の開始要求を受け付けると、ＰＴＺ追尾モードを開始する。Ｓ３０２で、映像入力部２５２は、撮像部２００により取得された映像に含まれる画像を一枚取得する。図５は、撮像部２００により順に撮像された画像５００、５０１、５０２、５０３の列の例を示す図である。

Ｓ３０３で、物体検出部２５６は、Ｓ３０２で取得した画像から顔や人体などの物体を検出する。検出された物体の例を、図５（ａ）に示す。図５（ａ）の画像５００には人物５１０、５１１が映っており、５２０、５２１は人体の検出結果、５４０は顔の検出結果を示す。人物５１０は画像に顔が映っていないため顔の検出結果が得られていない。このとき、顔の検出結果５４０は人体の検出結果５２１と重なっているため、顔の検出結果５４０は人体の検出結果５２１に対応付けられる。このように本実施の形態では、人体の検出結果と顔の検出結果とが所定の基準を満たす場合、例えば検出した物体を囲む枠が８割以上重なっている場合には、それらの検出結果同士が対応付けられる。

Ｓ３０４で、物体追尾部２５７は、時間的に連続する画像と画像との間で、対応する物体同士の対応付けを行う。本実施の形態では物体追尾部２５７は人体の検出結果に基づいて対応付けを行う。図５（ａ）の画像５００と図５（ｂ）の画像５０１との間では、人体の検出結果５２０と人体の検出結果５２２とが互いに対応付けられ、両者に共通のＩＤであるＩＤ１が付与されている。また、人体の検出結果５２１と人体の検出結果５２３とが互いに対応付けられ、両者に共通のＩＤであるＩＤ２が付与されている。

また、このＳ３０４での対応付けでは、物体の分離も判定される。例えば図５（ｃ）の画像５０２における、人物５１２、５１３のように複数の人物が重なっていると、複数の人物に対して人体の検出結果が１つ（例えば、人体の検出結果５２６）しか得られない場合がある。この状態から、図５（ｄ）の画像５０３のように、人物５１２、５１３の距離が離れると、各人物に対応する人体の検出結果５２９、５３０が得られる。このとき人体の検出結果同士の対応付けを行うと、人体の検出結果５２６と人体の検出結果５２９、５３０のいずれかとが対応付けられることとなる。この例では人体の検出結果５２９が対応付けられ、人体の検出結果５２６と人体の検出結果５２９とに共通にＩＤ３を付与する。このとき、対応付けが得られなかった人体の検出結果５３０に関して、直前の画像５０２で検出されていた人体の検出結果のうち一定距離以内にあった人体の検出結果を探索する。そして、一定距離以内にある人体の検出結果があれば、その人体の検出結果から分離したものであると判定する。この例では、人体の検出結果５３０は、画像５０２の人体の検出結果５２６の近くにあるので、人体の検出結果５３０は人体の検出結果５２６から分離したものであると判定する。この場合、人体の検出結果５３０に対応するＩＤ４の人物は、画像５０２におけるＩＤ３の人物から分離したと記録しておく。

なお、異なる画像上での検出結果間の距離は、各画像上の座標位置を用いて算出されてもよいし、画像撮影時のＰＴＺカメラ１０６のパン、チルト、ズームの設定値と画像上の座標とを基に算出される別の座標系上で算出されてもよい。なお、以下では絶対座標系を用いることとする。絶対座標系を用いることで、ＰＴＺカメラ１０６のパン、チルト、ズームの設定値が変更されて、画像上での検出結果の位置が変わっても、精度よく距離を算出することができる。

Ｓ３０５で、制御部２５０は、主追尾物体が設定されているか否かを判定する。もし主追尾物体が設定されていれば、Ｓ３１１に、設定されていなければステップＳ３０６に進む。特に、ＰＴＺ追尾モードが開始した直後はまだ主追尾物体が設定されておらず、追尾中ではないので、Ｓ３０６に進む。Ｓ３１１の詳細は後述する。

Ｓ３０６で、判断部２６１は入力部２５５から取得されるデータを基に、追尾したい対象をユーザが指定しているか否かを判断する。ここで追尾したい対象とは、ＰＴＺカメラ１０６の撮像範囲に映り続けるようにしたい対象のことであり、本実施の形態では撮影したい人物を指す。追尾したい対象をユーザが指定する方法としては、例えば予め登録されている人物の顔情報に紐づく人物の画像や名前を表示装置１０１に表示し、入力装置１０３の一例であるマウスのクリック操作で選択するという方法がある。マウスのクリックによって追尾したい人物が選択されたら、その人物に対応する顔情報が認証情報記録装置１０７から取得され、ネットワーク１０４を介して制御部２５０に送信される。Ｓ３０６で、追尾したい人物の顔情報がネットワーク１０４から取得できていればＳ３０７へ、取得できていなければステップＳ３１２へ進む。

なお、追尾したい対象の指定方法は、上述の方法に限られるものではない。例えば、表示装置１０１に映像１０５を表示した状態で、ユーザが追尾したいと考える人物の近くで、マウスのクリック操作が行われる。マウスでクリックされた座標の近くにいる人物を追尾したい対象として識別し、その人物の顔が撮影された時点で、その撮影された顔から顔情報を抽出する。そして、その抽出した顔情報を追尾したい対象として、ネットワーク１０４を介して制御部２５０に送信するという方法もある。他の方法を用いて追尾したい対象を指定してもよい。

Ｓ３０７で、判断部２６１は画像のなかに指定された対象が映っているか否かを判断する。本実施の形態では、指定された対象が映っているか否かの判断に顔認証を用いるので、人体の検出結果に対応する顔が検出されていなければ、判断部２６１は映っていないと判断する。また、顔が検出されていても、検出した顔を顔認証した結果、別の人物であると判断された場合には判断部２６１は映っていないと判断する。顔が検出されていて、かつ検出した顔を顔認証した結果、同一人物であると判断された場合、判断部２６１は映っていると判断する。指定された対象が映っている場合にはＳ３０８へ、映っていない場合にはＳ３１２に進む。

Ｓ３０８で、制御部２５０はＳ３０７で指定された対象であると判断された物体を主追尾物体として設定する。
Ｓ３０９で、追尾制御部２６２は、Ｓ３０８で設定された主追尾物体の位置に応じてＰＴＺカメラ１０６のパンモータ、チルトモータ、ズームモータを制御するための命令を生成し、発行する。このときの制御の例としては、主追尾物体が画像の中心付近に表示されるようにパンやチルトを調整して、主追尾物体の全体が画角内に収まるようにズームを調整するようにする。
Ｓ３１０で、撮像部２００はＳ３０９で生成された命令に基づいて撮像範囲を変更する。

続いて、Ｓ３０９で主追尾物体を設定した結果、Ｓ３０５で主追尾物体が設定済みと判断され、Ｓ３１１に進んだ場合を説明する。
Ｓ３１１で、ＰＴＺカメラ１０６は設定された主追尾物体の追尾を行ったり、追尾候補物体の登録を行ったりする。

図４は、図３の追尾処理ステップＳ３１１における処理の流れを示すフローチャートである。
Ｓ４０１で、登録部２５８と追尾候補軌跡記録部２５９とが追尾候補物体の登録情報の更新を行う。追尾候補物体は主追尾物体と交差した物体、または主追尾物体から分離した物体を指すので、登録部２５８がまずこれらを求める。主追尾物体と交差した物体や主追尾物体から分離した物体は、Ｓ３０４で得られた物体の追尾結果を基に判断される。主追尾物体のＩＤと各物体の追尾結果とから、主追尾物体およびその他の物体の、現在位置と過去の位置とがわかるので、登録部２５８はその位置関係から主追尾物体と交差した物体を判断する。例えば、各物体の現在の位置と前の画像撮影時の位置とを絶対座標系上で結び、その線分が交わる場合には交差したと判断してもよい。また、主追尾物体と他の物体とがすれ違っているが、前述した線分は交わらない場合もあるので、過去または現在の検出位置が一定距離以内、例えば画像上で４０画素以下まで近づいた場合は交差したと判断してもよい。また、主追尾物体から分離した物体は、追尾結果から、主追尾物体と同じＩＤを持つ物体から分離した物体が存在するかどうかで判断できる。登録部２５８が追尾候補物体のＩＤを登録すると、登録されたＩＤとＳ３０４で得られた追尾結果とを基に、追尾候補軌跡記録部２５９が追尾候補物体の現在位置や過去の位置を記録する。

Ｓ４０２で、制御部２５０は、既に、主追尾物体が指定された対象でないと判定されているか否かを判定する。主追尾物体の追尾を失敗して、異なる対象を追尾してしまっていた場合、後述するＳ４０４において主追尾物体は指定された対象ではないと判定される。Ｓ４０２では、過去に取得した画像に関して、Ｓ４０４で主追尾物体は指定された対象ではないと判定されていないかを調べる。主追尾物体は指定された対象ではないと判定されていない場合はＳ４０３へ、判定されている場合はＳ４１１へ進む。

Ｓ４０３で、判断部２６１は、主追尾物体が指定された対象であるか否か判定可能かを調べる。指定された対象であるかを判定するために、このＳ４０３では主追尾物体の顔が検出されているか否かを調べる。主追尾物体の顔が検出されていればＳ４０４へ、検出されていなければＳ４０９へ進む。

Ｓ４０４で、判断部２６１は、主追尾物体が指定された対象であるか否か判定する。判断部２６１はユーザから指定された対象の顔情報と主追尾物体の顔から抽出した顔情報とを照合し、同一人物か否かを判断する。
Ｓ４０５で、制御部２５０は、Ｓ４０４で主追尾物体が指定された対象と同一人物であると判断されたか否かを調べる。同一人物であると判断されていればＳ４０６へ、異なる人物であると判断されていればＳ４０７へ進む。

Ｓ４０６で、登録部２５８は、現在設定されている追尾候補物体の情報を削除する。このＳ４０６に進むのは、Ｓ４０５で主追尾物体が指定された対象であると判断されている場合であり、その場合には追尾候補物体は指定された対象ではないと判断できるので、この処理を行う。

Ｓ４０９で、追尾制御部２６２は、主追尾物体の位置に応じてＰＴＺカメラ１０６のパンモータ、チルトモータ、ズームモータを制御するための命令を生成し、発行する。このＳ４０９はＳ３０９の処理と同様のものである。Ｓ４０９に進むのは、Ｓ４０３で主追尾物体が指定された対象であるか判定できないと判断された場合、またはＳ４０５で主追尾物体は指定された対象であると判定された場合である。Ｓ４０３から進んできた場合には、主追尾物体の顔は検出できていないので、指定された対象である可能性が一番高い主追尾物体を撮像範囲内に入れるようにするためにこの処理を行う。また、Ｓ４０５から進んできた場合には、主追尾物体は指定された対象であると判定されているので、主追尾物体を撮像範囲に入れるように追尾することで指定された対象を撮影し続けることができる。

次にＳ４０５において主追尾物体が指定された対象ではないと判定された場合について説明する。この場合、これまでの追尾処理の途中で、主追尾物体と他の追尾候補物体とが交差したり分離したりした結果、主追尾物体と他の追尾候補物体とが入れ替わったと考えられる。図６は、入れ替わりの例を示す図である。図６（ａ）はユーザの操作により人物６１１を追尾するよう指示が出され、主追尾物体として人物６１１を追尾しているときの画像６００を示す。人物６１１にはＩＤ５が付与されている。この状態から図６（ｂ）のように他の物体(人物６１２)がＩＤ６を付与されて入ってきたとする。この状態で人物６１１と人物６１２とがすれ違うと図６（ｃ）のようにＩＤが入れ替わり、人物６１１がＩＤ６として識別され、人物６１２がＩＤ５として識別されてしまう場合がある。この場合には人物６１１に対応付いたＩＤ６を追尾候補物体としてＳ４０１で登録することになる。この図６（ｃ）の状態から人物６１２の顔が検出されないまま自動追尾をしてしまうと図６（ｄ）のように、人物６１１が画面外に出てしまう可能性が高い。図６（ｄ）の状態から人物６１２の顔が検出されて、Ｓ４０５において主追尾物体が指定された対象(人物６１１)ではないと判定されると、Ｓ４０７に進む。

図７は、図４の予測処理ステップＳ４０７における処理の流れを示すフローチャートである。
Ｓ７０１で、制御部２５０は追尾候補物体が登録されているか否か判定する。登録されていればＳ７０２へ、されていなければＳ７０３へ進む。
Ｓ７０２で、追尾候補位置予測部２６０は、Ｓ４０１で記録された情報をもとに追尾候補物体の位置の予測を行う。図６の例の場合、図６（ｃ）から図６（ｄ）までの間のＩＤ６が付与された人体の検出結果の位置は、Ｓ４０１において追尾候補物体の位置として記録されているので、その情報を基に現在のＩＤ６の人体の位置を予測する。なお、本実施の形態では追尾候補物体の位置の予測を行っているが、予測を行わずに最後に追尾候補物体が撮影された位置を追尾候補物体の現在の位置としてもよい。なお、図６の例の場合、追尾候補物体はＩＤ６の人体のみであるが、追尾候補物体が複数いる場合にはＳ４０１で登録部２５８が追尾候補物体に優先度を付与しておく。そして、優先度の最も高い追尾候補物体の位置を予測する。優先度の付け方としては、Ｓ３０４の追尾処理を行う際に求める類似度を用いる方法がある。例えば、主追尾物体と交差または分離した物体があった場合、その物体の前画像における主追尾物体に対する類似度を記録しておき、その類似度の高いものから優先度を高く設定する。このとき類似度は最大値１、最小値０の範囲になるように正規化しておく。また、追尾候補物体がさらに他の物体と交差または分離した場合、追尾候補物体に対する他の物体の類似度を算出する。そして、その類似度と、追尾候補物体の主追尾物体に対する類似度と、の積でその他の物体の優先度を決める。

図８は、優先度の付け方の例を示す図である。例えば、図８（ａ）の画像８００において、人物８１１にＩＤ７を付与し、主追尾物体として追尾しているとする。ここで人物８１１の人体の検出結果８２０と人物８１２の人体の検出結果８２１とが得られていて、人物８１２にはＩＤ８が付与されているとする。この状態から図８（ｂ）の画像８０１のように人物８１１と人物８１２とが交差したとする。このとき、人体の検出結果８２３と人体の検出結果８２０との類似度が０．９、人体の検出結果８２２と人体の検出結果８２０との類似度が０．８と得られたとする。この場合、人体の検出結果８２３が主追尾物体を追尾した結果であると判定され、人体の検出結果８２３にＩＤ７が対応付けられる。そして、人体の検出結果８２２にはＩＤ８が対応付けられる。この場合、ＩＤ７の人体とＩＤ８の人体とが交差したと判断されると、ＩＤ８が付与された人体の検出結果８２２は追尾候補物体として登録される。このとき、先述した人体の検出結果８２２と人体の検出結果８２０との類似度０．８も追尾候補物体に対応付けて記録される。

続いて図８（ｃ）の画像８０２のように、人物８１３が映り、人物８１２に対応する人体の検出結果８２５（ＩＤ８が付与されている）、人物８１３に対応する人体の検出結果８２６（ＩＤ９が付与されている）が得られたとする。この後、図８（ｄ）の画像８０３のように、人物８１２と人物８１３とが交差したとする。ここで、人体の検出結果８２７、８２８が得られたとし、人体の検出結果８２７と人体の検出結果８２５との類似度が０．８、人体の検出結果８２８と人体の検出結果８２５との類似度が０．７だったとする。この場合、人体の検出結果８２７にＩＤ８が付与され、人体の検出結果８２８にＩＤ９が付与される。このとき、ＩＤ８の人体とＩＤ９の人体とが交差したと判断されると、ＩＤ９が付与された人体の検出結果８２８は新たな追尾候補物体として登録される。ここで、ＩＤ８は類似度０．８で登録されているので、ＩＤ９は類似度０．８×０．７＝０．５６で登録され、ＩＤ８の方がＩＤ９より優先度が高いと判定される。このようにして各追尾候補物体に優先度を設定していく。

なお、優先度の付け方は上述の方法に限らず、主追尾物体とより後に交差または分離した物体の優先度を高くするなど任意の方法を用いてもよい。また、優先度付けをした結果の上位一定数の物体、例えば１０個程度までを追尾候補物体として記録し、下位の物体についての情報を破棄するようにしてもよい。また、優先度付けに用いる類似度が所定の閾値以下、例えば０．５以下のものは追尾候補物体として登録しないとしてもよい。

Ｓ７０４で、追尾制御部２６２は予測された追尾候補物体（ＩＤ６）の位置に応じてＰＴＺカメラ１０６のパンモータ、チルトモータ、ズームモータを制御するための命令を生成し、発行する。このときの各モータの制御の方法としては、追尾候補物体がカメラの中心に映るように制御してもよいし、追尾候補物体と現在の主追尾物体（ＩＤ５が付与されている人物６１２）の両方が映るように制御してもよい。追尾候補物体と現在の主追尾物体（ＩＤ５が付与されている人物６１２）の両方が映るようにする場合、追尾候補物体と主追尾物体との重心位置がカメラ中心となるようにして、かつ両方が映るようにズームを調整する方法がある。また、追尾候補物体の位置がカメラの中心に映るように制御する場合も、追尾候補物体と現在の主追尾物体の両方が映るように制御する場合も、画角を広角に設定しておいて追尾候補物体を撮影しやすいようにしてもよい。また、追尾候補物体が登録されてからの経過時間を記録しておいて、経過時間が短い場合には画角を広角にする度合を少なくしてもよい。

なお、Ｓ７０１で追尾候補物体が登録されていないと判断されると、Ｓ７０３で制御部２５０は主追尾物体の設定を解除する。このとき、ネットワーク１０４を介してユーザに追尾対象を見失ったことを通知し、表示装置１０１に見失ったことを知らせる表示を行ってもよい。

図４に戻り、Ｓ４１０で、撮像部２００は、Ｓ４０９、Ｓ７０４、および後述するＳ４１３、Ｓ４１８で設定される制御のための命令に基づいて撮像範囲を変更する。
Ｓ７０４で追尾候補物体の位置を予測し、Ｓ４１０で予測位置が映るように撮像範囲を変更すると、次の画像取得後にはＳ４０２からＳ４１１に進むことになる。

Ｓ４１１において、制御部２５０は、追尾候補物体が映っているか否かを判定する。追尾候補物体が映っているか否かは、画像から物体が検出されているか否かに基づいて判定可能である。本実施の形態の場合、人体の検出結果が得られていれば追尾候補物体が映っていると判定する。なお、このＳ４１１では予測された位置から一定以上離れた位置でしか人体の検出結果が得られていない場合には、追尾候補物体が得られていないと判定してもよい。また、一定距離内に複数の人体の検出結果が得られた場合には、各検出結果を優先度付けして追尾候補物体として登録してもよい。この場合、予測位置からの近さを利用して優先度付けしてもよいし、人体の検出結果の近辺の色などの特徴量を使って、指定された対象との特徴量の類似度で優先度付けしてもよい。追尾候補物体が映っている場合にはＳ４１２へ、映っていない場合にはＳ４０８へ進む。

Ｓ４１２で、判断部２６１は、追尾候補物体が指定された対象であるかどうかの判定が可能であるか否かを判定する。このＳ４１２ではＳ４０３と同様、追尾候補物体である人体の検出結果に対応付けられた顔の検出結果が得られているか否かが判定される。顔が検出されていればＳ４１４へ、顔が検出されていなければＳ４１３へ進む。

Ｓ４１３で、追尾候補物体の顔が検出されるまで自動追尾を行うために追尾制御部２６２が追尾候補物体の位置に応じて、ＰＴＺカメラ１０６のパン、チルト、ズームの各モータを制御するための命令を生成し、発行する。その結果、撮像範囲内にある追尾候補物体が指定された対象であるか否かの判断が完了するまで、該追尾候補物体が入るよう撮像範囲が変更される。

Ｓ４１４で、判断部２６１は、追尾候補物体が指定された対象であるか否かを判定をする。この判定方法はＳ４０４で用いられた判定方法と同様である。
Ｓ４１５で、制御部２５０は、追尾候補物体が指定された対象であると判定されたかを確認する。指定された対象であると判定されていれば、Ｓ４１６へ、判定されていなければＳ４０８へ進む。なお、Ｓ４０８へ進む場合には、制御部２５０は指定された対象でないと判定された追尾候補物体の情報を削除する。例えば図６（ｅ）の画像６０４が得られており、人物６１１の顔が検出結果６４０として検出されていれば、Ｓ４１６に進むことになる。

Ｓ４１６で、登録部２５８は、現在設定されている追尾候補物体の情報をすべて削除する。Ｓ４１４で指定された対象であると判定された追尾候補物体以外は指定された対象ではないと判断できるのでこの処理を行う。図６（ｅ）の例の場合、この時点で、人物６１１のＩＤを５に設定しなおしてもよい。

Ｓ４１７で、制御部２５０は、Ｓ４１４で指定された対象であると判定された追尾候補物体を主追尾物体として設定する。これにより、一度、指定された対象である人物６１１の追尾を失敗して他の人物６１２を追尾してしまっていても、入れ替わりが判明した時点で人物６１１を自動的に追尾するよう再設定することが可能になる。
Ｓ４１８はＳ４０９と同様の処理である。Ｓ４０８Ｓ４０７と同様の処理である。

なお、本実施の形態では、Ｓ４０３において主追尾物体のみについて、指定された対象であるかの判定が可能かを調べているが、ここで追尾候補物体が判定可能な場合には、追尾候補物体を判定してもよい。この場合、追尾候補物体を判定して、指定された対象でなかった場合にはその物体を追尾候補物体から外す。また、追尾候補物体が指定された対象であった場合にはその追尾候補物体を主追尾物体に設定し、Ｓ４０６に進む。

同様にＳ４１２において追尾候補物体が指定された対象であるかの判定が可能か調べる場合にも、優先度が最も高い追尾候補物体以外の追尾候補物体の判定が可能であれば判定してもよい。この場合にも、優先度が低い追尾候補物体を判定して、指定された対象でなかった場合にはその物体を追尾候補物体から外す。また、優先度の低い追尾候補物体が指定された対象であった場合にはその追尾候補物体を主追尾物体に設定し、Ｓ４１６に進む。

また、表示装置１０１において、主追尾物体、追尾候補物体、指定された対象でない物体をそれぞれ赤色、緑色、灰色の枠で示すなどして、ユーザに追尾状況を分かりやすく表示するようにしてもよい。

なお、本実施の形態ではＰＴＺカメラでの自動追尾に関して説明したが、広画角カメラの撮影画像から特定の物体を追尾し、追尾対象の周りの領域を切り出して送信するシステムでも同様の処理が可能である。この場合、追尾対象を間違えたと判明したら、追尾候補物体の周りの領域を切り出して送信することができる。

以上説明したように、実施の形態によれば、追尾したい対象と交差した物体や、追尾したい対象から分離した物体を追尾候補物体として記録しておく。そして、追尾したい対象と追尾候補物体とが入れ替わっていたことが判明した場合、追尾したい対象の位置を追尾候補物体の位置として予測することで、再度追尾したい対象を撮影し、追尾しなおすことができる。

以上、実施の形態に係る追尾システム２の構成と動作について説明した。この実施形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ 追尾システム、 １０１ 表示装置、 １０２ 録画装置、 １０３ 入力装置、 １０４ ネットワーク、 １０６ ＰＴＺカメラ、 １０７ 認証情報記録装置。

Claims (17)

1. 時間的に連続する複数の画像において、主追尾物体を追尾する追尾手段と、
   前記複数の画像において、前記主追尾物体の近傍に存在する追尾候補物体を登録する登録手段と、
   前記複数の画像のうち現在の画像において前記主追尾物体が検出されない場合に、前記登録された追尾候補物体が撮影範囲に入るよう撮像手段を制御する制御手段と、を備え、
   前記追尾手段は、前記主追尾物体と前記追尾候補物体との類似度を算出し、
   前記登録手段は、前記追尾候補物体と、前記算出された類似度と、を対応付けて登録し、
   前記制御手段は、現在の主追尾物体が指定された対象ではないと判断された場合、前記類似度に基づいて前記追尾候補物体の優先度を決定する追尾装置。
2. 前記登録された追尾候補物体の軌跡から該追尾候補物体の位置を予測する予測手段をさらに備え、
   前記制御手段は、現在の主追尾物体が指定された対象ではないと判断された場合、前記予測された追尾候補物体の位置に基づいて、前記撮像手段を制御する請求項１に記載の追尾装置。
3. 前記制御手段は、前記追尾候補物体が複数ある場合に、前記追尾候補物体毎に追尾の優先度を決定する請求項１または２に記載の追尾装置。
4. 前記登録手段は、前記追尾候補物体と前記主追尾物体との類似度が所定の閾値以下である場合、前記追尾候補物体を登録しない請求項１から３のいずれか一項に記載の追尾装置。
5. 前記制御手段は、前記追尾手段によって前記追尾候補物体がユーザによって指定された対象であるか否かの判断が完了するまで、前記追尾候補物体が入るよう撮像範囲を制御する請求項１から４のいずれか一項に記載の追尾装置。
6. 前記追尾手段は、前記制御手段によって撮影範囲が変更された画像において、人体の検出を行うことによって前記追尾候補物体が映っているか否かを判定し、
   前記追尾候補物体が映っていると判定された場合は、前記追尾手段は、前記追尾候補物体が指定された対象であるか否かを判定し、
   前記追尾候補物体が映っていないと判定された場合は、前記制御手段は、前記登録された追尾候補物体が撮影範囲に入るよう撮像手段を制御する請求項５に記載の追尾装置。
7. 人物認証を行うことによって前記主追尾物体または前記追尾候補物体がユーザによって指定された対象であるか否かを判断する判断手段をさらに備える請求項１から６のいずれか一項に記載の追尾装置。
8. 前記判断手段は、ユーザから指定された対象の顔情報と前記主追尾物体の顔から抽出した顔情報とを照合し、同一人物か否かを判断する請求項７に記載の追尾装置。
9. 前記判断手段は、ユーザの入力により前記主追尾物体または前記追尾候補物体が前記指定された物体であるか否かを判断する請求項７に記載の追尾装置。
10. 前記予測手段は、前記追尾候補物体の現在の位置と過去の位置とに基づいて、前記追尾候補物体の位置を予測する請求項２に記載の追尾装置。
11. 前記登録手段は、前記制御手段により制御された撮像範囲内に他の物体が存在する場合、前記追尾候補物体の予測された位置を基準とする所定の範囲内にある他の物体を、追尾候補物体として登録する請求項２に記載の追尾装置。
12. 前記登録手段は、前記制御手段により制御された撮像範囲内に他の物体が存在する場合、前記追尾候補物体の予測された位置と他の物体の位置とに基づいて優先度を登録する請求項１１に記載の追尾装置。
13. 前記制御手段により制御された撮像範囲内に含まれる前記追尾候補物体と、前記主追尾物体とを異なる色の枠で表示する表示手段を更に有する請求項１から１２のいずれか一項に記載の追尾装置。
14. 前記制御手段は、前記追尾候補物体と前記主追尾物体との両方を撮影範囲に含むように前記撮像手段を制御する請求項１から１３のいずれか一項に記載の追尾装置。
15. 前記制御手段は、前記追尾候補物体の重心位置が前記撮像手段の撮影範囲の中心になるように制御する請求項１から１３のいずれか一項に記載の追尾装置。
16. 時間的に連続する複数の画像において、主追尾物体を追尾する追尾工程と、
    前記複数の画像において、前記主追尾物体の近傍に存在する追尾候補物体を登録する登録工程と、
    前記複数の画像のうち現在の画像において前記主追尾物体が検出されない場合に、前記登録された追尾候補物体が撮影範囲に入るよう撮像手段を制御する制御工程と、を含み、
    前記追尾工程は、前記主追尾物体と前記追尾候補物体との類似度を算出し、
    前記登録工程は、前記追尾候補物体と、前記算出された類似度と、を対応付けて登録し、
    前記制御工程は、現在の主追尾物体が指定された対象ではないと判断された場合、前記類似度に基づいて前記追尾候補物体の優先度を決定する方法。
17. コンピュータを請求項１から１５のいずれか一項に記載の追尾装置の各手段として機能させるためのプログラム。

Images