JP7270359B2 - 情報処理装置、撮影装置、追跡システム、情報処理装置の制御方法、および、プログラム - Google Patents

Description

本発明は、情報処理装置、撮影装置、追跡システム、情報処理装置の制御方法、および、プログラムに関する。

旅客用航空機の運用においては定時運航率が重要となっている。定時運航率を向上させる課題の一つが、乗客の探索である。探索対象となる乗客は、航空機の出発時刻になっても航空機への搭乗が完了していない乗客である。一般的な探索は、空港施設内のアナウンスや、職員が周囲の人物に声をかける方法で行われる。これらの方法は手間がかかる上に確実性が低いため、改善が求められている。

そこで、施設内の人物を効率よく探索するために、カメラを活用する方法（特許文献１、２、３）が提案されている。

特許第５８５１６５１号公報 特開２００８－１０９５５２号公報 特開平０４－０７６６９８号公報

特許文献１では、航空機の出発時刻が近づくと、空港内の監視カメラ群が撮影した画像中から、未搭乗者の顔を検索し、未搭乗者の位置を取得する。しかし、探索には顔画像を用いるのみである。顔画像は個人情報であり、利用には法律的な制約が課せられる国が増えている。そのため、顔画像を利用するにはその人物の同意を得ることが必要なケースが多くなっている。同意を得られなければ探索できない。

特許文献２では、追跡対象人物の顔だけでなく、人物の一部または全部を含む領域を追跡領域として設定することで、顔が見えない画角でも追跡を継続する。しかし、顔が見える画角では顔を優先して追跡に利用するため、追跡対象人物が顔画像の利用を拒否した場合に適用できない。

特許文献３では、被観察者に監視してもよいかの同意を求め、同意が得られた場合のみ監視者に監視画像が送信される。しかし、同意を得られなかった場合には監視することができない。

このように、特許文献１から３では、顔画像を利用した追跡を行うに当たり顔画像の利用の同意が追跡対象の人物から得られなかった場合は、全人物を精度よく探索することが困難となる。

本発明は、上記の課題に鑑みてなされたものであり、顔画像の利用に同意した人物と同意しなかった人物が混在する領域を監視するにあたって、全人物を精度よく探索可能とする技術を提供するものである。

上記課題を解決するための発明は、
監視対象区域を撮影した時間的に連続する複数の画像において、追跡対象の人物の軌跡を追跡する追跡処理により、前記人物の前記監視対象区域における現在位置を特定する追跡手段と、
前記追跡対象の人物の顔画像を用いて画像から当該人物を検出する顔検出手段と、
前記追跡対象の人物について、顔画像を利用した探索処理が許可されているか否かを判定する判定手段と、
前記判定手段により前記顔画像を利用した前記探索処理が許可されていると判定された場合、前記追跡手段は前記追跡対象の人物の前記追跡処理を停止し、前記探索処理として、前記顔検出手段が前記監視対象区域を撮影した画像において前記顔画像に基づいて前記追跡対象の人物を検出し、該人物が検出された画像に基づき当該人物の前記現在位置を特定することを特徴とする。

本発明によれば、顔画像の利用に同意した人物と同意しなかった人物が混在する領域を監視する環境において、全人物を効率よく探索することができる。

発明の実施形態に対応する通知システム１０の構成例を示す図。 発明の実施形態に対応する情報処理装置２００のハードウェア構成例を示す図。 発明の実施形態に対応するデータベース装置３００における、画像管理データベース３１０、人物管理データベース３２０、及び、追跡管理データベース３３０のそれぞれにおけるデータ構成の一例を示す図。 発明の実施形態に対応する情報処理装置２００における処理の一例を示すフローチャート。 発明の実施形態に対応する受付端末４００における処理の一例を示すフローチャート。 発明の実施形態に対応する情報処理装置２００における追跡処理の一例を示すフローチャート。 発明の実施形態に対応する情報処理装置２００における負荷軽減処理の一例を示すフローチャート。 発明の実施形態１に対応する情報処理装置２００における軌跡追跡処理の一例を示すフローチャート。 発明の実施形態に対応する情報処理装置２００における人物検索処理の一例を示すフローチャート。 発明の実施形態に対応する情報処理装置２００における顔検索処理の一例を示すフローチャート。 発明の実施形態２に対応する情報処理装置２００における軌跡追跡処理の一例を示すフローチャート。 発明の実施形態３に対応するユーザインタフェースの一例を示す図。

以下、添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。

＜実施形態１＞
図１は、発明の実施形態に対応する追跡システム１０の構成例を示す図である。当該追跡システム１０は、ネットワークカメラ１００、情報処理装置２００、データベース装置３００、受付端末４００、外部端末５００がネットワーク回線であるＬＡＮ６００によって相互接続されて構成されている。図１に示した追跡システム１０の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。

まず、ネットワークカメラ１００は、撮像センサ部１０１、現像処理部１０２、符号化部１０３、ＬＡＮインタフェース（Ｉ／Ｆ）部１０４を含むように構成することができる。撮像センサ部１０１は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するＣＭＯＳ等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器を含んで構成される。現像処理部１０２は、撮像センサ部１０１から出力されたデジタル画像信号に対して、所定の現像処理を実行する。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、ＹＣｂＣｒ形式への色変換などの処理を含むことができる。

符号化部１０３は、現像処理部１０２が出力したデジタル画像信号を圧縮・符号化して、情報処理装置２００に提供する配信用の画像データを生成する。生成される画像データには、ネットワークカメラ１００の識別情報（カメラＩＤ）、設置場所の情報（撮影エリア）、撮影時刻情報等が含まれる。符号化部１０３は画像データ生成時にフレームレートの設定も行う。ここで、配信用の画像圧縮方式は、例えば、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧまたはＪＰＥＧなどの規格に基づくことができる。さらに、ｍｐ４やａｖｉ形式などを含む任意の形式の画像データを生成しても良い。

ＬＡＮ Ｉ／Ｆ部１０４は、符号化部１０３から出力された画像データを、ＬＡＮ６００を介して情報処理装置２００に送信するための通信インタフェースである。ＬＡＮ Ｉ／Ｆ部１０４は、例えば、ＮＦＳやＣＩＦＳなどのネットワークファイルシステム、または、ＵＤＰやＴＣＰなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。

次に、情報処理装置２００の構成について説明する。情報処理装置２００は、ＬＡＮインタフェース（Ｉ／Ｆ）部２０１、制御部２０２、人物管理部２０３、データベース管理部２０４、顔検出部２０５、軌跡追跡部２０６、通知部（出力部）２０７を含み、相互にシステムバス２０８で接続されるように構成することができる。

ＬＡＮ Ｉ／Ｆ部２０１は、ＬＡＮ６００を介してネットワークカメラ１００と通信する。制御部２０２は、情報処理装置２００における全体的な動作を制御する。また、ネットワークカメラ１００からＬＡＮ６００を介して取得した画像データを、伸張し復号してデジタル画像信号を復元する。復号されたデジタル画像信号はデータベース管理部２０４に出力され、画像管理データベース３１０に登録され、管理される。人物管理部２０３は、追跡対象の人物の情報を管理するための情報を生成し、人物管理データベース３２０を更新する。データベース管理部２０４は、ネットワークカメラ１００から取得した画像や、情報処理装置２００の各処理部で処理した結果をデータベース装置３００で管理する。顔検索部２０５は、顔画像をキーとしてネットワークカメラ１００で撮像した画像を解析して、画像中の人物を検索し、その位置を特定する。また、軌跡追跡部２０６は、ネットワークカメラ１００で撮影された時間的に連続する複数画像から、追跡対象の人物の移動の軌跡を追跡し、該人物の現在位置を特定する。通知部２０７は、追跡処理の結果に関する情報の通知を出力する処理を行う。

データベース装置３００は、情報処理装置２００が本実施形態に対応する処理を実行するに際して参照する情報が登録されたデータベースであって、画像管理データベース３１０、人物管理データベース３２０、及び追跡管理データベース３３０等を含むことができる。データベース装置３００は情報処理装置２００に接続される構成となっているが、ネットワークインターフェースを備え、ＬＡＮ６００上に接続されていてもよい。その場合、情報処理装置２００とデータベース装置３００との通信は、ＬＡＮ Ｉ／Ｆ部２０１を介して行われる。

受付端末４００は、監視対象区域に来場した人物が、受付を行う際に利用する端末装置である。受付端末４００は、受付を行った人物が誰であるか、どのような外見的特徴があるかという情報を取得して情報処理装置２００に提供することができる。監視対象区域が例えば空港であれば、受付端末４００は搭乗チケットの発券機、自動チェックイン機などとすることができる。受付を行う人物は、パスポートや事前にインターネットで予約した情報を受付端末４００を利用して入力する。

撮影部４０１は、受付を行なおうとする人物を撮影し画像を生成する。撮影部４０１は、受付端末４００に内蔵されていてもよいし、外部に設置され受付端末４００と通信可能に接続されていてもよい。さらには、内蔵と外部接続の両方を備えていてもよい。人物登録部４０２は、撮像部４０１で撮影された画像から、人物の顔画像、上半身の形状、色情報、歩き方や歩幅等の人物の特徴情報を抽出し、ＬＡＮ Ｉ／Ｆ部４０４を介して情報処理装置２００の人物管理部２０３に送信する。

外部端末５００は、空港職員等が使用する端末であって、航空機に搭乗する人物の探索処理を情報処理装置２００に対して依頼するための操作を受け付けることができる。外部端末５００は、例えばスマートフォンや携帯電話、タブレット端末等の携帯端末、ノートパソコンなどとすることができ、LAN６００と接続可能な通信機器であればよい。

図１に示す追跡システム１０構成において、ネットワークカメラ１００の台数は１台以上の任意の数とすることができ、台数に限定はない。情報処理装置２００、データベース装置３００及び受付端末４００は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。

また、以下の本実施形態においては、監視対象区域を空港とし、監視対象の人物が航空機に搭乗する人物と想定した場合を説明する。但し、これはあくまで一例であって空港以外の他の場所、例えば、イベント会場、コンサート会場、病院、美術館、博物館、駅等を監視対象区域とすることもできる。

次に、本実施形態に対応する追跡システム１０を構成する情報処理装置２００の概略構成を説明する。図２は、情報処理装置２００のハードウェア構成の一例を示すブロック図である。上述した情報処理装置としてのデータベース装置３００及び受付端末４００も、同様或いは同等のハードウェア構成として構成しても良い。

図２において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２１２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、ネットワークカメラ１００から提供された画像、及び、データベース装置３００から取得した各種情報に基づき本実施形態に対応する処理を実行する。さらには、インタフェース（Ｉ／Ｆ）２１８を介した外部の受付端末４００とのデータ送受信を制御する。なお、後述する図４、図６から図１１における処理もＣＰＵ２１０が対応する処理プログラムを実行することにより装置全体を制御して実現される。

ＣＰＵ２１０はプログラムを実行することで各種の手段として機能することが可能である。また、ＣＰＵ２１０と協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵ２１０と情報処理装置２００の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵ２１０は単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵ２１０は分散して処理を実行することが可能である。また、複数のＣＰＵ２１０は単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵ２１０がプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。

ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。また、ネットワークカメラ１００、データベース装置３００、受付端末４００、外部端末５００の外部装置から受信した情報を一時的に記憶する。

外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２１４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。

外部記憶装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。

指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対する情報処理装置２００の応答出力等を出力する。出力装置２１７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができ、通知部２０７として動作し得る。システムバス２１９は、情報処理装置２００内のデータの流れを司る。

インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ２１５からＲＡＭ２１２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ２１１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ２１０で実行することも可能である。さらに、メディア２１４から対応プログラム及び関連データを直接ＲＡＭ２１２にロードして実行させることもできる。

次に、図３を参照して、データベース装置３００における各データベースのデータ構造について説明する。

まず、図３（Ａ）は、画像管理データベース３１０のデータ構造の一例を示すテーブルである。画像管理データベース３１０には、ネットワークカメラ１００で撮影した画像に関する情報として、カメラＩＤ３１１、撮影エリア３１２、撮影時刻３１３、画像データ３１４が登録される。カメラＩＤは、画像を撮影したネットワークカメラ１００を一意に識別するための識別情報である。

撮影エリア３１２は、ネットワークカメラ１００で撮影したエリアが、監視対象区域のどの位置（または範囲）に存在しているかを示す情報である。当該領域は範囲を示す値として、例えば監視対象区域のマップに対して設定された座標系（ｘｙ座標系）に基づく座標値で表すことができる。監視対象区域が複数の階層に分かれている場合には、階層を表す値も関連付けて登録される。また、当該範囲の座標値は画像の縦横に割り当てることができる。これにより、画像中における被写体の位置を、監視対象区域における位置に変換できる。

また、撮影時刻３１３は、画像の撮影時刻を示す時刻情報であり、画像データ３１４はネットワークカメラ１００で撮影した画像データの本体である。画像データは静止画であってもよいし、動画であってもよい。動画の場合には、撮影時刻には撮影開始時刻と撮影終了時刻を含むことができる。

次に、図３（Ｂ）は、人物管理データベース３２０のデータ構造の一例を示すテーブルである。人物管理データベース３２０には、監視対象の人物の情報として、人物ＩＤ３２１、搭乗便３２２、顔利用許諾３２３、顔画像３２４、上半身の形状３２５、色情報３２６、動作の特徴３２７が登録される。

人物ＩＤ３２１は、監視対象の人物を一意に特定するための識別情報が登録される。人物ＩＤ３２１の値には重複しない数値や、搭乗チケットの発券番号を登録することができる。搭乗便３２２は、人物が登場予定の航空機の便名が登録される。当該情報は受付時において受付端末４００が取得した情報である。顔利用許諾３２３は、当該人物が顔画像を利用した画像検索を許可したか否かを示す情報（例えば、フラグ情報として、許可＝１、不許可＝０）を登録する。顔利用許諾３２３は受付時に受付端末４００に対して行った操作に基づいて値が登録される。航空券の予約時に予め指定されている場合には当該値が登録されてもよい。

上半身の形状３２５は、人物を撮影した画像から抽出された上半身の形状的特徴に関する情報が登録される。上半身の形状的特徴には、例えば上半身の輪郭情報が含まれる。色情報３２６は、人物が身に着けている衣服の色の情報を登録することができる。色情報３２６として登録される情報は、空港内では上着を脱ぎ着する人が多いため、追跡中に更新されてもよい。動作の特徴３２７は、例えば歩き方のリズム、歩幅などの情報を登録することができる。公知の手法を用いることで、当該歩き方や歩幅に基づいて複数の画像から人物を特定することができる。

次に、発明の実施形態に対応する追跡システム１０における動作の詳細を説明する。図４は、発明の実施形態に対応する追跡システム１０の情報処理装置２００における処理の一例を示すフローチャートである。本実施形態において、追跡システム１０の動作中は、各ネットワークカメラ１００が監視対象区域の撮影を行っている。また、受付端末４００は、監視対象区域に入ってくる人物の登録を行っている。

情報処理装置２００の制御部２０２は、Ｓ４０１において、受付端末４００の入力結果に基づき、人物の登録が必要かどうかを判定する。具体的には、制御部２０２は、受付端末４００に新規の登録があるかどうかをポーリングする。受付端末４００からポーリングに対する応答において人物情報を受信すると、登録が必要と判断して処理はＳ４０２に進む。一方、ポーリングに対する応答がない、或いは、人物情報を受信しない場合には処理はＳ４０４に進む。

Ｓ４０２において、人物管理部２０３は、受信した人物情報に基づいて人物管理データベース３２０を更新することにより人物登録処理を行う。続くＳ４０３において、登録された人物の監視対象区域内での移動を追跡する追跡処理を開始する。Ｓ４０２及びＳ４０３における処理の詳細は後述する。処理はその後Ｓ４０４に進む。

Ｓ４０４において、制御部２０２は、人物の探索処理が必要かどうかを判定する。本実施形態において、人物の探索処理とは、探索対象となる人物を監視対象区域内で探索し、その現在位置を特定する処理である。具体的には、航空機の出発時刻になっても航空機への搭乗が完了していない乗客を探索する指示を受け付けた場合に実施できる。探索指示は、例えば、搭乗便や人物ＩＤを指定する探索要求を空港の職員が外部端末５００から情報処理装置２００に送信して行うことができる。制御部２０２は外部端末５００から探索指示を受信したと判定すると、探索処理が必要と判定する。また、搭乗便の出発時刻が近づいたことに応じて制御部２０２が自動で探索処理が必要と判定し、乗客の探索を開始してもよい。このようにして、探索処理の必要があると判定すると、処理はＳ４０５に進み、制御部２０２は探索処理を実行する。人物探索処理を行った後、処理はＳ４０１に戻る。一方、探索処理の必要がない場合には処理はＳ４０１に戻る。探索処理の詳細については図９を参照して説明する。

次に、図５を参照して、受付端末４００における人物情報の生成に関する処理の一例を説明する。受付端末４００は、人物から操作部４０３に基づき、人物の情報を取得する。受付端末４００は所定の表示部に入力用の画面を表示し、当該画面を利用して人物登録に必要な情報の入力を受け付ける。このとき、顔画像の利用に同意するかどうかの指示も受け付ける。例えば空港であれば、受付端末４００による受付時に登録を行おうとしている人物に対して「空港内での顔画像サービスを利用しますか？」という確認画面を提示して、同意か不同意かを入力させてもよい。また、インターネットや電話などで搭乗チケットの事前予約を行う際に同意をとって当該情報を外部の予約サーバに保存しておき、予約サーバから受信するようにしてもよい。

次に、Ｓ５０２において、人物登録部４０２は撮影部４０１により撮像した画像を処理して、顔画像、上半身の形状、色情報、動作の特徴等を抽出する。続くＳ５０３において人物登録部４０２は、Ｓ５０１及びＳ５０２で取得、生成された情報に基づいて、情報処理装置２００に提供するための人物情報を生成する。このとき、Ｓ５０１において受け付けた顔画像の利用に同意するかの指示に応じて、人物情報に顔画像を含めるか否かを決定する。次に、人物登録部４０２は、Ｓ５０４において情報処理装置２００からのポーリングを受信したか否かを判定し、ポーリングを受信した場合には、処理はＳ５０５に進む。Ｓ５０５では、人物登録部４０２がＳ５０３で生成した人物情報をＬＡＮ Ｉ／Ｆ４０４経由で情報処理装置２００に送信する。その後、処理はＳ５０１に戻る。

次に、図６を参照して、図４のフローチャートにおけるＳ４０３の追跡処理の一例を説明する。

制御部２０２は、追跡対象人物の追跡を開始するにあたって、情報処理装置２００内で実行されている処理の負荷状態を判定する。情報処理装置２００では、画像管理データベース３１０に登録されている画像を処理することで、人物の追跡だけではなく、荷物の置き去り検知、不審者検知などの処理を実行している。これらの処理は人物の軌跡追跡よりも優先されることがあり、新規の追跡ができないほど負荷が高くなる。あるいは、新規の追跡を開始することにより、より優先されるべき他の処理が遅延するおそれがある。また、悪天候などで航空機の運行が遅延し、想定以上に多数の乗客が空港に滞在する場合、新規の追跡ができないほど負荷が高くなる。そこで、Ｓ６０１において、制御部２０２は、負荷の状態をチェックする。

もし、処理負荷の状態が所定レベルより高く、新規追跡ができない、或いは、行うべきでない負荷状態であると判定されると、処理はＳ６０２に進む。一方、新規追跡ができる負荷状態であると判定されると処理はＳ６０４に進む。Ｓ６０２では、制御部２０２は、人物管理データベース３２０を参照して追跡対象の人物が顔画像の利用に同意したかどうかを判定する。顔画像の利用に同意していないと判定されれば、処理はＳ６０３に進み、同意していると判定されると軌跡追跡処理は行わずに本処理を終了する。顔画像の利用に同意している場合、当該人物を顔画像をキーとした画像検索により発見可能となるので、軌跡追跡処理は行わず、探索要求を受け付けた場合に顔画像検索により人物の現在位置を特定する。軌跡追跡処理による方が探索精度は向上するが、負荷状態によっては全人物の追跡を並列に実行しておくことが困難となるので、顔画像探索が可能な人物については、軌跡追跡処理を行わないようにしている。このように顔画像探索（顔検索）は軌跡追跡処理に比べ処理負荷が低いので、顔画像が使える人物については、軌跡追跡処理を行う代わりに顔検索という代替手段で探索を行うようにしている。

追跡対象人物が顔画像の利用に同意していない場合、Ｓ６０３において負荷軽減処理を行う。負荷軽減処理の詳細は図７を参照して後述する。Ｓ６０１において新規追跡ができる状態、あるいはＳ６０３における負荷軽減処理が完了すると、軌跡追跡部２０６がＳ６０４において追跡対象人物について軌跡追跡処理を実施する。ここでの処理の詳細は図８を参照して後述する。

次に、Ｓ６０３における負荷軽減処理の一例を図７を参照して説明する。負荷軽減処理では、Ｓ７０１において制御部２０２が負荷状態が高い（負荷が重い）かどうかを再度判定する。ここでの判定方法はＳ６０１と同様である。もし負荷状態が高いと判定されると処理はＳ７０２に進む。Ｓ７０２では、制御部２０２は、軌跡追跡部２０６が既に軌跡追跡処理を実施している人物（Ｓ６０４においてこれから軌跡追跡処理を開始しようとしている人物とは別の人物）が特定人物であるかを判定する。ここで、特定人物とは、追跡中の人物であって、顔画像の利用を許可した人物のことをいう。制御部２０２は、追跡管理データベース３３０を参照し、追跡中の人物に顔画像を許可した人物が含まれるか否かを判定する。

例えば、図３（Ｃ）に示す追跡管理データベース３３０の例では、追跡状態３３２が「追跡中」を示す人物ＩＤ３３１が「００１」の人物は、図３（Ｂ）に示す人物管理データベース３２０では顔利用許諾３２３が「許可」になっていることが分かる。よって、当該人物は顔画像の利用を許可した人物であると判定できる。よって、当該人物の探索には顔検索が使えるので探索のために追跡処理を継続することは必須ではない。そこでＳ７０３において軌跡追跡部２０６は、人物ＩＤ３３１が「００１」の人物の追跡を停止する。これにより、追跡管理データベース３３０の内容が更新される。具体的に、図３（Ｄ）に示すように追跡状態３３２が追跡中から追跡停止に更新されると共に、直前までに現在位置として登録されていた位置情報が最終追跡位置３３４に登録される。また、最終追跡時３３５の値も、図３（Ｃ）でnowとして表示されていた直前の現在時刻に対応する値に更新される。このようにしてＳ７０３における処理が終了すると、処理は再度Ｓ７０１に戻る。Ｓ７０１において制御部２０２は、再度負荷状態について判定し、追跡を停止したことで負荷状態が低くなっていれば、本処理を終了する。まだ負荷状態が高く、新規の軌跡追跡処理を開始するには十分でない場合にはＳ７０２以降の処理を繰り返す。

Ｓ７０２において追跡中の人物が特定人物ではないと判定されると、処理はＳ７０４に進む。この場合、いずれかの人物の追跡を停止せざるをえない。ネットワークカメラ１００により撮影された画像は画像管理データベース３１０において管理されているため、追跡を停止しても、探索の要求が来てから過去の登録画像を遡って軌跡追跡処理を行うことで、人物を探索し、その現在位置を特定することは可能である。ただし、探索要求が来てから過去の登録画像に対して軌跡追跡処理を行うと、応答までの時間が長くなるおそれがある。そこで、追跡処理を一度停止した後で負荷状態が低く（負荷が軽く）なれば再開してもよい。また、軌跡追跡処理を行う情報処理装置２００は障害対策のために複数台で運用されることが一般的である。そこで、追跡を停止するのではなく、負荷状態がより低い別の装置に軌跡追跡処理を依頼することで負荷の軽減を図ってもよい。Ｓ７０１で負荷状態が高くないと判定されるか、あるいはＳ７０４の処理が完了すると、本負荷軽減処理を終了する。

次に、図８を参照して発明の実施形態に対応する軌跡追跡処理について説明する。

まず、Ｓ８０１において、軌跡追跡部２０６は、追跡管理データベース３３０に登録しているテーブルの対象人物の追跡状態３３２の値を追跡中に設定する。
そして、軌跡追跡部２０６は追跡アルゴリズムを設定する。一般的な追跡アルゴリズムとしては、カーネルベース追跡手法（Ｋｅｒｎｅｌ－ｂａｓｅｄ ｔｒａｃｋｉｎｇ）、輪郭トラッキング（Ｃｏｎｔｏｕｒ ｔｒａｃｋｉｎｇ）という手法がある。また、オープンソースのコンピュータビジョンライブラリのＯｐｅｎＣＶでは、Ｂｏｏｓｔｉｎｇ、ＭＩＬ、ＴＬＤといった手法も使える。これらの手法から追跡アルゴリズムを決定する。なお、一つの追跡アルゴリズムだけで精度が向上しない環境では、複数のアルゴリズムを決定してもよい。３つ以上のアルゴリズムで追跡すると、一つのアルゴリズムが不適切な追跡結果となっても、他のアルゴリズムが適切な結果となることが期待され、追跡の精度が向上する。

続くＳ８０３において軌跡追跡部２０６は、設定したアルゴリズムで追跡を実行する際に利用する、追跡対象人物を特定することが可能となる特徴量を設定する。当該特徴量は、例えば人物情報に含まれる対象人物の上半身の形状３２５の画像や、色情報３２６、動作の特徴３２７の他、時間的に隣接する画像間において人物の移動を追跡可能となる任意の特徴量とすることができる。

続くＳ８０４において、追跡処理の対象となる処理対象画像を設定する。軌跡追跡部２０６は、対象人物が含まれる画像を画像管理データベース３１０から取得する。追跡の開始時においては、受付端末４００の撮影部４０１から送信された受付時の撮影画像を処理対象画像に設定する。このとき、追跡は複数の画像フレーム間で人物の移動軌跡を検出することで行うため、時系列的に連続した複数の画像が順次設定される。また、人物が監視対象区域内を移動して別の領域に移動した場合には、当該領域を撮影しているネットワークカメラ１００からの画像に処理対象画像を切り替える。続くＳ８０５において軌跡追跡部２０６は上記の設定に基づいて追跡処理を実行し、時間的に連続する複数画像から、追跡対象の人物の移動の軌跡を追跡し、該人物の現在位置を特定する。軌跡追跡部２０６は軌跡追跡処理の結果に基づき、追跡管理データベース３３０の現在位置３３３、最終追跡時３３５の値を随時更新していく。

次に、図９を参照して人物探索処理について説明する。人物探索処理は、外部端末５００において人物ＩＤを指定して情報処理装置２００に探索指示を送信することで開始することができる。

情報処理装置２００の制御部２０２は、Ｓ９０１でこの探索指示の受信を監視し、指示を受信したか否かを判定する。受信したと判定すると処理はＳ９０２に進む。Ｓ９０２において制御部２０２は追跡管理データベース３３０を参照して、追跡状態３３２の値に基づいて探索が指示された人物が追跡中であるかどうかを判定する。もし、追跡中であると判定されると、処理はＳ９０３に進む。当該人物が追跡中であれば、最新の位置が現在位置３３３として追跡管理データベース３３０に登録されている。そこで、Ｓ９０３において制御部２０２は対象人物の現在位置を取得し、続くＳ９０４において取得した現在位置の情報を含む応答を、探索指示を送信した外部端末５００に送信する。その後、本処理を終了する。

一方、Ｓ９０２において当該人物を追跡中でないと判定された場合、処理はＳ９０５に進む。Ｓ９０５において、制御部２０２はＳ９０１で受信した探索指示に含まれる人物ＩＤに対応する、人物管理データベース３２０の人物ＩＤ３２１の値を参照し、対象人物が顔画像の利用に同意したかどうかを判定する。利用に同意している場合、処理はＳ９０６に進み、利用に同意していない場合、処理はＳ９０７に進む。

Ｓ９０６においては、人物管理データベース３２０に登録されている顔画像３２４を利用して、画像管理データベース３１０に登録されている過去の画像から対象人物を顔検索する。顔検索処理の詳細については図１０のフローチャートを参照して後述する。一方、Ｓ９０７においては、画像管理データベース３１０に登録されている過去の登録画像を遡って軌跡追跡処理を行い、人物の現在位置を探索する。

次に、図１０を参照して、顔検索処理の詳細について説明する。Ｓ１００１において、顔検索部２０５は、探索対象人物の顔画像を利用して、ネットワークカメラ１００から最新に取得した画像について顔検索を行う。顔検索処理は、例えば、顔画像から得られる特徴量を比較することにより、特徴量が所定の閾値以上の場合に、顔が見つかったと判定することができる。顔検索処理自体は公知の技術を用いることができるので、より詳細な説明は省略する。処理対象の画像において顔画像に対応する顔が検出された場合、処理はＳ１００６に進み、顔が検出されない場合処理はＳ１００３に進む。

Ｓ１００２において顔が見つからない場合、探索対象の人物は監視対象区域において、ネットワークカメラ１００の死角に滞在中か、ネットワークカメラ１００の撮影条件（設置位置、撮影方向、撮影角度等）では顔が見えない状態であると推測される。そこで、本実施形態では最新に撮影された画像ではなく、過去の画像から顔検索を行って、最後に顔が見つかった場所を手がかりにする。

そこで、Ｓ１００３において顔検索部２０５は、画像管理データベース３１０に登録されている過去の画像から新しい順に、未検索の画像について顔検索を行う。顔が検出された場合、処理はＳ１００５に進み、顔が見つからなければ顔が見つかるまで過去の画像に遡って顔検索を繰り返す。このとき、追跡管理データベース３３０の最終追跡位置３３４と最終追跡時３３５の値を参照して、最後に所在が確認されたときの画像まで遡って顔検索を行ってもよい。もっとも厳しい場合でも、受付端末４００での登録時点の画像まで遡れば、必ず顔が撮像された画像が見つかる。Ｓ１００５において、Ｓ１００４で顔が見つかった画像から最新の画像までを対象に軌跡追跡処理を行い、探索対象人物の現在位置を特定する。その後、処理はＳ１００６に進む。Ｓ１００６では、顔が見つかった画像について顔の位置を算出して、人物の位置を特定し、応答する。

以上のように、本実施形態では、監視領域内を移動する人物を追跡する場合に、顔画像の利用に同意した人物と、同意しなかった人物とで、追跡方法を変化させることで、情報処理装置２００における負荷状態に応じた追跡処理を実行することが可能となる。特に、顔画像の利用に同意しなかった人物を優先して軌跡追跡を行うことで、情報処理装置２００の負荷状態に対応しながら、探索対象の人物の効率的な探索が可能となる。

＜実施形態２＞
実施形態１では、複数のネットワークカメラ１００が撮影した画像を情報処理装置２００に集約して管理すると共に、受付端末４００を情報処理装置２００からは独立して配置する構成を説明した。しかし、機器の小型化、高性能化は進みつつあり、情報処理装置２００を独立して存在させることなく統合した構成として実現することも技術的に可能である。

その場合には、情報処理装置２００で行っていた処理を、ネットワークカメラ１００のそれぞれにおいて実行することができる。その場合、ネットワークカメラ１００は、制御部２０２、人物管理部２０３、データベース管理部２０４、顔検索部２０５、軌跡追跡部２０６、通知部２０７を有することができる。また、データベース装置３００はＬＡＮ６００に接続されて存在していてもよいし、各ネットワークカメラ１００において対応する情報が管理されてもよい。

各ネットワークカメラ１００において管理を行う場合、画像管理データベース３１０に登録される情報のうち、カメラＩＤ３１１、撮影エリア３１２、撮影時刻３１３といった撮影情報については各ネットワークカメラ１００において、他の全てのネットワークカメラ１００で撮影された画像の分まで管理する。その一方、画像データそのものは、当該画像を撮影したそれぞれのネットワークカメラ１００において管理するようにしてもよい。その際、各画像データ３１４には、他の全ての画像データとの関係で一意に識別が可能となるように識別情報が付され、当該識別情報は撮影情報とともに全ネットワークカメラ１００で保持される。これにより、各ネットワークカメラ１００における画像と撮影情報とを関連付けることが可能となる。

また、人物管理データベース３２０で管理される人物情報は、画像に比較して情報量が少ないため各ネットワークカメラ１００が同じデータを保持し、更新があれば他のネットワークカメラ１００に通知して更新させ、全体として統一されたテーブルを維持するようにしてもよい。さらに、追跡管理データベース３３０は、各ネットワークカメラ１００が、自装置で追跡中の人物について管理すればよい。

本実施形態では、各ネットワークカメラ１００が軌跡追跡部２０６を有しており、各ネットワークカメラ１００の軌跡追跡部２０６が自装置で管理する画像データ３１４に対して軌跡追跡処理を実施する。軌跡追跡処理の開始は、受付端末４００が設置された空間を監視するネットワークカメラ１００により実施される。その後、追跡中の人物が受付端末４００が設置された空間から遠ざかると、当該空間に隣接した空間に位置する別のネットワークカメラ１００に軌跡追跡処理の引継ぎを依頼する。このようにして、複数のネットワークカメラ１００を利用して、人物が空間を移動するたびに軌跡追跡処理を別のネットワークカメラ１００に引き継いでいくことにより、人物の現在位置を特定することが可能となる。

また、各ネットワークカメラ１００で特定された人物の現在位置の情報はすべてのネットワークカメラ１００で共有されるので、外部端末５００は、人物の探索依頼をいずれかのネットワークカメラ１００に送信すれば、人物の現在位置を取得することが可能となる。

本実施形態に対応する処理を図１１を参照して説明する。図１１においてＳ１１０１からＳ１１０５までは、図８のＳ８０１からＳ８０５までの処理と同様である。Ｓ１１０５に続くＳ１１０６において軌跡追跡部２０６は、追跡対象の人物がネットワークカメラ１００の撮影領域の外に出たか否かを判定する。もし、撮影領域外に出たと判定されると、処理はＳ１１０７に進む。Ｓ１１０７では、制御部２０２が当該人物の追跡処理の引継ぎ依頼を隣接するネットワークカメラ１００に送信する。引継ぎ依頼を送信する先は、撮影領域内での人物の移動方向（進行方向）に基づき人物が撮影領域外のどの方向に移動していったかを推定し、当該方向を撮影領域とするネットワークカメラ１００とする。引継ぎ依頼には、追跡管理データベース３３０の当該人物についての登録情報を含めて送信する。

引継ぎ依頼を受信した側のネットワークカメラ１００は、当該引継ぎ依頼を受信すると、引継ぎ依頼に含まれる登録情報に基づいて、Ｓ１１０１以降の処理を行う。

以上の本実施形態によれば、情報処理装置２００において集約的に処理を行わず、各ネットワークカメラ１００で追跡処理を引継ぎしながら行っていくことができる。また、本実施形態においても実施形態１と同様に図４から図７、図９及び図１０に相当する処理を実施できる。

＜実施形態３＞
次に、発明の第３の実施形態について説明する。実施形態１及び実施形態２では、受付端末４００における受付時や、事前予約時に、顔画像の利用を許可するかどうかの指示を受け付ける場合を説明した。これに対し近年はスマートフォン等の携帯端末が普及しつつあり、スマートフォンにチケット機能を持たせることも可能となりつつある。従って、受付端末４００において、スマートフォンの設定情報を読み取ることにより受付を行ってもよい。

一般に、スマートフォンは、スマートフォン上で扱う個人情報を外部サービスに利用させるかどうかを設定させるユーザインタフェースを備えている。例えば、ＧＰＳで取得した位置情報をアプリケーションが利用するためのユーザの同意を得るためのユーザインタフェース等が知られている。このような位置情報と同様に、顔画像も個人情報である。

そこで、発明の実施形態に対応する軌跡追跡処理において、ネットワークカメラ１００で撮影した顔画像を各種サービスに利用できるかどうかの同意をユーザからスマートフォンで受け付けるようにすることができる。その際、ネットワークカメラ１００や各種サービスは、設置場所単位、或いは、監視対象区域の種別に応じて運用されることが想定される。従って、位置情報の利用可否をアプリケーション単位で設定するように、顔画像の利用可否を場所単位で設定するインタフェースが有効と考えられる。

本実施形態では、具体的に図１２のようなユーザインタフェースを想定することができる。図１２において、最上部は顔画像を使うサービスの利用可否を一括で設定する行である。２行目以下は、空港、コンビニといった場所ごとに顔画像の利用可否を設定する行である。図中の１２０１は空港内で顔画像を使うサービスを示し、１２０２はそのサービスに顔画像を使わせる設定を示している。

当該利用の可否の情報は外部のサーバにおいてユーザごとに管理され、受付端末４００における受付時にサーバから取得されてもよい。受付端末４００は、場所ごとの許諾可否の情報のうち、自装置が設置されている場所の情報を抽出して人物情報とする。例えば、空港内に設置されている受付端末４００であれば、空港についての可否の情報のみを抽出して人物情報を生成する。その他の場所に設置されている受付端末４００についても、それぞれの設置場所に応じた情報を抽出して同様に人物情報を生成する。

あるいは、受付端末４００自体を、追跡対象となる各人物が有する個々のスマートフォンとしてもよい。この場合、監視対象区域内に人物が入場した際にスマートフォンを識別するための情報を任意の手段により取得し、当該情報の取得を、受付端末４００での受付とみなすことで、上述の実施形態と同様に追跡処理を実施することができる。

以上によれば、顔情報の利用の可否をユーザが予め一括、または、個別に設定しておくことができるので、監視対象区域に入場する際に受付端末４００において当該可否の確認を行う手間を省くことができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (17)

1. 監視対象区域を撮影した時間的に連続する複数の画像において、追跡対象の人物の軌跡を追跡する追跡処理により、前記人物の前記監視対象区域における現在位置を特定する追跡手段と、
   前記追跡対象の人物の顔画像を用いて画像から当該人物を検出する顔検出手段と、
   前記追跡対象の人物について、顔画像を利用した探索処理が許可されているか否かを判定する判定手段と、
   前記判定手段により前記顔画像を利用した前記探索処理が許可されていると判定された場合、前記追跡手段は前記追跡対象の人物の前記追跡処理を停止し、前記探索処理として、前記顔検出手段が前記監視対象区域を撮影した画像において前記顔画像に基づいて前記追跡対象の人物を検出し、該人物が検出された画像に基づき当該人物の前記現在位置を特定することを特徴とする情報処理装置。
2. 前記追跡手段は、新たな追跡対象の人物について前記追跡処理を行う場合、前記顔画像を利用した処理が許可されていると判定された前記追跡対象の人物について行っている前記追跡処理を停止することを特徴とする請求項１に記載の情報処理装置。
3. 前記追跡手段は、前記新たな追跡対象の人物について前記判定手段により前記顔画像を利用した処理が許可されていないと判定された場合に、該新たな追跡対象の人物について前記追跡処理を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記追跡手段は、前記追跡処理を行っている追跡対象の人物に、前記顔画像を利用した処理が許可されていると判定された人物が含まれない場合、いずれかの追跡対象の人物について実行している前記追跡処理を停止して、前記新たな追跡対象の人物について前記追跡処理を行うことを特徴とする請求項２または３に記載の情報処理装置。
5. 前記追跡手段は、前記情報処理装置における処理負荷の状態に応じて、前記処理負荷が所定レベルよりも高い場合に前記追跡処理の停止を行うことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 人物の探索要求を外部装置から受信する受信手段と、
   前記探索要求の受信に応じて、前記探索要求において指定された人物について前記監視対象区域内で特定された位置の情報を前記外部装置に送信する送信手段と
   をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記位置の情報は、
   前記追跡手段が、前記探索要求において指定された前記人物を前記追跡対象の人物として前記追跡処理を実行している場合には、前記追跡処理において特定された現在位置の情報であり、
   前記追跡手段が、前記探索要求において指定された前記人物を前記追跡対象の人物として前記追跡処理を実行しておらず、かつ、該指定された前記人物について前記顔画像を利用した処理が許可されている場合には、前記監視対象区域を撮影した画像のうちで前記指定された前記人物の顔画像を用いて検出された当該人物の画像に基づき特定された前記監視対象区域における当該人物の現在位置の情報であり、
   前記追跡手段が、前記探索要求において指定された前記人物を前記追跡対象の人物として前記追跡処理を実行しておらず、かつ、該指定された人物について前記顔画像を利用した処理が許可されていない場合には、前記指定された前記人物を撮影した画像から抽出された所定の特徴を用いて前記監視対象区域を撮影した複数の画像を追跡して特定された前記監視対象区域における当該人物の現在位置の情報である、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記所定の特徴は、前記指定された前記人物を撮影した画像から抽出される、該人物の上半身、色、及び動作のうちの少なくともいずれかに関する特徴を表す情報であることを特徴とする請求項７に記載の情報処理装置。
9. 前記顔画像を利用して人物を探索する処理を許可するか否かの情報は、前記追跡対象の人物について追跡処理を開始する前に取得されることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記顔画像を利用して人物を探索する処理を許可するか否かの情報は、前記追跡対象の人物により予め指定され、外部のサーバに保存された情報から取得されることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
11. 前記顔画像を利用して人物を探索する処理を許可するか否かの情報は、前記追跡対象の人物が有する携帯端末において予め指定され、該携帯端末から取得されることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
12. 前記顔画像を利用して人物を探索する処理を許可するか否かの情報は、前記携帯端末において、前記監視対象区域の種別ごとに設定され、前記情報処理装置は対応する種別の監視対象区域について設定された情報を取得することを特徴とする請求項１１に記載の情報処理装置。
13. 監視対象区域の少なくとも一部を撮影する撮影手段と、
    請求項１から１２のいずれか１項に記載の情報処理装置と、
    を備える撮影装置であって、
    前記追跡対象の人物が前記撮影手段による撮影領域の外に出たと判定される場合に、前記追跡対象の人物の情報を他の撮影装置に送信する送信手段をさらに備えることを特徴とする撮影装置。
14. 前記他の撮影装置は、前記撮影手段による撮影領域の外に出た前記人物の進行方向に位置し、前記撮影装置に隣接して前記監視対象区域内に設置された撮影装置であることを特徴とする請求項１３に記載の撮影装置。
15. 監視対象区域を撮影した画像を生成する撮影装置と
    請求項１から１２のいずれか１項に記載の情報処理装置と
    を備える追跡システム。
16. 追跡手段が、監視対象区域を撮影した時間的に連続する複数の画像において、追跡対象の人物の軌跡を追跡する追跡処理により、前記人物の前記監視対象区域における現在位置を特定する追跡工程と、
    判定手段が、前記追跡対象の人物について、顔画像を利用した探索処理が許可されているか否かを判定する判定工程と、
    前記判定手段により前記顔画像を利用した前記探索処理が許可されていると判定された場合、前記追跡手段が、前記追跡対象の人物の前記追跡処理を停止する停止工程と、
    前記探索処理として、顔検出手段が前記監視対象区域を撮影した画像において前記顔画像に基づいて前記追跡対象の人物を検出し、該人物が検出された画像に基づき当該人物の前記現在位置を特定する検出工程と
    を含むことを特徴とする情報処理装置の制御方法。
17. コンピュータを請求項１から１２のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images