JP7298729B2 - 情報処理システム、情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像認識処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。

近年、画像を用いて所望する条件に合致する人物を検知する技術が開発されている。例えば特許文献１には、映像に含まれる各画像に対して人物特徴情報を蓄積し、蓄積された情報に対して予め設定される条件に該当する人物を検索し、検索結果に対応する情報を抽出することが記載されている。さらに、人物の状態を判定し、各種特徴量を用いて人物を同定する際に、上記した人物の状態を使用することも記載されている。

また、特許文献２には、複数のカメラで撮影された映像群から、検索条件に該当する人物を全て洗い出すシステムが記載されている。また、特許文献３には、離れたフレームや異なるカメラにより得られる人物画像シーケンスから、人物の歩行状態を検出し、歩行状態に基づいて、異なる画像シーケンスに含まれる人物が同一であるか否かを判定することが記載されている。特許文献４には、映像に複数人の顔画像が存在する場合でも、各顔画像についてデータベースとのマッチングにより一致した顔画像の固有情報を取得して、映像中において人物の近傍に固有情報を表示することが記載されている。

特開２０１０－２５７４５１号公報 特開２００６－３０１９９５号公報 国際公開第２００６／０１３７６５号 特開２００６－２９３９１２号公報

本発明者は、画像処理を用いて特定の人物を複数カメラで追跡し続けるための新たな手法を検討した。すなわち本発明が目的とするところは、画像処理を用いて特定の人物を複数カメラで追跡し続けるための新たな手法を提供することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の側面は、情報処理装置に関する。
第一の側面の情報処理装置は、
第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記第１画像に含まれる人領域から第１の人領域特徴情報を抽出する抽出手段と、
２以上の特徴情報を照合する照合手段と、を有し、
前記抽出手段は、複数の撮像部から第２画像を取得し、取得したそれぞれの前記第２画像に含まれる人領域から第２の人領域特徴情報を抽出し、
前記照合手段は、前記第１の人領域特徴情報と複数の前記第２の人領域特徴情報とをそれぞれ照合する。

第二の側面は、少なくとも１つのコンピュータにより実行される情報処理方法に関する。
第二の側面に係る第１の情報処理方法は、
情報処理装置が、
第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記第１画像に含まれる人領域から第１の人領域特徴情報を抽出し、
２以上の特徴情報を照合し、
複数の撮像部から第２画像を取得し、取得したそれぞれの前記第２画像に含まれる人領域から第２の人領域特徴情報を抽出し、
前記第１の人領域特徴情報と複数の前記第２の人領域特徴情報とをそれぞれ照合する、ことを含む。

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

上記各側面によれば、画像処理を用いて特定の人物を複数カメラで追跡し続けるための新たな手法を提供できる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。 本実施形態の情報処理装置の論理的な構成を示す機能ブロック図である。 第１画像および第２画像のデータ構造の一例を示す図である。 情報処理装置の動作の例を示すフローチャートである。 本実施形態の情報処理装置の論理的な構成を示す機能ブロック図である。 顔特徴情報データベースのデータ構造の一例を示す図である。 情報処理装置の動作の一例を示すフローチャートである。 本実施形態の情報処理装置の論理的な構成を示す機能ブロック図である。 人領域特徴情報記憶部のデータ構造のバリエーションを示す図である。 表示処理部が表示装置に表示する画面の例を示す図である。 本実施形態の情報処理装置の論理的な構成を示す機能ブロック図である。 未登録者情報記憶部のデータ構造の一例を示す図である。 情報処理装置の動作の一例を示すフローチャートである。 各実施形態の情報処理装置を実現するコンピュータの構成の一例を示す図である。 人領域特徴情報記憶部のデータ構造の例を示す図である。 人領域特徴情報記憶部のデータ構造の例を説明するための概略図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
また、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

（第１の実施の形態）
図１は、本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。画像処理システム１は、情報処理装置１００を備える。情報処理装置１００は、複数のカメラ５ａ，５ｂ，・・・（特に区別する必要がない場合は「カメラ５」と呼ぶ。）に通信ネットワーク３を介して接続されている。情報処理装置１００は、詳細を後述するように、画像に追跡対象の人物（以下、追跡対象人物と記載）の顔が写らない状況があったとしても、その人物の追跡を続けることができる。

カメラ５は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備え、例えばＩＰ（Internet Protocol）カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置（不図示）を介して情報処理装置１００に接続される。これらのカメラ５は、街中や建物内外に設置されている、所謂、監視カメラであってもよい。そして、カメラ５は、特定の人物の動きに合わせて追従してカメラ本体やメンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。

カメラ５と情報処理装置１００は直接接続されてもよいし、上記したように通信ネットワーク３などを介して接続されてもよい。たとえば、カメラ５で撮像された画像データが情報処理装置１００に直接送信され、情報処理装置１００がこの画像データを逐次受信してもよい。また、カメラ５及び情報処理装置１００の双方がアクセス可能な記憶装置（不図示）を設けてもよい。この場合、カメラ５により撮像された画像データは、記憶装置に記憶される。そして、情報処理装置１００は、この記憶装置から画像データを読み出す。

ここで画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラ５および情報処理装置１００の仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。そしてこの画像データの少なくとも一つのフレームが、後述する第１画像及び第２画像の少なくとも一方としてもよい。

また、実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。

また、カメラ５から情報処理装置１００への画像の送信のタイミングは、リアルタイム配信、例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。この送信タイミングは、カメラ５や情報処理装置１００のメモリ容量、通信容量、画像処理能力、及び、カメラ５と情報処理装置１００間の通信状況等に基づいて、適宜選択されてもよいし、又は、状況変化に応じて変更されてもよい。

図２は、本実施形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。情報処理装置１００は、抽出部１０２と、照合部１０４と、を備える。

抽出部１０２は、第１画像１０に含まれる人物の顔領域から第１の顔特徴情報を抽出し、人物の顔以外を含む領域から第１人領域特徴情報を抽出する。照合部１０４は、２以上の特徴情報を照合する。そして、抽出部１０２は、第２画像２０に含まれる人物の顔領域から第２顔特徴情報を抽出できなかった場合、第２画像２０に含まれる人物の顔以外を含む領域から第２人領域特徴情報を抽出する。そして、照合部１０４は、第１人領域特徴情報と第２人領域特徴情報とを照合する。

詳細には、第１画像１０は、追跡対象の人物が写っている基準となる画像である。第２画像２０は、追跡対象人物を検索する対象となる画像である。第１画像１０と第２画像２０は、異なるタイミングで撮像されている。第１画像１０と第２画像２０は同じカメラ５で撮像されていてもよいし、異なるカメラ５で撮像されていてもよい。

そして、抽出部１０２は、第１画像１０を、カメラ５から受信、又は他の記録媒体（不図示）から読み込んで取得する。抽出部１０２は、取得した第１画像１０からまず少なくとも１人の人物を追跡対象人物として、その顔領域を特定し、第１の顔特徴情報を少なくとも１つ抽出する。追跡対象人物は、第１画像１０に含まれる少なくとも１人の所定の人物、又は第１画像１０に含まれるすべての人物であってもよいし、後述する実施形態のように、顔特徴情報データベースに登録されている特定の少なくとも１人の人物としてもよい。また、追跡対象人物は、第１画像１０に含まれる人物、又は、顔特徴情報データベースに登録されている人物の中からオペレータにより少なくとも１人を選択できてもよい。これらの設定は、予め定められていてもよいし、オペレータの指定を受け付けて設定変更できる構成を有していてもよい。

抽出部１０２は、上記したように、第１画像１０から、第１顔領域に繋がっている人領域を特定する。人領域は、人の体及び所持物を示す領域である。そして抽出部１０２は、当該人領域から第１人領域特徴情報を抽出する。

抽出された第１人領域特徴情報は、記憶装置（不図示）に記憶されてもよい。
第１人領域特徴情報は、抽出部１０２によって抽出された追跡対象の人物の顔領域に繋がっている人領域から生成される情報であり、当該人物の背格好又は服装等の見た目の特徴を示す特徴情報である。

第１人領域特徴情報は、例えば、背丈、肩幅、身体パーツの比率、衣服（形、色、素材等）、髪型（髪色も含む）、装飾品（帽子、眼鏡、アクセサリ等）、所持品（バッグ、傘、杖等）等の特徴を示す情報を含む。また、人領域特徴情報は、その特徴情報の尤度等の情報を含んでもよい。

抽出部１０２は、さらに、第２画像２０に含まれる人物の顔領域から第２顔特徴情報を抽出できなかった場合、第２画像２０に含まれる人物の顔以外を含む領域から第２人領域特徴情報を抽出する。そして、照合部１０４は、抽出された第１人領域特徴情報と第２人領域特徴情報を照合する。第１人領域特徴情報にマッチングする第２人領域特徴情報が抽出された第２画像２０の人領域が追跡対象の人物の人領域である。これにより第２画像２０内の追跡対象人物の顔が写っていなくても追跡を続けることが可能となる。

ここで、第２顔特徴情報を抽出できない場合とは、第１顔特徴情報とのマッチングの度合いが閾値未満の場合を含む。さらに、第２画像２０中で、追跡対象人物の顔の少なくとも一部が遮蔽されていたり、顔を横に向けたりしていて、照合に適した特徴量が抽出できない場合も含む。

なお、情報処理装置１００は、オペレータに当該追跡対象人物の顔を見せるために、人物の顔画像データをディスプレイに表示できるようになっていてもよい。

図３は、第１画像１０および第２画像２０のデータ構造の一例を示す図である。第１画像１０および第２画像２０は、画像を識別する画像ＩＤと、当該画像を撮像したカメラ５を識別するカメラＩＤと、画像の撮像日時（又は、保存日時、更新日時でもよい）とを示す情報、及び画像データの本体を含む。画像ＩＤは、ファイル名でもよい。第１画像１０及び第２画像２０は、当該画像がフレームである場合、そのフレームを特定可能なフレーム番号を示す情報を含んでもよい。

本実施形態において、第２画像２０は、第１画像１０より後に撮像された画像であり、各カメラ５からリアルタイムに受信したものを用いることができる。しかし、他の実施形態において、第２画像２０は、第１画像１０より前に撮像された録画データ、すなわち不揮発性の記憶手段に記憶されたデータであってもよい。後述するように、本実施形態では、人物の顔が写っていなくても、衣服等の特徴で当該人物を追跡するため、衣服を着替えてしまうと追跡ができなくなる。このため、第２画像２０は、第１画像１０の撮像時刻から、衣服を替られないと想定される期間、または、第１画像１０の衣服と同じものを着ている期間と想定される期間に撮像されたものになる。

このように構成された本実施形態の情報処理装置１００の動作について、以下説明する。
図４は、情報処理装置１００の動作の例を示すフローチャートである。
まず、抽出部１０２は、第１画像１０を取得し、第１画像１０に含まれる少なくとも１人の人物を追跡対象人物として、その顔領域から第１顔特徴情報を少なくとも１つ抽出する（ステップＳ１０１）。

さらに、抽出部１０２は、第１画像１０から当該人物の顔以外を含む領域から第１人領域特徴情報を抽出する（ステップＳ１０３）。抽出部１０２は、例えば、第１顔領域につながる領域のうち当該第１顔領域の下方に位置する部分から、人領域を特定する。また、抽出部１０２は、第１顔領域につながる領域のうち当該第１顔領域の上方に位置する部分も人領域に含めてもよい。

次に、抽出部１０２は、カメラ５から第２画像２０を取得し、第２画像２０に含まれる人物の顔領域から第２顔特徴情報が抽出できたか否かを判定する（ステップＳ１０５）。第２顔特徴情報が抽出できなかった場合（ステップＳ１０５のＮＯ）、抽出部１０２は、第２画像２０に含まれる人物の顔以外を含む領域から第２人領域特徴情報を抽出する（ステップＳ１０７）。

次に、照合部１０４は、ステップＳ１０３で抽出された第１人領域特徴情報とステップＳ１０７で抽出された第２人領域特徴情報とを照合する（ステップＳ１０９）。第２人領域特徴情報が第１人領域特徴情報と一致した場合、第２画像２０内で、当該第２人領域特徴情報が抽出された人領域が追跡対象人物となる。また、ステップＳ１０５で、第２顔特徴情報が抽出された場合（ステップＳ１０５のＹＥＳ）、第２画像２０から第２人領域特徴情報を抽出し、照合する処理（ステップＳ１０７とステップＳ１０９）は行わずに処理を終了する。つまり、顔特徴情報の照合結果から、第２画像２０内で第２顔特徴情報が抽出された顔領域が追跡対象人物となる。

以上説明したように、本実施形態において、抽出部１０２により、第１画像１０から追跡対象となる人物の第１顔特徴情報と第１人領域特徴情報が抽出される。そして、第２画像２０から第２顔特徴情報が抽出されずに、顔特徴情報での追跡ができない場合でも、第２画像２０から抽出した第２人領域特徴情報と第１人領域特徴情報とを照合することで追跡対象人物を第２画像２０で追跡することができる。

このように、本実施形態によれば、カメラ５から受信した第２画像２０において、たとえ追跡対象の人物の顔が写っていなくても、当該人物の追跡を継続することが可能になる。

（第２の実施の形態）
図５は、本実施形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置１００は、追跡対象となる人物の顔特徴情報が予めブラックリスト等に登録されている点以外は第１の実施形態と同様である。

情報処理装置１００は、さらに顔特徴情報データベース１１０（図中、「顔特徴情報ＤＢ」と示す）を含む。顔特徴情報データベース１１０は、複数の装置に含まれてもよい。また、顔特徴情報データベース１１０は、情報処理装置１００の本体と一体であってもよいし、別体であってもよい。顔特徴情報データベース１１０は、データベース構造を有しているが、他のデータ構造を有していてもよい。

本実施形態において、追跡対象の人物は、顔特徴情報データベース１１０に、その顔の特徴情報が登録されている。
照合部１０４は、第１画像１０に含まれる人物の顔領域から抽出された顔特徴情報と顔特徴情報データベース１１０に記憶された第１顔情報とを照合する。当該照合結果が一致となった場合、第１画像１０に含まれる人物から第１人領域特徴情報を抽出する。

図６は、顔特徴情報データベース１１０のデータ構造の一例を示す図である。顔特徴情報データベース１１０には、追跡対象となる少なくとも１人の人物の顔の特徴情報である第１顔情報が登録されている。顔特徴情報データベース１１０は、登録されている人物を識別する登録者ＩＤと、当該人物の顔特徴情報（第１顔情報相当）と、氏名と、顔画像データとが紐付けられている。なお、顔特徴情報は必ずしも顔特徴情報データベース１１０に格納されていなくてもよい。この場合、情報処理装置１００は、照合処理を行う際に顔画像データから顔特徴情報を抽出する。

顔画像データのファイル形式は特に限定されないが、たとえば、ＪＰＥＧ（Joint Photographic Experts Group）、ＢＭＰ（Bit MaP）、ＰＮＧ（Portable Network Graphics）、ＴＩＦＦ（Tagged Image File Format）等が例示される。また、顔特徴情報データベース１１０には画像データの実体が登録されてもよいし、画像データが保存されている場所とファイル名を示すパスが登録されていてもよい。

図５に戻り、抽出部１０２は、第１画像１０から、顔領域を特定し、顔特徴情報データベース１１０に登録されている第１顔情報との照合処理（以後、顔認証処理とも呼ぶ。）を行う。照合処理を行う対象人物は、顔特徴情報データベース１１０に登録されている複数の人物全てとしてもよいし、オペレータにより少なくとも１人を選択できてもよい。これらの設定は、予め定められていてもよいし、オペレータの指定を受け付けて設定変更できる構成を有していてもよい。

本実施形態の情報処理装置１００は、図４のフローチャートのステップＳ１０１の代わりにステップＳ１１１（不図示）を含む以外は同じである。ステップＳ１１１で、まず、抽出部１０２は、第１画像１０を取得し、第１画像１０に含まれる人物の顔領域から顔特徴情報を抽出する。そして、照合部１０４は、抽出した顔特徴情報と顔特徴情報データベース１１０の第１顔情報とを照合する。そして、抽出部１０２は、顔特徴情報データベース１１０に記憶されている第１顔情報に一致する顔特徴情報を第１顔特徴情報とする。

そして、抽出部１０２は、第１画像１０の人物の顔以外を含む領域から第１人領域特徴情報を抽出し（ステップＳ１０３）、第２画像２０から顔特徴情報が抽出できなかった場合（ステップＳ１０５のＮＯ）、第２画像２０から第２人領域特徴情報を抽出する（ステップＳ１０７）。照合部１０４は、ステップＳ１０７で抽出した第２人領域特徴情報とステップＳ１０３で抽出した第１人領域特徴情報を照合する（ステップＳ１０９）。

以上説明したように、本実施形態において、抽出部１０２により、第１画像１０から顔特徴情報データベース１１０に登録されている第１顔情報に一致する第１顔特徴情報と、当該顔領域の人物の第１人領域特徴情報とが抽出される。そして、上記実施形態と同様に第２画像２０から追跡対象人物の第１顔特徴情報と一致する第２顔特徴情報が抽出されずに、顔特徴情報での追跡ができない場合でも、第２画像２０から抽出した第２人領域特徴情報と第１人領域特徴情報とを照合することで追跡対象人物を第２画像２０で追跡することができる。

つまり、本実施形態では、上記実施形態同様の効果を奏するとともに、予め顔特徴情報データベース１１０に登録されている人物を追跡対象人物として追跡することができる。

（第３の実施の形態）
第３の実施の形態の情報処理装置１００は、第２画像２０に対しても顔認証処理を行った後、顔認証できなかった顔領域に繋がる人領域について、第１人領域特徴情報との照合処理を行う点以外は第１の実施形態と同様である。第３実施形態は、第１実施形態とは動作が異なるが、構成は図２の情報処理装置１００と同じであるので、以下の説明では図２の機能ブロック図を用いる。なお、本実施形態はその他の実施形態の情報処理装置１００と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。

図７は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。本実施形態では、図４と同じステップＳ１０１～ステップＳ１０９を有するとともに、さらに、ステップＳ１２０を含む。

本実施形態において、照合部１０４、第２画像２０に含まれる人物から第２顔特徴情報を抽出できた場合は（ステップＳ１０５のＹＥＳ）、第１顔特徴情報と第２顔特徴情報とを照合する（ステップＳ１２０）。第２画像２０に含まれる人物から第２顔特徴情報を抽出できなかった場合は（ステップＳ１０５のＮＯ）、ステップＳ１０３で抽出された第１人領域特徴情報とステップＳ１０７で抽出された第２人領域特徴情報とを照合する（ステップＳ１０９）。

本実施形態において、第１画像１０に含まれる全ての人物を追跡対象人物とした場合、ステップＳ１０５で第２画像２０に含まれる人物のうち、第２顔特徴情報が抽出できた人物については（ステップＳ１０５のＹＥＳ）、顔特徴情報で照合を行うことで当該人物を追跡し、第２顔特徴情報が抽出できなかった人物については（ステップＳ１０５のＮＯ）、人領域特徴情報で照合を行うことで当該人物を追跡してもよい。つまり、顔が写ってる時は顔で追跡し、顔が写っていない時は服装（人領域）で追跡することができる。

本実施形態において、情報処理装置１００は、第１顔情報と一致する顔が第２画像２０に見つからなかった場合に、人領域特徴情報を用いた追跡処理を行う。また、情報処理装置１００は、顔が見つかった場合は人領域特徴情報を用いた追跡処理を行なわず、人物の顔で追跡を続けることができる。このように本実施形態によれば、第１および第２の実施形態と同様な効果を奏するとともに、さらに、顔が写っていない等、顔認証ができない場合に人領域特徴情報を用いた照合処理を行うので、効率がよい。

（第４の実施の形態）
図８は、本実施形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置１００は、抽出部１０２による抽出結果、および抽出部１０２により抽出された人領域特徴情報、照合部１０４による人物の追跡情報等を出力する構成を有する以外は上記実施形態と同じである。

情報処理装置１００は、図２に示した構成に加え、さらに、第１登録部１２０と、出力処理部１３０とを有する。なお、本実施形態はその他の実施形態の情報処理装置１００と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。第１登録部１２０は、第１画像１０に含まれる人物から抽出された第１顔特徴情報と第１人領域特徴情報とを人物の識別情報に対応付けて人領域情報記憶部１１２に記憶させる。言い換えると、第１登録部１２０は、第１画像１０に含まれる人物から抽出された第１顔特徴情報と第１人領域特徴情報とを人物の識別情報に対応付けて人領域情報記憶部１１２に登録する。出力処理部１３０は、照合部１０４による照合結果が一致となった場合、人領域情報記憶部１１２が記憶する人物の識別情報を出力手段に出力させる。以後、人領域情報記憶部１１２に登録された第１顔特徴情報および第１人領域特徴情報は、登録顔特徴情報および登録人領域特徴情報とも呼ぶ。

出力手段は、例えば、画面表示を行う表示装置、印字出力する印刷装置、メールを送信する通信装置等である。本実施形態では、出力処理部１３０は、情報処理装置１００に接続された液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイ等の表示装置１３２に各種情報を表示させる。

図９は、人領域特徴情報記憶部１１２のデータ構造の例を示す図である。
図９（ａ）の例では、人領域特徴情報記憶部１１２は、人領域特徴情報を識別する人領域情報ＩＤと、抽出部１０２により抽出された人領域特徴情報（第１人領域特徴情報に相当）とが紐付けられている。

また、図９（ｂ）と図９（ｃ）の例は、上記第２の実施形態で、顔特徴情報データベース１１０の第１顔情報と一致する第１顔特徴情報が抽出された人物の顔領域以外の人領域から抽出された第１人領域特徴情報が登録人領域特徴情報として人領域特徴情報記憶部１１２に記憶されている。
図９（ｂ）の例では、人領域情報ＩＤと、第１人領域特徴情報と、第１画像１０から抽出された第１顔特徴情報と一致した第１顔情報の登録者ＩＤと、が対応付けられている。登録者ＩＤと紐付けておくことで、図６の顔特徴情報データベース１１０から登録者ＩＤに対応する人物の氏名や顔画像を読み出すことができる。

図９（ｃ）の例では、登録者ＩＤの代わりに第１画像１０から抽出された第１顔特徴情報と一致した第１顔情報の登録者の氏名および顔画像データの少なくともいずれか１つと紐付けられている。

本実施形態において、抽出部１０２は、複数のカメラ５から第２画像２０を取得し、取得した第２画像２０に対して抽出処理を行う。

図１０は、出力処理部１３０が表示装置１３２に表示する画面の例を示す図である。図１０（ａ）は、複数のカメラ５の撮像画像を一画面に並べて表示するマルチ画面２００である。図１０（ｂ）は、図１０（ａ）の中のある１つのカメラ５の操作画像を閲覧するビュー画面２１０である。図１０（ｂ）のビュー画面２１０の例では、抽出部１０２によって抽出された追跡対象者の人領域が矩形の枠２１２で囲まれている。さらに、照合部１０４により特定された当該人物の氏名２１４が表示されている。

マルチ画面２００およびビュー画面２１０は、リアルタイムにカメラ５で撮像されている動画像であってもよいし、ある時点で動画像を停止させた少なくとも１つのフレームであってもよい。また、マルチ画面２００においても、ビュー画面２１０と同様に検出された追跡対象人物を示す枠２１２や氏名２１４を表示してもよい。マルチ画面２００とビュー画面２１０は、別のウインドウで表示されてもよいし、切り替えて表示されてもよい。また、複数のビュー画面２１０を同時に表示してもよい。

さらに、マルチ画面２００およびビュー画面２１０には、表示されている画像の撮像日時の情報、撮影場所の情報等を表示してもよい。あるいは、マルチ画面２００およびビュー画面２１０で表示されている画像のプロパティ情報をオペレータの操作に応じて別のウインドウで表示できてもよい。

また、枠２１２の領域に対するオペレータの操作を受け付けて、当該人物の情報、例えば、顔写真、プロフィール等の情報を表示できてもよい。

本実施形態によれば、出力処理部１３０によりマルチ画面２００又はビュー画面２１０を表示できるので、上記実施形態と同様な効果を奏するとともに、さらに、追跡状況をリアルタイムに把握できる。

（第５の実施の形態）
図１１は、本実施形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置１００は、顔特徴情報データベース１１０に登録されていない人物の情報を未登録者情報として登録する構成を有する点以外は上記実施形態と同じである。

情報処理装置１００は、図２に示した構成に加え、さらに、第２登録部１４０を有する。なお、本実施形態はその他の実施形態の情報処理装置１００と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。抽出部１０２は、第２画像２０に含まれる人物の顔領域から抽出された第２顔特徴情報と顔特徴情報データベース１１０に記憶された第１顔情報との照合結果が不一致となった場合、当該顔領域に繋がる人領域に対応する第３人領域特徴情報を抽出する。第２登録部１４０は、抽出された第３人領域特徴情報及び第２顔特徴情報を互いに関連付けて未登録者情報記憶部１４２に記憶させる。言い換えると、第２登録部１４０は、抽出された第３人領域特徴情報及び当該第２顔特徴情報を互いに関連付けて未登録者情報記憶部１４２に登録する。未登録者情報記憶部１４２はデータベース構造を有していてもよい。

未登録者情報記憶部１４２は、顔特徴情報データベース１１０および人領域特徴情報記憶部１１２の少なくともいずれか一方と同一の装置に含まれてもよいし、互いに異なる装置に含まれていてもよい。また、未登録者情報記憶部１４２は、顔特徴情報データベース１１０および人領域特徴情報記憶部１１２とともに、情報処理装置１００の本体と一体であってもよいし、別体であってもよい。

図１２は、未登録者情報記憶部１４２のデータ構造の一例を示す図である。この例では、第１顔情報との照合結果が一致しなかった第２画像２０に含まれる人物の顔領域から抽出された第２顔特徴情報には未登録者を識別する未登録者ＩＤが付与されている。そして、第２顔特徴情報及び第３人領域特徴情報は、未登録者ＩＤに紐付けられて未登録者情報記憶部１４２に登録されている。さらに、未登録者情報記憶部１４２には、第２画像２０に含まれる人物の顔領域の画像データおよび第３人領域特徴情報の人領域の画像データの少なくともいずれか１つが登録されてもよい。

本実施形態においても、上記実施形態で図１０（ｂ）に示したビュー画面２１０の例において、抽出された未登録者について、当該人物の人領域又は顔領域を矩形の枠２１２で囲むとともに、当該枠２１２の近傍に未登録者であることを示す情報を画像に重畳表示してもよい。さらに、未登録者ＩＤを表示してもよい。登録者と未登録者の枠２１２は識別できるように、線の色や線の種類（例えば、実線、破線等）を変えて区別して表示してもよい。また、枠２１２は必ずしも必要ではない。

図１３は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。図４のステップＳ１０３と同様な処理を行い、顔領域が検知できなかった場合（ステップＳ１０３のＮＯ）、本処理に進む。第２登録部１４０は、抽出部１０２が第１顔情報に一致しないと判断した第２顔領域に繋がる人領域を特定し（ステップＳ１４１）、当該人領域に対応する第２人領域特徴情報を生成する（ステップＳ１４３）。そして、第２登録部１４０は、生成された第２人領域特徴情報及び当該第２顔領域を互いに関連付けて未登録者情報記憶部１４２に登録する（ステップＳ１４５）。

以上説明したように、本実施形態において、第２画像２０で顔認証できなかった人物を未登録者として、その顔画像および人領域特徴情報を未登録者情報記憶部１４２に登録できる。これにより、例えば、予め登録されている会員が利用する施設内に、非会員が入場した場合等に、非会員の情報を取得して登録することができる。

図１４は、上述した各実施形態の情報処理装置１００を実現するコンピュータ８０の構成の一例を示す図である。
コンピュータ８０は、ＣＰＵ（Central Processing Unit）８２、メモリ８４、メモリ８４にロードされた図２、図９および図１１の各情報処理装置１００の構成要素を実現するプログラム９０、そのプログラム９０を格納するストレージ８５、Ｉ／Ｏ（Input/Output）８６、およびネットワーク接続用インタフェース（通信Ｉ／Ｆ８７）を備える。

ＣＰＵ８２、メモリ８４、ストレージ８５、Ｉ／Ｏ８６、通信Ｉ／Ｆ８７は、バス８９を介して互いに接続され、ＣＰＵ８２により情報処理装置全体が制御される。ただし、ＣＰＵ８２などを互いに接続する方法は、バス接続に限定されない。

メモリ８４は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ８５は、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどの記憶装置である。

ストレージ８５は、ＲＡＭやＲＯＭなどのメモリであってもよい。ストレージ８５は、コンピュータ８０の内部に設けられてもよいし、コンピュータ８０がアクセス可能であれば、コンピュータ８０の外部に設けられ、コンピュータ８０と有線または無線で接続されてもよい。あるいは、コンピュータ８０に着脱可能に設けられてもよい。

ＣＰＵ８２が、ストレージ８５に記憶されるプログラム９０をメモリ８４に読み出して実行することにより、各実施形態の情報処理装置１００の各ユニットの各機能を実現することができる。

Ｉ／Ｏ８６は、コンピュータ８０と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ８０に接続されるキーボード、タッチパネル、マウス、およびマイクロフォン等の入力装置（不図示）と、ディスプレイ、プリンタ、およびスピーカ等の出力装置（不図示）と、これらの入出力装置とコンピュータ８０のインタフェースとを含む。さらに、Ｉ／Ｏ８６は、他の記録媒体の読み取りまたは書き込み装置（不図示）とのデータの入出力制御を行ってもよい。

通信Ｉ／Ｆ８７は、コンピュータ８０と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信Ｉ／Ｆ８７は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。たとえば、情報処理装置１００を実現するコンピュータ８０は、通信Ｉ／Ｆ８７によりネットワークを介して少なくとも１台のカメラ５と接続される。

各実施形態の情報処理装置１００の各構成要素は、本図のコンピュータ８０のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。上述した各実施形態の情報処理装置１００を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

情報処理装置１００は、複数のコンピュータ８０により構成されてもよいし、仮想サーバにより実現されてもよい。

複数のコンピュータ８０により構成される例として、以下に例示される情報処理システムとして本発明は実現できるが、これらに限定されない。
（１）抽出部１０２と照合部１０４は別の装置（コンピュータ８０）で実施する。例えば、情報処理システムは、抽出部１０２を有する端末装置と、照合部１０４を有するサーバ装置と備えてもよい。
（２）抽出部１０２の抽出処理のうち、第１画像１０からの特徴情報の抽出処理と、第２画像２０からの特徴情報の抽出処理を別の装置（コンピュータ８０）で実施する。例えば、情報処理システムは、抽出部１０２を有する映像を解析する複数の端末装置と、それらからの情報を統合して照合処理を行うサーバ装置とを含んでもよい。複数の端末装置はエリア毎に分かれて配備され、抽出部１０２は、複数の物理的装置によって実現されてもよい。
（３）映像の解析（抽出部１０２と照合部１０４）の対象となる特徴情報の種別（顔特徴情報と人領域特徴情報）で別々の装置（コンピュータ８０）に分けてもよい。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、上記実施形態において、抽出部１０２は、人領域特徴情報登録処理で登録された１つの人領域特徴情報を用いて追跡人物検索処理を行っていたが、他の例において、抽出部１０２は、複数の第１画像１０のそれぞれから複数の第１人領域特徴情報を生成し、これらの第１人領域特徴情報を互いに関連付けて登録人領域特徴情報として人領域特徴情報記憶部１１２に登録してもよい。

そして、照合部１０４は、少なくとも１つの登録人領域特徴情報、又は複数の登録人領域特徴情報の各々について、照合処理を行うことができる。複数の登録人領域特徴情報のうちのいずれの情報を用いるか、オペレータの指定を受け付けてもよいし、全ての登録人領域特徴情報を用いる指定をオペレータから受け付けてもよい。

図１５は、人領域特徴情報記憶部１１２のデータ構造の例を示す図である。図１５の例では、人領域情報ＩＤに、登録者ＩＤと、複数の人領域特徴情報ｎ（ｎは自然数）が紐付けられて登録されている。

上記したように人領域特徴情報は主に人物の衣服等の特徴に基づいているため、追跡は当該人物が衣服を着替えていないことが前提となる。しかし、着替えた場合も、別の服装に対応する別の人領域特徴情報を用いれば追跡が可能になる。

また、抽出部１０２は、生成した第１人領域特徴情報に対応する人領域を含む画像を第１人領域特徴情報に関連付けて人領域特徴情報記憶部１１２に記憶してもよい。図１６は、人領域特徴情報記憶部１１２のデータ構造の例を説明するための概略図である。

図１６（ａ）の例において、人領域特徴情報記憶部１１２には、１人の人物に対して、当該人物の顔画像データと、氏名と、１つの人領域特徴情報（不図示）と、１つの人領域特徴情報に対応する人領域の画像データとが登録されている。図１６（ｂ）の例では、人領域特徴情報記憶部１１２には、１人の人物に対して、当該人物の顔画像データと、氏名と、複数の人領域特徴情報（不図示）と、当該人領域特徴情報に各々対応する人領域の複数の画像データとが登録されている。

上記実施形態では、情報処理装置１００は、図５又は図８のステップＳ１０５で顔特徴情報を用いた照合処理の方を図５又は図８のステップＳ１０９での人領域特徴情報を用いた照合処理より優先して行っているが、顔特徴情報の照合処理と、人領域特徴情報の照合処理は、どちらを優先して行ってもよい。いずれの処理を優先させるか、オペレータの指示を受け付けて変更できてもよい。

例えば、情報処理装置１００は、わざと顔を隠して行動している可能性が高い人物については、第１画像１０に含まれる人物の人領域から抽出される第１人領域特徴情報と第２画像２０に含まれる人物の人領域から抽出される第２人領域特徴情報との照合処理を先に行い、その後、人領域の照合の結果に依存せずに顔特徴情報を用いた照合処理を行ってもよい。また、情報処理装置１００は、例えば、制服等、同じような服装の人物が多い状況では、先に顔認証を行い、顔認証できなかった人物に対してのみ人領域特徴情報を用いた照合処理を行ってもよい。さらに、情報処理装置１００は、どちらの処理を優先させるかの指定を受け付け、この指定に従って処理順序を変更できてもよい。さらに、情報処理装置１００は、第２画像２０内の人領域特徴情報の類似度が基準値を超える場合に、顔認証処理を優先させるように自動的に切り替えてもよい。

また、他の実施形態において、情報処理装置１００は、所定の事象を検知したことをトリガとして、顔領域の検出、人領域特徴情報の抽出、人領域特徴情報による人物追跡のうち少なくともいずれか一つを実施してもよい。所定の事象は、例えば、置き去り、キョロキョロする、うろつく、物を振り回す、所定のエリアに侵入する、といった、人物に関する所定の行動、つまり、注視すべき行動でもよい。所定の事象は、監視カメラの撮像画像から情報処理装置１００の画像認識処理によって検知されてもよいし、別の情報処理装置やセンサによって検知されてもよい。この場合、抽出部１０２は、所定の事象が検知された人物を特定し、当該人物を追跡対象人物として顔領域特徴情報、人領域特徴情報を抽出してもよい。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第１の人領域特徴情報を抽出する抽出手段と、
２以上の特徴情報を照合する照合手段と、を備え、
前記抽出手段は、第２画像に含まれる人物の顔領域から第２の顔特徴情報を抽出できなかった場合、前記第２画像に含まれる人物の顔以外を含む領域から第２の人領域特徴情報を抽出し、
前記照合手段は、前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する、情報処理装置。
２． １．に記載の情報処理装置において、
前記第２画像は、前記第１画像とは異なる撮像部により生成される情報処理装置。
３． １．又は２．に記載の情報処理装置において、
前記第２画像は、前記第１画像より後に撮像された画像である情報処理装置。
４． １．から３．のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できた場合は前記第１の顔特徴情報と前記第２の顔特徴情報とを照合し、前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できなかった場合は前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する、情報処理装置。
５． １．から４．のいずれか一つに記載の情報処理装置において、
前記抽出手段による前記第１の顔特徴情報、前記第２の顔特徴情報、前記第１の人領域特徴情報、および前記第２の人領域特徴情報の抽出処理、ならびに、前記照合手段による前記人領域特徴情報の照合処理のうち少なくともいずれか１つは、所定の事象を検知したことをトリガとして実施される、情報処理装置。
６． １．から５．のいずれか一つに記載の情報処理装置において、
抽出した前記第１の人領域特徴情報を、当該第１の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理装置。
７． １．から６．のいずれか一つに記載の情報処理装置において、
複数の前記第１画像を用いて複数の前記第１の人領域特徴情報を抽出し、前記複数の第１の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された少なくとも１つの前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理装置。
８． １．から７．のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と記憶部に記憶された第１顔情報とを照合し、当該照合結果が一致となった場合、前記第１画像に含まれる前記人物から前記第１の人領域特徴情報を抽出する、情報処理装置。
９． ８．に記載の情報処理装置において、
前記抽出手段は、前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と前記記憶部に記憶された前記第１顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第３の人領域特徴情報を抽出し、
抽出された前記第３の人領域特徴情報及び当該第１の顔特徴情報を互いに関連付けて第２の記憶部に記憶させる登録手段をさらに備える情報処理装置。
１０． ９．に記載の情報処理装置において、
前記登録手段は、前記第１の顔特徴情報が抽出された前記顔領域の画像を前記第１の顔特徴情報および前記第３の人領域特徴情報と関連付けて前記第２の記憶部に記憶させる、情報処理装置。
１１． １．から１０．のいずれか一つに記載の情報処理装置において、
前記第１画像に含まれる人物から抽出された前記第１の顔特徴情報と前記第１の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる登録手段と、
前記照合手段による照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる出力処理手段と、をさらに備える情報処理装置。
１２． １．から１１．のいずれか一つに記載の情報処理装置において、
複数の撮像部とネットワークを介して接続され、
前記抽出手段は、複数の撮像部から前記第２画像を取得し、取得した前記第２画像に対して抽出処理を行う情報処理装置。

１３． 第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第１の人領域特徴情報を抽出する抽出手段と、
２以上の特徴情報を照合する照合手段と、を備え、
前記抽出手段は、第２画像に含まれる人物の顔領域から第２の顔特徴情報を抽出できなかった場合、前記第２画像に含まれる人物の顔以外を含む領域から第２の人領域特徴情報を抽出し、
前記照合手段は、前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する、
情報処理システム。
１４． １３．に記載の情報処理システムにおいて、
前記第２画像は、前記第１画像とは異なる撮像部により生成される情報処理システム。
１５． １３．又は１４．に記載の情報処理システムにおいて、
前記第２画像は、前記第１画像より後に撮像された画像である情報処理システム。
１６． １３．から１５．のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できた場合は前記第１の顔特徴情報と前記第２の顔特徴情報とを照合し、前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できなかった場合は前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する、情報処理システム。
１７． １３．から１６．のいずれか一つに記載の情報処理システムにおいて、
前記抽出手段による前記第１の顔特徴情報、前記第２の顔特徴情報、前記第１の人領域特徴情報、および前記第２の人領域特徴情報の抽出処理、ならびに、前記照合手段による前記人領域特徴情報の照合処理のうち少なくともいずれか１つは、所定の事象を検知したことをトリガとして実施される、情報処理システム。
１８． １３．から１７．のいずれか一つに記載の情報処理システムにおいて、
抽出した前記第１の人領域特徴情報を、当該第１の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理システム。
１９． １３．から１８．のいずれか一つに記載の情報処理システムにおいて、
複数の前記第１画像を用いて複数の前記第１の人領域特徴情報を抽出し、前記複数の第１の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる登録手段をさらに備え、
前記照合手段は、前記記憶部に記憶された少なくとも１つの前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理システム。
２０． １３．から１９．のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と記憶部に記憶された第１顔情報とを照合し、当該照合結果が一致となった場合、前記第１画像に含まれる前記人物から前記第１の人領域特徴情報を抽出する、情報処理システム。
２１． ２０．に記載の情報処理システムにおいて、
前記抽出手段は、前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と前記記憶部に記憶された前記第１顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第３の人領域特徴情報を抽出し、
抽出された前記第３の人領域特徴情報及び当該第１の顔特徴情報を互いに関連付けて第２の記憶部に記憶させる登録手段をさらに備える情報処理システム。
２２． ２１．に記載の情報処理システムにおいて、
前記登録手段は、前記第１の顔特徴情報が抽出された前記顔領域の画像を前記第１の顔特徴情報および前記第３の人領域特徴情報と関連付けて前記第２の記憶部に記憶させる、情報処理システム。
２３． １３．から２２．のいずれか一つに記載の情報処理システムにおいて、
前記第１画像に含まれる人物から抽出された前記第１の顔特徴情報と前記第１の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる登録手段と、
前記照合手段による照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる出力処理手段と、をさらに備える情報処理システム。
２４． １３．から２３．のいずれか一つに記載の情報処理システムにおいて、
複数の撮像部とネットワークを介して接続され、
前記抽出手段は、複数の撮像部から前記第２画像を取得し、取得した前記第２画像に対して抽出処理を行う情報処理システム。

２５． 情報処理装置が、
第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第１の人領域特徴情報を抽出し、
２以上の特徴情報を照合し、
第２画像に含まれる人物の顔領域から第２の顔特徴情報を抽出できなかった場合、前記第２画像に含まれる人物の顔以外を含む領域から第２の人領域特徴情報を抽出し、
前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する、
情報処理方法。
２６． ２５．に記載の情報処理方法において、
前記第２画像は、前記第１画像とは異なる撮像部により生成される情報処理方法。
２７． ２５．又は２６．に記載の情報処理方法において、
前記第２画像は、前記第１画像より後に撮像された画像である情報処理方法。
２８． ２５．から２７．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できた場合は前記第１の顔特徴情報と前記第２の顔特徴情報とを照合し、前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できなかった場合は前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する、情報処理方法。
２９． ２５．から２８．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第１の顔特徴情報、前記第２の顔特徴情報、前記第１の人領域特徴情報、および前記第２の人領域特徴情報の抽出処理、ならびに、前記人領域特徴情報の照合処理のうち少なくともいずれか１つを、所定の事象を検知したことをトリガとして実施する、情報処理方法。
３０． ２５．から２９．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
抽出した前記第１の人領域特徴情報を、当該第１の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させ、
前記記憶部に記憶された前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理方法。
３１． ２５．から３０．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
複数の前記第１画像を用いて複数の前記第１の人領域特徴情報を抽出し、前記複数の第１の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させ、
前記記憶部に記憶された少なくとも１つの前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理方法。
３２． ２５．から３１．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と記憶部に記憶された第１顔情報とを照合し、当該照合結果が一致となった場合、前記第１画像に含まれる前記人物から前記第１の人領域特徴情報を抽出する、情報処理方法。
３３． ３２．に記載の情報処理方法において、
前記情報処理装置が、
前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と前記記憶部に記憶された前記第１顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第３の人領域特徴情報を抽出し、
さらに、抽出された前記第３の人領域特徴情報及び当該第１の顔特徴情報を互いに関連付けて第２の記憶部に記憶させる情報処理方法。
３４． ３３．に記載の情報処理方法において、
前記情報処理装置が、
前記第１の顔特徴情報が抽出された前記顔領域の画像を前記第１の顔特徴情報および前記第３の人領域特徴情報と関連付けて前記第２の記憶部に記憶させる、情報処理方法。
３５． ２５．から３４．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
前記第１画像に含まれる人物から抽出された前記第１の顔特徴情報と前記第１の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させ、
照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる、情報処理方法。
３６． ２５．から３５．のいずれか一つに記載の情報処理方法において、
複数の撮像部とネットワークを介して接続され、
前記情報処理装置が、
複数の撮像部から前記第２画像を取得し、取得した前記第２画像に対して抽出処理を行う情報処理方法。

３７． コンピュータに、
第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記人物の顔以外を含む領域から第１の人領域特徴情報を抽出する手順、
２以上の特徴情報を照合する手順、
第２画像に含まれる人物の顔領域から第２の顔特徴情報を抽出できなかった場合、前記第２画像に含まれる人物の顔以外を含む領域から第２の人領域特徴情報を抽出する手順、
前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する手順、
を実行させるためのプログラム。
３８． ３７．に記載のプログラムにおいて、
前記第２画像は、前記第１画像とは異なる撮像部により生成されるプログラム。
３９． ３７．又は３８．に記載のプログラムにおいて、
前記第２画像は、前記第１画像より後に撮像された画像であるプログラム。
４０． ３７．から３９．のいずれか一つに記載のプログラムにおいて、
前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できた場合は前記第１の顔特徴情報と前記第２の顔特徴情報とを照合し、前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できなかった場合は前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
４１． ３７．から４０．のいずれか一つに記載のプログラムにおいて、
前記第１の顔特徴情報、前記第２の顔特徴情報、前記第１の人領域特徴情報、および前記第２の人領域特徴情報の抽出処理、ならびに、前記人領域特徴情報の照合処理のうち少なくともいずれか１つを、所定の事象を検知したことをトリガとして実施する手順をコンピュータに実行させるためのプログラム。
４２． ３７．から４１．のいずれか一つに記載のプログラムにおいて、
抽出した前記第１の人領域特徴情報を、当該第１の人領域特徴情報に対応する前記人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる手順、
前記記憶部に記憶された前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
４３． ３７．から４２．のいずれか一つに記載のプログラムにおいて、
複数の前記第１画像を用いて複数の前記第１の人領域特徴情報を抽出し、前記複数の第１の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる手順、
前記記憶部に記憶された少なくとも１つの前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する手順をコンピュータに実行させるためのプログラム。
４４． ３７．から４３．のいずれか一つに記載のプログラムにおいて、
前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と記憶部に記憶された第１顔情報とを照合し、当該照合結果が一致となった場合、前記第１画像に含まれる前記人物から前記第１の人領域特徴情報を抽出する手順をコンピュータに実行させるためのプログラム。
４５． ４４．に記載のプログラムにおいて、
前記第１画像に含まれる人物の顔領域から抽出された前記第１の顔特徴情報と前記記憶部に記憶された前記第１顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第３の人領域特徴情報を抽出する手順、
抽出された前記第３の人領域特徴情報及び当該第１の顔特徴情報を互いに関連付けて第２の記憶部に記憶させる手順をコンピュータに実行させるためのプログラム。
４６． ４５．に記載のプログラムにおいて、
前記第１の顔特徴情報が抽出された前記顔領域の画像を前記第１の顔特徴情報および前記第３の人領域特徴情報と関連付けて前記第２の記憶部に記憶させる手順をコンピュータに実行させるためのプログラム。
４７． ３７．から４６．のいずれか一つに記載のプログラムにおいて、
前記第１画像に含まれる人物から抽出された前記第１の顔特徴情報と前記第１の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる手順、
照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる手順をコンピュータに実行させるためのプログラム。
４８． ３７．から４７．のいずれか一つに記載のプログラムにおいて、
複数の撮像部とネットワークを介して接続され、
複数の撮像部から前記第２画像を取得し、取得した前記第２画像に対して抽出処理を行う手順をコンピュータに実行させるためのプログラム。

Claims (13)

1. 第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記第１画像に含まれる人領域から第１の人領域特徴情報を抽出する抽出手段と、
   ２以上の特徴情報を照合する照合手段と、を備え、
   前記抽出手段は、複数の撮像部から第２画像を取得し、取得したそれぞれの前記第２画像に含まれる人領域から第２の人領域特徴情報を抽出し、
   前記照合手段は、前記第１の人領域特徴情報と複数の前記第２の人領域特徴情報とをそれぞれ照合し、
   前記照合手段は、前記第２画像に含まれる人物の顔領域から抽出された第２の顔特徴情報と記憶部に登録者として記憶された第１顔情報とを照合し、
   前記抽出手段は、前記第２の顔特徴情報と前記第１顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第３の人領域特徴情報を抽出し、
   抽出された当該人物の前記第３の人領域特徴情報及び前記第２の顔特徴情報を未登録者として互いに関連付けて第２の記憶部に記憶させる登録手段をさらに備える、情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記第２画像は、前記第１画像とは異なる撮像部により生成される情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   前記第２画像は、前記第１画像より後に撮像された画像である情報処理装置。
4. 請求項１から３のいずれか一項に記載の情報処理装置において、
   前記照合手段は、前記第２画像に含まれる人物から第２の顔特徴情報を抽出できた場合は前記第１の顔特徴情報と前記第２の顔特徴情報とを照合し、前記第２画像に含まれる人物から前記第２の顔特徴情報を抽出できなかった場合は前記第１の人領域特徴情報と前記第２の人領域特徴情報とを照合する、情報処理装置。
5. 請求項４に記載の情報処理装置において、
   前記抽出手段による前記第１の顔特徴情報、前記第２の顔特徴情報、前記第１の人領域特徴情報、および前記第２の人領域特徴情報の抽出処理、ならびに、前記照合手段による前記人領域特徴情報の照合処理のうち少なくともいずれか１つは、所定の事象を検知したことをトリガとして実施され、
   前記所定の事象は、前記第２画像を画像処理により検知される、前記第２画像に含まれる人物の注視すべき所定の行動である、情報処理装置。
6. 請求項５に記載の情報処理装置において、
   前記所定の行動は、置き去り、キョロキョロする、うろつく、物を振り回す、および所定のエリアに侵入することのうち少なくとも１つを含む、情報処理装置。
7. 請求項１から６のいずれか一項に記載の情報処理装置において、
   抽出した前記第１の人領域特徴情報を、当該第１の人領域特徴情報に対応する人領域を含む画像に関連付けて登録人領域特徴情報として記憶部に記憶させる登録手段をさらに備え、
   前記照合手段は、前記記憶部に記憶された前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理装置。
8. 請求項１から７のいずれか一項に記載の情報処理装置において、
   複数の前記第１画像を用いて複数の前記第１の人領域特徴情報を抽出し、前記複数の第１の人領域特徴情報を登録人領域特徴情報として互いに関連付けて記憶部に記憶させる登録手段をさらに備え、
   前記照合手段は、前記記憶部に記憶された少なくとも１つの前記登録人領域特徴情報と前記第２の人領域特徴情報とを照合する情報処理装置。
9. 請求項１から８のいずれか一項に記載の情報処理装置において、
   前記登録手段は、前記第１の顔特徴情報が抽出された前記顔領域の画像を前記第１の顔特徴情報および前記第３の人領域特徴情報と関連付けて前記第２の記憶部に記憶させる、情報処理装置。
10. 請求項１から９のいずれか一項に記載の情報処理装置において、
    前記第１画像に含まれる人物から抽出された前記第１の顔特徴情報と前記第１の人領域特徴情報とを前記人物の識別情報に対応付けて記憶部に記憶させる登録手段と、
    前記照合手段による照合結果が一致となった場合、前記記憶部が記憶する前記人物の識別情報を出力部に出力させる出力処理手段と、をさらに備える情報処理装置。
11. 請求項１から１０のいずれか一項に記載の情報処理装置と、
    前記情報処理装置に接続される少なくとも一つの撮像部と、を備え、
    前記撮像部は、第１画像および第２画像を撮像する、
    情報処理システム。
12. 情報処理装置が、
    第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記第１画像に含まれる人領域から第１の人領域特徴情報を抽出し、
    ２以上の特徴情報を照合し、
    複数の撮像部から第２画像を取得し、取得したそれぞれの前記第２画像に含まれる人領域から第２の人領域特徴情報を抽出し、
    前記第１の人領域特徴情報と複数の前記第２の人領域特徴情報とをそれぞれ照合し、
    前記第２画像に含まれる人物の顔領域から抽出された第２の顔特徴情報と記憶部に登録者として記憶された第１顔情報とを照合し、
    前記第２の顔特徴情報と前記第１顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第３の人領域特徴情報を抽出し、
    抽出された当該人物の前記第３の人領域特徴情報及び前記第２の顔特徴情報を未登録者として互いに関連付けて第２の記憶部に記憶させる、
    情報処理方法。
13. コンピュータに、
    第１画像に含まれる人物の顔領域から第１の顔特徴情報を抽出し、前記第１画像に含まれる人領域から第１の人領域特徴情報を抽出する手順、
    ２以上の特徴情報を照合する手順、
    複数の撮像部から第２画像を取得し、取得したそれぞれの前記第２画像に含まれる人領域から第２の人領域特徴情報を抽出する手順、
    前記第１の人領域特徴情報と複数の前記第２の人領域特徴情報とをそれぞれ照合する手順、を実行させ、
    前記照合する手順において、前記第２画像に含まれる人物の顔領域から抽出された第２の顔特徴情報と記憶部に登録者として記憶された第１顔情報とを照合し、
    前記抽出する手順において、前記第２の顔特徴情報と前記第１顔情報との照合結果が不一致となった場合、当該人物の顔領域以外を含む人領域から第３の人領域特徴情報を抽出し、
    前記コンピュータに、
    抽出された当該人物の前記第３の人領域特徴情報及び前記第２の顔特徴情報を未登録者として互いに関連付けて第２の記憶部に記憶させる手順、をさらに実行させるためのプログラム。

Images