JP7435837B2 - 情報処理システム、情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、画像認識処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。

近年、画像を用いて所望する条件に合致する人物を検知する技術が開発されている。例えば特許文献１には、街中等で撮影された動画像中に尋ね人や指名手配の犯人等の所定人物が含まれているか否かを判断するシステムが記載されている。このシステムは、撮像画像の各フレームに含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが１つのグループになるように、特徴データを人物ごとに分類する。そして上記システムは、分類された特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データおよび当該特徴データに対応する顔画像の少なくとも１つを代表顔データとして顔認証装置に送信する。顔認証装置は、送信されたデータを顔データ辞書に登録さたれ所定人物の顔データと照合する。

特許文献２には、異なるカメラによって撮像された画像から同一人物を同定することで人物を自動的に追跡する画像処理装置が記載されている。異なるカメラは、人物を異なる方向から撮像している。

特許文献３には、離れたフレームや異なるカメラにより得られる人物画像シーケンスから、人物の歩行状態を検出し、歩行状態に基づいて、異なる画像シーケンスに含まれる人物が同一であるか否かを判定することが記載されている。

特開２０１７－１８２２１０号公報 特開２０１５－２５４７号公報 国際公開第２００６／０１３７６５号

本発明者は、元画像では特定できない人物を他の画像に対する画像処理を用いて特定するための新たな手法を検討した。すなわち本発明が目的とするところは、元画像では特定できない人物を他の画像に対する画像処理を用いて特定するための新たな手法を提供することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の側面は、情報処理装置に関する。
第一の側面に係る情報処理装置は、
顔が写っていない検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合する第１照合手段と、
前記第１照合手段による照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出する抽出手段と、
特定の人物の識別情報に対応付けられている登録第２特徴情報と、前記抽出手段により抽出された前記第２特徴情報とを照合する第２照合手段と、
前記第２照合手段の照合結果を出力する出力手段と、
を有する。

第二の側面は、少なくとも１つのコンピュータにより実行される情報処理方法に関する。
第二の側面に係る第１の情報処理方法は、
情報処理装置が、
顔が写っていない検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合し、
照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出し、
特定の人物の識別情報に対応付けられている登録第２特徴情報と、前記抽出された前記第２特徴情報とを照合し、
前記登録第２特徴情報と前記第２特徴情報との照合結果を出力する、
ことを含む。

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

上記各側面によれば、元画像では特定できない人物を他の画像に対する画像処理を用いて特定するための新たな手法を提供できる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。 映像データおよび画像データのデータ構造の例を示す図である。 第１の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。 第１画像と第２画像を説明するための図である。 情報処理装置が第１特徴情報を生成する処理の手順の一例を示すフローチャートである。 第１特徴情報記憶部と第２特徴情報記憶部のデータ構造の例を示す図である。 情報処理装置の動作の一例を示すフローチャートである。 図７のステップＳ１１０の検索処理の詳細を示すフローチャートである。 第２の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。 認証情報データベースのデータ構造の一例を示す図である。 情報処理装置の認証処理の手順の一例を示すフローチャートである。 情報処理装置の動作の他の例を示すフローチャートである。 第２特徴情報記憶部のデータ構造の一例を示す図である。 第３の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。 情報処理装置により表示される結果一覧画面の一例を示す図である。 認証結果記憶部のデータ構造の一例を示す図である。 情報処理装置の動作の一例を示すフローチャートである。 図１７のステップＳ１３０の表示処理の詳細な手順の一例を示すフローチャートである。 図１５の候補者表示部の表示例の詳細を示す図である。 図１５の候補者表示部の表示例の詳細を示す図である。 詳細情報ウインドウの例を示す図である。 情報処理装置の表示処理の手順の例を示す図である。 情報処理装置の表示処理の手順の例を示す図である。 情報処理装置の表示処理の手順の例を示す図である。 表示画面の推移を説明するための図である。 各実施形態の情報処理装置を実現するコンピュータの構成の一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
また、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

（第１の実施の形態）
図１は、本発明の実施の形態に係る画像処理システムの構成を概念的に示す図である。
画像処理システム１は、情報処理装置１００を備える。情報処理装置１００は、複数のカメラ５ａ，５ｂ，カメラ５ｃ・・・（特に区別する必要がない場合は「カメラ５」と呼ぶ。）で撮像された画像から、ある人物を検索する。

検索対象となる人物が、例えば、元となる画像（第２画像２２）に後ろ姿で写っており、そのため顔認証が行えない場合がある。このような場合、情報処理装置１００は、体型等の情報（以下、第１特徴情報と記載）を用いてカメラ５で撮像された別の画像（第１画像１０）から当該人物に似ている候補者を探し出し、その中で顔が写っている画像を用いて顔認証により人物を特定する。

なお、実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。

カメラ５は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備えている。例えばＩＰ（Internet Protocol）カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置（不図示）を介して情報処理装置１００に接続される。これらのカメラ５は、街中や建物内外に設置されている、所謂、監視カメラであってもよい。そして、カメラ５は、特定の人物の動きに合わせて追従してカメラ本体やレンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。

カメラ５と情報処理装置１００は接続されていなくてもよいし、直接接続されてもよいし、通信ネットワーク３などを介して間接的に接続されてもよい。カメラ５と情報処理装置１００が接続されていない場合は、例えば、カメラ５ａおよびカメラ５ｂで撮像された画像を各々記録したメディア７ａおよびメディア７ｂ（以後、特に区別する必要がない場合は「メディア７」と呼ぶ。）から画像データを読み出して取得する。

通信ネットワーク３などを介して情報処理装置１００と接続されている例のカメラ５ｃは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、通信ネットワーク３、すなわちルータなどの中継装置（不図示）を介して情報処理装置１００に接続される。カメラ５ｃは、ＩＰ（Internet Protocol）カメラ等のネットワークカメラであるのが好ましい。

また、カメラ５から情報処理装置１００への画像の送信のタイミングは、リアルタイム配信、例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。この送信タイミングは、カメラ５や情報処理装置１００のメモリ容量、通信容量、画像処理能力、及び、カメラ５と情報処理装置１００間の通信状況等に基づいて、適宜選択されてもよいし、又は、状況変化に応じて変更されてもよい。

たとえば、カメラ５で撮像された画像データは、情報処理装置１００に直接送信され、情報処理装置１００がこの画像データを逐次受信してもよい。また、カメラ５及び情報処理装置１００の双方がアクセス可能な記憶装置（不図示）を設けてもよい。この場合、カメラ５により撮像された画像データは、記憶装置に記憶される。そして、情報処理装置１００は、この記憶装置から画像データを読み出す。

ここで画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラ５および情報処理装置１００の仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。そしてこの画像データの少なくとも一つのフレームが、後述する第１画像１０及び第２画像２２の少なくとも一方としてもよい。

図２（ａ）は、映像データ４０のデータ構造の一例を示す図である。映像データ４０は、あるカメラ５で撮影されたものであり、カメラ５から受信またはメディア７に記録される。映像データ４０は、映像データ４０を識別する映像ＩＤ、映像データ４０が記録されたメディア７を識別するメディアＩＤ又は映像データ４０が撮像されたカメラ５を識別するカメラＩＤ、及び、カメラ５の撮影条件（例えば、撮影場所、撮影時間等）とを示す情報、及び映像データの本体を含む。

図２（ｂ）は、第１画像１０のデータ構造の一例を示す図である。第１画像１０は、あるカメラ５で撮影された映像データ４０の一部であり、映像データ４０のあるフレームであってもよい。第１画像１０は、当該画像を識別する画像ＩＤ、当該画像の元となる映像データ４０を識別する映像ＩＤを示す情報、及び画像データの本体を含む。第１画像１０は、画像データの本体がフレームである場合、そのフレームを特定可能なフレーム番号を示す情報をさらに含む。また、画像ＩＤは、ファイル名でもよい。なお、第１画像１０は、第２画像２２とは異なり、検索対象人物を検索する対象となる画像である。また、第１画像１０は、第２画像２２とは異なるカメラ５により撮像されていてもよい。

図３は、本実施形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。情報処理装置１００は、照合部１０２と、抽出部１０４と、登録部１０６と、を備える。本図に示す例において、情報処理装置１００は、さらに第２特徴情報記憶部１１０を含む。第２特徴情報記憶部１１０は、情報処理装置１００の本体と一体であってもよいし、別体であってもよい。第２特徴情報記憶部１１０は、データベース構造を有してもよいし、他のデータ構造であってもよい。

照合部１０２は、検索対象人物の特徴を示す第１特徴情報と、第１画像１０に含まれる人物から抽出される人領域の特徴情報とを照合する照合処理を行う。ここで、第２画像２２から抽出される第１特徴情報は、検索対象人物の人領域の特徴を示す特徴情報であり、以後、第１特徴情報１４ａとも呼ぶ。また、検索対象の第１画像１０に含まれる人物から抽出される人領域の特徴情報を第１特徴情報１４ｂとも呼ぶ。抽出部１０４は、照合部１０２による照合結果が一致となった場合、第１画像１０に含まれる人物から第２特徴情報を抽出する。登録部１０６は、第１画像１０に含まれる人物から抽出される第２特徴情報を第２特徴情報記憶部１１０に記憶させる。言い換えると、登録部１０６は、第１画像１０に含まれる人物から抽出される第２特徴情報を第２特徴情報記憶部１１０に登録する。

詳細には、照合部１０２は、第１画像１０を、メディア７から読み込むことにより、又はカメラ５から受信することにより、取得する。そして照合部１０２は、取得した第１画像１０からまず人領域を特定し、特定した人領域について第１特徴情報１４ａとの照合処理を行う。ここで、第１特徴情報１４ａは複数あってもよい。

図４（ａ）は第２画像２２の一例を示している。第２画像２２は、人物は写っているが顔認証等により人物の特定ができない画像である。第２画像２２は、例えば、人物が後ろ向きなど顔が写っていない画像、顔認証において基準値以上のマッチング精度が得られる程度に顔が写っていない画像、又は、顔認証ができない程度の低画質の画像である。なお、人物の特定ができない画像とは、顔認証ができない場合に限定されない。他の認証方法により人物の特定ができない画像であってもよい。他の認証方法は、例えば、生体認証であり、虹彩、耳介、静脈、および指紋の少なくともいずれか一つである。また、第２画像２２に写っている人物について、顔認証処理又は他の認証処理による人物の特定を行なわずに、人物の人領域から第１特徴情報１４ａを抽出してもよい。つまり、第２画像２２に対して必ずしも顔認証処理又は他の認証処理を行う必要はない。言い換えれば、第２画像２２は、そこに写っている人物の特定を行っていない画像であってもよい。

照合部１０２は、照合処理において、第１特徴情報１４ａとの一致度が基準以上である人領域を、第１特徴情報１４ａに対応する領域であると判定する。抽出部１０４は、第１画像１０から第１特徴情報１４ａとの一致度が基準以上の領域を含む人領域を特定し、さらに当該人領域の顔領域を特定する。

なお、一致度とは、マッチングの程度を示す値であり、本実施形態では、一致度は０～１の数値であり、完全一致が１、完全不一致が０である。

抽出部１０４は特定した顔領域の特徴情報を抽出して第２特徴情報を生成し、登録部１０６は第２特徴情報記憶部１１０に記憶させる。図４（ｂ）および図４（ｃ）に示すように、第１画像１０から人領域１６と顔領域２０とが特定される。これらの領域を含む人物が検索対象候補となる。

なお、抽出部１０４は、異なる複数の第２画像２２に含まれる人物の人領域から複数の検出対象者の第１特徴情報１４ａを抽出し、登録部１０６は複数の第１特徴情報１４ａを同一人物の情報として互いに関連付けて第１特徴情報記憶部１１２に記憶させてもよい。照合部１０２は、複数の第１特徴情報１４ａを用いて照合処理を行ってもよい。

また、情報処理装置１００は、第１特徴情報記憶部１１２を必ずしも備える必要はない。照合部１０２は、第１特徴情報１４ａを第１特徴情報記憶部１１２から読み出して取得してもよい、外部装置からの入力により取得してもよい。また、第１特徴情報記憶部１１２が第２特徴情報記憶部１１０を兼ねていてもよい。この場合、情報処理装置１００は、生成した第２特徴情報を、第１特徴情報として使用する。

本実施形態では、人領域は、第１部分と第２部分に相当する領域を含む。第２部分は、例えば、顔、虹彩、耳介、静脈、および指紋の少なくともいずれか１つの領域である。あるいは、第２部分は領域ではなく、人の歩容であってもよい。第１部分は、第２部分を含んでもよいが、含まなくてもよい。本実施形態では、第１部分は、人物全体の領域であり、第２部分は顔領域である。第１部分の第１特徴情報（第１特徴情報１４ａおよび第１特徴情報１４ｂ）は、人物の背格好又は服装等の見た目の特徴を示す特徴情報である。本明細書において、第１特徴情報は「人領域特徴情報」、第２特徴情報は「顔情報」とも呼ぶ。

第１特徴情報（第１特徴情報１４ａおよび第１特徴情報１４ｂ）は、背丈、肩幅、身体パーツの比率、衣服（形、色、素材等）、髪型（髪色も含む）、装飾品（帽子、眼鏡、アクセサリ等）、所持品（バッグ、傘、杖等）等の特徴を示す情報を含む。また、人領域特徴情報は、その特徴情報の尤度等の情報を含んでもよい。

本実施形態では、検索対象人物の第１特徴情報１４ａは、検索対象人物が写っている第２画像２２を用いて生成される。第２画像２２は、カメラ５で撮像された画像であってもよいし、他の撮像手段により撮像された画像やスキャナで読み取った画像であってもよい。

情報処理装置１００は、第１特徴情報生成部（不図示）をさらに有する。この第１特徴情報生成部は、検索対象人物が写っている第２画像２２を用いて第１特徴情報１４ａを生成し、第１特徴情報記憶部１１２に記憶させる。

図５は、情報処理装置１００が第１特徴情報１４ａを生成する処理の手順の一例を示すフローチャートである。第１特徴情報生成部は、検索対象者の画像（第２画像２２）を取得し（ステップＳ１０）、取得した画像から第１特徴情報（人領域特徴情報）を生成して第１特徴情報記憶部１１２に記憶する（ステップＳ２０）。

図６（ａ）は、第１特徴情報記憶部１１２のデータ構造の一例を示す図である。第１特徴情報記憶部１１２は、検索対象人物を識別する検索対象ＩＤと、当該人物の第１特徴情報１４ａと、第１特徴情報１４ａを取得した元画像の画像データとを関連付けて記憶している。第１特徴情報記憶部１１２は、画像データの本体を記憶していてもよいし、画像データが保存されている場所とファイル名を示すパスを記憶していてもよい。

図６（ｂ）は、第２特徴情報記憶部１１０のデータ構造の一例を示す図である。第２特徴情報記憶部１１０は、検索対象人物の候補を識別する候補ＩＤと、当該候補の第２特徴情報とを対応付けて記憶している。第２特徴情報記憶部１１０は、少なくとも１人の検索対象人物の候補の情報を記憶している。検索対象者が複数の場合は、図６（ｃ）のように、第２特徴情報記憶部１１０は、当該候補の元となる検索対象ＩＤに、候補ＩＤと、当該候補の第２特徴情報とを対応付けていてもよい。

図７は、情報処理装置１００の動作の一例を示すフローチャートである。図８は、図７のステップＳ１１０の検索処理の詳細を示すフローチャートである。

まず、照合部１０２は、検索対象人物の第１特徴情報１４ａ（人領域特徴情報）を取得する（ステップＳ１０１）。さらに、照合部１０２は、第１画像１０を取得する（ステップＳ１０３）。そして、図８のステップＳ１１０の検索処理に進む。

図８に示すように、照合部１０２は、ステップＳ１１０の検索処理において、まず、検索対象人物の第１特徴情報１４ａと、第１画像１０に含まれる人物から抽出した人領域の第１特徴情報１４ｂとの照合処理を行う（ステップＳ１１１）。第１特徴情報１４ａと第１特徴情報１４ｂとの照合結果が一致した場合、言い換えると、第１特徴情報１４ａとの一致度が基準以上の領域が見つかった場合（ステップＳ１１３のＹＥＳ）、抽出部１０４は、第１画像１０に含まれる人物から第２特徴情報（顔情報）を生成する（ステップＳ１１５）。例えば、抽出部１０４は、当該領域を含む人領域を特定し、特定された人領域のうち、顔領域を特定し、特定した顔領域の特徴情報を抽出して第２特徴情報（顔情報）を生成してもよい。そして、登録部１０６は、生成した顔情報を第２特徴情報記憶部１１０に記憶させる（ステップＳ１１７）。

本実施形態において、照合部１０２が第１画像１０から検索対象人物の人領域特徴情報（第１特徴情報１４ａ）と一致する人物を見つけると、抽出部１０４は、当該人物の顔領域の特徴情報を生成し、登録部１０６が第２特徴情報記憶部１１０に記憶する。そして、第２特徴情報記憶部１１０に記憶された顔領域の特徴情報は、画像処理における人の特定処理に使用される。このように本実施形態によれば、検索対象人物の顔が写っていない画像から得られた人領域特徴情報（第１特徴情報１４ａ）を用いてカメラ５により撮像された第１画像１０の中から検索対象人物を探し出し、見つかった人物の顔の特徴情報を抽出して記憶することができる。

（第２の実施の形態）
図９は、第２の実施の形態の情報処理装置１００の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置１００は、第２特徴情報記憶部１１０に記憶された第２特徴情報を、予め登録されている顔認証情報と照合して検索対象人物の候補情報を取得する点以外は上記実施形態と同じである。

図９の情報処理装置１００は、図３に示す構成に加え、さらに、認証部１２０と、取得部１２２と、を備える。認証部１２０は、第２特徴情報記憶部１１０に記憶されている第２特徴情報に対して、認証情報データベース１１４を用いて照合処理を実行する。認証情報データベース１１４には、特定の人物の第２特徴情報が人物の情報に対応付けられて登録されている。取得部１２２は、照合処理により基準以上の一致度を有すると判断された第２特徴情報に対応付けられている人物の情報を認証情報データベース１１４から取得する。

図１０は、認証情報データベース１１４のデータ構造の一例を示す図である。認証情報データベース１１４には、認証情報が登録されている特定の人物（以下、登録者と呼ぶ）を識別する認証ＩＤと、登録者の顔の特徴を示す顔特徴情報（第２特徴情報）と、登録者の顔画像データと、登録者の氏名と、登録者の属性情報とが関連付けて登録されている。

認証情報データベース１１４には顔画像データの実体が登録されてもよいし、顔画像データが保存されている場所とファイル名を示すパスが登録されていてもよい。この顔画像データは、後述するように画面表示に用いられ、オペレータは画面に表示された顔写真を氏名、および属性情報とともに閲覧することができる。

図９の例では、認証情報データベース１１４は、情報処理装置１００の一部である。認証情報データベース１１４は、情報処理装置１００の本体と一体であってもよいし、別体であってもよい。認証情報データベース１１４は、第２特徴情報記憶部１１０と同一の装置に含まれてもよいし、互いに異なる装置に含まれていてもよい。認証情報データベース１１４は、データベース構造を有しているが、他のデータ構造を有していてもよい。

本実施形態の認証部１２０の機能は、照合部１０２が有してもよい。
また、情報処理装置１００は、認証部１２０による認証結果が一致となった場合、認証情報データベース１１４に記憶されている顔特徴情報に対応する識別情報（認証ＩＤや氏名）を読み出して出力部に出力処理を行う出力処理部（不図示）を備えてもよい。出力処理については詳細に後述する。

図１１は、本実施形態の情報処理装置１００の認証処理の手順の一例を示すフローチャートである。
まず、認証部１２０は、第２特徴情報記憶部１１０に記憶されている第２特徴情報に対して、認証情報データベース１１４を用いて照合処理を実行する（ステップＳ１２１）。そして、照合処理により基準以上の一致度を有すると判断される人物がいた場合（ステップＳ１２３のＹＥＳ）、認証部１２０は、認証情報データベース１１４から当該人物の情報（氏名等）を取得する（ステップＳ１２５）。

また、本実施形態において、情報処理装置１００の登録部１０６は、第１画像１０のうち少なくとも第１特徴情報１４ａに対応する領域を第２特徴情報に関連付けて第２特徴情報記憶部１１０に記憶させる。

例えば、図１２に示すように、図８のフローチャートのステップＳ１１７の後、登録部１０６は、第１画像１０の人領域の画像データを第２特徴情報（顔情報）に関連付けて第２特徴情報記憶部１１０に記憶させてもよい（ステップＳ１１９）。

図１３は、本実施形態の第２特徴情報記憶部１１０のデータ構造の一例を示す図である。本実施形態において、第２特徴情報記憶部１１０は、図６（ｂ）で説明した情報に追加して、図１１のステップＳ１２１の照合処理において算出した一致度の情報、当該人領域の画像データ、および、当該人領域を取得した第１画像１０を識別する画像ＩＤ（図中、元画像ＩＤと示す）を関連付けて記憶してもよい。

情報処理装置１００は、元画像ＩＤを対応付けることで、図４（ｂ）に例示した第１画像１０から映像ＩＤを取得し、さらに、図４（ａ）に例示した第２画像２２から撮影場所等の情報を第２特徴情報と関連付けて取得することができる。また、情報処理装置１００は、第２特徴情報記憶部１１０に、第２特徴情報に、カメラ５の撮影場所、撮影方向、撮影時刻等の撮影条件を対応付けて記憶してもよい。

以上説明したように、本実施形態において、認証部１２０により、第２特徴情報記憶部１１０に記憶されている顔情報について認証情報データベース１１４に登録されている顔情報との照合処理を行うことで、取得部１２２により似ている人物の情報を取得することができる。このように本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、カメラ５で撮像された第１画像１０から人領域特徴情報を用いて検索対象人物に似た候補について顔認証処理を行い、似ている人物の情報を取得することができる。

（第３の実施の形態）
図１４は、第３の実施の形態に係る情報処理装置１００の論理的な構成を示す機能ブロック図である。本実施形態の情報処理装置１００は、検出された候補者の情報を表示する構成を有する点以外は第２実施形態と同じである。情報処理装置１００は、図９の構成に加え、さらに表示処理部１３０を有している。表示処理部１３０は、情報処理装置１００に接続された液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイ等の表示装置１３２に各種情報を表示させる。

本実施形態において、取得部１２２は、複数の候補者人領域画像および情報（氏名や属性）を認証情報データベース１１４から取得する。そして、表示処理部１３０は、各候補者人領域画像を画像表示部２１４に表示させるとともに、各候補者別に、顔認証処理の結果として候補者として検出された少なくとも１人の人物の情報を候補者表示部２２２に表示させる。詳細には、表示処理部１３０は、検索対象表示部２０２、検索結果表示部２１０、および認証結果表示部２２０のうち少なくとも２つを同じ画面に表示させる。

図１５は、本実施形態の情報処理装置１００により表示される結果一覧画面２００の一例を示す図である。この図の例では、同一の結果一覧画面２００に、検索対象表示部２０２と、検索結果表示部２１０と、認証結果表示部２２０とが表示されている。なお、検索対象表示部２０２、検索結果表示部２１０、および認証結果表示部２２０のうち少なくとも２つを同じ画面に表示させる例については後述する。

本実施形態において、取得部１２２は、表示処理部１３０に表示させる各情報の少なくとも一部を取得する。これらの情報の一部は、例えば、検索対象人物の顔以外の領域に関する特徴を示す第１特徴情報１４ａ（人領域特徴情報）を抽出した第２画像２２、第１特徴情報１４ａ（人領域特徴情報）との照合結果が一致となり、かつ、顔領域が検知された第１画像１０（以後、候補者人領域画像とも呼ぶ）、および、結果情報を含む。結果情報は、認証情報データベース１１４に記憶されている顔情報と、顔領域から抽出された第２特徴情報を照合した結果を示しており、認証部１２０によって生成されている。具体的には、結果情報は、認証結果記憶部１１６に記憶されたデータである。
第１特徴情報１４ａ（人領域特徴情報）との照合結果が一致となるとは、例えば、第１特徴情報１４ａ（人領域特徴情報）に対する一致度が基準以上である領域を含むことである。

検索対象表示部２０２には、検索対象者が写っている第２画像２２が表示される。検索対象表示部２０２に表示される第２画像２２は、検索対象者の人領域を少なくとも含む第２画像２２の一部であり、例えば、検索対象者の人領域を含む矩形で切り出して生成された画像であってもよい。検索結果表示部２１０は、少なくとも一つの候補者表示部２１２を含む。各候補者表示部２１２には画像表示部２１４が含まれる。画像表示部２１４には、当該候補者の候補者人領域画像が、当該画像の撮像条件（例えば撮像場所）、及び、検索対象表示部２０２に表示された第２画像２２に対する一致度とともに表示される。候補者人領域画像は、第１画像１０の少なくとも一部であり、例えば、照合で一致した人領域を含む矩形で切り出して生成された画像であってもよい。認証結果表示部２２０には、顔認証の結果が表示されるとともに、候補者表示部２２２が、候補者表示部２１２の候補者毎に表示される。候補者表示部２２２には画像表示部２２４が含まれる。画像表示部２２４には、少なくとも、その候補者人領域画像に対する一致度が高い人の顔画像が表示される。画像表示部２２４に表示される情報は、上記した結果情報に含まれている。

図１５の例では、複数の候補者の情報は、第１特徴情報１４ａとの一致度が高い順に表示されている。ここで、候補者表示部２２２において、複数の候補者の情報は、第２特徴情報との一致度が高い順に表示されてもよい。また、検索結果表示部２１０および認証結果表示部２２０に表示される候補者数は、それぞれ設定メニュー（不図示）等で設定可能になっていてもよい。さらに、一致度が所定の基準値以上の候補者が、一覧画面又はスクロールにより、全て表示させてもよい。この場合、所定の基準値は設定メニューで設定できてもよい。

また、図１４に示すように、情報処理装置１００は、認証結果記憶部１１６をさらに含む。認証結果記憶部１１６は、情報処理装置１００の本体と一体であってもよいし、別体であってもよい。認証結果記憶部１１６は、第２特徴情報記憶部１１０、および認証情報データベース１１４と同一の装置に含まれてもよいし、互いに異なる装置に含まれていてもよい。認証結果記憶部１１６は、データベース構造を有していてもよい。

図１６は、本実施形態の認証結果記憶部１１６のデータ構造の一例を示す図である。認証結果記憶部１１６は、候補毎に、候補ＩＤと、結果情報を識別する認証結果ＩＤと、顔認証の一致度と、当該結果情報が得られた元の認証情報を示す認証情報ＩＤと、が関連付けて登録される。

図１７は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。まず、図１１を用いて説明した認証処理（ステップＳ１２０）を実行した後、取得部１２２は認証処理により取得された人物に関する情報を結果情報として認証結果記憶部１１６に記憶する（ステップＳ１２７）。そして、表示処理部１３０は、取得した情報（図１５の結果一覧画面２００）を表示装置１３２に表示させる（ステップＳ１３０）。

図１８は、図１７のステップＳ１３０の表示処理の詳細な手順の一例を示すフローチャートである。まず、取得部１２２は、検索対象者の画像（第２画像２２）を第１特徴情報記憶部１１２から取得する（ステップＳ１３１）。さらに、取得部１２２は、一致度が基準以上の領域と顔領域を含む候補画像（第１画像１０）を第２特徴情報記憶部１１０から取得する（ステップＳ１３３）。そして、取得部１２２は、結果情報を認証結果記憶部１１６から取得する（ステップＳ１３５）。

そして、表示処理部１３０は、ステップＳ１３１で取得した第２画像２２を結果一覧画面２００の検索対象表示部２０２に表示し、ステップＳ１３３で取得した候補画像を検索結果表示部２１０の画像表示部２１４に表示し、ステップＳ１３５で取得した結果情報を認証結果表示部２２０に表示する（ステップＳ１３７）。

図１９は、図１５の候補者表示部２１２の表示例の詳細を示す図である。候補者表示部２１２は、画像表示部２１４と、候補者順位表示部２１５と、一致度表示部２１６と、撮影場所表示部２１８とを含む。画像表示部２１４には候補者の人領域１６を含む画像が表示され、人領域１６を囲む枠と、顔領域２０を囲む枠がそれぞれ表示されてもよい。

図２０は、図１５の候補者表示部２２２の表示例の詳細を示す図である。候補者表示部２２２は、画像表示部２２４と、候補者順位表示部２２５と、一致度表示部２２６と、氏名表示部２２８と、候補者属性情報表示部２２９と、詳細表示ボタン２３０とを含む。画像表示部２２４は、顔認証処理により検出された人物の顔画像が表示される。氏名表示部２２８には、当該人物の氏名が表示される。候補者表示部２２２には、顔認証処理により検出された人物の顔画像および識別情報の少なくともいずれか一つが表示される。なお、人物の識別情報は、認証情報データベース１１４の識別情報（図１０の認証ＩＤ）であってもよいし、氏名、および属性の少なくともいずれか一つであってもよい。

候補者属性情報表示部２２９には、顔認証処理により検出された人物の属性情報、例えば性別と年齢が表示される。詳細表示ボタン２３０は、当該人物のさらなる属性情報を表示させる操作ボタンである。詳細表示ボタン２３０の押下を受け付けると、図２１の詳細情報ウインドウ２４０が表示される。詳細情報ウインドウ２４０に表示される詳細情報は、認証情報データベース１１４に登録されていてもよいし、他の記憶装置に認証ＩＤに対応付けられて記憶されていてもよい。認証結果記憶部１１６には、結果情報の一部として、この詳細情報にたどり着くための情報が記憶されている。

以上説明したように、本実施形態において、表示処理部１３０により、検索対象者の画像（第２画像２２）と、カメラ５により撮像された第１画像１０から第１特徴情報１４ａ（人領域特徴情報）との照合処理により検出された候補者の人領域の画像と、当該人領域に含まれる顔領域について認証情報データベース１１４を用いた照合処理により検出された候補者の画像および情報が同じ結果一覧画面２００に表示される。

このように、本実施形態によれば、顔が写っていない検出対象者の画像（第２画像２２）を元として、カメラ５により撮像された第１画像１０の中から候補者の画像を検出して表示するとともに、さらに、当該候補者の画像の中から顔領域について認証情報データベース１１４に登録されている人物の顔画像と属性情報を同じ結果一覧画面２００で閲覧することができる。

（第４の実施の形態）
上記実施形態では、結果一覧画面２００に同時に検索対象表示部２０２と、検索結果表示部２１０と、認証結果表示部２２０とが表示される構成について説明した。本実施形態の情報処理装置１００は、検索対象表示部２０２と、候補者表示部２１２に少なくとも１人の候補者の画像を表示させ、または、順位順に順次候補者を切り替えて表示させることができ、さらに、選択された候補者について顔認証結果を示す候補者表示部２２２を表示する。

図２２～図２４は、本実施形態の情報処理装置１００の表示処理の手順の例を示す図である。また、図２５は、表示画面の推移を説明するための図である。以下、これらの図を用いて情報処理装置１００の表示処理について説明する。

まず、表示処理部１３０は、第２画像２２から検索対象者の指定を受け付けて図２５（ａ）の画面３００の検索対象表示部２０２に表示する（ステップＳ２０１）。例えば、第２画像２２に複数の人物が含まれている場合は、対象者の人領域１６を指定する枠を第２画像２２上でオペレータが操作して表示させてもよい。画面３００は、検索ボタン３０２と、キャンセルボタン３０４と、さらに含む。

また、この図の例では、検索対象者は１人であるが、複数の第２画像２２に写っている複数の検索対象者の第１特徴情報１４ａを用いて照合処理が行われる場合、複数の検索対象者の画像を検索対象表示部２０２に複数表示してもよい。検索候補者別に少なくとも１つの候補者表示部２１２を表示してもよいし、複数の検索対象者の第１特徴情報１４ａを用いた照合処理の結果、得られた複数の候補者の情報を候補者表示部２１２に複数表示してもよい。

検索ボタン３０２の押下を受け付けると（ステップＳ２０３のＹＥＳ）、情報処理装置１００は、図８で説明した検索処理を実行する（ステップＳ１１０）。検索処理中は、検索中であることを示すメッセージ３０６が表示される（ステップＳ２０５）。情報処理装置１００は、検索処理中にキャンセルボタン３０４の押下を受け付けると、検出処理を中止してステップＳ２０１に戻る（不図示）。

検索処理を行った結果、候補者が見つからなかった場合（ステップＳ２０７のＮＯ）、図２５（ｅ）の画面３１０が表示される。この画面３１０には、候補が見つからなかったことを示すメッセージ３１２が含まれている。さらに、画面３１０は、再検索ボタン３１４を含んでもよい。再検索ボタン３１４の押下を受け付けると、ステップＳ２０１に戻り、検索対象者の第２画像２２の再選択を促すメッセージを表示し、再選択を受け付けてもよい（不図示）。

本実施形態では、候補者の表示方法を設定メニュー（不図示）等により予め設定できるものとする。設定メニューでは、検出された候補者を１人ずつ表示するか、検出された候補者を全部（所定人数分ずつ（例えば、上位３人分ずつ））表示するかを選択できる。情報処理装置１００は、少なくとも１人の候補者が見つかった場合（ステップＳ２０７のＹＥＳ）、設定に従い候補者の表示方法を切り替える（ステップＳ２１１）。例えば、全部（この例では、上位３人）が選択されている場合、ステップＳ１２０の認証処理に進み、各候補者の顔領域に対して顔認証処理が行われる。そして、顔認証処理の結果を示す結果一覧画面２００（図１５）が表示される（ステップＳ２１３）。

候補を１人ずつ順次表示する設定が選択されている場合（ステップＳ２１１の順次）、情報処理装置１００は、ステップＳ２２１（図２３）に進む。まず、カウンタｉに１が設定される（ステップＳ２２１）。そして、ｉが１以下の場合、図２５（ｂ）に示すように、画面３３０には次の候補者を表示させるための次ボタン３３２が表示され、前の候補者を表示させるための前ボタンは表示されない（ステップＳ２２５）。画面３３０には、検索対象表示部２０２と、第１候補者の候補者表示部２１２とが表示される（ステップＳ２３３）。画面３３０には、さらに、当該候補者の顔認証処理を受け付ける検索ボタン３３４が表示される。

画面３３０で押下される操作ボタンの種類に応じて処理が切り替えられる（ステップＳ２３５）。次ボタン３３２の押下が受け付けられると、ｉがインクリメントされ、２となり（ステップＳ２４３）、ステップＳ２２３に戻る。ｉは２になっているので、ステップＳ２２３のＮＯとなり、画面３４０に前ボタン３４２がさらに表示される（ステップＳ２２７）。ここで、表示候補者数の最大値は３人と設定されているものとすると、ｉ＞最大値ｉｍａｘ－１（２）ではないので（ステップＳ２２９のＮＯ）、ステップＳ２３３に進み、図２５（ｃ）の画面３４０に第２候補者の候補者表示部２１２が表示される（ステップＳ２３３）。

前ボタン３４２が押下されると（ステップＳ２３５の前）、ｉがデクリメントされ、１となり（ステップＳ２４１）、ステップＳ２２３に戻る。そして、ｉ≦１なので、ステップＳ２２５に進み、次ボタン３３２は表示され、前ボタン３４２は非表示になる。そして、第１候補者の候補者表示部２１２が画面３３０（図２５（ｂ））に表示される（ステップＳ２３５）。

図２５（ｂ）の画面３３０で検索ボタン３３４が押下されると（ステップＳ２３５の検索）、第１候補者の顔領域について顔認証処理が行われる（ステップＳ１２０）。そして、結果情報が取得されると、図２５（ｄ）の結果画面３５０が表示される（ステップＳ２３７）。結果画面３５０には、検索対象表示部２０２と、候補者表示部２１２と、候補者表示部２２２とが表示され、さらに、別の候補者の顔認証処理を実行させるための変更ボタン３５２が表示されてもよい。

変更ボタン３５２が押下されると（ステップＳ２３９のＹＥＳ）、ステップＳ２２３に戻る。ここではｉが１なので、図２５（ｂ）の画面３３０が表示される。そして、次ボタン３３２が選択されると第２候補者が表示され（ステップＳ２３３）、検索ボタン３３４が選択されると（ステップＳ２３５の検索）、第２候補者について顔認証処理が行われる（ステップＳ１２０）。

また、他の例として、候補者を１人ずつではなく、所定人数分（例えば、上位３人分）を表示させ、候補者の中から顔認証処理を行う人物を選択してもよい。図２４のフローチャートにその表示処理の手順の一例を示す。図２２のステップＳ２０７で候補者が検出された場合（ステップＳ２０７のＹＥＳ）、図２５（ｆ）の画面３６０が表示される（ステップＳ２５１）。画面３６０は、認証結果表示部２２０と、複数（この図の例では３人）の候補者の候補者表示部２１２を含む検索結果表示部２１０が表示される。候補者表示部２１２には、顔認証処理を行う候補者の選択を受け付ける検索ボタン３６２が表示される。

検索ボタン３６２が押下されると（ステップＳ２５３のＹＥＳ）、選択された候補者について認証部１２０により顔認証処理が実行される（ステップＳ１２０）。そして、顔認証処理の結果が、図２５（ｄ）の画面３５０に表示される。画面３５０では、顔認証処理の対象として選択された候補者の画像が候補者表示部２１２に表示される。

以上説明したように、本実施形態において、表示処理部１３０により、検索対象表示部２０２と、検索結果表示部２１０と、を含む画面３２０または画面３６０を表示することができる。そして、画面３２０または画面３６０において、顔認証処理を行う候補者をオペレータが選択して顔認証処理を行うことができるので、明らかに異なる人物については顔認証処理を省略することができるので、効率が向上する。また、ディスプレイのサイズ等に応じて表示内容を変更することができるので、見やすい画面表示が可能になる。

図２６は、上述した各実施形態の情報処理装置１００を実現するコンピュータ８０の構成の一例を示す図である。
コンピュータ８０は、ＣＰＵ（Central Processing Unit）８２、メモリ８４、メモリ８４にロードされた図２、図９および図１１の各情報処理装置１００の構成要素を実現するプログラム９０、そのプログラム９０を格納するストレージ８５、Ｉ／Ｏ（Input/Output）８６、およびネットワーク接続用インタフェース（通信Ｉ／Ｆ８７）を備える。

ＣＰＵ８２、メモリ８４、ストレージ８５、Ｉ／Ｏ８６、通信Ｉ／Ｆ８７は、バス８９を介して互いに接続され、ＣＰＵ８２により情報処理装置全体が制御される。ただし、ＣＰＵ８２などを互いに接続する方法は、バス接続に限定されない。

メモリ８４は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ８５は、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどの記憶装置である。

ストレージ８５は、ＲＡＭやＲＯＭなどのメモリであってもよい。ストレージ８５は、コンピュータ８０の内部に設けられてもよいし、コンピュータ８０がアクセス可能であれば、コンピュータ８０の外部に設けられ、コンピュータ８０と有線または無線で接続されてもよい。あるいは、コンピュータ８０に着脱可能に設けられてもよい。

ＣＰＵ８２が、ストレージ８５に記憶されるプログラム９０をメモリ８４に読み出して実行することにより、各実施形態の情報処理装置１００の各ユニットの各機能を実現することができる。

Ｉ／Ｏ８６は、コンピュータ８０と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ８０に接続されるキーボード、タッチパネル、マウス、およびマイクロフォン等の入力装置（不図示）と、ディスプレイ、プリンタ、およびスピーカ等の出力装置（不図示）と、これらの入出力装置とコンピュータ８０のインタフェースとを含む。さらに、Ｉ／Ｏ８６は、他の記録媒体の読み取りまたは書き込み装置（不図示）とのデータの入出力制御を行ってもよい。

通信Ｉ／Ｆ８７は、コンピュータ８０と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信Ｉ／Ｆ８７は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。たとえば、情報処理装置１００を実現するコンピュータ８０は、通信Ｉ／Ｆ８７によりネットワークを介して少なくとも１台のカメラ５と接続される。

各実施形態の情報処理装置１００の各構成要素は、本図のコンピュータ８０のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。上述した各実施形態の情報処理装置１００を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

情報処理装置１００は、複数のコンピュータ８０により構成されてもよいし、仮想サーバにより実現されてもよい。

複数のコンピュータ８０により構成される例として、以下に例示される情報処理システムとして本発明は実現できるが、これらに限定されない。
（１）抽出部１０４と照合部１０２は別の装置（コンピュータ８０）で実施する。例えば、情報処理システムは、抽出部１０４を有する端末装置と、照合部１０２を有するサーバ装置と備えてもよい。
（２）第２特徴情報記憶部１１０と第１特徴情報記憶部１１２を実現する記憶手段は、複数の装置によって実現されてもよい。例えば、第１の画像に含まれる人物から抽出された第２特徴情報を記憶する記憶装置と、特定の人物の識別情報および第２特徴情報が記憶されている記憶装置が別に存在してもよい。
（３）抽出部１０４の抽出処理のうち、第１画像１０からの特徴情報の抽出処理と、第２画像２２からの特徴情報の抽出処理を別の装置（コンピュータ８０）で実施する。例えば、情報処理システムは、抽出部１０４とを有する映像を解析する複数の端末装置と、それらからの情報を統合して照合処理を行うサーバ装置とを含んでもよい。複数の端末装置はエリア毎に分かれて配備され、抽出部１０４は、複数の物理的装置によって実現されてもよい。
（４）映像の解析（抽出部１０４と照合部１０２）の対象となる特徴情報の種別（顔特徴情報と人領域特徴情報）で別々の装置（コンピュータ８０）に分けてもよい。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
例えば、上記実施形態では、第１画像１０に含まれる人物の人領域から抽出された特徴情報と、検索対象者の第１特徴情報１４ａとの第１の照合処理、および当該照合処理で一致となった第１画像１０の人物の顔領域から抽出された第２特徴情報と登録者の顔特徴情報との第２の照合処理を行っていた。他の実施形態では、第１特徴情報１４ａと、第２特徴情報とを用いて、照合部１０２は、第１画像１０および第２画像２２とは別の第３画像に対して、第１の照合処理および第２の照合処理の少なくともいずれか一方を行わせてもよい。

この構成において、第３画像から顔領域を検出できた場合は、第１特徴情報１４ａとの第１の照合処理ではなく、第２特徴情報との第２の照合処理を行うことができる。また、第３画像から顔領域が検出できなかった場合は、第１特徴情報１４ａとの第１の照合処理を行ってもよい。そして、第１の照合処理によって生成された新たな第２特徴情報を第２特徴情報記憶部１１０に記憶してもよい。

この構成によれば、例えば、第１画像１０とは異なる日時や場所で撮像された第３画像に対して、既に取得できている第１特徴情報１４ａ又は第２特徴情報を用いた照合処理を行うことで、第３画像についても検索対象人物の検索を行うことができる。

また、上記実施形態では、第１特徴情報は人領域の第１部分から抽出される特徴情報であり、第２特徴情報は人領域の第２部分、特に顔領域から抽出された特徴情報を例として説明したが、第１特徴情報と第２特徴情報の組み合わせは他にも考えられる。

第１の例として、第１特徴情報は、人物の衣服の色、年齢層、性別、および身長のうち少なくともいずれか一つを示す情報であり、第２の特徴情報は、人物の顔特徴情報であってもよい。

この例では、例えば、第２画像２２に検索対象者の顔が写っていないために顔認証ができない場合に、第２画像２２の人領域から第１特徴情報１４ａを抽出する処理を行う代わりに、検索対象者の衣服の色、年齢層、性別、および身長のうち少なくともいずれか一つをオペレータ操作により指定を受け付け、第１特徴情報１４ａとして第１特徴情報記憶部１１２に記憶してもよい。この例において、第２画像２２を表示する検索対象表示部２０２とともに、検索対象者の第１特徴情報の入力を受け付ける操作受付部（不図示）を画面に設けてもよい。オペレータは検索対象表示部２０２に表示される検索対象者の画像を見ながら当該人物の第１特徴情報の入力を行うことができる。

第２の例として、第１の特徴情報は、人領域全体の特徴情報であり、第２の特徴情報は、複数の生体情報を組み合わせたマルチモーダル生体認証処理を行うための複数の生体認証情報であってもよい。

この例では、例えば、第２画像２２に検索対象者の顔が写っていないため顔認証が難しく、下半身も写っていないために歩容認証等も難しいといった場合に適用できる。第２画像２２に写っている人物の人領域から第１特徴情報１４ａを抽出し、第１画像１０に対して第１特徴情報１４ａを用いて候補者を検出し、検出された候補者について、第２特徴情報として複数の生体情報を用いてマルチモーダル生体認証処理により人物の特定を行ってもよい。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合する照合手段と、
前記照合手段による照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出する抽出手段と、
前記第１の画像に含まれる人物から抽出される第２特徴情報を記憶手段に記憶させる登録手段と、
を備える情報処理装置。
２． １．に記載の情報処理装置において、
前記照合手段は、
特定の人物の識別情報に対応付けられて前記記憶手段に記憶されている前記第２特徴情報と、前記第１の画像に含まれる人物から抽出された第２特徴情報とを照合し、
照合結果が一致となった場合、前記記憶手段に記憶されている前記識別情報を出力手段に出力させる出力処理手段を備える、情報処理装置。
３． １．又は２．に記載の情報処理装置において、
前記第１特徴情報は、前記第１の画像とは異なる第２の画像を用いて生成されている情報処理装置。
４． ３．に記載の情報処理装置において、
前記抽出手段は、異なる複数の前記第２の画像に含まれる人物の人領域から複数の前記第１特徴情報を抽出し、
前記登録手段は、当該複数の第１特徴情報を同一人物の情報として互い関連付けて記憶手段に記憶させ、
前記照合手段は、前記記憶手段に記憶されている前記複数の第１特徴情報を用いて前記照合処理を行う、情報処理装置。
５． ３．又は４．に記載の情報処理装置において、
前記第２の画像は、前記第１の画像とは異なる撮像部により生成される情報処理装置。
６． １．から５．のいずれか一つに記載の情報処理装置において、
前記照合手段は、第３の画像に対して、前記第１特徴情報との照合処理、および、前記第２特徴情報との照合処理の少なくともいずれか一方を行なわせる情報処理装置。
７． １．から６．のいずれか一つに記載の情報処理装置において、
前記登録手段は、前記第１の画像のうち少なくとも前記第１特徴情報に対応する領域を前記第２特徴情報に関連付けて前記記憶手段に記憶させる、情報処理装置。
８． １．から７．のいずれか一つに記載の情報処理装置において、
前記登録手段は、前記第２特徴情報に、前記第１の画像の撮像条件を対応付けて記憶させる、情報処理装置。
９． １．から８．のいずれか一つに記載の情報処理装置において、
前記第２の特徴情報は人物の顔の特徴情報であり、前記第１の特徴情報は前記人物の顔以外の領域を含む特徴情報である情報処理装置。

１０． 検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合する照合手段と、
前記照合手段による照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出する抽出手段と、
前記第１の画像に含まれる人物から抽出される第２特徴情報を記憶手段に記憶させる登録手段と、
を備える情報処理システム。
１１． １０．に記載の情報処理システムにおいて、
前記照合手段は、
特定の人物の識別情報に対応付けられて前記記憶手段に記憶されている前記第２特徴情報と、前記第１の画像に含まれる人物から抽出された第２特徴情報とを照合し、
照合結果が一致となった場合、前記記憶手段に記憶されている前記識別情報を出力手段に出力させる出力処理手段を備える、情報処理システム。
１２． １０．又は１１．に記載の情報処理システムにおいて、
前記第１特徴情報は、前記第１の画像とは異なる第２の画像を用いて生成されている情報処理システム。
１３． １２．に記載の情報処理システムにおいて、
前記抽出手段は、異なる複数の前記第２の画像に含まれる人物の人領域から複数の前記第１特徴情報を抽出し、
前記登録手段は、当該複数の第１特徴情報を同一人物の情報として互い関連付けて記憶手段に記憶させ、
前記照合手段は、前記記憶手段に記憶されている前記複数の第１特徴情報を用いて前記照合処理を行う、情報処理システム。
１４． １２．又は１３．に記載の情報処理システムにおいて、
前記第２の画像は、前記第１の画像とは異なる撮像部により生成される情報処理システム。
１５． １０．から１４．のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、第３の画像に対して、前記第１特徴情報との照合処理、および、前記第２特徴情報との照合処理の少なくともいずれか一方を行なわせる情報処理システム。
１６． １０．から１５．のいずれか一つに記載の情報処理システムにおいて、
前記登録手段は、前記第１の画像のうち少なくとも前記第１特徴情報に対応する領域を前記第２特徴情報に関連付けて前記記憶手段に記憶させる、情報処理システム。
１７． １０．から１６．のいずれか一つに記載の情報処理システムにおいて、
前記登録手段は、前記第２特徴情報に、前記第１の画像の撮像条件を対応付けて記憶させる、情報処理システム。
１８． １０．から１７．のいずれか一つに記載の情報処理システムにおいて、
前記第２の特徴情報は人物の顔の特徴情報であり、前記第１の特徴情報は前記人物の顔以外の領域を含む特徴情報である情報処理システム。

１９． 情報処理装置が、
検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合し、
照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出し、
前記第１の画像に含まれる人物から抽出される第２特徴情報を記憶部に記憶させる、
情報処理方法。
２０． １９．に記載の情報処理方法において、
前記情報処理装置が、
特定の人物の識別情報に対応付けられて前記記憶部に記憶されている前記第２特徴情報と、前記第１の画像に含まれる人物から抽出された第２特徴情報とを照合し、
照合結果が一致となった場合、前記記憶部に記憶されている前記識別情報を出力部に出力させる、情報処理方法。
２１． １９．又は２０．に記載の情報処理方法において、
前記第１特徴情報は、前記第１の画像とは異なる第２の画像を用いて生成されている情報処理方法。
２２． ２１．に記載の情報処理方法において、
前記情報処理装置が、
異なる複数の前記第２の画像に含まれる人物の人領域から複数の前記第１特徴情報を抽出し、
当該複数の第１特徴情報を同一人物の情報として互い関連付けて記憶部に記憶させ、
前記記憶部に記憶されている前記複数の第１特徴情報を用いて前記照合処理を行う、情報処理方法。
２３． ２１．又は２２．に記載の情報処理方法において、
前記第２の画像は、前記第１の画像とは異なる撮像部により生成される情報処理方法。
２４． １９．から２３．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
第３の画像に対して、前記第１特徴情報との照合処理、および、前記第２特徴情報との照合処理の少なくともいずれか一方を行なわせる情報処理方法。
２５． １９．から２４．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第１の画像のうち少なくとも前記第１特徴情報に対応する領域を前記第２特徴情報に関連付けて前記記憶部に記憶させる、情報処理方法。
２６． １９．から２５．のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第２特徴情報に、前記第１の画像の撮像条件を対応付けて記憶させる、情報処理方法。
２７． １９．から２６．のいずれか一つに記載の情報処理方法において、
前記第２の特徴情報は人物の顔の特徴情報であり、前記第１の特徴情報は前記人物の顔以外の領域を含む特徴情報である情報処理方法。

２８． コンピュータに、
検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合する手順、
照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出する手順、
前記第１の画像に含まれる人物から抽出される第２特徴情報を記憶部に記憶させる手順、を実行させるためのプログラム。
２９． ２８．に記載のプログラムにおいて、
特定の人物の識別情報に対応付けられて前記記憶部に記憶されている前記第２特徴情報と、前記第１の画像に含まれる人物から抽出された第２特徴情報とを照合する手順、
照合結果が一致となった場合、前記記憶部に記憶されている前記識別情報を出力部に出力させる手順、をコンピュータに実行させるためのプログラム。
３０． ２８．又は２９．に記載のプログラムにおいて、
前記第１特徴情報は、前記第１の画像とは異なる第２の画像を用いて生成されているプログラム。
３１． ３０．に記載のプログラムにおいて、
異なる複数の前記第２の画像に含まれる人物の人領域から複数の前記第１特徴情報を抽出する手順、
当該複数の第１特徴情報を同一人物の情報として互い関連付けて記憶部に記憶させる手順、
前記記憶部に記憶されている前記複数の第１特徴情報を用いて前記照合処理を行う手順、をコンピュータに実行させるためのプログラム。
３２． ３０．又は３１．に記載のプログラムにおいて、
前記第２の画像は、前記第１の画像とは異なる撮像部により生成されるプログラム。
３３． ２８．から３２．のいずれか一つに記載のプログラムにおいて、
第３の画像に対して、前記第１特徴情報との照合処理、および、前記第２特徴情報との照合処理の少なくともいずれか一方を行なわせる手順、をコンピュータに実行させるためのプログラム。
３４． ２８．から３３．のいずれか一つに記載のプログラムにおいて、
前記第１の画像のうち少なくとも前記第１特徴情報に対応する領域を前記第２特徴情報に関連付けて前記記憶部に記憶させる手順、をコンピュータに実行させるためのプログラム。
３５． ２８．から３４．のいずれか一つに記載のプログラムにおいて、
前記第２特徴情報に、前記第１の画像の撮像条件を対応付けて記憶させる手順、をコンピュータに実行させるためのプログラム。
３６． ２８．から３５．のいずれか一つに記載のプログラムにおいて、
前記第２の特徴情報は人物の顔の特徴情報であり、前記第１の特徴情報は前記人物の顔以外の領域を含む特徴情報であるプログラム。

Claims (8)

1. 顔が写っていない検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合する第１照合手段と、
   前記第１照合手段による照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出する抽出手段と、
   特定の人物の識別情報に対応付けられている登録第２特徴情報と、前記抽出手段により抽出された前記第２特徴情報とを照合する第２照合手段と、
   前記第２照合手段の照合結果を出力する出力手段と、
   を備える情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記抽出手段により抽出された前記第２特徴情報を第１の記憶手段に記憶させる登録手段を備える、情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   前記識別情報及び前記登録第２特徴情報は第２の記憶手段に記憶されており、
   前記出力手段は、前記第２照合手段の照合結果が一致となった場合、前記第２の記憶手段に記憶されている前記識別情報を出力する、情報処理装置。
4. 請求項２に記載の情報処理装置において、
   前記抽出手段は、前記第１の画像とは異なる複数の第２の画像に含まれる人物の人領域から複数の前記第１特徴情報を抽出し、
   前記登録手段は、当該複数の第１特徴情報を同一人物の情報として互いに関連付けて第３の記憶手段に記憶させ、
   前記第１照合手段は、前記第３の記憶手段に記憶されている前記複数の第１特徴情報を用いて照合処理を行う、情報処理装置。
5. 請求項４に記載の情報処理装置において、
   前記第２の画像は、前記第１の画像とは異なる撮像部により生成される情報処理装置。
6. 請求項１から５のいずれか一項に記載の情報処理装置と、
   前記情報処理装置に接続される少なくとも一つの撮像部と、を備え、
   前記撮像部は、画像を撮像する、情報処理システム。
7. 情報処理装置が、
   顔が写っていない検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合し、
   照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出し、
   特定の人物の識別情報に対応付けられている登録第２特徴情報と、前記抽出された前記第２特徴情報とを照合し、
   前記登録第２特徴情報と前記第２特徴情報との照合結果を出力する、
   情報処理方法。
8. コンピュータに、
   顔が写っていない検索対象人物の特徴を示す第１特徴情報と、第１の画像に含まれる人物から抽出される第１特徴情報とを照合する手順、
   照合結果が一致となった場合、前記第１の画像に含まれる人物から第２特徴情報を抽出する手順、
   特定の人物の識別情報に対応付けられている登録第２特徴情報と、前記抽出された前記第２特徴情報とを照合する手順、
   前記登録第２特徴情報と前記第２特徴情報との照合結果を出力する手順、を実行させるためのプログラム。

Images