JP7356244B2 - 顔情報管理システム、顔情報管理方法、および、プログラム - Google Patents

Description

本発明は、顔情報管理システム、顔情報管理方法、および、プログラムに関する。

顔画像または顔画像から取得され得る特徴からなる顔情報を用いて、特定の人物であるか否かを判定し、判定結果を通知する顔照合システムが存在する。顔照合システムは、セキュリティ、防犯、警備、万引き防止、顧客認識などを目的として、セキュリティシステムや監視カメラシステムなどに用いられている。判定においては、まず、撮像画像から取得された顔情報と、予め登録された参照用の顔情報とを照合して、両者の類似度が算出される。そして、類似度の大きさに基づき、撮像された人物が予め登録された特定の人物であるか否かが判定される。より多くの人物について特徴が登録されるほど、人物の特定が行われる可能性が増すこととなる。

ここで、予め参照用の顔情報を登録する装置としては、様々な装置が存在する。近年では、複数の人物をペアリングして登録する装置が提案されている。たとえば、特許文献１に記載の装置は、施設の入居者の顔画像や名前等の入居者情報と、当該入居者の保護者の顔情報等の特徴情報とを予めペアリングして記憶している。そして、記憶した特徴情報を参照し、施設への来訪者がどの入居者の保護者であるかが特定される。特定された保護者の特徴情報に対応付けられた入居者情報が、施設の対応者に対して通知される。これにより、施設の対応者は、来訪した人物が、どの入居者の保護者であるかを特定することができる。

特開２０１８－８１４４９号

しかしながら、特許文献１に記載の装置においては、複数の顔情報をペアリングして記憶する際に、作業者は、何れの顔情報がペアリングの対象となるかを予め把握しなければならない。たとえば、作業者は、施設の入居者とその保護者から、ペアリングの対象とされる両者の顔画像の申請を受ける必要がある。このような作業は、極めて煩雑である。

また、ペアリングの対象とされる顔情報が上記のように入居者とその保護者のものである場合は、入居者とその保護者の協力を受けることによって、ペアリング対象の顔情報を特定できる。しかし、たとえば、万引犯とその共犯者の顔情報をペアリングするような場合は、共犯者が自ら共犯者であると名乗りでることは考えにくい。このため、作業者は、万引等の犯罪が実行された施設内の撮像画像を目視で確認し、共犯者を抽出しなければならない。この作業は煩に耐えない。

上記課題に鑑み、本発明は、人物の顔情報を効率良くペアリングすることが可能な顔情報管理システム、顔情報管理方法、および、プログラムを提供することを目的とする。

本発明の第１の態様は、人物の顔画像または顔画像の特徴情報からなる顔情報を管理する顔情報管理システムに関する。本態様に係る顔情報管理システムは、画像を取得する少なくとも１つの取得部と、前記取得部が取得した画像から顔情報を抽出する抽出部と、抽出された全ての前記顔情報を、被検索対象となり得る被検索顔情報として、前記画像が取得された所定時間軸上の時刻に関連付けて顔情報データベースとして記憶する記憶部と、検索対象なる検索顔情報を設定し、前記検索顔情報が取得された人物と、複数の時間範囲において居合わせた他の人物の前記被検索顔情報を、前記検索顔情報と関連する関連顔情報として前記顔情報データベースから抽出する制御部と、を備える。

２人の人物が複数の時間範囲において居合わせた場合、両者の間に関連性がある可能性が高まる。よって、上記のように、検索顔情報を取得した人物と、複数の時間範囲に亘って居合わせた他の人物の被検索顔情報が、関連顔情報として、抽出されることにより、互いに関連する可能性がある人物の顔情報を効率良くペアリングすることができる。

ここでいう、「時間範囲」とは、時間軸上の範囲を意味するものである。

本態様に係る顔情報管理システムにおいて、前記制御部は、前記検索顔情報と整合する複数の第１の被検索顔情報を顔情報データベースから取得する処理と、互いに整合する第２の被検索顔情報を顔情報データベースから取得する処理とに基づいて、前記複数の第１の被検索顔情報の前記各時刻に対する所定の時間範囲に前記時刻が含まれる前記第２の被検索顔情報を、前記関連顔情報として抽出するよう構成され得る。

上記の構成によれば、制御部による処理により、検索顔情報を取得した人物と、複数の時間範囲に亘って居合わせたと想定され得る他の人物の第２の被検索顔情報が、関連顔情報として、抽出される。よって、検索顔情報を取得した人物と他の人物の顔情報を効率良くペアリングすることができる。

本態様に係る顔情報管理システムにおいて、前記制御部は、前記複数の第１の被検索顔情報の前記各時刻に対して、所定の時間範囲に前記時刻が含まれる第２の被検索顔情報を、前記顔情報データベースから取得し、取得した前記第２の被検索顔情報のうち、少なくとも前記時間範囲が異なる前記第２の被検索顔情報を互いに照合し、照合結果に基づき、前記関連顔情報を、前記第２の被検索顔情報から抽出するよう構成され得る。

上記の構成によれば、まず、検索顔情報と整合する複数の第１被検索顔情報が顔情報データベースから取得される。これにより、検索顔情報を取得した人物と同一人物と想定され得る人物から第１の被検出顔情報が取得される。次に、第１の被検索顔情報の時刻に対して所定の時間範囲に時刻が含まれる第２の被検索顔情報が顔情報データベースから取得される。これにより、第１の被検索顔画像を取得した人物と接近した時刻に居合わせた人物から第２の被検索顔情報が取得され得る。そして、少なくとも時間範囲が異なる第２の被検索顔画像が照合され、その照合結果に基づいて検索顔情報に関連する関連顔情報が第２の被検索顔情報から抽出される。これにより、複数の時間範囲において同じ人物から取得されたと想定され得る第２の被検索顔情報が関連顔情報として抽出される。したがって、検索顔情報を取得した人物と複数の時間範囲に亘って居合わせたと想定され得る他の人物の第２の被検索顔情報が、関連顔情報として、抽出される。よって、検索顔情報を取得した人物と他の人物の顔情報を効率良くペアリングすることができる。

また、本態様に係る顔情報管理システムにおいて、前記制御部は、前記顔情報データベースから取得した前記第２の被検索顔情報のうち、前記時間範囲が異なる前記第２の被検索顔情報を互いに照合し、他の時間範囲に含まれる前記第２の被検索顔情報に対する整合数に基づき、前記関連顔情報を前記第２の被検索顔情報から抽出するよう構成され得る。

上記の構成によれば、制御部による処理により、第２の被検索顔情報に整合する他の第２の被検索顔情報が、複数の時間範囲で検出された回数に基づき、関連顔情報が抽出される。よって、第２の被検索顔情報を効率的に抽出できる。

また、本態様に係る顔情報管理システムにおいて、前記制御部は、前記顔情報データベースから取得した前記第２の被検索顔情報のうち、前記時間範囲が異なる前記第２の被検索顔情報を互いに照合し、整合する他の第２の被検索顔情報の前記時刻が含まれる前記所定の時間範囲の数に基づき、前記関連顔情報を前記第２の被検索顔情報から抽出するよう構成され得る。

上記の構成によれば、制御部による処理により、第２の被検索顔情報と整合する他の第２の被検索顔情報が含まれている時間範囲の数に基づき関連顔情報が抽出される。よって、第２の被検索顔情報を効率的に抽出できる。

また、本態様に係る顔情報管理システムにおいて、前記制御部は、前記時刻が所定の期間内に含まれる前記被検索顔情報を対象として、前記検索顔情報と整合する前記複数の第１の被検索顔情報を抽出するよう構成され得る。

上記の構成によれば、制御部による処理により、所定の期間内に絞って第１の被検索顔情報が抽出される。よって、抽出に必要な時間が短縮される。

また、本態様に係る顔情報管理システムにおいて、前記顔情報データベースは、前記被検索顔情報を取得した画像を撮像した場所を特定する場所情報を前記被検索顔情報に関連付けて記憶するよう構成され得る。この場合、前記制御部は、前記照合結果、および、互いに整合する他の前記第２の被検索顔情報との間で前記場所情報が所定の条件を満たすか否かに基づいて、前記関連顔情報を抽出するよう構成され得る。

上記の構成によれば、制御部による処理により、顔情報を取得した画像を撮像した場所の情報がさらに加味されて、関連顔情報が抽出される。このため、たとえば、異なる店舗においてまで、検索顔画像の人物とペアで検出された他の人物の第２の被検索顔情報を、検索顔画像の人物とより関連する可能性が高いものとして登録することができる。

また、本態様に係る顔情報管理システムにおいて、前記制御部は、前記抽出した関連顔情報を、前記検索顔情報と対応付けて前記記憶部に記憶させるよう構成され得る。

上記の構成によれば、制御部による処理により、検索顔情報と関連顔情報とが対応付けて記憶される。よって、後ほど検索顔情報を犯人の顔情報として参照するような場合に、当該犯人と共犯である可能性がある人物の顔情報をさらに参照することができ、グループ犯のメンバーを容易に確認することができる。

また、本態様に係る顔情報管理システムにおいて、前記記憶部は、参照用の顔情報である参照顔情報を記憶する参照データベースをさらに記憶し、前記制御部は、前記抽出した関連顔情報を、前記参照データベースに記憶させるよう構成され得る。

また、本態様に係る顔情報管理システムにおいて、前記制御部は、抽出した前記関連顔情報を前記参照データベースに記憶させるための承認操作を受け付け、前記承認操作を受け付けたことに基づいて、前記関連顔情報を前記参照データベースに記憶させるよう構成され得る。

上記の構成によれば、制御部による処理により、オペレーターによる承認を受け付けた場合にのみ関連顔情報の登録がなされる。よって、不要な顔情報の登録が抑止される。

また、本態様に係る顔情報管理システムにおいて、前記制御部は、前記取得部が取得した画像から顔情報を検出し、検出した顔情報と前記参照データベースに記憶された参照顔情報とを照合し、前記検出した顔情報に整合する参照顔情報が前記参照データベースにある場合には、前記検出した顔画像を検索顔情報に設定するよう構成され得る。

上記の構成によれば、画像から検出された顔情報が参照顔情報の何れかに整合すると、当該顔情報が検索顔情報に設定されて関連顔情報の抽出処理が自動で行われる。よって、関連顔情報の抽出処理を効率的に行うことができる。

また、本態様に係る顔情報管理システムにおいて、前記制御部は、前記参照データベースに新規に記憶された前記参照顔情報を、前記検索顔情報に設定するよう構成され得る。

上記の構成によれば、制御部による処理により、新規に登録された参照顔情報を検索顔情報に設定して、関連顔情報の抽出処理が行われる。よって、たとえば、新規に登録された参照顔情報の人物と、そのグループ犯の可能性がある人物の顔情報とをペアリングでき、グループ犯の構成人物を、効率的に抽出することができる。

また、本態様に係る顔情報管理システムにおいて、前記記憶部に記憶された顔情報を表示するための表示部と、前記表示部に表示された顔情報を指定するための操作を行うための操作部とをさらに備えるよう構成され得る。この場合、前記制御部は、前記操作部を介して指定された顔情報を、前記検索顔情報として受け付けるよう構成され得る。

上記構成によれば、オペレーターは、自身が個別に指定した顔情報について関連顔情報を抽出できる。よって、オペレーターは、自身が欲しい顔情報のみを的確に取得することができる。

また、本態様に係る顔情報管理システムにおいて、前記記憶部は、前記関連顔情報を、前記検索顔情報または前記第１の被検索顔情報の少なくとも一方を示す仮記憶顔情報と対応付けて仮記憶する仮顔情報データベースをさらに記憶するよう構成され得る。この場合、前記制御部は、他の検索顔情報と整合する、前記仮記憶顔情報を、前記仮顔情報データベースから特定し、特定した前記検索顔情報または前記第１の被検索顔情報と対応付けて仮記憶されている前記関連顔情報を、前記仮顔情報データベースから取得し、前記仮顔情報データベースから取得した関連顔情報と整合する前記第２の被検索顔情報を、前記他の検索顔情報に関連する関連顔情報として抽出するよう構成され得る。

上記の構成によれば、制御部による処理により、仮登録された第２の被検索顔情報と整合する第２の被検索顔情報がないかを照合処理する。よって、顔情報データベースから抽出された全ての第２の被検索顔情報を互いに照合する場合よりも、照合数が少なくなり、効率的に抽出処理が行える。

本発明の第２の態様は、人物の顔画像または顔画像の特徴情報からなる顔情報を顔情報管理システムにおいて管理する顔情報管理方法に関する。本態様に係る顔情報管理方法は、少なくとも１つの取得部が取得した画像から顔情報を抽出し、抽出した全ての前記顔情報を、被検索対象となり得る被検索顔情報として、前記画像が取得された所定時間軸上の時刻に関連付けて顔情報データベースとして記憶させ、検索対象となる検索顔情報を設定し、前記検索顔情報が取得された人物と、複数の時間範囲において居合わせた他の人物の前記被検索顔情報を、前記検索顔情報と関連する関連顔情報として前記顔情報データベースから抽出する。

上記の構成によれば、第１の態様に係る顔情報管理システムと同様の効果を奏し得る。

本発明の第３の態様は、プログラムに関する。本態様に係るプログラムは、人物の顔画像または顔画像の特徴情報からなる顔情報を管理する顔情報管理装置の制御部に、少なくとも１つの取得部が取得した画像から顔情報を抽出し、抽出した全ての前記顔情報を、被検索対象となり得る被検索顔情報として、前記画像が取得された所定時間軸上の時刻に関連付けて顔情報データベースとして記憶させ、検索対象となる検索顔情報を設定し、前記検索顔情報が取得された人物と、複数の時間範囲において居合わせた他の人物の前記被検索顔情報を、前記検索顔情報と関連する関連顔情報として前記顔情報データベースから抽出する機能を実行させる機能を実行させる。

本発明によれば、人物の顔情報を効率良くペアリングすることが可能となる。

本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。

図１は、実施形態に係る、顔情報管理システムの環境ブロック図である。 図２は、実施形態に係る、顔情報管理システムの構成を示すブロック図である。 図３は、実施形態に係る、顔情報データベースを示す図である。 図４は、実施形態に係る、参照データベースを示す図である。 図５は、実施形態に係る、関連顔情報の抽出処理を示す図である。 図６は、実施形態に係る、関連顔情報の登録を確認するための確認画面を示す図である。 図７は、実施形態に係る、顔照合処理のフローチャートである。 図８は、実施形態に係る、関連顔情報の登録処理のフローチャートである。 図９は、変更例１に係る、関連顔情報の登録処理のフローチャートである。 図１０は、変更例２に係る、関連顔情報の登録処理のフローチャートである。 図１１（ａ）は、変更例３に係る、顔情報を登録するための選択画面であり、図１１（ｂ）は、変更例３に係る、検索対象の顔画像を選択するための選択画面である。 図１２は、変更例３に係る、関連顔情報の登録処理のフローチャートである。 図１３は、変更例４に係る、顔情報管理システムの構成を示すブロック図である。 図１４は、変更例４に係る、関連顔情報の登録処理のフローチャートである。 図１５は、変更例５に係る、顔情報管理システムの構成を示すブロック図である。 図１６は、変更例５に係る、関連顔情報の登録処理のフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

なお、本発明では、「顔情報」が、顔画像そのもの、または、顔画像から取得され得る特徴情報の何れかとして定義されているが、本実施形態では、これらのうち、顔画像そのものが顔情報として用いられる。また、本実施形態では、参照データベースに顔情報を記憶することを「登録」と称し、照合対象の２つの顔情報が同一と判断できる程度に類似または一致することを「整合する」と称する。なお、顔情報は、顔画像に限らず、当該顔画像から取得され得る情報（特徴情報等）であってもよい。

また、本実施形態では、照合に用いた顔画像、当該顔画像がカメラに撮像された時刻、カメラを設置した店舗、カメラＩＤ等のカメラを特定する情報、照合結果等の照合に関する情報を「照合情報」と称する。

図１は、実施形態に係る、顔情報管理システム１の環境ブロック図である。

図１には、１つの店舗に設置された照合装置２およびカメラ４と、外部に設置された管理装置３とが示されている。他の店舗に設置された照合装置２も、外部ネットワーク６を介して、管理装置４に接続される。ここで、店舗は、流通店舗や金融機関の営業店等である。カメラ４は、店舗の入り口等の店舗内、または、店舗周辺を撮像する。カメラ４は、内部ネットワークを介して照合装置２に接続されている。照合装置２は、外部ネットワーク６を介して管理装置３に接続されている。内部ネットワーク５および外部ネットワーク６は、ＬＡＮ等の有線または無線の通信回線である。

照合装置２は、たとえば、万引き犯の顔情報（顔画像）を参照データベースとして保持する。参照データベースは、管理装置３において生成および更新され、各店舗の照合装置２に逐次配布される。参照データベースには、顔情報に対応する人物を管理するための属性情報（人物ＩＤや人物の名前、等）が、各顔情報に対応付けられて保持されている。属性情報には、人物ＩＤのように、管理装置３において、自動的に採番されるものがある。一方、人物の名前のように管理装置３において自動的に決定できない属性情報については、管理装置３において、オペレーターによって手入力される。

照合装置２は、内部ネットワーク５を介してカメラ４から取得した画像から顔画像を抽出して、顔情報（顔画像）を取得する。そして、照合装置２は、取得した顔情報と参照データベースとを照合し、取得した顔情報に整合する顔情報が、参照データベースに含まれている場合に、所定の報知情報を表示部に表示させる。報知情報には、カメラ４から取得した顔情報に整合する参照データベース中の顔情報（顔画像）と、当該顔情報に対応付けられた属性情報とが含まれる。店舗内の係員は、報知情報を参照することにより、監視を強化する等の対応をとることができる。

さらに、本実施形態では、管理装置３において、万引犯の共犯者である可能性が高い人物の顔情報（顔画像）を、万引犯の顔情報にペアリングする処理が行われる。万引犯と、複数の時間範囲において居合わせた他の人物は、当該万引犯の共犯者である可能性が高い。管理装置３は、このような人物の顔情報を、万引犯の顔情報に対応付ける処理を行う。

具体的には、このペアリングにおいて、以下の処理が行われる。

カメラ４から取得された顔情報は、上記のように、逐次、参照データベースと照合される。照合結果は、照合情報として、管理装置３に送信される。照合情報には、カメラ４から取得された顔情報（顔画像）と、当該顔情報（顔画像）が取得された時刻（撮像の時刻）と、カメラ４のＩＤと、カメラ４が設置された店舗を特定する情報が含まれる。

さらに、照合情報には、カメラ４から取得された顔情報に整合する顔情報が参照データベースに含まれているか否かを示すフラグが含まれる。整合する顔情報が参照データベースに含まれている場合、照合ＯＫフラグが照合情報に含まれ、さらに、整合する顔情報に対応付けられている属性情報（人物ＩＤ、人物の名前）が参照データベースから抽出されて照合情報に含まれる。整合する顔情報が参照データベースに含まれていない場合は、照合ＮＧフラグが照合情報に含まれる。

管理装置３は、受信した照合情報を、フラグの状態に拘わらず全て、顔情報データベースに記憶する。そして、管理装置３は、受信した照合情報に照合ＯＫフラグが含まれている場合に、顔情報データベースから、当該照合ＯＫフラグが付された顔情報により特定され得る万引犯と共犯者である可能性が高い他の人物の顔情報を、顔情報データベースにおいて特定する。より詳細には、照合ＯＫフラグが付された顔情報により特定される人物（万引犯）と、複数の時間範囲において居合わせた他の人物（共犯者）の顔情報を、顔情報データベースにおいて特定するための処理が行われる。この処理の具体例については、追って、図５を参照して、詳述する。

この処理において、他の人物（共犯者）の顔情報を特定できた場合、管理装置３は、特定した顔情報を、照合ＯＫフラグが付された顔情報に関連する顔情報として、自身の参照データベースに登録する。

なお、照合ＯＫフラグが付された顔情報も、管理装置３の参照データベースに登録される。このとき、オペレーターにより、当該顔情報に属性情報が付される。属性情報は、登録された顔情報に対応づけて管理装置３の参照データベースに記憶される。

こうして、管理装置３の参照データベースが更新されると、更新後の参照データベースが照合装置２に送信される。このとき、新規に登録された顔情報および属性情報のみが、各店舗の照合装置２に送信されてもよい。また、更新後の参照データベースは、照合ＯＫフラグを含む照合情報を送信した照合装置２のみならず、その他の店舗の照合装置２にも送信されてもよい。

照合装置２は、受信した情報に基づいて、自身の参照データベースを更新する。これにより、照合装置２は、参照データベースを更新する前から照合できた万引犯だけでなく、当該万引犯とペアで行動をとると思われる共犯者についても、来店に伴い、その顔画像を含む報知情報を表示させることができる。これにより、監視を強化する等の対応をとることができる。

ここで、共犯者をペアリングする処理の具体例について、図１を参照して説明する。便宜上、図１には、処理の流れを示すステップ番号（Ｓ１～Ｓ９）が付記されている。

図１の例では、カメラＩＤがＩＤ１のカメラ４によって、８月１８日９時００分に３人の人物（人物Ａ、Ｘ、Ｂ）の顔情報（顔画像）を含む画像が撮像されている（ステップＳ１）。撮像された画像は、撮像時刻とともに、内部ネットワーク５を介して、照合装置２に送信される（ステップＳ２）。照合装置２は、受信した画像から人物Ａ、Ｘ、Ｂの顔画像を抽出し、抽出した顔画像を顔情報として取得する（ステップＳ３）。

その後、照合装置２は、ステップＳ２にて取得した顔情報と、参照データベースに記憶されている顔情報とを照合する（ステップＳ４）。ここでは、人物Ｘの顔情報が、参照データベースに記憶された万引犯の顔情報に整合している。照合装置２は、参照データベースから、整合した顔情報（人物Ｘの顔画像）と、当該顔情報に対応づけられている属性情報とを含む報知情報を表示部に表示させる。

その後、照合装置２は、人物Ａ、Ｘ、Ｂの３人の人物の顔情報について、照合情報を、外部ネットワーク６を介して、管理装置３に送信する（ステップＳ５）。人物Ｘの顔情報の照合情報には、照合ＯＫフラグが付され、人物Ａ、Ｂの顔情報の照合情報には、照合ＮＧフラグが付されている。

管理装置３は、受信した人物Ａ、Ｘ、Ｂの照合情報を顔情報データベースに記憶する（ステップＳ６）。また、管理装置３は、照合ＯＫフラグが含まれている人物Ｘの照合情報の顔情報を参照データベースに登録する。さらに、管理装置３は、人物Ｘの顔情報と顔情報データベース中の顔情報とをペアリングする処理を行う。図１の例では、顔情報データベース中の人物Ｂの顔情報が、ペアリング対象として特定される。管理装置３は、特定した人物Ｂの顔情報を、自身の参照データベースに登録する（ステップＳ８）。このとき、オペレーターの操作により、新規に登録された人物Ｘおよび人物Ｂの顔情報に、属性情報が付される。

次に、管理装置３は、新規に参照データベースに登録した人物Ｘおよび人物Ｂの顔情報および属性情報を、外部ネットワーク６を介して、照合装置２に送信する（ステップＳ９）。なお、管理装置３が送信する人物Ｂの顔情報は１つとは限らない。すなわち、ステップＳ８の処理において、人物Ｂの複数の顔情報が参照データベースにおいて特定された場合、複数の顔情報が管理装置３から照合装置２に送信される。

また、人物Ｂの顔情報の送信先は、ステップＳ１の処理において照合情報を送信した照合装置２のみでなくてもよい。他の店舗においても、人物Ｂを注意しなければならないのであれば、他の店舗の照合装置２に対しても、人物Ｂの顔情報が送信されてもよい。あるいは、全ての店舗の照合装置２に人物Ｂの顔情報が送信されてもよい。

照合装置２は、管理装置３から受信した人物Ｘおよび人物Ｂの顔情報および属性情報を、自身の参照データベースに登録する（ステップＳ１０）。これにより、参照データベースの更新処理が終了する。

図２は、実施形態に係る、顔情報管理システムの構成を示すブロック図である。

照合装置２は、通信部２１と、操作部２２と、表示部２３と、制御部２４と、記憶部２５とから構成される。

通信部２１は、管理装置３およびカメラ４との間で信号（情報）の送受信を行う。

操作部２２は、キーボードやマウス等の操作手段を備える。操作部２２は、表示部２３に対するオペレーターの操作を受け付ける。表示部２３は、画像を表示するためのディスプレイを備える。表示部２３は、ディスプレイに各種の画像（画面）を表示する。また、表示部２３は、制御部２４からの制御により、上述の報知情報を表示させる。

制御部２４は、ＣＰＵ（Central Processing Unit）等の演算回路を備え、記憶部２５に記憶された動作プログラムに従って、通信部２１、操作部２２、表示部２３の各構成部を制御する。制御部２４は、通信部２１を介して、カメラ４から撮像された画像を受信する。すなわち、通信部２１は、撮像された画像を取得するための取得部として機能する。

記憶部２５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）やハードディスク等の記憶媒体を備える。記憶部２５は、制御部２４の動作プログラムを記憶し、また、制御部２４の制御処理の際にワーク領域として利用される。

また、記憶部２５は、顔情報データベース２５１と、参照データベース２５２とを記憶している。顔情報データベース２５１は、照合装置２にて取得された照合情報を管理する。参照データベース２５２は、照合に用いる顔情報（以下、「参照顔情報」という）を管理する。店舗によって管理される参照顔情報は異なる場合がある。すなわち、地域によって万引犯やその共犯者が異なるため、照合に用いる参照顔情報も異なり得る。

管理装置３は、通信部３１と、操作部３２と、表示部３３と、制御部３４と、記憶部３５とから構成される。

通信部３１は、照合装置２との間で信号（情報）の送受信を行う。

操作部３２は、キーボードやマウス等の操作手段を備える。操作部３２は、表示部３３に対するオペレーターの操作を受け付ける。表示部３３は、画像を表示するためのディスプレイを備える。表示部３３は、ディスプレイに各種の画像（画面）を表示する。

制御部３４は、ＣＰＵ等の演算回路を備え、記憶部３５に記憶された動作プログラムに従って、通信部３１、操作部３２、表示部３３の各構成部を制御する。

記憶部３５は、ＲＯＭ、ＲＡＭやハードディスク等の記憶媒体を備える。記憶部３５は、制御部３４の動作プログラムを記憶し、また、制御部３４の制御処理の際にワーク領域として利用される。当該動作プログラムは、顔情報管理プログラム３５３であり、たとえば、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)やＵＳＢメモリ〔USB（Universal Serial Bus） flash drive〕などの外部記憶媒体を介して、記憶部３５に記憶される。

また、記憶部３５は、顔情報データベース３５１と、参照データベース３５２とを保持している。顔情報データベース３５１は、照合装置２から受信した照合情報を管理する。参照データベース３５２は、照合装置２の参照データベース２５２に適用される参照顔情報を管理する。

図３は、実施形態に係る、顔情報データベース３５１の構成を示す図である。参照データベース２５２も同様の構造であるが、登録される情報が、特定の人物（万引犯およびその共犯者）に関する情報に絞られている。

「撮像時刻」とは、顔情報を含む画像を撮像した時刻である。

「検出した顔画像」とは、当該撮像時刻に撮像された画像から検出された顔情報（顔画像）である。当該顔情報は、参照データベース２５２に記憶された参照顔情報と照合された顔情報である。

「店舗」とは、顔情報を含む画像を撮像したカメラが設置された店舗である。

「カメラＩＤ」とは、顔情報を含む画像を撮像したカメラのＩＤである。カメラＩＤは、カメラごとに固有に割り振られた、カメラを管理するための識別情報である。

「照合フラグ」とは前述した照合結果を示すフラグ（照合ＯＫフラ／照合ＮＧフラグ）である。

「人物ＩＤ」とは、照合により特定された参照顔情報に付されている人物の識別情報である。照合ＯＫフラグが付されている場合、すなわち、照合により参照顔情報が特定された場合に、人物ＩＤが付される。制御部２４が、特定した参照顔情報をもとに、参照用データベース２５２からＩＤを抽出する。

「名前」とは、人物ＩＤによって特定される人物の名前や通称である。制御部２４が、特定した参照顔情報をもとに、参照用データベース２５２から名前を抽出する。

「グループ登録フラグ」とは、当該人物のＩＤに対応する人物にペアとなる人物が別の人物ＩＤにて管理されているか否かのフラグである。グループ登録フラグの詳細は後述する。

図４は、実施形態に係る、参照データベース３５２の構成を示す図である。参照データベース２５２も同様の構造である。

図４に示すように、参照データベース３５２は、人物ＩＤと、顔ＩＤと、参照顔画像と、名前（通称含む）と、検出日時と、店舗と、カメラＩＤと、グループ登録フラグと、関連ＩＤとが対応付けられた構成となっている。

「人物ＩＤ」とは、参照データベース３５２に登録される人物ごとに固有に割り振られた人物を管理するための識別情報である。

「顔ＩＤ」とは、人物ＩＤに対応付けられている参照顔情報を、参照顔情報ごとに管理するための数値である。同一人物ＩＤ内において、顔ＩＤが固有に割り振られている。

「顔画像」とは、当該人物ＩＤおよび顔ＩＤに対応する人物の参照顔情報である。

「名前」とは、人物ＩＤによって特定される人物の名前や通称である。

「撮像時刻」とは、参照顔情報を含む画像を撮像した日時である。

「店舗」とは、参照顔情報を含む画像を撮像したカメラが設定された店舗を示す。

「カメラＩＤ」とは、参照顔情報を含む画像を撮像したカメラのＩＤである。カメラＩＤは、カメラごとに固有に割り振られた、カメラを管理するための識別情報である。

「グループ登録フラグ」とは、当該人物ＩＤに対応する人物にペアとなる人物が別の人物ＩＤにて管理されているか否かのフラグである。グループ登録フラグが「〇」の場合、当該人物には、ペアとなる人物が管理されていることを示す。たとえば、万引犯とペアとなる共犯者が別の人物ＩＤにて管理されていれば、当該万引犯の「グループ登録フラグ」に「〇」が付される。逆に共犯者とペアとなる万引犯が別の人物ＩＤにて管理されている場合にも、当該共犯者の「グループ登録フラグ」に「〇」が付される。

「関連ＩＤ」とは、当該人物ＩＤの人物とペアとなる別の人物の人物ＩＤを示す。グループ登録フラグに「〇」が付されている人物ＩＤに対して、関連ＩＤが付される。関連ＩＤは１つでなく、複数であってもよい。これは、共犯者が１人であるとは限らないためである。

上記情報のうち、人物ＩＤ、顔ＩＤ、名前、グループ登録フラグおよび関連ＩＤが、上述の属性情報に対応する。人物ＩＤは、たとえば、管理装置３のオペレーターにより同一人物の顔情報（顔画像）が目視によりグルーピングされた場合に、管理装置３において自動で付される。これに伴い、顔ＩＤが、たとえば、撮像時刻が古い順に自動で付される。名前は、管理装置３のオペレーターによって入力される。グループ登録フラグおよび関連ＩＤは、管理装置３におけるペアリング処理によって、自動で付される。

なお、照合に用いる顔情報が、顔画像そのものでない場合、すなわち、顔画像から取得され得る特徴情報が顔情報とされる場合、参照データベース３５２には、さらに、顔情報（特徴情報）が顔ＩＤに対応付けて記憶される。この場合、顔情報（特徴情報）が照合に用いられ、顔画像は、報知情報の表示において用いられる。

また、参照データベース３５２が、複数のテーブルにて構成されてもよい。たとえば、人物ＩＤと、名前と、グループ登録フラグと、関連ＩＤとを管理する属性テーブルと、人物ＩＤと、顔情報と、検出日時と、店舗と、カメラＩＤとを管理する顔情報テーブルの２つのテーブルを、人物ＩＤをキーとして連携させてもよい。参照データベース２５２についても同様である。

図５は、実施形態に係る、関連顔情報の抽出処理を示す図である。

「関連顔情報」とは、図１のステップＳ７において、照合ＯＫフラグが付された顔情報（万引犯の顔情報）に基づき顔情報データベース３５１上で特定される他の人物（共犯者）の顔情報のことである。図５には、万引犯Ｘの共犯者と思われる人物Ｂの顔情報を抽出するまでの流れが示されている。ここでは、共犯者と思われる人物Ｂの顔情報が関連顔情報として抽出される。

制御部３４は、通信部３１を介し、照合装置２から照合情報を取得する。ここでは、照合装置２において、カメラ４により撮像された共犯者Ｘの顔情報が参照データベース２５２において特定される。このため、照合装置２から管理装置３に送信される照合情報には、共犯者Ｘの顔画像および撮像時刻とともに、照合ＯＫフラグ、人物ＩＤ、顔ＩＤ等が含まれる。制御部３４は、取得した照合情報を顔情報データベース３５１に記憶する。そして、制御部３４は、当該照合情報中の照合ＯＫフラグを参照し、人物ＩＤなどを用い、万引犯Ｘが発見されたことを検知する（ステップＳ１１）。ここでは、万引犯Ｘの顔情報は、８月１８日９：００に秋葉原店のカメラＩＤ１のカメラ４にて検出されている。

その後、制御部３４は、万引犯Ｘの顔情報に整合する顔情報を、顔情報データベース３５１から検索し、取得する（ステップＳ１２）。以下では、顔情報データベース３５１に記憶されている顔情報を「被検索顔情報」と定義する。制御部３４は、照合装置から受信した照合情報中の顔情報、すなわち、８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラ４が撮像した画像から検出された万引犯Ｘの顔情報を、検索元となる検索顔情報として設定する。

ここで、被検索顔情報は、顔情報データベースにて管理されている全ての顔情報でもよいし、たとえば、撮像時刻が所定期間内（たとえば、直近６０日間）に含まれる顔情報のみであってもよい。

ステップＳ１２の処理により、制御部３４は、万引犯Ｘの顔情報に整合する顔情報として、８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から検出された顔情報だけでなく、８月１７日、１５：００に品川店のカメラＩＤ１のカメラ４と、８月１６日、１０：００に秋葉原店のカメラＩＤ１のカメラ４でそれぞれ撮像された画像から検出された顔情報も取得する。以下では、これら３つの時刻で取得された３つの万引犯Ｘの顔情報を「第１の被検索顔情報」と定義する。

その後、制御部３４は、取得した複数の第１の被検索顔情報の照合情報から、それぞれ、時刻（ここでは、万引犯Ｘと想定される人物の撮像時刻）を抽出する。そして、制御部３４は、抽出した各時刻に対して前後所定の時間（たとえば、２０分）を付加して時間範囲を設定し、設定した時間範囲において、第１の被検索顔情報と同じ店舗にてそれぞれ検出された他の顔情報を顔情報データベース３５１から検索し、取得する（ステップＳ１３）。ここで、撮像に用いられたカメラ４は、第１の被検索顔情報と第２の検出顔情報との間で同じでなくともよく、同一店舗に設置されたものであればよい。ステップＳ１３の処理にて取得された他の顔情報を「第２の被検索顔情報」と定義する。

図５の例では、８月１８日、９：００に撮像された画像から検出された万引犯Ｘの第１の被検索顔情報に対して、８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から検出された人物Ａの顔情報と、８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から検出された人物Ｂの顔情報が、第２の被検索顔情報として取得されている。

また、８月１７日、１５：００にて撮像された画像から検出された万引犯Ｘの第１の被検索顔情報に対して、８月１７日、１５：０２に品川店のカメラＩＤ１のカメラ４にて撮像された画像から検出された人物Ｂの顔画像が、第２の被検索顔情報として取得されている。さらに、８月１６日、１０：００に撮像された画像から検出された万引犯Ｘの第１の被検索顔情報に対し、８月１６日、１０：０５に秋葉原店のカメラＩＤ２のカメラ４にて撮像された画像から検出された人物Ｃの顔画像と、８月１６日、１０：０２に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から検出された人物Ｃの顔画像と、８月１６日、１０：０１に秋葉原店のカメラＩＤ２のカメラ４にて撮像された画像から検出された人物Ｂの顔情報とが、第２の被検索顔情報として取得されている。

その後、制御部３４は、ステップＳ１３にて検出した第２の被検索顔情報のうち、時間範囲が異なる第２の被検索顔情報を照合し、互いに整合する第２の被検索情報を特定する（ステップＳ１４）。ここで、時間範囲とは、上記のように、第１の被検索顔情報の時刻ごとに設定された時間範囲のことである。図５の例では、第１の被検索顔情報が３回検知されているため、３つの時間範囲の間で、第２の被検索顔情報が照合される。

ここで、人物Ａの第２の被検索顔情報および人物Ｃの第２の被検索顔情報は１つの時間範囲でしか取得されていない。人物Ｃの第２の被検索顔情報は、図５右下に示すように、同一時間範囲において複数回取得されているが、複数の時間範囲では取得されていない。これに対し、人物Ｂの第２の被検索顔情報は、３つの時間範囲のそれぞれにおいて取得されている。すなわち、人物Ｂは万引犯である人物Ｘと同じ店舗に居合わせる頻度が高い。このため、人物Ｂが万引犯Ｘの共犯者である可能性が高いと言える。

このようなロジックの下、制御部３４は、複数の時間範囲の間で互いに整合する第２の被検索顔情報を、共犯者の可能性が高い人物（ここでは人物Ｂ）の顔情報として抽出する。そして、制御部３４は、抽出した第２の被検索顔情報を、万引犯Ｘと関連する人物の顔情報、すなわち、万引犯Ｘの検索顔情報に関連する「関連顔情報」に設定する。ここで、関連顔情報として抽出される第２の被検索顔情報は、複数の時間範囲間において互いに整合する全ての第２の被検索顔情報であってもよく、あるいは、これら第２の被検索顔情報のうち一部であってもよい。当該一部の顔情報は、たとえば、時刻が最新の第２の被検索顔情報であってもよい。

なお、本例において、制御部３４は、人物Ｘの第１の被検索顔情報が取得された３つの時刻にそれぞれ設定した時間範囲全てにおいて、人物Ｂの第２の被検索顔情報が検出された（すなわち、第２の被検索顔情報が互いに整合した）ことにより、人物Ｂの第２の被検索顔情報を、関連顔情報として抽出している。これに限らず、制御部３４は、人物Ｂの第２の被検索顔情報が複数の時間範囲間において２回以上検出されているのであれば、人物Ｂの第２の被検索顔情報を関連顔情報として抽出してもよい。

なお、図１に示した処理フローでは、関連顔情報が抽出されると、そのまま、参照データベース３５２に登録されたが、抽出された関連顔情報を参照データベース３５２に登録してよいか否かをオペレーターに確認するようにしてもよい。

図６は、実施形態に係る、関連顔情報の登録を確認するための確認画面を示す図である。

確認画面ＳＣ１１は、ステップＳ１３にて抽出した関連顔情報を参照データベース３５２に対し登録してもよいか否かを、管理装置３のオペレーターに対し、確認するための画面である。確認画面ＳＣ１１は、検索顔画像表示部ＩＣ１１、ペア候補顔画像表示部ＳＣ１２、撮像履歴ＩＣ１３、ボタンＩＣ１４、および、ボタンＩＣ１５により構成される。

検索顔画像表示部ＩＣ１１には、検索顔情報の顔画像が表示される。ここでは、万引犯Ｘの顔画像が、検索顔画像表示部ＩＣ１１に表示される。すなわち、図５に示された８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から検出された万引犯Ｘの顔画像が検索顔画像表示部ＩＣ１１に表示される。制御部３４は、設定された検索顔情報に対応する関連顔情報を抽出できた場合には、検索顔画像表示部ＩＣ１１に当該設定された検索顔情報の顔画像を表示するように制御する。

なお、検索顔情報の顔画像のみならず、検索顔情報に基づいて参照データベース３５２から抽出された第１の被検索顔情報の顔画像の何れかが、さらに表示されてもよい。

ペア候補人物顔画像表示部ＩＣ１２には、抽出された関連顔情報のうち代表的な関連顔情報の顔画像が表示される。ここで、代表的な関連顔情報とは、たとえば、時刻が最新の関連顔情報である。ここでは、共犯者と思われる人物Ｂの関連顔情報（顔画像）が表示される。

ペア候補人物の撮像履歴ＩＣ１３には、抽出された関連顔情報の一覧を示す表が表示される。当該表において、「ペア候補顔画像」は、抽出された関連顔情報の顔画像である。また、「店舗」および「ペア候補撮像カメラＩＤ」は、それぞれ、当該関連顔情報が取得された店舗およびカメラＩＤであり、「ペア候補撮像時刻」は、当該関連顔情報を含む画像が撮像された時刻である。図５の例では、共犯者Ｂの３つの顔情報に基づく情報が、「店舗」、「ペア候補撮像時刻」、「ペア候補撮像カメラＩＤ」および「ペア候補顔画像」の欄に表示される。

また、「登録人物撮像時刻」および「登録人物撮像カメラＩＤ」は、当該関連顔情報を抽出する元となった第１の被検索顔情報の撮像時刻およびカメラＩＤが表示される。すなわち、図５の例では、時刻が８月１８日、９：００の共犯者Ｂの顔情報（関連顔情報）は、時刻が８月１８日、９：００の万引犯Ｘの顔情報（第１の被検索顔情報）に基づいて抽出されている。したがって、図６に示した撮像履歴ＩＣ１３の上段には、ペア候補撮像時刻が８月１８日、９：００のペア候補顔画像（共犯者Ｂの関連顔情報の顔画像）に対応付けて、８月１８日、９：００の時刻およびカメラＩＤ１（万引犯Ｘの第１の被検索顔情報の撮像時刻およびカメラＩＤ）が、登録人物撮像時刻および登録人物撮像カメラＩＤの欄に表示されている。同様に、撮像履歴ＩＣ１３の中段および下段には、図５に示した残り２つの関連顔情報（共犯者Ｂの関連顔情報）を抽出する元となった第１の被検索顔情報（共犯者Ｘの顔情報）の撮像時刻およびカメラＩＤが表示されている。

ペア候補人物顔画像表示部ＩＣ１２には、ペア候補人物の撮像履歴ＩＣ１３に含まれるペア候補顔画像（関連顔情報）の１つが表示される。オペレーターにより選択されたペア候補顔画像が、ペア候補人物顔画像表示部ＩＣ１２に表示されてもよい。これにより、オペレーターは、ペア候補人物顔画像表示部ＩＣ１２に表示された大きな顔画像で、関連顔情報が取得された人物の顔を確認できる。

ボタンＩＣ１４は、オペレーターの操作に応じ、制御部３４がペア候補として抽出された関連顔情報を参照データベース３５２に登録するためのボタンである。確認画面ＳＣ１１において、オペレーターがボタンＩＣ１４を押下した場合、制御部３４は、ペア候補として抽出された関連顔情報を参照データベース３５２に登録する。ここでは、撮像履歴ＩＣ１３に表示されているペア候補の関連顔情報が登録される。

ボタンＩＣ１４が押下された場合、制御部３４は、検出履歴ＩＣ１３に表示されている全ての関連顔情報を、参照データベース３５２に記憶してもよい。あるいは、検出履歴ＩＣ１３に表示されている関連顔情報の一部をオペレーターに選択させ、選択された関連顔情報のみを参照データベース３５２に登録してもよい。

ボタンＩＣ１５は、オペレーターの操作に応じ、制御部３４が関連顔情報を参照データベース３５２に登録することを中止するためのボタンである。確認画面ＳＣ１１において、オペレーターがボタンＩＣ１５を押下した場合、制御部３４は、関連顔情報の登録を中止する。

次に、照合装置２において行われる顔照合処理について説明する。図７は、顔照合処理のフローチャートである。

制御部２４は、画像取得処理を行う（Ｓ１０１）。すなわち、制御部２４は、通信部２１を介して、カメラ４から画像を取得する。次に、制御部２４は、顔情報取得処理を行う（Ｓ１０２）。すなわち、制御部２４は、ステップＳ１０１にて取得した画像から、人物の顔情報を取得する。ここでは、顔画像が顔情報として取得される。

次に、制御部２４は、照合処理を行う（Ｓ１０３）。すなわち、制御部２４は、ステップＳ１０２にて取得した顔情報が、参照データベース２５２に記憶されたいずれの参照顔情報と整合するか否かの照合処理を行う。なお、いずれかの参照顔情報と整合した場合、制御部２４は、表示部２３に上述の報知情報を表示させる。

次に、制御部２４は、照合情報送信処理を行う（Ｓ１０４）。すなわち、制御部２４は、通信部２１を介し、管理装置３に対して、ステップＳ１０３の照合した結果を含む照合情報を送信する。なお、この際、制御部２４は、当該照合情報を顔情報データベース２５１に記憶してもよい。

次に、管理装置３が行う関連顔情報の登録処理について説明する。図８は、関連顔情報の登録処理のフローチャートである。

制御部３４は、受信部３１を介して、照合装置２から、照合情報を受信する（Ｓ２０１）。制御部３４は、受信した照合情報を、顔情報データベース３５１に記憶する（Ｓ２０２）。

次に、制御部３４は、検索顔情報設定処理を行う（ステップＳ２０３）。すなわち、制御部３４は、ステップＳ２０２で顔情報データベース３５１に記憶した顔情報のうち、照合ＯＫフラグが対応付けられている顔情報を特定し、特定した顔情報を検索顔情報に設定する。図５の例では、８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラにより取得された万引犯Ｘの顔情報が検索顔情報に該当する。

次に、制御部３４は、第１の被検索顔情報取得処理を行う（ステップＳ２０４）。すなわち、制御部３４は、顔情報データベース３５１に記憶された顔情報（被検索顔情報）のうち、ステップＳ２０３にて設置した検索顔情報と整合する顔情報を第１の被検索顔情報として特定する。図５の例では、８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から取得された万引犯Ｘの顔画像、８月１７日、１５：００に品川店のカメラＩＤ１のカメラ４にて撮像された画像から取得された万引犯Ｘの顔画像、８月１６日、１０：００に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から取得された万引犯Ｘの顔画像が、第１の被検索顔情報に該当する。

次に、制御部３４は、第２の被検索顔情報取得処理を行う（ステップＳ２０５）。すなわち、制御部３４は、ステップＳ２０４にて取得された第１の被検索顔情報が検出された時刻から所定の時間範囲に、同じ店舗で検出された他の顔情報を、第２の被検索顔情報として取得する。時間範囲ごとに取得された第２の被検索顔情報は、各時間範囲の設定元である第１の被検索顔情報と「ペアリング」される。

図５の例では、８月１８日、９：００に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から取得された人物Ａ、Ｂの顔情報、８月１７日、１５：０２に品川店のカメラＩＤ１のカメラ４にて撮像された画像から取得された人物Ｂの顔画像、８月１６日、１０：０５に秋葉原店のカメラＩＤ２のカメラ４にて撮像された画像から取得された人物Ｃの顔画像、８月１６日、１０：０２に秋葉原店のカメラＩＤ１のカメラ４にて撮像された画像から取得された人物Ｃの顔画像、および８月１６日、１０：０１に秋葉原店のカメラＩＤ２のカメラ４にて撮像された画像から取得された人物Ｂの顔画像が、第２の被検索顔情報に該当する。

次に、制御部３４は、第２の被検索顔情報の照合処理を行う（ステップＳ２０６）。すなわち、制御部３４は、複数の時間範囲で検出された第２の被検索顔情報同士を互いに照合する。

次に、制御部３４は、整合数が所定値Ｎ以上の第２の被検索顔情報を抽出する（ステップＳ２０７）。まず、ステップＳ２０６の処理において、各々の第２の被検索顔情報について、整合する他の第２の被検索顔情報の数を算出する。たとえば、図５の例では、人物Ａの第２の被検索顔情報の整合数は０、人物Ｃの第２の被検索顔情報の整合数は０、人物Ｂの第２の被検索顔情報の整合数はそれぞれ２となる。そして、整合数が所定値Ｎ以上である第２の被検索顔情報については（Ｓ２０７：ＹＥＳ）、関連顔情報抽出処理がなされる（Ｓ２０８）。一方、整合数が所定値未満の第２の被検索顔情報については（Ｓ２０７：ＮＯ）、処理が終了する。

制御部３４は、ステップＳ２０７の処理において、整合数が所定値Ｎ以上である第２の被検索顔情報を、検索顔情報と関連する関連顔情報として抽出する（Ｓ２０８）。たとえば、所定値Ｎが１に設定された場合、図５の例において、制御部３４は、人物Ｂの顔情報を関連顔情報として抽出し、人物Ａの顔情報および人物Ｂの顔情報は関連顔情報として抽出しない。

次に、制御部３４は、承認操作受付処理を行う（Ｓ２０９）。すなわち、制御部３４は、確認画面ＳＣ１１をオペレーターに対して提示して、ステップＳ２０８にて抽出した関連顔情報を参照データベース３５２に登録してもよいかを、オペレーターに確認する。オペレーターによりボタンＩＣ１４が押下されて、登録許可がなされた場合には、制御部３４は、関連顔情報を参照データベース３５２に対し登録する（Ｓ２１０）。登録の際には、制御部３４は、グループ登録フラグなどを用い、検索顔情報と関連付けて関連顔情報を記憶する。同時に、関連顔情報に対応する人物ＩＤと、検索顔情報に対応する人物ＩＤも関連付けて記憶する。一方、オペレーターによりボタンＩＣ１５が押下されて、登録許可がなされない場合には、制御部３４は、処理を終了する。

ステップＳ２１０に続き、制御部３４は、登録データを送信する（Ｓ２１１）。すなわち、制御部３４は、ステップＳ２１０にて参照データベース３５２に登録した関連顔情報（グループ登録フラグ含む）を、通信部３１を介し、照合装置２に対して送信する。なお、照合装置２は、通信部２１を介して受信した関連顔情報について、参照データベース２５２に対して登録する。

こうして、顔情報管理システム１における関連顔情報の登録処理が終了する。

なお、ステップＳ２０３～ステップＳ２０５の処理において、制御部３４は、予め検索顔情報を整合する第１の被検索顔情報を取得し（ステップＳ２０４）、当該第１の被検索顔情報に基づき、第２の被検索顔情報を取得している（ステップＳ２０５）。第１の被検索顔情報によらず、制御部３４は、被検索顔情報全体から互いに整合する被検索顔情報を第２の被検索顔情報として抽出してもよい。この場合、制御部３４は、互いに整合する第２の被検索顔情報の組み合わせのうち、第１の被検索顔情報の各々が検出された時刻から所定の時間範囲に、各第２の被検索顔情報の時刻がそれぞれ含まれる第２の被検索顔情報の組み合わせを、関連顔情報として抽出すればよい。

ステップＳ２０６の処理においては、複数の時間範囲で検出された第２の被検索顔情報同士を互いに照合する場合を説明したが、同じ時間範囲で検出された第２の被検索顔情報同士も含め、互いに照合してもよい。

また、ステップＳ２０１～Ｓ２０８の処理において、制御部３４は、参照データベース３５２を参照せずとも、通信部３１を介して、参照データベース２５２を参照しながら関連顔情報を抽出してもよい。この場合、制御部３４は、ステップＳ２０２の処理において、記憶部３５に照合情報を記憶する必要がなくなる。これにより、記憶部３５は顔情報データベース３５１も不要となり、データを記憶するために必要なリソースを軽減できる。

また、説明の便宜上、照合情報に係る時刻等の時刻情報については画像がカメラに撮像された時刻、すなわち、カメラに設定された時間軸の時刻が用いられた。これに限らず、照合装置２に設定された時間軸等、他の時間軸の時刻が、照合情報に係る時刻として用いられてもよい。特許請求の範囲に記載の「所定時間軸」とは、カメラが保持する時計の他、照合装置２や管理装置３が保持する時計の時間軸でもよい。必ずしも、撮像時刻でなくてもよく、特徴情報を取得した時刻、照合が完了した時刻等でもよい。また、管理装置３が独自に管理する時間軸であってもよい。

また、ステップＳ２０５における処理において用いられる時間範囲は、ステップＳ２０４にて取得された第１の被検索顔情報が検出された時刻に対し、時間軸が進む方向、戻る方向、両方向の何れに設定されてもよい。

また、ステップＳ２０４の処理において、制御部３４は、顔情報データベース３５１に記憶された顔情報（被検索顔情報）と、ステップＳ２０３で設定した検索顔情報とを照合する処理とは異なる処理により、第１の被検索顔情報を取得してもよい。たとえば、制御部３４は、照合ＯＫフラグとともに照合情報に含まれている人物ＩＤ（属性情報）を用いて、第１の被検索顔情報を顔情報データベース３５１から取得してもよい。図３に示すように、顔情報データベース３５１には、照合装置２において同一人物と判定された顔情報に対して、同一の人物ＩＤが付される。したがって、照合ＯＫフラグとともに照合情報に含まれている人物ＩＤに対して人物ＩＤが一致する顔情報を顔情報データベース３５１から抽出することにより、照合情報に含まれる顔情報（被検索顔情報となる顔情報）に整合する顔情報を、第１の被検索顔情報として、取得することができる。たとえば、照合ＯＫフラグを含む照合情報に、属性情報として人物ＩＤ１００が含まれている場合、制御部３４は、当該人物ＩＤ１００とともに照合ＯＫフラグが付された被検索顔情報を第１の被検索顔情報として顔情報データベース３５１から取得すればよい。この処理によれば、制御部３４は、検索顔情報と、顔情報データベース３５１中の全ての被検索顔情報との照合を行わずとも、第１の被検索顔情報を取得でき、制御部３４の処理負荷を軽減できる。

また、ステップＳ２１１の処理において、制御部３４が関連顔情報を送信する照合装置２は、ステップＳ１０４の処理において、検索顔情報となる顔情報を送信した照合装置２のみに限られない。制御部３４は、通信部３１を介し各店舗の照合装置２に関連顔情報を逐次送信してもよい。

＜実施形態の効果＞
本実施形態によれば、以下の効果が奏される。

（１）図５を参照して説明したように、管理装置３は、制御部３４による処理により、検索顔情報を取得した人物と、複数の時間範囲に亘って居合わせたと想定され得る他の人物の顔情報を、関連顔情報として、顔情報データベースから抽出する。よって、検索顔情報を取得した人物と他の人物の顔情報を効率良くペアリングすることができる。

（２）図４を参照して説明したように、参照データベース３５２および参照データベース２５２は、ペアリングされた人物の顔情報を、グループ登録フラグおよび関連ＩＤを用いて関連付けて記憶する。これにより、たとえば、カメラに映し出された人物が共犯者Ｂであると特定できた場合には、万引犯Ｘの共犯者であることなどをオペレーターに通知することが可能となる。

（３）図８を参照して説明したように、制御部３４は、照合装置２において顔照合により特定された顔情報を、検索顔情報として設定する。そして、制御部３４は、検索顔情報に関連する関連顔情報の抽出処理を行う。これにより、たとえば、照合装置２において特定された顔情報が万引犯に関する顔情報である場合、当該万引犯と関連する人物の関連顔情報が自動的に抽出される。これにより、万引犯の顔情報を検索顔情報として設定する手間を省け、効率よく、ペアリングの抽出作業が行える。

（４）図６を参照して説明したように、制御部３４は、表示部３３を介して、確認画面ＳＣ１１を表示し、確認のための受け付けを行う。このようにオペレーターによる確認作業を経ることにより、不適切な登録を防ぐことができる。

なお、本発明は、上記実施形態によって何ら制限されるものではなく、また、本発明の実施形態も、以下に示す通り、上記以外に種々の変更が可能である。

＜変更例１＞
変更例１に係る顔情報管理システム１においては、第２の被関連顔情報を関連顔情報として抽出するか否かの判定において、さらに、第２の被検索顔情報を取得した場所を特定する場所情報が確認される。たとえば、場所情報として、第２の被検索顔情報の顔画像を撮像したカメラ４が設置された場所（店舗）の情報が用いられる。

以下に、変更例１に係る顔情報管理システム１について説明する。なお、上記実施形態と同じ部分については、説明を省略する。

図９は、変更例１に係る、関連顔情報の登録処理のフローチャートである。

ステップＳ２０７の処理において、整合数が所定値Ｎ以上であると判定された第２の被検索顔情報は、さらに、ステップＳ２１２において、店舗異同の確認処理が行われる。

ステップＳ２１２にて、制御部３４は、互いに整合する第２の被検索顔情報にそれぞれ対応付けて顔情報データベース３５１に記憶されている店舗を比較する。複数組の第２の被検索顔情報がある場合は、各組内で比較する。互いに整合する第２の被検索顔情報の間で店舗（図３の店舗情報）が異なる場合（Ｓ２１２：ＹＥＳ）、制御部３４は、互いに整合する当該第２の被検索顔情報を関連顔情報として抽出する（Ｓ２０８）。一方、整合する複数の第２の被検索顔情報で店舗が異ならない場合（Ｓ２１２：ＮＯ）、制御部３４は、処理を終了する。

なお、顔情報データベース３５１には、店舗の属性（スーパーマーケット、コンビニエンスストア等）が第２の被検索顔情報に対応付けられて記憶されてもよい。この場合、ステップＳ２１２の処理においては、第２の被検索顔情報に対応付けられて顔情報データベース３５１に記憶されている店舗の属性が異なるかが確認されてもよい。

＜変更例１の効果＞
（１）異なる場所（店舗）においても、他の人物が万引犯と居合わせている場合、当該他の人物は、より共犯者である可能性が高い。他方、同じ場所（店舗）において他の人物が万引犯と居合わせている場合、当該他の人物は、当該店舗の常連客であり、たまたま万引犯と居合わせたに過ぎないことも想定され得る。このことから、ステップＳ２１２により、第２の被検索顔情報が取得された場所（店舗）が互いに異なること、すなわち、第２の被検索顔情報が万引犯と異なる場所で居合わせた他の人物から取得されたものであることを、関連顔情報の抽出条件に含めることにより、抽出される関連顔情報を、検索顔情報（万引犯の顔情報）に対してより関連する可能性が高い顔情報に絞り込むことができる。

なお、本変更例１の構成は、以下に示す他の変更例にも適用され得る。

＜変更例２＞
上記実施形態では、図８のステップＳ２０６において、一方の時間範囲において検出された第２の被検索顔情報（照合元）と、他方の時間範囲において検出された第２の被検索顔情報（照合先）とが照合され、他方の時間範囲の第２の被検索顔情報（照合先）に対する整合数が所定値Ｎ以上の場合に、一方の時間範囲の第２の被検索顔情報（照合元）が関連顔情報として抽出された。この場合、たとえば、他方の時間範囲において、同一人物から、照合元の第２の被検索顔情報に整合する第２の被検索顔情報が３つ検出されていると、当該時間範囲における整合数が３となり、照合元の第２の被検索顔情報のトータルの整合数が多くなってしまう。このように、上記実施形態の処理では、各時間範囲において同一人物の顔情報が何回取得されたか、すなわち、各時間範囲において同一人物の顔画像が何回撮像されたかによって、整合数が大きく変動し得る。このため、整合数と所定値Ｎとを比較して安定的に、第２の被検索顔情報を関連顔情報として抽出することがやや難しくなる。

そこで、変更例２では、整合数に代えて、時間範囲の数が、関連顔情報の抽出の判定において用いられる。ここで、時間範囲の数とは、照合元の第２の被検索顔情報に整合する第２の被検索顔情報を含む時間範囲の数のことである。時間範囲の定義は、上記実施形態と同様である。この場合、上記のように、他方の時間範囲において、同一人物から、照合元の第２の被検索顔情報に整合する第２の被検索顔情報が３つ検出されたとしても、時間範囲の数は１つカウントアップされるだけである。すなわち、各時間範囲において同一人物の顔画像が何回撮像されたかによって、時間範囲の数が変動することはない。よって、時間範囲の数と所定値Ｎとを比較して安定的に、第２の被検索顔情報を関連顔情報として抽出することができる。

以下に、変更例２に係る顔情報管理システム１について説明する。なお、上記実施形態と同じ部分については、説明を省略する。

図１０は、変更例２に係る、顔登録処理のフローチャートである。

制御部３４は、ステップＳ２０６の処理の後に、互いに整合する第２の被検索顔情報が含まれる時間範囲の数を求める（Ｓ２１３）。時間範囲の数が所定値Ｎ以上である第２の被検索顔情報（Ｓ２１３：ＹＥＳ）は、ステップＳ２０８において、関連顔情報抽出処理が行われる。一方、時間範囲の数が所定値Ｎ未満である第２の被検索顔情報（Ｓ２１３：ＮＯ）は、関連顔情報抽出処理が行われることなく、処理が終了する。

図１０の処理において、所定値Ｎは、たとえば、２に設定される。この場合、図４の例では、人物Ａの顔情報の時間範囲の数は１つ、人物Ｂの顔情報の時間範囲の数は３つ、人物Ｃの顔情報の時間範囲の数は１つとなるため、人物Ｂの顔情報が関連顔情報として抽出され、人物Ａ、Ｃの顔情報は、関連顔情報として抽出されないこととなる。所定値Ｎは、図８のステップＳ２０７における所定値Ｎと相違していてもよい。

＜変更例２の効果＞
（１）上述のように、１つの時間範囲において、複数回同一人物に係る第２の被検索顔情報が抽出されていても、所定値Ｎと比較される時間範囲の数が変動することはない。これにより、より正確かつ安定的に関連顔情報を抽出することができる。

＜変更例３＞
変更例３に係る顔情報管理システム１においては、上記実施形態と異なり、オペレーターが選択した顔情報が検索顔情報として設定される。

以下に、変更例３に係る顔情報管理システム１について説明する。なお、上記実施形態と同じ部分については、説明を省略する。

図１１（ａ）は、変更例３の第１の構成例に係る、顔画像の選択画面ＳＣ１２であり、図１１（ｂ）は、変更例３の第２の構成例に係る、顔画像の選択画面ＳＣ１３である。

図１１（ａ）の選択画面ＳＣ１２は、たとえば、オペレーターが顔情報データベース３５１に含まれる顔情報から、参照データベース３５２に登録する顔情報の候補を指定することにより表示される。あるいは、外部ＵＳＢから取り込まれた顔情報が、参照データベース３５２に登録する顔情報の候補として指定された場合に、選択画面ＳＣ１２が表示される。図１１（ａ）では、３つの顔情報の顔画像（人物Ａ、Ｘ、Ｂの顔画像）ＩＣ２１が、選択画面ＳＣ１２に含まれている。オペレーターは、選択画面ＳＣ１２が表示された顔画像ＩＣ２１のうち参照データベース３５２に登録しようとする顔画像を選択して、ボタンＩＣ２２を押下する。図１１（ａ）の例では、人物Ｘの顔画像が選択されている。これにより、制御部３４は、選択された顔画像に対応する顔情報を、属性情報等の他の情報とともに、参照データベース３５２に登録する。

こうして登録を行った後、制御部３４は、オペレーターにより選択された顔画像に対応する顔情報を、検索顔情報に設定する。その後、制御部３４は、設定した検索顔情報に基づいて、関連情報を抽出する処理を行う。

図１１（ｂ）の選択画面ＳＣ１３は、たとえば、万引犯として、参照データベース３５２に登録されていない万引犯Ｘの顔情報を検索顔情報に設定する場合に用いられる。たとえば、オペレーターが顔情報データベース３５１に含まれる顔情報から、検索対象の顔情報の候補を指定することにより、選択画面ＳＣ１３が表示される。図１１（ｂ）では、３つの顔情報の顔画像（人物Ａ、Ｘ、Ｂの顔画像）ＩＣ３１が、選択画面ＳＣ１３に含まれている。

オペレーターは、選択画面ＳＣ１３が表示された顔画像ＩＣ３１のうち検索顔情報の顔画像に設定しようとする顔画像を選択して、ボタンＩＣ３２を押下する。図１１（ｂ）の例では、人物Ｘの顔画像が選択されている。これにより、制御部３４は、選択された顔画像に対応する顔情報を、検索顔情報に設定する。その後、制御部３４は、設定した検索顔情報に基づいて、関連情報を抽出する処理を行う。

図１２は、変更例３に係る、関連顔情報の登録処理のフローチャートである。

制御部３４は、検索顔情報受付処理を行う（ステップＳ２１４）。すなわち、図１１（ａ）、（ｂ）に示された選択画面ＳＣ１２、ＳＣ１３を介して、オペレーターから検索顔情報の選択を受け付ける。制御部３４は、ステップＳ２１４にて受け付けた検索顔情報を、検索顔情報として設定し（Ｓ２０３）、前述と同様の処理をする。

なお、図１１（ａ）の構成例では、オペレーターの操作に応じて、参照データベース３５２に自動で登録された顔情報が検索顔情報として設定された。これに限らず、たとえば、万引き防止システム（Electronic Article Surveillance）等の外部装置との連携により、制御部３４が、外部装置において万引が検知された際に検出した顔情報を自動で登録するような場合、当該自動で登録された顔情報が検索顔情報として設定されてもよい。

＜変更例３の効果＞
本変更例によれば、以下の効果が奏される。

（１）図１１（ａ）の構成例では、オペレーターにより新規に参照データベースに登録された顔情報に基づき、関連顔情報が抽出される。これにより、新規に登録される顔情報について、直ちに、関連顔情報がペアリングされる。よって、より効率的に、関連顔情報のペアリングを行うことができる。

（２）図１１（ｂ）の構成例では、オペレーターにより任意に選択された顔情報に基づき、関連顔情報が抽出される。これにより、たとえば、参照データベース３５２に登録されていない顔情報であっても、関連顔情報を抽出することができる。

＜変更例４＞
変更例４に係る顔情報管理システム１においては、上記実施形態と異なり、照合装置２において、照合処理だけでなく、関連顔情報の抽出も行う。

以下に、変更例４に係る顔情報管理システム１について説明する。なお、上記実施形態と同じ部分については、説明を省略する。

図１３は、変更例４に係る、顔情報管理システム１の構成を示すブロック図である。本変更例においては、管理装置３にて、関連顔情報の抽出が行われない。

照合装置２の記憶部２３は、顔情報管理プログラム２５３を記憶する。

図１４は、変更例４に係る、関連顔情報の登録処理のフローチャートである。

図１４のステップ３０１～ステップＳ３０３において、制御部２４は、図７のステップＳ１０１～ステップＳ１０３と同様の処理を行う。これらの処理により、撮像画像に基づく照合情報が生成される。上記のように、照合情報には、撮像画像から取得された顔情報と、照合結果（照合ＯＫフラグ／照合ＮＧフラグ）が含まれる。

ステップＳ３０４～ステップＳ３１２において、制御部２４は、図８のステップＳ２０２～ステップＳ２１０と同様の処理を行う。ここで、制御部２４は、照合装置２の記憶部２５に保持された顔情報データベース２５１および参照データベース２５２を用いて、これらステップの処理を行う。記憶処理（Ｓ３０４）では、照合情報を顔情報データベース２５１に登録する処理が行われる。検索顔情報設定処理（Ｓ３０５）では、照合ＯＫフラグが付された照合情報に含まれる顔情報が、検索顔情報に設定される。設定された検索顔情報に基づいて、顔情報データベース２５１から、第１の被検索顔情報が取得され、さらに、第２の被検索顔情報が取得される（Ｓ３０６、Ｓ３０７）。そして、第２の被検索顔情報に対する照合処理により、整合数が取得され、整合数と所定値Ｎとを比較して、関連顔情報が抽出される（Ｓ３０８～Ｓ３１０）。抽出された関連顔情報は、オペレーターの承認を経た後、参照データベース２５２に登録される（Ｓ３１１、Ｓ３１２）。こうして、処理が終了する。

なお、ステップＳ３１３にて、照合装置２の参照データベース２５２に登録された関連顔情報は、たとえば、他店舗等の他の拠点の照合装置２に送信してもよい。この場合、他の拠点の照合装置２においても当該参照顔情報を登録できる。よって、他の拠点の照合装置２において、関連顔情報に係る人物がカメラ４で撮像された場合に、当該人物を特定することができる。

＜変更例４の効果＞
本変更例によれば、以下の効果が奏される。

（１）図１３、図１４を参照して説明したように、照合装置２において、関連顔情報が抽出されて登録される。これにより、外部の管理装置３と接続を行うような大規模システムでなくとも、万引犯に関連する人物を管理できる。

＜変更例５＞
変更例５に係る顔情報管理システム１においては、実施形態と異なり、予め関連人物となり得る人物の顔情報が自動で仮登録される。そして、顔情報管理システム１は、仮登録した仮顔情報について、整合する第２の被検索顔情報が取得できた場合には、関連顔情報として抽出を行う。

以下に、変更例５に係る顔情報管理システム１について説明する。なお、実施形態と同じ部分については、説明を省略する。

図１５は、変更例５に係る、顔情報管理システムの構成を示すブロック図である。

仮顔情報データベース３５４は、整合数が所定の値以上である第２の被検索顔情報を、照合用の顔情報として、仮に登録しておくデータベースである。仮顔情報データベース３５４は、記憶部３５に保持されている。仮顔情報データベース３５４は、参照データベース３５２とは別に管理される。また、制御部３４は、第２の被検索顔情報を互いに照合するよりも先に、当該第２の被検索顔情報と仮顔情報データベース３５４に記憶された仮顔情報とを照合し、当該第２の被検索顔情報が何れかの仮顔情報に整合するか否かを特定する。

図１６は、変更例５に係る、顔登録処理のフローチャートである。

制御部３４は、ステップＳ２０８にて取得した第２の被検索顔情報を、仮記憶データベース３５４に登録されている仮顔情報と照合する（Ｓ２１７）。そして、仮記憶データベース３５４に登録された何れかの顔情報と整合する第２の被検索顔情報を抽出する。

ステップＳ２１７の処理において、仮記憶データベース３５４に登録された何れかの仮顔情報と整合する第２の被検索顔情報が抽出された場合（Ｓ２１８：ＹＥＳ）、制御部３４は、整合する仮顔情報と第２の被検索顔情報の少なくとも一方を関連顔情報として抽出する（Ｓ２０８）。その後、制御部３４は、抽出した関連顔情報を、ステップＳ２０９～ステップＳ２１１の処理により、参照データベース２５２に登録するとともに、照合装置２に送信する。

一方、ステップＳ２１８の処理において、仮記憶データベース３５４に登録された何れかの仮顔情報と整合する第２の被検索顔情報が抽出されなかった場合（Ｓ２１８：ＮＯ）、制御部３４は、第２の被検索顔情報同士の照合処理を実行する（Ｓ２０６）。そして、制御部３４は、整合数が所定値Ｎ以上の第２の被検索顔情報（Ｓ２１８：ＹＥＳ）に対し、仮顔情報の抽出処理を実行し（Ｓ２１５）、抽出した仮顔情報を仮顔情報データベースに登録する（Ｓ２１６）。こうして、管理装置３における関連顔情報の登録処理が終了する。

なお、変更例５において、ステップＳ２０７の判定に使用する所定値Ｎは、実施形態における所定値Ｎよりも小さな値であってもよい。すなわち、整合数が少ない第２の被検索顔情報であっても、関連顔情報の候補として仮登録が行われてもよい。

なお、ステップＳ２１０の処理において登録処理がなされた場合、制御部３４は、ステップＳ２１７の処理において第２の被検索顔情報と整合した仮顔情報を、仮記憶データベース３５４から消去してもよい。

＜変更例５の効果＞
本変更例によれば、以下の効果が奏される。

（１）図１５、図１６を参照して説明したように、第２の被検索顔情報と仮記憶データベース３５４に記憶された仮顔情報との照合がなされ、第２の被検索顔情報が仮顔情報に整合した場合に、当該第２の被検索顔情報が関連顔情報として抽出される。よって、顔情報データベースから取得された全ての第２の被検索顔情報を互いに照合する場合よりも、照合数が少なくなり、効率的に関連顔情報の抽出処理が行える。

＜その他の変更例＞
本実施形態では、万引犯とその共犯者の顔情報を互いに関連付ける場合を例に挙げたが、本発明は、他の人物間の顔情報を関連付ける場合にも適宜用いられ得る。

また、照合装置２および管理装置３が設置される場所も、店舗や金融機関に限られるものではなく、他の場所であってもよい。顔情報管理システムの構成も、図１に示した構成に限られるものではない。

その他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜変更可能である。

１ 顔情報管理システム（顔情報管理システム）
２ 照合装置（顔情報管理装置）
３ 管理装置（顔情報管理装置）
４ カメラ
２１ 通信部
２２ 操作部
２３ 表示部
２４ 制御部
２５ 記憶部
２５１ 顔情報データベース
２５２ 参照データベース
２５３ 顔情報管理プログラム
２５４ 仮顔情報データベース
３１ 通信部（取得部）
３２ 操作部（操作部、受付部）
３３ 表示部（表示部）
３４ 制御部（制御部、設定部）
３５ 記憶部
３５１ 顔情報データベース
３５２ 参照データベース
３５３ 顔情報管理プログラム

Claims (16)

1. 人物の顔画像または顔画像の特徴情報からなる顔情報を管理する顔情報管理システムにおいて、
   画像を取得する少なくとも１つの取得部と、
   前記取得部が取得した画像から顔情報を抽出する抽出部と、
   抽出された全ての前記顔情報を、被検索対象となり得る被検索顔情報として、前記画像が取得された所定時間軸上の時刻に関連付けて顔情報データベースとして記憶する記憶部と、
   検索対象となる検索顔情報を設定し、前記検索顔情報が取得された人物と、複数の時間範囲において居合わせた他の人物の前記被検索顔情報を、前記検索顔情報と関連する関連顔情報として前記顔情報データベースから抽出する制御部と、
   を備えることを特徴とする顔情報管理システム。
2. 前記制御部は、
   前記検索顔情報と整合する複数の第１の被検索顔情報を前記顔情報データベースから取得する処理と、互いに整合する第２の被検索顔情報を前記顔情報データベースから取得する処理とに基づいて、前記複数の第１の被検索顔情報の前記各時刻に対する所定の時間範囲に前記時刻が含まれる前記第２の被検索顔情報を、前記関連顔情報として抽出する、
   ことを特徴とする請求項１に記載の顔情報管理システム。
3. 前記制御部は、
   前記複数の第１の被検索顔情報の前記各時刻に対して、所定の時間範囲に前記時刻が含まれる第２の被検索顔情報を、前記顔情報データベースから取得し、取得した前記第２の被検索顔情報のうち、少なくとも前記時間範囲が異なる前記第２の被検索顔情報を互いに照合し、照合結果に基づき、前記関連顔情報を、前記第２の被検索顔情報から抽出する
   ことを特徴とする請求項２記載の顔情報管理システム。
4. 前記制御部は、
   前記顔情報データベースから取得した前記第２の被検索顔情報のうち、前記時間範囲が異なる前記第２の被検索顔情報を互いに照合し、他の時間範囲に含まれる前記第２の被検索顔情報に対する整合数に基づき、前記関連顔情報を前記第２の被検索顔情報から抽出する
   ことを特徴とする請求項３記載の顔情報管理システム。
5. 前記制御部は、
   前記顔情報データベースから取得した前記第２の被検索顔情報のうち、前記時間範囲が異なる前記第２の被検索顔情報を互いに照合し、整合する他の第２の被検索顔情報の前記時刻が含まれる前記所定の時間範囲の数に基づき、前記関連顔情報を前記第２の被検索顔情報から抽出する
   ことを特徴とする請求項３または４記載の顔情報管理システム。
6. 前記制御部は、
   前記時刻が所定の期間内に含まれる前記被検索顔情報を対象として、前記検索顔情報と整合する前記複数の第１の被検索顔情報を抽出する
   ことを特徴とする請求項２ないし５いずれか一項記載の顔情報管理システム。
7. 前記顔情報データベースは、前記被検索顔情報を取得した画像を撮像した場所を特定する場所情報を前記被検索顔情報に関連付けて記憶し、
   前記制御部は、
   前記照合結果、および、互いに整合する他の前記第２の被検索顔情報との間で前記場所情報が所定の条件を満たすか否かに基づいて、前記関連顔情報を抽出する
   ことを特徴とする請求項３ないし５いずれか一項記載の顔情報管理システム。
8. 前記制御部は、
   前記抽出した関連顔情報を、前記検索顔情報と対応付けて前記記憶部に記憶させる
   ことを特徴とする請求項１ないし７いずれか一項記載の顔情報管理システム。
9. 前記記憶部は、
   参照用の顔情報である参照顔情報を記憶する参照データベース
   をさらに記憶し、
   前記制御部は、
   前記抽出した関連顔情報を、前記参照データベースに記憶させる
   ことを特徴とする請求項１ないし８いずれか一項記載の顔情報管理システム。
10. 前記制御部は、
    抽出した前記関連顔情報を前記参照データベースに記憶させるための承認操作を受け付け、前記承認操作を受け付けたことに基づいて、前記関連顔情報を前記参照データベースに記憶させる
    ことを特徴とする請求項９記載の顔情報管理システム。
11. 前記制御部は、
    前記取得部が取得した画像から顔情報を検出し、検出した顔情報と前記参照データベースに記憶された参照顔情報とを照合し、
    前記検出した顔情報に整合する参照顔情報が前記参照データベースにある場合には、前記検出した顔画像を検索顔情報に設定する
    ことを特徴とする請求項９または１０記載の顔情報管理システム。
12. 前記制御部は、
    前記参照データベースに新規に記憶された前記参照顔情報を、前記検索顔情報に設定する
    ことを特徴とする請求項９ないし１１いずれか一項記載の顔情報管理システム。
13. 前記記憶部に記憶された顔情報を表示するための表示部と、
    前記表示部に表示された顔情報を指定するための操作を行うための操作部とをさらに備え、
    前記制御部は、
    前記操作部を介して指定された顔情報を、前記検索顔情報として受け付ける
    ことを特徴とする請求項１ないし１２いずれか一項記載の顔情報管理システム。
14. 前記記憶部は、
    前記関連顔情報を、前記検索顔情報または前記第１の被検索顔情報の少なくとも一方を示す仮記憶顔情報と対応付けて仮記憶する仮顔情報データベースをさらに記憶し、
    前記制御部は、
    他の検索顔情報と整合する、前記仮記憶顔情報を、前記仮顔情報データベースから特定し、特定した前記検索顔情報または前記第１の被検索顔情報と対応付けて仮記憶されている前記関連顔情報を、前記仮顔情報データベースから取得し、
    前記仮顔情報データベースから取得した関連顔情報と整合する前記第２の被検索顔情報を、前記他の検索顔情報に関連する関連顔情報として抽出する
    ことを特徴とする請求項２ないし７いずれか一項記載の顔情報管理システム。
15. 人物の顔画像または顔画像の特徴情報からなる顔情報を顔情報管理システムにおいて管理する顔情報管理方法において、
    少なくとも１つの取得部が取得した画像から顔情報を抽出し、
    抽出した全ての前記顔情報を、被検索対象となり得る被検索顔情報として、前記画像が取得された所定時間軸上の時刻に関連付けて顔情報データベースとして記憶させ、
    検索対象となる検索顔情報を設定し、前記検索顔情報が取得された人物と、複数の時間範囲において居合わせた他の人物の前記被検索顔情報を、前記検索顔情報と関連する関連顔情報として前記顔情報データベースから抽出する顔情報管理方法。
16. 人物の顔画像または顔画像の特徴情報からなる顔情報を管理する顔情報管理装置の制御部に、
    少なくとも１つの取得部が取得した画像から顔情報を抽出し、
    抽出した全ての前記顔情報を、被検索対象となり得る被検索顔情報として、前記画像が取得された所定時間軸上の時刻に関連付けて顔情報データベースとして記憶させ、
    検索対象となる検索顔情報を設定し、前記検索顔情報が取得された人物と、複数の時間範囲において居合わせた他の人物の前記被検索顔情報を、前記検索顔情報と関連する関連顔情報として前記顔情報データベースから抽出する機能を実行させるプログラム。

Images