JP7248097B2 - 辞書生成装置、生体認証装置、辞書生成方法、およびプログラム - Google Patents

Description

本発明は、辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体に関し、例えば、生体認証に用いられる人物辞書を生成する辞書生成装置等に関する。

学習塾や学校などの施設には、多数の人物が頻繁に出入りする。そのため、これらの施設へ侵入しようとする不審者を発見することが困難である。関連する技術では、これらの施設に立ち入ることを許可する人物の顔画像を、辞書（ホワイトリストとも呼ぶ）に登録している。そして、施設の出入り口などの要所に配置した監視カメラによって、辞書に登録されていない人物を発見した場合、警報を発報したり、関係者に危険を通報したりする。

特許文献１には、人物にパスワードやバーコードを提示させることによって、権限者の介在なしに、人物に関する情報を登録する方法が示されている。

特開２００９－２０５３９３号公報 特開２００４－１５７６０２号公報

特許文献１に記載の技術では、多数の人物に関する情報を手動で辞書に登録するために、多大な時間及び労力を要する。特に、学習塾や学校では、入学、転入および卒業などによって、学生が頻繁に入れ替わるため、辞書を作成する手間が大きい。

本発明の目的は、監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる辞書生成装置等を提供することにある。

本発明の一態様に係わる辞書生成装置は、所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算する類似度計算手段と、前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定する登録手段とを備えている。

本発明の一態様に係わる辞書生成方法は、所定のエリア内で時間をおいて撮影された複数の画像を取得し、前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算し、前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定することを含む。

本発明の一態様に係わる記録媒体は、所定のエリア内で時間をおいて撮影された複数の画像を取得することと、前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算することと、前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶している。

本発明の一態様に係わる監視システムは、人物検出手段と、辞書生成装置と、生体認証装置と、を備えた監視システムであって、前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、前記辞書生成装置は、前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算する類似度計算手段と、前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定する登録手段とを備え、前記生体認証装置は、前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第１の人物とを照合する照合手段と、前記照合手段による照合結果を出力する出力手段とを備えている。

本発明によれば、監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる。

実施形態１に係わる監視システムの構成を示すブロック図である。 実施形態１に係わる監視システムの人物検出部が実行する処理の流れを示す。 実施形態１に係わる監視システムに含まれる監視カメラと、監視カメラの視野内の人物とを示す。 実施形態１に係わる辞書生成装置の構成を示すブロック図である。 人物の間の類似度を表す表である。 実施形態１に係わる辞書生成装置の各部が実行する処理の流れを示すフローチャートである。 実施形態１に係わる生体認証装置の構成を示すブロック図である。 実施形態１に係わる生体認証装置が実行する処理の流れを示す。 実施形態２に係わる辞書生成装置の構成を示すブロック図である。 実施形態２に係わる辞書生成装置が実行する処理の流れを示す。 実施形態２に係わる人物検出部が検出した人物を時系列で示す。 ある時刻において、人物の検出回数を示す棒グラフである。 別の時刻において、人物の検出回数を示す棒グラフである。 さらに別の時刻において、人物の検出回数を示す棒グラフである。 実施形態３に係わる辞書生成装置の構成を示すブロック図である。 実施形態３に係わる辞書生成装置が登録期間中に実行する処理の流れを示すフローチャートである。 人物の間の類似度の累計を示す棒グラフである。 実施形態４に係わるハードウェア機器の構成を示す。

図面中の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

〔実施形態１〕
本発明の実施形態１について、以下で説明する。

図１は、本実施形態１に係わる監視システム１の構成を示すブロック図である。図１に示す監視システム１は、複数台のカメラ１０と、人物検出部２０と、辞書生成装置３０と、生体認証装置４０と、人物辞書５０と、報知部６０とを備えている。なお、監視システム１は、カメラ１０および報知部６０の少なくとも一方を備えていなくてもよい。監視システム１は、学校の敷地などの監視エリア内に配置された複数台のカメラ１０によって、不審人物を発見し、警報などによって関係者に危険を通知する。カメラ１０の台数は、１台以上であればよく、特に限定されない。各カメラ１０は、所定の時間間隔Δｔ（たとえば、１０分）で、撮影領域内の被写体を時系列の画像（動画、または複数の静止画）で撮影する。

人物検出部２０について説明する。人物検出部２０は、人物検出手段の一例である。

人物検出部２０は、複数台のカメラ１０が撮影した時系列の画像（動画、または複数の静止画）をリアルタイムで取得し、取得した各画像から人物の領域を検出する。具体的には、人物検出部２０は、取得した各画像から、人物らしさを示す特徴（例えばＨＯＧ；Histogram of Oriented Gradients、ＳＩＦＴ；Scale-invariant feature transform、あるいはＳＵＲＦ；Speeded-Up Robust Features）を有する画像領域を抽出する。なお、以下では、人物検出部２０が各画像から人物の領域を検出することを、人物検出部２０が人物を検出するという。なお、監視システム１がカメラ１０を備えていない場合、人物検出部２０は、例えば、図示しない録画装置に格納された時系列の画像を取得する。

図４を参照して後述するように、辞書生成装置３０の画像取得部３１は、所定のエリア内で時間をおいて撮影された複数の画像を、人物検出部２０から受信する。例えば、画像取得部３１が取得する画像は、所定時間おき、同一曜日の同一時刻、または所定のトリガーに基づいて撮影されたものである。人物検出部２０から送信された画像には、それぞれ、人物が含まれている。画像取得部３１は、受信した複数の画像から、複数の人物画像を生成し、特徴抽出部３２へ複数の人物画像を送信する。人物画像は、１人の人物の領域を含む画像である。人物画像は、画像取得部３１が人物検出部２０から受信した画像そのものであってもよいし、その一部であってもよい。また人物画像は、人物の一部（例えば顔や瞳）のみを含んでいてもよい。

特徴抽出部３２は、複数の人物画像にそれぞれ含まれる人物の特徴を抽出する。たとえば、特徴抽出部３２は、人物画像に含まれる人物の顔や瞳の領域から、人物の顔や瞳に関する特徴を示す情報を抽出する。

辞書生成装置３０の登録部３４は、後述する所定の処理の後に、監視エリアへの立ち入りを許可する人物に関する情報を、人物辞書５０に登録する。本実施形態１では、登録部３４は、人物に関する情報として、人物の領域を含む人物画像を、人物辞書５０に登録する。人物画像は、人物の一部（例えば顔）のみを含んでいてもよい。また、登録部３４は、特徴抽出部３２により抽出された人物の特徴も、人物辞書５０に登録してもよい。

あるいは、特徴抽出部３２が、人物の特徴として、虹彩パターンを抽出する場合、登録部３４は、人物に関する情報として、人物の瞳を含む画像を、人物辞書５０に登録してもよい。また、登録部３４は、人物に関する情報として、特徴抽出部３２により抽出された虹彩パターンを、人物辞書５０に登録してもよい。しかしながら、登録部３４が人物辞書５０に登録する情報は、この例に限定されない。

辞書生成装置３０の詳細な構成については後述する。

人物検出部２０の動作について説明する。図２および図３を参照して、本実施形態に係わる人物検出部２０が実行する処理の流れを説明する。図２は、人物検出部２０が実行する処理の流れを示すフローチャートである。図３は、登録期間中のある時刻ｔ１において、カメラ１０の視野内にいる人物Ａ～Ｃを示す。登録期間は、人物に関する情報（例えば、人物の領域を含む人物画像、および／または人物の特徴）を、辞書生成装置３０が人物辞書５０に登録する期間である。

図２に示すように、人物検出部２０は、カメラ１０が時刻ｔ１に撮影した画像ｐ１を取得する（Ｓ１）。

次に、人物検出部２０は、画像ｐ１内の人物Ａ～Ｃを検出する（Ｓ２）。具体的には、人物検出部２０は、人物らしさを表す特徴に基づいて、人物Ａ～Ｃを含む領域（あるいは人物の領域と呼ぶ場合がある）を、画像ｐ１から検出する。なお、人物検出部２０は、画像ｐ１から人物を検出することができなかった場合、カメラ１０から次の画像を取得するまで待機する。

図２に示すステップＳ２の後、人物検出部２０は、現在が登録期間中であるかどうかを判定する（Ｓ３）。例えば人物検出部２０は、タイマーによって、現在が登録期間中であるかどうかを判定する。登録期間に入ったとき、人物検出部２０は、辞書生成装置３０へ開始信号を送信する。辞書生成装置３０は開始信号を受信したときに、待機状態から復帰する。また、登録期間が終了したとき、人物検出部２０は、辞書生成装置３０へ終了信号を送信する。辞書生成装置３０は終了信号を受信したときに、待機状態に遷移する。

なお、登録期間は、自由に設定および変更されてよい。登録期間は、一定の休止期間（インターバル）を含んでいてもよいし、管理者または関係者の判断によって、中断されてもよい。また、登録期間は、画像の送信元であるカメラ１０ごとに決定されていてもよい。あるいは、登録期間は存在しなくてもよい。登録期間がない場合、図２のステップＳ３は省略されて、図２に示すステップＳ４およびステップＳ５の処理が実行される。ステップＳ４およびステップＳ５の処理の順番は問わない。

現在が登録期間中である場合（Ｓ３でＹｅｓ）、人物検出部２０は、人物Ａ～Ｃを含む画像ｐ１を、辞書生成装置３０へ送信する（Ｓ４）。一方、現在は登録期間中でない場合（Ｓ３でＮｏ）、人物検出部２０は、人物Ａ～Ｃを含む画像ｐ１を、生体認証装置４０へ送信する（Ｓ５）。

図２に示すステップＳ４またはステップＳ５の後、フローはステップＳ１へ戻る。そして、人物検出部２０は、登録期間中の時刻ｔ２（＞ｔ１）に撮影された他の画像をカメラ１０から取得する。このようにして、人物検出部２０は、カメラ１０が撮影した時系列の画像を順番に取得して、各画像から人物を検出する処理を繰り返す。なお、時刻ｔ１から時刻ｔ２までの時間、すなわちステップＳ１～Ｓ５の処理が繰り返される周期（上述の時間間隔Δｔと対応）は、例えば１０分である。この周期は、監視システム１の使用環境に応じて、十分に長く設定されることが好ましい。周期が短すぎる場合、カメラ１０の視野内にいる人物が移動しないので、人物検出部２０は、同じ人物を連続して検出することになる。

なお、監視システム１では、辞書生成装置３０へ送信される画像を撮影するカメラ１０と、生体認証装置４０へ送信される画像を撮影するカメラ１０とが別々であってもよい。その場合、人物検出部２０は、画像の送信元であるカメラ１０がどちらであるのかを判別する。

次に、辞書生成装置３０について説明する。

本実施形態１に係わる辞書生成装置３０は、登録期間中、監視エリアへの立ち入りを許可する人物に対応する人物画像を、人物辞書５０に登録する。

図４は、本実施形態１に係わる辞書生成装置３０の構成を説明するためのブロック図である。具体的には、図４には、図１の一部の構成として、辞書生成装置３０と、人物検出部２０と、人物辞書５０とが、示されている。また、図４には、辞書生成装置３０の詳細構成が示されている。図４に示すように、辞書生成装置３０は、画像取得部３１と、特徴抽出部３２と、類似度計算部３３と、登録部３４とを備えている。

画像取得部３１は、画像取得手段の一例である。特徴抽出部３２は、特徴抽出手段の一例である。類似度計算部３３は、類似度計算手段の一例である。登録部３４は、登録手段の一例である。

画像取得部３１は、人物検出部２０から、所定のエリア内で時間をおいて撮影された複数の画像を取得する。これらの画像は、カメラ１０が撮影した時系列の画像に相当する。画像取得部３１が取得する各画像は、それぞれ人物を含む。ここでは、画像取得部３１は、登録期間中、人物Ａ～Ｇを含む７枚の画像を受信する。人物Ａ～Ｇは、それぞれ異なる画像に含まれるとする。画像取得部３１は、受信した複数の画像から、人物Ａ～Ｇの領域を検出し、人物Ａ～Ｇにそれぞれ対応する複数の人物画像を生成する。複数の人物画像は、人物Ａ～Ｇの領域をそれぞれ含む画像である。人物画像の生成については、図６のフローチャートを用いて後述される。画像取得部３１は、生成した複数の人物画像を、特徴抽出部３２へ送信する。

特徴抽出部３２は、画像取得部３１から複数の人物画像を受信する。さらに、特徴抽出部３２は、複数の人物画像から、人物Ａ～Ｇの特徴（例えばＨＯＧ）をそれぞれ抽出する。特徴抽出部３２は、受信した各人物画像に対し、その人物画像から抽出した人物Ａ～Ｇの特徴を紐付けたデータを生成する。特徴抽出部３２は、こうして生成したデータを、類似度計算部３３へ送信する。

類似度計算部３３は、特徴抽出部３２から、複数の人物画像と、それぞれの人物画像に対して紐付けられた人物Ａ～Ｇの特徴とを含むデータを受信する。類似度計算部３３は、複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度（以下、人物の間の類似度または単に類似度と記載する）を計算する。

一例では、人物の特徴はバイナリデータで表されており、類似度計算部３３は、人物の特徴の間のハミング距離を計算して、計算したハミング距離に基づいて、類似度を計算する。例えば、類似度計算部３３は、ハミング距離を０から１までの値に正規化し、１から正規化したハミング距離を減算することで、類似度を計算する。これにより、類似度は、０から１までの値を取る。人物の特徴の間のハミング距離が近いほど、類似度は１に近づき、ハミング距離が遠いほど、類似度は０に近づく。

具体的には、類似度計算部３３は、複数の人物Ａ～Ｇの中から、任意の２人の人物の組み合わせを選択する。そして、類似度計算部３３は、選択した２人の人物の間の類似度を計算する。例えば、第１の人物が人物Ａであるとすれば、第２の人物は人物Ｂ～Ｇである。この場合、類似度計算部３３は、人物Ａと人物Ｂ～Ｇとの間の類似度をそれぞれ算出する。

図５の表は、以上のように計算された人物Ａ～Ｇの間の類似度の一例を示している。類似度は、０から１．００の間の数値で表される。図５の表において、縦の列及び横の行は、それぞれ一人の人物に対応する。縦の列が示す人物Ａ～Ｇの特徴と、横の行が示す人物Ａ～Ｇの特徴との間の類似度が、列と行とが交差する枠内に記載されている。例えば、図５に示す表によれば、人物Ａと人物Ｂとの間の類似度は、０．３２である。

類似度計算部３３は、人物Ａ～Ｇに対応する複数の人物画像と、人物Ａ～Ｇの間の類似度の計算結果とを含むデータを、登録部３４へ送信する。

登録部３４は、人物辞書５０に接続されている。登録部３４は、類似度計算部３３から、人物Ａ～Ｇに対応する複数の人物画像と、人物Ａ～Ｇの間の類似度の計算結果（図５参照）とを含むデータを受信する。登録部３４は、類似度計算部３３により計算された類似度に基づいて、人物Ａ～Ｇに関する各情報を、人物辞書５０に登録するか否かを決定する。具体的には、登録部３４は、第１の人物と第２の人物との間の類似度が閾値を超えた場合、第１の人物に関する情報を人物辞書５０に登録する。閾値は任意に設定されてよい。

例えば、第１の例では、上述した閾値が０．８であるとする。図５に示す人物Ａと人物Ｆとの間の類似度は０．８８である。この場合、登録部３４は、人物Ａに関する情報を人物辞書５０に登録する。第２の例では、閾値が０．９０であるとする。人物Ａと他の人物Ｂ～Ｇとの間の類似度は、いずれも閾値を超えない。この場合、登録部３４は、人物Ａに関する情報を人物辞書５０に登録しない。

第１の人物の第２の人物との間の類似度が高いことは、第１の人物と第２の人物とが同一である可能性が高いことを意味する。すなわち、２つの人物画像に同一人物が映っている。よって、第１の人物は、少なくとも２回、監視エリア内に立ち入っている。登録部３４は、このような第１の人物に関する情報のみを人物辞書５０に登録する。一方、不審者が１度だけ監視エリア内に侵入し、カメラ１０によってこの不審者が撮影されたとする。この場合、不審者に対応する人物画像は１つだけである。辞書生成装置３０が、不審者と他の人物とを正確に識別できる限り、登録部３４は、この不審者に関する情報を人物辞書５０に登録することはない。

このように、辞書生成装置３０は、少なくとも２回、監視エリア内に立ち入っている第１の人物を、立ち入りを許可される人物として判別し、そのような第１の人物のみを人物辞書５０に登録する。したがって、監視エリアへの立ち入りを許可される人物に関する情報を格納した人物辞書５０を簡単に生成できる。

次に、人物辞書５０について説明する。図１に示すように、人物辞書５０は、辞書生成装置３０の登録部３４と、生体認証装置４０とに接続されている。

人物辞書５０には、人物に関する情報として、辞書生成装置３０の登録部３４が登録した人物画像が格納されている。しかしながら、後述するように、人物辞書５０には、人物画像以外にも、人物に関する情報が格納されていてもよい。監視システム１は、人物辞書５０に登録された人物に関する情報を、管理者や関係者が自由に閲覧および編集することが可能であるように、構成されていてよい。

人物辞書５０の変形例について説明する。

一変形例では、人物辞書５０は複数あってもよい。例えば、カメラ１０ごと、カメラ１０が配置されているエリアごと、あるいは時間帯ごとに、異なる人物辞書５０が存在する。本変形例では、生体認証装置４０は、１または複数のエリアにおいて生体認証に使用される人物辞書５０を組み合わせて、他のエリアにおける生体認証のために使用してもよい。

本変形例の構成によれば、例えば、生体認証装置４０は、図示しない第１エリアおよび第２エリアの両方への立ち入りを許可されている人物に対し、図示しない第３エリアへの立ち入りも自動的に許可することができる。あるいは、生体認証装置４０は、第１エリアおよび第２エリアのうち少なくとも一方への立ち入りを許可されている人物に対し、第３エリアへの立ち入りも自動的に許可することもできる。

次に、辞書生成装置３０の動作について説明する。

図６を参照して、辞書生成装置３０の動作を説明する。図６は、実施形態１に係わる辞書生成装置３０の各部が実行する処理の流れを示すフローチャートである。

図６に示すように、画像取得部３１は、人物検出部２０から、所定のエリア内で時間をおいて撮影された複数の画像を取得する（Ｓ１０１）。各画像は１または複数の人物を含む。

画像取得部３１は、取得した複数の画像の各々から、人物の領域を検出する。たとえば、画像取得部３１は、不特定の人物のサンプル画像を用いて、不特定の人物の各部位の特徴、たとえば、頭部、肩、腕、及び足などの特徴を予め学習する。そして、画像取得部３１は、複数の画像の各々から、学習した特徴と類似する特徴を備えた領域を、人物の領域として検出する（Ｓ１０２）。ここで、人物の領域とは、１人の人物の身体全体の領域であってもよいし、人物の身体の一部の領域であってもよい。例えば、人物の領域は、人物の顔の領域、あるいは、人物の目または瞳の領域であってもよい。画像取得部３１は、人物の領域を示すデータから、人物の領域を検出してもよい。

画像取得部３１は、人物検出部２０から取得した複数の画像から、複数の人物画像を生成する。それぞれの人物画像は、ステップＳ１０２において検出した１人の人物の領域を含む。そして、画像取得部３１は、生成した複数の人物画像を、特徴抽出部３２へ送信する。なお、特徴抽出部３２へ送信される人物画像には、人物の領域を示すデータが添付されてもよい。また、人物画像のデータは、前述のサンプル画像として、記憶装置に記憶されてもよい。または、記憶装置は、人物辞書５０を含んでいてもよい。

特徴抽出部３２は、画像取得部３１から、複数の人物画像を受信する。特徴抽出部３２は、それぞれの人物画像から、人物の特徴をそれぞれ抽出する（Ｓ１０３）。特徴抽出部３２は、人物の領域を含む人物画像に対し、その人物画像から抽出した人物の特徴を紐付けたデータを、類似度計算部３３へ送信する。なお、上述したように、特徴抽出部３２は、人物画像から、虹彩のパターンを抽出してもよい。その場合、特徴抽出部３２は、人物の虹彩を含む画像（例えば人物画像における瞳または目の領域）と、人物の虹彩のパターンとを紐付けたデータを、類似度計算部３３へ送信する。

類似度計算部３３は、特徴抽出部３２から、複数の人物画像と、それらの人物画像から抽出された人物の特徴とを含むデータを受信する。類似度計算部３３は、受信したデータを用いて、複数の人物の間の類似度を計算する（Ｓ１０４）。

ステップＳ１０４において、類似度計算部３３は、複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴とに基づいて、両者の間の類似度を計算する。特徴抽出部３２から、人物の特徴として、虹彩のパターンを受信した場合、類似度計算部３３は、第１の人物の虹彩のパターンと、１または複数の第２の人物の虹彩のパターンとの間の類似度を計算する。類似度計算部３３は、複数の人物画像と、類似度の計算結果（図５参照）とを含むデータを、登録部３４へ送信する。

類似度は、例えば、よく知られたハミング距離に基づいている。上述したように、類似度計算部３３は、ハミング距離を０から１までの値に正規化し、１から正規化したハミング距離を減算することで、類似度を計算する。

あるいは、類似度計算部３３は、第１の人物と、第２の人物との間の類似度を、第１の人物に関する特徴ベクトルと、第２の人物に関する特徴ベクトルとの間の距離および／または方向に基づいて、計算してもよい。特徴ベクトルは、複数の特徴を要素とする多次元ベクトルである。この場合も、類似度計算部３３は、特徴ベクトル間の距離が近付くほど、また、方向が近付くほど、類似度が１に近づき、特徴ベクトル間の距離が遠ざかるほど、また、方向が遠ざかるほど、類似度が０に近づくように、類似度を定義する。

あるいは、類似度計算部３３は、第１の人物に関する特徴ベクトルと第２の人物に関する特徴ベクトルとの間の相関係数に基づいて、類似度を計算してもよい。この場合、類似度計算部３３は、２つの特徴ベクトルの距離を定義する。具体的には、２つの特徴ベクトルの間の相関係数（－１～１）が大きいほど、距離が長くなるように、例えば、１から相関係数を引いたものを、特徴ベクトルの距離（０～２）と定義する。類似度計算部３３は、特徴ベクトルの距離（０～２）を、０から１までの値を取るように正規化する。そして、類似度計算部３３は、正規化した距離（０～１）を１から減算することで、０から１までの値を取る類似度を計算する。すなわち、正規化した距離（０～１）が短くなるほど、類似度は大きくなり、１に近づく。

登録部３４は、類似度計算部３３から、複数の人物画像と、類似度の計算結果とを含むデータを受信する。登録部３４は、類似度計算部３３により計算された類似度に基づいて、複数の人物画像に含まれる人物のうち、どの人物に関する情報を人物辞書５０に登録するのかを決定する。

具体的には、登録部３４は、類似度計算部３３により計算された類似度がある閾値を超えるかどうかを判定する（Ｓ１０５）。

類似度がある閾値を超える場合（Ｓ１０５でＹｅｓ）、登録部３４は、第１の人物に対応する人物画像を、人物辞書５０（図１参照）に登録する（Ｓ１０６）。

第１の人物と第２の人物との間の類似度が高いことは、第１の人物と第２の人物とは同一である可能性が高いことを意味する。したがって、言い換えると、登録部３４は、第１の人物が少なくとも２枚の人物画像に含まれている可能性が高い場合、第１の人物を人物辞書５０に登録する。なお、登録部３４は、第１の人物に関する別の情報として、第１の人物の一部（例えば顔または瞳）の領域を含む画像を、人物辞書５０に登録してもよい。または、登録部３４は、第１の人物の特徴も、人物辞書５０に登録してもよい。

一方、第１の人物と第２の人物との間の類似度がある閾値を超えない場合（Ｓ１０５でＮｏ）、登録部３４は、第１の人物に対応する人物画像を人物辞書５０に登録しない。以上で辞書生成装置３０の動作は終了する。

なお、辞書生成装置３０は、登録期間ごとに、新たな人物辞書５０を生成せず、前の登録期間中に生成された人物辞書５０を上書きまたは更新してもよい。すなわち、辞書生成装置３０は、前の登録期間中に生成された人物辞書５０に、第１の人物に対応する人物画像を登録してもよい。

上記の構成によれば、類似度計算部３３は、第１の人物の特徴と、１または複数の第２の人物の特徴との間の類似度を計算する。登録部３４は、この類似度に基づいて、第１の人物と第２の人物とを判別することができる。登録部３４は、類似度計算部３３が計算した類似度が閾値を超える場合、第１の人物に対応する人物画像を、人物辞書５０に登録する。

以上に説明した構成により、辞書生成装置３０は、人物辞書５０を簡単に生成することができる。

次に、生体認証装置４０について説明する。生体認証装置４０は、辞書生成装置３０が生成した人物辞書５０を用いて、人物を認証する。以下では、人物辞書５０に登録されている人物を登録人物と呼ぶ。

生体認証装置４０の構成について説明する。

図７は、生体認証装置４０の構成を説明するためのブロック図である。具体的には、図７には、図１の一部の構成として、生体認証装置４０と、人物検出部２０と、人物辞書５０とが示されている。また、図７には、生体認証装置４０の詳細構成が示されている。図７に示すように、生体認証装置４０は、入力部４１と、照合部４２と、出力部４３とを備えている。入力部４１は、入力手段の一例である。照合部４２は、照合手段の一例である。出力部４３は、出力手段の一例である。

入力部４１は、監視システム１の人物検出部２０（図１参照）から、画像（以下では、入力画像と呼ぶ）を取得する。入力部４１は、取得した入力画像を照合部４２へ送信する。

照合部４２は、人物辞書５０と接続されている。照合部４２は、入力部４１から入力画像を受信する。照合部４２は、人物辞書５０を参照して、入力部４１から取得した入力画像中の人物と、人物辞書５０に登録されている登録人物とを照合する。具体的には、照合部４２は、一般的な生体認証技術を用いて、入力部４１から受信した入力画像中の人物と、登録人物との間の類似度を計算する。例えば、登録人物に対応する人物画像が、人物に関する情報として、人物辞書５０に登録されている場合、照合部４２は、入力画像中の人物から特徴を抽出し、また登録人物に対応する人物画像から、登録人物の特徴を抽出する。そして、照合部４２は、入力画像中の人物の特徴と、登録人物の特徴との間の類似度を計算する。

類似度は、例えば、よく知られたハミング距離に基づいている。あるいは、２人の人物をＡ、Ｂとする。この場合、照合部４２は、人物Ａの特徴を表す特徴ベクトルと、人物Ｂの特徴を表す特徴ベクトルとの間の類似度を、特徴ベクトル間の距離および／または方向に基づいて、計算してもよい。この場合、特徴ベクトルは、複数の特徴要素とする多次元ベクトルである。あるいは、照合部４２は、２人の人物の特徴ベクトルの間の相関係数に基づいて、類似度を計算してもよい。

あるいは、登録人物の虹彩パターンが、人物に関する情報として、人物辞書５０に登録されている場合、照合部４２は、入力画像中の人物の瞳から虹彩パターンを抽出する。そして、照合部４２は、パターンマッチングによって、入力画像中の人物の虹彩パターンと、登録人物の虹彩パターンとの間の類似度を計算する。

照合部４２は、入力画像中の人物と、人物辞書５０に登録されている全ての人物とをそれぞれ照合する。具体的には、照合部４２は、人物検出部２０が検出した人物の特徴と、人物辞書５０に登録されている各人物の特徴との間の類似度が閾値を超えるかどうかをそれぞれ判定する。

入力部４１が取得した入力画像中の人物と、人物辞書５０に登録されているいずれかの人物との間で計算した類似度が閾値を超える場合、照合部４２は、入力部４１が取得した入力画像中の人物と同一の人物が、人物辞書５０に登録されていると判定する。なお、照合部４２が用いる類似度の閾値は、登録部３４が用いる類似度の閾値とは、互いに異なっていてもよいし、同じであってもよい。

照合部４２は、照合結果を示す情報を出力部４３へ送信する。ここでの照合結果は、人物検出部２０が検出した人物と同一の人物が、人物辞書５０に登録されているかどうかを示す。

出力部４３は、照合部４２から、照合結果を示す情報を受信する。出力部４３は、照合結果に基づいて、報知部６０に対する報知指示を行うか否かを決定する。具体的には、人物検出部２０が検出した人物と同一の人物が、人物辞書５０に登録されていることを照合結果が示している場合、出力部４３は、報知指示を行わない。

人物検出部２０が検出した人物と同一の人物が、人物辞書５０に登録されていないことを照合結果が示している場合、出力部４３は、報知部６０に対して報知指示を行う。報知指示の内容は、警報を発報し、関係者に対して危険があることを知らせることである。

報知部６０について説明する。報知部６０は、生体認証装置４０の出力部４３から報知指示を受信したとき、その報知指示の内容にしたがって、音、光、または表示などにより、警報を発報する。これにより、報知部６０は、関係者に対して危険があることを知らせる。すなわち、報知部６０は、人物辞書５０に登録されていない人物が検出されたことを、警報を介して、関係者に報知する。報知部６０は、例えば、スピーカ、警告灯、ディスプレイ、または無線機である。

つぎに、生体認証装置４０の動作について説明する。

図８に示すフローチャートを参照して、生体認証装置４０の各部が実行する処理の流れを説明する。以下では、人物辞書５０は、辞書生成装置３０によって既に生成されているとする。

図８に示すように、入力部４１は、監視システム１の人物検出部２０（図１参照）から、１枚の入力画像を取得する（Ｓ２０１）。入力部４１は、取得した入力画像を、照合部４２へ送信する。照合部４２は、入力部４１から取得した入力画像から、人物の特徴を抽出する。人物の特徴とは、例えば顔の特徴や虹彩パターンである。しかしながら、照合部４２は、どのような人物の特徴を抽出してもよい。

照合部４２は、入力画像に含まれる人物と、人物辞書５０に登録されている各人物とを照合する（Ｓ２０２）。例えば、照合部４２は、入力画像中の人物の顔の特徴と、登録人物の顔の特徴との間の類似度を計算する。あるいは、照合部４２は、パターンマッチングによって、入力画像中の人物の虹彩パターンと、登録人物の虹彩パターンとの間の類似度を計算してもよい。

そして、照合部４２は、照合結果を示す情報を、出力部４３へ送信する。照合結果は、入力画像中の人物が、人物辞書５０に登録されているかどうかを示す。上述した例では、照合部４２は、計算した類似度が閾値を超えるかどうかを示す情報を、出力部４３へ送信する。

出力部４３は、照合部４２から、照合結果を示す情報を受信する。出力部４３は、照合結果に基づいて、報知部６０に対する報知指示を行うか否かを決定する（Ｓ２０３）。

入力画像中の人物が、人物辞書５０に登録されていないことを照合結果が示している場合（Ｓ２０３でＮｏ）、出力部４３は、報知部６０に対して報知指示を行う（Ｓ２０４）。以上で、生体認証装置４０の動作は終了する。

一つの変形例では、生体認証装置４０は、人物辞書５０に登録されているが所定期間内に一度も認証されていない人物に関する情報を、人物辞書５０から消去する消去部（図示せず）をさらに備えていてもよい。所定期間は、例えば、一か月である。しかしながら、監視システム１が使用される環境に応じて、適切な所定期間が任意に設定されることが好ましい。

本変形例の構成によれば、監視エリア内に立ち入る頻度が減少した人物に関する情報を人物辞書５０から消去することができるので、人物辞書５０に登録されている人物画像のデータ量が膨大になることを抑制することができる。

（本実施形態の効果）
本実施形態の構成によれば、登録期間中、人物検出部２０は、所定のエリア内で時間をおいて撮影された複数の画像を、辞書生成装置３０へ送信する。人物検出部２０は、カメラ１０から、時系列の画像（動画、または複数の静止画）を取得する。時系列の画像は、例えば、毎日の予め設定された時刻、または、毎週の予め設定された曜日の所定の時刻に、カメラ１０が監視エリアを撮影することによって得られる。

類似度計算部３３は、複数の画像に含まれる複数の人物の間の類似度を計算する。より詳細には、類似度計算部３３は、複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算する。

登録部３４は、類似度計算部３３が計算した類似度に基づいて、各人物に対応する人物画像を、人物辞書５０に登録するか否かを決定する。このようにして、辞書生成装置３０は、特許文献１に記載の技術のような、登録を申請する人物の入力操作なしで、人物に関する情報を格納した人物辞書５０を簡単に生成することができる。

さらに、複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の画像に含まれる第２の人物の特徴との間の類似度が閾値を超える場合、登録部３４は、第１の人物に対応する人物画像を人物辞書５０に登録する。言い換えれば、登録部３４は、複数の画像のうち少なくとも２枚の画像に含まれている可能性が高い第１の人物に対応する人物画像を、人物辞書５０に登録する。ここで、類似度の閾値は、第１の人物と第２の人物とが同一らしいかそうではないかを判別するために用いられる。

第１の人物が２枚以上の画像に含まれることは、その第１の人物が、監視エリア内に少なくとも２回現れたことを意味する。したがって、登録部３４は、監視エリア内に２回以上現れた第１の人物を、人物辞書５０に登録するということもできる。この点で、辞書生成装置３０は、特許文献２（特開２００４－１５７６０２号公報）に記載の技術とは異なる。特許文献２（特開２００４－１５７６０２号公報）に記載の技術では、監視エリア内に１回だけ現れた、施設に無関係の人物や不審者を判別できない。一方、辞書生成装置３０は、そういった人物に関する情報が、人物辞書５０に登録されることを防止できる。

〔実施形態２〕
本発明の実施形態２について、以下で説明する。

本実施形態に係わる監視システムの構成は、前記実施形態１の監視システム１の基本構成と同じである（図１参照）。しかし、以下で説明するように、本実施形態２に係わる辞書生成装置２３０は、前記実施形態１で説明した辞書生成装置３０とは異なる構成を備えている。

本実施形態２に係わる辞書生成装置２３０および前記実施形態１で説明した辞書生成装置３０の概要を対比する。

前記実施形態１では、辞書生成装置３０は、第１の人物と第２の人物との間の類似度がある閾値を超える場合、第１の人物を人物辞書５０に登録した。

これに対して、本実施形態２では、第１の人物が検出された回数が、ある閾値に達することが、その第１の人物を人物辞書５０に登録する条件（以下では登録条件と呼ぶ）である。本実施形態２では、第１の人物に対応する顔画像が、辞書生成装置２３０が備えた仮辞書２３５（後述する）に格納されている。複数の第１の人物に対応する複数の顔画像が、仮辞書２３５に格納されていてもよい。

また本実施形態２では、カメラ１０が撮影した時系列の画像から第１の人物が検出された回数（以下では、検出回数と呼ぶ）が、評価値に対応する。言い換えれば、第１の人物を含む画像の数が、評価値に対応する。辞書生成装置２３０は、第１の人物の検出回数が閾値に達したとき、第１の人物に関する情報を、人物辞書５０へ登録する。

なお、上述した登録条件は、監視システム１のカメラ１０（図１参照）ごと、あるいは、カメラ１０のグループごとに設定されていてもよい。例えば、検出回数の閾値は、カメラ１０ごとに異なっていてもよい。

さらに本実施形態２では、第１の人物の状態に応じて、登録条件が柔軟に変更されてもよい。例えば、他の人物と連れだって移動している第１の人物について、登録条件である検出回数の閾値は、そうでない人物よりも小さくてもよい。また、人物辞書５０に登録された人物と連れだって移動している第１の人物について、検出回数の閾値はさらに小さくてもよい。この構成では、辞書生成装置２３０の登録部２３７（後述）が、機械学習によって得られた識別器を用いて、第１の人物の状態を判定する。

辞書生成装置２３０の構成について説明する。

図９は、本実施形態２に係わる辞書生成装置２３０の構成を示すブロック図である。図９に示すように、辞書生成装置２３０は、画像取得部２３１、特徴抽出部２３２、類似度計算部２３３、評価値計算部２３４、仮辞書２３５、および登録部２３７を備えている。

画像取得部２３１は、画像取得手段の一例である。特徴抽出部２３２は、特徴抽出手段の一例である。類似度計算部２３３は、類似度計算手段の一例である。評価値計算部２３４は、同一人物判定部２３８および回数計算部２３９を含む。評価値計算部２３４は、評価値計算手段の一例である。同一人物判定部２３８は、同一人物判定手段の一例である。回数計算部２３９は、回数計算手段の一例である。登録部２３７は、登録手段の一例である。

本実施形態２に係わる辞書生成装置２３０の構成と、前記実施形態１に係わる辞書生成装置３０の構成とを対比する。辞書生成装置２３０は、同一人物判定部２３８、回数計算部２３９および仮辞書２３５をさらに備えている点で、辞書生成装置３０と相違する。また、辞書生成装置２３０では、特徴抽出部２３２、回数計算部２３９および登録部２３７が、仮辞書２３５に接続されている点で、辞書生成装置３０と相違する。

仮辞書２３５には、第１の人物に対応する顔画像および評価値（本実施形態では、人物の検出回数）が格納される。仮辞書２３５において、互いに異なる第１の人物は、第１の人物を特定するための情報（たとえばＩＤ；Identification）によって区別されている。

人物検出部２０（図１参照）は、カメラ１０が所定のエリア内で時間をおいて撮影した時系列の画像（動画のフレーム画像または異なるタイミングで撮影された複数の静止画）をリアルタイムで取得する。画像取得部２３１は、人物検出部２０から、１つの画像を取得するごとに、取得した画像から、第２の人物の顔の領域を検出する。そして、画像取得部２３１は、第２の人物の顔の領域を含む顔画像を生成する。画像取得部２３１が人物検出部２０から取得した画像中に、複数の第２の人物が含まれていた場合、画像取得部２３１は、第２の人物ごとに１つの顔画像を生成する。つまり１つの顔画像は、１人の第２の人物の顔の領域を含む。画像取得部２３１は、生成した顔画像を特徴抽出部２３２へ送信する。

特徴抽出部２３２は、画像取得部２３１から、第２の人物に対応する顔画像を受信する。特徴抽出部２３２は、受信した顔画像から、第２の人物の顔を検出し、第２の人物の顔の特徴を抽出する。また、仮辞書２３５が空でない場合、特徴抽出部２３２は、仮辞書２３５から、第１の人物に対応する顔画像を取得する。特徴抽出部２３２は、取得した顔画像から第１の人物の顔の特徴を抽出する。特徴抽出部２３２は、第１の人物の顔の特徴のデータ、および、第２の人物に対応する顔画像と、第２の人物の顔の特徴とを紐付けたデータを、類似度計算部２３３へ送信する。

類似度計算部２３３は、特徴抽出部２３２から、第１の人物の顔の特徴のデータ、および、第２の人物に対応する顔画像と、第２の人物の顔の特徴とを紐付けたデータを受信する。

そして、類似度計算部２３３は、第１の人物の顔の特徴と、第２の人物の顔の特徴との間の類似度を計算する。以下では、第１の人物の顔の特徴と第２の人物の顔の特徴との間の類似度を、第１の人物と第２の人物との間の類似度、または単に類似度と記載する。

例えば、類似度計算部２３３は、第１の人物の特徴を表す特徴ベクトルと、第２の人物の特徴を表す特徴ベクトルとの間の距離および／または方向に基づいて、第１の人物と第２の人物との間の類似度を計算する。この場合、類似度計算部２３３は、特徴ベクトル間の距離が短くなるほど、また、方向が近付くほど、類似度が１に近づき、特徴ベクトル間の距離が長くなるほど、また、方向が遠ざかるほど、類似度が０に近づくように、類似度を定義する。

あるいは、類似度計算部２３３は、前記実施形態１で説明したように、特徴ベクトルの間の相関係数に基づいて、第１の人物と第２の人物との間の類似度を計算してもよい。

類似度計算部２３３は、第２の人物の顔画像と、類似度の計算結果とを含むデータを、評価値計算部２３４の同一人物判定部２３８へ送信する。

同一人物判定部２３８は、類似度計算部２３３から、第２の人物の顔画像と、類似度の計算結果とを含む情報を受信する。同一人物判定部２３８は、類似度計算部２３３から受信した類似度の計算結果を用いて、第１の人物と、第２の人物とが同一であるか否かを判定する。

本実施形態２において、第１の人物と第２の人物とが同一であるとは、これらの人物の間の類似度が、ある閾値を超えることを意味する。すなわち、第１の人物と、第２の人物との間の類似度が閾値を超えた場合、同一人物判定部２３８は、これらの人物が同一であると判定する。同一人物判定部２３８は、第２の人物の顔画像と、判定結果とを、回数計算部２３９に送信する。

複数の第１の人物に対応する複数の顔画像が仮辞書２３５に格納されている場合、特徴抽出部２３２は、複数の第１の人物の顔の特徴のデータ、および、第２の人物に対応する顔画像と、第２の人物の顔の特徴とを紐付けたデータを、類似度計算部２３３へ送信する。類似度計算部２３３は、それぞれの第１の人物と、第２の人物との間の類似度を計算する。複数の第１の人物と、第２の人物との間の類似度が閾値を超えた場合、同一人物判定部２３８は、第２の人物との類似度が最も高い１人の第１の人物が、第２の人物と同一であると判定する。

回数計算部２３９は、仮辞書２３５に接続されている。同一人物判定部２３８による判定結果が、第２の人物は第１の人物と同一ではないことを示す場合、回数計算部２３９は、第２の人物の顔画像を、新たな第１の人物の顔画像として、仮辞書２３５に格納する。このとき、回数計算部２３９は、仮辞書２３５に格納した新たな第１の人物の顔画像に、「検出回数＝１（回）」を示す情報を紐付ける。仮辞書２３５において、新たな第１の人物は、新たな第１の人物を特定するための情報によって、他の第１の人物と区別される。

一方、同一人物判定部２３８による判定結果が、第１の人物と第２の人物とが同一であることを示す場合、回数計算部２３９は、仮辞書２３５において、第１の人物の顔画像と紐付けられている検出回数を＋１（インクリメント）する。このようにして、登録期間中、評価値計算部２３４は、類似度に依存して変化する評価値として、第１の人物の検出回数を計算する。第１の人物が複数いる場合、評価値計算部２３４は、それぞれの第１の人物について、評価値を計算する。

回数計算部２３９は、第１の人物を特定するための情報（例えばＩＤ）を登録部２３７へ送信するとともに、仮辞書２３５を更新したことを、登録部２３７に通知する。

登録部２３７は、仮辞書２３５および人物辞書５０に接続されている。登録部２３７は、回数計算部２３９から、第１の人物を特定するための情報（例えばＩＤ）とともに、仮辞書２３５を更新したことを通知される。

登録部２３７は、仮辞書２３５を参照して、第１の人物の検出回数が閾値に達しているかどうかを判定する。第１の人物の検出回数が閾値に達している場合、登録部２３７は、第１の人物に対応する顔画像を、仮辞書２３５から取得して、取得した顔画像を人物辞書５０に登録する。その後、登録部２３７は、人物辞書５０に登録した第１の人物の顔画像および検出回数を示すデータを、仮辞書２３５から消去する。

次に、辞書生成装置２３０の動作について説明する。

図１０は、辞書生成装置２３０が登録期間中に実行する処理の流れを示すフローチャートである。辞書生成装置２３０の各部は、画像取得部２３１が人物検出部２０から開始信号を受信した後、以下で説明する処理を開始する。

図１０に示すように、画像取得部２３１は、人物検出部２０から受信する開始信号および終了信号に基づいて、登録期間中かどうかを判定する（Ｓ３００）。登録期間中でない場合（Ｓ３００でＮｏ）、フローは後述するステップＳ３１０へ進む。

登録期間中である場合（Ｓ３００でＹｅｓ）、画像取得部２３１は、人物検出部２０から、所定のエリア内で時間をおいて撮影された複数の画像を取得する（Ｓ３０１）。ステップＳ３０１において、画像取得部２３１は、カメラ１０が画像を撮影するごとに、人物検出部２０から、１つずつの画像をリアルタイムで取得してもよいし、複数の画像をまとめて取得してもよい。以下では、前者の例を説明する。

画像取得部２３１は、取得した画像から、１または複数の第２の人物の領域を検出する（Ｓ３０２）。そして、画像取得部２３１は、検出した第２の人物の顔の領域を含む顔画像を生成する。画像取得部２３１が取得した画像が、複数の第２の人物を含む場合、画像取得部２３１は、取得した画像から、それぞれ１人の第２の人物の領域のみを含む顔画像を複数生成する。したがって、それぞれの顔画像は、１人の第２の人物の顔の領域を含む。画像取得部２３１は、生成した顔画像を、特徴抽出部２３２へ送信する。以下では、画像取得部２３１が１つの顔画像のみを生成した場合について説明する。これは、画像取得部２３１が人物検出部２０から取得した画像中に、１人の第２の人物のみが含まれていた場合に相当する。なお、画像取得部２３１が、取得した画像から、複数の第２の人物に対応する複数の顔画像を生成した場合、１の顔画像ごとに、以下で説明する処理が実行される。

特徴抽出部２３２は、画像取得部２３１から、第２の人物に対応する顔画像を受信する。

特徴抽出部２３２は、仮辞書２３５を参照して、第１の人物に対応する顔画像を取得する。特徴抽出部２３２は、仮辞書２３５から取得した顔画像から、第１の人物の顔の特徴を抽出する。また特徴抽出部２３２は、画像取得部２３１から受信した顔画像から、１人の第２の人物の顔の特徴を抽出する（Ｓ３０３）。

特徴抽出部２３２は、第１の人物の顔の特徴のデータ、および、第２の人物に対応する顔画像と、顔画像から抽出した第２の人物の顔の特徴とを紐付けたデータを、類似度計算部２３３へ送信する。

類似度計算部２３３は、特徴抽出部２３２から、第１の人物の顔の特徴のデータ、および、第２の人物に対応する顔画像と、第２の人物の顔の特徴とを紐付けたデータを受信する。

そして、類似度計算部２３３は、第１の人物の特徴と、第２の人物の特徴との間の類似度を計算する（Ｓ３０４）。ここで、第１の人物が複数いる場合、すなわち複数の顔画像が仮辞書２３５に格納されている場合、ステップＳ３０４において、類似度計算部２３３は、全ての第１の人物と、第２の人物との間の類似度を、それぞれ計算する。以下で説明する処理も、全ての第１の人物についてそれぞれ行われる。

類似度計算部２３３は、ステップＳ３０４における類似度の計算結果と、第２の人物に対応する顔画像とを、同一人物判定部２３８へ送信する。

同一人物判定部２３８は、類似度計算部２３３から、第２の人物に対応する顔画像と、類似度の計算結果とを含む情報を受信する。同一人物判定部２３８は、類似度計算部２３３から受信した類似度の計算結果を用いて、第１の人物と、第２の人物とが同一であるか否かを判定する（Ｓ３０５）。

同一人物判定部２３８は、第２の人物に対応する顔画像と、ステップＳ３０５における判定結果を含む情報とを、回数計算部２３９に送信する。

回数計算部２３９は、第２の人物に対応する顔画像とともに、ステップＳ３０５における判定結果、すなわち、第１の人物と第２の人物とが同一であるか否かを示す情報を、同一人物判定部２３８から受信する。

同一人物判定部２３８による判定結果が、第２の人物は第１の人物と同一ではないことを示す場合（Ｓ３０５でＮｏ）、回数計算部２３９は、第２の人物の顔画像を、「検出回数＝１回」を示す情報に紐付けて、新たな第１の人物の顔画像として、仮辞書２３５に格納する（Ｓ３０６）。

回数計算部２３９は、第１の人物を特定するための情報（例えばＩＤ）を登録部２３７へ送信するとともに、仮辞書２３５を更新したことを、登録部２３７に通知する。そして、フローはステップＳ３０８へ進む。

一方、同一人物判定部２３８による判定結果が、第１の人物と第２の人物とが同一であることを示す場合（Ｓ３０５でＹｅｓ）、回数計算部２３９は、仮辞書２３５において、第１の人物に対応する顔画像と紐付けられている検出回数を１増加させる（Ｓ３０７）。回数計算部２３９は、第１の人物を特定するための情報（例えばＩＤ）とともに、仮辞書２３５を更新したことを、登録部２３７に通知する。

図１０に示すステップＳ３０６またはＳ３０７の後、登録部２３７は、回数計算部２３９から、第１の人物を特定するための情報を受信し、仮辞書２３５を更新したことを通知される。登録部２３７は、回数計算部２３９からの通知を受けたとき、仮辞書２３５を参照して、第１の人物の検出回数が閾値に達したかどうかを判定する（Ｓ３０８）。

第１の人物の検出回数が閾値に達した場合（Ｓ３０８でＹｅｓ）、登録部２３７は、第１の人物の顔画像を、仮辞書２３５から取得して、人物辞書５０に登録する（Ｓ３０９）。その後、登録部２３７は、人物辞書５０に登録した第１の人物に対応する顔画像と、第１の人物の検出回数の情報とを、仮辞書２３５から消去する。

なお、ステップＳ３０９の前に、登録部２３７は、人物辞書５０に登録しようとしている第１の人物の顔画像が、人物辞書５０に既に登録されていないかどうかを判定してもよい。例えば、登録部２３７は、第１の人物に対応する顔画像と、人物辞書５０に格納されている登録人物に対応する顔画像とから、それぞれ特徴を抽出する。そして、抽出した特徴同士の類似度が所定の閾値を超えている場合、登録部２３７は、第１の人物に対応する顔画像が、人物辞書５０に既に登録されていると判定する。そして、第１の人物に対応する顔画像が、人物辞書５０に既に登録されている場合、登録部２３７は、第１の人物に対応する顔画像を人物辞書５０に登録することを取りやめる。これにより、同一の第１の人物に対応する複数の顔画像が、人物辞書５０に格納されることを防止することができる。

第１の人物の検出回数が閾値に達していないと登録部２３７により判定された場合（Ｓ３０８でＮｏ）、または、ステップＳ３０９の後、画像取得部２３１は、人物検出部２０から受信する開始信号および終了信号に基づいて、登録期間中かどうかを再び判定する（Ｓ３００）。ただし、上述したステップＳ３０２において、画像取得部２３１が、複数の第２の人物に対応する複数の顔画像を生成した場合、ステップＳ３０８でＮｏまたはステップＳ３０９の後、フローはステップＳ３０３に戻る。そして、画像取得部２３１は、他の顔画像から、他の第２の人物の顔の領域を検出する。

まだ登録期間中である場合（Ｓ３００でＹｅｓ）、フローはステップＳ３０１に戻り、画像取得部２３１は、人物検出部２０から、他の画像を取得する。そして、辞書生成装置２３０の各部は、図１０に示すフローを再び実行する。

登録期間が終了した後（Ｓ３００でＮｏ）、画像取得部２３１は、登録期間が終了したことを登録部２３７に通知する。登録部２３７は、登録期間が終了したことの通知を画像取得部２３１から受けた後、仮辞書２３５に格納されている全ての第１の人物に関するデータを消去する（Ｓ３１０）。あるいは、ステップＳ３１０において、登録部２３７は、仮辞書２３５において、全ての第１の人物に紐付けられている検出回数を全てゼロにリセットしてもよい。以上で、辞書生成装置２３０の動作は終了する。

なお、一変形例において、登録部２３７は、登録期間中には、第１の人物に対応する顔画像を人物辞書５０に登録する処理（上述したステップＳ３０８からステップＳ３０９）を行わず、登録期間が終了した後（Ｓ３００でＮｏ）、ステップＳ３１０の処理を実行する前に、ステップＳ３０８からステップＳ３０９に対応する処理を一度だけ実行する。すなわち、本変形例では、登録部２３７は、登録期間が終了したことを画像取得部２３１から通知された後、仮辞書２３５に格納されている全ての第１の人物について、それぞれ、検出回数が閾値に達しているかどうかを判定する。そして、登録部２３７は、検出回数が閾値に達している第１の人物を特定し、特定した第１の人物に対応する顔画像を人物辞書５０に登録する。その後、登録部２３７は、全ての第１の人物の顔画像および検出回数のデータを、仮辞書２３５から消去する（Ｓ３１０）。

本実施形態２においても、前記実施形態１と同様に、人物辞書５０には、第１の人物に関する情報として、第１の人物の特徴が登録されてもよい。

例えば、特徴抽出部２３２は、画像取得部２３１が生成した第２の人物に対応する顔画像から、虹彩のパターンを抽出する。また特徴抽出部２３２は、仮辞書２３５を参照して、第１の人物に対応する顔画像を取得し、取得した第１の人物に対応する顔画像から、第１の人物の虹彩のパターンを抽出する。

特徴抽出部２３２は、第１の人物の虹彩のパターンのデータ、および、第２の人物の虹彩を含む画像（あるいは第２の人物の瞳または目の領域を含む画像）と、第２の人物の虹彩のパターンとを紐付けたデータを、類似度計算部２３３へ送信する。

類似度計算部２３３は、第１の人物の虹彩のパターンと、第２の人物の虹彩のパターンとの間の類似度を計算する。

評価値計算部２３４は、類似度計算部２３３が計算した類似度に基づいて、第１の人物の検出回数を計算する。第１の人物の検出回数は、類似度に依存する評価値の一例である。登録部２３７は、評価値計算部２３４が計算した評価値（検出回数）に基づいて、第１の人物に関する情報を人物辞書５０に登録するか否かを決定する。第１の人物の評価値（検出回数）が閾値に達した場合、登録部２３７は、第１の人物の目または瞳の領域を含む画像、および／または虹彩のパターンを、人物辞書５０に登録する。

（ユースケース）
図１１および図１２Ａ～図１２Ｃを参照して、本実施形態２に係わる辞書生成装置２３０を備えた監視システム１のユースケースを説明する。ここでは、カメラ１０は、時刻ｔ１に画像ｐ１を撮影し、時刻ｔ２に画像ｐ２を撮影し、時刻ｔ３に画像ｐ３を撮影する。

図１１は、時系列（ｔ１、ｔ２、ｔ３、・・・）の画像ｐ１、ｐ２、ｐ３、・・・と、画像ｐ１～ｐ３の少なくともいずれかに含まれる人物Ａ～Ｇを示している。

図１１に示されるように、時刻ｔ１の画像ｐ１には、人物Ａ、Ｂ、Ｃが含まれている。また、時刻ｔ２の画像ｐ２には、人物Ｄ、Ｅ、Ｆが含まれている。時刻ｔ３の画像ｐ３には、人物Ｇが含まれている。図１１中、「Ｆ＝Ｂ」および「Ｇ＝Ｂ」は、人物ＦおよびＧが人物Ｂと同一であると同一人物判定部２３８に判定されたことを示す。それ以外の人物Ａ～Ｅは、互いに別人であると判定されたとする。図１１中、人物の符号の下に示すかっこ内の数字は、時刻ｔ１～ｔ３におけるそれぞれの人物の検出回数を示す。

ユースケースにおける条件は以下のとおりである。
（１）使用環境：学習塾、４月第２週から週１回、ある曜日の１７：００～１９：００に開講する。
（２）１台のカメラ１０が教室の前方に設置されている。カメラ１０は、毎週の開講日の１７：００～１９：００の間に１回、画像を撮影する。カメラ１０が撮影を行う時刻ｔ１、ｔ２、ｔ３、・・・は、タイマーによって予め設定されている。図１１に示す時刻ｔ１は、４月第２週の開講日の１７：００～１９：００の間の時刻である。また、時刻ｔ２は、４月第３週の開講日の１７：００～１９：００の間の時刻である。時刻ｔ３は、４月第４週の開講日の１７：００～１９：００の間の時刻である。
（３）登録期間：４月の第２週から第４週まで
（４）登録条件：検出回数の閾値は３回
（４月第２週の開講日）
カメラ１０は、４月第２週の開講日の１７：００～１９：００の間の時刻ｔ１に１回目の撮影を行い、１枚目の画像ｐ１を生成する。画像ｐ１は、カメラ１０から人物検出部２０へ送信される。

人物検出部２０は、画像ｐ１に含まれる人物Ａ～Ｃを検出する。現在は登録期間中であるので、人物検出部２０は、画像ｐ１を辞書生成装置２３０へ送信する（図２のＳ４を参照）。

図１０に示す手順（特にステップＳ３０４～Ｓ３０６）で、辞書生成装置２３０の回数計算部２３９は、人物Ａ～Ｃの顔画像と、「検出回数＝１回」とを紐付けたデータを、仮辞書２３５に格納する。

図１２Ａは、４月第２週の開講日の時刻ｔ１において、人物検出部２０により検出された人物Ａ～Ｃのそれぞれの検出回数を示す。図１２Ａに示すように、４月第２週には、人物Ａ～Ｃのいずれも、検出回数が１回であり、登録条件を満たしていない。したがって、辞書生成装置２３０の登録部２３７は、人物Ａ～Ｃの顔画像を人物辞書５０に登録しない。

（４月第３週の開講日）
カメラ１０は、４月第３週の開講日の１７：００～１９：００の間の時刻ｔ２に、２回目の撮影を行い、２枚目の画像ｐ２を生成する。画像ｐ２は、カメラ１０から人物検出部２０へ送信される。

人物検出部２０は、画像ｐ２から人物Ｄ～Ｆを検出する。現在は登録期間中であるので、人物検出部２０は、画像ｐ２を辞書生成装置２３０へ送信する。

図１０に示す手順で、辞書生成装置２３０の同一人物判定部２３８は、人物Ｂと、人物Ｆとが同一であると判定する。したがって、辞書生成装置２３０の回数計算部２３９は、仮辞書２３５において、人物Ｂの顔画像と紐付けられている検出回数を１増加させる。また、辞書生成装置２３０の同一人物判定部２３８は、人物Ｄ、Ｅと、人物Ａ～Ｃとは同一でないと判定する。したがって、辞書生成装置２３０の回数計算部２３９は、人物Ｄ、Ｅの顔画像と、「検出回数＝１回」とを紐付けたデータを、仮辞書２３５に格納する。

図１２Ｂは、４月第３週の開講日の時刻ｔ２において、人物Ａ～Ｅのそれぞれの検出回数を示す。４月第３週の開講日時点における人物Ｂの検出回数は、４月第２週の開講日時点から１増加している。図１２Ｂに示すように、４月第３週には、人物Ａ～Ｅのいずれも、検出回数が閾値に達していない。したがって、辞書生成装置２３０の登録部２３７は、人物Ａ～Ｅの顔画像を人物辞書５０に登録しない。

（４月第４週の開講日）
カメラ１０が、４月第４週の開講日の１７：００～１９：００の間の時刻ｔ３に、３枚目の画像ｐ３を生成する。画像ｐ３は、カメラ１０から人物検出部２０へ送信される。

人物検出部２０は、画像ｐ３に含まれる人物Ｇを検出する。現在は登録期間中であるので、人物検出部２０は、画像ｐ３を辞書生成装置２３０へ送信する。

図１０に示す手順で、辞書生成装置２３０の同一人物判定部２３８は、人物Ｂと、人物Ｇとが同一であると判定する。したがって、辞書生成装置２３０の回数計算部２３９は、仮辞書２３５において、人物Ｂの顔画像と紐付けられている検出回数を１増加させる。

図１２Ｃは、４月第４週の開講日の時刻ｔ３における人物Ａ～Ｅのそれぞれの検出回数を示す。４月第４週の開講日時点における人物Ｂの検出回数は、４月第３週の開講日時点から１増加している。

図１２Ｃに示すように、４月第４週には、人物Ｂの検出回数が閾値に達している。したがって、辞書生成装置２３０の登録部２３７は、人物Ｂの顔画像を人物辞書５０に登録する。その他の人物の検出回数は、いずれも、閾値に達していない。したがって、辞書生成装置２３０の登録部２３７は、人物Ｂ以外の人物の顔画像を人物辞書５０に登録しない。

以上で説明した例では、全ての人物Ａ～Ｅに関して、登録条件が同じであったため、人物Ｂに対応する顔画像のみが人物辞書５０に登録される。しかしながら、登録条件が人物Ａ～Ｅごとに異なる場合、人物辞書５０に登録される人物は変化する。例えば、人物Ａのみに関して、検出回数の閾値が２回であってもよい。または、人物Ｅのみに関して、登録期間が５月まで延長されてもよい。

（本実施形態の効果）
本実施形態によれば、類似度計算手段としての類似度計算部２３３が、第１の人物と、１または複数の第２の人物との間の類似度を計算する。より詳細には、類似度計算部２３３は、時系列の複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算する。

評価値計算手段の第２の手段としての回数計算部２３９は、第１の人物の検出回数を計算する。また、登録手段としての登録部２３７は、登録期間中の第１の人物の検出回数に基づいて、第１の人物に関する情報を人物辞書５０に登録するかどうかを決定する。

たとえば、回数計算部２３９は、第１の人物が施設に出入りする回数を計算する。この構成では、登録部２３７は、登録期間中に所定の検出回数以上、施設に出入りした第１の人物を、人物辞書５０に登録する。施設に頻繁に出入りしている人物ほど、その施設の関係者であるか、あるいは関係者に顔なじみであり、不審者ではない蓋然性が高いからである。

これにより、辞書生成装置２３０は、実施形態１における辞書生成装置３０と同様に、人物に関する情報を格納した人物辞書５０を簡単に生成できる。特許文献１に記載の技術のように、人物および管理者は、手動で手間をかけて、人物に関する情報を格納した辞書を生成する必要はない。

さらに、辞書生成装置２３０は、人物の検出回数に基づいて、人物を辞書に登録するかどうかを判別する。これにより、特許文献２に記載の技術と比較して、辞書に登録すべきでない人物（例えば不審者）が無判別に人物辞書５０に登録されることを防止できる。

〔実施形態３〕
本発明の他の一実施形態について、以下で説明する。

本実施形態３に係わる監視システムの構成について説明する。

本実施形態３に係わる監視システムの基本的な構成は、前記実施形態１の監視システム１と同じである（図１参照）。しかし、以下で説明するように、本実施形態３に係わる辞書生成装置３３０は、前記実施形態２で説明した辞書生成装置２３０とは異なる構成を備えている。

ここで、本実施形態３に係わる辞書生成装置３３０および前記実施形態２で説明した辞書生成装置２３０の概要を対比する。

前記実施形態２では、人物の検出回数が、本発明の評価値に相当した。また、前記実施形態２では、登録条件は、人物の検出回数が登録期間中にある閾値に達することであった。一方、本実施形態３における人物の評価値は、第１の人物と第２の人物との間の類似度の累計である。また、本実施形態３では、登録条件は、類似度の累計がある閾値を超えることである。本実施形態３の登録条件における閾値は、前記実施形態２の登録条件における閾値とは異なる。

次に、辞書生成装置３３０の構成について説明する。

図１３は、本実施形態３に係わる辞書生成装置３３０の構成を示すブロック図である。図１３に示すように、辞書生成装置３３０は、画像取得部２３１、特徴抽出部２３２、類似度計算部２３３、評価値計算部３３４、仮辞書２３５、および登録部３３６を備えている。画像取得部２３１は、画像取得手段の一例である。特徴抽出部２３２は、特徴抽出手段の一例である。類似度計算部２３３は、類似度計算手段の一例である。評価値計算部３３４は、スコア計算部３３７を含む。評価値計算部３３４は、評価値計算手段の一例である。登録部３３６は、登録手段の一例である。

ここで、実施形態３における辞書生成装置３３０の構成と、実施形態２における辞書生成装置２３０の構成とを対比する。

図１３に示す辞書生成装置３３０の構成要素のうち、画像取得部２３１、特徴抽出部２３２、類似度計算部２３３、および仮辞書２３５は、前記実施形態２に係わる辞書生成装置２３０（図９参照）の構成要素と共通である。ただし、本実施形態３では、仮辞書２３５には、第１の人物に対応する顔画像と、第１の人物のスコアとを紐付けたデータが格納されている。本実施形態３では、これらの各部に関する説明を省略する。

前記実施形態２に係わる辞書生成装置２３０では、評価値計算部２３４は、同一人物判定部２３８および回数計算部２３９を備えているのに対して、本実施形態３に係わる辞書生成装置３３０では、評価値計算部３３４は、スコア計算部３３７を備えている。この点で、辞書生成装置２３０と辞書生成装置３３０とは互いに相違する。

スコア計算部３３７は、第１の人物のスコアを計算する。より具体的には、スコア計算部３３７は、仮辞書２３５に格納されている顔画像に対応する第１の人物と、仮辞書２３５に格納されている他の顔画像に対応する第２の人物との間の類似度の全てを合計した累計値を、第１の人物のスコアとして計算する。

スコア計算部３３７は、第１の人物を特定するための情報（例えばＩＤ）とともに、第１の人物のスコアを、登録部３３６に通知する。

登録部３３６は、仮辞書２３５および人物辞書５０に接続されている。登録部３３６は、スコア計算部３３７から、第１の人物を特定するための情報（例えばＩＤ）とともに、第１の人物のスコアを通知される。

登録部３３６は、第１の人物のスコアが閾値を超えたかどうかを判定する。より詳細には、登録部３３６は、第１の人物のスコアと閾値との間の大小関係を確認する。

第１の人物のスコアが閾値を超えている場合、登録部３３６は、第１の人物に対応する顔画像を人物辞書５０に登録する。その後、登録部３３６は、第１の人物に関する情報を、仮辞書２３５から消去する。

次に、辞書生成装置３３０の動作について説明する。

図１４は、本実施形態３に係わる辞書生成装置３３０が登録期間中に実行する処理の流れを示すフローチャートである。辞書生成装置３３０の各部は、画像取得部２３１が人物検出部２０から開始信号を受信した後、以下で説明する処理を開始する。

図１４に示すように、画像取得部２３１は、人物検出部２０から受信する開始信号および終了信号に基づいて、登録期間中かどうかを判定する（Ｓ４００）。登録期間中でない場合（Ｓ４００でＮｏ）、フローは後述するステップＳ４０８へ進む。

登録期間中である場合（Ｓ４００でＹｅｓ）、画像取得部２３１は、人物検出部２０から、所定のエリア内で時間をおいて撮影された複数の画像を取得する（Ｓ４０１）。画像取得部２３１は、カメラ１０が画像を撮影するごとに、人物検出部２０から、１つずつの画像をリアルタイムで取得してもよいし、複数の画像をまとめて取得してもよい。以下では、前者の例を説明する。

画像取得部２３１は、取得した画像から、第２の人物の顔の領域を検出する（Ｓ４０２）。画像取得部２３１は、第２の人物の顔の領域を含む顔画像を生成し、生成した顔画像を、特徴抽出部２３２へ送信する。なお、画像取得部２３１が取得した画像中に、複数の第２の人物が含まれていた場合、画像取得部２３１は、複数の第２の人物に対応する複数の顔画像を生成する。この場合、１人の第２の人物に対応する１つの顔画像ごとに、以下で説明する処理が実行される。

特徴抽出部２３２は、仮辞書２３５を参照する。そして、特徴抽出部２３２は、仮辞書２３５に格納されている顔画像から、第１の人物の顔の特徴を抽出する。また、特徴抽出部２３２は、画像取得部２３１から顔画像を取得し、取得した顔画像から、第２の人物の顔の特徴を抽出する（Ｓ４０３）。ここで、複数の第１の人物に対応する複数の顔画像が、仮辞書２３５に格納されている場合、特徴抽出部２３２は、複数の第１の人物の顔の特徴を抽出する。

特徴抽出部２３２は、第１の人物の顔の特徴のデータ、および、第２の人物に対応する顔画像と、第２の人物の顔の特徴とを紐付けたデータを、類似度計算部２３３へ送信する。

類似度計算部２３３は、特徴抽出部２３２から、第１の人物の顔の特徴のデータ、および、第２の人物に対応する顔画像と、第２の人物の顔の特徴とを紐付けたデータを受信する。

類似度計算部２３３は、第１の人物の特徴と、第２の人物の特徴との間の類似度を計算する（Ｓ４０４）。複数の第１の人物に対応する複数の顔画像を、特徴抽出部２３２から受信した場合、ステップＳ４０４において、類似度計算部２３３は、全ての第１の人物と、第２の人物との間の類似度を、それぞれ計算する。

スコア計算部３３７は、仮辞書２３５において、第１の人物に対応する顔画像と紐付けられているスコアを参照する。そして、スコア計算部３３７は、第１の人物のスコアに、類似度計算部２３３が計算した類似度を加算する（Ｓ４０５）。スコア計算部３３７は、仮辞書２３５に格納されている第１の人物のスコアを、類似度を加算した後のスコアに更新する。

また、スコア計算部３３７は、第２の人物に対応する顔画像を、「スコア＝０」を示す情報と紐付けて、新たな第１の人物に対応する顔画像として、仮辞書２３５に格納する。このようにして、評価値計算部３３４のスコア計算部３３７は、類似度に依存して変化する評価値として、スコアを計算する。

スコア計算部３３７は、仮辞書２３５を更新したことを、登録部３３６に通知してもよい。この場合、登録部３３６は、仮辞書２３５に格納されている第１の人物のスコアの情報を、仮辞書２３５から取得する。

登録部３３６は、第１の人物のスコアが登録条件を満たしているかどうかを判定する（Ｓ４０６）。

具体的には、登録部３３６は、第１の人物のスコアが閾値を超えているかどうかを判定する。複数の第１の人物に対応する複数の顔画像が、仮辞書２３５に格納されている場合、登録部３３６は、各第１の人物のスコアが閾値を超えているかどうかをそれぞれ判定する。

第１の人物のスコアが閾値を超えている場合（Ｓ４０６でＹｅｓ）、登録部３３６は、第１の人物に対応する顔画像を、仮辞書２３５から取得して、人物辞書５０に登録する（Ｓ４０７）。その後、登録部３３６は、第１の人物に対応する顔画像とスコアのデータとを、仮辞書２３５から消去する。ステップＳ４０６において、複数の第１の人物のスコアが閾値を超えている場合、登録部３３６はそれらの複数の第１の人物に対応する顔画像を、人物辞書５０に登録する。

なお、ステップＳ４０７の前に、登録部３３６は、人物辞書５０に登録しようとしている第１の人物の顔画像が、人物辞書５０に既に登録されていないかどうかを判定してもよい。例えば、登録部３３６は、第１の人物に対応する顔画像と、人物辞書５０に格納されている登録人物に対応する顔画像とから、それぞれ特徴を抽出する。そして、抽出した特徴同士の類似度が所定の閾値を超えている場合、登録部３３６は、第１の人物に対応する顔画像が、人物辞書５０に既に登録されていると判定する。そして、第１の人物に対応する顔画像が、人物辞書５０に既に登録されている場合、登録部３３６は、第１の人物に対応する顔画像を人物辞書５０に登録することを取りやめる。これにより、同一の第１の人物に対応する複数の顔画像が、人物辞書５０に格納されることを防止することができる。

ステップＳ４０７の後、あるいは、第１の人物（第１の人物が複数いる場合には全ての第１の人物）のスコアが閾値を超えていない場合（Ｓ４０６でＮｏ）、画像取得部２３１は、人物検出部２０から受信する開始信号および終了信号に基づいて、登録期間中であるかどうかを判定する（Ｓ４００）。ただし、上述したステップＳ４０２において、画像取得部２３１が、複数の第２の人物に対応する複数の顔画像を生成した場合、ステップＳ４０６でＮｏまたはステップＳ４０７の後、フローはステップＳ４０３に戻る。そして、画像取得部２３１は、他の顔画像から、他の第２の人物の顔の領域を検出する。

まだ登録期間中である場合（Ｓ４００でＹｅｓ）、フローはステップＳ４０１に戻り、画像取得部２３１は、人物検出部２０から、他の画像を取得する。そして、辞書生成装置３３０の各部は、上述したフローを再び実行する。

登録期間が終了した後（Ｓ４００でＮｏ）、画像取得部２３１は、登録期間が終了したことを登録部３３６に通知する。登録部３３６は、登録期間が終了したことを画像取得部２３１から通知された後、全ての第１の人物の顔画像およびスコアのデータを、仮辞書２３５から消去する（Ｓ４０８）。あるいは、ステップＳ４０８において、登録部３３６は、仮辞書２３５において、第１の人物に紐付けられているスコアを全てゼロにリセットしてもよい。以上で、辞書生成装置３３０の動作は終了する。

なお、一変形例において、登録部３３６は、登録期間中には、第１の人物に対応する顔画像を人物辞書５０に登録する処理（上述したステップＳ４０６からステップＳ４０７）を行わず、登録期間が終了した後（Ｓ４００でＮｏ）、ステップＳ４０６からステップＳ４０７に対応する処理を一度だけ実行する。すなわち、本変形例では、登録部３３６は、登録期間が終了したことを画像取得部２３１から通知された後、仮辞書２３５に格納されている全ての第１の人物について、それぞれ、スコアが閾値を超えているかどうかを判定する。そして、登録部３３６は、スコアが閾値を超えている第１の人物を特定し、特定した第１の人物に対応する顔画像を人物辞書５０に登録する。その後、登録部３３６は、全ての第１の人物の顔画像およびスコアのデータを、仮辞書２３５から消去する（Ｓ４０８）。

図１１を参照して、図１４に示すフローにおいて、本実施形態３に係わるスコア計算部３３７（図１３参照）が計算するスコアの具体例を説明する。図１１は、時系列の画像ｐ１～ｐ３と、それぞれの画像ｐ１～ｐ３に含まれる人物Ａ～Ｇを示している。各フローにおいて、画像取得部２３１は、画像ｐ１～ｐ３をこの順に１つずつ取得する。

登録期間開始後の最初のフローで、画像取得部２３１は画像ｐ１を取得する。画像ｐ１は、人物Ａ～Ｃを含む。人物Ａ～Ｃは第２の人物に相当する。このとき、仮辞書２３５はまだ空である。すなわち、第１の人物が存在していない。したがって、このフローでは、類似度計算部２３３は、第１の人物と第２の人物との間の類似度を計算する処理を行わない。スコア計算部３３７は、人物Ａ～Ｃに対応する顔画像を、「スコア＝０」を示す情報と紐付けて、新たな第１の人物に対応する顔画像として、仮辞書２３５に格納する。

２回目のフローで、画像取得部２３１は画像ｐ２を取得する。画像ｐ２は、人物Ｄ～Ｆを含む。類似度計算部２３３は、第１の人物である人物Ａ～Ｃと、第２の人物である人物Ｄ～Ｆとの間の類似度をそれぞれ計算する。スコア計算部３３７は、仮辞書２３５において、人物Ａ～Ｃの顔画像に紐付けられたスコアに対し、人物Ｄ～Ｆとの間のそれぞれの類似度の累計値を加算する。

例えば、人物Ａと人物Ｄとの間の類似度が０．６４、人物Ａと人物Ｅとの間の類似度が０．４９、人物Ａと人物Ｆとの間の類似度が０．８８であるとする。この場合、人物Ａと人物Ｄ～Ｆとの間の類似度の累計値は、０．６４＋０．４９＋０．８８＝２．０１である。したがって、スコア計算部３３７は、人物Ａのスコアに２．０１を加算する。

同様に、スコア計算部３３７は、人物Ｂ、Ｃのスコアにも、人物Ｂ、Ｃと、人物Ｄ～Ｆとの間の類似度の累計値をそれぞれ加算する。また、スコア計算部３３７は、画像ｐ２に含まれる人物Ｄ～Ｆに対応する顔画像を、「スコア＝０」を示す情報と紐付けて、新たな第１の人物に対応する顔画像として、仮辞書２３５に格納する。

３回目のフローで、画像取得部２３１は画像ｐ３を取得する。画像ｐ３は、人物Ｇを含む。類似度計算部２３３は、第１の人物である人物Ａ～Ｆと、第２の人物である人物Ｇとの間の類似度をそれぞれ計算する。スコア計算部３３７は、仮辞書２３５において、人物Ａ～Ｆの顔画像に紐付けられたスコアに対し、それぞれ、人物Ｇとの間の類似度を加算する。

図１５は、上述した３回目のフローが終了した時点における人物Ａ～Ｇのスコアの一例を示す。図１５において、人物Ａのスコアは、人物Ｄ～Ｇの各々との間の類似度を累計した値である。図１５では、人物Ａに関する棒グラフにおいて、符号Ｄ～Ｇで示す各小ブロックは、人物Ａと、人物Ｄ～Ｇの各々との間の類似度を表している。これらの小ブロックを積み重ねたものが、人物Ａのスコアを表している。

図１５では、人物Ａ～Ｇのうち、人物Ｂのスコアのみが閾値を超えている。この場合、本実施形態３に係わる登録部３３６（図１３参照）は、人物Ｂと対応する顔画像を人物辞書５０（図１参照）に登録する。

人物辞書５０には、人物に関する情報として、第１の人物の顔画像以外が登録されてもよい。一変形例では、人物の虹彩のパターンが、人物辞書５０に登録される。

その場合、特徴抽出部２３２は、第２の人物に対応する顔画像から、人物の顔の特徴に代えて、または人物の顔の特徴に加えて、虹彩のパターンを抽出する。また特徴抽出部２３２は、仮辞書２３５を参照して、第１の人物に対応する顔画像を取得し、取得した第１の人物に対応する顔画像から、第１の人物の虹彩のパターンを抽出する。

特徴抽出部２３２は、第１の人物の虹彩のパターンのデータ、および、第２の人物の虹彩を含む画像（あるいは人物の瞳または目の領域を含む画像）と、第２の人物の虹彩のパターンとを紐付けたデータを、類似度計算部２３３へ送信する。類似度計算部２３３は、第１の人物の虹彩のパターンと、第２の人物の虹彩のパターンとの間の類似度を計算する。

評価値計算部３３４は、類似度計算部２３３が計算した類似度に基づいて、第１の人物のスコアを計算する。第１の人物のスコアは、類似度に依存する評価値の一例である。

登録部３３６は、評価値計算部３３４が計算した評価値に基づいて、第１の人物に関する情報を人物辞書５０に登録するか否かを決定する。第１の人物の評価値が閾値を超える場合、登録部３３６は、第１の人物の虹彩を含む画像、および／または虹彩のパターンを、第１の人物に関する情報として、人物辞書５０に登録する。

本実施形態３の構成では、類似度の累計値に基づいて、第１の人物を人物辞書５０に登録するか否かを決定するので、同一人物の類似度は大きく、別人同士の類似度は小さいことが重要である。言い換えれば、人物の識別精度が高い必要がある。

しかし、人物の識別精度があまり高くない場合、図５に示す例のように、どの２人の間の類似度も、それほど大きな差がない。このような場合、スコア計算部３３７は、第２の閾値を設定して、第２の閾値よりも大きい類似度のみを、スコアに加算することが好ましい。第２の閾値は、別人同士の平均的な類似度よりも大きく、かつ、同一人物の平均的な類似度よりも小さいことが好ましい。これにより、スコア計算部３３７は、閾値以下の小さい類似度をスコアに加算しないので、別人の類似度が、スコアに大きな影響を与えることを防止することができる。

一方、同一人物の平均的な類似度と、別人同士の平均的な類似度との間に、大きな差（例えば、両者の比率が１０：１や１００：１）がある場合、すなわち人物の識別精度が高い場合、スコア計算部３３７は、上述した第２の閾値を設定しなくてもよい。このような場合、別人の小さい類似度がスコアに加算されたとしても、スコアに与える影響は小さいからである。

一変形例では、スコア計算部３３７は、所定の条件を満たした第１の人物のスコアを加算（プラス）または減算（マイナス）する。所定の条件は任意である。例えば、スコア計算部３３７は、第１の人物の振る舞い、行動、または属性を解析し、解析結果に応じて、第１の人物のスコアを加算または減算する。

この構成では、人物検出部２０は、カメラ１０が撮影した画像中の人物を追跡して、同一人物を含む時系列の画像を画像取得部２３１へ送信する。画像取得部２３１は、人物検出部２０から受信した時系列の画像のうち１つから、第２の人物の顔の領域を含む顔画像を生成する。特徴抽出部２３２は、画像取得部２３１が生成した第２の人物に対応する顔画像から、第２の人物の顔の特徴を抽出する。特徴抽出部２３２は、仮辞書２３５に登録された第１の人物に対応する顔画像を取得し、第１の人物の顔の特徴を抽出する。

類似度計算部２３３は、第１の人物の特徴と第２の人物の特徴との間の類似度を計算する。

スコア計算部３３７は、時系列の画像から、第１の人物の振る舞いまたは行動を検出し、検出した第１の人物の振る舞いまたは行動をパターンマッチングによって評価する。そして、スコア計算部３３７は、評価結果に基づいて、第１の人物のスコアを加算または減算する。

第１の人物の行動の例として、例えば、人物が他の人物と会話していることが挙げられる。この場合、スコア計算部３３７はスコアを加算する。また、第１の人物の行動の別の例として、第１の人物が他の人物に対して敵対的な行動をしていることが挙げられる。この場合、スコア計算部３３７はスコアを減算する。

本変形例の構成によれば、第１の人物の振る舞いまたは行動に基づいて、第１の人物のスコアを調整することにより、第１の人物を人物辞書５０に登録されやすくしたり、逆に登録されにくくしたりすることができる。

（本実施形態の効果）
本実施形態によれば、類似度計算手段としての類似度計算部２３３が、第１の人物と、１または複数の第２の人物との間の類似度を計算する。より詳細には、類似度計算部２３３は、時系列の複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算する。

評価値計算手段としての評価値計算部３３４は、スコア計算部３３７を備えており、スコア計算部３３７は、第１の人物と第２の人物との間の類似度の累計値であるスコアを計算する。スコアは評価値の一例である。

登録手段としての登録部３３６は、スコア計算部３３７が計算したスコアに基づいて、第１の人物に関する情報を人物辞書５０に登録するかどうかを決定する。より詳細には、登録部３３６は、第１の人物のスコアが閾値を超えた場合に、第１の人物の顔画像を人物辞書５０に登録する。第１の人物のスコアが高いほど、第１の人物が以前に何度も施設に出入りしている可能性が高く、したがって不審者ではない蓋然性が高いからである。

これにより、本実施形態に係わる辞書生成装置３３０は、管理者がなんら手間をかけることなしに、人物辞書５０を簡単に生成できる。登録を申請する人物は、特許文献１に記載の技術のように、入力操作を行う必要がない。

加えて、本実施形態３に係わる辞書生成装置３３０は、上述したスコアに基づいて、辞書に登録すべき人物（すなわち施設に立ち入ることを許可する人物）と、辞書に登録すべきでない人物（例えば不審者）とを判別することができる。したがって、特許文献２に記載の技術と異なり、全ての人物が無判別に人物辞書５０に登録されることを防止できる。
〔実施形態４〕
本発明の他の一実施形態について、以下で説明する。

（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図１６に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１６は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

図１６に示すように、情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インターフェース９０８
・データの入出力を行う入出力インターフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

（本実施形態の効果）
本実施形態の構成によれば、前記のいずれかの実施形態において説明した装置が、ハードウェアとして実現される。したがって、前記のいずれかの実施形態において説明した効果と同様の効果を奏することができる。

以上、実施形態（及び実施例）を参照して本発明を説明したが、本発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

〔適用例〕
上記の説明では、人物の監視を例としたが、本発明の適用例は、それに限定されない。例えば、店舗において、常連客を検出するために利用することができる。本適用例に係わる監視システムは、客が来店した回数を、その客の顔画像に紐付けて、人物辞書に記憶する。これにより、店舗は、例えば、客が来店した回数に応じた特別サービスを、客に対して与えることができる。

〔付記〕
上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下の付記に記載する構成に限定されない。

（付記１）
所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算する類似度計算手段と、
前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定する登録手段と
を備えた
辞書生成装置。

（付記２）
前記登録手段は、前記類似度が閾値を超える場合に、前記第１の人物に関する情報を辞書に登録する
ことを特徴とする付記１に記載の辞書生成装置。

（付記３）
前記類似度に依存して変化する評価値を計算する評価値計算手段をさらに備え、
前記登録手段は、前記評価値に基づいて、前記第１の人物に関する情報を前記辞書に登録するか否かを決定する
ことを特徴とする付記１または２に記載の辞書生成装置。

（付記４）
前記評価値計算手段は、
前記類似度に基づいて、前記第１の人物と前記第２の人物とが同一であるか否かを判定する同一人物判定手段と、
前記評価値として、前記同一であると判定された回数を計算する回数計算手段とを含む
ことを特徴とする付記３に記載の辞書生成装置。

（付記５）
前記評価値は、前記類似度を合計した累計値である
ことを特徴とする付記３に記載の辞書生成装置。

（付記６）
前記特徴抽出手段は、前記複数の画像にそれぞれ含まれる人物の顔の特徴を抽出し、
前記類似度計算手段は、前記第１の人物の顔の特徴と、前記第２の人物の顔の特徴との間で、前記類似度を計算する
ことを特徴とする付記１から５のいずれか１項に記載の辞書生成装置。

（付記７）
入力画像を取得する入力手段と、
付記１から６のいずれか１項に記載の辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第１の人物とを照合する照合手段と、
前記照合手段による照合結果を出力する出力手段とを備えた
生体認証装置。

（付記８）
所定のエリア内で時間をおいて撮影された複数の画像を取得し、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、
前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算し、
前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定することを含む
辞書生成方法。

（付記９）
前記類似度に依存して変化する評価値を計算することをさらに含み、
前記類似度に基づいて、前記前記第１の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第１の人物に関する情報を前記辞書に登録するか否かを決定することである
ことを特徴とする付記８に記載の辞書生成方法。

（付記１０）
所定のエリア内で時間をおいて撮影された複数の画像を取得することと、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、
前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算することと、
前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶した、
一時的でない記録媒体。

（付記１１）
前記プログラムは、前記コンピュータに、
前記類似度に依存して変化する評価値を計算することをさらに実行させ、
前記類似度に基づいて、前記前記第１の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第１の人物に関する情報を前記辞書に登録するか否かを決定することである
ことを特徴とする付記１０に記載の記録媒体。

（付記１２）
人物検出手段と、
辞書生成装置と、
生体認証装置と、
を備えた監視システムであって、
前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、
前記辞書生成装置は、
前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
前記複数の画像のうちの１つの画像に含まれる第１の人物の特徴と、１または複数の他の画像に含まれる第２の人物の特徴との間の類似度を計算する類似度計算手段と、
前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定する登録手段と
を備え、
前記生体認証装置は、
前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第１の人物とを照合する照合手段と、
前記照合手段による照合結果を出力する出力手段と
を備えた
監視システム。

本発明は、例えば、生体認証技術を応用した監視システムに使用することができる。また、店舗において、顧客管理のために使用することができる。

１ 監視システム
１０ カメラ
２０ 人物検出部
３０ 辞書生成装置
３１ 画像取得部
３２ 特徴抽出部
３３ 類似度計算部
３４ 登録部
４０ 生体認証装置
４１ 入力部
４２ 照合部
４３ 出力部
５０ 人物辞書
６０ 報知部
２３０ 辞書生成装置
２３１ 画像取得部
２３２ 特徴抽出部
２３３ 類似度計算部
２３４ 評価値計算部
２３７ 登録部
２３８ 同一人物判定部
２３９ 回数計算部
３３０ 辞書生成装置
３３４ 評価値計算部
３３６ 登録部
３３７ スコア計算部

Claims (11)

1. 所定のエリア内で所定時間おきまたは同一曜日の同一時刻に撮影された複数の画像を取得する画像取得手段と、
   前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
   前記複数の画像のうちの第１の時刻に撮影された１つの画像に含まれる第１の人物の特徴と、第２の時刻に撮影された他の画像に含まれる第２の人物の特徴との間の類似度を計算する類似度計算手段と、
   前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定する登録手段と
   を備えた
   辞書生成装置。
2. 前記登録手段は、前記類似度が閾値を超える場合に、前記第１の人物に関する情報を辞書に登録する
   ことを特徴とする請求項１に記載の辞書生成装置。
3. 前記類似度に依存して変化する評価値を計算する評価値計算手段をさらに備え、
   前記登録手段は、前記評価値に基づいて、前記第１の人物に関する情報を前記辞書に登録するか否かを決定する
   ことを特徴とする請求項１に記載の辞書生成装置。
4. 前記評価値計算手段は、
   前記類似度に基づいて、前記第１の人物と前記第２の人物とが同一であるか否かを判定する同一人物判定手段と、
   前記評価値として、前記同一であると判定された回数を計算する回数計算手段とを含む
   ことを特徴とする請求項３に記載の辞書生成装置。
5. 前記評価値は、前記類似度を合計した累計値である
   ことを特徴とする請求項３に記載の辞書生成装置。
6. 前記特徴抽出手段は、前記複数の画像にそれぞれ含まれる人物の顔の特徴を抽出し、
   前記類似度計算手段は、前記第１の人物の顔の特徴と、前記第２の人物の顔の特徴との間で、前記類似度を計算する
   ことを特徴とする請求項１から５のいずれか１項に記載の辞書生成装置。
7. 入力画像を取得する入力手段と、
   請求項１から６のいずれか１項に記載の辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第１の人物とを照合する照合手段と、
   前記照合手段による照合結果を出力する出力手段とを備えた
   生体認証装置。
8. 所定のエリア内で所定時間おきまたは同一曜日の同一時刻に撮影された複数の画像を取得し、
   前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、
   前記複数の画像のうちの第１の時刻に撮影された１つの画像に含まれる第１の人物の特徴と、第２の時刻に撮影された他の画像に含まれる第２の人物の特徴との間の類似度を計算し、
   前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定することを含む
   辞書生成方法。
9. 前記類似度に依存して変化する評価値を計算することをさらに含み、
   前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第１の人物に関する情報を前記辞書に登録するか否かを決定することである
   ことを特徴とする請求項８に記載の辞書生成方法。
10. 所定のエリア内で所定時間おきまたは同一曜日の同一時刻に撮影された複数の画像を取得することと、
    前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、
    前記複数の画像のうちの第１の時刻に撮影された１つの画像に含まれる第１の人物の特徴と、第２の時刻に撮影された他の画像に含まれる第２の人物の特徴との間の類似度を計算することと、
    前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラム。
11. 所定のエリア内で撮影のトリガとなる入力や操作なしに複数回撮影された複数の画像を取得する画像取得手段と、
    前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
    前記複数の画像のうちの第１の時刻に撮影された１つの画像に含まれる第１の人物の特徴と、第２の時刻に撮影された他の画像に含まれる第２の人物の特徴との間の類似度を計算する類似度計算手段と、
    前記類似度に基づいて、前記第１の人物に関する情報を辞書に登録するか否かを決定する登録手段と
    を備えた
    辞書生成装置。

Images