JP5669082B2 - 照合装置 - Google Patents

Description

本発明は、防犯管理や重要顧客の来客管理等のカメラシステムに用いて好適な照合装置に関する。

従来、人物を撮影して撮影画像から顔検出を行い、顔領域から顔画像特徴量を求めてそれを照合リストに登録されている顔画像特徴量と照合して類似度を求め、求めた類似度を予め設定された閾値と比較することで当該人物が本人であるか否かを判定する技術がある（例えば、特許文献１，２参照）。

図２６は、従来の照合装置の構成を模式的に示した図である。同図において、カメラでの撮影結果としての画像から人物の顔を検出し、検出した顔の顔領域から顔画像特徴量を抽出し、抽出した顔画像特徴量と照合リストの登録顔特徴量とを照合して類似度を求め、求めた類似度を基にアラーム判定を行い、類似度が閾値以上の場合にアラーム通知を行う。同図では、閾値を「５０」に設定し、顔検出した人物５００と照合リストの人物５０１との類似度が「５５」、照合リストの人物５０２との類似度が「３０」としており、閾値「５０」を超える人物５０１においてアラーム通知が行われる。

特開２００４−１１８３５９号公報 特開２００６−１７８６５１号公報

しかしながら、特許文献１，２で開示された技術を含む従来技術では、過去の照合結果や撮影環境（向き、照明、日時、天候等）を考慮していないため、失報や誤報が増えるという課題がある。例えば、図２７の（ａ）に示すように、同一人物でも向きが違うために類似度が「４５」となると、アラーム発報せず「失報」となる。また、図２７の（ｂ）に示すように、他人同士でも照明の当たり方が違ったり、太陽光の当たり方が違ったりするなどで類似度が「６０」となると、アラーム発報して「誤報」となり、さらに同じ「失報」や「誤報」が繰り返し発生してしまう。

本発明は、係る事情に鑑みてなされたものであり、過去の照合結果や撮影環境を考慮して失報や誤報の発生を低く抑えることができる照合装置を提供することを目的とする。

本発明の照合装置は、登録画像、アラーム発報を行うか否かの判定基準となる閾値及び誤報人物画像で構成される誤報リストを保持する照合リストと、入力画像と前記照合リストで管理されている登録画像又は前記誤報人物画像を照合し類似度を求める照合部と、前記照合部で求められた前記入力画像と前記誤報人物画像との類似度と閾値のうち大きい値と前記照合部で求められた前記入力画像と前記登録画像との類似度とを比較してアラーム発報の可否を求める比較部と、を備えた。

上記構成において、前記照合リストは、前記登録画像毎に前記誤報リストを有する。

上記構成において、前記照合リストは、前記登録画像に共通の前記誤報リストを有する。

上記構成において、前記照合リストは、前記アラーム発報が誤発報のとき前記入力画像を誤報情報として前記誤報リストに追加する。

上記構成において、前記照合リストは、登録画像に替えて登録画像の特徴量を、誤報人物画像に替えて誤報人物画像の特徴量を保持する。

本発明の照合装置は、登録画像及びアラーム発報を行うか否かの判定基準となる閾値を登録画像毎に保持する照合リストと、入力画像と前記照合リストで管理されている登録画像を参照し類似度を求める照合部と、前記照合部で求められた類似度と前記照合リストで管理されている前記閾値とを比較してアラーム発報の可否を求める比較部と、を備え、更に、画像撮影時の状況を取得する状況取得部を備え、前記照合リストは、状況別に閾値を保持しており、前記比較部は、前記照合部で求められた類似度と前記状況取得部の取得した状況に応じた閾値とを比較してアラーム発報の可否を求め、更に、前記照合リストで管理するための前記閾値を、状況別に分類されたサンプル画像と登録画像との類似度に基づいて状況別に作成する他人類似度分布計算部を備えた。

本発明の照合方法は、登録画像及びアラーム発報を行うか否かの判定基準となる閾値を登録画像毎に保持する照合リストと、入力画像と前記照合リストで管理されている登録画像を参照し類似度を求める照合ステップと、前記照合ステップで求められた類似度と前記照合リストで管理されている前記閾値とを比較してアラーム発報の可否を求める比較ステップと、を備え、更に、画像撮影時の状況を取得する状況取得ステップを備え、前記照合リストは、状況別に閾値を保持しており、前記比較ステップでは、前記照合ステップで求められた類似度と前記状況取得ステップにおいて取得した状況に応じた閾値とを比較してアラーム発報の可否を求め、更に、前記照合リストで管理するための前記閾値を、状況別に分類されたサンプル画像と登録画像との類似度に基づいて状況別に作成する他人類似度分布計算ステップを備えた。

本発明の照合方法は、登録画像、アラーム発報を行うか否かの判定基準となる閾値及び誤報人物画像で構成される誤報リストを保持する照合リストと、入力画像と前記照合リストで管理されている登録画像又は前記誤報人物画像を照合し類似度を求める照合ステップと、前記照合ステップで求められた前記入力画像と前記誤報人物画像との類似度と閾値のうち大きい値と前記照合ステップで求められた前記入力画像と前記登録画像との類似度とを比較してアラーム発報の可否を求める比較ステップと、を備えた。

本発明によれば、撮影環境の違いによる失報や誤報の発生を低く抑えることができる。

本発明の実施の形態１に係る照合装置の概略構成を示すブロック図 図１の表示端末の入力受付部のユーザインタフェースの具体例を示す図 図１の照合装置の照合リストの一例を示す図 図１の照合装置の照合リストにおけるバリエーションＶ１を示す図 図１の照合装置の照合リストにおけるバリエーションＶ２を示す図 図１の照合装置の動作を説明するためのフローチャート 図１の照合装置の動作を説明するための図 図１の照合装置の照合リスト更新部で行われる照合リストの更新の一例を示す図 本発明の実施の形態２に係る照合装置の概略構成を示すブロック図 図９の照合装置の照合リストの２つのバリエーションの一例を示す図 図９の照合装置の照合部における入力顔特徴量と登録顔特徴量との比較処理の概要を模式的に示した図 図９の照合装置の照合部における入力顔特徴量と個別誤報リストの特徴量との比較処理の概要を模式的に示した図 図９の照合装置の照合リスト更新部における閾値更新処理の概要を模式的に示した図 図９の照合装置の比較部における処理の概要を模式的に示した図 図９の照合装置の誤報リストを用いたアプリケーションの一例を説明するための図 従来技術におけるアラーム判定処理の概要を模式的に示した図 図９の照合装置において、個別誤報リストを採用したアラーム判定処理の概要を模式的に示した図 図９の照合装置において、共通誤報リストを採用したアラーム判定処理の概要を模式的に示した図 図９の照合装置の動作を説明するためのシーケンス図 本発明の実施の形態３に係る照合装置の概略構成を示すブロック図 図２０の照合装置における照合リストの一例を示す図 図２０の照合装置におけるカテゴリ別サンプル収集処理の概略を説明するためのフローチャート 図２０の照合装置における照合リスト更新処理の概略を説明するためのフローチャート 図２０の照合装置におけるブラックリスト照合処理の概略を説明するためのフローチャート 登録顔画像と入店者との時間別類似度の一例を示す図 従来の照合装置の構成を模式的に示した図 従来の照合装置における問題点を説明するための図

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る照合装置の概略構成を示すブロック図である。同図において、本実施の形態の照合装置１は、少なくとも１台のカメラを有する撮影装置２と、顔認識装置３と、表示端末４とを備える。顔認識装置３は、映像入力部３１と、顔検出部３２と、顔特徴抽出部３３と、照合リスト３４と、照合リスト更新部３５と、照合部３６と、個別閾値取得部３７と、比較部３８とを備える。

映像入力部３１は、撮影装置２の撮影結果としての画像を入力する。顔検出部３２は、映像入力部３１で入力された画像から人物の顔を検出し、検出した顔の顔領域情報を出力する。この場合、顔領域情報とは、例えば目であればその目の領域情報であり、鼻であればその鼻の領域情報であり、口であればその口の領域情報である。顔検出部３２は、検出した顔の顔領域情報を出力する以外に、撮影装置２からの撮影画像も出力する。

なお、顔検出分野では、ＡｄａＢｏｏｓｔ学習法をベースとした検出方式により画像内から顔の領域を検出できることが報告されている（例えば非特許文献１：Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN:1063-6919、Vol.1、p.511−518）。顔検出部３２は、この検出方式を用いて、撮影装置２からの撮影画像内から各人物の目や鼻などの顔領域を検出し、顔領域情報として出力する。なお、この検出方式は一例であり、画像内から顔領域を特定することができる検出方式であればどのようなものでも良い。例えばパターンマッチングなどでも顔を検出することは可能である。

顔特徴抽出部３３は、撮影画像内の顔領域から顔画像特徴量（以下、“入力顔特徴量”と呼ぶ）を求める。そして、求めた入力顔特徴量を照合部３６へ出力する。なお、顔認識分野では、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換により算出した特徴量により、顔を高精度に認識できることが報告されている（例えば非特許文献２：E.Elagin、J.Steffens、H.Neven、「Automatic Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology」、Proceedings of the International Conference on Automatic Face and Gesture Recognition‘98. p.136-141、1998）。

照合リスト３４は、登録顔画像、登録顔特徴量、及びアラーム発報を行うか否かの判定基準となる閾値の全て、あるいはそれらのうちの２つを管理する。２つの情報を管理するバリエーションを以下に示す。
バリエーションＶ１：登録顔特徴量と閾値を管理する。登録顔画像は別のデータベースで管理される。
バリエーションＶ２：登録顔画面と閾値を管理する。登録顔特徴量は、照合部３６が顔特徴抽出部３３を使用してリアルタイムで求める。

本実施の形態の顔認識装置３ではバリエーションＶ１の照合リスト３４を用いるものとする。

照合リスト更新部３５は、ユーザからの入力を受け付けて照合リスト３４の閾値を更新する。照合部３６は、入力顔特徴量と登録顔特徴量との類似度を求め、その結果を比較部３８へ出力する。個別閾値取得部３７は、照合リスト３４の閾値を取得して比較部３８へ出力する。比較部３８は、照合部３６から出力された類似度と個別閾値取得部３７から出力された閾値とを比較し、類似度が閾値を超えている場合にアラーム発報する。

表示端末４は、入力受付部４１と表示部４２を備える。入力受付部４１はユーザインタフェースを備えており、このユーザインタフェースにてユーザ入力を受け付ける。図２は、入力受付部４１のユーザインタフェース４１１の具体例を示す図である。同図において、ユーザインタフェース４１１は、表示部４２に多画面表示４１１１を行うとともに、アラーム発報＆履歴表示４１１２を行い、さらに見逃すなボタン４１１３及びうるさいボタン４１１４の表示及びそれぞれによるユーザ入力を受け付ける。多画面表示４１１１では４分割した監視画像（４台のカメラで撮影された画像）を表示し、アラーム発報＆履歴表示４１１２ではアラーム発報した来店者の顔画像と発報時刻を表示する。なお、監視画像はライブ画像又は再生画像のいずれであっても構わない。

見逃すなボタン４１１３及びうるさいボタン４１１４は、アラーム発報の基準となる閾値を更新するために用いられるものであり、マウス等のポインチングデバイス（図示略）でクリックすることで、それぞれのユーザ入力が入力受付部４１に受け付けられる。見逃すなボタン４１１３は、要注意人物やお得意様であるにも関わらずアラーム発報が行われない場合に使用される。このような場合に見逃すなボタン４１１３を操作することで、当該人物に対応する閾値が小さくなる。これにより、アラーム発報する確率が高くなる。一方、うるさいボタン４１１４は、要注意人物やお得意様でないにも関わらずアラーム発報が行われる場合に使用される。このような場合にうるさいボタン４１１４を操作することで、当該人物に対応する閾値が大きくなる。これにより、アラーム発報する確率が低くなる。

表示端末４の表示部４２には、顔認識装置３の比較部３８がアラーム発報したときの発報内容が表示される。この発報内容としては、「類似度」、「撮影画像」、「照合リストの顔画像」などである。この場合、「撮影画像」は映像入力部３１で取得され、「照合リストの顔画像」は照合リスト３４から取得される。

図３は、照合リスト３４の一例を示す図である。照合リスト３４は、「番号（Ｎｏ．）」、「登録顔画像」、「登録顔特徴量」及び「閾値」から構成される。登録顔特徴量は顔のある部分（即ち目、鼻、口等）における特徴量を数値化したものである。

図４は、バリエーションＶ１の照合リスト３４の一例を示す図である。同図に示すように、「登録顔特徴量」と「閾値」を管理する。なお、登録顔画像は前述したように他の顔画像データベース（図示略）で管理される。

なお、参考として図５にバリエーションＶ２の照合リストを示す。同図に示すように、バリエーションＶ２の照合リストは「登録顔画面」と「閾値」を管理する。「登録顔特徴量」は顔特徴抽出部３３を使用してリアルタイムで求められる。

次に、本実施の形態の照合装置１の動作を説明する。
図６は、本実施の形態の照合装置１の動作を説明するためのフローチャートである。同図において、まず映像入力部３１が撮影装置２からの撮影画像を入力する（ステップＳ１）。次いで、顔検出部３２が撮影画像から人物の顔を検出し、顔領域情報を出力する（ステップＳ２）。顔検出部３２は撮影画像も出力する。

顔検出部３２が顔領域情報と撮影画像を出力することで、顔特徴抽出部３３が撮影画像内の顔領域から顔特徴を抽出し、その結果に基づく顔画像の特徴量即ち入力顔特徴量を照合部３６へ出力する（ステップＳ３）。顔特徴抽出部３３からの入力顔特徴量が照合部３６へ出力された後、照合部３６が入力顔特徴量と登録顔特徴量を照合し、類似度を求めて比較部３８へ出力する（ステップＳ４）。ここで、ステップＳ４の右隣に描いたように、入力顔特徴量と照合リストＮｏ．１の登録顔特徴量との類似度が「５５」、入力顔特徴量と照合リストＮｏ．２の登録顔特徴量との類似度が「３０」であるとする。

照合部３６の照合結果が比較部３８へ出力された後、個別閾値取得部３７が照合リスト３４から登録顔画像ごとの閾値を取得して比較部３８へ出力する（ステップＳ５）。ここで、ステップＳ５の右隣に描いたように、照合リストＮｏ．１の登録顔画像に対応する閾値が「６０」、照合リストＮｏ．２の登録顔画像に対応する閾値が「５５」であるとする。

個別閾値取得部３７で取得された閾値が比較部３８へ出力された後、比較部３８が照合部３６からの類似度と個別閾値取得部３７からの閾値を比較し、類似度が閾値を超えているか否かを判定する（ステップＳ６）。比較部３８は、類似度が閾値を超えていると判断するとアラーム発報する。この場合、照合リストＮｏ．１の登録顔画像の類似度「５５」が閾値「６０」未満であり、また照合リストＮｏ．２の登録顔画像の類似度「３０」が閾値「５５」未満であり、両方共閾値を超えていないためアラーム発報されない。

図７において、ユーザが多画面表示４１１１を確認中（この場合、ライブでも再生でも構わない）に、画面４１１１ａにおいて、照合リスト３４に登録された人物１００が登場してもアラーム発報されない場合、ユーザはその人物１００を選択した後、見逃すなボタン４１１３を押す。これにより、照合リスト更新部３５が照合リスト３４の該当する人物に対応する閾値を下げる。この処置により、人物１００に対してアラーム発報されるようになる。この場合、人物の検索方法としては、例えばユーザが選択した人物１００の顔と最も類似度の高い顔を自動選択するか、あるいは類似度の高い顔から順次表示してユーザに選択してもらう方法が考えられる。

また、ユーザがアラーム発報＆履歴表示４１１２を確認中（この場合、ライブでも再生でも構わない）に、画面４１１２ａにおいて誤発報した結果を見つけると、うるさいボタン４１１４を押す。これにより、照合リスト更新部３５が照合リスト３４の該当する人物に対応する閾値を上げる。この処置によりアラーム発報されなくなる。

図８は、照合リスト更新部３５で行われる照合リストの更新の一例を示す図である。同図に示すように、ユーザが人物を選択してうるさいボタン４１１４を押したことで照合リストＮｏ．１の登録顔画像に対する閾値「６０」が「６１」に更新される。また、ユーザが見逃すなボタン４１１３を押したことで照合リストＮｏ．２の登録顔画像に対する閾値「５５」が「５４」に更新される。閾値が大きくなることでアラーム発報する確率が低くなり、逆に閾値が小さくなることでアラーム発報する確率が高くなる。

このように実施の形態１の照合装置１によれば、入力顔特徴量と登録顔特徴量の類似度と比較してアラーム発報を行うか否かの判定基準となる閾値をユーザ入力により任意に変更できるようにしたので、撮影装置２による撮影環境の違いが生じても閾値を変更することで、失報や誤報の発生を低く抑えることができる。

（実施の形態２）
図９は、本発明の実施の形態２に係る照合装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の照合装置１と共通する部分には同一の符号を付けている。

図９において、本実施の形態の照合装置５は、撮影装置２と、顔認識装置６と、表示端末４とを備える。顔認識装置６は、映像入力部３１と、顔検出部３２と、顔特徴抽出部３３と、照合リスト６１と、照合リスト更新部６２と、照合部６３と、個別閾値取得部６４と、比較部６５とを備える。

照合リスト６１は、登録顔画像、登録顔特徴量とそれに対応付けられた閾値を管理する。照合リスト６１には以下に示す２つのバリエーションがある。
バリエーションＶ１：登録顔画像と各登録顔画像に対応付けられた個別誤報リストを管理する。登録顔特徴量、閾値及び登録顔画像ごとの個別誤報リストを管理する。
バリエーションＶ２：登録顔画像と全ての登録顔画像に共通の共通誤報リストを管理する。登録顔特徴量、閾値及び各登録顔画像に共通の共通誤報リストを管理する。

図１０は、照合リスト６１の２つのバリエーションの一例を示す図であり、（ａ）はバリエーションＶ１、（ｂ）はバリエーションＶ２である。（ａ）のバリエーションＶ１の照合リスト６１は、登録顔画像ごとに個別誤報リスト６１１を管理する。（ｂ）のバリエーションＶ２の照合リスト６１は、各登録顔画像に共通する共通誤報リスト６１２を管理する。なお、図１０では、バリエーションＶ１，バリエーションＶ２ともに共通する１つの閾値「５０」を持っている例であるが、登録顔画像ごとに個別に閾値を持っていても良い。

図９に戻り、照合部６３は、顔特徴抽出部３３で得られた入力顔特徴量と照合リスト６１で管理されている登録顔特徴量の類似度を求め、その結果を比較部６５へ出力する。また、照合部６３は、入力顔特徴量と個別誤報リスト６１１に登録されている登録顔特徴量の類似度、又は入力顔特徴量と共通誤報リスト６１２に登録されている登録顔特徴量の類似度を求め、求めた類似度を個別閾値取得部６４へ出力する。

比較部６５は、照合部６３で得られた入力顔画像と登録顔画像との類似度を個別閾値取得部６４から取得した閾値と比較し、閾値を超えている場合はアラーム発報する。個別閾値取得部６４は、照合リスト６１から閾値を取得し、照合部６３から取得した入力顔画像と誤報リストに登録されている顔画像との類似度と比較し、大きいほうの値を閾値として比較部６５に出力する。照合リスト更新部６２は、後述する入力受付部４１が受け付けたユーザ入力結果が誤報の場合、照合リスト６１内の誤報リストに誤報内容として入力顔画像を追加する。誤報リストのバリエーションが個別誤報リストの場合は、誤報であると判定された登録顔画像に対応する個別誤報リストに追加し、誤報リストのバリエーションが共通誤報リストの場合は、共通誤報リストに追加する。なお、照合リスト６１内の誤報リストの数に上限が設定されている場合は、誤報リスト内の顔画像と登録顔画像との類似度を求め、最も低いものを更新するなどするとよい。

アラーム発報の際に、表示端末４の入力受付部４１は誤報か否かのユーザ入力を受け付ける。表示端末４の表示部４２は発報内容を表示し、誤報か正しい発報かの入力をユーザに促す。

図１１は、照合部６３における入力顔特徴量と登録顔特徴量との比較処理の概要を模式的に示した図である。同図において、照合部６３は、入力顔特徴量（３２３，５４，…）を照合リスト６１にある各登録顔画像の登録顔特徴量と比較し、それぞれにおける類似度を求める。同図では、照合リストＮｏ．１の登録顔画像との類似度が「６５」、照合リストＮｏ．２の登録顔画像との類似度が「４２」…となっている。

図１２は、照合部６３における入力顔特徴量と個別誤報リスト６１１の特徴量との比較処理の概要を模式的に示した図である。同図において、照合部６３は、入力顔特徴量（３２３，５４，…）を照合リスト６１にある各個別誤報リスト６１１の特徴量と比較し、それぞれにおける類似度を求める。これにより、個別誤報リスト６１１ごとの入力顔特徴量との類似度が得られる。即ち、誤報リスト顔ごとの類似度が得られる。同図では、個別誤報リストＮｏ．１のＡの特徴量（５，６５，…）との類似度が「５１」となっている。また、個別誤報リストＮｏ．２のＢの特徴量（１３，５５，…）との類似度が「４６」となっている。また、個別誤報リストＮｏ．３のＣの特徴量（６９，５４，…）との類似度が「６４」となっている。

図１３は、照合リスト更新部６２における閾値更新処理の概要を模式的に示した図である。同図において、誤報リスト顔ごとの類似度（５１、４６、６４、…）と閾値「５０」とが比較されて、その結果に応じて閾値が更新される。例えば、誤報リスト顔Ｎｏ．１のＡにおいては類似度「５１」と閾値「５０」とが比較されて、類似度「５１」が閾値「５０」を超えるので、閾値は「５１」に更新される。また、誤報リスト顔Ｎｏ．２のＢ，Ｃにおいては２つの類似度「４６」、「６４」の夫々と閾値「５０」とが比較されて、閾値「５０」を超える類似度「６４」があることから、閾値は「６４」に更新される。このようにして登録顔ごとの閾値が得られる。

図１４は、比較部６５における処理の概要を模式的に示した図である。同図において、比較部６５は、入力顔と登録顔との類似度と登録顔ごとの閾値とを比較し、閾値を超える場合にアラーム発報を行う。例えば、照合リストＮｏ．１の登録顔との類似度「６５」は閾値（更新後）「５１」超えているためアラーム発報する。また、照合リストＮｏ．２の登録顔との類似度「４２」は閾値「６４」を超えないためアラーム発報しない。

図１９は、本実施の形態の照合装置５の動作を説明するためのシーケンス図である。同図において、顔特徴抽出部３３が入力顔特徴量を照合部６３へ出力する（ステップＳ１０）。次いで、照合リスト６１が登録顔特徴量を照合部６３へ出力する（ステップＳ１１）。照合部６３は、入力顔特徴量と登録顔特徴量を比較して類似度を算出し、算出した類似度を登録顔の類似度リストとともに比較部６５へ出力する（ステップＳ１２）。照合部６３から類似度と登録顔の類似度リストが出力された後、照合リスト６１が登録顔ごとに閾値、誤報リストを個別閾値取得部６４へ出力し（ステップＳ１３）、さらに続けて誤報リスト顔特徴量を照合部６３へ出力する（ステップＳ１４）。

照合リスト６１から誤報リスト顔特徴量が送信された後、照合部６３が入力顔と誤報リスト顔の特徴量を比較し、類似度を算出する（ステップＳ１５）。そして、入力顔と誤報リスト顔の類似度リストを個別閾値取得部６４へ出力する（ステップＳ１６）。照合部６３から入力顔と誤報リスト顔の類似度リストが出力された後、個別閾値取得部６４が入力顔と誤報リスト顔との類似度と閾値を比較し、一番高い値を閾値として採用する（ステップＳ１７）。そして、採用した閾値を比較部６５へ出力する（ステップＳ１８）。個別閾値取得部６４から閾値が送信された後、比較部６５が類似度と閾値を比較してアラーム発報の要否を判定する（ステップＳ１９）。この判定において、類似度が閾値未満であればアラーム発報せず、類似度が閾値以上であればアラーム発報する。

図１５は、本実施の形態の照合装置５の誤報リストを用いたアプリケーションの一例を説明するための図である。図１５の（ａ）、（ｂ）は、人物同士の類似度を示す表である。登録顔画像の閾値は全て５０であるとし、「従来技術」、「個別誤報リスト」、「共通誤報リスト」の３パターンについて、照合リストには人物１、２が登録されており、そこに入店者がＡ、Ｂ、Ｃ、Ｄの順番で入ってきた場合の例を示す。

図１６は、上記『従来技術』におけるアラーム判定処理の概要を模式的に示した図である。同図において、入店者Ａと照合リストＮｏ．１の登録顔との類似度「６５」を閾値「５０」と比較すると、類似度「６５」が閾値「５０」以上であるのでアラーム発報する。次に、入店者Ｂと照合リストＮｏ．１の登録顔との類似度「５５」を閾値「５０」と比較すると、類似度「５５」が閾値「５０」以上であるのでアラーム発報する。次に、入店者Ｃと照合リストＮｏ．２の登録顔との類似度「５０」を閾値「５０」と比較すると、類似度「５０」が閾値「５０」以上であるのでアラーム発報する。次に、入店者Ｄと照合リストＮｏ．１の登録顔との類似度「６０」を閾値「５０」と比較すると、類似度「６０」が閾値「５０」以上であるのでアラーム発報する。このように、『従来技術』では合計４回の誤報を冒してしまう。

図１７は、『個別誤報リスト』を採用したアラーム判定処理の概要を模式的に示した図である。同図において、入店者Ａと照合リストＮｏ．１の登録顔との類似度「６５」を閾値「５０」と比較すると、類似度「６５」が閾値「５０」以上であるのでアラーム発報する。このときユーザから誤報通知があると、入店者Ａを照合リストＮｏ．１の個別誤報リストに追加する。

次に、入店者Ｂと照合リストＮｏ．１の登録顔との類似度「５５」を閾値「５０」と比較するとともに、入店者Ｂと照合リストＮｏ．１の個別誤報リストの入店者Ａの類似度「６８」を閾値「５０」と比較すると、照合リストＮｏ．１の類似度「５５」が閾値「５０」を超えるが、照合リストＮｏ．１の個別誤報リストの入店者Ａの類似度「６８」の方の類似度が高いためアラーム発報しない。次に、入店者Ｃと照合リストＮｏ．２の登録顔との類似度「５０」を閾値「５０」と比較すると、類似度「５０」が閾値「５０」以上であるのでアラーム発報する。そして、入店者Ｃを照合リストＮｏ．２の個別誤報リストに追加する。

次に、入店者Ｄと照合リストＮｏ．１の登録顔との類似度「６０」を閾値「５０」と比較するとともに、入店者Ｄと照合リストＮｏ．１の個別誤報リストの入店者Ａの類似度「５１」を閾値「５０」と比較すると、照合リストＮｏ．１の類似度「６０」が個別誤報リストの入店者Ａの類似度「５１」より高いためアラーム発報する。そして、入店者Ｄを照合リストＮｏ．１の個別誤報リストに追加する。入店者Ｄを照合リストＮｏ．１の個別誤報リストに追加した図は省略している。このように、照合リストに登録された人ごとに誤報リストを持つことで誤報を減らすことができる（合計３回の誤報）。

図１８は、『共通誤報リスト』を採用したアラーム判定処理の概要を模式的に示した図である。同図において、入店者Ａと照合リストＮｏ．１の登録顔との類似度「６５」を閾値「５０」と比較すると、類似度「６５」が閾値「５０」以上であるのでアラーム発報する。そして、入店者Ａを共通誤報リストに追加する。次に、入店者Ｂと照合リストＮｏ．１の登録顔の類似度「５５」を閾値「５０」と比較するとともに、入店者Ｂと共通誤報リストの入店者Ａの類似度「６８」を閾値「５０」と比較すると、共通誤報リストの入店者Ａの類似度「６８」の方が高いためアラーム発報しない。

次に、入店者Ｃと照合リストＮｏ．２の登録顔の類似度「５０」を閾値「５０」と比較するとともに、入店者Ｃと共通誤報リストの入店者Ａの類似度「４８」を閾値「５０」と比較すると、入店者Ｃと照合リストＮｏ．２の登録顔の類似度「５０」の方が高いので、アラーム発報する。そして、入店者Ｃを共通誤報リストに追加する。次に、入店者Ｄと照合リストＮｏ．１の登録顔の類似度「６０」を閾値「５０」と比較するとともに、入店者Ｄと共通誤報リストの入店者Ｃの類似度「６４」を閾値「５０」と比較すると、共通誤報リストの入店者Ｃの類似度「６４」の方が高いためアラーム発報しない。このように、誤報リストを共通で持つことで、初期段階から多くのデータを集めることができ、誤報を減らすことが可能となる（合計２回の誤報）。

このように実施の形態２の照合装置５によれば、登録顔画像の閾値及び誤報情報で構成される誤報リストを有する照合リスト６１を備え、誤発報のときに入力顔画像を誤報情報として誤報リストに追加し、また、入力顔画像と誤報情報を照合した誤報情報類似度が入力顔画像の類似度より大きなときは閾値を誤報情報の類似度と同値に更新するようにしたので、前述した実施の形態１の照合装置１よりもさらに失報や誤報の発生を低く抑えることができる。

なお、本実施の形態では、照合リスト６１は、登録画像毎に誤報リストを有したが、登録画像に共通の誤報リストを有することも可能である。

（実施の形態３）
図２０は、本発明の実施の形態３に係る照合装置の概略構成を示すブロック図である。なお、同図において前述した実施の形態１の照合装置１と共通する部分には同一の符号を付けている。

図２０において、実施の形態３の照合装置７は、撮影装置２と、顔認識装置８と、データ生成装置９と、状況取得装置１０とを備える。顔認識装置８は、映像入力部３１と、顔検出部３２と、顔特徴抽出部３３と、照合リスト７１と、照合部３６と、個別閾値取得部７２と、比較部３８とを備える。データ生成装置９は、サンプルデータベース（ＤＢ）９１と、他人類似度分布計算部９２と、サンプルデータ生成部９３とを備える。状況取得装置１０は状況取得部１０１を備える。

顔認識装置８において、照合リスト７１は、登録顔画像（登録顔特徴量）とそれに対応付けられた閾値を管理する。図２１は、照合リスト７１の一例を示す図である。同図において、Ｎｏ．１の照合リストでは、登録顔画像に対し、登録顔特徴量（１２，３４，…）と、状況に応じた閾値を管理する。状況は朝と昼と夜に分けられていて、天候に応じた閾値が設定される。Ｎｏ．２の照合リストも同様に、登録顔画像に対し、登録顔特徴量（４５，１２，…）と、状況に応じた閾値を管理する。状況は、朝と昼と夜に分けられていて、天候に応じた閾値が設定される。

図２０に戻り、照合部３６は、顔特徴抽出部３３で得られた入力顔特徴量と照合リスト７１で管理されている登録顔特徴量の類似度を求め、その結果を比較部３８へ出力する。比較部３８は、照合部３６で得られた類似度を個別閾値取得部７２から取得した閾値と比較し、閾値を超えている場合はアラーム発報する。個別閾値取得部７２は、状況取得装置１０の状況取得部１０１から取得した状況に対応した閾値を照合リスト７１から取得する。状況取得部１０１は、図示せぬ時計部の他、圧力センサやカメラ等のセンサ類を有し、現在の状況（被写体が撮影された状況：日時・天候など）を取得する。なお、カメラによる天候推定は輝度差に基づいて行われる。

データ生成装置９において、サンプルデータベース９１は、顔画像サンプルと、各顔画像サンプルが撮影された際の状況（天候、時刻等）を対応付けて管理する。他人類似度分布計算部９２は、照合リスト７１に登録されている顔画像とサンプルデータベース９１で管理されている顔画像サンプルの類似度を求める。そして、求めた類似度を状況ごとに集計し、さらに状況ごとに集計した類似度から閾値を求め、照合リスト７１で管理されている顔画像に対して状況ごとの閾値を設定する。サンプルデータ生成部９３は、顔特徴抽出部３３からの顔画像と入力顔特徴量を顔サンプルとして収集するとともに、顔サンプル収集時の状況（天候、時刻等）を取得し、状況ごとに顔サンプルを分類してサンプルデータのデータベースを作成する。

図２２は、実施の形態３の照合装置７におけるカテゴリ別サンプル収集（サンプルデータベースの作成）処理の概略を説明するためのフローチャートである。同図において、まず映像入力部３１が撮影装置２からの撮影画像を入力する（ステップＳ１）。次いで、顔検出部３２が撮影画像から人物の顔を検出し、顔領域情報を出力する（ステップＳ２）。顔検出部３２は撮影画像も出力する。

次いで、顔特徴抽出部３３が撮影画像内の顔領域から顔特徴を抽出し、その結果に基づく顔画像の特徴量即ち入力顔特徴量を求める（ステップＳ３）。次いで、データ生成装置９のサンプルデータ生成部９３が顔画像と入力顔特徴量を顔サンプルとして一時的に保存する（ステップＳ３０）。次いで、状況取得装置１０の状況取得部１０１が現在の状況（天候、時刻等）を取得する（ステップＳ３１）。次いで、サンプルデータ生成部９３が状況ごとに顔サンプルを分類してサンプルデータ８０を作成する（ステップＳ３２）。

図２３は、実施の形態３の照合装置７における照合リスト更新処理の概略を説明するためのフローチャートである。この処理は、データ生成装置９の他人類似度分布計算部９２によって行われる。同図において、まず照合リスト７１を参照して登録顔画像の特徴量を取得する（ステップＳ４０）。照合リスト７１は、初期段階では閾値は設定されていないので、ステップＳ４０の右隣に描いたように、登録顔画像と登録顔特徴量のみとなっている。

次いで、前述したカテゴリ別サンプル収集処理で得られた顔サンプルとの比較を行う（ステップＳ４１）。即ち、照合リスト７１にある各登録顔画像と、カテゴリ別サンプル収集処理で得られた顔サンプルとを比較して類似度を求める。この場合、他人に本人が混じっている可能性はあるが、統計上問題はない。

そして、顔サンプルとの比較において、カテゴリ別に平均類似度と標準偏差を算出する（ステップＳ４２）。即ち、状況ごとに顔サンプルとの比較結果の統計情報を求める。ここでは平均（Ａｖｅ）と標準偏差（Ｓｔｄ）を求めている。そして、状況ごとの統計情報から閾値を求める（ステップＳ４３）。ここでは、個別閾値（Ｔｈｒ）を、Ｔｈｒ＝Ａｖｅ（平均）＋Ｓｔｄ（標準偏差）として求めている。そして、最終的に、図２１に示すような照合リスト７１が得られる。

図２４は、実施の形態３の照合装置７におけるブラックリスト照合処理の概略を説明するためのフローチャートである。同図において、まず映像入力部３１が撮影装置２からの撮影画像を入力し、顔検出部３２が撮影画像から人物の顔を検出し、顔特徴抽出部３３が撮影画像内の顔領域から顔特徴を抽出して入力顔特徴量を求める（ステップＳ５０）。そして、照合部３６が入力顔特徴量と照合リスト７１の登録顔特徴量を照合し、類似度を求める（ステップＳ５１）。ここで、ステップＳ５１の右隣に描いたように、入力顔特徴量と照合リストＮｏ．１の登録顔特徴量との類似度が「５５」、入力顔特徴量と照合リストＮｏ．２の登録顔特徴量との類似度が「３０」であるとする。

次いで、状況取得装置１０の状況取得部１０１が現在の状況を取得する（ステップＳ５２）。例えば、“ＡＭ１０：００〜晴れ”であるという状況を取得する。現在の状況を取得した後、個別閾値取得部７２が現在状況に応じた閾値を取得する（ステップＳ５３）。ここで、ステップＳ５３の右隣に描いたように、午前・晴れの状況での閾値が照合リストＮｏ．１では「６５」、照合リストＮｏ．２では「５０」であるとする。ここでは、状況の例として時刻と天候を用いて説明をしたが、撮影に影響を及ぼすものであればなんでもよく、室内の照度などを用いてもよい。

次いで、比較部３８が個別閾値取得部７２にて取得された閾値を照合部３６からの類似度と比較し、アラーム判定を行う（ステップＳ５４）。なお、カテゴリ別に閾値判定する。例えば、照合リストＮｏ．１の登録顔特徴量における類似度が「５５」、照合リストＮｏ．２の登録顔特徴量における類似度が「３０」で、照合リストＮｏ．１での閾値が「６５」、照合リストＮｏ．２での閾値が「５０」である場合、いずれの類似度も閾値を超えていないのでアラーム発報しない。

なお、本実施の形態では状況ごとの閾値を求める際に必ずしもサンプル画像を使う必要はなく、他人類似度分布計算部９２は登録顔画像と直近の入店者との照合結果から現在の状態を推測し状況に合った閾値を求めてもよい。

図２５は登録顔画像と入店者との時間別類似度の一例を示す図である。このグラフは一定の時間間隔で登録顔画像と入店者との類似度の平均を算出したものである。登録顔画像は逆光に近い顔（後ろと前の照度差が激しい中で撮影した顔）であった場合の例になっている。入店者の撮影状況が晴（逆光）の場合は、登録顔との類似度も高くなり、また屋内照明のみの場合は類似度が低くなっていることが分かる。このように直近の類似度を用いることで入店者の撮影状況を予測することが可能となる。

他人類似度分布計算部９２は、直近のＮ人（例えば、Ｎ＝１００）との類似度の「平均（Ａｖｅ）、標準偏差（Ｓｔｄ）」を保有し、閾値（Ｔｈｒ）を、Ｔｈｒ＝Ａｖｅ＋Ａ×Ｓｔｄ（Ａ：定数）で定義される式を用いて求める。標準偏差（ばらつきの度合い）Ｓｔｄが大きい場合（即ち照明の条件が変動している時間帯）は、デフォルトの閾値、もしくは定数Ａを勾配率に応じた値に設定してもよい（例えば、上昇中はＡ＝３．０、下降中はＡ＝０．１のようにパラメータを設定する）。定数Ａを決めるための勾配率はグラフでの直近のＮ人分のデータを表す点から求めることができる。

直近の類似度から求めた閾値は閾値を求めた時点の状況が反映されたものとなる。そのため状況取得手段は不要となり、照合リストは状況別の閾値ではなく登録顔画像毎に閾値を保持し、他人類似度分布計算部９２は求めた閾値を用いて定期的に照合リストの閾値を更新すればよく簡易な構成で状況を考慮した閾値を用いることができる。

このように実施の形態３の照合装置７によれば、日時及び天候を含む画像撮影時の状況を取得する状況取得部１０１を有し、他人類似度分布計算部９２が、アラーム発報をするか否かの判定基準となる閾値を登録顔画像取得時の状況によって分類するとともに、状況取得部１０１で取得された状況に応じて閾値を決定するので、前述した実施の形態１の照合装置１よりもさらに失報や誤報の発生を低く抑えることができる．

なお、上記実施の形態１〜３の照合装置１，５，７では、人物の顔の画像を扱うようにしたが、人物の顔に限定されるものではなく、人物の全体像を扱っても良いし、人物以外の被写体を扱っても良い。したがって、入力顔画像は入力画像、登録顔画像は登録画像として扱うことが可能である。

本発明は、撮影環境の違いによる失報や誤報の発生を低く抑えることができるといった効果を有し、防犯や重要顧客の来客管理等のカメラシステムなどへの適用が可能である。

１、５、７ 照合装置
２ 撮影装置
３、６、８ 顔認識装置
４ 表示端末
９ データ生成装置
１０ 状況取得装置
３１ 映像入力部
３２ 顔検出部
３３ 顔特徴抽出部
３４、６１、７１ 照合リスト
３５、６２ 照合リスト更新部
３６、６３ 照合部
３７、６４、７２ 個別閾値取得部
３８、６５ 比較部
４１ 入力受付部
４２ 表示部
９１ サンプルデータベース
９２ 他人類似度分布計算部
９３ サンプルデータ生成部
１０１ 状況取得部
４１１ ユーザインタフェース
６１１ 個別誤報リスト
６１２ 共通誤報リスト
４１１３ 見逃すなボタン
４１１４ うるさいボタン

Claims (11)

1. 登録画像、アラーム発報を行うか否かの判定基準となる閾値及び誤報人物画像で構成される誤報リストを保持する照合リストと、
   入力画像と前記照合リストで管理されている登録画像又は前記誤報人物画像を照合し類似度を求める照合部と、
   前記照合部で求められた前記入力画像と前記誤報人物画像との類似度と閾値のうち大きい値と前記照合部で求められた前記入力画像と前記登録画像との類似度とを比較してアラーム発報の可否を求める比較部と、
   を備えた照合装置。
2. 前記照合リストは、前記登録画像毎に前記誤報リストを有する請求項１に記載の照合装置。
3. 前記照合リストは、前記登録画像に共通の前記誤報リストを有する請求項１に記載の照合装置。
4. 前記照合リストは、前記アラーム発報が誤発報のとき前記入力画像を誤報情報として前記誤報リストに追加する請求項２又は請求項３に記載の照合装置。
5. 前記照合リストは、登録画像に替えて登録画像の特徴量を、誤報人物画像に替えて誤報人物画像の特徴量を保持する請求項１に記載の照合装置。
6. 登録画像及びアラーム発報を行うか否かの判定基準となる閾値を登録画像毎に保持する照合リストと、
   入力画像と前記照合リストで管理されている登録画像を参照し類似度を求める照合部と、
   前記照合部で求められた類似度と前記照合リストで管理されている前記閾値とを比較してアラーム発報の可否を求める比較部と、
   を備え、
   更に、画像撮影時の状況を取得する状況取得部を備え、
   前記照合リストは、状況別に閾値を保持しており、
   前記比較部は、前記照合部で求められた類似度と前記状況取得部の取得した状況に応じた閾値とを比較してアラーム発報の可否を求め、
   更に、前記照合リストで管理するための前記閾値を、状況別に分類されたサンプル画像と登録画像との類似度に基づいて状況別に作成する他人類似度分布計算部を備えた照合装置。
7. 他人類似度分布計算部は、状況別に分類されたサンプル画像と登録画像との類似度を求め、求めた類似度を統計的に処理した結果を前記閾値とする請求項６に記載の照合装置。
8. 前記照合リストは、登録画像に替えて登録画像の特徴量を保持する請求項６に記載の照合装置。
9. ユーザからの入力を受け付けるユーザ入力受付部と、
   前記ユーザ入力受付部での受け付け内容に応じて前記照合リストで管理されている前記
   閾値を更新する照合リスト更新部と、
   を備えた請求項１または請求項６に記載の照合装置。
10. 登録画像、アラーム発報を行うか否かの判定基準となる閾値及び誤報人物画像で構成される誤報リストを保持する照合リストと、
    入力画像と前記照合リストで管理されている登録画像又は前記誤報人物画像を照合し類似度を求める照合ステップと、
    前記照合ステップで求められた前記入力画像と前記誤報人物画像との類似度と閾値のうち大きい値と前記照合ステップで求められた前記入力画像と前記登録画像との類似度とを比較してアラーム発報の可否を求める比較ステップと、
    を備えた照合方法。
11. 登録画像及びアラーム発報を行うか否かの判定基準となる閾値を登録画像毎に保持する照合リストと、
    入力画像と前記照合リストで管理されている登録画像を参照し類似度を求める照合ステップと、
    前記照合ステップで求められた類似度と前記照合リストで管理されている前記閾値とを比較してアラーム発報の可否を求める比較ステップと、
    を備え、
    更に、画像撮影時の状況を取得する状況取得ステップを備え、
    前記照合リストは、状況別に閾値を保持しており、
    前記比較ステップでは、前記照合ステップで求められた類似度と前記状況取得ステップにおいて取得した状況に応じた閾値とを比較してアラーム発報の可否を求め、
    更に、前記照合リストで管理するための前記閾値を、状況別に分類されたサンプル画像と登録画像との類似度に基づいて状況別に作成する他人類似度分布計算ステップを備えた照合方法。

Images