JP6865351B2

JP6865351B2 - 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法

Info

Publication number: JP6865351B2
Application number: JP2017530998A
Authority: JP
Inventors: 山岡　めぐみ; めぐみ山岡; 香織森
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2015-07-27
Filing date: 2016-07-04
Publication date: 2021-04-28
Anticipated expiration: 2036-07-04
Also published as: WO2017017900A1; JPWO2017017900A1; US10558846B2; US20170357845A1

Description

本開示は、撮像装置により撮像された照合対象者の顔画像を予め登録された登録者の顔画像と照合する顔照合装置およびこれを備えた顔照合システムならびに顔照合方法に関する。

従来、人物認証等を行うために人物の顔照合を行う顔照合装置が知られている。この種の顔照合装置は、照合対象者の顔画像を撮像装置により撮像し、撮像された顔画像を予め登録された登録者の顔画像と照合することにより、人物認証等を行っている。このような顔照合装置は、セキュリティ、防犯、警備、万引き防止、顧客認識などを目的とするセキュリティシステムや監視カメラシステムなどに用いることができる（例えば、特許文献１参照）。

特開２００８−２５７４８７号公報

しかしながら、従来は、撮像装置により撮像された照合対象者の顔画像（以降、「撮像画像」と称する）は、予め登録された登録者の顔画像（以降、「登録者画像」と称する）と合致しなかった場合、次回以降の照合に利用することができなかった。撮像画像は、照合対象者の顔の向き、光の向き、照明環境等に起因して、登録者画像の人物と同一人物であっても、照合が合致しない場合がある。もし、登録者画像と照合が合致しなかった撮像画像の少なくとも一部を既に登録されている登録者画像に追加することができれば、次回以降の照合における照合精度の向上を図ることができる。また、登録者画像と照合が合致しなかった撮像画像の少なくとも一部を、照合用の顔画像として新規に登録することができれば、照合用画像のデーターベースの作成が可能となる。

本開示は、このような従来技術の課題を鑑みて案出されたものであり、登録者画像と合致しなかった撮像画像の少なくとも一部を照合用の顔画像として登録することにより、次回以降の照合における照合精度の向上または照合用画像のデーターベースの作成を図ることを可能とする顔照合装置およびこれを備えた顔照合システムならびに顔照合方法を提供することを主目的とする。

本開示の顔照合装置は、撮像装置により撮像された照合対象者の顔画像を予め登録された登録者の顔画像と照合する顔照合装置であって、前記撮像装置により撮像された照合対象者の顔画像を取得し、予め登録された登録者の顔画像を記憶し、前記照合対象者の顔画像を前記登録者の顔画像と照合し、前記登録者の顔画像と合致しなかった前記照合対象者の顔画像を非登録者画像として記憶し、記憶されている前記非登録者画像を前記非登録者画像間の類似度に基づいてグループ化して非登録者画像グループを作成し、前記非登録者画像記憶部に記憶された前記非登録者画像を前記非登録者画像グループ毎に表示装置に出力し、前記表示装置に出力された前記非登録者画像のうちのユーザにより登録すべきと選択された前記非登録者画像を前記登録者画像記憶部に照合用の顔画像として登録することを特徴とする。

本開示によれば、登録者画像と合致しなかった撮像画像の少なくとも一部を照合用の顔画像として登録することにより、次回以降の照合における照合精度の向上または照合用画像のデーターベースの作成を図ることが可能となる。

図１は、本開示の顔照合システムの概略を示す構成図である。図２は、本開示の顔照合システムを実現するためのハードウェア構成を示すブロック図である。図３は、非登録者画像を非登録者画像記憶部に登録する処理の流れを示すフローである。図４は、非登録者画像を登録者画像記憶部に登録する処理の流れを示すフローである。図５は、表示装置に表示された非登録者画像グループの画面の一例を示す図である。図６は、表示画面に、ユーザに非登録者画像を選択して登録することを確認するメッセージボックスが表示された状態を示す図である。図７は、表示画面のチェックボックスのチェックを外した状態を示す図である。図８は、表示画面に、登録名を入力するための入力ボックスが表示された状態を示す図である。図９は、表示画面に、ユーザに登録を確認するメッセージボックスが表示された状態を示す図である。

上記課題を解決するためになされた第１の開示は、撮像装置により撮像された照合対象者の顔画像を予め登録された登録者の顔画像と照合する顔照合装置であって、顔照合装置は、撮像装置により撮像された照合対象者の顔画像を取得し、予め登録された登録者の顔画像を記憶し、照合対象者の顔画像を登録者の顔画像と照合し、登録者の顔画像と合致しなかった照合対象者の顔画像を非登録者画像として記憶し、非登録者画像記憶部に記憶された非登録者画像のうちの少なくとも１つを表示装置に出力し、表示装置に出力された非登録者画像のうちのユーザにより登録すべきと選択された非登録者画像を登録者画像記憶部に照合用の顔画像として登録する、ことを特徴とする。

この第１の開示に係る顔照合装置によれば、登録者画像と合致しなかった撮像画像を非登録者画像として表示装置に表示し、表示装置に表示された非登録者画像のうちのユーザにより登録すべきと選択された非登録者画像を登録者画像として登録するように構成したので、登録者画像と合致しなかった撮像画像の少なくとも一部を照合用の顔画像として登録することが可能となる。これにより次回以降の照合における照合精度の向上または照合用画像のデーターベースの作成を図ることが可能となる。

また、第２の開示では、顔照合装置は、表示装置に出力された非登録者画像のうちのユーザにより登録すべきと選択された非登録者画像を、既に登録されている登録者の顔画像として登録するか、または新規の登録者の顔画像として登録することを特徴とする。

この第２の開示に係る顔照合装置によれば、登録者画像と合致しなかった撮像画像を、登録者画像記憶部に既に登録されている既存の登録者の顔画像として登録するか、または新規の登録者の顔画像として登録するように構成したので、照合対象者が既存の登録者と同一人物であった場合に、照合対象者の撮像画像を既存の登録者の顔画像として登録することができる。これにより、既存の登録者の顔画像の数を増やすことができるので、次回以降の照合における照合精度の向上を図ることが可能となる。なお、照合対象者が既存の登録者と同一人物でなかった場合は、照合対象者の撮像画像は、新規の登録者の顔画像として登録される。

また、第３の開示では、顔照合装置は、記憶されている非登録者画像を非登録者画像間の類似度に基づいてグループ化して非登録者画像グループを作成し、非登録者画像を非登録者画像グループ毎に表示装置に出力すること特徴とする。

この第３の開示に係る顔照合装置によれば、非登録者画像を非登録者画像間の類似度に基づいてグループ化し、グループ毎に表示装置に出力するように構成したので、ユーザは、互いに類似する複数の非登録者画像をまとめて確認または見比べることができる。これにより、ユーザは、非登録者画像を登録者画像として登録するか否かを選択する作業を容易に行うことが可能となる。

また、第４の開示では、非登録者画像グループを、非登録者画像の含有数が多い順に出力することを特徴とする。

この第４の開示に係る顔照合装置によれば、非登録者画像グループを非登録者画像の含有数が多い順に出力するように構成したので、ユーザは、非登録者画像を登録者画像として登録するか否かを選択する作業を、非登録者画像の含有数が多い非登録者画像グループから順に行うことができる。非登録者画像の含有数が多い非登録者画像グループは、照合失敗の可能性が高い撮像画像、または出現頻度の高い人物の撮像画像を含むグループなので、非登録者画像の含有数が多い非登録者画像グループを登録者画像記憶部に登録することにより、次回以降の照合における照合精度の向上を図ることが可能となる。また、非登録者画像を登録者画像として登録する作業を非登録者画像の含有数が多い非登録者画像グループから順に行うことにより、非登録者画像の登録作業を効率的に行うことが可能となる。

また、第５の開示では、非登録者画像の含有数が予め定められた数を超えた非登録者画像グループのみを表示装置に出力すること特徴とする。

この第５の開示に係る顔照合装置によれば、非登録者画像の含有数が予め定められた数を超えた登録者画像グループのみを表示装置に出力するように構成したので、非登録者画像の含有数が予め定められた数以下の登録者画像グループは表示装置に出力されない。これにより、非登録者画像の含有数が予め定められた数以下の登録者画像グループについての非登録者画像の登録作業は不要となるので、非登録者画像の登録作業を効率的に行うことが可能となる。

また、第６の開示では、登録者画像記憶部に登録された非登録者画像を用いて照合用データの再学習を行うことを特徴とする。

この第６の開示に係る顔照合装置によれば、画像照合部が、登録者画像記憶部に新たに登録された非登録者画像を用いて照合用データの再学習を行うように構成したので、次回以降の照合における照合精度の向上を図ることが可能となる。

また、第７の開示は、上記顔照合装置と、照合対象者の顔画像を撮像する撮像装置と、顔照合装置から出力された非登録者画像を表示する表示装置と、非登録者画像の登録に関する命令をユーザが顔照合装置に入力するための入力装置とを備えた顔照合システムである。

以下、本開示の実施形態について、図面を参照しながら説明する。

図１は、本開示の顔照合システムの概略を示す構成図である。この顔照合システムは、撮像装置により撮像された照合対象者の顔画像（以降、「撮像画像」と称する）を予め登録された顔画像（以降、「登録者画像」と称する）と照合して人物認証を行うためのシステムであり、セキュリティシステムや監視カメラシステムなどに適用することができる。例えば、顔照合システム１をセキュリティシステムに適用する場合は、電気鍵や自動ドアの解錠を行う入室管理装置と組み合わせて使用する。また、顔照合システム１を監視カメラシステムに適用する場合は、録画装置や警報装置などと組み合わせて使用する。

図１に示すように、顔照合システム１は、撮像装置２と、顔照合装置３と、表示装置４と、入力装置５とを備えて構成される。顔照合装置３は、撮像装置２、表示装置４、および入力装置５と、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などの有線または無線通信を介して接続されている、なお、顔照合装置３と、撮像装置２、表示装置４、および入力装置５との接続形態は特に限定されるものではなく、例えば、インターネットなどのネットワークを介した接続であってよいし、汎用のインターフェース（例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インターフェース）を用いて通信ケーブルで互いに接続してもよい。

撮像装置２は、例えばＣＣＤカメラであり、壁や天井などに設置され、照合対象者の顔画像を撮像する。なお、撮像装置２は、少なくとも照合対象者の顔画像を撮像可能な限りにおいて、その形態、機能、配置、数量などについては、特に限定されるものではなく種々の変更が可能である。例えば、撮像装置２は、公知の全方位ネットワークカメラであってもよい。撮像装置２により撮像された照合対象者の顔画像（撮像画像）は、顔照合装置３に入力される。

表示装置４は、一般的なディスプレイ装置（モニタ装置）であり、顔照合装置３から出力された非登録者画像を表示する。非登録者画像の詳細については後述する。入力装置５は、キーボードやマウスなどの一般的な入力デバイスであり、表示装置４に表示された非登録者画像を登録する命令をユーザが顔照合装置３に入力するのに使用される。なお、表示装置４および入力装置５は、非登録者画像の表示および非登録者画像の登録命令の入力が可能な限りにおいて、その形態、機能、配置、数量などについては、特に限定されるものではなく種々の変更が可能である。

顔照合装置３は、一般的なコンピュータ装置であり、詳細は図示しないが、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＣＰＵのワークエリアなどとして機能するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ネットワークを介した通信処理を実行するネットワークインタフェースなどを含んで構成されている。後に詳述する顔照合装置３の各種機能（例えば、画像の照合処理）は、ＣＰＵが所定の制御プログラム（例えば、画像照合プログラム）を実行することによって実現可能である。なお、顔照合装置３としては、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバなど）を用いることもできる。また、顔照合装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

図１に示すように、顔照合装置３は、画像取得部１１と、登録者画像記憶部１２と、画像照合部１３と、非登録者画像記憶部１４と、画像グループ作成部１５と、画像出力部１６と、画像登録部１７とを備えている。各部は、図示しない制御部によって制御される。

画像取得部１１は、撮像装置２と接続されており、撮像装置２から照合対象者の顔画像（撮像画像）を取得する。また、画像取得部１１は、画像照合部１３と接続されており、画像取得部１１が撮像装置２から取得した撮像画像は、画像照合部１３に入力される。

登録者画像記憶部１２は、予め登録された登録者の顔画像（登録者画像）を記憶している。１つの登録者画像は、ある１人の人物の顔画像である。登録者画像記憶部１２は、複数の登録者画像を記憶することが一般的である。登録者画像記憶部１２は、複数の人物について各々１枚の登録者画像を記憶している場合もあれば、複数の人物について各々複数の登録者画像を記憶している場合もある。登録者画像には、被写体を識別する名称として登録者名が付けられている。登録者名はユーザが付けてもよいし、登録者画像記憶部１２が予め定められた方式に従って自動的に付けてもよい。

画像照合部１３は、画像取得部１１、登録者画像記憶部１２および非登録者画像記憶部１４と接続されている。画像照合部１３は、画像取得部１１から入力された撮像画像を、登録者画像記憶部１２に記憶されている登録者画像と照合する。具体的には、事前に行われた機械学習によって得られたモデルを用いて、撮像画像と登録者画像との類似度を算出し、算出された類似度が予め設定された閾値を超えた場合は、撮像画像が登録者画像と合致すると判定し、前記閾値以下の場合は、撮像画像が登録者画像と合致しないと判定する。なお、上述した機械学習は、照合用データと呼ばれる、顔画像の照合に使用される特徴量等を含むデータを用いて行われる。なお、画像照合部１３で用いられる顔画像照合技術は、特に限定されるものではなく、他の様々な公知の顔画像照合技術を用いることが可能である。

画像照合部１３での照合結果（すなわち認証結果）は、図示しない出力部を介して、セキュリティシステムや監視カメラシステムなどの顔照合装置３の外部に出力される。画像照合部１３での照合において登録者画像と合致しなかった撮像画像は、非登録者画像記憶部１４に入力される。画像照合部１３での照合において登録者画像と合致した撮像画像は、登録者画像記憶部１２に入力され、登録者画像記憶部１２に既に登録されている登録者の顔画像として登録してもよい。このように、登録者画像と合致した撮像画像を既存の登録者の顔画像として登録すると、既存の登録者の顔画像の数を増やすことができるので、次回以降の照合における照合精度の向上を図ることが可能となる。

非登録者画像記憶部１４は、画像照合部１３から入力された、登録者画像と合致しなかった撮像画像を記憶する。本開示では、非登録者画像記憶部１４に記憶される撮像画像を「非登録者画像」と称することとする。なお、撮像画像は、照合対象者の顔の向き、光の向き、照明環境等に起因して、登録者画像記憶部１２に既に登録されている登録者と同一人物であっても、照合が合致しない場合がある。したがって、非登録者画像には、登録者画像記憶部１２に既に登録されている登録者の顔画像が含まれている可能性がある。

画像グループ作成部１５は、非登録者画像記憶部１４と接続されており、非登録者画像記憶部１４に記憶されている非登録者画像を非登録者画像間の類似度に基づいてグループ化して非登録者画像グループを作成する。具体的には、非登録者画像記憶部１４に記録されている全ての非登録者画像間の類似度を算出する。類似度は、２つの画像間の互いに対応する画素の画素値の差の絶対値の和または二乗和として求めることができる。あるいは、非登録者画像を照合に使用される特徴空間に射影した後に、射影ベクトル間の差の絶対値の和または二乗和として求めてもよい。そして、類似度が予め設定された閾値を超えた非登録者画像をグループ化して、非登録者画像グループを作成する。なお、画像グループ作成部１５で用いられるグループ化技術は、特に限定されるものではなく、他の様々な公知のグループ化技術を用いることが可能である。

画像出力部１６は、非登録者画像記憶部１４および表示装置４と接続されており、非登録者画像記憶部１４に記憶された非登録者画像を、非登録者画像グループ毎に表示装置４に出力する。これにより、表示装置４の画面に、非登録者画像グループがグループ毎に表示される。例えば、表示装置４の同一画面に同一のグループが表示される。非登録者画像グループは、非登録者画像の含有数が多い順に表示装置４に表示するようにするとよい。非登録者画像の含有数が多い非登録者画像グループは、照合失敗の可能性が高い撮像画像、または出現頻度の高い人物の撮像画像を含むグループなので、非登録者画像の含有数が多い非登録者画像グループを登録者画像記憶部１２に登録することにより、次回以降の照合における照合精度の向上を図ることが可能となる。

また、画像出力部１６は、非登録者画像の含有数が予め定められた数を超えた非登録者画像グループのみを表示装置４に表示するようにしてもよい。すなわち、非登録者画像の含有数が予め定められた数以下の非登録者画像グループは表示装置４に出力しないようにしてもよい。このようにすると、非登録者画像の含有数が予め定められた数以下の登録者画像グループについての非登録者画像の登録作業は不要となるので、非登録者画像の登録作業を効率的に行うことが可能となる。

なお、非登録者画像の表示装置４への出力の仕方、すなわち表示装置４での非登録者画像の表示の仕方は、これに限定されるものではない。例えば、非登録者画像グループ毎ではなく、グループ化されていない１枚または複数枚の非登録者画像を表示装置４に出力するようにしてもよい。

画像登録部１７は入力装置５に接続されており、入力装置５からユーザの命令が入力される。ユーザの命令とは、登録する非登録者画像を選択する命令と、選択された非登録者画像を登録する命令を含む、非登録者画像の登録に関する命令である。詳細については、図５〜９を参照して後述する。また、画像登録部１７は非登録者画像記憶部１４および登録者画像記憶部１２と接続されており、表示装置４に出力された非登録者画像のうちのユーザにより登録すべきと選択された非登録者画像を登録者画像記憶部１２に登録する。ユーザにより登録すべきと選択された非登録者画像は、登録者画像記憶部１２に既に登録されている登録者の顔画像として登録してもよいし、または新規の登録者の顔画像として登録してもよい。

図２は、図１の顔照合システム１を実現するためのハードウェア構成を示すブロック図である。図１の顔照合システム１は、図２に示すように、撮影部２１、表示部２２、入力部２３、通信部２４、記憶部２５、プロセッサ２６、およびそれらを接続するためのシステムバス２７を含むハードウェア構成によって実現される。

撮影部２１は、例えばＣＣＤカメラであり、照合対象者の顔画像を撮像するのに使用される。撮影部２１は、図１中の撮像装置２に対応する。

表示部２２は、一般的なディスプレイ装置であり、顔照合装置３から出力された非登録者画像を表示するのに使用される。表示部２２は、図１中の表示装置４に対応する。

入力部２３は、キーボードやマウスなどの一般的な入力デバイスであり、ユーザが顔照合装置３に命令を入力するのに使用される。入力部２３は、図１中の入力装置５に対応する。

通信部２４は、一般的な通信モジュールであり、顔照合装置３が外部の他の装置またはシステムと通信を行うのに使用される。通信部２４は、例えば、画像照合部１３での照合結果を、表示部２２や、外部のセキュリティシステムまたは監視カメラシステムなどに出力するのに使用される。

記憶部２５は、例えばＲＯＭまたはハードディスクであり、顔照合装置３の各種機能を実現するための各種プログラムおよび各種データを格納している。各種プログラムは、顔照合装置３の画像取得部１１、登録者画像記憶部１２、画像照合部１３、非登録者画像記憶部１４、画像グループ作成部１５、画像出力部１６、および画像登録部１７における各処理を実現するためのプログラム、顔照合装置３全体を制御するためのプログラム、並びに、顔照合装置３に接続された撮像装置２、表示装置４、および入力装置５を制御するためのプログラムなどである。各種データは、登録者画像記憶部１２に記憶される登録者画像、非登録者画像記憶部１４に記憶される非登録者画像および非登録者画像グループ、顔照合装置３の上記各部での各処理で用いられる閾値、並びに、画像照合部１３での顔画像の照合に使用される照合用データなどである。

プロセッサ２６は、例えばＣＰＵであり、記憶部２５から上記の各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、顔照合装置３の画像取得部１１、画像照合部１３、画像グループ作成部１５、画像出力部１６、および画像登録部１７での各処理を実行する。また、プロセッサ２６は、顔照合装置３全体の制御、および顔照合装置３の周辺機器（撮像装置２、表示装置４、入力装置５）の制御などを統括的に実行する。

次に、図１に示した顔照合システム１による顔画像照合処理の流れを、図３および図４を参照して説明する。図３は、非登録者画像を非登録者画像記憶部１４に登録する処理の流れを示すフローであり、図４は、非登録者画像を登録者画像記憶部１２に登録する処理の流れを示すフローである。

図３を参照して、非登録者画像を非登録者画像記憶部１４に記憶する処理の流れを説明する。まず、撮像装置２が照合対象者の顔画像を撮像する（ステップＳＴ１０１）。続いて、顔照合装置３の画像取得部１１が、撮像装置２から照合対象者の顔画像（撮像画像）を取得する（ステップＳＴ１０２）。次に、顔照合装置３の画像照合部１３が、撮像画像を、登録者画像記憶部１２に記憶されている登録者画像と照合し、合致するか否かを判定する（ステップＳＴ１０３）。合致すると判定された場合（ＳＴ１０３：Ｙｅｓ）はステップＳＴ１０４に進み、合致しないと判定された場合（ＳＴ１０３：Ｎｏ）はステップＳＴ１０５に進む。そして、ステップＳＴ１０４では、撮像画像を登録者画像記憶部１２に登録し、ステップＳＴ１０５では、撮像画像を非登録者画像記憶部１４に登録する。このようにして、画像照合部１３での照合において登録者画像と合致しなかった撮像画像は、非登録者画像として非登録者画像記憶部１４に登録される。

図４を参照して、非登録者画像を登録者画像記憶部１２に登録する処理の流れを説明する。まず、顔照合装置３の画像グループ作成部１５が、非登録者画像記憶部１４に記憶されている非登録者画像を非登録者画像間の類似度に基づいてグループ化して非登録者画像グループを作成する（ステップＳＴ２０１）。続いて、非登録者画像グループをグループ毎に表示装置４に表示する（ステップＳＴ２０２）。このとき、非登録者画像グループを、非登録者画像の含有数が多い順に出力するとよい。

図５は、表示装置４に表示される非登録者画像グループの画面（以降、単に「表示画面）と称する）３１の一例を示す図である。図５に示した表示画面３１には、２４枚の非登録者画像３２を含む非登録者画像グループ３３が表示されている。各非登録者画像３２の右側には、登録者画像記憶部１２に登録する非登録者画像３２をユーザが選択するためのチェックボックス３４が設けられている。図５の例では、全ての非登録者画像３２のチェックボックス３４にチェックが入っており、チェックを外すことにより登録者画像記憶部１２に登録しない非登録者画像３２を選択するようになっている。

また、表示画面３１の左上には、非登録者画像グループ３３の名称と、非登録者画像グループ３３に含まれる非登録者画像３２の画像枚数を表示する表示ボックス３５が設けられている。図５の例では、非登録者画像グループ３３の名称は「非登録者１」であり、非登録者画像３２の画像枚数は「２４枚」である。また、表示画面３１の右上には、次の非登録者画像グループを表示するために表示画面３１を切り替えるためのボタン３６が設けられている。

続くステップＳＴ２０３では、非登録者画像３２を登録者画像記憶部１２に登録する登録作業を実施するか否かをユーザに確認する。具体的には、図６に示すように、表示画面３１に「画像を選択して登録しますか？」というメッセージボックス４１を表示してユーザに確認する。次のステップＳＴ２０４では、ユーザが登録作業を実施するか否かを選択する。ユーザは、入力装置５を操作して、メッセージボックス４１の「Ｙｅｓ」または「Ｎｏ」のいずれか一方を選択することにより、登録作業を実施するか否かを選択することができる。ユーザが登録作業を実施すると選択した場合（ＳＴ２０４：Ｙｅｓ）はステップＳＴ２０５に進み、登録作業を実施しないと選択した場合（ＳＴ２０４：Ｎｏ）は後述するステップＳＴ２０７に進む。

続いて、ステップＳＴ２０５では、登録者画像記憶部１２に登録する非登録者画像３２をユーザが選択する。非登録者画像グループ３３には、登録対象の人物とは異なる人物の顔画像が含まれている場合がある。そのため、非登録者画像３２を登録者画像記憶部１２に登録する際は、登録しない非登録者画像３２を選択して除外する必要がある。具体的には、図７に示すように、非登録者画像３２のチェックボックス３４のチェックを外すことにより、登録しない非登録者画像３２を選択して除外することができる。図７に示した表示画面３１では、２点鎖線の円４２で囲んだ一番上の列の右から３番目の非登録者画像３２と、２点鎖線の円４３で囲んだ一番下の列の左から２番目の非登録者画像３２のチェックボックス３４のチェックが外されており、この２つの非登録者画像３２が登録から除外される。

次のステップＳＴ２０６では、ステップＳＴ２０５で選択された非登録者画像３２に名前を付けて登録者画像記憶部１２に登録する。具体的には、図８に示すように、表示画面３１に登録名を入力するための入力ボックス４４が表示される。また、表示画面３１の下側には、登録者画像記憶部１２に既に登録されている登録者画像グループの登録名と代表画像が表示される。図８の例では、２つの登録者画像４５、４６が表示されている。登録者画像４５の登録名は「登録者１」であり、登録者画像４６の登録名は「登録者２」である。ユーザは、入力装置５を操作して入力ボックス４４に登録名を入力する。ユーザが、登録者画像記憶部１２に既に登録されている登録者画像の登録名を入力すると、非登録者画像３２は、その登録名の登録者の顔画像として登録される。ユーザが、新規の登録名を入力すると、非登録者画像３２は新規の登録者の顔画像として登録される。

なお、図８の入力ボックス４４を表示する前に、図９に示すように、表示画面３１に「登録しますか？」というメッセージボックス４７を表示して、登録するか否かをユーザに確認するようにしてもよい。この場合は、ユーザは、入力装置５を操作して、メッセージボックス４７の「ＯＫ」または「キャンセル」のいずれか一方を選択することにより、登録するか否かを選択することができる。

次のステップＳＴ２０７では、次の非登録者画像グループについての登録作業を継続するか否かをユーザが選択する。例えば、ステップＳＴ２０６の終了後に登録処理の継続の有無をユーザに確認するメッセージボックスを表示するとよい。あるいは、ステップＳＴ２０６の終了後に次の非登録者画像グループの表示画面に自動的に遷移し、その表示画面においてユーザが登録作業を継続するか否かを選択するようにしてもよい。ユーザが登録作業の継続を選択した場合（ＳＴ２０７：Ｙｅｓ）はステップＳＴ２０２に戻り、ステップＳＴ２０２以降の処理を繰り返す。ユーザが登録作業の終了を選択した場合（ＳＴ２０７：Ｎｏ）はステップＳＴ２０８に進む。

そして、ステップＳＴ２０８では、画像照合部１３は、登録者画像記憶部１２に登録された非登録者画像を用いて照合用データの再学習を行う。登録者画像記憶部１２に登録された非登録者画像は、特定の登録者に関連することがユーザによって確認された画像である。したがって、このような画像を用いて再学習を行うことにより、照合用データの正確さが向上する。その後、処理を終了する。

このようにして、非登録者画像記憶部１４に登録された非登録者画像のうちのユーザにより登録すべきと選択された非登録者画像を、登録者画像として登録者画像記憶部１２に登録することができる。非登録者画像は、登録者画像記憶部１２に既に登録されている登録者の顔画像として登録してもよいし、または新規の登録者の顔画像として登録してもよい。そして、画像照合部１３が、登録者画像記憶部１２に登録された非登録者画像を用いて照合用データの再学習を行うことにより、次回以降の照合における照合精度の向上を図ることが可能となる。

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る顔照合装置およびこれを備えた顔照合システムならびに顔照合方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本開示に係る顔照合装置およびこれを備えた顔照合システムならびに顔照合方法は、予め登録された顔画像と合致しなかった撮像画像の少なくとも一部を照合用の顔画像として登録することにより、次回以降の照合における照合精度の向上または照合用画像のデーターベースの作成を図ることを可能とする顔照合装置およびこれを備えた顔照合システムならびに顔照合方法などとして有用である。

１顔照合システム
２撮像装置
３顔照合装置
４表示装置
５入力装置
１１画像取得部
１２登録者画像記憶部
１３画像照合部
１４非登録者画像記憶部
１５画像グループ作成部
１６画像出力部
１７画像登録部

Claims

撮像装置により撮像された照合対象者の顔画像を予め登録された登録者の顔画像と照合する顔照合装置であって、
前記顔照合装置は、
前記撮像装置により撮像された照合対象者の顔画像を取得し、
予め登録された登録者の顔画像を記憶し、
前記照合対象者の顔画像を前記登録者の顔画像と照合し、
前記登録者の顔画像と合致しなかった前記照合対象者の顔画像を非登録者画像として記憶し、
記憶されている前記非登録者画像を前記非登録者画像間の類似度に基づいてグループ化して非登録者画像グループを作成し、
非登録者画像記憶部に記憶された前記非登録者画像を前記非登録者画像グループ毎に表示装置に出力し、
前記表示装置に出力された前記非登録者画像のうちのユーザにより登録すべきと選択された前記非登録者画像を登録者画像記憶部に照合用の顔画像として登録する、
ことを特徴とする顔照合装置。
前記顔照合装置は、前記表示装置に出力された前記非登録者画像のうちの前記ユーザにより登録すべきと選択された前記非登録者画像を、既に登録されている登録者の顔画像として登録するか、または新規の登録者の顔画像として登録することを特徴とする請求項１に記載の顔照合装置。
前記顔照合装置は、前記非登録者画像グループを、前記非登録者画像の含有数が多い順に出力することを特徴とする請求項１に記載の顔照合装置。
前記顔照合装置は、前記非登録者画像の含有数が予め定められた数を超えた前記非登録者画像グループのみを前記表示装置に出力することを特徴とする請求項１に記載の顔照合装置。
前記顔照合装置は、前記登録者画像記憶部に登録された前記非登録者画像を用いて照合用データの再学習を行うことを特徴とする請求項１に記載の顔照合装置。
請求項１に記載の顔照合装置と、
照合対象者の顔画像を撮像する撮像装置と、
前記顔照合装置から出力された前記非登録者画像を表示する表示装置と、
前記非登録者画像の登録に関する命令をユーザが前記顔照合装置に入力するための入力装置と
を備えた顔照合システム。
前記顔照合装置は、前記表示装置に出力された前記非登録者画像のうちの前記ユーザにより登録すべきと選択された前記非登録者画像を、前記登録者画像記憶部に既に登録されている登録者の顔画像として登録するか、または新規の登録者の顔画像として登録することを特徴とする請求項６に記載の顔照合システム。
前記顔照合装置は、前記非登録者画像グループを、前記非登録者画像の含有数が多い順に出力することを特徴とする請求項６に記載の顔照合システム。
前記顔照合装置は、前記非登録者画像の含有数が予め定められた数を超えた前記非登録者画像グループのみを前記表示装置に出力することを特徴とする請求項６に記載の顔照合システム。
前記顔照合装置は、前記非登録者画像を用いて照合用データの再学習を行うことを特徴とする請求項６に記載の顔照合システム。
撮像装置により撮像された照合対象者の顔画像を予め登録された登録者の顔画像と照合する顔照合方法であって、
前記撮像装置により撮像された照合対象者の顔画像を取得し、
予め登録された登録者の顔画像を記憶し、
前記照合対象者の顔画像を前記登録者の顔画像と照合し、
前記登録者の顔画像と合致しなかった前記照合対象者の顔画像を非登録者画像として記憶し、
記憶されている前記非登録者画像を前記非登録者画像間の類似度に基づいてグループ化して非登録者画像グループを作成し、
前記非登録者画像を前記非登録者画像グループ毎に表示装置に出力し、
前記表示装置に出力された前記非登録者画像のうちのユーザにより登録すべきと選択された前記非登録者画像を照合用の顔画像として登録する、
ことを特徴とする顔照合方法。
前記顔照合方法は、前記表示装置に出力された前記非登録者画像のうちの前記ユーザにより登録すべきと選択された前記非登録者画像を、既に登録されている登録者の顔画像として登録するか、または新規の登録者の顔画像として登録することを特徴とする請求項１１に記載の顔照合方法。
前記顔照合方法は、前記非登録者画像グループを、前記非登録者画像の含有数が多い順に出力することを特徴とする請求項１１に記載の顔照合方法。
前記顔照合方法は、前記非登録者画像の含有数が予め定められた数を超えた前記非登録者画像グループのみを前記表示装置に出力することを特徴とする請求項１１に記載の顔照合方法。
前記顔照合方法は、前記非登録者画像を用いて照合用データの再学習を行うことを特徴とする請求項１１に記載の顔照合方法。