JP7359230B2 - 顔照合システム、顔照合装置、顔照合方法、及び記録媒体 - Google Patents

Description

本発明は、顔照合システム、顔照合装置、顔照合方法、及び記録媒体に関する。

近時、本人確認を行う場面において、人間の身体的特徴や行動的特徴に関する情報である生体情報を用いて認証を行う生体認証が利用されるようになっている。生体認証のひとつである顔認証は、認証対象者の心理的抵抗が少ない、離れた場所からでも認証が可能である、不正に対する心理的抑止効果がある等の利点を有している。

顔認証技術は、様々な分野における本人確認に利用されている。例えば、テーマパーク等の施設の入場口に設置されるゲートシステムにおいて、その年間パス等のチケットを利用する来場者の本人確認に顔認証技術が利用されている（非特許文献１）。

日本電気株式会社、"顔認証：ゲートシステム"、［online］、［平成２８年２月１２日検索］、インターネット＜URL：http://jpn.nec.com/ad/usj/entry.html＞

チケットを利用する来場者等についての顔認証に際しては、チケットと関連付けられて予め登録された登録顔画像が、来場者の顔画像との照合に用いられる。しかしながら、登録顔画像が予め登録されていない未登録の場合がある。例えば、チケットの初回使用時に登録顔画像をチケットと関連付けて登録することがある。このような場合、顔認証を行う現場で、顔画像を撮影して登録顔画像を登録する必要がある。

上記の場合、登録顔画像の登録に際しては、来場者の顔画像を撮影するカメラを施設のスタッフが操作する必要がある。また、顔画像の撮影に際して、来場者は、その顔の位置合わせを行う必要がある。しかしながら、カメラを施設のスタッフが操作したり、来場者が顔の位置合わせを行ったりしたのでは、円滑に登録顔画像を登録することは困難である。

本発明は、顔認証における照合に用いる登録顔画像が存在しない場合に登録顔画像を円滑に登録することができる顔照合システム、顔照合装置、顔照合方法、及び記録媒体を提供することを目的とする。

本発明の一観点によれば、認証対象者が所持する媒体から識別情報を読み取る読み取り部と、画像を取得する撮影部と、前記撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、前記読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を前記登録顔画像として登録する登録部とを有し、前記顔検出部が、前記撮影部により取得された前記画像から複数人の前記検出顔画像を検出し、前記顔照合部が、前記複数人の検出顔画像と前記登録顔画像とを照合することを特徴とする顔照合システムが提供される。

本発明の他の観点によれば、画像を取得する撮影部により取得された前記画像から顔画像を検出顔画像として検出する顔検出部と、認証対象者が所持する媒体から識別情報を読み取る読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記顔検出部により検出された前記検出顔画像と前記登録顔画像とを照合する顔照合部であって、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取り部が前記識別情報を読み取る前に前記撮影部により撮影された前記検出顔画像を、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部とを有し、前記顔検出部が、前記撮影部により取得された前記画像から複数人の前記検出顔画像を検出し、前記顔照合部が、前記複数人の検出顔画像と前記登録顔画像とを照合することを特徴とする顔照合装置が提供される。

本発明のさらに他の観点によれば、コンピュータ装置が、撮影部により画像を取得する撮影ステップで取得された前記画像から顔画像を検出顔画像として検出する検出ステップと、認証対象者が所持する媒体から識別情報を読み取る読み取りステップと、前記読み取りステップで読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記検出ステップで検出された前記検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、前記読み取りステップで読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記読み取りステップで前記識別情報を読み取る前に前記撮影ステップで撮影された前記検出顔画像を前記登録顔画像として登録する登録ステップとを実行し、前記検出ステップが、前記撮影ステップにより取得された前記画像から複数人の前記検出顔画像を検出し、前記照合ステップが、前記複数人の検出顔画像と前記登録顔画像とを照合することを特徴とする顔照合方法が提供される。

本発明のさらに他の観点によれば、コンピュータ装置に、画像から顔画像を検出顔画像として検出する検出ステップと、認証対象者が所持する媒体から読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、前記検出ステップで検出された検出顔画像と前記登録顔画像とを照合する照合ステップであって、前記識別情報を読み取る前に撮影された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、前記認証対象者が所持する前記媒体から読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示ステップとを実行させ、前記検出ステップが、前記画像から複数人の前記検出顔画像を検出し、前記照合ステップが、前記複数人の検出顔画像と前記登録顔画像とを照合することを特徴とするプログラムが記録された記録媒体が提供される。

本発明によれば、顔認証における照合に用いる登録顔画像が存在しない場合に登録顔画像を円滑に登録することができる。

図１は、本発明の第１実施形態による顔照合システムを示す概略図である。 図２は、本発明の第１実施形態による顔照合システムの機能構成を示すブロック図である。 図３は、本発明の第１実施形態による顔照合システムにおける固定カメラにより撮影された画像の例を示す概略図である。 図４は、本発明の第１実施形態による顔照合システムにおける顔照合装置の記憶部に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。 図５は、本発明の第１実施形態による顔照合システムにおけるＮ：１照合の処理の例を示す概略図である。 図６は、本発明の第１実施形態による顔照合システムにおける顔照合装置のハードウェア構成の一例を示すブロック図である。 図７は、本発明の第１実施形態による顔照合システムにおけるデータセンタサーバのハードウェア構成の一例を示すブロック図である。 図８は、本発明の第１実施形態による顔照合方法を示すシーケンス図である。 図９は、本発明の第１実施形態による顔照合方法を示すフローチャート（その１）である。 図１０は、本発明の第１実施形態による顔照合方法を示すフローチャート（その２）である。 図１１は、本発明の第１実施形態による顔照合方法において表示部に表示する登録画面の例を示す概略図である。 図１２は、本発明の第１実施形態による顔照合システムにおける固定カメラにより撮影された画像の他の例を示す概略図である。 図１３は、本発明の第２実施形態による顔照合システムを示す概略図である。 図１４は、本発明の第２実施形態による顔照合システムの機能構成を示すブロック図である。 図１５は、本発明の第２実施形態による顔照合方法を示すフローチャートである。 図１６は、コンピュータ装置の例を示す概略図である。 図１７は、本発明の他の実施形態による顔照合システムの機能構成を示すブロック図である。 図１８は、本発明の他の実施形態による顔照合装置の機能構成を示すブロック図である。

［第１実施形態］
本発明の第１実施形態による顔照合システム及び顔照合方法について図１乃至図１２を用いて説明する。

まず、本実施形態による顔照合システムについて図１乃至図７を用いて説明する。図１は、本実施形態による顔照合システムを示す概略図である。図２は、本実施形態による顔照合システムの機能構成を示すブロック図である。図３は、本実施形態による顔照合システムにおける固定カメラにより撮影された画像の例を示す概略図である。図４は、本実施形態による顔照合システムにおける顔照合装置の記憶部に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。図５は、本実施形態による顔照合システムにおけるＮ：１照合の処理の例を示す概略図である。図６は、本実施形態による顔照合システムにおける顔照合装置のハードウェア構成の一例を示すブロック図である。図７は、本実施形態による顔照合システムにおけるデータセンタサーバのハードウェア構成の一例を示すブロック図である。

本実施形態による顔照合システムは、施設の入場口において、入場チケットを利用して施設の場内に入場しようとする来場者を認証対象者として、顔照合により本人確認を行うものである。施設は、例えば、テーマパーク、イベント会場、競技場、コンサート会場等である。来場者が利用する入場チケットは、その種別が特に限定されるものではないが、例えば、年間パス、年間パスポート等と呼ばれる１年間等の特定の期間に何度でも入場可能な入場チケットである。入場チケットは、紙チケットであっても電子チケットであってもよく、その入場チケットを識別する識別情報が読み取り可能に記録されている媒体であればよい。以下では、来場者が年間パスを利用して施設の場内に入場しようとする際に、顔照合による本人確認を行う場合について説明する。

図１及び図２に示すように、本実施形態による顔照合システム１は、ゲート装置１０と、固定カメラ２０と、顔照合装置３０と、データセンタサーバ４０とを含んでいる。ゲート装置１０、固定カメラ２０、及び顔照合装置３０は、施設の入場口５０に設置されている。一方、データセンタサーバ４０は、例えば、入場口５０から離れた地にあるデータセンタ内に設置されている。

ゲート装置１０等が設置された入場口５０には、屋根５０２が設置されている。屋根には、照明器５０４が設けられている。また、屋根５０２には、ゲート装置１０の上に位置するように、入場口５０であることを表示する案内板５０８が設けられている。

顔照合装置３０及びデータセンタサーバ４０は、それぞれネットワーク６０を介してネットワーク接続されており、ネットワーク６０を介して互いに通信可能になっている。ネットワーク６０は、その種別が特に限定されるものではないが、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）である。

また、ゲート装置１０及び固定カメラ２０は、それぞれケーブル接続等により顔照合装置３０に通信可能に直接ローカル接続されている。ゲート装置１０及び固定カメラ２０と顔照合装置３０との接続は、有線方式であっても無線方式であってもよい。

年間パスは、ウェブチケットストア、チケットブースで購入することが可能になっている。ネットワーク６０には、ウェブチケットストアを提供するウェブサーバ７０と、チケットブース端末８０とが接続されている。ウェブサーバ７０及びチケットブース端末８０は、それぞれネットワーク６０を介して、データセンタサーバ４０と通信可能になっている。ウェブサーバ７０は、例えば、入場口５０から離れた地にあるデータセンタ内に設置されている。チケットブース端末８０は、例えば、入場口５０に隣接するチケットブース内に設置されている。

次に、本実施形態における顔照合システム１における各構成要素について詳述する。

ゲート装置１０は、本体部１０２と、柵１０４と、ゲート１０６と、読み取り部１０８と、手元カメラ１１０と、ゲート制御部１１２とを有している。

本体部１０２及び柵１０４は、互いに対向するように設置されている。本体部１０２と柵１０４との間は、来場者が通行して施設の場内に入場する通路１１４となっている。通路１１４は、場外側が入口１１４ａであり、場内側が出口１１４ｂである。本体部１０２は、通路１１４の入口１１４ａから出口１１４ｂに向かって右側に設置されている。一方、柵１０４は、通路１１４の入口１１４ａから出口１１４ｂに向かって左側に設置されている。

ゲート１０６は、通路１１４側の本体部１０２の側壁に、待機時に通路１１４を遮蔽するように設けられている。ゲート１０６は、通路１１４を遮蔽する待機時の閉鎖状態から開放されることにより、来場者が通路１１４を通行して施設の場内に入場することを可能にする。ゲート１０６は、例えば、３本バーが回転するターンスタイルのゲートである。なお、ゲートとしては、これに限定されるものではなく、種々の方式のものを用いることができる。例えば、ゲート１０６として、通路１１４に対して両側から設けられた２枚のフラッパー又は片側から設けられた１枚のフラッパーが開閉するフラッパーゲートを用いることもできる。

後述するように、ゲート１０６は、顔照合による本人確認に成功した場合に開放される。これにより、その来場者は、通路１１４を通行して施設の場内に入場することができる。

なお、ゲート１０６は、待機時に開放状態であり、顔照合による本人確認に成功した場合に開放状態を維持し、顔照合による本人確認に失敗した場合に閉鎖されるものであってもよい。

読み取り部１０８は、本体部１０２の上部におけるゲート１０６よりも通路１１４の入口１１４ａ側の部分に設けられている。読み取り部１０８は、来場者が所持する年間パスに記録された情報を年間パスから読み取るものである。具体的には、年間パスには、その年間パスを一意に特定する識別情報であるＩＤ（Identification）情報が記録されている。読み取り部１０８は、ＩＤ情報を年間パスから読み取る。読み取り部１０８が読み取るＩＤ情報は、例えば、年間パスの会員番号、シリアル番号である。年間パスは、認証対象者である来場者が所持し、その来場者が施設の場内に入場する際に必要となる媒体であって、これを一意に特定するＩＤ情報が記録されたものである。ここで、媒体は、カード、紙、スマートフォン等、認証対象者を識別する情報を有しているものであればよい。後述するように、データセンタサーバ４０には、年間パスのＩＤ情報に関連付けられてその年間パスを購入した購入者に関する情報が蓄積されている。

読み取り部１０８は、年間パスのＩＤ情報の記録方式に応じた読み取り方式を有している。例えば、年間パスが、バーコード等の一次元コード、ＱＲコード（登録商標）等の二次元コードにＩＤ情報が記録されているものである場合、読み取り部１０８は、バーコードリーダ、ＱＲコードリーダ等のコードリーダである。また、例えば、年間パスが、ＲＦＩＤ（Radio Frequency Identification）による非接触ＩＣカード又は非接触ＩＣタグにＩＤ情報が記録されているものである場合、読み取り部１０８は、ＲＦＩＤリーダである。

読み取り部１０８は、読み取り部１０８に年間パスの着券があると、年間パスに記録されたＩＤ情報を年間パスから読み取る。なお、ここで、着券とは、認証対象者である来場者が、年間パスに記録されたＩＤ情報を含む情報を読み取り部１０８に読み取らせることをいう。

読み取り部１０８は、年間パスから読み取ったＩＤ情報を後述のゲート制御部１１２に送信する。なお、認証対象者を特定する識別情報は、年間パス等の媒体が記憶するＩＤ情報に限られない。認証対象者を特定する識別情報は、例えば、指紋、静脈、虹彩等、認証対象者の生体情報等も含み、認証対象者を特定できる情報であればよい。この場合、読み取り部１０８は、指紋、静脈、虹彩等、認証対象者の生体情報を読み取ることができる指紋スキャナー、静脈スキャナー、カメラ等でもよい。

手元カメラ１１０は、本体部１０２の上部におけるゲート１０６付近の部分に設けられている。手元カメラ１１０は、例えば、デジタルビデオカメラであり、施設のスタッフの操作により、認証対象者である来場者の顔画像を撮影してその顔画像を取得することができる。手元カメラは、固定カメラ２０により撮影された顔画像に基づく顔照合に失敗した場合に用いられる他の撮影部である。なお、手元カメラ１１０は、来場者の顔画像を取得することができればよく、デジタルスチルカメラであってもよい。

手元カメラ１１０は、撮影した来場者の顔画像の画像データを後述のゲート制御部１１２に送信する。

ゲート制御部１１２は、ゲート装置１０の動作を制御するものである。ゲート制御部１１２には、読み取り部１０８が通信可能に接続されている。また、ゲート制御部１１２には、ゲート１０６が制御可能に接続されている。また、ゲート制御部１１２には、手元カメラ１１０が通信可能に接続されている。

ゲート制御部１１２には、読み取り部１０８により読み取られた年間パスのＩＤ情報が読み取り部１０８から送信される。ゲート制御部１１２は、読み取り部１０８から送信された年間パスのＩＤ情報を顔照合装置３０に送信する。

また、ゲート制御部１１２は、後述の顔照合装置３０から送信される照合結果信号に基づき、ゲート１０６の開閉を制御する。

また、ゲート制御部１１２には、手元カメラ１１０により撮影された来場者の顔画像の画像データが手元カメラ１１０から送信される。ゲート制御部１１２は、手元カメラ１１０から送信された顔画像の画像データを顔照合装置３０に送信する。

固定カメラ２０は、ゲート装置１０に対して施設の場内の側に設置された支柱２０２の上端部に固定されている。固定カメラ２０は、ゲート装置１０の前の場所を撮影する撮影部であり、施設の場外の側を向く向きが固定されている。固定カメラ２０は、入場口５０における地表面から例えば２００ｃｍ程度の人の頭上に位置する高さに固定されており、ゲート装置１０の前の場所に向けて斜め下を向いている。なお、固定カメラ２０の固定方式は、支柱２０２による方式に限定されるものではない。例えば、固定カメラ２０は、入場口５０における屋根５０２から吊り下げられて固定されていてもよい。

上記のように固定された固定カメラ２０は、読み取り部１０８を含むゲート装置１０の設置場所への入口側であるゲート装置１０の前の場所を撮影するようになっている。すなわち、固定カメラ２０は、読み取り部１０８の設置場所への入口側を撮影するようになっている。これにより、固定カメラ２０は、読み取り部１０８の設置場所への入口側であるゲート装置１０の前の場所にいる来場者Ｖを撮影することができる。したがって、固定カメラ２０は、認証対象者を含む画像を撮影することができる。

固定カメラ２０は、例えば、デジタルビデオカメラであり、所定のフレームレートで動画を撮影して、そのフレームレートに同期した所定の周期で複数枚の画像を連続的に取得することが可能になっている。固定カメラ２０は、例えば、１５ｆｐｓで動画を撮影し、１秒間に１５フレームの画像を連続的に取得することが可能になっている。

なお、固定カメラ２０は、デジタルスチルカメラであってもよい。この場合、固定カメラ２０は、所定の撮影間隔で静止画像を連続撮影して、所定の周期で複数枚の画像を連続的に取得するように構成することができる。

また、固定カメラ２０は、可視光カメラであってもよいし、赤外線カメラであってもよい。固定カメラ２０が赤外線カメラである場合、入場口５０における屋根５０２には、可視光を含む照明光を発する通常の照明器５０４のほか、赤外線を発する赤外線照明器５０６を設けることができる。赤外線照明器５０６の下で固定カメラ２０として赤外線カメラを用いることにより、周囲の明るさの影響を低減しつつ、固定カメラ２０により撮影された顔画像に基づく顔照合を行うことができる。

また、固定カメラ２０は、縦長の画像を撮影するように縦向きに設置されている。これにより、固定カメラ２０は、低身長の来場者から高身長の来場者にわたる幅広い身長の来場者の顔を含む画像を撮影することができる。具体的には、固定カメラ２０は、例えば、身長９９ｃｍ～２２０ｃｍの来場者の顔を含む画像を撮影することができる。なお、固定カメラ２０は、必ずしも縦向きに設置されている必要はなく、横長の画像を撮影するように横向きに設置されていてもよい。

固定カメラ２０により撮影される画像には、ゲート装置１０の前の場所にいる複数人の来場者の顔が含まれうる。

固定カメラ２０は、上記のようにして所定の周期で取得した複数枚の画像の画像データを、その周期に同期して顔照合装置３０に送信する。

顔照合装置３０は、顔照合制御部３０２と、記憶部３０４と、表示部３０６とを有している。

顔照合制御部３０２は、固定カメラ２０により撮影された顔画像に基づく顔照合を行うものである。顔照合制御部３０２は、画像データ取得部３０８と、顔検出部３１０と、顔特徴量抽出部３１２と、顔照合部３１４とを含んでいる。

画像データ取得部３０８は、所定の周期で固定カメラ２０から送信される画像の画像データを順次取得する。なお、画像データ取得部３０８は、取得した画像データに対して補正処理等の画像処理を行うことができる。

顔検出部３１０は、画像データ取得部３０８により順次取得される画像データの画像のそれぞれについて顔検出を行う。これにより、顔検出部３１０は、画像データ取得部３０８により順次取得される画像データの画像から、ゲート装置１０の前の場所にいる来場者の顔画像を検出顔画像として検出する。顔検出部３１０が顔検出に用いるアルゴリズムとしては、特に限定されるものではなく、種々のアルゴリズムを用いることができる。

図３は、固定カメラ２０により撮影された１フレームの画像の例を示している。図３に示すように、１フレームの画像Ｉには、ゲート装置１０の前の場所にいる１人の来場者Ｖ１が撮影されている。顔検出部３１０は、このように固定カメラ２０により撮影された画像Ｉから、図３中の矩形状の検出枠３１６で示すように、来場者Ｖ１の顔画像を検出する。

なお、固定カメラ２０により撮影された１フレームの画像には、ゲート装置１０の前の場所にいる複数人の来場者が撮影される場合がある。また、固定カメラ２０により撮影された異なるフレームの画像に同一人物が撮影される場合もある。これらの場合については後述する。

顔特徴量抽出部３１２は、顔検出部３１０により検出された顔画像のそれぞれについて、顔画像の特徴量である顔特徴量を抽出する。なお、以下では、顔検出部３１０により検出された顔画像を検出顔画像ともいう。顔特徴量は、ベクトル量であり、顔画像の特徴を表現するスカラ量の成分の組み合わせである。特徴量の成分としては、特に限定されるものではなく、種々の種類のものを用いることができる。例えば、特徴量の成分として、目、鼻、口等の顔の器官の中心又は端点に設定した特徴点間の距離や角度等の位置関係、顔の輪郭線の曲率、顔表面の色分布や濃淡値等を用いることができる。特徴量の成分数も、特に限定されるものではなく、要求される照合精度、処理速度等に応じて適宜設定することができる。

また、顔特徴量抽出部３１２は、検出顔画像の画像データである顔画像データを、その検出顔画像から抽出した顔特徴量とともに両者を関連づけて記憶部３０４に一時的に保存する。さらに、顔特徴量抽出部３１２は、検出顔画像のそれぞれについて、顔画像データ及びその顔特徴量とともに、その画像データを特定する番号である検出番号と、その検出顔画像が撮影された撮影時刻とを関連づけて記憶部３０４に一時的に保存する。

記憶部３０４には、リレーショナルデータベースが構成されている。記憶部３０４のリレーショナルデータベースには、上述のように顔特徴量抽出部３１２により抽出された顔特徴量が、検出番号、撮影時刻、及び顔画像データと関連付けられて一時的に保存される。互いに関連付けられたこれらのデータは、リレーショナルデータベース管理システム（Relational Database Management System、ＲＤＢＭＳ）により管理される。ＲＤＢＭＳとしては、特に限定されるものではないが、例えばＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒが用いられている。

図４は、顔特徴量抽出部３１２により記憶部３０４に一時的に保存される検出顔画像に関する各種データの例を示す概略図である。図４に示すように、記憶部３０４には、検出顔画像のそれぞれについて、検出番号、撮影時刻、顔画像データ、及び顔特徴量が互いに関連付けられて一時的に保存される。

記憶部３０４には、検出顔画像のそれぞれについて、その撮影時刻から一定の期間だけ、顔特徴量及びこれに関連するデータが保存される。撮影時刻から一定の時間を経過した検出顔画像の顔特徴量及びこれに関連するデータは、記憶部３０４のリレーショナルデータベースから順次削除されていく。例えば、記憶部３０４には、固定カメラ２０により直近の過去３分間に撮影された検出顔画像の顔特徴量及びこれに関連するデータが一時的に保存される。

顔照合部３１４は、ゲート装置１０の読み取り部１０８に年間パスの着券があると、年間パスを読み取り部１０８に着券した来場者について、顔照合による本人確認を行う。

顔照合部３１４には、着券された年間パスから読み取り部１０８により読み取られたＩＤ情報が送信される。顔照合部３１４は、送信されたＩＤ情報を取得し、ネットワーク６０を介して後述のデータセンタサーバ４０から、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する。こうして顔照合部３１４により取得された登録顔画像の人物は、着券された年間パスを正当に利用することができる正当な利用者である。年間パスの正当な利用者は、例えば、その年間パスを購入した購入者である。

ただし、ＩＤ情報によっては、関連付けられた登録顔画像及びその顔特徴量がデータセンタサーバ４０に存在しない未登録の場合がある。例えば、年間パスの初回使用時には、その年間パスのＩＤ情報に関連付けられた登録顔画像及びその顔特徴量が存在しないことがある。このような未登録の場合の処理については、登録顔画像が存在する場合の処理を説明した後に説明する。

また、顔照合部３１４は、記憶部３０４のリレーショナルデータベースを参照して、ＩＤ情報の取得より前である着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する。すなわち、顔照合部３１４は、読み取り部１０８がＩＤ情報を年間パスから読み取る前に固定カメラ２０により撮影されたＮ枚の検出顔画像の顔特徴量を取得する。なお、Ｎは通常２以上の整数であり、顔照合部３１４が取得する検出顔画像は複数枚である。ただし、Ｎが１であり、顔照合部３１４が取得する検出顔画像が１枚である場合もありうる。検出顔画像を取得する着券前の所定の期間は、着券直前の期間とすることができ、要求される照合精度、処理速度等に応じてその長さを適宜設定することができる。例えば、検出顔画像を取得する着券前の所定の期間は、着券直前の数秒間に設定することができる。

顔照合部３１４は、年間パスの着券前に撮影されたＮ枚の検出顔画像の顔特徴量のそれぞれと、登録顔画像の顔特徴量とを順次照合する照合処理を行う。ここでの照合処理は、最大Ｎ枚の検出顔画像と１枚の登録顔画像との間の照合を行うため、Ｎ：１照合という。このように、顔照合部３１４は、ＩＤ情報の取得より前に撮影された画像から顔検出部３１０が検出した検出顔画像と、取得したＩＤ情報に対応する登録顔画像とを照合する。

顔照合部３１４は、Ｎ：１照合に際して、検出顔画像の顔特徴量と登録顔画像の顔特徴量との間の類似度に応じて照合スコアを算出する。照合スコアは、検出顔画像の顔特徴量と登録顔画像の顔特徴量との間の類似度が高いほど大きな値となる。顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値未満の場合に照合が不一致であると判定し、次の検出顔画像の顔特徴量と登録顔画像の顔特徴量との照合を行う。一方、顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値以上の場合に照合が一致したと判定し、照合処理を終了する。

Ｎ枚の検出顔画像について登録顔画像との顔特徴量の照合を行う順序は、特に限定されるものではない。例えば、Ｎ枚の検出顔画像について、撮影時刻の古い順若しくは新しい順に、又はランダムに登録顔画像との顔特徴量の照合を行うことができる。また、Ｎ枚の検出顔画像のそれぞれについて優先度を求めておき、優先度に基づいて登録顔画像との顔特徴量の照合を行う順序を決定することもできる。

図５は、本実施形態における顔照合部３１４によるＮ：１照合の処理の例を示す概略図である。図５に示すように、着券前の所定の期間に撮影されたＮ枚の検出顔画像の顔特徴量を、着券のあった年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量と順次照合する。Ｎ枚の検出顔画像について登録顔画像との顔特徴量の照合を行う順序は、例えば、撮影時刻の古い順とすることができる。

顔照合部３１４による照合が一致した場合、着券された年間パスの正当な利用者が、着券前にゲート装置１０の前の来場者の中にいたことになる。このため、年間パスの正当な利用者が年間パスを着券したと推定することができる。したがって、この場合、顔照合による本人確認に成功したことになる。

一方、顔照合部３１４による照合がいずれも不一致であった場合、着券された年間パスの正当な利用者が、着券前にゲート装置１０の前の来場者の中にいなかったことになる。したがって、この場合、顔照合による本人確認に失敗したことになる。

表示部３０６には、顔照合部３１４による照合結果等を表示することができる。施設のスタッフは、表示部３０６の表示を見ることにより照合結果等を確認することができる。また、表示部３０６には、後述するように、登録顔画像を新規に登録するための登録画面を表示することができる。

顔照合部３１４は、上記照合結果を示す信号である照合結果信号をゲート装置１０に送信する。具体的には、顔照合部３１４は、顔照合部３１４による照合が一致したことを示す信号である照合一致信号、又は顔照合部３１４による照合がいずれも不一致であったことを示す信号である照合不一致信号をゲート装置１０に送信する。

上述した顔照合装置３０は、例えばコンピュータ装置により構成される。顔照合装置３０のハードウェア構成の一例について図６を用いて説明する。なお、顔照合装置３０は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。

顔照合装置３０は、図６に示すように、ＣＰＵ（Central Processing Unit）３００２と、ＲＯＭ（Read Only Memory）３００４と、ＲＡＭ（Random Access Memory）３００６と、ＨＤＤ（Hard Disk Drive）３００８とを有している。また、顔照合装置３０は、通信インターフェース（Ｉ／Ｆ（Interface））３０１０を有している。また、顔照合装置３０は、ディスプレイコントローラ３０１２と、ディスプレイ３０１４とを有している。さらに、顔照合装置３０は、入力装置３０１６を有している。ＣＰＵ３００２、ＲＯＭ３００４、ＲＡＭ３００６、ＨＤＤ３００８、及び通信Ｉ／Ｆ３０１０、ディスプレイコントローラ３０１２、及び入力装置３０１６は、共通のバスライン３０１８に接続されている。

ＣＰＵ３００２は、顔照合装置３０の全体の動作を制御する。また、ＣＰＵ３００２は、上記顔照合制御部３０２における画像データ取得部３０８、顔検出部３１０、顔特徴量抽出部３１２、及び顔照合部３１４の各部の機能を実現するプログラムを実行する。ＣＰＵ３００２は、ＨＤＤ３００８等に記憶されたプログラムをＲＡＭ３００６にロードして実行することにより、顔照合制御部３０２における各部の機能を実現する。

ＲＯＭ３００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ３００６は、ＣＰＵ３００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ３００８には、ＣＰＵ３００２が実行するプログラムが記憶されている。

また、ＨＤＤ３００８は、上記記憶部３０４の機能を実現する記憶装置である。なお、記憶部３０４の機能を実現する記憶装置は、ＨＤＤ３００８に限定されるものではない。種々の記憶装置を記憶部３０４の機能を実現するものとして用いることができる。

通信Ｉ／Ｆ３０１０は、ネットワーク６０に接続されている。通信Ｉ／Ｆ３０１０は、ネットワーク６０に接続されたデータセンタサーバ４０との間のデータの通信を制御する。

ディスプレイコントローラ３０１２は、表示部３０６として機能するディスプレイ３０１４が接続されている。ディスプレイコントローラ３０１２は、顔照合部３１４による照合結果、登録画面をディスプレイ３０１４に表示させる。

入力装置３０１６は、例えば、キーボード、マウス等である。また、入力装置３０１６は、ディスプレイ３０１４に組み込まれたタッチパネルであってもよい。施設のスタッフは、入力装置３０１６を介して、顔照合装置３０の設定を行ったり、処理の実行の指示を入力したりすることができる。

なお、顔照合装置３０のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。

ゲート装置１０のゲート制御部１１２は、顔照合部３１４から送信される照合結果信号に基づき、ゲート１０６の開閉を制御する。すなわち、ゲート制御部１１２は、顔照合部３１４から照合一致信号が送信された場合、ゲート１０６を開放させる。これにより、着券した来場者は、本人確認に成功した者として、ゲート装置１０の通路１１４を通行して施設の場内に入場することができる。ゲート制御部１１２は、来場者が通路１１４を通行した後、ゲート１０６を閉鎖状態とする。

一方、ゲート制御部１１２は、顔照合部３１４から照合不一致信号が送信された場合、ゲート１０６の閉鎖状態を維持する。この際、ゲート制御部１１２は、ゲート装置１０に設けられた不図示の警報器の警告音を鳴らしたり、警告灯を点灯させたりすること等により照合結果がいずれも不一致であることを示す警告を出すことができる。

また、後述するように、登録顔画像が存在しない場合には、ゲート制御部１１２は、データセンタサーバ４０から送信される登録完了信号を受けて、ゲート１０６を開放させる。登録完了信号は、データセンタサーバ４０において登録顔画像の登録が完了したことを示す信号である。

データセンタサーバ４０は、制御部４０２と、記憶部４０４とを有している。

制御部４０２は、データセンタサーバ４０の動作を制御するものである。

記憶部４０４は、発行された年間パスのＩＤ情報と関連付けられて登録されている登録顔画像及びその顔特徴量が蓄積されている。

制御部４０２は、顔照合部３１４からの要求に応じて、着券があった年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を顔照合部３１４に提供する。

登録顔画像は、ウェブサーバ７０により提供されるウェブストアで年間パスを購入する際に、購入者の端末からウェブサーバ７０にアップロードすることができる。ウェブサーバ７０にアップロードされた登録顔画像は、ウェブサーバ７０からデータセンタサーバ４０に送信される。登録顔画像が送信されたデータセンタサーバ４０において、制御部４０２は、送信された登録顔画像を記憶部４０４に蓄積する。

また、チケットブースで年間パスを購入した購入者は、そのままチケットブースの手元カメラ（図示せず）で登録顔画像を撮影するようにしてもよい。チケットブースの手元カメラで撮影された登録顔画像は、チケットブース端末８０により、ネットワーク６０を介してデータセンタサーバ４０に送信され、その記憶部４０４に蓄積される。

ただし、登録顔画像は、年間パスの初回使用時に登録されていなくてもよい。このように登録顔画像が存在しない場合、制御部４０２は、後述するように登録顔画像の登録処理を行う登録部として機能する。

上記のようにしてデータセンタサーバ４０の記憶部４０４に蓄積される登録顔画像については、顔照合装置３０の顔特徴量抽出部３１２により抽出される顔特徴量と同様の顔特徴量が抽出されている。顔特徴量の抽出は、顔特徴量抽出部として機能する制御部４０２によって行われる。抽出された顔特徴量は、制御部４０２により、その登録顔画像が関連付けられた年間パスのＩＤ情報と関連付けられて記憶部４０４に蓄積される。

記憶部４０４には、リレーショナルデータベースが構成されている。記憶部４０４のリレーショナルデータベースには、上述のように、登録顔画像の顔特徴量が、年間パスのＩＤ情報、及び登録顔画像の顔画像データと関連付けられて保存される。互いに関連付けられたこれらのデータは、ＲＤＢＭＳにより管理される。ＲＤＢＭＳとしては、特に限定されるものではないが、例えばＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒが用いられている。

なお、記憶部４０４のリレーショナルデータベースには、上記のほか、例えば、年間パスの正当な利用者である年間パスの購入者の氏名、連絡先等の情報が、年間パスのＩＤ情報と関連付けられて保存されている。

上述したデータセンタサーバ４０は、例えばコンピュータ装置により構成される。データセンタサーバ４０のハードウェア構成の一例について図７を用いて説明する。なお、データセンタサーバ４０は、単一の装置により構成されていてもよいし、有線又は無線で接続された２つ以上の物理的に分離された装置により構成されていてもよい。

データセンタサーバ４０は、図７に示すように、ＣＰＵ４００２と、ＲＯＭ４００４と、ＲＡＭ４００６と、ＨＤＤ４００８とを有している。また、データセンタサーバ４０は、通信Ｉ／Ｆ４０１０を有している。ＣＰＵ４００２、ＲＯＭ４００４、ＲＡＭ４００６、ＨＤＤ４００８、及び通信Ｉ／Ｆ４０１０は、共通のバスライン４０１２に接続されている。

ＣＰＵ４００２は、データセンタサーバ４０の全体の動作を制御する。また、ＣＰＵ４００２は、上記制御部４０２の機能を実現するプログラムを実行する。ＣＰＵ４００２は、ＨＤＤ４００８等に記憶されたプログラムをＲＡＭ４００６にロードして実行することにより、制御部４０２の機能を実現する。

ＲＯＭ４００４は、ブートプログラム等のプログラムが記憶されている。ＲＡＭ４００６は、ＣＰＵ４００２がプログラムを実行する際のワーキングエリアとして使用される。また、ＨＤＤ４００８には、ＣＰＵ４００２が実行するプログラムが記憶されている。

また、ＨＤＤ４００８は、上記記憶部４０４の機能を実現する記憶装置である。なお、記憶部４０４の機能を実現する記憶装置は、ＨＤＤ４００８に限定されるものではない。種々の記憶装置を記憶部４０４の機能を実現するものとして用いることができる。

通信Ｉ／Ｆ４０１０は、ネットワーク６０に接続されている。通信Ｉ／Ｆ４０１０は、ネットワーク６０に接続された顔照合装置３０との間のデータの通信を制御する。

なお、データセンタサーバ４０のハードウェア構成は、上述した構成に限定されるものではなく、種々の構成とすることができる。

上述のように、本実施形態による顔照合システム１は、読み取り部１０８が年間パスからＩＤ情報を読み取る着券前に固定カメラ２０により撮影された検出顔画像と、着券された年間パスのＩＤ情報と関連付けられて登録されている登録顔画像とを照合する。すなわち、本実施形態による顔照合システム１では、登録顔画像と照合すべき照合対象の画像である検出顔画像が、年間パスの着券前に予め取得されている。

このため、本実施形態によれば、来場者が年間パスを着券した後に、登録顔画像と照合すべき照合対象の画像としてその来場者の顔画像を施設のスタッフにより撮影する必要がない。また、来場者は、その顔画像の撮影を意識する必要がなく、撮影のために顔の位置合わせ等の特別の動作を行う必要もない。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。

次に、上記本実施形態による顔照合システム１を用いた本実施形態による顔照合方法についてさらに図８乃至図１１を用いて説明する。

まず、登録顔画像が存在する場合の本実施形態による顔照合方法の全体のフローについて図８を用いて説明する。図８は、本実施形態による顔照合方法を示すシーケンス図である。

固定カメラ２０は、読み取り部１０８の設置場所への入口側であるゲート装置１０の前の場所を撮影し、所定の周期で複数枚の画像を連続的に取得する（ステップＳ１０２）。また、固定カメラ２０は、所定の周期で取得した複数枚の画像の画像データを、その周期に同期して顔照合装置３０に送信する（ステップＳ１０４）。

画像データが送信される顔照合装置３０において、画像データ取得部３０８は、固定カメラ２０から送信される画像データを順次取得する。顔検出部３１０は、各画像について顔検出を行って顔画像を検出顔画像として検出する（ステップＳ１０６）。顔特徴量抽出部３１２は、各検出顔画像について顔特徴量を抽出して一時的に保存する（ステップＳ１０８）。

固定カメラ２０及び顔照合装置３０では、上記ステップＳ１０２～Ｓ１０８が繰り返し行われる。

一方、ゲート装置１０において、年間パスの着券があると、読み取り部１０８は、着券のあった年間パスのＩＤ情報を読み取る（ステップＳ１１０）。続いて、ゲート制御部１１２は、読み取り部１０８により読み取られたＩＤ情報を顔照合装置３０に送信する（ステップＳ１１２）。

ＩＤ情報が送信された顔照合装置３０において、顔照合部３１４は、データセンタサーバ４０にネットワーク６０を介してＩＤ情報を送信して（ステップＳ１１４）、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を要求する。これにより、顔照合部３１４は、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をデータセンタサーバ４０からネットワーク６０を介してオンラインで取得する（ステップＳ１１６）。

また、顔照合部３１４は、その記憶部３０４のリレーショナルデータベースを参照して、着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する（ステップＳ１１８）。すなわち、顔照合部３１４は、読み取り部１０８がＩＤ情報を年間パスから読み取る前に固定カメラ２０により撮影されたＮ枚の検出顔画像の顔特徴量を取得する。

なお、上記のステップＳ１１６及びステップＳ１１８は、どちらが先に行われてもよく、同時に行われてもよい。

次いで、顔照合部３１４は、取得した検出顔画像の顔特徴量及び登録顔画像の顔特徴量に基づき、Ｎ：１照合を行う（ステップＳ１２０）。

Ｎ：１照合を行った顔照合部３１４は、照合結果を示す照合結果信号をゲート装置１０に送信する（ステップＳ１２２）。

照合結果信号が送信されたゲート装置１０では、ゲート制御部１１２が、照合結果信号に基づき、ゲート１０６の開閉を制御する（ステップＳ１２４）。

ゲート装置１０の読み取り部１０８に年間パスの着券があるたびに、ステップＳ１１０～Ｓ１２４が繰り返し行われる。

次に、本実施形態による顔照合方法における処理の詳細について図９及び図１０を用いて説明する。図９及び図１０は、それぞれ本実施形態による顔照合方法を示すフローチャートである。

まず、固定カメラ２０による撮影から検出顔画像の顔特徴量を一時的に保存するまでの処理の詳細について図９を用いて説明する。

顔照合装置３０には、固定カメラ２０により撮影された画像の画像データが周期的に送信される。画像データ取得部３０８は、固定カメラ２０から画像データが送信されるタイミングか否かを判定する（ステップＳ２０２）。画像データが送信されるタイミングでなければ（ステップＳ２０２、ＮＯ）、そのタイミングの到来を待機する。

固定カメラ２０から画像データが送信されるタイミングであれば（ステップＳ２０２、ＹＥＳ）、画像データ取得部３０８は、固定カメラ２０から送信される画像データを取得する（ステップＳ２０４）。画像データ取得部３０８は、次のステップＳ２０６の前に、取得した画像データに対して補正処理等の画像処理を行うことができる。

次いで、顔検出部３１０は、画像データ取得部３０８により取得される画像データの画像について顔検出を行い、その画像から、ゲート装置１０の前の場所にいる来場者の顔画像を検出する（ステップＳ２０６）。顔画像が検出されなければ（ステップＳ２０８、ＮＯ）、ステップＳ２０２に戻り、固定カメラ２０による次の画像データの送信を待機する。

顔検出部３１０により顔画像が検出されると（ステップＳ２０８、ＹＥＳ）、顔特徴量抽出部３１２は、検出された顔画像である検出顔画像について顔特徴量を抽出する（ステップＳ２１０）。

また、顔特徴量抽出部３１２は、検出顔画像の顔画像データを、その検出顔画像から抽出した顔特徴量とともに両者を関連づけて記憶部３０４に一時的に保存する（ステップＳ２１２）。この際、顔特徴量抽出部３１２は、検出顔画像について、顔画像データ及びその顔特徴量とともに、その画像データを特定する番号である検出番号と、その検出顔画像が撮影された撮影時刻とを関連づけて一時的に保存する。

上記図９に示す処理は、本実施形態による顔照合システム１が稼動している間、固定カメラ２０から画像データが送信されるタイミングが到来するたびに繰り返し行われる。

次に、年間パスの着券があってからゲート制御までの処理について図１０を用いて説明する。以下では、読み取り部１０８により読み取られたＩＤ情報と関連付けられた登録顔画像が存在する場合及びしない場合の両場合の処理について説明する。

ゲート装置１０において、読み取り部１０８は、年間パスが着券されるまで待機する（ステップＳ３０２、ＮＯ）。着券を待機する間、ゲート１０６は、閉鎖状態となっている。

来場者により読み取り部１０８に年間パスが着券されると（ステップＳ３０２、ＹＥＳ）、読み取り部１０８は、年間パスに記録されたＩＤ情報を年間パスから読み取る（ステップＳ３０６）。

続いて、ゲート制御部１１２は、読み取り部１０８により読み取られたＩＤ情報を顔照合装置３０に送信する（ステップＳ３０６）。

顔照合装置３０において、顔照合部３１４は、ゲート制御部１１２から送信されたＩＤ情報を、ネットワーク６０を介してデータセンタサーバ４０に送信する。これにより、顔照合部３１４は、データセンタサーバ４０にそのＩＤ情報と関連付けられて登録されている登録顔画像の存在の有無を問い合わせる（ステップＳ３０８）。データセンタサーバ４０は、登録顔画像の存在の有無を顔照合部３１４に対して回答する。

登録顔画像が存在する場合（ステップＳ３０８、ＹＥＳ）、顔照合部３１４は、ネットワーク６０を介してデータセンタサーバ４０から、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する（ステップＳ３１０）。

また、顔照合部３１４は、記憶部３０４のリレーショナルデータベースを参照して、年間パスの着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する（ステップＳ３１２）。

顔照合部３１４は、取得したＮ枚の検出顔画像の顔特徴量のそれぞれと、取得した登録顔画像の顔特徴量とを順次照合するＮ：１照合を行う（ステップＳ３１４）。顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値未満の場合に照合が不一致であると判定し、次の検出顔画像の顔特徴量と登録顔画像の顔特徴量との照合を行う。一方、顔照合部３１４は、ある検出顔画像についての照合の結果、照合スコアが所定の閾値以上の場合に照合が一致したと判定し、照合処理を終了する。

顔照合部３１４による照合が一致した場合（ステップＳ３１６、ＹＥＳ）、顔照合部３１４は、顔照合部３１４による照合が一致したことを示す照合一致信号をゲート装置１０に送信する（ステップＳ３１８）。

ゲート装置１０において、ゲート制御部１１２は、顔照合部３１４から照合一致信号が送信されると、ゲート１０６を開放させる（ステップＳ３２０）。これにより、着券した来場者は、本人確認に成功した者として、ゲート装置１０の通路１１４を通行して施設の場内に入場することができる。

ゲート制御部１１２は、来場者が通路１１４を通行した後、ゲート１０６を閉鎖状態とする（ステップＳ３２２）。

一方、顔照合部３１４による照合がいずれも不一致であった場合（ステップＳ３１６、ＮＯ）、顔照合部３１４は、顔照合部３１４による照合がいずれも不一致であったことを示す照合不一致信号をゲート装置１０に送信する（ステップＳ３２４）。

ゲート装置１０において、ゲート制御部１１２は、顔照合部３１４から照合不一致信号が送信されると、ゲート１０６の閉鎖状態を維持する（ステップＳ３２６）。この際、ゲート制御部１１２は、ゲート装置１０に設けられた不図示の警報器の警告音を鳴らしたり、警告灯を点灯させたりすること等により警告を出す（ステップＳ３２８）。この結果、着券した来場者は、本人確認に失敗した者として、この段階では、施設の場内に入場することができない。この場合、例えば、施設のスタッフにより本人確認が改めて行われる等の対処がなされる。

上記登録顔画像が存在する場合と異なり、登録顔画像が存在しない未登録の場合（ステップＳ３０８、ＮＯ）、顔照合部３１４は、施設のスタッフに対して登録画面を表示部３０６に表示する（ステップＳ３３０）。具体的には、顔照合部３１４は、年間パスの着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像を表示した登録画面を表示部３０６に表示する。ここで表示されるＮ枚の検出顔画像は、ステップＳ３１２で顔特徴量が取得されるＮ枚の検出顔画像と同様のものである。

図１１は、表示部３０６に表示される登録画面の例を示している。図１１に示すように、登録画面３１８には、Ｎ枚の検出顔画像が表示されている。また、登録画面３１８には、登録顔画像が存在しない未登録の場合であることを示す「未登録」の表示が表示されている。このように、表示部３０６に表示される登録画面３１８には、Ｎ枚の検出顔画像の中から登録顔画像として登録すべき検出顔画像を施設のスタッフが目視により選択できるように表示される。

施設のスタッフは、表示部３０６に表示された登録画面を見て、登録顔画像として登録すべき検出顔画像の選択をマニュアルで行う（ステップＳ３３２）。具体的には、施設のスタッフは、登録画面に表示されているＮ枚の検出顔画像の中から、着券した来場者と同一人物である判断される検出顔画像を、登録顔画像として登録すべき顔画像として選択する。表示部３０６は、例えば、タッチパネルで構成され、入力部としても機能するものになっている。この場合、施設のスタッフは、登録画面に表示されている検出顔画像をタッチして、選択結果を顔照合装置３０に入力することができる。なお、マウス、キーボード等の他の入力部により選択結果を顔照合装置３０に入力することもできる。

このように、本実施形態では、登録顔画像が存在しない未登録の場合に、検出顔画像の中から登録顔画像として登録すべき顔画像が選択される。このため、登録顔画像として登録すべき顔画像を取得するために、施設のスタッフの撮影により、着券した来場者の顔を別途撮影する必要がない。したがって、本実施形態によれば、登録顔画像を円滑に登録することができる。

顔照合装置３０において、顔照合部３１４は、施設のスタッフによる選択結果をデータセンタサーバ４０に送信する（ステップＳ３３４）。具体的には、顔照合部３１４は、登録顔画像として登録すべき顔画像として選択された検出顔画像の画像データ及びその顔特徴量をデータセンタサーバ４０に送信する。

データセンタサーバ４０において、制御部４０２は、送信された検出顔画像を登録顔画像として、着券があった年間パスのＩＤ情報と関連付けて記憶部４０４に保存して登録する（ステップＳ３３６）。その際、制御部４０２は、新しい登録顔画像の顔特徴量もあわせて、着券があった年間パスのＩＤ情報と関連付けて記憶部４０４に保存する。こうして、登録部として機能する制御部４０２により、登録顔画像が新規に登録される。

データセンタサーバ４０は、登録顔画像の登録を完了すると、顔照合装置３０を介して、登録顔画像の登録が完了したことを示す登録完了信号をゲート装置１０に送信する（ステップＳ３３８）。

ゲート装置１０において、ゲート制御部１１２は、データセンタサーバ４０から登録完了信号が送信されると、ゲート１０６を開放させる（ステップＳ３２０）。これにより、着券した来場者は、新規の登録顔画像を登録した者として、ゲート装置１０の通路１１４を通行して施設の場内に入場することができる。

ゲート制御部１１２は、来場者が通路１１４を通行した後、ゲート１０６を閉鎖状態とする（ステップＳ３２２）。

上記図１０に示す処理は、本実施形態による顔照合方法を行っている間、ゲート装置１０の読み取り部１０８に着券があるたびに繰り返し行われる。

このように、本実施形態によれば、年間パスの着券前に固定カメラ２０により撮影された画像から検出された検出顔画像の顔特徴量と、着券された年間パスのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量とを照合する。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。

さらに、本実施形態によれば、検出顔画像の中から登録顔画像として登録すべき顔画像を選択して登録するので、顔認証における照合に用いる登録顔画像が存在しない場合に、登録顔画像を円滑に登録することができる。

なお、上記では、図３に示すように、固定カメラ２０により撮影された１フレームの画像に１人の来場者が撮影されている場合を例に説明したが、固定カメラ２０により撮影された１フレームの画像には、複数人の来場者が撮影される場合もありうる。

図１２は、固定カメラ２０により撮影された１フレームの画像の他の例を示している。図１２に示すように、１フレームの画像Ｉには、ゲート装置１０の前の場所にいる３人の来場者Ｖｐ、Ｖｑ、Ｖｒが撮影されている。このように、固定カメラ２０により撮影された１フレームの画像Ｉに、複数人の来場者が撮影されている場合がある。このような場合、顔検出部３１０は、固定カメラ２０により撮影された画像Ｉから、図１２中の検出枠３１６ｐ、３１６ｑ、３１６ｒで示すように、複数人の来場者Ｖｐ、Ｖｑ、Ｖｒのそれぞれの顔画像を検出する。こうして１フレームの画像から検出された複数の検出顔画像は、それぞれ登録顔画像と照合すべき照合対象の画像として上記と同様に処理される。

［第２実施形態］
本発明の第２実施形態による顔照合システム及び顔照合方法について図１３乃至図１５を用いて説明する。なお、上記第１実施形態による顔照合システム及び顔照合方法と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。

まず、本実施形態による顔照合システムについて図１３及び図１４を用いて説明する。図１３は、本実施形態による顔照合システムを示す概略図である。図１４は、本実施形態による顔照合システムの機能構成を示すブロック図である。

上記第１実施形態では、施設の入場口において入場チケットを利用して施設の場内に入場しようとする来場者を認証対象者として顔照合により本人確認を行う場合について説明した。しかしながら、顔照合による本人確認を行う場面はこれに限定されるものではない。本実施形態では、店舗におけるレジ端末が設置されたレジカウンタ等の会計場所において、クレジットカード、デビットカード、電子マネー等による電子決済を行う買物客を認証対象者として、顔照合により本人確認を行う場合について説明する。

図１３及び図１４に示すように、本実施形態による顔照合システム２は、レジ端末８１０と、固定カメラ２０と、顔照合装置３０と、データセンタサーバ４０と、電子決済サーバ８２０とを含んでいる。レジ端末８１０、固定カメラ２０、及び顔照合装置３０は、店舗の会計場所８５０に設置されている。一方、データセンタサーバ４０は、例えば、会計場所８５０から離れた地にあるデータセンタ内に設置されている。また、電子決済サーバ８２０は、例えば、電子決済のシステムを提供する事業者のサーバである。

顔照合装置３０及びデータセンタサーバ４０は、第１実施形態と同様に、それぞれネットワーク６０を介してネットワーク接続されており、ネットワーク６０を介して互いに通信可能になっている。

また、レジ端末８１０及び電子決済サーバ８２０は、それぞれネットワーク６０を介してネットワーク接続されており、ネットワーク６０を介して互いに通信可能になっている。

また、レジ端末８１０及び固定カメラ２０は、それぞれケーブル接続等により顔照合装置３０に通信可能に直接ローカル接続されている。レジ端末８１０及び固定カメラ２０と顔照合装置３０との接続は、有線方式であっても無線方式であってもよい。

次に、本実施形態における顔照合システム２における各構成要素について詳述する。

レジ端末８１０は、買物客が購入する購入商品の価格情報その他の情報を読み取り、購入商品について会計処理を行うものである。レジ端末８１０は、後述するように、顔照合により本人確認に成功した場合に通知される電子決済情報に基づき、会計処理を実行する。

レジ端末８１０には、読み取り部８３０が接続されている。読み取り部８３０は、レジ端末８１０に隣接してレジ端末８１０の近傍に設置されている。読み取り部８３０は、買物客が所持する店舗の会員カードに記録された情報を読み取るものである。具体的には、会員カードには、その会員カードを一意に特定するＩＤ情報が記録されている。読み取り部８３０は、ＩＤ情報を会員カードから読み取る。読み取り部８３０が読み取るＩＤ情報は、例えば、会員カードの会員番号である。店舗を利用する買物客は、店舗の利用に際して会員カードを所持しており、会計に際して会員カードを読み取り部８３０に読み取らせる。会員カードは、認証対象者である買物客が所持し、その買物客が会計をする際に必要となる媒体であって、これを一意に特定するＩＤ情報が記録されたものである。後述するように、データセンタサーバ４０には、会員カードのＩＤ情報に関連付けられてその会員カードの発行を受けた会員登録者に関する情報が蓄積されている。

読み取り部８３０は、会員カードのＩＤ情報の記録方式に応じた読み取り方式を有している。例えば、会員カードが、バーコード等の一次元コード、ＱＲコード（登録商標）等の二次元コードにＩＤ情報が記録されているものである場合、読み取り部８３０は、バーコードリーダ、ＱＲコードリーダ等のコードリーダである。また、例えば、会員カードが、ＲＦＩＤによる非接触ＩＣカード又は非接触ＩＣタグにＩＤ情報が記録されているものである場合、読み取り部８３０は、ＲＦＩＤリーダである。

読み取り部８３０は、読み取り部８３０に会員カードの着券があると、年間パスに記録されたＩＤ情報を年間パスから読み取る。なお、ここで、着券とは、認証対象者である買物客が、会員カードに記録されたＩＤ情報を含む情報を読み取り部８３０に読み取らせることをいう。

読み取り部８３０は、会員カードから読み取ったＩＤ情報をレジ端末８１０に送信する。レジ端末８１０は、読み取り部８３０から送信された会員カードのＩＤ情報を顔照合装置３０に送信する。

また、レジ端末８１０は、後述の顔照合装置３０から送信される電子決済情報に基づき、会計処理を実行する。

固定カメラ２０は、レジ端末８１０に対して会計場所８５０の出口側に設置された支柱２０２の上端部に固定されている。固定カメラ２０は、レジ端末８１０の前の場所を撮影するものであり、会計場所８５０の入口側を向く向きが固定されている。固定カメラ２０は、会計場所８５０における地表面から例えば２００ｃｍ程度の人の頭上に位置する高さに固定されており、レジ端末８１０の前の場所に向けて斜め下を向いている。なお、固定カメラ２０の固定方式は、支柱２０２による方式に限定されるものではない。例えば、固定カメラ２０は、天井から吊り下げられて固定されていてもよい。

上記のように固定された固定カメラ２０は、レジ端末８１０及び読み取り部８３０の設置場所への入口側であるレジ端末８１０の前の場所を撮影するようになっている。これにより、固定カメラ２０は、読み取り部８３０の設置場所への入口側であるレジ端末８１０の前の場所にいる買物客Ｃを撮影することができる。

固定カメラ２０のその他の点は、上記第１実施形態と同様であるので説明を省略する。

顔照合装置３０は、第１実施形態と同様に、顔照合制御部３０２と、記憶部３０４と、表示部３０６とを有している。顔照合制御部３０２は、画像データ取得部３０８と、顔検出部３１０と、顔特徴量抽出部３１２と、顔照合部３１４とを含んでいる。

画像データ取得部３０８は、第１実施形態と同様に、所定の周期で固定カメラ２０から送信される画像の画像データを順次取得する。

顔検出部３１０は、第１実施形態と同様に、画像データ取得部３０８により順次取得される画像データの画像のそれぞれについて顔検出を行う。なお、本実施形態では、レジ端末８１０の前の場所にいる買物客の顔画像を検出する。

顔特徴量抽出部３１２は、第１実施形態と同様に、顔検出部３１０により検出された検出顔画像のそれぞれについて、顔特徴量を抽出する。また、顔特徴量抽出部３１２は、第１実施形態と同様に、顔特徴量抽出部３１２は、検出顔画像のそれぞれについて、顔画像データ、顔特徴量、検出番号、及び撮影時刻を関連づけて記憶部３０４に一時的に保存する。

記憶部３０４には、第１実施形態と同様に、リレーショナルデータベースが構成されており、検出顔画像のそれぞれについて、その撮影時刻から一定の時間だけ、顔特徴量及びこれに関連するデータが保存される。

顔照合部３１４は、レジ端末８１０に接続された読み取り部８３０に会員カードの着券があると、読み取り部８３０に会員カードを着券した買物客について、顔照合による本人確認を行う。

顔照合部３１４には、着券された会員カードから読み取り部８３０により読み取られたＩＤ情報が送信される。顔照合部３１４は、送信されたＩＤ情報を取得し、ネットワーク６０を介して後述のデータセンタサーバ４０から、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を取得する。こうして顔照合部３１４により取得された登録顔画像の人物は、着券された会員カードを正当に利用することができる正当な利用者である。会員カードの正当な利用者は、例えば、その会員カードの発行を受けた会員登録者である。

ただし、第１実施形態と同様に、ＩＤ情報によっては、関連付けられた登録顔画像及びその顔特徴量がデータセンタサーバ４０に存在しない未登録の場合がある。例えば、会員カードの初回使用時には、その会員カードのＩＤ情報に関連付けられて登録された登録顔画像及びその顔特徴量が存在しないことがある。このような未登録の場合の処理については、登録顔画像が存在する場合の処理を説明した後に説明する。

また、顔照合部３１４は、第１実施形態と同様に、記憶部３０４のリレーショナルデータベースを参照して、着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量を取得する。すなわち、顔照合部３１４は、読み取り部８３０がＩＤ情報を会員カードから読み取る前に固定カメラ２０により撮影されたＮ枚の検出顔画像の顔特徴量を取得する。

顔照合部３１４は、第１実施形態と同様に、会員カードの着券前に撮影されたＮ枚の検出顔画像の顔特徴量のそれぞれと、登録顔画像の顔特徴量とを順次照合するＮ：１照合を行う。

顔照合部３１４による照合が一致した場合、着券された会員カードの正当な利用者が、着券前にレジ端末８１０の前の買物客の中にいたことになる。このため、会員カードの正当な利用者が会員カードを着券したと推定することができる。したがって、この場合、顔照合による本人確認に成功したことになる。

一方、顔照合部３１４による照合がいずれも不一致であった場合、着券された会員カードの正当な利用者が、着券前にレジ端末８１０の前の買物客の中にいなかったことになる。したがって、この場合、顔照合による本人確認に失敗したことになる。

表示部３０６には、顔照合部３１４による照合結果等を表示することができる。店舗のスタッフは、表示部３０６の表示を見ることにより照合結果等を確認することができる。また、表示部３０６には、後述するように、登録顔画像を新規に登録するための登録画面を表示することができる。

顔照合部３１４は、上記照合結果を示す信号である照合結果信号をレジ端末８１０に送信する。具体的には、顔照合部３１４は、顔照合部３１４による照合が一致したことを示す信号である照合一致信号、又は顔照合部３１４による照合がいずれも不一致であったことを示す信号である照合不一致信号をレジ端末８１０に送信する。

さらに、顔照合部３１４は、照合が一致した場合に、ネットワーク６０を介して後述のデータセンタサーバ４０から決済手段情報を取得する。決済情報は、照合が一致した会員カードのＩＤ情報に関連付けられて保存されている電子決済を実行するための情報であり、例えば、クレジットカード番号、電子マネーのＩＤ情報である。顔照合部３１４は、取得した決済手段情報を、照合一致信号とともにレジ端末８１０に送信する。

レジ端末８１０は、顔照合部３１４から照合一致信号が送信された場合に、電子決済を後述の電子決済サーバ８２０に要求する。この場合、レジ端末８１０は、照合一致信号とともに送信される決済手段情報と、購入商品の会計金額とを含む情報である電子決済情報を電子決済サーバ８２０に送信する。

一方、レジ端末８１０は、顔照合部３１４から照合不一致信号が送信された場合、レジ端末８１０を操作する店舗のスタッフに対して、警告表示、警告音等により電子決済ができないことを示す警告を通知する。

また、後述するように登録顔画像が存在しない場合、レジ端末８１０は、データセンタサーバ４０から送信される登録完了信号及び決済手段情報を受けて、電子決済情報を電子決済サーバ８２０に送信する。登録完了信号は、データセンタサーバ４０において登録顔画像の登録が完了したことを示す信号である。

データセンタサーバ４０は、第１実施形態と同様に、制御部４０２と、記憶部４０４とを有している。

記憶部４０４は、発行された会員カードのＩＤ情報と関連付けられて登録されている登録顔画像及びその顔特徴量が蓄積されている。さらに、記憶部４０４には、会員カードのＩＤ情報に関連付けられた決済手段情報が保存されている。

制御部４０２は、顔照合部３１４からの要求に応じて、着券があった会員カードのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量を顔照合部３１４に提供する。さらに、制御部４０２は、顔照合部３１４からの要求に応じて、着券があった会員カードのＩＤ情報と関連付けられた決済手段情報を顔照合部３１４に提供する。

登録顔画像は、例えば、店舗の会員カードを買物客が取得する際に、店舗内の端末、買物客の端末等からデータセンタサーバ４０にアップロードすることができる。データセンタサーバ４０において、制御部４０２は、アップロードされた登録顔画像を記憶部４０４に蓄積する。

ただし、登録顔画像は、会員カードの初回使用時に登録されていなくてもよい。このように登録顔画像が存在しない場合、制御部４０２は、後述するように登録顔画像の登録処理を行う登録部として機能する。

上記のようにしてデータセンタサーバ４０の記憶部４０４に蓄積される登録顔画像については、第１実施形態と同様に、顔特徴量が抽出されて記憶部４０４に蓄積される。

記憶部４０４には、第１実施形態と同様に、リレーショナルデータベースが構成されており、登録顔画像の顔特徴量が、会員カードのＩＤ情報、及び登録顔画像の顔画像データと関連付けられて保存される。さらに、記憶部４０４には、会員カードのＩＤ情報に関連付けられて決済手段情報が保存されている。

なお、記憶部４０４のリレーショナルデータベースには、上記のほか、例えば、会員カードの正当な利用者である会員登録者の氏名、連絡先等の情報が、会員カードのＩＤ情報と関連付けられて保存されている。

電子決済サーバ８２０は、クレジットカード、電子マネー等による電子決済を行う。電子決済サーバ８２０は、レジ端末８１０から送信される電子決済情報に基づき、買物客が購入した商品について電子決済を実行する。

上述のように、本実施形態による顔照合システム２は、読み取り部８３０が会員カードからＩＤ情報を読み取る着券前に固定カメラ２０により撮影された検出顔画像と、着券された会員カードのＩＤ情報と関連付けられて登録されている登録顔画像とを照合する。すなわち、本実施形態による顔照合システム２では、登録顔画像と照合すべき照合対象の画像である検出顔画像が、会員カードの着券前に予め取得されている。

このため、本実施形態によれば、買物客が会員カードを着券した後に、登録顔画像と照合すべき照合対象の画像としてその買物客の顔画像を店舗のスタッフにより撮影する必要がない。また、買物客は、その顔画像の撮影を意識する必要がなく、撮影のために顔の位置合わせ等の特別の動作を行う必要もない。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。

次に、本実施形態による顔照合システム２を用いた本実施形態による顔照合方法についてさらに図１５を用いて説明する。図１５は、本実施形態による顔照合方法を示すフローチャートである。

固定カメラ２０は、読み取り部８３０の設置場所への入口側であるレジ端末８１０の前の場所を撮影し、所定の周期で複数枚の画像を連続的に取得する。固定カメラ２０による撮影から検出顔画像の顔特徴量を一時的に保存するまでの処理は、固定カメラ２０による撮影場所が異なる点を除き、第１実施形態の図９に示す処理と同様であるので説明を省略する。

以下、会員カードの着券があってから電子的決済の実行までの処理について図１５を用いて説明する。以下では、読み取り部８３０により読み取られたＩＤ情報と関連付けられて登録されている登録顔画像が存在する場合及びしない場合の両場合の処理について説明する。

レジ端末８１０において、読み取り部８３０は、会員カードが着券されるまで待機する（ステップＳ７０２、ＮＯ）。

買物客により読み取り部８３０に会員カードが着券されると（ステップＳ７０２、ＹＥＳ）、読み取り部８３０は、会員カードに記録されたＩＤ情報を会員カードから読み取る（ステップＳ７０４）。

続いて、レジ端末８１０は、読み取り部８３０により読み取られたＩＤ情報を顔照合装置３０に送信する（ステップＳ７０６）。

顔照合装置３０において、顔照合部３１４は、レジ端末８１０から送信されたＩＤ情報を、ネットワーク６０を介してデータセンタサーバ４０に送信する。これにより、顔照合部３１４は、データセンタサーバ４０にそのＩＤ情報と関連付けられて登録されている登録顔画像の存在の有無を問い合わせる（ステップＳ７０８）。データセンタサーバ４０は、登録顔画像の存在の有無を顔照合部３１４に対して回答する。

登録顔画像が存在する場合（ステップＳ７０８、ＹＥＳ）、顔照合部３１４は、ネットワーク６０を介してデータセンタサーバ４０から、そのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量をオンラインで取得する（ステップＳ７１０）。

また、顔照合部３１４は、記憶部３０４のリレーショナルデータベースを参照して、会員カードの着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像の顔特徴量をオフラインで取得する（ステップＳ７１２）。すなわち、顔照合部３１４は、読み取り部８３０がＩＤ情報を会員カードから読み取る前に固定カメラ２０により撮影されたＮ枚の検出顔画像の顔特徴量を取得する。

顔照合部３１４は、第１実施形態と同様に、取得したＮ枚の検出顔画像の顔特徴量のそれぞれと、取得した登録顔画像の顔特徴量とを順次照合するＮ：１照合を行う（ステップＳ７１４）。

顔照合部３１４による照合が一致した場合（ステップＳ７１６、ＹＥＳ）、顔照合部３１４は、ネットワーク６０を介してデータセンタサーバ４０から決済手段情報を取得する（ステップＳ７１８）。続いて、顔照合部３１４は、取得した決済手段情報とともに、顔照合部３１４による照合が一致したことを示す照合一致信号をレジ端末８１０に送信する（ステップＳ７２０）。

レジ端末８１０は、顔照合部３１４から照合一致信号が送信されると、送信された決済手段情報と、購入商品の会計金額とを含む電子決済情報を電子決済サーバ８２０に送信する（ステップＳ７２２）。

電子決済サーバ８２０は、レジ端末８１０から送信された電子決済情報に基づき、買物客が購入した商品について電子決済を実行する（ステップＳ７２４）。

一方、顔照合部３１４による照合がいずれも不一致であった場合（ステップＳ７１６、ＮＯ）、顔照合部３１４は、顔照合部３１４による照合がいずれも不一致であったことを示す照合不一致信号をレジ端末８１０に送信する（ステップＳ７２６）。

レジ端末８１０は、顔照合部３１４から照合不一致信号が送信されると、レジ端末８１０を操作する店舗のスタッフに対して、警告表示、警告音等により電子決済ができないことを示す警告を通知する（ステップＳ７２８）。

上記登録顔画像が存在する場合と異なり、登録顔画像が存在しない未登録の場合（ステップＳ７０８、ＮＯ）、顔照合部３１４は、店舗のスタッフに対して登録画面を表示部３０６に表示する（ステップＳ７３０）。具体的には、顔照合部３１４は、会員カードの着券前の所定の期間に含まれる撮影時刻と関連付けられたＮ枚の検出顔画像を表示した登録画面を表示部３０６に表示する。ここで表示されるＮ枚の検出顔画像は、ステップＳ７１２で顔特徴量が取得されるＮ枚の検出顔画像と同様のものである。

表示部３０６に表示される登録画面には、第１実施形態の図１１に示す例と同様に、Ｎ枚の検出顔画像の中から登録顔画像として登録すべき検出顔画像を店舗のスタッフが目視により選択できるように表示される。

店舗のスタッフは、表示部３０６に表示された登録画面を見て、登録顔画像として登録すべき検出顔画像の選択をマニュアルで行う（ステップＳ７３２）。具体的には、施設のスタッフは、登録画面に表示されているＮ枚の検出顔画像の中から、着券した来場者と同一人物である判断される検出顔画像を、登録顔画像として登録すべき顔画像として選択する。表示部３０６は、例えば、タッチパネルで構成され、入力部としても機能するものになっている。この場合、施設のスタッフは、登録画面に表示されている検出顔画像をタッチして、選択結果を顔照合装置３０に入力することができる。なお、マウス、キーボード等の他の入力部により選択結果を顔照合装置３０に入力することもできる。

このように、本実施形態によれば、登録顔画像が存在しない未登録の場合に、第１実施形態と同様に、検出顔画像の中から登録顔画像として登録すべき顔画像が選択されるので、登録顔画像を円滑に登録することができる。

顔照合装置３０において、顔照合部３１４は、施設のスタッフによる選択結果をデータセンタサーバ４０に送信する（ステップＳ７３４）。具体的には、顔照合部３１４は、登録顔画像として登録すべき顔画像として選択された検出顔画像の画像データ及びその顔特徴量をデータセンタサーバ４０に送信する。

データセンタサーバ４０において、制御部４０２は、送信された検出顔画像を登録顔画像として、着券があった年間パスのＩＤ情報と関連付けて記憶部４０４に保存して登録する（ステップＳ７３６）。その際、制御部４０２は、新しい登録顔画像の顔特徴量もあわせて、着券があった年間パスのＩＤ情報と関連付けて記憶部４０４に保存する。こうして、登録部として機能する制御部４０２により、登録顔画像が新規に登録される。

データセンタサーバ４０は、登録顔画像の登録を完了すると、顔照合装置３０を介して、登録顔画像の登録が完了したことを示す登録完了信号をレジ端末８１０に送信する。この際、データセンタサーバ４０は、顔照合装置３０を介して、登録完了信号とともに決済手段情報をレジ端末８１０に送信する（ステップＳ７３８）。

レジ端末８１０は、顔照合部３１４から登録完了信号が送信されると、送信された決済手段情報と、購入商品の会計金額とを含む電子決済情報を電子決済サーバ８２０に送信する（ステップＳ７２２）。

電子決済サーバ８２０は、レジ端末８１０から送信された電子決済情報に基づき、買物客が購入した商品について電子決済を実行する（ステップＳ７２４）。

上記図１５に示す処理は、本実施形態による顔照合方法を行っている間、レジ端末８１０に接続された読み取り部８３０に着券があるたびに繰り返し行われる。

このように、本実施形態によれば、会員カードの着券前に固定カメラ２０により撮影された画像から検出された検出顔画像の顔特徴量と、着券された会員カードのＩＤ情報と関連付けられて登録されている登録顔画像の顔特徴量とを照合する。したがって、本実施形態によれば、短時間で円滑に顔照合を行うことができる。

さらに、本実施形態によれば、検出顔画像の中から登録顔画像として登録すべき顔画像を選択して登録するので、顔認証における照合に用いる登録顔画像が存在しない場合に、登録顔画像を円滑に登録することができる。

［第３実施形態］
本発明の第３実施形態によるコンピュータ装置について図１６を用いて説明する。本実施形態では、上記第１及び第２実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置について説明する。

図１６は、上記第１及び第２実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置の例を示している。図１６に示すコンピュータ装置１０００は、特に限定されるものではなく、様々な種類、形態のものであってよい。例えば、コンピュータ装置１０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。

コンピュータ装置１０００は、プロセッサ１００２と、メモリ１００４と、記憶装置１００６とを有している。また、コンピュータ装置１０００は、高速インターフェースを含む高速コントローラ１００８、及び低速インターフェースを含む低速コントローラ１０１０を有している。高速コントローラ１００８には、メモリ１００４及び高速拡張ポート１０１２が接続されている。また、高速コントローラ１００８には、ディスプレイ１０１６等の外部入出力装置が接続されている。一方、低速コントローラ１０１０には、低速拡張ポート１０１４及び記憶装置１００６が接続されている。

プロセッサ１００２、メモリ１００４、記憶装置１００６、高速コントローラ１００８、低速コントローラ１０１０、及び高速拡張ポート１０１２は、種々のバスにより相互に接続されている。また、プロセッサ１００２、メモリ１００４、記憶装置１００６、高速コントローラ１００８、低速コントローラ１０１０、及び高速拡張ポート１０１２は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。

プロセッサ１００２は、例えばＣＰＵであり、コンピュータ装置１０００内で実行する命令を処理することができる。そのような命令には、ディスプレイ１０１６等の外部入出力装置上にＧＵＩ（Graphical User Interface）のグラフィック情報を表示するための、メモリ１００４内又は記憶装置１００６内に格納された命令が含まれる。

また、複数のプロセッサ、複数のバス、又は複数のプロセッサ及び複数のバスを、複数のメモリ及び複数のタイプのメモリとともに適宜使用することができる。また、複数のコンピュータ装置１０００を、必要な処理の一部を行う各装置と接続することができる。例えば、複数のコンピュータ装置１０００を、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして互いに接続することができる。

メモリ１００４は、コンピュータ装置１０００内の情報を格納する。例えば、メモリ１００４は、揮発性メモリユニット、不揮発性メモリユニットである。メモリ１００４は、他のコンピュータ可読媒体であってもよく、例えば、磁気ディスク、光ディスク等であってもよい。

記憶装置１００６は、コンピュータ装置１０００用のマスストレージを構成することができる。記憶装置１００６は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ可読媒体である。また、記憶装置１００６は、そのようなコンピュータ可読媒体を含むことができる。記憶装置１００６は、ストレージエリアネットワーク、他の構成の装置を含む。コンピュータプログラム製品は、情報担体において明確に具現化されうる。コンピュータプログラム製品は、実行されると上述のような１つ又は複数の処理を実行する命令も格納することができる。情報担体は、メモリ１００４、記憶装置１００６、プロセッサ１００２上のメモリ、又は伝搬信号等のコンピュータ可読媒体若しくは機械可読媒体である。

高速コントローラ１００８は、コンピュータ装置１０００に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ１０１０は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定さえるものではない。また、高速コントローラ１００８の一部又は全部は、プロセッサ１００２に内蔵されていてもよい。

高速コントローラ１００８は、メモリ１００４、及び種々の拡張カードを受け入れることができる高速拡張ポート１０１２に接続されている。また、高速コントローラ１００８は、例えばグラフィックスプロセッサ又はアクセラレータを介して、ディスプレイ１０１６に接続されている。

また、低速コントローラ１０１０は、記憶装置１００６及び低速拡張ポート１０１４に接続されている。低速拡張ポート１０１４は、例えば、ＵＳＢ（Universal Serial Bus）、Bluetooth（登録商標）、有線又は無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート１０１４には、キーボード、ポインティングデバイス、スキャナー等の一又は複数の入出力装置を接続することができる。また、低速拡張ポート１０１４には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一又は複数のネットワーク機器を接続することができる。

コンピュータ装置１０００は、数多くの異なる形態で実施することができる。例えば、コンピュータ装置１０００は、標準的なサーバ、又はそのようなサーバのグループの形態の複数台で実施することができる。また、コンピュータ装置１０００は、ラックサーバシステムの一部としても実施することもできる。さらに、コンピュータ装置１０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。

上述したコンピュータ装置１０００は、上記実施形態におけるゲート装置１０の一部として機能することができる。この場合、コンピュータ装置１０００のプロセッサ１００２は、ゲート装置１０のゲート制御部１１２の機能を実現するプログラムを実行することにより、ゲート制御部１１２として機能することができる。

また、コンピュータ装置１０００は、上記実施形態における顔照合装置３０として機能することができる。この場合、コンピュータ装置１０００のプロセッサ１００２は、顔照合装置３０における顔照合制御部３０２の機能を実現するプログラムを実行することにより、顔照合制御部３０２として機能することができる。すなわち、プロセッサ１００２は、画像データ取得部３０８、顔検出部３１０、顔特徴量抽出部３１２、及び顔照合部３１４の各部の機能を実現するプログラムを実行する。これにより、プロセッサ１００２は、画像データ取得部３０８、顔検出部３１０、顔特徴量抽出部３１２、及び顔照合部３１４の各部として機能することができる。また、コンピュータ装置１０００の記憶装置１００６は、顔照合装置３０の記憶部３０４として機能することができる。

また、コンピュータ装置１０００は、上記実施形態におけるデータセンタサーバ４０として機能することができる。この場合、コンピュータ装置１０００のプロセッサ１００２は、データセンタサーバ４０における制御部４０２の機能を実現するプログラムを実行することにより、制御部４０２として機能することができる。また、コンピュータ装置１０００の記憶装置１００６は、データセンタサーバ４０の記憶部４０４として機能することができる。

なお、コンピュータ装置１０００のプロセッサ１００２に実行させるプログラムの一部又は全部は、これを記録したＤＶＤ－ＲＯＭ（Digital Versatile Disc-Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。

［他の実施形態］
上記各実施形態において説明した顔照合システムは、他の実施形態によれば、図１７に示すように構成することもできる。図１７は、他の実施形態による顔照合システムの機能構成を示すブロック図である。

図１７に示すように、他の実施形態による顔照合システム５０００は、認証対象者が所持する媒体から識別情報を読み取る読み取り部５００２と、読み取り部５００２の設置場所への入口側を撮影して画像を取得する撮影部５００４とを有している。また、顔照合システム５０００は、撮影部５００４により取得された画像から顔画像を検出顔画像として検出する顔検出部５００６を有している。また、顔照合システム５０００は、読み取り部５００２により読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、顔検出部５００６により検出された検出顔画像と登録顔画像とを照合する顔照合部５００８を有している。顔照合部５００８は、読み取り部５００２が識別情報を読み取る前に撮影部５００４により撮影された検出顔画像と登録顔画像とを照合する。さらに、顔照合システム５０００は、読み取り部５００２により読み取られた識別情報と関連付けられた登録顔画像が存在しない場合に、検出顔画像を登録顔画像として登録する登録部５０１０を有している。登録部５０１０は、読み取り部５００２が識別情報を読み取る前に撮影部５００４により撮影された検出顔画像を登録顔画像として登録する。

また、上記各実施形態において説明した顔照合装置は、他の実施形態によれば、図１８に示すように構成することもできる。図１８は、他の実施形態による顔照合装置の機能構成を示すブロック図である。

図１８に示すように、他の実施形態による顔照合装置６０００は、画像から顔画像を検出顔画像として検出する顔検出部６００２を有している。顔検出部６００２が検出顔画像を検出する画像は、認証対象者から識別情報を読み取る読み取り部の設置場所への入口側を撮影して画像を取得する撮影部により取得されたものである。また、顔照合装置６０００は、読み取り部により読み取られた識別情報と関連付けられた登録顔画像が存在する場合に、顔検出部６００２により検出された検出顔画像と登録顔画像とを照合する顔照合部６００４を有している。顔照合部６００４は、読み取り部が識別情報を読み取る前に撮影部により撮影された検出顔画像と登録顔画像とを照合する。さらに、顔照合装置６０００は、読み取り部により読み取られた識別情報と関連付けられた登録顔画像が存在しない場合に、検出顔画像を表示する表示部６００６を有している。表示部６００６は、読み取り部が識別情報を読み取る前に撮影部により撮影された検出顔画像を、登録顔画像として登録する検出顔画像を目視により選択できるように表示する。

［変形実施形態］
本発明は、上記実施形態に限らず、種々の変形が可能である。

例えば、上記実施形態では、施設の場内に入場しようとする来場者を認証対象者として、また、電子決済を行う買物客を認証対象者として、それぞれ顔照合による本人確認を行う場面を例に説明したが、これらに限定されるものではない。認証対象者とは、施設への入場者、出入国検査時の入国者等、何かの権限を備えているか確認する対象の人を指す。顔照合による本人確認を行う場面は、例えば、出入国管理、入退室管理等において顔照合により本人確認を行う場面であってもよい。

また、上記実施形態では、撮影部として固定カメラ２０を用いる場合を例に説明したが、撮影部として機能するカメラはこれに限定されるものではない。例えば、固定カメラ２０に代えて、パン機能、チルト機能等により向きの変更が可能な可動カメラを撮影部として用いることもできる。可動カメラの場合、自動制御又は遠隔操作によりその向きを変更することができる。

また、上記実施形態では、年間パス、会員カードの情報を読み取り部１０８、８３０に読み取らせる認証対象者による着券があってから顔照合による本人確認を行う場合を例に説明したが、これに限定されるものではない。例えば、読み取り部１０８、８３０は、着券という認証対象者の行為を必要とすることなく、無線通信等により、認証対象者が所持する媒体からその媒体を一意に特定するＩＤ情報等の識別情報を読み取るように構成することもできる。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年２月２６日に出願された日本出願特願２０１６－０３６４０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１、２…顔照合システム
１０…ゲート装置
２０…固定カメラ
３０…顔照合装置
４０…データセンタサーバ
１０８…読み取り部
１１２…ゲート制御部
３０２…顔照合制御部
３０４…記憶部
３０８…画像データ取得部
３１０…顔検出部
３１２…顔特徴量抽出部
３１４…顔照合部
４０２…制御部
４０４…記憶部
８１０…レジ端末
８３０…読み取り部

Claims (11)

1. 認証対象者が所持する媒体から識別情報を読み取る読み取り部と、
   複数フレームの画像を取得する撮影部と、
   前記撮影部により取得された複数フレームの前記画像から顔画像を検出する顔検出部と、
   前記識別情報を読み取る前までに前記顔検出部で検出された前記顔画像のうち、前記読み取り部が前記識別情報を読み取る時間を基準に所定期間内に取得された前記顔画像を照合に用いる検出顔画像として特定する特定部と、
   前記読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記特定部により特定された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、
   前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部と、
   を備えることを特徴とする顔照合システム。
2. 前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記特定部により特定された前記検出顔画像を前記登録顔画像として登録する登録部を備える
   ことを特徴とする請求項１に記載の顔照合システム。
3. 前記所定期間は、照合精度や処理速度に応じて長さを決定する
   ことを特徴とする請求項１又は２に記載の顔照合システム。
4. 前記特定部は、検出された前記顔画像の優先度を算出し、優先度に基づいて照合を行う前記顔画像を並び替えたものを前記検出顔画像とする
   ことを特徴とする請求項１乃至３のいずれか１項に記載の顔照合システム。
5. 前記顔検出部が、前記撮影部により取得された前記画像から複数人の前記検出顔画像を検出し、
   前記顔照合部が、前記複数人の検出顔画像と前記登録顔画像とを照合することを特徴とする請求項１乃至４いずれか１項に記載の顔照合システム。
6. 前記顔照合部は、前記特定部により特定された所定期間内の複数の前記検出顔画像と前記登録顔画像との照合が少なくとも１度成功することにより、前記認証対象者が本人であると判断する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の顔照合システム。
7. 前記撮影部が、縦長の前記画像を撮影するように縦向きに設置されている請求項１乃至６のいずれか１項に記載の顔照合システム。
8. 前記登録部が、複数人の前記検出顔画像の中から選択された前記検出顔画像を前記登録顔画像として登録する
   ことを特徴とする請求項２に記載の顔照合システム。
9. 複数フレームの画像を取得する撮影部により取得された複数フレームの前記画像から顔画像を検出する顔検出部と、
   認証対象者が所持する媒体から識別情報を読み取る読み取り部が前記識別情報を読み取る直前までに検出された前記顔画像のうち、前記読み取り部が前記識別情報を読み取る時間を基準に所定期間内に取得された前記顔画像を照合に用いる検出顔画像として特定する特定部と、
   認証対象者が所持する媒体から識別情報を読み取る読み取り部により読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記特定部により特定された前記検出顔画像と前記登録顔画像とを照合する顔照合部と、
   前記読み取り部により読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示部と
   を備えることを特徴とする顔照合装置。
10. コンピュータ装置が、
    撮影部により複数フレームの画像を取得する撮影ステップで取得された複数フレームの前記画像から顔画像を検出する検出ステップと、
    認証対象者が所持する媒体から識別情報を読み取る読み取りステップと、
    前記読み取りステップで前記識別情報を読み取る直前までに検出された前記顔画像のうち、前記読み取りステップが前記識別情報を読み取る時間を基準に所定期間内に取得された前記顔画像を照合に用いる検出顔画像として特定する特定ステップと、
    前記読み取りステップで読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記特定ステップで特定された前記検出顔画像と前記登録顔画像とを照合する照合ステップと、
    前記読み取りステップで読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記特定ステップで特定された前記検出顔画像を前記登録顔画像として登録する登録ステップと
    を実行することを特徴とする顔照合方法。
11. コンピュータ装置に、
    複数フレームの画像から顔画像を検出する検出ステップと、
    認証対象者が所持する媒体から識別情報を読み取る直前までに検出された前記顔画像のうち、前記識別情報を読み取る時間を基準に所定期間内に取得された前記顔画像を照合に用いる検出顔画像として特定する特定ステップと、
    認証対象者が所持する媒体から読み取られた前記識別情報と関連付けられた登録顔画像が存在する場合に、前記特定ステップで特定された検出顔画像と前記登録顔画像とを照合する照合ステップと、
    前記認証対象者が所持する前記媒体から読み取られた前記識別情報と関連付けられた前記登録顔画像が存在しない場合に、前記登録顔画像として登録する前記検出顔画像を目視により選択できるように表示する表示ステップと
    を実行させることを特徴とするプログラム。

Images