JP6769475B2 - 情報処理システム、認証対象の管理方法、及びプログラム - Google Patents

情報処理システム、認証対象の管理方法、及びプログラム Download PDF

Info

Publication number
JP6769475B2
JP6769475B2 JP2018227464A JP2018227464A JP6769475B2 JP 6769475 B2 JP6769475 B2 JP 6769475B2 JP 2018227464 A JP2018227464 A JP 2018227464A JP 2018227464 A JP2018227464 A JP 2018227464A JP 6769475 B2 JP6769475 B2 JP 6769475B2
Authority
JP
Japan
Prior art keywords
face
faces
predetermined
registration
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018227464A
Other languages
English (en)
Other versions
JP2020091595A (ja
Inventor
優樹 清水
優樹 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2018227464A priority Critical patent/JP6769475B2/ja
Priority to US16/699,895 priority patent/US11410461B2/en
Publication of JP2020091595A publication Critical patent/JP2020091595A/ja
Application granted granted Critical
Publication of JP6769475B2 publication Critical patent/JP6769475B2/ja
Priority to US17/860,648 priority patent/US11915519B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本発明は情報処理システム、端末装置、認証対象の管理方法、及びプログラムに関する。
近年、顔認証を用いた様々なシステムが開発されており、その利用用途も多岐にわたっている。顔認証システムにおいて、顔認証を行うためにはあらかじめ認証対象者の顔情報を登録しておく必要がある。本人確認用途の顔認証では、認証対象として登録される顔画像は、個人単位で登録されることが多い。しかし、例えばグループメンバー全員が揃って所定の地点に到達したことをスタンプ付与の条件とするルールを定めたスタンプラリーのゲームにおいて、参加者の到着を顔認証により判定する場合、事前にグループ単位で顔画像の登録を行うことが求められる。
これに関連する技術として、特許文献1に記載された認証装置がある。この認証装置では、画像から検出された複数の顔が関連付けて登録される。
しかし、屋外や人の多い場所で認証対象者の顔を撮影し、その画像から同時に複数の顔を検出して顔情報の登録を行う場合、認証対象者以外の人物の顔が写り込み、認証対象者以外の人物の顔も誤って関連付けられてしまう恐れがある。そのような場合、撮影場所の変更や顔画像の撮影のやり直しなどが必要となり、手間がかかってしまう。
また、関連する技術として、特許文献2に記載された画像情報処理装置がある。この画像情報処理装置は、画像内の人物の向いている方向に基づいて、当該画像内の複数の人物のうちの一部の人物をグループ化する。
特許第5783009号公報 国際公開第2011/148562号
特許文献1若しくは特許文献2に記載された装置では、顔認証における認証対象のグループをシステムに効率的に登録することができない。
本明細書に開示される実施形態が達成しようとする目的の1つは、顔認証における認証対象のグループをシステムに効率的に登録することができる情報処理システム、端末装置、認証対象の管理方法、及びプログラムを提供することにある。
第1の態様にかかる情報処理システムは、
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有する。
第2の態様にかかる端末装置は、
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、当該登録情報を顔認証サーバに登録する登録情報生成部と
を有する。
第3の態様にかかる認証対象の管理方法では、
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する。
第4の態様にかかるプログラムは、
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させる。
上述の態様によれば、顔認証における認証対象のグループをシステムに効率的に登録することができる情報処理システム、端末装置、認証対象の管理方法、及びプログラムを提供することができる。
実施の形態の概要にかかる情報処理システムの構成の一例を示すブロック図である。 実施の形態1にかかる情報処理システムの構成の一例を示すブロック図である。 実施の形態1にかかる顔認証サーバ及び顔登録端末のハードウェア構成の一例を示すブロック図である。 実施の形態1にかかる登録処理の一例を示すフローチャートである。 実施の形態2にかかる情報処理システムの構成の一例を示すブロック図である。 実施の形態2にかかる顔登録端末のハードウェア構成の一例を示すブロック図である。 実施の形態2にかかる登録処理の一例を示すフローチャートである。 実施の形態3にかかる情報処理システムの構成の一例を示すブロック図である。 実施の形態3にかかる登録処理の一例を示すフローチャートである。 実施の形態4にかかる情報処理システムの構成の一例を示すブロック図である。 実施の形態4にかかる登録処理の一例を示すフローチャートである。 実施の形態5にかかる情報処理システムの構成の一例を示すブロック図である。 実施の形態5にかかる登録処理の一例を示すフローチャートである。
<実施形態の概要>
実施形態の詳細な説明に先立って、実施形態の概要を説明する。図1は、実施の形態の概要にかかる情報処理システム1の構成の一例を示すブロック図である。図1に示すように、情報処理システム1は、顔検出部2と、判定部3と、登録情報生成部4とを有する。
顔検出部2は、複数の人物の顔が写された画像から顔を検出する。判定部3は、顔検出部2により検出された顔が、予め定められた条件を満たすか否かを判定する。登録情報生成部4は、顔認証システムにおける認証対象を管理する情報である登録情報を生成する。登録情報生成部4は、判定部3により予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけることにより登録情報を生成する。すなわち、登録情報は、具体的には、予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である。
なお、予め定められた条件は、顔認証における認証対象者の顔であるか否かを判定するための任意の条件である。具体的には、例えば、後述するように、予め定められた条件は、視線の方向の条件であってもよいし、顔(顔面)の向きの条件であってもよいし、顔の被写体距離の条件であってもよいし、顔の位置の変動の条件であってもよい。
情報処理システム1によれば、画像に含まれる顔のうち、予め定められた条件を満たすと判定された顔の集合のみが、認証対象のグループを識別する識別子と関連付けられる。したがって、予め定められた条件を満たさない顔の部分画像が、当該識別子に関連づけられてしまうことを防ぐことができる。したがって、情報処理システム1によれば、適切な登録情報を生成することができる。このため、顔認証における認証対象のグループをシステムに効率的に登録することができる。
<実施形態の詳細>
次に、実施の形態の詳細について説明する。
<実施の形態1>
図2は、実施の形態1にかかる情報処理システム10の構成の一例を示すブロック図である。なお、情報処理システム10は、図1の情報処理システム1と対応している。図2に示すように、情報処理システム10は、顔認証サーバ100と、顔登録端末200とを備える。顔認証サーバ100と、顔登録端末200とは、有線又は無線ネットワークにより、通信可能に接続されている。
顔認証サーバ100は、顔認証処理を行なう装置である。顔認証サーバ100は、図2に示すように、登録情報管理部101と、認証判定用画像取得部102と、認証部103とを有する。
登録情報管理部101は、上述した登録情報を管理する。すなわち、登録情報管理部101は、顔認証における照合処理に用いられる予め登録された顔画像を管理する。具体的には、登録情報管理部101は、認証対象のグループに属するメンバーのそれぞれの顔画像と、当該グループを識別する識別子(以下、グループIDと称す)とを関連づけて記憶装置に記憶して、これらを管理する。例えば、登録情報管理部101は、顔認証サーバ100の記憶装置54(図3参照)に、顔画像と、グループIDとを記憶する。なお、登録情報管理部101は、顔登録端末200から送信された登録情報を受信し、これを管理する。
認証判定用画像取得部102は、顔認証の判定対象の顔画像を取得する。認証判定用画像取得部102は、例えば、図示しない他の装置から送信された顔画像を取得する。
認証部103は、認証判定用画像取得部102が取得した顔画像と、登録情報として管理されている顔画像とを照合する。これにより、認証部103は、同一のグループIDに関連づけられている顔画像のそれぞれに対応する人物(グループのメンバー)の認証を行なう。なお、認証部103は、グループの全てのメンバーについて認証が成功したか否かを最終的な認証結果として出力してもよい。
顔登録端末200は、上述した登録情報を顔認証サーバ100に登録する端末装置である。顔登録端末200は、図2に示すように、関連情報作成部201と、登録用画像取得部202と、顔検出部203と、顔視線方向判定部204と、登録対象選択部205と、顔登録部206とを有する。
関連情報作成部201は、新規のグループについて登録情報を生成する際に、当該グループを識別するグループIDの発行を行う。具体的には、関連情報作成部201は、発行済みのグループIDと重複しない任意のIDを生成する。
登録用画像取得部202は、新規のグループについての登録情報の生成に用いる顔画像(以下、登録用画像と称す)を取得する。すなわち、登録用画像取得部202は、認証対象者の顔を含む画像を取得する。登録用画像は、カメラなどの撮影装置により、グループに属する全メンバーの顔を撮影した画像である。ただし、登録用画像には、認証対象(登録対象)の人物以外が映り込んでいる可能性がある。登録用画像取得部202は、例えば、撮影装置などの他の装置から送信された顔画像を取得してもよいし、顔登録端末200に設けられた記憶装置54(図3参照)から読み出すことにより登録用画像を取得してもよい。
顔検出部203は、図1の顔検出部2に対応している。
顔検出部203は、登録用画像取得部202が取得した登録用画像から顔を検出する。顔検出部203は、例えば、公知の画像認識処理により、人物の顔を表す領域を検出する。
顔視線方向判定部204は、図1の判定部3に対応している。
顔視線方向判定部204は、顔検出部203により検出された顔の視線の方向が所定の方向であり、かつ、当該顔(顔面)が当該所定の方向を向いているか否かを判定する。なお、所定の方向とは、例えば、撮影方向である。撮影方向とは、画像を撮影するカメラなどの撮影装置が存在する方向である。ただし、ここで言う撮影方向は、画像を撮影するカメラなどの撮影装置が存在する方向に厳密に一致する必要はなく、被写体が正面を向いているとみなされる方向であればよい。このため、視線の方向として要求される所定の方向と、顔の方向として要求される所定の方向とが厳密に一致する必要もない。
このように、本実施の形態では、顔視線方向判定部204は、顔検出部203により検出された顔が撮影方向を向いており、かつ、その視線も撮影方向を向いているか否かを判定する。顔が所定の方向(撮影方向)を向いており、かつ、その視線も所定の方向(撮影方向)を向いている被写体の状態をポジティブ状態と称すこととする。また、顔が所定の方向(撮影方向)を向いていない、または、その視線が所定の方向(撮影方向)を向いていない被写体の状態をネガティブ状態と称すこととする。つまり、顔視線方向判定部204は、顔検出部203により検出された全ての顔に対し、ポジティブ状態であるかネガティブ状態であるかを判定する。
顔視線方向判定部204は、例えば、機械学習技術を用いて判定を行なう。具体的には例えば、顔視線方向判定部204は、ポジティブ状態に分類される学習データと、ネガティブ状態に分類される学習データとを用いて学習されたモデルを用いて判定する。顔視線方向判定部204は、このモデルに、顔検出部203により検出された顔の画像を入力することにより、いずれの状態の画像であるかを判定する。
なお、本実施の形態では、顔視線方向判定部204は、顔の方向及び視線の方向の両方が条件を満たすか否かを判定しているが、いずれか一方のみを判定対象としてもよい。例えば、顔視線方向判定部204は、顔検出部203により検出された顔の視線の方向が所定の方向であるか否かのみを判定してもよいし、顔検出部203により検出された顔の方向が所定の方向でるか否かのみを判定してもよい。言い換えると、顔がポジティブ状態であるかネガティブ状態であるかが、顔の向きのみにより定義されてもよいし、視線の向きのみにより定義されてもよい。
登録対象選択部205は、顔検出部203により検出された全ての顔(すなわち、登録用画像取得部202が取得した画像から切り出された顔部分が写された部分画像)のうち、登録情報として登録すべき顔を選択する。すなわち、登録対象選択部205は、顔検出部203により検出された全ての顔のうち、新規なグループについての認証対象(登録対象)の顔を選択する。本実施の形態では、登録対象選択部205は、顔視線方向判定部204によりポジティブ状態であると判定された顔を登録対象として選択する。
顔登録部206は、図1の登録情報生成部4に対応している。
顔登録部206は、登録対象選択部205により選択された複数の顔のそれぞれの部分画像と、関連情報作成部201により作成されたグループIDとを関連づけることにより、登録情報を生成する。
また、顔登録部206は、生成した登録情報を顔認証サーバ100に送信する。顔認証サーバ100に送信された登録情報は、登録情報管理部101により管理される。これにより、顔認証サーバ100に登録情報の登録が行なわれる。
次に、顔認証サーバ100及び顔登録端末200のハードウェア構成について説明する。
図3は、顔認証サーバ100及び顔登録端末200のハードウェア構成の一例を示すブロック図である。顔認証サーバ100及び顔登録端末200は、それぞれ、ネットワークインタフェース51と、メモリ52と、プロセッサ53と、記憶装置54とを有する。顔登録端末200は、例えば、パーソナルコンピュータであってもよいし、タブレット又はスマートフォンなどであってもよい。すなわち、顔登録端末200は、コンピュータとしての機能を有する任意の情報処理装置である。また、顔登録端末200は、登録用画像取得部202に登録用画像を提供するための撮像装置(カメラ)を内蔵してもよい。また、撮像装置は、顔登録端末200の外部の装置として、顔登録端末200に接続されていてもよい。
ネットワークインタフェース51は、他の装置との通信を行うために使用される。ネットワークインタフェース51は、例えば、ネットワークインタフェースカード(NIC)を含んでもよい。
メモリ52は、例えば揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ52は、プロセッサ53により実行される、1以上の命令を含むソフトウェア(コンピュータプログラム)などを格納するために使用される。
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、Compact Disc Read Only Memory(CD-ROM)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、Programmable ROM(PROM)、Erasable PROM(EPROM)、フラッシュROM、Random Access Memory(RAM))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
プロセッサ53は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ53は、複数のプロセッサを含んでもよい。
顔認証サーバ100のプロセッサ53が、メモリ52からコンピュータプログラムを読み出して実行することで、図2に示した顔認証サーバ100の各構成要素の処理が行なわれる。
また、顔登録端末200のプロセッサ53が、メモリ52からコンピュータプログラムを読み出して実行することで、図2に示した顔登録端末200の各構成要素の処理が行なわれる。
記憶装置54は、処理に用いられるデータなどを記憶する装置であり、例えばHDD(Hard Disk Drive)、磁気テープ、光ディスク、又はSSD(Solid State Drive)などにより構成される。
次に、実施の形態1にかかる登録処理の流れについて説明する。図4は、実施の形態1にかかる登録処理の一例を示すフローチャートである。以下、図4に沿って、登録処理の流れについて説明する。
ステップS101において、関連情報作成部201は、新たなグループIDを発行する。
次に、ステップS102において、登録用画像取得部202が、新規のグループについての登録用画像を取得する。
次に、ステップS103において、顔検出部203がステップS102で取得された登録用画像に写っている全ての顔を検出する。
次に、ステップS104において、顔視線方向判定部204が、ステップS103で検出された顔のそれぞれについてポジティブ状態であるか否かを判定する。
次に、ステップS105において、登録対象選択部205は、ステップS103で検出された全ての顔のうち、登録対象の顔を選択する。具体的には、登録対象選択部205は、ステップS104でポジティブ状態であると判定された顔を登録対象として選択する。
次に、ステップS106において、顔登録部206は、ステップS105で選択された複数の顔のそれぞれの部分画像と、ステップS101で発行されたグループIDとを関連づけることにより、登録情報を生成する。そして、顔登録部206は、生成した登録情報を顔認証サーバ100に送信する。これに対し、顔認証サーバ100の登録情報管理部101は、登録情報として受信した画像とグループIDとを関連づけて、顔認証サーバ100の記憶装置54に記憶する。
以上、実施の形態1について説明した。実施の形態1にかかる情報処理システム10によれば、登録用画像に含まれる顔のうち、ポジティブ状態である顔の集合のみが、グループIDと関連付けられて、登録情報が生成される。一般的に、登録用画像の撮影の際には、グループのメンバーの顔は正面を向き、その視線が撮影装置の方向を向いた状態で行なわれる。このため、本実施の形態によれば、登録用画像に登録対象とすべきではない人物の顔が写り込んでいたとしても、グループのメンバーの顔を効率よく抽出することができる。すなわち、情報処理システム10によれば、適切な登録情報を生成することができため、顔認証における認証対象のグループをシステムに効率的に登録することができる。
<実施の形態2>
次に、実施の形態2について説明する。実施の形態1では、上述した通り、登録対象とすべき人物の顔かどうかを顔及び視線の向きにより判定した。この場合、通行人等の登録対象とすべきではない人物が、顔及び視線の向きの条件を偶然満たしていると、誤って当該人物の顔が登録情報に含まれてしまう恐れがある。そこで、登録対象として不適切な顔を、ユーザの指示に基づいて除外できるようにした構成について説明する。
図5は、実施の形態2にかかる情報処理システム20の構成の一例を示すブロック図である。情報処理システム20は、顔登録端末200が顔登録端末210に置き換わった点で、実施の形態1にかかる情報処理システム10と異なっている。本実施の形態においても、顔認証サーバ100と、顔登録端末210とは、有線又は無線ネットワークにより、通信可能に接続されている。以下、実施の形態1と異なる構成及び動作について説明し、重複する説明は適宜省略する。
また、図6は、実施の形態2にかかる顔登録端末210のハードウェア構成の一例を示すブロック図である。図6に示すように、顔登録端末210はハードウェアとして、ネットワークインタフェース51、メモリ52、プロセッサ53、及び記憶装置54に加え、入力装置55及び出力装置56を有している。
入力装置55は、ユーザによって入力される指示を受け付ける装置であり、例えば、マウス又はキーボードなどの入力装置である。また、出力装置56は、外部へ情報の出力を行うディスプレイなどの出力装置である。なお、入力装置55及び出力装置56は、タッチパネルとして一体的に構成されていてもよい。
顔登録端末210は、図5に示すように、関連情報作成部201と、登録用画像取得部202と、顔検出部203と、顔視線方向判定部204と、登録対象選択部205と、顔登録部206と、選択受付部211とを有する。すなわち、顔登録端末210は、選択受付部211をさらに有する点で、顔登録端末200と異なっている。顔登録端末210の図5に示される各構成要素の処理は、顔登録端末210のプロセッサ53が、メモリ52からコンピュータプログラムを読み出して実行することで、行なわれる。
選択受付部211は、顔視線方向判定部204によりポジティブ状態であると判定された顔、すなわち、予め定められた条件を満たすと判定された顔について、認証対象(登録対象)とするか否かを選択する指示をユーザから受け付ける。選択受付部211は、具体的には、例えば、入力装置55を介してユーザからの指示を受け付ける。
登録用画像から検出された全ての顔について顔視線方向判定部204による判定が終了すると、選択受付部211は、より詳細には、次のような処理を行なう。選択受付部211は、顔視線方向判定部204によりポジティブ状態であると判定された顔を囲む枠線を、登録用画像に重畳し、その画像を出力装置56に出力する。ユーザは、枠線で囲まれた顔のうち、認証対象(登録対象)とする顔、もしくは認証対象(登録対象)から除外する顔を選択することにより、認証対象(登録対象)とするか否かを選択する指示を入力する。これにより、選択受付部211は、ユーザからの指示を受け付ける。選択受付部211は、受け付けた指示を登録対象選択部205に通知する。
本実施の形態にかかる登録対象選択部205は、顔視線方向判定部204によりポジティブ状態であると判定された顔のうち、選択受付部211が受け付けた指示により登録対象として選択された顔を登録情報に含める顔として選択する。すなわち、本実施の形態にかかる顔登録部206は、予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像のうち、ユーザからの指示に従って選択された部分画像と、グループIDとを関連づけて、登録情報を生成する。
次に、実施の形態2にかかる登録処理の流れについて説明する。図7は、実施の形態2にかかる登録処理の一例を示すフローチャートである。以下、図7に沿って、登録処理の流れについて説明する。
ステップS201において、関連情報作成部201は、新たなグループIDを発行する。
次に、ステップS202において、登録用画像取得部202が、新規のグループについての登録用画像を取得する。
次に、ステップS203において、顔検出部203がステップS202で取得された登録用画像に写っている全ての顔を検出する。
次に、ステップS204において、顔視線方向判定部204が、ステップS203で検出された顔のそれぞれについてポジティブ状態であるか否かを判定する。
次に、ステップS205において、登録対象選択部205は、ステップS203で検出された全ての顔のうち、ステップS204でポジティブ状態であると判定された顔を登録対象の候補として選択する。
次に、ステップS206において、選択受付部211は、ステップS205で登録対象の候補として選択された顔を枠線で囲んだ登録用画像を表示する。これに対し、ユーザは、例えば、登録対象として不要な顔がある場合には、その顔を選択する入力を行なう。
次に、ステップS207において、選択受付部211は、登録対象として不要な顔についてユーザから指示されたか否かを判定する。登録対象として不要な顔について指示された場合(ステップS207でYes)、処理はステップS208へ移行する。これに対し、登録対象として不要な顔について指示されなかった場合(ステップS207でNo)、処理はステップS209へ移行する。
ステップS208では、登録対象選択部205は、登録対象の候補の顔のうち、不要な顔であるとユーザから指示された顔を登録対象から除外する。ステップS208の後、処理はステップS209へ移行する。
ステップS209において、顔登録部206は、登録対象の候補の顔のうち除外されなかった顔のそれぞれの部分画像と、ステップS201で発行されたグループIDとを関連づけることにより、登録情報を生成する。そして、顔登録部206は、生成した登録情報を顔認証サーバ100に送信する。これに対し、顔認証サーバ100の登録情報管理部101は、登録情報として受信した画像とグループIDとを関連づけて、顔認証サーバ100の記憶装置54に記憶する。
以上、実施の形態2について説明した。実施の形態2にかかる情報処理システム20によれば、ポジティブ状態であると判定された顔について、ユーザは登録対象とするか否かを指示することができる。このため、通行人等の登録対象とすべきではない人物の顔が、登録対象を判定するための予め定められた条件を偶然満たした場合でも、適切に登録情報を生成することができる。このため、顔認証における認証対象のグループの登録をより正確に行なうことができる。
なお、本実施の形態で説明したユーザ指示に基づく画像の選択は、実施の形態1に限らず、後述するいずれかの実施の形態と組み合わせることも可能である。
<実施の形態3>
次に、実施の形態3について説明する。実施の形態2では、通行人等の登録対象とすべきではない人物の顔が、登録対象を判定するための予め定められた条件を偶然満たした場合に、ユーザからの指示に基づいて、登録に不適切な顔を除外した。本実施の形態では、実施の形態2と異なる方法により、登録に不適切な顔を除外する。
具体的には、本実施の形態では、所定の時間間隔で連続的に撮影された複数枚の登録用画像のうち、複数の登録用画像(例えば、連続的に撮影された登録用画像の全て)における同一人物についての顔がいずれもポジティブ状態である場合、登録対象とする。
図8は、実施の形態3にかかる情報処理システム30の構成の一例を示すブロック図である。情報処理システム30は、顔認証サーバ110と顔登録端末220とを有する。顔認証サーバ110と、顔登録端末220とは、有線又は無線ネットワークにより、通信可能に接続されている。顔認証サーバ110は、同一人物判定部111が追加されている点で、実施の形態1の顔認証サーバ100と異なっている。また、顔登録端末220は、登録対象選択部205が登録対象選択部221に置き換わった点で、実施の形態1にかかる顔登録端末200と異なっている。
なお、顔認証サーバ110及び顔登録端末220のハードウェア構成は、例えば図3に示した構成となっている。顔認証サーバ110の図8に示される各構成要素の処理は、顔認証サーバ110のプロセッサ53が、メモリ52からコンピュータプログラムを読み出して実行することで、行なわれる。同様に、顔登録端末220の図8に示される各構成要素の処理は、顔登録端末220のプロセッサ53が、メモリ52からコンピュータプログラムを読み出して実行することで、行なわれる。
以下、実施の形態1と異なる構成及び動作について説明し、重複する説明は適宜省略する。
本実施の形態における登録用画像取得部202は、所定の時間間隔(例えば数秒)で連続的に撮影されたN枚(ただし、Nは2以上の整数)の登録用画像を取得する。そして、顔検出部203は、登録用画像取得部202が取得した、連続する複数の登録用画像のそれぞれから、顔を検出する。そして、顔検出部203は、検出した顔の部分画像を顔認証サーバ110の同一人物判定部111に出力する。
同一人物判定部111は、連続する複数の登録用画像から検出された顔について、登録用画像間でマッチング処理を行なう。なお、同一人物判定部111は、公知の任意の画像認識処理(顔認証技術)を用いてマッチング処理を行なう。なお、同一人物判定部111に相当する機能が、認証部103により提供されてもよい。同一人物判定部111は、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。同一人物判定部111は、関連付け結果を顔登録端末220の登録対象選択部221に出力する。
登録対象選択部221は、同一人物判定部111により同一の人物の顔の画像として関連づけられたM枚の登録用画像からそれぞれ抽出された顔がいずれも、顔視線方向判定部204によりポジティブ状態であると判定されているかを確認する。なお、Mは、2以上の整数である。一例としてM=Nであるが、M<Nであってもよい。M枚の登録用画像からそれぞれ抽出された顔がいずれもポジティブ状態である場合、登録対象選択部221は、このM枚の登録用画像からそれぞれ抽出された顔のいずれかの部分画像を登録対象の顔の部分画像として選択する。例えば、登録対象選択部221は、M枚の登録用画像のうち最も先に撮影された登録用画像の部分画像を登録対象の顔の部分画像として選択する。登録対象選択部221は、同一人物判定部111により関連付けが行なわれた全ての人物についての顔画像について、上述した処理を行なう。
なお、本実施の形態における顔視線方向判定部204及び登録対象選択部221は、図1における判定部3に対応している。そして、顔視線方向判定部204及び登録対象選択部221は、複数の登録用画像から検出された同一の人物についての複数の顔がポジティブ状態であるか否かを判定する。そして、顔登録部206は、複数の登録用画像から検出された複数の顔について予め定められた条件(ポジティブ状態)を満たすと判定された人物の顔の部分画像と、グループIDとを関連づけて、登録情報を生成する。
次に、実施の形態3にかかる登録処理の流れについて説明する。図9は、実施の形態3にかかる登録処理の一例を示すフローチャートである。以下、図9に沿って、登録処理の流れについて説明する。
ステップS301において、関連情報作成部201は、新たなグループIDを発行する。
次に、ステップS302において、登録用画像取得部202は、所定の時間間隔(例えば数秒)で連続的に撮影された複数の登録用画像を取得する。
次に、ステップS303において、顔検出部203がステップS302で取得された登録用画像に写っている全ての顔を検出する。すなわち、顔検出部203は、ステップS302で取得した全ての登録用画像について、画像内の顔を検出する。
次に、ステップS304において、同一人物判定部111が、ステップS303で検出された顔について、登録用画像間でマッチング処理を行い、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。
次に、ステップS305において、顔視線方向判定部204が、ステップS303で検出された顔のそれぞれについてポジティブ状態であるか否かを判定する。
次に、ステップS306において、登録対象選択部221は、同一の人物の顔の画像として関連づけられたM枚の登録用画像からそれぞれ抽出された顔がいずれもポジティブ状態であるかを判定する。そして、いずれもポジティブ状態である場合、登録対象選択部221は、このM枚の登録用画像からそれぞれ抽出された顔のいずれかの部分画像を登録対象の顔の部分画像として選択する。
ステップS307において、顔登録部206は、ステップS306で選択された顔の部分画像と、ステップS301で発行されたグループIDとを関連づけることにより、登録情報を生成する。そして、顔登録部206は、生成した登録情報を顔認証サーバ110に送信する。これに対し、顔認証サーバ110の登録情報管理部101は、登録情報として受信した画像とグループIDとを関連づけて、顔認証サーバ110の記憶装置54に記憶する。
以上、実施の形態3について説明した。登録対象の人物については、登録用画像の撮影が継続している期間、ポジティブ状態が維持されることが想定される。これに対し、たまたまカメラの方向を向いている通行人などの登録に不適切な人物の顔は、一時的にポジティブ状態となるに過ぎないと想定される。実施の形態3にかかる情報処理システム30によれば、連続的に撮影された複数枚の登録用画像を用いることで、ポジティブ状態が継続しているか否かを判定することができる。このため、通行人等の登録対象とすべきではない人物の顔が、偶然、ポジティブ状態となったとしても、適切に登録情報を生成することができる。このため、顔認証における認証対象のグループの登録をより正確に行なうことができる。
<実施の形態4>
上述した実施の形態では、登録用画像から検出された顔がポジティブ状態であるか否かによって、登録対象の顔が選択された。これに対し、本実施の形態では、登録用画像を撮影した際の撮影装置と被写体との距離に基づいて、登録対象の顔の選択を行なう。
図10は、実施の形態4にかかる情報処理システム40の構成の一例を示すブロック図である。情報処理システム40は、顔登録端末200が顔登録端末230に置き換わった点で、実施の形態1にかかる情報処理システム10と異なっている。本実施の形態においても、顔認証サーバ100と、顔登録端末230とは、有線又は無線ネットワークにより、通信可能に接続されている。
顔登録端末230は、顔視線方向判定部204の代わりに、距離推定部231及び距離判定部232が設けられ、登録対象選択部205の代わりに登録対象選択部233が設けられている点で、実施の形態1にかかる顔登録端末200と異なっている。
なお、顔登録端末230のハードウェア構成は、例えば図3に示した構成となっている。顔登録端末230の図10に示される各構成要素の処理は、顔登録端末230のプロセッサ53が、メモリ52からコンピュータプログラムを読み出して実行することで、行なわれる。
以下、実施の形態1と異なる構成及び動作について説明し、重複する説明は適宜省略する。
距離推定部231は、顔検出部203により検出された顔のそれぞれについて、当該顔の被写体距離を推定する。距離推定部231は、例えば、顔検出部203により検出された顔の部分画像に対し、公知の画像解析処理を行なうことにより、検出された顔のそれぞれに対し、被写体距離を推定する。例えば、距離推定部231は、体の所定の部分の長さ(例えば、両目の間の長さ)によって、被写体距離を推定してもよい。この場合、体の所定の部分の長さが長いほど、被写体距離が短いと推定される。なお、体の所定の部分は、例えば、顔全体であってもよいし、顔の一部(例えば、鼻、目、耳など)であってもよいし、顔以外の部分(例えば、肩、首など)であってもよい。なお、被写体の推定技術として、上記推定方法に限らず、公知の他の推定技術を用いてもよい。
距離判定部232は、図1の判定部3に相当する。距離判定部232は、距離推定部231により推定された被写体距離が所定の距離条件を満たすか否かを判定する。すなわち、距離判定部232は、予め定められた条件を満たすか否かの判定として、顔検出部203により検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定する。本実施の形態では、距離判定部232は、登録用画像から得られた顔のうち被写体距離が最も短い顔の被写体距離を基準距離として、登録用画像から得られた顔のそれぞれの被写体距離について、当該基準距離との差が所定の閾値以下であるか否かを判定する。距離判定部232は、登録用画像から得られた顔のそれぞれについて、被写体距離と基準距離との差が所定の閾値以下であるか否かを示す判定結果を登録対象選択部233に出力する。
登録対象選択部233は、距離判定部232により被写体距離が上述の条件を満たすと判定された顔の部分画像を登録対象として選択する。登録用画像の撮影の際、グループのメンバーは、撮影方向において近い位置に存在することが想定される。したがって、被写体距離と基準距離との差が所定の閾値以下であるか否かを判定することにより、グループのメンバー達から離れた位置を通行している人物などといった登録に不適切な人物についての顔を除外することができる。
なお、上述した距離条件は、一例であり、距離判定部232は、他の距離条件を用いて判定を行なってもよい。例えば、距離判定部232は、距離推定部231により推定された被写体距離が所定の閾値以下であるか否かを判定してもよい。登録用画像の撮影は、被写体距離が所定の距離以下となる環境で行なわれることが想定される。このため、被写体距離が所定の閾値以下であるか否かを判定することにより、撮影装置から遠い場所を通行している人物などといった登録に不適切な人物についての顔を除外することができる。
次に、実施の形態4にかかる登録処理の流れについて説明する。図11は、実施の形態4にかかる登録処理の一例を示すフローチャートである。以下、図11に沿って、登録処理の流れについて説明する。
ステップS401において、関連情報作成部201は、新たなグループIDを発行する。
次に、ステップS402において、登録用画像取得部202が、新規のグループについての登録用画像を取得する。
次に、ステップS403において、顔検出部203がステップS402で取得された登録用画像に写っている全ての顔を検出する。
次に、ステップS404において、距離推定部231が、ステップS403で検出された顔のそれぞれについて、当該顔の被写体距離を推定する。
次に、ステップS405において、距離判定部232が、ステップS404で推定された被写体距離が所定の距離条件を満たすか否かを、ステップS403で検出されたそれぞれの顔について判定する。
次に、ステップS406において、登録対象選択部233は、ステップS403で検出された全ての顔のうち、ステップS405で距離条件を満たすと判定された顔を登録対象として選択する。
次に、ステップS407において、顔登録部206は、ステップS406で選択された複数の顔のそれぞれの部分画像と、ステップS401で発行されたグループIDとを関連づけることにより、登録情報を生成する。そして、顔登録部206は、生成した登録情報を顔認証サーバ100に送信する。これに対し、顔認証サーバ100の登録情報管理部101は、登録情報として受信した画像とグループIDとを関連づけて、顔認証サーバ100の記憶装置54に記憶する。
以上、実施の形態4について説明した。実施の形態4にかかる情報処理システム40によれば、被写体距離が所定の距離条件を満たすか否かにより、登録対象の顔が選択される。このため、グループのメンバー達又は撮影装置から離れた人物などのように、登録対象の人物としてふさわしくない被写体距離の人物を除外することができる。このため、顔認証における認証対象のグループの登録を適切に行なうことができる。
<実施の形態5>
本実施の形態では、所定の時間間隔で連続的に撮影された複数枚の登録用画像から算出される同一の人物についての顔の位置の変動距離が所定の閾値以下である場合、登録対象とする。
図12は、実施の形態5にかかる情報処理システム50の構成の一例を示すブロック図である。情報処理システム50は、顔認証サーバ110と顔登録端末240とを有する。すなわち、情報処理システム50は、顔登録端末220が顔登録端末240に置き換わった点で、実施の形態3にかかる情報処理システム30と異なっている。顔登録端末240は、顔視線方向判定部204の代わりに座標測定部241及び座標判定部242が設けられ、登録対象選択部221の代わりに登録対象選択部243が設けられている点で、実施の形態3にかかる顔登録端末220と異なっている。ここで、本実施の形態における座標判定部242は、図1における判定部3に対応している。顔認証サーバ110と、顔登録端末240とは、有線又は無線ネットワークにより、通信可能に接続されている。
なお、顔登録端末240のハードウェア構成は、例えば図3に示した構成となっている。顔登録端末240の図12に示される各構成要素の処理は、顔登録端末240のプロセッサ53が、メモリ52からコンピュータプログラムを読み出して実行することで、行なわれる。
以下、実施の形態3と異なる構成及び動作について説明し、重複する説明は適宜省略する。
本実施の形態における登録用画像取得部202は、所定の時間間隔(例えば数秒)で連続的に撮影されたN枚(ただし、Nは2以上の整数)の登録用画像を取得する。なお、N枚の登録用画像の撮影範囲は同じであるものとする。すなわち、N枚の一連の登録用画像の撮影の際、撮影装置は、撮影領域が一定であるものとする。そして、顔検出部203は、登録用画像取得部202が取得した、連続する複数の登録用画像のそれぞれから、顔を検出する。そして、顔検出部203は、検出した顔の部分画像を顔認証サーバ110の同一人物判定部111に出力する。
同一人物判定部111は、連続する複数の登録用画像から検出された顔について、登録用画像間でマッチング処理を行い、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。同一人物判定部111は、関連付け結果を顔登録端末240の座標判定部242に出力する。
座標測定部241は、顔検出部203により検出された全ての顔について、登録用画像内における位置を測定する。すなわち、座標測定部241は、顔検出部203により検出された全ての顔について、画像平面における座標を測定する。座標測定部241は、例えば、公知の画像認識処理により、顔の所定の部分(例えば、両目の間の中心点)に対応する特徴点の位置(座標)を検出し、検出された位置(座標)を当該顔の登録用画像内における位置とする。
座標判定部242は、複数の登録用画像から検出された同一の人物についての複数の顔の位置の登録用画像間における変動距離が所定の閾値以下であるか否かを判定する。座標判定部242は、同一人物判定部111による関連付け結果から特定される、同一の人物の登録用画像毎の顔について、それらの位置の変動が所定の閾値以下であるか否かを判定する。
登録対象選択部243は、座標判定部242により変動距離が所定の閾値以下であると判定された人物の顔の部分画像を登録対象として選択する。このとき、登録対象選択部243は、N枚の登録用画像からそれぞれ抽出された同一人物の顔のいずれかの部分画像を登録対象の顔の部分画像として選択する。例えば、登録対象選択部243は、N枚の登録用画像のうち最も先に撮影された登録用画像の部分画像を登録対象の顔の部分画像として選択する。登録対象選択部243は、同一人物判定部111により関連付けが行なわれた全ての人物についての顔画像について、上述した処理を行なう。
登録用画像の撮影の際、グループのメンバーのそれぞれの顔の位置はほぼ一定であることが想定される。したがって、連続する登録用画像における顔の位置の変動を確認することにより、通行している人物などといった登録に不適切な人物についての顔を除外することができる。
次に、実施の形態5にかかる登録処理の流れについて説明する。図13は、実施の形態5にかかる登録処理の一例を示すフローチャートである。以下、図13に沿って、登録処理の流れについて説明する。
ステップS501において、関連情報作成部201は、新たなグループIDを発行する。
次に、ステップS502において、登録用画像取得部202は、所定の時間間隔(例えば数秒)で連続的に撮影された複数の登録用画像を取得する。
次に、ステップS503において、顔検出部203がステップS502で取得された登録用画像に写っている全ての顔を検出する。すなわち、顔検出部203は、ステップS502で取得した全ての登録用画像について、画像内の顔を検出する。
次に、ステップS504において、同一人物判定部111が、ステップS503で検出された顔について、登録用画像間でマッチング処理を行い、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。
次に、ステップS505において、座標測定部241が、ステップS503で検出された全ての顔について、画像平面における座標を測定する。
次に、ステップS506において、座標判定部242が、複数の登録用画像から検出された同一の人物についての複数の顔の位置の登録用画像間における変動距離が所定の閾値以下であるか否かを判定する。
次に、ステップS507において、登録対象選択部243は、ステップS503で検出された全ての顔のうち、ステップS506で変動距離が閾値条件を満たすと判定された顔を登録対象として選択する。
次に、ステップS508において、顔登録部206は、ステップS507で選択された複数の顔のそれぞれの部分画像と、ステップS501で発行されたグループIDとを関連づけることにより、登録情報を生成する。そして、顔登録部206は、生成した登録情報を顔認証サーバ110に送信する。これに対し、顔認証サーバ110の登録情報管理部101は、登録情報として受信した画像とグループIDとを関連づけて、顔認証サーバ110の記憶装置54に記憶する。
以上、実施の形態5について説明した。実施の形態5にかかる情報処理システム50によれば、顔の位置の変動距離が所定の閾値以下であるか否かにより、登録対象の顔が選択される。このため、通行している人物などといった登録に不適切な人物についての顔を除外することができる。このため、顔認証における認証対象のグループの登録を適切に行なうことができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態では、同一人物判定部は、顔認証サーバに設けられていたが、顔登録端末に設けられてもよい。すなわち、同一人物判定部の処理が、顔登録端末において行なわれてもよい。また、顔登録端末における任意の構成要素の一部又は全てが、顔認証サーバに設けられていてもよい。すなわち、図2、図5、図8、図10、又は図12に示した顔登録端末のいずれかの構成要素の処理が、顔認証サーバにおいて行なわれてもよい。また、上述した各実施の形態における、登録対象の顔の決定手法は、適宜組み合わせてもよい。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有する情報処理システム。
(付記2)
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であるか否かを判定する
付記1に記載の情報処理システム。
(付記3)
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であり、かつ、当該顔が当該所定の方向を向いているか否かを判定する
付記2に記載の情報処理システム。
(付記4)
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記複数の画像から検出された同一の人物についての複数の顔が前記予め定められた条件を満たすか否かを判定し、
前記登録情報生成部は、前記複数の画像から検出された前記複数の顔について前記予め定められた条件を満たすと判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
付記2又は3に記載の情報処理システム。
(付記5)
前記予め定められた条件を満たすと判定された顔について、認証対象とするか否かを選択する指示を受け付ける選択受付部をさらに有し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像のうち、前記指示に従って選択された部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
付記1乃至4のいずれか1項に記載の情報処理システム。
(付記6)
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定する
付記1に記載の情報処理システム。
(付記7)
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出された同一の人物についての複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
付記1に記載の情報処理システム。
(付記8)
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、当該登録情報を顔認証サーバに登録する登録情報生成部と
を有する端末装置。
(付記9)
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であるか否かを判定する
付記8に記載の端末装置。
(付記10)
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する
認証対象の管理方法。
(付記11)
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させるプログラム。
1、10、20、30、40、50 情報処理システム
2 顔検出部
3 判定部
4 登録情報生成部
51 ネットワークインタフェース
52 メモリ
53 プロセッサ
54 記憶装置
55 入力装置
56 出力装置
100、110 顔認証サーバ
101 登録情報管理部
102 認証判定用画像取得部
103 認証部
111 同一人物判定部
200、210、220、230、240 顔登録端末
201 関連情報作成部
202 登録用画像取得部
203 顔検出部
204 顔視線方向判定部
205、221、233、243 登録対象選択部
206 顔登録部
211 選択受付部
231 距離推定部
232 距離判定部
241 座標測定部
242 座標判定部

Claims (11)

  1. 複数の人物の顔が写された画像から顔を検出する顔検出部と、
    前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
    を有し、
    前記予め定められた条件を満たすか否かの判定は、前記顔検出部により検出された顔の視線の方向が所定の方向であるか否かの判定であり、
    前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
    前記判定部は、前記複数の画像から検出された同一の人物についての複数の顔のうち前記予め定められた条件を満たす顔が複数あるか否かを判定し、
    前記登録情報生成部は、前記予め定められた条件を満たす顔が複数あると判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
    情報処理システム。
  2. 前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であり、かつ、当該顔が当該所定の方向を向いているか否かを判定する
    請求項に記載の情報処理システム。
  3. 前記予め定められた条件を満たすと判定された顔について、認証対象とするか否かを選択する指示を受け付ける選択受付部をさらに有し、
    前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像のうち、前記指示に従って選択された部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
    請求項1又は2に記載の情報処理システム。
  4. 複数の人物の顔が写された画像から顔を検出する顔検出部と、
    前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
    を有し、
    前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定し、
    前記所定の距離条件は、前記画像から検出された顔のうち被写体距離が最も短い顔の被写体距離である基準距離との差が所定の閾値以下であることである
    情報処理システム。
  5. 複数の人物の顔が写された画像から顔を検出する顔検出部と、
    前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
    を有し、
    前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
    前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出され、かつ、同一の人物についての顔であると既に判定されている複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
    前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
    情報処理システム。
  6. 複数の人物の顔が写された画像から顔を検出し、
    検出された顔が、予め定められた条件を満たすか否かを判定し、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、
    前記予め定められた条件を満たすか否かの判定は、検出された顔の視線の方向が所定の方向であるか否かの判定であり、
    前記検出では、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
    前記判定では、前記複数の画像から検出された同一の人物についての複数の顔のうち前記予め定められた条件を満たす顔が複数あるか否かを判定し、
    前記生成では、前記予め定められた条件を満たす顔が複数あると判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
    認証対象の管理方法。
  7. 複数の人物の顔が写された画像から顔を検出し、
    検出された顔が、予め定められた条件を満たすか否かを判定し、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、
    前記判定では、前記予め定められた条件を満たすか否かの判定として、検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定し、
    前記所定の距離条件は、前記画像から検出された顔のうち被写体距離が最も短い顔の被写体距離である基準距離との差が所定の閾値以下であることである
    認証対象の管理方法。
  8. 複数の人物の顔が写された画像から顔を検出し、
    検出された顔が、予め定められた条件を満たすか否かを判定し、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、
    前記検出では、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
    前記判定では、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出され、かつ、同一の人物についての顔であると既に判定されている複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
    前記生成では、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
    認証対象の管理方法。
  9. 複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
    検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
    をコンピュータに実行させ
    前記予め定められた条件を満たすか否かの判定は、前記顔検出ステップで検出された顔の視線の方向が所定の方向であるか否かの判定であり、
    前記顔検出ステップでは、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
    前記判定ステップでは、前記複数の画像から検出された同一の人物についての複数の顔のうち前記予め定められた条件を満たす顔が複数あるか否かを判定し、
    前記登録情報生成ステップでは、前記予め定められた条件を満たす顔が複数あると判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
    プログラム。
  10. 複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
    検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
    をコンピュータに実行させ、
    前記判定ステップでは、前記予め定められた条件を満たすか否かの判定として、前記顔検出ステップで検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定し、
    前記所定の距離条件は、前記画像から検出された顔のうち被写体距離が最も短い顔の被写体距離である基準距離との差が所定の閾値以下であることである
    プログラム。
  11. 複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
    検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
    前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
    をコンピュータに実行させ、
    前記顔検出ステップでは、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
    前記判定ステップでは、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出され、かつ、同一の人物についての顔であると既に判定されている複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
    前記登録情報生成ステップでは、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
    プログラム。
JP2018227464A 2018-12-04 2018-12-04 情報処理システム、認証対象の管理方法、及びプログラム Active JP6769475B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018227464A JP6769475B2 (ja) 2018-12-04 2018-12-04 情報処理システム、認証対象の管理方法、及びプログラム
US16/699,895 US11410461B2 (en) 2018-12-04 2019-12-02 Information processing system, method for managing object to be authenticated, and program
US17/860,648 US11915519B2 (en) 2018-12-04 2022-07-08 Information processing system, method for managing object to be authenticated, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018227464A JP6769475B2 (ja) 2018-12-04 2018-12-04 情報処理システム、認証対象の管理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020159723A Division JP7067593B2 (ja) 2020-09-24 2020-09-24 情報処理システム、認証対象の管理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020091595A JP2020091595A (ja) 2020-06-11
JP6769475B2 true JP6769475B2 (ja) 2020-10-14

Family

ID=70849192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018227464A Active JP6769475B2 (ja) 2018-12-04 2018-12-04 情報処理システム、認証対象の管理方法、及びプログラム

Country Status (2)

Country Link
US (2) US11410461B2 (ja)
JP (1) JP6769475B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257765B2 (ja) * 2018-09-27 2023-04-14 キヤノン株式会社 情報処理装置、認証システムおよびそれらの制御方法、プログラム
WO2022176339A1 (ja) * 2021-02-17 2022-08-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
US11514719B1 (en) * 2021-05-18 2022-11-29 Fortinet, Inc. Systems and methods for hierarchical facial image clustering
JP7368523B2 (ja) * 2022-03-14 2023-10-24 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4013684B2 (ja) * 2002-07-23 2007-11-28 オムロン株式会社 個人認証システムにおける不正登録防止装置
JP4725377B2 (ja) * 2006-03-15 2011-07-13 オムロン株式会社 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JP2007328590A (ja) * 2006-06-08 2007-12-20 Omron Corp 情報処理装置および情報処理方法、監視システム、並びにプログラム
JP4888191B2 (ja) 2007-03-30 2012-02-29 株式会社ニコン 撮像装置
JP5441151B2 (ja) * 2008-12-22 2014-03-12 九州日本電気ソフトウェア株式会社 顔画像追跡装置及び顔画像追跡方法並びにプログラム
JP5526955B2 (ja) * 2010-04-09 2014-06-18 ソニー株式会社 顔クラスタリング装置、顔クラスタリング方法、及びプログラム
JP5837484B2 (ja) 2010-05-26 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像情報処理装置
JP2013069155A (ja) * 2011-09-22 2013-04-18 Sogo Keibi Hosho Co Ltd 顔認証データベース構築方法、顔認証装置及び顔認証プログラム
JP5787715B2 (ja) 2011-10-21 2015-09-30 京セラドキュメントソリューションズ株式会社 画像形成装置および画像形成装置用アプリケーションプログラム
JP5529103B2 (ja) * 2011-11-18 2014-06-25 レノボ・シンガポール・プライベート・リミテッド 顔方向の検出方法および情報処理機器
JP5783009B2 (ja) * 2011-11-25 2015-09-24 富士通株式会社 認証プログラム,認証装置および認証方法
US9048851B2 (en) 2013-03-15 2015-06-02 Intel Corporation Spread-spectrum apparatus for voltage regulator
JP6136790B2 (ja) * 2013-09-10 2017-05-31 株式会社Jvcケンウッド 撮像装置および撮像装置の制御方法
JP6433209B2 (ja) * 2014-09-18 2018-12-05 大和ハウス工業株式会社 対話用通信システム及び対話用通信方法
EP3214832B1 (en) * 2014-10-31 2019-11-27 Fujifilm Corporation Imaging device and method for recognizing target object
JP2018136731A (ja) 2017-02-22 2018-08-30 東芝テック株式会社 情報処理装置およびプログラム
JP6854881B2 (ja) * 2017-03-27 2021-04-07 株式会社日立国際電気 顔画像照合システムおよび顔画像検索システム

Also Published As

Publication number Publication date
US11915519B2 (en) 2024-02-27
US20220343682A1 (en) 2022-10-27
JP2020091595A (ja) 2020-06-11
US20200175261A1 (en) 2020-06-04
US11410461B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
JP6769475B2 (ja) 情報処理システム、認証対象の管理方法、及びプログラム
JP6451861B2 (ja) 顔認証装置、顔認証方法およびプログラム
TWI616822B (zh) 在以影像爲基礎的生物統計中之臉部欺騙偵測技術
US9298996B2 (en) Biometric authentication device and method
US20150234881A1 (en) Person Authentication Dictionary Update Method, Person Authentication Dictionary Update Apparatus, Recording Medium, and Person Authentication System
KR101534808B1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
JP7484985B2 (ja) 認証システム、認証方法、及び、プログラム
US20130182126A1 (en) Camera device, communication system, and camera system
JPWO2016013090A1 (ja) 顔認証装置、顔認証方法および顔認証プログラム
KR20160025768A (ko) 안면인식을 활용하는 출석관리 시스템
KR20190118965A (ko) 시선 추적 시스템 및 방법
JP2022117996A (ja) 情報処理装置、データ生成方法、及びプログラム
JP5937763B2 (ja) 三次元実体の画像取得の認証方法
JP2020052822A (ja) 情報処理装置、認証システムおよびそれらの制御方法、プログラム
JP7067593B2 (ja) 情報処理システム、認証対象の管理方法、及びプログラム
US20160188858A1 (en) Information processing device, authentication system, authentication method, and program
JP2016045742A (ja) 情報処理装置およびプログラム
US20230084625A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
JP6214334B2 (ja) 電子機器、判定方法及びプログラム
JP7327571B2 (ja) 情報処理システム、端末装置、認証対象の管理方法、及びプログラム
JP2021185458A (ja) 生体判定装置および生体判定方法
WO2022176342A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP2011192220A (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
US20230106309A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
US20230090122A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200907

R150 Certificate of patent or registration of utility model

Ref document number: 6769475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150