JPWO2020178893A1 - 辞書生成装置、生体認証装置、辞書生成方法、およびプログラム - Google Patents

辞書生成装置、生体認証装置、辞書生成方法、およびプログラム Download PDF

Info

Publication number
JPWO2020178893A1
JPWO2020178893A1 JP2021503249A JP2021503249A JPWO2020178893A1 JP WO2020178893 A1 JPWO2020178893 A1 JP WO2020178893A1 JP 2021503249 A JP2021503249 A JP 2021503249A JP 2021503249 A JP2021503249 A JP 2021503249A JP WO2020178893 A1 JPWO2020178893 A1 JP WO2020178893A1
Authority
JP
Japan
Prior art keywords
person
dictionary
similarity
unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021503249A
Other languages
English (en)
Other versions
JP7248097B2 (ja
Inventor
利之 指原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020178893A1 publication Critical patent/JPWO2020178893A1/ja
Application granted granted Critical
Publication of JP7248097B2 publication Critical patent/JP7248097B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる辞書生成装置を提供する。画像取得部(31)は、所定のエリア内で時間をおいて撮影された複数の画像を取得し、特徴抽出部(32)は、複数の画像にそれぞれ含まれる人物の特徴を抽出し、類似度計算部(33)は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、登録部(34)は、類似度に基づいて、第1の人物に関する情報を辞書に登録するか否かを決定する。

Description

本発明は、辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体に関し、例えば、生体認証に用いられる人物辞書を生成する辞書生成装置等に関する。
学習塾や学校などの施設には、多数の人物が頻繁に出入りする。そのため、これらの施設へ侵入しようとする不審者を発見することが困難である。関連する技術では、これらの施設に立ち入ることを許可する人物の顔画像を、辞書(ホワイトリストとも呼ぶ)に登録している。そして、施設の出入り口などの要所に配置した監視カメラによって、辞書に登録されていない人物を発見した場合、警報を発報したり、関係者に危険を通報したりする。
特許文献1には、人物にパスワードやバーコードを提示させることによって、権限者の介在なしに、人物に関する情報を登録する方法が示されている。
特開2009−205393号公報 特開2004−157602号公報
特許文献1に記載の技術では、多数の人物に関する情報を手動で辞書に登録するために、多大な時間及び労力を要する。特に、学習塾や学校では、入学、転入および卒業などによって、学生が頻繁に入れ替わるため、辞書を作成する手間が大きい。
本発明の目的は、監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる辞書生成装置等を提供することにある。
本発明の一態様に係わる辞書生成装置は、所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段とを備えている。
本発明の一態様に係わる辞書生成方法は、所定のエリア内で時間をおいて撮影された複数の画像を取得し、前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することを含む。
本発明の一態様に係わる記録媒体は、所定のエリア内で時間をおいて撮影された複数の画像を取得することと、前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算することと、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶している。
本発明の一態様に係わる監視システムは、人物検出手段と、辞書生成装置と、生体認証装置と、を備えた監視システムであって、前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、前記辞書生成装置は、前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段とを備え、前記生体認証装置は、前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、前記照合手段による照合結果を出力する出力手段とを備えている。
本発明によれば、監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる。
実施形態1に係わる監視システムの構成を示すブロック図である。 実施形態1に係わる監視システムの人物検出部が実行する処理の流れを示す。 実施形態1に係わる監視システムに含まれる監視カメラと、監視カメラの視野内の人物とを示す。 実施形態1に係わる辞書生成装置の構成を示すブロック図である。 人物の間の類似度を表す表である。 実施形態1に係わる辞書生成装置の各部が実行する処理の流れを示すフローチャートである。 実施形態1に係わる生体認証装置の構成を示すブロック図である。 実施形態1に係わる生体認証装置が実行する処理の流れを示す。 実施形態2に係わる辞書生成装置の構成を示すブロック図である。 実施形態2に係わる辞書生成装置が実行する処理の流れを示す。 実施形態2に係わる人物検出部が検出した人物を時系列で示す。 ある時刻において、人物の検出回数を示す棒グラフである。 別の時刻において、人物の検出回数を示す棒グラフである。 さらに別の時刻において、人物の検出回数を示す棒グラフである。 実施形態3に係わる辞書生成装置の構成を示すブロック図である。 実施形態3に係わる辞書生成装置が登録期間中に実行する処理の流れを示すフローチャートである。 人物の間の類似度の累計を示す棒グラフである。 実施形態4に係わるハードウェア機器の構成を示す。
図面中の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
〔実施形態1〕
本発明の実施形態1について、以下で説明する。
図1は、本実施形態1に係わる監視システム1の構成を示すブロック図である。図1に示す監視システム1は、複数台のカメラ10と、人物検出部20と、辞書生成装置30と、生体認証装置40と、人物辞書50と、報知部60とを備えている。なお、監視システム1は、カメラ10および報知部60の少なくとも一方を備えていなくてもよい。監視システム1は、学校の敷地などの監視エリア内に配置された複数台のカメラ10によって、不審人物を発見し、警報などによって関係者に危険を通知する。カメラ10の台数は、1台以上であればよく、特に限定されない。各カメラ10は、所定の時間間隔Δt(たとえば、10分)で、撮影領域内の被写体を時系列の画像(動画、または複数の静止画)で撮影する。
人物検出部20について説明する。人物検出部20は、人物検出手段の一例である。
人物検出部20は、複数台のカメラ10が撮影した時系列の画像(動画、または複数の静止画)をリアルタイムで取得し、取得した各画像から人物の領域を検出する。具体的には、人物検出部20は、取得した各画像から、人物らしさを示す特徴(例えばHOG;Histogram of Oriented Gradients、SIFT;Scale-invariant feature transform、あるいはSURF;Speeded-Up Robust Features)を有する画像領域を抽出する。なお、以下では、人物検出部20が各画像から人物の領域を検出することを、人物検出部20が人物を検出するという。なお、監視システム1がカメラ10を備えていない場合、人物検出部20は、例えば、図示しない録画装置に格納された時系列の画像を取得する。
図4を参照して後述するように、辞書生成装置30の画像取得部31は、所定のエリア内で時間をおいて撮影された複数の画像を、人物検出部20から受信する。例えば、画像取得部31が取得する画像は、所定時間おき、同一曜日の同一時刻、または所定のトリガーに基づいて撮影されたものである。人物検出部20から送信された画像には、それぞれ、人物が含まれている。画像取得部31は、受信した複数の画像から、複数の人物画像を生成し、特徴抽出部32へ複数の人物画像を送信する。人物画像は、1人の人物の領域を含む画像である。人物画像は、画像取得部31が人物検出部20から受信した画像そのものであってもよいし、その一部であってもよい。また人物画像は、人物の一部(例えば顔や瞳)のみを含んでいてもよい。
特徴抽出部32は、複数の人物画像にそれぞれ含まれる人物の特徴を抽出する。たとえば、特徴抽出部32は、人物画像に含まれる人物の顔や瞳の領域から、人物の顔や瞳に関する特徴を示す情報を抽出する。
辞書生成装置30の登録部34は、後述する所定の処理の後に、監視エリアへの立ち入りを許可する人物に関する情報を、人物辞書50に登録する。本実施形態1では、登録部34は、人物に関する情報として、人物の領域を含む人物画像を、人物辞書50に登録する。人物画像は、人物の一部(例えば顔)のみを含んでいてもよい。また、登録部34は、特徴抽出部32により抽出された人物の特徴も、人物辞書50に登録してもよい。
あるいは、特徴抽出部32が、人物の特徴として、虹彩パターンを抽出する場合、登録部34は、人物に関する情報として、人物の瞳を含む画像を、人物辞書50に登録してもよい。また、登録部34は、人物に関する情報として、特徴抽出部32により抽出された虹彩パターンを、人物辞書50に登録してもよい。しかしながら、登録部34が人物辞書50に登録する情報は、この例に限定されない。
辞書生成装置30の詳細な構成については後述する。
人物検出部20の動作について説明する。図2および図3を参照して、本実施形態に係わる人物検出部20が実行する処理の流れを説明する。図2は、人物検出部20が実行する処理の流れを示すフローチャートである。図3は、登録期間中のある時刻t1において、カメラ10の視野内にいる人物A〜Cを示す。登録期間は、人物に関する情報(例えば、人物の領域を含む人物画像、および/または人物の特徴)を、辞書生成装置30が人物辞書50に登録する期間である。
図2に示すように、人物検出部20は、カメラ10が時刻t1に撮影した画像p1を取得する(S1)。
次に、人物検出部20は、画像p1内の人物A〜Cを検出する(S2)。具体的には、人物検出部20は、人物らしさを表す特徴に基づいて、人物A〜Cを含む領域(あるいは人物の領域と呼ぶ場合がある)を、画像p1から検出する。なお、人物検出部20は、画像p1から人物を検出することができなかった場合、カメラ10から次の画像を取得するまで待機する。
図2に示すステップS2の後、人物検出部20は、現在が登録期間中であるかどうかを判定する(S3)。例えば人物検出部20は、タイマーによって、現在が登録期間中であるかどうかを判定する。登録期間に入ったとき、人物検出部20は、辞書生成装置30へ開始信号を送信する。辞書生成装置30は開始信号を受信したときに、待機状態から復帰する。また、登録期間が終了したとき、人物検出部20は、辞書生成装置30へ終了信号を送信する。辞書生成装置30は終了信号を受信したときに、待機状態に遷移する。
なお、登録期間は、自由に設定および変更されてよい。登録期間は、一定の休止期間(インターバル)を含んでいてもよいし、管理者または関係者の判断によって、中断されてもよい。また、登録期間は、画像の送信元であるカメラ10ごとに決定されていてもよい。あるいは、登録期間は存在しなくてもよい。登録期間がない場合、図2のステップS3は省略されて、図2に示すステップS4およびステップS5の処理が実行される。ステップS4およびステップS5の処理の順番は問わない。
現在が登録期間中である場合(S3でYes)、人物検出部20は、人物A〜Cを含む画像p1を、辞書生成装置30へ送信する(S4)。一方、現在は登録期間中でない場合(S3でNo)、人物検出部20は、人物A〜Cを含む画像p1を、生体認証装置40へ送信する(S5)。
図2に示すステップS4またはステップS5の後、フローはステップS1へ戻る。そして、人物検出部20は、登録期間中の時刻t2(>t1)に撮影された他の画像をカメラ10から取得する。このようにして、人物検出部20は、カメラ10が撮影した時系列の画像を順番に取得して、各画像から人物を検出する処理を繰り返す。なお、時刻t1から時刻t2までの時間、すなわちステップS1〜S5の処理が繰り返される周期(上述の時間間隔Δtと対応)は、例えば10分である。この周期は、監視システム1の使用環境に応じて、十分に長く設定されることが好ましい。周期が短すぎる場合、カメラ10の視野内にいる人物が移動しないので、人物検出部20は、同じ人物を連続して検出することになる。
なお、監視システム1では、辞書生成装置30へ送信される画像を撮影するカメラ10と、生体認証装置40へ送信される画像を撮影するカメラ10とが別々であってもよい。その場合、人物検出部20は、画像の送信元であるカメラ10がどちらであるのかを判別する。
次に、辞書生成装置30について説明する。
本実施形態1に係わる辞書生成装置30は、登録期間中、監視エリアへの立ち入りを許可する人物に対応する人物画像を、人物辞書50に登録する。
図4は、本実施形態1に係わる辞書生成装置30の構成を説明するためのブロック図である。具体的には、図4には、図1の一部の構成として、辞書生成装置30と、人物検出部20と、人物辞書50とが、示されている。また、図4には、辞書生成装置30の詳細構成が示されている。図4に示すように、辞書生成装置30は、画像取得部31と、特徴抽出部32と、類似度計算部33と、登録部34とを備えている。
画像取得部31は、画像取得手段の一例である。特徴抽出部32は、特徴抽出手段の一例である。類似度計算部33は、類似度計算手段の一例である。登録部34は、登録手段の一例である。
画像取得部31は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する。これらの画像は、カメラ10が撮影した時系列の画像に相当する。画像取得部31が取得する各画像は、それぞれ人物を含む。ここでは、画像取得部31は、登録期間中、人物A〜Gを含む7枚の画像を受信する。人物A〜Gは、それぞれ異なる画像に含まれるとする。画像取得部31は、受信した複数の画像から、人物A〜Gの領域を検出し、人物A〜Gにそれぞれ対応する複数の人物画像を生成する。複数の人物画像は、人物A〜Gの領域をそれぞれ含む画像である。人物画像の生成については、図6のフローチャートを用いて後述される。画像取得部31は、生成した複数の人物画像を、特徴抽出部32へ送信する。
特徴抽出部32は、画像取得部31から複数の人物画像を受信する。さらに、特徴抽出部32は、複数の人物画像から、人物A〜Gの特徴(例えばHOG)をそれぞれ抽出する。特徴抽出部32は、受信した各人物画像に対し、その人物画像から抽出した人物A〜Gの特徴を紐付けたデータを生成する。特徴抽出部32は、こうして生成したデータを、類似度計算部33へ送信する。
類似度計算部33は、特徴抽出部32から、複数の人物画像と、それぞれの人物画像に対して紐付けられた人物A〜Gの特徴とを含むデータを受信する。類似度計算部33は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度(以下、人物の間の類似度または単に類似度と記載する)を計算する。
一例では、人物の特徴はバイナリデータで表されており、類似度計算部33は、人物の特徴の間のハミング距離を計算して、計算したハミング距離に基づいて、類似度を計算する。例えば、類似度計算部33は、ハミング距離を0から1までの値に正規化し、1から正規化したハミング距離を減算することで、類似度を計算する。これにより、類似度は、0から1までの値を取る。人物の特徴の間のハミング距離が近いほど、類似度は1に近づき、ハミング距離が遠いほど、類似度は0に近づく。
具体的には、類似度計算部33は、複数の人物A〜Gの中から、任意の2人の人物の組み合わせを選択する。そして、類似度計算部33は、選択した2人の人物の間の類似度を計算する。例えば、第1の人物が人物Aであるとすれば、第2の人物は人物B〜Gである。この場合、類似度計算部33は、人物Aと人物B〜Gとの間の類似度をそれぞれ算出する。
図5の表は、以上のように計算された人物A〜Gの間の類似度の一例を示している。類似度は、0から1.00の間の数値で表される。図5の表において、縦の列及び横の行は、それぞれ一人の人物に対応する。縦の列が示す人物A〜Gの特徴と、横の行が示す人物A〜Gの特徴との間の類似度が、列と行とが交差する枠内に記載されている。例えば、図5に示す表によれば、人物Aと人物Bとの間の類似度は、0.32である。
類似度計算部33は、人物A〜Gに対応する複数の人物画像と、人物A〜Gの間の類似度の計算結果とを含むデータを、登録部34へ送信する。
登録部34は、人物辞書50に接続されている。登録部34は、類似度計算部33から、人物A〜Gに対応する複数の人物画像と、人物A〜Gの間の類似度の計算結果(図5参照)とを含むデータを受信する。登録部34は、類似度計算部33により計算された類似度に基づいて、人物A〜Gに関する各情報を、人物辞書50に登録するか否かを決定する。具体的には、登録部34は、第1の人物と第2の人物との間の類似度が閾値を超えた場合、第1の人物に関する情報を人物辞書50に登録する。閾値は任意に設定されてよい。
例えば、第1の例では、上述した閾値が0.8であるとする。図5に示す人物Aと人物Fとの間の類似度は0.88である。この場合、登録部34は、人物Aに関する情報を人物辞書50に登録する。第2の例では、閾値が0.90であるとする。人物Aと他の人物B〜Gとの間の類似度は、いずれも閾値を超えない。この場合、登録部34は、人物Aに関する情報を人物辞書50に登録しない。
第1の人物の第2の人物との間の類似度が高いことは、第1の人物と第2の人物とが同一である可能性が高いことを意味する。すなわち、2つの人物画像に同一人物が映っている。よって、第1の人物は、少なくとも2回、監視エリア内に立ち入っている。登録部34は、このような第1の人物に関する情報のみを人物辞書50に登録する。一方、不審者が1度だけ監視エリア内に侵入し、カメラ10によってこの不審者が撮影されたとする。この場合、不審者に対応する人物画像は1つだけである。辞書生成装置30が、不審者と他の人物とを正確に識別できる限り、登録部34は、この不審者に関する情報を人物辞書50に登録することはない。
このように、辞書生成装置30は、少なくとも2回、監視エリア内に立ち入っている第1の人物を、立ち入りを許可される人物として判別し、そのような第1の人物のみを人物辞書50に登録する。したがって、監視エリアへの立ち入りを許可される人物に関する情報を格納した人物辞書50を簡単に生成できる。
次に、人物辞書50について説明する。図1に示すように、人物辞書50は、辞書生成装置30の登録部34と、生体認証装置40とに接続されている。
人物辞書50には、人物に関する情報として、辞書生成装置30の登録部34が登録した人物画像が格納されている。しかしながら、後述するように、人物辞書50には、人物画像以外にも、人物に関する情報が格納されていてもよい。監視システム1は、人物辞書50に登録された人物に関する情報を、管理者や関係者が自由に閲覧および編集することが可能であるように、構成されていてよい。
人物辞書50の変形例について説明する。
一変形例では、人物辞書50は複数あってもよい。例えば、カメラ10ごと、カメラ10が配置されているエリアごと、あるいは時間帯ごとに、異なる人物辞書50が存在する。本変形例では、生体認証装置40は、1または複数のエリアにおいて生体認証に使用される人物辞書50を組み合わせて、他のエリアにおける生体認証のために使用してもよい。
本変形例の構成によれば、例えば、生体認証装置40は、図示しない第1エリアおよび第2エリアの両方への立ち入りを許可されている人物に対し、図示しない第3エリアへの立ち入りも自動的に許可することができる。あるいは、生体認証装置40は、第1エリアおよび第2エリアのうち少なくとも一方への立ち入りを許可されている人物に対し、第3エリアへの立ち入りも自動的に許可することもできる。
次に、辞書生成装置30の動作について説明する。
図6を参照して、辞書生成装置30の動作を説明する。図6は、実施形態1に係わる辞書生成装置30の各部が実行する処理の流れを示すフローチャートである。
図6に示すように、画像取得部31は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する(S101)。各画像は1または複数の人物を含む。
画像取得部31は、取得した複数の画像の各々から、人物の領域を検出する。たとえば、画像取得部31は、不特定の人物のサンプル画像を用いて、不特定の人物の各部位の特徴、たとえば、頭部、肩、腕、及び足などの特徴を予め学習する。そして、画像取得部31は、複数の画像の各々から、学習した特徴と類似する特徴を備えた領域を、人物の領域として検出する(S102)。ここで、人物の領域とは、1人の人物の身体全体の領域であってもよいし、人物の身体の一部の領域であってもよい。例えば、人物の領域は、人物の顔の領域、あるいは、人物の目または瞳の領域であってもよい。画像取得部31は、人物の領域を示すデータから、人物の領域を検出してもよい。
画像取得部31は、人物検出部20から取得した複数の画像から、複数の人物画像を生成する。それぞれの人物画像は、ステップS102において検出した1人の人物の領域を含む。そして、画像取得部31は、生成した複数の人物画像を、特徴抽出部32へ送信する。なお、特徴抽出部32へ送信される人物画像には、人物の領域を示すデータが添付されてもよい。また、人物画像のデータは、前述のサンプル画像として、記憶装置に記憶されてもよい。または、記憶装置は、人物辞書50を含んでいてもよい。
特徴抽出部32は、画像取得部31から、複数の人物画像を受信する。特徴抽出部32は、それぞれの人物画像から、人物の特徴をそれぞれ抽出する(S103)。特徴抽出部32は、人物の領域を含む人物画像に対し、その人物画像から抽出した人物の特徴を紐付けたデータを、類似度計算部33へ送信する。なお、上述したように、特徴抽出部32は、人物画像から、虹彩のパターンを抽出してもよい。その場合、特徴抽出部32は、人物の虹彩を含む画像(例えば人物画像における瞳または目の領域)と、人物の虹彩のパターンとを紐付けたデータを、類似度計算部33へ送信する。
類似度計算部33は、特徴抽出部32から、複数の人物画像と、それらの人物画像から抽出された人物の特徴とを含むデータを受信する。類似度計算部33は、受信したデータを用いて、複数の人物の間の類似度を計算する(S104)。
ステップS104において、類似度計算部33は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴とに基づいて、両者の間の類似度を計算する。特徴抽出部32から、人物の特徴として、虹彩のパターンを受信した場合、類似度計算部33は、第1の人物の虹彩のパターンと、1または複数の第2の人物の虹彩のパターンとの間の類似度を計算する。類似度計算部33は、複数の人物画像と、類似度の計算結果(図5参照)とを含むデータを、登録部34へ送信する。
類似度は、例えば、よく知られたハミング距離に基づいている。上述したように、類似度計算部33は、ハミング距離を0から1までの値に正規化し、1から正規化したハミング距離を減算することで、類似度を計算する。
あるいは、類似度計算部33は、第1の人物と、第2の人物との間の類似度を、第1の人物に関する特徴ベクトルと、第2の人物に関する特徴ベクトルとの間の距離および/または方向に基づいて、計算してもよい。特徴ベクトルは、複数の特徴を要素とする多次元ベクトルである。この場合も、類似度計算部33は、特徴ベクトル間の距離が近付くほど、また、方向が近付くほど、類似度が1に近づき、特徴ベクトル間の距離が遠ざかるほど、また、方向が遠ざかるほど、類似度が0に近づくように、類似度を定義する。
あるいは、類似度計算部33は、第1の人物に関する特徴ベクトルと第2の人物に関する特徴ベクトルとの間の相関係数に基づいて、類似度を計算してもよい。この場合、類似度計算部33は、2つの特徴ベクトルの距離を定義する。具体的には、2つの特徴ベクトルの間の相関係数(−1〜1)が大きいほど、距離が長くなるように、例えば、1から相関係数を引いたものを、特徴ベクトルの距離(0〜2)と定義する。類似度計算部33は、特徴ベクトルの距離(0〜2)を、0から1までの値を取るように正規化する。そして、類似度計算部33は、正規化した距離(0〜1)を1から減算することで、0から1までの値を取る類似度を計算する。すなわち、正規化した距離(0〜1)が短くなるほど、類似度は大きくなり、1に近づく。
登録部34は、類似度計算部33から、複数の人物画像と、類似度の計算結果とを含むデータを受信する。登録部34は、類似度計算部33により計算された類似度に基づいて、複数の人物画像に含まれる人物のうち、どの人物に関する情報を人物辞書50に登録するのかを決定する。
具体的には、登録部34は、類似度計算部33により計算された類似度がある閾値を超えるかどうかを判定する(S105)。
類似度がある閾値を超える場合(S105でYes)、登録部34は、第1の人物に対応する人物画像を、人物辞書50(図1参照)に登録する(S106)。
第1の人物と第2の人物との間の類似度が高いことは、第1の人物と第2の人物とは同一である可能性が高いことを意味する。したがって、言い換えると、登録部34は、第1の人物が少なくとも2枚の人物画像に含まれている可能性が高い場合、第1の人物を人物辞書50に登録する。なお、登録部34は、第1の人物に関する別の情報として、第1の人物の一部(例えば顔または瞳)の領域を含む画像を、人物辞書50に登録してもよい。または、登録部34は、第1の人物の特徴も、人物辞書50に登録してもよい。
一方、第1の人物と第2の人物との間の類似度がある閾値を超えない場合(S105でNo)、登録部34は、第1の人物に対応する人物画像を人物辞書50に登録しない。以上で辞書生成装置30の動作は終了する。
なお、辞書生成装置30は、登録期間ごとに、新たな人物辞書50を生成せず、前の登録期間中に生成された人物辞書50を上書きまたは更新してもよい。すなわち、辞書生成装置30は、前の登録期間中に生成された人物辞書50に、第1の人物に対応する人物画像を登録してもよい。
上記の構成によれば、類似度計算部33は、第1の人物の特徴と、1または複数の第2の人物の特徴との間の類似度を計算する。登録部34は、この類似度に基づいて、第1の人物と第2の人物とを判別することができる。登録部34は、類似度計算部33が計算した類似度が閾値を超える場合、第1の人物に対応する人物画像を、人物辞書50に登録する。
以上に説明した構成により、辞書生成装置30は、人物辞書50を簡単に生成することができる。
次に、生体認証装置40について説明する。生体認証装置40は、辞書生成装置30が生成した人物辞書50を用いて、人物を認証する。以下では、人物辞書50に登録されている人物を登録人物と呼ぶ。
生体認証装置40の構成について説明する。
図7は、生体認証装置40の構成を説明するためのブロック図である。具体的には、図7には、図1の一部の構成として、生体認証装置40と、人物検出部20と、人物辞書50とが示されている。また、図7には、生体認証装置40の詳細構成が示されている。図7に示すように、生体認証装置40は、入力部41と、照合部42と、出力部43とを備えている。入力部41は、入力手段の一例である。照合部42は、照合手段の一例である。出力部43は、出力手段の一例である。
入力部41は、監視システム1の人物検出部20(図1参照)から、画像(以下では、入力画像と呼ぶ)を取得する。入力部41は、取得した入力画像を照合部42へ送信する。
照合部42は、人物辞書50と接続されている。照合部42は、入力部41から入力画像を受信する。照合部42は、人物辞書50を参照して、入力部41から取得した入力画像中の人物と、人物辞書50に登録されている登録人物とを照合する。具体的には、照合部42は、一般的な生体認証技術を用いて、入力部41から受信した入力画像中の人物と、登録人物との間の類似度を計算する。例えば、登録人物に対応する人物画像が、人物に関する情報として、人物辞書50に登録されている場合、照合部42は、入力画像中の人物から特徴を抽出し、また登録人物に対応する人物画像から、登録人物の特徴を抽出する。そして、照合部42は、入力画像中の人物の特徴と、登録人物の特徴との間の類似度を計算する。
類似度は、例えば、よく知られたハミング距離に基づいている。あるいは、2人の人物をA、Bとする。この場合、照合部42は、人物Aの特徴を表す特徴ベクトルと、人物Bの特徴を表す特徴ベクトルとの間の類似度を、特徴ベクトル間の距離および/または方向に基づいて、計算してもよい。この場合、特徴ベクトルは、複数の特徴要素とする多次元ベクトルである。あるいは、照合部42は、2人の人物の特徴ベクトルの間の相関係数に基づいて、類似度を計算してもよい。
あるいは、登録人物の虹彩パターンが、人物に関する情報として、人物辞書50に登録されている場合、照合部42は、入力画像中の人物の瞳から虹彩パターンを抽出する。そして、照合部42は、パターンマッチングによって、入力画像中の人物の虹彩パターンと、登録人物の虹彩パターンとの間の類似度を計算する。
照合部42は、入力画像中の人物と、人物辞書50に登録されている全ての人物とをそれぞれ照合する。具体的には、照合部42は、人物検出部20が検出した人物の特徴と、人物辞書50に登録されている各人物の特徴との間の類似度が閾値を超えるかどうかをそれぞれ判定する。
入力部41が取得した入力画像中の人物と、人物辞書50に登録されているいずれかの人物との間で計算した類似度が閾値を超える場合、照合部42は、入力部41が取得した入力画像中の人物と同一の人物が、人物辞書50に登録されていると判定する。なお、照合部42が用いる類似度の閾値は、登録部34が用いる類似度の閾値とは、互いに異なっていてもよいし、同じであってもよい。
照合部42は、照合結果を示す情報を出力部43へ送信する。ここでの照合結果は、人物検出部20が検出した人物と同一の人物が、人物辞書50に登録されているかどうかを示す。
出力部43は、照合部42から、照合結果を示す情報を受信する。出力部43は、照合結果に基づいて、報知部60に対する報知指示を行うか否かを決定する。具体的には、人物検出部20が検出した人物と同一の人物が、人物辞書50に登録されていることを照合結果が示している場合、出力部43は、報知指示を行わない。
人物検出部20が検出した人物と同一の人物が、人物辞書50に登録されていないことを照合結果が示している場合、出力部43は、報知部60に対して報知指示を行う。報知指示の内容は、警報を発報し、関係者に対して危険があることを知らせることである。
報知部60について説明する。報知部60は、生体認証装置40の出力部43から報知指示を受信したとき、その報知指示の内容にしたがって、音、光、または表示などにより、警報を発報する。これにより、報知部60は、関係者に対して危険があることを知らせる。すなわち、報知部60は、人物辞書50に登録されていない人物が検出されたことを、警報を介して、関係者に報知する。報知部60は、例えば、スピーカ、警告灯、ディスプレイ、または無線機である。
つぎに、生体認証装置40の動作について説明する。
図8に示すフローチャートを参照して、生体認証装置40の各部が実行する処理の流れを説明する。以下では、人物辞書50は、辞書生成装置30によって既に生成されているとする。
図8に示すように、入力部41は、監視システム1の人物検出部20(図1参照)から、1枚の入力画像を取得する(S201)。入力部41は、取得した入力画像を、照合部42へ送信する。照合部42は、入力部41から取得した入力画像から、人物の特徴を抽出する。人物の特徴とは、例えば顔の特徴や虹彩パターンである。しかしながら、照合部42は、どのような人物の特徴を抽出してもよい。
照合部42は、入力画像に含まれる人物と、人物辞書50に登録されている各人物とを照合する(S202)。例えば、照合部42は、入力画像中の人物の顔の特徴と、登録人物の顔の特徴との間の類似度を計算する。あるいは、照合部42は、パターンマッチングによって、入力画像中の人物の虹彩パターンと、登録人物の虹彩パターンとの間の類似度を計算してもよい。
そして、照合部42は、照合結果を示す情報を、出力部43へ送信する。照合結果は、入力画像中の人物が、人物辞書50に登録されているかどうかを示す。上述した例では、照合部42は、計算した類似度が閾値を超えるかどうかを示す情報を、出力部43へ送信する。
出力部43は、照合部42から、照合結果を示す情報を受信する。出力部43は、照合結果に基づいて、報知部60に対する報知指示を行うか否かを決定する(S203)。
入力画像中の人物が、人物辞書50に登録されていないことを照合結果が示している場合(S203でNo)、出力部43は、報知部60に対して報知指示を行う(S204)。以上で、生体認証装置40の動作は終了する。
一つの変形例では、生体認証装置40は、人物辞書50に登録されているが所定期間内に一度も認証されていない人物に関する情報を、人物辞書50から消去する消去部(図示せず)をさらに備えていてもよい。所定期間は、例えば、一か月である。しかしながら、監視システム1が使用される環境に応じて、適切な所定期間が任意に設定されることが好ましい。
本変形例の構成によれば、監視エリア内に立ち入る頻度が減少した人物に関する情報を人物辞書50から消去することができるので、人物辞書50に登録されている人物画像のデータ量が膨大になることを抑制することができる。
(本実施形態の効果)
本実施形態の構成によれば、登録期間中、人物検出部20は、所定のエリア内で時間をおいて撮影された複数の画像を、辞書生成装置30へ送信する。人物検出部20は、カメラ10から、時系列の画像(動画、または複数の静止画)を取得する。時系列の画像は、例えば、毎日の予め設定された時刻、または、毎週の予め設定された曜日の所定の時刻に、カメラ10が監視エリアを撮影することによって得られる。
類似度計算部33は、複数の画像に含まれる複数の人物の間の類似度を計算する。より詳細には、類似度計算部33は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する。
登録部34は、類似度計算部33が計算した類似度に基づいて、各人物に対応する人物画像を、人物辞書50に登録するか否かを決定する。このようにして、辞書生成装置30は、特許文献1に記載の技術のような、登録を申請する人物の入力操作なしで、人物に関する情報を格納した人物辞書50を簡単に生成することができる。
さらに、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の画像に含まれる第2の人物の特徴との間の類似度が閾値を超える場合、登録部34は、第1の人物に対応する人物画像を人物辞書50に登録する。言い換えれば、登録部34は、複数の画像のうち少なくとも2枚の画像に含まれている可能性が高い第1の人物に対応する人物画像を、人物辞書50に登録する。ここで、類似度の閾値は、第1の人物と第2の人物とが同一らしいかそうではないかを判別するために用いられる。
第1の人物が2枚以上の画像に含まれることは、その第1の人物が、監視エリア内に少なくとも2回現れたことを意味する。したがって、登録部34は、監視エリア内に2回以上現れた第1の人物を、人物辞書50に登録するということもできる。この点で、辞書生成装置30は、特許文献2(特開2004−157602号公報)に記載の技術とは異なる。特許文献2(特開2004−157602号公報)に記載の技術では、監視エリア内に1回だけ現れた、施設に無関係の人物や不審者を判別できない。一方、辞書生成装置30は、そういった人物に関する情報が、人物辞書50に登録されることを防止できる。
〔実施形態2〕
本発明の実施形態2について、以下で説明する。
本実施形態に係わる監視システムの構成は、前記実施形態1の監視システム1の基本構成と同じである(図1参照)。しかし、以下で説明するように、本実施形態2に係わる辞書生成装置230は、前記実施形態1で説明した辞書生成装置30とは異なる構成を備えている。
本実施形態2に係わる辞書生成装置230および前記実施形態1で説明した辞書生成装置30の概要を対比する。
前記実施形態1では、辞書生成装置30は、第1の人物と第2の人物との間の類似度がある閾値を超える場合、第1の人物を人物辞書50に登録した。
これに対して、本実施形態2では、第1の人物が検出された回数が、ある閾値に達することが、その第1の人物を人物辞書50に登録する条件(以下では登録条件と呼ぶ)である。本実施形態2では、第1の人物に対応する顔画像が、辞書生成装置230が備えた仮辞書235(後述する)に格納されている。複数の第1の人物に対応する複数の顔画像が、仮辞書235に格納されていてもよい。
また本実施形態2では、カメラ10が撮影した時系列の画像から第1の人物が検出された回数(以下では、検出回数と呼ぶ)が、評価値に対応する。言い換えれば、第1の人物を含む画像の数が、評価値に対応する。辞書生成装置230は、第1の人物の検出回数が閾値に達したとき、第1の人物に関する情報を、人物辞書50へ登録する。
なお、上述した登録条件は、監視システム1のカメラ10(図1参照)ごと、あるいは、カメラ10のグループごとに設定されていてもよい。例えば、検出回数の閾値は、カメラ10ごとに異なっていてもよい。
さらに本実施形態2では、第1の人物の状態に応じて、登録条件が柔軟に変更されてもよい。例えば、他の人物と連れだって移動している第1の人物について、登録条件である検出回数の閾値は、そうでない人物よりも小さくてもよい。また、人物辞書50に登録された人物と連れだって移動している第1の人物について、検出回数の閾値はさらに小さくてもよい。この構成では、辞書生成装置230の登録部237(後述)が、機械学習によって得られた識別器を用いて、第1の人物の状態を判定する。
辞書生成装置230の構成について説明する。
図9は、本実施形態2に係わる辞書生成装置230の構成を示すブロック図である。図9に示すように、辞書生成装置230は、画像取得部231、特徴抽出部232、類似度計算部233、評価値計算部234、仮辞書235、および登録部237を備えている。
画像取得部231は、画像取得手段の一例である。特徴抽出部232は、特徴抽出手段の一例である。類似度計算部233は、類似度計算手段の一例である。評価値計算部234は、同一人物判定部238および回数計算部239を含む。評価値計算部234は、評価値計算手段の一例である。同一人物判定部238は、同一人物判定手段の一例である。回数計算部239は、回数計算手段の一例である。登録部237は、登録手段の一例である。
本実施形態2に係わる辞書生成装置230の構成と、前記実施形態1に係わる辞書生成装置30の構成とを対比する。辞書生成装置230は、同一人物判定部238、回数計算部239および仮辞書235をさらに備えている点で、辞書生成装置30と相違する。また、辞書生成装置230では、特徴抽出部232、回数計算部239および登録部237が、仮辞書235に接続されている点で、辞書生成装置30と相違する。
仮辞書235には、第1の人物に対応する顔画像および評価値(本実施形態では、人物の検出回数)が格納される。仮辞書235において、互いに異なる第1の人物は、第1の人物を特定するための情報(たとえばID;Identification)によって区別されている。
人物検出部20(図1参照)は、カメラ10が所定のエリア内で時間をおいて撮影した時系列の画像(動画のフレーム画像または異なるタイミングで撮影された複数の静止画)をリアルタイムで取得する。画像取得部231は、人物検出部20から、1つの画像を取得するごとに、取得した画像から、第2の人物の顔の領域を検出する。そして、画像取得部231は、第2の人物の顔の領域を含む顔画像を生成する。画像取得部231が人物検出部20から取得した画像中に、複数の第2の人物が含まれていた場合、画像取得部231は、第2の人物ごとに1つの顔画像を生成する。つまり1つの顔画像は、1人の第2の人物の顔の領域を含む。画像取得部231は、生成した顔画像を特徴抽出部232へ送信する。
特徴抽出部232は、画像取得部231から、第2の人物に対応する顔画像を受信する。特徴抽出部232は、受信した顔画像から、第2の人物の顔を検出し、第2の人物の顔の特徴を抽出する。また、仮辞書235が空でない場合、特徴抽出部232は、仮辞書235から、第1の人物に対応する顔画像を取得する。特徴抽出部232は、取得した顔画像から第1の人物の顔の特徴を抽出する。特徴抽出部232は、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。
類似度計算部233は、特徴抽出部232から、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを受信する。
そして、類似度計算部233は、第1の人物の顔の特徴と、第2の人物の顔の特徴との間の類似度を計算する。以下では、第1の人物の顔の特徴と第2の人物の顔の特徴との間の類似度を、第1の人物と第2の人物との間の類似度、または単に類似度と記載する。
例えば、類似度計算部233は、第1の人物の特徴を表す特徴ベクトルと、第2の人物の特徴を表す特徴ベクトルとの間の距離および/または方向に基づいて、第1の人物と第2の人物との間の類似度を計算する。この場合、類似度計算部233は、特徴ベクトル間の距離が短くなるほど、また、方向が近付くほど、類似度が1に近づき、特徴ベクトル間の距離が長くなるほど、また、方向が遠ざかるほど、類似度が0に近づくように、類似度を定義する。
あるいは、類似度計算部233は、前記実施形態1で説明したように、特徴ベクトルの間の相関係数に基づいて、第1の人物と第2の人物との間の類似度を計算してもよい。
類似度計算部233は、第2の人物の顔画像と、類似度の計算結果とを含むデータを、評価値計算部234の同一人物判定部238へ送信する。
同一人物判定部238は、類似度計算部233から、第2の人物の顔画像と、類似度の計算結果とを含む情報を受信する。同一人物判定部238は、類似度計算部233から受信した類似度の計算結果を用いて、第1の人物と、第2の人物とが同一であるか否かを判定する。
本実施形態2において、第1の人物と第2の人物とが同一であるとは、これらの人物の間の類似度が、ある閾値を超えることを意味する。すなわち、第1の人物と、第2の人物との間の類似度が閾値を超えた場合、同一人物判定部238は、これらの人物が同一であると判定する。同一人物判定部238は、第2の人物の顔画像と、判定結果とを、回数計算部239に送信する。
複数の第1の人物に対応する複数の顔画像が仮辞書235に格納されている場合、特徴抽出部232は、複数の第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。類似度計算部233は、それぞれの第1の人物と、第2の人物との間の類似度を計算する。複数の第1の人物と、第2の人物との間の類似度が閾値を超えた場合、同一人物判定部238は、第2の人物との類似度が最も高い1人の第1の人物が、第2の人物と同一であると判定する。
回数計算部239は、仮辞書235に接続されている。同一人物判定部238による判定結果が、第2の人物は第1の人物と同一ではないことを示す場合、回数計算部239は、第2の人物の顔画像を、新たな第1の人物の顔画像として、仮辞書235に格納する。このとき、回数計算部239は、仮辞書235に格納した新たな第1の人物の顔画像に、「検出回数=1(回)」を示す情報を紐付ける。仮辞書235において、新たな第1の人物は、新たな第1の人物を特定するための情報によって、他の第1の人物と区別される。
一方、同一人物判定部238による判定結果が、第1の人物と第2の人物とが同一であることを示す場合、回数計算部239は、仮辞書235において、第1の人物の顔画像と紐付けられている検出回数を+1(インクリメント)する。このようにして、登録期間中、評価値計算部234は、類似度に依存して変化する評価値として、第1の人物の検出回数を計算する。第1の人物が複数いる場合、評価値計算部234は、それぞれの第1の人物について、評価値を計算する。
回数計算部239は、第1の人物を特定するための情報(例えばID)を登録部237へ送信するとともに、仮辞書235を更新したことを、登録部237に通知する。
登録部237は、仮辞書235および人物辞書50に接続されている。登録部237は、回数計算部239から、第1の人物を特定するための情報(例えばID)とともに、仮辞書235を更新したことを通知される。
登録部237は、仮辞書235を参照して、第1の人物の検出回数が閾値に達しているかどうかを判定する。第1の人物の検出回数が閾値に達している場合、登録部237は、第1の人物に対応する顔画像を、仮辞書235から取得して、取得した顔画像を人物辞書50に登録する。その後、登録部237は、人物辞書50に登録した第1の人物の顔画像および検出回数を示すデータを、仮辞書235から消去する。
次に、辞書生成装置230の動作について説明する。
図10は、辞書生成装置230が登録期間中に実行する処理の流れを示すフローチャートである。辞書生成装置230の各部は、画像取得部231が人物検出部20から開始信号を受信した後、以下で説明する処理を開始する。
図10に示すように、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中かどうかを判定する(S300)。登録期間中でない場合(S300でNo)、フローは後述するステップS310へ進む。
登録期間中である場合(S300でYes)、画像取得部231は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する(S301)。ステップS301において、画像取得部231は、カメラ10が画像を撮影するごとに、人物検出部20から、1つずつの画像をリアルタイムで取得してもよいし、複数の画像をまとめて取得してもよい。以下では、前者の例を説明する。
画像取得部231は、取得した画像から、1または複数の第2の人物の領域を検出する(S302)。そして、画像取得部231は、検出した第2の人物の顔の領域を含む顔画像を生成する。画像取得部231が取得した画像が、複数の第2の人物を含む場合、画像取得部231は、取得した画像から、それぞれ1人の第2の人物の領域のみを含む顔画像を複数生成する。したがって、それぞれの顔画像は、1人の第2の人物の顔の領域を含む。画像取得部231は、生成した顔画像を、特徴抽出部232へ送信する。以下では、画像取得部231が1つの顔画像のみを生成した場合について説明する。これは、画像取得部231が人物検出部20から取得した画像中に、1人の第2の人物のみが含まれていた場合に相当する。なお、画像取得部231が、取得した画像から、複数の第2の人物に対応する複数の顔画像を生成した場合、1の顔画像ごとに、以下で説明する処理が実行される。
特徴抽出部232は、画像取得部231から、第2の人物に対応する顔画像を受信する。
特徴抽出部232は、仮辞書235を参照して、第1の人物に対応する顔画像を取得する。特徴抽出部232は、仮辞書235から取得した顔画像から、第1の人物の顔の特徴を抽出する。また特徴抽出部232は、画像取得部231から受信した顔画像から、1人の第2の人物の顔の特徴を抽出する(S303)。
特徴抽出部232は、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、顔画像から抽出した第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。
類似度計算部233は、特徴抽出部232から、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを受信する。
そして、類似度計算部233は、第1の人物の特徴と、第2の人物の特徴との間の類似度を計算する(S304)。ここで、第1の人物が複数いる場合、すなわち複数の顔画像が仮辞書235に格納されている場合、ステップS304において、類似度計算部233は、全ての第1の人物と、第2の人物との間の類似度を、それぞれ計算する。以下で説明する処理も、全ての第1の人物についてそれぞれ行われる。
類似度計算部233は、ステップS304における類似度の計算結果と、第2の人物に対応する顔画像とを、同一人物判定部238へ送信する。
同一人物判定部238は、類似度計算部233から、第2の人物に対応する顔画像と、類似度の計算結果とを含む情報を受信する。同一人物判定部238は、類似度計算部233から受信した類似度の計算結果を用いて、第1の人物と、第2の人物とが同一であるか否かを判定する(S305)。
同一人物判定部238は、第2の人物に対応する顔画像と、ステップS305における判定結果を含む情報とを、回数計算部239に送信する。
回数計算部239は、第2の人物に対応する顔画像とともに、ステップS305における判定結果、すなわち、第1の人物と第2の人物とが同一であるか否かを示す情報を、同一人物判定部238から受信する。
同一人物判定部238による判定結果が、第2の人物は第1の人物と同一ではないことを示す場合(S305でNo)、回数計算部239は、第2の人物の顔画像を、「検出回数=1回」を示す情報に紐付けて、新たな第1の人物の顔画像として、仮辞書235に格納する(S306)。
回数計算部239は、第1の人物を特定するための情報(例えばID)を登録部237へ送信するとともに、仮辞書235を更新したことを、登録部237に通知する。そして、フローはステップS308へ進む。
一方、同一人物判定部238による判定結果が、第1の人物と第2の人物とが同一であることを示す場合(S305でYes)、回数計算部239は、仮辞書235において、第1の人物に対応する顔画像と紐付けられている検出回数を1増加させる(S307)。回数計算部239は、第1の人物を特定するための情報(例えばID)とともに、仮辞書235を更新したことを、登録部237に通知する。
図10に示すステップS306またはS307の後、登録部237は、回数計算部239から、第1の人物を特定するための情報を受信し、仮辞書235を更新したことを通知される。登録部237は、回数計算部239からの通知を受けたとき、仮辞書235を参照して、第1の人物の検出回数が閾値に達したかどうかを判定する(S308)。
第1の人物の検出回数が閾値に達した場合(S308でYes)、登録部237は、第1の人物の顔画像を、仮辞書235から取得して、人物辞書50に登録する(S309)。その後、登録部237は、人物辞書50に登録した第1の人物に対応する顔画像と、第1の人物の検出回数の情報とを、仮辞書235から消去する。
なお、ステップS309の前に、登録部237は、人物辞書50に登録しようとしている第1の人物の顔画像が、人物辞書50に既に登録されていないかどうかを判定してもよい。例えば、登録部237は、第1の人物に対応する顔画像と、人物辞書50に格納されている登録人物に対応する顔画像とから、それぞれ特徴を抽出する。そして、抽出した特徴同士の類似度が所定の閾値を超えている場合、登録部237は、第1の人物に対応する顔画像が、人物辞書50に既に登録されていると判定する。そして、第1の人物に対応する顔画像が、人物辞書50に既に登録されている場合、登録部237は、第1の人物に対応する顔画像を人物辞書50に登録することを取りやめる。これにより、同一の第1の人物に対応する複数の顔画像が、人物辞書50に格納されることを防止することができる。
第1の人物の検出回数が閾値に達していないと登録部237により判定された場合(S308でNo)、または、ステップS309の後、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中かどうかを再び判定する(S300)。ただし、上述したステップS302において、画像取得部231が、複数の第2の人物に対応する複数の顔画像を生成した場合、ステップS308でNoまたはステップS309の後、フローはステップS303に戻る。そして、画像取得部231は、他の顔画像から、他の第2の人物の顔の領域を検出する。
まだ登録期間中である場合(S300でYes)、フローはステップS301に戻り、画像取得部231は、人物検出部20から、他の画像を取得する。そして、辞書生成装置230の各部は、図10に示すフローを再び実行する。
登録期間が終了した後(S300でNo)、画像取得部231は、登録期間が終了したことを登録部237に通知する。登録部237は、登録期間が終了したことの通知を画像取得部231から受けた後、仮辞書235に格納されている全ての第1の人物に関するデータを消去する(S310)。あるいは、ステップS310において、登録部237は、仮辞書235において、全ての第1の人物に紐付けられている検出回数を全てゼロにリセットしてもよい。以上で、辞書生成装置230の動作は終了する。
なお、一変形例において、登録部237は、登録期間中には、第1の人物に対応する顔画像を人物辞書50に登録する処理(上述したステップS308からステップS309)を行わず、登録期間が終了した後(S300でNo)、ステップS310の処理を実行する前に、ステップS308からステップS309に対応する処理を一度だけ実行する。すなわち、本変形例では、登録部237は、登録期間が終了したことを画像取得部231から通知された後、仮辞書235に格納されている全ての第1の人物について、それぞれ、検出回数が閾値に達しているかどうかを判定する。そして、登録部237は、検出回数が閾値に達している第1の人物を特定し、特定した第1の人物に対応する顔画像を人物辞書50に登録する。その後、登録部237は、全ての第1の人物の顔画像および検出回数のデータを、仮辞書235から消去する(S310)。
本実施形態2においても、前記実施形態1と同様に、人物辞書50には、第1の人物に関する情報として、第1の人物の特徴が登録されてもよい。
例えば、特徴抽出部232は、画像取得部231が生成した第2の人物に対応する顔画像から、虹彩のパターンを抽出する。また特徴抽出部232は、仮辞書235を参照して、第1の人物に対応する顔画像を取得し、取得した第1の人物に対応する顔画像から、第1の人物の虹彩のパターンを抽出する。
特徴抽出部232は、第1の人物の虹彩のパターンのデータ、および、第2の人物の虹彩を含む画像(あるいは第2の人物の瞳または目の領域を含む画像)と、第2の人物の虹彩のパターンとを紐付けたデータを、類似度計算部233へ送信する。
類似度計算部233は、第1の人物の虹彩のパターンと、第2の人物の虹彩のパターンとの間の類似度を計算する。
評価値計算部234は、類似度計算部233が計算した類似度に基づいて、第1の人物の検出回数を計算する。第1の人物の検出回数は、類似度に依存する評価値の一例である。登録部237は、評価値計算部234が計算した評価値(検出回数)に基づいて、第1の人物に関する情報を人物辞書50に登録するか否かを決定する。第1の人物の評価値(検出回数)が閾値に達した場合、登録部237は、第1の人物の目または瞳の領域を含む画像、および/または虹彩のパターンを、人物辞書50に登録する。
(ユースケース)
図11および図12A〜図12Cを参照して、本実施形態2に係わる辞書生成装置230を備えた監視システム1のユースケースを説明する。ここでは、カメラ10は、時刻t1に画像p1を撮影し、時刻t2に画像p2を撮影し、時刻t3に画像p3を撮影する。
図11は、時系列(t1、t2、t3、・・・)の画像p1、p2、p3、・・・と、画像p1〜p3の少なくともいずれかに含まれる人物A〜Gを示している。
図11に示されるように、時刻t1の画像p1には、人物A、B、Cが含まれている。また、時刻t2の画像p2には、人物D、E、Fが含まれている。時刻t3の画像p3には、人物Gが含まれている。図11中、「F=B」および「G=B」は、人物FおよびGが人物Bと同一であると同一人物判定部238に判定されたことを示す。それ以外の人物A〜Eは、互いに別人であると判定されたとする。図11中、人物の符号の下に示すかっこ内の数字は、時刻t1〜t3におけるそれぞれの人物の検出回数を示す。
ユースケースにおける条件は以下のとおりである。
(1)使用環境:学習塾、4月第2週から週1回、ある曜日の17:00〜19:00に開講する。
(2)1台のカメラ10が教室の前方に設置されている。カメラ10は、毎週の開講日の17:00〜19:00の間に1回、画像を撮影する。カメラ10が撮影を行う時刻t1、t2、t3、・・・は、タイマーによって予め設定されている。図11に示す時刻t1は、4月第2週の開講日の17:00〜19:00の間の時刻である。また、時刻t2は、4月第3週の開講日の17:00〜19:00の間の時刻である。時刻t3は、4月第4週の開講日の17:00〜19:00の間の時刻である。
(3)登録期間:4月の第2週から第4週まで
(4)登録条件:検出回数の閾値は3回
(4月第2週の開講日)
カメラ10は、4月第2週の開講日の17:00〜19:00の間の時刻t1に1回目の撮影を行い、1枚目の画像p1を生成する。画像p1は、カメラ10から人物検出部20へ送信される。
人物検出部20は、画像p1に含まれる人物A〜Cを検出する。現在は登録期間中であるので、人物検出部20は、画像p1を辞書生成装置230へ送信する(図2のS4を参照)。
図10に示す手順(特にステップS304〜S306)で、辞書生成装置230の回数計算部239は、人物A〜Cの顔画像と、「検出回数=1回」とを紐付けたデータを、仮辞書235に格納する。
図12Aは、4月第2週の開講日の時刻t1において、人物検出部20により検出された人物A〜Cのそれぞれの検出回数を示す。図12Aに示すように、4月第2週には、人物A〜Cのいずれも、検出回数が1回であり、登録条件を満たしていない。したがって、辞書生成装置230の登録部237は、人物A〜Cの顔画像を人物辞書50に登録しない。
(4月第3週の開講日)
カメラ10は、4月第3週の開講日の17:00〜19:00の間の時刻t2に、2回目の撮影を行い、2枚目の画像p2を生成する。画像p2は、カメラ10から人物検出部20へ送信される。
人物検出部20は、画像p2から人物D〜Fを検出する。現在は登録期間中であるので、人物検出部20は、画像p2を辞書生成装置230へ送信する。
図10に示す手順で、辞書生成装置230の同一人物判定部238は、人物Bと、人物Fとが同一であると判定する。したがって、辞書生成装置230の回数計算部239は、仮辞書235において、人物Bの顔画像と紐付けられている検出回数を1増加させる。また、辞書生成装置230の同一人物判定部238は、人物D、Eと、人物A〜Cとは同一でないと判定する。したがって、辞書生成装置230の回数計算部239は、人物D、Eの顔画像と、「検出回数=1回」とを紐付けたデータを、仮辞書235に格納する。
図12Bは、4月第3週の開講日の時刻t2において、人物A〜Eのそれぞれの検出回数を示す。4月第3週の開講日時点における人物Bの検出回数は、4月第2週の開講日時点から1増加している。図12Bに示すように、4月第3週には、人物A〜Eのいずれも、検出回数が閾値に達していない。したがって、辞書生成装置230の登録部237は、人物A〜Eの顔画像を人物辞書50に登録しない。
(4月第4週の開講日)
カメラ10が、4月第4週の開講日の17:00〜19:00の間の時刻t3に、3枚目の画像p3を生成する。画像p3は、カメラ10から人物検出部20へ送信される。
人物検出部20は、画像p3に含まれる人物Gを検出する。現在は登録期間中であるので、人物検出部20は、画像p3を辞書生成装置230へ送信する。
図10に示す手順で、辞書生成装置230の同一人物判定部238は、人物Bと、人物Gとが同一であると判定する。したがって、辞書生成装置230の回数計算部239は、仮辞書235において、人物Bの顔画像と紐付けられている検出回数を1増加させる。
図12Cは、4月第4週の開講日の時刻t3における人物A〜Eのそれぞれの検出回数を示す。4月第4週の開講日時点における人物Bの検出回数は、4月第3週の開講日時点から1増加している。
図12Cに示すように、4月第4週には、人物Bの検出回数が閾値に達している。したがって、辞書生成装置230の登録部237は、人物Bの顔画像を人物辞書50に登録する。その他の人物の検出回数は、いずれも、閾値に達していない。したがって、辞書生成装置230の登録部237は、人物B以外の人物の顔画像を人物辞書50に登録しない。
以上で説明した例では、全ての人物A〜Eに関して、登録条件が同じであったため、人物Bに対応する顔画像のみが人物辞書50に登録される。しかしながら、登録条件が人物A〜Eごとに異なる場合、人物辞書50に登録される人物は変化する。例えば、人物Aのみに関して、検出回数の閾値が2回であってもよい。または、人物Eのみに関して、登録期間が5月まで延長されてもよい。
(本実施形態の効果)
本実施形態によれば、類似度計算手段としての類似度計算部233が、第1の人物と、1または複数の第2の人物との間の類似度を計算する。より詳細には、類似度計算部233は、時系列の複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する。
評価値計算手段の第2の手段としての回数計算部239は、第1の人物の検出回数を計算する。また、登録手段としての登録部237は、登録期間中の第1の人物の検出回数に基づいて、第1の人物に関する情報を人物辞書50に登録するかどうかを決定する。
たとえば、回数計算部239は、第1の人物が施設に出入りする回数を計算する。この構成では、登録部237は、登録期間中に所定の検出回数以上、施設に出入りした第1の人物を、人物辞書50に登録する。施設に頻繁に出入りしている人物ほど、その施設の関係者であるか、あるいは関係者に顔なじみであり、不審者ではない蓋然性が高いからである。
これにより、辞書生成装置230は、実施形態1における辞書生成装置30と同様に、人物に関する情報を格納した人物辞書50を簡単に生成できる。特許文献1に記載の技術のように、人物および管理者は、手動で手間をかけて、人物に関する情報を格納した辞書を生成する必要はない。
さらに、辞書生成装置230は、人物の検出回数に基づいて、人物を辞書に登録するかどうかを判別する。これにより、特許文献2に記載の技術と比較して、辞書に登録すべきでない人物(例えば不審者)が無判別に人物辞書50に登録されることを防止できる。
〔実施形態3〕
本発明の他の一実施形態について、以下で説明する。
本実施形態3に係わる監視システムの構成について説明する。
本実施形態3に係わる監視システムの基本的な構成は、前記実施形態1の監視システム1と同じである(図1参照)。しかし、以下で説明するように、本実施形態3に係わる辞書生成装置330は、前記実施形態2で説明した辞書生成装置230とは異なる構成を備えている。
ここで、本実施形態3に係わる辞書生成装置330および前記実施形態2で説明した辞書生成装置230の概要を対比する。
前記実施形態2では、人物の検出回数が、本発明の評価値に相当した。また、前記実施形態2では、登録条件は、人物の検出回数が登録期間中にある閾値に達することであった。一方、本実施形態3における人物の評価値は、第1の人物と第2の人物との間の類似度の累計である。また、本実施形態3では、登録条件は、類似度の累計がある閾値を超えることである。本実施形態3の登録条件における閾値は、前記実施形態2の登録条件における閾値とは異なる。
次に、辞書生成装置330の構成について説明する。
図13は、本実施形態3に係わる辞書生成装置330の構成を示すブロック図である。図13に示すように、辞書生成装置330は、画像取得部231、特徴抽出部232、類似度計算部233、評価値計算部334、仮辞書235、および登録部336を備えている。画像取得部231は、画像取得手段の一例である。特徴抽出部232は、特徴抽出手段の一例である。類似度計算部233は、類似度計算手段の一例である。評価値計算部334は、スコア計算部337を含む。評価値計算部334は、評価値計算手段の一例である。登録部336は、登録手段の一例である。
ここで、実施形態3における辞書生成装置330の構成と、実施形態2における辞書生成装置230の構成とを対比する。
図13に示す辞書生成装置330の構成要素のうち、画像取得部231、特徴抽出部232、類似度計算部233、および仮辞書235は、前記実施形態2に係わる辞書生成装置230(図9参照)の構成要素と共通である。ただし、本実施形態3では、仮辞書235には、第1の人物に対応する顔画像と、第1の人物のスコアとを紐付けたデータが格納されている。本実施形態3では、これらの各部に関する説明を省略する。
前記実施形態2に係わる辞書生成装置230では、評価値計算部234は、同一人物判定部238および回数計算部239を備えているのに対して、本実施形態3に係わる辞書生成装置330では、評価値計算部334は、スコア計算部337を備えている。この点で、辞書生成装置230と辞書生成装置330とは互いに相違する。
スコア計算部337は、第1の人物のスコアを計算する。より具体的には、スコア計算部337は、仮辞書235に格納されている顔画像に対応する第1の人物と、仮辞書235に格納されている他の顔画像に対応する第2の人物との間の類似度の全てを合計した累計値を、第1の人物のスコアとして計算する。
スコア計算部337は、第1の人物を特定するための情報(例えばID)とともに、第1の人物のスコアを、登録部336に通知する。
登録部336は、仮辞書235および人物辞書50に接続されている。登録部336は、スコア計算部337から、第1の人物を特定するための情報(例えばID)とともに、第1の人物のスコアを通知される。
登録部336は、第1の人物のスコアが閾値を超えたかどうかを判定する。より詳細には、登録部336は、第1の人物のスコアと閾値との間の大小関係を確認する。
第1の人物のスコアが閾値を超えている場合、登録部336は、第1の人物に対応する顔画像を人物辞書50に登録する。その後、登録部336は、第1の人物に関する情報を、仮辞書235から消去する。
次に、辞書生成装置330の動作について説明する。
図14は、本実施形態3に係わる辞書生成装置330が登録期間中に実行する処理の流れを示すフローチャートである。辞書生成装置330の各部は、画像取得部231が人物検出部20から開始信号を受信した後、以下で説明する処理を開始する。
図14に示すように、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中かどうかを判定する(S400)。登録期間中でない場合(S400でNo)、フローは後述するステップS408へ進む。
登録期間中である場合(S400でYes)、画像取得部231は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する(S401)。画像取得部231は、カメラ10が画像を撮影するごとに、人物検出部20から、1つずつの画像をリアルタイムで取得してもよいし、複数の画像をまとめて取得してもよい。以下では、前者の例を説明する。
画像取得部231は、取得した画像から、第2の人物の顔の領域を検出する(S402)。画像取得部231は、第2の人物の顔の領域を含む顔画像を生成し、生成した顔画像を、特徴抽出部232へ送信する。なお、画像取得部231が取得した画像中に、複数の第2の人物が含まれていた場合、画像取得部231は、複数の第2の人物に対応する複数の顔画像を生成する。この場合、1人の第2の人物に対応する1つの顔画像ごとに、以下で説明する処理が実行される。
特徴抽出部232は、仮辞書235を参照する。そして、特徴抽出部232は、仮辞書235に格納されている顔画像から、第1の人物の顔の特徴を抽出する。また、特徴抽出部232は、画像取得部231から顔画像を取得し、取得した顔画像から、第2の人物の顔の特徴を抽出する(S403)。ここで、複数の第1の人物に対応する複数の顔画像が、仮辞書235に格納されている場合、特徴抽出部232は、複数の第1の人物の顔の特徴を抽出する。
特徴抽出部232は、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。
類似度計算部233は、特徴抽出部232から、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを受信する。
類似度計算部233は、第1の人物の特徴と、第2の人物の特徴との間の類似度を計算する(S404)。複数の第1の人物に対応する複数の顔画像を、特徴抽出部232から受信した場合、ステップS404において、類似度計算部233は、全ての第1の人物と、第2の人物との間の類似度を、それぞれ計算する。
スコア計算部337は、仮辞書235において、第1の人物に対応する顔画像と紐付けられているスコアを参照する。そして、スコア計算部337は、第1の人物のスコアに、類似度計算部233が計算した類似度を加算する(S405)。スコア計算部337は、仮辞書235に格納されている第1の人物のスコアを、類似度を加算した後のスコアに更新する。
また、スコア計算部337は、第2の人物に対応する顔画像を、「スコア=0」を示す情報と紐付けて、新たな第1の人物に対応する顔画像として、仮辞書235に格納する。このようにして、評価値計算部334のスコア計算部337は、類似度に依存して変化する評価値として、スコアを計算する。
スコア計算部337は、仮辞書235を更新したことを、登録部336に通知してもよい。この場合、登録部336は、仮辞書235に格納されている第1の人物のスコアの情報を、仮辞書235から取得する。
登録部336は、第1の人物のスコアが登録条件を満たしているかどうかを判定する(S406)。
具体的には、登録部336は、第1の人物のスコアが閾値を超えているかどうかを判定する。複数の第1の人物に対応する複数の顔画像が、仮辞書235に格納されている場合、登録部336は、各第1の人物のスコアが閾値を超えているかどうかをそれぞれ判定する。
第1の人物のスコアが閾値を超えている場合(S406でYes)、登録部336は、第1の人物に対応する顔画像を、仮辞書235から取得して、人物辞書50に登録する(S407)。その後、登録部336は、第1の人物に対応する顔画像とスコアのデータとを、仮辞書235から消去する。ステップS406において、複数の第1の人物のスコアが閾値を超えている場合、登録部336はそれらの複数の第1の人物に対応する顔画像を、人物辞書50に登録する。
なお、ステップS407の前に、登録部336は、人物辞書50に登録しようとしている第1の人物の顔画像が、人物辞書50に既に登録されていないかどうかを判定してもよい。例えば、登録部336は、第1の人物に対応する顔画像と、人物辞書50に格納されている登録人物に対応する顔画像とから、それぞれ特徴を抽出する。そして、抽出した特徴同士の類似度が所定の閾値を超えている場合、登録部336は、第1の人物に対応する顔画像が、人物辞書50に既に登録されていると判定する。そして、第1の人物に対応する顔画像が、人物辞書50に既に登録されている場合、登録部336は、第1の人物に対応する顔画像を人物辞書50に登録することを取りやめる。これにより、同一の第1の人物に対応する複数の顔画像が、人物辞書50に格納されることを防止することができる。
ステップS407の後、あるいは、第1の人物(第1の人物が複数いる場合には全ての第1の人物)のスコアが閾値を超えていない場合(S406でNo)、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中であるかどうかを判定する(S400)。ただし、上述したステップS402において、画像取得部231が、複数の第2の人物に対応する複数の顔画像を生成した場合、ステップS406でNoまたはステップS407の後、フローはステップS403に戻る。そして、画像取得部231は、他の顔画像から、他の第2の人物の顔の領域を検出する。
まだ登録期間中である場合(S400でYes)、フローはステップS401に戻り、画像取得部231は、人物検出部20から、他の画像を取得する。そして、辞書生成装置330の各部は、上述したフローを再び実行する。
登録期間が終了した後(S400でNo)、画像取得部231は、登録期間が終了したことを登録部336に通知する。登録部336は、登録期間が終了したことを画像取得部231から通知された後、全ての第1の人物の顔画像およびスコアのデータを、仮辞書235から消去する(S408)。あるいは、ステップS408において、登録部336は、仮辞書235において、第1の人物に紐付けられているスコアを全てゼロにリセットしてもよい。以上で、辞書生成装置330の動作は終了する。
なお、一変形例において、登録部336は、登録期間中には、第1の人物に対応する顔画像を人物辞書50に登録する処理(上述したステップS406からステップS407)を行わず、登録期間が終了した後(S400でNo)、ステップS406からステップS407に対応する処理を一度だけ実行する。すなわち、本変形例では、登録部336は、登録期間が終了したことを画像取得部231から通知された後、仮辞書235に格納されている全ての第1の人物について、それぞれ、スコアが閾値を超えているかどうかを判定する。そして、登録部336は、スコアが閾値を超えている第1の人物を特定し、特定した第1の人物に対応する顔画像を人物辞書50に登録する。その後、登録部336は、全ての第1の人物の顔画像およびスコアのデータを、仮辞書235から消去する(S408)。
図11を参照して、図14に示すフローにおいて、本実施形態3に係わるスコア計算部337(図13参照)が計算するスコアの具体例を説明する。図11は、時系列の画像p1〜p3と、それぞれの画像p1〜p3に含まれる人物A〜Gを示している。各フローにおいて、画像取得部231は、画像p1〜p3をこの順に1つずつ取得する。
登録期間開始後の最初のフローで、画像取得部231は画像p1を取得する。画像p1は、人物A〜Cを含む。人物A〜Cは第2の人物に相当する。このとき、仮辞書235はまだ空である。すなわち、第1の人物が存在していない。したがって、このフローでは、類似度計算部233は、第1の人物と第2の人物との間の類似度を計算する処理を行わない。スコア計算部337は、人物A〜Cに対応する顔画像を、「スコア=0」を示す情報と紐付けて、新たな第1の人物に対応する顔画像として、仮辞書235に格納する。
2回目のフローで、画像取得部231は画像p2を取得する。画像p2は、人物D〜Fを含む。類似度計算部233は、第1の人物である人物A〜Cと、第2の人物である人物D〜Fとの間の類似度をそれぞれ計算する。スコア計算部337は、仮辞書235において、人物A〜Cの顔画像に紐付けられたスコアに対し、人物D〜Fとの間のそれぞれの類似度の累計値を加算する。
例えば、人物Aと人物Dとの間の類似度が0.64、人物Aと人物Eとの間の類似度が0.49、人物Aと人物Fとの間の類似度が0.88であるとする。この場合、人物Aと人物D〜Fとの間の類似度の累計値は、0.64+0.49+0.88=2.01である。したがって、スコア計算部337は、人物Aのスコアに2.01を加算する。
同様に、スコア計算部337は、人物B、Cのスコアにも、人物B、Cと、人物D〜Fとの間の類似度の累計値をそれぞれ加算する。また、スコア計算部337は、画像p2に含まれる人物D〜Fに対応する顔画像を、「スコア=0」を示す情報と紐付けて、新たな第1の人物に対応する顔画像として、仮辞書235に格納する。
3回目のフローで、画像取得部231は画像p3を取得する。画像p3は、人物Gを含む。類似度計算部233は、第1の人物である人物A〜Fと、第2の人物である人物Gとの間の類似度をそれぞれ計算する。スコア計算部337は、仮辞書235において、人物A〜Fの顔画像に紐付けられたスコアに対し、それぞれ、人物Gとの間の類似度を加算する。
図15は、上述した3回目のフローが終了した時点における人物A〜Gのスコアの一例を示す。図15において、人物Aのスコアは、人物D〜Gの各々との間の類似度を累計した値である。図15では、人物Aに関する棒グラフにおいて、符号D〜Gで示す各小ブロックは、人物Aと、人物D〜Gの各々との間の類似度を表している。これらの小ブロックを積み重ねたものが、人物Aのスコアを表している。
図15では、人物A〜Gのうち、人物Bのスコアのみが閾値を超えている。この場合、本実施形態3に係わる登録部336(図13参照)は、人物Bと対応する顔画像を人物辞書50(図1参照)に登録する。
人物辞書50には、人物に関する情報として、第1の人物の顔画像以外が登録されてもよい。一変形例では、人物の虹彩のパターンが、人物辞書50に登録される。
その場合、特徴抽出部232は、第2の人物に対応する顔画像から、人物の顔の特徴に代えて、または人物の顔の特徴に加えて、虹彩のパターンを抽出する。また特徴抽出部232は、仮辞書235を参照して、第1の人物に対応する顔画像を取得し、取得した第1の人物に対応する顔画像から、第1の人物の虹彩のパターンを抽出する。
特徴抽出部232は、第1の人物の虹彩のパターンのデータ、および、第2の人物の虹彩を含む画像(あるいは人物の瞳または目の領域を含む画像)と、第2の人物の虹彩のパターンとを紐付けたデータを、類似度計算部233へ送信する。類似度計算部233は、第1の人物の虹彩のパターンと、第2の人物の虹彩のパターンとの間の類似度を計算する。
評価値計算部334は、類似度計算部233が計算した類似度に基づいて、第1の人物のスコアを計算する。第1の人物のスコアは、類似度に依存する評価値の一例である。
登録部336は、評価値計算部334が計算した評価値に基づいて、第1の人物に関する情報を人物辞書50に登録するか否かを決定する。第1の人物の評価値が閾値を超える場合、登録部336は、第1の人物の虹彩を含む画像、および/または虹彩のパターンを、第1の人物に関する情報として、人物辞書50に登録する。
本実施形態3の構成では、類似度の累計値に基づいて、第1の人物を人物辞書50に登録するか否かを決定するので、同一人物の類似度は大きく、別人同士の類似度は小さいことが重要である。言い換えれば、人物の識別精度が高い必要がある。
しかし、人物の識別精度があまり高くない場合、図5に示す例のように、どの2人の間の類似度も、それほど大きな差がない。このような場合、スコア計算部337は、第2の閾値を設定して、第2の閾値よりも大きい類似度のみを、スコアに加算することが好ましい。第2の閾値は、別人同士の平均的な類似度よりも大きく、かつ、同一人物の平均的な類似度よりも小さいことが好ましい。これにより、スコア計算部337は、閾値以下の小さい類似度をスコアに加算しないので、別人の類似度が、スコアに大きな影響を与えることを防止することができる。
一方、同一人物の平均的な類似度と、別人同士の平均的な類似度との間に、大きな差(例えば、両者の比率が10:1や100:1)がある場合、すなわち人物の識別精度が高い場合、スコア計算部337は、上述した第2の閾値を設定しなくてもよい。このような場合、別人の小さい類似度がスコアに加算されたとしても、スコアに与える影響は小さいからである。
一変形例では、スコア計算部337は、所定の条件を満たした第1の人物のスコアを加算(プラス)または減算(マイナス)する。所定の条件は任意である。例えば、スコア計算部337は、第1の人物の振る舞い、行動、または属性を解析し、解析結果に応じて、第1の人物のスコアを加算または減算する。
この構成では、人物検出部20は、カメラ10が撮影した画像中の人物を追跡して、同一人物を含む時系列の画像を画像取得部231へ送信する。画像取得部231は、人物検出部20から受信した時系列の画像のうち1つから、第2の人物の顔の領域を含む顔画像を生成する。特徴抽出部232は、画像取得部231が生成した第2の人物に対応する顔画像から、第2の人物の顔の特徴を抽出する。特徴抽出部232は、仮辞書235に登録された第1の人物に対応する顔画像を取得し、第1の人物の顔の特徴を抽出する。
類似度計算部233は、第1の人物の特徴と第2の人物の特徴との間の類似度を計算する。
スコア計算部337は、時系列の画像から、第1の人物の振る舞いまたは行動を検出し、検出した第1の人物の振る舞いまたは行動をパターンマッチングによって評価する。そして、スコア計算部337は、評価結果に基づいて、第1の人物のスコアを加算または減算する。
第1の人物の行動の例として、例えば、人物が他の人物と会話していることが挙げられる。この場合、スコア計算部337はスコアを加算する。また、第1の人物の行動の別の例として、第1の人物が他の人物に対して敵対的な行動をしていることが挙げられる。この場合、スコア計算部337はスコアを減算する。
本変形例の構成によれば、第1の人物の振る舞いまたは行動に基づいて、第1の人物のスコアを調整することにより、第1の人物を人物辞書50に登録されやすくしたり、逆に登録されにくくしたりすることができる。
(本実施形態の効果)
本実施形態によれば、類似度計算手段としての類似度計算部233が、第1の人物と、1または複数の第2の人物との間の類似度を計算する。より詳細には、類似度計算部233は、時系列の複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する。
評価値計算手段としての評価値計算部334は、スコア計算部337を備えており、スコア計算部337は、第1の人物と第2の人物との間の類似度の累計値であるスコアを計算する。スコアは評価値の一例である。
登録手段としての登録部336は、スコア計算部337が計算したスコアに基づいて、第1の人物に関する情報を人物辞書50に登録するかどうかを決定する。より詳細には、登録部336は、第1の人物のスコアが閾値を超えた場合に、第1の人物の顔画像を人物辞書50に登録する。第1の人物のスコアが高いほど、第1の人物が以前に何度も施設に出入りしている可能性が高く、したがって不審者ではない蓋然性が高いからである。
これにより、本実施形態に係わる辞書生成装置330は、管理者がなんら手間をかけることなしに、人物辞書50を簡単に生成できる。登録を申請する人物は、特許文献1に記載の技術のように、入力操作を行う必要がない。
加えて、本実施形態3に係わる辞書生成装置330は、上述したスコアに基づいて、辞書に登録すべき人物(すなわち施設に立ち入ることを許可する人物)と、辞書に登録すべきでない人物(例えば不審者)とを判別することができる。したがって、特許文献2に記載の技術と異なり、全ての人物が無判別に人物辞書50に登録されることを防止できる。
〔実施形態4〕
本発明の他の一実施形態について、以下で説明する。
(ハードウェア構成について)
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図16に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図16は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。
図16に示すように、情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インターフェース908
・データの入出力を行う入出力インターフェース910
・各構成要素を接続するバス911
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
(本実施形態の効果)
本実施形態の構成によれば、前記のいずれかの実施形態において説明した装置が、ハードウェアとして実現される。したがって、前記のいずれかの実施形態において説明した効果と同様の効果を奏することができる。
以上、実施形態(及び実施例)を参照して本発明を説明したが、本発明は上記実施形態(及び実施例)に限定されるものではない。上記実施形態(及び実施例)の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
〔適用例〕
上記の説明では、人物の監視を例としたが、本発明の適用例は、それに限定されない。例えば、店舗において、常連客を検出するために利用することができる。本適用例に係わる監視システムは、客が来店した回数を、その客の顔画像に紐付けて、人物辞書に記憶する。これにより、店舗は、例えば、客が来店した回数に応じた特別サービスを、客に対して与えることができる。
〔付記〕
上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下の付記に記載する構成に限定されない。
(付記1)
所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
を備えた
辞書生成装置。
(付記2)
前記登録手段は、前記類似度が閾値を超える場合に、前記第1の人物に関する情報を辞書に登録する
ことを特徴とする付記1に記載の辞書生成装置。
(付記3)
前記類似度に依存して変化する評価値を計算する評価値計算手段をさらに備え、
前記登録手段は、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定する
ことを特徴とする付記1または2に記載の辞書生成装置。
(付記4)
前記評価値計算手段は、
前記類似度に基づいて、前記第1の人物と前記第2の人物とが同一であるか否かを判定する同一人物判定手段と、
前記評価値として、前記同一であると判定された回数を計算する回数計算手段とを含む
ことを特徴とする付記3に記載の辞書生成装置。
(付記5)
前記評価値は、前記類似度を合計した累計値である
ことを特徴とする付記3に記載の辞書生成装置。
(付記6)
前記特徴抽出手段は、前記複数の画像にそれぞれ含まれる人物の顔の特徴を抽出し、
前記類似度計算手段は、前記第1の人物の顔の特徴と、前記第2の人物の顔の特徴との間で、前記類似度を計算する
ことを特徴とする付記1から5のいずれか1項に記載の辞書生成装置。
(付記7)
入力画像を取得する入力手段と、
付記1から6のいずれか1項に記載の辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
前記照合手段による照合結果を出力する出力手段とを備えた
生体認証装置。
(付記8)
所定のエリア内で時間をおいて撮影された複数の画像を取得し、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、
前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、
前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することを含む
辞書生成方法。
(付記9)
前記類似度に依存して変化する評価値を計算することをさらに含み、
前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
ことを特徴とする付記8に記載の辞書生成方法。
(付記10)
所定のエリア内で時間をおいて撮影された複数の画像を取得することと、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、
前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算することと、
前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶した、
一時的でない記録媒体。
(付記11)
前記プログラムは、前記コンピュータに、
前記類似度に依存して変化する評価値を計算することをさらに実行させ、
前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
ことを特徴とする付記10に記載の記録媒体。
(付記12)
人物検出手段と、
辞書生成装置と、
生体認証装置と、
を備えた監視システムであって、
前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、
前記辞書生成装置は、
前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、
前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
を備え、
前記生体認証装置は、
前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
前記照合手段による照合結果を出力する出力手段と
を備えた
監視システム。
本発明は、例えば、生体認証技術を応用した監視システムに使用することができる。また、店舗において、顧客管理のために使用することができる。
1 監視システム
10 カメラ
20 人物検出部
30 辞書生成装置
31 画像取得部
32 特徴抽出部
33 類似度計算部
34 登録部
40 生体認証装置
41 入力部
42 照合部
43 出力部
50 人物辞書
60 報知部
230 辞書生成装置
231 画像取得部
232 特徴抽出部
233 類似度計算部
234 評価値計算部
237 登録部
238 同一人物判定部
239 回数計算部
330 辞書生成装置
334 評価値計算部
336 登録部
337 スコア計算部

Claims (12)

  1. 所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、
    前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
    前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
    前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
    を備えた
    辞書生成装置。
  2. 前記登録手段は、前記類似度が閾値を超える場合に、前記第1の人物に関する情報を辞書に登録する
    ことを特徴とする請求項1に記載の辞書生成装置。
  3. 前記類似度に依存して変化する評価値を計算する評価値計算手段をさらに備え、
    前記登録手段は、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定する
    ことを特徴とする請求項1または2に記載の辞書生成装置。
  4. 前記評価値計算手段は、
    前記類似度に基づいて、前記第1の人物と前記第2の人物とが同一であるか否かを判定する同一人物判定手段と、
    前記評価値として、前記同一であると判定された回数を計算する回数計算手段とを含む
    ことを特徴とする請求項3に記載の辞書生成装置。
  5. 前記評価値は、前記類似度を合計した累計値である
    ことを特徴とする請求項3に記載の辞書生成装置。
  6. 前記特徴抽出手段は、前記複数の画像にそれぞれ含まれる人物の顔の特徴を抽出し、
    前記類似度計算手段は、前記第1の人物の顔の特徴と、前記第2の人物の顔の特徴との間で、前記類似度を計算する
    ことを特徴とする請求項1から5のいずれか1項に記載の辞書生成装置。
  7. 入力画像を取得する入力手段と、
    請求項1から6のいずれか1項に記載の辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
    前記照合手段による照合結果を出力する出力手段とを備えた
    生体認証装置。
  8. 所定のエリア内で時間をおいて撮影された複数の画像を取得し、
    前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、
    前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、
    前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することを含む
    辞書生成方法。
  9. 前記類似度に依存して変化する評価値を計算することをさらに含み、
    前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
    ことを特徴とする請求項8に記載の辞書生成方法。
  10. 所定のエリア内で時間をおいて撮影された複数の画像を取得することと、
    前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、
    前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算することと、
    前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶した、
    一時的でない記録媒体。
  11. 前記プログラムは、前記コンピュータに、
    前記類似度に依存して変化する評価値を計算することをさらに実行させ、
    前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
    ことを特徴とする請求項10に記載の記録媒体。
  12. 人物検出手段と、
    辞書生成装置と、
    生体認証装置と、
    を備えた監視システムであって、
    前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、
    前記辞書生成装置は、
    前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、
    前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
    前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
    前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
    を備え、
    前記生体認証装置は、
    前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
    前記照合手段による照合結果を出力する出力手段と
    を備えた
    監視システム。
JP2021503249A 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、辞書生成方法、およびプログラム Active JP7248097B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008071 WO2020178893A1 (ja) 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020178893A1 true JPWO2020178893A1 (ja) 2021-11-11
JP7248097B2 JP7248097B2 (ja) 2023-03-29

Family

ID=72338217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021503249A Active JP7248097B2 (ja) 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、辞書生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220067351A1 (ja)
JP (1) JP7248097B2 (ja)
WO (1) WO2020178893A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668762B (zh) * 2024-01-31 2024-05-17 新疆三联工程建设有限责任公司 用于住宅地下渗漏的监测预警系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099723A (ja) * 1998-09-25 2000-04-07 Oki Electric Ind Co Ltd 辞書作成方法及び装置
JP2002288666A (ja) * 2001-03-28 2002-10-04 Omron Corp 本人照合装置、本人照合システムおよび本人照合方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100481116B1 (ko) * 2001-03-09 2005-04-07 가부시끼가이샤 도시바 안면화상 인식장치
JP4645411B2 (ja) * 2005-10-28 2011-03-09 コニカミノルタホールディングス株式会社 認証システム、登録システム及びプログラム
JP5730518B2 (ja) * 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
JP6132490B2 (ja) * 2012-08-20 2017-05-24 キヤノン株式会社 認証装置、認証方法、およびプログラム
JP6268960B2 (ja) * 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法
US11453365B2 (en) * 2016-08-26 2022-09-27 NetraDyne, Inc. Recording video of an operator and a surrounding visual field
US10430644B2 (en) * 2017-06-06 2019-10-01 Global Bionic Optics Ltd. Blended iris and facial biometric system
KR102476756B1 (ko) * 2017-06-20 2022-12-09 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099723A (ja) * 1998-09-25 2000-04-07 Oki Electric Ind Co Ltd 辞書作成方法及び装置
JP2002288666A (ja) * 2001-03-28 2002-10-04 Omron Corp 本人照合装置、本人照合システムおよび本人照合方法

Also Published As

Publication number Publication date
WO2020178893A1 (ja) 2020-09-10
US20220067351A1 (en) 2022-03-03
JP7248097B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
JP6268960B2 (ja) 画像認識装置及び画像認識装置に対するデータ登録方法
CN112328999B (zh) 双录质检方法、装置、服务器及存储介质
Gomez-Barrero et al. Is your biometric system robust to morphing attacks?
JP7405200B2 (ja) 人物検出システム
JP2006293644A (ja) 情報処理装置、情報処理方法
CN102567665A (zh) 对无线设备的功能的受控访问
Ganidisastra An incremental training on deep learning face recognition for m-learning online exam proctoring
JP2015076687A (ja) 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
CN105893813A (zh) 生物信息登记装置和生物信息登记方法
JP2014191416A (ja) サービス利用者確認装置
JP2017151832A (ja) 待ち時間算出システム
JP4910717B2 (ja) 年齢確認装置、年齢確認方法、及び年齢確認プログラム
US20110091117A1 (en) Image processing apparatus and image processing method
JPWO2020115890A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101738057B1 (ko) 사회감성 네트워크 구축 시스템 및 그 방법
JP2017102846A (ja) 接客対応評価装置及び接客対応評価方法
JP7248097B2 (ja) 辞書生成装置、生体認証装置、辞書生成方法、およびプログラム
CN109448193A (zh) 身份信息识别方法及装置
JP6427248B2 (ja) 認証データベース管理方法、認証データベース管理装置及び認証データベース管理プログラム
CN113673318B (zh) 一种动作检测方法、装置、计算机设备和存储介质
WO2023007601A1 (ja) 動作検出システム、動作検出方法、及び非一時的なコンピュータ可読媒体
JP6815667B1 (ja) 情報処理装置、情報処理方法、プログラム及びカメラシステム
JP5508088B2 (ja) 顔認証装置、方法、およびプログラム
JP2021190051A (ja) 行動体特定システム
JP2008293178A (ja) シーン管理装置及びシーン管理方法ならびにそのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210625

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R151 Written notification of patent or utility model registration

Ref document number: 7248097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151