JP2024090999A - Information processing device, information processing method, and computer program - Google Patents
Information processing device, information processing method, and computer program Download PDFInfo
- Publication number
- JP2024090999A JP2024090999A JP2022207244A JP2022207244A JP2024090999A JP 2024090999 A JP2024090999 A JP 2024090999A JP 2022207244 A JP2022207244 A JP 2022207244A JP 2022207244 A JP2022207244 A JP 2022207244A JP 2024090999 A JP2024090999 A JP 2024090999A
- Authority
- JP
- Japan
- Prior art keywords
- biometric information
- information
- feature amount
- biometric
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 40
- 238000004590 computer program Methods 0.000 title claims abstract description 13
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 238000012937 correction Methods 0.000 claims abstract description 108
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 23
- 238000000034 method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
【課題】生体情報の属性の偏りや差異がある場合にも、一方の生体情報と他方の生体情報とに基づくスコアを安定して補正するための情報処理装置、情報処理方法及びコンピュータプログラムを提供する。【解決手段】生体認証装置、入力装置、映像出力装置、生体認証装置及びネットワークを介して生体認証装置と通信可能に接続されている生体情報センサと入退管理装置を有する生体認証システムにおいて、生体認証装置は、第1生体情報の特徴量と、第2生体情報の特徴量と、第1生体情報の属性と、に少なくとも基づいて補正係数を取得する算出部206と、第1生体情報の特徴量と第2生体情報の特徴量とに基づいてスコアを求め、求めたスコアを補正係数を用いて補正する補正部207と、補正された補正スコアに基づいて認証を行う認証部208と、を備える。【選択図】図2[Problem] To provide an information processing device, information processing method, and computer program for stably correcting a score based on one piece of biometric information and another piece of biometric information even when there is a bias or difference in the attributes of the biometric information. [Solution] In a biometric authentication system having a biometric authentication device, an input device, a video output device, a biometric authentication device, and a biometric information sensor and an entrance/exit management device communicably connected to the biometric authentication device via a network, the biometric authentication device includes a calculation unit 206 that obtains a correction coefficient based on at least the feature amount of the first biometric information, the feature amount of the second biometric information, and the attribute of the first biometric information, a correction unit 207 that obtains a score based on the feature amount of the first biometric information and the feature amount of the second biometric information and corrects the obtained score using the correction coefficient, and an authentication unit 208 that performs authentication based on the corrected corrected score. [Selected Figure] Figure 2
Description
本発明は、認証技術に関するものである。 The present invention relates to authentication technology.
1対1の生体認証では、2つの生体情報を比較し、類似度などに基づいて照合スコアを算出し、該2つの生体情報に対応する人物が同一人物か否かを判定する。1対Nの生体認証では、与えられた1つの生体情報を事前に登録されたN人の登録人物の生体情報と比較し、該1つの生体情報に対応する人物が該N人の登録人物のいずれと一致するか、あるいはいずれの登録人物とも一致しないかを判定する。生体認証を高精度に行うためには、本人の特徴量ペアに対して高い照合スコアを出力し、他人の特徴量ペアに対して低い照合スコアを出力すること、さらにそれらのスコアが一定の範囲で収まってバラつきが少ないことが求められる。しかし一般に顔認証などの生体認証においては、生体情報の取得時の状況(照明条件や顔向きなど)による影響で、照合スコアがバラつきやすい。 In one-to-one biometric authentication, two pieces of biometric information are compared, a matching score is calculated based on the degree of similarity, and it is determined whether the people corresponding to the two pieces of biometric information are the same person. In one-to-N biometric authentication, one piece of given biometric information is compared with the biometric information of N people registered in advance, and it is determined whether the person corresponding to the one piece of biometric information matches any of the N people registered, or whether it matches none of the people registered. To perform biometric authentication with high accuracy, it is required to output a high matching score for the feature pair of the person himself/herself and a low matching score for the feature pair of other people, and further, that these scores fall within a certain range and have little variation. However, in general, in biometric authentication such as face recognition, the matching score is easily affected by the situation when the biometric information is acquired (lighting conditions, face direction, etc.).
この問題に対し、照合スコアを補正して精度を向上させる手法が開示されている。例えば特許文献1や非特許文献1では、登録人物以外に複数の非登録人物の特徴量を参照用の特徴量として保持する。照合時には、この参照用の特徴量群とも照合を行い、これらの照合スコアの分布や密度を用いて、登録人物との照合スコアを補正する。これにより照合スコアのバラつきを抑制し、本人拒否や他人受入を抑制できるとしている。 In response to this problem, a method has been disclosed for improving accuracy by correcting the matching score. For example, in Patent Document 1 and Non-Patent Document 1, in addition to the registered person, the features of multiple unregistered people are stored as reference features. During matching, matching is also performed with this group of reference features, and the matching score with the registered person is corrected using the distribution and density of these matching scores. This is said to reduce variation in the matching score and prevent rejection of the person in question and acceptance of a false person.
しかしながら先行技術では、「照合人物の属性が参照用の人物と大きく異なる。」、「1対N認証において、登録人物が特定の属性に偏っている。」のようなケースでうまく機能しないことがある。本発明では、生体情報の属性の偏りや差異がある場合にも、一方の生体情報と他方の生体情報とに基づくスコアを安定して補正するための技術を提供する。 However, prior art techniques do not always work well in cases where the attributes of the matching person are significantly different from those of the reference person, or where registered people are biased toward certain attributes in one-to-N authentication. This invention provides technology for stably correcting scores based on one piece of biometric information and another piece of biometric information, even when there is a bias or difference in the attributes of the biometric information.
本発明の一様態は、第1生体情報と、第2生体情報と、を取得する第1取得手段と、前記第1生体情報の特徴量と、前記第2生体情報の特徴量と、前記第1生体情報の属性と、に少なくとも基づいて補正係数を取得する第2取得手段と、前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいてスコアを求め、該求めたスコアを前記補正係数を用いて補正する補正手段と、前記補正手段により補正された補正スコアに基づいて認証を行う認証手段とを備えることを特徴とする。 One aspect of the present invention is characterized by comprising a first acquisition means for acquiring first biometric information and second biometric information, a second acquisition means for acquiring a correction coefficient based at least on a feature of the first biometric information, a feature of the second biometric information, and an attribute of the first biometric information, a correction means for calculating a score based on the feature of the first biometric information and the feature of the second biometric information and correcting the calculated score using the correction coefficient, and an authentication means for performing authentication based on the corrected score corrected by the correction means.
本発明の構成によれば、生体情報の属性の偏りや差異がある場合にも、一方の生体情報と他方の生体情報とに基づくスコアを安定して補正することができる。 The configuration of the present invention makes it possible to stably correct the score based on one piece of biometric information and the other piece of biometric information, even when there is a bias or difference in the attributes of the biometric information.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 The following embodiments are described in detail with reference to the attached drawings. Note that the following embodiments do not limit the invention according to the claims. Although the embodiments describe multiple features, not all of these multiple features are necessarily essential to the invention, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations are omitted.
[第1の実施形態]
本実施形態では、ゲートを通過しようとする対象人物が、該ゲートの通過を許可された人物であるか否かを判定し、該対象人物が該ゲートの通過を許可された人物であれば該ゲートを開放する生体認証システムについて説明する。該生体認証システムでは、まずゲートを通過しようとする対象人物は、自身の情報が記録されたIDカードをIDカード読み取り装置にかざすと共に、カメラに顔を向ける。IDカード読み取り装置は該IDカードに記録された情報を読み取り、該カメラは該対象人物を撮像する。そして生体認証システムでは、IDカード読み取り装置がIDカードから読み取った情報と対応付けて予め登録されている顔画像と、カメラにより撮像された対象人物の画像と、に基づいて、対象人物が、該ゲートの通過を許可された人物であるか否かを判定する。そして、生体認証システムでは、対象人物がゲートの通過を許可された人物であれば該ゲートを開放し(開状態にし)、対象人物がゲートの通過を許可された人物でなければ該ゲートを開放しない(閉状態にする)。
[First embodiment]
In this embodiment, a biometric authentication system is described that determines whether a target person who is about to pass through a gate is a person who is permitted to pass through the gate, and opens the gate if the target person is a person who is permitted to pass through the gate. In the biometric authentication system, the target person who is about to pass through the gate first holds an ID card on which his/her information is recorded over an ID card reader and faces the camera. The ID card reader reads the information recorded on the ID card, and the camera captures the target person. Then, the biometric authentication system determines whether the target person is a person who is permitted to pass through the gate based on a face image that is registered in advance in association with the information read from the ID card by the ID card reader and an image of the target person captured by the camera. Then, in the biometric authentication system, if the target person is a person who is permitted to pass through the gate, the gate is opened (opened), and if the target person is not a person who is permitted to pass through the gate, the gate is not opened (closed).
先ず、本実施形態に係る生体認証システムの構成例について、図1のブロック図を用いて説明する。図1に示す如く、本実施形態に係る生体認証システムは、生体認証装置101、入力装置102、映像出力装置103、ネットワーク104を介して生体認証装置101と通信可能に接続されている生体情報センサ105および入退管理装置106、を有する。
First, a configuration example of a biometric authentication system according to this embodiment will be described with reference to the block diagram of FIG. 1. As shown in FIG. 1, the biometric authentication system according to this embodiment has a
先ず、生体認証装置101について説明する。生体認証装置101は、PC(パーソナルコンピュータ)、スマートフォン、タブレット型端末装置、などのコンピュータ装置である。
First, the
CPU(Central Processing Unit)101aは、RAM101cに格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これにより、CPU101aは、生体認証装置101全体の動作制御を行うと共に、生体認証装置101が行う処理として説明する各種の処理を実行もしくは制御する。
The CPU (Central Processing Unit) 101a executes various processes using computer programs and data stored in the
ROM(Read Only Memory)101bには、生体認証装置101の設定データ、生体認証装置101の起動に係るコンピュータプログラムやデータ、生体認証装置101の基本動作に係るコンピュータプログラムやデータ、等が格納されている。
ROM (Read Only Memory) 101b stores setting data for the
RAM(Random Access Memory)101cは、ROM101bや外部記憶装置101dからロードされたコンピュータプログラムやデータを格納するためのエリアを有する。さらにRAM101cは、通信I/F101gを介して生体情報センサ105から取得した生体情報を格納するためのエリア、を有する。また、RAM101cは、CPU101aが各種の処理を実行する際に用いるワークエリアを有する。このように、RAM101cは、各種のエリアを適宜提供することができる。
RAM (Random Access Memory) 101c has an area for storing computer programs and data loaded from
外部記憶装置101dは、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置101dには、OS(オペレーティングシステム)や、生体認証装置101が行う処理として説明する各種の処理をCPU101aに実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。
The
外部記憶装置101dに保存されているコンピュータプログラムやデータは、CPU101aによる制御に従って適宜RAM101cにロードされ、CPU101aによる処理対象となる。
Computer programs and data stored in the
なお、外部記憶装置101dは、生体認証装置101から着脱可能なフレキシブルディスク(FD)やコンパクトディスク(CD)等の光ディスク、磁気カードや光カード、ICカード、メモリカード等を含んでも良い。
The
入力I/F101eには入力装置102が接続されている。出力I/F101fには映像出力装置103が接続されている。通信I/F101gは、ネットワーク104を介して外部装置(入退管理装置106や生体情報センサ105)との間のデータ通信を行うためのインターフェースである。
The input I/
CPU101a、ROM101b、RAM101c、外部記憶装置101d、入力I/F101e、出力I/F101f、通信I/F101gはいずれも、システムバス101hに接続されている。
The
次に、入力装置102について説明する。入力装置102は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示や情報をCPU101aに対して入力することができる。
Next, the
次に、映像出力装置103について説明する。映像出力装置103は、液晶画面やタッチパネル画面を有し、CPU101aによる処理結果を画像や文字などでもって表示する。なお、映像出力装置103は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。
Next, the
次に、生体情報センサ105について説明する。生体情報センサ105は、ゲート付近を撮像するように設けられたネットワークカメラなどの撮像装置であり、該ゲート付近を撮像することで得られる撮像画像を生体情報として出力する。生体情報センサ105は、ゲート付近の動画像を撮像し、該動画像における各フレームの画像を撮像画像として出力する撮像装置であっても良い。また、生体情報センサ105は、定期的もしくは不定期的にゲート付近の静止画像を撮像し、該静止画像を撮像画像として出力する撮像装置であっても良い。
Next, the
次に、入退管理装置106について説明する。入退管理装置106は、上記のゲート、該ゲートの開閉を制御する制御装置、上記のIDカード読み取り装置、を含む装置である。
Next, the entrance/
生体認証装置101の機能構成例を図2のブロック図に示す。本実施形態では、図2に示した各機能部(保持部204を除く)をコンピュータプログラムで実装するケースについて説明する。以下では図2に示した機能部(保持部204を除く)を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをCPU101aが実行することで、該機能部の機能が実現される。しかし、図2に示した機能部のうち1以上をハードウェアで実装しても構わない。
The block diagram of FIG. 2 shows an example of the functional configuration of the
生体認証装置101の動作について、図3のフローチャートに従って説明する。ゲートを通過しようとする対象人物は自身の情報が記録されたIDカードをIDカード読み取り装置にかざすと共に、生体情報センサ105に顔を向ける。このとき、IDカード読み取り装置は、該IDカードに記録されている情報(該対象人物に係る情報)を読み取り、該読み取った情報をネットワーク104を介して生体認証装置101に対して送信する。また、生体情報センサ105は、該対象人物の撮像画像をネットワーク104を介して生体認証装置101に対して送信する。
The operation of the
ステップS301では、取得部201は、IDカード読み取り装置から送信された情報を受信し、該情報と対応付けて予め外部記憶装置101dに登録されている対象人物の顔画像を生体情報iAとして取得する。一方、取得部201は、生体情報センサ105から送信された対象人物の撮像画像を生体情報iBとして取得する。
In step S301, the
なお、取得部201は、生体情報iBに対して正規化処理を行う。本実施形態では、生体情報iBである撮像画像に対して顔の器官点検出を行い、該器官点検出により得られる情報を基に該撮像画像から顔領域を切り出し、該切り出した顔領域内の画像を改めて生体情報iBとする正規化処理を施すものとする。なお、生体情報iBから顔領域の画像を抽出して該画像を改めて生体情報iBとする正規化処理は、上記の処理に限らず、例えば、生体情報iBとしての撮像画像に対して顔枠検出を行い、該顔枠検出により得られる情報を基に顔領域を切り出し、該切り出した顔領域内の画像を改めて生体情報iBとする処理であっても良い。また、生体情報センサ105から取得する人物の撮像画像が、顔が正対した状態で大きく写っているような画像である場合には、正規化処理は必須ではない。生体情報iAは、人物の顔が正対した状態で大きく写っている画像であるものとするので、該生体情報iAに対する正規化処理を行わなくても良いが、状況に応じて正規化処理は生体情報iAに対して行っても良い。
The
ステップS302では、抽出部202は、生体情報iAから特徴量fAを抽出し、生体情報iBから特徴量fBを抽出する(fA,fB∈RD)。本実施形態では、抽出部202は、画像から特徴量(本実施形態では顔の特徴量)抽出を行うための機械学習モデルとしてニューラルネットワークを用いて、生体情報である画像から特徴量を抽出する。しかし、生体情報である画像から特徴量を抽出するための方法には様々な方法が適用可能であり、特定の方法に限らない。たとえば、主成分分析(PCA)や線形判別分析(LDA)などの線形次元削減手法、カーネルPCAなどの非線形次元削減手法、k-meansなどのクラスタリング手法を適用しても良く、任意の多次元データを別の多次元空間(のある1点)に射影できる機械学習手法であれば良い。また本実施形態では、特徴量fA,fBの取得に同一の機械学習モデルを使用するものとし、これらはそれぞれD次元のベクトルであるとする。しかし、特徴量fA,fBは異なる機械学習モデルを使用して取得した同次元または異なる次元のベクトルであっても良い。特徴量fA,fBが異なる次元を持つことになった場合、後述する第一の参照スコアs1の算出にはそれに応じた方法を選択する必要がある。また、抽出部202が用いる機械学習モデルは、特徴空間で本人が近い特徴量、他人が遠い特徴量として抽出されるよう事前に学習されているものとする。
In step S302, the
ステップS303では、算出部203は、抽出部202によって抽出された特徴量fAと特徴量fBとを用いて以下の(式1)を計算することで第一の照合スコアs1を算出する。本実施形態では、s1∈Rをスカラとして表す。
In step S303, the
ここで、<x,y>はxとyの内積、||x||はxの長さ(L2ノルム)を表す。(式1)に示す如く、本実施形態では、特徴量fA,fBをそれぞれ正規化して内積をとった値、すなわちコサイン類似度を第一の照合スコアs1として算出する。ただし第一の参照スコアs1の求め方は(式1)に示した求め方に限らず、ユークリッド距離やマンハッタン距離などの距離ベースの指標、ピアソンの相関係数などの類似性ベースの指標などでも良く、多次元空間における2点間の類似度を表すことのできる尺度であれば良い。また、ステップS302で異なる次元の特徴量fA,fBを取得した場合には、ジャッカード係数やEarth Mover‘s Distanceなどを類似度の尺度として用いても良い。本実施形態はこれらを限定するものではない。 Here, <x, y> represents the inner product of x and y, and ∥x∥ represents the length of x (L2 norm). As shown in (Equation 1), in this embodiment, the feature values f A and f B are normalized and the inner product is calculated, that is, the cosine similarity is calculated as the first matching score s 1. However, the method of calculating the first reference score s 1 is not limited to the method shown in (Equation 1), and may be a distance-based index such as Euclidean distance or Manhattan distance, or a similarity-based index such as Pearson's correlation coefficient, and may be any measure that can express the similarity between two points in a multidimensional space. In addition, when feature values f A and f B of different dimensions are obtained in step S302, Jaccard coefficient, Earth Mover's Distance, etc. may be used as a measure of similarity. This embodiment is not limited to these.
ここで、保持部204は、生体認証装置101に入力され得る生体情報の属性ごとに、該属性に応じた特徴量群を参照特徴量群として保持している。保持部204は、RAM101cを用いて実装しても良いし、外部記憶装置101dを用いて実装しても良い。ここで、「生体情報の属性」とは、人物の顔を含む画像に写っている該顔(該人物)の人種、性別、年齢、顔の向き、表情、照明条件、装着物(マスクやサングラスなど)の有無を含む情報に関する偏りの傾向のことを意味する。本実施形態では、生体情報iAは、正面向き無表情で、装着物はなく、白飛びや黒飛びや逆光などのない理想的な照明条件で撮像されている傾向があるという属性を持つものとする。一方、生体情報iBは、正面向き無表情ではあるが、マスクを着用していることがあり、照明条件もIDカードに記録されている情報と対応付けられている顔画像ほど理想的ではない状況で撮像されている傾向があるという属性を持つものとする。
Here, the
保持部204が保持するそれぞれの参照特徴量群は以下の手続きにより生成される。まず、生体認証装置101に入力され得る生体情報の属性のうちの1つである着目属性に一致する顔画像を収集する。例えば、生体情報iAのような顔画像が入力されるのであれば、同様の撮像条件を再現し、該撮像条件下で複数の人物の顔を撮像することで収集する。もしくは、インターネットで収集した顔画像から同様の傾向を持つものを抽出することで収集する。次に、収集した顔画像のそれぞれから抽出部202と同じ手法を用いて特徴量を抽出し、該抽出した特徴量群を、着目属性に対応する参照特徴量群とする。なお、保持部204が保持する参照特徴量群は、生体認証装置101が生成しても良いし、生体認証装置101以外の装置が生成しても良い。また、保持部204は生体認証装置101が有していても良いし、生体認証装置101と通信可能な外部装置としても良い。本実施形態において、保持部204は、少なくとも生体情報iAの属性と同じ属性の参照特徴量群、生体情報iBの属性と同じ属性の参照特徴量群を保持するものとする。
Each reference feature group held by the holding
ステップS304では、選択部205は、保持部204が属性ごとに保持する参照特徴群のうち、生体情報iAの属性に対応する(特徴量fAに対応する)参照特徴量群ΦAを取得(選択)する。また、選択部205は、保持部204が属性ごとに保持する参照特徴群のうち、生体情報iBの属性に対応する(特徴量fBに対応する)参照特徴量群ΦBを取得(選択)する。
In step S304, the
ステップS305では、算出部206は、特徴量fAと参照特徴量群ΦBとを用いて以下の(式2)を計算することで、補正係数cAを求める。また算出部206は、特徴量fBと参照特徴量群ΦAとを用いて以下の(式3)を計算することで、補正係数cBを求める。
In step S305, the
補正係数cA,cBは、それぞれの比較対象との分離度を表す値であり、これらは特徴空間の疎密関係から求められる。これらの値は、抽出部202が用いる機械学習モデルにおいて良く学習された属性間であれば小さくなり、逆にあまり学習ができていない属性間であれば大きくなるという性質を持つ。後述のスコア補正時にはこの性質を用いて第一の照合スコアs1のばらつきを抑制する。本実施形態では、補正係数cAの算出に特徴量fAと参照特徴量群ΦBを用い、補正係数cBの算出に特徴量fBと参照特徴量群ΦAを用いるが、これは、比較対象と同属性の特徴量が特徴空間においてどのように分布しているかを把握することができるためである。
The correction coefficients c A and c B are values that indicate the degree of separation from each comparison target, and are obtained from the sparse-dense relationship in the feature space. These values have the property that they are small for attributes that have been well learned in the machine learning model used by the
ここで、kAは、cAの算出に使用する参照特徴量数を示すパラメータ、φBj∈ΦBは、ΦBの中のfA最近傍のkA個の特徴量、kBは、cBの算出に使用する参照特徴量数を示すパラメータ、φAj∈ΦAは、ΦAの中のfB最近傍のkB個の特徴量を表す。ここで、図4(a),(b)はそれぞれ(式2)、(式3)の過程を模式的に表した図である。図4において、メッシュの球は特徴空間、丸の点はfA、三角の点はfB、菱形の点群はΦB、五角形の点群はΦAを表している。また図4(a),(b)のそれぞれにおいて、矢印の接続されている参照特徴量はそれぞれkA=3のときのφBj∈ΦB,kB=3のときのφAj∈ΦAを表している。cA,cBはそれぞれ(式2)、(式3)に示す通り、fAとφBj∈ΦBの、fBとφAj∈ΦAのコサイン類似度を、指数をとって非負化して総和したものである。そのため、図4における矢印の長さを特徴空間における二点間の距離と仮定すると、矢印の長さの総和が大きい/小さい、すなわちfA/fBが比較対象と同属性の特徴と類似しにくい/類似しやすいほど、cA,cBは小さく/大きくなる。なお、ここで近傍の特徴量のみを使用してcA,cBを算出しているのは、近傍以外の特徴量を使用すると、どの参照特徴量群を使用しても類似度合いに違いが出なくなってしまうためである。また補正係数をcA,cBの両方求めているのは、片方だけでは外れ値などへの対応力が弱まってしまうためである。なおここでは上記の手順でcA,cBを算出したが、これはあくまで一例であり、cA,cBは先述の性質を満たすものであれば良い。本実施形態は、これを限定するものではない。 Here, k A is a parameter indicating the number of reference features used in the calculation of c A , φ Bj ∈ Φ B is k A features in Φ B that are closest to f A , k B is a parameter indicating the number of reference features used in the calculation of c B , and φ Aj ∈ Φ A is k B features in Φ A that are closest to f B. Here, Figs. 4(a) and (b) are diagrams that respectively show the process of (Formula 2) and (Formula 3). In Fig. 4, the mesh sphere represents the feature space, the circular points represent f A , the triangular points represent f B , the diamond-shaped points represent Φ B , and the pentagonal points represent Φ A. In Figs. 4(a) and 4(b), the reference features connected by the arrows represent φ Bj ∈ Φ B when k A = 3, and φ Aj ∈ Φ A when k B = 3, respectively. As shown in (Formula 2) and (Formula 3), c A and c B are the sum of the cosine similarities between f A and φ Bj ∈ Φ B and between f B and φ Aj ∈ Φ A , which are exponentially non-negated. Therefore, if the length of the arrow in FIG. 4 is assumed to be the distance between two points in the feature space, the larger/smaller the sum of the lengths of the arrows is, that is, the less similar/more similar f A /f B is to the feature of the same attribute as the comparison target, the smaller/larger c A and c B are. Note that c A and c B are calculated using only nearby features here because if features other than the nearby ones are used, the degree of similarity will not differ regardless of which reference feature group is used. In addition, the correction coefficients are calculated for both c A and c B because the ability to deal with outliers and the like is weakened when only one of them is used. Although c A and c B are calculated by the above procedure, this is merely an example, and c A and c B may be any values that satisfy the above-mentioned properties. The present embodiment is not limited to this.
ステップS306では、補正部207は以下の(式4)に従って、ステップS303で算出部203が求めた第一の照合スコアs1を、ステップS305で算出部206が求めた補正係数cA,cBを用いて補正して、第二の照合スコアs2を補正スコアとして求める。本実施形態ではs2∈Rをスカラとして表す。
In step S306, the
ここで、α,βはそれぞれcA,cBのスケール差を埋めるためのパラメータで、本実施形態においてはスケール差がないものとし、それぞれ1を設定する。このスケール差はcA,cBを求める際に使用したΦA,ΦBを構成する特徴量数の違いや、パラメータkA,kBの違いによって発生するものであり、例えばΦA,ΦBを構成する特徴量数が同じでkAが5でkBが10であった場合、αは1にβは2に設定すれば良い。α,βの設定方法はこれに限定されるものではなく、例えばパラメータkA,kBの少なくともいずれかを入力とする関数により決定しても良い。また(式4)ではs1の指数をとって非負化した後、補正を行っているが、これはあくまで一例であり、s1を非負化できる方法であれば良い。例えばコサイン類似度であるs1の下限値である-1を減算した後、すなわち1を加算した後、補正を行うような、以下の(式5)のような方法であっても良い。 Here, α and β are parameters for filling the scale difference between c A and c B , respectively. In this embodiment, it is assumed that there is no scale difference, and each is set to 1. This scale difference occurs due to the difference in the number of features constituting Φ A and Φ B used when calculating c A and c B , or the difference in parameters k A and k B. For example, if the number of features constituting Φ A and Φ B is the same, k A is 5, and k B is 10, α can be set to 1 and β can be set to 2. The method of setting α and β is not limited to this, and for example, they may be determined by a function that inputs at least one of parameters k A and k B. In addition, in (Equation 4), the exponent of s 1 is taken and made non-negative, and then correction is performed, but this is merely an example, and any method that can make s 1 non-negative may be used. For example, a method such as the following (Equation 5) may be used, in which correction is performed after subtracting -1, which is the lower limit value of s 1, which is the cosine similarity, i.e., adding 1.
ステップS307では、認証部208は、ステップS306で補正部207が求めた第二の照合スコアs2に基づいて、対象人物の認証を行う。認証部208は、第二の照合スコアs2が閾値以上であれば、認証結果として「対象人物の認証は成功」を出力し、第二の照合スコアs2が閾値未満であれば、認証結果として「対象人物の認証は失敗」を出力する。なお、第二の照合スコアs2に基づく対象人物の認証処理は上記の処理に限らない。例えば、第二の照合スコアs2を入力とする認証判定関数の出力を認証結果としても良い。認証部208は、認証結果を通信I/F101gを介して入退管理装置106に対して送信する。入退管理装置106における制御装置は、認証部208から受信した認証結果が「対象人物の認証は成功」であれば、ゲートを開状態に制御し、認証部208から受信した認証結果が「対象人物の認証は失敗」であれば、ゲートを閉状態に制御する。
In step S307, the
このように、本実施形態によれば、2つの生体情報のそれぞれの属性の偏りを考慮した照合スコアの補正が行われる。具体的には、参照特徴量群をΦA,ΦBの2種用意し、それぞれを相互に参照して補正係数を算出する。これにより従来手法以上に照合スコアのばらつきを抑制し、認証精度を向上させることが可能となる。 In this way, according to this embodiment, the matching score is corrected taking into account the bias of the attributes of the two pieces of biometric information. Specifically, two types of reference feature groups, Φ A and Φ B , are prepared, and the correction coefficient is calculated by mutually referring to each of them. This makes it possible to suppress the variation in the matching score more than the conventional method and improve the authentication accuracy.
[第2の実施形態]
本実施形態を含む以下の各実施形態では、第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。本実施形態に係る生体認証システムでは、ゲートの通過を許可するN(Nは1以上の整数)人の人物の顔画像をあらかじめ登録しておく。そして、ゲートを通過しようとする対象人物はカメラに顔を向ける。そして生体認証システムでは、カメラにより撮像された対象人物の画像と、ゲートの通過を許可するN人の人物の顔画像と、に基づいて、対象人物が、該ゲートの通過を許可されたいずれの人物であるかを判定する。そして、対象人物がゲートの通過を許可されたいずれかの人物であれば、該対象人物に係る情報を出力すると共にゲートを開放し、対象人物がゲートの通過を許可されたいずれの人物でもなければ、該対象人物に係る情報を出力せず、該ゲートを開放しない。
Second Embodiment
In the following embodiments including this embodiment, differences from the first embodiment will be described, and unless otherwise specified below, it is assumed that the embodiments are the same as the first embodiment. In the biometric authentication system according to this embodiment, face images of N (N is an integer equal to or greater than 1) people who are permitted to pass through the gate are registered in advance. Then, the target person who is about to pass through the gate turns his/her face toward the camera. Then, in the biometric authentication system, based on the image of the target person captured by the camera and the face images of the N people who are permitted to pass through the gate, it is determined which person who is permitted to pass through the gate is the target person. Then, if the target person is any of the people permitted to pass through the gate, information related to the target person is output and the gate is opened, and if the target person is not any of the people permitted to pass through the gate, information related to the target person is not output and the gate is not opened.
本実施形態に係る生体認証装置101の機能構成例を図5のブロック図に示す。図5において、図2に示した機能部と同様の機能を有する機能部には同じ参照番号を付しており、該機能部に係る説明は省略もしくは簡略化する。
The block diagram of FIG. 5 shows an example of the functional configuration of the
本実施形態に係る生体認証システムでは、登録補正係数CEを予め生成して保持部501に登録しておく。保持部501は、RAM101cを用いて実装しても良いし、外部記憶装置101dを用いて実装しても良い。登録補正係数CEを生成して保持部501に登録するために生体認証装置101が行う処理について、図6のフローチャートに従って説明する。図6のフローチャートに従った処理は、例えば、生体認証システムの管理者が入力装置102を操作して登録指示を入力したことに応じて開始される。
In the biometric authentication system according to this embodiment, the registration correction coefficient C E is generated in advance and registered in the
ステップS601~S605の処理(登録処理)がN(ゲートの通過が許可されている人物の数)回繰り返される。以下では、l(l=1~N)回目の登録処理について説明する。 The processing of steps S601 to S605 (registration processing) is repeated N times (the number of people permitted to pass through the gate). The following describes the lth (l=1 to N)th registration processing.
ステップS602では、取得部201は、外部記憶装置101dに予め登録されている、「ゲートの通過が許可されているN人の人物のそれぞれの登録生体情報(顔画像)を含む登録生体情報群IE={iE1,iE2,…,iEN}」から、登録生体情報iElを取得する。登録生体情報iElは、ゲートの通過が許可されているN人の人物のうちl人目の人物の登録生体情報(顔画像)である。ここで、登録生体情報iE1,iE2,…,iENの属性はいずれも、生体情報iAの属性と同じであるものとする。
In step S602, the
ステップS603では、抽出部202は、登録生体情報iElから第1の実施形態と同様にして登録特徴量fELを抽出する。ステップS604では、抽出部202は、ステップS603で抽出した登録特徴量fELを保持部204に登録する。ステップS601~S605の処理をl=1~Nについて行うことで、保持部204には、登録特徴量群FE={fE1,fE2,…,fEN}が登録されることになる。
In step S603, the
ステップS606では、取得部201は第1の実施形態と同様にして、生体情報センサ105からの生体情報(顔画像)を照合生体情報iSとして取得する。ここで、照合生体情報iSの属性は、生体情報iBの属性と同じであるものとする。
そして抽出部202は第1の実施形態と同様にして、照合生体情報iSから照合特徴量fSを抽出する。そして選択部205は第1の実施形態と同様にして、照合特徴量fSの属性に対応する参照特徴量群ΦSを保持部204から取得(選択)する。
In step S606, the
Then, the
本実施形態では、照合時に入力される生体情報の属性があらかじめ判明しているため、これと同属性の参照特徴量群をΦSとして取得する。ただしこれはあくまで一例であり、照合時に入力される生体情報がこの時点で不明な場合には、異なる属性の複数の参照特徴量群ΦSから後述の登録補正係数群CEを複数算出しておき、スコア補正時に使用するCEを後述のステップS705において切り替えるという方法を取っても良い。 In this embodiment, since the attributes of the biometric information input during matching are known in advance, a reference feature set having the same attributes is acquired as Φ S. However, this is merely an example, and if the biometric information input during matching is unknown at this point, a method may be adopted in which a plurality of registered correction coefficient sets C E , which will be described later, are calculated from a plurality of reference feature sets Φ S having different attributes, and the C E used during score correction is switched in step S705, which will be described later.
ステップS607では、算出部206は、選択部205が保持部204から取得した登録特徴量群FEと、ステップS606で取得(選択)した参照特徴量群ΦSと、を用いて、以下の(式6)に従った演算を行うことで、登録補正係数群CE={cE1,cE2,…,cEN}を取得する。
In step S607, the
ここで、kEは、cEl算出に使用する参照特徴量数を決めるパラメータ、φSlj∈ΦSはΦSの中のfEl最近傍のkE個の特徴量を表す。 Here, k E is a parameter that determines the number of reference features used to calculate c El , and φ Slj ∈Φ S represents the k E features in Φ S that are closest to f El .
ステップS608では、算出部206は、ステップS607で求めた登録補正係数群CE={cE1,cE2,…,cEN}を保持部501に登録する。
In step S608, the
次に、生体情報センサ105が生体情報を取得した人物がゲートの通過を許可されたN人の人物のいずれかに該当するのか否かを判定するために生体認証装置101が行う処理について、図7のフローチャートに従って説明する。
Next, the process performed by the
ステップS701では、取得部201は、生体情報センサ105から出力された対象人物の照合生体情報iSを取得する。ステップS702では、抽出部202は第1の実施形態と同様にして、照合生体情報iSから照合特徴量fSを抽出する。
In step S701, the
ステップS703では、算出部203は、保持部204が保持する登録特徴量群FEと、ステップS702で抽出した照合特徴量fSと、を用いて以下の(式7)に従った演算を行うことで、第一の照合スコア群S1={s11,s12,…,s1N}を算出する。
In step S703, the
ステップS704では、算出部206は、保持部204が保持する登録特徴量群FEと、ステップS702で抽出した照合特徴量fSと、を用いて以下の(式8)に従った演算を行うことで、照合補正係数cSを算出する。
In step S704, the
ここで、kSはcS算出に使用する参照特徴量数を決めるパラメータ、fEj∈FEはFEの中のfS最近傍のkS個の特徴量を表す。 Here, k S is a parameter that determines the number of reference features used in calculating c S , and f Ej ∈F E represents the k S features in F E that are closest to f S.
ステップS705では、補正部207は、保持部501が保持する登録補正係数群CEと、照合補正係数cSと、を用いて以下の(式9)に従って第一の照合スコア群S1を補正して第二の照合スコア群S2={s21,s22,…,s2N}を算出する。
In step S705, the
ステップS607で複数の登録補正係数群CEを算出した場合には、ステップS705では、その中から照合特徴量fSの属性に対応する登録補正係数群CEを選択すれば良い。 When a plurality of registered correction coefficient groups C E are calculated in step S607, a registered correction coefficient group C E corresponding to the attribute of the matching feature f S may be selected from the plurality of registered correction coefficient groups C E in step S705.
ステップS706では、認証部208は、第二の照合スコア群S2に含まれるスコアs21,s22,…,s2Nのそれぞれと、閾値と、の大小比較を行う。
In step S706, the
この大小比較の結果、スコアs21,s22,…,s2Nのうち閾値以上のスコアが1つである場合には、認証部208は、対象人物は「該1つのスコアに対応する人物」であると判断し、「該1つのスコアに対応する人物」を表す情報(画像および/または文字)を映像出力装置103に表示させる。さらに認証部208は、入退管理装置106に含まれる制御装置に対してゲートを開状態にさせるための指示を送信する。
If the result of this magnitude comparison indicates that one of the scores s21 , s22 , ..., s2N is equal to or greater than the threshold value, the
また、この大小比較の結果、スコアs21,s22,…,s2Nのうち閾値以上のスコアが2つ以上である場合には、認証部208は、対象人物は「該2つ以上のスコアのうち最大のスコアに対応する人物」であると判断し、「該2つ以上のスコアのうち最大のスコアに対応する人物」を表す情報(画像および/または文字)を映像出力装置103に表示させる。さらに認証部208は、入退管理装置106に含まれる制御装置に対してゲートを開状態にさせるための指示を送信する。
Furthermore, if the result of this magnitude comparison indicates that two or more of the scores s21 , s22 , ..., s2N are equal to or greater than the threshold value, the
なお、スコアs21,s22,…,s2Nのうち閾値以上のスコアが2つ以上である場合には、認証部208は、「該2つ以上のスコアのそれぞれに対応する人物」を表す情報(画像および/または文字)を映像出力装置103に表示させても良い。この場合、認証部208は、入退管理装置106に含まれる制御装置に対してゲートを開状態にさせるための指示を送信する。
If two or more of the scores s21 , s22 , ..., s2N are equal to or higher than the threshold value, the
また、この大小比較の結果、スコアs21,s22,…,s2Nのうち閾値以上のスコアが存在しなかった場合には、認証部208は、対象人物は「ゲートの通過を許可された人物ではない」と判断し、その旨を示す情報(画像および/または文字)を映像出力装置103に表示させる。さらに認証部208は、入退管理装置106に含まれる制御装置に対してゲートを閉状態にさせるための指示を送信する。
Furthermore, if the result of this magnitude comparison shows that none of the scores s21 , s22 , ..., s2N is equal to or greater than the threshold value, the
このように、本実施形態によれば、登録側は照合側の、照合側は登録側の属性の偏りを考慮した照合スコア補正が行われるようになる。具体的には、第1の実施形態では、2つの補正係数の算出にどちらも参照特徴量群を用いていたが、本実施形態では、照合補正係数の算出に第一の照合スコア群算出の比較対象でもある登録特徴量群を用いる。これにより第1の実施形態以上に照合スコアのばらつきを抑制し、認証精度を向上させることが可能となる。 In this way, according to this embodiment, the registration side corrects the matching score taking into account the bias in the attributes of the matching side, and the matching side corrects the matching score taking into account the bias in the attributes of the registration side. Specifically, in the first embodiment, the reference feature sets were used to calculate the two correction coefficients, but in this embodiment, the registration feature set that is also the comparison target for calculating the first matching score set is used to calculate the matching correction coefficient. This makes it possible to suppress the variation in the matching score more than in the first embodiment and improve authentication accuracy.
[第3の実施形態]
第2の実施形態では、保持部204に予め様々な属性に対応する参照特徴量群を保持させておき、保持部204が保持する参照特徴量群のうち照合特徴量fSに対応する参照特徴量群ΦSと、登録特徴量群FEと、に基づいて登録補正係数群CEを生成していた。
[Third embodiment]
In the second embodiment, reference feature groups corresponding to various attributes are stored in advance in the
これに対し、本実施形態では、登録特徴量群FEから登録補正係数群CEを推定する。これにより、保持部204に予め属性ごとの参照特徴量群を保持させておく必要がなくなり、メモリコストを削減させることができる。
In contrast, in this embodiment, the registered correction coefficient group C E is estimated from the registered feature group F E. This eliminates the need to previously store a reference feature group for each attribute in the
本実施形態に係る生体認証システムでは、登録補正係数CEを予め生成して保持部501に登録しておく。登録補正係数CEを生成して保持部501に登録するために生体認証装置101が行う処理について、図8のフローチャートに従って説明する。図8のフローチャートに従った処理は、例えば、生体認証システムの管理者が入力装置102を操作して登録指示を入力したことに応じて開始される。図8に示した処理ステップのうち、図6に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
In the biometric authentication system according to this embodiment, a registration correction coefficient C E is generated in advance and registered in the
ステップS801では、算出部206は、選択部205が保持部204から取得した登録特徴量群FEから登録補正係数群CEを推定する。本実施形態では、算出部206は、非特許文献1に記載の学習方法と同様の手法を用いて学習した補正係数推定器を用いて、登録特徴量群FEから登録補正係数群CEを推定する。すなわち、算出部206は、抽出部202で使用するニューラルネットワークに対して、その出力(すなわち特徴量)を入力として、生体情報の属性に対応する登録補正係数を推定するモジュール(以降、補正係数推定ヘッド)を新たに用意し、以下の(式10)に示す損失関数を最小化するように学習を行う。これにより、登録時に参照特徴量群を使用することなく、登録補正係数を求めることが可能となる。
In step S801, the
ここで、iは学習に使用する任意の生体情報、M(x)はxをニューラルネットワークに入力したときのニューラルネットワークの出力(すなわち特徴量)、H(x)はxを補正係数推定ヘッドに入力したときの補正係数推定ヘッドの出力(すなわち補正係数)、kLは使用する参照特徴量数を決めるパラメータ、φLj∈ΦLは学習に使用する参照特徴量群ΦLの中のM(i)最近傍のkL個の特徴量を表す。なお、ΦLは、特徴抽出用の学習済みニューラルネットワークを学習する際に使用した学習データの一部または全部からこのニューラルネットワークを用いて抽出した特徴量群とする。もしくは本実施形態のように照合時に入力される生体情報の属性があらかじめ判明している場合には、その属性のデータを集めたものから抽出した特徴量群をΦLとしても良い。 Here, i is any biometric information used for learning, M(x) is the output (i.e., feature) of the neural network when x is input to the neural network, H(x) is the output (i.e., correction coefficient) of the correction coefficient estimation head when x is input to the correction coefficient estimation head, kL is a parameter that determines the number of reference features to be used, and φLj ∈ ΦL is the kL feature values nearest to M(i) in the reference feature group ΦL used for learning. Note that ΦL is a feature group extracted by using the trained neural network for feature extraction from a part or all of the learning data used when training this neural network. Alternatively, when the attribute of the biometric information input during matching is known in advance as in this embodiment, a feature group extracted from a collection of data of the attribute may be used as ΦL .
ステップS801では、算出部206は、このようにして得られた補正係数推定ヘッドを用いて、登録特徴量群FEから、登録生体情報群IEの属性に対応する登録補正係数群CEを推定する。具体的には、登録補正係数群CEの各要素は以下の(式11)によって与えられる。
In step S801, the
ただしこれはあくまで一例であり、ニューラルネットワークの中間層の出力を入力として補正係数推定ヘッドを学習しても良いし、生体情報から補正係数を直接推定する機械学習モデルを用意しても良い。また、補正係数推定ヘッドは登録処理や照合処理において生体情報が入力される度に追加でオンライン学習しても良い。また補正係数推定ヘッド自体を異なる方法で複数学習し、それらによる推定結果を全て保持しておき、スコア補正時にはその中から一つを選択して使用しても良い。本実施形態はこれを限定するものではない。 However, this is merely one example, and the correction coefficient estimation head may be trained using the output of the intermediate layer of the neural network as input, or a machine learning model may be prepared that directly estimates the correction coefficient from biometric information. The correction coefficient estimation head may also be trained online each time biometric information is input in the registration process or matching process. Alternatively, multiple correction coefficient estimation heads may be trained using different methods, and all of the estimation results obtained may be stored, and one of these may be selected and used when correcting the score. This embodiment is not limited to this.
このように、本実施形態によれば、第2の実施形態と同等の補正効果が得られるだけでなく、登録補正係数群の算出を簡略化できるため、計算量やメモリ使用量を削減し、認証速度を向上させることができる。 In this way, according to this embodiment, not only can the same correction effect as the second embodiment be obtained, but the calculation of the registered correction coefficient group can be simplified, thereby reducing the amount of calculation and memory usage and improving the authentication speed.
[第4の実施形態]
上記の各実施形態では、(式2)、(式3)、(式6)、(式8)において参照特徴量群ないし登録特徴量群の中から最近傍k個を選択し、これらを用いて補正係数を算出していたが、他の方法を用いても良い。例えば最近傍k個ではなく参照特徴量群ないし登録特徴量群の全データを用いたり、これらのサンプリング標本データを使用したりしても良い。
[Fourth embodiment]
In the above embodiments, the k nearest neighbors are selected from the reference feature group or the registered feature group in (Formula 2), (Formula 3), (Formula 6), and (Formula 8), and the correction coefficients are calculated using these, but other methods may be used. For example, all data of the reference feature group or the registered feature group may be used instead of the k nearest neighbors, or sample data of these may be used.
また、(式2)、(式3)、(式6)、(式8)では、コサイン類似度の指数をとって非負化して総和した値を補正係数としていたが、他の方法を用いても良い。例えば総和の代わりに平均や重み付き平均、標準偏差等の統計量を用いても良い。 In addition, in (Equation 2), (Equation 3), (Equation 6), and (Equation 8), the exponents of the cosine similarity are taken, made non-negative, and summed up to be used as the correction coefficient, but other methods may be used. For example, instead of the sum, a statistical quantity such as the average, weighted average, or standard deviation may be used.
また、上記の各実施形態では、比較対象の属性に合わせた参照特徴量群を使用するとしたが、実際には入力される生体情報の属性を事前に知り得ない場合もある。このような場合には、選択部205は、「特徴量を入力として属性を推定する属性推定器」を用いて、生体情報の特徴量に対応する属性を推定し、該推定した属性を補正係数算出時に利用するという形態を取ることも可能である。ここで属性推定器は特徴量を入力とするとしたが、生体情報や特徴抽出モデルの中間出力を入力としても良い。また、補正係数算出時に使用する参照特徴量群を属性で決めるのではなく、参照特徴量群の全特徴量の平均値を代表特徴量として予め算出し、選択時には入力された特徴量と代表特徴量を比較し、特徴空間における距離が最も近い参照特徴量群を選択しても良い。ここでは例として平均値を代表特徴量とするとしたが、加重平均やランダムに選択した一つの特徴量を代表特徴量としても良い。
In addition, in each of the above embodiments, a reference feature set that matches the attribute of the comparison target is used, but in reality, there are cases where the attribute of the input biometric information cannot be known in advance. In such a case, the
また、上記の各実施形態では、保持部204は参照特徴量群を「補正係数を算出するための情報群」として保持していたが、代わりに生体情報を「補正係数を算出するための情報群」として保持しても良い。
In addition, in each of the above embodiments, the
また、上記の各実施形態では、生体情報が画像であるケースについて説明したが、生体情報は生体の特徴をより良く示す情報であれば良い。例えば生体情報は、顔データや指紋データ、掌紋データ、静脈データ、声紋データ、虹彩データなどのいずれかまたはそれらの組み合わせなどでも良い。 In addition, in each of the above embodiments, the biometric information is described as an image, but the biometric information may be any information that better indicates the characteristics of a living body. For example, the biometric information may be any one of face data, fingerprint data, palm print data, vein data, voice print data, iris data, etc., or a combination of these.
また、第1の実施形態では、対象人物に係る情報をIDカードを読み取ることで取得したが、他の手法で取得しても良い。例えば、入退管理装置106に対象人物の音声、指紋などの情報を読み取る読み取り装置を設け、該読み取り装置が読み取った情報に対応する生体情報を取得するようにしても良い。
In the first embodiment, information related to the target person is obtained by reading an ID card, but it may be obtained by other methods. For example, the entrance/
また、上記の各実施形態では、生体認証装置101、入退管理装置106、生体情報センサ105はそれぞれ別個の装置であるものとしたが、例えば、生体認証装置101を入退管理装置106と一体化させても良い。また、生体認証装置101を生体情報センサ105と一体化させても良い。このように、生体認証装置101は、生体認証システムに含まれるいずれかの装置を一体化させても良い。
In addition, in each of the above embodiments, the
また、上記の各実施形態では、対象人物がゲートの通過を許可された人物であるか否かを認証して該認証の結果に応じてゲートの開閉を制御するシステムについて説明した。しかし、上記の各実施形態で説明した生体認証装置101の動作は、対象人物の認証を要するシステムであれば、如何なるシステムに適用しても良い。例えば、対象人物が「装置の使用が許可された人物」であるか否かを認証し、対象人物が「装置の使用が許可された人物」であれば該装置の操作を許可するよう制御するシステムに、生体認証装置101を適用しても良い。
In addition, in each of the above embodiments, a system has been described that authenticates whether or not a target person is a person permitted to pass through a gate, and controls the opening and closing of the gate depending on the result of the authentication. However, the operation of the
また、生体認証装置101は、1台のコンピュータ装置で実装しても良いし、複数のコンピュータ装置で実装しても良い。後者の場合、該複数のコンピュータ装置が協調動作を行うことで、生体認証装置101が行う処理として説明した各処理を実施する。
The
また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ(情報)の取得方法/送信先/送信元/格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。 In addition, the numerical values, processing timing, processing order, processing subject, data (information) acquisition method/send destination/send source/storage location, etc. used in each of the above embodiments are given as examples to provide a concrete explanation, and are not intended to be limited to these examples.
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。 Furthermore, any or all of the embodiments described above may be used in appropriate combination.Furthermore, any or all of the embodiments described above may be used selectively.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
本明細書の発明は、以下の情報処理装置、情報処理方法、コンピュータプログラムを含む。
(項目1)
第1生体情報と、第2生体情報と、を取得する第1取得手段と、
前記第1生体情報の特徴量と、前記第2生体情報の特徴量と、前記第1生体情報の属性と、に少なくとも基づいて補正係数を取得する第2取得手段と、
前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいてスコアを求め、該求めたスコアを前記補正係数を用いて補正する補正手段と、
前記補正手段により補正された補正スコアに基づいて認証を行う認証手段と
を備えることを特徴とする情報処理装置。
(項目2)
前記第1取得手段は、
人物を撮像することで得られる撮像画像を前記第1生体情報として取得し、
前記人物の情報と対応付けて予め登録されている該人物の顔画像を前記第2生体情報として取得する
ことを特徴とする項目1に記載の情報処理装置。
(項目3)
前記第2取得手段は、
前記第1生体情報の特徴量と、複数の属性のそれぞれについて予め収集した参照特徴量群のうち前記第2生体情報の属性に対応する第1参照特徴量群と、に基づいて第1補正係数を求め、
前記第2生体情報の特徴量と、複数の属性のそれぞれについて予め収集した参照特徴量群のうち前記第1生体情報の属性に対応する第2参照特徴量群と、に基づいて第2補正係数を求める
ことを特徴とする項目1または2に記載の情報処理装置。
(項目4)
前記第1取得手段は、
人物を撮像することで得られる撮像画像を前記第1生体情報として取得し、
予め登録されている複数の顔画像を前記第2生体情報として取得する
ことを特徴とする項目1に記載の情報処理装置。
(項目5)
前記第2取得手段は、
複数の属性のそれぞれについて予め収集した参照特徴量群のうち前記第1生体情報の属性に対応する第1参照特徴量群と前記第2生体情報の特徴量とに基づいて第1補正係数を求め、
前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいて第2補正係数を求める
ことを特徴とする項目1または4に記載の情報処理装置。
(項目6)
前記第2取得手段は、
前記第2生体情報の特徴量に基づいて、前記第1生体情報の属性に対応する第1補正係数を求め、
前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいて第2補正係数を求める
ことを特徴とする項目1に記載の情報処理装置。
(項目7)
前記第2取得手段は、前記第1生体情報の特徴量から該第1生体情報に対応する属性を推定することを特徴とする項目1ないし6のいずれか1項目に記載の情報処理装置。
(項目8)
前記補正手段は、前記スコアを前記第1補正係数と前記第2補正係数とを用いて補正することを特徴とする項目3,5,6のいずれか1項目に記載の情報処理装置。
(項目9)
前記補正手段は、前記第1補正係数と前記第2補正係数とのスケール差を埋めるためのパラメータを用いて前記スコアを補正することを特徴とする項目8に記載の情報処理装置。
(項目10)
前記属性は、人種、性別、年齢、顔の向き、表情、照明条件、装着物の有無を含む情報に関する偏りの傾向であることを特徴とする項目1ないし9のいずれか1項目に記載の情報処理装置。
(項目11)
さらに、
前記認証手段による認証の結果を、ゲートの開閉を制御する制御装置に対して送信する送信手段を備えることを特徴とする項目1ないし10のいずれか1項目に記載の情報処理装置。
(項目12)
情報処理装置が行う情報処理方法であって、
前記情報処理装置の第1取得手段が、第1生体情報と、第2生体情報と、を取得する第1取得工程と、
前記情報処理装置の第2取得手段が、前記第1生体情報の特徴量と、前記第2生体情報の特徴量と、前記第1生体情報の属性と、に少なくとも基づいて補正係数を取得する第2取得工程と、
前記情報処理装置の補正手段が、前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいてスコアを求め、該求めたスコアを前記補正係数を用いて補正する補正工程と、
前記情報処理装置の認証手段が、前記補正工程で補正された補正スコアに基づいて認証を行う認証工程と
を備えることを特徴とする情報処理方法。
(項目13)
コンピュータを、項目1ないし11のいずれか1項目に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
The invention of this specification includes the following information processing device, information processing method, and computer program.
(Item 1)
A first acquisition means for acquiring first biometric information and second biometric information;
a second acquisition means for acquiring a correction coefficient based on at least a feature amount of the first biometric information, a feature amount of the second biometric information, and an attribute of the first biometric information;
a correction means for calculating a score based on the feature amount of the first biometric information and the feature amount of the second biometric information, and correcting the calculated score using the correction coefficient;
and an authentication unit that performs authentication based on the corrected score corrected by the correction unit.
(Item 2)
The first acquisition means is
acquiring a captured image obtained by capturing an image of a person as the first biometric information;
2. The information processing apparatus according to item 1, further comprising: acquiring, as the second biometric information, a face image of the person that is registered in advance in association with information about the person.
(Item 3)
The second acquisition means is
determining a first correction coefficient based on the feature amount of the first biometric information and a first reference feature amount group corresponding to the attribute of the second biometric information among a reference feature amount group previously collected for each of a plurality of attributes;
3. The information processing apparatus according to item 1 or 2, characterized in that a second correction coefficient is calculated based on the feature of the second biometric information and a second reference feature group corresponding to the attribute of the first biometric information from among a reference feature group previously collected for each of a plurality of attributes.
(Item 4)
The first acquisition means is
acquiring a captured image obtained by capturing an image of a person as the first biometric information;
2. The information processing apparatus according to item 1, further comprising: acquiring a plurality of pre-registered face images as the second biometric information.
(Item 5)
The second acquisition means is
determining a first correction coefficient based on a first reference feature group corresponding to an attribute of the first biometric information from among a reference feature group previously collected for each of a plurality of attributes and the feature amount of the second biometric information;
5. The information processing apparatus according to item 1 or 4, further comprising: determining a second correction coefficient based on a feature amount of the first biometric information and a feature amount of the second biometric information.
(Item 6)
The second acquisition means is
determining a first correction coefficient corresponding to an attribute of the first biometric information based on a feature amount of the second biometric information;
2. The information processing apparatus according to item 1, further comprising: a second correction coefficient calculated based on a feature amount of the first biometric information and a feature amount of the second biometric information.
(Item 7)
7. The information processing apparatus according to any one of items 1 to 6, wherein the second acquisition means estimates an attribute corresponding to the first biometric information from a feature amount of the first biometric information.
(Item 8)
7. The information processing device according to any one of items 3, 5, and 6, wherein the correction means corrects the score using the first correction coefficient and the second correction coefficient.
(Item 9)
9. The information processing device according to item 8, wherein the correction means corrects the score using a parameter for filling a scale difference between the first correction coefficient and the second correction coefficient.
(Item 10)
10. The information processing device according to any one of items 1 to 9, wherein the attributes are tendencies of bias regarding information including race, sex, age, face direction, facial expression, lighting conditions, and the presence or absence of clothing.
(Item 11)
moreover,
11. The information processing apparatus according to any one of items 1 to 10, further comprising a transmitting means for transmitting a result of authentication by the authenticating means to a control device that controls opening and closing of a gate.
(Item 12)
An information processing method performed by an information processing device,
a first acquisition step in which a first acquisition means of the information processing device acquires first biometric information and second biometric information;
a second acquisition step in which a second acquisition means of the information processing device acquires a correction coefficient based on at least a feature amount of the first biometric information, a feature amount of the second biometric information, and an attribute of the first biometric information;
a correction step in which a correction means of the information processing device calculates a score based on the feature amount of the first biometric information and the feature amount of the second biometric information, and corrects the calculated score using the correction coefficient;
an authentication step in which an authentication means of the information processing device performs authentication based on the corrected score corrected in the correction step.
(Item 13)
12. A computer program for causing a computer to function as each of the means of the information processing device according to any one of items 1 to 11.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above-described embodiment, and various modifications and variations are possible without departing from the spirit and scope of the invention. Therefore, the following claims are appended to disclose the scope of the invention.
201:取得部 202:抽出部 203:算出部 204:保持部 205:選択部 206:算出部 207:補正部 208:認証部 201: Acquisition unit 202: Extraction unit 203: Calculation unit 204: Storage unit 205: Selection unit 206: Calculation unit 207: Correction unit 208: Authentication unit
Claims (13)
前記第1生体情報の特徴量と、前記第2生体情報の特徴量と、前記第1生体情報の属性と、に少なくとも基づいて補正係数を取得する第2取得手段と、
前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいてスコアを求め、該求めたスコアを前記補正係数を用いて補正する補正手段と、
前記補正手段により補正された補正スコアに基づいて認証を行う認証手段と
を備えることを特徴とする情報処理装置。 A first acquisition means for acquiring first biometric information and second biometric information;
a second acquisition means for acquiring a correction coefficient based on at least a feature amount of the first biometric information, a feature amount of the second biometric information, and an attribute of the first biometric information;
a correction means for calculating a score based on the feature amount of the first biometric information and the feature amount of the second biometric information, and correcting the calculated score using the correction coefficient;
and an authentication unit that performs authentication based on the corrected score corrected by the correction unit.
人物を撮像することで得られる撮像画像を前記第1生体情報として取得し、
前記人物の情報と対応付けて予め登録されている該人物の顔画像を前記第2生体情報として取得する
ことを特徴とする請求項1に記載の情報処理装置。 The first acquisition means is
acquiring a captured image obtained by capturing an image of a person as the first biometric information;
The information processing apparatus according to claim 1 , further comprising: acquiring, as the second biometric information, a face image of the person that is registered in advance in association with the information of the person.
前記第1生体情報の特徴量と、複数の属性のそれぞれについて予め収集した参照特徴量群のうち前記第2生体情報の属性に対応する第1参照特徴量群と、に基づいて第1補正係数を求め、
前記第2生体情報の特徴量と、複数の属性のそれぞれについて予め収集した参照特徴量群のうち前記第1生体情報の属性に対応する第2参照特徴量群と、に基づいて第2補正係数を求める
ことを特徴とする請求項1に記載の情報処理装置。 The second acquisition means is
determining a first correction coefficient based on the feature amount of the first biometric information and a first reference feature amount group corresponding to the attribute of the second biometric information among a reference feature amount group previously collected for each of a plurality of attributes;
The information processing device according to claim 1, further comprising: a processor configured to calculate a second correction coefficient based on the feature of the second biometric information and a second reference feature group corresponding to the attribute of the first biometric information from among a group of reference features previously collected for each of a plurality of attributes.
人物を撮像することで得られる撮像画像を前記第1生体情報として取得し、
予め登録されている複数の顔画像を前記第2生体情報として取得する
ことを特徴とする請求項1に記載の情報処理装置。 The first acquisition means is
acquiring a captured image obtained by capturing an image of a person as the first biometric information;
The information processing apparatus according to claim 1 , further comprising: acquiring a plurality of pre-registered face images as the second biometric information.
複数の属性のそれぞれについて予め収集した参照特徴量群のうち前記第1生体情報の属性に対応する第1参照特徴量群と前記第2生体情報の特徴量とに基づいて第1補正係数を求め、
前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいて第2補正係数を求める
ことを特徴とする請求項1に記載の情報処理装置。 The second acquisition means is
determining a first correction coefficient based on a first reference feature group corresponding to an attribute of the first biometric information from among a reference feature group previously collected for each of a plurality of attributes and the feature amount of the second biometric information;
The information processing apparatus according to claim 1 , further comprising: a second correction coefficient calculated based on a feature amount of the first biometric information and a feature amount of the second biometric information.
前記第2生体情報の特徴量に基づいて、前記第1生体情報の属性に対応する第1補正係数を求め、
前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいて第2補正係数を求める
ことを特徴とする請求項1に記載の情報処理装置。 The second acquisition means is
determining a first correction coefficient corresponding to an attribute of the first biometric information based on a feature amount of the second biometric information;
The information processing apparatus according to claim 1 , further comprising: a second correction coefficient calculated based on a feature amount of the first biometric information and a feature amount of the second biometric information.
前記認証手段による認証の結果を、ゲートの開閉を制御する制御装置に対して送信する送信手段を備えることを特徴とする請求項1に記載の情報処理装置。 moreover,
2. The information processing apparatus according to claim 1, further comprising a transmitting means for transmitting a result of authentication by said authenticating means to a control device that controls opening and closing of a gate.
前記情報処理装置の第1取得手段が、第1生体情報と、第2生体情報と、を取得する第1取得工程と、
前記情報処理装置の第2取得手段が、前記第1生体情報の特徴量と、前記第2生体情報の特徴量と、前記第1生体情報の属性と、に少なくとも基づいて補正係数を取得する第2取得工程と、
前記情報処理装置の補正手段が、前記第1生体情報の特徴量と前記第2生体情報の特徴量とに基づいてスコアを求め、該求めたスコアを前記補正係数を用いて補正する補正工程と、
前記情報処理装置の認証手段が、前記補正工程で補正された補正スコアに基づいて認証を行う認証工程と
を備えることを特徴とする情報処理方法。 An information processing method performed by an information processing device,
a first acquisition step in which a first acquisition means of the information processing device acquires first biometric information and second biometric information;
a second acquisition step in which a second acquisition means of the information processing device acquires a correction coefficient based on at least a feature amount of the first biometric information, a feature amount of the second biometric information, and an attribute of the first biometric information;
a correction step in which a correction means of the information processing device calculates a score based on the feature amount of the first biometric information and the feature amount of the second biometric information, and corrects the calculated score using the correction coefficient;
an authentication step in which an authentication means of the information processing device performs authentication based on the corrected score corrected in the correction step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022207244A JP2024090999A (en) | 2022-12-23 | 2022-12-23 | Information processing device, information processing method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022207244A JP2024090999A (en) | 2022-12-23 | 2022-12-23 | Information processing device, information processing method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024090999A true JP2024090999A (en) | 2024-07-04 |
Family
ID=91715498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022207244A Pending JP2024090999A (en) | 2022-12-23 | 2022-12-23 | Information processing device, information processing method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024090999A (en) |
-
2022
- 2022-12-23 JP JP2022207244A patent/JP2024090999A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Han et al. | Demographic estimation from face images: Human vs. machine performance | |
JP5286297B2 (en) | Biometric authentication system | |
Nguyen et al. | Generating master faces for use in performing wolf attacks on face recognition systems | |
Haji et al. | Real time face recognition system (RTFRS) | |
Oza et al. | Federated learning-based active authentication on mobile devices | |
Terhörst et al. | Deep and multi-algorithmic gender classification of single fingerprint minutiae | |
Delgado-Santos et al. | M-GaitFormer: Mobile biometric gait verification using Transformers | |
TW202125323A (en) | Processing method of learning face recognition by artificial intelligence module | |
TWI325568B (en) | A method for face varification | |
Perwej | An Empirical Investigation of Human Identity Verification Methods | |
Bartuzi et al. | Mobibits: Multimodal mobile biometric database | |
Surantha et al. | Lightweight face recognition-based portable attendance system with liveness detection | |
Fernandez | Biometric sample quality and its application to multimodal authentication systems | |
JP2024090999A (en) | Information processing device, information processing method, and computer program | |
Kao et al. | Personal based authentication by face recognition | |
CN112528140A (en) | Information recommendation method, device, equipment, system and storage medium | |
Shyam et al. | Automatic face recognition in digital world | |
Nagila et al. | Advanced Face Recognition for Controlling Crime Using PCA | |
JP6891633B2 (en) | Face recognition device, face recognition method, and program | |
Samatha et al. | Securesense: Enhancing person verification through multimodal biometrics for robust authentication | |
Grabovskyi et al. | Facial recognition with using of the microsoft face API Service | |
JP2016018406A (en) | Authentication apparatus, authentication method, and program | |
WO2023188332A1 (en) | Person identification device, person identification method, and person identification program | |
WO2021192249A1 (en) | Degree of similarity calculator, verification system, degree of similarity calculation method, degree of similarity calculation program, and method for generating degree of similarity calculation program | |
Reid | Human identification using soft biometrics |