JP6714634B2 - 照合装置及び照合方法 - Google Patents
照合装置及び照合方法 Download PDFInfo
- Publication number
- JP6714634B2 JP6714634B2 JP2018064861A JP2018064861A JP6714634B2 JP 6714634 B2 JP6714634 B2 JP 6714634B2 JP 2018064861 A JP2018064861 A JP 2018064861A JP 2018064861 A JP2018064861 A JP 2018064861A JP 6714634 B2 JP6714634 B2 JP 6714634B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- detection target
- characteristic information
- similarity
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、予め登録された検知対象人物と照合対象の被照合人物とを照合する照合装置及び照合方法に関する。
予め登録された検知対象人物と照合対象の被照合人物とを照合する技術として、検知対象人物と被照合人物の特徴情報の類似度に基づいて照合する照合装置が知られている。
例えば特許文献１では、撮像部で取得された入力画像から取得した利用者の顔画像（入力顔画像）と、予め記憶されている登録顔画像との類似度を求め、類似度が所定の照合閾値を越えている場合には、入力顔画像の人物は登録顔画像の人物に一致すると判定する。
例えば特許文献１では、撮像部で取得された入力画像から取得した利用者の顔画像（入力顔画像）と、予め記憶されている登録顔画像との類似度を求め、類似度が所定の照合閾値を越えている場合には、入力顔画像の人物は登録顔画像の人物に一致すると判定する。
しかしながら、被照合人物と検知対象人物との間の特徴情報の類似度は、人物特有の特徴だけでなく様々な要因によっても変化する。
例えば特許文献１の場合には、人物の向き、表情、環境光、画像解像度などの撮影条件が類似度に影響を及ぼす。このため、検知対象人物の登録顔画像と被照合人物の入力顔画像との撮影条件が類似している場合に合わせて照合閾値を設定すると、照合閾値が過大になり本人拒否エラーの原因となる。撮影条件が大きく異なる場合に合わせて設定すると、照合閾値が過小になり他人受入エラーの原因となる。
例えば特許文献１の場合には、人物の向き、表情、環境光、画像解像度などの撮影条件が類似度に影響を及ぼす。このため、検知対象人物の登録顔画像と被照合人物の入力顔画像との撮影条件が類似している場合に合わせて照合閾値を設定すると、照合閾値が過大になり本人拒否エラーの原因となる。撮影条件が大きく異なる場合に合わせて設定すると、照合閾値が過小になり他人受入エラーの原因となる。
このように特徴情報の類似度は様々な要因の影響を受けるため、固定的に照合閾値を設定することは困難であった。
本発明は、上記のような問題点に着目してなされたもので、固定的な照合閾値に依存せずに検知対象人物と被照合人物との照合を可能にすることを目的とする。
本発明は、上記のような問題点に着目してなされたもので、固定的な照合閾値に依存せずに検知対象人物と被照合人物との照合を可能にすることを目的とする。
本発明の一形態によれば、被照合人物の人物特徴情報が入力されて、被照合人物と検知対象人物とを照合する照合装置が与えられる。
この照合装置は、検知対象人物の人物特徴情報と、検知対象人物とは異なる非検知対象人物の人物特徴情報とを登録特徴情報として記憶する記憶部と、被照合人物の人物特徴情報と登録特徴情報との間の類似度を各々算出する類似度算出部と、類似度算出部により算出された類似度のうち、被照合人物の人物特徴情報と検知対象人物の人物特徴情報との間の類似度が最大であるとき、最大の類似度が算出された検知対象人物と被照合人物とが一致すると判定し、被照合人物の人物特徴情報と非検知対象人物の人物特徴情報との間の類似度が最大であるとき、被照合人物は検知対象人物に一致しないと判定する照合部とを備える。
なお、人物特徴情報は、外見特徴情報でもよく外見特徴情報以外の生体情報（例えば声紋など）であってもよい。
この照合装置は、検知対象人物の人物特徴情報と、検知対象人物とは異なる非検知対象人物の人物特徴情報とを登録特徴情報として記憶する記憶部と、被照合人物の人物特徴情報と登録特徴情報との間の類似度を各々算出する類似度算出部と、類似度算出部により算出された類似度のうち、被照合人物の人物特徴情報と検知対象人物の人物特徴情報との間の類似度が最大であるとき、最大の類似度が算出された検知対象人物と被照合人物とが一致すると判定し、被照合人物の人物特徴情報と非検知対象人物の人物特徴情報との間の類似度が最大であるとき、被照合人物は検知対象人物に一致しないと判定する照合部とを備える。
なお、人物特徴情報は、外見特徴情報でもよく外見特徴情報以外の生体情報（例えば声紋など）であってもよい。
本発明によれば、固定的な照合閾値に依存せずに検知対象人物と被照合人物との照合が可能になる。
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
（特定人物検知システムの構成）
図１を参照する。特定人物検知システム１は、予め登録された検知対象人物と照合対象の被照合人物の外見特徴情報の類似度に基づいて検知対象人物と被照合人物とを照合する。本明細書では、外見特徴情報として顔画像の特徴量情報を使用するが本発明はこれに限定されない。外見特徴情報は顔画像そのものであってもよい。
また、外見特徴情報は、個々の人物の固有の特徴を表す情報であればよく、顔に限られず人物の外見的特徴を表す情報でよい。例えば、外見特徴情報は、全身を表す画像や、顔以外の身体の一部分（例えば上半身など）を表す画像、又は歩容を表す画像などの生体情報であってもよく、それらの特徴量情報であってもよい。また外見特徴情報は、生体情報以外の人物の身体的特徴を表す情報であってもよく、服装を表す画像などの着衣状態の外見的特徴を表す情報であってもよい。また、外見的特徴情報は、指紋や虹彩を表す画像などの生体情報や、それらの特徴量情報を用いてもよい。
図１を参照する。特定人物検知システム１は、予め登録された検知対象人物と照合対象の被照合人物の外見特徴情報の類似度に基づいて検知対象人物と被照合人物とを照合する。本明細書では、外見特徴情報として顔画像の特徴量情報を使用するが本発明はこれに限定されない。外見特徴情報は顔画像そのものであってもよい。
また、外見特徴情報は、個々の人物の固有の特徴を表す情報であればよく、顔に限られず人物の外見的特徴を表す情報でよい。例えば、外見特徴情報は、全身を表す画像や、顔以外の身体の一部分（例えば上半身など）を表す画像、又は歩容を表す画像などの生体情報であってもよく、それらの特徴量情報であってもよい。また外見特徴情報は、生体情報以外の人物の身体的特徴を表す情報であってもよく、服装を表す画像などの着衣状態の外見的特徴を表す情報であってもよい。また、外見的特徴情報は、指紋や虹彩を表す画像などの生体情報や、それらの特徴量情報を用いてもよい。
さらに上述した外見特徴情報に代わり、声紋などの生体情報やその特徴量情報を用いてもよい。本発明では、外見特徴情報や外見特徴情報以外の生体情報を総じて「人物特徴情報」と称する。
特定人物検知システム１は、撮影装置２と、本発明の実施形態に係る照合装置の一例である顔画像照合装置３とを備える。
撮影装置２は、顔画像照合装置３により照合される被照合人物１００の顔を撮影する。例えば、撮影装置２は、所定の領域を監視する目的で設置され、監視対象領域内に滞在する人物の顔を撮影できる位置に取り付けられる。
撮影装置２は、従来の監視カメラのように監視対象領域に固定されてもよく、警備員等の人間が装着するウェアラブルカメラであってもよい。撮影装置２は、撮影した監視画像を顔画像照合装置３へ送信する。
撮影装置２は、顔画像照合装置３により照合される被照合人物１００の顔を撮影する。例えば、撮影装置２は、所定の領域を監視する目的で設置され、監視対象領域内に滞在する人物の顔を撮影できる位置に取り付けられる。
撮影装置２は、従来の監視カメラのように監視対象領域に固定されてもよく、警備員等の人間が装着するウェアラブルカメラであってもよい。撮影装置２は、撮影した監視画像を顔画像照合装置３へ送信する。
顔画像照合装置３は、撮影装置２が撮影した監視画像に映る被照合人物１００を予め登録した検知対象人物と照合する情報処理装置である。顔画像照合装置３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のプロセッサや、その周辺回路、メモリなどの主記憶装置、ディスクドライブなどの補助記憶装置、各端子などを有するコンピュータであってよい。
また、汎用の半導体集積回路中に設定される機能的な論理回路で、顔画像照合装置３の一部又は全ての機能を実現してもよい。例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等により、顔画像照合装置３の一部又は全ての機能を実現してもよい。
顔画像照合装置３は、撮影装置２が撮影した監視画像を受信し、顔画像照合によって監視画像に映る被照合人物１００が検知対象人物であるか否かを判定し、被照合人物１００が検知対象人物である場合には、この検知対象人物の情報を報知する。
顔照合において、顔画像照合装置３は、撮影装置２が撮影した被照合人物１００の顔画像と予め記憶されている検知対象人物の顔画像との間の類似度を算出する。
顔照合において、顔画像照合装置３は、撮影装置２が撮影した被照合人物１００の顔画像と予め記憶されている検知対象人物の顔画像との間の類似度を算出する。
ここで、算出される類似度には、画像に映る人物の個人性だけでなく、人物の向き、表情、環境光、解像度などの撮影条件の類似性が反映される。すなわち、被照合人物１００と検知対象人物とが同一人物であっても、検知対象人物の顔画像を撮影した際の撮影条件と撮影装置２の撮影条件が異なると、算出される類似度が変化する場合がある。
例えば、デジタルカメラにより屋内撮影した高品質の画像が検知対象人物の画像として登録されているケースを想定する。
このとき、同様の撮影条件により撮影した被照合人物１００の入力画像と検知対象人物の登録画像とを比較する場合と、屋外設置された監視カメラにより撮影した低品質の入力画像と検知対象人物の登録画像とを比較する場合とでは、前者の撮影条件の類似性の方が高いために画像間の類似度が高くなり易い。
このとき、同様の撮影条件により撮影した被照合人物１００の入力画像と検知対象人物の登録画像とを比較する場合と、屋外設置された監視カメラにより撮影した低品質の入力画像と検知対象人物の登録画像とを比較する場合とでは、前者の撮影条件の類似性の方が高いために画像間の類似度が高くなり易い。
したがって、前者の撮影条件の入力画像の場合に合わせて照合閾値を設定し、後者の撮影条件の入力画像を用いて照合すると本人拒否エラーが起きやすくなるという問題があった。また、後者の撮影条件の入力画像の場合に合わせて照合閾値を設定し、前者の撮影条件の入力画像を用いて照合すると他人受入エラーが起きやすくなるという問題があった。
このように、固定的な照合閾値の設定は、類似度のバラつきにより困難になっていた。
このように、固定的な照合閾値の設定は、類似度のバラつきにより困難になっていた。
そこで本実施形態の顔画像照合装置３は、検知対象人物の外見特徴情報だけでなく、検知対象人物とは異なる非検知対象人物（すなわち、検知対象でない人物）の外見特徴情報も予め登録する。例えば顔画像照合装置３は、外見特徴情報として、検知対象人物及び非検知対象人物の顔画像の画像特徴量を所定の記憶装置に記憶する。
以下、検知対象人物及び非検知対象人物の顔画像を、それぞれ「検知対象人物画像」及び「非検知対象人物画像」と表記する。
以下、検知対象人物及び非検知対象人物の顔画像を、それぞれ「検知対象人物画像」及び「非検知対象人物画像」と表記する。
また、検知対象人物画像及び非検知対象人物画像の画像特徴量を、それぞれ「検知対象画像特徴量」及び「非検知対象画像特徴量」と表記する。検知対象画像特徴量及び非検知対象画像特徴量は、それぞれ特許請求の範囲に記載の検知対象人物及び非検知対象人物の人物特徴情報の一例である。
所定の記憶装置に登録された検知対象画像特徴量及び非検知対象画像特徴量を、「登録画像特徴量」と表記する。登録画像特徴量は、特許請求の範囲に記載の登録特徴情報の一例である。
所定の記憶装置に登録された検知対象画像特徴量及び非検知対象画像特徴量を、「登録画像特徴量」と表記する。登録画像特徴量は、特許請求の範囲に記載の登録特徴情報の一例である。
顔画像照合装置３は、撮影装置２が撮影した監視画像から被照合人物１００の顔領域画像を抽出する。以下、被照合人物１００の顔領域画像を「被照合画像」と表記する。顔画像照合装置３は、被照合画像の画像特徴量を算出する。被照合画像の画像特徴量は、特許請求の範囲に記載の被照合人物の人物特徴情報の一例である。
顔画像照合装置３は、被照合画像の画像特徴量との間の類似度が最も大きい登録画像特徴量が検知対象画像特徴量であるとき、当該検知対象画像特徴量に対応する検知対象人物と被照合人物１００とが一致すると判定する。
一方、類似度が最も大きい登録画像特徴量が非検知対象画像特徴量である場合は、被照合人物１００の画像が登録されていないと判定する。例えば、顔画像照合装置３は、どんなに高い類似度を示している検知対象画像特徴量及び非検知対象画像特徴量が存在していても、これらに対応する検知対象人物及び非検知対象人物と被照合人物１００とが一致すると判定することなく、被照合人物１００に対する照合を棄却する。
顔画像照合装置３は、被照合画像の画像特徴量との間の類似度が最も大きい登録画像特徴量が検知対象画像特徴量であるとき、当該検知対象画像特徴量に対応する検知対象人物と被照合人物１００とが一致すると判定する。
一方、類似度が最も大きい登録画像特徴量が非検知対象画像特徴量である場合は、被照合人物１００の画像が登録されていないと判定する。例えば、顔画像照合装置３は、どんなに高い類似度を示している検知対象画像特徴量及び非検知対象画像特徴量が存在していても、これらに対応する検知対象人物及び非検知対象人物と被照合人物１００とが一致すると判定することなく、被照合人物１００に対する照合を棄却する。
いま、被照合画像ｉｍと検知対象人物画像との類似度が最大になる確率をｐｄ（ｉｍ）と表記し、被照合画像ｉｍと非検知対象人物画像との類似度が最大になる確率をｐｉ（ｉｍ）と表記する。両者の関係はｐｄ（ｉｍ）＝１−ｐｉ（ｉｍ）となる。よって、検知対象人物の画像集合をＤとすると、検知対象人物以外の顔画像
と検知対象人物画像との類似度が最大となる確率
の期待値
は、非検知対象人物画像との類似度が最大となる確率
の期待値
を用いて次式で表される。
ここで、記憶装置に登録されている登録画像特徴量のうち、検知対象画像特徴量の数（または検知対象人物の人数）をＮとし、非検知対象画像特徴量の数（または非検知対象人物の人数）をＭとすると、Ｎが固定であればＭが小さいほど期待値Ｅｉが小さくなり、検知対象人物以外の人物を検知対象人物として誤認する確率の期待値Ｅｄが大きくなる。一方で、Ｍが大きくなるほど期待値Ｅｉが大きくなり、検知対象人物以外の人物を検知対象人物として誤認する確率の期待値Ｅｄが小さくなる。
したがって、検知対象画像特徴量の数Ｎに対して十分に多くの数Ｍの非検知対象画像特徴量を登録することによって、検知対象人物以外の人物を検知対象人物として誤認する確率を十分に小さくすることができる。
これによって、固定的に設定された照合閾値に依存することなく被照合人物１００と検知対象人物とを照合することができ、固定的に照合閾値を決めることが困難な場合であっても照合が可能になる。
これによって、固定的に設定された照合閾値に依存することなく被照合人物１００と検知対象人物とを照合することができ、固定的に照合閾値を決めることが困難な場合であっても照合が可能になる。
図２を参照する。顔画像照合装置３は、顔画像特徴量算出部３１と、顔画像照合部３２と、顔画像登録部３３と、記憶部３４と、報知部３５を備える。顔画像照合装置３は、例えば半導体メモリ、磁気ディスク（ＨＤＤ）などの記憶部３４に格納されたコンピュータプログラムをプロセッサで実行することにより、顔画像特徴量算出部３１、顔画像照合部３２、顔画像登録部３３、及び報知部３５の機能を実現してよい。
また、顔画像照合装置３は、検知対象人物及び非検知対象人物の登録画像特徴量を記憶部３４に登録してよい。
また、顔画像照合装置３は、検知対象人物及び非検知対象人物の登録画像特徴量を記憶部３４に登録してよい。
顔画像特徴量算出部３１は、入力画像に映る人物の顔領域画像を抽出する顔領域検出部３１０と、この顔領域画像から画像特徴量を算出する特徴量算出部３１１を備える。
入力画像が入力されると、顔画像特徴量算出部３１は、この入力画像から検出された顔領域画像と、この顔領域画像から算出された画像特徴量とを関連付けて出力する。なお、顔領域画像に代えて顔領域画像の入力画像における位置情報を出力する構成にしてもよい。
入力画像が入力されると、顔画像特徴量算出部３１は、この入力画像から検出された顔領域画像と、この顔領域画像から算出された画像特徴量とを関連付けて出力する。なお、顔領域画像に代えて顔領域画像の入力画像における位置情報を出力する構成にしてもよい。
顔領域検出部３１０は、入力画像から人物の顔領域画像を抽出して特徴量算出部３１１に出力する。顔領域画像の抽出方法については公知の方法を採用できる。例えば、顔画像を学習した識別器と呼ばれるフィルタにて抽出する方法や、入力画像の二値化エッジ画像を生成し、このエッジ画像において顔の形状である楕円形状を検出する方法などを採用すればよい。
特徴量算出部３１１は、顔領域検出部３１０が出力した顔領域画像の画像特徴量を算出する。画像特徴量は、顔画像照合に用いられる。顔画像照合に用いる画像特徴量の算出については、例えばLBP(Local Binary Pattern)など様々な公知の方法が利用できる。
特徴量算出部３１１は、顔領域検出部３１０が出力した顔領域画像の画像特徴量を算出する。画像特徴量は、顔画像照合に用いられる。顔画像照合に用いる画像特徴量の算出については、例えばLBP(Local Binary Pattern)など様々な公知の方法が利用できる。
顔画像照合部３２は、撮影装置２から入力される監視画像に映る各被照合人物１００のそれぞれについて顔画像照合用の入力画像特徴量を算出する入力画像特徴量算出部３２１と、これら被照合人物１００の入力画像特徴量と記憶部３４に格納された全ての登録画像特徴量との類似度情報を算出する類似度算出部３２２と、類似度算出部３２２が算出した類似度情報に基づき、監視画像に映る被照合人物１００が検知対象人物であるか否かを判定する照合部３２３を備える。
入力画像特徴量算出部３２１は、監視画像を顔画像特徴量算出部３１に入力し、この監視画像に映る各被照合人物１００について顔画像照合用の画像特徴量を顔画像特徴量算出部３１に算出させる。入力画像特徴量算出部３２１は、顔画像特徴量算出部３１から出力された被照合人物１００の顔領域画像の画像特徴量を、入力画像特徴量として類似度算出部３２２に出力する。入力画像特徴量は、１つの監視画像につき、監視画像から検出される顔領域画像の数と同じ数だけ出力される。
類似度算出部３２２は、入力画像特徴量算出部３２１が出力した全ての入力画像特徴量と、記憶部３４に格納されている全ての登録画像特徴量との間で類似度を算出する。画像特徴量の類似度の算出については、例えば、ベクトル表現された画像特徴量であれば、正規化相関やＬ２距離の逆数等、種々様々な公知の方法が利用できる。
類似度算出部３２２は、算出した類似度情報を含んだ類似度情報を入力画像特徴量ごとに生成し、類似度情報を照合部３２３に出力する。
類似度算出部３２２は、算出した類似度情報を含んだ類似度情報を入力画像特徴量ごとに生成し、類似度情報を照合部３２３に出力する。
図３を参照する。類似度算出部３２２が出力する類似度情報３５０は、登録画像特徴量の識別子３５１と、入力画像特徴量と登録画像特徴量の類似度３５２と、類似度の算出に用いた登録画像特徴量が、検知対象画像特徴量および非検知対象画像特徴量のいずれであったかを示すラベル３５３を含み、これらを関連付けるデータ構造を有する。ラベル３５３の値「Ｙｅｓ」は、登録画像特徴量が検知対象画像特徴量であることを示し、値「Ｎｏ」は、登録画像特徴量が非検知対象画像特徴量であることを示す。
類似度情報３５０は、入力画像特徴量の数と同数出力され、また、各類似度情報に含まれる行数は、記憶部３４に格納される登録画像特徴量の数に等しい。
類似度情報３５０は、入力画像特徴量の数と同数出力され、また、各類似度情報に含まれる行数は、記憶部３４に格納される登録画像特徴量の数に等しい。
図２を参照する。照合部３２３は、類似度算出部３２２が出力した類似度情報３５０に基づき、監視画像に映る被照合人物１００が検知対象人物であるか否かを判定し、判定結果を報知部３５に出力する。
図３を参照する。照合部３２３は、まず類似度算出部３２２が出力した類似度情報３５０に含まれる類似度３５２を参照し、類似度３５２が最大となる行３５４を探索する。次に行３５４のラベル３５３を参照し、類似度が最大となった登録画像特徴量が、検知対象画像特徴量および非検知対象画像特徴量のいずれであるかを調べる。
図３を参照する。照合部３２３は、まず類似度算出部３２２が出力した類似度情報３５０に含まれる類似度３５２を参照し、類似度３５２が最大となる行３５４を探索する。次に行３５４のラベル３５３を参照し、類似度が最大となった登録画像特徴量が、検知対象画像特徴量および非検知対象画像特徴量のいずれであるかを調べる。
照合部３２３は、類似度が最大となった登録画像特徴量が検知対象画像特徴量であった場合に限り、類似度が最大となった検知対象画像特徴量の検知対象人物と被照合人物１００とが一致すると判定する。照合部３２３は、列３５１を参照し、類似度が最大となった登録画像特徴量の識別子を報知部３５に出力する。
報知部３５への出力に際して、登録画像特徴量の識別子とあわせて、この登録画像特徴量との類似度を算出した入力画像特徴量に対応する顔領域画像や、この顔領域画像を検出した監視画像および当該監視画像における顔領域画像の位置情報を出力する構成としてもよい。
報知部３５への出力に際して、登録画像特徴量の識別子とあわせて、この登録画像特徴量との類似度を算出した入力画像特徴量に対応する顔領域画像や、この顔領域画像を検出した監視画像および当該監視画像における顔領域画像の位置情報を出力する構成としてもよい。
照合部３２３は、類似度が最大となった登録画像特徴量が非検知対象画像特徴量であった場合には、記憶部３４に登録画像特徴量が格納される検知対象人物と被照合人物１００とが一致すると判定しない。
このとき照合部３２３は、記憶部３４に登録画像特徴量が格納される検知対象人物及び非検知対象人物のいずれも被照合人物１００と一致しないと判定する。
このとき照合部３２３は、記憶部３４に登録画像特徴量が格納される検知対象人物及び非検知対象人物のいずれも被照合人物１００と一致しないと判定する。
図２を参照する。顔画像登録部３３は、検知対象特徴量算出部３３１と非検知対象特徴量算出部３３２とを備える。なお、この顔画像登録部３３は、特許請求の範囲に記載の第１登録部及び第２登録部の一例である。
検知対象特徴量算出部３３１は、記憶部３４に記憶された（又は図示しない入力部から入力された）検知対象人物の画像から顔画像照合用の画像特徴量を算出し、検知対象画像特徴量として出力する。非検知対象特徴量算出部３３２は、生成された又は入力された非検知対象人物の画像から画像特徴量を算出し、非検知対象画像特徴量として記憶部３４に出力する。
検知対象特徴量算出部３３１は、記憶部３４に記憶された（又は図示しない入力部から入力された）検知対象人物の画像から顔画像照合用の画像特徴量を算出し、検知対象画像特徴量として出力する。非検知対象特徴量算出部３３２は、生成された又は入力された非検知対象人物の画像から画像特徴量を算出し、非検知対象画像特徴量として記憶部３４に出力する。
検知対象特徴量算出部３３１は、撮影装置２や他の監視カメラ、デジタルカメラ等で撮影された検知対象人物の画像が入力部から入力されると、これらの画像を顔画像特徴量算出部３１に入力して、この検知対象人物の画像から顔画像照合用の画像特徴量を顔画像特徴量算出部３１に算出させ、検知対象画像特徴量として記憶部３４に出力する。
非検知対象特徴量算出部３３２は、検知対象特徴量算出部３３１が算出した検知対象画像特徴量が入力されると、別途生成された（又は収集され、若しくは入力された）非検知対象人物の顔画像を記憶部３４から読み込んでその画像特徴量を算出する。
非検知対象特徴量算出部３３２は、入力された検知対象人物の顔画像と類似しない非検知対象人物の顔画像の画像特徴量を非検知対象画像特徴量として記憶部３４に出力する。
非検知対象特徴量算出部３３２は、入力された検知対象人物の顔画像と類似しない非検知対象人物の顔画像の画像特徴量を非検知対象画像特徴量として記憶部３４に出力する。
例えば、非検知対象特徴量算出部３３２は、別途生成された（又は収集され、若しくは入力された）多数の顔画像から算出した画像特徴量を非検知対象画像特徴量として記憶部３４に予め格納しておいてよい。そして非検知対象特徴量算出部３３２は、検知対象画像特徴量が入力される度に、記憶部３４に格納された全ての非検知対象画像特徴量と、入力された検知対象画像特徴量との類似度を算出して、算出した類似度が所定の第１閾値を超える非検知対象画像特徴量を記憶部３４から削除してよい。
また、非検知対象特徴量算出部３３２は、非検知対象画像特徴量を算出した際に、記憶部３４に記憶された全ての検知対象画像特徴量と、算出した非検知対象画像特徴量との間の類似度が所定の第２閾値未満であるか否かを判定してもよい。非検知対象特徴量算出部３３２は、記憶部３４に記憶された全ての検知対象画像特徴量と算出した非検知対象画像特徴量との間の類似度のいずれもが第２閾値未満の場合に算出した非検知対象画像特徴量を記憶部３４に登録してよい。一方で、これら類似度のいずれかが第２閾値以上の場合に算出した非検知対象画像特徴量を記憶部３４に登録しない。
これらにより、検知対象人物と似ている非検知対象人物の画像特徴量が、非検知対象画像特徴量として記憶部３４に登録されるのを防止できる。
なお、類似度の算出方法については、類似度算出部３２２の説明で例示した手法のほか、種々様々な公知の方法が利用できる。
また、非検知対象人物の顔画像の生成方法については後述する。
なお、類似度の算出方法については、類似度算出部３２２の説明で例示した手法のほか、種々様々な公知の方法が利用できる。
また、非検知対象人物の顔画像の生成方法については後述する。
記憶部３４には、顔画像登録部３３が算出した検知対象画像特徴量と非検知対象画像特徴量がそれぞれ登録画像特徴量として格納される。記憶部３４には、少なくとも登録画像特徴量と、この登録画像特徴量の識別子と、この登録画像特徴量が検知対象画像特徴量であるか非検知対象画像特徴量であるかを表すラベルとが、関連付けられて格納される。
図４を参照する。記憶部３４に格納される登録画像特徴量情報４００は、行４０４に例示しているように、互いに関連付けられて記憶部３４に格納された登録画像特徴量の識別子４０１、登録画像特徴量４０２、登録画像特徴量が検知対象画像特徴量であるか非検知対象画像特徴量であるかを表すラベル４０３を含む。例えば、ラベル４０３の値「Ｙｅｓ」は、登録画像特徴量が検知対象画像特徴量であることを示し、値「Ｎｏ」は、登録画像特徴量が非検知対象画像特徴量であることを示す。
登録画像特徴量に対応する顔画像を、登録画像特徴量４０２、登録画像特徴量の識別子４０１及びラベル４０３と関連付けて格納してもよい。
登録画像特徴量に対応する顔画像を、登録画像特徴量４０２、登録画像特徴量の識別子４０１及びラベル４０３と関連付けて格納してもよい。
図２を参照する。報知部３５は、顔画像照合部３２が出力した判定結果に基づき、監視画像に映る検知対象人物の存在を報知する。報知部３５は、表示用モニタや、スピーカー等を備えてよい。
例えば報知部３５は、記憶部３４に格納される登録画像特徴量情報４００に顔画像が含まれる場合は、顔画像照合部３２が出力した登録画像特徴量の識別子に対応する顔画像を記憶部３４から読み出して、検知対象人物の存在を表わす画像表示や音声鳴動とあわせて、表示用モニタに表示してよい。
例えば報知部３５は、記憶部３４に格納される登録画像特徴量情報４００に顔画像が含まれる場合は、顔画像照合部３２が出力した登録画像特徴量の識別子に対応する顔画像を記憶部３４から読み出して、検知対象人物の存在を表わす画像表示や音声鳴動とあわせて、表示用モニタに表示してよい。
また例えば、顔画像照合部３２は、登録画像特徴量との類似度を算出した入力画像特徴量に対応する顔領域画像や、顔領域画像を検出した監視画像および当該監視画像における位置情報を報知部３５へ出力してもよい。報知部３５は、登録画像特徴量の識別子に対応する顔画像と関連付けて、入力画像特徴量に対応する顔領域画像を表示したり、位置情報に対応する検出枠を示した監視画像を表示してもよい。
（非検知対象人物の顔画像の生成方法の第１例）
次に、非検知対象人物の顔画像の生成方法の例について説明する。非検知対象画像特徴量を算出するための非検知対象人物の顔画像は、予め実在する人物画像から収集する他に、複数の実在の人物画像から仮想的な人物の画像を生成する一般的な画像生成モデルを利用して生成してもよい。
顔画像照合装置３は、複数の人物画像から仮想的な人物の画像を生成する画像生成モデルを用いて仮想人物画像を生成する仮想人物画像生成手段を備えてよい。そして仮想人物画像生成手段により生成された仮想人物画像又は仮想人物画像の特徴量を、非検知対象人物の外見特徴情報として記憶部３４に記憶してよい。
画像生成モデルとしては、例えば、予め多数の顔画像に対して主成分分析や因子分析などの多変量解析手法を適用して人物の顔画像を再構成する部分空間を算出し、この部分空間内で顔画像を仮想生成する方法がある。
次に、非検知対象人物の顔画像の生成方法の例について説明する。非検知対象画像特徴量を算出するための非検知対象人物の顔画像は、予め実在する人物画像から収集する他に、複数の実在の人物画像から仮想的な人物の画像を生成する一般的な画像生成モデルを利用して生成してもよい。
顔画像照合装置３は、複数の人物画像から仮想的な人物の画像を生成する画像生成モデルを用いて仮想人物画像を生成する仮想人物画像生成手段を備えてよい。そして仮想人物画像生成手段により生成された仮想人物画像又は仮想人物画像の特徴量を、非検知対象人物の外見特徴情報として記憶部３４に記憶してよい。
画像生成モデルとしては、例えば、予め多数の顔画像に対して主成分分析や因子分析などの多変量解析手法を適用して人物の顔画像を再構成する部分空間を算出し、この部分空間内で顔画像を仮想生成する方法がある。
以下、Ｎ枚の人物の顔画像に対して主成分分析を適用し、人物の顔画像を再構成する部分空間を算出し、この部分空間内で顔画像を仮想生成する手順を具体的に説明する。
以下の説明では、顔画像の画素数をＤとし、人物の顔画像をＤ次元のベクトルｘｉ（ｉ＝１，…，Ｎ)、Ｎ枚の人物の顔画像の平均を同じくＤ次元のベクトルμで表す。
以下の説明では、顔画像の画素数をＤとし、人物の顔画像をＤ次元のベクトルｘｉ（ｉ＝１，…，Ｎ)、Ｎ枚の人物の顔画像の平均を同じくＤ次元のベクトルμで表す。
部分空間の算出に先立って、Ｎ枚の人物の顔画像について位置合わせを行うことが好ましい。位置合わせの方法としては、例えば、目間ピクセル数と顔画像の重心を合わせる方法がある。
図５を参照する。具体的には、顔画像５００から両目中心、鼻頂点、口中心の特徴点５０１を抽出し、両目間のピクセル数が既定値になるように顔画像の拡大縮小を行うとともに、これら４点の特徴点の重心位置５０２を中心に所定のサイズの矩形５０３で切り出しを行なう。
図５を参照する。具体的には、顔画像５００から両目中心、鼻頂点、口中心の特徴点５０１を抽出し、両目間のピクセル数が既定値になるように顔画像の拡大縮小を行うとともに、これら４点の特徴点の重心位置５０２を中心に所定のサイズの矩形５０３で切り出しを行なう。
図６は、目間ピクセル数が１００となるように拡大縮小し、特徴点重心を中心に１辺１９２ピクセルの矩形で切り出しを行なった顔画像６００の例である。
位置合わせを行ったＮ枚の人物の顔画像ｘｉ（ｉ＝１，…，Ｎ)について、次式（１）により共分散行列Σを得る。
位置合わせを行ったＮ枚の人物の顔画像ｘｉ（ｉ＝１，…，Ｎ)について、次式（１）により共分散行列Σを得る。
次に、共分散行列Σを固有値分解し、次式（２）で示す形式に変換する。
式（２）のλｉ（ｉ＝１，…，Ｄ），ｕｉ（ｉ＝１，…，Ｄ）は、それぞれ共分散行列Σの固有値、固有ベクトルとなる。顔画像の仮想生成には、これらλｉ（ｉ＝１，…，Ｄ），ｕｉ（ｉ＝１，…，Ｄ）を用いるが、それぞれＤ個の全ての固有値、固有ベクトルを用いるのではなく、次式（３）に示す累積寄与率γＫが所定の値を超える次元数Ｋを求め、固有値が大きい順にＫ個の固有値およびこの固有値に対応する固有ベクトルを用いてもよい。
以下では、γＫ＞０．９９となる最小の整数をＫ（≦Ｄ）とし、Ｕ＝（ｕ１，ｕ２，…，ｕＫ），Λ＝ｄｉａｇ（λ１，λ２，…，λＫ）とした部分空間内で顔画像を仮想生成する方法を説明する。この部分空間内で仮想生成した顔画像ｘ’とすると、ｘ’は次式（４）で表わされる。
変数ａ＝（ａ１，ａ２，…，ａＫ）Ｔを様々な値に変化させることで、様々な顔画像を仮想生成することが可能となるが、ランダムに値を設定すると顔画像として破綻した画像となる場合もあるため、次式（５）に示すような正規分布に従う乱数として設定するのが好ましい。
Ｍ枚の顔画像を仮想生成する場合は、式（５）によって正規分布に従う乱数ａをＭ個生成し、式（４）に従ってＭ枚の仮想生成顔画像ｘ’を生成すればよい。
（非検知対象人物の顔画像の生成方法の第２例）
ニューラルネットワークを用いて顔画像を仮想生成する画像生成モデルを使用して、非検知対象人物の顔画像を仮想生成してもよい。例えば、非特許文献 A. Radford, L. Metz, and S. Chintala, “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”, arXiv, pp.1-15, 2015, http://arxiv.org/abs/1511.06434 には、ニューラルネットワークを用いて乱数列を元に顔画像を生成する技術が開示されている。
本文献では、乱数列から顔画像を生成する画像生成器Ｇと、顔画像が実画像か画像生成器Ｇによって生成された画像かを識別する識別器Ｄとを連結し、次式（６）に示す目的関数に従ってＧ、Ｄを学習する。
ニューラルネットワークを用いて顔画像を仮想生成する画像生成モデルを使用して、非検知対象人物の顔画像を仮想生成してもよい。例えば、非特許文献 A. Radford, L. Metz, and S. Chintala, “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”, arXiv, pp.1-15, 2015, http://arxiv.org/abs/1511.06434 には、ニューラルネットワークを用いて乱数列を元に顔画像を生成する技術が開示されている。
本文献では、乱数列から顔画像を生成する画像生成器Ｇと、顔画像が実画像か画像生成器Ｇによって生成された画像かを識別する識別器Ｄとを連結し、次式（６）に示す目的関数に従ってＧ、Ｄを学習する。
予め多数の実画像ｘを用意し、式（６）に示す目的関数に従ってＧ，Ｄを学習すれば、画像生成器Ｇは、識別器Ｄが実画像と見分けることができない顔画像を生成するように学習される。また、識別器Ｄは、画像生成器Ｇが生成した画像を実画像と見分けるように学習が進む。
このため、この学習の結果得られる画像生成器Ｇは、例えば、一様乱数に従う乱数列から実画像との見分けが難しい顔画像を仮想生成することが可能となる。
このため、この学習の結果得られる画像生成器Ｇは、例えば、一様乱数に従う乱数列から実画像との見分けが難しい顔画像を仮想生成することが可能となる。
（非検知対象人物の顔画像の生成方法の第３例）
さらに、非特許文献 A. Elgammal, B. Liu, M. Elhoseiny, M. Mazzone, “CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms”, arXiv, pp.1-22, 2017, http://arxiv.org/abs/1706.07068 には、上式（６）の目的関数を拡張し、予め設定したカテゴリに無い画像を生成する画像生成器Ｇを学習する方法が記載されている。
さらに、非特許文献 A. Elgammal, B. Liu, M. Elhoseiny, M. Mazzone, “CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms”, arXiv, pp.1-22, 2017, http://arxiv.org/abs/1706.07068 には、上式（６）の目的関数を拡張し、予め設定したカテゴリに無い画像を生成する画像生成器Ｇを学習する方法が記載されている。
本文献によれば、予め学習用に複数のカテゴリの実画像ｘを多数用意し、次式（７）の目的関数に従ってＧ、Ｄを学習すれば、画像生成器Ｇは予め学習用に用意した実画像ｘのどのカテゴリにも属さない画像を生成するように学習される。
式（７）において、識別器Ｄの出力Ｄｒは、画像が実画像か画像生成器Ｇによって生成された画像かを表わす確率出力であり、識別器Ｄの出力Ｄｃは画像がどのカテゴリに属するかを表わす確率出力である。例えば、Ｄｃ（ｃＫ｜Ｇ（ｚ））は、生成画像Ｇ（ｚ）がカテゴリｃＫに属する確率を表わす。
また、
は学習用に用意した実画像ｘのカテゴリ、Ｋは学習用に用意したカテゴリの数を表わす。
また、
本文献によれば、予め検知対象人物の顔画像ｘ１、ｘ２、…ｘＮを用意し、これら検知対象人物にそれぞれ与える識別子をカテゴリｃ１、ｃ２、…ｃＮとして式（７）に示す目的関数に従いＧ、Ｄを学習すれば、例えば一様乱数に従う乱数列から、実画像との見分けが難しく、かつ検知対象のどの人物でもない人物の顔画像を仮想生成することが可能となる。
また、新たな検知対象人物を登録する度にＧ、Ｄを学習して更新すれば、登録済みの検知対象人物だけでなく新たに登録された検知対象人物にも似ていない顔画像を仮想生成できる。
また、新たな検知対象人物を登録する度にＧ、Ｄを学習して更新すれば、登録済みの検知対象人物だけでなく新たに登録された検知対象人物にも似ていない顔画像を仮想生成できる。
（非検知対象人物の顔画像の生成方法の第４例）
画像生成モデルを利用せずに、記憶部３４に格納された実在の検知対象人物の顔画像を利用し、非検知対象人物に相当する顔画像を仮想生成してもよい。
例えば、記憶部３４に格納された顔画像を、目、鼻、口といった顔部位画像に分割し、異なる人物の顔部位画像を組み合わせることで仮想顔画像を生成してもよい。なお、顔部位画像に使用される画像は、検知対象人物の顔画像でもそれ以外の人物の顔画像でもよいが、異なる検知対象人物どうしの顔部位画像を組み合わせた方が、確実に検知対象人物とは異なる人物の顔画像を生成できるので、検知対象人物の顔画像を使用した方が好ましい。
顔画像照合装置３は、異なる複数人物の人物画像の部分画像を組み合わせて仮想人物画像を生成する仮想人物画像生成手段を備えてよい。そして仮想人物画像生成手段により生成された仮想人物画像又は仮想人物画像の特徴量を、非検知対象人物の外見特徴情報として記憶部３４に記憶してよい。
画像生成モデルを利用せずに、記憶部３４に格納された実在の検知対象人物の顔画像を利用し、非検知対象人物に相当する顔画像を仮想生成してもよい。
例えば、記憶部３４に格納された顔画像を、目、鼻、口といった顔部位画像に分割し、異なる人物の顔部位画像を組み合わせることで仮想顔画像を生成してもよい。なお、顔部位画像に使用される画像は、検知対象人物の顔画像でもそれ以外の人物の顔画像でもよいが、異なる検知対象人物どうしの顔部位画像を組み合わせた方が、確実に検知対象人物とは異なる人物の顔画像を生成できるので、検知対象人物の顔画像を使用した方が好ましい。
顔画像照合装置３は、異なる複数人物の人物画像の部分画像を組み合わせて仮想人物画像を生成する仮想人物画像生成手段を備えてよい。そして仮想人物画像生成手段により生成された仮想人物画像又は仮想人物画像の特徴量を、非検知対象人物の外見特徴情報として記憶部３４に記憶してよい。
図７を参照する。例えば顔部位画像７００は、１つの顔画像を、眉毛周辺部７０１、目周辺部７０２、鼻周辺部７０３、口周辺部７０４に４分割することにより生成してよい。
そして図８に示すように、顔８００から眉毛周辺部を、顔８０１から目周辺部を、顔８０２から鼻周辺部を、顔８０３から口周辺部を分割抽出し、これらを組み合わせて仮想顔画像８０４を生成してもよい。
そして図８に示すように、顔８００から眉毛周辺部を、顔８０１から目周辺部を、顔８０２から鼻周辺部を、顔８０３から口周辺部を分割抽出し、これらを組み合わせて仮想顔画像８０４を生成してもよい。
（動作）
次に、本発明を適用した顔画像照合による特定人物検知システム１の動作を説明する。
（顔画像登録動作）
図２のブロック図および図９のフローチャートを参照して、検知対象画像特徴量及び非検知対象画像特徴量を記憶部３４に登録する顔画像登録動作を説明する。
次に、本発明を適用した顔画像照合による特定人物検知システム１の動作を説明する。
（顔画像登録動作）
図２のブロック図および図９のフローチャートを参照して、検知対象画像特徴量及び非検知対象画像特徴量を記憶部３４に登録する顔画像登録動作を説明する。
ステップＳ９１０において検知対象特徴量算出部３３１は、検知対象人物の登録に使用する登録用画像を入力部から取得する。
ステップＳ９２０において検知対象特徴量算出部３３１は、登録用画像を顔画像特徴量算出部３１に入力する。顔画像特徴量算出部３１は、登録用画像から顔領域の検出を試みる。
ステップＳ９２０において検知対象特徴量算出部３３１は、登録用画像を顔画像特徴量算出部３１に入力する。顔画像特徴量算出部３１は、登録用画像から顔領域の検出を試みる。
ステップＳ９３０において顔画像特徴量算出部３１の顔領域検出部３１０は、登録用画像が顔画像を含むか否かを判断する。登録用画像が顔画像を含む場合（ステップＳ９３０：Ｙｅｓ）に顔領域検出部３１０は、登録用画像から検知対象人物の顔領域画像である検知対象人物画像を抽出する。その後に処理はステップＳ９４０へ進む。登録用画像が顔画像を含まない場合（ステップＳ９３０：Ｎｏ）に処理は終了する。
ステップＳ９４０において特徴量算出部３１１は、検知対象人物画像から検知対象画像特徴量を算出し、検知対象特徴量算出部３３１へ出力する。
ステップＳ９５０において検知対象特徴量算出部３３１は、ステップＳ９４０で算出した画像特徴量に、検知対象人物の登録画像特徴量であることを示すラベル４０３と識別子４０１を付与し、登録画像特徴量として記憶部３４に格納する。これにより、検知対象画像特徴量が記憶部３４に登録される。
ステップＳ９５０において検知対象特徴量算出部３３１は、ステップＳ９４０で算出した画像特徴量に、検知対象人物の登録画像特徴量であることを示すラベル４０３と識別子４０１を付与し、登録画像特徴量として記憶部３４に格納する。これにより、検知対象画像特徴量が記憶部３４に登録される。
ステップＳ９６０において非検知対象特徴量算出部３３２は、非検知対象画像特徴量の算出用に予め生成（又は収集）した多数の顔画像（算出用顔画像）を記憶部３４から読み出す。非検知対象特徴量算出部３３２は、読み出した算出用顔画像のそれぞれに対してステップＳ９７０〜９９０を繰り返す。以下に記載するステップＳ９７０〜９９０の説明において、処理の対象となる算出用顔画像を「処理対象顔画像」と表記する。
ステップＳ９７０において非検知対象特徴量算出部３３２は、処理対象顔画像の画像特徴量（処理対象画像特徴量）を算出する。
ステップＳ９８０において非検知対象特徴量算出部３３２は、ステップＳ９４０にて算出した検知対象画像特徴量と、処理対象画像特徴量との間の類似度が所定の閾値未満であるか否かを判定する。
ステップＳ９８０において非検知対象特徴量算出部３３２は、ステップＳ９４０にて算出した検知対象画像特徴量と、処理対象画像特徴量との間の類似度が所定の閾値未満であるか否かを判定する。
検知対象画像特徴量と処理対象画像特徴量との間の類似度が所定の閾値未満である場合（ステップＳ９８０：Ｙｅｓ）に処理はステップＳ９９０へ進む。
検知対象画像特徴量と処理対象画像特徴量との間の類似度が所定の閾値未満でない場合（ステップＳ９８０：Ｎｏ）に、処理対象画像特徴量を非検知対象画像特徴量として登録せずに、処理対象顔画像に対する処理を終了する。
検知対象画像特徴量と処理対象画像特徴量との間の類似度が所定の閾値未満でない場合（ステップＳ９８０：Ｎｏ）に、処理対象画像特徴量を非検知対象画像特徴量として登録せずに、処理対象顔画像に対する処理を終了する。
ステップＳ９９０において非検知対象特徴量算出部３３２は、処理対象画像特徴量に、非検知対象人物の登録画像特徴量であることを示すラベル４０３と識別子４０１を付与し、登録画像特徴量として記憶部３４に格納する。これにより、非検知対象画像特徴量が記憶部３４に登録される。
その後に、処理対象顔画像に対する処理を終了する。
以上説明したステップＳ９１０からステップＳ９９０までの処理が終わると、顔画像照合装置３は一枚の登録用画像に対する顔画像登録処理を終了する。
その後に、処理対象顔画像に対する処理を終了する。
以上説明したステップＳ９１０からステップＳ９９０までの処理が終わると、顔画像照合装置３は一枚の登録用画像に対する顔画像登録処理を終了する。
（特定人物検知動作）
次に、図２のブロック図及び図１０のフローチャートを参照して、予め登録された特定の検知対象人物と被照合人物１００とを照合して特定の検知対象人物を検知する特定人物検知動作を説明する。なお、以下に説明するステップＳ１０１０〜Ｓ１０８０までの処理は、監視画像を１つ取得する毎に実行される。
次に、図２のブロック図及び図１０のフローチャートを参照して、予め登録された特定の検知対象人物と被照合人物１００とを照合して特定の検知対象人物を検知する特定人物検知動作を説明する。なお、以下に説明するステップＳ１０１０〜Ｓ１０８０までの処理は、監視画像を１つ取得する毎に実行される。
ステップＳ１０１０において撮影装置２は、監視対象領域を撮影して監視画像を取得する。
ステップＳ１０２０において顔画像照合部３２の入力画像特徴量算出部３２１は、監視画像を顔画像特徴量算出部３１に入力する。顔画像特徴量算出部３１は、監視画像に映る被照合人物１００の顔領域の検出を試みる。
ステップＳ１０２０において顔画像照合部３２の入力画像特徴量算出部３２１は、監視画像を顔画像特徴量算出部３１に入力する。顔画像特徴量算出部３１は、監視画像に映る被照合人物１００の顔領域の検出を試みる。
ステップＳ１０３０において顔画像特徴量算出部３１の顔領域検出部３１０は、監視画像が顔画像を含むか否かを判断する。監視画像が顔画像を含む場合（ステップＳ１０３０：Ｙｅｓ）に顔領域検出部３１０は、監視画像に映るそれぞれの被照合人物１００の顔領域画像を抽出する。その後に処理はステップＳ１０４０へ進む。監視画像が顔画像を含まない場合（ステップＳ１０３０：Ｎｏ）に、ステップＳ１０１０で取得した監視画像に対する処理は終了する。
ステップＳ１０４０において特徴量算出部３１１は、各被照合人物１００の顔領域画像の画像特徴量をそれぞれ算出し、入力画像特徴量として入力画像特徴量算出部３２１へ出力する。入力画像特徴量算出部３２１は、入力画像特徴量を類似度算出部３２２へ出力する。
以下のステップＳ１０５０〜Ｓ１０８０は、顔領域検出部３１０により顔画像が検出された被照合人物１００の入力画像特徴量のそれぞれに対して（すなわち被照合人物１００毎に）繰り返される。以下に記載するＳ１０５０〜Ｓ１０８０の説明において、処理の対象となる入力画像特徴量を「処理対象画像特徴量」と表記する。
以下のステップＳ１０５０〜Ｓ１０８０は、顔領域検出部３１０により顔画像が検出された被照合人物１００の入力画像特徴量のそれぞれに対して（すなわち被照合人物１００毎に）繰り返される。以下に記載するＳ１０５０〜Ｓ１０８０の説明において、処理の対象となる入力画像特徴量を「処理対象画像特徴量」と表記する。
ステップＳ１０５０において類似度算出部３２２は、記憶部３４に格納されている登録画像特徴量情報４００に含まれる全ての登録画像特徴量と処理対象画像特徴量との類似度を算出し、類似度情報３５０を作成する。
ステップＳ１０６０において照合部３２３は、類似度情報３５０を参照して、類似度が最大となる登録画像特徴量を検索する。
ステップＳ１０６０において照合部３２３は、類似度情報３５０を参照して、類似度が最大となる登録画像特徴量を検索する。
ステップＳ１０７０において照合部３２３は、類似度が最大となる登録画像特徴量が、検知対象画像特徴量及び非検知対象画像特徴量のいずれであるかを判断する。類似度が最大となる登録画像特徴量が検知対象画像特徴量である場合（ステップＳ１０７０：Ｙｅｓ）に処理はステップＳ１０８０へ進む。
類似度が最大となる登録画像特徴量が検知対象画像特徴量でない場合（ステップＳ１０７０：Ｎｏ）、すなわち非検知対象画像特徴量である場合に照合部３２３は、記憶部３４に登録画像特徴量が格納されている検知対象人物及び非検知対象人物と被照合人物１００とが一致すると判定せずに処理対象画像特徴量に対する処理を終了し、次の入力画像特徴量の処理に移行する。
類似度が最大となる登録画像特徴量が検知対象画像特徴量でない場合（ステップＳ１０７０：Ｎｏ）、すなわち非検知対象画像特徴量である場合に照合部３２３は、記憶部３４に登録画像特徴量が格納されている検知対象人物及び非検知対象人物と被照合人物１００とが一致すると判定せずに処理対象画像特徴量に対する処理を終了し、次の入力画像特徴量の処理に移行する。
ステップＳ１０８０において照合部３２３は、類似度が最大となる登録画像特徴量の識別子を、特定人物を検知した信号として報知部３５へ出力する。報知部３５は特定人物の存在を、図示しない表示装置等を介して報知する。
顔画像特徴量算出部３１で算出した全ての入力画像特徴量に対して、ステップＳ１０５０からステップＳ１０９０までの処理が終わると、顔画像照合装置３は１つの監視画像に対する一連の処理を終了し、次に撮影された監視画像の処理へと移行する。
顔画像特徴量算出部３１で算出した全ての入力画像特徴量に対して、ステップＳ１０５０からステップＳ１０９０までの処理が終わると、顔画像照合装置３は１つの監視画像に対する一連の処理を終了し、次に撮影された監視画像の処理へと移行する。
（実施形態の効果）
（１）顔画像照合装置３の記憶部３４には、検知対象人物の検知対象画像特徴量と、前記検知対象人物とは異なる非検知対象人物の非検知対象画像特徴量とが、登録画像特徴量として格納される。類似度算出部３２２は、被照合人物１００の顔画像の特徴量である入力画像特徴量と登録画像特徴量との間の類似度を各々算出する。
（１）顔画像照合装置３の記憶部３４には、検知対象人物の検知対象画像特徴量と、前記検知対象人物とは異なる非検知対象人物の非検知対象画像特徴量とが、登録画像特徴量として格納される。類似度算出部３２２は、被照合人物１００の顔画像の特徴量である入力画像特徴量と登録画像特徴量との間の類似度を各々算出する。
照合部３２３は、類似度算出部３２２により算出された類似度のうち、被照合人物１００の入力画像特徴量と検知対象人物の検知対象画像特徴量との間の類似度が最大であるとき、最大の類似度が算出された検知対象人物と被照合人物１００とが一致すると判定する。被照合人物１００の入力画像特徴量と非検知対象人物の非検知対象画像特徴量との間の類似度が最大であるとき、被照合人物１００は記憶部３４に登録された検知対象人物及び非検知対象人物に一致しないと判定する。
これによって、固定的に設定された照合閾値に依存することなく被照合人物と検知対象人物とを照合することができ、固定的に照合閾値を決めることが困難な場合であっても照合が可能になる。
これによって、固定的に設定された照合閾値に依存することなく被照合人物と検知対象人物とを照合することができ、固定的に照合閾値を決めることが困難な場合であっても照合が可能になる。
（２）非検知対象特徴量算出部３３２は、検知対象人物の検知対象画像特徴量として追加する第１追加情報と記憶部３４に記憶されたいずれかの非検知対象人物の非検知対象画像特徴量との間の類似度が第１閾値を超えるとき、この非検知対象画像特徴量を記憶部３４から削除する。
これにより、検知対象人物に似ている人物の画像特徴量が、非検知対象画像特徴量として記憶部３４に登録されるのを防止できる。
これにより、検知対象人物に似ている人物の画像特徴量が、非検知対象画像特徴量として記憶部３４に登録されるのを防止できる。
（３）非検知対象特徴量算出部３３２は、非検知対象人物の非検知対象画像特徴量として追加する第２追加情報と記憶部３４に記憶された検知対象人物の外見特徴情報との間の類似度が第２閾値未満のとき、第２追加情報を記憶部３４に記憶する。類似度が第２閾値以上のとき、第２追加情報を記憶部３４に記憶しない。
これにより、検知対象人物に似ている人物の画像特徴量が、非検知対象画像特徴量として記憶部３４に登録されるのを防止できる。
これにより、検知対象人物に似ている人物の画像特徴量が、非検知対象画像特徴量として記憶部３４に登録されるのを防止できる。
（４）非検知対象特徴量算出部３３２は、複数の人物画像から仮想的な人物の画像を生成する画像生成モデルを用いて生成した仮想人物画像の画像特徴量を、非検知対象人物の非検知対象画像特徴量として記憶部３４に記憶する。
このように、画像生成モデルを用いて非検知対象人物の顔画像を生成することにより、検知対象人物に類似しない非検知対象人物の顔画像を容易に取得することができ、多数の非検知対象人物の非検知対象画像特徴量を記憶部３４に登録するのが容易になる。このため、記憶部３４に登録する非検知対象画像特徴量の数Ｍを十分に大きくして、検知対象人物以外の人物を検知対象人物として誤認する確率の期待値Ｅｄを小さくできる。
このように、画像生成モデルを用いて非検知対象人物の顔画像を生成することにより、検知対象人物に類似しない非検知対象人物の顔画像を容易に取得することができ、多数の非検知対象人物の非検知対象画像特徴量を記憶部３４に登録するのが容易になる。このため、記憶部３４に登録する非検知対象画像特徴量の数Ｍを十分に大きくして、検知対象人物以外の人物を検知対象人物として誤認する確率の期待値Ｅｄを小さくできる。
（５）非検知対象特徴量算出部３３２は、異なる複数人物の人物画像の部分画像を組み合わせて生成した仮想人物画像の画像特徴量を、非検知対象人物の非検知対象画像特徴量として記憶部３４に記憶する。
これにより、検知対象人物に類似しない非検知対象人物の顔画像を容易に生成できる。
これにより、検知対象人物に類似しない非検知対象人物の顔画像を容易に生成できる。
（変形例）
（１）照合部３２３は、最大の類似度が算出された検知対象人物と被照合人物１００とが一致すると判定する。ある変形例において照合部３２３は、最大の類似度が小さいことにより他人受入エラーが生じるのを防ぐために、類似度算出部３２２により算出された最大の類似度を第３閾値と比較してよい。最大の類似度が第３閾値未満のとき、照合部３２３は、被照合人物１００が記憶部３４に登録される検知対象人物と一致すると判定しない。このとき照合部３２３は、記憶部３４に登録される検知対象人物及び非検知対象人物のいずれも被照合人物１００と一致しないと判定してよい。
（１）照合部３２３は、最大の類似度が算出された検知対象人物と被照合人物１００とが一致すると判定する。ある変形例において照合部３２３は、最大の類似度が小さいことにより他人受入エラーが生じるのを防ぐために、類似度算出部３２２により算出された最大の類似度を第３閾値と比較してよい。最大の類似度が第３閾値未満のとき、照合部３２３は、被照合人物１００が記憶部３４に登録される検知対象人物と一致すると判定しない。このとき照合部３２３は、記憶部３４に登録される検知対象人物及び非検知対象人物のいずれも被照合人物１００と一致しないと判定してよい。
ここで、前述の通り記憶部３４に登録する非検知対象画像特徴量の数Ｍが大きいほど、検知対象人物以外の人物を検知対象人物として誤認する確率の期待値Ｅｄが小さくなる。
このため、照合部３２３は、記憶部３４に登録する非検知対象画像特徴量の数（例えば非検知対象人物の数）Ｍが大きいほど第３閾値を小さく設定してよい。これにより第３閾値が過大であることによる本人拒否エラーを低減できる。
このため、照合部３２３は、記憶部３４に登録する非検知対象画像特徴量の数（例えば非検知対象人物の数）Ｍが大きいほど第３閾値を小さく設定してよい。これにより第３閾値が過大であることによる本人拒否エラーを低減できる。
（２）同様の理由により、ある変形例において照合部３２３は、類似度算出部３２２により算出された最大の類似度と２番目に大きい類似度との差が第４閾値よりも小さいとき、照合部３２３は、被照合人物１００が記憶部３４に登録される検知対象人物と一致すると判定しない。このとき照合部３２３は、記憶部３４に登録される検知対象人物及び非検知対象人物のいずれも被照合人物１００と一致しないと判定してよい。
照合部３２３は、記憶部３４に登録する非検知対象画像特徴量の数（例えば非検知対象人物の数）Ｍが大きいほど第４閾値を小さく設定してよい。これにより第４閾値が過大であることによる本人拒否エラーを低減できる。
照合部３２３は、記憶部３４に登録する非検知対象画像特徴量の数（例えば非検知対象人物の数）Ｍが大きいほど第４閾値を小さく設定してよい。これにより第４閾値が過大であることによる本人拒否エラーを低減できる。
なお、以上に示した実施形態では、顔画像登録動作にて検知対象画像特徴量及び非検知対象画像特徴量を記憶部３４に登録するが、これに限らず、検知対象画像特徴量及び非検知対象画像特徴量を予め記憶部３４に登録しておき、顔画像登録動作を省略してもよい。
また、以上に示した実施形態では、顔画像照合技術を利用した特定人物検知を例に説明してきたが、利用の用途は特定人物検知に限定されず、個人認証結果を利用したアプリケーション全般に適用できる。
また、上述のとおり、照合の対象は顔画像に限定されず、例えば顔以外の外見特徴や着衣状態の外見特徴を含む人物の外見特徴の照合技術を利用した特定人物検知や、声紋特徴の照合技術を利用した個人認証等、他の識別／認証技術においても同様に適用できる。
また、以上に示した実施形態では、顔画像照合技術を利用した特定人物検知を例に説明してきたが、利用の用途は特定人物検知に限定されず、個人認証結果を利用したアプリケーション全般に適用できる。
また、上述のとおり、照合の対象は顔画像に限定されず、例えば顔以外の外見特徴や着衣状態の外見特徴を含む人物の外見特徴の照合技術を利用した特定人物検知や、声紋特徴の照合技術を利用した個人認証等、他の識別／認証技術においても同様に適用できる。
１…特定人物検知システム、２…撮影装置、３…顔画像照合装置、３１…顔画像特徴量算出部、３２…顔画像照合部、３３…顔画像登録部、３４…記憶部、３５…報知部、３１０…顔領域検出部、３１１…特徴量算出部、３２１…入力画像特徴量算出部、３２２…類似度算出部、３２３…照合部、３３１…検知対象特徴量算出部、３３２…非検知対象特徴量算出部
Claims (8)
- 被照合人物の人物特徴情報が入力されて、前記被照合人物と検知対象人物とを照合する照合装置であって、
前記検知対象人物の人物特徴情報と、前記検知対象人物とは異なる非検知対象人物の人物特徴情報とを登録特徴情報として記憶する記憶部と、
前記被照合人物の人物特徴情報と前記登録特徴情報との間の類似度を各々算出する類似度算出部と、
前記類似度算出部により算出された類似度のうち、前記被照合人物の人物特徴情報と前記検知対象人物の人物特徴情報との間の類似度が最大であるとき、最大の類似度が算出された前記検知対象人物と前記被照合人物とが一致すると判定し、前記被照合人物の人物特徴情報と前記非検知対象人物の人物特徴情報との間の類似度が最大であるとき、前記被照合人物は前記検知対象人物に一致しないと判定する照合部と、
前記非検知対象人物の人物特徴情報として追加する第２追加情報と前記記憶部に記憶された前記検知対象人物の人物特徴情報との間の類似度が第２閾値未満のとき、前記第２追加情報を前記記憶部に記憶し、前記第２追加情報と前記記憶部に記憶された前記検知対象人物の人物特徴情報との間の類似度が前記第２閾値以上のとき、前記第２追加情報を前記記憶部に記憶しない第２登録部と、
を備えることを特徴とする照合装置。 - 被照合人物の人物特徴情報が入力されて、前記被照合人物と検知対象人物とを照合する照合装置であって、
前記検知対象人物の人物特徴情報と、前記検知対象人物とは異なる非検知対象人物の人物特徴情報とを登録特徴情報として記憶する記憶部と、
前記被照合人物の人物特徴情報と前記登録特徴情報との間の類似度を各々算出する類似度算出部と、
前記類似度算出部により算出された類似度のうち、前記被照合人物の人物特徴情報と前記検知対象人物の人物特徴情報との間の類似度が最大であるとき、最大の類似度が算出された前記検知対象人物と前記被照合人物とが一致すると判定し、前記被照合人物の人物特徴情報と前記非検知対象人物の人物特徴情報との間の類似度が最大であるとき、前記被照合人物は前記検知対象人物に一致しないと判定し、前記類似度算出部により算出された最大の類似度が第３閾値未満のとき、前記被照合人物は前記検知対象人物に一致しないと判定し、前記記憶部に人物特徴情報が記憶される前記非検知対象人物の数が多いほど前記第３閾値を小さく設定する照合部と、
を備えることを特徴とする照合装置。 - 被照合人物の人物特徴情報が入力されて、前記被照合人物と検知対象人物とを照合する照合装置であって、
前記検知対象人物の人物特徴情報と、前記検知対象人物とは異なる非検知対象人物の人物特徴情報とを登録特徴情報として記憶する記憶部と、
前記被照合人物の人物特徴情報と前記登録特徴情報との間の類似度を各々算出する類似度算出部と、
前記類似度算出部により算出された類似度のうち、前記被照合人物の人物特徴情報と前記検知対象人物の人物特徴情報との間の類似度が最大であるとき、最大の類似度が算出された前記検知対象人物と前記被照合人物とが一致すると判定し、前記被照合人物の人物特徴情報と前記非検知対象人物の人物特徴情報との間の類似度が最大であるとき、前記被照合人物は前記検知対象人物に一致しないと判定し、前記類似度算出部により算出された最大の類似度と２番目に大きい類似度との差が第４閾値未満のとき、前記被照合人物は前記検知対象人物に一致しないと判定し、前記記憶部に人物特徴情報が記憶される前記非検知対象人物の数が多いほど前記第４閾値を小さく設定する照合部と、
を備えることを特徴とする照合装置。 - 前記検知対象人物の人物特徴情報として追加する第１追加情報と前記記憶部に記憶されたいずれかの前記非検知対象人物の人物特徴情報との間の類似度が第１閾値を超えるとき、前記いずれかの非検知対象人物の人物特徴情報を前記記憶部から削除する第１登録部を更に備えることを特徴とする請求項１〜３の何れか一項に記載の照合装置。
- 前記非検知対象人物の人物特徴情報は、複数の人物画像から仮想的な人物の画像を生成する画像生成モデルを用いて生成した仮想人物画像又は前記仮想人物画像の特徴量である
ことを特徴とする請求項１〜４の何れか一項に記載の照合装置。 - 前記非検知対象人物の人物特徴情報は、異なる複数人物の人物画像の部分画像を組み合わせて生成した仮想人物画像又は前記仮想人物画像の特徴量であることを特徴とする請求項１〜５の何れか一項に記載の照合装置。
- 予め登録された検知対象人物と照合対象の被照合人物とを照合する照合方法であって、
コンピュータに、
前記被照合人物の人物特徴情報の入力を受け付ける処理と、
前記検知対象人物の人物特徴情報と、前記検知対象人物とは異なる非検知対象人物の人物特徴情報とを登録特徴情報として記憶する記憶装置から、前記登録特徴情報を読み出す処理と、
前記被照合人物の人物特徴情報と前記登録特徴情報との間の類似度を各々算出する処理と、
算出された前記類似度のうち、前記被照合人物の人物特徴情報と前記検知対象人物の人物特徴情報との間の類似度が最大であるとき、最大の類似度が算出された前記検知対象人物と前記被照合人物とが一致すると判定し、前記被照合人物の人物特徴情報と前記非検知対象人物の人物特徴情報との間の類似度が最大であるとき、前記被照合人物は前記検知対象人物に一致しないと判定する処理と、
前記非検知対象人物の人物特徴情報として追加する第２追加情報と前記記憶装置に記憶された前記検知対象人物の人物特徴情報との間の類似度が第２閾値未満のとき、前記第２追加情報を前記記憶装置に記憶し、前記第２追加情報と前記記憶装置に記憶された前記検知対象人物の人物特徴情報との間の類似度が前記第２閾値以上のとき、前記第２追加情報を前記記憶装置に記憶しない処理と、
を実行させることを特徴とする照合方法。 - 予め登録された検知対象人物と照合対象の被照合人物とを照合する照合方法であって、
コンピュータに、
前記被照合人物の人物特徴情報の入力を受け付ける処理と、
前記検知対象人物の人物特徴情報と、前記検知対象人物とは異なる非検知対象人物の人物特徴情報とを登録特徴情報として記憶する記憶装置から、前記登録特徴情報を読み出す処理と、
前記被照合人物の人物特徴情報と前記登録特徴情報との間の類似度を各々算出する処理と、
算出された前記類似度のうち、前記被照合人物の人物特徴情報と前記検知対象人物の人物特徴情報との間の類似度が最大であるとき、最大の類似度が算出された前記検知対象人物と前記被照合人物とが一致すると判定し、前記被照合人物の人物特徴情報と前記非検知対象人物の人物特徴情報との間の類似度が最大であるとき、前記被照合人物は前記検知対象人物に一致しないと判定する処理と、
前記最大の類似度が第３閾値未満のとき、前記被照合人物は前記検知対象人物に一致しないと判定し、前記記憶装置に人物特徴情報が記憶される前記非検知対象人物の数が多いほど前記第３閾値を小さく設定する処理と、
を実行させることを特徴とする照合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018064861A JP6714634B2 (ja) | 2018-03-29 | 2018-03-29 | 照合装置及び照合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018064861A JP6714634B2 (ja) | 2018-03-29 | 2018-03-29 | 照合装置及び照合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019175282A JP2019175282A (ja) | 2019-10-10 |
| JP6714634B2 true JP6714634B2 (ja) | 2020-06-24 |
Family
ID=68169565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018064861A Active JP6714634B2 (ja) | 2018-03-29 | 2018-03-29 | 照合装置及び照合方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6714634B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11645373B2 (en) | 2019-12-26 | 2023-05-09 | Samsung Electronics Co., Ltd. | Electronic device for biometrics and method thereof |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541475B (zh) * | 2020-12-24 | 2024-01-19 | 北京百度网讯科技有限公司 | 感知数据检测方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991434A (ja) * | 1995-09-28 | 1997-04-04 | Hamamatsu Photonics Kk | 人物照合装置 |
| JP2004078686A (ja) * | 2002-08-20 | 2004-03-11 | Toshiba Corp | 個人認証装置、個人認証方法、通行制御装置および通行制御方法 |
| JP2005182184A (ja) * | 2003-12-16 | 2005-07-07 | Toshiba Corp | 人物認識装置、人物認識方法および通行制御装置 |
| JP2006018578A (ja) * | 2004-07-01 | 2006-01-19 | Nippon Signal Co Ltd:The | 個人認証装置 |
| JP4992517B2 (ja) * | 2007-04-02 | 2012-08-08 | オムロン株式会社 | 顔照合装置 |
| JP2009026230A (ja) * | 2007-07-23 | 2009-02-05 | Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 | パターン認識システム及び認識方法 |
| WO2010106644A1 (ja) * | 2009-03-17 | 2010-09-23 | 富士通株式会社 | データ照合装置およびプログラム |
-
2018
- 2018-03-29 JP JP2018064861A patent/JP6714634B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11645373B2 (en) | 2019-12-26 | 2023-05-09 | Samsung Electronics Co., Ltd. | Electronic device for biometrics and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019175282A (ja) | 2019-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10438059B2 (en) | Image recognition method, image recognition apparatus, and recording medium | |
| JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP6544900B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
| US9489566B2 (en) | Image recognition apparatus and image recognition method for identifying object | |
| WO2008072622A1 (ja) | 顔認証装置 | |
| JP5241606B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
| JP2011096136A (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
| KR20190060671A (ko) | 홍채 인식 기반 사용자 인증 장치 및 방법 | |
| WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
| JP5879188B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
| Barde et al. | Multimodal biometrics using face, ear and iris modalities | |
| Ammour et al. | Face-iris multimodal biometric system based on hybrid level fusion | |
| Galdámez et al. | Ear recognition using a hybrid approach based on neural networks | |
| JP6714634B2 (ja) | 照合装置及び照合方法 | |
| RU2381553C1 (ru) | Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке | |
| CN108427923B (zh) | 一种掌纹识别方法及装置 | |
| Lenc et al. | Face Recognition under Real-world Conditions. | |
| Nguyen et al. | User re-identification using clothing information for smartphones | |
| JP7337541B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Anzar et al. | Efficient wavelet based scale invariant feature transform for partial face recognition | |
| JP6596044B2 (ja) | 対象認識装置 | |
| Chen | Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning | |
| Ali et al. | Development of a enhanced ear recognition system for personal identification | |
| Jain et al. | Face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190315 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200605 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6714634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |