JP6767685B2 - 顔認証装置 - Google Patents

顔認証装置 Download PDF

Info

Publication number
JP6767685B2
JP6767685B2 JP2019141945A JP2019141945A JP6767685B2 JP 6767685 B2 JP6767685 B2 JP 6767685B2 JP 2019141945 A JP2019141945 A JP 2019141945A JP 2019141945 A JP2019141945 A JP 2019141945A JP 6767685 B2 JP6767685 B2 JP 6767685B2
Authority
JP
Japan
Prior art keywords
authentication
unit
threshold value
card
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019141945A
Other languages
English (en)
Other versions
JP2020009454A (ja
Inventor
剛人 古地
剛人 古地
謙志 斉藤
謙志 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2019141945A priority Critical patent/JP6767685B2/ja
Publication of JP2020009454A publication Critical patent/JP2020009454A/ja
Application granted granted Critical
Publication of JP6767685B2 publication Critical patent/JP6767685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)

Description

本発明は、顔認証装置、顔認証方法、およびプログラムに関する。
従来から、入退室監視システムや勤怠管理システムなどの各種システムにおいて、ゲートなどを通過する利用者に対して顔認証による本人認証が行われている。また、そのようなシステムにおいて、顔認証と他の認証方式とを併用して個人認証を行う顔認証装置が提案ないし実用化されている。
例えば特許文献1には、顔認証と暗証番号による認証とを併用した顔認証装置が記載されている。特許文献1に記載された顔認証装置では、最初に利用者から暗証番号を入力し、登録されている暗証番号と比較する。暗証番号の全桁が正しく入力された場合、顔認証を実施せずに本人認証を成功とする。また暗証番号が1桁も入力されなかったか、入力されても予め定めた桁数以下しか正しく入力されなかった場合、顔認証を実施せずに本人認証の失敗とする。それ以外の場合は、顔認証を実施し、顔認証の結果に従って本人認証の成功、失敗を判断する。その際、正しく入力された暗証番号の桁数に応じて、顔認証の閾値を設定する。具体的には、より多くの桁数の暗証番号が正しく入力される程、即ち暗証番号による認証方式で高いセキュリティ強度が達成される程、顔認証の閾値を小さくすることにより、本人受入を容易にする。
上記の顔認証と暗証番号による認証のように種類の異なる2つ以上の認証情報を組み合わせたものは、2要素認証或いは多要素認証と呼ばれる。
特開2008−158627号公報
顔認証と他の認証方式とを併用する顔認証装置において、他の認証方式の利用の有無を選択可能にすることも考えられる。他の認証方式を利用しない場合は顔認証の結果のみに基づいて本人認証が行われるため、セキュリティ強度は低下するが、利便性は高まる。他方、他の認証方式を利用する場合は顔認証の結果と他の認証方式の結果とに基づいて本人認証が行われるため、利便性は低下するが、セキュリティ強度は高まる。
このように他の認証方式の利用の有無を選択することにより、セキュリティ性を重視した運用とその逆に利便性を重視した運用とに切り替えることができる顔認証装置では、両運用間のセキュリティ強度の差をより顕著にすることが望まれる。即ち、セキュリティ性を重視する運用時におけるセキュリティ強度と利便性を重視する運用時におけるセキュリティ強度との差を拡大することが望ましい。しかし、そのような運用形態は、他の認証方式の利用の有無を単に選択するだけでは実現するのは困難である。
本発明の目的は、上述した課題を解決する顔認証装置を提供することにある。
本発明の一形態に係る顔認証装置は、
認証対象の顔画像に対する第1の認証を閾値に基づいて行う第1の認証部と、
顔認証以外の認証方式によって第2の認証を行う第2の認証部と、
前記第2の認証部の利用の有無を検出する検出部と、
前記第2の認証部を利用するときは利用しないときに比べて大きい値を前記閾値に設定する閾値変更部と、
前記設定後の前記閾値を用いて、前記第2の認証部を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証部を利用する場合は前記第1の認証の結果と前記第2の認証の結果とに基づいて本人認証を行う本人認証部と、を含む。
本発明の他の形態に係る顔認証方法は、
顔認証以外の認証方式による第2の認証の利用の有無を検出し、
認証対象の顔画像に対する認証を閾値に基づいて行う第1の認証における前記閾値に、前記第2の認証を利用するときは利用しないときに比べて大きい値を設定し、
前記設定後の前記閾値を用いて、前記第2の認証を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証を利用する場合は前記第1の認証の結果と前記第2の認証の結果とに基づいて本人認証を行う。
本発明の他の形態に係るプログラムは、
コンピュータを、
認証対象の顔画像に対する第1の認証を閾値に基づいて行う第1の認証部と、
顔認証以外の認証方式によって第2の認証を行う第2の認証部と、
前記第2の認証部の利用の有無を検出する検出部と、
前記第2の認証部を利用するときは利用しないときに比べて大きい値を前記閾値に設定する閾値変更部と、
前記設定後の前記閾値を用いて、前記第2の認証部を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証部を利用する場合は前記第1の認証の結果と前記第2の認証の結果とに基づいて本人認証を行う本人認証部と、
して機能させる。
本発明は上述した構成を有することにより、他の認証方式の利用の有無を選択することにより、セキュリティ性を重視した運用とその逆に利便性を重視した運用とに切り替えることができる顔認証装置における両運用のセキュリティ強度の差をより顕著にすることができる。
本発明の第1の実施形態に係る顔認証装置のブロック図である。 本発明の第1の実施形態に係る顔認証装置を含む入退場管理システムの概略図である。 本発明の第1の実施形態に係る顔認証装置の動作の概要を示すフローチャートである。 本発明の第1の実施形態に係る顔認証装置の動作の概要を示すフローチャートである。 本発明の第1の実施形態における顔画像認証とICカード認証との組合せ、および顔画像認証で使用する照合閾値によって決定されるセキュリティ強度の概念図である。 本発明の第2の実施形態に係る顔認証装置における閾値変更部の動作の一例を示すフローチャートである。 本発明の第2の実施形態に係る顔認証装置における閾値変更部が表示する照合閾値設定画面の例を示す図である。 本発明の第3の実施形態に係る顔認証装置のブロック図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
図1は本発明の第1の実施形態に係る顔認証装置100のブロック図である。また図2は本実施形態に係る顔認証装置100を含む入退室管理システムの概略図である。図1を参照すると、本実施形態に係る顔認証装置100は、カメラ部141との間のインタフェース部111、ICカードリーダ144との間のインタフェース部112、ゲート装置142との間のインタフェース部113、通信インタフェース部114、操作入力部115、画面表示部116、記憶部120、および演算処理部130から構成されている。
インタフェース部111は、認証対象である人物の顔を撮像するカメラ部141との間で信号を授受するように構成されている。信号の授受は有線または無線の何れであってもよい。カメラ部141は、図2に示すように、ゲート装置142を通過する利用者143の顔部分を撮像できる位置および画角に設定されている。カメラ部141は、照合対象である人物の顔を撮像して得られた画像データを、インタフェース部111を通じて演算処理部130に出力するCCD(Charge Coupled Device)素子やCMOS(Complementary Metal−oxide Semiconductor)素子などからなる撮像装置である。カメラ部141で撮像される画像データは、例えば256階調の白黒濃淡画像であるが、カラー画像であってもよい。
インタフェース部112は、ICカードリーダ144との間で信号を授受するように構成されている。信号の授受は有線または無線の何れであってもよい。ICカードリーダ144は、図2に示すように、ゲート装置142の近傍に取り付けられている。ゲート装置142を通過する際、利用者143が所持するICカード145を近づけると、ICカードリーダ144は、ICカード145に記憶された情報を非接触で読み取り、インタフェース部112を通じて演算処理部130に出力するように構成されている。ICカード145には、利用者IDと認証情報とを含む情報が記憶されている。
インタフェース部113は、ゲート装置142との間で本人認証の結果などの信号を授受するように構成されている。信号の授受は有線または無線の何れであってもよい。ゲート装置142は、受信した本人認証の結果に従って所定の動作を行う。所定の動作は各種考えられる。例えばゲート装置142は、本人認証の結果に従ってゲート装置142に取り付けられた扉の開閉動作を自動的に行う。或いはゲート装置142は、手動で開閉自在なゲートバーを備え、本人認証に成功したときに限り一定時間だけゲートバーのロックを解除する。或いはゲート装置142は、本人認証の結果に従ってゲート装置142に取り付けられた報知器から通行可否のメッセージを視覚的または音響的に出力する。ゲート装置142は、据え置き型であってもよいし、移動可能な可搬型であってもよい。またゲート装置142は、顔認証装置100と独立した装置であってもよいし、顔認証装置100と一体となった装置であってもよい。
通信インタフェース部114は、端末などの外部装置との間でデータ通信を行う通信装置である。通信方式は、有線または無線の何れであってもよい。
操作入力部115は、キーボードやテンキーなどの入力装置であり、オペレータの操作を検出して演算処理部130に出力するように構成されている。
画面表示部116は、LCD(Liquid Crystal Display)やPDP(Plasma Display Panel)などの画面表示装置である。画面表示部116は、演算処理部130からの指示に応じて、照合結果などの各種情報を画面表示するように構成されている。
記憶部120は、ハードディスクやメモリなどの記憶装置である。記憶部120は、演算処理部130で行われる各種処理に必要な処理情報およびプログラム121を記憶するように構成されている。
プログラム121は、演算処理部130に読み込まれて実行されることにより各種処理部を実現する。プログラム121は、通信インタフェース部114などのデータ入出力機能を介して外部装置(図示せず)や記憶媒体(図示せず)から予め読み込まれて記憶部120に保存される。
記憶部120に記憶される主な処理情報には、基準顔画像データ122、照合閾値123、基準カードデータ124、およびICカード認証の利用有無データ125がある。
基準顔画像データ122は、顔照合を行う際に用いられる基準となる顔画像と利用者IDとを関連付けたデータである。基準顔画像データ122には、利用者IDに関連付けて、その利用者IDを有する人物の顔画像が基準顔画像として少なくとも1枚関連付けられていてよい。或いは、基準顔画像データ122には、利用者IDに関連付けて、その利用者IDを有する人物の顔画像から抽出された顔の特徴量が基準顔情報として関連付けられていてよい。ここで、顔の特徴量は、顔を構成する目、鼻、口、眉等の各部の位置関係や形状を認識するための顔画像の各部における特徴を示す数値であり、画像どうしの類似判断等を行う場合に用いられる。
照合閾値123は、顔照合を行う際に用いられる閾値である。本実施形態の場合、照合閾値123は、全ての利用者IDで共通である。照合閾値を高めると他人受入率が下がりセキュリティが高くなる。
基準カードデータ124は、ICカード認証を行う際に用いられる基準となる認証情報と利用者IDとを関連付けたデータである。基準カードデータ124には、利用者IDに関連付けて、その利用者IDを有するICカード145に記憶されている認証情報と照合する情報が基準認証情報として記録されている。
ICカード認証の利用有無データ125は、ICカード認証を利用するか否かを示すデータである。ICカード認証の利用有無データ125は、例えば、ICカード認証を利用するときに値1にセットされ、ICカード認証を利用しないときに値0にリセットされる。
演算処理部130は、MPUなどのマイクロプロセッサとその周辺回路を有する演算処理装置である。演算処理部130は、記憶部120からプログラム121を読み込んで実行することにより、上記ハードウェアとプログラム121とを協働させて各種処理部を実現するように構成されている。演算処理部130で実現される処理部として、入力部131、顔画像取得部132、照合部133、ICカード認証利用有無検出部134、閾値変更部135、ICカード情報取得部136、ICカード認証部137、本人認証部138、および出力部139がある。
入力部131は、通信インタフェース部114或いは操作入力部115を通じて外部から基準顔画像データ122、および基準カードデータ124を入力し、記憶部120に記憶するように構成されている。
顔画像取得部132は、カメラ部141によって撮像された照合対象の人物の画像データを、インタフェース部111を通じて入力し、その画像データから照合対象の顔画像を取得(検出)するように構成されている。顔画像取得部132は、人の一般的な顔の輪郭を示すテンプレートを画像データにマッチングさせることにより、画像データ内に存在する顔画像を取得する。テンプレートマッチング以外に公知の各種の顔検出アルゴリズムを使用してもよい。顔画像取得部132は、取得した顔画像を照合部133に伝達するように構成されている。
照合部133は、記憶部120から基準顔画像データ122と照合閾値123とを読み出し、基準顔画像データ122に含まれる基準顔画像と顔画像取得部132によって取得された照合対象の顔画像との間の類似度を利用者ID毎に算出し、算出した利用者ID毎の類似度を照合閾値123と比較した結果に基づいて、照合対象の顔画像が基準顔画像データ152に含まれる何れの利用者IDの基準顔画像と一致するか、或いは何れの基準顔画像とも一致しないかを判定するように構成されている。類似度の一例として、顔画像相互間の相互相関係数を用いることができる。その場合、両顔画像に同一人物の顔部分が含まれる場合に類似度が大きくなり、両顔画像に異なる人物の顔部分が含まれる場合に類似度が小さくなる。顔画像間の類似度としては、相互相関係数以外の公知の類似度算出技術を用いることができる。例えば、照合部133は、取得された照合対象の顔画像から顔の特徴量を抽出し、基準顔画像データ122に含まれる基準顔の特徴量と照合対象の顔画像から抽出した顔の特徴量とを照合して、基準顔画像と照合対象の顔画像との類似度を算出するように構成されていてよい。
また照合部133は、顔画像取得部132によって取得された照合対象の顔画像との間の類似度が照合閾値123以上になる利用者IDの基準顔画像が1つも存在しない場合、顔認証失敗の認証結果を生成するように構成されている。また照合部133は、顔画像取得部162によって取得された照合対象の顔画像との間の類似度が照合閾値123以上になる基準顔画像が1以上存在する場合、類似度が最大の利用者IDを含む顔認証成功の認証結果を生成するように構成されている。さらに照合部133は、認証結果を本人認証部138に伝達するように構成されている。
ICカード認証利用有無検出部134は、ICカード認証の利用の有無を検出するように構成されている。ICカード認証利用有無検出部134は、顔認証装置100の運用開始前にICカード認証の利用の有無を検出するように構成されている。またICカード認証利用有無検出部134は、顔認証装置100の運用中にICカード認証の利用の有無を検出するように構成されている。
ICカード認証利用有無検出部134は、通信インタフェース部114あるいは操作入力部115を通じて管理者から、ICカード認証を利用する旨のコマンドを受信したときに、ICカード認証を利用する状態であることを検出する。反対にICカード認証利用有無検出部134は、管理者からICカード認証を利用しない旨のコマンドを受信したときに、ICカード認証を利用しない状態であること検出する。但し、ICカード認証の利用の有無を検出する方法はこれに限定されない。例えばICカード認証利用有無検出部134は、ICカードリーダ144とのインタフェース部112が演算処理部130に装着されているか否かを調べ、装着されていればICカード認証を利用する状態であり、装着されていなければICカード認証を利用しない状態であることを検出するように構成されていてよい。またICカード認証利用有無検出部134は、検出したICカード認証の利用の有無に従って、記憶部120に記憶されているICカード認証の利用有無データ125を更新するように構成されている。さらにICカード認証利用有無検出部134は、ICカード認証の利用有無データ125を設定または変更した場合、閾値変更部135にその旨を通知するように構成されている。
閾値変更部135は、ICカード認証利用有無検出部134から通知を受けると、記憶部120からICカード認証の利用有無データ125を読み出し、そのデータに従って照合閾値123の値を決定し、決定した照合閾値123を記憶部120に記憶するように構成されている。具体的には、閾値変更部135は、ICカード認証を利用しているときは利用していないときに比べて大きくなるように照合閾値123を決定する。本実施形態では、閾値変更部135は、ICカード認証を利用しているときは、予め定められた値T0より大きな値THを照合閾値123とすることで他人受入率を低く抑え、セキュリティ強度を高める。他方、閾値変更部135は、ICカード認証を利用していないときは、予め定められた値T0より小さな値TLを照合閾値123とすることで本人拒否率を低く抑え、利便性を高める。
ICカード情報取得部136は、ICカードリーダ144によって読取られたICカード145の記憶情報を、インタフェース部112を通じて入力するように構成されている。ICカード情報取得部136は、取得したICカード145の記憶情報をICカード認証部137に伝達するように構成されている。
ICカード認証部137は、記憶部120から基準カードデータ124を読み出し、基準カードデータ124に含まれる基準認証情報とICカード情報取得部136によって取得されたICカード145の記憶情報とを照合し、その照合の結果に基づいて、ICカード認証を行うように構成されている。例えば、ICカード認証部137は、ICカード145の記憶情報から利用者IDと認証情報とを抽出し、その抽出した利用者IDと同一の利用者IDを有する基準カードデータ124に含まれる基準認証情報と上記抽出した認証情報とを比較し、一致すれば認証成功、一致しなければ認証失敗とする。但し、このような認証方法に限定されず公知のICカード認証技術を用いることができる。またICカード認証部137は、認証に成功した利用者IDを含む認証結果を本人認証部138に伝達するように構成されている。
本人認証部138は、照合部133の認証結果とICカード認証部137の認証結果とICカード認証の利用有無データ125とに基づいて本人認証を行うように構成されている。具体的には、本人認証部138は、記憶部120からICカード認証の利用有無データ125を読み出し、ICカード認証の利用の有無を判断する。そして本人認証部138は、ICカード認証の利用有無データ125がICカード認証を利用することを示している場合、照合部133の認証結果とICカード認証部137の認証結果とに基づいて本人認証の結果を導出する。即ち、本人認証部138は、照合部133の認証結果およびICカード認証部137の認証結果の双方が共に認証成功であり、且つ、認証に成功した利用者IDが双方で同一であれば、本人認証は成功と判断する。他方、本人認証部138は、照合部133の認証結果およびICカード認証部137の認証結果の少なくとも一方が認証失敗であるか、或いは双方で認証に成功したが認証に成功した利用者IDが互いに相違するならば、本人認証は失敗と判断する。また本人認証部138は、ICカード認証の利用有無データ125がICカード認証を利用しないことを示している場合、ICカード認証部137の認証結果を利用せずに照合部133の認証結果に基づいて本人認証の結果を導出する。即ち、本人認証部138は、照合部133の認証結果が認証成功であれば、本人認証は成功と判断し、照合部133の認証結果が認証失敗ならば、本人認証は失敗と判断する。本人認証部138は、本人認証に成功した利用者IDを含む本人認証の結果を出力部139に伝達するように構成されている。
出力部139は、本人認証部138によって生成された本人認証の結果を、インタフェース部113を通じてゲート装置142へ送信するように構成されている。また出力部139は、本人認証部138によって生成された本人認証の結果を画面表示部116に表示し、または/および、通信インタフェース部114を通じて外部の装置へ送信するようにしてもよい。
図3は顔認証装置100の動作の概要を示すフローチャートである。図3を参照すると、まず顔認証装置100の入力部131は、外部から基準顔画像データ122を入力し、記憶部120に記憶する(ステップS1)。次に入力部131は、外部から基準カードデータ124を入力し、記憶部120に記憶する(ステップS2)。次に顔認証装置100のICカード認証利用有無検出部134は、通信インタフェース部114或いは操作入力部115から入力されるコマンドに基づいてICカード認証の利用の有無を検出し、その検出結果に基づいてICカード認証の利用有無データ125を設定する(ステップS3)。即ち、ICカード認証利用有無検出部134は、ICカード認証を利用する旨のコマンドが入力されると、ICカード認証の利用有無データ125の値を1にセットし、ICカード認証を利用しない旨のコマンドが入力されると上記値を0にリセットする。次に顔認証装置100の閾値変更部135は、ICカード認証の利用有無データ125に応じた値の照合閾値123を記憶部120に設定する(ステップS4)。即ち、閾値変更部135は、ICカード認証を利用する場合は値THの照合閾値123を設定し、ICカード認証を利用しない場合は値TL(<TH)の照合閾値123を設定する。以上のステップS1〜S4の処理は、顔認証の運用を開始するための準備処理であり、一度実施していれば省略してよい。なお、図4を参照して後述するように、ICカード認証の利用の有無は運用中に変更することができる。
運用中は以下のような動作が行われる。まず顔認証装置100の顔画像取得部132は、カメラ部141から照合対象を撮像して得られた画像データを入力し、その画像データから照合対象の顔画像を取得する(ステップS5)。次に顔認証装置100の照合部133は、基準顔画像データ122に含まれる各基準顔画像と顔画像取得部132によって取得された照合対象の顔画像との間の類似度を算出して照合閾値123と比較することにより、顔認証を行う(ステップS6)。
次に顔認証装置100のICカード情報取得部136は、記憶部120からICカード認証の利用有無データ125を読み出し、ICカード認証の利用可否の設定状態を調査する(ステップS7)。ICカード情報取得部136は、ICカード認証の利用有無データ125の値が1であればICカード認証利用可と判断し、その値が0であればICカード認証利用不可と判断する。
ICカード情報取得部136は、ICカード認証利用可と判断すると、ゲート装置142を通過する利用者143のICカード145からICカードリーダ144によって読み取られた記憶情報を取得する(ステップS8)。次に顔認証装置100のICカード認証部137は、基準カードデータ124に含まれる基準認証情報とICカード情報取得部136によって取得されたICカード145の記憶情報とを照合して、ICカード認証を行う(ステップS9)。次に顔認証装置100の本人認証部138は、ステップS6で実施した顔認証の結果とステップS9で実施したICカード認証の結果とに基づいて本人認証の結果を導出する(ステップS10)。他方、本人認証部138は、ICカード認証利用不可と決定されている場合、ICカード認証を実施せず、ステップS6で実施した顔認証の結果に基づいて本人認証の結果を導出する(ステップS11)。
次に顔認証装置100の出力部139は、本人認証の結果を、インタフェース部113を通じてゲート装置142に出力する(ステップS12)。そして、顔認証装置100は、ステップS5に戻って上述した処理と同様の処理を繰り返す。
また、顔認証装置100は、図3に示す処理と並行して図4に示す処理を実行するように構成されている。図4を参照すると、顔認証装置100のICカード認証利用有無検出部134は、記憶部120に記憶されているICカード認証の利用有無データ125の値が1であるならば、即ちICカード認証を利用していれば(ステップS21でYES)、ICカード認証を利用しない旨のコマンドが通信インタフェース部114あるいは操作入力部115を通じて利用者から入力されるのを監視する(ステップS22)。そして、ICカード認証利用有無検出部134は、ICカード認証を利用しない旨のコマンドが入力されると、記憶部120に記憶されているICカード認証の利用有無データ125の値を0に変更する(ステップS24)。次に顔認証装置100の閾値変更部135は、記憶部120に記憶されている照合閾値123の値をTLに変更する(ステップS25)。そして、顔認証装置100はステップS21の処理へ戻る。
他方、ICカード認証利用有無検出部134は、記憶部120に記憶されているICカード認証の利用有無データ125の値が0であるならば、即ちICカード認証を利用していなければ(ステップS21でNO)、ICカード認証を利用する旨のコマンドが通信インタフェース部114あるいは操作入力部115を通じて利用者から入力されるのを監視する(ステップS25)。そして、ICカード認証利用有無検出部134は、ICカード認証を利用する旨のコマンドが入力されると、記憶部120に記憶されているICカード認証の利用有無データ125の値を1に変更する(ステップS26)。次に顔認証装置100の閾値変更部135は、記憶部120に記憶されている照合閾値123の値をTHに変更する(ステップS27)。そして、顔認証装置100はステップS21の処理へ戻る。
以上説明したように、本実施形態に係る顔認証装置100では、顔認証とICカード認証とを併用して本人認証を行う場合、顔認証に使用する照合閾値123を基準値T0より大きなTHにするため、セキュリティ強度がより高くなる(このときのセキュリティ強度をSL6とする)。一方、本実施形態に係る顔認証装置100では、ICカード認証を使用せずに顔認証結果に基づいて本人認証を行う場合、顔認証に使用する照合閾値123を基準値T0より小さなTLにするので、セキュリティ強度がより低くなる(このときのセキュリティ強度をSL1とする)。その結果、顔認証装置100においてICカード認証を利用する場合と利用しない場合とのセキュリティ強度の差(SL6−SL1)をより顕著にすることができる。
これに対して、顔認証に使用する照合閾値123をICカード認証の利用の有無にかかわらず固定にする場合、例えばT0に固定すると、ICカード認証を使用せずに顔認証で本人認証を行う場合のセキュリティ強度がSL1より高くなり(このときのセキュリティ強度をSL2とする)、顔認証とICカード認証とを併用して本人認証を行う場合のセキュリティ強度がSL6より低くなる(このときのセキュリティ強度をSL5とする)。従って、得られるセキュリティ強度差(SL5−SL2)は、上記セキュリティ強度差(SL6−SL1)より小さくなる。
また、顔認証以外の認証方式で高いセキュリティ強度が達成される程、顔認証の閾値を小さくするという特許文献1の考え方を適用すると、ICカード認証を利用する場合には照合閾値123にTLを使用し、ICカード認証を利用しない場合には照合閾値123にTHを使用することになる。そうすると、ICカード認証を使用せずに顔認証で本人認証を行う場合のセキュリティ強度はSL2よりも更に高くなり(このときのセキュリティ強度をSL3とする)、顔認証とICカード認証とを併用して本人認証を行う場合のセキュリティ強度がSL5よりさらに低くなる(このときのセキュリティ強度をSL4とする)。従って、得られるセキュリティ強度差(SL4−SL3)は、上記セキュリティ強度差(SL5−SL2)よりさらに小さくなる。
図5は、顔認証とICカード認証との組合せ、および顔認証で使用する照合閾値によって決定されるセキュリティ強度の概念図である。図5において、SL1〜SL6は、以下の組合せによるセキュリティ強度を表している。
SL1:照合閾値TLの顔認証単独による本人認証
SL2:照合閾値T0の顔認証単独による本人認証
SL3:照合閾値THの顔認証単独による本人認証
SL4:照合閾値TLの顔認証とICカード認証との併用による本人認証
SL5:照合閾値T0の顔認証とICカード認証との併用による本人認証
SL6:照合閾値THの顔認証とICカード認証との併用による本人認証
ここで、TH>T0>TLである。
このように本実施形態によれば、ICカード認証の利用の有無を選択することにより、セキュリティ性を重視した運用とその逆に利便性を重視した運用とに切り替えることができる顔認証装置100における両運用のセキュリティ強度の差をより顕著にすることができる。
[第2の実施形態]
次に本発明の第2の実施形態について説明する。本実施形態に係る顔認証装置200は、閾値変更部135が、利用者からの要求に従って照合閾値123の値を変更するように構成されている点で、第1の実施形態と相違し、それ以外の構成および動作は第1の実施形態と同じである。
図6は利用者からの要求に従って照合閾値を変更する閾値変更部135の処理の一例を示すフローチャートである。閾値変更部135は、例えば、操作入力部115から照合閾値の変更を要求するコマンドが入力されると、図6に示す処理を開始する。
閾値変更部135は、先ず画面表示部116に照合閾値設定画面を表示する(ステップS31)。図7は照合閾値設定画面の例を示す。この例の照合閾値設定画面は、ICカード認証の利用の有無を選択するラジオボタン、照合閾値の値を指定するスライドバー、OKボタン、および、キャンセルボタンを有している。
次に閾値変更部135は、ICカード認証の利用の有無の指定を利用者から入力する(ステップS32)。図7の照合閾値設定画面では、利用者はラジオボタンでICカード認証の利用の有無を指定する。次に閾値変更部135は、利用者から照合閾値を入力する(ステップS33)。図7の照合閾値設定画面では、利用者は、スライドバーのつまみの位置を左右に移動させて照合閾値を指定する。次に閾値変更部135は、OKボタンがクリックされると、図6のステップS34以降の処理を実行する。キャンセルボタンがクリックされたら図6の処理を終了する。
ステップS34では、閾値変更部135は、ラジオボタンの状態に基づいてICカード認証を利用するか否かを判定する。次に閾値変更部135は、ICカード認証を利用しないならば(ステップS34でNO)、スライドバーのつまみの位置に応じた値の照合閾値で記憶部120の照合閾値123を更新し、またICカード認証の利用有無データ125を利用無しの状態に更新する(ステップS35)。また、ICカード認証を利用するならば(ステップS34でYES)、閾値変更部135は、スライドバーのつまみの位置に応じた値が所定値T0より大きいか否かを判定する(ステップS36)。そして、所定値T0より大きければ、スライドバーのつまみの位置に応じた値の照合閾値で記憶部120の照合閾値123を更新し、またICカード認証の利用有無データ125を利用有りの状態に更新する(ステップS35)。
一方、スライドバーのつまみの位置に応じた値が所定値T0より大きくなければ(ステップS36でNO)、閾値変更部135は、変更を拒否し、所定値T0以上の照合閾値を入力するように促すメッセージを画面表示部116に表示する(ステップS37)。そして、閾値変更部135は、ステップS33に戻って、照合閾値の再入力を受け付ける。
このように本実施形態では、閾値変更部135は、利用者からの要求に従って照合閾値123の値を変更する前に、ICカード認証の利用の有無、および変更後の照合閾値123の値が所定値より大きいか否かを調べ、ICカード認証を利用していながら変更後の照合閾値の値が所定値より大きくなければ要求を拒否する。これにより、ICカード認証利用時のセキュリティ強度が低くなるのを防止することができる。
図6では、閾値変更部135は、ICカード認証を利用しない場合、利用者が指定した通りの値で照合閾値を変更したが、利用者が指定した値が所定値T0より小さいか否を調べ、小さくなければ要求を拒否するようにしてもよい。これにより、ICカード認証利用時のセキュリティ強度が高くなるのを防止することができる。
上記の各実施形態では、顔認証以外の認証方式としてICカード認証を使用したが、顔認証以外の認証方式として、パスワード認証等を利用してもよい。また、2要素認証に限定されず、多要素認証であってもよい。また、2段階認証などの多段階認証であってもよい。その場合の顔認証以外の認証方式としては、虹彩認証、指紋認証等であってもよい。
また上記の各実施形態では、顔認証に使用する照合閾値を全ての利用者IDで共通としたが、照合閾値を利用者毎に設定するように構成されていてもよい。
[第3の実施形態]
次に本発明の第3の実施形態について説明する。図8は本実施形態に係る顔認証装置300のブロック図である。図8を参照すると、顔認証装置300は、第1の認証部301と、第2の認証部302と、検出部303と、本人認証部304と、閾値変更部305とを含んで構成される。
第1の認証部301は、認証対象の顔画像に対する第1の認証を閾値に基づいて行うように構成されている。第1の認証部301は、図1の照合部133と同様に構成することができるが、それに限定されない。第2の認証部302は、顔認証以外の認証方式によって第2の認証を行うように構成されている。第2の認証部302は、図1のICカード認証部137と同様に構成することができるが、それに限定されない。検出部303は、第2の認証部302の利用の有無を検出するように構成されている。検出部303は、図1のICカード認証利用有無検出部134と同様に構成することができるが、それに限定されない。閾値変更部305は、第2の認証部302を利用するときは利用しないときに比べて大きい値を上記閾値に設定するように構成されている。閾値変更部305は、図1の閾値変更部135と同様に構成することができるが、それに限定されない。本人認証部304は、上記設定後の閾値を用いて、第2の認証部302を利用しない場合は第1の認証の結果に基づいて本人認証を行い、第2の認証部302を利用する場合は第1の認証の結果と第2の認証の結果とに基づいて本人認証を行うように構成されている。本人認証部304は、図1の本人認証部138と同様に構成することができるが、それに限定されない。
このように構成された本実施形態に係る顔認証装置300は以下のように動作する。即ち、検出部303は、顔認証以外の認証方式による第2の認証の利用の有無を検出する。閾値変更部305は、認証対象の顔画像に対する認証を閾値に基づいて行う第1の認証における上記閾値に、第2の認証を利用するときは利用しないときに比べて大きい値を設定する。本人認証部138は、上記設定後の閾値を用いて、第2の認証を利用しない場合は第1の認証の結果に基づいて本人認証を行い、第2の認証を利用する場合は第1の認証の結果と第2の認証の結果とに基づいて本人認証を行う。
このように本実施形態によれば、他の認証方式の利用の有無を選択することにより、セキュリティ性を重視した運用とその逆に利便性を重視した運用とに切り替えることができる顔認証装置における両運用の性能差をより顕著にすることができる。その理由は、閾値変更部が、第2の認証部を利用するときは利用しないときに比べて大きい値を上記閾値に設定するためである。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
例えば、第1の実施形態では、セキュリティ強度の差をより大きくするために、ICカード認証を利用しているときは、予め定められた値T0より大きな値THを照合閾値123とすることでセキュリティ強度を高め、他方、ICカード認証を利用していないときは、予め定められた値T0より小さな値TLを照合閾値123とすることでセキュリティ強度を低くした。しかし、本発明の基本は、顔認証以外の認証を利用するときは利用しないときに比べて照合閾値123を大きくすることである。そのため、ICカード認証を利用していないときは、照合閾値123をT0と同じ値にしてもよい。或いは、顔認証には、カメラの前で立ち止まることなく歩きながら顔認証を可能とする、ウォークスルー顔認証と、ゲートの前で立ち止まり、画面に触れるなどしたことをトリガーに顔認証を実行する、トリガーあり顔認証とがある。そこで、ICカード認証を利用しないときの照合閾値123の設定値として、トリガーあり顔認証であれば照合閾値123をT0とし、利便性をより優先するウォークスルー顔認証であれば照合閾値123をTLとするようにしてもよい。
また、第1の実施形態では、ICカード認証を利用しているときに、顔認証をICカード認証と独立に実施した。しかし、ICカード認証を利用しているときに、ICカード認証の認証結果を利用して、顔認証を実施するようにしてもよい。具体的には、ICカード認証を利用する場合、先ずICカード認証を行い、次にICカード認証の結果を利用して顔認証を行う。そして、顔認証では、ICカード認証で認証に成功した利用者IDに対応して基準顔画像データ122に登録されている基準顔画像と照合対象の顔画像との類似度を算出して双方の顔を照合する。このようにICカード認証によって特定した一人の個人の顔と照合対象の顔との照合を行うことにより、ICカード認証利用時の顔認証の処理量を削減でき、且つ認証精度を高めることができる。
本発明は、入退室監視システムや勤怠管理システムなどに利用でき、特に利用者の負担を招くことなく、照合に使用する閾値を適切に自動修正して、利便性や安全性の向上を図る場合に適している。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
認証対象の顔画像に対する第1の認証を閾値に基づいて行う第1の認証部と、
顔認証以外の認証方式によって第2の認証を行う第2の認証部と、
前記第2の認証部の利用の有無を検出する検出部と、
前記第2の認証部を利用するときは利用しないときに比べて大きい値を前記閾値に設定する閾値変更部と、
前記設定後の前記閾値を用いて、前記第2の認証部を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証部を利用する場合は前記第1の認証の結果と前記第2の認証の結果とに基づいて本人認証を行う本人認証部と、を含む
顔認証装置。
[付記2]
前記閾値変更部は、利用者からの要求に従って前記閾値の値を変更する前に、前記第2の認証部の利用の有無、および変更後の前記閾値の値が所定値より大きいか否かを調べ、前記第2の認証部を利用し且つ変更後の前記閾値の値が前記所定値より大きくなければ前記要求を拒否する、
付記1に記載の顔認証装置。
[付記3]
前記検出部は、前記第2の認証部の利用の有無を指定する利用者からのコマンドに基づいて前記検出を行う、
付記1または2に記載の顔認証装置。
[付記4]
前記検出部は、前記第2の認証部で使用する認証情報を前記認証対象から取得するためのインタフェース部の有無に基づいて前記検出を行う、
付記1乃至3の何れかに記載の顔認証装置。
[付記5]
前記閾値変更部は、前記第2の認証部を利用しているときは所定値より大きくなるように前記閾値を設定する、
付記1乃至4の何れかに記載の顔認証装置。
[付記6]
顔認証以外の認証方式による第2の認証の利用の有無を検出し、
認証対象の顔画像に対する認証を閾値に基づいて行う第1の認証における前記閾値に、前記第2の認証を利用するときは利用しないときに比べて大きい値を設定し、
前記設定後の前記閾値を用いて、前記第2の認証を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証を利用する場合は前記第1の認証の結果と前記第2の認証の結果とに基づいて本人認証を行う、
顔認証方法。
[付記7]
前記閾値の設定では、利用者からの要求に従って前記閾値の値を変更する前に、前記第2の認証の利用の有無、および変更後の前記閾値の値が所定値より大きいか否かを調べ、前記第2の認証を利用し且つ変更後の前記閾値の値が前記所定値より大きくなければ前記要求を拒否する、
付記6に記載の顔認証方法。
[付記8]
前記第2の認証の利用の有無の検出では、前記第2の認証の利用の有無を指定する利用者からのコマンドに基づいて前記検出を行う、
付記6または7に記載の顔認証方法。
[付記9]
前記第2の認証の利用の有無の検出では、前記第2の認証で使用する認証情報を前記認証対象から取得するためのインタフェース部の有無に基づいて前記検出を行う、
付記6乃至8の何れかに記載の顔認証方法。
[付記10]
前記閾値の設定では、前記第2の認証を利用しているときは所定値より大きくなるように前記閾値を設定する、
付記5乃至9の何れかに記載の顔認証方法。
[付記11]
コンピュータを、
認証対象の顔画像に対する第1の認証を閾値に基づいて行う第1の認証部と、
顔認証以外の認証方式によって第2の認証を行う第2の認証部と、
前記第2の認証部の利用の有無を検出する検出部と、
前記第2の認証部を利用するときは利用しないときに比べて大きい値を前記閾値に設定する閾値変更部と、
前記設定後の前記閾値を用いて、前記第2の認証部を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証部を利用する場合は前記第1の認証の結果と前記第2の認証の結果とに基づいて本人認証を行う本人認証部と、
して機能させるためのプログラム。
[付記12]
前記第1の認証では、前記認証対象の顔画像から抽出した顔の特徴量と登録利用者毎の基準顔画像から抽出した顔の特徴量とを照合して前記顔画像と前記基準顔画像との類似度を算出する、
付記1乃至11の何れかに記載の顔認証装置、顔認証方法、およびプログラム。
[付記13]
前記閾値の設定では、前記第2の認証を利用するときは予め定められた値に比べて大きい値を前記閾値に設定する、
付記1乃至12の何れかに記載の顔認証装置、顔認証方法、およびプログラム。
[付記14]
前記閾値の設定では、前記第2の認証を利用しないときは予め定められた値と同じか小さい値を前記閾値に設定する、
付記1乃至13の何れかに記載の顔認証装置、顔認証方法、およびプログラム。
[付記15]
前記第1の認証では、前記第2の認証を利用しているときは、認証対象の顔画像と前記第2の認証によって認証された登録利用者の基準顔画像との間の類似度を算出して閾値と比較することにより第1の認証を行う、
付記1乃至14の何れかに記載の顔認証装置、顔認証方法、およびプログラム。
100…顔認証装置
111…インタフェース部
112…インタフェース部
113…インタフェース部
114…通信インタフェース部
115…操作入力部
116…画面表示部
120…記憶部
121…プログラム
122…基準顔画像データ
123…照合閾値
124…基準カードデータ
125…ICカード認証の利用有無データ
130…演算処理部
131…入力部
132…顔画像取得部
133…照合部
134…ICカード認証利用有無検出部
135…閾値変更部
136…ICカード情報取得部
137…ICカード認証部
138…本人認証部
139…出力部
141…カメラ部
142…ゲート装置
143…利用者
144…ICカードリーダ
145…ICカード
200…顔認証装置
300…顔認証装置
301…第1の認証部
302…第2の認証部
303…検出部
304…本人認証部
305…閾値変更部

Claims (10)

  1. 認証対象の顔画像に対する第1の認証を閾値に基づいて行う第1の認証部と、
    顔認証以外の認証方式によって第2の認証を行う第2の認証部と、
    前記第2の認証部の利用の有無を検出する検出部と、
    前記第2の認証部を利用するときは利用しないときに比べて大きい値を前記閾値に設定する閾値変更部と、
    前記設定後の前記閾値を用いて、前記第2の認証部を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証部を利用する場合は前記第2の認証の結果に基づいて特定される利用者IDを用いた第1の認証の結果に基づいて本人認証を行う本人認証部と、を含む
    顔認証装置。
  2. 前記閾値変更部は、利用者からの要求に従って前記閾値の値を変更する前に、前記第2の認証部の利用の有無、および変更後の前記閾値の値が所定値より大きいか否かを調べ、前記第2の認証部を利用し且つ変更後の前記閾値の値が前記所定値より大きくなければ前記要求を拒否する、
    請求項1に記載の顔認証装置。
  3. 前記検出部は、前記第2の認証部の利用の有無を指定する利用者からのコマンドに基づいて前記検出を行う、
    請求項1または2に記載の顔認証装置。
  4. 前記検出部は、前記第2の認証部で使用する認証情報を前記認証対象から取得するためのインタフェース部の有無に基づいて前記検出を行う、
    請求項1乃至3の何れかに記載の顔認証装置。
  5. 前記閾値変更部は、前記第2の認証部を利用しているときは所定値より大きくなるように前記閾値を設定する、
    請求項1乃至4の何れかに記載の顔認証装置。
  6. 顔認証以外の認証方式による第2の認証の利用の有無を検出し、
    認証対象の顔画像に対する認証を閾値に基づいて行う第1の認証における前記閾値に、前記第2の認証を利用するときは利用しないときに比べて大きい値を設定し、
    前記設定後の前記閾値を用いて、前記第2の認証を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証を利用する場合は前記第2の認証の結果に基づいて特定される利用者IDを用いた第1の認証の結果に基づいて本人認証を行う、
    顔認証方法。
  7. 前記閾値の設定では、利用者からの要求に従って前記閾値の値を変更する前に、前記第2の認証の利用の有無、および変更後の前記閾値の値が所定値より大きいか否かを調べ、前記第2の認証を利用し且つ変更後の前記閾値の値が前記所定値より大きくなければ前記要求を拒否する、
    請求項6に記載の顔認証方法。
  8. 前記第2の認証の利用の有無の検出では、前記第2の認証で使用する認証情報を前記認証対象から取得するためのインタフェース部の有無に基づいて前記検出を行う、
    請求項6または7の何れかに記載の顔認証方法。
  9. 前記閾値の設定では、前記第2の認証を利用しているときは所定値より大きくなるように前記閾値を設定する、
    請求項6乃至8の何れかに記載の顔認証方法。
  10. コンピュータを、
    認証対象の顔画像に対する第1の認証を閾値に基づいて行う第1の認証部と、
    顔認証以外の認証方式によって第2の認証を行う第2の認証部と、
    前記第2の認証部の利用の有無を検出する検出部と、
    前記第2の認証部を利用するときは利用しないときに比べて大きい値を前記閾値に設定する閾値変更部と、
    前記設定後の前記閾値を用いて、前記第2の認証部を利用しない場合は前記第1の認証の結果に基づいて本人認証を行い、前記第2の認証部を利用する場合は前記第2の認証の結果に基づいて特定される利用者IDを用いた第1の認証の結果に基づいて本人認証を行う本人認証部と、
    して機能させるためのプログラム。
JP2019141945A 2019-08-01 2019-08-01 顔認証装置 Active JP6767685B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019141945A JP6767685B2 (ja) 2019-08-01 2019-08-01 顔認証装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019141945A JP6767685B2 (ja) 2019-08-01 2019-08-01 顔認証装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018003230A Division JP6593466B2 (ja) 2018-01-12 2018-01-12 顔認証装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020149813A Division JP2020201988A (ja) 2020-09-07 2020-09-07 顔認証装置

Publications (2)

Publication Number Publication Date
JP2020009454A JP2020009454A (ja) 2020-01-16
JP6767685B2 true JP6767685B2 (ja) 2020-10-14

Family

ID=69151883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019141945A Active JP6767685B2 (ja) 2019-08-01 2019-08-01 顔認証装置

Country Status (1)

Country Link
JP (1) JP6767685B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7447986B2 (ja) * 2020-03-02 2024-03-12 日本電気株式会社 顧客管理装置、顧客管理方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP6369324B2 (ja) * 2014-12-22 2018-08-08 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、及びプログラム
JP2018007036A (ja) * 2016-07-01 2018-01-11 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6593466B2 (ja) * 2018-01-12 2019-10-23 日本電気株式会社 顔認証装置

Also Published As

Publication number Publication date
JP2020009454A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
JP6593466B2 (ja) 顔認証装置
EP1291807B1 (en) Person recognition apparatus and method
TWI254254B (en) Person recognizing apparatus, person recognizing method and passage controller
JP5012247B2 (ja) 認証装置、入場管理装置、入退場管理装置、入場管理システム、入退場管理システム、認証処理方法およびプログラム
JP4862447B2 (ja) 顔認識システム
JP5932317B2 (ja) 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム
EP3739551A1 (en) Facial recognition device
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP4850609B2 (ja) 顔画像照合装置
JP2003317100A (ja) 情報端末装置、認証システム、及び登録・認証方法
US20130163833A1 (en) Security device with security image update capability
JP6962431B2 (ja) 顔認証装置
JP2017004398A (ja) 認証装置及び認証方法
JP6525072B1 (ja) 顔認証装置
JP6767685B2 (ja) 顔認証装置
JP4705511B2 (ja) 顔画像照合装置
JP2019020918A (ja) 認証装置
JP2010086403A (ja) 顔認識装置、顔認識方法、及び通行制御装置
JP2019159974A (ja) 認証装置、認証方法、及び認証プログラム
JP4705512B2 (ja) 顔画像照合装置
JP2020201988A (ja) 顔認証装置
KR101926709B1 (ko) 생체 인증 및 제어 장치 및 그 방법
JP5871764B2 (ja) 顔認証装置
JP7251874B2 (ja) 顔認証装置、顔認証方法、プログラム、および記録媒体
JP4767751B2 (ja) 顔画像照合装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200901

R150 Certificate of patent or registration of utility model

Ref document number: 6767685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150