JP7303654B2 - 認証システム及び認証方法 - Google Patents

Description

本発明は、複数種類の認証を用いる認証システム及び認証方法に関する。

従来、パスワードや生体情報などを予め登録し、利用者から受け付けたパスワードや生体情報と登録した情報とが一致するか否かを判定することで、利用者の認証が行われてきた。

また、さらに高いセキュリティ性や認証精度を確保するため、使い捨てのパスワードを用いるワンタイムパスワード認証や、複数種類の認証を用いる多要素認証も用いられている。例えば、特許文献１は、生体情報、所持情報、知識情報、及び知識情報の２以上の情報を用いる多要素認証を開示している。また、特許文献２は、顔や音声などの複数の生体情報を用いる多要素認証を開示している。

特開２０１７－１１１６０８号公報 特表２０１７－５３５９８６号公報

しかしながら、従来の技術では、目的や状況に応じた柔軟な運用ができず、利便性が低下するという問題点があった。例えば、利用者の認証の成否によって操作を許可するか否かを決定する構成では、認証に失敗したときには、いかなる操作も行うことができない。実際には操作の内容によって要求すべきセキュリティのレベルが異なるが、最もセキュリティレベルの高い操作に合わせて認証の厳密さを設定することになるため、よりセキュリティレベルの低い操作にも過度に厳しい認証が課され、利用者の利便性が低下する事態となっていた。

また、暗い場所で認証を行う場合には、画像による認証は有効性が低下し、騒がしい場所で認証を行う場合には、音声による認証は有効性が低下する。明るさや音などの環境を整えて認証を行うならば、これらの環境の影響を抑制することができるが、可搬性の端末装置で認証を行う場合には、環境の影響を受けて認証の精度が低下してしまう。

これらのことから、複数種類の認証を用いる多要素認証において、目的や状況に応じた柔軟な運用を実現し、利便性を向上することが重要な課題となっていた。

本発明は、上記従来技術の課題を解決するためになされたものであって、複数種類の認証を用いる認証システムにおける利便性を向上することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、複数種類の認証を用いる認証システムであって、前記複数種類の認証に対応する認証用情報を取得する認証用情報取得手段と、前記認証用情報を用いて行われた認証の結果としての複数種類の認証スコアを合算して総合スコアを算定する総合認証手段と、前記総合認証手段による総合スコアに応じて利用者に許可する操作の範囲を段階的に制御する操作制御手段とを備え、前記総合認証手段は、前記複数種類の認証のうち所定の種類の認証スコアが所定の閾値を超えていることを条件に、前記複数種類の認証スコアに重みをつけて合算することで前記総合スコアを算定することを特徴とする。

また、本発明は、上記発明において、前記総合認証手段は、前記利用者が求める操作に対して前記総合スコアが不足する場合に追加の認証を行わせ、該追加の認証の結果を用いて前記利用者が求める操作を許可するか否かを制御することを特徴とする。

また、本発明は、上記発明において、前記総合認証手段は、前記認証用情報の取得環境に応じて前記複数種類の認証スコアを合算する際の重みを異ならせることを特徴とする。

また、本発明は、上記発明において、前記総合認証手段は、前記認証用情報から該認証用情報の取得環境を判定することを特徴とする。

また、本発明は、上記発明において、前記認証用情報取得手段は、前記認証用情報として前記利用者の顔画像を取得し、前記総合認証手段は、前記顔画像におけるマスクの着用の有無によって、前記総合スコアをどのように求めるかを異ならせることを特徴とする。

また、本発明は、上記発明において、前記総合認証手段は、前記マスクの着用が有である場合には、顔画像以外を用いた認証の結果を重視して前記総合スコアを求めることを特徴とする。

また、本発明は、上記発明において、前記総合認証手段は、前記マスクの着用が有である場合には、目元の領域を重点的に利用する部分顔認証の結果を用いて前記総合的スコアを求めることを特徴とする。

また、本発明は、上記発明において、前記認証用情報取得手段が前記認証用情報として前記利用者の顔画像を取得した場合に、取得した顔画像に対応するモデル顔画像を前記利用者に対して表示するモデル顔画像表示手段をさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記モデル顔画像表示手段は、取得した顔画像の範囲及び向きに合わせて前記モデル顔画像の範囲及び向きを決定することを特徴とする。

また、本発明は、上記発明において、前記モデル顔画像表示手段は、特定の条件が満たされた場合に、該特定の条件に対応する形状のモデル顔画像を表示することを特徴とする。

また、本発明は、複数種類の認証を用いる認証方法であって、前記複数種類の認証に対応する認証用情報を取得する認証用情報取得ステップと、前記認証用情報を用いて行われた認証の結果としての複数種類の認証スコアを合算して総合スコアを算定する総合認証ステップと、前記総合認証ステップによる総合スコアに応じて利用者に許可する操作の範囲を段階的に制御する操作制御ステップと
を含み、前記総合認証ステップは、前記複数種類の認証のうち所定の種類の認証スコアが所定の閾値を超えていることを条件に、前記複数種類の認証スコアに重みをつけて合算することで前記総合スコアを算定することを特徴とする。

本発明によれば、複数種類の認証を用いる認証システムにおける利便性を向上することができる。

図１は、実施例に係る認証システムの概念を説明するための説明図である。 図２は、認証システムのシステム構成についての説明図である。 図３は、端末装置の外観構成を示す外観構成図である。 図４は、端末装置の機能構成を示す機能ブロック図である。 図５は、サーバ装置の機能構成を示す機能ブロック図である。 図６は、サーバ装置の認証処理についての説明図である。 図７は、総合スコアの算出方法の制御についての説明図である。 図８は、サーバ装置の処理手順を示すフローチャートである。 図９は、モデル顔画像の表示についての説明図である。 図１０は、顔認証と声紋認証の組み合わせについての説明図である。 図１１は、顔認証から目元認証への切替についての説明図である。 図１２は、マスク着用時の認証処理についての説明図である。 図１３は、声紋認証の変形例についての説明図である。 図１４は、認証を買い物の決済に利用する場合の説明図である。 図１５は、利用者と車両の識別を組み合わせた利用例の説明図である。 図１６は、利用者の認証結果を蓄積して関係者への通知に利用する場合の説明図である。 図１７は、権限の付与に認証を利用する場合の説明図である。 図１８は、交通機関の定期利用に認証を用いる場合の説明図である。

以下に、添付図面を参照して、本発明に係る認証システム及び認証方法の好適な実施例を詳細に説明する。

＜実施例に係る認証システムの概念＞
図１は、実施例に係る認証システムの概念を説明するための説明図である。図１に示した端末装置１０は、利用者の認証に用いる複数種類の認証用データを取得し、サーバ装置２０に送信する。サーバ装置２０は、端末装置１０から受信した複数種類の認証用データを用いて多要素認証を行い、認証の結果に応じて利用者の操作を許可する。

具体的には、端末装置１０は、利用者の顔画像、利用者の音声、端末装置１０の位置などを認証用データとしてサーバ装置２０に送信する。サーバ装置２０は、端末装置１０から受信した認証用データを用い、顔認証、声紋認証、位置妥当性検証などを行う。これらの認証は、認証用データを個別に用いて行う個別認証であり、それぞれの個別認証は認証スコアを出力する。

認証スコアは、認証の結果を示す評価値である。例えば、顔認証は、認証用データの顔画像と予め登録した顔画像との一致度を認証スコアとして出力する。同様に、声紋認証は、認証用データの音声の声紋と予め登録した声紋との一致度を認証スコアとして出力する。また、位置妥当性検証は、端末装置１０の位置がどの程度妥当であるかを認証スコアとして出力する。

サーバ装置２０は、個別認証の認証スコアを評価し、利用者に許可する操作の制御を行う。具体的には、サーバ装置２０は、複数の個別認証で得られた複数の認証スコアに重みをつけて合算し、総合スコアを算定する。サーバ装置２０は、総合スコアが第１の閾値を超える高スコアである場合には、高いセキュリティが必要な操作（高セキュリティ操作）を含む全ての操作を許可する。また、総合スコアが第１の閾値以下で第２の閾値を超える低スコアである場合には、サーバ装置２０は、高いセキュリティ操作を除外した一部の操作（低セキュリティ操作）に限定して操作を許可する。便宜上、第１の閾値を高スコア閾値、第２の閾値を低スコア閾値と記載する。また、高セキュリティ操作を含む全ての操作を許可することを「高セキュリティ操作許可」と記載し、低セキュリティ操作に限定して操作を許可することを「低セキュリティ操作許可」と記載する。

なお、総合スコアが低スコア閾値以下であったならば、利用者は認証に失敗したことになり、低セキュリティ操作を含む全ての操作が禁止される。また、総合スコアの算定は、所定の種類の個別認証の認証スコアがそれぞれに設けた閾値を超えていることを条件としてもよい。所定の種類の認証スコアが閾値を下回ったならば、他の認証スコアに関わらず認証失敗となり、全ての操作が禁止される。

ここで、サーバ装置２０は、低セキュリティ操作許可となって高セキュリティ操作を禁止したとしても、追加認証を行うことで高セキュリティ操作を許可することができる。

具体的には、低セキュリティ操作許可の状態で、利用者が高セキュリティ操作を求めたならば、サーバ装置２０は、端末装置１０に認証用データの追加を要求する。追加の認証用データとしては、パスワードや指紋などを用いればよい。サーバ装置２０は、追加の認証用データを取得したならば、パスワード照合や指紋認証などを追加認証として実行する。追加認証も個別認証であり、それぞれ認証スコアを出力する。サーバ装置２０は、追加認証の認証スコアをさらに用いて総合スコアを算定し、総合スコアが高スコア閾値を超えたならば高セキュリティ操作を許可する。

このように、サーバ装置２０は、複数種類の認証に対応する複数種類の認証用データを取得し、複数種類の認証用データを用いて個別認証を行い、個別認証の結果を総合的な認証結果を求め、認証結果に応じて利用者に許可する操作の範囲を段階的に制御するので、低セキュリティ操作に対して過度に厳しい認証を課すことなく、目的に応じた柔軟な運用が可能となり、利便性を向上することができる。

また、明るさの不足や騒音などの影響で特定の認証のスコアが低下し、高セキュリティ操作が禁止されたとしても、追加認証を行うことで高セキュリティ操作が可能となるので、状況に応じた柔軟な運用が可能となり、利便性を向上することができる。

＜システムと装置の構成＞
図２は、認証システムのシステム構成についての説明図である。図２に示すように、サーバ装置２０は、所定のネットワークを介して複数の端末装置１０と接続されている。所定のネットワークは、インターネットなどの公開されたネットワークであってもよいし、社内ネットワークや金融系ネットワークなどの非公開のネットワークであってもよい。

サーバ装置２０は、利用者の顔画像や音声などを登録データとして保持している。そして、いずれかの端末装置１０から認証用データを受信したならば、サーバ装置２０は、必要に応じて登録データと認証用データとを比較して認証を実行する。

図３は、端末装置１０の外観構成を示す外観構成図である。端末装置１０は、例えばスマートフォンなどであり、表示操作部１１と、カメラ１２と、マイク１３とを有する。表示操作部１１は、タッチパネルディスプレイなどである。カメラ１２は、表示操作部１１による表示を視認中の利用者を撮像可能に配置する。マイク１３は、利用者の音声を取得できるよう適宜配置すればよい。

また、表示操作部１１は、図３に示したように、カメラ１２が撮像した利用者の顔画像１１ａと、利用者が読み上げるべきパスワードを示すメッセージ表示１１ｂとを表示することができる。ここで、利用者の顔画像１１ａは、所定のモデル顔画像に置き換えて表示することも可能である。モデル顔画像の表示についての詳細は、後述する。

図４は、端末装置１０の機能構成を示す機能ブロック図である。図４に示すように、端末装置１０は、既に説明した表示操作部１１、カメラ１２、マイク１３に加え、通信部１４、記憶部１５、制御部１６を有する。

通信部１４は、所定のネットワークを介してサーバ装置２０などとの通信を行う通信インタフェースである。記憶部１５は、不揮発性メモリ等の記憶デバイスであり、各種プログラム、認証用データ１５ａ及びモデル顔画像データ１５ｂなどを記憶する。認証用データ１５ａは、カメラ１２により撮像した画像データや動画データ、マイク１３により集音した音声データなどである。モデル顔画像データ１５ｂは、利用者の顔画像の代わりに表示するモデル顔画像を示すデータである。

制御部１６は、ＣＰＵ（Central Processing Unit）などであり、記憶部１５から所定のプログラムを読み出して実行することにより、利用者データ取得部１６ａ、モデル顔画像表示処理部１６ｂ、認証用データ抽出部１６ｃ及び認証用データ送信部１６ｄなどの機能を実現する。

利用者データ取得部１６ａは、利用者の画像や音声を取得する処理部である。具体的には、利用者データ取得部１６ａは、カメラ１２が撮像した画像、マイク１３が取得した音声などを取得する。また、利用者データ取得部１６ａは、カメラ１２が撮像した画像をリアルタイムで表示操作部１１に表示制御することができる。

モデル顔画像表示処理部１６ｂは、カメラ１２が撮像した画像を表示操作部１１に表示制御する際に、顔画像の代わりにモデル顔画像を表示する処理を行う。具体的には、モデル顔画像表示処理部１６ｂは、カメラ１２が撮像した画像から顔画像を検知し、画像における顔画像部分の範囲と、顔画像の向きとを判定する。そして、モデル顔画像データ１５ｂを読み出して、顔画像の範囲と向きに合わせて表示するモデル顔画像を生成し、表示操作部１１に表示制御する。

カメラ１２が撮像した画像をそのまま表示操作部１１に表示すれば、利用者はどのような画像が撮れているかを確認できるので、認証用の顔画像が適正に撮像できるように撮像範囲や向きの調整を行うことができる。一方で、利用者によっては、自身の画像を表示することを避けたいという要望がある。そこで、利用者の顔画像をモデル顔画像に置き換えて表示させることで、利用者の顔画像を表示することなく、認証用の顔画像が適正に撮像できるように撮像範囲や向きの調整を行うことができる。

モデル顔画像がどのような外観とするかは、任意に設定可能である。また、利用者がモデルの外観を選択可能としてもよい。さらに、モデルの外観を購入したり、特典として獲得可能としても良い。さらに、特定の条件を満たした場合のみ使用可能な外観を提供してもよい。例えば、テーマパーク内に所在することを条件に該テーパマークに対応するキャラクタの外観を使用可能としたり、キャンペーン期間中であることを条件に該キャンペーンに関するキャラクタの外観を使用可能とすることができる。このように、モデルの外観は、商品や特典として扱うことが可能である。また、モデルの外観を広告として利用可能としてもよい。

認証用データ抽出部１６ｃは、利用者データ取得部１６ａが取得したデータから複数種類の認証に対応する複数種類の認証用データを抽出する処理を行う。具体的には、認証用データ抽出部１６ｃは、利用者の顔画像、発話内容、音声を認証用データとして抽出する。これらの認証用データは、顔認証、声紋認証、顔声一致度認証、パスワード照合などの認証に用いられる。

また、認証用データ抽出部１６ｃは、端末装置１０の位置、端末装置１０の識別ＩＤ、利用者ＩＤ、利用者の生体情報などを認証用データとして取得することができる。端末装置１０の位置は、通信部１４による無線通信を利用して特定してもよいし、ＧＰＳなどを利用して特定してもよい。また、入退室に係る処理履歴を利用してもよい。端末装置１０の識別情報は、端末装置１０が保持する識別情報を読み出して使用すればよい。利用者ＩＤは、記憶部１５などに予め記憶しておいてもよいし、利用者に入力を求めてもよい。生体情報は、例えば指紋センサを設けて取得することができる。

認証用データ送信部１６ｄは、認証用データ抽出部１６ｃが抽出した認証用データをサーバ装置２０に送信する処理部である。既に登録済みの利用者が、認証のために認証用データを送信する場合には、認証用データ送信部１６ｄは、認証要求フラグを認証用データに付してサーバ装置２０への送信を行う。また、新規に登録を行う場合には、認証用データ送信部１６ｄは、登録要求フラグを認証用データに付してサーバ装置２０への送信を行う。

図５は、サーバ装置２０の機能構成を示す機能ブロック図である。図５に示すように、サーバ装置２０は、表示部２１、入力部２２、通信部２３、記憶部２４及び制御部２５を有する。

表示部２１は、液晶ディスプレイなどの表示デバイスである。入力部２２は、キーボードやマウスなどの入力デバイスである。通信部２３は、端末装置１０との通信を行う通信インタフェースである。記憶部２４は、ハードディスク装置等の記憶デバイスであり、利用者の顔画像や音声などを登録データ２４ａとして記憶する。

制御部２５は、サーバ装置２０を全体制御する制御部であり、登録処理部２５ａ、認証処理部２５ｂ、要素別データ処理部２５ｃ及び操作制御部２５ｄを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、登録処理部２５ａ、認証処理部２５ｂ、要素別データ処理部２５ｃ及び操作制御部２５ｄにそれぞれ対応するプロセスを実行させることになる。

登録処理部２５ａは、利用者の顔画像や音声などを登録データ２４ａとして記憶部２４に格納する処理を行う。具体的には、登録処理部２５ａは、登録要求フラグが付された認証用データを受信したならば、認証用データを要素別データ処理部２５ｃに処理させ、認証用データの正当性が確認されたことを条件に、登録を行う。ここで、認証用データの正当性は、要素別データ処理部２５ｃによるパスワード照合や顔声一致度認証により確認することができる。また、登録の対象となるのは、認証用データに含まれる顔画像や音声であるが、顔画像や音声はそのまま登録してもよいし、顔の特徴や声紋の特徴を示すデータであってもよい。

認証処理部２５ｂは、端末装置１０からの要求に基づいて、利用者の認証を行う処理部である。具体的には、認証処理部２５ｂは、認証要求フラグが付された認証用データを受信したならば、認証用データを要素別データ処理部２５ｃに処理させ、要素別データ処理部２５ｃによる個別認証の認証スコアに重みをつけて合算し、総合スコアを算定する。

認証処理部２５ｂは、総合スコアの算定に用いる認証スコアを適宜選択することができる。同様に、各認証スコアに対する重みを適宜設定することができる。また、所定の種類の認証スコアに閾値を設け、閾値を超えることを条件に、総合スコアの算定を行ってもよい。

認証処理部２５ｂは、認証用データの取得環境などの状況に応じて使用する認証スコアの種別や重みを異ならせる。例えば、明るさが不足している場合には、顔認証の閾値を下げ、騒音がある場合には、声紋認証の重みを下げる。また、画像の処理の結果、利用者のマスク着用を検知したならば、顔認証の重みを下げる。または、利用者のマスク着用を検知したならば、目元などのマスクの影響を受けない部分領域を用いて総合スコアの算定を行う。

認証用データの取得環境などの状況は、別のデータとして取得してもよい。例えば、端末装置１０に照度センサを設けて周囲の明るさ示す照度データを取得し、照度データを画像データとともにサーバ装置２０に送信すれば良い。もしくは、認証用データ自体から取得環境などの状況を判定することもできる。例えば、画像データを分析し、明度分布の偏りを評価することで、撮像時の明るさを判定することができる。また、画像データの分析により、マスク着用の有無も判定可能である。

さらに、認証処理部２５ｂは、追加認証用の認証データを取得し、要素別データ処理部２５ｃに追加認証用の認証データについての認証スコアを算定させることができる。追加認証について認証スコアが得られたならば、認証処理部２５ｂは、追加認証の認証スコアを加算して総合スコアを更新する。

要素別データ処理部２５ｃは、認証用データに含まれる各要素について個別にデータ処理を行う処理部であり、顔認証エンジン、声紋認証エンジン、顔声一致度認証エンジン、パスワード処理エンジンなどを含む。

顔認証エンジンは、認証用データに含まれる顔画像と登録データ２４ａの顔画像とを比較し、一致度を判定する処理を行う。声紋認証エンジンは、認証用データに含まれる音声と登録データ２４ａの音声とを比較し、一致度を判定する処理を行う。顔声一致度認証エンジンは、発話時の顔画像の口の形と識別された音節とがどの程度適合しているかを判定する処理を行う。パスワード処理エンジンは、認証用データに含まれる発話内容と端末装置１０が表示したパスワードとが一致するか否かを判定する処理を行う。ここで、端末装置１０が表示したパスワードは、予め登録されるものであってもよいし、使い捨てのワンタイムパスワードであってもよい。予め登録されるパスワードは、登録データ２４ａに格納しておくことが可能である。また、使い捨てのワンタイムパスワードは、例えば、パスワード処理エンジンが発行して端末装置１０に通知すればよい。

操作制御部２５ｄは、総合スコアに基づいて、利用者に許可する操作の制御を行う。具体的には、操作制御部２５ｄは、総合スコアが第１の閾値（高スコア閾値）を超えている場合には、高いセキュリティが必要な操作（高セキュリティ操作）を含む全ての操作を許可する。総合スコアが第１の閾値以下で第２の閾値（低スコア閾値）を超えている場合には、操作制御部２５ｄは、高いセキュリティ操作を除外した一部の操作（低セキュリティ操作）に限定して操作を許可する。

なお、総合スコアが低スコア閾値以下であったならば、操作制御部２５ｄは、認証失敗として、低セキュリティ操作を含む全ての操作を禁止する。

＜処理の説明＞
図６は、サーバ装置２０の認証処理についての説明図である。図６では、要素別データ処理部２５ｃによる個別認証処理として、顔認証、声紋認証、動画認証、端末の位置の妥当性、端末の妥当性、操作時間帯の妥当性などを使用する場合を示している。ここで使用する個別認証処理は、任意のものを用いることができるが、利用者の操作負担が少ないことが望ましい。

認証処理部２５ｂは、各個別認証の認証スコアから総合スコアを算出することでスコアの評価を行い、高スコア（総合スコア＞高スコア閾値）であれば高セキュリティ操作を許可し、低スコア（高スコア閾値≧総合スコア＞低スコア閾値）であれば低セキュリティ操作を選択的に許可し、総合スコアが低スコア閾値以下であれば認証失敗として全ての操作を禁止する。

また、低セキュリティ操作を選択的に許可した状態で、高セキュリティ操作の要求を受け付けたならば、認証処理部２６ｂは追加認証用のデータを取得し、要素別データ処理部２５ｃによる個別認証を行う。図６では、追加認証として、利用者のＩＤの照合、パスワードの照合、予め登録した動作を利用者に行わせるモーション照合、利用者の所有物の写真による認証、指紋などの生体認証を例示している。追加認証は、任意のものを用いることができ、利用者の操作負担よりも良好な認証スコアを得ることを重視することが望まし。

認証処理部２５ｂは、追加認証の認証スコアをさらに用いて総合スコアを算定し、スコアの評価を行う。その結果、高スコア（総合スコア＞高スコア閾値）となったならば高セキュリティ操作を許可する。一方、追加認証を行っても高スコアとならなければ、高セキュリティ操作は許可しない。

図７は、総合スコアの算出方法の制御についての説明図である。図７に示すように、カメラの性能が低く、低画質である場合や、暗所で撮影された場合には、総合スコア算定における顔認証の重みを下げる。同様に、マイクの性能が低く、低音質である場合や、周囲の音声ノイズが大きい場合には、総合スコア算定における声紋認証の重みを下げる。

また、特定の要素についてデータの登録や更新を行う場合には、他の要素による認証で本人確認を行う。また、特定の身分証明書が必要な処理を行う場合には、必要な身分証明書を用いた認証スコアが閾値を超えているかいなかで足切りを行う。

また、災害が発生した場合の暫定処置では、証明書や所有物を用意することが困難なケースが考えられるので、証明書や所有物による認証の重みを下げる。また、総合的な認証処理のための総合認証ＩＤを新規に取得する場合には、複製が困難な身分証明書（運転免許証やパスポートなど）の認証を必須にする。また、利用者がマスクを着用している場合には、顔認証の重みを下げる、顔画像のうち目元の領域を重点的に利用するなどの制御を行う。

図８は、サーバ装置２０の処理手順を示すフローチャートである。まず、サーバ装置２０の認証処理部２５ｂは、端末装置１０から認証用データを取得し（ステップＳ１０１）、要素別データ処理部２５ｃが認証用データを用いた個別認証処理を行う（ステップＳ１０２）。

認証処理部１０３は、認証用データの取得環境などに基づいて総合スコア算定の処理方法、すなわち総合認証処理内容を決定し（ステップＳ１０３）、総合スコアを算定することで総合認証処理を実行する（ステップＳ１０４）。

操作制御部２５ｄは、総合スコアが高スコアを超過していれば（ステップＳ１０５；Ｙｅｓ）、高セキュリティ操作を許可して（ステップＳ１１４）、処理を終了する。また、総合スコアが高スコア閾値以下であれば（ステップＳ１０５；Ｎｏ）、総合スコアを低スコア閾値と比較する（ステップＳ１０６）。

総合スコアが低スコア閾値以下であれば（ステップＳ１０６；Ｎｏ）、操作制御部２５ｄは操作不可を報知して（ステップＳ１０７）、処理を終了する。一方、総合スコアが低スコア閾値を超過していれば（ステップＳ１０６；Ｙｅｓ）、操作制御部２５ｄは、低セキュリティ操作を許可する（ステップＳ１０８）。

ステップＳ１０８の後、高セキュリティ操作の要求を受け付けなければ（ステップＳ１０９；Ｎｏ）、そのまま処理を終了する。一方、ステップＳ１０８の後、高セキュリティ操作の要求を受け付けたならば（ステップＳ１０９；Ｙｅｓ）、認証処理部２５ｂは、認証用のデータを追加し（ステップＳ１１０）、要素別データ処理部２５ｃが個別認証を行って（ステップＳ１１１）、総合スコアを更新する。

操作制御部２５ｄは、更新された総合スコアが高スコアを超過していれば（ステップＳ１１２；Ｙｅｓ）、高セキュリティ操作を許可して（ステップＳ１１４）、処理を終了する。また、更新された総合スコアが高スコア閾値以下であれば（ステップＳ１１２；Ｎｏ）、高セキュリティ操作を許可しない旨の報知を行って（ステップＳ１１３）、処理を終了する。

図９は、モデル顔画像の表示についての説明図である。図９（ａ）に示すように、端末装置１０は、利用者を撮像し（Ｓ２１）、得られた画像から顔を検知する（Ｓ２２）。そして、画像における顔画像部分の範囲と、顔画像の向きとを判定する（Ｓ２３）。モデル顔画像表示処理部１６ｂは、顔画像の範囲と向きに合わせて表示するモデル顔画像を生成し（Ｓ２４）、表示操作部１１に表示制御する（Ｓ２５）。また、端末装置１０は、検知した顔画像をサーバ装置２０に送信する。

すなわち、端末装置１０は、利用者の顔画像を撮像し、サーバ装置２０に送信するが、利用者に対して表示する画像としてはモデル顔画像を用いる。図９（ｂ）では、利用者の顔画像をパンダの外観を模したモデル顔画像に置き換えて表示した状態を示している。

次に、マスクの着用に基づく認証処理の制御について説明する。例えば、顔認証において、顔全体の画像を用いて認証スコアを算定し、認証スコアが９０以上であることを条件に本人であると判定する構成では、利用者がマスクを着用しているとマスクによって顔の一部が隠され、認証スコアが低下する。

そこで、利用者がマスクを着用している場合には、顔認証と声紋認証との組み合わせで本人か否かを判定する。図１０は、顔認証と声紋認証の組み合わせについての説明図である。

図１０では、顔認証の認証スコアが５０であっても、声紋認証の認証スコアが１００であれば本人と判定している。同様に、顔認証の認証スコアが９０の場合は、声紋認証の認証スコアが６０であっても本人と認証している。なお、顔認証の認証スコアが４０以下の場合は、他人である確率が高いため、声紋認証を行うことなく認証失敗とする。

他の方法として、利用者がマスクを着用している場合には、顔全体の画像を認証に用いる顔認証ではなく、画像における目元の領域を選択的に用いる目元認証を用いてもよい。この場合には、目元認証の認証スコアを算定するとともに、声紋に関してもマスクを着用した場合の声紋認証の認証スコアを算定し、双方の認証スコアが９０以上で本人と認証する。

図１１は、顔認証から目元認証への切替についての説明図である。図１１に示すように、顔画像全体を使用した顔認証で認証スコアが９０以上となれば、本人と認証することができる。しかし、マスクを着用していると、顔の一部が隠されることで認証スコアが低下し、本人と認証することができなくなる。そこで、マスクの着用を検知した場合には、目元認証と声紋認証を組み合わせて使用し、双方の認証スコアが９０以上である場合に本人と認証する。

図１２は、マスク着用時の認証処理についての説明図である。まず、端末装置１０が利用者の顔画像を撮像し（Ｓ３１）、サーバ装置２０に送信する（Ｓ３２）。サーバ装置２０は、顔画像を分析してマスク着用を認識し（Ｓ３３）、マスク有を条件として（Ｓ３４）、総合認証処理の内容を決定する。具体的には、顔画像による認証から目元認証と声紋認証の組み合わせによる総合認証に切り替えることになる。また、顔画像の目元部分を用いた目元認証を実行し、その結果は総合認証に使用される（Ｓ３５）。

さらに、端末装置１０にパスワードを送信して（Ｓ３６）、利用者によるパスワードの読み上げを求める。端末装置１０は、利用者がパスワードを読み上げた音声をパスワード音声としてサーバ装置２０に送信する（Ｓ３７）。このパスワード音声は、声紋認証とパスワード照合に用いられ、声紋認証の結果（Ｓ３８）とパスワード照合の結果（Ｓ３９）が総合認証に使用される。

このように、マスク着用を検知したならば、顔認証単体による認証から、目元認証と声紋認証とを含む多要素認証に切り替える。かかる切替を用いることで、マスク着用時にも高精度の認証を行うことができる。マスク着用を想定した認証は、手術室や食品工場での入退室管理などに適用することができる。

次に、声紋認証の変形例について説明する。図１３は、声紋認証の変形例についての説明図である。例えば、金融機関の窓口などで利用者の認証を行う場合には、利用者に対して窓口担当者が対応を行いつつ、認証を実行するケースが考えられる。かかるケースでは、取得した音声データには、利用者の音声と窓口担当者の音声とが混在し、声紋認証の精度低下の原因となる。

そこで、図１３に示すように、窓口担当者の音声を担当者音声サーバに蓄積しておき、マイクで取得した音声から窓口担当者の音声を除去することで、利用者の音声を選択的に用いて声紋認証を行うことができる。また、窓口担当者の音声を除去した音声データは、利用者の発話内容を特定する音声認識にも用いることができる。例えば、音声認識で用件、パスワード、本人確認情報などを特定することで、利用者の認証や窓口担当者による応対に寄与することができる。

次に、認証を買い物の決済に利用する場合について説明する。図１４は、認証を買い物の決済に利用する場合の説明図である。図１４では、利用者は店舗内で所望の商品を見つけてカートに入れ、ゲート３３ａを開けて商品識別エリアに入る。

商品識別エリアにはベルトコンベア３１が設けられており、利用者はカートから商品を取り出して載せる。また、商品識別エリアには、カートの商品を撮像するカメラ３２ａと、ベルトコンベア３１に載せられた商品を撮像するカメラ３２ｂとが設けられている。図示しないサーバ装置は、カメラ３２ａ及びカメラ３２ｂの撮像結果を画像処理し、カート内の商品が全てベルトコンベア３１に載せられたと判定したならば、商品の識別を行って決済金額を算定し、決済エリアへのゲート３３ｂを開放する。また、ベルトコンベア３１は、商品を決済エリアに搬送する。

利用者が決済エリアに移動すると、カメラ３２ｃが利用者の顔画像を撮像し、サーバ装置が顔認証を行う。そして、顔認証の結果と、予め登録したクレジットカード情報などとを用いて決済金額分の決済処理を行い、ゲート３３ｃを開放する。その後、利用者は、ベルトコンベア３１に載っている商品を袋などに詰め、店を出ることになる。

なお、ここでは基本状態でゲートを閉じておき、商品識別と決済に連動してゲートを開放する構成を示したが、かかる構成は適宜変形可能である。例えば、基本状態でゲートを開放しておき、商品識別や決済が適正に行われなかったときにゲートを閉じるよう制御しても良い。また、ゲートを設けない構成とすることも可能である。

この他、カメラ３２ａの撮像結果を決済が終了するまでの所要時間の予測に用いることもできる。また、認証により親子などの家族関係を識別する構成とし、同一の家族に属する人物がベルトコンベア３１に載せた商品を一括して決済することも可能である。また、部外者のエリアへの侵入を検知して通報したり、異常状態の管理者への通知を行うよう構成してもよい。

図１５は、利用者と車両の識別を組み合わせた利用例の説明図である。図１５に示したシステムは、利用者がネットワークなどを介して商品を注文すると、商品を収納庫に収納し、車両で受け取りに訪れたときに収納庫を自動的に解錠する。

具体的には、利用者は、利用者ＩＤ、顔画像、ナンバープレートに記載され自動車登録番号、クレジット番号などを決済用登録データ４０ａとしてサーバ装置４０に予め登録する。

商品を購入する際には、利用者は端末装置１０からサーバ装置４０にアクセスし、利用者ＩＤと注文をサーバ装置４０に送信する（Ｓ４１）とともに、利用者の顔画像などをサーバ装置４０に送信する（Ｓ４２）。

サーバ装置４０は、顔画像などによる認証の成功を条件に、決済処理を実行し（Ｓ４３）、収納庫に商品を収納して（Ｓ４４）、収納庫を施錠する。その後、利用者が車両で店舗を訪れると、車両を撮像してナンバープレート画像を取得し（Ｓ４５）、ナンバープレートを認識して（Ｓ４６）、対応する収納庫を解錠制御する（Ｓ４７）。

図１５に示したシステム構成はあくまで一例であり、利用者の認証とナンバープレート認識を組み合わせた任意の構成を用いることができる。例えば、ドライブスルーで用いる場合には、事前に注文を受け付け、ナンバープレート認識を用いて商品を準備し、顔認証を利用して決済を行った後、商品を渡せばよい。

図１６は、利用者の認証結果を蓄積して関係者への通知に利用する場合の説明図である。利用者の認証結果を蓄積すれば、その利用者の行動を分析することができ、異常が発生した場合に関係者に通知を行うことが可能である。

具体的には、利用者の認証は、集合住宅、駅、店舗、病院などで行われる。集合住宅では、出入口に設けたカメラによる顔認証と音声認証などで解錠制御が可能である。このような集合住宅を自宅としていれば、解錠の履歴から在宅と外出の状況が把握できる。同様に、どの駅でいつ改札を通過したかの履歴を把握することも可能である。また、どの店舗でいつ何を買ったか、どの病院にいつ受診したかを把握することもできる。

このように認証結果を用いて利用者の行動を蓄積し、分析を行うことで、利用者に異常が生じたことを検知することができる。例えば、利用者が高齢者である場合に、行動の規則性に乱れや抜けが生じる、買い物の頻度や金額が上がるなどの変化を検知し、家族に通知する遠隔見守りサービスを提供することができる。なお、高齢者に限らず、こどもなどを対象にしてもよいことは言うまでもない。

図１７は、権限の付与に認証を利用する場合の説明図である。図１７では、利用者Ｐａの口座を利用者Ｐｂが利用するケースを示している。まず、図１７（ａ）に示すように、利用者Ｐａは端末装置５０ａからサーバ装置６０にアクセスし、事前承認金額及び用途の登録と、顔画像による認証とを行う（Ｓ５１）。サーバ装置６０は、利用者Ｐｂの端末装置５０ｂに対し、事前承認金額及び用途を通知し、顔画像による認証を条件に権限の付与を行う（Ｓ５２）。

利用時には、図１７（ｂ）に示すように、利用者Ｐｂが端末装置５０ｂからサーバ装置６０にアクセスして事前承認金額の利用依頼（Ｓ６１）と、顔画像による認証（Ｓ６２）とを行う。サーバ装置６０は、利用者Ｐａの端末装置５０ａに承認の確認を送信し（Ｓ６３）、承認操作を受け付けたならば（Ｓ６４）、利用者Ｐｂへの権限付与を決定し（Ｓ６５）、利用者Ｐｂに権限を付与する（Ｓ６６）。

権限の付与を受けた利用者Ｐｂは、事前承認金額と用途の範囲内で、利用者Ｐａの口座の残高を利用することができる。なお、図１７に示した処理はあくまで一例であり、適宜変更可能である。例えば、利用者Ｐａと利用者Ｐｂが同一の端末装置を用いてもよい。また、事前の承認を不要とし、利用者Ｐｂからの求めに応じて利用者Ｐａが承認を行ってもよい。また、事前の承認を行えば、利用時の確認を不要とする構成であってもよい。利用時の確認が不要であれば、例えば、利用者Ｐａが死亡前に利用者Ｐｂに権限を付与しておくことができる。また、利用者Ｐｂによる利用時に、複数の人物の確認を要求したり、利用者Ｐａによる承認に他の関係者の同意を得た上で権限の付与を行う構成としてもよい。

図１８は、交通機関の定期利用に認証を用いる場合の説明図である。利用者は、まず、端末装置１０からサーバ装置７０にアクセスし、利用者データ、認証用データ、決済用データ及び定期券データを登録する（Ｓ７１）。

利用者データは、利用者の氏名、属性（例えば学生か否かなど）、連絡先等を示すデータである。認証用データは、利用者の認証に用いるデータであり、図１８では少なくとも顔画像を含む。決済用データは、クレジットカード番号などであり、定期券の購入や運賃の支払いに用いられる。定期券データは、交通機関の定期利用に関するデータであり、区間や有効期限を含む。図１８では、バスの定期券を例として示している。

バス７１には、乗降客を撮像するカメラ７２が設けられている。定期利用に係る登録を行った利用者がバス７１に乗車する際には、カメラ７２が利用者を撮像し、顔画像をサーバ装置７０に送信する（Ｓ７２）。

サーバ装置７０は、受信した顔画像を用いて利用者を認証する（Ｓ７３）。サーバ装置７０は、認証に成功したならば、対応する定期券データを特定し、適正な定期券データであるか否かを確認する（Ｓ７４）。そして、必要に応じて決済を行い（Ｓ７５）、処理結果をバス７１に通知する（Ｓ７６）。

なお、利用者の認証と処理は、バス７１の運用に応じて適宜設定可能である。例えば、乗車時には定期券データの有効期限を確認し、降車時にも認証を行って区間の確認を行えばよい。有効期限が切れている場合には、認証による乗車を拒否し、現金などによる乗車を求める。また、降車時に定期券データに示された区間から逸脱していると判定した場合には、定期券データの区間外について通常の運賃を決済する。この決済は、決済用データを用いて行ってもよいし、現金などによって行ってもよい。

定期券データの設定については、決済用データを用いて新規に購入を行っても良いし、既存の定期券から引き継いでもよい。例えば、ＩＣカード型の定期券から引き継ぎを行う場合には、端末装置１０がＩＣカード型の定期券から定期券データを読み出して、サーバ装置７０に送信する。また、紙の定期券から引き継ぎを行う場合には、所定の窓口で手続きを行う。

さらに、定期券データの更新は、端末装置１０から行うことができるので、窓口を訪れて処理する必要がない。また、定期券データの有効期限が近づいた場合に端末装置１０が利用者に通知したり、定期券データの更新を自動で行うよう設定することも可能である。

また、定期券データの有効期限に限らず、顔画像などの認証用データにも有効期限を設定し、認証時に認証用データの有効期限を確認し、期限切れが近い場合に更新を促すこととしてもよい。

このように、交通機関の定期利用に認証を用いることで、定期券を乗務員に見せたり、端末に翳したりする必要がなくなり、利便性が向上する。また、定期券の購入や更新を端末装置１０で行うことができ、窓口を訪れる必要がない。交通機関にとっても、カメラ７２と通信機能を有する端末を設置すればよく、低コストで導入できる利点がある。

なお、図１８ではバスを例に説明を行ったが、電車の改札で適用することも可能である。また、交通機関に限らず、テーマパークの年間パスポートなどにも適用できる。また、図１８では顔画像を例に説明を行ったが、他の認証を用いても良いし、多要素認証で有ってもよい。また、登録時には免許証の写真などを要求して厳密な認証を行い、乗降時には顔認証のみを用いることとしてもよい。

上述してきたように、本実施例によれば、認証システムは、複数種類の認証用情報を取得して複数種類の認証をそれぞれ行い、その結果を用いて総合的な認証結果を求め、総合的な認証結果に応じて利用者に許可する操作の範囲を段階的に制御するので、低セキュリティ操作に対して過度に厳しい認証を課すことなく、目的に応じた柔軟な運用が可能となり、利便性を向上することができる。

具体的には、本実施例に係る認証システムは、複数種類の認証の結果をそれぞれ評価値として求め、複数種類の認証の結果である複数の評価値を合算して総合評価値を算定し、総合評価値に応じて利用者に許可する。

このとき、複数種類の認証のうち、所定の種類の認証の評価値がそれぞれに設けた閾値を超えていることを条件に、複数種類の認証の評価値に重みをつけて合算することで総合評価値を算定してもよい。

また、利用者が求める操作に対して総合評価値が不足する場合に、追加の認証を行い、追加の認証の結果を用いて利用者が求める操作を許可するか否かを制御することができる。このため、例えば、明るさの不足や騒音などの影響で高セキュリティ操作が禁止されたとしても、追加認証を行うことで高セキュリティ操作とするなど、状況に応じた柔軟な運用が可能となり、利便性を向上することができる。

また、認証用情報の取得環境に応じて複数種類の認証の評価値を合算する際の重みを異ならせることも可能である。このとき、認証用情報から該認証用情報の取得環境を判定してもよい。

また、認証用情報として利用者の顔画像を取得し、顔画像におけるマスクの着用の有無によって、総合的な認証結果をどのように求めるかを異ならせることもできる。例えば、マスクの着用が有である場合には、顔画像以外を用いた認証の結果を重視して総合的な認証結果を求める。もしくは、マスクの着用が有である場合には、目元の領域を重点的に利用する部分顔認証の結果を用いて総合的な認証結果を求める。

また、認証用情報として記利用者の顔画像を取得した場合に、取得した顔画像に対応するモデル顔画像を利用者に対して表示することも可能である。このとき、取得した顔画像の範囲及び向きに合わせてモデル顔画像の範囲及び向きを決定することが好適である。また、特定の条件が満たされた場合に、該特定の条件に対応する形状のモデル顔画像を表示することもできる。

なお、上述の実施例では、説明を簡明にするために、２つの閾値（低スコア閾値、高スコア閾値）を用いて操作範囲を２段階で制御する場合を示したが、例えば、１０段階のような複数段階スコア閾値を設定して、各段階に対応したセキュリティ操作を割り当てて運用することもできる。

また、上述の実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明の認証システム及び認証方法は、複数種類の認証を用いる認証システムにおける利便性の向上に有用である。

１０、５０ａ、５０ｂ 端末装置
１１ 表示操作部
１２、７２ カメラ
１３ マイク
１４、２３ 通信部
１５、２４ 記憶部
１５ａ 認証用データ
１５ｂ モデル顔画像データ
１６、２５ 制御部
１６ａ 利用者データ取得部
１６ｂ モデル顔画像表示処理部
１６ｃ 認証用データ抽出部
１６ｄ 認証用データ送信部
２０、４０、６０、７０ サーバ装置
２１ 表示部
２２ 入力部
２４ａ 登録データ
２５ａ 登録処理部
２５ｂ 認証処理部
２５ｃ 要素別データ処理部
２５ｄ 操作制御部
３１ ベルトコンベア
３２ａ、３２ｂ、３２ｃ カメラ
３３ａ、３３ｂ、３３ｃ ゲート
７１ バス
Ｐａ、Ｐｂ 利用者

Claims (11)

1. 複数種類の認証を用いる認証システムであって、
   前記複数種類の認証に対応する認証用情報を取得する認証用情報取得手段と、
   前記認証用情報を用いて行われた認証の結果としての複数種類の認証スコアを合算して総合スコアを算定する総合認証手段と、
   前記総合認証手段による総合スコアに応じて利用者に許可する操作の範囲を段階的に制御する操作制御手段と
   を備え、
   前記総合認証手段は、前記複数種類の認証のうち所定の種類の認証スコアが所定の閾値を超えていることを条件に、前記複数種類の認証スコアに重みをつけて合算することで前記総合スコアを算定する
   ことを特徴とする認証システム。
2. 前記総合認証手段は、前記利用者が求める操作に対して前記総合スコアが不足する場合に追加の認証を行わせ、該追加の認証の結果を用いて前記利用者が求める操作を許可するか否かを制御することを特徴とする請求項１に記載の認証システム。
3. 前記総合認証手段は、前記認証用情報の取得環境に応じて前記複数種類の認証スコアを合算する際の重みを異ならせることを特徴とする請求項１又は２に記載の認証システム。
4. 前記総合認証手段は、前記認証用情報から該認証用情報の取得環境を判定することを特徴とする請求項３に記載の認証システム。
5. 前記認証用情報取得手段は、前記認証用情報として前記利用者の顔画像を取得し、
   前記総合認証手段は、前記顔画像におけるマスクの着用の有無によって、前記総合スコアをどのように求めるかを異ならせる
   ことを特徴とする請求項１～４のいずれか一つに記載の認証システム。
6. 前記総合認証手段は、前記マスクの着用が有である場合には、顔画像以外を用いた認証の結果を重視して前記総合スコアを求める
   ことを特徴とする請求項５に記載の認証システム。
7. 前記総合認証手段は、前記マスクの着用が有である場合には、目元の領域を重点的に利用する部分顔認証の結果を用いて前記総合スコアを求める
   ことを特徴とする請求項５又は６に記載の認証システム。
8. 前記認証用情報取得手段が前記認証用情報として前記利用者の顔画像を取得した場合に、取得した顔画像に対応するモデル顔画像を前記利用者に対して表示するモデル顔画像表示手段をさらに備えたことを特徴とする請求項１～７のいずれか一つに記載の認証システム。
9. 前記モデル顔画像表示手段は、取得した顔画像の範囲及び向きに合わせて前記モデル顔画像の範囲及び向きを決定することを特徴とする請求項８に記載の認証システム。
10. 前記モデル顔画像表示手段は、特定の条件が満たされた場合に、該特定の条件に対応する形状のモデル顔画像を表示することを特徴とする請求項８又は９に記載の認証システム。
11. 複数種類の認証を用いる認証方法であって、
    前記複数種類の認証に対応する認証用情報を取得する認証用情報取得ステップと、
    前記認証用情報を用いて行われた認証の結果としての複数種類の認証スコアを合算して総合スコアを算定する総合認証ステップと、
    前記総合認証ステップによる総合スコアに応じて利用者に許可する操作の範囲を段階的に制御する操作制御ステップと
    を含み、
    前記総合認証ステップは、前記複数種類の認証のうち所定の種類の認証スコアが所定の閾値を超えていることを条件に、前記複数種類の認証スコアに重みをつけて合算することで前記総合スコアを算定する
    ことを特徴とする認証方法。

Images