JP7438381B2 - ヘッドマウント情報処理装置、認証システムおよび認証方法 - Google Patents

Description

本発明は、ヘッドマウント情報処理装置、認証システムおよび認証方法に関し、例えば、ヘッドマウント情報処理装置のユーザを認証する技術に関する。

特許文献１には、個人認証の精度を向上させることが可能な個人認証装置が示される。具体的には、当該個人認証装置は、顔認証を行う画像認証部と、声認証を行う音声認証部と、キーワード又はＩＤ番号を認証するＩＤ認証部と、指紋認証を行う指紋認証部とを有し、各認証部の何れかを２つ以上組み合わせて個人認証を行う。

特開２０００－２５９８２８号公報

ヘッドマウント情報処理装置は、ＨＭＤ（Head Mounted Display）とも呼ばれ、ユーザの頭部に装着された状態でディスプレイに拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報を表示することができる。例えば、このようなＨＭＤを使用して何らかの業務を行う場合、ＨＭＤを介して得られる各種機密情報の漏洩を防止するため、ＨＭＤを使用するユーザが正規のユーザであることを認証することが求められる。

一方、近年では、ＡＩ（Artificial Intelligence）の発展に伴い、ディープフェイクと呼ばれる技術が問題視されている。ディープフェイク技術を用いると、例えば、悪意のあるユーザが、正規のユーザの声になりすますようなことも可能になり得る。その結果、例えば、ＨＭＤを装着した悪意のあるユーザが、正規のユーザになりすまして声認証を成功させるようなことも可能となる。

そこで、特許文献１に示されるように、種類が異なる複数の認証方式を組み合わせることが考えられる。しかし、認証方式を多く組み合わせるほど、処理の煩雑化や、コストの増大を招く恐れがある。また、特許文献１に示されるような個々の認証方式は、単独ではなりすましを十分に防止できない恐れがあるため、仮に複数の認証方式を組み合わせたとしても、十分なセキュリティを確保できるとは限らない。さらに、例えば、指紋認証等のように、ＨＭＤへの適用に際して不向きとなる認証方式も存在する。

本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、セキュリティの向上を実現可能なヘッドマウント情報処理装置、認証システムおよび認証方法を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本発明の一実施の態様では、ユーザの頭部に装着された状態でユーザに各種情報を視覚または聴覚を介して提供するヘッドマウント情報処理装置を設け、ヘッドマウント情報処理装置は、画像を表示するディスプレイと、ユーザの声を集音し、音声データ信号を出力するマイクと、ユーザの頭部の断層データを取得する生体認証センサと、ヘッドマウント情報処理装置を制御するコントローラと、を有し、コントローラは、ユーザがパスコードを発声している認証期間で生体認証センサによって取得された断層データに基づいてユーザを認証する、ように構成されればよい。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、セキュリティの向上が実現可能になる。

本発明の実施の形態１による認証システムにおいて、主要部の構成例を示す概略図である。 （ａ）および（ｂ）は、図１における生体認証センサのそれぞれ異なる構成例を示す概略図である。 図１におけるヘッドマウント情報処理装置の詳細な構成例を示すブロック図である。 図１の認証システムおよび図３のヘッドマウント情報処理装置を用いた認証方法の一例を示すフロー図である。 図４における一部の処理内容を説明する補足図である。 図４における一部の処理内容を説明する補足図である。 図１における認証サーバの主要部の構成例を示すブロック図である。 本発明の実施の形態２による認証方法において、図１の認証システムを会議システムに適用した場合の処理内容の一例を示すシーケンス図である。 本発明の実施の形態２による認証システムにおいて、会議システムへ適用した場合の構成例を示す概略図である。 図９の会議システム（認証システム）における処理内容の一例を示すシーケンス図である。 本発明の実施の形態３による認証システムにおいて、ショッピングシステムへ適用した場合の主要部の構成例および動作例を示す概略図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
《認証システムの概略》
図１は、本発明の実施の形態１による認証システムにおいて、主要部の構成例を示す概略図である。図１に示す認証システム１０は、ヘッドマウント情報処理装置（明細書ではＨＭＤと略す）１と、無線ルータ１１と、通信ネットワーク１２と、認証サーバ１３と、記憶装置１４とを備える。ＨＭＤ１は、ユーザ５の頭部に装着された状態でユーザ５に各種情報を視覚または聴覚を介して提供する装置である。通信ネットワーク１２は、インターネットまたはイーサネット（登録商標）等である。

無線ルータ１１は、通信ネットワーク１２に接続され、ＨＭＤ１と無線通信を行うことで通信ネットワーク１２を介して行われるＨＭＤ１の通信を中継する。認証サーバ１３は、通信ネットワーク１２に接続され、認証に伴う所定の処理を行う。記憶装置１４は、認証で必要される各種登録データを記憶する。記憶装置１４は、認証サーバ１３内に設けられてもよい。

ここで、ＨＭＤ１は、ディスプレイ４５と、生体認証センサ３０とを備える。ディスプレイ４５は、所定の画像を表示する。生体認証センサ３０は、詳細は後述するが、ユーザ５の頭部の断層データを取得する。生体認証センサ３０は、ユーザ５の頭部と、ＨＭＤ１とが接触する複数の箇所にそれぞれ設置される。この例では、ＨＭＤ１は、眼鏡型の形状となっている。この場合、生体認証センサ３０は、例えば、耳の裏側に接触するモダン部や、鼻に接触するパッド部等に設置される。ただし、ＨＭＤ１は、例えば、ゴーグル型等を代表に様々な形状が知られている。生体認証センサ３０の設置位置や設置数は、このＨＭＤ１の形状に応じて適宜定められればよい。

《生体認証センサの概略》
図２（ａ）および図２（ｂ）は、図１における生体認証センサのそれぞれ異なる構成例を示す概略図である。図２（ａ）における生体認証センサ３０は、電気インピーダンストモグラフィ（ＥＩＴ：Electrical Impedance Tomography）の技術を利用して、頭部１６内の電気インピーダンスの分布を断層データとして取得するための複数の電極１７を備える。電気インピーダンストモグラフィは、体内の電気インピーダンス（導電率）を測定することで、体内の断層データ（ここでは頭部１６の断層データ）を可視化する技術である。

具体的には、図２（ａ）に示されるように、それぞれ異なる位置に設置された複数の電極１７の中の２個の電極を電極対として、電極対のいずれか一つが信号源であるエミッタに定められ、残りの電極対がレシーバに定められる。エミッタは、数十ｋＨｚ～数百ｋＨｚレベルの微弱（例えばｍＡレベル）な交流電流ｉ_ａｃを発生し、各レシーバ（この例では１個）は、当該交流電流ｉ_ａｃに応じた電圧（Ｖ）を測定する。そして、このような処理をエミッタおよびレシーバの位置関係を順次変えながら行うことで、複数の電極１７で囲まれる頭部１６内の電気インピーダンスの分布（すなわち断層データ）を可視化することが可能になる。

図２（ｂ）における生体認証センサ３０は、音響インターフェロメトリーの技術を利用して、頭部１６内の音響干渉パターンを断層データとして取得するための複数の超音波トランスデューサ１８を備える。音響インターフェロメトリーは、圧電素子である超音波トランスデューサ１８を用いて体内の音響干渉パターンを作成することで、体内の断層データ（ここでは頭部１６の断層データ）を可視化する技術である。

具体的には、図２（ｂ）に示されるように、それぞれ異なる位置に設置された複数の超音波トランスデューサ１８の中の単数または複数（この例では単数）の超音波トランスデューサ１８が信号源であるエミッタに定められ、残りの超音波トランスデューサ１８がレシーバに定められる。エミッタは、例えば、数十ｋＨｚ等のパルス信号で駆動されることで頭部１６内へ超音波信号を放射し、各レシーバは、当該超音波信号に応じた頭部１６内からの音響信号を受信する。そして、このような処理をエミッタおよびレシーバの位置関係を順次変えながら行うことで、複数の超音波トランスデューサ１８で囲まれる頭部１６内の音響干渉パターン（すなわち断層データ）を可視化することが可能になる。

例えば、電気インピーダンストモグラフィ（ＥＩＴ）による断層データは、通常、医療目的等で用いられる。この場合、例えば、内部の詳細な位置を特定可能な断層データを得るため、多くの電極１７を規則的に配置する必要がある。一方、実施の形態では、生体認証センサ３０からの断層データは、認証時に個人を特定するために用いられる。このような場合、電極１７の配置は、特に規則的である必要はなく、電極１７の数も、個人を識別できる程度の数だけ設ければよい。

《ヘッドマウント情報処理装置（ＨＭＤ）の詳細》
図３は、図１におけるヘッドマウント情報処理装置の詳細な構成例を示すブロック図である。図３のＨＭＤ１は、互いにバスＢＳで接続された各種ユニットを有する。図３のＨＭＤ１は、制御系の各種ユニットとして、メインプロセッサ（コントローラ）２０と、ＲＡＭ（Random access memory）２１と、ＲＯＭ（Read Only Memory）２２と、フラッシュメモリ２３とを有する。

メインプロセッサ（コントローラ）２０は、例えば、単数または複数のＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）等で構成される。ＲＯＭ２２やフラッシュメモリ２３は、メインプロセッサ２０のプログラムや、各種パラメータデータ等を記憶する。メインプロセッサ２０は、当該プログラムを実行することで、ＨＭＤ１全体をバスＢＳを介して制御する。ＲＡＭ２１は、例えば、メインプロセッサ２０のプログラム処理に伴うワーク用のメモリとして用いられる。

ＨＭＤ１は、センサ系の各種ユニットとして、前述した生体認証センサ３０と、ＧＰＳ（Global Positioning System）受信機３１と、地磁気センサ３２と、距離センサ３３と、加速度センサ３４と、ジャイロセンサ３５とを備える。ＧＰＳ受信機３１は、ＧＰＳ衛星からの電波に基づいてＨＭＤ１の位置を検知する。地磁気センサ３２は、地球の磁力を検知することで、ＨＭＤ１の向いている方向を検知する。距離センサ３３は、例えば、レーザ光等を対象物へ照射し、ＴｏＦ（Time of Flight）によって対象物との距離を検知する。加速度センサ３４は、ＨＭＤ１の３軸方向の加速度を検知することで、ＨＭＤ１の動き・振動・衝撃などを検知する。ジャイロセンサ３５は、ＨＭＤ１の３軸周りの角速度を検知することで、ＨＭＤ１の縦・横・斜めの姿勢を検知する。

ＨＭＤ１は、通信系の各種ユニットとして、無線通信インタフェース４０と、電話網通信インタフェース４１とを備える。無線通信インタフェース４０は、代表的には、ＩＥＥＥ８０２．１１に基づく無線ＬＡＮ等である。無線通信インタフェース４０は、例えば、図１の無線ルータ１１および通信ネットワーク１２を介いて認証サーバ１３と無線通信を行う。電話網通信インタフェース４１は、例えば、４Ｇ（4th Generation）や５Ｇ（5th Generation）等の規格に基づくインタフェースであり、基地局と無線通信を行う。ＨＭＤ１は、例えば、無線ＬＡＮの電波が届かないような場合、電話網通信インタフェース４１を介して認証サーバ１３と無線通信を行うことも可能である。

ＨＭＤ１は、視覚系の各種ユニットとして、ディスプレイ４５と、インカメラ４６と、アウトカメラ４７とを有する。ディスプレイ４５は、例えば、液晶パネル等であり、ＡＲまたはＶＲの画像等を代表に、所定の画像を表示する。インカメラ４６が、ＨＭＤ１の内部側（例えばユーザ５自身）の画像を撮像する。アウトカメラ４７は、ＨＭＤ１の外部側の画像を撮像する。

ＨＭＤ１は、聴覚系の各種ユニットとして、マイク５０と、スピーカ５１と、オーディオデコーダ５２とを備える。マイク５０は、ユーザ５の声を集音し、音声データ信号を出力する。スピーカ５１は、ＨＭＤ１内部で生成した音声データ信号を音声（音波）に変換してユーザ５へ放音する。オーディオデコーダ５２は、例えば、符号化された音声データ信号を復号化する処理等を行う。

ＨＭＤ１は、ユーザインタフェースを担う各種ユニットとして、ボタンスイッチ５５と、タッチパネル５６とを備える。ボタンスイッチ５５は、例えば、ディスプレイ４５に表示されたＶＲ画面上またはＡＲ画面上で各種操作を行うためのリモコンスイッチ等である。タッチパネル５６は、例えば、ディスプレイ４５上にＶＲまたはＡＲによってタッチパネル画面を構築し、アウトカメラ４７等で手の動きを検知することでユーザ５に所定の操作を行わせる。

ここで、詳細は後述するが、メインプロセッサ（コントローラ）２０は、ユーザ５がパスコードを発声している認証期間で生体認証センサ３０に断層データを取得させる。そして、メインプロセッサ（コントローラ）２０は、当該断層データに基づいてユーザ５を認証する。なお、ＨＭＤ１は、前述したような各種ユニットの他に、様々なユニットを備えてよい。

《認証方法の詳細》
図４は、図１の認証システムおよび図３のヘッドマウント情報処理装置を用いた認証方法の一例を示すフロー図である。図５および図６は、図４における一部の処理内容を説明する補足図である。図４において、まず、ＨＭＤ１のメインプロセッサ（コントローラ）２０は、ディスプレイ４５にパスコードを表示させる（ステップＳ１０１）。図５の例では、ディスプレイ４５上に、パスコードＰＣＤの一例である“そらまめ”が表示されている。

続いて、メインプロセッサ（コントローラ）２０は、マイク５０を用いた音声データ信号の記録（例えば、ＲＡＭ２１への保存）と、生体認証センサ３０を用いた生体データ信号の取得および記録とを開始する（ステップＳ１０２）。一方、ステップＳ１０２の後、ユーザ５は、ステップＳ１０１で表示されたパスコードＰＣＤ（“そらまめ”）を発声する。これに伴い、メインプロセッサ（コントローラ）２０は、マイク５０から出力されＲＡＭ２１等に記録された音声データ信号から、ユーザ５が発声したパスコードＰＣＤを音声認識する（ステップＳ１０３）。

図６には、時間的に変化するマイク５０からの音声データ信号ＡＤＳおよび生体認証センサ３０からの生体データ信号ＢＤＳと、生体データ信号ＢＤＳから得られる断層画像データＴＩＤとが示される。図６に示される各波形等は、説明に際しての便宜上のものであり、実際のものとは異なる。生体データ信号ＢＤＳは、図２（ａ）または図２（ｂ）で述べた各レシーバによって取得される信号である。ここで、生体データ信号ＢＤＳは、ユーザ５の頭部構造とユーザ５の発音状態との組み合わせに応じて適宜変化すると考えられる。そこで、メインプロセッサ（コントローラ）２０は、まず、ユーザ５が発声したパスコードＰＣＤを音声認識することで、ユーザ５がパスコードＰＣＤを発声している期間を認証期間Ｔ１として検出する。

また、メインプロセッサ（コントローラ）２０は、認証期間Ｔ１で生体認証センサ３０によって取得された生体データ信号ＢＤＳを、所定のアルゴリズムを用いて画像化する。これによって、メインプロセッサ（コントローラ）２０は、時間的に変化する断層画像データＴＩＤを作成する。断層画像データＴＩＤは、図２（ａ）または図２（ｂ）で述べたように、例えば、頭部１６内の電気インピーダンスの分布や、頭部１６内の音響干渉パターンを表す二次元画像データである。明細書では、この断層画像データＴＩＤ、または、断層画像データＴＩＤの基となる生体データ信号ＢＤＳを断層データＴＤと呼ぶ。

図４に戻り、ステップＳ１０４において、例えば、認証サーバ１３は、ＨＭＤ１から図６に示したような認証期間Ｔ１での音声データ信号ＡＤＳ（パスコード音声）を受信する。そして、認証サーバ１３は、このパスコード音声に基づいて声紋認証を行う。声紋認証では、一般的に知られているように、音声データ信号ＡＤＳのスペクトログラム（時間、周波数、信号成分の強さの関係）が作成される。そして、作成されたスペクトログラムと、予め正規のユーザによって登録されている声紋データとの類似度に基づいて認証の成否が判定される。

続いて、ステップＳ１０５において、メインプロセッサ（コントローラ）２０または認証サーバ１３は、図６に示したように、認証期間Ｔ１での生体データ信号ＢＤＳに基づいて断層画像データＴＩＤを作成する。認証サーバ１３が断画像層データＴＩＤを作成する場合、認証サーバ１３は、ＨＭＤ１から生体データ信号ＢＤＳを受信すればよい。

その後、ステップＳ１０６において、認証サーバ１３は、ステップＳ１０５で作成された断層画像データＴＩＤに基づいて認証判定を行う。すなわち、認証サーバ１３は、断層画像データＴＩＤ（断層データＴＤ）と予め記憶装置１４に記憶したユーザ５の登録データとを照合し、照合によって得られる認証結果をＨＭＤ１へ送信する。ＨＭＤ１は、ステップＳ１０６での認証結果（ひいては断層データＴＤ）と、ステップＳ１０４での声紋認証の結果とに基づいてユーザ５を認証する。

図７は、図１における認証サーバの主要部の構成例を示すブロック図である。図７の認証サーバ１３は、特徴量抽出器６０と、照合器６１とを備える。特徴量抽出器６０は、断層画像データＴＩＤまたは予め記憶装置１４に記憶したユーザ５の登録データＲＤを入力として、例えば、学習済みのディープラーニングモデル等を用いてそれぞれ特徴量を抽出する。抽出した特徴量は、例えば、ある特徴Ａの強さがｘｘ、別の特徴Ｂの強さがｙｙ、…といった内容を含んだ特徴量ベクトルの形で出力される。

照合器６１は、断層画像データＴＩＤの特徴量ベクトルと、登録データＲＤの特徴量ベクトルとを照合することで類似度を算出する。そして、照合器６１は、当該算出した類似度に基づいて認証結果を定める。例えば、照合器６１は、類似度が予め定めた閾値以上の場合には、認証結果を認証成功に定め、類似度が当該閾値未満の場合には、認証結果を認証失敗に定める。ただし、この照合後の認証成否の判定は、ＨＭＤ１が行ってもよい。この場合、認証サーバ１３は、算出した類似度を認証結果に定めればよい。

なお、図４のステップＳ１０４およびステップＳ１０６での各処理に関しては、全ての処理をＨＭＤ１が実行してもよく、適宜振り分けられた処理をＨＭＤ１および認証サーバ１３が実行してもよい。例えば、ステップＳ１０４では、認証サーバ１３の代わりにメインプロセッサ（コントローラ）２０が、ＲＯＭ２２またはフラッシュメモリ２３に予め登録した正規のユーザの声紋データに基づいて声紋認証を行ってもよい。

また、ステップＳ１０６では、認証サーバ１３の代わりにメインプロセッサ（コントローラ）２０が、断層画像データＴＩＤから特徴量を抽出してもよい。すなわち、図７に示したような特徴量抽出器６０（すなわち、学習済みのディープラーニングモデル等）を、メインプロセッサ（コントローラ）２０に搭載してもよい。この場合、ＨＭＤ１は、特徴量抽出器６０からの断層画像データＴＩＤの特徴量ベクトルを認証サーバ１３へ送信する。そして、認証サーバ１３は、記憶装置１４に予め登録データＲＤの特徴量ベクトルを記憶しておき、登録データＲＤの特徴量ベクトルと、ＨＭＤ１からの断層画像データＴＩＤの特徴量ベクトルとを照合すればよい。

ただし、セキュリティ管理の観点や、ＨＭＤを複数のユーザ５で使用する場合の運用上の観点等から、声紋認証で用いられる声紋データや、生体認証センサ３０での生体認証で用いられる登録データＲＤは、認証サーバ１３で管理される方が望ましい場合が多い。したがって、このような観点では、認証サーバ１３は、少なくとも図７の照合器６１（および声紋認証に対応する同様の照合器）を備えることが望ましい。

また、パスコードＰＣＤは、認証ごとに選択、あるいは生成される文字列である。パスコードＰＣＤの生成がＨＭＤ１でなされる場合、ＨＭＤ１は、特徴量ベクトルにパスコードＰＣＤを加えて認証サーバ１３へ送信する。

《実施の形態１の主要な効果》
以上、実施の形態１の方式を用いることで、代表的にはＨＭＤにおけるセキュリティを向上させることが可能になる。具体的には、ユーザ毎に異なり、かつ、ユーザの発音内容によっても異なり得る断層データＴＤに基づいて認証を行えるため、ディープフェイク技術によるなりすましを十分に防止できる。加えて、声紋認証を併用することで、なりすましをより強固に防止できる。また、その他の効果として、ユーザの頭部に装着されるＨＭＤの使用形態に好適な認証方式が実現可能になる。すなわち、単に、ＨＭＤ上の所定の箇所に生体認証センサ３０を設置することで、堅牢な認証方式を得ることが可能になる。

なお、この例では、認証期間Ｔ１における音声データ信号ＡＤＳおよび断層データＴＤに基づいて声紋認証および生体認証を行ったが、声紋認証を行わずに生体認証のみを行ってもよい。また、声紋認証および生体認証に加えて顔認証を行ってもよい。具体的には、ＨＭＤ１は、インカメラ４６でユーザ５の顔画像を撮像し、当該顔画像の撮像データまたは当該撮像データから抽出した特徴量を認証サーバ１３へ送信することで、声紋認証および生体認証に加えた更なる認証を行ってもよい。

（実施の形態２）
《会議システムへの適用例［１］》
図８は、本発明の実施の形態２による認証方法において、図１の認証システムを会議システムに適用した場合の処理内容の一例を示すシーケンス図である。ここでは、図１のユーザ５がヘッドマウント情報処理装置（ＨＭＤ）１を用いた遠隔会議に参加するような場合を想定する。

図８において、まず、ＨＭＤ１は、会議サーバ１３ａへ会議参加要求（言い換えれば認証要求）を送信する（ステップＳ２０１）。会議参加要求には、ユーザ５の識別子や、会議の識別子等が含まれる。また、会議サーバ１３ａは、図１の認証サーバ１３の機能も備えている。続いて、会議サーバ１３ａは、ステップＳ２０１での会議参加要求に応じて、予め登録された会議情報に基づいてユーザ５が会議に参加する資格があることを確認する（ステップＳ２０２）。その後、会議サーバ１３ａは、ＨＭＤ１へ認証開始命令と、パスコードとを送信する（ステップＳ２０３）。

次いで、ＨＭＤ１は、ステップＳ２０３で受信したパスコードをディスプレイ４５に表示する（ステップＳ２０４）。続いて、ＨＭＤ１は、図４のステップＳ１０２，Ｓ１０３の場合と同様に、音声データ信号ＡＤＳの記録および生体データ信号ＢＤＳの取得を開始し（ステップＳ２０５）、音声データ信号ＡＤＳからパスコードを音声認識する（ステップＳ２０６）。

その後、ＨＭＤ１は、ステップＳ２０６での認識結果に基づいて、音声データ信号ＡＤＳおよび生体データ信号ＢＤＳ（断層データＴＤ）の抽出処理を行う（ステップＳ２０７）。具体的には、ＨＭＤ１は、図６で述べたような認証期間Ｔ１を定める。これに加えて、ＨＭＤ１は、生体データ信号ＢＤＳから断層画像データＴＩＤを作成する処理を行ってもよい。その後、ＨＭＤ１は、ステップＳ２０７で抽出した音声データ信号ＡＤＳ（すなわちパスコード音声データ）と、断層データＴＤ（生体データ信号ＢＤＳまたは断層画像データＴＩＤ）とを会議サーバ１３ａへ送信する（ステップＳ２０８）。

続いて、会議サーバ１３ａは、ステップＳ２０８で受信したパスコード音声データに基づいて声紋認証を行う（ステップＳ２０９）。会議サーバ１３ａは、声紋認証の結果が失敗の場合には、ステップＳ２１０の処理を経ることなく、認証結果を認証失敗に定める。一方、声紋認証の結果が成功の場合、会議サーバ１３ａは、ステップＳ２０８で受信した断層データＴＤに基づいて生体認証を行う（ステップＳ２１０）。そして、会議サーバ１３ａは、生体認証の結果が成功の場合には認証結果を認証成功に定め、生体認証の結果が失敗の場合には認証結果を認証失敗に定める。

ここで、ステップＳ２１０の処理に際し、会議サーバ１３ａは、ステップＳ２０８で受信した断層データＴＤが生体データ信号ＢＤＳである場合には、断層画像データＴＩＤを作成したのち、当該断層画像データＴＩＤの特徴量を抽出し、当該特徴量に基づいて認証成否を判定する。一方、会議サーバ１３ａは、ステップＳ２０８で受信した断層データＴＤが断層画像データＴＩＤである場合には、当該断層画像データＴＩＤの特徴量を抽出し、当該特徴量に基づいて認証成否を判定する。

続いて、ステップＳ２１１において、会議サーバ１３ａは、ステップＳ２０９，Ｓ２１０で定めた認証結果をＨＭＤ１へ送信する。ＨＭＤ１は、ステップＳ２１１で受信した認証結果が認証成功の場合には、会議に参加する処理を実行し、認証失敗の場合には、会議に参加せずに処理を終了する（ステップＳ２１２）。

なお、ステップＳ２０３でのパスコードは、例えば、チャレンジレスポンス方式の認証を行うためのパスコードである。この場合、会議サーバ１３ａは、例えば、複数のパスコード毎や一文字毎の声紋データおよび登録データＲＤを予め記憶装置１４に記憶しておく。そして、会議サーバ１３ａは、ステップＳ２０３において、複数のパスコードのいずれかをランダムに選択し、ステップＳ２０９，Ｓ２１０において、選択したパスコードに対応する声紋データおよび登録データＲＤを用いて認証を行えばよい。これにより、セキュリティをより向上させることが可能になる。さらに、ステップＳ２０８で送信される断層データＴＤは、実施の形態１でも述べたように、断層画像データＴＩＤから抽出した特徴量ベクトルであってもよい。

《会議システムへの適用例［２］》
図９は、本発明の実施の形態２による認証システムにおいて、会議システムへ適用した場合の構成例を示す概略図である。図９に示す会議システム（認証システム）１０ａは、図１の場合と同様の通信ネットワーク１２および会議サーバ（認証サーバ）１３ａに加えて、複数のヘッドマウント情報処理装置（ＨＭＤ）１ａ，１ｂと、複数の無線ルータ１１ａ，１１ｂとを備える。ＨＭＤ１ａ，１ｂは、それぞれ、複数のユーザ５ａ，５ｂによって装着される。無線ルータ１１ａ，１１ｂは、それぞれ、ＨＭＤ１ａ，１ｂと無線通信を行うことで通信ネットワーク１２を介して行われるＨＭＤ１ａ，１ｂの通信を中継する。

図１０は、図９の会議システム（認証システム）における処理内容の一例を示すシーケンス図である。ここでは、図８の場合と異なり、遠隔会議に参加しているユーザ５ｂが遠隔会議に参加しているユーザ５ａの参加資格を再確認したいような場合を想定する。すなわち、例えば、遠隔会議中にユーザ５ａが入れ替わったと疑われるような場合を想定する。

図１０において、まず、ＨＭＤ１ｂは、ユーザ５ｂに対して、再認証を行わせたいユーザ５ａを選択させる（ステップＳ３０１）。続いて、ＨＭＤ１ｂは、会議サーバ１３ａへ参加者認証要求を送信する（ステップＳ３０２）。参加者認証要求には、選択されたユーザ５ａの識別子等が含まれる。次いで、会議サーバ１３ａは、ステップＳ３０３での参加者認証要求に応じて、予め登録された会議情報に基づいてユーザ５ａが会議に参加する資格があることを確認する（ステップＳ３０３）。その後、会議サーバ１３ａは、ＨＭＤ１ａへ認証開始命令と、パスコードとを送信する（ステップＳ３０４）。

続いて、ＨＭＤ１ａは、ステップＳ３０５～Ｓ３０９において、図８のステップＳ２０４～Ｓ２０８の場合と同様の処理を行う。簡単に説明すると、ＨＭＤ１ａは、受信したパスコードをディスプレイ４５に表示したのち（ステップＳ３０５）、音声データ信号ＡＤＳの記録および生体データ信号ＢＤＳの取得を開始する（ステップＳ３０６）。また、ＨＭＤ１ａは、音声データ信号ＡＤＳからパスコードを音声認識したのち（ステップＳ３０７）、音声データ信号ＡＤＳおよび生体データ信号ＢＤＳ（断層データＴＤ）の抽出処理を行う（ステップＳ３０８）。そして、ＨＭＤ１ａは、抽出した音声データ信号ＡＤＳ（すなわちパスコード音声データ）と、断層データＴＤ（生体データ信号ＢＤＳまたは断層画像データＴＩＤ）とを会議サーバ１３ａへ送信する（ステップＳ３０９）。

次いで、会議サーバ１３ａは、ステップＳ３１０，Ｓ３１１において、図８のステップＳ２０９，Ｓ２１０の場合と同様の処理を行う。簡単に説明すると、会議サーバ１３ａは、受信したパスコード音声データに基づいて声紋認証を行い（ステップＳ３１０）、声紋認証の結果が成功の場合には、受信した断層データＴＤに基づいて生体認証を行う（ステップＳ３１１）。そして、会議サーバ１３ａは、声紋認証の結果と生体認証の結果の両方が成功の場合には認証結果を認証成功に定め、いずれか一方の結果が失敗の場合には認証結果を認証失敗に定める。

続いて、ステップＳ３１２ａ，Ｓ３１２ｂにおいて、会議サーバ１３ａは、ステップＳ３１０，Ｓ３１１で定めた認証結果をＨＭＤ１ａ，１ｂへそれぞれ送信する。ＨＭＤ１ａは、ステップＳ３１２ａで受信した認証結果が認証成功の場合には、会議への参加を継続する処理を行い、認証失敗の場合には、会議への参加を切断する処理を行う（ステップＳ３１３）。一方、ＨＭＤ１ｂは、ステップＳ３１２ｂで受信した認証結果をディスプレイ４５やスピーカ５１等を介してユーザ５ｂへ通知する処理を行う（ステップＳ３１４）。

《実施の形態２の主要な効果》
以上、実施の形態２の方式を用いることで、実施の形態１の場合と同様に、代表的にはＨＭＤにおけるセキュリティを向上させることが可能になる。特に、悪意のあるユーザが遠隔会議へ参加することを防止できる。すなわち、悪意のあるユーザは、断層データＴＤに基づく生体認証が求められるため、ディープフェイク技術を用いたとしても、正規のユーザになりすますことは困難である。これらの結果、会議中にＨＭＤを介して得られる各種機密情報の漏洩を防止することが可能になる。

（実施の形態３）
《ショッピングシステムへの適用例》
図１１は、本発明の実施の形態３による認証システムにおいて、ショッピングシステムへ適用した場合の主要部の構成例および動作例を示す概略図である。図１１に示すショッピングシステム（認証システム）１０ｂは、ＨＭＤ１と、決済サーバ（認証サーバ）１３ｂと、通信ネットワーク１２と、ショッピングサーバ６５と、セルフレジ６６とを備える。ＨＭＤ１は、ユーザ（顧客）５によって装着される。

決済サーバ１３ｂ、ショッピングサーバ６５およびセルフレジ６６は、互いに通信ネットワーク１２を介して接続される。セルフレジ６６は、ＨＭＤ１と無線通信を行う無線通信機を備える。ショッピングサーバ６５は、例えば、ショッピング会社のサーバであり、セルフレジ６６の管理を含めてショッピングシステム１０ｂ全体を管理する。決済サーバ（認証サーバ）１３ｂは、例えば、クレジットカード会社のサーバである。

このような構成において、まず、ユーザ（顧客）５は、所望の買い物を行ったのち、セルフレジ６６を用いてクレジット決済を開始する。これに応じて、セルフレジ６６は、ショッピングサーバ６５へ決済要求を送信する（ステップＳ４０１）。決済要求には、例えば、クレジットカードの番号や、パスコード等が含まれる。ショッピングサーバ６５は、ステップＳ４０１での決済要求に応じて、決済サーバ１３ｂへ、クレジットカードの番号やパスコード等を含んだ顧客認証要求を送信する（ステップＳ４０２）。

決済サーバ１３ｂは、ステップＳ４０２での顧客認証要求に応じて顧客を識別し、セルフレジ６６へ、認証開始命令と別途生成したパスコード（この例では“あかさた”）とを送信する（ステップＳ４０３）。セルフレジ６６は、ステップＳ４０３でのパスコードを画面上に表示する。一方、ユーザ５は、画面上に表示されたパスコードを発声する。これにより、ＨＭＤ１は、図８のステップＳ２０５～Ｓ２０７の場合と同様の処理を行ったのち、ステップＳ２０８の場合と同様に、パスコード音声データおよび断層データＴＤをセルフレジ６６へ送信する。また、セルフレジ６６は、受信したパスコード音声データおよび断層データＴＤを決済サーバ１３ｂへ送信する（ステップＳ４０４）。

次いで、決済サーバ１３ｂは、図８のステップＳ２０９，Ｓ２１０の場合と同様に、パスコード音声データに基づく声紋認証と、断層データＴＤに基づく生体認証とを行い、ステップＳ２１１の場合と同様に、認証結果をショッピングサーバ６５へ送信する（ステップＳ４０５）。ショッピングサーバ６５は、決済結果として、ステップＳ４０５で受信した認証結果が認証成功である場合には、セルフレジ６６に決済を完了させ、認証失敗である場合には、セルフレジ６６に決済を拒否させる（ステップＳ４０６）。

《実施の形態３の主要な効果》
以上、実施の形態３の方式を用いることで、実施の形態１の場合と同様に、代表的にはＨＭＤにおけるセキュリティを向上させることが可能になる。特に、悪意のあるユーザが他人のクレジットカードを不正に使用してショッピングを行うようなことを防止することが可能になる。すなわち、悪意のあるユーザは、断層データＴＤに基づく生体認証が求められるため、ディープフェイク技術を用いたとしても、正規のユーザになりすますことは困難である。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１：ヘッドマウント情報処理装置（ＨＭＤ）、５，５ａ，５ｂ：ユーザ、１０，１０ａ，１０ｂ：認証システム、１１，１１ａ，１１ｂ：無線ルータ、１２：通信ネットワーク、１３，１３ａ，１３ｂ：認証サーバ、１４：記憶装置、１６：頭部、１７：電極、１８：超音波トランスデューサ、２０：メインプロセッサ（コントローラ）、２１：ＲＡＭ、２２：ＲＯＭ、２３：フラッシュメモリ、３０：生体認証センサ、３１：ＧＰＳ受信機、３２：地磁気センサ、３３：距離センサ、３４：加速度センサ、３５：ジャイロセンサ、４０：無線通信インタフェース、４１：電話網通信インタフェース、４５：ディスプレイ、４６：インカメラ、４７：アウトカメラ、５０：マイク、５１：スピーカ、５２：オーディオデコーダ、５５：ボタンスイッチ、５６：タッチパネル、６０：特徴量抽出器、６１：照合器、６５：ショッピングサーバ、６６：セルフレジ、ＡＤＳ：音声データ信号、ＢＤＳ：生体データ信号、ＢＳ：バス、ＰＣＤ：パスコード、ＲＤ：登録データ、Ｔ１：認証期間、ＴＤ：断層データ、ＴＩＤ：断層画像データ

Claims (19)

1. ユーザの頭部に装着された状態で前記ユーザに各種情報を視覚または聴覚を介して提供するヘッドマウント情報処理装置であって、
   画像を表示するディスプレイと、
   前記ユーザの声を集音し、音声データ信号を出力するマイクと、
   前記ユーザの頭部の断層データを取得する生体認証センサと、
   前記ヘッドマウント情報処理装置を制御するコントローラと、
   を有し、
   前記コントローラは、前記ユーザがパスコードを発声している認証期間で前記生体認証センサによって取得された前記断層データに基づいて前記ユーザを認証する、
   ヘッドマウント情報処理装置。
2. 請求項１記載のヘッドマウント情報処理装置において、
   前記生体認証センサは、前記頭部内の電気インピーダンスの分布を前記断層データとして取得するための複数の電極を備える、
   ヘッドマウント情報処理装置。
3. 請求項１記載のヘッドマウント情報処理装置において、
   前記生体認証センサは、前記頭部内の音響干渉パターンを前記断層データとして取得するための複数の超音波トランスデューサを備える、
   ヘッドマウント情報処理装置。
4. 請求項１記載のヘッドマウント情報処理装置において、
   前記コントローラは、前記断層データから特徴量を抽出し、前記特徴量のデータに基づいて前記ユーザを認証する、
   ヘッドマウント情報処理装置。
5. 請求項１記載のヘッドマウント情報処理装置において、
   前記コントローラは、前記ディスプレイに前記パスコードを表示させたのち、前記音声データ信号から前記ユーザが発声した前記パスコードを音声認識することで前記認証期間を検出する、
   ヘッドマウント情報処理装置。
6. 請求項１記載のヘッドマウント情報処理装置において、
   前記コントローラは、前記認証期間の前記音声データ信号に基づく声紋認証の結果と、前記断層データとに基づいて前記ユーザを認証する、
   ヘッドマウント情報処理装置。
7. ユーザの頭部に装着された状態で前記ユーザに各種情報を視覚または聴覚を介して提供するヘッドマウント情報処理装置と、
   認証サーバと、
   を有する認証システムであって、
   前記ヘッドマウント情報処理装置は、
   画像を表示するディスプレイと、
   前記ユーザの声を集音し、音声データ信号を出力するマイクと、
   前記ユーザの頭部の断層データを取得する生体認証センサと、
   前記ヘッドマウント情報処理装置を制御するコントローラと、
   前記認証サーバと無線通信を行う無線通信インタフェースと、
   を有し、
   前記コントローラは、前記ユーザがパスコードを発声している認証期間で前記生体認証センサによって取得された前記断層データを、前記無線通信インタフェースを介して前記認証サーバへ送信し、
   前記認証サーバは、前記断層データと予め記憶した前記ユーザの登録データとを照合し、照合によって得られる認証結果を前記ヘッドマウント情報処理装置へ送信する、
   認証システム。
8. 請求項７記載の認証システムにおいて、
   前記生体認証センサは、前記頭部内の電気インピーダンスの分布を前記断層データとして取得するための複数の電極を備える、
   認証システム。
9. 請求項７記載の認証システムにおいて、
   前記生体認証センサは、前記頭部内の音響干渉パターンを前記断層データとして取得するための複数の超音波トランスデューサを備える、
   認証システム。
10. 請求項７記載の認証システムにおいて、
    前記コントローラは、前記断層データから特徴量を抽出し、前記特徴量のデータを前記無線通信インタフェースを介して前記認証サーバへ送信する、
    認証システム。
11. 請求項７記載の認証システムにおいて、
    前記認証サーバは、前記パスコードを前記ヘッドマウント情報処理装置へ送信し、
    前記コントローラは、前記認証サーバからの前記パスコードを前記ディスプレイに表示させたのち、前記音声データ信号から前記ユーザが発声した前記パスコードを音声認識することで前記認証期間を検出する、
    認証システム。
12. 請求項１１記載の認証システムにおいて、
    前記コントローラは、前記認証期間での前記音声データ信号と、前記断層データとを前記無線通信インタフェースを介して前記認証サーバへ送信し、
    前記認証サーバは、前記音声データ信号に基づく声紋認証と、前記断層データと前記登録データとの照合とを行う、
    認証システム。
13. ユーザの頭部に装着された状態で前記ユーザに各種情報を視覚または聴覚を介して提供するヘッドマウント情報処理装置を用いて、前記ユーザを認証する認証方法であって、
    前記ヘッドマウント情報処理装置は、画像を表示するディスプレイと、前記ユーザの声を集音し、音声データ信号を出力するマイクと、前記ユーザの頭部の断層データを取得する生体認証センサと、を有し、
    前記認証方法は、
    前記ユーザがパスコードを発声している認証期間で、前記生体認証センサが前記断層データを取得する第１のステップと、
    前記第１のステップで取得された前記断層データに基づいて前記ユーザを認証する第２のステップと、
    を有する、
    認証方法。
14. 請求項１３記載の認証方法において、
    前記生体認証センサは、前記頭部内の電気インピーダンスの分布を前記断層データとして取得するための複数の電極を備える、
    認証方法。
15. 請求項１３記載の認証方法において、
    前記生体認証センサは、前記頭部内の音響干渉パターンを前記断層データとして取得するための複数の超音波トランスデューサを備える、
    認証方法。
16. 請求項１３記載の認証方法において、
    前記第２のステップは、前記断層データと予め記憶した前記ユーザの登録データとを照合するステップを含む、
    認証方法。
17. 請求項１３記載の認証方法において、
    前記第２のステップは、前記断層データから特徴量を抽出するステップを含む、
    認証方法。
18. 請求項１３記載の認証方法において、さらに、
    前記第１のステップに先立って行われ、前記ディスプレイが前記パスコードを表示する第３のステップと、
    前記第３のステップの後に行われ、前記音声データ信号から前記ユーザが発声した前記パスコードを音声認識することで前記認証期間を検出する第４のステップと、
    を有する、
    認証方法。
19. 請求項１８記載の認証方法において、
    さらに、前記認証期間での前記音声データ信号に基づいて声紋認証を行う第５のステップを有する、
    認証方法。

Images