JP7015408B1

JP7015408B1 - 端末装置、情報処理方法、及びプログラム

Info

Publication number: JP7015408B1
Application number: JP2021165354A
Authority: JP
Inventors: 真旭徳山
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-10-07
Filing date: 2021-10-07
Publication date: 2022-02-02
Anticipated expiration: 2041-10-07
Also published as: JP2023056179A; WO2023058424A1

Abstract

【課題】ユーザの負担を軽減し簡易に使用者を認証することがきる端末装置、情報処理方法、及びプログラムを提供する。【解決手段】端末装置は、複数の認証情報を取得する認証用情報取得部１８１と、複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部３００と、音声認証処理部３００が作成した音声の認証値に基づいて、認証が成功したか否かを判定する認証判定部１８２とを備える。認証判定部は、音声認証処理部で作成された音声の認証値が、予め定められた認証閾値未満の場合に認証が成功したと判定し、音声の認証値が認証閾値以上、且つ、認証許容値以上の場合に、音声の認証値による認証が失敗したものとして認証用情報取得部１８１で取得した他の認証情報である一の認証情報に基づいて認証が成功したか否かを判定する。【選択図】図４

Description

本発明は、端末装置、情報処理方法、及びプログラムに関する。

通常、端末装置は、不正使用を防止するための認証機能を備え、認証が成功した場合に各機能を使用可能としている。認証処理には、一般的なパスワードに加え、各種の生体情報等も活用されている。例えば特許文献１には、表示装置に表示された文字列を読み上げるユーザの音声を用いて、ユーザを本人と認証する技術が開示されている。

特開２０２１－３３３１５号公報

特許文献１に開示された技術では、ユーザは、認証の度に表示装置に表示された文字列を、読み仮名、文字数等を指定されたとおりに読み上げる必要がある。このため、文字列を読み上げるユーザに負担が大きいという課題がある。また、ユーザは、一々他の作業を止めて意図的に認証を行う必要があるため、作業効率が悪くなるという課題もある。

本発明は上述の課題を解決するものであり、ユーザの負担を軽減し簡易に使用者を認証することがきる端末装置、情報処理方法、及びプログラムを提供することを目的とする。

上記の目的を達するため、本発明に係る端末装置は、
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した前記複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部と、
前記音声認証処理部が作成した前記音声の認証値に基づいて、認証が成功したか否かを判定する認証判定部と、
を備え、
前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、前記音声の認証値を作成する処理を実行し、
前記認証判定部は、前記音声認証処理部で作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値に前記ユーザがグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして前記認証用情報取得部で取得した他の認証情報である一の認証情報に基づいて認証が成功したか否かを判定する。

本発明に係る端末装置によれば、通常の発話に含まれるフィラーに基づいてユーザを認証することができるため、ユーザの負担を軽減し簡易に使用者を認証することがきる。

本発明の実施の形態１に係る端末装置の正面図である。図１に示す端末装置のブロック図である。図１に示す端末装置のハードウエア構成の一例を示す図である。図１に示す端末装置の情報処理ブロックの図である。図４に示す情報処理ブロックの音声認証処理部のブロック図である。本実施の形態１に係るユーザの発話に含まれるフィラーの単語の概要を示す図である。本実施の形態１に係るユーザの発話に含まれるフィラーの単語を記憶する単語データベースのテーブルを示す図である。図６Ｂに示したフィラーの単語の時系列モデルデータベースのテーブルを示す図である。図６Ｂに示したフィラーの単語の声道特性モデルデータベースのテーブルを示す図である。図４に示す端末装置の認証用生体情報データベースのテーブルを示す図である。図４に示す端末装置の認証用振舞情報データベースのテーブルを示す図である。図４に示す端末装置の傾き情報テーブルを示す図である。実施の形態１に係る認証処理のフローチャートである。図８Ａに示す認証処理のフローチャートの続きのフローチャートである。実施の形態１に係る顔認証値取得処理のフローチャートである。実施の形態１に係る補助認証処理のフローチャートである。実施の形態１に係る音声取得処理のフローチャートである。図１１Ａに示す音声取得処理のフローチャートの続きのフローチャートである。実施の形態１に係る音声認証処理のフローチャートである。実施の形態１に係る音声の認証値取得処理のフローチャートである。図１３Ａに示す音声の認証値取得処理のフローチャートの続きのフローチャートである。実施の形態２に係る認証処理のフローチャートである。図１４Ａに示す認証処理のフローチャートの続きのフローチャートである。実施の形態２に係る声認証値取得処理のフローチャートである。実施の形態２に係る顔認証処理のフローチャートである。

（実施の形態１）
以下に、本発明を実施するための形態に係る端末装置、情報処理方法、及びプログラムについて、図面を参照して詳細に説明する。なお、図中同一または相当する部分には同一符号を付す。

本実施の形態１に係る端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができるようにした装置である。特に、端末装置１で用いられる音声認証は、通常の発話に含まれるフィラーに基づいてユーザを認証することができるため、ユーザの負担を軽減し簡易に使用者を認証することがきる。

また、端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の精度を向上させることができる処理である。

端末装置１の正面図を、図１に示す。端末装置１は、いわゆるスマートフォンであり端末装置１は、正面にユーザの顔を撮影するインカメラ１１Ａと、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂと、端末装置１の傾きを検出する傾き検出部１３と、操作入力部１４及び表示部１９を兼ねるタッチパネルと、ユーザの指紋を検出する左指紋センサ１５Ａ及び右指紋センサ１５Ｂと、端末装置１の現在位置を検出する位置検出部１６とを備える。また、端末装置１は、背面に、ユーザから見た人間、風景、物体等を撮影することができるメインカメラ１１Ｂを備える。

ここで、以下では、インカメラ１１Ａとメインカメラ１１Ｂとを総称して、撮影部１１と称する。以下では、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂとを総称して、音声入出力部１２と称する。また、以下では、左指紋センサ１５Ａ及び右指紋センサ１５Ｂを総称して、指紋検出部１５と称する。

図２は、端末装置１の構成を示すブロック図である。端末装置１は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６と、端末記憶部１７と、端末制御部１８と、表示部１９とを備える。

通信部１０は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。

撮影部１１は、図１に示したインカメラ１１Ａとメインカメラ１１Ｂとを含む。撮影部１１には、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、撮影した静止画または動画を取得することが可能な各種カメラを用いることができる。

音声入出力部１２は、図１に示したスピーカ１２Ａと、マイクロフォン１２Ｂとを含む。スピーカ１２Ａは、音声通話で受信した音声、通信網を介して外部から取得した音楽データ等を出力する。マイクロフォン１２Ｂは、ユーザの音声をピックアップする装置である。

傾き検出部１３は、端末装置１の傾き、揺れ等を検出することができる装置である。傾き検出部１３は、加速度センサ、角度センサ、地磁気を検出する磁気センサ等の端末装置１の傾きを検出できる各種センサを用いて構成することができる。なお、傾き検出部１３を構成するセンサの個数及び種類は、単数又は複数のどちらでもよい。

操作入力部１４は、図１に示したユーザからの操作を入力することができる装置である。指紋検出部１５は、ユーザの指紋を検出するセンサである。指紋検出部１５は、図１に示した左指紋センサ１５Ａ及び右指紋センサ１５Ｂを含む。なお、指紋検出部１５には、指紋センサに限らず、ユーザの指紋を検出することができるセンサ、機器等であれば、いずれのものを用いてもよい。

位置検出部１６は、端末装置１の現在位置を検出することができる装置である。位置検出部１６は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等の、端末装置１の現在位置を検出することができる機器を用いて構成することができる。

端末記憶部１７は、ユーザの認証処理を行うための認証処理プログラム１７０と、ユーザの音声による認証処理を行うための音声認証処理プログラム１７１と、端末装置１で取得したユーザの生体情報をまとめた認証用生体情報データベース１７２と、端末装置１で取得したユーザの振舞情報をまとめた認証用振舞情報データベース１７３と、端末装置１の傾き状態を記憶するための傾き情報テーブル１７４と、音声認識に用いるフィラーの単語を記憶する単語データベース１７５と、フィラーの単語の時系列特性を記憶する時系列モデルデータベース１７６と、フィラーの単語の声道特性を保存する声道特性モデルデータベース１７７と、を備える。また、端末記憶部１７には、端末装置１で実行される各種アプリケーションのプログラムが記憶されている。

認証処理プログラム１７０は、端末装置１で取得したユーザの生体情報及び振舞情報に基づいてユーザを認証する処理を行うプログラムである。認証用生体情報データベース１７２は、ユーザの生体情報に関する情報と認証に用いる認証値とを保存するためのデータベースである。

認証用振舞情報データベース１７３は、端末装置１を操作する際のユーザ特有の振舞に関する情報、認証の合格条件等を保存するためのデータベースである。ここで、ユーザ特有の振舞とは、ユーザが端末装置１を操作する際の挙動、表示部１９の画面とユーザの顔の距離、キーストローク、持ち方、端末装置１が使用される位置、特定の通信網への接続回数、特定のアプリケーションの起動、操作等、ユーザ固有のものをいう。

傾き情報テーブル１７４は、傾き検出部１３により検出された端末装置１の傾き角度と、取得日時、取得のための待機時間を記憶するためのテーブルである。単語データベース１７５は、音声認識に用いるフィラーの単語を記憶するデータベースである。フィラーは、発話に含まれる「あー」、「えぇっと」等の固有の意味を持たない、場つなぎの挿入語のことをいう。

時系列モデルデータベース１７６は、フィラーの単語の時系列特性を記憶するデータベースである。フィラーの単語の時系列特性は、音の高低を示すピッチ特徴量である。声道特性モデルデータベース１７７は、フィラーの単語の声道特性を保存するデータベースである。なお、認証処理プログラム１７０と、認証用生体情報データベース１７２と、認証用振舞情報データベース１７３と、傾き情報テーブル１７４と、単語データベース１７５と、時系列モデルデータベース１７６と、声道特性モデルデータベース１７７とについては、その詳細を後述する。

端末制御部１８は、端末記憶部１７に記憶された各種プログラムを実行する。また、端末制御部１８は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とから各種データを取得して処理し、端末記憶部１７の各種データベース、テーブルに記憶する。また、端末制御部１８は、撮影部１１に撮影する指示を送信することで、任意のタイミングで撮影部１１に撮影をさせることができる。

表示部１９は、端末制御部１８で実行される各種プログラムの処理内容を表示する。また、表示部１９は、撮影部１１で撮影された静止画、動画等の画像、操作入力部１４から入力されたデータ等を表示することもできる。表示部１９は、操作入力部１４上に積層されており、図１に示したタッチパネルを構成する。

次に、端末装置１のハードウエア構成の一例を、図３を参照しつつ説明する。端末装置１は、各種プログラムを実行するプロセッサ２１と、各種プログラムを展開するためのメモリ２２と、各種表示用データを出力する表示コントローラ２３と、各種表示用データを表示する表示機器２４と、撮影部１１、音声入出力部１２等を接続するためのＩ／Ｏポート２５と、各種プログラム及び各種データを記憶する記憶機器２６と、外部との通信し各種データを送受信する通信機器２７とを備える。このプロセッサ２１と、メモリ２２と、表示コントローラ２３と、表示機器２４と、Ｉ／Ｏポート２５と、記憶機器２６と、通信機器２７とは、データバス２８を介して相互に接続されている。

プロセッサ２１は、記憶機器２６に記憶された各種プログラムを読み出してメモリ２２に展開し、実行する。プロセッサ２１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の処理装置を用いて構成することができる。また、メモリ２２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュメモリ等の揮発性または不揮発性の半導体メモリといった記憶素子および記憶媒体を用いて構成することができる。

表示コントローラ２３は、表示機器２４に各種表示用データを出力するコントローラである。表示コントローラ２３は、ビデオカード、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、グラフィックボード等の映像信号出力装置を用いて構成することができる。また、表示機器２４は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）モニタ等の表示装置を用いて構成することができる。

Ｉ／Ｏポート２５は、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とを接続することができる接続用ポートである。Ｉ／Ｏポート２５には、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート等、機器を接続可能な各種ポートを用いて構成することができる。

記憶機器２６は、プロセッサ２１で実行する各種プログラム、各種プログラムで使用するための各種データを記憶する機器である。記憶機器２６は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置を用いて構成することができる。

通信機器２７は、図示せぬ通信網を介して外部のサーバ、クラウド等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。

上述のプロセッサ２１により、図２に示した端末装置１の端末記憶部１７に記憶された認証処理プログラム１７０、音声認証処理プログラム１７１を実行することにより、端末制御部１８に図４に示す情報処理ブロックが実現される。これにより、端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。

情報処理ブロックは、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する認証用情報取得部１８１と、ユーザを本人か否か認証する認証判定部１８２と、表示部１９に認証結果を表示させる認証結果表示部１８３と、認証判定部１８２からの指示により端末記憶部１７に記憶されは各種データベース及びテーブルの情報を更新する認証用情報更新部１８４とを備える。

認証用情報取得部１８１は、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する。認証判定部１８２は、認証用情報取得部１８１はから取得した認証用の生体情報及び振舞情報と、端末記憶部１７の各種データベースに記憶された認証値、合格条件等に基づいて、ユーザの認証を行う。また、認証判定部１８２は、音声による認証を行う音声認証処理部３００を含む。この音声認証処理部３００の詳細については後述する。

認証結果表示部１８３は、認証判定部１８２からユーザの認証結果を受信し、表示部１９に認証結果に応じてメッセージ、画像等を表示させる。認証用情報更新部１８４は、認証判定部１８２からの指示に基づいて、端末記憶部１７に記憶された各種データベース、テーブルに記憶されたデータを更新する。なお、認証用情報取得部１８１で取得される生体情報及び振舞情報は、特許請求の範囲における認証情報の一例である。また、認証用情報取得部１８１で取得される各生体情報は、特許請求の範囲における一の情報及び二の情報の一例である。認証用情報取得部１８１で取得される各振舞情報は、特許請求の範囲における三の情報の一例である。

図５に示すのは、図４に示した認証判定部１８２に含まれる音声認証処理部３００の構成を示すブロック図である。音声認証処理部３００は、単語データベース１７５からフィラーの単語を取得する単語取得部３１０と、フィラーに対応する音声波形を切り出す音声波形切出部３１１と、音声波形から時系列変化を抽出する時系列抽出部３１２と、抽出された時系列変化と時系列モデルデータベース１７６に記憶されたデータと照合する時系列変化照合部３１３と、音声波形から声道特性を抽出する声道特性抽出部３１４と、抽出された声道特性と声道特性モデルデータベース１７７に記憶されたデータと照合する声道特性照合部３１５と、音声認証の認証値を求める音声認証値作成部３１６と、を備える。

単語取得部３１０は、端末記憶部１７に記憶された単語データベース１７５に記憶されているフィラーの単語を取得する。音声波形切出部３１１は、図４に示した音声入出力部１２から取得した音声データから、単語取得部３１０で取得したフィラーの単語に対応する音声波形を切り出す。

時系列抽出部３１２は、音声波形切出部３１１で切り出した音声波形から時系列変化を抽出する。時系列抽出部３１２が抽出する時系列変化は、音の高低を示すピッチ特徴量であり、音声波形の高低を基に求められる。時系列変化照合部３１３は、時系列抽出部３１２で抽出された時系列変化であるピッチ特徴量と、端末記憶部１７に記憶された時系列モデルデータベース１７６に記憶された対応するフィラーの単語のピッチ特徴量とを照合する。

声道特性抽出部３１４は、音声波形切出部３１１で切り出した音声波形から声道特性のデータを抽出する。声道特性のデータは、低次および高次のケプストラムであり、それぞれが異なるケフレンシー（Ｑｕｅｆｒｅｎｃｙ）の値で表すことができる。声道特性照合部３１５は、声道特性抽出部３１４で抽出された声道特性のデータと、端末記憶部１７に記憶された声道特性モデルデータベース１７７に記憶された対応するフィラーの単語の声道特性のデータとを照合する。音声認証値作成部３１６は、時系列変化照合部３１３と、声道特性照合部３１５との照合結果をもとに、音声認識の認証値を求める。

続いて、図５に示した端末記憶部１７に記憶された単語データベース１７５と、時系列モデルデータベース１７６と、声道特性モデルデータベース１７７との各テーブルの構成について、図６Ａから図６Ｄを参照しつつ以下に説明する。まず、図６Ａに示すのは、ユーザの発話に含まれるフィラーの単語の概要である。フィラーは、発話に含まれる「あー」、「えぇっと」等の固有の意味を持たない、場つなぎの挿入語である。

例えば、図６Ａに示すように、ユーザのｎ回目の発話が「あのーでは早速始めたいと思います」である場合、発話に含まれる「あのー」、「では」がフィラーとなる。また、ユーザのｎ＋１回目の発話が「ところで最近の調子はどうです・・・」である場合、発話に含まれる「ところで」がフィラーとなる。ユーザのｎ＋２回目の発話が「・・・と思いますえぇっと次の議題ですが・・・」である場合、発話に含まれる「えぇっと」がフィラーとなる。ユーザのｎ＋３回目の発話が「じゃあこうしよう」である場合、発話に含まれる「じゃあ」がフィラーとなる。

本実施の形態では、一般的な話ことばに含まれるフィラー、端末装置１を使用するユーザが定めた任意の語彙等を、フィラーの単語として図６Ｂに示す単語データベース１７５のテーブルに予め設定するものとする。そして、単語データベース１７５のテーブルに設定されたフィラーの単語を、ユーザの発話から検索し、検索結果であるフィラーの単語について時系列変化および声道特性を抽出するものとする。

まず、図６Ｂに示す単語データベース１７５のテーブルには、フィラーの単語と、フィラーの単語の音声の特徴量と、ユーザの発話内における出現回数とを対応つけて記憶している。フィラーの単語と、フィラーの単語の音声の特徴量とは、端末装置１を使用するユーザが予め設定するものとする。ユーザの発話内における出現回数は、ユーザの発話内にフィラーの単語が出現した回数を計上したものである。例えば、図６Ｂに示すとおり、単語データベース１７５には、フィラーの単語「あのー」には、その音声の特徴量と、出現回数「１５４」とが対応つけられている。また、単語データベース１７５は、フィラーの単語、その単語の音声の特徴量、および出現回数を、出現回数の多い順に昇順に並べるものとする。

図６Ｃに示すのは、時系列モデルデータベース１７６のテーブルである。時系列モデルデータベース１７６のテーブルは、フィラーの単語とその単語の時系列特性であるピッチ特徴量とを対応つけて記憶している。ここで、時系列モデルデータベース１７６テーブルに記憶されているフィラーの単語は、図６Ｂに示した単語データベース１７５のテーブルに記憶されたフィラーの単語うち、出現回数の多い順に任意の件数分の単語とする。この任意の件数は、例えば、５０件、１００件など、端末装置１を使用するユーザが予め定めた件数とする。なお、以下では出現回数の多い順の順位を出現順位と称する。また、以下では、この任意の件数に合致する順位を、規定順位と称する。

時系列モデルデータベース１７６には、例えば、図６Ｃに示すとおり、図６Ｂに示した単語データベース１７５のテーブルに記憶されたフィラーの単語に対応する「あのー」、「じゃあ」等が、その出現順位に合わせて上から順番に並べられ、その単語の時系列特性であるピッチ特徴量と対応つけられて記憶されている。

図６Ｄに示すのは、声道特性モデルデータベース１７７のテーブルである。声道特性モデルデータベース１７７のテーブルには、フィラーの単語とその単語の声道特性である低次および高次のケプストラムであるケフレンシーの値とを対応つけて記憶している。ここで声道特性モデルデータベース１７７のテーブルに記憶されているフィラーの単語は、図６Ｃに示した時系列モデルデータベース１７６のテーブルに記憶されているフィラーの単語と同じ単語である。声道特性モデルデータベース１７７には、例えば、図６Ｄに示すとおり、図６Ｂに示した単語データベース１７５のテーブルに記憶されたフィラーの単語に対応する「あのー」、「じゃあ」等がその出現順位に合わせて上から順番に並べられ、その単語の声道特性が対応つけられ、記憶されている。

次に、端末記憶部１７に記憶される認証用生体情報データベース１７２と、認証用振舞情報データベース１７３と、傾き情報テーブル１７４との各テーブルの構成について、図７Ａから図７Ｃを参照しつつ以下に説明する。まず、認証用生体情報データベース１７２のテーブルには、図７Ａに示すように、顔、虹彩等の生体情報の種類と、ユーザ本人の生体情報である登録情報と、登録情報と図４に示した認証用情報取得部１８１で取得した生体情報とを比較して求める認証値が記憶されている。

なお、本実施の形態１では、音声の生体情報について、図６Ｃに示した時系列モデルデータベース１７６、および、図６Ｄに示した声道特性モデルデータベース１７７に記憶するため、認証用生体情報データベース１７２には記憶されない。このため、音声については、認証用生体情報データベース１７２に、認証値の平均値、認証許容値、認証閾値を記憶するものとする。

認証用生体情報データベース１７２のテーブルに記憶されている登録情報は、ユーザ本人の生体情報である。登録情報には、端末装置１で認証処理を行う前に予め登録された情報であり、ユーザ本人を認証できた場合に更新される。登録情報には、例えば、生体情報の種類が顔であれば顔画像から求めた特徴量が、生体情報の種類が音声であれば音声データと音声データを解析して求めた声紋、口癖、イントネーションの各特徴量が、生体情報の種類が虹彩であれば虹彩データが、生体情報の種類が指紋であれば指紋の画像から求めた特徴量が、それぞれ記憶されている。なお、生体情報の種類のうち「顔」は、特許請求の範囲における第１生体情報の一例である。また、生体情報の種類のうち「音声」は、特許請求の範囲における第２生体情報の一例である。

本実施の形態１において、生体情報の類似の判定は、認証値により行われる。認証値は、登録情報と、図４に示した認証用情報取得部１８１で取得した生体情報とを比較した結果を基に求められる値である。認証値は、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に０に近づき、類似しない場合に１に近づく。認証用生体情報データベース１７２には、認証値の平均値と、認証値を判定するための閾値である認証閾値と、認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた認証許容値とが含まれる。

まず、認証値の平均値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し求められた認証値の平均の値である。なお、認証値の平均値は、特許請求の範囲における第１認証値の一例である。

認証閾値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以下の場合、ユーザをユーザ本人と判定するための基準となる値である。認証閾値は、ユーザの認証の状況に合わせて変動する値であり、予め上限値が定めされている。上限値は、その値以上となった場合、ユーザをユーザ本人と生体情報のみで認証すべきではないとされる値である。例えば、認証閾値のデフォルト値が登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく０と類似しない場合に近づく１との間の０．４であれば、認証閾値の上限値を０．４５とする。

また、認証許容値は、登録情報と認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以上の場合、ユーザをユーザ本人ではないと判定するための基準となる値である。認証許容値は、上述のとおり認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値であるため、認証閾値と認証許容範囲値との変動に応じて、変動する値である。認証許容値には、予め上限値が定められており、これを最大認証許容値と呼ぶ。最大認証許容値は、この値以上の場合、ユーザを他人と判断すべきとされる値である。例えば、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく０と類似しない場合に近づく１との中間の０．５である。

認証閾値と認証許容値との間の値を認証許容範囲値といい、ユーザがユーザ本人か否かグレーな場合を示す値である。認証値が認証許容範囲値内である場合、ユーザがユーザ本人か否かを生体情報だけで判断せず、ユーザ特有の振舞情報が合格条件に合致している場合に、ユーザ本人と認証し、合致してない場合、ユーザ本人と認証しないものとする。振舞情報によるユーザの認証を、以下では、補助認証と称する。認証許容範囲値は、この範囲に収まる認証値であればユーザ本人として概ね考え良いと思われる値を、予め定めたものである。

例えば、類似する場合に近づく０と、類似しない場合に近づく１との一割以下の０．０８である。なお、認証閾値が上限値になった場合、最大認証許容値から認証閾値が上限値を引いた値になる。例えば、認証閾値の上限値が０．４５、最大認証値が０．５であれば、認証許容範囲値は０．０５といった具合である。したがって、認証閾値が上限値になっている場合、認証閾値が上限値になっていない場合よりも認証許容範囲値の値は小さな値をとる。

次に、認証用振舞情報データベース１７３のテーブルについて、図７Ｂを参照しつつ、以下に説明する。認証用振舞情報データベース１７３のテーブルには、通信接続、イベント実行等のユーザの振舞の種類と、図４に示した認証用情報取得部１８１で取得した取得情報と、各振舞における最新状況と、各振舞の合格条件とが記憶されている。

取得情報には、例えば、振舞の種類が通信接続であれば接続先のアドレス、ＳＳＩＤ（ＳｅｒｖｉｃｅＳｅｔＩｄｅｎｔｉｆｉｅｒ）、ＢＳＳＩＤ（ＢａｓｉｃＳｅｒｖｉｃｅＳｅｔＩｄｅｎｔｉｆｉｅｒ）等が、振舞の種類がイベント実行であれば予めスケジュール帳に保存されたイベントの行われる場所の名称、住所等の場所情報が、振舞の種類が顔と端末装置との距離であれば距離が、振舞の種類がデバイス接続であれば接続先のデバイスを示す名称、ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）等が、振舞の種類が位置情報であれば端末装置１の現在地を示す緯度経度、住所等が、それぞれ記憶されている。

各振舞における最新状況には、例えば、振舞の種類が通信接続であれば、取得情報に示された通信接続先にこれまで接続等された合計回数である。通信接続先への接続等の合計回数は、初期値が０であり、通信接続先への接続等により回数が加算されていく。また、振舞の種類がイベント実行であれば、取得情報に記憶されている場所とユーザの現在地との間の距離が記憶される。

振舞の種類が顔と端末装置１との距離であれば、最新状況には、それまでユーザがユーザ本人と認証された際に算出された顔と端末装置１との距離の平均距離が記憶される。顔と端末装置１との平均距離は、ユーザがユーザ本人と認証される度に更新される。なお、顔と端末装置１との平均距離の初期値は、図７Ａに示した生体情報を、端末装置１でユーザ本人の認証を行う前に予め登録する際に求められた距離とする。

また、振舞の種類がデバイス接続であれば、最新状況には、取得情報に記憶された名称、ＩＤ等が示すデバイスに接続されているか否かが記憶されている。デバイス接続は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によりペア設定されたデバイスと端末装置１との接続である。振舞の種類が位置情報であれば、最新状況には、それまでユーザがユーザ本人と認証された際に居た所在地を示す緯度経度、住所等が記憶されている。また、各振舞の合格条件は、各振舞の信頼性を担保できる条件を予め定めた条件である。

次に、傾き情報テーブル１７４のテーブルを、図７Ｃに示す。傾き情報テーブル１７４は、図４に示した傾き検出部１３から取得された端末装置１の傾きを示す角度と、その角度を取得した取得日時、傾きを検出するめのインターバルとなる待機時間とを記憶している。端末装置１の傾きを示す角度は、待機時間が経過する毎に図４に示した認証用情報取得部１８１により傾き検出部１３から取得され、更新される。また、その角度を更新する際、角度を取得した取得日時も更新される。

本実施の形態１に係る端末装置１は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図２に示した端末制御部１８は、端末記憶部１７に記憶された認証処理プログラム１７０および音声認証処理プログラム１７１を実行し、ユーザがユーザ本人か否かを判別する。端末制御部１８により実行される認証処理プログラム１７０および音声認証処理プログラム１７１の処理について、図８Ａから図１３Ｂに示す各処理のフローチャートを参照しつつ、以下に説明する。

まず、図８Ａに示す認証処理のフローチャートを参照する。図４に示した端末制御部１８の認証判定部１８２は、顔認証値取得処理を実行する（ステップＳ１０１）。顔認証値取得処理については、図９に示す顔認証値取得処理のフローチャートを参照しつつ、以下に説明する。

端末制御部１８の認証判定部１８２は、リトライ回数に０回を設定する（ステップＳ２０１）。図４に示した認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。具体的には、認証用情報取得部１８１は、端末装置１の正面に向き合っているユーザの顔写真を、インカメラ１１Ａに撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真を取得する（ステップＳ２０２）。認証用情報取得部１８１は、取得したユーザの顔写真がブレているか否か判定する（ステップＳ２０３）。

ユーザの顔写真がブレていない場合（ステップＳ２０３；ＮＯ）、認証用情報取得部１８１は、撮影部１１に撮影させたユーザの顔写真からユーザの顔が検出できるか否か判定する（ステップＳ２０４）。ユーザの顔写真からユーザの顔が検出できた場合（ステップＳ２０４；ＹＥＳ）、認証用情報取得部１８１は、検出したユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、求めたユーザの顔の画像の特徴量を図４に示した認証判定部１８２に送信する。

認証判定部１８２は、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７２を取得する。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた登録情報に記憶された顔画像の特徴量と、認証値の認証許容値及び認証閾値を取得する。認証判定部１８２は、認証用生体情報データベース１７２から取得した登録情報の顔画像の特徴量と、認証用情報取得部１８１から受信した顔画像の特徴量とを比較し、比較の結果を基に顔の認証値を求める。

また、ステップＳ２０３で取得したユーザの顔写真がブレている場合（ステップＳ２０３；ＹＥＳ）、または、ステップＳ２０４でユーザの顔写真からユーザの顔が検出できなかった場合（ステップＳ２０４；ＮＯ）、認証用情報取得部１８１は、リトライ回数が、規定回数未満か否か判定する（ステップＳ２０６）。この規定回数は、予め定められたリトライできる回数であり、図２に示した端末記憶部１７に記憶されているものとする。

リトライ回数が規定回数未満である場合（ステップＳ２０６；ＹＥＳ）、認証用情報取得部１８１は、リトライ回数に１を足す（ステップＳ２０７）。認証用情報取得部１８１は、撮影部１１にユーザの顔写真の撮影をリトライさせる（ステップＳ２０８）。

また、リトライ回数が規定回数未満でない場合（ステップＳ２０６；ＮＯ）、認証用情報取得部１８１は、認証判定部１８２に端末記憶部１７に記憶されている顔の認証値を取得させる（ステップＳ２０９）。具体的には、認証用情報取得部１８１は、認証判定部１８２に、図２に示した端末記憶部１７に記憶されている認証用生体情報データベース１７２を取得させる。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。なお、ユーザの顔写真からユーザの顔が検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。

認証判定部１８２は、顔認証取得処理を終了する。ここで、図８Ａに戻る。認証判定部１８２は、ステップＳ１０１の顔認証値取得処理で求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証閾値以上か否か判定する（ステップＳ１０２）。顔認証値取得処理で求めた顔の認証値が認証閾値以上の場合（ステップＳ１０２；ＹＥＳ）、認証判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７２から取得した認証許容値以下か否か判定する（ステップＳ１０３）。

求めた顔の認証値が認証許容値以下の場合（ステップＳ１０３；ＹＥＳ）、端末装置１を使用しているユーザは、ユーザ本人か否かグレーである。このため、認証判定部１８２は、振舞情報による認証の処理である補助認証処理を実行する（ステップＳ１０４）。補助認証処理については、図１０に示すフローチャートを参照しつつ、以下に説明する。

まず、認証判定部１８２は、図４に示した認証用情報取得部１８１に通信部１０から現在接続している通信接続先を取得させる。認証判定部１８２は、認証用情報取得部１８１から、取得させた通信部１０の現在の通信接続先を受信する。

続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。

例えば、図７Ｂに示すように、「通信接続」の取得情報にはＳＳＩＤであるＡＢＣ＿ＷＬＡＮと１２３ＷＬＡＮとが記憶されている。このＡＢＣ＿ＷＬＡＮでは、接続した回数に３１回、合格条件として接続回数が１００回以上と記憶されている。また、１２３ＷＬＡＮでは、接続した回数に１５７回、合格条件として接続回数が１００回以上と記憶されている。なお、以下では合格条件を満たす場合を信頼するものと呼び、合格条件を満たさない場合を信頼しないものと呼ぶ。

認証判定部１８２は、認証用情報取得部１８１から受信した通信部１０の現在の通信接続先と、認証用振舞情報データベース１７３から取得した取得情報とを比較し、現在の通信接続先が信頼する通信接続先か否か判定する（ステップＳ３０１）。

ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤの１２３ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７３に記憶された振舞の種類「通信接続」の取得情報における１２３ＷＬＡＮは、接続した回数が１５６回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先であるため（ステップＳ３０１；ＹＥＳ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人と認証する。

続いて、認証判定部１８２は、認証間隔を現在の認証間隔よりも長くする（ステップＳ３０２）。これは、現在の通信接続先が信頼する通信接続先であれば、ユーザ本人は自宅、職場等の信頼する環境に居るものと考えられるためである。この場合、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げ必要最低限の回数認証を行うようにすれば良い。また、認証判定部１８２は、補助認証ができた旨を戻り値として設定する（ステップＳ３０３）。

また、ステップＳ３０１において、例えば、通信部１０の現在の通信接続先としてＳＳＩＤのＡＢＣ＿ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７３に記憶された振舞の種類「通信接続」の取得情報におけるＡＢＣ＿ＷＬＡＮは、接続した回数が３１回であり、合格条件の接続回数が１００回以上である。このため、認証判定部１８２は、現在の通信接続先は信頼する通信接続先ではないものと判定する（ステップＳ３０１；ＮＯ）。この場合、認証判定部１８２は、直前もしくは現在、信頼するイベントを実行しているか否かを判定する（ステップＳ３０４）。

ここで、例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「△●映画館」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「△●映画館」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「△●映画館」の位置情報との間の距離が７２ｍとする。この場合、認証判定部１８２は、信頼するイベントの実行であるもと判定する（ステップＳ３０４；ＹＥＳ）。その後、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。

また、認証判定部１８２は、認証用情報取得部１８１に操作入力部１４から直前もしくは現在に実行しているイベントの内容を取得させる。認証判定部１８２は、端末装置１に備えられたカレンダーから、直前もしくは現在の日時に予定があるか否かと、その予定が行われる場所の情報とを取得する。認証判定部１８２は、直前もしくは現在の日時に予定が無かった場合、信頼するイベントの実行ではないもの判定する（ステップＳ３０４；ＮＯ）。この場合、認証判定部１８２は、顔と端末装置１との距離を算出する（ステップＳ３０５）。

また、ステップＳ３０４において、直前もしくは現在に予定があった場合、認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から、現在の位置情報を取得させる。続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。

認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち、「イベント実行」に対応つけられた取得情報と合格条件とを取得する。例えば、図７Ｂに示すように、「イベント実行」の取得情報にはイベントが行われる場所として「○×公園」及び「△●映画館」が記憶され、その両方の合格条件として「距離が１００ｍ以内」と記憶されているものとする。

ここで、例えば、端末装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「○×公園」が記憶されているものとする。認証判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「○×公園」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「○×公園」の位置情報との間の距離が１１３ｍとする。この場合、信頼するイベントの実行ではないものとし（ステップＳ３０４；ＮＯ）、顔と端末装置１との距離を算出する（ステップＳ３０５）。

ユーザの顔と端末装置１との距離は、図１に示したインカメラ１１Ａで撮影した端末装置１の正面に向き合うユーザの顔写真における、ユーザの顔の占める割合を基づいて算出する。

続いて、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち「顔と端末装置との距離」に対応つけられた平均距離、合格条件を取得する。例えば、図７Ｂに示すように、「顔と端末装置との距離」の平均距離には２６２ｍｍ、合格条件に平均距離のプラスマイナス２０ｍｍと記憶されている。

認証判定部１８２は、ステップＳ１０９で算出したユーザの顔と端末装置１との距離が、認証用振舞情報データベース１７３から取得した合格条件に設定された設定範囲内か否か判定する（ステップＳ３０６）。具体的には、認証用振舞情報データベース１７３から取得した平均距離は２６２ｍｍ、合格条件は、平均距離のプラスマイナス２０ｍｍであるので、２４２ｍｍから２８２ｍｍの範囲か否かを判定する。

ステップＳ３０５で算出したユーザの顔と端末装置１との距離が、設定範囲内である場合、具体的には、２４２ｍｍから２８２ｍｍの範囲内である場合（ステップＳ３０６；ＹＥＳ）、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。

また、ステップＳ３０５で算出したユーザの顔と端末装置１との距離が、設定範囲内ではない場合、具体的には、２４２ｍｍから２８２ｍｍの範囲内ではない場合（ステップＳ３０６；ＮＯ）、認証判定部１８２は、端末装置１の現在地を求める（ステップＳ３０７）。具体的には、認証判定部１８２は、図４に示した認証用情報取得部１８１に、位置検出部１６から端末装置１の現在地を示す緯度経度を取得させる。

続いて、認証判定部１８２は、位置検出部１６から取得した端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７３の合格条件に設定された設定範囲内か否か判定する（ステップＳ３０８）。具体的には、認証判定部１８２は、図２に示した端末記憶部１７から認証用振舞情報データベース１７３を取得する。認証判定部１８２は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類のうち「位置情報」に対応つけられた最新状況に記憶された緯度経度と、合格条件とを取得する。認証判定部１８２は、認証用情報取得部１８１に取得させた端末装置１の現在地を示す緯度経度と、認証用振舞情報データベース１７３から取得した緯度経度との差分に基づいて距離を求める。認証判定部１８２は、求めた距離が認証用振舞情報データベース１７３の合格条件に設定された設定範囲内か否か判定する。

端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７３の合格条件に設定された設定範囲内である場合（ステップＳ３０８；ＹＥＳ）、認証判定部１８２は、ステップＳ３０２、ステップＳ３０３を実行する。また、端末装置１の現在地を示す緯度経度が、認証用振舞情報データベース１７３の合格条件に設定された設定範囲内でない場合（ステップＳ３０８；ＮＯ）、認証判定部１８２は、補助認証ができなかった旨を戻り値として設定する（ステップＳ３０９）。認証判定部１８２は、補助認証処理を終了する。

ここで、図８Ａに戻る。認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ１０５）。補助認証ができなかった場合（ステップＳ１０５；ＮＯ）、認証判定部１８２は、図４に示した認証結果表示部１８３に、キーワードの音声入力を要求する旨を表示部１９に表示させる（ステップＳ１０６）。このキーワードは、図４に示す端末記憶部１７に予め記憶された任意のキーワードとする。

認証判定部１８２は、音声入力されたキーワードが正しいか否か判定する（ステップＳ１０７）。音声入力されたキーワードが正しくない場合（ステップＳ１０７；ＮＯ）、認証判定部１８２は、認証結果表示部１８３に、パスワードの入力を要求する旨を表示部１９に表示させる（ステップＳ１０８）。このパスワードは、図４に示す端末記憶部１７に予め記憶された任意のパスワードとする。

認証判定部１８２は、入力されたパスワードが正しいか否か判定する（ステップＳ１０９）。入力されたパスワードが正しくない場合（ステップＳ１０９；ＮＯ）、認証判定部１８２は、続いて、認証判定部１８２は、図４に示した認証結果表示部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１０）。このログイン画面は、パスワードの入力、指紋認証等の端末装置１に含まれるＯＳによる本人認証である。

また、ステップＳ１０２において、顔認証値取得処理で求めた顔の認証値が認証閾値以上ではない場合（ステップＳ１０２；ＮＯ）、ステップＳ１０５で補助認証ができた場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１０７で音声入力されたキーワードが正しい場合（ステップＳ１０７；ＹＥＳ）、または、ステップＳ１０９で入力されたパスワードが正しい場合（ステップＳ１０９；ＹＥＳ）、認証判定部１８２は音声取得処理を実行する（ステップＳ１１１）。

なお、ステップＳ１０２において、顔認証値取得処理で求めた顔の認証値が認証閾値以上ではない場合（ステップＳ１０２；ＮＯ）、ステップＳ１０５で補助認証ができた場合（ステップＳ１０５；ＹＥＳ）は、言い換えれば、ユーザの顔による認証が成功した場合である。この場合、端末装置１は、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態にある。

また、ステップＳ１０７で音声入力されたキーワードが正しい場合（ステップＳ１０７；ＹＥＳ）、または、ステップＳ１０９で入力されたパスワードが正しい場合（ステップＳ１０９；ＹＥＳ）は、表示部１９に表示させたキーワードまたはパスワードの入力の要求を、ユーザが見られる状態である。この場合、ステップＳ１０２、Ｓ１０５における状態と同様に、端末装置１は、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態にある。

なお、ユーザに把持された状態、ユーザに各種機能を操作されている状態等、ユーザの顔画像を取得できる状態は、特許請求の範囲における第１使用状態の一例である。

続いて、音声取得処理について、図１１Ａ、図１１Ｂに示すフローチャートを参照しつつ、以下に説明する。まず、図１１Ａにおいて、認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ４０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。

ユーザの発声がない場合（ステップＳ４０１；ＮＯ）、図１１Ｂに示すとおり、認証判定部１８２は音声取得処理を終了する。また、ユーザの発声がある場合（ステップＳ４０１；ＹＥＳ）、認証判定部１８２は、録音時間に０秒を設定する（ステップＳ４０２）。認証判定部１８２は、認証用情報取得部１８１に、図４に示した音声入出力部１２からユーザの音声を取得させる（ステップＳ４０３）。

認証判定部１８２は、録音時間が規定時間を超えたか否か判定する（ステップＳ４０４）。この規定時間は、予め定められた音声のデータを取得するのに必要な時間である。例えば、１０秒、３０秒等、任意の時間が設定される。設定された規定時間は、端末記憶部１７に記憶されている。

録音時間が規定時間を超えていない場合（ステップＳ４０４；ＮＯ）、認証判定部１８２は、ステップＳ４０３に戻り、認証用情報取得部１８１に音声入出力部１２からユーザの音声を取得させる。また、録音時間が規定時間を超えた場合（ステップＳ４０４；ＹＥＳ）、認証判定部１８２は、図５に示した音声認証処理部３００の単語取得部３１０に、端末記憶部１７から単語データベース１７５を取得させる（ステップＳ４０５）。

続いて、単語取得部３１０は、認証用情報取得部１８１で取得したユーザの音声のデータにフィラーがあるか否かを判定する（ステップＳ４０６）。具体的には、単語取得部３１０は、取得したユーザの音声のデータを最初から最後まで順次検索し、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の特徴量と、同じ特徴量が音声のデータに含まれているか否か判定する。

ユーザの音声のデータにフィラーがない場合（ステップＳ４０６；ＮＯ）、図１１Ｂに示すとおり、認証判定部１８２は音声取得処理を終了する。また、ユーザの音声のデータにフィラーがある場合（ステップＳ４０６；ＹＥＳ）、図５に示した音声認証処理部３００の音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、フィラーを切り出す（ステップＳ４０７）。具体的には、音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、ステップＳ４０６で見つけたフィラーの単語に対応する部分の音声波形を切り出す。

認証判定部１８２は、フィラーの単語の出現回数と出現順位とを更新する（ステップＳ４０８）。具体的には、認証判定部１８２は、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の出現回数の値に１を加算する。続いて、認証判定部１８２は、単語データベース１７５は、フィラーの単語、その単語の音声の特徴量、および出現回数を、出現回数の多い順に昇順に並べなおす。

認証判定部１８２は、ステップＳ４０７で切り出したフィラーの単語の出現順位は、規定順位以内か否かを判定する（ステップＳ４０９）。フィラーの単語の出現順位が規定順位以内ではない場合（ステップＳ４０９；ＮＯ）、認証判定部１８２はステップＳ４０６に戻る。そして、認証判定部１８２は、ステップＳ４０６以降の各ステップを実行する。

また、フィラーの単語の出現順位が規定順位以内である場合（ステップＳ４０９；ＹＥＳ）、認証判定部１８２は、図５に示した音声認証処理部３００の音声波形切出部３１１に、音声認証処理部３００の時系列変化抽出部３１２へ切り出した音声波形を送信させる。ここで、図１１Ｂに移る。時系列変化抽出部３１２は、受信した音声波形の高低をもとに、ピッチ特徴量を求める（ステップＳ４１０）。時系列変化抽出部３１２は、求めたピッチ特徴量を、図５に示す端末記憶部１７の時系列モデルデータベース１７６に、フィラーの単語と対応つけて記憶させる（ステップＳ４１１）。

続いて、音声波形切出部３１１は、図５に示した音声認証処理部３００の声道特性抽出部３１４に切り出した音声波形を送信する。声道特性抽出部３１４は、受信した音声波形から声道特性のデータを求める（ステップＳ４１２）。声道特性抽出部３１４は、求めた声道特性のデータを、図５に示す端末記憶部１７の声道特性モデルデータベース１７７に、フィラーの単語と対応つけて記憶させる（ステップＳ４１３）。

認証判定部１８２は、ステップＳ４０６でフィラーがあるか否かを判定したユーザの音声のデータに残りがあるか否か判定する（ステップＳ４１４）。例えば、フィラーの単語の特徴量と、同じ特徴量が音声のデータの半ばに含まれていたものとする。この場合、音声のデータに残りがあるため（ステップＳ４１４；ＹＥＳ）、図１１Ａに示すステップＳ４０６に戻る。そして、認証判定部１８２は、ステップＳ４０６以降の各ステップを実行する。また、例えば、フィラーの単語の特徴量と、同じ特徴量が音声のデータの終わりに含まれていたものとする。この場合、音声のデータに残りが無いため（ステップＳ４１４；ＮＯ）、認証判定部１８２は、音声取得処理を終了する。

ここで、図８Ａに戻る。認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データを更新させる（ステップＳ１１２）。具体的には、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの生体情報の種類「顔」に対応つけられた登録情報に、登録情報に記憶されていた顔画像の特徴量に認証判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、登録情報を更新する。

続いて、認証用情報更新部１８４は、図７Ｂに示した認証用振舞情報データベース１７３のテーブルの振舞の種類「通信接続」に対応つけられた最新状況に記憶されている回数に１を加え、更新する。また、図７Ｂに示した認証用振舞情報データベース１７３のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離と図１０に示したステップＳ３０５で算出された「顔と端末装置との距離」から求められた平均距離で更新する。

このように、認証用生体情報データベース１７２に記憶された生体情報、及び、認証用振舞情報データベース１７３に記憶された振舞情報を更新することにより、ユーザの生体情報及び振舞情報の精度が向上する。このため、ユーザの認証の精度を向上させることができる。

ここで、図８Ｂに移動する。認証判定部１８２は、生体認証及び補助認証が予め定めされた設定回数成功したか否かを判定する（ステップＳ１１３）。この設定回数は、例えば、連続で１０回、端末装置１が起動してから合計で２０回等、任意の回数である。生体認証及び補助認証が予め定めされた設定回数成功した場合（ステップＳ１１３；ＹＥＳ）、認証判定部１８２は、設定回数分の認証で求められた顔の認証値の平均値を求める（ステップＳ１１４）。

具体的には、認証判定部１８２は、図２に示した認証用生体情報データベース１７２を、端末記憶部１７から取得する。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。認証判定部１８２は、ステップＳ１０１で求めた顔の認証値と、認証用生体情報データベース１７２から取得した認証値の平均値とを足して２で割り、顔の認証値の平均値を算出する。また、生体認証及び補助認証が予め定めされた設定回数成功しなかった場合（ステップＳ１１３；ＮＯ）、ステップＳ１１４からステップＳ１１６の処理をスキップし、ステップＳ１１７へ進む。

認証判定部１８２は、ステップＳ１１４で求めた顔の認証値の平均値を、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信した顔の認証値の平均値と、予め設定された認証閾値の上限値とを比較する。顔の認証値の平均値が予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、認証閾値の上限値を書き込み、更新する。

また、顔の認証値の平均値が予め設定された認証閾値の上限値以下である場合、認証用情報更新部１８４は、認証閾値を更新する（ステップＳ１１５）。具体的には、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値の欄にステップＳ１１４で求めた顔の認証値の平均値を書き込み、認証閾値を更新する。

続いて、認証用情報更新部１８４は、認証許容値を更新する（ステップＳ１１６）。具体的には、ステップＳ１１４で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、予め設定された最大認証許容値を認証許容値とする。また、ステップＳ１１４で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以下である場合、ステップＳ１１４で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以下であれば、その足した値を認証許容値とする。ステップＳ１１４で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以上であれば、最大認証許容値を認証許容値とする。

認証用情報更新部１８４は、図２に示した認証用生体情報データベース１７２を、端末記憶部１７から取得する。認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証許容値の欄に、求めた認証許容値を書き込み、更新する。

図４に示した認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１１７）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。

認証判定部１８２は、受信した端末装置１の傾きの角度と現在の日時情報とを、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、図２に示した端末記憶部１７に記憶された傾き情報テーブル１７４に、受信した端末装置１の傾きの角度と現在の日時情報とを書き込み、保存する（ステップＳ１１８）。

認証判定部１８２は、図７Ｃに示した傾き情報テーブル１７４のテーブルに記憶されている待機時間を取得する。認証判定部１８２は、認証用情報取得部１８１に取得した待機時間を送信する。認証用情報取得部１８１は、受信した待機時間の間、通信部１０、撮影部１１等からのデータの取得を待機する（ステップＳ１１９）。

待機時間が終了すると、認証用情報取得部１８１は、傾き検出部１３から端末装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１２０）。認証用情報取得部１８１は、取得した端末装置１の傾きの角度と現在の日時情報とを認証判定部１８２に送信する。

認証判定部１８２は、図７Ｃに示した傾き情報テーブル１７４のテーブルに記憶されている端末装置１の角度を取得する。認証判定部１８２は、認証用情報取得部１８１から受信した端末装置１の傾きの角度と、傾き情報テーブル１７４から取得した端末装置１の角度とを比較し、角度が変化してないか否かを判定する（ステップＳ１２１）。

端末装置１の角度の変化が、予め定められた設定値の角度、例えば、３０度以上の場合（ステップＳ１２１；ＮＯ）、認証判定部１８２は、ユーザにより端末装置１が動かされ何某かの操作が行われたものと判断し、図８Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。

また、端末装置１の角度の変化が、予め定められた設定値の角度以下の場合（ステップＳ１２１；ＹＥＳ）、認証判定部１８２は、ユーザにより端末装置１が動かされていないものと判断する。続いて、認証判定部１８２は、ユーザを認証するタイミングになったか否かを判定する（ステップＳ１２２）。ユーザを認証するタイミングは、予め設定された認証間隔の時間が経過したタイミングである。

ユーザを認証するタイミングになっている場合（ステップＳ１２２；ＹＥＳ）、認証判定部１８２は、図８Ａに示したステップＳ１０１に戻る。その後、認証判定部１８２は、ステップＳ１０１以降の処理を実行する。ユーザを認証するタイミングになっていない場合（ステップＳ１２２；ＮＯ）、認証判定部１８２はステップＳ１１８に戻る。その後、認証判定部１８２は、ステップＳ１１８からステップＳ１２２を実行する。

ここで、図８Ａに戻る。ステップＳ１０３において、認証判定部１８２の求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合（ステップＳ１０３；ＮＯ）、認証判定部１８２は、音声認証処理を実行する（ステップＳ１２３）。

この顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合は、言い換えれば、ユーザの顔による認証が失敗した場合である。例えば、端末装置１を鞄、ポケット等に仕舞ったままで使用する場合には、ユーザの顔画像が取得ないためユーザの顔による認証が失敗する。また、例えば、端末装置１を離れた位置からハンズフリーで使用する場合、ユーザの顔画像を取得できても顔の像が不鮮明、画像内のユーザの顔の像が小さすぎて顔の認証値を求められない等の理由から、ユーザの顔による認証が失敗する。この場合、ユーザの音声による認証に切り替えることにより、安定してユーザを本人と認証することができる。なお、ユーザの音声による認証に切り替えられた状態は、特許請求の範囲における第２使用状態の一例である。

音声認証処理については、図１２に示すフローチャートを参照しつつ、以下に説明する。認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ５０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。

ユーザの発声がない場合（ステップＳ５０１；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５０９）。また、ユーザの発声がある場合（ステップＳ５０１；ＹＥＳ）、認証判定部１８２は、図４に示した認証用情報取得部１８１に、音声入出力部１２からユーザの音声を取得させる（ステップＳ５０２）。認証判定部１８２は、図４に示した音声認証処理部３００に音声の認証値取得処理を実行させる（ステップＳ５０３）。音声の認証値取得処理については、図１３Ａ、図１３Ｂに示すフローチャートを参照しつつ、以下に説明する。

まず、図１３Ａに示すフローチャートを参照する。図５に示した音声認証処理部３００の単語取得部３１０は、図５に示した端末記憶部１７から単語データベース１７５を取得する（ステップＳ６０１）。単語取得部３１０は、図１２のステップＳ５０２で認証用情報取得部１８１が取得したユーザの音声のデータにフィラーがあるか否かを判定する（ステップＳ６０２）。具体的には、単語取得部３１０は、取得したユーザの音声のデータを最初から最後まで順次検索し、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の特徴量と、同じ特徴量が音声のデータに含まれているか否かを判定する。

ユーザの音声のデータにフィラーがない場合（ステップＳ６０２；ＮＯ）、図１３ＢのステップＳ６１３に移動する。認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値よりも大きい値を、認証値として設定する（ステップＳ６１３）。これにより、音声による本人認証をできないようにする。

認証許容値よりも大きい値は、例えば、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値に０．１を加算した値とする。なお、加算される値は任意の値とする。音声認証値作成部３１６は、音声の認証値取得処理を終了する。

ここで、図１３ＡのステップＳ６０２に戻る。ユーザの音声のデータにフィラーがある場合（ステップＳ６０２；ＹＥＳ）、図５に示した音声認証処理部３００の音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、フィラーを切り出す（ステップＳ６０３）。具体的には、音声波形切出部３１１は、認証用情報取得部１８１で取得したユーザの音声のデータから、ステップＳ４０６で見つけたフィラーの単語に対応する部分の音声波形を切り出す。

認証判定部１８２は、フィラーの単語の出現回数と出現順位とを更新する（ステップＳ６０４）。具体的には、認証判定部１８２は、図６Ｂに示した単語データベース１７５のテーブルに記憶されているフィラーの単語の出現回数の値に１を加算する。続いて、認証判定部１８２は、単語データベース１７５は、フィラーの単語、その単語の音声の特徴量、および出現回数を、出現回数の多い順に昇順に並べなおす。

認証判定部１８２は、ステップＳ６０３で切り出したフィラーの単語の出現順位は、規定順位以内か否かを判定する（ステップＳ６０５）。フィラーの単語の出現順位が規定順位以内ではない場合（ステップＳ６０５；ＮＯ）、認証判定部１８２はステップＳ６０２に戻る。そして、認証判定部１８２は、ステップＳ６０２以降の各ステップを実行する。

また、フィラーの単語の出現順位が規定順位以内である場合（ステップＳ６０５；ＹＥＳ）、認証判定部１８２は、図５に示した音声認証処理部３００の音声波形切出部３１１に、音声認証処理部３００の時系列変化抽出部３１２へ切り出した音声波形を送信させる。ここで、図１３Ｂに移る。時系列変化抽出部３１２は、受信した音声波形の高低をもとに、ピッチ特徴量を求める（ステップＳ６０６）。

図５に示した音声認証処理部３００の時系列変化抽出部３１２は、ピッチ特徴量を音声認証処理部３００の時系列変化照合部３１３に送信する。時系列変化照合部３１３は、図５に示した端末記憶部１７から時系列モデルデータベース１７６を取得する。時系列変化照合部３１３は、図６Ｃに示した時系列モデルデータベース１７６のテーブルから、ステップＳ６０３で切り出した音声波形に対応するフィラーの単語の、ピッチ特徴量のデータを取得する（ステップＳ６０７）。

時系列変化照合部３１３は、時系列変化抽出部３１２から取得したピッチ特徴量のデータと、ステップＳ６０５で時系列モデルデータベース１７６から取得したピッチ特徴量のデータとを照合する（ステップＳ６０８）。続いて、音声波形切出部３１１は、図５に示した音声認証処理部３００の声道特性抽出部３１４に、ステップＳ６０３で切り出した音声波形を送信する。声道特性抽出部３１４は、受信した音声波形から声道特性のデータを求める（ステップＳ６０９）。

声道特性抽出部３１４は、図５に示す端末記憶部１７から声道特性モデルデータベース１７７を取得する。声道特性抽出部３１４は、図６Ｄに示した声道特性モデルデータベース１７７のテーブルに記憶された、ステップＳ６０３で切り出した音声波形に対応するフィラーの単語の声道特性のデータを取得する（ステップＳ６１０）。

声道特性照合部３１５は、声道特性抽出部３１４から取得した声道特性のデータと、ステップＳ６１０で声道特性モデルデータベース１７７から取得した声道特性のデータとを照合する（ステップＳ６１１）。図５に示した音声認証処理部３００の音声認証値作成部３１６は、ステップＳ６０８で求めた時系列変化照合部３１３の照合結果と、声道特性照合部３１５の照合結果とを基に、音声の認証値を求める（ステップＳ６１２）。音声認証値作成部３１６は、音声の認証値取得処理を終了する。

ここで、図１２に戻る。認証判定部１８２は、ステップＳ５０３で求めた音声の認証値が認証閾値以上か否か判定する（ステップＳ５０４）。音声の認証値が認証閾値以上である場合（ステップＳ５０４；ＹＥＳ）、認証判定部１８２は、音声の認証値は認証許容値以下か否か判定する（ステップＳ５０５）。また、音声の認証値が認証閾値以上でない場合（ステップＳ５０４；ＮＯ）認証判定部１８２は、戻り値に音声認証ができた旨を設定する（ステップＳ５０８）。

音声の認証値が認証許容値以下である場合（ステップＳ５０５；ＹＥＳ）、認証判定部１８２は、補助認証処理を実行する（ステップＳ５０６）。補助認証処理については、図１０に示したフローチャートの処理を実行する。また、音声の認証値が認証許容値以下でない場合（ステップＳ５０５；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５０９）。

認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ５０７）。補助認証ができた場合（ステップＳ５０７；ＹＥＳ）、認証判定部１８２は、戻り値に音声認証ができた旨を設定する（ステップＳ５０８）。また、補助認証ができなかった場合（ステップＳ５０７；ＮＯ）、認証判定部１８２は、戻り値に音声認証ができなかった旨を設定する（ステップＳ５０９）。認証判定部１８２は、音声認証処理を終了する。

ここで、図８Ａに戻る。認証判定部１８２は、音声認証ができたか否か判定する（ステップＳ１２４）。音声認証ができた場合（ステップＳ１２４；ＹＥＳ）、認証判定部１８２は、音声の認証値を更新する（ステップＳ１２５）。具体的には、認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証値の平均値に、図１３に示したステップＳ６１０で求めた音声の認証値を足して２で割り、平均値を求める。認証判定部１８２は、求めた音声の認証値の平均値を図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶する。

認証判定部１８２は、図５に示した端末記憶部１７に記憶した時系列モデルデータベース１７６と声道特性モデルデータベース１７７を更新する（ステップＳ１２６）。具体的には、認証判定部１８２は、図５に示した音声認証処理部３００の時系列抽出部３１２に、図１３に示したステップＳ６０４で求めたピッチ特徴量のデータを、時系列モデルデータベース１７６にフィラーの単語と対応つけて記憶させる。

認証判定部１８２は、図５に示した音声認証処理部３００の声道特性抽出部３１４に、図１３に示したステップＳ６０７で求めた声道特性のデータを、声道特性モデルデータベース１７７にフィラーの単語と対応つけて記憶させる。認証判定部１８２は、ステップＳ１０１に戻り、ステップＳ１０１以降の処理を実行する。

また、ステップＳ１２４において、音声認証ができなかった合（ステップＳ１２４；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人ではないと判断する。認証判定部１８２は、図４に示した認証結果表示部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、認証判定部１８２は、端末装置１に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部１８２は、指紋認証を実行する（ステップＳ１２７）。なお、端末装置１に備えられている既存の生体認証手段で用いられる各種生体情報は、特許請求の範囲における四の認証情報の一例である。

指紋認証ができた場合（ステップＳ１２８；ＹＥＳ）、認証判定部１８２からの指示により、認証用情報取得部１８１は、撮影部１１に端末装置１を操作しているユーザの顔写真を撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真の画像を取得し、ユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、認証判定部１８２に求めたユーザの顔の画像の特徴量を送信する。認証判定部１８２は、受信したユーザの顔の画像の特徴量を図４に示した認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信したユーザの顔の画像の特徴量を、図７Ａに示した認証用生体情報データベース１７２のテーブルの生体情報の種類「顔」に対応つけられた登録情報に記憶されていた顔画像の特徴量に加え、更新する（ステップＳ１２９）。認証判定部１８２は、ステップＳ１０１へ戻り、ステップＳ１０１以降のステップを実行する。

また、指紋認証ができなかった場合（ステップＳ１２８；ＮＯ）、認証判定部１８２は、図４に示した認証結果表示部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１０）。このログイン画面は、パスワードの入力、指紋認証等の端末装置１に含まれるＯＳによる本人認証である。

なお、上記の実施の形態１において、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。

以上の通り、上記実施の形態１に係る端末装置１は、ユーザ本人の顔の画像、指紋、音声等の生体情報と、ユーザが端末装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいて、ユーザ本人を認証し、端末装置１における各種機能を実行することができる。特に、端末装置１で用いられる音声認証は、通常の発話に含まれるフィラーに基づいてユーザを認証することができるため、ユーザの負担を軽減し簡易に使用者を認証することがきる。

また、端末装置１を鞄、ポケット等にいれたまま使用する場合といった、端末装置１の使用状況によってユーザ本人の顔の画像によってユーザ本人を認証できなかった場合に、ユーザ本人の音声によりユーザ本人を認証できるものとする。これにより、端末装置１の使用状態に関わらず、安定して使用者を認証することがきる。

さらに、端末装置１において行われるユーザの認証処理は、端末装置１の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報と振舞情報とを更新していくことにより、認証の精度を向上させることができる。これにより、使用者に操作の負担をかけることなく、セキュリティを確保することができる。

（実施の形態２）
実施の形態１では、ユーザ本人の顔の画像によってユーザ本人を認証できなかった場合に、ユーザ本人の音声によりユーザ本人を認証できるものとした。これに限らず、ユーザ本人の音声によりユーザ本人を認証できなかった場合に、ユーザ本人の顔の画像によりユーザ本人を認証できるものとしてもよい。これにより、ユーザを認証するための生体情報の種類と順番とを変更しても認証をすることができるため、ユーザの利便性を向上させることができる。この認証処理について、実施の形態２の認証処理として以下に示す。

本実施の形態２に係る端末装置１は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図２に示した端末制御部１８は、端末記憶部１７に記憶された認証処理プログラム１７０および音声認証処理プログラム１７１を実行し、ユーザがユーザ本人か否かを判別する。端末制御部１８により実行される認証処理プログラム１７０および音声認証処理プログラム１７１の処理について、図１４Ａから図１６に示す各処理のフローチャートを参照しつつ、以下に説明する。

まず、図１４Ａに示す認証処理のフローチャートを参照する。図４に示した端末制御部１８は、声認証値取得処理を実行する（ステップＳ７０１）。声認証値取得処理については、図１５に示す声認証値取得処理のフローチャートを参照しつつ、以下に説明する。

認証判定部１８２は、ユーザの発声があるか否か判定する（ステップＳ８０１）。具体的には、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できる場合、ユーザの発声があるものと判定する。また、認証判定部１８２は、認証用情報取得部１８１により、図４に示した音声入出力部１２からユーザの音声を取得できない場合、ユーザの発声がないものと判定する。なお、この音声入出力部１２は、図１に示したマイクロフォン１２Ｂとする。

ユーザの発声がない場合（ステップＳ８０１；ＮＯ）、認証用情報取得部１８１は、認証判定部１８２に、図７Ａに示した認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値よりも大きい値を、認証値として設定する（ステップＳ８０４）。認証許容値よりも大きい値は、例えば、認証用生体情報データベース１７２のテーブルに記憶された生体情報の種類「音声」に対応つけられた認証許容値に０．１を加算した値とする。なお、加算される値は任意の値とする。

その後、認証判定部１８２は、声認証値所得処理を終了する。なお、ユーザの発声を検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。

また、ユーザの発声がある場合（ステップＳ８０１；ＹＥＳ）、認証判定部１８２は、図４に示した認証用情報取得部１８１に、音声入出力部１２からユーザの音声を取得させる（ステップＳ８０２）。認証判定部１８２は、図４に示した音声認証処理部３００に音声の認証値取得処理を実行させる（ステップＳ８０３）。音声の認証値取得処理については、図１３Ａ、図１３Ｂに示したフローチャートのステップＳ６０１からステップＳ６１３を実行するものとする。認証判定部１８２は、声認証値所得処理を終了する。

ここで、図１４Ａに戻る。認証判定部１８２は、声認証値取得処理で求めた音声の認証値が認証用生体情報データベース１７２から取得した認証閾値以上か否か判定する（ステップＳ７０２）。声認証値取得処理で求めた音声の認証値が認証閾値以上の場合（ステップＳ７０２；ＹＥＳ）、認証判定部１８２は、求めた音声の認証値が認証用生体情報データベース１７２から取得した認証許容値以下か否か判定する（ステップＳ７０３）。

求めた音声の認証値が認証許容値以下の場合（ステップＳ７０３；ＹＥＳ）、端末装置１を使用しているユーザは、ユーザ本人か否かグレーである。このため、認証判定部１８２は、振舞情報による認証の処理である補助認証処理を実行する（ステップＳ７０４）。補助認証処理については、図１０に示したフローチャートのステップＳ３０１からステップＳ３０９を実行するものとする。

認証判定部１８２は、ステップＳ７０５からステップＳ７１０を実行する。ステップＳ７０５からステップＳ７１０は、図８Ａに示したステップＳ１０５からステップＳ１１０と同様である。

ステップＳ７０２において、声認証値取得処理で求めた音声の認証値が認証閾値以上ではない場合（ステップＳ７０２；ＮＯ）、ステップＳ７０５で補助認証ができた場合（ステップＳ７０５；ＹＥＳ）、ステップＳ７０７で音声入力されたキーワードが正しい場合（ステップＳ７０７；ＹＥＳ）、または、ステップＳ７０９で入力されたパスワードが正しい場合（ステップＳ７０９；ＹＥＳ）、認証判定部１８２は、図５に示した端末記憶部１７に記憶した時系列モデルデータベース１７６と声道特性モデルデータベース１７７を更新する（ステップＳ７１１）。具体的には、認証判定部１８２は、図５に示した音声認証処理部３００の時系列抽出部３１２に、図１３Ｂに示したステップＳ６０６で求めたピッチ特徴量のデータを、時系列モデルデータベース１７６にフィラーの単語と対応つけて記憶させる。

認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データを更新させる（ステップＳ７１２）。具体的には、認証用情報更新部１８４は、図７Ａに示した認証用生体情報データベース１７２のテーブルの生体情報の種類「顔」に対応つけられた登録情報に、登録情報に記憶されていた顔画像の特徴量に認証判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、登録情報を更新する。

続いて、認証判定部１８２は、図１４Ｂに示すフローチャートのステップＳ７１３からステップＳ７２２を実行する。ステップＳ７１３からステップＳ７２２の処理は、図８Ｂに示したフローチャートのステップＳ１１３からステップＳ１２２の処理と同様である。

ここで、図１４Ａに戻る。ステップＳ７０３において、認証判定部１８２の求めた音声の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合（ステップＳ１０３；ＮＯ）、認証判定部１８２は、顔認証処理を実行する（ステップＳ７２３）。顔認証処理については、図１６に示すフローチャートを参照しつつ、以下に説明する。

認証判定部１８２は、顔認証値取得処理を実行する（ステップＳ９０１）。顔認証値取得処理ついては、図９に示したフローチャートのステップＳ２０１からステップＳ２０９を実行するものとする。

認証判定部１８２は、ステップＳ９０１の顔認証値取得処理で求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証閾値以上か否か判定する（ステップＳ９０２）。顔の認証値が認証閾値以上ではない場合（ステップＳ９０２；ＮＯ）、認証判定部１８２は、ステップＳ９０６に進み、顔認証処理ができた旨を戻り値として設定する（ステップＳ９０６）。また、顔の認証値が認証閾値以上の場合（ステップＳ９０２；ＹＥＳ）、認証判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７２から取得した認証許容値以下か否か判定する（ステップＳ９０３）。

認証判定部１８２の求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下ではない場合（ステップＳ９０３；ＮＯ）、認証判定部１８２は、ステップＳ９０７に進み、顔認証処理ができなかった旨を戻り値として設定する（ステップＳ９０７）。

また、認証判定部１８２の求めた顔の認証値が、認証用生体情報データベース１７２から取得した認証許容値以下であった場合（ステップＳ９０３；ＹＥＳ）、認証判定部１８２は、補助認証処理を実行する（ステップＳ９０４）。補助認証処理については、図１０に示したフローチャートのステップＳ３０１からステップＳ３０９を実行するものとする。

認証判定部１８２は、補助認証ができたか否か判定する（ステップＳ９０５）。補助認証ができた場合（ステップＳ９０５；ＹＥＳ）、認証判定部１８２は、顔認証処理ができた旨を戻り値として設定する（ステップＳ９０６）。また、補助認証ができなかった場合（ステップＳ９０５；ＮＯ）、認証判定部１８２は、顔認証処理ができなかった旨を戻り値として設定する（ステップＳ９０７）。認証判定部１８２は、顔認証処理を終了する。

ここで、図１４Ａに戻る。認証判定部１８２は、顔認証ができたか否か判定する（ステップＳ７２４）。顔認証ができた場合（ステップＳ７２４；ＹＥＳ）、認証判定部１８２は、顔の認証値を更新する（ステップＳ７２５）。具体的には、まず、認証判定部１８２は、図７Ａに示した認証用生体情報データベース１７２のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。続いて、認証判定部１８２は、取得した顔の認証値の平均値とステップＳ７２３の顔認証処理で取得した顔の認証値とを足して２で割り、顔の認証値の平均値を算出する。認証判定部１８２は、算出した顔の認証値の平均値を、図７Ａ示した認証用生体情報データベース１７２のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証値の平均値の欄に書き込み、更新する。

認証判定部１８２は、音声取得処理を実行する（ステップＳ７２５）。音声取得処理については、図１２に示したフローチャートのステップＳ５０１からステップＳ５０９を実行するものとする。

また、ステップＳ７２４において、顔認証ができなかった場合（ステップＳ７２４；ＮＯ）、認証判定部１８２は、端末装置１を使用しているユーザをユーザ本人ではないと判断する。認証判定部１８２は、図４に示した認証結果表示部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、認証判定部１８２は、端末装置１に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部１８２は、指紋認証を実行する（ステップＳ７２７）。

続いて、認証判定部１８２は、ステップＳ７２８、ステップＳ７２９を実行する。ステップＳ７２８、ステップＳ７２９の処理は、図８Ａに示したステップＳ１２８、ステップＳ１２９の処理と同様である。認証判定部１８２は、ステップＳ７０１へ戻り、ステップＳ７０１以降のステップを実行する。

なお、実施の形態２においては、上記の実施の形態１と同様に、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。

以上の通り、上記実施の形態２に係る端末装置１は、実施の形態１の効果に加えて、ユーザ本人の顔の画像によってユーザ本人を認証できなかった場合に、ユーザ本人の音声によりユーザ本人を認証できるものとすることができる。これにより、ユーザを認証するための生体情報の種類と順番とを変更しても認証をすることができるため、ユーザの利便性を向上させることができる。

（変形例１）
上記の実施の形態１および２において、ユーザの生体情報による認証として、ユーザの顔画像による認証と、音声認証と、指紋認証とを使用した。これに限らず、ユーザの生体情報による認証は、指静脈認証、虹彩認証等、いずれの方法であってもよい。また、上記の実施の形態においては、補助認証を使用する判定の条件としてユーザの顔画像による認証と音声認証とを使用したが、他の生体情報による判定結果に応じて補助認証を使用するようにしてもよい。

（変形例２）
上記の実施の形態１および２では、ユーザの認証処理を図２に示した認証処理プログラム１７０を実行することにより実現するものとした。この認証処理プログラム１７０で行われる各ステップの全部または一部を、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、システムＬＳＩ（Ｌａｒｇｅ－ｓｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の半導体チップ、各種回路素子により構成される回路等により実現するようにしてもよい。

（変形例３）
上記の実施の形態１および２において、補助認証の判定条件として信頼する接続先への接続、信頼するイベントの実行、ユーザの顔と端末装置１との顔の距離を用いた。これに限らず、他の方法を用いる又は含めても良い。例えば、ユーザ本人が所有するデバイスと端末装置１とをＢｌｕｅｔｏｏｔｈ（登録商標）で接続しているか否かを判定し、接続している場合にユーザ本人と認証する。Ｂｌｕｅｔｏｏｔｈ（登録商標）により接続される機器を使用するためには、機器同士を「ペアリング」する必要がある。このため、Ｂｌｕｅｔｏｏｔｈ（登録商標）による機器の接続は、個人の特定性が強く、補助認証として利用することでユーザ本人を認証することが可能である。また、さらに、図２に示した位置検出部１６により取得したユーザの行動ルートのパターン、規則性等により、ユーザ本人か否かを判定し、行動ルートのパターン、規則性等が一致する場合にユーザ本人と認証としてもよい。

（変形例４）
上記の実施の形態１および２においては、補助認証のうち、一つの認証が成功した場合に、ユーザ本人と認証した。これに限らず、複数の補助認証がすべて成功した場合にのみユーザ本人と認証するようにしてもよい。これにより、さらに認証の精度を高めることができる。

（変形例５）
上記の実施の形態１および２において、生体認証及び補助認証が成功した場合、図１０に示したフローチャートのステップＳ３０２において認証判定部１８２は、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げている。しかしながら、これに限らず、生体認証及び補助認証が成功した場合、認証間隔を現在の認証間隔よりも長くせずにおき、認証の頻度を下げなくてもよい。具体的には、図１０に示したフローチャートのステップＳ３０２を行わなくてもよい。

（変形例６）
上記の実施の形態１および２において、ユーザの認証が成功し、ユーザが継続的に端末装置１を操作し続ける状態、且つ端末装置１の傾きの変更がない場合、ユーザ本人が端末装置１を操作し続けているものと判断することができる。この場合、生体認証の認証閾値及び認証許容値を緩めに設定する、認証間隔を長くする等してもよい。こうすることにより、ユーザ本人に対する必要最低限の認証をバックグラウンドで行いつつ、端末装置１のリソースの利用を節約する事ができる。

（変形例７）
上記の実施の形態１および２において、予め定められた認証間隔によりバックグラウンドでの認証を行うようにした。これに限らず、認証のタイミング及び間隔を定めず、ランダムにバックグラウンドで認証を行うようにしてもよい。例えば、端末装置１に搭載されている各種センサの何れかにより、端末装置１の位置の変更、傾きの変更などの空間的な変化があった場合に、随時認証を行うようにしてもよい。また、ユーザが端末装置１に対し特別な処理を行うための操作、イレギュラーな操作等を行った場合に、認証を行うようにしてもよい。

（変形例８）
上記の実施の形態１の図８Ａに示した認証処理のステップＳ１１２および上記の実施の形態２の図１４Ａに示したステップＳ７１２では、認証判定部１８２は、図４に示した認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データの登録情報を更新させるものとした。これに限らず、認証判定部１８２は、例えば、予め定められた回数だけユーザ本人を認証できた場合、予め定められた時間を経過した場合等に、認証用情報更新部１８４に、認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データの登録情報を更新させるものとしてもよい。

また、上記の実施の形態１の図８Ａに示した認証処理のステップＳ１１２および上記の実施の形態２の図１４Ａに示したステップＳ７１２では、認証判定部１８２は、認証用情報更新部１８４に、認証用生体情報データベース１７２及び認証用振舞情報データベース１７３に記憶された各種データの登録情報のうち、一部を更新させるようにしてもよい。

（変形例９）
上記の実施の形態１において、図８Ａに示した認証処理では、ユーザの顔画像によるユーザ本人の認証ができなかった場合に、音声によるユーザ本人の認証をするものとした。これに限らず、例えば、バックグラウンドにおいて、常時ユーザの音声を取得し、音声によるユーザ本人の認証をしてもよい。また、この場合、ユーザ本人の認証が必要になった際に、直前にバックグラウンドで音声による認証が成功していた場合には、認証は成功したものとしてもよい。

また、直前にバックグラウンドでの音声の認証がされていない、音声による認証が失敗していた等の場合に、例えば、ユーザの顔画像によるユーザ本人の認証、指紋認証等の他の生体認証をしてもよい。さらに、ユーザの顔画像によるユーザ本人の認証、指紋認証等の他の生体認証が失敗した場合には、再度、明示的にユーザに発声させ、音声による認証をするようしてもよい。

（変形例１０）
上記の実施の形態１および２において、図６Ｂに示した単語データベース１７５に記憶されたフィラーの単語は、各々一語とした。これに限らず、複数のフィラーの単語を、例えば、話中によく出る組み合わせで単語データベース１７５に記憶するようにしてもよい。また、フィラーの単語だけではなく、接続詞、副詞、感動詞等、多種の単語を組み合わせてもよい。

（変形例１１）
上記の実施の形態１および２では、図６Ｂに示した単語データベース１７５に記憶されたフィラーの単語がユーザの発話に含まれている場合に、そのフィラーの単語のピッチ特徴量および声道特性を抽出し、図６Ｃに示した時系列モデルデータベース１７６および図６Ｄに示した声道特性モデルデータベース１７７に記憶された各種データを追加または更新するものとした。これに限らず、予め、ユーザがよく言うフィラーの単語を図６Ｂに示した単語データベース１７５に記憶しておき、さらにその単語のピッチ特徴量および声道特性を、図６Ｃに示した時系列モデルデータベース１７６および図６Ｄに示した声道特性モデルデータベース１７７に記憶しておくようにしても良い。これにより、ユーザは、端末装置１を使い始めた時からフィラーによるユーザの認証を利用することができる。

さらに、予め単語データベース１７５等に記憶されたフィラーの単語に関連する各種データは、そのフィラーの単語がユーザの発話に含まれる場合に、ユーザの発話の音声のデータを基に更新するようにしてもよい。さらに、ユーザの発話に予め単語データベース１７５等に記憶されていない新たなフィラーの単語が含まれる場合には、新たなフィラーの単語に関連する各データを単語データベース１７５等に追加するようにしてもよい。これにより、予め登録されたフィラーの単語に関連する各種データを更新し、さらに、ユーザの発話に含まれる新たなフィラーの単語もユーザの認証に用いることができるため、フィラーの単語によるユーザの認証の精度を向上することができる。

また、本発明の実施の形態１および２では、端末装置１は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、端末装置１における各機能を実現するためのプログラムを、コンピュータが読み取り可能なＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの記録媒体に格納して配布し、このプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合には、アプリケーションのみを記録媒体に格納してもよい。

なお、本発明の技術的範囲は、上記実施の形態と変形例によっては限定されない。本発明は特許請求の範囲に記載された技術的思想の限りにおいて、自由に応用、変形あるいは改良して、実施することができる。

１端末装置、１０通信部、１１撮影部、１１Ａインカメラ、１１Ｂメインカメラ、１２音声入出力部、１２Ａスピーカ、１２Ｂマイクロフォン、１３傾き検出部、１４操作入力部、１５指紋検出部、１５Ａ左指紋センサ、１５Ｂ右指紋センサ、１６位置検出部、１７端末記憶部、１８端末制御部、１９表示部、２１プロセッサ、２２メモリ、２３表示コントローラ、２４表示機器、２５Ｉ／Ｏポート、２６記憶機器、２７通信機器、２８データバス、１７０認証処理プログラム、１７１音声認証処理プログラム、１７２認証用生体情報データベース、１７３認証用振舞情報データベース、１７４傾き情報テーブル、１７５単語データベース、１７６時系列モデルデータベース、１７７声道特性モデルデータベース、１８１認証用情報取得部、１８２認証判定部、１８３認証結果表示部、１８４認証用情報更新部、３００音声認証処理部、３１０単語取得部、３１１音声波形切出部、３１２時系列抽出部、３１３時系列変化照合部、３１４声道特性抽出部、３１５声道特性照合部、３１６音声認証値作成部。

Claims

複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した前記複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部と、
前記音声認証処理部が作成した前記音声の認証値に基づいて、認証が成功したか否かを判定する認証判定部と、
を備え、
前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、前記音声の認証値を作成する処理を実行し、
前記認証判定部は、前記音声認証処理部で作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値に前記ユーザがグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして前記認証用情報取得部で取得した他の認証情報である一の認証情報に基づいて認証が成功したか否かを判定する、
端末装置。
複数のデータを記憶する端末記憶部と、
前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量のデータを求める時系列変化抽出部と、前記フィラーの音声波形から前記声道特性のデータを求める声道特性抽出部と、前記端末記憶部に記憶された前記フィラーに対応するピッチ特徴量のデータおよび声道特性のデータと、前記時系列変化抽出部で求めた前記ピッチ特徴量および声道特性抽出部で求めた声道特性のデータを照合した照合結果に基づいて前記音声の認証値を作成する音声認証値作成部とを含む、
請求項１に記載の端末装置。
前記一の認証情報は、前記音声のデータとは異なる生体情報のデータであり、
前記認証判定部は、さらに、前記一の認証情報が前記認証閾値以上、且つ、前記認証許容値未満の場合、前記認証用情報取得部で取得した前記一の認証情報とは異なる二の認証情報に基づいて認証が成功したか否かを判定する、
請求項１また２に記載の端末装置。
前記認証判定部は、さらに、前記二の認証情報に基づく認証を失敗と判定した場合に、前記認証用情報取得部で取得した三の認証情報に基づいて認証が成功したか否かを判定する、
請求項３に記載の端末装置。
前記二の認証情報は、前記認証用情報取得部で取得された前記一の認証情報の生体情報とは異なるユーザの第２生体情報であり、
前記三の認証情報は、ユーザの特有の挙動を含む振舞情報である、
請求項４に記載の端末装置。
複数の認証情報を取得する認証用情報取得部と、
前記認証用情報取得部で取得した前記複数の認証情報のうち少なくとも一つの認証情報または複数の認証情報に基づいて、認証が成功したか否かを判定する認証判定部と、
前記認証用情報取得部で取得した前記複数の認証情報のうち音声のデータに基づいてユーザを認証するための音声の認証値を作成するための処理を実行する音声認証処理部と、
を備え、
前記音声認証処理部は、前記音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、前記音声の認証値を作成する処理を実行し、
前記認証判定部は、前記認証用情報取得部で取得した前記複数の認証情報のうち前記音声のデータとは異なる一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声認証処理部で作成された前記音声の認証値に基づいて認証が成功したか否かを判定する、
端末装置。
端末装置が実行する情報処理方法であって、
複数の認証情報を取得し、
取得した前記複数の認証情報のうち、音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて音声の認証値を作成し、
作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして他の認証情報に基づいて認証が成功したか否かを判定する、
情報処理方法。
端末装置が実行する情報処理方法であって
複数の認証情報を取得し、
取得した前記複数の認証情報のうち音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、ユーザを認証するための音声の認証値を作成し、
取得した前記複数の認証情報のうち前記音声のデータとは異なる一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値に基づいて認証が成功したか否かを判定する、
情報処理方法。
コンピュータに、
複数の認証情報を取得する処理、
取得した前記複数の認証情報のうち、音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて音声の認証値を作成する処理、
作成された前記音声の認証値が、予め定められた認証閾値未満の場合に、認証が成功したと判定し、前記音声の認証値が前記認証閾値以上、且つ、前記認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値による認証が失敗したものとして他の認証情報に基づいて認証が成功したか否かを判定する処理、
を実行させるためのプログラム。
コンピュータに、
複数の認証情報を取得する処理、
取得した前記複数の認証情報のうち音声のデータに含まれるフィラーの音の高低を示すピッチ特徴量および前記フィラーの音声波形から求めた声道特性のデータに基づいて、ユーザを認証するための音声の認証値を作成する処理、
取得した前記複数の認証情報のうち前記音声のデータとは異なる一の認証情報と自身に登録された一の登録情報とを比較して求めた第１認証値が予め定められた認証閾値未満の場合に認証が成功したと判定し、前記第１認証値が前記認証閾値にユーザが本人か否かグレーな場合を示す認証許容範囲値を含めた値である認証許容値以上の場合に、前記音声の認証値に基づいて認証が成功したか否かを判定する処理、
を実行させるためのプログラム。