WO2023100960A1

WO2023100960A1 - 認証装置および認証方法

Info

Publication number: WO2023100960A1
Application number: PCT/JP2022/044301
Authority: WO
Inventors: 鉄平福田; 正成宮本; 慎太郎岡田
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2021-12-03
Filing date: 2022-11-30
Publication date: 2023-06-08
Also published as: JPWO2023100960A1; EP4443431A1

Abstract

認証装置は、話者の発話音声の音声信号を取得して検出する取得部と、前記取得部により検出された音声信号と、データベースとの照合とに基づいて、話者が本人であるか否かを認証する認証部と、認証部による話者の認証に用いる音声信号を取得するための質問を質問例文として複数保持する保持部と、話者に対する質問例文を端末装置に表示させる表示インターフェースと、保持部に保持された複数の質問例文の中から端末装置に表示する質問例文を選択する例文選択部と、を備える。

Description

認証装置および認証方法

　本開示は、認証装置および認証方法に関する。

　特許文献１には、コールセンタにおいて、オペレータの顧客の本人確認作業およびその他の確認作業を効率化するオペレータ本人確認システムが開示されている。このオペレータ本人確認システムでは、音声認識サーバは、顧客およびオペレータの発話を音声認識しテキスト出力して、音声認識結果のテキストを日時情報と共に、顧客とオペレータの発話を記憶する。次に、解析サーバのキーワード抽出部が、音声認識結果のテキストを読み出し、顧客およびオペレータの発話の組に含まれる確認項目のキーワードを予め定められた確認項目キーワードリストから抽出する。次に、解析サーバのキーワード突合部が、抽出された確認項目のキーワードと、会員マスタＤＢに格納された顧客の会員基本情報とを突合し、両者が合致した場合に、当該確認項目の確認完了と判断する。そして、予め定められた本人確認項目すべての確認が完了した際に、本人確認完了通知をオペレータ端末に表示させる。本人確認完了通知は、顧客の端末にも送信される。

日本国特開２０１４－１９７１４０号公報

　特許文献１では、本人確認作業のために予め用意された全ての本人確認項目の確認の判定が終了するまではオペレータの端末に本人確認が完了した旨の表示がなされない。このため、全ての本人確認項目の確認が判定されるまでは、オペレータの通話相手が正当な顧客（つまり本人）であるか否かを検証する認証処理の進行状況がリアルタイムに表示されず、認証処理が現在どの程度進んでいるかを把握する術がなかった。そのため、顧客の本人確認完了後に開始される本題内容をオペレータが会話するタイミングが遅くなり、オペレータの作業効率が悪いという問題があった。

　本開示は、上述した従来の状況に鑑みて案出され、オペレータがリアルタイムに顧客の本人確認の認証状況を確認できるようにし、オペレータの作業効率の向上を支援する認証装置および認証方法を提供することを目的とする。

　本開示は、話者の発話音声の音声信号を取得して検出する取得部と、前記取得部により検出された前記音声信号と、データベースとの照合とに基づいて、前記話者が本人であるか否かを認証する認証部と、前記認証部の認証結果に基づき前記話者が本人であるか否かを示す認証状況を端末装置に表示させる表示インターフェースと、を備え、前記表示インターフェースは前記認証部による前記話者の認証状況が変化するたびに認証状況の表示内容を更新する認証装置を提供する。

　また、本開示は、１以上のコンピュータが行う認証方法であって、話者の発話音声の音声信号を取得して検出し、検出された前記音声信号と、データベースとの照合に基づいて、前記話者が本人であるか否かを認証し、認証結果に基づき前記話者が本人であるか否かを示す認証状況を表示し、前記話者の認証状況が変化するたびに前記認証状況の表示内容を更新する認証方法を提供する。

　なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

　本開示によれば、オペレータがリアルタイムに顧客の本人確認の認証状況を確認できるようし、オペレータの作業効率の向上を支援することができる。

実施の形態１および２に係る音声認証システムのユースケースの一例を示す図実施の形態１に係る認証解析装置の内部構成例を示すブロック図実施の形態１に係る音声信号と信頼度との第１の関係を示す図実施の形態１に係る音声信号と信頼度との第２の関係を示す図実施の形態１に係る認証開始ボタン押下後に認証を開始する例を示す図実施の形態１に係る音声信号の感情の有無を示す図実施の形態１に係る感情の有無による音声信号の処理を示す図実施の形態１に係る音声信号の繰り返し区間を削除する処理を示す図実施の形態１に係る認証状況を表す第１の画面例を示す図実施の形態１に係る認証状況を表す第２の画面例を示す図実施の形態１に係る認証解析装置の動作手順例を示すフローチャート実施の形態２に係る認証解析装置の内部構成例を示すブロック図実施の形態２に係る質問例を示す図実施の形態２に係る情報端末装置に表示される質問例文を示す図実施の形態２に係る各音素数と閾値との関係を示す図実施の形態２に係る認証開始直後に質問例文を表示する場合の認証解析装置の動作手順例を示すフローチャート実施の形態２に係る質問例文表示機能がオフの場合の画面例を示す図実施の形態２に係る質問例文表示機能がオンの場合の画面例を示す図実施の形態２に係る本人確認の認証の途中で質問例文を表示する場合の認証解析装置の動作手順例を示すフローチャート

　以下、図面を適宜参照して、本開示に認証装置および認証方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

　（実施の形態１に至る経緯）
　特許文献１には、コールセンタにおいて、オペレータの顧客の本人確認作業およびその他の確認作業を効率化するオペレータ本人確認システムが開示されている。このオペレータ本人確認システムでは、音声認識サーバは、顧客およびオペレータの発話を音声認識しテキスト出力して、音声認識結果のテキストを日時情報と共に、顧客とオペレータの発話を記憶する。次に、解析サーバのキーワード抽出部が、音声認識結果のテキストを読み出し、顧客およびオペレータの発話の組に含まれる確認項目のキーワードを予め定められた確認項目キーワードリストから抽出する。次に、解析サーバのキーワード突合部が、抽出された確認項目のキーワードと、会員マスタＤＢに格納された顧客の会員基本情報とを突合し、両者が合致した場合に、当該確認項目の確認完了と判断する。そして、予め定められた本人確認項目すべての確認が完了した際に、本人確認完了通知をオペレータ端末に表示させる。本人確認完了通知は、顧客の端末にも送信される。

　そこで、以下の実施の形態１では、オペレータがリアルタイムに顧客の本人確認の認証状況を確認できるようにし、オペレータの作業効率の向上を支援する認証装置および認証方法の例を説明する。

　（実施の形態１）
　まず、図１を参照して、実施の形態１および実施の形態２（後述参照）に係る音声認証システムのユースケースについて説明する。図１は、実施の形態１および実施の形態２に係る音声認証システムのユースケースの一例を示す図である。音声認証システム１００は、音声を用いた認証の対象となる人物（図１に示す例では、ユーザＵＳ）の音声信号または音声データを取得し、取得された音声信号または音声データと、事前にストレージ（図１に示す例では、登録話者データベースＤＢ）に登録（格納）された複数の音声信号または音声データとを照合する。音声認証システム１００は、照合結果に基づいて、音声認証対象であるユーザＵＳから収音された音声信号または音声データとストレージに登録された音声信号または音声データとの類似度を評価し、評価された類似度に基づいて、ユーザＵＳを認証する。

　実施の形態１に係る音声認証システム１００は、収音装置の一例としてオペレータ側通話端末ＯＰ１と、認証解析装置Ｐ１と、登録話者データベースＤＢと、出力装置の一例としての情報表示端末ＤＰと、を少なくとも含んで構成される。なお、認証解析装置Ｐ１および情報表示端末ＤＰは、一体的に構成されてよい。

　なお、図１に示す音声認証システム１００は、一例としてコールセンタにおいて話者（ユーザＵＳ）の認証に用いられる例を示し、オペレータＯＰと通話するユーザＵＳの発話音声を収音した音声データを用いてユーザＵＳの認証を行う。図１に示す音声認証システム１００は、さらにユーザ側通話端末ＵＰ１と、ネットワークＮＷとを含んで構成される。なお、音声認証システム１００の全体構成は、図１に示す例に限定されないことは言うまでもない。

　ユーザ側通話端末ＵＰ１は、オペレータ側通話端末ＯＰ１との間で、ネットワークＮＷを介して無線通信可能に接続される。なお、ここでいう無線通信は、例えばＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介したネットワーク通信である。

　ユーザ側通話端末ＵＰ１は、例えば、ノートＰＣ，タブレット端末，スマートフォン，電話機等により構成される。ユーザ側通話端末ＵＰ１は、マイク（不図示）を備える収音装置であり、ユーザＵＳの発話音声を収音して音声信号に変換し、この変換された音声信号をネットワークＮＷを介してオペレータ側通話端末ＯＰ１に送信する。また、ユーザ側通話端末ＵＰ１は、オペレータ側通話端末ＯＰ１から送信されたオペレータＯＰの発話音声の音声信号を取得して、スピーカ（不図示）から出力する。

　ネットワークＮＷは、例えばＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）網または電話網であって、ユーザ側通話端末ＵＰ１とオペレータ側通話端末ＯＰ１との間で、音声信号の送受信を可能に接続する。なお、データの送受信は、有線通信または無線通信により実行される。

　オペレータ側通話端末ＯＰ１は、ユーザ側通話端末ＵＰ１および認証解析装置Ｐ１との間でそれぞれ有線通信または無線通信でデータ送受信可能に接続され、音声信号の送受信を行う。

　オペレータ側通話端末ＯＰ１は、例えば、ノートＰＣ，タブレット端末，スマートフォン，電話機等により構成される。オペレータ側通話端末ＯＰ１は、ネットワークＮＷを介してユーザ側通話端末ＵＰ１から送信されたユーザＵＳの発話音声に基づく音声信号を取得し、認証解析装置Ｐ１に送信する。なお、オペレータ側通話端末ＯＰ１は、取得されたユーザＵＳの発話音声とオペレータＯＰの発話音声とを含む音声信号を取得した場合、オペレータ側通話端末ＯＰ１の音声信号の音圧レベルまたは周波数帯域等の音声パラメータに基づいて、ユーザＵＳの発話音声に基づく音声信号と、オペレータＯＰの発話音声に基づく音声信号とを分離してよい。オペレータ側通話端末ＯＰ１は、分離後にユーザＵＳの発話音声に基づく音声信号のみを抽出して認証解析装置Ｐ１に送信する。

　また、オペレータ側通話端末ＯＰ１は、複数のユーザ側通話端末のそれぞれとの間で通信可能に接続され、同時に複数のユーザ側通話端末のそれぞれから音声信号を取得してもよい。オペレータ側通話端末ＯＰ１は、取得された音声信号を認証解析装置Ｐ１に送信する。これにより、音声認証システム１００は、同時に複数のユーザのそれぞれの音声認証処理、音声解析処理を実行できる。

　また、オペレータ側通話端末ＯＰ１は、同時に複数のユーザのそれぞれの発話音声を含む音声信号を取得してもよい。オペレータ側通話端末ＯＰ１は、ネットワークＮＷを介して取得された複数のユーザの音声信号のそれぞれからユーザごとの音声信号を抽出し、ユーザごとの音声信号をそれぞれ認証解析装置Ｐ１に送信する。このような場合、オペレータ側通話端末ＯＰ１は、複数のユーザの音声信号を解析し、音圧レベル、周波数帯域等の音声パラメータに基づいて、音声信号をユーザごとに分離して抽出してもよい。音声信号がアレイマイク等により収音された場合には、オペレータ側通話端末ＯＰ１は、発話音声の到来方向に基づいて、音声信号をユーザごとに分離して抽出してもよい。これにより、音声認証システム１００は、例えば、Ｗｅｂ会議等の同時に複数のユーザが発話する環境で収音された音声信号であっても、複数のユーザのそれぞれの音声認証処理、音声解析処理を実行できる。

　認証装置およびコンピュータの一例としての認証解析装置Ｐ１は、オペレータ側通話端末ＯＰ１、登録話者データベースＤＢおよび情報表示端末ＤＰとの間でそれぞれデータ送受信可能に接続される。なお、認証解析装置Ｐ１は、オペレータ側通話端末ＯＰ１、登録話者データベースＤＢおよび情報表示端末ＤＰとの間でネットワーク（不図示）を介して、有線通信または無線通信が可能に接続されていてもよい。

　認証解析装置Ｐ１は、オペレータ側通話端末ＯＰ１から送信されたユーザＵＳの音声信号を取得し、取得された音声信号を、例えば周波数ごとに音声解析して、ユーザＵＳ個人の発話特徴量を抽出する。認証解析装置Ｐ１は、登録話者データベースＤＢを参照して、登録話者データベースＤＢに事前に登録された複数のユーザのそれぞれの発話特徴量と、抽出された発話特徴量とを照合して、ユーザＵＳの音声認証を実行する。なお、認証解析装置Ｐ１は、登録話者データベースＤＢに事前に登録された複数のユーザのそれぞれの発話特徴量に代えて、登録話者データベースＤＢに事前に登録された特定のユーザの発話特徴量と照合して、ユーザＵＳの音声認証を実行してもよい。認証解析装置Ｐ１は、ユーザ認証結果を含む認証結果画面ＳＣを生成して、情報表示端末ＤＰに送信して出力させる。なお、図１に示す認証結果画面ＳＣは、一例であってこれに限定されないことは言うまでもない。図１に示す認証結果画面ＳＣは、例えばユーザ認証結果であるメッセージ「山田太郎さんの声と一致しました。」を含む。また、認証解析装置Ｐ１は、登録話者データベースＤＢに事前に登録された複数のユーザのそれぞれの音声信号と、ユーザＵＳの音声信号とを照合して、ユーザＵＳの音声認証を実行してもよい。なお、認証解析装置Ｐ１は、登録話者データベースＤＢに事前に登録された複数のユーザのそれぞれの音声信号に代えて、登録話者データベースＤＢに事前に登録された特定のユーザの音声信号と照合して、ユーザＵＳの音声認証を実行してもよい。

　データベースの一例としての登録話者データベースＤＢは、所謂ストレージであって、例えばフラッシュメモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）あるいはＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶媒体を用いて構成される。登録話者データベースＤＢは、複数のユーザのそれぞれのユーザ情報と、発話特徴量とを対応付けて格納（登録）する。ここでいうユーザ情報は、ユーザに関する情報であって、例えば、ユーザ名、ユーザＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）またはユーザごとに割り当てられた識別情報等である。なお、登録話者データベースＤＢは、認証解析装置Ｐ１と一体的に構成されてもよい。

　情報表示端末ＤＰは、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）あるいは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを用いて構成される。情報表示端末ＤＰは、認証解析装置Ｐ１から送信された認証結果画面ＳＣを表示する。なお、情報表示端末ＤＰは、認証解析装置Ｐ１と一体的に構成されてもよい。

　図１に示す例において、ユーザ側通話端末ＵＰ１は、ユーザＵＳの発話音声ＣＯＭ１２「山田太郎です」と、発話音声ＣＯＭ１４「１２３２４５６７８です」とを収音し、音声信号に変換して、オペレータ側通話端末ＯＰ１に送信する。オペレータ側通話端末ＯＰ１は、ユーザ側通話端末ＵＰ１から送信されたユーザＵＳの発話音声ＣＯＭ１２，ＣＯＭ１４のそれぞれに基づく音声信号を認証解析装置Ｐ１に送信する。

　なお、オペレータ側通話端末ＯＰ１は、オペレータＯＰの発話音声ＣＯＭ１１「お名前を教えてください」と、発話音声ＣＯＭ１３「会員番号を教えてください」と、ユーザＵＳの発話音声ＣＯＭ１２，ＣＯＭ１４とを収音した音声信号を取得した場合には、オペレータＯＰの発話音声ＣＯＭ１１，ＣＯＭ１３のそれぞれに基づく音声信号を分離および除去し、ユーザＵＳの発話音声ＣＯＭ１２，ＣＯＭ１４のそれぞれに基づく音声信号のみを抽出して、認証解析装置Ｐ１に送信する。これにより、認証解析装置Ｐ１は、音声認証の対象である人物の音声信号のみを用いることで、ユーザ認証精度を向上できる。

　次に、図２を参照して、認証解析装置の内部構成例について説明する。図２は、実施の形態１に係る認証解析装置の内部構成例を示すブロック図である。認証解析装置Ｐ１は、通信部２０と、プロセッサ２１と、メモリ２２と、を少なくとも含んで構成される。

　通信部２０は、オペレータ側通話端末ＯＰ１および登録話者データベースＤＢのそれぞれとの間でデータ通信可能に接続する。通信部２０は、オペレータ側通話端末ＯＰ１から送信された音声信号をプロセッサ２１に出力する。なお、取得部は通信部２０に限らず、例えば認証解析装置Ｐ１と一体に構成されたオペレータ側通話端末ＯＰ１のマイクであってもよい。

　プロセッサ２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の電子デバイスのうち少なくとも１つが実装された半導体チップを用いて構成される。プロセッサ２１は、認証解析装置Ｐ１の全体的な動作を司るコントローラとして機能し、認証解析装置Ｐ１の各部の動作を統括するための制御処理、認証解析装置Ｐ１の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。

　プロセッサ２１は、メモリ２２のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２Ａに記憶されたプログラムおよびデータを用いることで、発話区間検出部２１Ａ、発話連結部２１Ｂ、特徴量抽出部２１Ｃ、類似度計算部２１Ｄ、信頼度算出部２１Ｅおよび音解析部２１Ｊのそれぞれの機能を実現する。プロセッサ２１は、動作中にメモリ２２のＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２２Ｂを使用し、プロセッサ２１および各部が生成あるいは取得したデータもしくは情報をメモリ２２のＲＡＭ２２Ｂに一時的に保存する。

　取得部の一例としての発話区間検出部２１Ａは、発話音声の音声信号を取得し、取得された音声信号を解析し、ユーザＵＳが発話している発話区間を検出する。発話区間検出部２１Ａは、音声信号から検出された各発話区間に対応する音声信号（以降、「発話音声信号」と表記）を発話連結部２１Ｂまたは特徴量抽出部２１Ｃに出力する。また、発話区間検出部２１Ａは、各発話区間の発話音声信号をメモリ２２のＲＡＭ２２Ｂに一時的に保存してもよい。

　認証部の一例としての発話連結部２１Ｂは、発話区間検出部２１Ａにより音声信号から同一人物（ユーザＵＳ）の２以上の発話区間が検出された場合、これらの発話区間の発話音声信号同士を連結する。発話連結部２１Ｂは、連結された音声信号の合計秒数を算出してもよい。発話連結部２１Ｂは、連結後の発話音声信号（以降、「連結音声信号」と表記）を特徴量抽出部２１Ｃに出力する。なお、ユーザ認証方法については後述する。

　認証部の一例としての特徴量抽出部２１Ｃは、発話区間検出部２１Ａにより抽出された１以上の発話音声信号を用いて個人の音声の特徴を、例えば周波数ごとに解析して、発話特徴量を抽出する。なお、特徴量抽出部２１Ｃは、発話連結部２１Ｂから出力された連結音声信号の発話特徴量を抽出してもよい。特徴量抽出部２１Ｃは、抽出された発話特徴量と、この発話特徴量が抽出された発話音声信号または連結音声信号とを対応付けて類似度計算部２１Ｄに出力したり、メモリ２２のＲＡＭ２２Ｂに一時的に保存したりする。

　認証部の一例としての類似度計算部２１Ｄは、特徴量抽出部２１Ｃから出力された発話音声信号または連結音声信号の発話特徴量を取得する。類似度計算部２１Ｄは、登録話者データベースＤＢを参照して、登録話者データベースＤＢに登録された複数のユーザのそれぞれの発話特徴量と、取得された連結後の発話特徴量との類似度を算出する。類似度計算部２１Ｄは、算出された類似度に基づいて、発話音声信号または連結音声信号（つまり、ユーザ側通話端末ＵＰ１から送信された音声信号）に対応するユーザを特定してユーザ認証を実行する。

　類似度計算部２１Ｄは、ユーザ認証の結果、ユーザが特定されたと判定した場合、特定されたユーザに関する情報（つまり、認証結果）を含む認証結果画面ＳＣを生成して、表示Ｉ／Ｆ（Ｉｎｔｅｒ　Ｆａｃｅ）２３を介して、情報表示端末ＤＰに出力する。

　なお、類似度計算部２１Ｄは、算出された類似度が所定値未満であると判定した場合、ユーザ認証不可であると判定し、発話連結部２１Ｂに発話音声信号の連結を要求する制御指令を生成して出力してもよい。また、類似度計算部２１Ｄは、同一人物（ユーザＵＳ）に対するユーザ認証において、ユーザ認証回数に上限回数が設定されており、ユーザ認証不可であると判定した回数が上限回数以上であると判定した場合には、ユーザ認証不可である旨を通知する認証結果画面（不図示）を生成して、情報表示端末ＤＰに出力してもよい。

　認証部の一例としての音解析部２１Ｊは、発話区間検出部２１Ａにより抽出された１以上の発話音声信号または連結音声信号を取得する。音解析部２１Ｊは、取得された発話音声信号または連結音声信号の音（以降、「発話音」と表記）を解析する。例えば、発話音声信号が「やまだたろうです」である場合、これに対応する音は「ｙａ　ｍａ　ｄａ　ｔａ　ｒｏ　ｕ　ｄｅ　ｓｕ」となる。音解析部２１Ｊは、解析された発話音の数を算出し、算出結果画面（不図示）を生成して、情報表示端末ＤＰに出力してもよい。実施の形態１では発話音種類数を、「ｙａ」のように１つの子音と１つの母音とを合わせて１音と定義する。

　認証部の一例としての信頼度算出部２１Ｅは、発話連結部２１Ｂにより連結された連結音声信号を取得する。信頼度算出部２１Ｅは、取得された連結音声信号の信頼度を解析する。信頼度算出部２１Ｅは、発話区間検出部２１Ａにより抽出された発話音声信号を取得し、信頼度を解析してもよい。信頼度は、例えば、発話連結部２１Ｂによって算出された合計秒数の信頼度、音解析部２１Ｊによって算出された発話音種類数の信頼度であるが、これらに限定されない。信頼度算出部２１Ｅは、ユーザによって予め定められた判定基準を基に信頼度を算出してよい。

　これらによって、プロセッサ２１は、発話区間検出部２１Ａにより検出された発話音声信号と、複数の話者のそれぞれの音声信号が登録された登録話者データベースＤＢとの照合に基づいて、話者が本人であるか否かを認証する。また、プロセッサ２１は、発話音声信号の合計時間および発話音声信号に含まれる発話種類数を算出し、合計時間および発話音種類数の算出結果と予め定められた判定基準とに基づいて合計時間に基づく第１の信頼度および発話音種類数に基づく第２の信頼度を判定する。

　メモリ２２は、例えばプロセッサ２１が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとを格納するＲＯＭ２２Ａと、プロセッサ２１が行う各種の処理を実行する際に用いるワークメモリとしてのＲＡＭ２２Ｂと、を少なくとも有する。ＲＯＭ２２Ａには、プロセッサ２１が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとが書き込まれている。ＲＡＭ２２Ｂには、プロセッサ２１により生成あるいは取得されたデータもしくは情報（例えば、連結前の発話音声信号、連結後の連結音声信号、連結前あるいは連結後の各発話区間に対応する発話特徴量等）が一時的に保存される。

　表示Ｉ／Ｆ２３は、プロセッサ２１と情報表示端末ＤＰとの間をデータ通信可能に接続し、プロセッサ２１の類似度計算部２１Ｄにより生成された認証結果画面ＳＣを情報表示端末ＤＰに出力する。表示Ｉ／Ｆ２３は、プロセッサ２１の認証結果に基づき話者が本人であるか否かを示す認証状況を情報表示端末ＤＰに表示させる。

　感情識別器２４は、プロセッサ２１とデータ通信可能に接続され、例えば人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｅｇｅｎｔｓ）を用いて実現可能である。感情識別器２４は、例えば人工知能を用いた各種処理を実行可能なＧＰＵ（Ｇｒａｐｈｉｃａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサを用いて構成される。感情識別器２４は、発話区間検出部２１Ａにより検出された発話音声信号に基づいて、話者の会話時の感情の強さを検出する。感情識別器２４は、発話連結部２１Ｂにより連結された連結音声信号を取得し、話者の会話時の感情の強さを検出してもよいし、特徴量抽出部２１Ｃによって抽出された音声信号の特徴を用いて話者の会話時の感情の強さを検出してもよい。感情識別器２４は、感情の強さを検出するのに、例えば、音声信号の大きさ、高さ（周波数）、アクセントを解析するが、これらに限定されない。

　次に、図３を参照して、音声信号と信頼度との第１の関係について説明する。図３は、実施の形態１に係る音声信号と信頼度との第１の関係を示す図である。なお、図３および図４に示すユーザの発話内容は、一例であってこれに限定されないことは言うまでもない。

　図３に示す第１の信頼度判定テーブルＴＢＬ１は、例えばメモリ２２に一時的に保存され、ユーザの発話内容に対する発話音、合計秒数、発話音種類数および信頼度の関係を表す。なお、ユーザの発話内容に対する信頼度の要素として合計秒数、発話種類数に限定されず、また信頼度の要素の数は２つに限定されない。

　図３に示す例では、合計秒数の信頼度と発話音種類数の信頼度のうち、信頼度の判定が高い方を、ユーザの発話内容に対する信頼度の最終判定として決定する。つまり、信頼度算出部２１Ｅは、合計時間に基づく第１の信頼度と発話音種類数に基づく第２の信頼度とのうち、いずれか高い方を発話音声信号に対応する信頼度として決定する。例えば、合計秒数の信頼度の判定基準を、１０秒未満が「低」、１０秒以上１５秒未満が「中」、１５秒以上が「高」とする。また、発話音種類数の信頼度の判定基準を、１０音未満が「低」、１０音以上１５音未満が「中」、１５音以上が「高」とする。なお、信頼度の判定基準は一例でありこれらに限定されないことは言うまでもない。また、信頼度の表現として、「低」、「中」、「高」のような文字、百分率、ゲージ、棒グラフなどがある。

　第１の発話内容Ｃ１「や　ま　だ　た　ろ　う　で　す」の発話音は「ｙａ　ｍａ　ｄａ　ｔａ　ｒｏ　ｕ　ｄｅ　ｓｕ」である。第１の発話内容Ｃ１の合計秒数は５秒、発話音種類数は８音である。この場合、合計秒数の信頼度は「低」となり、発話音種類数の信頼度は「低」となる。この結果、合計秒数の信頼度も発話種類数の信頼度もどちらも「低」であるので、第１の発話内容Ｃ１の信頼度は「低」となる。

　第２の発話内容Ｃ２「や　ま　だ　た　ろ　う　で　す　や　ま　だ　じ　ろ　う　と　し　ろ　う　で　す」の発話音「ｙａ　ｍａ　ｄａ　ｔａ　ｒｏ　ｕ　ｄｅ　ｓｕ　ｙａ　ｍａ　ｄａ　ｊｉ　ｒｏ　ｕ　ｔｏ　ｓｈｉ　ｒｏ　ｕ　ｄｅ　ｓｕ」である。第２の発話内容Ｃ２の合計秒数は１０秒、発話音種類数は１１音である。この場合、合計秒数の信頼度は「中」となり、発話音種類数の信頼度は「中」となる。この結果、合計秒数の信頼度も発話音種類数の信頼度もどちらも「中」であるので、第２の発話内容Ｃ２の信頼度は「中」となる。

　第３の発話内容Ｃ３「や　ま　だ　た　ろ　う　で　す　い　ち　に　さ　ん　し　ご　ろ　く　な　な　で　す」の発話音は「ｙａ　ｍａ　ｄａ　ｔａ　ｒｏ　ｕ　ｄｅ　ｓｕ　ｉ　ｃｈｉ　ｎｉ　ｓａ　Ｎ　ｓｈｉ　ｇｏ　ｒｏ　ｋｕ　ｎａ　ｎａ　ｄｅ　ｓｕ」である。第３の発話内容Ｃ３の合計秒数は１０秒、発話音種類数は１８音である。この場合、合計秒数の信頼度は「中」となり、発話音種類数の信頼度は「高」となる。図３に示す例では、合計秒数の信頼度と発話音種類数の信頼度とのいずれか高い方をユーザの発話内容に対応する信頼度として決定する。そのため、より信頼度の高い発話音種類数の信頼度「高」を第３の発話内容Ｃ３の信頼度として決定する。

　これによって、合計秒数または発話音種類数の信頼度のうち、いずれか一方が信頼度の閾値に達した場合に、ユーザの発話内容の信頼度が閾値以上と判定されるため、話者の本人確認の認証完了までの時間を短縮することができる。

　次に、図４を参照して、音声信号と信頼度との第２の関係について説明する。図４は、実施の形態１に係る音声信号と信頼度との第２の関係を示す図である。

　図４に示す第２の信頼度判定テーブルＴＢＬ２は、例えばメモリ２２に一時的に保存され、ユーザの発話内容に対する発話音、合計秒数、発話音種類数および信頼度の関係を表す。なお、ユーザの発話内容に対する信頼度の要素として合計秒数、発話音種類数に限定されず、また信頼度の要素の数として２つに限定されない。

　図４に示す例では、合計秒数の信頼度と発話音種類数の信頼度とのうち、信頼度の判定が低い方をユーザの発話内容に対する信頼度の最終判定として決定する。つまり、信頼度算出部２１Ｅは、合計時間に基づく第１の信頼度と発話音種類数に基づく第２の信頼度とのうち、いずれか信頼度が低い方を発話音声信号に対応する信頼度として決定する。例えば、合計秒数の信頼度の判定基準を、８秒未満が「低」、８秒以上１０秒未満が「中」、１０秒以上が「高」とする。また、発話音種類数の信頼度の判定基準を、９音未満が「低」、１０音以上１５音未満が「中」、１５音以上が「高」とする。なお、信頼度の判定基準は一例でありこれらに限定されないことは言うまでもない。また、図４に示す例では、図３に示す例と比べて信頼度の最終判定方法が異なるのみであるため、図３に示す例と重複する部分の説明は省略する。

　図４に示す例では、信頼度の表現として棒グラフを用いる。第１の合計秒数の信頼度Ｂａ１を例に説明する。信頼度Ｂａ１は、左右に長い長方形の棒グラフであり、予め定められている基準値に対し信頼度が高くなると連続的に左から右に向かってメータが増えていく。予め定められた基準値で、信頼度が「高」となるとメータは右端に達する。なお、これは一例であり、信頼度の表現として縦に長い長方形の棒グラフを用いてもよい。これによって、信頼度を連続的なパラメータとして扱うことができる。

　第１の発話内容Ｃ１の合計秒数は５秒、発話音種類数は８音である。この場合、合計秒数の信頼度は「低」となり、発話音種類数の信頼度は「低」なる。信頼度Ｂａ１および信頼度Ｂａ２より、より信頼度が低いのが合計秒数の信頼度である。そのため、第１の発話内容Ｃ１の信頼度は、信頼度Ｂａ１の「低」となる。

　第２の発話内容Ｃ２の合計秒数は１０秒、発話音種類数は１１音である。この場合、合計秒数の信頼度は「高」となり、発話音種類数の信頼度は「中」となる。信頼度Ｂａ３は、合計秒数の信頼度が「高」となったことでメータが右端に達する。第１の発話内容Ｃ１の発話音種類数よりも第２の発話内容Ｃ２の発話音種類数の方が３音増加したため、信頼度Ｂａ４は、信頼度Ｂａ２に比べメータが増加する。信頼度Ｂａ３および信頼度Ｂａ４をみると信頼度Ｂａ４の方が信頼度が低いことがわかり、第２の発話内容Ｃ２の信頼度は、信頼度Ｂａ４の「中」となる。

　第３の発話内容Ｃ３の合計秒数は１０秒、発話音種類数は１８音である。この場合、合計秒数の信頼度は「高」となり、発話音種類数の信頼度は「高」となる。信頼度Ｂａ５は、合計秒数の信頼度が「高」となったことでメータが右端に達する。信頼度Ｂａ６は、発話種類数の信頼度が「高」となったことでメータが右端に達する。信頼度Ｂａ５および信頼度Ｂａ６より、第３の発話内容Ｃ３の信頼度は信頼度Ｂａ５もしくは信頼度Ｂａ６の「高」となる。

　これによって、信頼度のより低い方も信頼度の閾値に達した場合に、ユーザの発話内容の信頼度が閾値以上と判定されるため、話者の本人確認の認証の信頼度を高めることができる。

　次に、図５を参照して、認証開始のタイミングについて説明する。図５は、実施の形態１に係る認証開始ボタン押下後に認証を開始する例を示す図である。

　図５に示す例において、まず、オペレータＯＰの発話音声ＣＯＭ１５「〇〇コールセンタです」と、ユーザＵＳの発話音声ＣＯＭ１６「××をしたいです」と、オペレータの発話音声ＣＯＭ１７「まず本人認証を行います」と、ユーザＵＳの発話音声ＣＯＭ１８「はい」との発話内容を、ユーザＵＳとオペレータＯＰが会話する。その後、オペレータＯＰは情報表示端末ＤＰに表示された認証開始ボタンＵＩを押下し、認証解析装置Ｐ１は、認証開始ボタンＵＩを押下後の発話音声信号から収音を開始する。その後、オペレータＯＰの発話音声ＣＯＭ１１「お名前を教えてください」と、ユーザＵＳの発話音声ＣＯＭ１２「山田太郎です」と、オペレータＯＰの発話音声ＣＯＭ１３「会員番号を教えてください」と、ユーザＵＳの発話音声ＣＯＭ１４「１２３４５６７８です」との発話内容を、ユーザＵＳとオペレータＯＰが会話する。この場合、オペレータＯＰが情報表示端末ＤＰに表示された認証開始ボタンＵＩを押した後の、ユーザＵＳの発話音声ＣＯＭ１２、ＣＯＭ１４のそれぞれに基づく音声信号が認証解析装置Ｐ１に送信される。つまり、プロセッサ２１は、情報表示端末ＤＰに表示された認証開始ボタンＵＩが押された旨の信号を取得した場合、信号の取得後に入力された発話音声信号から認証を開始する。

　認証解析装置Ｐ１は取得した発話音声信号を基に、認証を行い認証結果を情報表示端末ＤＰ上の認証結果画面ＳＣに表示する。図５に示す例では、本人確認の認証が完了した場合、認証結果画面ＳＣに「山田太郎さんの声と一致しました。」と表示される。

　認証解析装置Ｐ１は、オペレータＯＰの操作に基づき、必要ないユーザＵＳの発話音声信号を本人確認の認証から意図的に除外できる。これによって、認証解析装置Ｐ１は、必要なユーザＵＳの発話音声信号のみを本人確認の認証に用いることができるため、認証精度を上げることができる。

　次に図６Ａを参照して、連結音声信号の感情について説明する。図６Ａは、実施の形態１に係る音声信号の感情の有無を示す図である。なお、図６Ａに係る音声信号は発話音声信号でもよい。

　図６Ａに示すグラフは、横軸が時間、縦軸が感情の強さを表している。横軸は、右に行くほど時間が進み、縦軸は、上に行くほど感情の強さが大きくなる。

　感情波形Ｗａ１は、感情識別器２４によって識別された感情の強さを表す波形である。感情波形Ｗａ１は、予め定められた閾値以上となると感情有り、閾値未満となると感情無しであるとプロセッサ２１によって判定される。つまり、図６Ａに示す例では、感情波形Ｗａ１の区間Ｓ１が感情有り、それ以外の区間が感情無しとなる。

　次に図６Ｂを参照して、感情の有無による音声信号の処理を説明する。図６Ｂは、実施の形態１に係る感情の有無による音声信号の処理を示す図である。なお、図６Ｂに係る音声信号は、発話音声信号であってもよいし、連結音声信号であってもよい。

　音声信号波形Ｓｉｇ２、Ｓｉｇ３およびＳｉｇ４は、連結音声信号であり、音声信号の強さを表す波形である。

　感情識別器２４によって検出された音声信号波形Ｓｉｇ２の感情の強さを基に、プロセッサ２１が感情の有無を判定する。その結果、音声信号波形Ｓｉｇ２の区間Ｓ２、Ｓ３は感情無し、区間Ｓ４は感情有りと判定する。プロセッサ２１は、音声信号波形Ｓｉｇ２の感情無しであると判定された区間Ｓ２、Ｓ３のみ認証に使用し、感情有りと判定された区間Ｓ４は認証に使用しない。認証解析装置Ｐ１は、区間Ｓ４の音声信号を削除し、区間Ｓ２の音声信号波形Ｓｉｇ３と区間Ｓ３の音声信号波形Ｓｉｇ４を連結して１つの連結音声信号を生成する。つまり、プロセッサ２１は、感情の強さの検出結果が予め定められた閾値以上であるか否かを判定し、感情の強さが予め定められた閾値以上となった音声区間の音声信号を削除する。

　これによって、認証解析装置Ｐ１は、感情の高まりによって本人確認の認証に適さない音声信号区間を削除でき、認証の精度を向上することができる。

　次に、図７を参照して音声信号の繰り返し区間を削除する処理を説明する。図７は、実施の形態１に係る音声信号の繰り返し区間を削除する処理を示す図である。

　音声信号波形Ｓｉｇ５は、連結音声信号「はい　やまだ　です　やまだ　たろう　です　はい　おねがいします」である。プロセッサ２１によって音声信号波形Ｓｉｇ５を解析すると「やまだ」、「です」、「はい」が、音声信号波形Ｓｉｇ５の中で繰り返し登場する。プロセッサ２１は、区間Ｓ５「はい　やまだ　です」、区間Ｓ６「たろう」および区間Ｓ７「よろしくおねがいします」を認証に使用することを決定する。一方、プロセッサ２１は、重複内容となる区間Ｓ８「やまだ」および区間Ｓ９「です　はい」は認証に不使用とすることを決定する。プロセッサ２１は、区間Ｓ８、Ｓ９は削除し、区間Ｓ５の音声信号波形Ｓｉｇ６と区間Ｓ６の音声信号波形Ｓｉｇ７と区間Ｓ７の音声信号波形Ｓｉｇ８とを連結して１つの連結音声信号を生成する。つまり、プロセッサ２１は、音声信号を音声認識して、音声信号の音声認識結果のうち発話内容が重複している音声区間を検出し、検出された重複している音声区間の音声信号を削除する。

　これによって、認証解析装置Ｐ１は、音声信号の中で発話内容が重複している区間の音声信号を削除でき、認証の精度を向上することができる。

　次に、図８および図９を参照して、認証状況を表す画面例を説明する。図８は、実施の形態１に係る認証状況を表す第１の画面例を示す図であり、図９は、実施の形態１に係る認証状況を表す第２の画面例を示す図である。なお、これらの画面例は一例であり、これらに限定されないことは言うまでもない。

　ディスプレイＤＰ１は、表示Ｉ／Ｆ２３によって情報表示端末ＤＰに表示される画面例である。ディスプレイＤＰ１に表示される内容は、話者の認証結果候補と本人確認の認証の認証結果信頼度とを少なくとも有する。

　メッセージＭｓｇ１は、本人確認の認証において、登録話者データベースＤＢの中に格納されたユーザ情報の中で今一番ユーザＵＳに近い人物の情報を表示する。例えば、メッセージＭｓｇ１に表示される内容は、候補者情報欄ＭＮ１の人物写真、名前、性別、住所または電話番号である。なお、メッセージＭｓｇ１に表示される内容は一例でありこれらに限定されない。

　認証結果候補欄ＭＮ２は、本人確認の認証結果の候補を表示する。認証結果候補欄ＭＮ２は、候補者の名前と各候補者に対するユーザＵＳである確率を一緒に並べて表示してよい。ユーザＵＳである確率は、図８の認証結果候補欄ＭＮ２に示す棒メータでもよいし、百分率でもよい。最もユーザＵＳである確率の高い候補者を上から順に表示してもよいし、かな文字順、アルファベット順でもよいし、オペレータＯＰによって任意に順番を設定できてもよい。

　音声信号表示欄ＭＮ３は、連結音声信号の波形を表示する。音声信号波形Ｓｉｇ９は連結された発話音声信号であり、音声信号の強さを表す波形である。音声信号表示欄ＭＮ３は、音声信号波形Ｓｉｇ９の認証に使用する区間と使用しない区間がわかるように表示する。例えば、図８に示す例では、音声信号波形Ｓｉｇ９の認証に使用する区間Ｓ１０、Ｓ１１、Ｓ１２、Ｓ１３の背景の色を変えて表示する。これによって、音声信号波形Ｓｉｇ９で感情有りの区間および発話内容の繰り返し区間を可視化できる。つまり、表示Ｉ／Ｆ２３は、プロセッサ２１による感情の有無の判定結果を情報表示端末ＤＰに表示させる。オペレータＯＰは、表示Ｉ／Ｆ２３によって表示された判定結果を基に不要な音声区間を選択し、選択した音声区間の音声信号を削除してもよい。

　認証結果信頼度メータＭＮ４は、音声信号波形Ｓｉｇ９の発話音素数および合計秒数のそれぞれの信頼度をメータ表示したものである。

　ボタンＢＴ１は、認証開始／停止ボタンである。これによって、オペレータＯＰがボタンＢＴ１を押下後の発話音声信号から認証を開始することができる。

　図９は、図８に示す認証状況よりも認証が進んだ場合の画面例を表す。

　認証結果候補欄ＭＮ２は、本人確認の認証が進み、リアルタイムの候補者と各候補者のユーザＵＳである確率を表示する。図９に示す認証結果候補欄ＭＮ２は、図８に示す認証結果候補欄ＭＮ２に比べ、ユーザＵＳが「やまだ　たろう」である確率が増加している。これによって、オペレータＯＰはリアルタイムの本人確認の認証結果の候補を知ることができる。

　音声信号表示欄ＭＮ３に表示される音声信号波形Ｓｉｇ１０は、音声信号波形Ｓｉｇ９よりもオペレータＯＰとユーザＵＳの対話が進んだ場合の連結音声信号である。音声信号波形Ｓｉｇ９に対し、音声信号波形Ｓｉｇ１０は区間Ｓ１４の区間の音声信号が認証に使用する音声として追加される。

　認証結果信頼度メータＭＮ４は、音声信号波形Ｓｉｇ１０の発話音種類数および合計秒数のそれぞれの信頼度のメータ表示したものである。音声信号波形Ｓｉｇ１０は、音声信号波形Ｓｉｇ９に対し区間Ｓ１４の区間の音声信号が認証に使用する音声として追加されたことにより、発話音種類数および合計秒数の信頼度が、図８に示す例に比べ増加する。これによってオペレータＯＰは、本人確認の認証においてリアルタイムの発話音素種類数および合計秒数の信頼度を知ることができる。

　図８および図９に係る例のように、表示Ｉ／Ｆ２３は、プロセッサ２１による話者の認証状況が変化するたびに認証状況の表示内容を更新する。

　これによって、認証解析装置Ｐ１は、プロセッサ２１の本人確認の認証結果をリアルタイムで情報表示端末ＤＰに表示させる。これにより、オペレータＯＰは、リアルタイムで本人確認の認証状況を確認でき、オペレータＯＰの作業効率を向上することができる。

　次に、図１０を参照して、認証解析装置の動作手順例を説明する。図１０は、実施の形態１に係る認証解析装置の動作手順例を示すフローチャートである。

　認証解析装置Ｐ１における通信部２０は、オペレータ側通話端末ＯＰ１から送信された音声信号（または音声データ）を取得する（Ｓｔ１１）。

　認証解析装置Ｐ１における表示Ｉ／Ｆ２３は、情報表示端末ＤＰに表示された認証開始ボタンが押下されたか否かの信号を取得する（Ｓｔ１２）。表示Ｉ／Ｆ２３は、認証開始ボタンが押下された旨の信号を取得しなかった場合（Ｓｔ１２、ＮＯ）、ステップＳｔ１１の処理に戻る。表示Ｉ／Ｆ２３は、認証開始ボタンが押下された旨の信号を取得した場合（Ｓｔ１２、ＹＥＳ）、ステップＳｔ１１の処理で、通信部２０が取得した音声信号をプロセッサ２１に出力する。

　プロセッサ２１は、ステップＳｔ１２の処理で認証開始ボタンが押下された信号を表示Ｉ／Ｆ２３が取得したタイミングで、取得された音声信号の音声認証対象であるユーザＵＳの認証を開始する（Ｓｔ１３）。

　プロセッサ２１における発話区間検出部２１Ａは、取得された音声信号から発話区間を検出する（Ｓｔ１４）。

　発話区間検出部２１Ａは、検出された発話区間の情報（例えば、発話区間の開始時刻と終了時刻、文字数、発話音種類数、信号長（発話音声長、発話秒数等）、話速変換前または話速変換後の話速等）の情報をメモリ２２に保存する（Ｓｔ１５）。

　発話区間検出部２１Ａは、現在設定されているユーザ認証処理方法に基づいて、ユーザ認証に使用される１以上の発話音声信号を選択する（Ｓｔ１６）。なお、図１０では図示を省略しているが、認証解析装置Ｐ１は、現在設定されているユーザ認証処理方法に基づいて、ユーザ認証に使用される発話音声信号がないと判定した場合、ステップＳｔ１４の処理に戻って、新たな発話区間を検出してもよい。発話区間検出部２１Ａは、選択した発話音声信号を発話連結部２１Ｂに出力する。

　発話連結部２１Ｂは、選択された１以上の発話音声信号のそれぞれを連結する音声連結処理を実行し、連結音声信号を生成する（Ｓｔ１７）。発話連結部２１Ｂは、生成された連結音声信号を信頼度算出部２１Ｅに出力する。

　信頼度算出部２１Ｅは、ステップＳｔ１７の処理で生成された連結音声信号を用いて信頼度を算出する（Ｓｔ１８）。例えば、ステップＳｔ１８の処理で算出される信頼度は、連結音声信号の合計秒数、発話音種類数の信頼度である。なお、ステップＳｔ１８の処理で算出される信頼度は、これらに限定されない。

　表示Ｉ／Ｆ２３は、ステップＳｔ１８の処理で算出された信頼度を、情報表示端末ＤＰへ表示あるいは表示更新させる（Ｓｔ１９）。

　信頼度算出部２１Ｅは、ステップＳｔ１８の処理で算出された信頼度が、予め定められた閾値以上であるか否かを判定する（Ｓｔ２０）。ステップＳｔ２０の処理で、信頼度が閾値未満であった場合（Ｓｔ２０、ＮＯ）、認証解析装置Ｐ１は、本人確認の認証を継続するか否かを判定する（Ｓｔ２１）。信頼度算出部２１Ｅは、本人確認の認証を継続するか否かの判定として、例えば現在の認証回数が予め定められた認証回数の上限値未満であると判定した場合（Ｓｔ２１、ＹＥＳ）、プロセッサ２１の処理はステップＳｔ１４の処理に戻る。信頼度算出部２１Ｅは、本人確認の認証を継続するか否かの判定として、例えば現在の認証回数が予め定められた認証回数の上限値以上であると判定した場合（Ｓｔ２１、ＮＯ）、取得された音声信号に基づいて、ユーザ認証失敗と判定する（Ｓｔ２２）。表示Ｉ／Ｆ２３は、ユーザ認証失敗の旨を通知する認証結果画面を生成し情報表示端末ＤＰへ出力する。情報表示端末ＤＰは、認証解析装置Ｐ１から送信された認証結果画面を出力（表示）する。

　一方、ステップＳｔ２０の処理で、信頼度が閾値以上であった場合（Ｓｔ２０、ＹＥＳ）、信頼度算出部２１Ｅは連結音声信号を特徴量抽出部２１Ｃに出力する。特徴量抽出部２１Ｃは、信頼度算出部２１Ｅから出力された連結音声信号からユーザＵＳ個人の発話特徴量を抽出する（Ｓｔ２３）。特徴量抽出部２１Ｃは、抽出されたユーザＵＳ個人の発話特徴量を類似度計算部２１Ｄに出力する。

　類似度計算部２１Ｄは、登録話者データベースＤＢに登録された複数のユーザのそれぞれの発話特徴量を参照し、特徴量抽出部２１Ｃから出力されたユーザＵＳ個人の発話特徴量と、登録話者データベースＤＢに登録された複数のユーザのそれぞれの発話特徴量との類似度を算出する（Ｓｔ２４）。

　類似度計算部２１Ｄは、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が閾値以上であるユーザがいるか否かを判定する（Ｓｔ２５）。

　類似度計算部２１Ｄは、ステップＳｔ２５の処理において、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が閾値以上であるユーザがいると判定した場合（Ｓｔ２５，ＹＥＳ）、このユーザが音声信号のユーザＵＳであると判定する（Ｓｔ２６）。なお、類似度計算部２１Ｄは、類似度が閾値以上であるユーザが複数いると判定した場合、類似度が最も高いユーザを音声信号のユーザＵＳであると判定してよい。

　類似度計算部２１Ｄは、ユーザが特定されたと判定した場合、特定されたユーザに関する情報（つまり、認証結果）を表示Ｉ／Ｆ２３に出力して、表示Ｉ／Ｆ２３は類似度計算部２１Ｄによって出力された情報を基に認証結果画面ＳＣを生成して、情報表示端末ＤＰに出力する（Ｓｔ２７）。

　一方、類似度計算部２１Ｄは、ステップＳｔ２５の処理において、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が閾値以上であるユーザがいないと判定した場合（Ｓｔ２５，ＮＯ）、本人確認の認証を継続するか否かの判定として、例えば現在のユーザ認証処理回数が設定された上限回数以上であるか否かを判定する（Ｓｔ２１）。

　類似度計算部２１Ｄは、ステップＳｔ２１の処理において、本人確認の認証を継続するか否かの判定として、例えば現在の認証回数が予め定められた認証回数の上限値以上であると判定した場合（Ｓｔ２１、ＮＯ）、取得された音声信号に基づいて、ユーザ認証失敗と判定する（Ｓｔ２２）。表示Ｉ／Ｆ２３はユーザ認証失敗の旨を通知する認証結果画面を生成し情報表示端末ＤＰへ出力する。情報表示端末ＤＰは、認証解析装置Ｐ１から送信された認証結果画面を出力（表示）する。

　類似度計算部２１Ｄは、現在の認証回数が予め定められた認証回数の上限値未満であると判定した場合（Ｓｔ２１、ＹＥＳ）、ステップＳｔ１４の処理に戻る。

　以上により、実施の形態１に係る認証解析装置Ｐ１は、所定のユーザ認証処理方法によって、ユーザ認証処理により適した発話音声信号を用いてユーザ認証処理を実行できる。これにより、実施の形態１に係る認証解析装置Ｐ１は、ユーザ認証精度を向上させることができる。

　以上により、実施の形態１に係る認証解析装置Ｐ１は、話者の発話音声の音声信号を取得して検出する発話区間検出部２１Ａと、登録話者データベースＤＢとの照合に基づいて、話者が本人であるか否かを認証するプロセッサ２１と、プロセッサ２１の認証結果に基づき話者が本人であるか否かを示す認証状況を情報表示端末ＤＰに表示させる表示Ｉ／Ｆ２３と、を備え、表示Ｉ／Ｆ２３は、プロセッサ２１による話者の認証状況が変化するたびに認証状況の表示内容を更新する。

　これにより、認証解析装置Ｐ１は、プロセッサ２１の本人確認の認証結果をリアルタイムで情報表示端末ＤＰに表示させる。これにより、オペレータＯＰは、リアルタイムで本人確認の認証状況を確認でき、オペレータＯＰの作業効率を向上することができる。

　また、実施の形態１に係るプロセッサ２１は、音声信号の合計時間および音声信号に含まれる音数を算出し、合計時間および音種類数の算出結果と予め定められた判定基準とに基づいて合計時間に基づく第１の信頼度および音種類数に基づく第２の信頼度を判定する。これにより、話者の本人確認の認証結果の信頼度を算出し、その信頼度をリアルタイムでオペレータＯＰに通知するため、オペレータＯＰは、話者の認証完了のタイミングを予測することができ、オペレータＯＰの作業効率を向上することができる。

　また、実施の形態１に係るプロセッサ２１は、第１の信頼度と第２の信頼度とのうち、いずれか高い方を音声信号に対応する信頼度として決定する。これにより、第１の信頼度と第２の信頼度とのうち、いずれか一方の信頼度が予め定められた判定基準を満たせば信頼度判定完了とできるため、話者の認証完了までの時間を短縮できる。

　また、実施の形態１に係るプロセッサ２１は、第１の信頼度と第２の信頼度とのうち、いずれか信頼度が低い方を音声信号に対応する信頼度として決定する。これにより、第１の信頼度と第２の信頼度との両方の信頼度が予め定められた判定基準を満たすことで信頼度判定完了となるため、認証精度を向上することができる。

　また、実施の形態１に係るプロセッサ２１は、情報表示端末ＤＰに表示された認証開始ボタンが押された旨の信号を取得した場合、信号の取得後に入力された音声信号から認証を開始する。これにより、話者の本人確認の認証開始をオペレータＯＰの操作でできるため、オペレータＯＰがユーザＵＳへの認証を開始する前に開始する旨を伝えることができる。また、オペレータＯＰの判断で認証が必要ない場合に認証をしないようにできる。

　また、実施の形態１に係る認証解析装置Ｐ１は、音声信号に基づいて、話者の会話時の感情の強さを検出する感情識別器２４、をさらに備え、プロセッサ２１は、感情の強さの検出結果が予め定められた閾値以上であるか否かを判定し、感情の強さが予め定められた閾値以上となった音声区間の音声信号を削除する。これにより、認証解析装置Ｐ１は、本人確認の認証に適さない音声区間を検出し、削除することで認証精度を向上することができる。

　また、実施の形態１に係る認証解析装置Ｐ１は、音声信号に基づいて、話者の会話時の感情の強さを検出する感情識別器２４、をさらに備え、プロセッサ２１は、感情の強さの検出結果が予め定められた閾値以上であるか否かを判定し、表示Ｉ／Ｆ２３は、判定の結果を情報表示端末ＤＰに表示させ、表示Ｉ／Ｆ２３によって表示された判定の結果へのユーザ操作により選択された音声区間の音声信号を削除する。これによって、オペレータＯＰは、検出された本人確認の認証に適さない音声区間を任意に削除することができ、認証精度を向上することができる。

　また、実施の形態１に係るプロセッサ２１は、音声信号を音声認識して、音声信号の音声認識結果のうち発話内容が重複している音声区間を検出し、検出された重複している音声区間の音声信号を削除する。これによって、認証解析装置Ｐ１は、発話音声信号および連結音声信号の中で重複している発話内容の音声区間を削除することで、本人確認の認証を効率化することができる。

　また、実施の形態１に係る認証状況の表示内容は、話者の認証結果候補と認証の認証結果信頼度とを少なくとも有する。これによって、オペレータＯＰはリアルタイムで本人確認の認証状況を確認でき、オペレータＯＰの作業効率を向上することができる。

　（実施の形態２に至る経緯）
　特許文献１では、オペレータの顧客の本人確認作業で、予め決められた確認項目をオペレータ端末に表示するだけの作業である。この本人確認作業では、得られた音声信号の合計時間が短くなってしまう、得られた音声信号の音素に偏りが生じる、といったことがあった。そのため、本人確認の認証精度が悪いという問題があった。

　そこで、以下の実施の形態２では、オペレータが顧客の本人確認の認証を高精度に行うことができる認証装置および認証方法の例を説明する。なお、以下の説明において、実施の形態１と同一の構成要素については同一の符合を用いることで、その説明を省略する。

　（実施の形態２）
　図１１を参照して、認証解析装置の内部構成例について説明する。図１１は、実施の形態２に係る認証解析装置の内部構成例を示すブロック図である。認証解析装置Ｐ２は、通信部２０と、プロセッサ２１Ｈと、メモリ２２Ｈと、を少なくとも含んで構成される。実施の形態２では、メモリ２２Ｈは、実施の形態１と比べて質問例文データ保持部２２Ｃをさらに有する。

　プロセッサ２１Ｈは、メモリ２２ＨのＲＯＭ２２Ａに記憶されたプログラムおよびデータを用いることで、発話区間検出部２１Ａ、発話連結部２１Ｂ、特徴量抽出部２１Ｃ、類似度計算部２１Ｄ、音素解析部２１Ｆおよび例文選択部２１Ｇのそれぞれの機能を実現する。プロセッサ２１Ｈは、動作中にメモリ２２ＨのＲＡＭ２２Ｂを使用し、プロセッサ２１Ｈおよび各部が生成あるいは取得したデータもしくは情報をメモリ２２ＨのＲＡＭ２２Ｂに一時的に保存する。

　認証部の一例としての例文選択部２１Ｇは、質問例文データ保持部２２Ｃに保持された複数の質問例文の中から、情報表示端末ＤＰに表示する質問例文を選択する。例文選択部２１Ｇは、本人確認の認証の精度を向上させるために、適切な質問例文を選択して情報表示端末ＤＰに表示する。例文選択部２１Ｇは、認証開始直後に質問例文を選択して情報表示端末ＤＰに表示してもよい。また、例文選択部２１Ｇは、認証が進み、類似度計算部２１Ｄによって発話音声信号または連結音声信号の類似度が閾値以下と判定されたタイミングで質問例文を選択して情報表示端末ＤＰに表示してもよい。また、例文選択部２１Ｇは、認証が進み、音素解析部２１Ｆの解析結果を基に、質問例文を選択して情報表示端末ＤＰに表示してもよい。

　認証部の一例としての質問例文データ保持部２２Ｃは、例文選択部２１Ｇが選択し情報表示端末ＤＰに表示する質問例文のデータを保持する。質問例文データ保持部２２Ｃは、プロセッサ２１Ｈによる話者の認証に用いる音声信号を取得するための質問を質問例文として複数保持する。質問例文データ保持部２２Ｃは、メモリ２２Ｈの中に設けられてもよいし、認証解析装置Ｐ２の外部にあり認証解析装置Ｐ２とデータ通信可能に接続してもよい。

　認証部の一例としての音素解析部２１Ｆは、発話区間検出部２１Ａにより検出された話者の音声信号に含まれる音素を抽出する。ここで、実施の形態２に係る音素解析部２１Ｆで算出される音素の定義について説明する。例えば、発話音声信号が「やまだたろうです」である場合、これに対応する音素は「ｙ　ａ　ｍ　ａ　ｄ　ａ　ｔ　ａ　ｒ　ｏ　ｕ　ｄ　ｅ　ｓ　ｕ」となる。つまり、実施の形態２では発話音素数を、「ｙ」、「ａ」のように子音と母音とをそれぞれ１音素として定義する。

　次に、図１２を参照して、質問例を説明する。図１２は、実施の形態２に係る質問例を示す図である。

　テーブルＴＢＬ３は、「名前」および「会員番号」以外の質問例文の項目の一例である。テーブルＴＢＬ３に示した質問例文の項目として、「住所」、「電話番号」、「生年月日」、「電話手続用パスワード」および「かな文字」がある。なお、これらは質問例文の項目の一例であり、これらに限定されないことは言うまでもない。

　テーブルＴＢＬ３の「住所」は、「名前」および「会員番号」よりも発話音素を多く取得できるため、優先順位１の質問例である。

　テーブルＴＢＬ３の「電話番号」は、「住所」より発話音素が少ないが「生年月日」よい発話音素が多いため、優先順位２の質問例である。

　テーブルＴＢＬ３の「生年月日」は、「電話番号」より発話音素が少ないため、優先順位３の質問例である。

　テーブルＴＢＬ３の「電話手続用パスワード」は、「名前」、「会員番号」、「住所」、「電話番号」および「生年月日」の個人情報に含まれない音素を含むパスワードを企業側が事前に発行した質問例である。

　テーブルＴＢＬ３の「かな文字」は、「住所」、「電話番号」および「生年月日」の質問例に対するユーザＵＳの発話音声信号では得られなかった発話音素を追加で引き出すかな文字の質問例である。上記発話音素は、音素解析部２１Ｆによって解析される。例えばか行の発話音素が得られなかった場合、「本人認証のため、「かきくけこ」と発話していただけますか？」、た行の発話音素が得られなかった場合、「本人認証のため、「たちつてと」と発話していただけますか？」という質問例文となる。

　このように、質問例文は、住所、電話番号、生年月日および話者の個人情報に含まれない音素を含むパスワードまたはかな文字のうち少なくとも１つを話者に回答させる質問文である。

　次に、図１３を参照して、情報端末装置に表示される質問例文を説明する。図１３は、実施の形態２に係る情報端末装置に表示される質問例文を示す図である。

　質問画面Ｍｓｇ２は、情報表示端末ＤＰに表示される質問例文の画面の一例である。質問画面Ｍｓｇ２に係る質問例文は、例文選択部２１Ｇによって選択される。なお、質問画面Ｍｓｇ２は、これに限定されない。

　質問画面Ｍｓｇ２は、優先順位１の質問例文として「ご登録のご住所をお聞かせいただけますでしょうか？」と表示する。質問画面Ｍｓｇ２は、優先順位２の質問例文として「ご登録のお電話番号はお聞かせいただけますでしょうか？」と表示する。質問画面Ｍｓｇ２は、優先順位３の質問例文として「お客様のご生年月日をお聞かせいただけますでしょうか？」と表示する。質問画面Ｍｓｇ２は、優先順位４の質問例文として「本人認証のため、電話手続用パスワードをお聞かせいただけますでしょうか？」と表示する。質問画面Ｍｓｇ２は、優先順位５の質問例文として「本人認証のため、「かきくけこ」と発話していただけますか？（か行）」と表示する。

　質問画面Ｍｓｇ２は、複数の質問例文を一度に表示してもよいし、最も優先順位の高い質問例文のみを表示してもよい。

　このように、表示Ｉ／Ｆ２３は例文選択部２１Ｇによって選択された質問例文を情報表示端末ＤＰに表示させる。

　次に、図１４を参照して、音素解析部によって算出された各発話音素数と閾値の関係を説明する。図１４は、実施の形態２に係る各音素数と閾値との関係を示す図である。

　グラフＧｒ１は、音素解析部２１Ｆによって算出された各発話音素の発話音素数を棒グラフで表した図である。グラフＧｒ１では、予め定められた閾値と、閾値を下回る発話音素とを示している。グラフＧｒ１では、発話音素Ｌ１「ｋ」、発話音素Ｌ２「ｔ」、発話音素Ｌ３「ｒ」、発話音素Ｌ４「ｊ」が、閾値以下の発話音素数となる発話音素である。発話音素Ｌ１、Ｌ２、Ｌ３、Ｌ４に基づき、例文選択部２１Ｇは、質問例文を選択してもよい。例えば、例文選択部２１Ｇは、ユーザが発話した際の発話音声信号から発話音素Ｌ１、Ｌ２、Ｌ３、Ｌ４のうち少なくとも１つが収集可能となる質問例文を質問例文データ保持部２２Ｃから選択してもよい。また、グラフＧｒ１は、音素解析部２１Ｆによって算出された各発話音素の発話音素数をアルファベット順に並べてもよいし、発話音素数順に並べてもよい。また、グラフＧｒ１は発話音声信号もしくは連結音声信号に含まれる発話音素のみを表示しているが、含まれない発話音素も表示してもよい。

　これにより、例文選択部２１Ｇは、音素解析部２１Ｆにより抽出された発話音素に基づき、発話音声信号もしくは連結音声信号に含まれない発話音素を含む発話を促す質問例文を選択する。また、例文選択部２１Ｇは、音素解析部２１Ｆにより抽出された発話音素それぞれの発話音素数に基づき、発話音素数が予め定められた閾値よりも少ない発話音素を含む質問例文を選択する。

　次に、図１５を参照して、認証開始直後に質問例文を表示する場合の認証解析装置の動作手順を説明する。図１５は実施の形態２に係る認証開始直後に質問例を表示する場合の認証解析装置の動作手順例を示すフローチャートである。

　認証解析装置Ｐ２における通信部２０は、オペレータ側通話端末ＯＰ１から送信された音声信号（または音声データ）を取得する（Ｓｔ３１）。

　認証解析装置Ｐ２における表示Ｉ／Ｆ２３は、情報表示端末ＤＰに表示された認証開始ボタンが押下されたか否かの信号を取得する（Ｓｔ３２）。表示Ｉ／Ｆ２３は、認証開始ボタンが押下された旨の信号を取得しなかった場合（Ｓｔ３２、ＮＯ）、ステップＳｔ３１の処理に戻る。表示Ｉ／Ｆ２３は、認証開始ボタンが押下された旨の信号を取得した場合（Ｓｔ３２、ＹＥＳ）、ステップＳｔ３１の処理で、通信部２０が取得した音声信号をプロセッサ２１Ｈに出力する。

　プロセッサ２１Ｈは、ステップＳｔ３２の処理で認証開始ボタンが押下された信号を表示Ｉ／Ｆ２３が取得したタイミングで、取得された音声信号の音声認証対象であるユーザＵＳの認証を開始する（Ｓｔ３３）。

　例文選択部２１Ｇは、質問例文を質問例文データ保持部２２Ｃから取得し、情報表示端末ＤＰに表示させる質問例文を選択する。例文選択部２１Ｇは、選択した質問例文の内容を含む信号を表示Ｉ／Ｆ２３に送信する。表示Ｉ／Ｆ２３は、選択された質問例文の内容を含む信号を取得した場合、例文選択部２１Ｇによって選択された質問例文を認証開始直後に表示させる（Ｓｔ３４）。

　プロセッサ２１Ｈにおける発話区間検出部２１Ａは、取得された音声信号から発話区間を検出する（Ｓｔ１４）。

　発話区間検出部２１Ａは、検出された発話区間の情報（例えば、発話区間の開始時刻と終了時刻、文字数、発話音素数、信号長（発話音声長、発話秒数等）、話速変換前または話速変換後の話速等）の情報をメモリ２２Ｈに保存する（Ｓｔ３６）。

　発話区間検出部２１Ａは、現在設定されているユーザ認証処理方法に基づいて、ユーザ認証に使用される１以上の発話音声信号を選択する（Ｓｔ３７）。なお、図１０では図示を省略しているが、認証解析装置Ｐ２は、現在設定されているユーザ認証処理方法に基づいて、ユーザ認証に使用される発話音声信号がないと判定した場合、ステップＳｔ３５の処理に戻って、新たな発話区間を検出してもよい。発話区間検出部２１Ａは、選択した発話音声信号を音素解析部２１Ｆに出力する。

　音素解析部２１Ｆは、ステップＳｔ３７の処理で選択された発話音声信号の発話音素を解析する処理を実行する（Ｓｔ３８）。音素解析部２１Ｆは、解析した発話音声信号を、発話連結部２１Ｂに出力する。

　発話連結部２１Ｂは、選択された１以上の発話音声信号のそれぞれを連結する音声連結処理を実行し、連結音声信号を生成する（Ｓｔ３９）。発話連結部２１Ｂは、生成された連結音声信号を類似度計算部２１Ｄに出力する。

　類似度計算部２１Ｄは、質問例文に対して話者が回答した発話音声信号と登録話者データベースＤＢに登録された発話音声信号との類似度を算出する（Ｓｔ４０）。なお、図１５では図示を省略しているが、発話連結部２１ＢはステップＳｔ３９の処理で生成された連結音声信号を特徴量抽出部２１Ｃに出力してもよい。つまり、類似度計算部２１Ｄは、複数のユーザのそれぞれの発話特徴量を参照し、特徴量抽出部２１Ｃから出力されたユーザＵＳ個人の発話特徴量と、登録話者データベースＤＢに登録された複数のユーザのそれぞれの発話特徴量との類似度を算出してもよい。なお、類似度計算部２１Ｄは、登録話者データベースＤＢに登録された複数のユーザのそれぞれの発話特徴量に代えて、登録話者データベースＤＢに登録された特定のユーザの発話特徴量との類似度を算出してもよい。

　類似度計算部２１Ｄは、算出された類似度を含む信号を表示Ｉ／Ｆ２３に送信する。表示Ｉ／Ｆ２３は、類似度を含む信号を受信した場合、情報表示端末ＤＰに算出された類似度の結果を表示させる（Ｓｔ４１）。

　類似度計算部２１Ｄは、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が予め定められた閾値以上であるユーザがいるか否かを判定する（Ｓｔ４２）。

　類似度計算部２１Ｄは、ステップＳｔ４２の処理において、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が閾値以上であるユーザがいると判定した場合（Ｓｔ４２，ＹＥＳ）、このユーザが音声信号のユーザＵＳであると判定する（Ｓｔ４５）。なお、類似度計算部２１Ｄは、類似度が閾値以上であるユーザが複数いると判定した場合、類似度が最も高いユーザを音声信号のユーザＵＳであると判定してよい。

　類似度計算部２１Ｄは、ユーザが特定されたと判定した場合、特定されたユーザに関する情報（つまり、認証結果）を表示Ｉ／Ｆ２３に出力して、表示Ｉ／Ｆ２３は類似度計算部２１Ｄによって出力された情報を基に認証結果画面ＳＣを生成して、情報表示端末ＤＰに出力する（Ｓｔ４６）。

　一方、類似度計算部２１Ｄは、ステップＳｔ４２の処理において、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が閾値以上であるユーザがいないと判定した場合（Ｓｔ４２，ＮＯ）、類似度計算部２１Ｄは、本人確認の認証を継続するか否かを判定する（Ｓｔ４３）。

　類似度計算部２１Ｄは、ステップＳｔ４３の処理において、本人確認の認証を継続するか否かの判定として、例えば現在の認証回数が予め定められた認証回数の上限値以上であると判定した場合（Ｓｔ４３、ＮＯ）、取得された音声信号に基づいて、ユーザ認証失敗と判定する（Ｓｔ４４）。表示Ｉ／Ｆ２３はユーザ認証失敗の旨を通知する認証結果画面を生成し情報表示端末ＤＰへ出力する。情報表示端末ＤＰは、認証解析装置Ｐ２から送信された認証結果画面を出力（表示）する（Ｓｔ４６）。

　類似度計算部２１Ｄは、本人確認の認証を継続するか否かの判定として、例えば現在の認証回数が予め定められた認証回数の上限値未満であると判定した場合（Ｓｔ４３、ＹＥＳ）、ステップＳｔ３４の処理に戻る。

　次に、図１６を参照して、質問例文表示機能がオフの場合の画面例を説明する。図１６は、実施の形態２に係る質問例文表示機能がオフの場合の画面例を示す図である。

　ディスプレイＤＰ２は、オペレータＯＰに表示される認証状況を表す画面の一例である。

　情報ＩＦ１は、認証結果の候補者の個人情報を表示する。個人情報は、名前、電話番号、住所または会員番号である。なお、個人情報はこれらに限定されない。また、情報ＩＦ１は、認証結果の第一候補者を表示してもよいし、複数の候補者を表示してもよい。情報ＩＦ２は、認証結果の候補者の顔写真を表示する。

　認証結果候補欄ＭＮ５は、本人確認の認証結果の候補を表示する。認証結果候補欄ＭＮ５は、候補者の名前と各候補者に対するユーザＵＳである確率を一緒に表示してよい。ユーザＵＳである確率は、図８の認証結果候補欄ＭＮ５に示す棒メータでもよいし、百分率でもよい。認証結果候補欄ＭＮ５は、最もユーザＵＳである確率の高い候補者を上から順に表示してもよいし、候補者をかな文字順、アルファベット順でもよいし、オペレータＯＰによって任意に候補者の順番を設定されてもよい。

　質問例文表示欄ＭＮ６は、例文選択部２１Ｇによって選択された質問例文を表示する。図１６に係る例では、質問例文表示機能がオフであるため質問例文は質問例文表示欄ＭＮ６に表示されない。

　音声信号表示欄ＭＮ７は、リアルタイムの連結音声信号の波形を表示する。音素解析部２１Ｆが連結音声信号の発話音素を解析している場合、音声信号表示欄ＭＮ７に「音素解析中」と表示してもよい。

　ボタンＢＴ２は、認証開始／停止ボタンである。オペレータＯＰは、ボタンＢＴ２を押下することで、本人確認の認証開始と停止を操作することができる。

　ボタンＢＴ３は、質問例文表示機能のオン／オフを指示するボタンである。オペレータＯＰは、ボタンＢＴ３を押下することで、質問例文表示欄ＭＮ６に質問例文を表示させるか否かを操作することができる。

　情報ＩＦ３は、リアルタイムの発話音素数、発話長（つまり、合計時間）および発話区間数を表示する。

　次に、図１７を参照して、質問例文表示機能がオンの場合の画面例を説明する。図１７は、実施の形態２に係る質問例文表示機能がオンの場合の画面例を示す図である。なお、図１６と重複する部分については説明を省略する。

　オペレータＯＰが、ボタンＢＴ３を押下し質問例文表示機能がオンになっている場合、質問例文表示欄ＭＮ６に例文選択部２１Ｇによって選択された質問例文が表示される。質問例文表示欄ＭＮ６には、例えば「質問例：本人認証のため、「かきくけこ」と発話していただけますか？（か行）」と表示される。

　なお、図１６および図１７に係る画面例は一例であり、これらに限定されない。

　次に、図１８を参照して、本人確認の認証の途中で質問例文を表示する場合の認証解析装置の動作手順を説明する。図１８は、実施の形態２に係る本人確認の認証の途中で質問例文を表示する場合の認証解析装置の動作手順例を示すフローチャートである。

　認証解析装置Ｐ２における通信部２０は、オペレータ側通話端末ＯＰ１から送信された音声信号（または音声データ）を取得する（Ｓｔ５１）。

　認証解析装置Ｐ２における表示Ｉ／Ｆ２３は、情報表示端末ＤＰに表示された認証開始ボタンが押下されたか否かの信号を取得する（Ｓｔ５２）。表示Ｉ／Ｆ２３は、認証開始ボタンが押下された旨の信号を取得しなかった場合（Ｓｔ５２、ＮＯ）、ステップＳｔ５１の処理に戻る。表示Ｉ／Ｆ２３は、認証開始ボタンが押下された旨の信号を取得した場合（Ｓｔ５２、ＹＥＳ）、ステップＳｔ５１の処理で、通信部２０が取得した音声信号をプロセッサ２１に出力する。

　プロセッサ２１Ｈは、ステップＳｔ３２の処理で認証開始ボタンが押下された信号を表示Ｉ／Ｆ２３が取得したタイミングで、取得された音声信号の音声認証対象であるユーザＵＳの認証を開始する（Ｓｔ５３）。

　プロセッサ２１Ｈにおける発話区間検出部２１Ａは、取得された音声信号から発話区間を検出する（Ｓｔ５４）。

　発話区間検出部２１Ａは、検出された発話区間の情報（例えば、発話区間の開始時刻と終了時刻、文字数、発話音素数、信号長（発話音声長、発話秒数等）、話速変換前または話速変換後の話速等）の情報をメモリ２２Ｈに保存する（Ｓｔ５５）。

　発話区間検出部２１Ａは、現在設定されているユーザ認証処理方法に基づいて、ユーザ認証に使用される１以上の発話音声信号を選択する（Ｓｔ５６）。なお、図１０では図示を省略しているが、認証解析装置Ｐ２は、現在設定されているユーザ認証処理方法に基づいて、ユーザ認証に使用される発話音声信号がないと判定した場合、ステップＳｔ５４の処理に戻って、新たな発話区間を検出してもよい。発話区間検出部２１Ａは、選択した発話音声信号を音素解析部２１Ｆに出力する。

　音素解析部２１Ｆは、ステップＳｔ５６の処理で選択された発話音声信号の発話音素を解析する処理を実行する（Ｓｔ５７）。音素解析部２１Ｆは、解析した発話音声信号を、発話連結部２１Ｂに出力する。

　発話連結部２１Ｂは、選択された１以上の発話音声信号のそれぞれを連結する音声連結処理を実行し、連結音声信号を生成する（Ｓｔ５８）。発話連結部２１Ｂは、生成された連結音声信号を類似度計算部２１Ｄに出力する。

　類似度計算部２１Ｄは、質問例文に対して話者が回答した発話音声信号と登録話者データベースＤＢに登録された発話音声信号との類似度を算出する（Ｓｔ５９）。なお、図１６では図示を省略しているが、発話連結部２１ＢはステップＳｔ３９の処理で生成された連結音声信号を特徴量抽出部２１Ｃに出力してもよい。つまり、類似度計算部２１Ｄは、複数のユーザのそれぞれの発話特徴量を参照し、特徴量抽出部２１Ｃから出力されたユーザＵＳ個人の発話特徴量と、登録話者データベースＤＢに登録された複数のユーザのそれぞれの発話特徴量との類似度を算出してもよい。

　類似度計算部２１Ｄは、算出された類似度を含む信号を表示Ｉ／Ｆ２３に送信する。表示Ｉ／Ｆ２３は、類似度を含む信号を取得した場合、情報表示端末ＤＰに算出された類似度の結果を表示させる（Ｓｔ６０）。

　類似度計算部２１Ｄは、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が予め定められた閾値以上であるユーザがいるか否かを判定する（Ｓｔ６１）。

　類似度計算部２１Ｄは、ステップＳｔ６１の処理において、登録話者データベースＤＢ登録された複数のユーザのうち算出された類似度が閾値以上であるユーザがいると判定した場合（Ｓｔ６１，ＹＥＳ）、このユーザが音声信号のユーザＵＳであると判定する（Ｓｔ６２）。なお、類似度計算部２１Ｄは、類似度が閾値以上であるユーザが複数いると判定した場合、類似度が最も高いユーザを音声信号のユーザＵＳであると判定してよい。

　類似度計算部２１Ｄは、ユーザが特定されたと判定した場合、特定されたユーザに関する情報（つまり、認証結果）を表示Ｉ／Ｆ２３に出力して、表示Ｉ／Ｆ２３は、類似度計算部２１Ｄによって出力された情報を基に認証結果画面ＳＣを生成して、情報表示端末ＤＰに出力する（Ｓｔ６３）。

　一方、類似度計算部２１Ｄは、ステップＳｔ６１の処理において、登録話者データベースＤＢに登録された複数のユーザのうち算出された類似度が閾値以上であるユーザがいないと判定した場合（Ｓｔ６１，ＮＯ）、類似度計算部２１Ｄは、本人確認の認証を継続する（Ｓｔ６４）。

　類似度計算部２１Ｄは、ステップＳｔ２１の処理において、本人確認の認証を継続するか否かの判定として、例えば現在の認証回数が予め定められた認証回数の上限値以上であると判定した場合（Ｓｔ６４、ＮＯ）、取得された音声信号に基づいて、ユーザ認証失敗と判定する（Ｓｔ６５）。表示Ｉ／Ｆ２３はユーザ認証失敗の旨を通知する認証結果画面を生成し情報表示端末ＤＰへ出力する。情報表示端末ＤＰは、認証解析装置Ｐ２から送信された認証結果画面を出力（表示）する（Ｓｔ６３）。

　類似度計算部２１Ｄは、本人確認の認証を継続するか否かの判定として、例えば現在の認証回数が予め定められた認証回数の上限値未満であると判定した場合（Ｓｔ６４、ＹＥＳ）、類似度計算部２１Ｄは、判定結果を例文選択部２１Ｇに出力する。例文選択部２１Ｇは、質問例文を表示させるか否かの判定を行う（Ｓｔ６６）。質問例文を表示させるか否かの判定は、類似度計算部２１Ｄによって行われてもよいし、例文選択部２１Ｇによって、発話音素数もしくは類似度に関する予め定められた閾値に対して行われてもよいし、オペレータＯＰが情報表示端末ＤＰに表示された質問例文を表示させるか否かのボタンを押下されたか否かによって行われてもよい。

　例文選択部２１Ｇは、質問例文表示が不要と判定した場合（Ｓｔ６６、不要）、ステップＳｔ５４の処理に戻る。例文選択部２１Ｇは、質問例文表示が必要と判定した場合（Ｓｔ６６、要）、判定結果を表示Ｉ／Ｆ２３に出力する。表示Ｉ／Ｆ２３は、情報表示端末ＤＰに質問例文を表示させ（Ｓｔ６７）、ステップＳｔ５４の処理に戻る。

　これにより、図１８に係る認証解析装置Ｐ２の動作手順例では、プロセッサ２１Ｈは、認証開始後に取得された発話音声信号と登録話者データベースＤＢに登録された音声信号との類似度を算出する。プロセッサ２１Ｈは、類似度が予め定められた閾値以下であった場合、質問例文の表示が必要か否かの判定を行う。表示Ｉ／Ｆ２３は、プロセッサ２１Ｈによって質問例文の表示が必要であるとの判定結果を取得した場合、例文選択部２１Ｇによって選択された質問例文を情報表示端末ＤＰに表示させる。

　以上により、実施の形態２に係る認証解析装置Ｐ２は、話者の発話音声の音声信号を取得して検出する発話区間検出部２１Ａと、登録話者データベースＤＢとの照合に基づいて、話者が本人であるか否かを認証するプロセッサ２１Ｈと、プロセッサ２１Ｈによる話者の認証に用いる音声信号を取得するための質問を質問例文として複数保持する質問例文データ保持部２２Ｃと、話者に対する質問例文を情報表示端末ＤＰに表示させる表示インターフェース２３と、質問例文データ保持部２２Ｃに保持された複数の質問例文の中から情報表示端末ＤＰに表示する質問例文を選択する例文選択部２１Ｇと、を備える。

　これにより、認証解析装置Ｐ２は、話者の本人確認の認証に必要な音声信号を取得するために質問例文を選択し情報表示端末ＤＰに表示させることができる。これによって、オペレータＯＰが顧客の本人確認の認証を高精度に行うことができる。

　また、実施の形態２に係る認証解析装置Ｐ２は、発話区間検出部２１Ａにより検出された話者の音声信号に含まれる発話音素を抽出する音素解析部２１Ｆ、をさらに備える。例文選択部２１Ｇは、音素解析部２１Ｆにより抽出された発話音素に基づき、音声信号に含まれない発話音素を含む発話を促す質問例文を選択する。これにより、認証解析装置Ｐ２は、未収音の発話音素を引き出すための質問例文を選択することができる。これにより、オペレータＯＰは、効率的に話者の本人確認の認証を行うことができる。

　また、実施の形態２に係る表示Ｉ／Ｆ２３は、例文選択部２１Ｇによって選択された質問例文を情報表示端末ＤＰに表示させる。これにより、オペレータＯＰが未収音の発話音素を引き出すための質問例文を顧客に質問することができ、顧客の本人確認の認証を高精度に行うことができる。

　また、実施の形態２に係る表示Ｉ／Ｆ２３は、例文選択部２１Ｇによって選択された質問例文を認証開始直後に情報表示端末ＤＰに表示させる。プロセッサ２１Ｈは、質問例文に対して話者が回答した発話音声の音声信号と登録話者データベースＤＢに登録された音声信号との類似度を算出し、類似度が予め定められた閾値以上であった場合、話者を認証する。これにより、オペレータＯＰは、スムーズに話者の本人確認の認証に必要な発話音素を引き出す質問例文を話者に質問することができる。これにより、オペレータＯＰは、効率的に話者の本人確認の認証を行うことができる。

　また、実施の形態２に係るプロセッサ２１Ｈは、認証開始後に取得された音声信号と登録話者データベースＤＢに登録された音声信号との類似度を算出し、類似度が予め定められた閾値以下であった場合、質問例文の表示が必要か否かの判定を行う。表示Ｉ／Ｆ２３は、プロセッサ２１Ｈによって質問例文の表示が必要であるとの判定結果を取得した場合、例文選択部２１Ｇによって選択された質問例文を情報表示端末ＤＰに表示させる。これにより、認証解析装置Ｐ２は、本人確認の認証に必要な発話音素を引き出すための質問例文を情報表示端末ＤＰに表示させる。これにより、オペレータＯＰは、顧客の本人確認の認証を高精度に行うことができる。

　また、実施の形態２に係る音素解析部２１Ｆは、抽出された音素それぞれの数を算出する。例文選択部２１Ｇは、発話音素数が予め定められた閾値よりも少ない発話音素を含む質問例文を選択する。これにより、認証解析装置Ｐ２は、収音された発話音素のうち発話音素数が閾値を下回る発話音素を引き出すための質問例文を情報表示端末ＤＰに表示させることができる。これによりオペレータＯＰは、顧客の本人確認の認証を高精度に行うことができる。

　また、実施の形態２に係るプロセッサ２１Ｈは、情報表示端末ＤＰに表示された認証開始ボタンが押された旨の信号を取得した場合、信号の取得後に入力された音声信号から認証を開始する。これにより、話者の本人確認の認証開始をオペレータＯＰの操作でできるため、オペレータＯＰがユーザＵＳへの認証を開始する前に開始する旨を伝えることができる。また、オペレータＯＰの判断で認証が必要ない場合に認証をしないようにできる。

　また、実施の形態２に係る質問例文は、住所、電話番号、生年月日、話者の個人情報に含まれない音素を含むパスワードまたはかな文字のうち少なくとも１つを話者に回答させる質問文である。これにより、認証解析装置Ｐ２は、本人確認の認証に使用する発話音声信号を効率的に取得することができる。これにより、オペレータＯＰは、本人確認の認証を高精度に行うことができ、また、短い時間で高効率に認証を行うことができる。

　以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

　なお、本出願は、２０２１年１２月３日出願の日本特許出願（特願２０２１－１９７２２５）に基づくものであり、その内容は本出願の中に参照として援用される。

　本開示の技術は、オペレータがリアルタイムに顧客の本人確認の認証状況を確認できるようにしオペレータの作業効率の向上を支援し、本人確認の認証を高精度に行うことができる認証装置および認証方法の提供として有用である。

　ＮＷ　ネットワーク
　ＵＰ１　ユーザ側通話端末
　ＯＰ１　オペレータ側通話端末
　ＵＳ　ユーザ
　ＯＰ　オペレータ
　ＣＯＭ１１，ＣＯＭ１２，ＣＯＭ１３，ＣＯＭ１４，ＣＯＭ１５，ＣＯＭ１６，ＣＯＭ１７，ＣＯＭ１８　発話音声
　Ｐ１，Ｐ２　認証解析装置
　ＤＢ　登録話者データベース
　ＤＰ　情報表示端末
　ＳＣ　認証結果画面
　２０　通信部
　２１，２１Ｈ　プロセッサ
　２１Ａ　発話区間検出部
　２１Ｂ　発話連結部
　２１Ｃ　特徴量抽出部
　２１Ｄ　類似度計算部
　２１Ｅ　信頼度算出部
　２１Ｆ　音素解析部
　２１Ｇ　例文選択部
　２２，２２Ｈ　メモリ
　２１Ｊ　音解析部
　２２Ａ　ＲＯＭ
　２２Ｂ　ＲＡＭ
　２２Ｃ　質問例文データ保持部
　２３　表示Ｉ／Ｆ
　２４　感情識別器
　ＴＢＬ１，ＴＢＬ２，ＴＢＬ３　テーブル
　Ｃ１，Ｃ２，Ｃ３　発話内容
　Ｂａ１，Ｂａ２，Ｂａ３，Ｂａ４，Ｂａ５，Ｂａ６　信頼度
　ＵＩ　認証開始ボタン
　Ｗａ１　感情波形
　Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８，Ｓ９，Ｓ１０，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４　区間
　Ｓｉｇ２，Ｓｉｇ３，Ｓｉｇ４，Ｓｉｇ５，Ｓｉｇ６，Ｓｉｇ７，Ｓｉｇ８，Ｓｉｇ９，Ｓｉｇ１０　音声信号波形
　ＤＰ１，ＤＰ２　ディスプレイ
　ＭＮ１　候補者情報欄
　ＭＮ２，ＭＮ５　認証結果候補欄
　ＭＮ３，ＭＮ７　音声信号表示欄
　ＭＮ４　認証結果信頼度メータ
　ＭＮ６　質問例文表示欄
　Ｍｓｇ１　メッセージ
　Ｍｓｇ２　質問画面
　ＢＴ１，ＢＴ２，ＢＴ３
　Ｇｒ１　グラフ
　Ｌ１，Ｌ２，Ｌ３，Ｌ４　音素
　ＩＦ１，ＩＦ２，ＩＦ３　情報

Claims

　話者の発話音声の音声信号を取得して検出する取得部と、
　前記取得部により検出された前記音声信号と、データベースとの照合とに基づいて、前記話者が本人であるか否かを認証する認証部と、
　前記認証部による前記話者の認証に用いる音声信号を取得するための質問を質問例文として複数保持する保持部と、
　前記話者に対する前記質問例文を端末装置に表示させる表示インターフェースと、
　前記保持部に保持された複数の前記質問例文の中から前記端末装置に表示する質問例文を選択する例文選択部と、を備える、
　認証装置。
　前記取得部により検出された前記話者の前記音声信号に含まれる音素を抽出する音素解析部、をさらに備え、
　前記例文選択部は、前記音素解析部により抽出された前記音素に基づき、前記音声信号に含まれない音素を含む発話を促す質問例文を選択する、
　請求項１に記載の認証装置。
　前記表示インターフェースは、前記例文選択部によって選択された前記質問例文を前記端末装置に表示させる、
　請求項２に記載の認証装置。
　前記表示インターフェースは、前記例文選択部によって選択された前記質問例文を認証開始直後に前記端末装置に表示させ、
　前記認証部は、前記質問例文に対して前記話者が回答した発話音声の音声信号と前記データベースに登録された音声信号との類似度を算出し、前記類似度が予め定められた閾値以上であった場合、前記話者を認証する、
　請求項３に記載の認証装置。
　前記認証部は、認証開始後に取得された前記音声信号と前記データベースに登録された音声信号との類似度を算出し、前記類似度が予め定められた閾値以下であった場合、前記質問例文の表示が必要か否かの判定を行い、
　前記表示インターフェースは、前記認証部によって前記質問例文の表示が必要であるとの判定結果を取得した場合、前記例文選択部によって選択された前記質問例文を前記端末装置に表示させる、
　請求項３に記載の認証装置。
　前記音素解析部は、抽出された前記音素それぞれの数を算出し、
　前記例文選択部は、前記数が予め定められた閾値よりも少ない音素を含む質問例文を選択する、
　請求項２に記載の認証装置。
　前記認証部は、前記端末装置に表示された認証開始ボタンが押された旨の信号を取得した場合、前記信号の取得後に入力された前記音声信号から認証を開始する、
　請求項１に記載の認証装置。
　前記質問例文は、住所、電話番号、生年月日、前記話者の個人情報に含まれない音素を含むパスワードまたはかな文字のうち少なくとも１つを前記話者に回答させる質問文である、
　請求項１に記載の認証装置。
　１以上のコンピュータが行う認証方法であって、
　話者の発話音声の音声信号を取得して検出し、
　検出された前記音声信号と、データベースとの照合とに基づいて、前記話者が本人であるか否かを認証し、
　前記話者の認証に用いる音声信号を取得するための質問を質問例文として複数保持し、
　前記話者に対する前記質問例文を端末装置に表示させ、
　保持された複数の質問例文の中から表示する質問例文を選択する、
　認証方法。