WO2022034630A1

WO2022034630A1 - 音声処理装置、音声処理方法、記録媒体、および音声認証システム

Info

Publication number: WO2022034630A1
Application number: PCT/JP2020/030542
Authority: WO
Inventors: 仁山本
Original assignee: 日本電気株式会社
Priority date: 2020-08-11
Filing date: 2020-08-11
Publication date: 2022-02-17
Also published as: JPWO2022034630A1; US20230317085A1

Abstract

照合される音声データ同士の間で語句が部分的に相違する場合であっても、高精度に話者照合することを実現する。音響特徴抽出部（１３０）は、音声データから、発話に係る特徴を示す音響特徴を抽出し、音素識別部（１１０）は、音響特徴に基づいて、音声データに含まれる音素を識別し、第１話者識別用特徴生成部（１４０）は、音響特徴、および、音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成し、第２話者識別用特徴生成部（１５０）は、２つ以上の音素についての第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する。

Description

音声処理装置、音声処理方法、記録媒体、および音声認証システム

　本発明は、音声処理装置、音声処理方法、記録媒体、および音声認証システムに関し、特に、入力デバイスを介して入力された音声データに基づいて、話者を照合する音声処理装置、音声処理方法、記録媒体、および音声認証装置に関する。

　関連する技術では、第１の音声データに含まれる音声の特徴（音響特徴とも呼ぶ）と、第２の音声データに含まれる音声の特徴とを照合することによって、話者を識別する。このような関連する技術は、音声認証による本人確認あるいは話者照合と呼ばれる。

　非特許文献１には、第１及び第２の音声データから抽出した音響特徴を、ＤＮＮ（Deep Neural Network）への第１の入力とし、第１及び第２の音声データを音声認識することによって得られた音素から抽出した音素識別情報を、ＤＮＮへの第２の入力として、ＤＮＮの中間層から、話者照合のための話者識別用特徴を抽出することが記載されている。

Ignatio Vinals 他 , Phonetically aware embeddings, Wide Residual Networks with Time Delay Neural Networks and Self Attention models for the 2018 NIST Speaker Recognition Evaluation " Interspeech 2019)

　非特許文献１に記載の方法では、第１の音声データの登録時と第１及び第２の音声データの照合時との間で、それぞれの音声データの話者が部分的に異なる語句を発話した場合、話者照合に失敗する可能性が高くなる。特に、照合時に、話者が、登録時の発話の一部の語句を省略して発話した場合、話者照合できない可能性がある。

　本発明は、上記の課題に鑑みてなされたものであり、その目的は、照合される音声データ同士の間で語句が部分的に相違する場合であっても、高精度な話者照合を実現することにある。

　本発明の一態様に係わる音声処理装置は、音声データから、発話に係る特徴を示す音響特徴を抽出する音響特徴抽出手段と、前記音響特徴に基づいて、前記音声データに含まれる音素を識別する音素識別手段と、前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成する第１話者識別用特徴生成手段と、２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する第２話者識別用特徴生成手段とを備えている。

　本発明の一態様に係わる音声処理装置は、音声データから、発話に係る特徴を示す音響特徴を抽出する音響特徴抽出手段と、前記音響特徴に基づいて、音声データに含まれる音素を識別する音素識別手段と、前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択する音素選択手段と、前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成する話者識別用特徴生成手段とを備えている。

　本発明の一態様に係わる音声処理方法は、音声データから、発話に係る特徴を示す音響特徴を抽出し、前記音響特徴に基づいて、前記音声データに含まれる音素を識別し、前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成し、２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成することを含む。

　本発明の一態様に係わる音声処理方法は、音声データから、発話に係る特徴を示す音響特徴を抽出し、前記音響特徴に基づいて、前記音声データに含まれる音素を識別し、前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択し、前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成することを含む。

　本発明の一態様に係わる記録媒体は、音声データから、発話に係る特徴を示す音響特徴を抽出することと、前記音響特徴に基づいて、前記音声データに含まれる音素を識別することと、前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成することと、２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成することとをコンピュータに実行させるためのプログラムを格納している。

　本発明の一態様に係わる記録媒体は、音声データから、発話に係る特徴を示す音響特徴を抽出することと、前記音響特徴に基づいて、前記音声データに含まれる音素を識別することと、前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択することと、前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成することとをコンピュータに実行させるためのプログラムを格納している。

　本発明の一態様に係わる音声認証システムは、本発明の一態様に係わる音声処理装置と、前記音声処理装置から出力される話者識別用特徴に基づいて、話者が登録済みの人物本人かどうかを確認する照合装置とを備えている。

　本発明の一態様によれば、照合される音声データ同士の間で語句が部分的に相違する場合であっても、高精度な話者照合を実現できる。

すべての実施形態に共通する音声認証システムの構成を示すブロック図である。実施形態１に係わる音声処理装置の構成を示すブロック図である。実施形態１に係わる音声処理装置が出力する第１の話者識別用特徴および第２の話者識別用特徴について説明する図である。実施形態１に係わる音声処理装置の動作を示すフローチャートである。実施形態１の一変形例に係わる音声処理装置の構成を示すブロック図である。実施形態２に係わる音声処理装置の構成を示すブロック図である。実施形態２に係わる音声処理装置が出力する話者識別用特徴について説明する図である。実施形態２に係わる音声処理装置の動作を示すフローチャートである。実施形態３に係わる音声処理装置の構成を示すブロック図である。実施形態４に係わる音声処理装置の構成を示すブロック図である。実施形態１から４のいずれかに係わる音声処理装置のハードウェア構成を示す図である。

　〔すべての実施形態に共通〕
　まず、後で説明する実施形態１～４に共通して適用される音声認証システムの構成の一例を説明する。

　（音声認証システム１）
　図１を参照して、音声認証システム１の構成の一例を説明する。図１は、音声認証システム１の構成の一例を示すブロック図である。

　図１に示すように、音声認証システム１は、後述する実施形態１～４のいずれかに係わる音声処理装置１００（１００Ａ、２００、３００、４００）および照合装置１０を備えている。また、音声認証システム１は、１または複数の入力デバイスを備えていてもよい。ここで、「音声処理装置１００（１００Ａ、２００、３００、４００）」は、音声処理装置１００、音声処理装置１００Ａ、音声処理装置２００、音声処理装置３００、および音声処理装置４００のいずれかを表す。音声処理装置１００（１００Ａ、２００、３００、４００）が実行する処理及び動作については、後述する実施形態１～４において、詳細に説明する。

　音声処理装置１００（１００Ａ、２００、３００、４００）は、ネットワーク上にあるＤＢ（Data Base）から、あるいは音声処理装置１００（１００Ａ、２００、３００、４００）と接続されたＤＢから、予め登録された話者（人物Ａ）の音声データ（以下では、登録音声データと呼ぶ）を取得する。また、音声処理装置１００（１００Ａ、２００、３００、４００）は、入力デバイスから、照合される対象（人物Ｂ）の音声データ（以下では、照合音声データと呼ぶ）を取得する。入力デバイスは、音声処理装置１００（１００Ａ、２００、３００、４００）へ音声を入力するために用いられる。一例では、入力デバイスは、スマートフォンが具備した通話用のマイクロフォンまたはヘッドセットマイクである。

　音声処理装置１００（１００Ａ、２００、３００、４００）は、登録音声データに基づいて、話者照合のための話者識別用特徴Ａを生成する。また、音声処理装置１００（１００Ａ、２００、３００、４００）は、照合音声データに基づいて、話者照合のための話者識別用特徴Ｂを生成する。なお、話者識別用特徴ＡおよびＢの具体的な生成方法については、のちの実施形態１～４において説明する。音声処理装置１００（１００Ａ、２００、３００、４００）は、照合装置１０へ、話者識別用特徴Ａおよび話者識別用特徴Ｂのデータを送信する。

　照合装置１０は、音声処理装置１００（１００Ａ、２００、３００、４００）から、話者識別用特徴Ａおよび話者識別用特徴Ｂのデータを受信する。照合装置１０は、音声処理装置１００（１００Ａ、２００、３００、４００）から出力される話者識別用特徴Ａおよび話者識別用特徴Ｂに基づいて、話者が登録済みの人物本人かどうかを確認する。より詳細には、照合装置１０は、話者識別用特徴Ａと話者識別用特徴Ｂとを照合し、本人確認結果を出力する。すなわち、照合装置１０は、人物Ａと人物Ｂとが同一人物か否かを示す情報を出力する。

　なお、音声認証システム１は、照合装置１０が出力する本人確認結果に基づいて、オフィスへ入室するためのドアの電子錠を制御したり、情報端末を自動で起動またはログオンしたり、イントラネットワーク上の情報へのアクセスを許可する制御装置（制御機能）を備えていてもよい。

　音声認証システム１は、ネットワークサービスとして実現されてもよい。この場合、音声処理装置１００（１００A、２００、３００、４００）および照合装置１０は、ネットワーク上にあって、１または複数の入力デバイスと無線ネットワークを介して通信可能であってよい。

　以下において、音声認証システム１が備えた音声処理装置１００（１００A、２００、３００、４００）の一具体例について説明する。なお、以下の説明で「音声データ」とは、上述の「登録音声データ」および「照合音声データ」の一方又は両方を指す。

　〔実施形態１〕
　図２～図４を参照して、音声処理装置１００に関し、実施形態１として説明する。

　（音声処理装置１００）
　図２を参照して、本実施形態１に係わる音声処理装置１００の構成を説明する。図２は、音声処理装置１００の構成を示すブロック図である。図２に示すように、音声処理装置１００は、音素識別部１１０、音響特徴抽出部１３０、第１話者識別用特徴生成部１４０、および第２話者識別用特徴生成部１５０を備えている。

　音響特徴抽出部１３０は、音声データから、発話に係る特徴を示す音響特徴を抽出する。音響特徴抽出部１３０は、音響特徴抽出手段の一例である。

　一例では、音響特徴抽出部１３０は、入力デバイスから、音声データ（図１における照合音声データまたは登録音声データに相当）を取得する。

　音響特徴抽出部１３０は、音声データを高速フーリエ変換したのち、得られたパワースペクトルデータから、音響特徴を抽出する。音響特徴は、例えば、フォルマント周波数、メル周波数ケプストラム係数、ＬＰＣ（Linear Predictive Coding）係数である。音響特徴は、それぞれＮ次元のベクトルであるとする。一例では、Ｎ次元のベクトルの各要素は、単一の音素についての周波数ビンごとの時間波形の平均の自乗（すなわち音声の強度）を表し、次元数Ｎは、音響特徴抽出部１３０が音声データから音響特徴を抽出する際に用いる周波数ビンの帯域幅に基づいて決まる。

　あるいは、音響特徴は、音声データを周波数分析することによって得られる特徴量で構成された、Ｎ次元の特徴ベクトル（以下では、音響ベクトルと呼ぶ）であってよい。一例では、音響ベクトルは、入力デバイスから入力された音声データの周波数特性を示す。

　音響特徴抽出部１３０は、２つ以上の音素についての音響特徴を、上述した方法によりそれぞれ抽出する。音響特徴抽出部１３０は、このようにして音声データから抽出した音響特徴のデータを、音素識別部１１０および第１話者識別用特徴生成部１４０のそれぞれへ出力する。

　音素識別部１１０は、音響特徴に基づいて、音声データに含まれる音素を識別する。音素識別部１１０は、音素識別手段の一例である。一例では、音素識別部１１０は、周知の隠れマルコフモデルまたはニューラルネットワークを用いて、単位時間ごとの音響特徴のデータを用いて、対応する音素を識別する。そして、音素識別部１１０は、音素の識別結果であるＭ個の尤度または事後確率を組み合わせて、Ｍ次元の音素ベクトルを生成する。一例では、Ｍは、特定の言語（発話されたことが想定される言語）に含まれる音素の数、またはその一部（例えば母音のみ）の音素の数と一致する。

　音素識別部１１０は、上述のようにして、単位時間ごとに、単一の音素を指し示す音素ベクトルを生成することを繰り返す。これにより、音素識別部１１０は、識別された音素を指し示す音素ベクトル（Ｐ１～ＰＬ）を含む長さＬ（Ｌは２以上の整数）の時系列データ（P１，P２，．．．PＬ）を生成する。長さＬの時系列データ（P１，P２，．．．PＬ）は、音素識別部１１０が識別した音素を示す。音素ベクトル（Ｐ１～ＰＬ）を、以下では音素識別情報と呼ぶ。音素識別情報Ｐ１～ＰＬは、それぞれ、特定の言語におけるｎ個の音素（ｎは２以上の整数）のいずれかを指し示す。

　音素識別部１１０は、音響特徴に基づいて識別した２つ以上の音素を示す音素識別情報を、第１話者識別用特徴生成部１４０へ出力する。

　第１話者識別用特徴生成部１４０は、音素識別部１１０から、識別された２つ以上の音素を示す音素識別情報を受信する。具体的には、第１話者識別用特徴生成部１４０は、特定の言語（発話されたことが想定される言語）において、音声データから識別されたＬ個の音素を示す長さＬの時系列データ（P１，P２，．．．PＬ）を受信する。また、第１話者識別用特徴生成部１４０は、音響特徴抽出部１３０から、音声データから抽出された２つ以上の音素についての音響特徴のデータ（Ｆ１，Ｆ２，．．．ＦＬ）を受信する。

　第１話者識別用特徴生成部１４０は、音響特徴、および、音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成する。第１話者識別用特徴生成部１４０は、第１話者識別用特徴生成手段の一例である。第１の話者識別用特徴は、音素ごとの発話の特徴を示す。第１話者識別用特徴生成部１４０が、識別器（図３）を用いて、第１の話者識別用特徴を生成する具体例を、後で説明する。

　第１話者識別用特徴生成部１４０は、音声データに含まれる２つ以上の音素のそれぞれについて生成した第１の話者識別用特徴のデータを、第２話者識別用特徴生成部１５０へ出力する。すなわち、第１話者識別用特徴生成部１４０は、２つ以上の音素についての第１の話者識別用特徴のデータをまとめて、第２話者識別用特徴生成部１５０へ出力する。

　第２話者識別用特徴生成部１５０は、２つ以上の音素についての第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する。第２話者識別用特徴生成部１５０は、第２話者識別用特徴生成手段の一例である。第２の話者識別用特徴は、話者の発話の全体の特徴を示す。一例では、２つ以上の音素についての第１の話者識別用特徴の総和が、第２の話者識別用特徴である。第２の話者識別用特徴を用いることにより、照合される音声データ同士の間で語句が部分的に相違する場合であっても、高精度な話者照合を実現できる。なお、第２話者識別用特徴生成部１５０が、識別器（図３）を用いて、発話全体の特徴を示す第２の話者識別用特徴を生成する具体例を、後で説明する。

　第２話者識別用特徴生成部１５０は、このように生成した第２の話者識別用特徴のデータを、照合装置１０（図１）へ出力する。さらに、第２話者識別用特徴生成部１５０は、第２の話者識別用特徴のデータを、照合装置１０以外の機器へ出力してもよい。

　（第１の話者識別用特徴および第２の話者識別用特徴）
　図３は、第１話者識別用特徴生成部１４０が、識別器を用いて、第１の話者識別用特徴を生成し、また第２話者識別用特徴生成部１５０が、発話全体の特徴を示す第２の話者識別用特徴を生成する処理の概要を示す説明図である。図３に示すように、識別器は、ＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）（１）からＤＮＮ（ｎ）までを含んでいる。上述したように、ｎは、特定の言語における音素の数と対応している。

　第１話者識別用特徴生成部１４０が、第１の話者識別用特徴を生成するためのフェーズの前に、第１の入力データである音響特徴（Ｆ１，Ｆ２，．．．ＦＬ）および第２の入力データである音素識別情報（Ｐ１，Ｐ２，．．．ＰＬ）に基づいて、話者を識別できるように、ＤＮＮ（１）～（ｎ）の深層学習を完了している。

　具体的に、第１話者識別用特徴生成部１４０は、深層学習のフェーズにおいて、第１の入力データおよび第２の入力データをＤＮＮ（１）～（ｎ）へ入力する。例えば、音素識別情報Ｐ１によって示される音素をａ（ａは１～ｎのいずれか）とする。この場合、第１話者識別用特徴生成部１４０は、ＤＮＮ（１）～（ｎ）のうち、音素ａと対応するＤＮＮ（ａ）へ、第１の入力データＦ１および第２の入力データＰ１をともに入力する。続いて、第１話者識別用特徴生成部１４０は、ＤＮＮ（ａ）からの出力結果と、教師データの識別結果の正解とを近づける（すなわち正答率を向上させる）ように、ＤＮＮ（ａ）の各パラメータをそれぞれ更新する。第１話者識別用特徴生成部１４０は、所定の回数、あるいは、ＤＮＮ（ａ）からの出力結果と正解との差分を表す指標値が閾値を下回るまで、ＤＮＮ（ａ）の各パラメータをそれぞれ更新する処理を繰り返す。これで、ＤＮＮ（ａ）の学習が完了する。同様にして、第１話者識別用特徴生成部１４０は、ＤＮＮ（１）～（ｎ）のそれぞれを学習させる。

　続いて、第１話者識別用特徴生成部１４０が、第１の話者識別用特徴を生成するためのフェーズにおいて、第１話者識別用特徴生成部１４０は、学習済のＤＮＮ（１）～（ｎ）（以下、単にＤＮＮ（１）～（ｎ）と記載する）に対し、第１の入力として、音響特徴（Ｆ１～ＦＬのいずれか）を入力するとともに、第２の入力として、単一の音素から抽出された音素識別情報（Ｐ１～Ｐｎのいずれか）を入力する。

　一例では、音響特徴Ｆは、Ｎ次元の特徴ベクトルであり、音素識別情報（Ｐ１，Ｐ２，．．．ＰＬ）は、Ｍ次元の特徴ベクトルである。Ｎ次元とＭ次元とは、同一であってもよいし、異なっていてもよい。この場合、第１話者識別用特徴生成部１４０は、音響特徴Ｆと、１つの音素識別情報（Ｐ１～ＰＬのいずれか）とを結合して、得られたＭ＋Ｎ次元の特徴ベクトルが、ＤＮＮ（１）～（ｎ）のうち、１つの音素識別情報（Ｐ１～ＰＬのいずれか）が指し示す音素（ここではｂとする）と対応する１つのＤＮＮ（ｂ）に対して入力される。ここでの結合とは、Ｎ次元の特徴ベクトルである音響特徴Ｆの次元をＭだけ拡張して、Ｍ次元の特徴ベクトルである音素識別情報Ｐの要素を、Ｍ＋Ｎ次元の音響特徴Ｆ´における空白のＭ次元の要素とすることを意味する。

　第１話者識別用特徴生成部１４０は、ＤＮＮ（ｂ）の中間層から、第１の話者識別用特徴を抽出する。同様にして、第１話者識別用特徴生成部１４０は、第１の入力データおよび第２の入力データの各組（（Ｐ１，Ｆ１）～（ＰＬ，ＦＬ））について、特徴を抽出する。このようにしてＤＮＮ（１）～（ｎ）の中間層から抽出される特徴を、以下では、第１の話者識別用特徴Ｓ１～Ｓｎ（初期値は０あるいはゼロベクトル）と記載する。ただし、第１の入力データおよび第２の入力データの２つ以上の組が、同じＤＮＮ（ｍ）（ｍは１からｎのいずれか）へそれぞれ入力された場合、第１話者識別用特徴生成部１４０は、最初の入力時にＤＮＮ（ｍ）の中間層（例えばプーリング層）から抽出した特徴を、第１の話者識別用特徴Ｓｍとする。あるいは、第１話者識別用特徴生成部１４０は、２つ以上の組のそれぞれから抽出された特徴の平均を、第１の話者識別用特徴としてもよい。一方、第１の入力データおよび第２の入力データのいずれの組も、ＤＮＮ（ｍ´）（ｍ´は１からｎのいずれか）へ入力されなかった場合、第１話者識別用特徴生成部１４０は、第１の話者識別用特徴Ｓｍ´を初期値０あるいはゼロベクトルのままとする。

　第１話者識別用特徴生成部１４０は、このようにして生成したｎ個の第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）のデータを、第２話者識別用特徴生成部１５０へ出力する。

　第２話者識別用特徴生成部１５０は、第１話者識別用特徴生成部１４０から、ｎ個の第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）のデータを受信する。第２話者識別用特徴生成部１５０は、ｎ個の第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）を合成することによって、第２の話者識別用特徴を得る。一例では、第２話者識別用特徴生成部１５０は、ｎ個の第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）をすべて加算することによって、第２の話者識別用特徴を得る。この場合、第２の話者識別用特徴は、（Ｓ１＋Ｓ２＋・・・＋Ｓｎ）となる。あるいは、第２話者識別用特徴生成部１５０は、ｎ個の第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）を合成することによって一つの特徴ベクトルとし、話者の識別を学習済の識別器（例えばニューラルネットワーク）に対し、合成された特徴ベクトルを入力する。そして、第２話者識別用特徴生成部１５０は、合成された特徴ベクトルを入力した識別器から、第２の話者識別用特徴を得てもよい。

　以上のようにして、第１話者識別用特徴生成部１４０および第２話者識別用特徴生成部１５０は、上述の第１の話者識別用特徴、および、上述の第２の話者識別用特徴を得る。

　（音声処理装置１００の動作）
　図４を参照して、本実施形態１に係わる音声処理装置１００の動作を説明する。図４は、音声処理装置１００の各部が実行する処理の流れを示すフローチャートである。

　図４に示すように、音響特徴抽出部１３０は、音声データから、発話に係る特徴を示す音響特徴を抽出する（Ｓ１０１）。音響特徴抽出部１３０は、音素識別部１１０および第１話者識別用特徴生成部１４０のそれぞれに対し、抽出した音響特徴のデータを出力する。

　音素識別部１１０は、音響特徴に基づいて、音声データに含まれる音素を識別する（Ｓ１０２）。音素識別部１１０は、音声データに含まれる音素の識別結果を示す音素識別情報を、第１話者識別用特徴生成部１４０へ出力する。

　第１話者識別用特徴生成部１４０は、音響特徴抽出部１３０から、音響特徴（図３ではＦ１，Ｆ２，．．．ＦＬ）のデータを受信する。また、第１話者識別用特徴生成部１４０は、音素識別部１１０から、音素識別情報（図３ではＰ１，Ｐ２，．．．ＰＬ）のデータを受信する。

　そして、第１話者識別用特徴生成部１４０は、受信した音響特徴（Ｆ１，Ｆ２，．．．ＦＬ）および音素識別情報（Ｐ１，Ｐ２，．．．ＰＬ）に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴（図３ではＳ１，Ｓ２，．．．Ｓｎ）を生成する（Ｓ１０３）。

　第１話者識別用特徴生成部１４０は、２つ以上の音素について生成した第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）のデータを、第２話者識別用特徴生成部１５０へ出力する。

　第２話者識別用特徴生成部１５０は、第１話者識別用特徴生成部１４０から、第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）のデータを受信する。第２話者識別用特徴生成部１５０は、２つ以上の音素についての第１の話者識別用特徴（Ｓ１，Ｓ２，．．．Ｓｎ）を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する（Ｓ１０４）。一例では、第２話者識別用特徴生成部１５０は、Ｓ１からＳｎまでの合計（Ｓ１＋Ｓ２＋・・・Ｓｎ）を、第２の話者識別用特徴として得る。なお、第２話者識別用特徴生成部１５０は、ここで説明した以外の任意の方法で、第１の話者識別用特徴から、第２の話者識別用特徴を得てもよい。

　以上で、本実施形態１に係わる音声処理装置１００の動作は終了する。

　図１に示す音声認証システム１において、音声処理装置１００は、上述した手順で、図１に示す登録音声データから、話者識別用特徴Ａとして、第１の話者識別用特徴あるいは第２の話者識別用特徴を生成して、照合装置１０へ出力する。また、音声処理装置１００は、同様の手順で、図１に示す照合音声データから、話者識別用特徴Ｂとして、第１の話者識別用特徴あるいは第２の話者識別用特徴を生成して、照合装置１０へ出力する。照合装置１０は、登録音声データに基づく話者識別用特徴Ａと、照合音声データに基づく話者識別用特徴Ｂとを照合して、本人確認結果（すなわち同一人物かそうではないか）を出力する。

　（変形例）
　図５を参照して、本実施形態１に係わる音声処理装置１００の一変形例について説明する。図５は、本変形例に係わる音声処理装置１００Ａの構成を示すブロック図である。図５に示すように、音声処理装置１００Ａは、音素識別部１１０、音素選択部１２０、音響特徴抽出部１３０、第１話者識別用特徴生成部１４０、および第２話者識別用特徴生成部１５０を備えている。

　音素選択部１２０は、音声データに含まれる音素のうちの２つ以上の音素を、所与の条件にしたがい選択する。音素選択部１２０は、音素選択手段の一例である。音声データに含まれる音素のうち、所与の条件にしたがう音素が１つ以下である場合、以下で説明する処理は行われず、音声処理装置１００Ａは、動作を終了する。音声データに含まれる音素のうち、所与の条件にしたがう音素が２つ以上ある場合を、続いて説明する。

　音素選択部１２０は、選択した２つ以上の音素を示す選択情報を、第１話者識別用特徴生成部１４０へ出力する。

　本変形例では、第１話者識別用特徴生成部１４０は、音響特徴、音声データに含まれる音素の識別結果を示す音素識別情報、および、所与の条件にしたがい選択された２つ以上の音素を示す選択情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成する。

　なお、音素選択部１２０および音素識別部１１０以外の音声処理装置１００Ａの他の構成要素が行う処理は、上述した音声処理装置１００と共通である。

　本変形例の構成によれば、音素選択部１２０は、音声データに含まれる音素のうち、音素識別部１１０によって音素識別情報を抽出される対象となる２つ以上の音素を、所与の条件に基づいて選択する。そうすることで、登録音声データと照合音声データとを照合する際に、どちらの音声データからも、所与の選択条件にしたがい共通の音素が選択され、また共通の音素の特徴を示す音素識別情報から、話者識別用特徴が生成される。これにより、照合される音声データ同士の間で語句が部分的に相違する場合であっても、話者識別用特徴に基づいて、高精度に話者照合することができる。

　（本実施形態の効果）
　本実施形態の構成によれば、音響特徴抽出部１３０は、音声データから、発話に係る特徴を示す音響特徴を抽出し、音素識別部１１０は、音響特徴に基づいて、音声データに含まれる音素を識別し、第１話者識別用特徴生成部１４０は、音響特徴、および、音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成し、第２話者識別用特徴生成部１５０は、２つ以上の音素についての第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する。このように、第１の話者識別用特徴は、音素ごとに抽出される。そして、第２の話者識別用特徴は、それらの第１の話者識別用特徴を合成することによって得られる。したがって、照合される音声データ同士の間で語句が部分的に相違する場合であっても、第１の話者識別用特徴に基づいて、高精度に話者照合することができる。

　〔実施形態２〕
　図６～図８を参照して、音声処理装置２００に関し、実施形態２として説明する。

　（音声処理装置２００）
　図６を参照して、本実施形態２に係わる音声処理装置２００の構成を説明する。図６は、音声処理装置２００の構成を示すブロック図である。図６に示すように、音声処理装置２００は、音素識別部２１０、音素選択部２２０、音響特徴抽出部２３０、および話者識別用特徴生成部２４０を備えている。

　音響特徴抽出部２３０は、音声データから、発話に係る特徴を示す音響特徴を抽出する。音響特徴抽出部２３０は、音素識別情報生成手段の一例である。

　一例では、音響特徴抽出部２３０は、入力デバイスから、音声データ（図１における照合音声データまたは登録音声データ）を取得する。

　音響特徴抽出部２３０は、音声データを高速フーリエ変換したのち、得られた音声データの部分から、音響特徴を抽出する。音響特徴は、それぞれＮ次元のベクトルである。

　例えば、音響特徴は、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）またはＬＰＣ（linear predictive coding）係数、およびそれらの一次・二次回帰係数であってもよいし、フォルマント周波数または基本周波数であってもよい。あるいは、音響特徴は、音声データを周波数分析することによって得られる特徴量で構成された、Ｎ次元の特徴ベクトル（以下では、音響ベクトルと呼ぶ）であってよい。一例では、音響ベクトルは、入力デバイスから入力された音声データの周波数特性を示す。

　音響特徴抽出部２３０は、このようにして音声データから抽出した音響特徴のデータを、音素識別部２１０および話者識別用特徴生成部２４０のそれぞれへ出力する。

　音素識別部２１０は、音響特徴に基づいて、音声データに含まれる音素を識別する。音素識別部２１０は、音素識別手段の一例である。一例では、音素識別部２１０は、周知の隠れマルコフモデルまたはニューラルネットワークを用いて、単位時間ごとの音響特徴のデータを用いて、対応する音素を識別する。そして、音素識別部２１０は、音素の識別結果であるＭ個の尤度または事後確率を組み合わせて、Ｍ次元の音素ベクトルを生成する。一例では、Ｍは、特定の言語（発話されたことが想定される言語）に含まれる音素の数、またはその一部（例えば母音のみ）の音素の数と一致する。

　音素識別部２１０は、上述のようにして、単位時間ごとに、単一の音素を指し示す音素ベクトルを生成することを繰り返す。これにより、音素識別部２１０は、識別された音素を指し示す音素ベクトル（Ｐ１～ＰＬ）を含む長さＬ（Ｌは２以上の整数）の時系列データ（P１，P２，．．．PＬ）を生成する。長さＬの時系列データ（P１，P２，．．．PＬ）は、音素識別部２１０が識別した音素を示す。音素ベクトル（Ｐ１～ＰＬ）を、以下では音素識別情報と呼ぶ。音素識別情報Ｐ１～ＰＬは、それぞれ、特定の言語におけるｎ個の音素（ｎは２以上の整数）のいずれかを指し示す。

　音素識別部２１０は、音素識別部２１０が識別した音素を識別するための音素識別情報を、音素選択部２２０および話者識別用特徴生成部２４０へ出力する。

　音素選択部２２０は、音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択する。音素選択部２２０は、音素選択手段の一例である。なお、所与の選択条件の具体例を、のちの実施形態において説明する。そして、音素選択部２２０は、所与の条件にしたがい選択された音素を示す選択情報を、話者識別用特徴生成部２４０へ出力する。

　話者識別用特徴生成部２４０は、音響特徴、音声データに含まれる音素の識別結果を示す音素識別情報、および、所与の条件にしたがい選択された音素を示す選択情報に基づいて、話者の発話の特徴を示す話者識別用特徴を生成する。話者識別用特徴生成部２４０は、話者識別用特徴生成手段の一例である。

　一例では、話者識別用特徴生成部２４０は、選択情報に基づいて、音声データに含まれる音素の中から、所与の条件にしたがい選択された音素を抽出する。具体的には、話者識別用特徴生成部２４０は、音素識別情報Ｐ１～ＰＬによって識別されるＬ個の音素のうち、音素選択部２２０により選択されたＫ（Ｋは０以上Ｌ以下）個の音素（以下、Ｐ´１～Ｐ´Ｋと記載する）を選択する。なお、Ｋ＝０の場合、話者識別用特徴生成部２４０は、話者識別用特徴を生成しない。あるいは、話者識別用特徴生成部２４０は、音響特徴のみを、ＤＮＮへ入力する。以下では、Ｋは１以上Ｌ以下である場合について説明する。

　話者識別用特徴生成部２４０は、選択されたＫ（Ｋは１以上Ｌ以下）個の音素についての音素識別情報（図７ではＰ´１，．．．Ｐ´Ｋ）の各々と、音響特徴（図７では（Ｆ´１．．．Ｆ´Ｋ））とに基づいて、話者識別用特徴（図７ではＳ）を生成する。

　例えば、話者識別用特徴生成部２４０は、非特許文献１に記載の方法を用いて、音素識別情報と、音響特徴とを結合し、識別器へ入力することによって、話者識別用特徴を生成することができる。話者識別用特徴は、話者の発話の特徴を示す。なお、話者識別用特徴生成部２４０が、識別器（図７）を用いて、話者識別用特徴を生成する具体例を、後で説明する。

　話者識別用特徴生成部２４０は、このように生成した話者識別用特徴のデータを、照合装置１０（図１）へ出力する。さらに、話者識別用特徴生成部２４０は、話者識別用特徴のデータを、照合装置１０以外の機器へ送信してもよい。

　（話者識別用特徴）
　図７は、話者識別用特徴生成部２４０が、識別器を用いて、話者識別用特徴を生成する処理の概要を示す説明図である。図７に示すように、識別器は、ＤＮＮを含んでいる。

　話者識別用特徴生成部２４０が話者識別用特徴を生成するためのフェーズの前に、ＤＮＮは、第１の入力である音響特徴（図７ではＦ´１～Ｆ´Ｋ）、および第２の入力である音素識別情報（図７ではＰ´１～Ｐ´Ｋ）に基づいて、話者を識別できるように、深層学習を完了している。

　具体的に、話者識別用特徴生成部２４０は、深層学習のフェーズにおいて、ＤＮＮへ教師データを入力し、ＤＮＮからの出力結果と、教師データの識別結果の正解とを近づける（すなわち正答率を向上させる）ように、ＤＮＮの各パラメータを更新する。話者識別用特徴生成部２４０は、所定の回数、あるいは、ＤＮＮからの出力結果と正解との差分を表す指標値が閾値を下回るまで、ＤＮＮの各パラメータを更新する処理を繰り返す。これで、ＤＮＮの学習が完了する。

　話者識別用特徴生成部２４０は、学習済のＤＮＮ（以下、単にＤＮＮと記載する）に対し、第１の入力データとして、１つの音響特徴（Ｆ´１～Ｆ´Ｋのいずれか）を入力するとともに、第２の入力データとして、１つの音素識別情報（Ｐ´１～Ｐ´Ｋのいずれか）を入力する。

　一例では、Ｋ個の音響特徴（Ｆ´１～Ｆ´Ｋ）は、それぞれ、Ｎ次元の特徴ベクトルであり、Ｋ個の音素識別情報（Ｐ´１～Ｐ´Ｋ）は、それぞれ、Ｍ次元の特徴ベクトルである。Ｎ次元とＭ次元とは、同一であってもよいし、異なっていてもよい。

　より詳細には、話者識別用特徴生成部２４０は、１つの音響特徴Ｆ´ｋ（ｋは１以上Ｋ以下）をＭ次元だけ拡張することによって、Ｍ＋Ｎ次元の音響特徴Ｆ´´ｋを生成し、拡張したＭ次元の要素をすべて空とする。そして、話者識別用特徴生成部２４０は、音素識別情報Ｐ´ｋの要素を、音響特徴Ｆ´´ｋにおけるＭ次元の要素とする。この場合、第１の入力データと、第２の入力データとが結合されて、Ｍ＋Ｎ次元の音響特徴Ｆ´´ｋが、ＤＮＮに対して入力される。そして、話者識別用特徴生成部２４０は、第１の入力データおよび第２の入力データを入力されたＤＮＮの中間層から、話者識別用特徴Ｓを抽出する。

　以上のようにして、話者識別用特徴生成部２４０は、話者の発話の特徴を示す話者識別用特徴Ｓを得る。

　（音声処理装置２００の動作）
　図８を参照して、本実施形態２に係わる音声処理装置２００の動作を説明する。図８は、音声処理装置２００の各部が実行する処理の流れを示すフローチャートである。

　図８に示すように、音響特徴抽出部２３０は、音声データから、発話に係る特徴を示す音響特徴を抽出する（Ｓ２０１）。音響特徴抽出部２３０は、音素識別部２１０および話者識別用特徴生成部２４０のそれぞれに対し、抽出した音響特徴のデータを出力する。

　音素識別部２１０は、音響特徴に基づいて、音声データに含まれる音素を識別する（Ｓ２０２）。音素識別部２１０は、音声データに含まれる音素の識別結果を、音素選択部２２０および話者識別用特徴生成部２４０へ出力する。

　音素選択部２２０は、音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択する（Ｓ２０３）。音素選択部２２０は、選択された音素を示す選択情報を、話者識別用特徴生成部２４０へ出力する。

　話者識別用特徴生成部２４０は、音響特徴抽出部２３０から、音響特徴（図７ではＦ´１～Ｆ´Ｋ）のデータを受信する。また、話者識別用特徴生成部２４０は、音素識別部２１０から、音声データに含まれる音素を識別するための音素識別情報（図７ではＰ´１～Ｐ´Ｋ）を受信する。加えて、話者識別用特徴生成部２４０は、音素選択部２２０から、選択された音素を示す選択情報を受信する。

　話者識別用特徴生成部２４０は、音響特徴、音声データに含まれる音素の識別結果を示す音素識別情報、および、所与の条件にしたがい選択された音素を示す選択情報に基づいて、話者の発話の特徴を示す話者識別用特徴（図７ではＳ）を生成する（Ｓ２０４）。

　話者識別用特徴生成部２４０は、生成した話者識別用特徴のデータを、照合装置１０（図１）へ出力する。

　以上で、本実施形態２に係わる音声処理装置２００の動作は終了する。

　図１に示す音声認証システム１において、音声処理装置２００は、上述した手順で、図１に示す登録音声データおよび照合音声データから、それぞれ、話者識別用特徴（図１では話者識別用特徴（Ａ，Ｂ））を生成して、照合装置１０へ出力する。照合装置１０は、登録音声データに基づく話者識別用特徴Ａと、照合音声データに基づく話者識別用特徴Ｂとを照合して、本人確認結果（すなわち同一人物かそうではないか）を出力する。

　（本実施形態の効果）
　本実施形態の構成によれば、音響特徴抽出部２３０は、音声データから、発話に係る特徴を示す音響特徴を抽出する。音素識別部２１０は、音響特徴に基づいて、音声データに含まれる音素を識別する。音素選択部２２０は、音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択する。話者識別用特徴生成部２４０は、音響特徴、音声データに含まれる音素の識別結果を示す音素識別情報、および、所与の条件にしたがい選択された音素を示す選択情報に基づいて、話者の発話の特徴を示す話者識別用特徴を生成する。したがって、登録音声データと照合音声データとを照合する際に、どちらの音声データからも、所与の選択条件にしたがい共通の音素が選択され、また音響特徴および音素識別情報に加え、所与の条件にしたがい選択された音素を示す選択情報に基づいて、話者識別用特徴が生成される。これにより、照合される音声データ同士の間で語句が部分的に相違する場合であっても、話者識別用特徴に基づいて、高精度に話者照合することができる。

　〔実施形態３〕
　図９を参照して、音声処理装置３００に関し、実施形態３として説明する。本実施形態３では、音素選択部２２０は、音声データに含まれる音素のうち、登録された音声データに含まれる２つ以上の音素と同一の２つ以上の音素を選択する。

　（音声処理装置３００）
　図９を参照して、本実施形態３に係わる音声処理装置３００の構成を説明する。図９は、音声処理装置３００の構成を示すブロック図である。図９に示すように、音声処理装置３００は、音素識別部２１０、音素選択部２２０、音響特徴抽出部２３０、および話者識別用特徴生成部２４０を備えている。加えて、音声処理装置３００は、テキスト取得部３５０をさらに備えている。

　テキスト取得部３５０は、予め準備された所定のテキストのデータを取得する。テキスト取得部３５０は、テキスト取得手段の一例である。所定のテキストのデータは、図示しないテキストＤＢに格納されていてよい。あるいは、所定のテキストのデータは、入力デバイスによって入力され、図示しない一時記憶部に格納されてもよい。テキスト取得部３５０は、所定のテキストのデータを、音素選択部２２０へ出力する。

　本実施形態３では、音素選択部２２０は、テキスト取得部３５０から、所定のテキストのデータを受信する。そして、音素選択部２２０は、音声データに含まれる音素のうち、所定のテキストに含まれる１つ以上の文字と対応する音素を選択する。一例では、音素選択部２２０は、音素と文字との対応関係を示すテーブルに基づいて、音素を選択する。

　なお、音素選択部２２０およびテキスト取得部３５０以外の音声処理装置３００の構成要素については、前記実施形態２の説明を引用することとし、本実施形態３での説明を省略する。

　さらに、本実施形態の構成によれば、テキスト取得部３５０は、予め準備された所定のテキストのデータを取得する。音素選択部２２０は、音声データに含まれる音素のうち、所定のテキストに含まれる１つ以上の文字と対応する音素を選択する。そのため、話者に所定のテキストの全部または一部を読み上げさせることで、話者照合を容易に高精度に行うことができる。

　〔実施形態４〕
　図１０を参照して、音声処理装置４００に関し、実施形態４として説明する。本実施形態４では、音素選択部２２０は、音声データに含まれる音素のうち、所定のテキストに含まれる２つ以上の文字と対応する２つ以上の音素を選択する。

　（音声処理装置４００）
　図１０を参照して、本実施形態４に係わる音声処理装置４００の構成を説明する。図１０は、音声処理装置４００の構成を示すブロック図である。図１０に示すように、音声処理装置４００は、音素識別部２１０、音素選択部２２０、音響特徴抽出部２３０、および話者識別用特徴生成部２４０を備えている。加えて、音声処理装置４００は、登録データ取得部４５０をさらに備えている。

　登録データ取得部４５０は、登録された音声データを取得する。登録データ取得部４５０は、登録データ取得手段の一例である。一例では、登録データ取得部４５０は、ＤＢ（図１）から、登録された音声データ（図１では登録音声データ）を取得する。登録データ取得部４５０は、登録された音声データを、音素選択部２２０へ出力する。

　本実施形態４では、音素選択部２２０は、登録データ取得部４５０から、登録された音声データを受信する。そして、音素選択部２２０は、音声データに含まれる音素のうち、登録された音声データに含まれる１つ以上の音素と同一の音素を選択する。

　なお、音素選択部２２０および登録データ取得部４５０以外の音声処理装置４００の構成要素については、前記実施形態２の説明を引用することとし、本実施形態４での説明を省略する。

　さらに、本実施形態の構成によれば、登録データ取得部４５０は、登録された音声データを取得する。音素選択部２２０は、音声データに含まれる音素のうち、登録された音声データに含まれる１つ以上の音素と同一の音素を選択する。そのため、登録時と照合時との間で、話者に同じまたは部分的に等しいフレーズあるいは文章を発話させることで、話者照合を容易に高精度に行うことができる。

　〔ハードウェア構成〕
　前記実施形態１～４で説明した音声処理装置１００（１００Ａ）、２００、３００、４００の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図１１に示すような情報処理装置９００により実現される。図１１は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。

　図１１に示すように、情報処理装置９００は、一例として、以下のような構成を含む。

　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　前記実施形態１～４で説明した音声処理装置１００（１００Ａ）、２００、３００、４００の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

　上記の構成によれば、前記実施形態１～４において説明した音声処理装置１００（１００Ａ）、２００、３００、４００が、ハードウェアとして実現される。したがって、前記実施形態１～４において説明した効果と同様の効果を奏することができる。

　〔付記〕
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

　（付記１）
　音声データから、発話に係る特徴を示す音響特徴を抽出する音響特徴抽出手段と、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別する音素識別手段と、
　前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成する第１話者識別用特徴生成手段と、
　２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する第２話者識別用特徴生成手段と
　を備えた音声処理装置。

　（付記２）
　前記音声データに含まれる音素のうちの２つ以上の音素を、所与の条件にしたがい選択する音素選択手段をさらに備え、
　前記第１話者識別用特徴生成手段は、前記音響特徴、前記音声データに含まれる２つ以上の音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された２つ以上の音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成する
　ことを特徴とする付記１に記載の音声処理装置。

　（付記３）
　前記音素選択手段は、前記音声データに含まれる音素のうち、登録された音声データに含まれる２つ以上の音素と同一の２つ以上の音素を選択する
　ことを特徴とする付記２に記載の音声処理装置。

　（付記４）
　前記音素選択手段は、前記音声データに含まれる音素のうち、所定のテキストに含まれる２つ以上の文字と対応する２つ以上の音素を選択する
　ことを特徴とする付記２に記載の音声処理装置。

　（付記５）
　前記第１話者識別用特徴生成手段は、
　前記音響特徴と、単一の音素から抽出された音素識別情報との組ごとに、前記第１の話者識別用特徴を生成し、
　前記第２話者識別用特徴生成手段は、
　複数の前記組について生成した前記第1の話者識別用特徴同士を加算することによって、前記発話全体の特徴を示す第２の話者識別用特徴を生成する
　ことを特徴とする付記１から４のいずれか１項に記載の音声処理装置。

　（付記６）
　音声データから、発話に係る特徴を示す音響特徴を抽出する音響特徴抽出手段と、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別する音素識別手段と、
　前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択する音素選択手段と、
　前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成する話者識別用特徴生成手段と
　を備えた音声処理装置。

　（付記７）
　予め準備された所定のテキストのデータを取得するテキスト取得手段をさらに備え、
　前記音素選択手段は、前記音声データに含まれる音素のうち、前記所定のテキストに含まれる１つ以上の文字と対応する音素を選択する
　ことを特徴とする付記６に記載の音声処理装置。

　（付記８）
　登録された音声データを取得する登録データ取得手段をさらに備え、
　前記音素選択手段は、前記音声データに含まれる音素のうち、前記登録された音声データに含まれる１つ以上の音素と同一の音素を選択する
　ことを特徴とする付記６に記載の音声処理装置。

　（付記９）
　音声データから、発話に係る特徴を示す音響特徴を抽出し、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別し、
　前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成し、
　２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する
　ことを含む音声処理方法。

　（付記１０）
　音声データから、発話に係る特徴を示す音響特徴を抽出することと、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別することと、
　前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成することと、
　２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成することと
　をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。

　（付記１１）
　音声データから、発話に係る特徴を示す音響特徴を抽出し、
　前期音響特徴に基づいて、前記音声データに含まれる音素を識別し、
　前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択し、
　前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成する
　ことを含む音声処理方法。

　（付記１２）
　音声データから、発話に係る特徴を示す音響特徴を抽出することと、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別することと、
　前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択することと、
　前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成することと
　をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。

　（付記１３）
　付記１から５のいずれか１項に記載の音声処理装置と、
　前記音声処理装置が生成した前記第１の話者識別用特徴または前記第２の話者識別用特徴に基づいて、話者が登録済みの人物本人かどうかを確認する照合装置と
　を備えた音声認証システム。

　（付記１４）
　付記５から８のいずれか１項に記載の音声処理装置と、
　前記音声処理装置が生成した前記話者識別用特徴に基づいて、話者が登録済みの人物本人かどうかを確認する照合装置と
　を備えた音声認証システム。

　本発明は、一例では、入力デバイスを用いて入力された音声データを分析することによって、本人確認を行う音声認証システムに利用することができる。

　　　１　音声認証システム
　　１０　照合装置
　１００　音声処理装置
１００Ａ　音声処理装置
　１１０　音素識別部
　１２０　音素選択部
　１３０　音響特徴抽出部
　１４０　第１話者識別用特徴生成部
　１５０　第２話者識別用特徴生成部
　２００　音声処理装置
　２１０　音素識別部
　２２０　音素選択部
　２３０　音響特徴抽出部
　２４０　話者識別用特徴生成部
　３００　音声処理装置
　３５０　テキスト取得部
　４００　音声処理装置
　４５０　登録データ取得部

Claims

　音声データから、発話に係る特徴を示す音響特徴を抽出する音響特徴抽出手段と、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別する音素識別手段と、
　前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成する第１話者識別用特徴生成手段と、
　２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する第２話者識別用特徴生成手段と
　を備えた音声処理装置。
　前記音声データに含まれる音素のうちの２つ以上の音素を、所与の条件にしたがい選択する音素選択手段をさらに備え、
　前記第１話者識別用特徴生成手段は、前記音響特徴、前記音声データに含まれる２つ以上の音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された２つ以上の音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成する
　ことを特徴とする請求項１に記載の音声処理装置。
　前記音素選択手段は、前記音声データに含まれる音素のうち、登録された音声データに含まれる２つ以上の音素と同一の２つ以上の音素を選択する
　ことを特徴とする請求項２に記載の音声処理装置。
　前記音素選択手段は、前記音声データに含まれる音素のうち、所定のテキストに含まれる２つ以上の文字と対応する２つ以上の音素を選択する
　ことを特徴とする請求項２に記載の音声処理装置。
　前記第1話者識別用特徴生成手段は、
　前記音響特徴と、単一の音素から抽出された音素識別情報との組ごとに、前記第１の話者識別用特徴を生成し、
　前記第２話者識別用特徴生成手段は、
　複数の前記組について生成した前記第1の話者識別用特徴同士を加算することによって、前記発話全体の特徴を示す第２の話者識別用特徴を生成する
　ことを特徴とする請求項１から４のいずれか１項に記載の音声処理装置。
　音声データから、発話に係る特徴を示す音響特徴を抽出する音響特徴抽出手段と、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別する音素識別手段と、
　前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択する音素選択手段と、
　前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成する話者識別用特徴生成手段と
　を備えた音声処理装置。
　予め準備された所定のテキストのデータを取得するテキスト取得手段をさらに備え、
　前記音素選択手段は、前記音声データに含まれる音素のうち、前記所定のテキストに含まれる１つ以上の文字と対応する音素を選択する
　ことを特徴とする請求項６に記載の音声処理装置。
　登録された音声データを取得する登録データ取得手段をさらに備え、
　前記音素選択手段は、前記音声データに含まれる音素のうち、前記登録された音声データに含まれる１つ以上の音素と同一の音素を選択する
　ことを特徴とする請求項６に記載の音声処理装置。
　音声データから、発話に係る特徴を示す音響特徴を抽出し、
　前記音響特徴に基づいて、音声データに含まれる音素を識別し、　前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成し、
　２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成する
　ことを含む音声処理方法。
　音声データから、発話に係る特徴を示す音響特徴を抽出することと、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別することと、
　前記音響特徴、および、前記音声データに含まれる音素の識別結果を示す音素識別情報に基づいて、音素ごとの発話の特徴を示す第１の話者識別用特徴を生成することと、
　２つ以上の音素のそれぞれについての前記第１の話者識別用特徴を合成することにより、発話全体の特徴を示す第２の話者識別用特徴を生成することと
　をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。
　音声データから、発話に係る特徴を示す音響特徴を抽出し、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別し、
　前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択し、
　前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成する
　ことを含む音声処理方法。
　音声データから、発話に係る特徴を示す音響特徴を抽出することと、
　前記音響特徴に基づいて、前記音声データに含まれる音素を識別することと、
　前記音声データに含まれる音素のうち、所与の選択条件にしたがう音素を選択することと、
　
　前記音響特徴、前記音声データに含まれる音素の識別結果を示す音素識別情報、および、前記所与の条件にしたがい選択された音素を示す選択情報に基づいて、発話の特徴を示す話者識別用特徴を生成することと
　をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。
　請求項１から５のいずれか１項に記載の音声処理装置と、
　前記音声処理装置が生成した前記第１の話者識別用特徴または前記第２の話者識別用特徴に基づいて、話者が登録済みの人物本人かどうかを確認する照合装置と
　を備えた音声認証システム。
　請求項６から８のいずれか１項に記載の音声処理装置と、
　前記音声処理装置が生成した前記話者識別用特徴に基づいて、話者が登録済みの人物本人かどうかを確認する照合装置と
　を備えた音声認証システム。