JP7035476B2 - 音声処理プログラム、音声処理装置、及び音声処理方法 - Google Patents

音声処理プログラム、音声処理装置、及び音声処理方法 Download PDF

Info

Publication number
JP7035476B2
JP7035476B2 JP2017223151A JP2017223151A JP7035476B2 JP 7035476 B2 JP7035476 B2 JP 7035476B2 JP 2017223151 A JP2017223151 A JP 2017223151A JP 2017223151 A JP2017223151 A JP 2017223151A JP 7035476 B2 JP7035476 B2 JP 7035476B2
Authority
JP
Japan
Prior art keywords
speaker
subsection
utterance
keyword
interrupt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017223151A
Other languages
English (en)
Other versions
JP2019095526A (ja
Inventor
昭二 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017223151A priority Critical patent/JP7035476B2/ja
Publication of JP2019095526A publication Critical patent/JP2019095526A/ja
Application granted granted Critical
Publication of JP7035476B2 publication Critical patent/JP7035476B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Description

本発明は、音声処理プログラム、音声処理装置、及び音声処理方法に関する。
音声信号に含まれる発話内容を単語列（文字列）に変換する音声認識は、例えば、会議の議事録の作成、及び会議の内容の評価等に利用される。音声認識を利用して会議の内容を評価する場合の評価指標の１つとして、会議の内容を録音した音声信号に含まれる割り込み発声の回数が挙げられる。ここで、割り込み発声は、１人の話者が発話しているときに、該話者の発話を遮って発話権を得るために他者が発声する発話（キーワード又はキーフレーズ）である。
音声信号に含まれる所定のキーワードを検出する技術の１つとして、統計的言語モデルを利用したディクテーションにより検出する技術がある。この種の技術で用いられる統計的言語モデルは、例えば、新聞や雑誌の記事、及びインターネット上の各種文書を含む大量のテキスト情報を学習データとして解析したものであり、ある単語の次にどの単語が続く確率が高いかを示す情報を含む。このため、音声信号に割り込み発声のような複数の話者の発声が重なる区間がある場合、該区間の発話内容を正しく認識することが困難となる。更に、複数の話者の発声が重なる区間で誤認識が生じた場合、該区間の前後の区間における認識結果にも悪影響を与える。このため、統計的言語モデルを利用したディクテーションでは、割り込み発声を示すキーワードを正しく検出することが難しい。
また、音声信号に含まれる所定のキーワードを検出する技術には、ワードスポッティングと呼ばれる技術がある（例えば、特許文献１を参照）。ワードスポッティングでは、統計的言語モデルの代わりに、検出対象とするキーワードを登録したキーワードリストを利用して、音声信号に含まれるキーワードを検出する。キーワードリストには、割り込み発声を示すキーワード全体のうちの先頭（語頭）側の文字を発音単位で削除したキーワードをキーワードリストに登録することが可能である。このため、ワードスポッティングを適用することにより、割り込み発声時にキーワードの先頭部分が他の話者の発話と重なった場合でも、発話が重なっていない残りの発話部分が先頭部分を削除したキーワードとマッチするため、割り込み発声のキーワードを検出することが可能となる。
特開２０１１－０２７９７９号公報
しかしながら、割り込み発声のキーワードにおける先頭側の文字を削除した部分キーワードは、割り込み発声のキーワードとは別のキーワードの一部となることがある。特に、削除した文字数が多い部分キーワードは、該部分キーワードに含まれる文字数が少なくなっているため、割り込み発声のキーワードとは別のキーワードの一部になる、または発音が類似する可能性が高くなる。よって、部分キーワードを含むキーワードリストを利用したワードスポッティングにより割り込み発声を検出する場合、他者による割り込み発声ではない部分を割り込み発声として誤検出することが多くなる。
一つの側面において、本発明は、音声信号に含まれる割り込み発声の誤検出を低減することを目的とする。
１つの態様の音声処理プログラムは、音声信号の最尤音素列を探索し、割り込み発声を示す音素列と、前記割り込み発声全体を示す音素列における先頭側の音素が発音単位で削除され、かつ削除された音素数が異なる複数の音素列とを含むキーワードリストに基づいて、前記音声信号に含まれる割り込み発声の候補を前記最尤音素列に対する尤度とキーワードリストに登録された各キーワードの音素列に対する尤度を用いて検出し、前記割り込み発声の候補となる前記音素列の発音単位に基づいて、前記音声信号における前記割り込み発声の候補となる前記音素列を含む割り込み発声全体の発声開始点を推定し、前記音声信号における前記割り込み発声の候補となる前記音素列と対応する第１の部分区間の特徴量に基づいて、該第１の部分区間の話者の特徴を示す第１の話者情報を抽出するとともに、前記音声信号における前記第１の部分区間よりも前の区間であって前記発声開始点を終点とする所定の時間長の該区間である第２の部分区間の特徴量に基づいて、該第２の部分区間の話者の特徴を示す第２の話者情報を抽出し、前記第１の話者情報と前記第２の話者情報とを照合し、前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する、処理をコンピュータに実行させる。
上述の態様によれば、音声信号に含まれる割り込み発声の誤検出を低減することが可能となる。
第１の実施形態に係る音声処理装置の機能的構成を示す図である。 キーワードリストの内容を示す図である。 発音単位数情報の内容を示す図である。 第１の実施形態に係る音声処理装置が行う音声処理の内容を説明するフローチャートである。 第１の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その１）である。 第１の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その２）である。 他者による割り込み発声を含む音声信号の例を示す波形図である。 キーワードの検出方法を説明する図である。 割り込み発声の開始点の推定方法を説明する図である。 他者による割り込み発声であるか否かの判別方法を説明する図である。 発音単位数情報を含むキーワードリストの例を示す図である。 発音単位数情報の別の例を示す図である。 第２の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その１）である。 第２の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その２）である。 コンピュータのハードウェア構成を示す図である。
［第１の実施形態］
図１は、第１の実施形態に係る音声処理装置の機能的構成を示す図である。
図１に示すように、本実施形態の音声処理装置１は、入力受付部１１０と、音声区間検出部１２０と、特徴量抽出部１３０と、キーワード検出部１５０と、出力部１６０と、記憶部１９０とを備える。
入力受付部１１０は、処理の対象となる音声信号（音声データ）の入力を含む、各種情報の入力を受け付ける。入力受付部１１０は、例えば、モノラルマイク２により収音された１チャンネルの音声信号の入力を受け付ける。モノラルマイク２は、音声処理装置１に音声信号を入力する装置の一例である。また、入力受付部１１０は、例えば、記憶部１９０に記憶させる探索用データ１９３、キーワードリスト１９４、及び発音単位数情報１９５の入力を受け付ける。探索用データ１９３は、音声信号に含まれる最尤音素列の探索、前記最尤音素列に対する尤度の算出、およびキーワードリスト１９４で指定した各音素列に対する尤度の算出に用いる情報を含むデータである。キーワードリスト１９４は、音声信号から検出する所定のキーワードについての情報が複数登録されたリストである。本実施形態におけるキーワードリスト１９４には、キーワードについての情報として、割り込み発声全体の読みを示す音素列と、該割り込み発声全体のうちの先頭側（語頭側）の１～数文字分が欠落した割り込み発声の読みを示す音素列とが登録されている。発音単位数情報１９５は、割り込み発声を示すキーワードの発音単位数と、先頭側の削除された発音単位数とを含むデータである。割り込み発声を示すキーワードが日本語である場合、発音単位はモーラとする。入力受付部１１０は、音声信号１９１、探索用データ１９３、キーワードリスト１９４、及び発音単位数情報１９５を含む各種情報を、記憶部１９０に記憶させる。なお、入力受付部１１０は、処理の対象となる音声信号の全部又は一部を音声区間検出部１２０に転送可能であってもよい。
音声区間検出部１２０は、処理の対象となる音声信号から音声区間（発話区間）を検出する。ここで、音声区間は、音声信号のうちの目的の音声が含まれる区間（例えば、所定の人物が発話している区間）とする。音声区間検出部１２０は、既知の検出方法に従って、音声区間を検出する。例えば、音声区間検出部１２０は、音声信号のパワーに基づいて、音声信号における音声区間の開始時刻及び終了時刻を検出する。また、例えば、音声区間検出部１２０は、音声信号のパワーと零交差数とに基づいて、音声信号における音声区間の開始時刻及び終了時刻を検出する。
特徴量抽出部１３０は、既知の抽出方法に従って、音声区間に含まれる音声についての特徴量を抽出する。例えば、特徴量抽出部１３０は、特徴量として、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficients：ＭＦＣＣ）、ＭＦＣＣの時間変化量ΔＭＦＣＣ、及び時間変化量ΔＭＦＣＣの時間変化量ΔΔＭＦＣＣを抽出する。特徴量抽出部１３０は、抽出した特徴量をキーワード検出部１５０に渡すとともに、記憶部１９０の特徴量履歴１９２に格納する。
キーワード検出部１５０は、音声区間から抽出した特徴量と、記憶部１９０に記憶させた探索用データ１９３とに基づいて、音声区間内の最尤音素列を探索する。探索用データ１９３は、例えば、音響モデル、及び発音辞書を含む。キーワード検出部１５０は、音声認識における既知の探索方法に従って、音声区間内の最尤音素系列を探索する。キーワード検出部１５０は、音声区間から抽出した特徴量に基づいて、音声区間内の発話内容を示す情報を探索する探索部の一例である。
キーワード検出部１５０は、音声区間の最尤音素列に対する尤度と、記憶部１９０に記憶させたキーワードリスト１９４において表記される音素列に対する尤度とに基づいて、音声区間に含まれる所定のキーワードを検出する。なお、本実施形態の音声処理装置１におけるキーワード検出部１５０は、検出したキーワードが割り込み発声を示すキーワードである場合、音声区間における該キーワードと対応する区間が、他者による割り込み発声と対応する区間であるか否かを判別する。キーワード検出部１５０は、音声区間のうちの割り込み発声を示すキーワードと対応する第１の部分区間における話者の特徴を示す情報と、該第１の部分区間よりも前の第２の部分区間における話者の特徴を示す情報とを抽出し、それらの情報を照合する。第１の部分区間の話者の情報と第２の部分区間の話者の情報との類似度が閾値以上である場合、キーワード検出部１５０は、該２つの部分区間の話者が同一であると認識する。すなわち、第１の部分区間の話者の情報と第２の部分区間の話者の情報との類似度が閾値よりも小さい場合、キーワード検出部１５０は、第１の部分区間の話者が第２の部分区間の話者とは異なると認識する。第１の部分区間の話者が第２の部分区間の話者とは異なる場合、キーワード検出部１５０は、音声信号における第１の部分区間が他者による割り込み発声と対応する区間であることを示す情報を記憶部１９０の検出履歴１９６に格納する。
また、キーワードリスト１９４には、割り込み発声とは異なる発声と対応したキーワードを登録することが可能である。音声信号に含まれる音声系列から割り込み発声とは異なる発声と対応したキーワードの読みを示す音素列を検出した場合、音声処理装置１は、音声信号における該キーワードと対応する部分区間を示す情報を記憶部１９０の検出履歴１９６に格納する。
本実施形態の音声処理装置１におけるキーワード検出部１５０は、キーワード照合部１５１と、割り込み候補検出部１５２と、開始点推定部１５３と、話者情報抽出部１５４と、話者照合部１５５とを含む。
キーワード照合部１５１は、音声区間の最尤音素系列に対する尤度と、キーワードリスト１９４に登録されたキーワードの読みを示す音素列に対する尤度を用いて照合し、音声区間に含まれるキーワードを検出する。キーワード照合部１５１は、ワードスポッティングにおける既知の照合方法に従って、音声区間最尤音素系列に対する尤度と、キーワードリスト１９４に登録されたキーワードの読みを示す音素列に対する尤度を用いて照合する。
割り込み候補検出部１５２は、キーワード照合部１５１が検出したキーワードのなかから、他者による割り込み発声の候補とするキーワードを検出する。なお、キーワードリスト１９４に登録されたキーワード（音素列）が全て割り込み発声についてのキーワードである場合、割り込み候補検出部１５２は、キーワード照合部１５１において検出された全てのキーワードを、他者による割り込み発声の候補として検出する。また、キーワードリスト１９４に割り込み発声とは異なる発声についてのキーワードが登録されている場合、割り込み候補検出部１５２は、キーワード照合部１５１が検出したキーワードのうちの割り込み発声を示すキーワードを割り込み発声の候補として検出する。また、割り込み候補検出部１５２は、例えば、キーワード照合部１５１が検出したキーワードが割り込み発声とは異なる発声を示すキーワードである場合、該キーワードを示す情報を記憶部１９０の検出履歴１９６に格納する。
開始点推定部１５３は、音声区間から割り込み発声の候補となるキーワードを検出した場合に、音声区間における該キーワードと対応した割り込み発声全体の発声が開始された時刻（開始点）を推定する。開始点推定部１５３は、記憶部１９０に記憶させた発音単位数情報１９５を参照して、割り込み発声の候補であるキーワードの発音単位数と削除された発音単位数とを取得する。その後、開始点推定部１５３は、音声区間におけるキーワードと対応する部分区間の時間長と、該キーワードの発音単位数と、削除された発音単位数とに基づいて、割り込み発声の開始点を推定する（算出する）。
話者情報抽出部１５４は、音声区間における割り込み発声の候補であるキーワードと対応する第１の部分区間の話者の特徴を示す情報、及び該第１の部分区間よりも前の第２の部分区間の話者の特徴を示す情報を抽出する。ここで、第２の部分区間は、例えば、処理の対象となっている音声区間における割り込み発声の開始点よりも前の部分区間とする。本実施形態の音声処理装置１における話者情報抽出部１５４は、記憶部１９０の特徴量履歴１９２で保持している特徴量（すなわち特徴量抽出部１３０が抽出した特徴量）に基づいて、各部分区間の話者の特徴を示す情報を抽出する。例えば、話者情報抽出部１５４は、部分区間毎に、上記のＭＦＣＣ、ΔＭＦＣＣ、及びΔΔＭＦＣＣに基づいて、話者の発声時の特徴を示すベクトル（例えば、i-vector）を抽出し、抽出した該ベクトルを、話者を示す情報とする。
話者照合部１５５は、第１の部分区間の話者を示す情報と、第２の部分区間の話者を示す情報とを照合し、該２つの部分区間の話者が同一であるか否かを判別する。話者照合部１５５は、例えば、第１の部分区間の話者を示す情報と、第２の部分区間の話者を示す情報との類似度を算出し、該類似度が閾値以上である場合には２つの部分区間の話者が同一であると認識する。例えば、話者を示す情報が上記の発声時の特徴を示すベクトルである場合、話者照合部１５５は、２つのベクトルのコサイン類似度を算出する。コサイン類似度は、０以上１以下の値となり、２つのベクトルの方向の差が小さいほど１に近い大きな値となる。このため、コサイン類似度が閾値以上である場合、話者照合部１５５は、第１の部分区間の話者と第２の部分区間の話者とが同一であると認識する。一方、コサイン類似度が閾値よりも小さい場合、話者照合部１５５は、第１の部分区間の話者が第２の部分区間の話者とは異なると認識する。すなわち、話者照合部１５５は、第１の部分区間の話者と第２の部分区間の話者とが異なる場合にのみ、音声区間における第１の部分区間が他者による割り込み発声であると認識する。音声区間における第１の部分区間が他者による割り込み発声であると認識した場合、話者照合部１５５は、他者による割り込み発声を示す情報を記憶部１９０の検出履歴１９６に格納する。検出履歴１９６に格納する割り込み発声を示す情報は、例えば、音声信号における割り込み発声の開始点（開始時刻）を含む。
出力部１６０は、記憶部１９０に記憶させた音声信号１９１及び検出履歴１９６を含む各種情報を外部装置３に出力する。外部装置３は、例えば、音声信号１９１の再生、及び検出履歴１９６の表示が可能な電子機器である。また、外部装置３は、音声信号１９１及び検出履歴１９６を蓄積するストレージ装置であってもよい。
本実施形態の音声処理装置１は、上記のように、キーワードリスト１９４を参照して音声区間に含まれる割り込み発声の候補を検出するとともに、発音単位数情報１９５を参照して音声区間における割り込み発声の候補の開始点を推定する。
図２は、キーワードリストの内容を示す図である。図３は、発音単位数情報の内容を示す図である。
図２には、日本語による割り込み発声の検出に用いるキーワードリスト１９４の一例を示している。
キーワードリスト１９４には、上記のように、音声区間から検出するキーワードの読みを示す音素列が複数登録される。図２のキーワードリスト１９４におけるＩＤは、登録された音素列（キーワード）を識別する識別子である。ＩＤが１－１から１－５である５個の音素列は、それぞれ、「いやそうじゃないでしょ」という割り込み発声と対応する音素列である。このうちのＩＤが１－１である音素列は、割り込み発声全体の読みを示す音素列である。これに対し、ＩＤが１－２から１－５までの４個の音素列は、それぞれ、「いやそうじゃないでしょ」という割り込み発声における先頭側（語頭側）の音素が発音単位で削除されており、かつ削除された音素の数が異なる。日本語の場合、発音単位にはモーラを用いることが好ましい。このため、図２のキーワードリスト１９４におけるＩＤが１－２の音素列では、「いやそうじゃないでしょ」という割り込み発声における先頭の１モーラ分の音素を削除している。また、ＩＤが１－３の音素列では、「いやそうじゃないでしょ」という割り込み発声における先頭の２モーラ分の音素を削除している。更に、ＩＤが１－４の音素列では「いやそうじゃないでしょ」という割り込み発声における先頭の３モーラ分の音素を削除しており、ＩＤが１－５の音素列では「いやそうじゃないでしょ」という割り込み発声における先頭の４モーラ分の音素を削除している。
また、図２のキーワードリスト１９４におけるＩＤが２－１から２－５である５個の音素列は、それぞれ、「ごめんちょっとおしえて」という割り込み発声と対応する音素列である。このうちのＩＤが２－１である音素列は、割り込み発声全体の読みを示す音素列である。これに対し、ＩＤが２－２から２－５までの４個の音素列は、それぞれ、「ごめんちょっとおしえて」という割り込み発声を示す音素列における先頭側（語頭側）の音素が発音単位（モーラ単位）で削除されており、かつ削除された音素の数が異なる。
更に、図３のキーワードリスト１９４におけるＩＤが３－１から３－５である５個の音素列は、それぞれ、「ごめんもういっかいいって」という割り込み発声と対応する音素列である。このうちのＩＤが３－１である音素列は、割り込み発声全体の読みを示す音素列である。これに対し、ＩＤが３－２から３－５までの４個の音素列は、それぞれ、「ごめんもういっかいいって」という割り込み発声における先頭側（語頭側）の音素が発音単位（モーラ単位）で削除されており、かつ削除された音素の数が異なる。
このように、キーワードリスト１９４には、１つの割り込み発声（キーワード）に対する音素列として、該割り込み発声全体を示す音素列と、先頭側の音素が発音単位で削除された複数の音素列とを登録する。これにより、本実施形態の音声処理装置１では、ある話者が発話しているときに他の話者が割り込み発声をし、他者の割り込み発声の先頭部分が別の話者の発声と重なった場合にも、割り込み発声を検出することが可能となる。
なお、キーワードリスト１９４には、上記のように、割り込み発声とは異なる発声を示すキーワードが登録されていてもよい。例えば、キーワードリスト１９４には、「始めます」及び「以上です」のような会議において区切りとなるキーワードや、「わかりません」等のキーワードが登録されていてもよい。
上記のキーワードリスト１９４に基づいて音声区間における割り込み発声を示す音素列（キーワード）を検出する場合、該音素列と対応する第１の部分区間の話者が、該第１の部分区間よりも前の第２の部分区間の話者と同一である可能性もある。このため、本実施形態の音声処理装置１では、音声区間に含まれる割り込み発声と対応する音素列を検出した後、該音素列と対応する第１の部分区間の話者が、該第１の部分区間よりも前の第２の部分区間の話者と同一であるか否かを判別する。このとき、音声処理装置１は、発音単位数情報１９５を参照して第２の部分区間を決定する。
発音単位数情報１９５は、例えば、図３のように、キーワードリスト１９４に登録された割り込み発声を示すキーワードのそれぞれにおける、キーワードのモーラ数と先頭側の削除されたモーラ数（削除モーラ数）とを示す情報を含む。図３の発音単位数情報１９５におけるＩＤは、図２のキーワードリスト１９４におけるＩＤと対応している。例えば、発音単位数情報１９５においてＩＤが１－１であるキーワードは、キーワードリスト１９４におけるＩＤが１－１の音素列と対応するキーワード（いやそうじゃないでしょ）である。キーワードリスト１９４におけるＩＤが１－１の音素列は「いやそうじゃないでしょ」という割り込み発声のキーワード全体の読みを示す音素列である。したがって、発音単位数情報１９５におけるＩＤが１－１のキーワードについてのモーラ数及び削除モーラ数は、それぞれ、「９」及び「０」となっている。
また、例えば、発音単位数情報１９５においてＩＤが１－２のキーワードは、キーワードリスト１９４におけるＩＤが１－２の音素列と対応するキーワード（やそうじゃないでしょ）である。キーワードリスト１９４におけるＩＤが１－２の音素列は、「いやそうじゃないでしょ」という割り込み発声のキーワード全体のうちの、先頭の１モーラ分の音素が削除された音素列である。したがって、発音単位数情報１９５におけるＩＤが１－２のキーワードについてのモーラ数及び削除モーラ数は、それぞれ、「８」及び「１」となっている。
なお、キーワードリスト１９４及び発音単位数情報１９５に登録する１種類の割り込み発声についての音素列の数は、５個に限らず、適宜変更可能である。例えば、キーワードリスト１９４に音素列（キーワード）を登録する際には、登録する音素列のモーラ数（発音単位数）に最小値を設定し、割り込み発声の種類毎に、割り込み発声全体を示す音素列のモーラ数に応じて登録する音素列の数を変えてもよい。登録する音素列のモーラ数の最小値を５とする場合、キーワードリスト１９４には、例えば、「ごめんもういっかいいって」という割り込み発声についての音素列として、更にモーラ数が５である「かいいって」という音素列等を登録してもよい。
本実施形態の音声処理装置１は、ワードスポッティングと呼ばれる検出方法に従って、音声信号に含まれる所定のキーワード（割り込み発声）を検出する。更に、本実施形態の音声処理装置１は、ワードスポッティングにより検出した割り込み発声が他者による割り込み発声であるか否かを判別する。
本実施形態の音声処理装置１は、音声信号に含まれる他者による割り込み発声を検出する処理として、例えば、図４のフローチャートに沿った音声処理を行う。なお、音声処理装置１は、図４のフローチャートに沿った処理を、モノラルマイク２から音声信号を取得する処理と並列に行ってもよいし、音声信号の取得を終了した後で行ってもよい。
図４は、第１の実施形態に係る音声処理装置が行う音声処理の内容を説明するフローチャートである。
本実施形態の音声処理装置１は、図４のように、まず、処理の対象となる音声信号から音声区間を検出する（ステップＳ１）。ステップＳ１の処理は、音声処理装置１の音声区間検出部１２０が行う。音声区間検出部１２０は、既知の検出方法に従って、音声信号のうちの目的の音声が含まれる区間（例えば、所定の人物が発話している区間）を検出する。例えば、音声区間検出部１２０は、音声信号のパワーに基づいて、音声信号における音声区間の開始時刻及び終了時刻を検出する。
次に、音声処理装置１は、検出した音声区間の特徴量を抽出して保持する（ステップＳ２）。ステップＳ２の処理は、音声処理装置１の特徴量抽出部１３０が行う。特徴量抽出部１３０は、既知の抽出方法に従って、音声区間に含まれる音声についての特徴量を抽出する。例えば、特徴量抽出部１３０は、特徴量として、ＭＦＣＣ、ＭＦＣＣの時間変化量ΔＭＦＣＣ、及び時間変化量ΔＭＦＣＣの時間変化量ΔΔＭＦＣＣを抽出する。特徴量抽出部１３０は、抽出した特徴量をキーワード検出部１５０に渡すとともに、記憶部１９０の特徴量履歴１９２に格納する。このとき、特徴量履歴１９２は、例えば、記憶部１９０に含まれるリングバッファに記憶させておく。リングバッファのバッファ長は、音声処理装置１（話者情報抽出部１５４）が第２の部分区間の話者の情報を抽出する際に必要となる特徴量を保持しておくことが可能なバッファ長（例えば、１０秒分以上の特徴量を保持可能なバッファ長）とする。
次に、音声処理装置１は、音声区間から抽出した特徴量と、探索用データ１９３とに基づいて、音声区間の発話内容と最もマッチした最尤音素列を探索する（ステップＳ３）。ステップＳ３の処理は、音声処理装置１のキーワード検出部１５０が行う。探索用データ１９３は、上記のように、音声認識に用いる音響モデル、及び発音辞書を含む。キーワード検出部１５０は、音声認識における既知の探索方法に従って、音声区間内の最尤音素系列を探索する。
次に、音声処理装置１は、音声区間の最尤音素系列と、キーワードリスト１９４とに基づいて、音声区間に含まれる所定のキーワードを検出するキーワード検出処理（ステップＳ４）を行う。ステップＳ４のキーワード検出処理は、音声処理装置１のキーワード検出部１５０が行う。キーワード検出部１５０は、ワードスポッティングと呼ばれる既知のキーワード検出方法に従い、キーワードリスト１９４に登録された音素列に対する尤度と音声区間の最尤音素系列内の音素列に対する尤度とを用いて照合し、キーワードを検出する。キーワードリスト１９４には、上記のように、割り込み発声を示すキーワードの音素列が複数登録されている（図２を参照）。ステップＳ４の処理では、キーワード検出部１５０は、音声区間から割り込み発声を示すキーワードを検出した場合に、音声区間における該キーワードと対応する部分区間の話者が、該部分区間よりも前の部分区間の話者と同一であるか否かを判別する。２つの部分区間の話者が同一である場合、キーワード検出部１５０は、割り込み発声を示すキーワードを検出したキーワードから除外する。そして、２つの部分区間の話者が異なる場合、キーワード検出部１５０は、割り込み発声を示すキーワードと対応する部分区間を他者による割り込み発声を示すキーワードとし、該キーワードを示す情報を記憶部１９０の検出履歴１９６に格納する。また、キーワード検出部１５０は、キーワードリスト１９４に登録された割り込み発声とは異なる発声を示すキーワードを検出した場合には、該キーワードを示す情報を記憶部１９０の検出履歴１９６に格納する。
キーワード検出処理を終えると、音声処理装置１は、音声処理を続けるか否かを判定する（ステップＳ５）。処理を続ける場合（ステップＳ５；ＹＥＳ）、音声処理装置１は、ステップＳ１以降の処理を繰り返す。一方、処理の対象となっている音声信号の最後まで処理を行った場合や、外部から処理終了の命令が入力された場合、音声処理装置１は、処理を続けないと判定する。処理を続けない場合（ステップＳ５；ＮＯ）、音声処理装置１は、音声処理を終了する。
なお、本実施形態の音声処理装置１は、上記のように、音声信号を取得する処理と並列にステップＳ１～Ｓ５の音声処理を行ってもよいし、音声信号を取得した後でステップＳ１～Ｓ５の音声処理を行ってもよい。また、本実施形態の音声処理装置１は、図４のようなループ処理に限らず、例えば、ステップＳ１～Ｓ４の各処理をパイプライン化した音声処理を行ってもよい。更に、本実施形態の音声処理装置１は、音声処理の実行中、或いは音声処理を終了した後等の任意のタイミングで、記憶部１９０の音声信号１９１及び検出履歴１９６等を外部装置３に送信する処理を行う。音声信号１９１及び検出履歴１９６等を外部装置３に送信する処理は、音声処理装置１の出力部１６０が行う。
本実施形態の音声処理装置１は、上記のように、キーワード検出処理（ステップＳ４）において、キーワードリスト１９４に登録されたキーワードを音声信号から検出した場合に、検出したキーワード毎に次の２つの判別処理を行う。第１の判別処理は、検出したキーワードが割り込み発声を示すキーワードであるか否かを判別する処理である。第2の判別処理は、音声信号において割り込み発声を示すキーワードと対応する第１部分区間の話者と、第1の部分区間よりも前の第2の部分区間の話者とが同一であるか否かを判別する処理である。また、本実施形態の音声処理装置１は、検出したキーワードが割り込み発声を示すキーワードであり、かつ該キーワードについての第1の部分区間の話者と第2の部分区間の話者とが同一である場合、該キーワードを検出したキーワードから除外する。このため、本実施形態の音声処理装置１は、ステップＳ４のキーワード検出処理として、例えば、図５Ａ及び図５Ｂのフローチャートに沿った処理を行う。
図５Ａは、第１の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その１）である。図５Ｂは、第１の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その２）である。なお、図５Ａ及び図５Ｂのフローチャートにおける数字を記載した円は、それぞれ、結合子であり、数字の同じ円（結合子）同士が結合する。
キーワード検出処理は、上記のように、音声処理装置１のキーワード検出部１５０が行う。キーワード検出部１５０は、図５Ａのように、まず、音声区間の最尤音素系列に対する尤度とキーワードリスト１９４に登録されたキーワードの音素列に対する尤度に基づいて、音声区間に含まれるキーワードを検出する（ステップＳ４０１）。ステップＳ４０１の処理は、キーワード検出部１５０に含まれるキーワード照合部１５１が行う。キーワード照合部１５１は、ワードスポッティングにおける既知の検出方法に従って、音声区間に含まれるキーワードを検出する（ステップＳ４０１）。例えば、キーワード照合部１５１は、キーワードリスト１９４に登録されたキーワードの音素列毎に尤度を算出し、音声区間の最尤音素系列に対する尤度を用いて照合して信頼度を算出する。そして、キーワードリスト１９４に登録されたキーワードの音素列のなかに信頼度が閾値以上となる音素列がある場合に、キーワード照合部１５１は、該音素列と対応したキーワードを音声区間に含まれるキーワードとして検出する。
次に、キーワード検出部１５０は、キーワードリスト１９４に登録されたキーワードを音声区間から検出したか否かを判定する（ステップＳ４０２）。ステップＳ４０２の判定は、例えば、キーワード照合部１５１が行う。現在処理の対象となっている音声区間からキーワードが検出されなかった場合（ステップＳ４０２；ＮＯ）、キーワード検出部１５０（キーワード照合部１５１）は、図５Ｂのように、照合すべき音声信号が終了したか否かを判定する。
一方、音声区間からキーワードが検出された場合（ステップＳ４０２；ＹＥＳ）、検出したキーワードが割り込み発声の候補であるか否かを判定する（ステップＳ４０３）。ステップＳ４０３の処理は、例えば、キーワード検出部１５０に含まれる割り込み候補検出部１５２が行う。ステップＳ４０３の判定処理では、割り込み候補検出部１５２は、検出したキーワードが、発音単位数情報１９５にキーワードのモーラ数及び削除モーラ数が登録されたキーワードであるか否かを判定する。例えば、割り込み候補検出部１５２は、検出したキーワードについてのキーワードリスト１９４におけるＩＤをキー情報として、発音単位数情報１９５のＩＤを検索する。発音単位数情報１９５にキー情報と一致するＩＤが存在する場合、割り込み候補検出部１５２は、検出したキーワードは割り込み発声の候補であると判定する。
検出したキーワードが割り込み発声の候補ではない場合（ステップＳ４０３；ＮＯ）、キーワード検出部１５０は、図５Ｂのように、次に、検出したキーワードに関する情報を検出履歴に格納する（ステップＳ４０９）。ステップＳ４０９の処理では、キーワード検出部１５０は、例えば、検出したキーワードを示す文字列、音声信号における検出したキーワードの発話開始時刻、及び他者による割り込み発話であるか否かを示す情報を検出履歴１９６に格納する。
ステップＳ４０９の処理の後、キーワード検出部１５０は、現在処理の対象となっている音声信号を全て処理したか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定処理は、例えば、割り込み候補検出部１５２が行う。ステップＳ４１０で処理していない音声信号が存在する場合（ステップＳ４１０；ＮＯ）、割り込み候補検出部１５２は、ステップＳ４０１以降の処理を行う。そして、全ての音声信号が処理済みである場合（ステップＳ４１０；ＹＥＳ）、キーワード検出部１５０（割り込み候補検出部１５２）は、キーワード検出処理を終了する。
これに対し、検出したキーワードが割り込み発声の候補である場合（ステップＳ４０３；ＹＥＳ）、キーワード検出部１５０は、次に、割り込み発声の候補のモーラ数と削除モーラ数とに基づいて、割り込み発声の開始点を推定する（ステップＳ４０４）。ステップＳ４０４の処理は、キーワード検出部１５０に含まれる開始点推定部１５３が行う。開始点推定部１５３は、例えば、まず、発音単位数情報１９５から割り込み発声の候補（検出したキーワード）のモーラ数及び削除モーラ数を取得する。その後、開始点推定部１５３は、例えば、下記式（１）により、音声信号における割り込み発声の開始点となる時刻Ｔ１を推定する。
Ｔ１＝Ｔ２－Ｍｄ・（ＴＬ１／Ｍ） （１）
式（１）におけるＴ２及びＴＬ１は、それぞれ、音声信号のうちの割り込み発声の候補となっているキーワードと対応する部分区間（第１の部分区間）の開始時刻及び時間長である。また、式（１）におけるＭ及びＭｄは、それぞれ、発音単位数情報１９５に登録されたキーワードのモーラ数及び削除モーラ数である。すなわち、式（１）は、第１の部分区間における１モーラあたりの平均時間長ＴＬ１／Ｍを発話速度として、キーワードを含む割り込み発声全体の１語目を発声した時刻（開始点）Ｔ１を算出する数式である。例えば、割り込み発声の候補となったキーワードのモーラ数Ｍ及び削除モーラ数Ｍｄがそれぞれ６及び３である場合、開始点推定部１５３は、時刻Ｔ２から３・（ＴＬ１／６）秒前となる時刻Ｔ１を、割り込み発声の開始点とする。
次に、キーワード検出部１５０は、音声信号における割り込み発声の候補と対応する第１の部分区間の話者情報と、音声信号における割り込み発声の開始点よりも前の第２の部分区間の話者情報とを抽出する（ステップＳ４０５）。ステップＳ４０５の処理は、キーワード検出部１５０に含まれる話者情報抽出部１５４が行う。話者情報抽出部１５４は、例えば、まず、音声信号における第１の部分区間から抽出した特徴量を特徴量履歴１９２から読み出し、該特徴量に基づいて、第１の部分区間の話者を示す情報を抽出する。その後、話者情報抽出部１５４は、音声信号における第２の部分区間から抽出した特徴量を特徴量履歴１９２から読み出し、該特徴量に基づいて、第２の部分区間の話者を示す情報を抽出する。話者情報抽出部１５４は、所定の時間長と開始点推定部１５３が算出した（推定した）割り込み発声の開始点とに基づいて、音声信号における第２の部分区間を特定する。第２の部分区間の時間長は、特定の時間長（固定値）に限らず、例えば、第１の部分区間の時間長や音声区間における割り込み発声の開始点よりも前となる部分区間の時間長に応じて変更可能な可変値であってもよい。ステップＳ４０５の処理では、話者情報抽出部１５４は、例えば、部分区間毎に、部分区間内の特徴量に基づく因子分析を行い、部分区間内における話者の特徴を示すベクトル（例えばi-vector）を抽出する。
次に、キーワード検出部１５０は、第１の部分区間の話者情報と第２の部分区間の話者情報との類似度を算出する（ステップＳ４０６）。ステップＳ４０６の処理は、キーワード検出部１５０に含まれる話者照合部１５５が行う。本実施形態における話者情報の類似度は、例えば、２つの話者情報の差異が小さいほど大きな値となる数式により算出する。第１の部分区間の話者情報及び第２の部分区間の話者情報として上記のベクトル（i-vector）を抽出した場合、話者照合部１５５は、類似度として、例えば、下記式（２）で表されるコサイン類似度Ｓｃを算出する。
Figure 0007035476000001
式（２）における太字のｗはベクトルを意味する。すなわち、式（２）において、ｗ１は第１の部分区間の特徴量に基づいて抽出した第１のベクトル（i-vector）であり、太字のｗ２は第２の部分区間の特徴量に基づいて抽出した第２のベクトル（i-vector）である。
話者情報の類似度を算出すると、キーワード検出部１５０は、次に、算出した類似度が閾値以上であるか否かを判定する（ステップＳ４２３）。ステップＳ４２３の判定は、話者照合部１５５が行う。
話者情報の差異が小さいほど値が大きくなる数式により類似度を算出した場合、第１の部分区間の話者と第２の部分区間の話者とが同一であるときの類似度は、第１の部分区間の話者と第２の部分区間の話者とが異なるときの類似度よりも大きな値となる。例えば、式（２）で表されるコサイン類似度Ｓｃは、１≧Ｓｃ≧０であり、かつ、第１のベクトルｗ１と第２のベクトルｗ２との差異が小さいほど、１に近い大きな値となる。このため、算出した類似度が予め設定した閾値ＴＨＳ以上である場合には、話者照合部１５５は、第１の部分区間の話者と第２の部分区間の話者とが同一であると認識する。第１の部分区間の話者と第２の部分区間の話者とが同一である場合、第１の部分区間の発話内容は、第２の部分区間の話者が発声したものであり、第２の部分区間の話者とは異なる話者（他者）が発声した割り込み発声ではない。このため、算出した類似度Ｓｃが閾値以上である場合、話者照合部１５５は、音声信号における第１の部分区間を他者による割り込み発声と対応した区間でなないと認識する。言い換えると、算出した類似度Ｓｃが閾値以上である場合、話者照合部１５５は、第１の部分区間と対応するキーワードは、検出対象のキーワード（他者による割り込み発声を示すキーワード）ではないと認識する。このため、算出した類似度Ｓｃが閾値以上である場合（ステップＳ４２３；ＹＥＳ）、キーワード検出部１５０は、図５Ｂのように、次に、現在処理の対象となっている音声信号をすべて処理したか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定処理は、例えば、割り込み候補検出部１５２が行う。ステップＳ４１０で処理していない音声信号が存在する場合（ステップＳ４１０；ＮＯ）、割り込み候補検出部１５２は、ステップＳ４０１の処理を行う。そして、全ての音声信号が処理済みである場合（ステップＳ４１０；ＹＥＳ）、キーワード検出部１５０（割り込み候補検出部１５２）は、キーワード検出処理を終了する。
一方、算出した類似度が閾値よりも小さい場合（ステップＳ４２３；ＮＯ）、話者照合部１５５は、音声区間における第１の部分区間を他者による割り込み発声の区間であると認識する（ステップＳ４０８）。その後、キーワード検出部１５０は、検出したキーワードに関する情報を検出履歴に格納する（ステップＳ４０９）。ステップＳ４０９の処理では、キーワード検出部１５０は、例えば、検出したキーワードを示す文字列、音声信号における検出キーワードの発話開始時刻、及び他者による割り込み発話であるか否かを示す情報を検出履歴１９６に格納する。
ステップＳ４０９の処理の後、キーワード検出部１５０は、現在処理の対象となっている音声信号を全て処理したか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定処理は、例えば、割り込み候補検出部１５２が行う。ステップＳ４１０で処理していない音声信号が存在する場合（ステップＳ４１０；ＮＯ）、割り込み候補検出部１５２は、ステップＳ４０１の処理を行う。そして、全ての音声信号が処理済みである場合（ステップＳ４１０；ＹＥＳ）、キーワード検出部１５０（割り込み候補検出部１５２）は、キーワード検出処理を終了する。
このように、本実施形態に係るキーワード検出処理では、音声区間内に割り込み発声のキーワードと対応した第１の部分区間が存在する場合に、第１の部分区間の話者と、該第１の部分区間よりも前の第２の部分区間の話者とが同一であるか否かを判定する。そして、２つの部分区間の話者が異なる場合にのみ、本実施形態のキーワード検出処理では、割り込み発声のキーワードと対応した第１の部分区間を他者による割り込み発声の区間として検出する。このため、本実施形態に係るキーワード検出処理では、１人の話者が連続して発話している音声区間から検出された割り込み発声と対応するキーワードを他者による割り込み発声として誤検出することを防ぐことが可能となる。
図６は、他者による割り込み発声を含む音声信号の例を示す波形図である。
図６の波形図４は、横軸が音声信号５における時刻を示しており、縦軸が音声信号５の振幅を示している。すなわち、図６の波形図には、音声信号５のうちの時刻Ｔ０から時刻Ｔ３までの区間における振幅の時間変化を示している。時刻Ｔ０から時刻Ｔ３までの区間は、１人の話者（第２の話者）の発話中に他者（第１の話者）が割り込み発声を行うことにより、第２の話者が発声をやめた区間である。
波形図４における時刻Ｔ０から時刻Ｔ２（＜Ｔ３）までの区間ＳＢ２は、第２の話者が発話している区間の一部である。一方、波形図４における時刻Ｔ１（Ｔ０＜Ｔ１＜Ｔ２）から時刻Ｔ３までの区間ＳＢ１は、第２の話者とは異なる第１の話者（他者）が割り込み発声を行っている区間の一部である。第２の話者が発話しているときに他者（第１の話者）が割り込み発声を行うと、第２の話者は発声をやめることが多い。このため、第２の話者が発話しているときに他者（第１の話者）が割り込み発声を行うと、図６の波形図４における時刻Ｔ１から時刻Ｔ２までの区間ＯＬのように、第１の話者の発話区間ＳＢ１における最初の数語分だけ第２の話者の発声と第１の話者の発声とが重なる。
統計的言語モデルを利用した音声ディクテーションにより音声認識を行う音声認識装置では、時刻Ｔ１から時刻Ｔ２までの区間ＯＬのような複数の話者の発声を含む区間を正しい文字列（単語列）に変換することが難しい。更に、音声ディクテーションによる音声認識では、区間ＯＬの認識結果が区間ＯＬの前後の区間の認識結果に対して悪影響を与える。このため、音声ディクテーションによる音声認識では、時刻Ｔ０から時刻Ｔ３までの区間を含む音声区間全体の認識結果における誤認識率が高くなる恐れがある。
これに対し、本実施形態の音声処理装置１では、上記のようにワードスポッティングと呼ばれる技術を適用し、時刻Ｔ０から時刻Ｔ３までの区間を含む音声区間から、割り込み発声を含む所望のキーワードを検出する。本実施形態の音声処理装置１で利用するキーワードリスト１９４は、図２のように、割り込み発声全体の読みを示す音素列に加え、割り込み発声の音素列における先頭側（語頭側）の音素を発音単位で削除した音素列を登録している。すなわち、キーワードリスト１９４には、図６の波形図４における第１の話者の発話区間ＳＢ１に発声された割り込み発声全体のうちの、時刻Ｔ１から時刻Ｔ２までの区間ＯＬに第1の話者が発声した部分が削除された割り込み発声の読みを示す音素列が含まれる。このため、本実施形態の音声処理装置１では、2人の話者の発声が重なっている時刻Ｔ１から時刻Ｔ２までの区間ＯＬの影響を受けることなく、音声信号５における時刻Ｔ２以降の情報に基づいて、割り込み発声を検出することが可能となる。
なお、キーワードリスト１９４に基づいて割り込み発声を検出した場合、検出した割り込み発声の話者が、割り込み発声を検出した区間の直前となる区間の話者と同一である可能性もある。例えば、１人の話者が連続して発話している音声区間には、キーワードリスト１９４における「じゃないでしょ」のような割り込み発声と対応した発声（音素列）が含まれる場合もある。このため、本実施形態の音声処理装置１では、キーワードリスト１９４に登録された割り込み発声の読みを示す音素列を音声信号５から検出した場合に、検出した割り込み発声が他者による割り込み発声であるか否かを判別する。
第２の話者の発話中に第１の話者が割り込み発声を行った場合、音声信号における第１の話者のみが発声している区間と第２の話者のみが発声している区間とでは、音響的な特徴量に明確な差異が生じる。これに対し、１人の話者が発話中に割り込み発声に該当するキーワードを発声した場合、音声信号におけるキーワードと対応する区間と他の区間とでは、音響的な特徴量の類似度が高くなる。このため、本実施形態の音声処理装置１は、検出した割り込み発声と対応する第１の部分区間における音響的な特徴量と、該第１の部分区間よりも前の第２の部分区間における音響的な特徴量とに基づいて、２つの部分区間の話者が同一であるか否かを判定する。本実施形態の音声処理装置１では、第１の部分区間及び第２の部分区間の音響的な特徴量として、特徴量抽出部１３０が抽出した特徴量を利用する。また、本実施形態の音声処理装置１では、第１の部分区間の特徴量と第２の部分区間の特徴量との類似度が閾値以上となる場合に、第１の部分区間の話者と第２の部分区間の話者とが同一であると判定する。
例えば、図６の波形図４における音声信号５では、時刻Ｔ２以降の区間が第１の部分区間となり、時刻Ｔ１以前の区間が第２の部分区間となる。このため、音声処理装置１は、例えば、第１の部分区間の特徴量に基づいて第１の部分区間の話者の発声時の特徴を示す第１の話者情報を抽出するとともに、第２の部分区間の特徴量に基づいて第２の部分区間の話者の発声時の特徴を示す第２の話者情報を抽出する。音声処理装置１における特徴量抽出部１３０は、音声信号５の音響的な特徴量として、例えば、ＭＦＣＣ，ΔＭＦＣＣ，及びΔΔＭＦＣＣを抽出する。この場合、音声処理装置１では、第１の話者情報及び第２の話者情報として、例えば、それぞれの部分区間におけるＭＦＣＣ，ΔＭＦＣＣ，及びΔ（ΔＭＦＣＣ）に基づいて、発声時の特徴を示すベクトル（例えばi-vector）を抽出する。図６の波形図４における音声信号５では、時刻Ｔ２以降の第１の部分区間と時刻Ｔ１以前の第２の部分区間とで話者が異なる。このように第１の部分区間の話者と第２の部分区間の話者とが異なる場合、第１の部分区間の特徴量から抽出したベクトル（第１の話者情報）と、第２の部分区間の特徴量から抽出したベクトル（第２の話者情報）との間には、明確な差異が生じる。このため、式（２）で算出されるコサイン類似度Ｓｃは、１＞Ｓｃ＞０であり、かつ１からの差が大きな値となる。この場合、音声処理装置１は、第１の部分区間の話者と第２の部分区間の話者とが同一ではないと認識する。
図７は、キーワードの検出方法を説明する図である。
図７の（ａ）には、音声信号５における１個の音声区間ＶＢ内の発話内容を模式的に示している。図７の（ａ）の音声区間ＶＢには、第２の話者が発声した「だいじょうぶだとかんがえて」という発話内容と対応する音声５０１と、第１の話者が発声した「いやそうじゃないでしょ」という割り込み発声と対応する音声５０２とが含まれる。また、第１の話者は、第２の話者の発話中に割り込み発声を行っており、第１の話者の発声開始直後の「いやそ」の部分は、第２の話者の「がえて」という発声と重なっている。すなわち、図７の（ａ）の音声信号５では、時刻Ｔｏ１から時刻Ｔｏ２までの部分区間ＯＬが、２人の発声が重なった区間となる。音声処理装置１は、例えば、音声区間ＶＢを検出した後、該音声区間ＶＢから特徴量を抽出し（ステップＳ２）、該音声区間ＶＢの最尤音素列を探索する（ステップＳ３）。その後、音声処理装置１は、キーワードリスト１９４を参照し、音声区間ＶＢの最尤音素列に対する尤度とキーワードリスト１９４に登録されたキーワードの音素列に対する尤度を用いて、音声区間ＶＢから所定のキーワードを検出する（ステップＳ４０１）。
図７の（ｂ）には、音声処理装置１が図７の（ａ）の音声信号５における音声区間ＶＢに含まれるキーワードを検出する方法を模式的に示している。図７の（ｂ）における音素列６は、図７の（ａ）の音声区間ＶＢの最尤音素列の推定結果である。なお本説明のため、音素列６に示す最尤音素系列の推定結果には誤りがないものとし、発話内容と対応した音素列として示している。音声区間ＶＢのうちの、時刻Ｔｓ１から時刻Ｔｏ１までの区間、及び時刻Ｔｏ２から時刻Ｔｅ１までの区間は、それぞれ、１人の話者が発声している区間である。音声区間における１人の話者が発声している区間は、複数人が発話している区間と比べて、発話内容に対応した最尤音素列が得られやすい。このため、図７の（ｂ）の音素列６における部分区間Ｓ１，Ｓ２の音素列は、それぞれ、発話内容に対応した最尤音素の並びとなりやすい。したがって、図７の（ｂ）では、音素列６における部分区間Ｓ１，Ｓ２の音素列として発話内容の読みを示す音素の並びを示しているが、部分区間Ｓ１，Ｓ２の音素列は、それぞれ、実際の発話内容の読みとは一部が異なる音素の並びとなる場合もある。
これに対し、音素列６における時刻Ｔｏ１から時刻Ｔｏ２までの区間ＯＬは、２人の話者が発声している区間である。このため、音素列６における区間ＯＬの音素列は、発話内容と対応した音素の並びとは大きく異なる場合がある。よって、図７の（ｂ）の音素列６では、区間ＯＬの音素列を「＊＊＊（どの音素が入るか分からないため＊で表す）」で示している。
音声区間ＶＢの最尤音素列６を得た後、音声処理装置１は、キーワードリスト１９４を参照して、音素列６に含まれる所定のキーワードを検出する（ステップＳ４０１）。キーワードリスト１９４には、例えば、図７の（ｂ）のように、「いやそうじゃないでしょ」という割り込み発声の読みを示す音素列「i ya so u ja na i de syo」がキーワード１９４－１として登録されている。また、キーワードリスト１９４には、「いやそうじゃないでしょ」という割り込み発声全体から「いやそ」を削除した「うじゃないでしょ」という割り込み発声の読みを示す音素列「u ja na i de syo」がキーワード１９４－２として登録されている。音声処理装置１は、キーワードリスト１９４に登録されたキーワードの音素列毎に算出した尤度と、音声区間ＶＢの最尤音素列６に対する尤度とを用いて照合し、信頼度の高いキーワードを音声区間ＶＢに含まれるキーワードとして検出する。例えば、音声処理装置１は、音素列「u ja na i de syo」というキーワード１９４－２に対する尤度と、区間Ｓ２における最尤音素列に対する尤度を用いて照合したときに、キーワード１９４－２が区間Ｓ２に含まれる信頼度が高いと認識する。この場合、音声処理装置１は、音声区間ＶＢにおける区間Ｓ２を「うじゃないでしょ」というキーワード（割り込み発声）と対応する区間として検出する。
図２のキーワードリスト１９４のように登録されたキーワードが割り込み発声とは異なる発声を示すキーワードを含む場合、音声処理装置１は、次に、検出したキーワードが割り込み発声の候補を示すキーワードであるか否かを判定する（ステップＳ４０３）。本実施形態の音声処理装置１は、上記のように、検出したキーワードが発音単位数情報１９５に登録されたキーワードである場合、検出したキーワードを割り込み発声の候補とする。図７の（ｂ）の音素列６における区間Ｓ２の音素列６０１は、音素列「u ja na i de syo（うじゃないでしょ）」というキーワード１９４－２と対応する。「うじゃないでしょ」というキーワード１９４－２は、「いやそうじゃないでしょ」という割り込み発声全体のうちの「いやそ」を削除したキーワードであり、発音単位数情報１９５に登録されている（図３を参照）。すなわち、区間Ｓ２から検出した「うじゃないでしょ」というキーワード１９４－２は、割り込み発声の候補となる。このように検出したキーワードが割り込み発声の候補となる場合、音声処理装置１は、次に、割り込み発声の開始点を推定する（ステップＳ４０４）。音声処理装置１（開始点推定部１５３）は、例えば、割り込み発声の候補となるキーワードのモーラ数（発話単位数）と、削除モーラ数と、割り込み発声の候補となる区間の話者の発話速度とに基づいて、割り込み発声の開始点を推定する。
図８は、割り込み発声の開始点の推定方法を説明する図である。
図８には、図７の（ａ）の音声信号５における割り込み発声の開始点の推定方法の一例を示している。音声処理装置１は、図８の音声信号５における時刻Ｔｓ１から時刻Ｔｅ１までの音声区間のうちの、時刻Ｔ２（Ｔｏ２）から時刻Ｔｅ１までの部分区間を第１の部分区間として検出する。第１の部分区間は、第１の話者が発声した「いやそうじゃないでしょ」という割り込み発声（音声５０２）全体のうちの、先頭の３語（３モーラ）が削除された「うじゃないでしょ」という音素列と対応する。「うじゃないでしょ」というキーワードのモーラ数は、６である（図３を参照）。また、音声信号５における第１の部分区間の時間長ＴＬ１は、Ｔｅ１－Ｔ２（秒）である。このため、音声処理装置１の開始点推定部１５３は、第１の部分区間における１モーラあたりの平均発声時間（Ｔｅ１－Ｔ２）／６を、第１の部分区間の話者の発話速度とする。また、図３の発音単位数情報１９５において、「うじゃないでしょ」というキーワードと対応付けられた削除モーラ数は、３である。すなわち、開始点推定部１５３は、上記の式（１）における第１の部分区間の時間長ＴＬ１、文字列のモーラ数Ｍ、及び削除モーラ数Ｍｄを、それぞれ、（Ｔｅ１－Ｔ２）、６、及び３として、割り込み発声の開始点Ｔ１を算出する。すなわち、第１の部分区間の話者の発話速度をＴｍ（秒／モーラ）とした場合、開始点推定部１５３は、時刻Ｔ２よりも３Ｔｍ（秒）だけ前となる時刻Ｔ１を、割り込み発声の開始点とする。
割り込み発声の開始点を推定した後、音声処理装置１は、話者情報抽出部１５４において、第１の部分区間及び該第１の部分区間よりも前の第２の部分区間の話者情報のそれぞれを抽出する（ステップＳ４０５）。本実施形態の音声処理装置１では、第２の部分区間を、割り込み発声の開始点Ｔ１よりも前となるように設定する。その後、音声処理装置１は、照合部１５５において２つの話者情報を照合し、２つの部分区間の話者が同一であるか否かを判別する（ステップＳ４０６及びＳ４２３）。
図９は、他者による割り込み発声であるか否かの判別方法を説明する図である。
図９の（ａ）には、図７の（ａ）の音声信号５における話者の発話内容と特徴量との関係を模式的に示している。すなわち、図９の（ａ）の音声信号５における時刻Ｔｓ１から時刻Ｔ２までの特徴量５１１は、第２の話者が「だいじょうぶだとかんがえて」と発声したときの特徴量を示している。また、図９の（ａ）の音声信号５における時刻Ｔ１から時刻Ｔｅ１までの特徴量５１２は、第１の話者が「いやそうじゃないでしょ」と発声したときの特徴量を示している。
音声信号５における時刻Ｔ２から時刻Ｔｅ１までの区間（第１の部分区間ＰＢ１）は、第１の話者のみが発話している区間である。このため、音声信号５における時刻Ｔ２から時刻Ｔｅ１までの区間から抽出される特徴量は、第１の話者についての情報のみを含む。よって、音声処理装置１の話者情報抽出部１５４は、記憶部１９０の特徴量履歴１９２から、時刻Ｔ２から時刻Ｔｅ１までの区間の特徴量を読み出し、該特徴量に基づいて、第１の話者の発声時の特徴を示す情報（第１の話者情報）を抽出する。特徴量履歴１９２に格納された特徴量がＭＦＣＣ，ΔＭＦＣＣ，及びΔΔＭＦＣＣである場合、話者情報抽出部１５４は、該特徴量に基づく因子分析により、話者の音響的な特徴を示すベクトル（例えばi-vector）を算出する。
また、話者情報抽出部１５４は、第１の部分区間ＰＢ１よりも前の第２の部分区間ＰＢ２として、割り込み発声の開始点（時刻Ｔ１）を終点とする所定の時間長ＴＬ２の部分区間を決定する。すなわち、話者情報抽出部１５４は、時刻Ｔ１よりも時間長ＴＬ２だけ前となる時刻Ｔｐを算出し、時刻Ｔｐから時刻Ｔ１までの区間を第２の部分区間ＰＢ２とする。なお、第２の部分区間ＰＢ２の時間長ＴＬ２は適宜設定すればよい。時間長ＴＬ２は、固定値に限らず、例えば、第１の部分区間ＰＢ１の時間長ＴＬ１、或いは音声区間における時刻Ｔ１よりも前の部分の時間長等に応じて変更される可変値であってもよい。第２の部分区間ＰＢ２を決定した後、話者情報抽出部１５４は、記憶部１９０の特徴量履歴１９２から、時刻Ｔｐから時刻Ｔ１までの第２の部分区間ＰＢ２の特徴量を読み出し、該特徴量に基づいて、第２の話者の発声時の特徴を示す情報（第２の話者情報）を抽出する。
第１の話者情報及び第２の話者情報を抽出した後、音声処理装置１は、上記のように、話者照合部１５５において２つの話者情報を照合し、２つの部分区間の話者が同一であるか否かを判別する（ステップＳ４０６及びＳ４２３）。抽出した話者情報が、上記のようなベクトルである場合、音声処理装置１の話者照合部１５５は、第１の話者情報を示すベクトルと、第２の話者情報を示すベクトルとのコサイン類似度Ｓｃに基づいて、第１の話者と第２の話者とが同一であるか否かを判別する。この場合、話者照合部１５５は、式（２）によりコサイン類似度Ｓｃを算出する。
図９の（ａ）では、第２の話者の特徴量５１１及び第１の話者の特徴量５１２を、それぞれ、ドットパターンにおけるドットの密度で示している。図９の（ａ）の音声信号５では、第１の部分区間ＰＢ１で発声しているのは第１の話者であり、第２の部分区間ＰＢ２で発声しているのは第２の話者である。このため、音声信号５における第１の部分区間ＰＢ１の特徴量と第２の部分区間ＰＢ２の特徴量との間には、明確な差異が生じる。よって、第１の部分区間ＢＰ１の特徴量から抽出される話者情報と、第２の部分区間ＢＰ２の特徴量から抽出される話者情報との間には、明確な差異が生じる。このように、割り込み発声の候補と対応する第１の部分区間ＰＢ１の話者情報と、第２の部分区間ＰＢ２の話者情報とが異なる場合、式（２）により算出されるコサイン類似度ＣＳは、１＞ＣＳ＞０であり、かつ、１との差が大きくなる。
一方、図９の（ｂ）には、音声信号５における時刻Ｔｓ１から時刻Ｔｅ１までの区間が、１人の話者（第２の話者）が発話し続けた区間である場合の、発話内容と特徴量との関係を模式的に示している。例えば、図９の（ｂ）の音声信号５における時刻Ｔｓ１から時刻Ｔｅ１までの区間の発話内容が、第２の話者が１人で発声した「だいじょうぶだとかんがえそうじゃないでしょうか」という内容であったとする。この場合、音声処理装置１は、音声区間における「そうじゃないでしょ」の部分を割り込み発声の候補として検出する。そのため、図９の（ｂ）の音声信号５における時刻Ｔ２から時刻Ｔ４までの部分区間が「そうじゃないでしょ」と対応する区間である場合、音声処理装置１は、該区間を第１の部分区間ＰＢ１として検出する。
第１の部分区間ＰＢ１を検出した後、音声処理装置１は、上記のように、割り込み発声の開始点Ｔ１を推定して第２の部分区間ＰＢ２を決定する。その後、音声処理装置１は、第１の部分区間ＰＢ１の話者情報と第２の部分区間ＰＢ２の話者情報とに基づいて、第１の部分区間ＰＢ１の話者と第２の部分区間ＰＢ２の話者とが同一であるか否かを判別する。ここで、図９の（ｂ）の音声信号５における第１の部分区間ＰＢ１及び第２の部分区間ＰＢ２は、いずれも第２の話者が発話している区間である。このため、音声処理装置１の特徴量抽出部１３０が音声信号５における第１の部分区間ＰＢ１及び第２の部分区間ＰＢ２から抽出した特徴量は、いずれも、第２の話者の発声時の特徴を示す特徴量５１３となる。よって、第１の部分区間ＢＰ１の特徴量５１３から抽出される話者情報と、第２の部分区間ＢＰ２の特徴量５１３から抽出される話者情報とは、略同一の情報となる。このように、割り込み発声の候補と対応する第１の部分区間ＰＢ１の話者情報と、第２の部分区間ＰＢ２の話者情報とが同一とみなせる場合、式（２）により算出されるコサイン類似度Ｓｃは、１＞Ｓｃ＞０であり、かつ、１に近い値となる。
すなわち、第１の部分区間ＰＢ１の話者と第２の部分区間ＰＢ２の話者とが異なる場合と、話者が同一である場合とでは、コサイン類似度Ｓｃの値の範囲に差異が生じる。このため、統計処理等を行って予め閾値ＴＨＳを定めておくことで、音声処理装置１は、閾値ＴＨＳとコサイン類似度Ｓｃとの大小関係に基づいて、第１の部分区間ＰＢ１の話者と第２の部分区間の話者ＰＢ２とが同一であるか否かを判別することが可能となる。
キーワードリスト１９４に登録されたキーワード（音素列）のうちの割り込み発声全体における先頭部分が削除された音素列は、割り込み発声を示す音素列に限らず、他のキーワード等の音素列の一部あるいは発音が類似する場合もある。このため、キーワードリスト１９４に基づいて音声区間に含まれるキーワードを検出する場合、音声処理装置１では、音声信号における他者による割り込み発声とは異なる部分区間を、割り込み発声として検出することがある。このように音声区間のうちのキーワードリスト１９４に登録されたキーワードと対応する区間を割り込み発声とする場合、他者による割り込み発声ではない部分を割り込み発声として誤検出する可能性が高くなる。例えば、キーワードリスト１９４に登録されたキーワードと対応する区間を割り込み発声とする場合、図９の（ａ）の音声信号５における第１の部分区間ＰＢ１、及び図９の（ｂ）の音声信号５における第１の部分区間ＰＢ１は、いずれも割り込み発声となる。しかしながら、図９の（ｂ）の音声信号５における第１の部分区間ＰＢ１は他者による割り込み発声ではないため、第１の部分区間ＰＢ１を割り込み発声として検出することは、誤検出となる。
これに対し、本実施形態の音声処理装置１では、キーワードリスト１９４を参照して検出した音声信号内の部分区間を割り込み発声の候補とし、音声信号から抽出した特徴量に基づいて、割り込み発声の候補が他者による割り込み発声であるか否かを判別する。すなわち、本実施形態の音声処理装置１では、１人の話者が発話している１つの音声区間から検出された割り込み発声の候補となる部分区間を、他者による割り込み発声ではないと認識する。例えば、本実施形態の音声処理装置１は、図９の（ａ）の音声信号５における第１の部分区間ＰＢ１は他者による割り込み発声と認識するが、図９の（ｂ）の音声信号５における第１の部分区間ＰＢ１は割り込み発声ではないと認識する。このため、本実施形態の音声処理装置１では、音声信号における他者による割り込み発声ではない部分を割り込み発声として誤検出することを抑制することが可能となる。
以上のように、本実施形態の音声処理装置１は、キーワードリスト１９４に登録されたキーワードの読みを示す音素列に対する尤度と、音声信号の最尤音素列に対する尤度に基づいて、音声信号に含まれるキーワードを検出する。この際、キーワードリスト１９４には、割り込み発声全体を示す音素列と、該割り込み発声全体のうちの先頭側（語頭側）が発音単位で削除され、かつ削除された発音単位数が異なる複数の音素列とを登録しておく。そして、音声信号から割り込み発声と対応したキーワードを検出した場合、音声処理装置１は、音声信号における割り込み発声と対応する第１の部分区間の話者と、該第１の部分区間よりも前の第２の部分区間の話者とが同一であるか否かを判定する。本実施形態の音声処理装置１では、音声信号の第１の部分区間における音響的な特徴量に基づいて抽出した話者の情報と、音声信号の第２の部分区間における音響的な特徴量に基づいて抽出した話者の情報との類似度に基づいて、話者が同一であるか否かを判定する。そして、第１の部分区間の話者と、第２の部分区間の話者とが異なる場合にのみ、音声処理装置１は、第１の部分区間が他者による割り込み発声を示す区間であると認識する。このため、本実施形態の音声処理装置１では、キーワードリスト１９４に基づいて割り込み発声を示す区間として検出された区間のうちの、他者による割り込み発声ではない区間を割り込み発声の検出結果から除外することが可能となる。よって、本実施形態の音声処理装置１では、音声信号における他者による割り込み発声ではない区間を割り込み発声の区間とする誤検出を防ぐことが可能となる。
また、本実施形態の音声処理装置１が参照するキーワードリスト１９４は、割り込み発声全体を示す音素列と、該割り込み発声全体のうちの先頭側（語頭側）が発音単位で削除され、かつ削除された発音単位数が異なる複数の音素列とが登録されている。このため、本実施形態の音声処理装置１は、１人の話者（第２の話者）の発話中に他者（第１の話者）が割り込み発声をした場合に生じる語頭部分の認識誤り等による、割り込み発声の検出漏れを低減することが可能である。
しかも、本実施形態の音声処理装置１は、処理の対象となる音声信号の音響的な特徴量から抽出した話者の発声時の特徴を示す情報に基づいて、第１の部分区間の話者と第２の部分区間の話者とが同一であるか否かを判別する。このため、本実施形態の音声処理装置１では、話者の発声時の特徴を示す情報を予め用意することなく、２つの部分区間の話者が同一であるか否かを判別することが可能となる。
更に、本実施形態の音声処理装置１では、ワードスポッティングを適用し、音声信号から割り込み発声の候補を検出する。このため、本実施形態の音声処理装置１では、音声区間のうちの、複数の話者の発声が重なった部分区間とは異なる部分区間から割り込み発声の候補を検出することが可能である。また、音声信号における複数の話者の発声が重なる部分区間が相槌により生じたものである場合、複数の話者の発声が重なる部分区間の前後の区間の話者は同一であることが多い。本実施形態の音声処理装置１では、上記のように、複数の話者の発声が重なる部分区間の前後の区間（すなわち第１の部分区間及び第２の部分区間）の話者が同一である場合には、割り込み発声ではないと認識する。このため、本実施形態の音声処理装置１では、例えば、複数の話者の発声が重なる部分区間が割り込み発声によるものか、相槌等の割り込み発声等は異なる発声によるものかによらず、割り込み発声のみを適切に検出することが可能となる。
なお、図２のキーワードリスト１９４は、本実施形態の音声処理装置１が参照するキーワードリスト１９４の一例に過ぎない。キーワードリスト１９４は、割り込み発声全体の音素列と、該割り込み発声全体のうちの先頭側（語頭側）の音素が発音単位で削除されており、かつ削除された発音単位数が異なる音素列とを含む情報であればよい。このため、キーワードリスト１９４は、例えば、割り込み発声に関するキーワードの音素列のみが登録されたものであってもよい。更に、本実施形態では、キーワードリスト１９４とは別に、割り込み発声のキーワードのモーラ数及び削除モーラ数を登録した発音単位数情報１９５を用意しているが、これに限らず、キーワードリスト１９４に発音単位数情報１９５が含まれてもよい。
図１０は、発音単位数情報を含むキーワードリストの例を示す図である。
図１０のキーワードリスト１９４Ｂには、検出するキーワードの音素列と、割込フラグと、キーワードのモーラ数と、削除モーラ数とが登録される。検出するキーワードの音素列は、図２のキーワードリスト１９４に登録される音素列と同じである。
キーワードリスト１９４Ｂの割込フラグは、音素列（キーワード）が割り込み発声の候補であるか否かを識別する情報であり、割り込み発声の候補である場合を１、割り込み発声の候補ではない場合を０としている。例えば、「いやそうじゃないでしょ」というキーワードは割り込み発声の候補となるため、キーワードリスト１９４Ｂの作成者は、該キーワードを登録する際に割込フラグを１とする。一方、発話の開始を示す「はじめます」というキーワードは割り込み発声ではないため、キーワードリスト１９４Ｂの作成者は、該キーワードを登録する際に割込フラグを０とする。
キーワードリスト１９４Ｂのキーワードのモーラ数及び削除モーラ数は、それぞれ、図３の発音単位数情報１９５に登録されるキーワードのモーラ数及び削除モーラ数と同じである。なお、キーワードリスト１９４Ｂに含まれる割り込み発声ではないキーワードについては、キーワードのモーラ数及び削除モーラ数を無効な値とする。
図１０のキーワードリスト１９４Ｂを利用する場合、音声処理装置１は、音声信号から検出したキーワードと対応付けられた割込フラグに基づいて、該キーワードが割り込み発声の候補であるか否かを判定する。また、検出したキーワードが割り込み発声の候補である場合、音声処理装置１は、キーワードリスト１９４Ｂからキーワードのモーラ数及び削除モーラ数を読み出して割り込み発声の開始点を推定する。
キーワードリスト１９４Ｂのように、音声信号から検出するキーワード（音素列）、割込フラグ、キーワードのモーラ数、及び削除モーラ数を含むリストを作成することにより、発音単位数情報１９５を別途作成する手間を省くことが可能となる。このため、例えば、キーワードリスト１９４に登録された割り込み発声を示すキーワードと、発音単位数情報１９５に登録されたキーワードとの齟齬による割り込み発声の検出漏れを防ぐことが可能となる。
また、キーワードリスト１９４及び発音単位数情報１９５における発音単位は、上記のモーラに限らず、音節であってもよい。
図１１は、発音単位数情報の別の例を示す図である。
図１１には、英語による割り込み発声の検出に用いる発音単位数情報１９５（１９５Ｂ）の一例を示している。英語の場合、発音単位には音節を用いることが好ましい。このため、図示は省略するが、英語の場合のキーワードリスト１９４には、割り込み発声全体の音素列と、該割り込み発声全体のうちの先頭側の音素を音節単位で削除し、かつ削除した音節単位数が異なる発声の音素列とを登録する。この場合、発音単位数情報１９５Ｂには、図１１のように、割り込み発声を示すキーワード毎に、該キーワードの音節数と削除音節数とを登録する。
例えば、ＩＤが１－１であるキーワードは、「If I may interrupt（話を遮ってしまいますが）」という割り込み発声を示すキーワードである。「If I may interrupt」という割り込み発声における「interrupt」は、音節数が３（in・ter・rupt）である。このため、「If I may interrupt」を割り込み発声全体の読みを示すキーワードとした場合、キーワードの音節数は６となり、削除音節数は０となる。また、ＩＤが１－２であるキーワードは、「If I may interrupt」という割り込み発声全体のうちの先頭（語頭）の「If」が削除されている。このため、ＩＤが１－２であるキーワード（I may interrupt）は、キーワードの音節数が５となり、削除音節数が１となる。
このように、キーワードリスト１９４及び発音単位数情報１９５における発音単位数は、キーワードの言語に応じて適宜変更可能である。
更に、本実施形態の音声処理装置１が参照するキーワードリスト１９４及び発音単位数情報１９５は、日本語の割り込み発声を示すキーワードと、英語の割り込み発声を示すキーワードとを含むものであってもよい。加えて、キーワードリスト１９４及び発音単位数情報１９５は、テーブル形式に限らず、別の形式であってもよい。また、キーワードリスト１９４及び発音単位数情報１９５は、割り込み発声の候補として検出するキーワードを示す情報と、割り込み発声の開始点の推定に必要な情報とを含むものであればよい。このため、発音単位数情報１９５は、例えば、キーワードの発音単位（モーラ数又は音節数）及び削除された発音単位の代わりに、平均的な発話速度と削除された発音単位数とに基づいて算出される時間長を含むものであってもよい。この場合、音声処理装置１の開始点推定部１４２は、割り込み発声の候補となるキーワードと対応付けられた時間長と、音声信号における割り込み発声の候補と対応する第１の部分区間の開始時刻Ｔ２とに基づいて、割り込み発声の開始点Ｔ１を推定する。
また、図４のフローチャートは、本実施形態の音声処理装置１が行う音声処理の一例に過ぎない。本実施形態の音声処理装置１が行う音声処理は、図４のフローチャートに沿った処理に限らず、適宜変更可能である。また、本実施形態の音声処理装置１が行う音声処理は、ステップＳ１からステップＳ４までの処理をパイプライン化してもよい。すなわち、本実施形態の音声処理装置１は、例えば、音声信号から音声区間を検出した後、該音声区間に対するステップＳ２からステップＳ４までの処理と並行して、音声信号から別の音声区間を検出する処理を行ってもよい。
また、図５Ａ及び図５Ｂのフローチャートは、本実施形態の音声処理装置１が行うキーワード検出処理の一例に過ぎない。本実施形態の音声処理装置１が行うキーワード検出処理は、図５Ａ及び図５Ｂのフローチャートに沿った処理に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。例えば、キーワードリスト１９４に登録されたキーワードが割り込み発声に関するもののみである場合、キーワード検出処理は、ステップＳ４０３の判定処理を省略することが可能である。また、キーワード検出処理におけるステップＳ４０５の処理は、第１の部分区間の話者情報を抽出する処理と、第２の部分区間の話者情報を抽出する処理とに分けてもよい。この場合、キーワード検出処理は、第１の部分区間の話者情報を抽出した後、割り込み発声の開始点を推定して第２の部分区間の話者情報を抽出する内容であってもよい。
また、本実施形態の音声処理装置１において音声区間から抽出する特徴量は、ＭＦＣＣ（メル周波数ケプストラム係数）、ΔＭＦＣＣ、及びΔΔＭＦＣＣに限らず、適宜変更可能である。更に、第１の部分区間及び第２の部分区間のそれぞれから抽出する話者情報は、音声区間から抽出する特徴量に応じて適宜変更可能である。
加えて、本実施形態の音声処理装置１では、割り込み発声の候補と対応する第１の部分区間よりも前の第２の部分区間を設定する際に、候補となるキーワードにおいて削除されている発音単位の数に基づいて、第２の部分区間の終点を設定してもよい。例えば、割り込み発声の候補となるキーワードが、割り込み発声全体における最初の発音単位（モーラ又は音節）のみを削除したものである場合、割り込み発声の開始点は、第１の部分区間の開始時刻Ｔ２よりも１モーラ前又は１音節前の時刻となる。しかしながら、音声信号における１モーラ又は１音節の時間長は、１秒未満であり、第１の部分区間及び第２の部分区間の時間長（数秒程度）と比べて短い。このため、割り込み発声の候補と対応付けられた削除モーラ数又は削除音節数が「１」である場合、第１の部分区間の直前となる第１の話者の発声と第２の話者の発声とが重なった区間を第２の部分区間に含めても、第２の部分区間の話者の情報への影響は少ない。よって、キーワード検出処理では、音声処理装置１は、例えば、削除モーラ数又は削除音節数が所定の閾値以下である場合には、第１の部分区間の開始時刻Ｔ２を第２の部分区間の終了時刻とし、割り込み発声の開始点を推定する処理を省略してもよい。
また、本実施形態の音声処理装置１は、モノラルマイク２から入力される１チャンネルの音声信号に限らず、ステレオマイク又はマイクアレイから入力される複数チャンネルの音声信号のうちの１チャンネルの音声信号を音声処理の対象としてもよい。また、本実施形態の音声処理装置１は、モノラルマイク２等から直接入力される音声信号に限らず、例えば、デジタルボイスレコーダ等の録音装置で録音した音声信号を音声処理の対象としてもよい。
また、音声処理装置１とモノラルマイク２等の音声信号入力装置とは、例えば、インターネットやLocal Area Network等の通信ネットワークを介して接続されてもよい。また、音声処理装置１は、モノラルマイク２、ステレオマイク、及びマイクアレイのいずれかが内蔵された装置であってもよい。加えて、音声処理装置１と外部装置３とは、通信ネットワークを介して接続されてもよい。また、音声処理装置１は、例えば、外部装置３又は他の外部装置との通信を行いながら、外部装置３等に記憶させた認識用データ１９３を参照してキーワードを検出するものであってもよい。
更に、本実施形態に係る音声処理装置１は、例えば、音声信号に対する音声認識の結果、及び割り込み発声を検出する音声処理の結果等に基づいて、他の処理を行う機能を含むものであってもよい。
［第２の実施形態］
本実施形態では、第１の実施形態に係る音声処理装置１が行う音声処理におけるキーワード検出処理の別の例を説明する。
本実施形態に係る音声処理装置１は、図１のように、入力受付部１１０と、音声区間検出部１２０と、特徴量抽出部１３０と、キーワード検出部１５０と、出力部１６０と、記憶部１９０とを含む。また、本実施形態の音声処理装置１におけるキーワード検出部１５０は、キーワード照合部１５１と、割り込み候補検出部１５２と、開始点推定部１５３と、話者情報抽出部１５４と、話者照合部１５５とを含む。また、本実施形態の音声処理装置１における記憶部１９０には、音声信号１９１、特徴量履歴１９２、探索用データ１９３、キーワードリスト１９４、発音単位数情報１９５、検出履歴１９６を含む各種情報を記憶させる。なお、本実施形態の音声処理装置１では、キーワードリスト１９４及び発音単位数情報１９５の代わりに、図１０のような割込フラグ、キーワードの発音単位数、及び削除した発音単位数を含むキーワードリスト１９４Ｂを作成して記憶部１９０に記憶させてもよい。
本実施形態に係る音声処理装置１は、モノラルマイク２等から入力された１チャンネルの音声信号を処理の対象として、図４のフローチャートに沿った音声処理を行う。このとき、本実施形態の音声処理装置１は、キーワード検出処理（ステップＳ４）として、例えば、図１２Ａ及び図１２Ｂのフローチャートに沿った処理を行う。
図１２Ａは、第２の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その１）である。図１２Ｂは、第２の実施形態に係るキーワード検出処理の内容を説明するフローチャート（その２）である。なお、図１２Ａ及び図１２Ｂのフローチャートのうちの、図５Ａ及び図５Ｂのフローチャートと同じ処理を行うステップについては、図５Ａ及び図５Ｂのフローチャートと同じ符号（例えば、Ｓ４０２及びＳ４０３等）を付している。
図１２Ａ及び図１２Ｂのキーワード検出処理は、音声処理装置１のキーワード検出部１５０が行う。キーワード検出部１５０は、まず、キーワードリストに登録されているキーワード毎の音素列に対する尤度と、音声区間の最尤音素列に対数尤度を用いて照合してキーワード検出の信頼度を算出し、信頼度が閾値以上のキーワードを検出する（ステップＳ４２１）。ステップＳ４２１の処理は、キーワード検出部１５０に含まれるキーワード照合部１５１が行う。キーワード照合部１５１は、例えば、図３のキーワードリスト１９４に登録されたキーワード（音素列）毎の音素列に対する尤度と、音声区間の最尤音素列に対する尤度を用いて照合し、音声区間におけるキーワード検出の信頼度がしきい値を超えるキーワードを探索する。ここで、音声区間の最尤音素列は、キーワード検出部１５０が行った探索処理の結果である。
ステップＳ４２１の処理を終えると、キーワード検出部１５０は、次に、信頼度が閾値以上となるキーワードを検出したか否かを判定する（ステップＳ４０２）。ステップＳ４０２の判定は、例えば、キーワード照合部１５１が行う。現在処理の対象となっている音声区間からキーワードが検出されなかった場合（ステップＳ４０２；ＮＯ）、キーワード検出部１５０（キーワード照合部１５１）は、図５Ｂのように、現在処理の対象となっている音声信号を全て選択したか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定処理は、例えば、割り込み候補検出部１５２が行う。ステップＳ４１０で処理していない音声信号が存在する場合（ステップＳ４１０；ＮＯ）、割り込み候補検出部１５２は、ステップＳ４０１以降の処理を行う。そして、全ての音声信号が処理済みである場合（ステップＳ４１０；ＹＥＳ）、キーワード検出部１５０（割り込み候補検出部１５２）は、キーワード検出処理を終了する。
一方、音声区間からキーワードが検出された場合（ステップＳ４０２；ＹＥＳ）、キーワード検出部１５０は、次に、検出したキーワードが割り込み発声の候補であるか否かを判定する（ステップＳ４０３）。ステップＳ４０３の処理は、例えば、キーワード検出部１５０に含まれる割り込み候補検出部１５２が行う。ステップＳ４０３の処理では、割り込み候補検出部１５２は、検出したキーワードが、発音単位数情報１９５にキーワードのモーラ数及び削除モーラ数が登録されたキーワードであるか否かを判定する。
検出したキーワードが割り込み発声の候補ではない場合（ステップＳ４０３；ＮＯ）、キーワード検出部１５０は、図１２Ｂのように、次に、検出したキーワードに関する情報を検出履歴に格納する（ステップＳ４０９）。ステップＳ４０９の処理では、キーワード検出部１５０は、例えば、検出したキーワードを示す文字列、音声信号における検出したキーワードの発話開始時刻、及び他者による割り込み発話であるか否かを示す情報を検出履歴１９６に格納する。
ステップＳ４０９の処理の後、キーワード検出部１５０は、現在処理の対象となっている音声信号を全て選択したか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定処理は、例えば、割り込み候補検出部１５２が行う。ステップＳ４１０で処理していない音声信号が存在する場合（ステップＳ４１０；ＮＯ）、割り込み候補検出部１５２は、ステップＳ４０１以降の処理を行う。そして、全ての音声信号が処理済みである場合（ステップＳ４１０；ＹＥＳ）、キーワード検出部１５０（割り込み候補検出部１５２）は、キーワード検出処理を終了する。
これに対し、検出したキーワードが割り込み発声の候補である場合（ステップＳ４０３；ＹＥＳ）、キーワード検出部１５０は、次に、割り込み発声の候補のモーラ数と削除モーラ数とに基づいて、割り込み発声の開始点を推定する（ステップＳ４０４）。ステップＳ４０４の処理は、キーワード検出部１５０に含まれる開始点推定部１５３が行う。開始点推定部１５３は、例えば、まず、発音単位数情報１９５から割り込み発声の候補（検出したキーワード）のモーラ数及び削除モーラ数を取得する。その後、開始点推定部１５３は、例えば、上記の式（１）により、音声信号における割り込み発声の開始点となる時刻Ｔ１を推定する。
次に、キーワード検出部１５０は、音声信号における割り込み発声の候補と対応する第１の部分区間の話者情報と、音声信号における割り込み発声の開始点よりも前の第２の部分区間の話者情報とを抽出する（ステップＳ４０５）。ステップＳ４０５の処理は、キーワード検出部１５０に含まれる話者情報抽出部１５４が行う。話者情報抽出部１５４は、例えば、まず、音声信号における第１の部分区間から抽出した特徴量を特徴量履歴１９２から読み出し、該特徴量に基づいて、第１の部分区間の話者を示す情報を抽出する。その後、話者情報抽出部１５４は、音声信号における第２の部分区間から抽出した特徴量を特徴量履歴１９２から読み出し、該特徴量に基づいて、第２の部分区間の話者を示す情報を抽出する。
次に、キーワード検出部１５０は、第１の部分区間の話者情報と第２の部分区間の話者情報との類似度を算出する（ステップＳ４０６）。ステップＳ４０６の処理は、キーワード検出部１５０に含まれる話者照合部１５５が行う。本実施形態における話者情報の類似度は、例えば、２つの話者情報の差異が小さいほど大きな値となる数式により算出する。第１の部分区間の話者情報及び第２の部分区間の話者情報として上記のベクトル（i-vector）を抽出した場合、話者照合部１５５は、類似度として、例えば、上記の式（２）で表されるコサイン類似度Ｓｃを算出する。
話者情報の類似度を算出すると、本実施形態の音声処理装置１におけるキーワード検出部１５０は、次に、割り込み発声の候補についての信頼度と話者情報の類似度とに基づいて、他者による割り込み発声である確かさを示す確度Ｐを算出する（ステップＳ４２２）。ステップＳ４２２の処理は、話者照合部１５５が行う。照合部１５５は、例えば、下記式（３）により確度Ｐを算出する。
Ｐ＝logＰｋ－α・logＰｓ （３）
式（３）において、logＰｋはステップＳ４２１で算出した信頼度についての対数尤度であり、logＰｓはステップＳ４２３で算出した類似度についての対数尤度である。また、式（３）におけるαは、重み付けパラメータである。
確度Ｐを算出すると、キーワード検出部１５０は、次に、算出した確度Ｐが閾値ＴＨＰ以上であるか否かを判定する（ステップＳ４２３）。ステップＳ４２３の判定は、話者照合部１５５が行う。式（３）により算出される確度Ｐは、例えば、信頼度がある一定の値である場合、類似度が低いほど大きな値となる。すなわち、信頼度がある一定の値である場合に式（３）により算出される確度Ｐは、第１の部分区間の話者と第２の部分区間の話者とが異なるときの値が、第１の部分区間の話者と第２の部分区間の話者とが同一であるときの値よりも大きな値となる。このため、Ｐ≧ＴＨＰである場合（ステップＳ４２３；ＹＥＳ）、話者照合部１５５は、図１２Ｂのように、音声区間における第１の部分区間を他者による割り込み発声の区間であると認識する（ステップＳ４０８）。その後、キーワード検出部１５０は、検出したキーワードに関する情報を検出履歴に格納する（ステップＳ４０９）。ステップＳ４２３の判定がＮＯの時は図１２Ｂの「１」に進む。ステップＳ４０９の処理では、キーワード検出部１５０は、例えば、検出したキーワードを示す文字列、音声信号における検出したキーワードの発話開始時刻、及び他者による割り込み発話であるか否かを示す情報を検出履歴１９６に格納する。
ステップＳ４０９の処理の後、キーワード検出部１５０は、現在処理の対象となっている音声信号を全て処理したか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定処理は、例えば、割り込み候補検出部１５２が行う。ステップＳ４１０で処理していない音声信号が存在する場合（ステップＳ４１０；ＮＯ）、割り込み候補検出部１５２は、ステップＳ４０１以降の処理を行う。そして、全ての音声信号が処理済みである場合（ステップＳ４１０；ＹＥＳ）、キーワード検出部１５０（割り込み候補検出部１５２）は、キーワード検出処理を終了する。
このように、本実施形態の音声処理装置１が行うキーワード検出処理では、音声信号における割り込み発声の候補についての信頼度と、話者情報の類似度とに基づいて、割り込み発声の候補が他者による割り込み発声であるか否かを判別する。このため、本実施形態の音声処理装置１は、例えば、信頼度の低い割り込み発声の候補を他者による割り込み発声とする誤検出、及び信頼度の高い割り込み発声の候補を他者による割り込み発声ではないとする検出漏れを防ぐことが可能となる。
なお、本実施形態の音声処理装置１が行う音声処理は、図４、図１２Ａ及び図１２Ｂのフローチャートに沿った処理に限らず、本実施形態の要旨を逸脱しない範囲において適宜変更可能である。
また、本実施形態の音声処理装置１が参照するキーワードリスト１９４は、割り込み発声に関するキーワードのみが登録されたリストであってもよい。また、キーワードリスト１９４は、発音単位数情報１９５の内容を含むリストであってもよい。更にキーワードリスト１９４及び発音単位数情報１９５における発音単位は、モーラに限らず、音節であってもよい。
上記の各実施形態に係る音声処理装置１は、それぞれ、コンピュータと、該コンピュータに実行させるプログラムとにより実現可能である。以下、図１３を参照して、コンピュータとプログラムとにより実現される音声処理装置１について説明する。
図１３は、コンピュータのハードウェア構成を示す図である。
図１３に示すように、コンピュータ９は、プロセッサ９０１と、主記憶装置９０２と、補助記憶装置９０３と、入力装置９０４と、出力装置９０５と、入出力インタフェース９０６と、通信制御装置９０７と、媒体駆動装置９０８とを備える。コンピュータ９におけるこれらの要素９０１～９０８は、バス９１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
プロセッサ９０１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ９０１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ９の全体の動作を制御する。また、プロセッサ９０１は、例えば、図４のフローチャートに沿った処理を含む音声処理プログラムを実行することにより、１チャンネルの音声信号に含まれる、他者による割り込み発声を検出する。なお、プロセッサ９０１が実行する音声処理プログラムにおけるキーワード検出処理（ステップＳ４）は、例えば、図５Ａ及び図５Ｂのフローチャートに沿った処理であってもよいし、図１２Ａ及び図１２Ｂのフローチャートに沿った処理であってもよい。
主記憶装置９０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置９０２のＲＯＭには、例えば、コンピュータ９の起動時にプロセッサ９０１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置９０２のＲＡＭは、プロセッサ９０１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置９０２のＲＡＭは、例えば、音声信号１９１、特徴量履歴１９２、探索用データ１９３、キーワードリスト１９４、発音単位数情報１９５、及び検出履歴１９６の一部又は全部の記憶に利用可能である。
補助記憶装置９０３は、例えば、Hard Disk Drive（ＨＤＤ）や、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）等の、主記憶装置９０２のＲＡＭと比べて容量の大きい記憶装置である。補助記憶装置９０３は、プロセッサ９０１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置９０３は、例えば、図４のフローチャートに沿った処理を含む音声処理プログラムの記憶に利用可能である。また、補助記憶装置９０３は、例えば、音声信号１９１、特徴量履歴１９２、探索用データ１９３、キーワードリスト１９４、発音単位数情報１９５、及び検出履歴１９６の一部又は全部の記憶に利用可能である。
入力装置９０４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ９のオペレータ（利用者）が入力装置９０４に対して所定の操作を行うと、入力装置９０４は、その操作内容と対応付けられている入力情報をプロセッサ９０１に送信する。入力装置９０４としてのキーボード装置やタッチパネル装置は、例えば、キーワードリスト１９４及び発音単位数情報１９５の入力、音声処理プログラムの実行命令の入力、処理の対象とする音声信号の選択等に利用可能である。なお、入力装置９０４は、例えば、音声信号を入力するモノラルマイク２等の装置を含んでもよい。
出力装置９０５は、例えば、液晶表示装置等の表示装置や、スピーカ等の音声再生装置である。出力装置９０５は、例えば、コンピュータ９において各種アプリケーションプログラムを実行したときの処理結果等の出力に利用可能である。出力装置９０５としての表示装置は、例えば、音声信号１９１の波形、及び割り込み発声の検出履歴１９６の表示に利用可能である。また、出力装置９０５としての音声再生装置は、例えば、音声信号１９１の再生に利用可能である。
入出力インタフェース９０６は、コンピュータ９と、他の電子装置等とを接続する。入出力インタフェース９０６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース９０６は、例えば、コンピュータ９とモノラルマイク２等のマイクロフォンとの接続、或いはコンピュータ９とデジタルボイスレコーダとの接続等に利用可能である。
通信制御装置９０７は、コンピュータ９をインターネット等の通信ネットワークに接続し、通信ネットワークを介したコンピュータ９と他の通信可能な電子装置との各種通信を制御する装置である。通信制御装置９０７は、例えば、コンピュータ９と、外部装置３との間での通信の制御等に利用可能である。
媒体駆動装置９０８は、可搬型記憶媒体１０に記録されているプログラムやデータの読み出し、及び補助記憶装置９０３に記憶されたデータ等の可搬型記憶媒体１０への書き込みを行う。媒体駆動装置９０８には、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。コンピュータ９がメモリカード用リーダ／ライタを媒体駆動装置９０８として備える場合、可搬型記憶媒体１０には、メモリカード用リーダ／ライタが対応している規格、例えば、Secure Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体１０としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。更に、コンピュータ９が媒体駆動装置９０８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体１０として利用可能である。可搬型記録媒体１０として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（登録商標）等がある。可搬型記録媒体１０は、例えば、図４のフローチャートに沿った処理を含む音声処理プログラムの記憶に利用可能である。また、可搬型記録媒体１０は、例えば、音声信号１９１、特徴量履歴１９２、探索用データ１９３、キーワードリスト１９４、発音単位数情報１９５、及び検出履歴１９６の一部又は全部の記憶に利用可能である。なお、可搬型記録媒体１０は、記録されたプログラムやデータの読み出しのみが可能なものであってもよいし、記録されたプログラムやデータの読み出し及び書き換えが可能なものであってもよい。更に、媒体駆動装置９０８は、例えば、可搬型記録媒体１０からデータを読み出すことのみが可能な装置であってもよい。
コンピュータ９を音声処理装置１として動作させる場合、オペレータは、入力装置９０４等を利用して音声処理プログラムの実行開始命令をコンピュータ９に入力する。実行開始命令の入力を受け付けると、コンピュータ９のプロセッサ９０１は、補助記憶装置９０３等の非一時的な記録媒体に記憶させた音声処理プログラムを読み出して実行する。このとき、コンピュータ９のプロセッサ９０１は、処理の対象となる音声信号に含まれる他者による割り込み発声を検出する処理として、例えば、図４、図５Ａ及び図５Ｂのフローチャートに沿った処理を実行する。なお、コンピュータ９のプロセッサ９０１が実行する音声処理プログラムは、図５Ａ及び図５Ｂのフローチャートに沿ったキーワード検出処理の代わりに、例えば、図１２Ａ及び図１２Ｂのフローチャートに沿ったキーワード検出処理を含むものであってもよい。
音声処理プログラムを実行している間、プロセッサ９０１は、音声処理装置１における音声区間検出部１２０、特徴量抽出部１３０、及びキーワード検出部１５０として機能する（動作する）。また、処理の対象となる音声信号がモノラルマイク２から順次入力される音声信号である場合、プロセッサ９０１は、更に、音声処理装置１における入力受付部１１０としても機能する。また、音声処理プログラムを実行している間、コンピュータ９の補助記憶装置９０３等の記憶装置は、音声処理装置１の記憶部１９０として機能する。
なお、音声処理装置１として動作させるコンピュータ９は、図１３に示した要素９０１～９０８を全て含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ９は、媒体駆動装置９０８が省略されたものであってもよい。
また、コンピュータ９は、例えば、スマートフォン等の通話機能を備えた装置であってもよい。
以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
音声信号の最尤音素列を探索し、
割り込み発声全体を示す音素列と、前記割り込み発声全体を示す音素列における先頭側の音素が発音単位で削除され、かつ削除された音素数が異なる複数の音素列とを含むキーワードリストに基づいて、前記音声信号に含まれる割り込み発声の候補を、前記音声信号の最尤音素列に対する尤度と、前記キーワードリストに登録された音素列に対する尤度を用いて検出し、
前記音声信号における前記割り込み発声の候補となる前記音素列と対応する第１の部分区間の特徴量に基づいて、該第１の部分区間の話者の特徴を示す第１の話者情報を抽出するとともに、前記音声信号における前記第１の部分区間よりも前の第２の部分区間の特徴量に基づいて、該第２の部分区間の話者の特徴を示す第２の話者情報を抽出し、
前記第１の話者情報と前記第２の話者情報とを照合し、前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する、
処理をコンピュータに実行させる音声処理プログラム。
（付記２）
前記判別する処理は、前記第１の話者情報と前記第２の話者情報との類似度を算出し、該類似度が閾値以上である場合に、前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であると判定する処理を含む、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記３）
前記音声処理プログラムは、
前記第２の話者情報を抽出する前に、前記割り込み発声の候補となる前記音素列の発音単位に基づいて、前記音声信号における前記割り込み発声の候補となる前記音素列を含む割り込み発声全体の発声開始点を推定し、該発声開始点を終点とする所定の時間長の第２の部分区間を決定する処理を更に含む、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記４）
前記割り込み発声情報は、前記音素列のそれぞれにおける発音単位数と、前記割り込み発声を示す音素列の全体から削除された発音単位数とを含み、
前記発声開始点を推定する処理は、前記音声信号における前記第１の部分区間の時間長と前記割り込み発声の候補である前記音素列の発音単位数とに基づいて算出される前記第１の部分区間における話者の発話速度と、前記音声信号における前記第１の部分区間の開始時刻と、前記割り込み発声の候補である前記音素列における前記削除された発音単位数とに基づいて、前記発声開始点を推定する、
ことを特徴とする付記３に記載の音声処理プログラム。
（付記５）
前記音声信号に含まれる前記キーワードを検出する処理は、前記音声信号における特徴量を抽出し、前記特徴量と、音響モデルと、単語辞書とに基づいて最尤音素列を探索することにより算出される尤度と、単語辞書に登録されたキーワードの音素列に対する尤度を用いて検出する処理を含み、
前記第１の話者情報及び前記第２の話者情報を抽出する処理は、前記最尤音素列を探索する処理において前記音声信号から抽出した前記特徴量に基づいて抽出する、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記６）
前記割り込み発声の候補を検出する処理は、前記割り込み発声の候補が前記割り込み発声であることの確かさを示す信頼度を算出する処理を含み、
前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する処理は、前記第１の話者情報と前記第２の話者情報との類似度を算出し、前記信頼度と前記類似度とに基づいて、前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間である確度を算出した後、前記確度に基づいて、前記第１の部分区間が前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記７）
前記割り込み発声情報における前記発音単位がモーラである、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記８）
前記割り込み発声情報における前記発音単位が音節である、
ことを特徴とする付記１に記載の音声処理プログラム。
（付記９）
音声信号における音響的特徴量を抽出する特徴量抽出部と、
前記音響的特徴量に基づいて前記音声信号の最尤音素列を探索するキーワード照合部と、
割り込み発声全体を示す音素列と、前記割り込み発声全体を示す音素列における先頭側の音素が発音単位で削除され、かつ削除された音素数が異なる複数の音素列とを含むキーワードリストに基づいて、前記音声信号に含まれる割り込み発声の候補を前記最尤音素列に対する尤度とキーワードリストに登録された各キーワードの音素列に対する尤度を用いて検出する割り込み候補検出部と、
前記音声信号における前記割り込み発声の候補となる前記音素列と対応する第１の部分区間の特徴量に基づいて、該第１の部分区間の話者の特徴を示す第１の話者情報を抽出するとともに、前記音声信号における前記第１の部分区間よりも前の第２の部分区間の特徴量に基づいて、該第２の部分区間の話者の特徴を示す第２の話者情報を抽出する話者情報抽出部と、
前記第１の話者情報と前記第２の話者情報とを照合し、前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する話者照合部と、
を備えることを特徴とする音声処理装置。
（付記１０）
コンピュータが、
音声信号の最尤音素列を探索し、
割り込み発声を示す音素列と、前記割り込み発声を示す音素列における先頭側の音素が発音単位で削除され、かつ削除された音素数が異なる複数の音素列とを含むキーワードリストに基づいて、前記音声信号に含まれる割り込み発声の候補を前記最尤音素列に対する尤度とキーワードリストに登録された各キーワードの音素列に対する尤度を用いて検出し、
前記音声信号における前記割り込み発声の候補となる前記音素列と対応する第１の部分区間の特徴量に基づいて、該第１の部分区間の話者の特徴を示す第１の話者情報を抽出するとともに、前記音声信号における前記第１の部分区間よりも前の第２の部分区間の特徴量に基づいて、該第２の部分区間の話者の特徴を示す第２の話者情報を抽出し、
前記第１の話者情報と前記第２の話者情報とを照合し、前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する、
処理を実行することを特徴とする音声処理方法。
１ 音声処理装置
１１０ 入力受付部
１２０ 音声区間検出部
１３０ 特徴量抽出部
１５０ キーワード検出部
１５１ キーワード照合部
１５２ 割り込み候補検出部
１５３ 開始点推定部
１５４ 話者情報抽出部
１５５ 話者照合部
１６０ 出力部
１９０ 記憶部
１９１ 音声信号
１９２ 特徴量履歴
１９３ 探索用データ
１９４，１９４Ｂ キーワードリスト
１９５ 発音単位数情報
１９６ 検出履歴
２ モノラルマイク
３ 外部装置
５ 音声信号
９ コンピュータ
９０１ プロセッサ
９０２ 主記憶装置
９０３ 補助記憶装置
９０４ 入力装置
９０５ 出力装置
９０６ 入出力インタフェース
９０７ 通信制御装置
９０８ 媒体駆動装置
９１０ バス
１０ 可搬型記録媒体

Claims (6)

  1. 音声信号の最尤音素列を探索し、
    割り込み発声を示す音素列と、前記割り込み発声全体を示す音素列における先頭側の音素が発音単位で削除され、かつ削除された音素数が異なる複数の音素列とを含むキーワードリストに基づいて、前記音声信号に含まれる割り込み発声の候補を前記最尤音素列に対する尤度とキーワードリストに登録された各キーワードの音素列に対する尤度を用いて検出し、
    前記割り込み発声の候補となる前記音素列の発音単位に基づいて、前記音声信号における前記割り込み発声の候補となる前記音素列を含む割り込み発声全体の発声開始点を推定し、
    前記音声信号における前記割り込み発声の候補となる前記音素列と対応する第１の部分区間の特徴量に基づいて、該第１の部分区間の話者の特徴を示す第１の話者情報を抽出するとともに、前記音声信号における前記第１の部分区間よりも前の区間であって前記発声開始点を終点とする所定の時間長の該区間である第２の部分区間の特徴量に基づいて、該第２の部分区間の話者の特徴を示す第２の話者情報を抽出し、
    前記第１の話者情報と前記第２の話者情報とを照合し、前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する、
    処理をコンピュータに実行させることを特徴とする音声処理プログラム。
  2. 前記判別する処理は、前記第１の話者情報と前記第２の話者情報との類似度を算出し、該類似度が閾値よりも小さい場合に、前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であると判定する処理を含む、
    ことを特徴とする請求項１に記載の音声処理プログラム。
  3. 前記音声信号に含まれる前記最尤音素列を探索する処理は、前記音声信号における特徴量を抽出し、前記特徴量と、音響モデルと、単語辞書とに基づいて最尤音素列を探索することにより算出される尤度と、単語辞書に登録されたキーワードの音素列に対する尤度を用いて検出する処理を含み、
    前記第１の話者情報及び前記第２の話者情報を抽出する処理は、前記最尤音素列を探索する処理において前記音声信号から抽出した前記特徴量に基づいて抽出する、
    ことを特徴とする請求項１に記載の音声処理プログラム。
  4. 前記割り込み発声の候補を検出する処理は、前記割り込み発声の候補が前記割り込み発声であることの確かさを示す信頼度を算出する処理を含み、
    前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する処理は、前記第１の話者情報と前記第２の話者情報との類似度を算出し、前記信頼度と前記類似度とに基づいて、前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間である確度を算出した後、前記確度に基づいて、前記第１の部分区間が前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する、
    ことを特徴とする請求項１に記載の音声処理プログラム。
  5. 音声信号における音響的特徴量を抽出する特徴量抽出部と、
    前記音響的特徴量に基づいて音声信号の最尤音素列を探索するキーワード照合部と、
    割り込み発声を示す音素列と、前記割り込み発声全体を示す音素列における先頭側の音素が発音単位で削除され、かつ削除された音素数が異なる複数の音素列とを含むキーワードリストに基づいて、前記音声信号に含まれる割り込み発声の候補を前記最尤音素列に対する尤度とキーワードリストに登録された各キーワードの音素列に対する尤度を用いて検出する割り込み候補検出部と、
    前記割り込み発声の候補となる前記音素列の発音単位に基づいて、前記音声信号における前記割り込み発声の候補となる前記音素列を含む割り込み発声全体の発声開始点を推定する開始点推定部と、
    前記音声信号における前記割り込み発声の候補となる前記音素列と対応する第１の部分区間の特徴量に基づいて、該第１の部分区間の話者の特徴を示す第１の話者情報を抽出するとともに、前記音声信号における前記第１の部分区間よりも前の区間であって前記発声開始点を終点とする所定の時間長の該区間である第２の部分区間の特徴量に基づいて、該第２の部分区間の話者の特徴を示す第２の話者情報を抽出する話者情報抽出部と、
    前記第１の話者情報と前記第２の話者情報とを照合し、前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する照合部と、
    を備えることを特徴とする音声処理装置。
  6. コンピュータが、
    音声信号の最尤音素列を探索し、
    割り込み発声を示す音素列と、前記割り込み発声全体を示す音素列における先頭側の音素が発音単位で削除され、かつ削除された音素数が異なる複数の音素列とを含むキーワードリストに基づいて、前記音声信号に含まれる割り込み発声の候補を前記最尤音素列に対する尤度とキーワードリストに登録された各キーワードの音素列に対する尤度を用いて検出し、
    前記割り込み発声の候補となる前記音素列の発音単位に基づいて、前記音声信号における前記割り込み発声の候補となる前記音素列を含む割り込み発声全体の発声開始点を推定し、
    前記音声信号における前記割り込み発声の候補となる前記音素列と対応する第１の部分区間の特徴量に基づいて、該第１の部分区間の話者の特徴を示す第１の話者情報を抽出するとともに、前記音声信号における前記第１の部分区間よりも前の区間であって前記発声開始点を終点とする所定の時間長の該区間である第２の部分区間の特徴量に基づいて、該第２の部分区間の話者の特徴を示す第２の話者情報を抽出し、
    前記第１の話者情報と前記第２の話者情報とを照合し、前記音声信号における前記第１の部分区間が、前記第２の部分区間の話者とは異なる話者による割り込み発声を含む区間であるか否かを判別する、
    処理を実行することを特徴とする音声処理方法。
JP2017223151A 2017-11-20 2017-11-20 音声処理プログラム、音声処理装置、及び音声処理方法 Active JP7035476B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017223151A JP7035476B2 (ja) 2017-11-20 2017-11-20 音声処理プログラム、音声処理装置、及び音声処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017223151A JP7035476B2 (ja) 2017-11-20 2017-11-20 音声処理プログラム、音声処理装置、及び音声処理方法

Publications (2)

Publication Number Publication Date
JP2019095526A JP2019095526A (ja) 2019-06-20
JP7035476B2 true JP7035476B2 (ja) 2022-03-15

Family

ID=66971504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017223151A Active JP7035476B2 (ja) 2017-11-20 2017-11-20 音声処理プログラム、音声処理装置、及び音声処理方法

Country Status (1)

Country Link
JP (1) JP7035476B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521595B2 (en) * 2020-05-01 2022-12-06 Google Llc End-to-end multi-talker overlapping speech recognition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008126355A1 (ja) 2007-03-29 2008-10-23 Panasonic Corporation キーワード抽出装置
JP2009025579A (ja) 2007-07-20 2009-02-05 Nissan Motor Co Ltd 音声認識装置および音声認識方法
WO2010013371A1 (ja) 2008-07-28 2010-02-04 日本電気株式会社 対話音声認識システム、対話音声認識方法および対話音声認識用プログラムを格納する記憶媒体
JP2016206355A (ja) 2015-04-20 2016-12-08 本田技研工業株式会社 会話解析装置、会話解析方法及びプログラム
JP2018194844A (ja) 2017-05-19 2018-12-06 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 音声制御装置、音声制御装置の動作方法、コンピュータプログラム及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008126355A1 (ja) 2007-03-29 2008-10-23 Panasonic Corporation キーワード抽出装置
JP2009025579A (ja) 2007-07-20 2009-02-05 Nissan Motor Co Ltd 音声認識装置および音声認識方法
WO2010013371A1 (ja) 2008-07-28 2010-02-04 日本電気株式会社 対話音声認識システム、対話音声認識方法および対話音声認識用プログラムを格納する記憶媒体
JP2016206355A (ja) 2015-04-20 2016-12-08 本田技研工業株式会社 会話解析装置、会話解析方法及びプログラム
JP2018194844A (ja) 2017-05-19 2018-12-06 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 音声制御装置、音声制御装置の動作方法、コンピュータプログラム及び記録媒体

Also Published As

Publication number Publication date
JP2019095526A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
EP3438973B1 (en) Method and apparatus for constructing speech decoding network in digital speech recognition, and storage medium
US10074363B2 (en) Method and apparatus for keyword speech recognition
US7805304B2 (en) Speech recognition apparatus for determining final word from recognition candidate word sequence corresponding to voice data
JP3967952B2 (ja) 文法更新システム及び方法
JP4237713B2 (ja) 音声処理装置
US10319373B2 (en) Information processing device, information processing method, computer program product, and recognition system
CN109686383B (zh) 一种语音分析方法、装置及存储介质
KR100717385B1 (ko) 인식 후보의 사전적 거리를 이용한 인식 신뢰도 측정 방법및 인식 신뢰도 측정 시스템
EP2685452A1 (en) Method of recognizing speech and electronic device thereof
JP5200712B2 (ja) 音声認識装置、音声認識方法及びコンピュータプログラム
KR20100130263A (ko) 음성 인식용 발음사전 확장 장치 및 방법
US20170270923A1 (en) Voice processing device and voice processing method
JP5451982B2 (ja) 支援装置、プログラムおよび支援方法
Këpuska Wake-up-word speech recognition
US20180012602A1 (en) System and methods for pronunciation analysis-based speaker verification
JP6276513B2 (ja) 音声認識装置および音声認識プログラム
JP2016177045A (ja) 音声認識装置および音声認識プログラム
KR101122591B1 (ko) 핵심어 인식에 의한 음성 인식 장치 및 방법
KR20180033875A (ko) 음성 신호를 번역하는 방법 및 그에 따른 전자 디바이스
JP6487650B2 (ja) 音声認識装置及びプログラム
KR20130126570A (ko) 핵심어에서의 음소 오류 결과를 고려한 음향 모델 변별 학습을 위한 장치 및 이를 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP2010197644A (ja) 音声認識システム
JP7035476B2 (ja) 音声処理プログラム、音声処理装置、及び音声処理方法
CN112447176B (zh) 信息处理装置、关键词检测装置以及信息处理方法
JP2008145989A (ja) 音声識別装置および音声識別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210907

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210907

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R150 Certificate of patent or registration of utility model

Ref document number: 7035476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150