JP7356960B2 - 発言切り分けシステムとその方法 - Google Patents

Description

本発明は、会議における議事録作成やコールセンター等の通話記録作成に供される発言切り分けシステムとその方法に関するものである。

従来、会議や打ち合わせ等、複数の話者が発言する場において、他者と重複することのない発言区間を切り出すには、例えば、会場に設置されたマイクアレイの各マイクの音声信号に基づいて、最も信号強度の強い収音ビーム信号を選択し、それに対応する方位を検出し、方位データに基づき音の到来方向を予測し、話者を同定して識別するようにしたものが知られている（例えば、特許文献１参照）。

また、複数のマイクから取得される複数の音声信号について、音声データから重複分を取り除く処理を行い、２以上の音声が含まれる場合、音声毎に分離して各音声信号を出力するようにしたものが知られている（例えば、特許文献２参照）。

国際公開ＷＯ２００７－１３９０４０Ａ１号公報 特開２００８－３０９８５６号公報

しかしながら、上記先行技術文献１では、方位データにより話者を識別しているので、発言を重複させないで切り分けにくく、さらに正確に話者が特定しにくいという問題がある。また、上記先行技術文献２では、分離した音声信号について、話者の発言を特徴量毎に音声信号として記憶し、特徴量毎に用意された辞書を用いるだけでなく、分離フィルタを更新する必要があり、フィルタ演算の処理が複雑になるという問題がある。

本発明は上記課題を解決するためになされたもので、独立性の評価や音声の分離処理を必要とせず、類似度と音量を用いるだけの簡素な構成で、同一空間に複数の話者が存在する会議やコールセンター、インカム通話などの場において、あるいは、オンライン会議などで、他の話者の音声を自己の端末のスピーカを通じて聞きながら話し合う場において複数の話者の音声を重複することなくしかも話者とその発言を正確に特定して切り出すことができる発言切り分けシステムとその方法を提供することを目的としている。

本発明の請求項１に係る発言切り分けシステムは、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部を備え、これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して自己の音声入力部から入力された自己の音声データを蓄積し、各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは同一話者の音声データとみなし、これら類似度が高い話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが相対的に大きいと判別された音声データを、自己の音声入力部から入力された自己の発言と特定し、自他の発言を切り分けることを特徴とするものである。

本発明の請求項１に係る発言切り分けシステムでは、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部を備え、これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して自己の音声入力部から入力された自己の音声データを蓄積し、各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは同一話者の音声データとみなし、これら類似度が高い話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが相対的に大きいと判別された音声データを、自己の音声入力部から入力された自己の発言と特定し、自他の発言を切り分けるようにしたことにより、話者の発言内容を迅速かつ正確に重複することなく切り出すことができる。

また、本発明に係る発言切り分けシステムは、自己の発言と特定された音声入力部に基づいて、話者とその発言を特定することが好ましい。係る構成とすることにより、話者の発言を、発言内容だけでなく発言内容とその話者を特定して切り出すことができる。

本発明の請求項３に係る発言切り分けシステムは、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部と、各音声入力部毎に設けられ、自己の音声入力部から取得され混在する複数の音声データから自己の音声データの発言開始から発言終了までの発言区間を検知する発言区間検知部と、発言区間検知部毎にそれぞれ設けられ、検知された自己の発言区間の音声データを蓄積する検知音声蓄積部と、各発言区間検知部とその検知音声蓄積部とを同期させて参照し、各発言区間検知部の検知音声蓄積部に蓄積された音声データについて、類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは複数の音声入力部から取得された同一話者の音声データとみなす類似度判別部と、類似度判別部により判別された同一話者の音声データについて、音声データ毎に音声エネルギを算出して音声エネルギの大小を比較判別し、音声エネルギが相対的に高いと判別された音声データが取得された発言区間検知部を特定する音声エネルギ判別部とを有し、特定された発言区間検知部とその検知音声蓄積部に蓄積された音声データに基づいて、話者とその発言を切り出すことを特徴とするものである。

本発明の請求項３に係る発言切り分けシステムでは、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部と、各音声入力部毎に設けられ、自己の音声入力部から取得され混在する複数の音声データから自己の音声データの発言開始から発言終了までの発言区間を検知する発言区間検知部と、発言区間検知部毎にそれぞれ設けられ、検知された自己の発言区間の音声データを蓄積する検知音声蓄積部と、各発言区間検知部とその検知音声蓄積部とを同期させて参照し、各発言区間検知部の検知音声蓄積部に蓄積された音声データについて、類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは複数の音声入力部から取得された同一話者の音声データとみなす類似度判別部と、類似度判別部により判別された同一話者の音声データについて、音声データ毎に音声エネルギを算出して音声エネルギの大小を比較判別し、音声エネルギが相対的に高いと判別された音声データが取得された発言区間検知部を特定する音声エネルギ判別部とを有し、特定された発言区間検知部とその検知音声蓄積部に蓄積された音声データに基づいて、話者とその発言を切り出すようにしたことにより、各音声入力部毎に話者が予め特定されており、発言区間毎に蓄積された音声データについて同期させて参照し、類似度判別部により類似度の高低を比較判別し、類似度の高い同一の話者とみなされた音声データについて、音声エネルギ判別部により音声エネルギの大小を比較判別するだけで、迅速かつ正確に話者とその話者が発言した音声データを重複なく切り出すことができる。

また、本発明に係る発言切り分けシステムは、音声入力部には、自他の話者の音声が話者毎のマイクを通じて入力されるか、または自他の話者の音声が自己の端末のマイクを通じて入力されるようにすることが好ましい。係る構成とすることにより、音声入力部を自他の話者の音声が話者毎のマイクを通じて入力されるよう構成すれば、同一空間内で複数の話者が発言しても重複することなく話者とその発言を特定することができ、自他の話者の音声が自己の端末のマイクを通じて入力されるように構成すれば、遠隔地で複数の話者が端末を通じて発言しても重複することなく話者とその発言を特定することができる。さらに、本発明に係る発言切り分けシステムは、音声入力部には、自他の話者の音声が、マイクを通じてリアルタイムで入力されるか、またはすでに取得されて入力され音声データとして記録された記録部を通じて入力されるように構成することが好ましい。係る構成とすることにより、音声入力部に、自他の話者の音声が、マイクを通じてリアルタイムで入力される場合、話し合い終了後、直ちに話者とその発言のデータを入手することができる。一旦、記録部に音声データを記録してさえおけば、記録部を通じていつでも必要な時に話者とその発言のデータを入手することができる。また、本発明に係る発言切り分けシステムは、各音声入力部には、複数の話者からなる話者グループの音声が入力され、話者グループとその話者グループの発言を切り出すように構成することが好ましい。係る構成とすることにより、話者一人ひとりでなく話者グループとその話者グループ毎の発言のデータを入手することができる。

また、本発明に係る発言切り分けシステムは、発言区間検知部には、入力される音声データが一定間隔毎に区切られた音声フレームとして入力されるとともに、音声フレームを、未検知または検知中の何れかの状態として検知し、初期状態を未検知とし、検知状態が未検知で発言の開始を検知すると検知状態を検知中に変更する発言開始検知部と、検知状態が検知中の間、検知音声蓄積部へ音声データの蓄積を行い、発言の終了を検知すると検知音声蓄積部に蓄積された音声データを出力あるいは削除し、検知状態を未検知に変更する発言終了検知部とを有することが好ましい。係る構成とすることにより、正確に発言区間の音声データを入手することができる。さらに、本発明に係る発言切り分けシステムは、音声入力部には、自他の音声とノイズが混在して入力され、発言区間検知部に入力される音声フレームについて、この音声フレームを、発言開始直後または発言終了直前のうち少なくともいずれか一方で、音声エネルギの大小を予め求められた音声エネルギの閾値に基づいて、人の音声か音声以外の雑音か否かを判別する発言判別部を有し、音声以外の雑音と判別された音声データに基づいて特定された発言区間検知部の検知音声蓄積部に蓄積され雑音と判別された音声データを削除することが好ましい。係る構成とすることにより、音声以外の雑音を音声データから取り除くことができ、人の音声のみを確実に取り込むこことができる。そして、音声エネルギの閾値を会場や端末の条件により変更して適用することができ、精度の向上を図ることができる。また、本発明に係る発言切り分けシステムは、類似度判別部により判別された同一話者の音声データについて、予め求められた音声の時間の長さの閾値に基づいて音声の時間が所定の長さを有するか否かを判別する音声長さ判別部を有し、所定時間長さを有する場合、音声エネルギ判別部で音声エネルギの大小を比較判別し、所定時間長さを有していない場合、蓄積された音声データを検知音声蓄積部から削除することが好ましい。係る構成とすることにより、話者の発声のうち、咳払いや舌打ち等意味のない発声を音声データから除き、思考に基づいてある程度の長さで発話される意味のある発言のみを音声データとして取り込むことができ、無駄な発声を取り除くことができる。また、音声データの欠損をなくすことができる。さらに、本発明に係る発言切り分けシステムは、検知音声蓄積部に蓄積された音声データに対し、蓄積された音声データ間の時間のずれを求め、この求められた時間的ずれを用いて音声データの時間ずれを補正する時間ずれ補正部を有するようにすることが好ましい。係る構成とすることにより、本来の音声を欠けることなく確実に音声データとして取り込むことができる。また、本発明に係る発言切り分けシステムは、発言区間検知部の検知音声蓄積部を通じて特定された話者とその音声データが出力されると、特定された話者とその音声データを、文字データ、文字データを翻訳した翻訳データまたは音声のうち少なくともいずれか１として表示または出力する表示出力部を有するようにすることが好ましい。係る構成とすることにより、会議や通話記録終了後、直ちに会議録や音声記録を入手することができる。さらに、本発明に係る発言切り分けシステムは、マイクは、同一の場所に集まった話者、コールセンターの通話者または会話をインカムを通じて行う会話者の何れかに装着されることが好ましい。係る構成とすることにより、多様な用途に利用することができる。

本発明の請求項１３に係る発言切り分け方法は、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分け方法であって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部を備え、これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して自己の音声入力部から入力された自己の音声データを蓄積する第１のステップと、各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは同一話者の音声データとみなす第２のステップと、これら類似度が高い話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが相対的に大きいと判別された音声データを、自己の音声入力部から入力された自己の発言と特定し、自他の発言を切り分ける第３のステップとを有することを特徴とするものである。

本発明の請求項１３に係る発言切り分け方法では、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分け方法であって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部を備え、これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して自己の音声入力部から入力された自己の音声データを蓄積する第１のステップと、各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは同一話者の音声データとみなす第２のステップと、これら類似度が高い話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが相対的に大きいと判別された音声データを、自己の音声入力部から入力された自己の発言と特定し、自他の発言を切り分ける第３のステップとを有するようにしたことにより、話者の発言内容を迅速かつ正確に重複することなく切り出すことができる。

また、本発明の発言切り分け方法は、自己の発言と特定された音声入力部に基づいて、話者とその発言を特定することが好ましい。係る構成とすることにより、話者の発言を、発言内容と話者とを特定して切り出すことができる。さらに、本発明に係る発言切り分け方法は、特定された話者とその音声データを、文字データ、文字データを翻訳した翻訳データまたは音声のうち少なくともいずれか１として表示または出力することが好ましい。係る構成とすることにより、会議や通話記録終了後、直ちに会議録や音声記録を入手することができる。

本発明の請求項１に係る発言切り分けシステムでは、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部を備え、これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して自己の音声入力部から入力された自己の音声データを蓄積し、各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは同一話者の音声データとみなし、これら類似度が高い話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが相対的に大きいと判別された音声データを、自己の音声入力部から入力された自己の発言と特定し、自他の発言を切り分けるようにしたことにより、類似度と音量を用いるだけの簡素な構成で、同一空間に複数の話者が存在する会議やコールセンター、インカム通話などの場やオンライン会議等の場において、複数の話者の音声を重複することなくそれぞれの発言を正確に特定して切り出すことができるので、正確な会議録や通話記録を得ることができる。

また、本発明の請求項３に係る発言切り分けシステムでは、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部と、各音声入力部毎に設けられ、自己の音声入力部から取得され混在する複数の音声データから自己の音声データの発言開始から発言終了までの発言区間を検知する発言区間検知部と、発言区間検知部毎にそれぞれ設けられ、検知された自己の発言区間の音声データを蓄積する検知音声蓄積部と、各発言区間検知部とその検知音声蓄積部とを同期させて参照し、各発言区間検知部の検知音声蓄積部に蓄積された音声データについて、類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは複数の音声入力部から取得された同一話者の音声データとみなす類似度判別部と、類似度判別部により判別された同一話者の音声データについて、音声データ毎に音声エネルギを算出して音声エネルギの大小を比較判別し、音声エネルギが相対的に高いと判別された音声データが取得された発言区間検知部を特定する音声エネルギ判別部とを有し、特定された発言区間検知部とその検知音声蓄積部に蓄積された音声データに基づいて、話者とその発言を切り出すようにしたことにより、複数の話者の発言に対して、類似度と音声エネルギとをそれぞれ比較判別して容易かつ確実に話者とその話者が発言した音声データを重複することなく特定することができ、より精密な会議録や通話記録を得ることができる。

さらに、本発明の請求項１３に係る発言切り分け方法では、複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分け方法であって、自己の音声と他者の音声が混在して入力される話者毎の音声入力部を備え、これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して自己の音声入力部から入力された自己の音声データを蓄積する第１のステップと、各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは同一話者の音声データとみなす第２のステップと、これら類似度が高い話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが相対的に大きいと判別された音声データを、自己の音声入力部から入力された自己の発言と特定し、自他の発言を切り分ける第３のステップとを有するようにしたことにより、類似度と音量を用いるだけの簡素な構成で、同一空間に複数の話者が存在する会議やコールセンター、インカム通話などの場やオンライン会議等の場において、複数の話者の音声を重複することなくそれぞれの発言を正確に特定して切り出すことができるので、正確な会議録や通話記録を得ることができる。

図１は、本発明の一実施形態に係る発言切り分けシステムの概念を示す概略構成図である。 図２は、図１の発言切り分けシステムの全体構成を模式的に示すシステム構成図である。 図３の（Ａ）、（Ｂ）はそれぞれ、図１の発言切り分けシステムにおいて同一空間内において話者毎にマイクがセットされる一例を示す説明図および特定（自己）の話者が自らの端末のマイクを通じて遠隔地の他の話者と話し合う場合であって他の話者の音声が自らの端末のマイクを通じて入力される一例を示す説明図である。 図４は、図２の発言切り分けシステムにおける発言区間検知部の構成を示す構成図である。 図５は、図４の発言区間検知部における発言開始検知部の動作を示すフローチャートである。 図６は、図４の発言区間検知部における発言終了検知部の動作を示すフローチャートである。 図７は、図４の発言区間検知部における類似度判別部と音声エネルギ判別部との動作を示すフローチャートである。 図８の（Ａ）、（Ｂ）はそれぞれ、マイク毎の発言区間検知部の検知音声蓄積部に蓄積される音声データのイメージを示す説明図およびその音声データのイメージに対して相互相関関数により類似している音声のみを抽出したイメージを示す説明図である。 図９は、音声入力部に、自他の話者の音声が話者毎のマイクを通じて入力される場合を示し、話者の発言が特定された検知音声蓄積部に蓄積された音声データの出力を示す説明図である。 図１０は、音声入力部には、自他の話者グループの音声が話者グループ毎のマイクを通じて入力される場合を示し、話者グループの発言が特定された検知音声蓄積部に蓄積された音声データの出力を示す説明図である。 図１１の（Ａ）、（Ｂ）はそれぞれ、特定（自己）の話者の発言中、特定の話者の音声を他の複数の話者のマイクで取得した場合の蓄積された音声データの出力を示す説明図および自他の話者がそれぞれ異なる発言をした場合の蓄積された音声データの出力を示す説明図である。 図１２の（Ａ）、（Ｂ）はそれぞれ、図２の発言切り分けシステムにより、複数の話者の発言がない場合の動作を、順を追って説明するフローチャートおよび図１の発言切り分けシステムにより、複数の話者のうち一人が発言する場合の動作を、順を追って説明するフローチャートおよびである。 図１３は、図２の発言切り分けシステムにより、特定の話者の発言中に、他の話者が発言した場合の動作を説明するフローチャートである。 図１４は、図２の発言切り分けシステムにより、特定の話者の発言が他の話者のマイクを通じて取得された場合の動作を説明するフローチャートである。

以下、図面に示す一実施形態により本発明を説明する。本発明の一実施形態に係る発言切り分けシステム２は、図１ないし図３の（Ａ）に示すように、同一空間内において自己の音声と他者の音声が混在して入力される話者毎のマイク（音声入力部）Ｍ１～Ｍｎを備え、これらマイクＭ１～Ｍｎ毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して自己のマイクＭ１～Ｍｎから入力された自己の音声データを蓄積し、各マイクＭ１～Ｍｎから取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなし、類似度が高い音声データは話者の同一の音声データとみなし、これら類似度が高い話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが相対的に大きいと判別された音声データを、自己のマイクＭｘから入力された自己の発言と特定し、自他の発言を切り分けるようにしたものである。つまり、発言者を特定せず発言のみ重複することなく切り分けるようにしたものである。また、本実施形態に係る発言切り分けシステム２は、自己の発言と特定されたマイクＭｘに基づいて、そのマイクＭｘから取得され蓄積された音声データをマイクＭｘの話者と関連付けするようにしたものである。

本実施形態に係る発言切り分けシステム２は、図１に示すように、会議などの参加者（話者）Ａ～Ｎ（Ｎは２以上の任意の整数）毎に装着されたマイクＭ１～Ｍｎからの音声を、切り分けて出力することができるだけでなく、話者とその発言を特定して、切り分け出力するシステムである。この発言切り分けシステム２は、図２に示すように、同一空間内で行われる会議などの参加者（話者）Ａ～Ｎ（Ｎは２以上の任意の整数）毎にマイクＭ１～Ｍｎが装着されるか、話者Ａ～Ｎの近傍に配置される（図３の（Ａ）参照）。つまり、話者Ａを自己とすると（自己ＡのマイクＭ１）、自己のマイクＭ１以外の他の話者のマイクＭ２～Ｍｎより最も近い距離に配置されるのが、自己のマイクＭ１となるように配置される。マイクＭ１～Ｍｎは、装着された話者Ａ～Ｎ毎に対応して関連付けされる。これらマイクＭ１～Ｍｎは、話者Ａ～Ｎと関連付けされてハードウェア（ハードディスク、情報処理部、記憶部）、コンピュータあるいはクラウドコンピュータ３に音声データを入力可能に接続される。本実施例では、情報処理部（ＣＰＵ）と記憶部と入出力部と表示部とを有するコンピュータ（ＰＣ）３を例に説明する。ＰＣ３には、後述する動作を行うソフトウェアが収納される。

本実施形態に係る発言切り分けシステム２は、各マイクＭ１～Ｍｎ毎の音声データが入力される発言区間検知部４（４：Ｍ１、４：Ｍ２・・・４：Ｍｎ）と、発言区間検知部４毎に設けられ発言区間検知部４で検知された発言区間の音声データを蓄積する検知音声蓄積部５（５：Ｍ１、５：Ｍ２・・・５：Ｍｎ）と、類似度判別部６と、音声エネルギ判別部７と、音声長さ判別部８と、蓄積音声出力部９と、発言判別部（ノイズ判別部）１０と、発言開始検知部１１と、発言終了検知部１２と、時間ずれ補正部１３とを有して構成される。

発言区間検知部４は、図４に示すように、各マイクＭ１～Ｍｎ毎に互いに同期して設けられ、対応するマイクから取得され混在する複数の音声データの発言開始から発言終了までのそれぞれの発言区間を検知するようになっている。すなわち、発言区間検知部４は、発言判別部１０と発言開始検知部１１と発言終了検知部１２とにより発言区間を検知するようになっている（図２参照）。発言区間検知部４は、入力される音声データを短時間の一定間隔毎に区切られた音声フレーム（本実施形態では、例えば、３０msec分の音声データ）として入力する。発言判別部１０は、発言区間検知部４に入力された音声フレームを、発言開始直後または発言終了直前のうち少なくともいずれか一方で、音声エネルギの大小を予め求められた音声エネルギの第１の閾値ＴＨＲ１または第２の閾値ＴＨＲ２に基づいて、人の音声か音声以外の雑音か否かを判別するようになっている。また、発言判別部１０で音声以外の雑音と判別された音声データは、情報処理部により削除されるようになっている。発言開始検知部１１は、音声フレームを、未検知または検知中の何れかの状態として検知し、初期状態を未検知とし、検知状態が未検知で発言の開始を検知すると検知状態を検知中に変更するようになっている。発言終了検知部は１２は、検知状態が検知中の間、検知音声蓄積部５へ音声データの蓄積を行い、発言の終了を検知すると検知音声蓄積部５に蓄積された音声データを出力あるいは削除し、検知状態を未検知に変更するようになっている。つまり、発言開始検知部１１は、図５に示すように、関連付けされた単一のマイクＭｘから取得される、他の話者の音声データが混在する複数の音声データが入力されると（ステップＳ１）、音声フレーム毎に情報処理部により音声エネルギを算出し（本実施形態では、例えば、音声の二乗平均平方根（ＲＭＳ）を用いている）（ステップＳ２）、算出された値を、発言判別部１０により予め設定された音声エネルギの第１の閾値ＴＨＲ１と比較判別し（ステップＳ３）、この第１の閾値ＴＨＲ１以上の場合、音声データの検知状態Ｓを「検知中」に変更する（ステップＳ４）。第１の閾値ＴＨＲ１未満の場合、このマイクＭｘから拾った聞き取りにくい音声エネルギの低い音声データとみなし、検知状態Ｓを「未検知」のままとし処理を終了する（ステップＳ５）。つまり、検知状態Ｓを参照し、「未検知」であれば入力された音声フレームを解析し、人の音声であると判別すると検知状態を「検知中」に変更するようになっている。なお、本実施形態では、音声フレームを、３０msec分の音声データとしているがこれに限られるものではなく、状況や環境あるいは用途に応じて適宜変更可能であることは言うまでもない。また、本実施形態では、音声エネルギの算出に当たり、システム負荷が軽い音声の二重平均平方根（ＲＭＳ）を用いているがこれに限られるものではなく、他の算出方法を用いてもよい。

発言判別部１０は、発言開始検知部１１が音声フレームを検知し、音声データの蓄積が始まると、つまり、発言開始直後に音声フレームの音声エネルギの大小を、予め求められた音声エネルギの第１の閾値ＴＨＲ１に基づいて、人の音声か音声以外の雑音か否かを判別するようになっている（図５のステップＳ２～ステップＳＳ５参照）。また、発言判別部１０は、発言終了検知部１２が音声フレームを検知すると、その音声フレームの音声エネルギの大小を、予め求められた音声エネルギの第２の閾値ＴＨＲ２に基づいて、人の音声か音声以外の雑音か否かを判別するようになっている（図６のステップＳ１５～ステップＳ１６参照）。すなわち、ステップＳ１４で、類似度の結果がTrueである場合、音声エネルギを算出し、算出された値を音声エネルギの第２の閾値ＴＨＲ２と比較判別し（ステップＳ１６）、第２の閾値ＴＨＲ２未満の場合、発言終了とみなし、音声長さ判別部８に検知音声蓄積部５の音声データを出力する（ステップＳ１７参照）。第２の閾値ＴＨＲ未満の場合、終了処理は行わず、次の音声フレームの入力を待つ。なお、第２の閾値ＴＨＲ２は、会場やマイクの条件に応じて、第１の閾値ＴＨＲと同一であってもよいし、異ならせてもよい。

このように、上記実施形態に係る話者とその発言切り分けシステム２では、図９に示すように、話者Ａ～Ｎそれぞれに装着したマイクＭ１～Ｍｎから音声データを取得する。取得した複数の音声データをそれぞれ発言区間検知部４に入力すると、発言区間ごとに分離された音声が出力される。従って、発言区間検知部４は録音に使用するマイクの数だけ必要となる。発言区間検知部４は、図４のような構造となっている。発言区間検知部４には、マイクＭ１～Ｍｎから取得された音声データが入力される。音声データは一定間隔で区切られた音声フレームであり、音声フレームが入力されるたびに発言区間検知部４が処理を行う。発言区間検知部４は常に検知状態Ｓを保持している。検知状態Ｓは 「未検知」と「検知中」のいずれかの状態を示し、初期状態は「未検知」である。また、検知状態Ｓは自身の、あるいは同時に動作している他の発言区間検知部４から参照される。音声を解析する音声解析部１０、１１、１２、６、７、１３では、入力が発言であるかどうかを判断する。音声解析部１０、１１、１２、６、７、１３は検知状態Ｓによって動作が異なり、検知状態が「未検知」であれば発言開始、「検知中」であれば発言終了を検知するための解析を行う。

発言開始検知部１１および発言終了検知部１２はそれぞれ、図５および図６のように動作する。発言開始検知部１１では、入力の音声エネルギを算出し、この音声エネルギを予め設定していた閾値（第１の閾値ＴＨＲ１）と比較する。比較の結果が第１の閾値ＴＨＲ１以上であれば検知状態を「検知中」に変更し、次の音声フレームの入力に対して処理を行う。終了検知処理では、開始検知処理で行った音声エネルギの比較、検知状態の変更に加え、検知音声蓄積部５の入出力処理と、他の話者の発言が含まれているかどうかを判断するための類似度の算出処理が行われる。終了検知処理では、はじめに音声フレームを検知音声蓄積部５に格納する。次に、類似度の算出を行い、類似度の結果がTrueでなかった場合、つまり、音声が同一のものでないと判断された場合、、検知状態Ｓを「未検知」に変更後、次の入力の処理を行う。類似度の結果がTrueである場合は、音声エネルギの判定を行う。音声エネルギが発言判別部１０の第２の閾値ＴＨＲ２を上回っている場合は次の音声フレームの処理を実行するが、下回っている場合は、発言が終了したとみなし、検知音声蓄積部５に格納されている音声データを音声長さ判別部８に出力し、検知状態を「未検知」に戻す。

類似度判別部６では、他の発言区間検知部４の検知音声蓄積部５に格納されている音声データに同一音声が含まれていないかを確認する。同期させて発言区間検知部４の数だけ処理が必要なため、内部はループ構造を有している（ステップＳ３２参照）。同一の音声データの確認にあたって、まず他の発言区間検知部４の検知状態Ｓを参照する（ステップＳ３３参照）。対象となる発言区間検知部４の検知状態Ｓが「未検知」の場合はTrueを出力し、他の発言区間検知部４の確認に移る。一方で、「検知中」であれば検知音声蓄積部５に同一音声が含まれている可能性があるため、自身の発言区間検知部４（Ｍｘ）と対象の発言区間検知部４［（Ｍ１～Ｍｎ）－Ｍｘ］の検知音声蓄積部５に格納されている音声データの類似度を算出する（ステップＳ３５参照、本実施形態では、例えば、ピアソンの積率相関係数Ｃを類似度として算出する）。類似度が予め設定した第２の閾値ＴＨＲ２を下回る場合、この音声は同一のものではないと判断され（ステップＳ３６参照）、Trueを出力して他の発言区間検知部４の確認に移る。第２の閾値ＴＨＲ２を上回る場合は音声が同一であるため、検知音声蓄積部５の音声のエネルギを算出し（ステップＳ３７参照）、自身の音声エネルギが大きい場合は、Trueを出力する（ステップＳ３８、Ｓ３９参照）。

以上の処理を他の発言区間検知部４すべてに対して実行することで、他の発言区間検知部４の数だけ確認結果が得られる。確認結果がすべてTrueになっていれば、自身の音声は独立した発言であるため、Trueを出力し、発言終了検知部１２で適切な処理が行われる。その結果、同一音声に対しては、「検知中」の状態を持つ発言区間検知部４が常に一つとなり、音声の重複を防ぐことができる。このようにして発言区間検知部４は動作するが、各発言区間検知部４は同期的に動作する必要がある。具体的には、ある時刻に対するすべての音声フレームの処理が各発言区間検知部で終了するまで、次の音声は入力しないようにしている。そうしなければ、検知状態に時間的なずれが生じるため、同一音声の検知ができなくなるからである。

類似度判別部６は、各発言区間検知部４とその検知音声蓄積部５とを同期させて参照し、各発言区間検知部４に入力される音声データと各マイクの検知音声蓄積部５に格納された発言区間の音声データについて、類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなして判別する対象から除き（図１１の（Ｂ）参照）、類似度が高い音声データは複数のマイク（例えば、マイクＭ１～Ｍ３）から取得された同一の音声データとみなし、これら複数のマイクの同一の音声データを判別しこれら判別された同一の音声データを有する発言区間検知部４（４：Ｍ１、４：Ｍ２、４：Ｍ３）を特定するようになっている（図１１の（Ａ）参照）。

つまり、類似度判別部６は、各発言区間検知部４（４：Ｍ１～４：Ｍｎ）とその検知音声蓄積部５（５：Ｍ１～５：Ｍｎ）とを同期させて参照するようになっている。この類似度判別部６は、各マイクＭ１～Ｍｎに対応する各発言区間検知部４（４：Ｍ１～４：Ｍｎ）の検知音声蓄積部５にそれぞれ格納された発言区間の音声データについて、特定のマイクＭｘ（自己のマイクＭ１）に対応する発言区間検知部４（４：Ｍｘ）の検知音声蓄積部５に蓄積された音声データと、それ以外の他のマイク[（Ｍ１～Ｍｎ）－Ｍｘ]に対応する発言区間検知部４[（４：Ｍ１～４：Ｍｎ）―（４：Ｍｘ）]の検知音声蓄積部５に蓄積された音声データとの類似度をそれぞれ算出し、特定（自己）の検知音声蓄積部５から取得した音声データに対して他の音声データとの類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなして判別する対象から除き、類似度が高い音声データは複数のマイクから取得された同一の音声データとみなし、これら複数のマイクの同一の音声データＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３（図１４参照）を判別して特定するようになっている。

言い換えれば、類似度判別部６は、各音声蓄積部５に蓄積された発言区間の音声データ（例えば、ＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３、・・・）について、各検知音声蓄積部５（５：Ｍ１～５：Ｍｎ）と各発言区間検知部４（４：Ｍ１～４：Ｍｎ）を同期させて参照し、情報処理部により類似度を算出し（図６のステップＳ１３）、特定（自己）の発言区間検知部４（４：Ｍ１）について、類似度の結果がTrueかどうか判別する（ステップＳ１４）。類似度の結果がTrueでない場合、つまり、音声データが同一のものであると判断された場合、音声長さ判別部８に音声データを出力し（ステップＳ１７）、音声データの長さが予め設定された長さより長いかどうか判別するようになっている。類似度の結果がTrueである場合、発言判別部１０に音声データを出力するようになっている（ステップＳ１５参照）。

音声エネルギ判別部７は、類似度判別部６により判別され特定された同一の音声データＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３について、蓄積された音声データの音声エネルギを算出して音声エネルギの大小を比較判別し、音声エネルギが低い場合（例えば、同一の音声データＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３のうちＶｉｄＭ２、ＶｉｄＭ３）、話者Ｂ、ＣのマイクＭ２、Ｍ３から取得された自己の音声データとみなし、音声エネルギが相対的に最も高いと判別された音声データ（例えば、音声データＶｉｄＭ１）を特定される対象とみなし、音声が取得されたマイクＭ１を特定し、そのマイクＭ１から取得され蓄積された音声データをマイクＭ１の話者Ａと関連付けして特定し、蓄積音声出力部９により外部に出力するようになっている。音声エネルギが相対的に最も高いか否かは算出された値を比較して判別される。なお、本実施形態に係る発言切り分けシステム２では、話者とその発言（音声データ）を紐付けして話者と発言とを特定するようにしているがこれに限られるものではなく、話者を特定せず、異なる発言者の発言のみを切り出すようにしてもよいことは言うまでもない。

音声長さ判別部８は、音声データが予め設定された所定の長さ（本実施形態の場合、１秒未満で、好ましくは０．５秒に設定）を有しているかどうかを判別し、話者の発声のうち、咳払いや舌打ち等意味のない発声を音声データから除き、思考に基づいてある程度の長さで発話される意味のある発言のみを音声データとして取り込むようにしている。

音声長さ判別部８は、ステップＳ１６で、発言判別部１０から第２の閾値ＴＨＲ２未満の音声データが入力されるか、ステップＳ１４で類似度の結果がTrueでない場合、つまり、音声データが同一のものであると判断された場合、音声データが設定された一定の長さを有するかどうか判別し、一定の長さを有していれば、自己（特定）の音声データとして検知音声蓄積部５から蓄積された音声データを出力し（ステップＳ１８）、次に、その音声データを削除し（ステップＳ１９）、検知状態Ｓを「未検知」に変更後（ステップＳ２０）、次の入力処理を行う。一定の長さを有していない場合、自己（特定）の検知音声蓄積部５から蓄積された音声データを削除し（ステップＳ１９）、検知状態Ｓを「未検知」に変更する（ステップＳ２０）。

類似度判別部６は、各検知音声蓄積部５を参照して（ステップＳ３１）、動作中の発言区間検知部４の数（例えば、ＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３であれば３回）をループし（ステップＳ３２）、動作中の各発言区間検知部Ｄｎ（Ｄｎ＝５：Ｍ１～５：Ｍｎ）から検知状態Ｓ（Ｓ－１、Ｓ－２、Ｓ－３）を取得し（ステップＳ３３）、検知状態Ｓが「検知中」か否かを判別し（ステップＳ３４）、「検知中」であれば、自己（特定）の検知音声蓄積部５（５：Ｍ１）と他の検知音声蓄積部５（５：Ｍ２、５：Ｍ３）とにそれぞれ格納されている音声データから音声の類似度（本実施形態では、積率相関係数Ｃ）を算出し（ステップＳ３５）、この類似度が予め設定された第３の閾値ＴＨＲ３より大きいか小さいかを判別する（ステップＳ３６）。

音声エネルギ判別部７は、図７に示すように、音声データＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３の類似度が第３の閾値ＴＨＲ３より大きい場合、自己（特定）の検知音声蓄積部５（５：Ｍ１）と他の検知音声蓄積部５（５：Ｍ２、５：Ｍ３）とにそれぞれ格納されている音声データの音声エネルギＥ＿ｓ（Ｅ＿ｓ：ＶｉｄＭ１）、Ｅ＿Ｄｎ（Ｅ＿ｄ：ＶｉｄＭ２、Ｅ＿ｄ：ＶｉｄＭ３）を算出する（ステップＳ３７）。そして、これら算出された音声エネルギＥ＿ｓ（Ｅ＿ｓ：ＶｉｄＭ１）、Ｅ＿Ｄｎ（Ｅ＿ｄ：ＶｉｄＭ２、Ｅ＿ｄ：ＶｉｄＭ３）の大小を判別し（ステップＳ３８）、算出された数値が最も大きい音声エネルギをTrueとして出力する（ステップＳ３９）。このステップＳ３９で音声エネルギＥ＿ｓ（Ｅ＿ｓ：ＶｉｄＭ１）が、最も高いものがTrueとして出力されると、話者Ａ（マイクＭ１）が特定され、その発言区間の音声データＶｉｄＭ１が関連付けされて出力されるようになっている。このステップＳ３９で、例えば、音声エネルギＥ＿Ｄｎ（Ｅ＿ｄ：ＶｉｄＭ２）が最も大きければ、話者Ｂとその発言区間の音声データが、音声エネルギＥ＿Ｄｎ（Ｅ＿ｄ：ＶｉｄＭ３）が最も大きければ、話者Ｃとその発言区間の音声データが、それぞれ特定される。こうして、同一の音声に対しては、「検知中」の状態を持つ発言区間検知部４が常に一つとなるため、音声の重複を防いで話者とその発言区間の音声データを特定することができる。

なお、ステップＳ３４で、検知状態Ｓが「未検知」であれば、該当する検知音声蓄積部５の音声データは自己の音声データを優先し、蓄積され続ける。また，ステップＳ３６で、「検知中」の自己と他の検知音声蓄積部５に蓄積された音声データの類似度が第３の閾値ＴＨＲ３より小さい場合、該当する検知音声蓄積部５の音声データは蓄積され続ける。

また、本実施形態に係る発言切り分けシステム２は、時間ずれ補正部１３を有している。時間ずれ補正部１３は、検知音声蓄積部５に蓄積された音声データについて、発言判別部１０により音声エネルギの第１の閾値ＴＨＲ１に基づいて音声エネルギを算出する際、音声データ間の時間のずれを求め、この求められた時間的ずれを用いて音声データの時間ずれを補正するようになっている。つまり、時間ずれ補正部１３は、類似している音声のみを抽出し、発話の音声エネルギを算出する際、相互相関関数を用い、音声間がずれている時間を求めるようにしている。つまり、相互相関関数が最大値をとるとき、音声間がずれている時間が得られる。その時間を用いて元の音声を切り出すことができるようになっている。図８の（Ａ）、（Ｂ）はそれぞれ、マイク毎の発言区間検知部４の検知音声蓄積部５に蓄積される音声データのイメージを示す説明図およびその音声データのイメージに対して相互相関関数により類似している音声のみを抽出したイメージを示す説明図である。

すなわち、時間ずれは、次のようにして生じる。話者特定を現実に使用すると、話者同士の発言に区切りがなく連続して会話が行われる場合がある。例として、話者Ａの発言の直後に話者Ｂの発言があった場合を想定し、それぞれの発言を自己の発言区間検知部４：Ａと他の発言区間検知部４：Ｂで検知する場合を想定する。このとき、話者Ｂの発言は発言区間検知部４：Ａでも取得されており、そのエネルギが閾値（第１の閾値ＴＨＲ１）を超えているとする。まず、話者Ａの発言が発言区間検知部４：Ａの検知音声蓄積部５：Ａに蓄積される。続けて話者Ｂの発言が開始されると、自己（Ａ）と他（Ｂ）の発言区間検知部４：Ａ、４：Ｂ両方で音声エネルギが閾値（第１の閾値ＴＨＲ１）を超えているため、類似度の算出が行われる。このとき、類似度算出に用いられる音声データは自他それぞれの発言区間検知部４：Ａ、４：Ｂの検知音声蓄積部５：Ａ、５：Ｂに蓄積された音声であるため、発言区間検知部４：Ａでは、話者Ａの発言と話者Ｂの発言とが含まれることなる。

図８の（Ａ）は、各発言区間検知部４：Ａ、４：Ｂの検知音声蓄積部５：Ａ、５：Ｂの音声データのイメージを示している。薄い部分で表示しているのが、話者ＡのマイクＭ１の発言区間検知部４：Ａ、濃い部分で表示しているのが話者ＢのマイクＭ２の発言区間検知部４：Ｂの音声データを示している。類似度の算出においては話者Ｂの発言が両方に含まれているため、類似していると判断されるが、エネルギ算出時に問題が生じる。エネルギ算出に使われる音声データも各検知音声蓄積部５：Ａ、５：Ｂの音声を用いるため、話者Ａの発言の音声エネルギが大きかった場合、その影響を受けて話者Ａの発言の音声エネルギが大きいと判断されることがある。結果、類似度の判定は正しく動作するが、より音声エネルギの大きい話者Ａの発言が優先され、話者Ｂの発言が話者Ａのものとなってしまう虞がある。この問題はエネルギ算出を検知音声蓄積部５：Ａ、５；Ｂに蓄積された音声データ全体で行っているために生じる。これを解決するには、類似している音声のみを抽出し、時間ずれ補正部１３によりエネルギ算出をし、ずれている時間を用いて元の音声を切り出せばよい（図８の（Ｂ）参照）。

また、本実施形態に係る発言切り分けシステム２は、発言判別部１０が人の音声かどうか判別するだけでなくノイズ判別の機能も有している。発言判別部１０は、発言区間検知部４に入力された音声データについて、人の音声か音声以外の雑音かを判別し、音声以外の雑音と判別すると、音声エネルギにかかわらず、ステップＳ３、あるいはステップＳ１３の結果がFalseとなるように構成される。

また、本実施形態に係る発言切り分けシステム２は、発言区間検知部４の検知音声蓄積部５から発言終了検知部１２により蓄積音声出力部９を通じて特定された話者Ａとその音声データＶＭ１を受け取ると、テキスト等の文字データ、この文字データを翻訳した翻訳データまたは音声のうち少なくともいずれか１を画面上に表示したり、出力する表示出力部２０を有している（図１参照）。表示出力部２０は、端末や表示装置から構成される。

次に、本発明に係る発言切り分け方法について、上記実施形態に係る発言切り分けシステム２の作用に基づいて説明する。上記実施形態に係る発言切り分けシステム２では、図２に示すように、ＰＣ３には、情報処理部（ＣＰＵ）と記憶部と入出力部と表示部とを備えるとともに、発言区間検知部４と検知音声蓄積部５と類似度判別部６と音声エネルギ判別部７と蓄積音声出力部９と発言開始検知部１１と発言終了検知部１２と時間ずれ補正部１３とを備えて構成される。ＰＣ３には、端末や表示装置から構成される表示出力部２０が接続される。本実施形態に係る発言切り分けシステム２では、第１のステップ（Ｓ１０１）で、マイクＭ１～Ｍｎ毎に、マイク１～Ｍｎから取得される混在する複数の音声データを、発言区間検知部４により各音声データの開始から終了までの発言区間毎に検知してその音声データＶ：Ｍ１～Ｖ：Ｍｎを各発言区間検知部４に対応する検知音声蓄積部５に蓄積するようになっている。次に、第２のステップ（Ｓ１０２）で、各マイク１～Ｍｎから取得された音声データＶ：Ｍ１～Ｖ：Ｍｎを同期させて参照し、類似度判別部６により取得した音声データＶ：Ｍ１～Ｖ：Ｍｎの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは異なる話者の音声データとみなして判別する対象から除き、類似度が高い音声データ（例えば、ＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３）について同一の音声データとみなすようになっている。そして、第３のステップ（Ｓ１０３）で、これら類似度が高い同一とみなされた音声データ（例えば、ＶｉｄＭ１、ＶｉｄＭ２、ＶｉｄＭ３）について、音声エネルギ判別部７により音声エネルギの大小を比較判別し、音声エネルギが相対的に大きい音声データ（例えば、ＶｉｄＭ１＞ＶｉｄＭ２＞ＶｉｄＭ３）と判別されたマイクＭｘ（Ｍ１）を特定し、そのマイクＭｘ（Ｍ１）から取得され蓄積された音声データ（例えば、ＶｉｄＭ１）をマイクＭｘ（Ｍ１）の話者Ａと関連付けし、蓄積音声出力部９により外部に出力するようになっている。表示出力部２０では、受け取った話者Ａとその話者の発言した音声データＶＭ１を、テキスト等の文字データ、この文字データを翻訳した翻訳データまたは音声のファイルとして画面上に表示したり、出力することができるようになっている。

次に、一連の動作を、２人の話者Ａ、Ｂが存在することを想定して説明する。各話者Ａ、Ｂには、それぞれマイクＭ１、Ｍ２が装着され（図３参照）、各マイクＭ１、Ｍ２に対して発言区間検知部４：Ｍ１、４：Ｍ２を用いて発言区間を取り出す。
まず、話者Ａ、Ｂともに発言していない場合について説明する。
図１２の（Ａ）（条件ａ参照）に示すように、発言区間検知部４：Ｍ１、４：Ｍ２の各発言開始検知部１１：Ｍ１、９：Ｍ２において入力された音声フレーム（音声データ）の音声エネルギＥ＿１、Ｅ＿２が算出されるが、第１の閾値ＴＨＲ１を超えることがないため、検知状態Ｓは常に「未検知」となり、この処理が繰り返される。

次に、図１２の（Ｂ）（条件ｂ参照）に示すように、話者Ａのみが発言している場合について説明する。
話者Ａの発言区間検知部４：Ｍ１の発言開始検知部１１：Ｍ１において、音声フレームの検知状態Ｓが「検知中」に変更され、発言中は発言終了検知部１２：Ｍ１が動作する。発言終了検知処理の類似度算出では、話者Ｂの発言区間検知部４：Ｍ２の検知状態Ｓが参照されるが、これは話者Ｂが発言しておらず常に「未検知」であるため、類似度判別部６の話者Ａの類似度算出の結果がTrueとなる。従って、話者Ａの発言区間検知部４：Ｍ１の発言終了検知部１２：Ｍ１で検知音声蓄積部５：Ｍ１に音声フレームが格納され続け、音声エネルギＥ＿１が第１の閾値ＴＨＲ１を下回ると、発言終了で発言区間が確定され、検知音声蓄積部５の音声が出力される。

次に、図１３（条件ｃ参照）に示すように、話者Ａの発言中に話者Ｂが発言した場合について説明する。
話者Ａの発言中、話者Ｂが発言するまでは、図１２の(Ｂ)に示す条件ｂと同様である。話者Ａの発言中、話者Ｂが発言すると、話者Ａの発言区間検知部４：Ｍ１での類似度算出において、話者Ｂの発言区間検知部４：Ｍ２の検知状態Ｓが参照され、検知状態Ｓが「検知中」で取得される。そうすると、話者Ａと話者Ｂとの発言区間検知部４：Ｍ１、４：Ｍ２それぞれの検知音声蓄積部５：Ｍ１、５：Ｍ２に格納されている音声データに対して音声の積率相関係数（類似度）Ｃを算出しこの値が第３の閾値ＴＨＲ３を超えているかどうかを判定する。今回の条件では話者Ｂは話者Ａとは異なる発言をしているため、音声は同一のものではない。よって、類似度判別部６からTrueが出力されるため、話者Ａ、Ｂの発言区間検知部４：Ｍ１、４：Ｍ２それぞれで、上記条件ｂと同様の処理となる。話者Ｂについて、発言が継続していれば、話者Ｂの検知音声蓄積部５：Ｍ２では、音声データの蓄積が継続される。

次に、図１４（条件ｄ参照）に示すように、話者Ａの発言が話者ＢのマイクＭ２でも取得された場合について説明する。
類似度算出までは上記条件ｃと同様であるが、話者Ａの検知音声蓄積部５：Ｍ１に入力されている音声データは話者Ａに装着されたマイクＭ１から取得されたものであるため、音声エネルギは他に比べて大きくなっているはずである。従って、話者Ａの発言区間検知部４：Ｍ１での類似度結果はTrueとなり、検知され続ける。話者Ｂの発言区間検知部４：Ｍ２では音声エネルギが小さいため、類似度の結果がTrueにならず、発言終了検知部１２：Ｍ２において検知状態が「未検知」に変更され、検知音声蓄積部５：Ｍ２の音声が出力されることはない。

つまり、話者Ａ、Ｂの発言を処理する際、話者Ａ、Ｂのそれぞれの発言区間検知部４：Ｍ１、４：Ｍ２において、話者Ａが発言していると、発言区間検知部４：Ｍ１の検知状態Ｓは「検知中」となり、ここで話者Ｂが発言した場合、類似度判別部６で類似度が計算される。話者Ａ、Ｂの発言がそれぞれ独立していれば、互いの類似度は低い値となり、話者Ｂの発言区間検知部４：Ｍ２の検知状態Ｓは「検知中」となり、検知される。話者ＢのマイクＭ２で話者Ａの発言を拾ってしまった場合には、類似度が高くなるため、より音声エネルギの大きい話者Ａの音声が優先され、話者Ｂの音声は検知されない。

さらに、時間的な処理について、本実施形態では、リアルタイム処理が可能となっている。つまり、発言区間検知部４には一定区間の音声データが、短時間で一定間隔毎に区切られた音声フレームとして入力される。二人の話者Ａ、Ｂが存在し、それぞれマイクＭ１、Ｍ２を装着し、マイクＭ１、Ｍ２に対応する発言区間検知部４：Ｍ１、４：Ｍ２では３０msecごとに音声データＸ＿Ｍ１[n]、Ｘ＿Ｍ２[n]がそれぞれ音声フレームとして入力されるとすると、話者Ａの発言区間検知部４：Ｍ１にはＸ＿Ｍ１[0]、Ｘ＿Ｍ１[1]…と次々と３０msec分の音声データが入力されるが、話者Ｂの発言区間検知部４：Ｍ２にも時間的に同じ音声データＸ＿Ｍ２[0]、Ｘ＿Ｍ２[1]…が入力され続ける。始めに動作する発言区間検知部４が話者Ａの発言区間検知部４：Ｍ１だった場合、発言区間検知部４：Ｍ１では、Ｘ＿Ｍ１[0]の入力に対する処理を行う。直後に次の音声データＸ＿Ｍ１[1]の処理を開始するのではなく、話者Ｂの発言区間検知部４：Ｍ２でＸ＿Ｍ２[0]に対する処理の完了を待たなければ、発言区間検知部４毎の時間ずれが発生してしまうため、同期をとる必要がある。この例では、時刻nの音声データに対する発言区間検知部４：Ｍ１、４：Ｍ２の処理が３０msec以内で完了するならば、リアルタイムでの処理が可能となる。

このように、本実施形態に係る発言切り分けシステム２とその方法では、類似度と音量を用いるだけの簡素な構成で、同一空間に複数の話者が存在する会議やコールセンター、インカム通話などの場において、あるいは、オンライン会議などで、他の話者の音声を自己の端末のスピーカを通じて聞きながら話し合う場において、複数の話者の音声を重複することなくしかも話者とその発言を正確に特定してリアルタイムで切り出すことができる。また、話者とその発言とを関連付けしなければ、異なる話者の発言を重複なく切り出すことができる。

なお、上記実施形態に係る発言切り分けシステム２では、図３の（Ａ）に示すように、同一空間内において話者Ａ～Ｎ毎にマイクＭ１～Ｍｎを装着し、これらマイクＭ１～Ｍｎから自己の音声と他者の音声が混在して入力される音声データを重複なく切り出すようにしているが、これに限られるものではなく、図３の（Ｂ）に示すように、特定（自己）の話者Ａ－Ｒが自らの端末Ｍ－１のマイクを通じて遠隔地の他の話者Ｂ－Ｒ、Ｃ－Ｒ・・Ｎ－Ｒと端末Ｍ－２～Ｍ－ｎを通じて話し合う場合であって、他の話者Ｂ－Ｒ～Ｎ－Ｒの音声が自らの端末Ｍ－１のマイクを通じて入力される場合も同様に、音声データを異なる話者毎に発言を重複なく切り出すことができる。さらに、話者を特定しないで、異なる話者の発言として切り出すこともできる。音声入力部としての端末Ｍ－１～Ｍ－ｎには、ノートＰＣ、デスクトップＰＣ、スマートフォンが含まれる。

また、上記実施形態に係る発言切り分けシステム２では、図３の（Ａ）、（Ｂ）に示すように、同一空間内の話者Ａ～Ｎ毎に装着され関連付けされた個別の音声入力部、すなわち、マイクＭ１～Ｍｎを通じて自他の音声が入力されるか、または遠隔地の話者Ａ－Ｒ～Ｎ－Ｒ毎に関連付けされた端末Ｍ－１～Ｍ－Ｒのマイクを通じて自他の音声が入力されるようになっているが、これに限られるものではなく、図１０に示すように、個別の音声入力部（マイクまたは端末）Ｇ・Ｍ１～Ｇ・Ｍｎ毎に複数の話者（ａ１、ａ２、ａ３）、（ｂ１、ｂ２、ｂ３）・・（ｎ１、ｎ２、ｎ４）の発言が入力されるようにしてもよい。すなわち、複数の話者からなる話者グループＧ・Ａ、Ｇ・Ｂ、・・Ｇ・Ｎ毎に音声入力部Ｇ・Ｍ１～Ｇ・Ｍｎを対応させるようにしている。このように構成することにより、話者一人ひとりでなく話者グループとその話者グループ毎の発言の音声データを入手することができる。つまり、話者グループ毎にＧ・Ａ、Ｇ・Ｂ、・・Ｇ・Ｎ毎に発言を切り出す場合、自他の検知音声蓄積部５を同期させて類似度の高低を判別し、類似度が低いと異なる話者グループの発言とみなし、類似度が高いと同一の話者グループの発言とみなし、音声エネルギの相対的大小を判別して話者グループを特定し、検知音声蓄積部５から蓄積された音声データを出力し、話者グループとしての発言を切り出すようにしている。ただし、発言者グループ内の個別の話者は特定しないようになっている。

なお、上記実施形態では、短時間で一定間隔毎に区切られた音声フレームを、例えば、３０msec分の音声データとしているがこれに限られるものではなく、用途や会議場の状況マイクの性能等に応じて適宜変更してもよいことは言うまでもない。また、本実施形態では、音声長さ判別部８で予め設定された所定の長さを、１秒未満で、好ましくは０．５秒に設定しているがこれに限られるものではなく、条件に応じて設定してよいことはいうまでもない。

２ 発言切り分けシステム
４ 発言区間検知部
５ 検知音声蓄積部
６ 類似度判別部
７ 音声エネルギ判別部
Ａ～Ｎ 話者
Ｍ１～Ｍｎ マイク

Claims (15)

1. 複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、
   複数の話者の音声が混在して入力される話者毎の音声入力部を備え、
   これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して音声入力部から入力された音声データを蓄積し、各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは発言が異なる話者の音声データとみなし、類似度が高い音声データは発言が同一の話者の音声データとみなし、これら類似度が高く、発言した話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが最も大きいと判別された音声データを、発言した話者の音声入力部から入力された発言と特定することを特徴とする発言切り分けシステム。
2. 前記特定された音声入力部に基づいて、話者とその発言を特定することを特徴とする請求項１に記載の発言切り分けシステム。
3. 複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、
   複数の話者の音声が混在して入力される話者毎の音声入力部と、
   各音声入力部毎に設けられ、音声入力部から取得され混在する複数の音声データから音声データの発言開始から発言終了までの発言区間を検知する発言区間検知部と、
   発言区間検知部毎にそれぞれ設けられ、検知された発言区間の音声データを蓄積する検知音声蓄積部と、
   各発言区間検知部とその検知音声蓄積部とを同期させて参照し、各発言区間検知部の検知音声蓄積部に蓄積された音声データについて、類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは発言が異なる話者の音声データとみなし、類似度が高い音声データは複数の音声入力部から取得された、発言が同一の話者の音声データとみなす類似度判別部と、
   類似度判別部により判別された同一話者の音声データについて、音声データ毎に音声エネルギを算出して音声エネルギの大小を比較判別し、音声エネルギが最も高いと判別された音声データが取得された発言区間検知部を特定する音声エネルギ判別部とを有し、
   特定された発言区間検知部とその検知音声蓄積部に蓄積された音声データに基づいて、発言した話者とその発言を特定することを特徴とする発言切り分けシステム。
4. 音声入力部には、複数の話者の音声が話者毎のマイクを通じて入力されるか、または複数の話者の音声が端末のマイクを通じて入力されることを特徴とする請求項３に記載の発言切り分けシステム。
5. 音声入力部には、複数の話者の音声が、マイクを通じてリアルタイムで入力されるか、またはすでに取得されて入力され音声データとして記録された記録部を通じて入力されることを特徴とする請求項３または４に記載の発言切り分けシステム。
6. 発言区間検知部には、入力される音声データが一定間隔毎に区切られた音声フレームとして入力されるとともに、
   音声フレームを、未検知または検知中の何れかの状態として検知し、初期状態を未検知とし、検知状態が未検知で発言の開始を検知すると検知状態を検知中に変更する発言開始検知部と、
   検知状態が検知中の間、検知音声蓄積部へ音声データの蓄積を行い、発言の終了を検知すると検知音声蓄積部に蓄積された音声データを出力あるいは削除し、検知状態を未検知に変更する発言終了検知部とを有することを特徴とする請求項３ないし５のうちいずれか１に記載の発言切り分けシステム。
7. 音声入力部には、話者の音声とノイズが混在して入力され、
   発言区間検知部に入力される音声フレームについて、
   この音声フレームを、発言開始直後または発言終了直前のうち少なくともいずれか一方で、音声エネルギの大小を予め求められた音声エネルギの閾値に基づいて、人の音声か音声以外の雑音か否かを判別する発言判別部を有し、
   音声以外の雑音と判別された音声データに基づいて特定された発言区間検知部の検知音声蓄積部に蓄積され雑音と判別された音声データを削除することを特徴とする請求項６に記載の発言切り分けシステム。
8. 類似度判別部により判別された発言が同一の話者の音声データについて、予め求められた音声の時間の長さの閾値に基づいて音声の時間が所定の長さを有するか否かを判別する音声長さ判別部を有し、
   所定時間長さを有する場合、音声エネルギ判別部で音声エネルギの大小を比較判別し、所定時間長さを有していない場合、蓄積された音声データを検知音声蓄積部から削除することを特徴とする請求項３ないし７のうちいずれか１に記載の発言切り分けシステム。
9. 検知音声蓄積部に蓄積された音声データに対し、蓄積された音声データ間の時間のずれを求め、この求められた時間的ずれを用いて音声データの時間ずれを補正する時間ずれ補正部を有することを特徴とする請求項３ないし８のうちいずれか１に記載の発言切り分けシステム。
10. 発言区間検知部の検知音声蓄積部を通じて特定された話者とその音声データが出力されると、特定された話者とその音声データを、文字データ、文字データを翻訳した翻訳データまたは音声のうち少なくともいずれか１として表示または出力する表示出力部を有することを特徴とする請求項３ないし９のうちいずれか１に記載の発言切り分けシステム。
11. 音声入力部を端末に接続されるマイクにより構成し、マイクは、同一の場所に集まった話者、コールセンターの通話者または会話をインカムを通じて行う会話者の何れかに装着されることを特徴とする請求項４ないし１０のうちいずれか１に記載の発言切り分けシステム。
12. 複数の話者グループの音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分けシステムであって、
    複数の話者グループの音声が混在して入力される話者グループ毎の音声入力部と、
    各音声入力部毎に設けられ、音声入力部から取得され混在する複数の音声データから音声データの発言開始から発言終了までの発言区間を検知する発言区間検知部と、
    発言区間検知部毎にそれぞれ設けられ、検知された発言区間の音声データを蓄積する検知音声蓄積部と、
    各発言区間検知部とその検知音声蓄積部とを同期させて参照し、各発言区間検知部の検知音声蓄積部に蓄積された音声データについて、類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは発言が異なる話者グループの音声データとみなし、類似度が高い音声データは複数の音声入力部から取得された、発言が同一の話者グループの音声データとみなす類似度判別部と、
    類似度判別部により判別された同一話者グループの音声データについて、音声データ毎に音声エネルギを算出して音声エネルギの大小を比較判別し、音声エネルギが最も高いと判別された音声データが取得された発言区間検知部を特定する音声エネルギ判別部とを有し、
    特定された発言区間検知部とその検知音声蓄積部に蓄積された音声データに基づいて、発言した話者グループとその話者グループの発言を特定することを特徴とする発言切り分けシステム。
13. 複数の話者の音声が混在して取得されて入力される音声データに基づいて、発言を切り出す発言切り分け方法であって、
    複数の話者の音声が混在して入力される話者毎の音声入力部を備え、
    これら音声入力部毎に取得され混在する複数の音声データを、各音声データの開始から終了までの発言区間毎に検知して音声入力部から入力された音声データを蓄積する第１のステップと、
    各音声入力部から取得された話者毎の蓄積された音声データを同期させて参照し、取得した話者毎の音声データの類似度を算出して類似度の高低を比較判別し、類似度が低い音声データは発言が異なる話者の音声データとみなし、類似度が高い音声データは発言が同一の話者の音声データとみなす第２のステップと、
    これら類似度が高く、発言した話者が同一とみなされた音声データについて音声エネルギの大小を比較判別し、音声エネルギが最も大きいと判別された音声データを、発言した話者の音声入力部から入力された発言と特定する第３のステップとを有することを特徴とする発言切り分け方法。
14. 前記特定された音声入力部に基づいて、話者とその発言を特定することを特徴とする請求項１３に記載の発言切り分け方法。
15. 特定された話者とその音声データを、文字データ、文字データを翻訳した翻訳データまたは音声のうち少なくともいずれか１として表示または出力することを特徴とする請求項１３または１４に記載の発言切り分け方法。