JPH07287591A - オーディオデータのセグメンテーション方法 - Google Patents
オーディオデータのセグメンテーション方法Info
- Publication number
- JPH07287591A JPH07287591A JP7082899A JP8289995A JPH07287591A JP H07287591 A JPH07287591 A JP H07287591A JP 7082899 A JP7082899 A JP 7082899A JP 8289995 A JP8289995 A JP 8289995A JP H07287591 A JPH07287591 A JP H07287591A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- audio
- hmm
- audio data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000011218 segmentation Effects 0.000 title abstract description 36
- 238000012549 training Methods 0.000 description 39
- 230000007704 transition Effects 0.000 description 30
- 238000009826 distribution Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000003595 spectral effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 240000005589 Calophyllum inophyllum Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/16—Hidden Markov models [HMM]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephonic Communication Services (AREA)
Abstract
(57)【要約】
【目的】 オーディオデータストリーム内にインデック
スを作成する。 【構成】 オーディオストリームはオーディオデータソ
ース１２から与えられ、該データは、会話を行うスピー
カー、オーディオトラックを伴う記録ビデオ、または他
のオーディオソースによって与えられることが可能であ
る。オーディオデータはオーディオプロセッサ１４へ送
られ、オーディオプロセッサは汎用コンピュータのよう
な任意の公知デバイスであることが可能であり、本発明
に従って構成されることが可能である。オーディオプロ
セッサはオーディオデータインデックス１６を出力す
る。
スを作成する。 【構成】 オーディオストリームはオーディオデータソ
ース１２から与えられ、該データは、会話を行うスピー
カー、オーディオトラックを伴う記録ビデオ、または他
のオーディオソースによって与えられることが可能であ
る。オーディオデータはオーディオプロセッサ１４へ送
られ、オーディオプロセッサは汎用コンピュータのよう
な任意の公知デバイスであることが可能であり、本発明
に従って構成されることが可能である。オーディオプロ
セッサはオーディオデータインデックス１６を出力す
る。
Description
【０００１】
【産業上の利用分野】本発明は、記録またはリアルタイ
ムオーディオデータストリームに対する会話音声のスピ
ーカー（話し手）によるセグメンテーションに関する。
ムオーディオデータストリームに対する会話音声のスピ
ーカー（話し手）によるセグメンテーションに関する。
【０００２】より詳細には、本発明は、会話音声のセグ
メンテーションを自動的に行い、個々のスピーカーモデ
ルから成るスピーカーネットワークを使用してオーディ
オ記録データのインデックス化をリアルタイムまたは後
処理的に行う方法に関する。
メンテーションを自動的に行い、個々のスピーカーモデ
ルから成るスピーカーネットワークを使用してオーディ
オ記録データのインデックス化をリアルタイムまたは後
処理的に行う方法に関する。
【０００３】
【従来の技術】オーディオおよびビデオ記録は、コンシ
ューマグレード（消費者レベル）の記録装置の発展によ
って今や一般のものとなっている。後の再生のための過
去の記録としてビジネスミーティング、講義、もしくは
バースデーパーティーが記録されることは今や稀なこと
ではない。不幸にして、オーディオおよびビデオ媒体の
両者は、所望の記録部分にアクセスする際のアシストと
なる外部またはオーディオ情報をほとんど与えない。書
籍においては、巻頭の目次および巻末の索引によってイ
ンデックス化が与えられ、このインデックス化によって
読者は複数の著者の確認および複数の著者の参照を容易
に行うことが可能である。同様のインデックス化方法が
オーディオストリームにおいて有用であり、ユーザーは
特定のスピーカーの会話部分を確認することが可能とな
る。ほとんどのビデオ記録に関連する限られたデータ量
は、見る者が確実におよび容易に所望の関心部分にアク
セスするための充分な情報を与えない。このため見る者
は記録内容を順に調べて所望の情報を検索しなければな
らない。
ューマグレード（消費者レベル）の記録装置の発展によ
って今や一般のものとなっている。後の再生のための過
去の記録としてビジネスミーティング、講義、もしくは
バースデーパーティーが記録されることは今や稀なこと
ではない。不幸にして、オーディオおよびビデオ媒体の
両者は、所望の記録部分にアクセスする際のアシストと
なる外部またはオーディオ情報をほとんど与えない。書
籍においては、巻頭の目次および巻末の索引によってイ
ンデックス化が与えられ、このインデックス化によって
読者は複数の著者の確認および複数の著者の参照を容易
に行うことが可能である。同様のインデックス化方法が
オーディオストリームにおいて有用であり、ユーザーは
特定のスピーカーの会話部分を確認することが可能とな
る。ほとんどのビデオ記録に関連する限られたデータ量
は、見る者が確実におよび容易に所望の関心部分にアク
セスするための充分な情報を与えない。このため見る者
は記録内容を順に調べて所望の情報を検索しなければな
らない。
【０００４】例えばスピーカー（話し手）やトピック
（主題）を示すノートのような、記録中に取られたノー
トが検索の補助となることが可能である。このようなノ
ートは構造的アウトラインを与えるが、ビデオ媒体とノ
ート媒体との間には直接的な相関がないため、ノートの
内容を共にしたビデオ上の時刻の補完を強いられる。こ
のことは、非相関媒体におけるイベントノートは通常イ
ベントの継続時間を含まないという事実によって複雑化
する。加えて、そのようなノート化またはインデックス
化は非常に煩わしい。コンピュータシステムがイベント
期間中のノート取得に使用されることが可能であり、該
システムは同時に記録されるかまたは事前に記録され
る。キーボードを使用するテキストベースシステムがこ
の場合に使用されることが可能であるが、ほとんどの人
はタイプするよりもかなり速く話すため、内容を記述す
るコンピュータ生成テキストラベルをリアルタイムで作
成することは相当な努力を必要とする。
（主題）を示すノートのような、記録中に取られたノー
トが検索の補助となることが可能である。このようなノ
ートは構造的アウトラインを与えるが、ビデオ媒体とノ
ート媒体との間には直接的な相関がないため、ノートの
内容を共にしたビデオ上の時刻の補完を強いられる。こ
のことは、非相関媒体におけるイベントノートは通常イ
ベントの継続時間を含まないという事実によって複雑化
する。加えて、そのようなノート化またはインデックス
化は非常に煩わしい。コンピュータシステムがイベント
期間中のノート取得に使用されることが可能であり、該
システムは同時に記録されるかまたは事前に記録され
る。キーボードを使用するテキストベースシステムがこ
の場合に使用されることが可能であるが、ほとんどの人
はタイプするよりもかなり速く話すため、内容を記述す
るコンピュータ生成テキストラベルをリアルタイムで作
成することは相当な努力を必要とする。
【０００５】
【発明が解決しようとする課題】オーディオストリーム
において異なるスピーカーを示すスピーカーチェンジマ
ーカーは、異なるシーケンシャルデータへのランダムア
クセスを可能とする。リアルタイム設定においては、そ
のようなオーディオセグメンテーションは、記録が行わ
れている時にその記録の中へ有用なインデックスを作成
する際の補助となり得る。各セグメントは１個人による
発声を表す。同一のスピーカーによる発声は結合され、
また同様に参照されてインデックスが形成される。会話
におけるポーズまたは沈黙期間もまたオーディオインデ
ックス形成において重要である。
において異なるスピーカーを示すスピーカーチェンジマ
ーカーは、異なるシーケンシャルデータへのランダムア
クセスを可能とする。リアルタイム設定においては、そ
のようなオーディオセグメンテーションは、記録が行わ
れている時にその記録の中へ有用なインデックスを作成
する際の補助となり得る。各セグメントは１個人による
発声を表す。同一のスピーカーによる発声は結合され、
また同様に参照されてインデックスが形成される。会話
におけるポーズまたは沈黙期間もまたオーディオインデ
ックス形成において重要である。
【０００６】オーディオストリーム内にインデックスを
作成することは、リアルタイムであっても処理後であっ
ても、ユーザーが特定のオーディオデータセグメントを
認識することを可能にする。例えばこのことは、ユーザ
ーが記録を拾い読みして特定のスピーカーに対応するオ
ーディオセグメントを選択したり、次のスピーカーへ記
録を早送りすることを可能にする。加えて、スピーカー
の順序を知ることは、会話または会話の内容に関する内
容情報を与えることも可能である。
作成することは、リアルタイムであっても処理後であっ
ても、ユーザーが特定のオーディオデータセグメントを
認識することを可能にする。例えばこのことは、ユーザ
ーが記録を拾い読みして特定のスピーカーに対応するオ
ーディオセグメントを選択したり、次のスピーカーへ記
録を早送りすることを可能にする。加えて、スピーカー
の順序を知ることは、会話または会話の内容に関する内
容情報を与えることも可能である。
【０００７】
【課題を解決するための手段】本発明は、複数の個々の
スピーカーからの音声を含むオーディオデータをスピー
カーに従ってセグメンテーションする方法を与える。該
方法は、個々のスピーカーの各々に対する個々のＨＭＭ
を与えるステップと、個々のＨＭＭを並列に接続するこ
とによってスピーカーネットワークＨＭＭを形成するス
テップとを含む。スピーカーネットワークＨＭＭを介す
る最適パスが決定され、個々のスピーカーの各々に関連
するオーディオデータセグメントが識別される。セグメ
ンテーションされたデータが使用されてスピーカーに従
うオーディオデータ内にインデックスが形成されること
が可能である。
スピーカーからの音声を含むオーディオデータをスピー
カーに従ってセグメンテーションする方法を与える。該
方法は、個々のスピーカーの各々に対する個々のＨＭＭ
を与えるステップと、個々のＨＭＭを並列に接続するこ
とによってスピーカーネットワークＨＭＭを形成するス
テップとを含む。スピーカーネットワークＨＭＭを介す
る最適パスが決定され、個々のスピーカーの各々に関連
するオーディオデータセグメントが識別される。セグメ
ンテーションされたデータが使用されてスピーカーに従
うオーディオデータ内にインデックスが形成されること
が可能である。
【０００８】スピーカーネットワークの形成に際し、ネ
ットワーク内の任意の特定なスピーカーモデルから外部
へ離れることに対する離脱ペナルティが決定される。ス
ピーカーネットワークは、個々のスピーカーモデルに加
え、サイレンス（無音）およびガーベッジの両者を表す
モデルも有することが可能である。
ットワーク内の任意の特定なスピーカーモデルから外部
へ離れることに対する離脱ペナルティが決定される。ス
ピーカーネットワークは、個々のスピーカーモデルに加
え、サイレンス（無音）およびガーベッジの両者を表す
モデルも有することが可能である。
【０００９】以下の説明および図面により本発明の前記
および他の目的、特徴、ならびに利点が明らかとなる。
および他の目的、特徴、ならびに利点が明らかとなる。
【００１０】
【実施例】図１は一般化されたオーディオ処理システム
１０のブロック図を示し、該システムにおいて本発明が
実施されることが可能である。一般に、オーディオスト
リームはオーディオデータソース１２から与えられ、該
データは、会話を行うスピーカー、オーディオトラック
を伴う記録ビデオ、または他のオーディオソースによっ
て与えられることが可能である。オーディオデータはオ
ーディオプロセッサ１４へ送られ、オーディオプロセッ
サは汎用コンピュータのような任意の公知デバイスであ
ることが可能であり、本発明に従って構成されることが
可能である。オーディオプロセッサはオーディオデータ
インデックス１６を出力する。
１０のブロック図を示し、該システムにおいて本発明が
実施されることが可能である。一般に、オーディオスト
リームはオーディオデータソース１２から与えられ、該
データは、会話を行うスピーカー、オーディオトラック
を伴う記録ビデオ、または他のオーディオソースによっ
て与えられることが可能である。オーディオデータはオ
ーディオプロセッサ１４へ送られ、オーディオプロセッ
サは汎用コンピュータのような任意の公知デバイスであ
ることが可能であり、本発明に従って構成されることが
可能である。オーディオプロセッサはオーディオデータ
インデックス１６を出力する。
【００１１】図２はオーディオインデックスシステムの
一般化されたフロー図を示す。図２に示されるステップ
は以下により詳細に説明されるが、図２は本発明により
記述される方法の概観を与えるものである。
一般化されたフロー図を示す。図２に示されるステップ
は以下により詳細に説明されるが、図２は本発明により
記述される方法の概観を与えるものである。
【００１２】既知のスピーカー数に対するトレーニング
データを有するオーディオ波形２０はボックス２２のス
テップにおける入力である。ボックス２４のステップは
音声信号データをスペクトル特徴ベクトルへ変換する。
例えば、１２次のケプストラムが２０ｍｓごとに算出さ
れることが可能である。
データを有するオーディオ波形２０はボックス２２のス
テップにおける入力である。ボックス２４のステップは
音声信号データをスペクトル特徴ベクトルへ変換する。
例えば、１２次のケプストラムが２０ｍｓごとに算出さ
れることが可能である。
【００１３】代替として、未知のスピーカーからのオー
ディオストリームは、以下に説明される方法を使用し
て、推定されたスピーカークラスタにセグメンテーショ
ンされることが可能であり、個々のスピーカーモデルの
初期トレーニングデータが確定される。
ディオストリームは、以下に説明される方法を使用し
て、推定されたスピーカークラスタにセグメンテーショ
ンされることが可能であり、個々のスピーカーモデルの
初期トレーニングデータが確定される。
【００１４】ボックス２６のステップにおいて、ＨＭＭ
スピーカーモデルは初期化データに基づき各スピーカー
に対してトレーニングされる。複数の個々のスピーカー
モデルは、モデルを並列に接続することによってボック
ス２８のステップにおいて結合され、会話のＨＭＭスピ
ーカーモデルが形成される。
スピーカーモデルは初期化データに基づき各スピーカー
に対してトレーニングされる。複数の個々のスピーカー
モデルは、モデルを並列に接続することによってボック
ス２８のステップにおいて結合され、会話のＨＭＭスピ
ーカーモデルが形成される。
【００１５】ボックス３０のステップは、セグメンテー
ションが実行されるオーディオストリームを入力する。
オーディオストリームはボックス２２のステップで使用
されるトレーニングオーディオデータを含んでも含まな
くてもよい。スピーカーモデルの事前トレーニングに対
してスピーカーが使用可能である場合、入力されるオー
ディオストリームもまたリアルタイムに発生およびセグ
メンテーションされることが可能である。ボックス３２
のステップにおいて、入力されるオーディオから再び特
徴が抽出され、この特徴抽出はボックス２４のステップ
におけるものと同様である。
ションが実行されるオーディオストリームを入力する。
オーディオストリームはボックス２２のステップで使用
されるトレーニングオーディオデータを含んでも含まな
くてもよい。スピーカーモデルの事前トレーニングに対
してスピーカーが使用可能である場合、入力されるオー
ディオストリームもまたリアルタイムに発生およびセグ
メンテーションされることが可能である。ボックス３２
のステップにおいて、入力されるオーディオから再び特
徴が抽出され、この特徴抽出はボックス２４のステップ
におけるものと同様である。
【００１６】ボックス３４のステップはボックス２８の
ＨＭＭスピーカーネットワークを使用し、入力されるオ
ーディオストリームのセグメンテーションを行う。セグ
メンテーションはビタビ(Viterbi) デコーディングを使
用して行われ、スピーカーネットワークを介する最も確
からしい状態シーケンスが見出され、状態パスがスピー
カーを変更する場合にはマーキングが施される。
ＨＭＭスピーカーネットワークを使用し、入力されるオ
ーディオストリームのセグメンテーションを行う。セグ
メンテーションはビタビ(Viterbi) デコーディングを使
用して行われ、スピーカーネットワークを介する最も確
からしい状態シーケンスが見出され、状態パスがスピー
カーを変更する場合にはマーキングが施される。
【００１７】セグメンテーションとインデックス化の確
度は、ボックス２６のステップに戻ってスピーカーモデ
ルを再トレーニングすることによる後処理の適用で改善
されることが可能であり、この場合ボックス３４のステ
ップからのセグメンテーション情報が使用される。再ト
レーニングと再セグメンテーションの繰り返しは、ボッ
クス３４のステップでのセグメンテーションで大きな変
化が生じなくなるまで続けられることが可能である。結
果として生じる、オーディオセグメントおよびスピーカ
ーを示すインデックスはボックス３６のステップの出力
である。ボックス３２のステップにおける特徴抽出の結
果はまたセーブされることが可能であり、各再トレーニ
ングの繰り返しと共に再使用されてボックス３４のステ
ップでオーディオデータが再セグメンテーションされる
ことが可能である。
度は、ボックス２６のステップに戻ってスピーカーモデ
ルを再トレーニングすることによる後処理の適用で改善
されることが可能であり、この場合ボックス３４のステ
ップからのセグメンテーション情報が使用される。再ト
レーニングと再セグメンテーションの繰り返しは、ボッ
クス３４のステップでのセグメンテーションで大きな変
化が生じなくなるまで続けられることが可能である。結
果として生じる、オーディオセグメントおよびスピーカ
ーを示すインデックスはボックス３６のステップの出力
である。ボックス３２のステップにおける特徴抽出の結
果はまたセーブされることが可能であり、各再トレーニ
ングの繰り返しと共に再使用されてボックス３４のステ
ップでオーディオデータが再セグメンテーションされる
ことが可能である。
【００１８】隠れマルコフモデル（ＨＭＭ）によるモデ
ル化は音声認識で一般的に使用される統計的方法であ
り、ワード全体、もしくは単音のようなサブワードがモ
デル化される。未知の発声の認識は、その発声が最も確
からしく与えられるモデルもしくはモデルのシーケンス
を見出すことに基づいている。ＨＭＭはスピーカーの識
別においても使用されることが可能である。モデルはス
ピーカーの発音に対して作成され、その場合発音は特定
のワードについてのものであっても自然な音声について
のものであってもよい。スピーカーの識別は、未知の発
声が最も確からしく与えられるスピーカーモデルを見出
すことによって行われる。未知の発声が複数のスピーカ
ーからの音声を含む場合、スピーカーは最も確からしい
スピーカーモデルのシーケンスを見出すことによって識
別される。
ル化は音声認識で一般的に使用される統計的方法であ
り、ワード全体、もしくは単音のようなサブワードがモ
デル化される。未知の発声の認識は、その発声が最も確
からしく与えられるモデルもしくはモデルのシーケンス
を見出すことに基づいている。ＨＭＭはスピーカーの識
別においても使用されることが可能である。モデルはス
ピーカーの発音に対して作成され、その場合発音は特定
のワードについてのものであっても自然な音声について
のものであってもよい。スピーカーの識別は、未知の発
声が最も確からしく与えられるスピーカーモデルを見出
すことによって行われる。未知の発声が複数のスピーカ
ーからの音声を含む場合、スピーカーは最も確からしい
スピーカーモデルのシーケンスを見出すことによって識
別される。
【００１９】理論的に、ＨＭＭは状態のシーケンスから
成り、該状態シーケンスは定められた時間間隔で状態間
に発生する遷移を伴う。ある状態への遷移が行われるた
びに、その状態の出力特性が発生される。音声認識およ
びスピーカー識別の両者において、これらの出力はその
時間間隔に対する音声のスペクトル推定を表す。例えば
ケプストラムがその例である。ケプストラムはスペクト
ルエンベロープ（包絡線）の推定であり、音声認識およ
びスピーカー識別で一般に使用される。ケプストラム
は、スペクトルの対数のフーリエ逆変換であり、スペク
トルエンベロープと周期的音声ソースとを分離するよう
作用する。
成り、該状態シーケンスは定められた時間間隔で状態間
に発生する遷移を伴う。ある状態への遷移が行われるた
びに、その状態の出力特性が発生される。音声認識およ
びスピーカー識別の両者において、これらの出力はその
時間間隔に対する音声のスペクトル推定を表す。例えば
ケプストラムがその例である。ケプストラムはスペクト
ルエンベロープ（包絡線）の推定であり、音声認識およ
びスピーカー識別で一般に使用される。ケプストラム
は、スペクトルの対数のフーリエ逆変換であり、スペク
トルエンベロープと周期的音声ソースとを分離するよう
作用する。
【００２０】状態間の遷移は出力のシーケンスを特定す
る。状態間遷移および各状態出力に確率を関連付けるこ
とによって、ＨＭＭが使用されて音声を統計的にモデル
化することが可能となる。システムの出力のみが観測さ
れるため「隠れ（hidden) 」という言葉が用いられる。
即ち、基礎となる状態シーケンスは推定され得るのみで
ある。
る。状態間遷移および各状態出力に確率を関連付けるこ
とによって、ＨＭＭが使用されて音声を統計的にモデル
化することが可能となる。システムの出力のみが観測さ
れるため「隠れ（hidden) 」という言葉が用いられる。
即ち、基礎となる状態シーケンスは推定され得るのみで
ある。
【００２１】より形式的には、ＨＭＭ Ｌ は、Ｓ0...
ＳN-1 のＮ個の状態、状態ｉから状態ｊへの遷移確率ａ
ij,i=0...N-1,j=0...N-1、ならびに状態ｉで出力ｘを生
じる確率を与える確率分布ｂi (x) ,i=0...N-1、から成
る。例えば、ｂi (x) は特徴ベクトル xに対する多変数
ガウス分布であることが可能である。加えて、遷移可能
であるが出力を発生しないヌル状態が存在する。図３は
５状態のＨＭＭを示す。状態Ｓ0 から状態Ｓ1 、Ｓ2 ま
たはＳ3 への遷移確率は画一的であり、即ち、ａ0j=1/
3,j=1,2,3である。状態Ｓi ,i=1,2,3については、自己
遷移および状態Ｓ4 への遷移が存在し、それらは等確率
である。従ってａii=1/2およびａi4=1/2,i=1,2,3であ
る。状態Ｓ4 については遷移は常にＳ0 へ行われ、従っ
てａ40=1である。状態Ｓ1 、Ｓ2 、およびＳ3 に関連す
る出力分布は、それぞれｂ1 (x) 、ｂ2 (x) 、およびｂ
3 (x) である。状態Ｓ0 およびＳ4 はヌル状態であり、
従って関連する出力を有さない。状態Ｓ0 とＳ4 を結合
することによって等価なＨＭＭが形成されることがかの
うである。しかし、ＨＭＭを結合してより大きなＨＭＭ
ネットワークを形成するタスクを簡素化するために、こ
のことは行われない。これについては以下に説明が行わ
れる。ＨＭＭに関するより深い検討は、Rabiner による
「A Tutorial on Hidden Markov Models and Selected
Applications in Speech Recognition」(Proc.IEEE,vo
l.77,No.2,February,1989,pp.257-285)に見出される。
ＳN-1 のＮ個の状態、状態ｉから状態ｊへの遷移確率ａ
ij,i=0...N-1,j=0...N-1、ならびに状態ｉで出力ｘを生
じる確率を与える確率分布ｂi (x) ,i=0...N-1、から成
る。例えば、ｂi (x) は特徴ベクトル xに対する多変数
ガウス分布であることが可能である。加えて、遷移可能
であるが出力を発生しないヌル状態が存在する。図３は
５状態のＨＭＭを示す。状態Ｓ0 から状態Ｓ1 、Ｓ2 ま
たはＳ3 への遷移確率は画一的であり、即ち、ａ0j=1/
3,j=1,2,3である。状態Ｓi ,i=1,2,3については、自己
遷移および状態Ｓ4 への遷移が存在し、それらは等確率
である。従ってａii=1/2およびａi4=1/2,i=1,2,3であ
る。状態Ｓ4 については遷移は常にＳ0 へ行われ、従っ
てａ40=1である。状態Ｓ1 、Ｓ2 、およびＳ3 に関連す
る出力分布は、それぞれｂ1 (x) 、ｂ2 (x) 、およびｂ
3 (x) である。状態Ｓ0 およびＳ4 はヌル状態であり、
従って関連する出力を有さない。状態Ｓ0 とＳ4 を結合
することによって等価なＨＭＭが形成されることがかの
うである。しかし、ＨＭＭを結合してより大きなＨＭＭ
ネットワークを形成するタスクを簡素化するために、こ
のことは行われない。これについては以下に説明が行わ
れる。ＨＭＭに関するより深い検討は、Rabiner による
「A Tutorial on Hidden Markov Models and Selected
Applications in Speech Recognition」(Proc.IEEE,vo
l.77,No.2,February,1989,pp.257-285)に見出される。
【００２２】対象物のシーケンスをモデル化するネット
ワークＨＭＭは、以下のように個々のＨＭＭを並列に結
合することにより作成される。認識されるＬ個の対象物
の各々に対するＨＭＭをＬi ,i=1,...,Mとする。先に述
べたように、対象物は単語、単音、またはスピーカーの
いづれであってもよい。ネットワークＨＭＭは、許容さ
れる全ての対象物シーケンスに対して対象物ＨＭＭ間の
遷移を付加することにより作成される。図４において、
ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 によって３つの対象物
がモデル化されている。これら対象物は、遷移により示
されるように任意の順序で発生可能である。状態Ｓ0 は
ヌル状態であり、従って出力を発生しない。Ｓ0 から
は、対象物ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 への遷移は
等確率となる。全ての対象物ＨＭＭからの遷移は状態Ｓ
R に向かい、次に状態Ｓ0 への遷移となる。
ワークＨＭＭは、以下のように個々のＨＭＭを並列に結
合することにより作成される。認識されるＬ個の対象物
の各々に対するＨＭＭをＬi ,i=1,...,Mとする。先に述
べたように、対象物は単語、単音、またはスピーカーの
いづれであってもよい。ネットワークＨＭＭは、許容さ
れる全ての対象物シーケンスに対して対象物ＨＭＭ間の
遷移を付加することにより作成される。図４において、
ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 によって３つの対象物
がモデル化されている。これら対象物は、遷移により示
されるように任意の順序で発生可能である。状態Ｓ0 は
ヌル状態であり、従って出力を発生しない。Ｓ0 から
は、対象物ＨＭＭ Ｌ1 、Ｌ2 、およびＬ3 への遷移は
等確率となる。全ての対象物ＨＭＭからの遷移は状態Ｓ
R に向かい、次に状態Ｓ0 への遷移となる。
【００２３】Ｔ個の出力Ｘ＝ｘ1...ｘT のシーケンスが
与えられる場合、どの対象物ＨＭＭシーケンスが最も確
からしく出力シーケンスＸを発生したかを決定すること
により認識が実行される。これにはビタビアルゴリズム
が使用され、最も確からしく出力Ｘを発生したネットワ
ークを介する状態シーケンスが見出される。シーケンス
内の各状態は、認識される対象物の内の１つのＨＭＭに
対して特定されるため、最も確からしい状態シーケンス
は認識対象物のシーケンスを特定する。図５はビタビア
ルゴリズムの結果を概略的に示す。ｘ軸は時間を示し、
ｙ軸はネットワークＨＭＭ内の現行状態を示す。ＨＭＭ
Ｌ1 、Ｌ2 、およびＬ3 に対応する状態はｙ軸上の領
域によって示される。与えられた出力を結果としてもた
らし得る状態シーケンスが多数存在可能であるが、ビタ
ビアルゴリズムは最も確からしい状態シーケンスを見出
す。図５はビタビパスを示す。時刻ｔ0 において最も確
からしい対象物はＬ1 である。時刻ｔ1 において対象物
はＬ2 であり、ｔ2 においてはＬ3 である。時刻ｔ3 に
おいて最も確からしい対象物はＬ1 となる。
与えられる場合、どの対象物ＨＭＭシーケンスが最も確
からしく出力シーケンスＸを発生したかを決定すること
により認識が実行される。これにはビタビアルゴリズム
が使用され、最も確からしく出力Ｘを発生したネットワ
ークを介する状態シーケンスが見出される。シーケンス
内の各状態は、認識される対象物の内の１つのＨＭＭに
対して特定されるため、最も確からしい状態シーケンス
は認識対象物のシーケンスを特定する。図５はビタビア
ルゴリズムの結果を概略的に示す。ｘ軸は時間を示し、
ｙ軸はネットワークＨＭＭ内の現行状態を示す。ＨＭＭ
Ｌ1 、Ｌ2 、およびＬ3 に対応する状態はｙ軸上の領
域によって示される。与えられた出力を結果としてもた
らし得る状態シーケンスが多数存在可能であるが、ビタ
ビアルゴリズムは最も確からしい状態シーケンスを見出
す。図５はビタビパスを示す。時刻ｔ0 において最も確
からしい対象物はＬ1 である。時刻ｔ1 において対象物
はＬ2 であり、ｔ2 においてはＬ3 である。時刻ｔ3 に
おいて最も確からしい対象物はＬ1 となる。
【００２４】ＨＭＭに対するパラメータは、次に、遷移
確率ａijおよび出力確率ｂi (x) である。これらパラメ
ータは、ＨＭＭによってモデル化された対象物によって
既に発生されたことがわかっている出力Ｘを用いてＨＭ
Ｍをトレーニングすることにより学習されることが可能
である。Baum-Welchプロシジャーとして知られているア
ルゴリズムが一般に使用される。このアルゴリズムは、
トレーニングデータＸの尤度を最大にするパラメータ値
を繰り返し処理により見出すアルゴリズムである。該ア
ルゴリズムは、パラメータの初期推定から開始する。続
いて以下のステップが実行される。（１）トレーニング
データに基づき、状態間遷移確率および状態からの出力
確率を算出する。（２）これらの確率を使用し、遷移確
率ａijおよび出力確率ｂi (x) の推定値を算出する。ス
テップ（１）および（２）は収束が得られるまで繰り返
される。
確率ａijおよび出力確率ｂi (x) である。これらパラメ
ータは、ＨＭＭによってモデル化された対象物によって
既に発生されたことがわかっている出力Ｘを用いてＨＭ
Ｍをトレーニングすることにより学習されることが可能
である。Baum-Welchプロシジャーとして知られているア
ルゴリズムが一般に使用される。このアルゴリズムは、
トレーニングデータＸの尤度を最大にするパラメータ値
を繰り返し処理により見出すアルゴリズムである。該ア
ルゴリズムは、パラメータの初期推定から開始する。続
いて以下のステップが実行される。（１）トレーニング
データに基づき、状態間遷移確率および状態からの出力
確率を算出する。（２）これらの確率を使用し、遷移確
率ａijおよび出力確率ｂi (x) の推定値を算出する。ス
テップ（１）および（２）は収束が得られるまで繰り返
される。
【００２５】前述のように、隠れマルコフモデルが使用
されてスピーカー識別を目的として個々のスピーカーが
モデル化されることが可能である。図６に示されるよう
に、（特定の発声に対向する）個々の発声スタイルが３
５状態ＨＭＭ６０を使用してモデル化されることが可能
である。状態Ｓ0 はヌル状態であり、出力を発生する状
態Ｓ1,...,Ｓ32およびＳSIL への遷移を伴う。これらの
遷移確率はｐ1,...,ｐ32およびｐSIL により与えられ
る。これら出力発生状態の各々は、確率ｑi を伴う自己
遷移、ならびに確率１−ｑi を伴う最終ヌル状態Ｓ34へ
の遷移を有している。ヌル状態Ｓ34は確率１で初期ヌル
状態Ｓ0 へ遷移する。各非ヌル状態はガウシアン出力分
布を有しており、平均ベクトルおよび対角共分散マトリ
ックスにより特性付けられる。
されてスピーカー識別を目的として個々のスピーカーが
モデル化されることが可能である。図６に示されるよう
に、（特定の発声に対向する）個々の発声スタイルが３
５状態ＨＭＭ６０を使用してモデル化されることが可能
である。状態Ｓ0 はヌル状態であり、出力を発生する状
態Ｓ1,...,Ｓ32およびＳSIL への遷移を伴う。これらの
遷移確率はｐ1,...,ｐ32およびｐSIL により与えられ
る。これら出力発生状態の各々は、確率ｑi を伴う自己
遷移、ならびに確率１−ｑi を伴う最終ヌル状態Ｓ34へ
の遷移を有している。ヌル状態Ｓ34は確率１で初期ヌル
状態Ｓ0 へ遷移する。各非ヌル状態はガウシアン出力分
布を有しており、平均ベクトルおよび対角共分散マトリ
ックスにより特性付けられる。
【００２６】図７はサイレンス（無音）サブネットワー
クを示す。該サブネットワークは直列に接続された３状
態から成る。各状態は、通常もしくは結合されたガウシ
アン出力分布を有し、該分布はラベルＳＩＬで示されて
いる。この出力分布はまた、スピーカーモデル６０のサ
イレンス状態６２における出力分布と同一であり、該分
布は状態ラベルＳＩＬで示されている。サイレンスサブ
ネットワークは長時間間隔の無音状態をモデル化する
が、会話の発声におけるポーズや短時間間隔の無音状態
に対しては適切でない。これらポーズや短時間間隔の無
音状態は、個々のスピーカーモデルにおけるサイレンス
状態６２によってモデル化される。スピーカーＨＭＭの
サイレンス状態における出力分布は全て結合されてサイ
レンスサブネットワークにおける出力分布となる。
クを示す。該サブネットワークは直列に接続された３状
態から成る。各状態は、通常もしくは結合されたガウシ
アン出力分布を有し、該分布はラベルＳＩＬで示されて
いる。この出力分布はまた、スピーカーモデル６０のサ
イレンス状態６２における出力分布と同一であり、該分
布は状態ラベルＳＩＬで示されている。サイレンスサブ
ネットワークは長時間間隔の無音状態をモデル化する
が、会話の発声におけるポーズや短時間間隔の無音状態
に対しては適切でない。これらポーズや短時間間隔の無
音状態は、個々のスピーカーモデルにおけるサイレンス
状態６２によってモデル化される。スピーカーＨＭＭの
サイレンス状態における出力分布は全て結合されてサイ
レンスサブネットワークにおける出力分布となる。
【００２７】スピーカーＨＭＭの各々は、与えられたス
ピーカーの発声スタイルに対してトレーニングされなけ
ればならない。このトレーニングは先に述べたBaum-Wel
chアルゴリズムを使用して行われ、遷移確率ａij、およ
びガウシアン出力確率ｂi (x) に対する平均および対角
共分散が推定される。ＨＭＭパラメータの初期推定値は
次のように得られる。全ての遷移確率が画一的に設定さ
れ、この結果、与えられた状態からの全ての遷移は等確
率となる。ガウシアン出力分布を初期化するために、ス
ピーカーに対するトレーニングデータから全体平均およ
び対角共分散マトリックスが算出される。全ての状態に
対するガウシアン出力分布についての共分散マトリック
スが全体的共分散マトリックスに設定される。全体平均
に小さな定数を加えることによって平均が設定され、そ
の場合該定数は異なる各状態に対するランダム要素に対
して加えられる。Baum-Welch繰り返し処理がスピーカー
のトレーニングデータを用いて次に実行される。
ピーカーの発声スタイルに対してトレーニングされなけ
ればならない。このトレーニングは先に述べたBaum-Wel
chアルゴリズムを使用して行われ、遷移確率ａij、およ
びガウシアン出力確率ｂi (x) に対する平均および対角
共分散が推定される。ＨＭＭパラメータの初期推定値は
次のように得られる。全ての遷移確率が画一的に設定さ
れ、この結果、与えられた状態からの全ての遷移は等確
率となる。ガウシアン出力分布を初期化するために、ス
ピーカーに対するトレーニングデータから全体平均およ
び対角共分散マトリックスが算出される。全ての状態に
対するガウシアン出力分布についての共分散マトリック
スが全体的共分散マトリックスに設定される。全体平均
に小さな定数を加えることによって平均が設定され、そ
の場合該定数は異なる各状態に対するランダム要素に対
して加えられる。Baum-Welch繰り返し処理がスピーカー
のトレーニングデータを用いて次に実行される。
【００２８】認識されるスピーカーが事前にわかってい
る場合、Baum-Welchアルゴリズムに対するトレーニング
データは、３０秒から１分の各スピーカーに対する音声
データを使用して得られる。音声はスピーカーの通常の
発声スタイルを表さなければならないが、この場合使用
される実際の単語は重要でない。
る場合、Baum-Welchアルゴリズムに対するトレーニング
データは、３０秒から１分の各スピーカーに対する音声
データを使用して得られる。音声はスピーカーの通常の
発声スタイルを表さなければならないが、この場合使用
される実際の単語は重要でない。
【００２９】スピーカーおよびサイレンスサブネットワ
ークに加えて、ガーベッジ（garbage)サブネットワーク
が頻繁に使用され、スピーカーモデルまたは存在可能な
非音声音の内の１つによって特定されない任意のスピー
カーがモデル化される。ガーベッジネットワークの形態
は、図６に示されるスピーカーネットワークのそれと同
じである。しかし、アプリケーションに依存してガーベ
ッジネットワークは異なるデータを使用してトレーニン
グされる。例えば、ガーベッジサブネットワークが使用
されて非音声音がモデル化される場合、それはスピーカ
ーモデルとしてトレーニングされなければならないが、
この場合非音声データが使用される。システムに対して
未知のスピーカーをモデル化する場合、トレーニングデ
ータを得る１つの方法は、既知の各スピーカーからの音
声の部分を使用することである。
ークに加えて、ガーベッジ（garbage)サブネットワーク
が頻繁に使用され、スピーカーモデルまたは存在可能な
非音声音の内の１つによって特定されない任意のスピー
カーがモデル化される。ガーベッジネットワークの形態
は、図６に示されるスピーカーネットワークのそれと同
じである。しかし、アプリケーションに依存してガーベ
ッジネットワークは異なるデータを使用してトレーニン
グされる。例えば、ガーベッジサブネットワークが使用
されて非音声音がモデル化される場合、それはスピーカ
ーモデルとしてトレーニングされなければならないが、
この場合非音声データが使用される。システムに対して
未知のスピーカーをモデル化する場合、トレーニングデ
ータを得る１つの方法は、既知の各スピーカーからの音
声の部分を使用することである。
【００３０】ガーベッジモデルをトレーニングする際に
全てのスピーカーからの全てのデータが必ずしも使用さ
れないことは重要である。全ての有効なデータを使用す
ることは、各スピーカーモデルに対してよりもガーベッ
ジモデルに対してより多くのトレーニングデータを与
え、全てのスピーカーに対してより確実なスピーカーモ
デルを作成する効果を有する。従って、結果として得ら
れるＨＭＭネットワークはほとんどの音声をガーベッジ
として分類する。
全てのスピーカーからの全てのデータが必ずしも使用さ
れないことは重要である。全ての有効なデータを使用す
ることは、各スピーカーモデルに対してよりもガーベッ
ジモデルに対してより多くのトレーニングデータを与
え、全てのスピーカーに対してより確実なスピーカーモ
デルを作成する効果を有する。従って、結果として得ら
れるＨＭＭネットワークはほとんどの音声をガーベッジ
として分類する。
【００３１】１実施例において、入力オーディオトレー
ニングデータは８ＫＨｚでサンプルされ、１０ｍｓごと
に特徴ベクトルが算出される。例えば、各フレームに対
する特徴ベクトルは、２５ｍｓウィンドウ下のサンプル
に関する２０次の線型予測符号化（ＬＰＣ）を行うこと
によって算出されることが可能であり、従ってＬＰＣス
ペクトルから２０個のケプストラム定数が算出されるこ
とが可能である。
ニングデータは８ＫＨｚでサンプルされ、１０ｍｓごと
に特徴ベクトルが算出される。例えば、各フレームに対
する特徴ベクトルは、２５ｍｓウィンドウ下のサンプル
に関する２０次の線型予測符号化（ＬＰＣ）を行うこと
によって算出されることが可能であり、従ってＬＰＣス
ペクトルから２０個のケプストラム定数が算出されるこ
とが可能である。
【００３２】いくつかの場合においては、認識されるス
ピーカーは事前にわかっていない。しかし、スピーカー
モデルに対する初期推定を得ることがそのような場合に
も必要である。この初期推定は、階層的な集塊性のクラ
スタリングを使用して行われ、異なるスピーカーとして
認識されるデータのラフな区分が作成される。
ピーカーは事前にわかっていない。しかし、スピーカー
モデルに対する初期推定を得ることがそのような場合に
も必要である。この初期推定は、階層的な集塊性のクラ
スタリングを使用して行われ、異なるスピーカーとして
認識されるデータのラフな区分が作成される。
【００３３】スピーカーが未知の場合、スピーカーに従
うデータの区分を与えることによってスピーカーサブネ
ットワークの初期推定を得るために階層的な集塊性のク
ラスタリングが使用されることが可能である。このデー
タは次にスピーカーＨＭＭのBaum-Welchトレーニングに
対するトレーニングデータとして使用されることが可能
である。
うデータの区分を与えることによってスピーカーサブネ
ットワークの初期推定を得るために階層的な集塊性のク
ラスタリングが使用されることが可能である。このデー
タは次にスピーカーＨＭＭのBaum-Welchトレーニングに
対するトレーニングデータとして使用されることが可能
である。
【００３４】セグメンテーションされていないデータ
は、最初に等しい長さのセグメントに分割され、各セグ
メントは数秒の音声から成る。これらのセグメントは階
層的クラスタリングに対する初期クラスタ集合として使
用される。該アルゴリズムは、最初に全てのクラスタペ
アについてのクラスタ間距離を算出し、次に最も近い２
つのクラスタを併合することによって進行する。このプ
ロセスは所望のスピーカークラスタ数が得られるまで繰
り返される。このプロセスが図８に概略的に示されてい
る。スピーカー数が未知の場合、このアルゴリズムが使
用されてスピーカー数が推定されることが可能である。
その場合、最近接クラスタの併合は、最近接クラスタ間
距離が定められたスレショルドを越えるまで継続する。
スレショルドを越えるとクラスタリングは中止され、そ
の時のクラスタ数がスピーカー数の推定値として使用さ
れる。
は、最初に等しい長さのセグメントに分割され、各セグ
メントは数秒の音声から成る。これらのセグメントは階
層的クラスタリングに対する初期クラスタ集合として使
用される。該アルゴリズムは、最初に全てのクラスタペ
アについてのクラスタ間距離を算出し、次に最も近い２
つのクラスタを併合することによって進行する。このプ
ロセスは所望のスピーカークラスタ数が得られるまで繰
り返される。このプロセスが図８に概略的に示されてい
る。スピーカー数が未知の場合、このアルゴリズムが使
用されてスピーカー数が推定されることが可能である。
その場合、最近接クラスタの併合は、最近接クラスタ間
距離が定められたスレショルドを越えるまで継続する。
スレショルドを越えるとクラスタリングは中止され、そ
の時のクラスタ数がスピーカー数の推定値として使用さ
れる。
【００３５】図８は、スピーカーでラベル付けされてい
るインターバル集合上の階層的クラスタリング１００を
概略的に示す。オリジナルインターバル１０２は、Ｃ、
Ｌ、およびＴで３つのスピーカーに対してラベル付けさ
れたツリーのリーフによって示される。そのような全て
のインターバルについてのインターバル間距離が算出さ
れ、１０４に示されるように最も近接する２つのインタ
ーバルが併合される。
るインターバル集合上の階層的クラスタリング１００を
概略的に示す。オリジナルインターバル１０２は、Ｃ、
Ｌ、およびＴで３つのスピーカーに対してラベル付けさ
れたツリーのリーフによって示される。そのような全て
のインターバルについてのインターバル間距離が算出さ
れ、１０４に示されるように最も近接する２つのインタ
ーバルが併合される。
【００３６】この最近接クラスタ併合プロセスは、所望
のクラスタ数が形成されるまで繰り返される。３つのク
ラスタに対し、それらクラスタに対応する３つの分岐が
示されている。第１のクラスタ１０６はほとんどスピー
カーＣからのインターバルを含み、第２のクラスタ１０
８はほとんどスピーカーＬからのインターバルを含み、
第３のクラスタ１１０はほとんどスピーカーＴからのイ
ンターバルを含む。
のクラスタ数が形成されるまで繰り返される。３つのク
ラスタに対し、それらクラスタに対応する３つの分岐が
示されている。第１のクラスタ１０６はほとんどスピー
カーＣからのインターバルを含み、第２のクラスタ１０
８はほとんどスピーカーＬからのインターバルを含み、
第３のクラスタ１１０はほとんどスピーカーＴからのイ
ンターバルを含む。
【００３７】スピーカー数が未知の場合、距離に対する
スレショルドが設定され、スレショルドが越えられた場
合にクラスタの併合が中止される。このことは線１１２
により概略的に示されており、該線は４つのクラスタを
生成する。（クラスタ１は２つに分割されている。）ク
ラスタＸが単一セグメントＸ＝ｘかまたはセグメント集
合Ｘ＝ｘ1,ｘ2,...から成ると仮定する。クラスタＸお
よびＹ間の距離はｄ（Ｘ，Ｙ）により表される。前述の
システムにおいて、セグメント間距離はガウシアン分布
の仮定に基づき尤度比によって導出された。ｘ＝
ｓ1,...,ｓr はある１つのセグメント内のデータを表
し、ｙ＝ｓr+1,...,ｓn はその他のセグメント内のデー
タを表し、ｚ＝ｓ1,...,ｓn は合成セグメント内のデー
タを表すものとする。Ｌ（ｘ，θx ）はｘシーケンスの
尤度とし、ここでθx はガウシアン分布のパラメータに
対する推定値である。同様にＬ（ｙ，θy ）はｙシーケ
ンスの尤度とし、Ｌ（ｚ，θz ）は合成シーケンスｚの
尤度とする。λは尤度比を表すとすると、次式のように
表される。
スレショルドが設定され、スレショルドが越えられた場
合にクラスタの併合が中止される。このことは線１１２
により概略的に示されており、該線は４つのクラスタを
生成する。（クラスタ１は２つに分割されている。）ク
ラスタＸが単一セグメントＸ＝ｘかまたはセグメント集
合Ｘ＝ｘ1,ｘ2,...から成ると仮定する。クラスタＸお
よびＹ間の距離はｄ（Ｘ，Ｙ）により表される。前述の
システムにおいて、セグメント間距離はガウシアン分布
の仮定に基づき尤度比によって導出された。ｘ＝
ｓ1,...,ｓr はある１つのセグメント内のデータを表
し、ｙ＝ｓr+1,...,ｓn はその他のセグメント内のデー
タを表し、ｚ＝ｓ1,...,ｓn は合成セグメント内のデー
タを表すものとする。Ｌ（ｘ，θx ）はｘシーケンスの
尤度とし、ここでθx はガウシアン分布のパラメータに
対する推定値である。同様にＬ（ｙ，θy ）はｙシーケ
ンスの尤度とし、Ｌ（ｚ，θz ）は合成シーケンスｚの
尤度とする。λは尤度比を表すとすると、次式のように
表される。
【００３８】
【数１】
【００３９】クラスタリングの際に使用される距離計量
は−ｌｏｇ（λ）である。音声データは単一のガウシア
ン分布では充分にモデル化されないため、尤度比はガウ
シアン分布の混成結合に拡張される。セグメンテーショ
ンされていないデータが最初に使用され、Ｍ個のガウシ
アン分布の混成に対する平均および共分散マトリックス
が推定される。次にこれらは残りの解析により確定され
る。Ｎi ( ｓ）＝Ｎ（ｓ：Ｍi , σi ）はｉ番目の混成
要素に関連するガウシアン分布とし、ｇi （ｘ）はデー
タシーケンスｘを使用して推定されたｉ番目の混成要素
に対する重みとする。ｇi （ｘ）はＮi ( ｓ）が最大と
なるｘ内のサンプルの割合である。従ってｘシーケンス
の尤度は次式のように表される。
は−ｌｏｇ（λ）である。音声データは単一のガウシア
ン分布では充分にモデル化されないため、尤度比はガウ
シアン分布の混成結合に拡張される。セグメンテーショ
ンされていないデータが最初に使用され、Ｍ個のガウシ
アン分布の混成に対する平均および共分散マトリックス
が推定される。次にこれらは残りの解析により確定され
る。Ｎi ( ｓ）＝Ｎ（ｓ：Ｍi , σi ）はｉ番目の混成
要素に関連するガウシアン分布とし、ｇi （ｘ）はデー
タシーケンスｘを使用して推定されたｉ番目の混成要素
に対する重みとする。ｇi （ｘ）はＮi ( ｓ）が最大と
なるｘ内のサンプルの割合である。従ってｘシーケンス
の尤度は次式のように表される。
【００４０】
【数２】
【００４１】ここでθx ＝（ｇ1 （ｘ）,..., ｇ
M （ｘ））である。尤度Ｌ（ｙ，θy ）も同様に算出さ
れる。合成シーケンスに対する尤度Ｌ（ｚ，θz ）の算
出において、混成要素に対する重みｇi （ｚ）として次
式を得る。
M （ｘ））である。尤度Ｌ（ｙ，θy ）も同様に算出さ
れる。合成シーケンスに対する尤度Ｌ（ｚ，θz ）の算
出において、混成要素に対する重みｇi （ｚ）として次
式を得る。
【００４２】
【数３】
【００４３】クラスタリングに対する距離計量、ｄL ＝
−ｌｏｇ（λL ）は従って式（１）を使用して算出され
ることが可能である。
−ｌｏｇ（λL ）は従って式（１）を使用して算出され
ることが可能である。
【００４４】本発明のクラスタリングプロシジャーは、
クラスタを含むインターバルにおけるインターバル間距
離の最大、最小、もしくは平均を使用するよりもむしろ
式（１）を使用して集塊性のクラスタ間距離を再計算す
る点において、通常の階層的クラスタリングと異なって
いる。従って式（２）および（３）により与えられる尤
度の計算効率が重要となる。これはクラスタリングレベ
ルの各々において距離が再計算されるためである。
クラスタを含むインターバルにおけるインターバル間距
離の最大、最小、もしくは平均を使用するよりもむしろ
式（１）を使用して集塊性のクラスタ間距離を再計算す
る点において、通常の階層的クラスタリングと異なって
いる。従って式（２）および（３）により与えられる尤
度の計算効率が重要となる。これはクラスタリングレベ
ルの各々において距離が再計算されるためである。
【００４５】加えて、スピーカーチェンジの事前確率は
Ｍ個のスピーカーを伴うマルコフデュレーションモデル
を使用して算出されることが可能である。Ｓi はセグメ
ントｉの期間中のスピーカーを表し、Ｍはスピーカー数
を表すとする。Ｓi は、各スピーカーａに対してＰ
r 〔Ｓi+1 ＝ａ｜Ｓi ＝ａ〕＝ｐ、および各スピーカー
ａおよびｂ（ａに等しくない）に対してＰr 〔Ｓi+1 ＝
ｂ｜Ｓi ＝ａ〕＝（１−ｐ）／（Ｍ−１）を伴うマルコ
フ連鎖であると仮定する。セグメントｉに対するスピー
カーがセグメントｉ＋ｎに対しても発声する確率Ｐ
r 〔Ｓi+n ＝Ｓi 〕は、２状態マルコフ連鎖を使用して
算出されることが可能であり、その場合連鎖の状態１は
時刻ｉにおけるスピーカーを表し、状態２は他の全ての
スピーカーを表す。この連鎖に対する遷移確率マトリッ
クスＰは次式のように表される。
Ｍ個のスピーカーを伴うマルコフデュレーションモデル
を使用して算出されることが可能である。Ｓi はセグメ
ントｉの期間中のスピーカーを表し、Ｍはスピーカー数
を表すとする。Ｓi は、各スピーカーａに対してＰ
r 〔Ｓi+1 ＝ａ｜Ｓi ＝ａ〕＝ｐ、および各スピーカー
ａおよびｂ（ａに等しくない）に対してＰr 〔Ｓi+1 ＝
ｂ｜Ｓi ＝ａ〕＝（１−ｐ）／（Ｍ−１）を伴うマルコ
フ連鎖であると仮定する。セグメントｉに対するスピー
カーがセグメントｉ＋ｎに対しても発声する確率Ｐ
r 〔Ｓi+n ＝Ｓi 〕は、２状態マルコフ連鎖を使用して
算出されることが可能であり、その場合連鎖の状態１は
時刻ｉにおけるスピーカーを表し、状態２は他の全ての
スピーカーを表す。この連鎖に対する遷移確率マトリッ
クスＰは次式のように表される。
【００４６】
【数４】
【００４７】このマトリックスに関し、Ｐr 〔Ｓi+n ＝
Ｓi 〕＝（Ｐn ）11である。Ｐを対角化することによ
り、Ｐr 〔Ｓi+n ＝Ｓi 〕は次式のようによりクローズ
した形態で表されることが可能である。
Ｓi 〕＝（Ｐn ）11である。Ｐを対角化することによ
り、Ｐr 〔Ｓi+n ＝Ｓi 〕は次式のようによりクローズ
した形態で表されることが可能である。
【００４８】
【数５】
【００４９】この式を使用して、２つの与えられたクラ
スタが同一のスピーカーまたは２つの異なるスピーカー
によって生成される事前確率を算出することが可能であ
る。Ｃをスピーカーチェンジが発生するインターバル数
とし、ｎi をｉ番目のインターバル長とすると、デュレ
ーションバイアスは次式のように定義される。
スタが同一のスピーカーまたは２つの異なるスピーカー
によって生成される事前確率を算出することが可能であ
る。Ｃをスピーカーチェンジが発生するインターバル数
とし、ｎi をｉ番目のインターバル長とすると、デュレ
ーションバイアスは次式のように定義される。
【００５０】
【数６】
【００５１】デュレーションバイアスされた距離はｄD
（Ｘ，Ｙ）＝−ｌｏｇ（λL ）−ｌｏｇ（λD ）として
定義される。
（Ｘ，Ｙ）＝−ｌｏｇ（λL ）−ｌｏｇ（λD ）として
定義される。
【００５２】図９に示されるスピーカーセグメンテーシ
ョンネットワーク１２０は、各スピーカーに対するサブ
ネットワーク６０と、サイレンスおよびガーベッジに対
するオプショナルなサブネットワーク６４および１２２
とから成る。ガーベッジは、オーディオ中の未知のスピ
ーカーまたは非音声音のような、スピーカーまたはサイ
レンスモデルによってモデル化されない音声または音と
して定義される。スピーカー、ガーベッジ、およびサイ
レンスサブネットワークは以下に述べるように得られ
る。ネットワークモデルは、２またはそれ以上のスピー
カーによるバックグランドノイズを伴う会話をモデル化
する。
ョンネットワーク１２０は、各スピーカーに対するサブ
ネットワーク６０と、サイレンスおよびガーベッジに対
するオプショナルなサブネットワーク６４および１２２
とから成る。ガーベッジは、オーディオ中の未知のスピ
ーカーまたは非音声音のような、スピーカーまたはサイ
レンスモデルによってモデル化されない音声または音と
して定義される。スピーカー、ガーベッジ、およびサイ
レンスサブネットワークは以下に述べるように得られ
る。ネットワークモデルは、２またはそれ以上のスピー
カーによるバックグランドノイズを伴う会話をモデル化
する。
【００５３】ネットワーク６０のような個々のスピーカ
ーサブネットワークは互いに並列に結合され、各サブネ
ットワークから外部への遷移確率は小さいペナルティ定
数εに固定されて、孤立サンプルに基づくスピーカーチ
ェンジが抑制される。各スピーカーサブネットワーク６
０はＬ個の状態を伴うＨＭＭから成り、それらＨＭＭは
並列に接続される。各状態は、ガウシアン出力分布、自
己遷移、および他状態への遷移を有する。
ーサブネットワークは互いに並列に結合され、各サブネ
ットワークから外部への遷移確率は小さいペナルティ定
数εに固定されて、孤立サンプルに基づくスピーカーチ
ェンジが抑制される。各スピーカーサブネットワーク６
０はＬ個の状態を伴うＨＭＭから成り、それらＨＭＭは
並列に接続される。各状態は、ガウシアン出力分布、自
己遷移、および他状態への遷移を有する。
【００５４】初期ヌル状態からスピーカー、ガーベッ
ジ、およびサイレンスサブネットワークへの遷移確率は
画一的である。スピーカー、ガーベッジ、およびサイレ
ンスモデルから外部への遷移確率ペナルティは定数εに
設定される。原理的に、これら遷移確率はスピーカーに
依存し、トレーニング期間中に学習される。しかし、簡
素化を目的として、スピーカーの事前確率は画一値に仮
定され、スピーカーを離れる確率εは経験的に選択され
て孤立サンプルに基づくスピーカーチェンジが抑制され
る。
ジ、およびサイレンスサブネットワークへの遷移確率は
画一的である。スピーカー、ガーベッジ、およびサイレ
ンスモデルから外部への遷移確率ペナルティは定数εに
設定される。原理的に、これら遷移確率はスピーカーに
依存し、トレーニング期間中に学習される。しかし、簡
素化を目的として、スピーカーの事前確率は画一値に仮
定され、スピーカーを離れる確率εは経験的に選択され
て孤立サンプルに基づくスピーカーチェンジが抑制され
る。
【００５５】実際には、この遷移確率は著しく小さい。
（１０-20 のオーダーである。）従って各スピーカーモ
デルから外部への遷移は、スピーカーからスピーカーへ
の切替にペナルティを与えるよう作用する。
（１０-20 のオーダーである。）従って各スピーカーモ
デルから外部への遷移は、スピーカーからスピーカーへ
の切替にペナルティを与えるよう作用する。
【００５６】スピーカー間の会話をインデックス化する
ことは単に、観測された特徴ベクトルに関する与えられ
たシーケンスであるネットワークモデルを介する最も確
からしい状態シーケンスを見出すことである。スピーカ
ーサブネットワークが初期化された後、スピーカーセグ
メンテーションネットワークを介する最も確からしい状
態シーケンスを見出すことによりスピーカーセグメンテ
ーションが実行され、状態パスがスピーカーを変更する
時点でマーキングが施される。最適な状態が１つのスピ
ーカーモデルから他のスピーカーモデルへ切り替わる場
合にスピーカーチェンジが発生する。最適な状態シーケ
ンスを見出すことはビタビアルゴリズムを使用して達成
される。セグメンテーションの確度は、セグメンテーシ
ョンされたデータを使用してスピーカーサブネットワー
クを再トレーニングすることによって改善されることが
可能である。このセグメンテーションおよび再トレーニ
ングのプロセスは、セグメンテーションにおいて変化が
生じなくなるまで繰り返される。
ことは単に、観測された特徴ベクトルに関する与えられ
たシーケンスであるネットワークモデルを介する最も確
からしい状態シーケンスを見出すことである。スピーカ
ーサブネットワークが初期化された後、スピーカーセグ
メンテーションネットワークを介する最も確からしい状
態シーケンスを見出すことによりスピーカーセグメンテ
ーションが実行され、状態パスがスピーカーを変更する
時点でマーキングが施される。最適な状態が１つのスピ
ーカーモデルから他のスピーカーモデルへ切り替わる場
合にスピーカーチェンジが発生する。最適な状態シーケ
ンスを見出すことはビタビアルゴリズムを使用して達成
される。セグメンテーションの確度は、セグメンテーシ
ョンされたデータを使用してスピーカーサブネットワー
クを再トレーニングすることによって改善されることが
可能である。このセグメンテーションおよび再トレーニ
ングのプロセスは、セグメンテーションにおいて変化が
生じなくなるまで繰り返される。
【００５７】部分的トレースバックの方法または連続的
デコーディングがビタビ探索で使用される。部分的トレ
ースバックは、Brown らによる「Partial Traceback an
d Dynamic Programming 」(Proc.Int.Conf.Acoustics,S
peech and Signal Processing,May 1992,pp.1629-1632)
に記載されている。このアルゴリズムにおいて、全ての
状態からの各タイムステップにおいてビタビトレースバ
ックが実行され、全てのパスの初期部分が整合する場合
にはデコーディングが可能となる。実際に被る遅延は１
秒未満である。
デコーディングがビタビ探索で使用される。部分的トレ
ースバックは、Brown らによる「Partial Traceback an
d Dynamic Programming 」(Proc.Int.Conf.Acoustics,S
peech and Signal Processing,May 1992,pp.1629-1632)
に記載されている。このアルゴリズムにおいて、全ての
状態からの各タイムステップにおいてビタビトレースバ
ックが実行され、全てのパスの初期部分が整合する場合
にはデコーディングが可能となる。実際に被る遅延は１
秒未満である。
【００５８】非リアルタイムのアプリケーションに対
し、音声のセグメンテーションが繰り返し実行され、そ
の場合各セグメンテーションの後にスピーカーモデルが
再トレーニングされる。このことはセグメンテーション
の確度を向上させ、特にスピーカートレーニングデータ
が使用不可能な場合に有効である。
し、音声のセグメンテーションが繰り返し実行され、そ
の場合各セグメンテーションの後にスピーカーモデルが
再トレーニングされる。このことはセグメンテーション
の確度を向上させ、特にスピーカートレーニングデータ
が使用不可能な場合に有効である。
【００５９】繰り返し再セグメンテーションアルゴリズ
ムが図１０に示される。前述のように、最初にトレーニ
ングデータ集合がボックス１３０のステップで与えら
れ、ボックス１３２のステップでスピーカーモデルがト
レーニングされる。次にボックス１３４のステップでこ
れらスピーカーモデルに基づきセグメンテーションが実
行される。ボックス１３４のステップでのセグメンテー
ションが大きく変化する場合、この改善されたセグメン
テーションはスピーカーに対する新たなトレーニングデ
ータとして使用され、ボックス１３２のステップでスピ
ーカーモデルが再トレーニングされる。このプロセスは
ボックス１３６のステップでセグメンテーションが変化
しなくなるまで続けられる。
ムが図１０に示される。前述のように、最初にトレーニ
ングデータ集合がボックス１３０のステップで与えら
れ、ボックス１３２のステップでスピーカーモデルがト
レーニングされる。次にボックス１３４のステップでこ
れらスピーカーモデルに基づきセグメンテーションが実
行される。ボックス１３４のステップでのセグメンテー
ションが大きく変化する場合、この改善されたセグメン
テーションはスピーカーに対する新たなトレーニングデ
ータとして使用され、ボックス１３２のステップでスピ
ーカーモデルが再トレーニングされる。このプロセスは
ボックス１３６のステップでセグメンテーションが変化
しなくなるまで続けられる。
【００６０】図１１は、オーディオデータが記録デバイ
スによって記憶媒体上に記憶される場合にリアルタイム
でオーディオデータのインデックスを作成する、本発明
のシステム１４０を示す。
スによって記憶媒体上に記憶される場合にリアルタイム
でオーディオデータのインデックスを作成する、本発明
のシステム１４０を示す。
【００６１】メモリ１４８から命令を得るシステムプロ
セッサ１４６はトレーニングデータ１４７を受信してス
ピーカーモデルを決定する。スピーカーモデルは結合さ
れ、後のオーディオストリーム処理のためのスピーカー
ネットワークが形成される。トレーニングデータ１４７
は、識別される各スピーカーに対するトレーニングデー
タを有していなければならない。図１１に示されるよう
に、トレーニングデータ１４７はそのオリジナルなオー
ディオ波形から既に処理されており、スペクトル特徴デ
ータの形態でシステムプロセッサ１４６に保存されてい
る。
セッサ１４６はトレーニングデータ１４７を受信してス
ピーカーモデルを決定する。スピーカーモデルは結合さ
れ、後のオーディオストリーム処理のためのスピーカー
ネットワークが形成される。トレーニングデータ１４７
は、識別される各スピーカーに対するトレーニングデー
タを有していなければならない。図１１に示されるよう
に、トレーニングデータ１４７はそのオリジナルなオー
ディオ波形から既に処理されており、スペクトル特徴デ
ータの形態でシステムプロセッサ１４６に保存されてい
る。
【００６２】オーディオ入力１４１はオーディオプロセ
ッサ１４２によってスペクトル特徴データへ処理され、
システムプロセッサ１４６に与えられる。これと同時
に、オーディオ入力はオーディオ記録デバイス１４３に
よって記憶媒体１４４上に記録される。記録デバイス１
４３は、オーディオストリーム情報をアナログまたはデ
ジタル形態で記憶することが可能であり、純粋なオーデ
ィオ記録、もしくはオーディオ／ビデオ記録の部分であ
ることが可能である。
ッサ１４２によってスペクトル特徴データへ処理され、
システムプロセッサ１４６に与えられる。これと同時
に、オーディオ入力はオーディオ記録デバイス１４３に
よって記憶媒体１４４上に記録される。記録デバイス１
４３は、オーディオストリーム情報をアナログまたはデ
ジタル形態で記憶することが可能であり、純粋なオーデ
ィオ記録、もしくはオーディオ／ビデオ記録の部分であ
ることが可能である。
【００６３】スペクトルデータは、システムプロセッサ
１４６によってトレーニングデータ１４７から作成され
たスピーカーネットワークを使用することによってシス
テムプロセッサ１４６によって処理される。オーディオ
ストリームにおいて新たなセグメントの各々が検出され
ると、システムプロセッサ１４６はタイムソース１４５
からタイムスタンプを得る。タイムスタンプは、オーデ
ィオデータの記憶媒体１４４上への記憶時間を示す。タ
イムソース１４５は、例えば、記録が開始される時に始
動する時計であることが可能であり、もしくは、記憶媒
体に接続された記録デバイスから時間を記録するデバイ
スであることが可能である。このタイムスタンプは、セ
グメントの作成者の識別子と共にメモリ１４８に記憶さ
れ、後にスピーカーに従うインデックスへ収集される。
１４６によってトレーニングデータ１４７から作成され
たスピーカーネットワークを使用することによってシス
テムプロセッサ１４６によって処理される。オーディオ
ストリームにおいて新たなセグメントの各々が検出され
ると、システムプロセッサ１４６はタイムソース１４５
からタイムスタンプを得る。タイムスタンプは、オーデ
ィオデータの記憶媒体１４４上への記憶時間を示す。タ
イムソース１４５は、例えば、記録が開始される時に始
動する時計であることが可能であり、もしくは、記憶媒
体に接続された記録デバイスから時間を記録するデバイ
スであることが可能である。このタイムスタンプは、セ
グメントの作成者の識別子と共にメモリ１４８に記憶さ
れ、後にスピーカーに従うインデックスへ収集される。
【００６４】図１２は、オーディオ記録データのスピー
カーに従うインデックスを作成および記憶する、システ
ム１９０における本発明のその他の実施例を示す。
カーに従うインデックスを作成および記憶する、システ
ム１９０における本発明のその他の実施例を示す。
【００６５】トレーニングデータ１９６はシステムプロ
セッサ１９４へ与えられ、スピーカーモデルおよびスピ
ーカーネットワークが生成される。トレーニングデータ
１９６は識別される各スピーカーに対するトレーニング
データを有していなければならない。図１２に示される
ように、トレーニングデータは、既にそのオリジナルな
オーディオ波形から処理されており、スペクトル特徴デ
ータとしてシステムプロセッサ１９４に保存されてい
る。識別された各スピーカーに対して記録の部分が孤立
され得る場合、トレーニングデータはまたオーディオ記
録入力１９１の部分であることが可能である。
セッサ１９４へ与えられ、スピーカーモデルおよびスピ
ーカーネットワークが生成される。トレーニングデータ
１９６は識別される各スピーカーに対するトレーニング
データを有していなければならない。図１２に示される
ように、トレーニングデータは、既にそのオリジナルな
オーディオ波形から処理されており、スペクトル特徴デ
ータとしてシステムプロセッサ１９４に保存されてい
る。識別された各スピーカーに対して記録の部分が孤立
され得る場合、トレーニングデータはまたオーディオ記
録入力１９１の部分であることが可能である。
【００６６】オーディオ記録入力１９１はオーディオプ
ロセッサ１９２によってスペクトル特徴データへ処理さ
れ、システムプロセッサ１９４へ与えられる。スペクト
ル特徴データは、システムプロセッサ１９４による後の
繰り返し処理のためにメモリ１９７に記憶されることが
可能である。
ロセッサ１９２によってスペクトル特徴データへ処理さ
れ、システムプロセッサ１９４へ与えられる。スペクト
ル特徴データは、システムプロセッサ１９４による後の
繰り返し処理のためにメモリ１９７に記憶されることが
可能である。
【００６７】スペクトルデータは、システムプロセッサ
１９４によってトレーニングデータ１９６から作成され
たスピーカーネットワークを使用することによってシス
テムプロセッサ１９４によって処理される。オーディオ
ストリームにおいて新たなセグメントの各々が検出され
ると、システムプロセッサ１９４はタイムソース１９３
からタイムスタンプを得る。タイムスタンプは、オーデ
ィオ入力１９１の記録からのオーディオデータの記録ア
ドレスまたは記憶時間を示す。タイムソース１９３は、
例えば、記録が開始される時に始動する時計であること
が可能であり、もしくは、記憶媒体に接続された記録デ
バイスから時間を記録するデバイスであることが可能で
ある。このタイムスタンプは、セグメントの作成者の識
別子と共にメモリ１９５に記憶され、後にスピーカーに
従うインデックスへ収集される。
１９４によってトレーニングデータ１９６から作成され
たスピーカーネットワークを使用することによってシス
テムプロセッサ１９４によって処理される。オーディオ
ストリームにおいて新たなセグメントの各々が検出され
ると、システムプロセッサ１９４はタイムソース１９３
からタイムスタンプを得る。タイムスタンプは、オーデ
ィオ入力１９１の記録からのオーディオデータの記録ア
ドレスまたは記憶時間を示す。タイムソース１９３は、
例えば、記録が開始される時に始動する時計であること
が可能であり、もしくは、記憶媒体に接続された記録デ
バイスから時間を記録するデバイスであることが可能で
ある。このタイムスタンプは、セグメントの作成者の識
別子と共にメモリ１９５に記憶され、後にスピーカーに
従うインデックスへ収集される。
【００６８】図１１のシステム１４０によって記録され
るオーディオデータは、図１２のシステム１９０におい
て記録データ１９１として使用されることが可能であ
る。そのような場合、システム１４０によって作成され
るインデックスが使用されてトレーニングデータ１９６
が与えられることが可能であり、特定のスピーカーに属
するセグメントの各集合は、新たなスピーカーモデルを
トレーニングするトレーニングデータとして使用され
る。システムプロセッサ１９４は新たなスピーカーモデ
ルを使用し、それらを結合してネットワークとし、オー
ディオストリームの再セグメンテーションを行う。その
ような繰り返し処理は、システム１４０からシステム１
９０へのものであれ、もしくはシステム１９０を繰り返
し介するものであれ、セグメンテーションの確度をさら
に向上させる。
るオーディオデータは、図１２のシステム１９０におい
て記録データ１９１として使用されることが可能であ
る。そのような場合、システム１４０によって作成され
るインデックスが使用されてトレーニングデータ１９６
が与えられることが可能であり、特定のスピーカーに属
するセグメントの各集合は、新たなスピーカーモデルを
トレーニングするトレーニングデータとして使用され
る。システムプロセッサ１９４は新たなスピーカーモデ
ルを使用し、それらを結合してネットワークとし、オー
ディオストリームの再セグメンテーションを行う。その
ような繰り返し処理は、システム１４０からシステム１
９０へのものであれ、もしくはシステム１９０を繰り返
し介するものであれ、セグメンテーションの確度をさら
に向上させる。
【００６９】図１３は、オーディオストリームのインデ
ックスを決定する前述の方法のアプリケーションを示
す。図１３におけるステップはリアルタイムもしくは後
処理モードで実行されることが可能である。オーディオ
ストリームは通常、オーディオタイミングに相関付けら
れたセグメント情報と共に記録される。ボックス１５０
のステップは既知のスピーカーからトレーニングデータ
を選択する。前述のように、そのようなトレーニングデ
ータは個々のスピーカーによる３０秒から１分の音声か
ら成ることが可能である。このトレーニングデータがボ
ックス１５２のステップで使用されて個々のスピーカー
各々に対するＨＭＭスピーカーモデルがトレーニングさ
れる。
ックスを決定する前述の方法のアプリケーションを示
す。図１３におけるステップはリアルタイムもしくは後
処理モードで実行されることが可能である。オーディオ
ストリームは通常、オーディオタイミングに相関付けら
れたセグメント情報と共に記録される。ボックス１５０
のステップは既知のスピーカーからトレーニングデータ
を選択する。前述のように、そのようなトレーニングデ
ータは個々のスピーカーによる３０秒から１分の音声か
ら成ることが可能である。このトレーニングデータがボ
ックス１５２のステップで使用されて個々のスピーカー
各々に対するＨＭＭスピーカーモデルがトレーニングさ
れる。
【００７０】ボックス１５４のステップにおいて、図９
に関連して述べられたように、個々のモデルが並列に接
続されてスピーカーセグメンテーションネットワークが
形成される。この時点で、個々のスピーカーモデルから
離れることに対するペナルティが挿入される。ボックス
１５６のステップはガーベッジ、即ち未知のスピーカー
および／または非音声音、およびサイレンスインターバ
ルに対するモデルを作成および付加する。サイレンスお
よびガーベッジモデルはボックス１５２のステップで既
に作成されていることも可能である。
に関連して述べられたように、個々のモデルが並列に接
続されてスピーカーセグメンテーションネットワークが
形成される。この時点で、個々のスピーカーモデルから
離れることに対するペナルティが挿入される。ボックス
１５６のステップはガーベッジ、即ち未知のスピーカー
および／または非音声音、およびサイレンスインターバ
ルに対するモデルを作成および付加する。サイレンスお
よびガーベッジモデルはボックス１５２のステップで既
に作成されていることも可能である。
【００７１】ボックス１５８のステップにおいて、オー
ディオストリームはスピーカーセグメンテーションネッ
トワークを使用してセグメントに分解される。セグメン
トは、ボックス１６０のステップにおいて各セグメント
に対するスピーカーの識別子を用いてマーキングされ
る。ボックス１６２のステップは同様のマーキングが施
されたセグメントを収集してオーディオ記録のスピーカ
ーインデックスを作成する。
ディオストリームはスピーカーセグメンテーションネッ
トワークを使用してセグメントに分解される。セグメン
トは、ボックス１６０のステップにおいて各セグメント
に対するスピーカーの識別子を用いてマーキングされ
る。ボックス１６２のステップは同様のマーキングが施
されたセグメントを収集してオーディオ記録のスピーカ
ーインデックスを作成する。
【００７２】リアルタイム動作が必要ない場合、図１４
に関して述べられるように、より詳細な処理が実行され
ることが可能である。ボックス１７０から１８０に示さ
れるステップは、図１３のボックス１５０から１６０に
示されるステップに関して述べられた方法と同様に実行
される。
に関して述べられるように、より詳細な処理が実行され
ることが可能である。ボックス１７０から１８０に示さ
れるステップは、図１３のボックス１５０から１６０に
示されるステップに関して述べられた方法と同様に実行
される。
【００７３】ボックス１８２に示されるステップにおい
て、テストが実行され、ボックス１７８のステップで決
定されたセグメンテーションが前のセグメンテーション
から変化したかどうかが決定される。セグメンテーショ
ンに大きな変化があった場合、システムはボックス１７
２のステップに戻り、スピーカーモデルの再トレーニン
グおよびオーディオストリームの再セグメンテーション
が行われる。シーケンスの初期には前のセグメンテーシ
ョンが存在しないためシステムは前述のように繰り返し
を行う。オーディオストリームのセグメンテーションに
おいて繰り返し処理により大きな変化が生じなくなった
場合、同様のマーキングが施されたセグメントが収集さ
れてボックス１８４のステップでインデックスが作成さ
れることが可能である。
て、テストが実行され、ボックス１７８のステップで決
定されたセグメンテーションが前のセグメンテーション
から変化したかどうかが決定される。セグメンテーショ
ンに大きな変化があった場合、システムはボックス１７
２のステップに戻り、スピーカーモデルの再トレーニン
グおよびオーディオストリームの再セグメンテーション
が行われる。シーケンスの初期には前のセグメンテーシ
ョンが存在しないためシステムは前述のように繰り返し
を行う。オーディオストリームのセグメンテーションに
おいて繰り返し処理により大きな変化が生じなくなった
場合、同様のマーキングが施されたセグメントが収集さ
れてボックス１８４のステップでインデックスが作成さ
れることが可能である。
【００７４】図１５は、オーディオ記録データのスピー
カーに従うインデックスを作成および記憶する、システ
ム１９０における本発明の１実施例を示す。
カーに従うインデックスを作成および記憶する、システ
ム１９０における本発明の１実施例を示す。
【００７５】オーディオ記録入力１９１はオーディオプ
ロセッサ１９２によってスペクトル特徴データへ処理さ
れ、システムプロセッサ１９４へ与えられる。スペクト
ル特徴データは、システムプロセッサ１９４による後の
繰り返し処理のためにメモリ１９７に記憶されることが
可能である。
ロセッサ１９２によってスペクトル特徴データへ処理さ
れ、システムプロセッサ１９４へ与えられる。スペクト
ル特徴データは、システムプロセッサ１９４による後の
繰り返し処理のためにメモリ１９７に記憶されることが
可能である。
【００７６】オーディオプロセッサ１９２によってシス
テムプロセッサ１９４へ与えられるスペクトルデータ
は、最初にセグメンテーションおよびクラスタリングさ
れ、初期スピーカーモデルをトレーニングしてスピーカ
ーネットワークを作成するためのデータが与えられる。
スペクトルデータはシステムプロセッサ１９４によって
再び処理される。スペクトルデータは、システムプロセ
ッサ１９４によって作成されたスピーカーネットワーク
を使用してシステムプロセッサ１９４によって処理され
る。オーディオストリームにおいて新たなセグメントの
各々が検出されると、システムプロセッサ１９４はタイ
ムソース１９３からタイムスタンプを得る。タイムスタ
ンプは、オーディオ入力１９１の記録からのオーディオ
データに関する記録アドレスもしくは記憶時間を示す。
タイムソース１９３は、例えば、記録が開始される時に
始動する時計であることが可能であり、もしくは、記憶
媒体に接続された記録デバイスから時間を記録するデバ
イスであることが可能である。このタイムスタンプは、
セグメントの作成者の識別子と共にメモリ１９５に記憶
され、後にスピーカーに従うインデックスへ収集され
る。
テムプロセッサ１９４へ与えられるスペクトルデータ
は、最初にセグメンテーションおよびクラスタリングさ
れ、初期スピーカーモデルをトレーニングしてスピーカ
ーネットワークを作成するためのデータが与えられる。
スペクトルデータはシステムプロセッサ１９４によって
再び処理される。スペクトルデータは、システムプロセ
ッサ１９４によって作成されたスピーカーネットワーク
を使用してシステムプロセッサ１９４によって処理され
る。オーディオストリームにおいて新たなセグメントの
各々が検出されると、システムプロセッサ１９４はタイ
ムソース１９３からタイムスタンプを得る。タイムスタ
ンプは、オーディオ入力１９１の記録からのオーディオ
データに関する記録アドレスもしくは記憶時間を示す。
タイムソース１９３は、例えば、記録が開始される時に
始動する時計であることが可能であり、もしくは、記憶
媒体に接続された記録デバイスから時間を記録するデバ
イスであることが可能である。このタイムスタンプは、
セグメントの作成者の識別子と共にメモリ１９５に記憶
され、後にスピーカーに従うインデックスへ収集され
る。
【００７７】図１６は、スピーカーが事前にわかってい
ない場合にオーディオストリームのインデックスを決定
する前述の方法に関するアプリケーションを記述するも
のである。ボックス２００のステップは処理されるオー
ディオデータを選択する。先に述べたように、このステ
ップで使用されるオーディオは、処理されるオーディオ
ストリーム内の少なくとも全てのスピーカーからの音声
を有する部分を含むことが可能であるが、オーディオス
トリーム全体に関して議論を進めることとする。ボック
ス２０２のステップにおいて、オーディオストリームは
セグメントに分解され、このセグメントは通常等しく短
い長さである。これら初期セグメントは初期クラスタと
して後のステップで使用される。
ない場合にオーディオストリームのインデックスを決定
する前述の方法に関するアプリケーションを記述するも
のである。ボックス２００のステップは処理されるオー
ディオデータを選択する。先に述べたように、このステ
ップで使用されるオーディオは、処理されるオーディオ
ストリーム内の少なくとも全てのスピーカーからの音声
を有する部分を含むことが可能であるが、オーディオス
トリーム全体に関して議論を進めることとする。ボック
ス２０２のステップにおいて、オーディオストリームは
セグメントに分解され、このセグメントは通常等しく短
い長さである。これら初期セグメントは初期クラスタと
して後のステップで使用される。
【００７８】ボックス２０６のステップは各クラスタに
ついてクラスタ間距離を算出し、ボックス２０８のステ
ップは最小距離を有する２つのクラスタを併合する。ボ
ックス２１０のステップにおいて所望数よりも多くのク
ラスタが存在する場合、ボックス２０６のステップにお
いて新たなクラスタ間距離が算出され、ボックス２１０
のステップにおいて２つの最近接クラスタが再び併合さ
れる。この処理は所望のクラスタ数が残るまで繰り返さ
れる。所望のクラスタ数は、クラスタ間のトータル距離
制限かもしくは集合数に基づくことが可能である。例え
ば、オーディオセグメント内のスピーカー総数は、トレ
ーニングデータが使用不可能な場合であっても知られて
いることが可能である。そのような数の初期クラスタが
決定されるまで併合を行うようシステムが設定されるこ
とが可能である。
ついてクラスタ間距離を算出し、ボックス２０８のステ
ップは最小距離を有する２つのクラスタを併合する。ボ
ックス２１０のステップにおいて所望数よりも多くのク
ラスタが存在する場合、ボックス２０６のステップにお
いて新たなクラスタ間距離が算出され、ボックス２１０
のステップにおいて２つの最近接クラスタが再び併合さ
れる。この処理は所望のクラスタ数が残るまで繰り返さ
れる。所望のクラスタ数は、クラスタ間のトータル距離
制限かもしくは集合数に基づくことが可能である。例え
ば、オーディオセグメント内のスピーカー総数は、トレ
ーニングデータが使用不可能な場合であっても知られて
いることが可能である。そのような数の初期クラスタが
決定されるまで併合を行うようシステムが設定されるこ
とが可能である。
【００７９】初期クラスタリングが完了すると、ボック
ス２１２のステップは個々のスピーカーモデルＨＭＭの
トレーニングを行う。これら個々のモデルはボックス２
１４のステップにおいて並列に結合され、スピーカーを
離れることに対するペナルティが付与される。サイレン
スおよびガーベッジモデルがボックス２１２のステップ
で発生されておらず、ネットワークに付加されていない
場合、それらはボックス２１６のステップで付加される
ことが可能である。ボックス２１８のステップにおい
て、オーディオストリームはスピーカーセグメンテーシ
ョンネットワークを使用してセグメントに分割される。
ボックス２２０のステップにおいて、セグメントは各セ
グメントに対するスピーカーの識別子によりマーキング
される。
ス２１２のステップは個々のスピーカーモデルＨＭＭの
トレーニングを行う。これら個々のモデルはボックス２
１４のステップにおいて並列に結合され、スピーカーを
離れることに対するペナルティが付与される。サイレン
スおよびガーベッジモデルがボックス２１２のステップ
で発生されておらず、ネットワークに付加されていない
場合、それらはボックス２１６のステップで付加される
ことが可能である。ボックス２１８のステップにおい
て、オーディオストリームはスピーカーセグメンテーシ
ョンネットワークを使用してセグメントに分割される。
ボックス２２０のステップにおいて、セグメントは各セ
グメントに対するスピーカーの識別子によりマーキング
される。
【００８０】ボックス２２２のステップは前の繰り返し
処理においてセグメンテーションが大きく変化したかど
うかをチェックする。もしそうである場合、ボックス２
１２のステップにおいてモデルが再トレーニングされ、
改良されたモデルを用いてセグメンテーションの繰り返
し処理が実行される。再トレーニングの結果として大き
な変化が生じない場合、繰り返し処理は完了し、個々の
モデルによって同様にマーキングされたセグメントを収
集することによって記録に対するインデックスが作成さ
れる。
処理においてセグメンテーションが大きく変化したかど
うかをチェックする。もしそうである場合、ボックス２
１２のステップにおいてモデルが再トレーニングされ、
改良されたモデルを用いてセグメンテーションの繰り返
し処理が実行される。再トレーニングの結果として大き
な変化が生じない場合、繰り返し処理は完了し、個々の
モデルによって同様にマーキングされたセグメントを収
集することによって記録に対するインデックスが作成さ
れる。
【００８１】情報のインデックス化は、スピーカーＩＤ
に基づきオーディオストリームの再生を検索および制御
する能力をユーザーに与えることが可能である。例え
ば、ユーザーは特定のスピーカーによる発言のみを検索
したいかもしれない。ユーザーはさらに、オーディオイ
ンデックス情報を使用してオーディオ記録を検索するか
もしれない。ユーザーは、いくつかのスピーカーセグメ
ントをスキップし、次のスピーカーへ効果的に早送りを
行うかもしくは特定のスピーカーセグメントの始まりへ
巻戻しを行いたいかもしれない。
に基づきオーディオストリームの再生を検索および制御
する能力をユーザーに与えることが可能である。例え
ば、ユーザーは特定のスピーカーによる発言のみを検索
したいかもしれない。ユーザーはさらに、オーディオイ
ンデックス情報を使用してオーディオ記録を検索するか
もしれない。ユーザーは、いくつかのスピーカーセグメ
ントをスキップし、次のスピーカーへ効果的に早送りを
行うかもしくは特定のスピーカーセグメントの始まりへ
巻戻しを行いたいかもしれない。
【００８２】
【発明の効果】以上説明したように、本発明の方法によ
れば、オーディオストリーム内にインデックスを作成す
ることが可能となり、リアルタイムであっても処理後で
あっても、ユーザーが特定のスピーカーに関連するオー
ディオデータセグメントを認識することが可能となる。
れば、オーディオストリーム内にインデックスを作成す
ることが可能となり、リアルタイムであっても処理後で
あっても、ユーザーが特定のスピーカーに関連するオー
ディオデータセグメントを認識することが可能となる。
【図１】本発明が実施されることが可能である一般化さ
れたオーディオ処理システムのブロック図である。
れたオーディオ処理システムのブロック図である。
【図２】オーディオインデックスシステムの一般化され
たフロー図である。
たフロー図である。
【図３】５状態隠れマルコフモデル（ＨＭＭ）を示す図
である。
である。
【図４】ＨＭＭによってモデル化される３つの対象物の
ＨＭＭネットワークを示す図である。
ＨＭＭネットワークを示す図である。
【図５】ビタビアルゴリズムの結果を概略的に示す図で
ある。
ある。
【図６】個々のスピーカーの発声スタイルをモデル化す
る３５状態ＨＭＭを示す図である。
る３５状態ＨＭＭを示す図である。
【図７】サイレンスサブネットワークを示す図である。
【図８】スピーカーによってラベル付けされたインター
バル集合上の階層的クラスタリングを概略的に示す図で
ある。
バル集合上の階層的クラスタリングを概略的に示す図で
ある。
【図９】各スピーカーに対するサブネットワークと、サ
イレンスおよびガーベッジに対するオプショナルなサブ
ネットワークとから成るスピーカーセグメンテーション
ネットワークを示す図である。
イレンスおよびガーベッジに対するオプショナルなサブ
ネットワークとから成るスピーカーセグメンテーション
ネットワークを示す図である。
【図１０】繰り返し再セグメンテーションアルゴリズム
を概略的に示す図である。
を概略的に示す図である。
【図１１】オーディオデータが記録デバイスによって記
憶媒体上へ記憶される場合にリアルタイムにオーディオ
データインデックスを作成する本発明のシステムを示す
図である。
憶媒体上へ記憶される場合にリアルタイムにオーディオ
データインデックスを作成する本発明のシステムを示す
図である。
【図１２】事前に記録されたオーディオデータのスピー
カーに従うインデックスを作成および記憶するシステム
における本発明のその他の実施例を示す図である。
カーに従うインデックスを作成および記憶するシステム
における本発明のその他の実施例を示す図である。
【図１３】オーディオストリームのインデックスを決定
する前述の方法のアプリケーションを示す図である。
する前述の方法のアプリケーションを示す図である。
【図１４】オーディオストリームのインデックスを決定
する際に実行されることが可能なより詳細なプロセスを
示す図である。
する際に実行されることが可能なより詳細なプロセスを
示す図である。
【図１５】オーディオ記録データのスピーカーに従うイ
ンデックスを作成および記憶するシステムにおける本発
明の１実施例を示す図である。
ンデックスを作成および記憶するシステムにおける本発
明の１実施例を示す図である。
【図１６】スピーカーが未知の場合にオーディオストリ
ームのインデックスを決定する前述の方法のアプリケー
ションを示す図である。
ームのインデックスを決定する前述の方法のアプリケー
ションを示す図である。
１２ オーディオデータソース １４ オーディオプロセッサ １６ オーディオデータインデックス ６０ ３５状態ＨＭＭ １２０ スピーカーセグメンテーションネットワーク
───────────────────────────────────────────────────── フロントページの続き (72)発明者 フランシン アール．チェン アメリカ合衆国 カリフォルニア州 94025 メンロ パーク シャーマン ア ヴェニュー 975 (72)発明者 フィリップ エイ．チョウ アメリカ合衆国 カリフォルニア州 94025 メンロ パーク ブラックバーン アヴェニュー 116 (72)発明者 ドナルド ジー．キンバー アメリカ合衆国 カリフォルニア州 94040 マウント ビュー ヴィクター ストリート 678 ナンバー ３ (72)発明者 アレックス ディー．プーン アメリカ合衆国 カリフォルニア州 94040 マウンテン ビュー サウス レ ングストーフ アヴェニュー 575 アパ ートメント ナンバー 21 (72)発明者 カロン エイ．ウェバー アメリカ合衆国 カリフォルニア州 94109 サンフランシスコ ユニオン ス トリート 1330 ナンバー 22 (72)発明者 リン ディー．ウィルコックス アメリカ合衆国 カリフォルニア州 94028 ポートラ ヴァレー ジョアクイ ン ロード 45
Claims (3)
- 【請求項１】 スピーカーに従ってオーディオデータを
セグメンテーションする方法であって、前記オーディオ
データは複数の個々のスピーカーからの音声を含み、前
記方法は、 オーディオデータの個々のスピーカーの各々に対して個
々のＨＭＭ（隠れマルコフモデル）を与えるステップ
と、 前記個々のＨＭＭを並列に接続することによってスピー
カーネットワークＨＭＭを形成するステップと、 前記オーディオデータに対してスピーカーネットワーク
ＨＭＭを介する最適パスを決定し、個々のＨＭＭの各々
に関連する前記オーディオデータのセグメントを識別す
るステップと、 前記パスの各セグメントの個々のスピーカーを決定する
ステップと、 を含む、オーディオデータのセグメンテーション方法。 - 【請求項２】 スピーカーネットワークＨＭＭを形成す
るステップはさらに、前記スピーカーネットワーク内の
特定な個々のＨＭＭから外部へ離脱することに対する離
脱ペナルティを決定するステップを含む、請求項１に記
載の方法。 - 【請求項３】 前記個々のＨＭＭの各々は複数の状態を
含む、請求項１に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/226,519 US5655058A (en) | 1994-04-12 | 1994-04-12 | Segmentation of audio data for indexing of conversational speech for real-time or postprocessing applications |
| US226519 | 1994-04-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07287591A true JPH07287591A (ja) | 1995-10-31 |
| JP3805809B2 JP3805809B2 (ja) | 2006-08-09 |
Family
ID=22849246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08289995A Expired - Lifetime JP3805809B2 (ja) | 1994-04-12 | 1995-04-07 | オーディオデータのセグメンテーション方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5655058A (ja) |
| JP (1) | JP3805809B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100388344B1 (ko) * | 1999-04-09 | 2003-06-25 | 인터내셔널 비지네스 머신즈 코포레이션 | 컨텐츠 및 화자 정보를 이용한 오디오 정보 검색 방법 및장치 |
| KR20030070179A (ko) * | 2002-02-21 | 2003-08-29 | 엘지전자 주식회사 | 오디오 스트림 구분화 방법 |
| JP2013182150A (ja) * | 2012-03-02 | 2013-09-12 | National Institute Of Information & Communication Technology | 発話区間検出装置及び発話区間検出のためのコンピュータプログラム |
Families Citing this family (76)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5806021A (en) * | 1995-10-30 | 1998-09-08 | International Business Machines Corporation | Automatic segmentation of continuous text using statistical approaches |
| US6073101A (en) * | 1996-02-02 | 2000-06-06 | International Business Machines Corporation | Text independent speaker recognition for transparent command ambiguity resolution and continuous access control |
| US5826206A (en) * | 1996-03-12 | 1998-10-20 | Training Inovations Group, Llc | Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism |
| US6961700B2 (en) * | 1996-09-24 | 2005-11-01 | Allvoice Computing Plc | Method and apparatus for processing the output of a speech recognition engine |
| US6137863A (en) * | 1996-12-13 | 2000-10-24 | At&T Corp. | Statistical database correction of alphanumeric account numbers for speech recognition and touch-tone recognition |
| US6128587A (en) * | 1997-01-14 | 2000-10-03 | The Regents Of The University Of California | Method and apparatus using Bayesian subfamily identification for sequence analysis |
| US5897616A (en) | 1997-06-11 | 1999-04-27 | International Business Machines Corporation | Apparatus and methods for speaker verification/identification/classification employing non-acoustic and/or acoustic models and databases |
| JP3050180B2 (ja) * | 1997-08-08 | 2000-06-12 | 日本電気株式会社 | 音声認識装置 |
| US6154579A (en) * | 1997-08-11 | 2000-11-28 | At&T Corp. | Confusion matrix based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique |
| US6219453B1 (en) | 1997-08-11 | 2001-04-17 | At&T Corp. | Method and apparatus for performing an automatic correction of misrecognized words produced by an optical character recognition technique by using a Hidden Markov Model based algorithm |
| DE19740147A1 (de) * | 1997-09-12 | 1999-03-18 | Philips Patentverwaltung | Verfahren zum Ermitteln eines Zuverlässigkeitsmaßes |
| FR2769118B1 (fr) * | 1997-09-29 | 1999-12-03 | Matra Communication | Procede de reconnaissance de parole |
| US6208965B1 (en) | 1997-11-20 | 2001-03-27 | At&T Corp. | Method and apparatus for performing a name acquisition based on speech recognition |
| US6205428B1 (en) * | 1997-11-20 | 2001-03-20 | At&T Corp. | Confusion set-base method and apparatus for pruning a predetermined arrangement of indexed identifiers |
| US6072542A (en) * | 1997-11-25 | 2000-06-06 | Fuji Xerox Co., Ltd. | Automatic video segmentation using hidden markov model |
| US6223158B1 (en) | 1998-02-04 | 2001-04-24 | At&T Corporation | Statistical option generator for alpha-numeric pre-database speech recognition correction |
| US6205261B1 (en) | 1998-02-05 | 2001-03-20 | At&T Corp. | Confusion set based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique |
| US6404856B1 (en) | 1998-04-10 | 2002-06-11 | Fuji Xerox Co., Ltd. | System for recording, annotating and indexing audio data |
| DE19824355A1 (de) * | 1998-05-30 | 1999-12-02 | Philips Patentverwaltung | Vorrichtung zur Verifizierung von Signalen |
| US7031925B1 (en) | 1998-06-15 | 2006-04-18 | At&T Corp. | Method and apparatus for creating customer specific dynamic grammars |
| US7937260B1 (en) | 1998-06-15 | 2011-05-03 | At&T Intellectual Property Ii, L.P. | Concise dynamic grammars using N-best selection |
| US6400805B1 (en) | 1998-06-15 | 2002-06-04 | At&T Corp. | Statistical database correction of alphanumeric identifiers for speech recognition and touch-tone recognition |
| US6366296B1 (en) | 1998-09-11 | 2002-04-02 | Xerox Corporation | Media browser using multimodal analysis |
| US6185527B1 (en) * | 1999-01-19 | 2001-02-06 | International Business Machines Corporation | System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval |
| US6684186B2 (en) * | 1999-01-26 | 2004-01-27 | International Business Machines Corporation | Speaker recognition using a hierarchical speaker model tree |
| US6434520B1 (en) | 1999-04-16 | 2002-08-13 | International Business Machines Corporation | System and method for indexing and querying audio archives |
| US6542869B1 (en) | 2000-05-11 | 2003-04-01 | Fuji Xerox Co., Ltd. | Method for automatic analysis of audio including music and speech |
| US20020016719A1 (en) * | 2000-06-19 | 2002-02-07 | Nemeth Louis G. | Methods and systems for providing medical data to a third party in accordance with configurable distribution parameters |
| US7249018B2 (en) * | 2001-01-12 | 2007-07-24 | International Business Machines Corporation | System and method for relating syntax and semantics for a conversational speech application |
| JP4759827B2 (ja) * | 2001-03-28 | 2011-08-31 | 日本電気株式会社 | 音声セグメンテーション装置及びその方法並びにその制御プログラム |
| US7039585B2 (en) | 2001-04-10 | 2006-05-02 | International Business Machines Corporation | Method and system for searching recorded speech and retrieving relevant segments |
| US6785656B2 (en) * | 2001-06-05 | 2004-08-31 | Xm Satellite Radio, Inc. | Method and apparatus for digital audio playback using local stored content |
| US7035807B1 (en) * | 2002-02-19 | 2006-04-25 | Brittain John W | Sound on sound-annotations |
| US7068723B2 (en) * | 2002-02-28 | 2006-06-27 | Fuji Xerox Co., Ltd. | Method for automatically producing optimal summaries of linear media |
| US7266497B2 (en) * | 2002-03-29 | 2007-09-04 | At&T Corp. | Automatic segmentation in speech synthesis |
| DE10220524B4 (de) * | 2002-05-08 | 2006-08-10 | Sap Ag | Verfahren und System zur Verarbeitung von Sprachdaten und zur Erkennung einer Sprache |
| DE10220520A1 (de) * | 2002-05-08 | 2003-11-20 | Sap Ag | Verfahren zur Erkennung von Sprachinformation |
| DE10220522B4 (de) * | 2002-05-08 | 2005-11-17 | Sap Ag | Verfahren und System zur Verarbeitung von Sprachdaten mittels Spracherkennung und Frequenzanalyse |
| EP1363271A1 (de) * | 2002-05-08 | 2003-11-19 | Sap Ag | Verfahren und System zur Verarbeitung und Speicherung von Sprachinformationen eines Dialogs |
| EP1361740A1 (de) * | 2002-05-08 | 2003-11-12 | Sap Ag | Verfahren und System zur Verarbeitung von Sprachinformationen eines Dialogs |
| DE10220521B4 (de) * | 2002-05-08 | 2005-11-24 | Sap Ag | Verfahren und System zur Verarbeitung von Sprachdaten und Klassifizierung von Gesprächen |
| US7383509B2 (en) * | 2002-09-13 | 2008-06-03 | Fuji Xerox Co., Ltd. | Automatic generation of multimedia presentation |
| US7284004B2 (en) * | 2002-10-15 | 2007-10-16 | Fuji Xerox Co., Ltd. | Summarization of digital files |
| US6816834B2 (en) * | 2002-10-23 | 2004-11-09 | Jon Jaroker | System and method for secure real-time high accuracy speech to text conversion of general quality speech |
| US7539086B2 (en) * | 2002-10-23 | 2009-05-26 | J2 Global Communications, Inc. | System and method for the secure, real-time, high accuracy conversion of general-quality speech into text |
| US20050097120A1 (en) * | 2003-10-31 | 2005-05-05 | Fuji Xerox Co., Ltd. | Systems and methods for organizing data |
| US7542971B2 (en) * | 2004-02-02 | 2009-06-02 | Fuji Xerox Co., Ltd. | Systems and methods for collaborative note-taking |
| US20050249080A1 (en) * | 2004-05-07 | 2005-11-10 | Fuji Xerox Co., Ltd. | Method and system for harvesting a media stream |
| US10223934B2 (en) | 2004-09-16 | 2019-03-05 | Lena Foundation | Systems and methods for expressive language, developmental disorder, and emotion assessment, and contextual feedback |
| US9240188B2 (en) | 2004-09-16 | 2016-01-19 | Lena Foundation | System and method for expressive language, developmental disorder, and emotion assessment |
| US8938390B2 (en) * | 2007-01-23 | 2015-01-20 | Lena Foundation | System and method for expressive language and developmental disorder assessment |
| US20060075347A1 (en) * | 2004-10-05 | 2006-04-06 | Rehm Peter H | Computerized notetaking system and method |
| US8521529B2 (en) * | 2004-10-18 | 2013-08-27 | Creative Technology Ltd | Method for segmenting audio signals |
| CN1773536A (zh) * | 2004-11-11 | 2006-05-17 | 国际商业机器公司 | 生成话音纪要的方法、设备和系统 |
| US8089563B2 (en) * | 2005-06-17 | 2012-01-03 | Fuji Xerox Co., Ltd. | Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes |
| US7623677B2 (en) * | 2005-06-17 | 2009-11-24 | Fuji Xerox Co., Ltd. | Methods and interfaces for visualizing activity across video frames in an action keyframe |
| US7996771B2 (en) * | 2005-06-17 | 2011-08-09 | Fuji Xerox Co., Ltd. | Methods and interfaces for event timeline and logs of video streams |
| US7716048B2 (en) * | 2006-01-25 | 2010-05-11 | Nice Systems, Ltd. | Method and apparatus for segmentation of audio interactions |
| CA2536976A1 (en) * | 2006-02-20 | 2007-08-20 | Diaphonics, Inc. | Method and apparatus for detecting speaker change in a voice transaction |
| US20080059190A1 (en) * | 2006-08-22 | 2008-03-06 | Microsoft Corporation | Speech unit selection using HMM acoustic models |
| US8234116B2 (en) * | 2006-08-22 | 2012-07-31 | Microsoft Corporation | Calculating cost measures between HMM acoustic models |
| JP5313466B2 (ja) * | 2007-06-28 | 2013-10-09 | ニュアンス コミュニケーションズ，インコーポレイテッド | 音声の再生に同期して音声の内容を表示させる技術 |
| DE102008024258A1 (de) * | 2008-05-20 | 2009-11-26 | Siemens Aktiengesellschaft | Verfahren zur Klassifizierung und Entfernung unerwünschter Anteile aus einer Äußerung bei einer Spracherkennung |
| US20100138010A1 (en) * | 2008-11-28 | 2010-06-03 | Audionamix | Automatic gathering strategy for unsupervised source separation algorithms |
| US20100174389A1 (en) * | 2009-01-06 | 2010-07-08 | Audionamix | Automatic audio source separation with joint spectral shape, expansion coefficients and musical state estimation |
| CN101783160A (zh) * | 2009-01-16 | 2010-07-21 | 鸿富锦精密工业（深圳）有限公司 | 音频播放装置及其播放方法 |
| JP5644772B2 (ja) * | 2009-11-25 | 2014-12-24 | 日本電気株式会社 | 音声データ解析装置、音声データ解析方法及び音声データ解析用プログラム |
| US8645485B1 (en) * | 2012-01-30 | 2014-02-04 | Google Inc. | Social based aggregation of related media content |
| US9143742B1 (en) | 2012-01-30 | 2015-09-22 | Google Inc. | Automated aggregation of related media content |
| US9129605B2 (en) | 2012-03-30 | 2015-09-08 | Src, Inc. | Automated voice and speech labeling |
| TW201417093A (zh) * | 2012-10-19 | 2014-05-01 | Hon Hai Prec Ind Co Ltd | 具有影音檔處理功能的電子裝置及影音檔處理方法 |
| US20140297280A1 (en) * | 2013-04-02 | 2014-10-02 | Nexidia Inc. | Speaker identification |
| JP6596924B2 (ja) * | 2014-05-29 | 2019-10-30 | 日本電気株式会社 | 音声データ処理装置、音声データ処理方法、及び、音声データ処理プログラム |
| US10133538B2 (en) * | 2015-03-27 | 2018-11-20 | Sri International | Semi-supervised speaker diarization |
| WO2019113477A1 (en) | 2017-12-07 | 2019-06-13 | Lena Foundation | Systems and methods for automatic determination of infant cry and discrimination of cry from fussiness |
| US11024291B2 (en) | 2018-11-21 | 2021-06-01 | Sri International | Real-time class recognition for an audio stream |
-
1994
- 1994-04-12 US US08/226,519 patent/US5655058A/en not_active Expired - Lifetime
-
1995
- 1995-04-07 JP JP08289995A patent/JP3805809B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100388344B1 (ko) * | 1999-04-09 | 2003-06-25 | 인터내셔널 비지네스 머신즈 코포레이션 | 컨텐츠 및 화자 정보를 이용한 오디오 정보 검색 방법 및장치 |
| KR20030070179A (ko) * | 2002-02-21 | 2003-08-29 | 엘지전자 주식회사 | 오디오 스트림 구분화 방법 |
| JP2013182150A (ja) * | 2012-03-02 | 2013-09-12 | National Institute Of Information & Communication Technology | 発話区間検出装置及び発話区間検出のためのコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3805809B2 (ja) | 2006-08-09 |
| US5655058A (en) | 1997-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3805809B2 (ja) | オーディオデータのセグメンテーション方法 | |
| US5606643A (en) | Real-time audio recording system for automatic speaker indexing | |
| JP3745403B2 (ja) | オーディオデータセグメントのクラスタリング方法 | |
| JP3926858B2 (ja) | スピーカーデータのクラスタリング方法 | |
| JP4195428B2 (ja) | 多数の音声特徴を利用する音声認識 | |
| EP0788090B1 (en) | Transcription of speech data with segments from acoustically dissimilar environments | |
| Szöke et al. | Comparison of keyword spotting approaches for informal continuous speech. | |
| Hansen et al. | Speechfind: Advances in spoken document retrieval for a national gallery of the spoken word | |
| JP4141495B2 (ja) | 最適化された部分的確率混合共通化を用いる音声認識のための方法および装置 | |
| Friedland et al. | The ICSI RT-09 speaker diarization system | |
| JP5177561B2 (ja) | 認識器重み学習装置および音声認識装置、ならびに、システム | |
| JPH05204394A (ja) | ワードスポッティング法 | |
| Akbacak et al. | Environmental sniffing: noise knowledge estimation for robust speech systems | |
| RU2223554C2 (ru) | Устройство распознавания речи | |
| CN107480152A (zh) | 一种音频分析及检索方法和系统 | |
| CN112509560B (zh) | 一种基于缓存语言模型的语音识别自适应方法和系统 | |
| Ney et al. | An overview of the Philips research system for large vocabulary continuous speech recognition | |
| Wilcox et al. | Audio indexing using speaker identification | |
| Gupta et al. | Automatic speech recognition technique for voice command | |
| Sangwan et al. | Keyword recognition with phone confusion networks and phonological features based keyword threshold detection | |
| JP4233831B2 (ja) | 音声モデルの雑音適応化システム、雑音適応化方法、及び、音声認識雑音適応化プログラム | |
| Young | Acoustic modelling for large vocabulary continuous speech recognition | |
| Kotti et al. | Automatic speaker change detection with the Bayesian information criterion using MPEG-7 features and a fusion scheme | |
| Kenai et al. | Speaker diarization and detection system using a priori speaker information | |
| JP4705535B2 (ja) | 音響モデル作成装置及び音声認識装置並びに音響モデル作成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050907 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060511 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |