JP4678193B2

JP4678193B2 - 音声データ認識装置、ノート表示装置、音声データ認識プログラム、及びノート表示プログラム

Info

Publication number: JP4678193B2
Application number: JP2005023001A
Authority: JP
Inventors: エル．シオンジョバンニ; ドゥヌローラン; ヘンクヴァンデンバーグマーティン
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-02-02
Filing date: 2005-01-31
Publication date: 2011-04-27
Anticipated expiration: 2025-01-31
Also published as: US20090204620A1; US20050171926A1; JP2005215689A; US7542971B2

Description

本発明は、情報源から情報を認識するための方法およびシステムに関し、さらに詳細には、共同ユーザ・ノートを表示する方法およびシステム、情報源から認識されたトークンをランク付けするための方法およびシステム、提案されたミーテイング・ノートを表示するための方法およびシステム、ならびにこれらの方法をコンピュータに実行させるためのコンピュータ・プログラムに関する。

クラスやセミナーの参加者は、ノートを取る作業と提示された教材を理解する作業との間で注意の焦点を切り替えることが多い。クラス参加者は、ノート取りのスタイルによって類別することができる。ノート取りスタイルの第１の例では、参加者は、話者のコメントや提示された教材についての詳細なノートを作成するために情報の取得に集中する。クラス参加者は、後の検討会議時にノートを理解する。後での検討会議時には、通常、詳細でない概略形式のノートが作成される。参加者は教材を理解することよりもノートを取ることに集中するので、参加者がクラスで鋭い質問をすることは少ない。

ノート取りスタイルの第２の例では、参加者は、クラスで、少ないそして／または詳細でないノートを作成する。この詳細でないノート取りスタイルによる参加者は、提示された教材を動的に理解することに注意を集中する。詳細でないノート取りスタイルによる参加者は、クラスで教材をより多く理解できるが、後での検討のために利用できるのは詳細でないノートということになる。
米国特許出願公開第2004/0119762号明細書米国特許出願公開第2003/0197729号明細書米国特許出願公開第2003/0088570号明細書

あるミーテイング・キャプチャ・システム（meeting capture systems）では、自動音声認識を利用して話者の音声情報を取得することによって、これらの問題に対処しようとしている。認識されたテキストが、転記ウインドウ（transcription window）で参加者に提示される。これで、その参加者は、プレゼンテーション時に議論されたアイデアや詳細事項をより迅速に取得することができる。例えば、参加者は、後での検討のための文書に認識された音声情報を迅速にコピーするためにカット・アンド・ペースト法および／または他の方法を用いることができる。しかし、これらのノート支援システム（note-assisting system）はプレゼンテーション教材を統合するものではない。さらに、これらのシステムで利用されている従来の自動音声認識は精度が低く、認識エラーが多い。これらの誤認識が、提案された共同ノートしては、認識音声情報の価値を低めている。これらのノート取り環境では、キー用語の誤認識が、ノート取り作業の認識負荷を大きくするとともに、認識されたテキスト情報における認識エラーを訂正することにユーザーの注意の焦点を向けるという誤った方向づけをすることになる。これらの従来の自動音声認識システムによって用いられる一般的な言語モデルの語彙の範囲外にある使用頻度の低い語やフレーズも、認識される文字情報にエラーを生じさせ、ノート取り作業を混乱させることになる。なお、特許文献１には、自由形式のユーザ入力を用いて情報のコピー及びペース操作を行うトシステム及び方法が特許文献１に開示されており、特許文献２には、共同ノート取りシステムのために情報をリアルタイムで収集し、選別し、配布するシステム及び方法が開示されており、さらに特許文献３には、ネットワーク化された又はネットワーク化されていないマルチユーザのドキュメント・デバイスのためのデバイス・ポータルを提供する方法及びシステムが開示されているが、何れにおいても、上記のような問題については認識されていない。

従って、スピーチにおける分野表示（domain indicators）に基づいて言語モデルを動的に判定するシステムおよび方法は有用であろう。信号における分野表示に基づいておよび／または外部の分野表示に基づいて言語モデルのような認識モデルを動的に判定するシステムおよび方法も有用であろう。

請求項１に記載の発明は、話者によるスピーチの音声データを入力する第１の入力手段と、前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段と、前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段と、前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段と、前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段と、を備えている。

請求項２に記載の発明は、請求項１に記載の発明において、前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段と、前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段と、を備えている。

請求項３に記載の発明は、話者によるスピーチの音声データを入力する第１の入力手段と、前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段と、前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段と、前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段と、前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段と、前記認識結果を構成する複数の部分内で、他の部分より情報を提供する度合いが高い情報高提供部分を抽出する抽出手段と、前記情報高提供部分が前記スライドまたはノートに含まれているか否かを判断する判断手段と、前記情報高提供部分が前記スライドまたはノートに含まれていると判断された場合、前記情報高提供部分に対応する前記認識結果の部分を、ノートとして抽出すると共に、表示手段に当該抽出したノートを表示する制御手段と、を含んでいる。

請求項４に記載の発明は、請求項３に記載の発明において、前記制御手段は、前記認識結果を所定時間毎に分割して認識結果時間部分を生成し、生成された認識結果時間部分に時間的に関連する前記スライドまたはノートの部分である関連時間部分を抽出し、時間的に対応する認識結果時間部分と関連時間部分とを対応して前記表示手段に表示すると共に、時間的に対応する当該認識結果時間部分及び当該関連時間部分に前記情報高提供部分が存在する場合には、当該認識結果時間部分及び当該関連時間部分各々内の前記情報高提供部分を、その表示態様を他の部分の表示態様と異なるように、表示することを特徴とする。

請求項５に記載の発明は、請求項３又は請求項４に記載の発明において、前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段と、前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段と、を備えている。

請求項６に記載の発明の音声データ認識プログラムは、コンピュータを、話者によるスピーチの音声データを入力する第１の入力手段、前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段、前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段、前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段、及び前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段として機能させる。

請求項７に記載の音声データ認識プログラムは、請求項６に記載の発明において、前記コンピュータを、前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段、及び前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段として更に機能させる。

請求項８に記載の発明は、コンピュータを、話者によるスピーチの音声データを入力する第１の入力手段、前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段、前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段、前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段、前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段、前記認識結果を構成する複数の部分内で、他の部分より情報を提供する度合いが高い情報高提供部分を抽出する抽出手段、前記情報高提供部分が前記スライドまたはノートに含まれているか否かを判断する判断手段、及び前記情報高提供部分が前記スライドまたはノートに含まれていると判断された場合、前記情報高提供部分に対応する前記認識結果の部分を、ノートとして抽出すると共に、表示手段に当該抽出したノートを表示する制御手段として機能させる。

請求項９に記載の発明は、請求項８に記載の発明において、前記制御手段は、前記認識結果を所定時間毎に分割して認識結果時間部分を生成し、生成された認識結果時間部分に時間的に関連する前記スライドまたはノートの部分である関連時間部分を抽出し、時間的に対応する認識結果時間部分と関連時間部分とを対応して前記表示手段に表示すると共に、時間的に対応する当該認識結果時間部分及び当該関連時間部分に前記情報高提供部分が存在する場合には、当該認識結果時間部分及び当該関連時間部分各々内の前記情報高提供部分を、その表示態様を他の部分の表示態様と異なるように、表示することを特徴とする。

請求項１０に記載のノート表示プログラムは、請求項８又は請求項９に記載の発明において、前記コンピュータを、前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段、及び前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段として更に機能させる。

図１は、本発明による例示的な共同ノート取りシステム１００を利用する場合の概観図である。マイクロホン・アレイ２００、環境センサ３００、自動音声認識システム４００、パソコン５００、第１のタブレットパソコン６００、第２のタブレットパソコン７００がすべて通信回線９９を通じて共同ノート取りシステム１００に接続されている。

本発明による種々の実施例の1つでは、クラスを提供する話者が識別される。話者識別子は、話者の名前、話者の従業者番号、あるいは話者および共同ノート取りシステムに対するスピーチ情報を一意的に識別できる任意の他の情報を含んでいてもよいが、それらに限定されるものではない。話者識別子は、自動音声認識システム４００のための言語モデルに基づいて話者を任意に判定するために使用される。話者に基づいた言語モデルは、話者のアクセント、音律、イントネーション等のような特異なスピーチ特徴を補償するために用いられる。

次に、クラスの分野または主題が判定される。分野情報は、クラスの主題をダイアログボックスまたは他のユーザー・インタフェース入力コンポーネントに入れることによって判定される。他の種々の実施例では、分野情報は、スピーチ情報におけるトピック・キーワードまたは他の顕著なトークン（salient tokens）に基づいている。本発明によるさらに他の実施例では、スピーチ用ノート、プレゼンテーション用スライド、クラス・スケジュール、ロケーション・センサのような外部情報が、分野情報を判定するためおよび／または推定するために用いられうる。

従って、実施例の１つでは、分野情報を判定するために、プレゼンテーション用スライドおよび／または話者のノートの機械可読コピーが用いられる。分野情報が判定されると、分野ベース言語モデルが判定される。次に、複合の話者・分野ベース言語モデルを判定するために、話者言語モデルおよび／または分野言語モデルが任意に組み合わせられる。複合の話者・分野ベース言語モデルは話者のスピーチ特徴とクラスの分野語彙との両方に特有であるから、複合の話者・分野ベース言語モデルは、顕著なスピーチ情報を識別しかつ共同ノートを作成するのに有用である。

本発明による一例では、話者「ジム・スミス」（Jim Smith）の識別は、「ジム・スミス」の発音アクセントでのスピーチ発声を認識するのに適した話者ベース言語モデルを選択するために用いられる。話者識別は、話者の履歴、研究分野、以前のプレゼンテーション等に基づいて初期の分野を推定するためにも用いられうる。推定された分野情報は、分野ベース言語モデルを判定するために用いられる。分野は、通常、動的に判定されることが明らかであろう。従って、付加的な調整および／または新しい分野ベース言語モデルを判定するために、爾後の分野情報を用いることができる。

話者ベース言語モデルおよび／または分野ベース言語モデルが判定された後で、閾顕著性モデル（threshold salience model）に基づいて、スピーチ情報における顕著なトークンが判定される。閾顕著性モデルは、スピーチ情報における非機能語を識別する。本発明による種々の実施例では、顕著性モデルは、語の頻度、頭字語の存在、頭字語の拡張、データ、数字、図、文法性、適格性、品詞、形容詞、動詞、名詞または任意公知のあるいは後で開発された情報提供性の目安に基づいて非機能語を判定する。

次に、プレゼンテーション用スライドおよび／または話者のノートに含まれた情報が判定される。そして、顕著なトークンの関連性と正確性が判定される。本発明による種々の実施例では、関連性情報が、添付のプレゼンテーション用スライド、話者のノート等に対する顕著なトークンの関連性に基づいて判定される。従って、１つの実施例では、認識されたスピーチの各ユニットに対して、幾つかの候補フレーズが判定される。候補トークンの言語分析は、ゼロックス・リングイステイック・エンバイロンメント（Xerox Linguistic Environment）のツール、リビア・ポラニイ外（Livia Polanyi et al.）のユニファイド・リングイステイック・デイスコース・モデル（Unified Linguistic Discourse Model）、あるいは他の任意公知のまたは後で開発された言語ツールを用いて行われる。言語ツールは、統語的、意味的および／または語彙的一貫性に基づいて候補のトークンをランク付けするためのメトリクス（metrics）を与えるために用いられる。プレゼンテーション用スライド、話者のノート、または他のサポート資料に見られる候補のトークンは関連性がより高いと推定される。従って、重複する候補のトークンが、より高い関連性スコアに関連される。

従って、候補の顕著なトークンの部分が現在のプレゼンテーション用スライド、現在の話者のノート、または他のサポート資料に存在する場合には、そのトークンはノート取り作業に対する関連性がより高いと考えられ、より高くランク付けされる。正確性スコアも、各顕著なトークンについて判定される。本発明による種々の実施例の１つでは、正確性スコアは、共同ユーザー・フィードバック情報に基づいて判定される。例えば、大きいグループのユーザーによる候補の顕著なトークンの選択は、それらの顕著なトークンの正確性を推定するために用いることができる。逆に言うと、候補の顕著なトークンの変更、大きなグループのユーザーが候補の顕著なトークンを無視すること、および／または他の行為が、顕著なトークンの正確性がより低いと推定するために用いられる。従って、本発明による実施例の１つでは、顕著なトークンの正確性スコアをより低く調整するために、負の共同フィードバック信号が用いられうる。

本発明による他の種々の実施例では、話者、ミーテイング・ジャンル、提示される主題、あるいはその他のカテゴリに対して、異なるプレゼンテーション・スタイルが判定される。プレゼンテーション・スタイルは、どのように話者が異なるタイプの情報を口頭で提示するかを示す予測モデルである。話者の筆記したプレゼンテーションと関連された対応するプレゼンテーション・スタイルも判定される。次に、話者の筆記したプレゼンテーション・スタイルに基づいた話者の口頭によるプレゼンテーション・スタイルを予測する予測モデルが判定される。

例えば、本発明による種々の実施例の１つでは、話者による筆記プレゼンテーションのトレーニング・コーパス（training corpus）が談話分析の理論に基づいて分析される。次に、談話の構造的表示が筆記プレゼンテーションに対して判定される。談話の構造的表示が束ねられ（clustered）、筆記された談話の例示的構造表示が判定される。各筆記プレゼンテーションを伴うスピーチ情報が判定され、そして口頭での談話の例示的構造表示が同様に判定される。異なる分野、ジャンル、言語および／またはプレゼンテーション情報についての他の公知のあるいは後で開発されたカテゴリに対する話者の例示プレゼンテーション・スタイルを推定するために、談話の筆記された構造表示と口頭での構造表示との比較が用いられる。

従って、１つの例では、第１の話者が、インサイド・アウトのプレゼンテーション・スタイルに関連される。インサイド・アウトのプレゼンテーション・スタイルは、先ずより詳細な点を説明し、次に修辞的な議論をより大きいグループに構築しまたは組み立てることによってプレゼンテーションを開始する。これに対して、第２の話者は、アウトサイド・インのプレゼンテーション・スタイルに関連されうる。アウトサイド・インのプレゼンテーション・スタイルは、先ず大きい点に焦点を合わせ、次に漸次的に詳細になる情報でもって、これらの点に対するサポートを見いだす。

従って、現在のプレゼンテーション・スタイルをプレゼンテーション資料と比較することによって、プレゼンテーション情報の関連性が見込まれる部分が動的に判定される。プレゼンテーション情報の関連性が見込まれる部分の判定は、スピーチ情報の顕著なトークンが比較され得る根拠を与える。次に、顕著なトークンをプレゼンテーション情報の関連性のある部分における語と比較することによって、顕著なトークンの関連性と分野の推移とが判定される。自動音声認識のための分野ベース言語モデルを調整しかつ／または選択するために、分野に対する調整が用いられる。時間的に関連されたコンテキスト情報に基づいて認識タスクを順応的に改善するために本発明が用いられうることが明らかであろう。

次に、共同ノートが判定され、そして共同ノート取りユーザー・インタフェース内のパソコン５００、第１のタブレット・パソコン６００および第２のタブレット・パソコンのユーザーに表示される。共同ノート取りユーザー・インタフェースが、その共同ノート取りユーザー・インタフェース内のユーザーの行動をモニタする。モニタされた行動が、共同ユーザー・フィードバック信号を判定するために用いられる。次に、その共同ユーザー・フィードバック信号に基づいて、分野ベース言語モデルに対する調整が判定される。共同ユーザー・インタフェース内のユーザの行動をモニタすることは例示にすぎず、本発明を実施する際にユーザー・フィードバック信号を生成するためには、ビデオで捕らえたユーザーのジェスチャー、ユーザーの音声表示あるいは他の任意のユーザーの行動も用いられうることが明らかであろう。

本発明による種々の実施例では、共同ノート取りユーザー・インタフェースが、プレゼンテーション用スライドまたは他のプレゼンテーション情報のプレゼンテーション・ビューを維持する。プレゼンテーション・ビューは、スピーチ情報によって現在記述されているプレゼンテーションの部分と同期される。この同期化は、プレゼンテーション・ノートと、スピーチ情報または任意公知のあるいは後で開発されたメトリック（metric）との間の最大の関連性ついての判定に基づいていてもよい。プレセンテーション・ビューがプレセンテーション情報の所望のビューを含まないとユーザーまたはユーザーのグループが判定した場合には、そのユーザーまたはユーザーのグループは、他のプレセンテーション情報を表示するようにビューを変更することができる。本発明によるさらに他の実施例では、話者に対するプレゼンテーション・スタイルの予測モデルを調整するために、同期化されたビューに対する任意の変更が用いられる。

図２は本発明による共同ノート取り方法の一例を示している。プロセスはステップＳ１００で開始し、直ちに任意のステップＳ１５０に進む。ステップＳ１５０では、スピーチ情報が判定される。スピーチ情報は、自動音声認識システム等から判定されうる。次に、プロセスは任意のステップＳ２００へと進む。

ステップＳ２００では、話者識別子情報が任意に判定される。話者識別子情報は、クラスを与える話者の氏名、話者に割り当てられた識別番号またはスピーチ情報のソースを話者に関連付ける任意の他の識別子を含んでいてもよいが、それには限定されない。従って、教室のワイヤレス・マイクロホンに関連されたコードで、その教室のワイヤレス・マイクロホンを使用する話者を容易に識別できるようにする。しかし、本発明を実施するに当たっては、話者情報を識別するための任意の方法を使用してもよいことが明らかであろう。
話者識別子情報が判定された後で、コントロールはステップＳ３００へと進む。

クラスまたはセミナーに関連した分野情報がステップＳ３００で判定される。分野情報は、話者による分野情報の明示的エントリに基づいて認定されてもあるいは推定されてもよい。従って、本発明による種々の実施例では、分野情報が、クラススケジュール、会議の議題、あるいは黙示のまたは明示の分野情報の任意の他のソースに基づいて判定される。本発明によるさらに他の実施例では、分野情報が、初期のスピーチ情報における顕著な情報に基づいて判定される。例えば、「Thank you for attending this lecture describing recent advances in proteomics」（「プロテオミクスの最近の進歩に関する講演に出席していただき有難うございます」）というフレーズは、論述の分野を明示的に示している。分野情報が判定された後で、コントロールはステップＳ４００へと進む。

ステップＳ４００において、任意の話者情報および／または分野情報に基づいて、言語モデルが判定される。次に、話者ベース言語モデルが、分野ベース言語モデルと組み合わせられて、複合の話者・分野ベース言語モデルとなる。話者識別子情報を用いることで、特定の言語および／または話者の使用パターンに基づいた言語モデルの選択が可能となる分野ベース言語モデルは、識別された分野に生じやすい語のタイプに対する応答性をシステムが動的に増加させるようにする。言語モデルが判定された後で、コントロールはステップＳ５００へと進む。

顕著なトークンが、ステップＳ５００におけるスピーチ情報における語の情報提供性に基づいて判定される。例えば、本発明による実施例の１つでは、スピーチ情報における非機能語が識別される。その後、各非機能語の情報提供性が、情報提供性メトリックに基づいて判定される。情報提供性メトリックは、語頻度等を含みうるが、それに限定されない。本発明による種々の実施例では、スピーチ情報の頭字語の存在、頭字語の拡張、データ、数字、図、文法性および／または適格性も、情報提供性メトリックとして用いられうる。本発明によるさらに他の実施例では、形容詞、動詞、名詞のような品詞におよび／またはプレゼンテーション・サポート情報に対する参照に基づいた非機能語の分類が、顕著なトークンを判定するために用いられる。しかし、本発明の実施では、スピーチ情報における顕著なトークンを判定する任意公知のまたは後で開発された方法を、単独であるいは組み合わせて用いてもよいことが明らかであろう。スピーチ情報における顕著なトークンが判定された後で、コントロールはステップＳ６００へと進む。

ステップS６００では、サポート情報が判定される。サポート情報は、プレゼンテーション用スライドから抽出された情報、話者のノートからの情報、あるいは分野またはトピック情報を識別するのに有用な任意の他の情報源を含みうる。サポート情報が判定された後で、コントロールはステップS７００へと進む。

スピーチ情報における顕著なトークンに対する関連性情報と正確性情報がステップS７００で判定される。関連性情報は、スピーチ情報とプレゼンテーション情報との同系性に基づいて判定されうる。例えば、本発明による実施例の１つでは、スピーチ情報における顕著なトークンとプレゼンテーション用スライドの関連性のある部分に存在する語との間の意味的関係性の表示を与えるために、ワードネット（WordNet）（登録商標）用語集のクラスが利用される。関連性情報と正確性情報が判定された後で、コントロールはステップS８００へと進む。

ステップS８００では、スピーチ情報における顕著なトークン、サポート情報、関連性情報および正確性情報に基づいて、共同ノートが判定されかつ表示される。例えば、本発明による種々の実施例の１つでは、スピーチ情報における顕著なトークンとプレゼンテーション情報に基づいて、提案された共同ノートが判定される。すなわち、提案された共同ノートは、顕著なトークンおよび／またはプレゼンテーション情報の部分を含んでいてもよいが、それに限定されない。

共同ノートの複数の部分は、それらの関連性を表示するために、必要に応じて、人間の感知可能な表示特性でハイライトされる。プレゼンテーション情報における語と概念的にまたは文字通りに重複するスピーチ情報のトークンが、必要に応じて、太字でハイライトされ、斜字体で設定され、種々のカラーで表示され、あるいは明滅する特性をもってまたは任意の他の公知のまたは後で開発された人間の感知可能な表示特性を用いて表示される。
矢印、ポインターまたはユーザーの注意を向けるための任意の他の方法も、本発明の範囲から逸脱することなしに、利用できることが明らかであろう。

本発明によるさらに他の実施例では、信頼性スコア、正確性スコア、関連性スコア、ユーザー関心等のうちの１つまたはそれ以上のものの任意の組み合わせに基づいて、人間の感知可能な表示特性が動的に判定される。従って、変化するカラー、フォント、サイズでかつ／またはユーザーの注意を引きつけやすくかつ選択を容易にしやすい任意の他の人間の感知可能な表示特性を用いて、より関連性が高くかつ／またはより関心の高い資料が任意に表示される。さらに、ホットスポットまたは所望の情報を選択するために使用可能な他のユーザー・インタフェース選択要素のサイズを動的に判定するために、関連性、正確性、信頼性等の大きさも任意に用いられる。例えば、パーソナル・デジタル・アシスタント等の小型デイスプレイで共同ユーザーに情報が表示される場合には、過渡的選択期間にその情報を任意にダナミック・ズーミングすることによって、小型デイスプレイを情報で一杯にする。これによって、情報のユーザー選択が容易になる。過渡的選択期間の後では、その情報は通常のサイズで表示される。共同ノートが判定されかつ表示された後で、コントロールはステップS９００へと進む。

次に、ステップS９００で、共同ユーザー・フィードバック情報が判定される。共同ユーザー・フィードバック情報は、明示的なおよび／または黙示的なフィードバックを含んでいてもよいが、提案された共同ノートの一部分が共同ユーザーによって選択されることに限定されるものではない。本発明による種々の他の実施例では、共同ユーザーは、信頼されたおよび／または模範的なノート取り要員のグループを選択することができる。信頼されたおよび／または模範的なノート取り要員に関連した共同フィードバック情報は、共同ユーザー・インタフェース内の情報をランク付けする場合には、より高いウエイトを与えられる。本発明によるさらに他の実施例では、共同ユーザー・フィードバック情報は、大部分のユーザーの行動に基づいて、ウエイト付けされる。しかし、本発明の範囲から逸脱することなしに、共同ユーザー・フィードバック情報に対する任意公知のまたは後で開発されたウエイト付けを使用できることが明らかであろう。共同ユーザー・フィードバック情報が判定された後で、コントロールはステップS１０００へと進む。

ステップS１０００では、共同ユーザー・フィードバック情報が言語モデルの調整を必要とするか否かについて判定される。言語モデルの調整が必要と判定された場合には、コントロールはステップS１１００へと進む。ステップS１１００で、言語モデルが調整され、そしてコントロールはステップS７００へと直ちにジャンプする。言語モデルに対する調整がそれ以上は必要でないとの判定がステップS１０００でなされるまで、ステップS７００−S１１００が反復される。言語モデルに対する調整がそれ以上必要でない場合には、コントロールはステップS１２００へと進み、そこで、セッションの終了が要求されたか否かの判定がなされる。

ドロップダウンダイアログボックス、ボイスコマンドまたはセッションの終了を表示するための任意の他の公知のまたは後で開発された方法を選択することによって、セッションの終了が要求される。セッションの終了が要求されていないと判定された場合には、コントロールは直ちにステップS１５０にジャンプする。ユーザーがセッションの終了をしたことがステップS１２００で判定されるまで、ステップS１５０−S１１００が反復される。セッションの終了が要求されたと判定された場合には、コントロールはステップS１３００へと進み、プロセスが終了する。

図３は本発明の１つの態様による共同ノート取りシステム１００を示している。この共同ノート取りシステム１００は、メモリ１０、プロセッサ１５、話者判定回路２０、言語モデル判定回路２５、顕著なトークン判定回路３０、サポート情報判定回路３５、関連性スコアおよび／または正確性判定回路４０、表示回路４５、共同ユーザー・フィードバック判定回路５０、言語モデル調整回路５５、分野判定回路６０で構成されており、それぞれ入力／出力回路５に接続されている。入力／出力回路５は、第１のタブレット・パソコン６００、第２のタブレットパソコン７００、マイクロホンアレイ２００、環境センサアレイ３００、自動音声認識システム４００および共同ノート取りシステム１００に通信回線９９を通じて接続されている。

クラスまたはセミナー時に、スピーチ情報がマイクロホンアレイ２００によってとらえられる。マイクロホンアレイは、話者を識別するためにスピーチ処理方法を使用しうる。しかし、本発明を実施する場合には、小型マイクロホン、タグ式ワイヤレスマイクロホン、高周波識別タグ式マイクロホン、あるいは自動音声認識システムに対して話者を識別するのに有用な任意の他のタイプのマイクロホンも使用できる。自動音声認識システムは、スピーチ情報を認識して、任意に話者を識別されたスピーチ情報を共同ノート取りシステム１００に通信回線９９を通じて送信する。

プロセッサ１５が入力／出力回路５を動作させて、自動音声認識システム４００から任意に話者を識別されたスピーチ情報を受信する。話者判定回路２０が動作されて、スピーチ情報に関連した話者を判定する。本発明による種々の実施例の１つでは、各話者は登録処理によってシステムに明示的に識別される。本発明による他の実施例では、黙示的な話者識別は、話者に関連した音声特性の認識、タグ式マイクロホン、ビデオ識別、ＲＦＩＤタグ、および／または任意公知のあるいは後で開発されたスピーチ情報のソースを判定する方法に基づく。

次に、プロセッサ１５が分野判定回路６０を動作させて、スピーチ情報に関連した分野またはトピックを判定する。分野情報は、明示的および／黙示的表示に基づいて判定されうる。例えば、クラス論議の分野を明示的に識別するためには、話者登録システムからのタイトル情報、クラス・スケジュール、または任意公知のまたは後で開発された情報ソースを用いることができる。本発明による他の実施例では、クラスルーム・スケジュールが、クラスの分野を判定するために用いられる。分野情報は、話者によってなされる紹介の言葉に基づいて黙示的に判定される。例えば、「Today we will be discussing topic A」（「今日は、トピックAについて述べます」）というフレーズまたは「Welcome to our class on topic B」（「トピックBについての私たちのクラスへようこそ」）というフレーズあるいはその両方が、認識可能な談話構造を形成する。クラスに対する論議分野を判定するために、認識可能な談話構造における情報提供性非機能語が用いられる。

スピーチ情報の関連コンテキストを自動的に判定するために、分野情報が用いられる。すなわち、分野の動的判定に基づいて、特定の分野ベース言語モデルが選択されかつ／または調整される。動的分野判定は、スピーチ情報に基づいていてもよく、かつ／またはプレゼンテーション用スライド、クラス設定、分野情報等の明示的なエントリーのような外部表示に任意に基礎づけられうる。分野ベース言語モデルは、分野に対する共同ノートを判定するのに有用なスピーチ情報における顕著なトークンをより正確に識別する。

次に、プロセッサ１５は言語モデル判定回路２５を動作させる。言語モデル判定回路２５は、自動音声認識システム４００によって使用されるべき言語モデルを判定する。本発明による種々の実施例の１つでは、話者ベース言語モデルと分野ベース言語モデルとが組み合わせられて、複合の話者・分野ベース言語モデルとなされる。しかし、上述のように、話者言語モデルと分野言語モデルは、本発明の範囲から逸脱することなしに、スピーチ情報に個別にまたは独立に適用されうる。

顕著なトークン判定回路３０が次に動作され、スピーチ情報における顕著なトークンを判定する。種々の実施例において、スピーチ情報における顕著なトークンは、非機能語に基づいて判定される。より情報提供性の高い非機能語が顕著なトークンとして選択される。非機能語の情報提供性は、品詞のような情報提供性のメトリックに基づいて判定される。

次に、サポート情報判定回路３５が動作されて、スピーチ情報に文脈的にかつ時間的に関係づけられたプレゼンテーション・サポート情報を判定する。例えば、プレゼンテーション用スライド上の論点や話者のノート等のような視覚資料によって、多くのプレゼンテーションが案内される。本発明による実施例の１つでは、プレゼンテーションサポート情報判定回路３５は、話者の現在の論点の基礎をなすプレゼンテーションサポート情報の部分を判定するために、メモリ１０から取り出されたプレゼンテーションスタイルの予測モデルを使用する。次に、関連スピーチ情報における顕著なトークンが、プレゼンテーションサポート情報の予測された部分と比較される。プレゼンテーションサポート情報とスピーチ情報とで共有される語および／または概念の数および／またはタイプが、スピーチ情報に対する現在の分野の関連性を判定するために用いられる。

関連性／正確性判定回路４０が次に動作され、スピーチ・トークンの関連性および正確性を判定する。すなわち、プレゼンテーション情報または外部表示との文字どおりのおよび／または概念上の重複の度合いに基づいて、第１の組の候補トークンが第２の組のトークンよりも関連性が高いことを示すために、関連性情報を用いることができる。本発明による他の実施例では、話者識別、分野情報および／またはモニタされた共同ユーザー・フィードバック情報の明示的および／または黙示的表示を判定するために環境センサを用いることができる。

関連性／正確性回路によって判定された正確性情報は、候補のトークンが正しい可能性を示す。実施例の１つでは、正確性が環境センサに基づいて示されている。環境センサは、共同ユーザー・フィードバック情報をモニタするセンサを含んでいてもよいが、それに限定されない。共同ユーザー・フィードバック・センサは、スピーチ情報、提示された共同ノート、プレゼンテーションの一部分、あるいは共同ノート取りユーザー・インタフェースの任意の他の要素に関するユーザーの行動を判定する。環境センサは、正または負の共同ユーザー・フィードバック信号を判定するために用いられうることが明らかであろう。例えば、１つの実施例では、ユーザー正確性または提示された共同ノートおよび／または顕著なトークンの修正に基づいて、負の共同ユーザー・フィードバック信号が生成される。次に、顕著なトークンに関連した正確性値を調整するために、共同ユーザー・フィードバック信号が用いられる。共同ユーザー・フィードバック・センサは、ジェスチャー認識を行い、ユーザーの身振り、顔の表情、あるいは正確性を判定するのに有用な任意の他の特徴または動作をモニタする。

次に、プロセッサ１５が動作して、顕著なトークン、スピーチ情報およびサポート情報に基づいて、提案された共同ノートを判定し、第１のタブレットパソコン６００と第２のタブレットパソコン７００のユーザーに表示する。本発明による種々の実施例では、スピーチ情報、サポート情報、および／または共同ノートが、文法のハイブリッドおよび／またはキーワード・サマリー・ジェネレータ、ビデオ・シーン認識および／または他の変換を適用することによって、さらに変換される。

共同ユーザー・フィードバック判定回路５０が動作され、顕著なトークンおよび／または共同ノート取りインタフェースで表示される提示された共同ノートの要素に対する共同ユーザー・フィードバック・レスポンスを判定する。言語モデル調整回路５５が動作され、話者ベースおよび／または分野ベース言語モデルに対する必要な調整を判定する。話者ベースおよび／または分野ベース言語モデルに対する調整は、分野の判定された変化、共同ユーザー・フィードバック信号、環境センサ、および／またはサポート情報に、単独でまたは組み合わせで、基づいている。

図４は、本発明の１つの態様による顕著なトークンを判定する例示的な方法である。コントロールはステップS500で開始し、直ちにステップS５１０へと進む。ステップS５１０では、スピーチ情報が判定される。本発明による種々の実施例では、スピーチ情報が自動音声認識システムによって認識される。本発明によるさらに他の実施例では、自動音声認識システムが、共同ノート取りシステム内に組み込まれうる。認識されたスピーチ情報が判定された後で、コントロールはステップS５２０へと進む。

ステップS５２０では、スピーチ情報に関連した分野情報が判定される。通常は、分野情報は前もって判定されて、メモリにセーブされ、ステップS５２０で、そのメモリから情報が取り出される。しかし、分野情報はまた、ユーザーからの明示的な表示、スピーチ情報から得られた黙示的な情報に基づいてあるいは任意の他の方法に基づいて、ステップS５２０で、動的に判定される。分野情報が判定された後で、コントロールはステップS５３０へと進む。

ステップS５３０において、機能語が判定される。機能語はフレーズまたはセンテンス内に含まれている、より情報提供性が低くかつ分野特定性が低い語である。さらに、機能語は、得られたフレーズやセンテンスの情報提供性に大きな影響を及ぼすことなしに
省略できる語である。機能語が判定された後で、コントロールはステップS５４０へと進む。

ステップS５４０では、非機能語が判定される。本発明による種々の実施例において、非機能語は、センテンスまたはフレーズ内の語から機能語を除去することによって判定される。得られた語および／またはフレーズの組は、より情報提供性の高い非機能語である。非機能語が判定された後で、コントロールはステップS５５０へと進む。

ステップS５５０では、候補の顕著なトークンが、情報提供性の他のメトリックに基づいて判定される。情報提供性のメトリックは、語の頻度と頭字語の存在を含むが、それに限定されない。頭字語の展開内における非機能語の存在、および／または候補の顕著なトークン内のデータ、数字、図の存在も、それらの顕著性を推定しかつ／または判定するために用いることができる。品詞分類、文法性、適格性、および／または任意の他の情報提供性も、顕著なトークンを判定するために用いることができる。本発明による種々の実施例の１つでは、認識されたスピーチ情報における形容詞がサポート資料を参照しやすい。同様に、「DNA」のような頭字語、数字のような特定のデータ、および／または図面の参照も、情報提供性がより高くなりやすい。頭字語の展開も、プレゼンテーションの分野および／またはトピックに対して情報提供性がより高くなりやすい。候補トークンの情報提供性が判定された後で、コントロールはステップS５６０へと進む。その後で、コントロールは直ちに図２のステップS６００へと戻される。

図５は本発明の１つの態様によるスピーチ情報の関連性と正確性を判定する例示的な方法である。プロセスはステップS７００で開始し、直ちにステップS７１０へと進む。

ステップS７１０では、候補トークンが、語彙的、意味的および統語的情報に基づいて判定される。例えば、本発明による種々の実施例では、品詞タッガー（part-of-speech tagger）、語彙的パーサー（lexical parser）および／または語および／またはフレーズの重要性を判定するのに有用な言語ツールが、重要なトークンを判定するために用いられる。そのトークンが判定された後で、コントロールはステップＳ７１０へと進む。

ステップＳ７１０では、品詞、統語的、語彙的および意味的情報が、スピーチにおける顕著なトークンを判定するために用いられる。例えば、修正語句として識別される品詞は、分野に関連しやすい。同様に、プレゼンテーションサポート情報の参照は、分野関連性を判定するための既知の根拠とのつながりを与える。顕著なトークンが判定された後で、コントロールはステップＳ７１０へと進む。

情報スライドから来た情報、および／または共同ユーザーの活動を含む、任意の他の文脈的に関連しかつ時間的に同期化されたサポート情報のチャンネルが、ステップＳ７２０で顕著なトークンの関連性スコアを評価するために用いられる。スピーチ発話は種々の代替的な認識フレーズを生成しやすい。従って、外部の時間的に同期された情報、共同ユーザー活動情報、あるいは分野関連性を判定するのに有用な任意の他の公知のまたは後で開発された外部情報との文字的および／または意味的重複を含むがそれに限定されない種々の関連性メトリックに基づいて、多数のフレーズのそれぞれに対して判定される。

スピーチ発話に関連した付加的な代替フレーズにも、関連性スコアが割り当てられる。プレゼンテーション情報に対してより大きい文脈的または文字的関係性を有する代替フレーズには、より高い関連性スコアが割り当てられる。本発明による種々の他の実施例では、共同ユーザー・フィードバック信号は、関連性スコアを調整するためにも用いられうる。トークンの選択および／または変換、提案されたノートの選択等のような正の共同ユーザー・フィードバック信号が、関連性判定を補強するために用いられる。同様に、負の共同ユーザー・フィードバック信号は、予測モデルを保持するためにも用いられうる。従って、より頻繁に選択される代替フレーズには、より高い関連性スコアが割り当てられる。それらのフレーズに対する関連性スコアが判定された後で、コントロールはステップＳ７３０へと進む。

ステップＳ７３０では、プレゼンテーション情報およびフィードバック情報に基づいて、トークンに対する正確性スコアが判定される。例えば、１つのトークンに関連した正確性スコアは、多数の共同ユーザーが彼らのプライベート・ノートに顕著なトークンを追加したことを示す共同ユーザー・フィードバック情報に基づいて、増加されうる。トークンの適格性は、正確性の表示としても用いられうる。トークンの文法性およびユーザーによって既に採用された以前のトークンに対する関連的な一貫性も、正確性スコアを調整するために用いることができる。従って、ゼロックス・リングイステイック・エンバイロンメント（XLE）による処理に基づいたメトリック、ユニファイド・リングイステイック・デイスコース・モデル（Unified Linguistic Discourse Model）によって識別された特徴、または任意の他の組の言語ツールが、正確性の目安を判定するために用いられうる。正確性の言語的目安が実施例の１つに記述されているが、本発明の実施では、顕著なトークンの正確性の任意のメトリックも用いられうることに注目すべきである。トークンの正確性スコアが判定された後で、コントロールはステップＳ７４０へと進み、そして直ちに図２のステップＳ８００に戻る。

図６は、本発明の１つの態様による、候補の顕著なトークン情報を格納するための例示的なデータ構造８００を示している。候補の顕著なトークン情報８００を格納するための例示的なデータ構造は、トークン情報部分８１０、信頼性スコア部分８２０、正確性スコア部分８３０、および関連性スコア部分８４０で構成されている。

候補トークンを格納するための例示的なデータ構造８００の最初の行は、トークン情報部分８１０に「This diagram on the wall is the key to our understanding」（「壁上のこの図表が我々の理解のための鍵である」）という値を含んでいる。トークン情報は、スピーチ発話に関連したありうる内容を表している。トークン情報は、共同ノートの一部または全部として、共同ノート取りユーザー・インタフェース内に任意に表示される。

信頼性スコアは値「０．０８」を含んでいる。値「０．０８」はスピーチ発話を正確に表す。信頼性部分８２０は自動音声認識システムから得られてもよく、あるいは共同ノート取りシステム１００から直接判定されてもよい。

正確性スコア部分８３０は値「０．９９」を含んでいる。この正確性スコア部分８３０の「０．９９」値は、指定されたトークンがスピーチ情報を正確に示している可能性を示している。本発明による種々の実施例では、正確性スコアの値は、ゼロックス・リングイステイック・エンバイロンメント（XLE）で提供されるツールのような言語的文解析ツールおよび／または上述したリングイステイック・デイスコース・モデルによって提供される談話一貫性の目安に基づいて判定される。しかし、本発明の実施では、正確性スコアを判定するための任意の方法を使用できることが明らかであろう。従って、本発明によるさらに他の実施例では、投票メトリクス（voting metrics）等に基づいて正確性スコアを判定するために、共同ユーザー・フィードバック信号が用いられる。あるいは、正確性スコア部分８３０における値は、プレゼンテーション・サポート情報の該当部分とスピーチ情報との間の類似性に基づいて判定される。さらに他の実施例では、トークンまたはフレーズの適格性は、トークン情報の正確性の明示的表示を提供するためにも使用される。

関連性スコア部分８４０は、値「０．９９」を含んでいる。この値「０．９９」は、トークン情報が関連性の高いことを示している。本発明による種々の実施例の１つでは、関連性スコア部分８４０における値は、トークン情報とプレゼンテーション情報との間の類似性のメトリックに基づいている。本発明によるさらに他の実施例では、類似性メトリックスが、トークン情報とプレゼンテーション情報との間の意味的関連性の度合いに基づいて判定される。

候補の顕著なトークン情報を格納するための例示的なデータ構造の２番目の行は、トークン情報部分８１０に、「The diet on the walk is the key to hour understanding」（「歩道上のダイエットは時間理解のための鍵である」）という値を含んでいる。この値は、第２のまたは代替のフレーズまたはセンテンスを表している。

信頼性部分８２０は、トークン情報における信頼性を示す値「０．０８」を含んでいる。上述のように、信頼性情報は、音声認識システムによって提供される信頼性情報から判定されうるか、あるいは共同ノート取りシステムによって直接判定されうる。

正確性部分８３０は値「０．０５」を含んでいる。この値は、トークン情報が正しい可能性があることを示している。本発明による種々の実施例では、ユニファイド・リングイステイック・デイスコース・モデル、ゼロックス・リングイステイック・エンバイロンメントおよび／または任意の他の言語分析の間の一貫性の意味的、統語的および／または他の目安が、正確性の目安として用いられうる。例えば、文法的に正しいそして／または適格なセンテンスは、意味的に正しい可能性がより高い。本発明による他の実施例では、先に判定されたおよび／または採用されたトークンに対する言語的連続性が、トークンの正確性のメトリックとして使用されうる。この場合には、「on the walk」（「歩道上の」）というフレーズが、「the diet」（「ダイエット」）というフレーズを正しく言及する可能性はありそうにない。同様に、フレーズ「hour understanding」（「時間理解」）は、フレーズ「the diet」またはフレーズ「on the walk」の何れとも関係づけるのは難しい。従って、このフレーズに対する正確性の言語ベースのメトリックは低く、このような不正な候補トークンに対する正確性値も従って低い。この場合には、「０．０５」という値は、トークンがスピーチ情報を正しく表すことはありそうにないないことを示す。

関連性スコア部分８４０は値「０．０４」を含んでいる。この値は、プレゼンテーション情報とトークン情報との間の重複の度合いを示す。この「０．０４」という値は、２つの情報スコアの間に概念的重複が殆ど無いことを示す。従って、共同ノート取り環境では、トークン情報部分８１０における情報は、関連性があるとされる可能性がありそうである。

図７は本発明の１つの態様による例示的な共同ノート取りユーザー・インタフェース９００を示している。この例示的な共同ノート取りユーザー・インタフェース９００は、プレゼンテーション・サポート領域９１０、スピーチ領域９２０、およびノート領域９３０とで構成されている。本発明による種々の実施例の１つでは、プレゼンテーション・サポート領域９１０は、個別の第１、第２および第３部分９１１−９１３で構成されている。プレゼンテーション・サポート領域９１０の第１、第２および第３部分９１１−９１３は、時間間隔ｔ₁、ｔ₂およびｔ₃に関連されている。プレゼンテーション・サポート領域９１０の第１、第２および第３部分９１１−９１３に含まれている情報は、クラスまたはセミナーで表示されるプレゼンテーション・サポート資料を示している。従って、話者のサポート情報が、機械読取可能な形式に変換するための公知のまたは後で開発された方法が存在する任意の形式でアクセス可能である場合には、特定の時間間隔の間に提示された話者のサポート情報が、プレゼンテーション・サポート領域９１０に表示される。サポート情報の表示は、サポート情報の任意公知のまたは後で開発された変換の出力でありうることが明らかであろう。例えば、レッスンのサポートで示されるビデオが、描写されたビデオ・シーンの最も顕著なフレームおよび／または自然言語記述によって表されるように取得され、そしてユーザーに提示されうる。プレゼンテーション・サポート領域９１０の第１、第２および第３部分９１１−９１３は、本発明の範囲から逸脱することなく、サイズを固定されていてもよく、あるいはサイズを変化するようにしてもよいことも明らかであろう。

例示的な共同ノート取りユーザー・インタフェース９００のスピーチ領域９２０は、第１、第２および第３部分９２１−９２３で構成されている。本発明による種々の実施例の１つでは、スピーチ領域９２０の第１、第２および第３部分９２１−９２３に表示されている情報は、スピーチ情報における顕著なトークンを示す。本発明によるさらに他の実施例では、顕著なトークンの交互の列が、それらの発生の可能性に基づいて順序付けまたはランク付けされうる。発生の可能性は、信頼性、正確性、関連性および／または任意の他の特徴に基づきうる。

スピーチ情報の実際の情報内容を示す候補の顕著なトークンの可能性は、候補の顕著なトークンとプレゼンテーション情報の関連部分との動的に判定された関連性またはグラウンド・トルース（ground truth）の任意の他の外部目安ならびに正確性の動的判定に基づいて判定される。例えば、スピーチ領域９２０の第１部分９２１は、第１の顕著なトークン情報「We have observed the cross over applicability of techniques for determining DNA structure」（「我々はＤＮＡ構造を判定するための技術が交差的に適用可能であることを認めた」）を含んでいる。第１の顕著なトークンにおける「cross over」という用語は、太字表示特性を用いて表示されている。カラー、フォント、イタリック等を含むがそれに限定されない任意のタイプの表示特性を用いることができる。さらに、ボリューム、強度、および他の適当な表示特性が、触覚表示、聴覚表示等と一緒に用いられうる。太字表示特性は、プレゼンテーション領域９１０の第１部分９１１の対応する太字領域との意味的関連を示す。同様に、スピーチ領域９２０における「determining DNA structure」という用語と「cross over」という用語は両方ともプレゼンテーション領域９１０にも見出される。関連性のメトリックは、文字的重複に限定されるものではなく、現在の分野に対する根拠を判定するのに有用な言語的関連性の任意の目安に基づいていてもよいことが明らかであろう。

スピーチ領域９２０の第２部分９２２は、２つの候補の顕著なトークンを含んでいる。「structure」という用語は、プレゼンテーション領域９１０の第２部分９１２にける情報をスピーチ領域９２０の第２部分９２２における顕著なトークンと関連付ける概念的重複を提供する。次に、スピーチ領域９２０における情報が、顕著なトークンの全体のランクを判定するために、関連性、正確性および任意の信頼性スコアに基づいてランク付けされる。次に、顕著なトークンが、分野ベース言語モデルを動的に選択しかつ／または調整するための特徴として使用されうる。さらに他の実施例では、共同ユーザー・フィードバック信号を判定するために、共同ユーザーの行動がモニタされる。従って、行動するユーザーの大部分が第１の候補の顕著なトークンを選択すれば、正の共同ユーザー・フィードバック信号が判定される。正の共同ユーザー・フィードバック信号は、第１の顕著なトークンを、選択されるべき最も可能性の高い顕著なトークンとして正しくランク付けした予測モデルを任意に補強する。負の共同ユーザー・フィードバック信号も使用されうる。共同ユーザー・フィードバック信号は、分野予測モデルをさらに訓練しかつ／または改善するためにも使用されうる。

スピーチ領域９２０の第３部分９２２は、「Please be sure to stop by our booth after the meeting to sing up for this years July 15 Aspen conference」（今年7月15日のアスペン会議にサインアップするために、このミーテイングの後で我々のブースにぜひお立ち寄りください。）というフレーズを含んでいる。「July 15」と「Aspen」という用語は、プレゼンテーション領域９１０の第３部分９１３における情報と逐語的に重複している。「this years」という用語は、用語「２００４」とフレーズ「this years」の間に存在する意味的関連性を示すために、アンダーライン表示特徴をもって表示される。

スピーチ領域９２０の第３部分９２３における第１の候補の顕著なトークンには斜線が付けられている。これは、候補のフレーズがユーザーによって共同ノートとして選択されたことを示す。変換セレクタ９４１−９４３は、共同ノートを生成するために、選択された候補フレーズに適用されうる付加的な任意の操作に関連している。従って、文法的要約セレクタ９４１は、任意の選択されたテキストの文法的要約を判定する。同様に、ハイブリッド・セレクタ９４２およびキーワード・セレクタ９４３は、選択されたテキストのハイブリッドおよびキーワード要約を生成する。本発明の実施では、共同ノートを生成するのに有用な任意公知のまたは後で開発された言語変換も使用できる。スピーチ領域９２０に表示された情報に対するユーザーの行動が、共同ノート取りシステムに共同ユーザー・フィードバック信号を提供する。分野ベース言語モデルを訓練するためおよび／または適合させるために、共同ユーザー・フィードバック信号が任意に用いられる。

例示的な共同ノート取りユーザー・インタフェース９００は、提案された顕著なトークン９５１のコピーを含んでいる。顕著なトークン９５１の文法的要約も示されている。顕著なトークン９５１のアンダーラインを付けられた部分は、文法的要約で省略された部分を示す。提案された顕著なトークンにおけるイタリックで示された部分「after the meeting」は、文法的要約９５２では「later」に変換されている。

丁寧部分「please be sure to」は省略されている。相対的な時間的表示「this years July 15」は、絶対的な日付「July 15, 2004」に変換されている。これは、ノートがアーカイブされ後年に閲覧される場合に、読み易さを確保するのを助ける。最後に、「conference」（会議）が「conf.」と略語化されている。略語は、特定の研究分野、ユーザーのグループ、個々のユーザー、あるいは任意の他の公知のまたは後で開発されたグループ化に基づきうることが明らかであろう。

図８は、本発明による例示的な共同ノート取りユーザー・インタフェース９００の第２の態様を示している。ユーザーは、スピーチ領域の第１部分９２１に強調された情報を有する。スピーチ領域９２０の第１部分９２１は時間ｔ₁と関連している。しかし、プレゼンテーションおよびスピーチ領域の第３部分が表示されているから、現在の時間は少なくともｔ₃である。共同ユーザー・ノート取りインタフェースが関連情報の各流れのコンテキストを時間マップで保存するので、より早い顕著なトークンおよびプレゼンテーション・サポート情報に対して、より遅い時間ｔ₃においてさえ、共同ユーザー・フィードバック信号を生成するために、ユーザーの正または負の行動が、依然として利用可能である。

図９は、本発明の第１の態様による、プレゼンテーション・スタイル情報を格納するための第１の例示的なデータ構造である。プレゼンテーション・スタイル情報を格納するための例示的なデータ構造１０００は、話者識別子部分１０１０、プレゼンテーション・スタイル部分１０２０、および任意の記述部分１０３０で構成されている。

話者識別子部分１０１０は、共同ノート取りシステムに対する話者を一意的に識別する。プレゼンテーション・スタイル部分１０２０は、プレゼンテーション情報における話者の例示的な流れを特定する。記述部分１０３０は、判定された典型的流れを記述する。例示的なプレゼンテーション・スタイルは、話者を識別されたプレゼンテーション資料のラベル付きトレーニング・コーパスの分析に基づいて判定されうる。

プレゼンテーション・スタイル情報を格納するための例示的なデータ構造の最初の行は、話者識別子部分１０１０に値「１１」を含んでいる。この値は、システムに対する話者を一意的に識別する。プレゼンテーション・スタイル部分１０２０は、記述部分１０３０に値「１」と値「アウトサイド・イン（OUTSIDE-IN）」を含んでいる。これらの値は、話者「１１」が外側で開始しかつ内方に作用するプレゼンテーション・スタイルと関連されていることを示す。

２番目の行は、話者識別子部分１０１０に値「１３」を含んでいる。プレゼンテーション・スタイル部分１０３０における値「２」と記述部分１０３０における値「インサイド・アウト（INSIDE-OUT）」は、話者「１３」がタイプ「２」プレゼンテーション・スタイルと関連されていることを示す。タイプ「２」プレゼンテーション・スタイルは、スピーキング・ノートの内側における詳細なプレゼンテーション資料から始まり、より一般的なポイントを目指す。

３番目の行は、話者識別子部分１０１０に値「２５」を含んでいる。プレゼンテーション・スタイル部分１０２０における値「２」と記述部分１０３０における値「インサイド・アウト（INSIDE-OUT）」は、話者「２５」がタイプ「２」プレゼンテーション・スタイルと関連していることを示す。上述のように、タイプ「２」プレゼンテーション・スタイルは、スピーキング・ノートの内側における詳細なプレゼンテーション資料から始まり、より一般的なポイントを目指す。

４番目の行は、話者識別子部分１０１０に値「３０」を含んでいる。プレゼンテーション・スタイル部分１０２０における値「１」と記述部分１０３０における値「アウトサイド・イン（OUTSIDE-IN）」は、話者「３０」がタイプ「１」プレゼンテーション・スタイルに関連していることを示す。タイプ「１」プレゼンテーション・スタイルは、スピーキング・ノートまたはサポート資料の外側で開始し、そして内方に作用する傾向がある。

図１０は、本発明の他の態様による、プレゼンテーション・スタイル情報を格納するための第２の例示的なデータ構造である。プレゼンテーション・スタイル情報を格納するための、この第２のデータ構造１１００は、話者識別子部分１０１０、筆記プレゼンテーション・スタイル部分１１１０、および口頭プレゼンテーション・スタイル部分１１２０で構成されている。

話者識別子部分１０１０は、話者を一意的に識別する識別子を含んでいる。筆記プレゼンテーション・スタイル部分１１１０は、このタイプのプレゼンテーション・サポート資料における話者の例示的なまたは予測された流れを記述する情報を含んでいる。従って、例えば、筆記されたプレゼンテーション・サポート資料は、プレゼンテーション用スライド、話者のノート、および／または分野情報を識別するのに有用な機械読取可能サポート情報を含んでいてもよい。

口頭プレゼンテーション・スタイル部分１１２０は、話者がクラスを提供する際に使用しそうな口頭プレゼンテーションのスタイルを記述する情報を含んでいる。従って、異なる口頭プレゼンテーション・スタイルが、同じ話者に対する異なる筆記プレゼンテーション・スタイルに関連されうる。例えば、「ヘッデイングス」（headings）の口頭プレゼンテーション・スタイルは、「解説１」の筆記プレゼンテーション・スタイルと関連されている。これは、プレゼンテーション・サポート資料がタイプ「解説１」であると判定された場合には、話者は「ヘッデイングス」として識別されたスタイルでそれらを提示しそうであることを示す。筆記資料および口頭資料と関連された談話の構造的表示における差異と類似の分類に基づいて、筆記プレゼンテーション・スタイルと口頭プレゼンテーション・スタイルが識別されうることが明らかであろう。従って、プレゼンテーション・サポート資料における流れと口頭プレゼンテーションにおける実際の流れ特徴づけるために、談話分析の理論が用いられる。特徴が判定され、そして論述されそうなプレゼンテーション資料の次の部分を予測する予測モデルが、筆記プレゼンテーションにおける話者の現在の位置の基づいて判定される。

すなわち、プレゼンテーション資料内のどちらのポイントを話者が次に提示しそうかを予測するモデルが判定される。次に、プレゼンテーションにおける現在の分野および／または副分野を表す顕著な語を動的に識別するために、この予測語が用いられる。認識されたスピーチと識別された分野との間の関連性の判定が、関連する分野ベース言語モデルを判定するためおよび／または調整するために用いられる。

図１１は本発明による共同ノート取りユーザー・インタフェースの第２の実施例を示している。スピーチ部分９２０の第３部分９２３は、第１および第２の候補トークンを含んでいる。第１の候補トークンは第１の選択領域９６１に関連されている。本発明による実施例の１つでは、第１の選択領域９６１は、第１の候補トークンに関連した関連性、正確性および／または信頼性スコアに基づいてサイズを決められる。

第２の候補トークンは、第２の動的に判定された選択領域９６２と共に表示される。第２の選択領域９６２は第２の候補トークンと関連され、かつ第２の候補トークンに対応した関連性スコア、正確性スコアおよび／または信頼性スコアに基づいている。従って、第２の選択領域９６２は第１の選択領域９６１とはサイズが異なる。第１の選択領域９６１のほうがサイズが大きいので、より高い関連性スコア、正確性スコアおよび／信頼性スコアに関連した候補トークンをユーザーが選択する可能性が高くなる。

図１２は、本発明による共同ノート取りユーザー・インタフェースの第２の実施例を示している。第１の候補トークンは、過渡的にズームまたは拡大された表示領域９６４で表示される。この過渡的にズームされた表示領域９６４は、正確であるかつ／または関連性のある可能性のより高い候補トークンをユーザーが選択するのを容易にする。本発明による種々の実施例において、この過渡的にズームされる表示領域９６４は数秒間だけ表示される。しかし、他の実施例では、過渡的にズームされた表示と通常の表示とを切り替えるために、ズーム選択モードまたはモードを切り替えるための他の方法が用いられる。

図３で説明された共同ノート取りシステム１００の回路１０−６０のそれぞれは、適切にプログラムされた汎用コンピュータの部分として実施されうる。あるいは、上述した共同ノート取りシステム１００は、ASIC内の、あるいはFPGA、PDL、PLAまたはPALを用いた、あるいは個別論理素子または個別回路素子を用いた物理的に異なるハードウエア回路として実施されうる。上記共同ノート取りシステム１００の各回路が取る特定の形態は設計上の選択であり、当業者には明白でありかつ実施可能であろう。

さらに、共同ノート取りシステム１００および／または上述した種々の回路のそれぞれは、プログラムされた汎用コンピュータ、専用コンピュータ、マイクロプロセッサ等で実行するソフトウエア・ルーチン、マネージャまたはオブジェクトとしてそれぞれ実施されうる。この場合、共同ノート取りシステム１００および／または上述した種々の回路のそれぞれは、サーバー上に存在するソース等として通信ネットワーク内に組み込まれた１つまたはそれ以上のルーチンとしてそれぞれ実施されうる。共同ノート取りシステム１００および上述した種々の回路はまた、ウエブ・サーバーまたはクライアント・デバイスのハードウエアおよびソフトウエア・システムのようなソフトウエアおよび／またはハードウエア・システムに共同ノート取りシステム１００を物理的に組み込むことによっても実施されうる。

図3に示されているように、メモリ１０は、可変メモリ、揮発性または不揮発性メモリ、あるいは非可変すなわち固定メモリの任意適切な組み合わせを用いて実施されうる。可変メモリは、揮発性または不揮発性に関係なく、静的または動的ＲＡＭ、フロッピー（登録商標）デイスクおよびデイスクドライブ、書き込み型または書き替え型光デイスクおよびデイスクドライブ、ハードドライブ、フラッシュメモリ等のうちの１つまたはそれ以上を用いて実施されうる。同様に、非可変または固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭのようなＲＯＭ、およびデイスクドライブ等のうちの１つまたはそれ以上を用いて実施されうる。

図１および３に示された通信回線９９はそれぞれ、直接ケーブル接続、ワイドエリアネットワークまたはローカルエリアネットワークによる接続、イントラネットによる接続、インターネットによる接続、あるいは任意他の分散処理ネットワークまたはシステムによる接続を含む、共同ノート取りシステム１００に通信装置を接続するための任意公知のまたは後で開発された装置またはシステムでありうる。一般に、通信回線９９は、装置を接続しかつ通信を容易にするために使用可能な任意公知のまたは後で開発された接続システムまたは構造でありうる。

さらに、通信回線９９は、ネットワークに対する有線または無線のリンクでありうることが理解されるであろう。そのネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネット、あるいは任意他の分散処理および格納ネットワークでありうる。

本発明を上述の実施例に関して説明したが、多くの代替案、修正および変更が問う業者には明らかとらんであろうことは明白である。従って、上述した本発明の実施例は、例示のためのものであり、限定するものではない。本発明の精神および範囲から逸脱することなしに、種々の変更が可能であろう。

本発明による共同ノート取りシステムの一例を使用する場合の概観図である。本発明による共同ノート取り方法の一例を示す図である。本発明の１つの態様による共同ノート取りシステムの一例を示す図である。本発明の１つの態様による、顕著なトークンを判定する方法の一例を示す図である。本発明の１つの態様による音声情報の妥当性と正確性を判定する方法の一例を示す図である。本発明の１つの態様により、候補の顕著表彰情報を格納するためのデータ構造の一例を示す図である。本発明の１つの態様による共同ノート取りユーザー・インタフェースの一例を示す図である。本発明による共同ノート取りユーザー・インタフェースの第２の態様を示す図である。本発明の１つの態様による、プレゼンテーション・スタイル情報を格納するためのデータ構造の第１の例を示す図である。本発明の他の態様による、プレゼンテーション・スタイル情報を格納するためのデータ構造の第２の例を示す図である。本発明による共同ユーザー・インタフェースの第２の実施例を示す図である。本発明による共同ノート取りユーザー・インタフェースの第２の実施例を示す図である。

符号の説明

５入力／出力回路
１０メモリ
１５プロセッサ
２０話者判定回路
２５言語モデル判定回路
３０顕著なトークン判定回路
３５サポート情報判定回路
４０関連性／正確性判定回路
５０共同ユーザ・フィードバック判定回路
５５言語モデル調節回路
６０分野判定回路
１００共同ノート取りシステム
２００マイクロホンアレイ
３００環境センサ
４００自動音声認識システム
１００共同ノート取りシステム
２００マイクロホンアレイ
３００環境センサ
４００自動音声認識システム

Claims

話者によるスピーチの音声データを入力する第１の入力手段と、
前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段と、
前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段と、
前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段と、
前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段と、
を備えた音声データ認識装置。
前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段と、
前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段と、
を備えた請求項１に記載の音声データ認識装置。
話者によるスピーチの音声データを入力する第１の入力手段と、
前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段と、
前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段と、
前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段と、
前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段と、
前記認識結果を構成する複数の部分内で、他の部分より情報を提供する度合いが高い情報高提供部分を抽出する抽出手段と、
前記情報高提供部分が前記スライドまたはノートに含まれているか否かを判断する判断手段と、
前記情報高提供部分が前記スライドまたはノートに含まれていると判断された場合、前記情報高提供部分に対応する前記認識結果の部分を、ノートとして抽出すると共に、表示手段に当該抽出したノートを表示する制御手段と、
を含むノート表示装置。
前記制御手段は、
前記認識結果を所定時間毎に分割して認識結果時間部分を生成し、生成された認識結果時間部分に時間的に関連する前記スライドまたはノートの部分である関連時間部分を抽出し、時間的に対応する認識結果時間部分と関連時間部分とを対応して前記表示手段に表示すると共に、
時間的に対応する当該認識結果時間部分及び当該関連時間部分に前記情報高提供部分が存在する場合には、当該認識結果時間部分及び当該関連時間部分各々内の前記情報高提供部分を、その表示態様を他の部分の表示態様と異なるように、表示する、
ことを特徴とする請求項３に記載のノート表示装置。
前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段と、
前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段と、
を備えた請求項３又は請求項４に記載のノート表示装置。
コンピュータを、
話者によるスピーチの音声データを入力する第１の入力手段、
前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段、
前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段、
前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段、及び
前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段
として機能させる音声データ認識プログラム。
前記コンピュータを、
前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段、及び
前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段
として更に機能させる請求項６に記載の音声データ認識プログラム。
コンピュータを、
話者によるスピーチの音声データを入力する第１の入力手段、
前記スピーチに対応するプレゼンテーション用のスライドまたは話者のノートを入力する第２の入力手段、
前記スライドまたはノートに基づいて、前記スピーチの内容の対象となる分野を表す分野情報を決定する分野情報決定手段、
前記分野情報に基づいて、前記音声データを認識するための言語モデルを決定する認識モデル決定手段、
前記決定された言語モデルを用いて前記入力された前記音声データを認識して認識結果を出力する変換手段、
前記認識結果を構成する複数の部分内で、他の部分より情報を提供する度合いが高い情報高提供部分を抽出する抽出手段、
前記情報高提供部分が前記スライドまたはノートに含まれているか否かを判断する判断手段、及び
前記情報高提供部分が前記スライドまたはノートに含まれていると判断された場合、前記情報高提供部分に対応する前記認識結果の部分を、ノートとして抽出すると共に、表示手段に当該抽出したノートを表示する制御手段
として機能させるノート表示プログラム。
前記制御手段は、
前記認識結果を所定時間毎に分割して認識結果時間部分を生成し、生成された認識結果時間部分に時間的に関連する前記スライドまたはノートの部分である関連時間部分を抽出し、時間的に対応する認識結果時間部分と関連時間部分とを対応して前記表示手段に表示すると共に、
時間的に対応する当該認識結果時間部分及び当該関連時間部分に前記情報高提供部分が存在する場合には、当該認識結果時間部分及び当該関連時間部分各々内の前記情報高提供部分を、その表示態様を他の部分の表示態様と異なるように、表示する、
ことを特徴とする請求項８に記載のノート表示プログラム。
前記コンピュータを、
前記決定された言語モデルを他の言語モデルに変更する指示を入力する第３の入力手段、及び
前記指示が入力された場合、前記決定された言語モデルを他の言語モデルに変更する変更手段
として更に機能させる請求項８又は請求項９に記載のノート表示プログラム。