JP4940139B2 - 音声からの意味内容の自動抽出および構造化文書の生成 - Google Patents

Description

本発明は、自動音声認識に関し、より詳しくは自動的に音声を書き起こす技術に関する。

関連出願の相互参照
本出願は、同時出願された米国特許出願の名称「文書書起しシステムトレーニング（Ｄｏｃｕｍｅｎｔ Ｔｒａｎｓｃｒｉｐｔｉｏｎ Ｓｙｓｔｅｍ Ｔｒａｉｎｉｎｇ）」に関するものである。該出願は参照のためにここ組み入れられる。

従来技術

人間の音声に基づいて文書を生成することは、多くの状況において望ましいことである。法律専門家においては、例えば、記録転写士は、証言を書き起こした文書を作成するために、公判および供述録取において得られる証言を書き起こす。同様に、医業においては、医師および他の医療専門家が口述した、診断、予後、処方、および他の情報の筆記録を作成する。これらの分野および他の分野における筆記録は、得られる筆記録に対する信頼性および不正確さに起因しうる損害（誤った処方箋を患者に提供する、など）から、（元の音声の意味内容（意味）と得られる筆記録の意味内容との相関関係の度合いを測る場合）一般に非常に正確であることが求められる。しかし、（１）書が起こされる話者の音声の特徴（例、アクセント、音量、方言、速さ）、（２）外部状況（例、暗騒音）、（３）記録転写士または転写システム（例、不完全な聴取または音声捕捉能力、言語の不十分な理解力）、または（４）記録／伝送媒体（例、紙、アナログ音声テープ、アナログ電話網、デジタル電話網に適用される圧縮アルゴリズム、および携帯電話チャネルによるノイズ／アーチファクト）、などの変動による様々な理由から、高い信頼性を確実に得ることは困難な場合がある。

当初、転写は、リアルタイムで（すなわち、人が「口述を書き取る」ことによって）、または録音したものを聴き取ることによって、音声を聴き取る記録転写士だけで行われていた。人間の記録転写士の１つの利点は、薬剤や医療用語の知識のような特定分野の知識を有する場合があることであり、それによって、記録転写士は曖昧な音声を解釈でき、筆記録の精度を向上させることができる。しかし、人間の記録転写士には様々な不利点がある。例えば、人間の記録転写士は、筆記録の作成が比較的遅く、疲労によって経時的に精度が低下する傾向がある。

人間の音声を概ね認識するための、そして特に音声を書き起こすための、様々な自動音声認識システムが存在する。筆記録を作成する音声認識システムは、本明細書において、「自動転写システム」または「自動書き取りシステム」と称する。市販の書き取りソフトウェアは、例えば、パーソナルコンピュータのユーザーが、キーボードを使用して当該の文書をタイピングする代わりに、ワードプロセッサに文書を書き取らせるために使用することが可能である。

自動書き取りシステムは、一般に音声の逐語的な筆記録を生成しようとするものである。口語音声ストリーム内の単語と筆記録内の単語との１対１マッピングを行うそのような筆記録は、本明細書において、「逐語記録」と称する。自動書き取りシステムは、完全なものではないので、完全な逐語記録を生成できない場合がある。

しかし、状況によっては、逐語記録が望まれないことがある。実際に、記録転写士は、転写文書への様々な変更を意図的に行う場合がある。例えば、記録転写士は、自発的な音声効果（例、つなぎ言葉、躊躇、出だしの失敗）を除去したり、無関係な発言およびコメントを破棄したり、標準のフォーマットにデータを変換したり、見出しまたは他の説明的な要素を挿入したり、または報告書の構造に合わせるように音声のシーケンスを変更する場合がある。

医療分野では、例えば、医師によって作成される口語の報告書は、標準的なフォーマットの報告書に書き起こされることが多い。図１Ｂに、構造化およびフォーマット化された診断書１１１の一例を示す。報告書１１１は、報告書１１１が表示されたときに所定のシーケンスで出現する様々な部分１１２乃至１３８を含む。図１Ｂに示される特定の例では、報告書は、ヘッダー部１１２、主観部１２２、客観部１３４、評価部１３６、および計画部１３８を含む。各部は、サブ部とともにテキストを含むことが可能である。例えば、ヘッダー部１１２は、病院名部１２０（テキスト「総合病院」を含む）、患者名部１１４（テキスト「Ｊａｎｅ Ｄｏｅ」を含む）、カルテ番号部１１６（テキスト「８５１Ｄ」を含む）、および報告書日付部１１８（テキスト「１０／１／１９９３」を含む）を含む。

同様に、主観部１２２は、テキストと、病歴部１２４、投薬部１２６、アレルギー部１２８、家族歴部１３０、および社会歴部１３２との両方に含まれる、患者に関する様々な主観的情報を含む。客観部１３４は、体重および血圧のような、患者の様々な客観的情報を含む。図１Ｂには示されないが、客観部の情報は、示された情報を含むためにサブ部を含むことが可能である。評価部１３６は、患者の状態のテキスト評価を含み、計画サブ部１３８は、治療計画のテキスト記述を含む。

情報は、口述する医師が話す当該の情報の形式とは異なる形式で報告書１１１に現れる場合があることに留意されたい。例えば、報告書日付部１１８の日付は、「１９９３年１０月１日」、「９３年１０月初日」、または他の形式で話されている場合がある。しかし、記録転写士は、報告書日付部１１８にはテキスト「１０／１／１９９３」を用いて当該の音声を書き起こすが、これは、病院部１２０で指定された病院では、報告書の日付を当該のフォーマットで表現するように定められているからであろう。

同様に、診断書１１１の情報は、所要の報告書フォーマットに適合させるため、または他の何らかの理由で、元の音声記録とは異なるシーケンスで現れる場合がある。例えば、口述する医師は、客観部１３４を最初に口述し、続けて主観部１２２、ヘッダー部１２０の順に口述している場合がある。しかし、報告書１１１には、ヘッダー部１２０が最初に含まれ、続けて主観部１２２、客観部１３４の順に含まれている。当該の報告書の構造は、例えば、病院部１２０に指定された病院での診断書に必要な場合がある。

例えば、報告書１１１の始めは、以下のような口語音声ストリームに基づいて生成される。「スミス医師、えー、１９９３年の、１０月１日。患者ＩＤは、８５１―で、次は、私がレビューした患者の家族暦で・・・」。この音声の逐語記録は、分かりにくいこと、またとりわけ有用ではないことが明らかなはずである。

例えば、「次は」のような特定の単語は、報告書１１１内には現れないことに留意されたい。同様に、「えー」のような中断のつなぎ言葉も、報告書１１１内には現れない。加えて、報告書１１１は、音声を並べ換えることによって、所定の部１１２乃至１４０に元の音声を構成する。これらの例が示すように、報告書１１１は、口述する医師の音声の逐語記録ではない。

要約すると、様々な理由から（例えば、容易に理解できるように情報を構成するため）、逐語記録よりも報告書１１１のような報告書が望ましい場合がある。したがって、自動転写システムでは、非構造化音声に基づいて、（逐語記録ではなく）構造化報告書を生成できることが望ましい。

図１Ａを参照する。図１Ａは、口語音声ストリーム１０２に基づいて構造化文書１１０を生成するための、従来技術のシステム１００のデータフロー図である。当該のシステムは、以下の２つのステップのプロセスを使用して、口語音声ストリーム１０２から構造化テキスト文書１１０を生成する：（１）自動音声認識装置１０４は、口語音声ストリーム１０２に基づいて逐語記録１０６を生成する。（２）自然言語プロセッサ１０８は、筆記録１０６内の構造を識別し、それによって、構造化文書１１０を作成する。構造化文書１１０は筆記録１０６と同じ内容を有するが、自然言語プロセッサ１０８によって識別される構造（例、報告書のフォーマット）に構成される。

例えば、いくつかの既存のシステムでは、以下によって構造化テキスト文書の生成を試みる：（１）音声ストリーム１０２内の明示的または暗黙の構造的ヒントから、音声ストリーム１０２内の口語の内容を識別および区別するために、口語音声ストリーム１０２を分析する。（２）未加工のテキストに口語音声ストリーム１０２の「内容」部分を変換する。（３）構造化報告書１１０に未加工のテキストを変換するために、識別された構造的ヒントを使用する。明示的な構造的ヒントの例には、フォーマットコマンド（例、「新しい段落」、「新しい行」、「次の項目」）、および段落識別子（例、「所見」、「所感」、「結び」）が挙げられる。暗黙の構造的ヒントの例には、段落の境界を示す場合のある長い中断、列挙の終わりを示す韻律的キュー、口語の内容自身が挙げられる。

下記に詳述する様々な理由から、システム１００によって生成される構造化文書１１０は、次善となる場合がある。例えば、構造化文書１１０は、不正確に書き起こされた（すなわち、誤って構成された）単語を含む場合があり、構造化文書１１０の構造は、所望の文書構造を反映できない場合があり、また口語音声ストリーム１０２からの内容は、構造化文書内の誤った部分構造（例、節、段落、または文）に挿入される場合がある。

さらに、口語音声ストリーム１０２に基づいた構造化文書１１０の生成に加えて、またはこの代わりに、口語音声ストリーム１０２から意味内容（音声ストリーム１０２内に記述された、患者の投薬、アレルギー、または以前の疾患に関する情報など）を抽出することが望ましい場合がある。当該の意味内容は、構造化文書１１０の生成に有用となりうるが、当該の内容はまた、構造化文書１１０とは無関係に分析することができる、患者情報のデータベースをポピュレートするような、他の目的にも有用となりうる。しかし、図１に示されるシステム１００のような従来技術のシステムは、一般に、主として、または単に口語音声ストリーム１０２内の統語的な情報に基づいて、構造化文書１１０を生成するように設計されている。したがって、当該のシステムは、意味内容の抽出には有用ではない。

よって、口語音声ストリームに基づいて構造化文書を生成するための改善された技術が必要である。

関連する概念およびそれらの解釈の識別を含む、音声に基づいた構造化文書を自動的に生成するための技術を開示する。一実施態様では、構造化文書ジェネレータは、口語音声ストリームに基づいて、構造化テキスト文書（構造化テキストの医療レポートなど）を生成するために、統合プロセスを使用する。口語音声ストリームは、階層構造内に配置される複数のサブモデルを含む言語モデルを使用して認識することが可能である。各々のサブモデルは、口語音声ストリーム内に現れると予想される概念に対応付けることが可能である。例えば、サブモデルは、文書部に対応付けることが可能である。サブモデルは、例えば、ｎグラム言語モデルまたは文脈自由文法であってよい。口語音声ストリームの別の部分は、別のサブモデルを使用して認識することが可能である。得られた構造化テキスト文書は、構造化テキスト文書を生成するために使用された言語サブモデルの階層構造に対応する、階層構造を有することが可能である。

例えば、本発明の一側面では、（Ａ）文書の複数の部分構造に関連する複数の確率的言語モデルを含む確率的言語モデルを識別するステップと、（Ｂ）口語音声ストリームに前記確率的言語モデルを適用するために音声認識デコーダを使用して、前記複数の部分構造に構成された内容を含む文書を生成するステップと、を含む方法であって、前記複数の部分構造のそれぞれにおける内容は、前記部分構造に関連する前記確率的言語モデルを使用して、音声を認識することによって生成される、方法を提供する。本発明の別の側面は、ステップ（Ａ）において識別される確率的言語モデルを目的とする。

本発明のさらに別の側面では、複数の言語モデルが階層に論理的に構成され、前記複数の言語モデルが第１の言語モデルおよび第２の言語モデルを含む、データ構造であって、前記第１の言語モデルは、前記階層において第２の言語モデルの親であり、前記第１の言語モデルは、文書の部分構造に関連する第１の概念を表す音声の認識に好適であり、前記第２の言語モデルは、前記文書の部分構造のサブセットに関連する第２の概念を表す音声の認識に好適である、データ構造を提供する。

本発明の更なる側面では、（Ａ）第１の階層内に論理的に構成された複数の概念に関連する複数の確率的言語モデルを含む確率的言語モデルを識別するステップと、（Ｂ）口語音声ストリームに前記確率的言語モデルを適用するために音声認識デコーダを使用して、前記第１の階層を介した経路によって定義される論理構造を有する第２の階層に論理的に構成された複数の部分構造に構成された内容を含む文書を生成するステップと、を含む方法を提供する。

本発明の様々な側面および実施態様の特徴および効果は、以下の説明および請求項から明らかになろう。

図２を参照して、口頭文書に基づいた構造化テキスト文書を生成するために、本発明の一実施形態で実行される方法２００のフローチャートを示す。図３を参照して、本発明の一実施形態に従い、図２の方法２００を実行するためのシステム３００のデータフロー図を示す。

システム３００は口語的音声ストリーム３０２を含むが、これは例えば、医師によって口述された診断書の生のまたは録音された口語的音声ストリームであってもよい。図４を参照して、口語的音声ストリーム３０２の例のテキストプレゼンテーションを示す。図４では、オーディオストリーム３０２では、パーセント記号間のテキストは、口語の句読法（例えば、「％コンマ％」、「％ピリオド％」「％コロン％」）および明示的な構造上のキュー（例えば、「％新しい−段落％」）を表す。オーディオストリーム３０２の逐語筆記録は、オーディオストリーム３０２によって表される診断書に含まれる診断、予後診断、またはその他の情報を理解する目的にはとりわけ有益にはならないことが、図４に示されるオーディオストリーム３０２から分かる場合がある。

システム３００は確率的言語モデル３０４も含む。ここで使われる「確率的言語モデル」という用語は、口頭言語の順序に確率を割り当てるどのような言語モデルのことも指す。（確率的な）文脈自由文法およびｎグラム言語モデル３０６ａ〜ｅは両方とも、ここで使用される用語「確率的言語モデル」の例である。

概して、文脈自由文法は、一つの概念に対して複数の口頭形式を特定し、また確率とそれぞれの口頭形式を結び付ける。有限状態文法は文脈自由文法の一つの例である。例えば、１９９３年１０月1日に対する有限状態文法は、０．７の確率で口頭形式「１９９３年１０月１日」、０．２の確率で口頭形式「９３、１０、１」、０．１の確率で口頭形式「９３、１０月、初日」含む場合がある。それぞれの口頭形式に結び付けられる確率は、概念が特定のオーディオストリーム内の口頭形式で話される推定確率である。従って、有限状態文法は、確率的言語モデルの一種である。

概して、ｎグラム言語モデルは、ｎ言語の特定の順序が口語的音声ストリーム内に存在することがある確率を特定する。例えば、ｎ＝１に対する「ユニグラム」言語モデルを考察する。言語の各単語に対して、ユニグラムは、単語が口頭文書内に存在する確率を特定する。「バイグラム」言語モデル（ｎ＝２に対する）は、単語の一組が口頭文書内に存在する確率を特定する。例えば、バイグラムモデルは、「猫」という単語が、文書内の前の語が「前記」となっている口頭文書内に存在する条件付き確率を特定してもよい。同様に、「トライグラム」言語モデルは、三語の順序の確率などを特定する。ｎグラム言語モデルによって特定された確率および有限状態文法は、「Ｄｏｃｕｍｅｎｔ Ｔｒａｎｓｃｒｉｐｔｉｏｎ Ｓｙｓｔｅｍ Ｔｒａｉｎｉｎｇ」という名称の先述の特許出願で、より詳細に説明されたようなトレーニング音声およびトレーニングテキストを使用する文書のトレーニングを行うことによって、ｎグラム言語モデルによって特定された確率および有限状態文法を取得してもよい。

確率的言語モデル３０４は、それぞれが確率言語である複数のサブモデル３０６ａ〜ｅを含む。サブモデル３０６ａ〜ｅは、どのような組み合わせのｎグラム言語モデルおよび／または有限状態文法を含んでもよい。さらに、以下により詳細に説明するように、それぞれのサブモデル３０６ａ〜ｅは、さらにサブモデルなどを含んでもよい。５つのサブモデルを図３に示すが、確率的言語モデル３０４は、サブモデルをいくつ含んでもよい。

図３に示すシステム３００の目的は、口語的音声ストリーム３０２からの内容を含む構造化テキスト文書３１０を作成することであり、ここで内容が特定の構造に構成され、概念が識別されて機械可読形式に解釈される。構造化テキスト文書３１０は、節、段落および／または文などの複数の部分構造３１２ａ〜ｆを含む。それぞれの部分構造３１２ａ〜ｆはさらに部分構造などを含んでもよい。６つの部分構造を図３に示すが、構造化テキスト文書３１０はいくつもの部分構造を含んでもよい。

例えば、図５を参照して、構造化テキスト文書３１０の例を示す。図５に示す例では、構造化テキスト文書３１０はＸＭＬ文書である。しかしながら、どのような形式で構造化テキスト文書３１０を作成してもよい。図５に示すように、構造化文書３１０は６つの部分構造３１２ａ〜ｆを含み、それぞれは文書３１０の節を表してもよい。

例えば、構造化文書３１０は、ヘッダー部３１２ａを含み、それは、文書３１０（「胸部ＣＴスキャン（造影なし）」）のタイトル３１４および文書３１０が口述される日付３１６（「＜ｄａｔｅ＞２００３年−４月−２２日＜／ｄａｔｅ＞」）などの文書３１０についてのメタデータを含む。ヘッダー部３１２ａ内の内容は、口語的音声ストリーム３０２（図４）の開始から取得されることに留意されたい。さらに、ヘッダー部３１２ａは、フラットテキスト（すなわち、タイトル３１４）および部分構造（例えば、日付３１６）の両方を含み、それらは、三つぞろいの値（年―月―日）として機械可読形式で解釈されている概念を表す。

機械可読形式の日付を表すことにより、日付をデータベースに簡単に保存でき、また日付がテキスト形式で格納される場合よりも、より簡単に処理できる。例えば、オーディオストリーム３０２内の多数の日付が、機械可読形式で認識され、また格納されている場合、コンピュータによって、そのような日付をお互いに簡単に比較できる。その他の例として、日付がコンピュータ可読形式で格納される場合は、医師による巡回の合間の平均時間など、オーディオストリーム３０２の内容についての統計情報を簡単に生成できる。本発明の実施例のこの利点は概して、日付に対してだけでなく、どのような種類の意味内容の認識および機械可読形式のそのような内容の格納にもあてはまる。

構造化文書３１０はさらに比較部３１２ｂを含み、それは、文書（報告）３１０の被験者である患者と同じ患者に実施される研究の前に説明する内容を含む。比較部３１２ｂの内容は、「と比較する」から始まり、「２００１年４月６日」で終わるオーディオストリーム３０２の一部から取得されるが、比較部３１２ｂは、節のキューの例である、テキスト「と比較する」を含まないことに留意されたい。節またはその他の文書の部分構造の開始を識別するためのそのようなキューの使用を、以下により詳細に説明する。手短に、構造化文書３１０は、患者に実施される手順に実行される手法を説明する手法部３１２ｃ、医師の所見を説明する所見部３１２ｄ、患者の医師の印象を説明する印象部３１２ｅも含む。

図５に示す例の構造化文書３１０のようなＸＭＬ文書は通常、エンドユーザーによって直接見られることを意図していない。より正確に言えば、そのような文書は通常、エンドユーザーに見せる前により簡単に可読となる形式でレンダリングされる。例えば、システム３００はレンダリングエンジン３１４を含み、これはレンダリングされた文書３１８を作成するために、スタイルシート３１６に基づき構造化テキスト文書３１０をレンダリングする。スタイルシートを生成するため、およびスタイルシートに従い文書をレンダリングするための技術は、当技術分野において通常の技術を有する者にとっては周知である。

図６を参照して、レンダリングされた文書３１８の例を示す。レンダリングされた文書３１８は、５つの節６０２ａ〜ｅを含み、それぞれは、構造化テキスト文書３１０で６つの部分構造３１２ａ〜ｆの一つまたは複数に対応してもよい。より詳しくは、レンダリングされた文書３１８は、ヘッダー部６０２ａ、比較部６０２ｂ、手法部６０２ｃ、所見部６０２ｄ、および印象部６０２ｅを含む。レンダリングされた文書３１８の節および構造化テキスト文書３１０の部分構造間には、１対１マッピングがあってもなくてもよいことに留意されたい。例えば、それぞれの部分構造３１２ａ〜ｆは、文書節のタイプが区別できなくてもよい。例えば、二つ以上の部分構造３１２ａ〜ｆが同じタイプの節（ヘッダー部のような）を表す場合、レンダリングエンジン３１４は、レンダリングされた文書３１８の同じ節の部分構造の両方をレンダリングしてもよい。

システム３００は構造化文書ジェネレータ３０８を含むが、これは確率的言語モデル３０４を識別し（ステップ２０２）、また口語的音声ストリーム３０２を認識し、それにより構造化テキスト文書３１０を作成するために、言語モデル３０４を使用する（ステップ２０４）。例えば、構造化文書ジェネレータ３０８は、自動音声認識デコーダ３２０を含み、これは確率的言語モデル３０４のサブモデル３０６ａ〜ｅの対応する一つを使用して、構造化テキスト文書３１０のそれぞれの部分構造３１２ａ〜ｆを作成する。当技術分野において通常の技術を有する者に周知であるように、デコーダはオーディオをテキストの変換する音声認識装置の素子である。例えば、デコーダ３２０は、口語的音声ストリーム３０２の第一部分を認識するために、サブモデル３０６ａを使用して、部分構造３１２ａを作成してもよい。同様に、デコータ３２０は、口語的音声ストリーム３０２の第二部分を認識するために、サブモデル３０６ｂを使用して、部分構造３１２ｂを作成してもよい。

言語モデル３０４のサブモデル３０６ａ〜ｅおよび構造化文書３１０の部分構造３１２ａ〜ｆ間の１対１マッピングは必要ないことに留意されたい。例えば、音声認識デコーダは、口語的音声ストリーム３０２の第一部分を認識し、それにより部分構造３１２ａを作成するために、サブモデル３０６ａを使用してもよく、また口語的音声ストリーム３０２の第二部分を認識し、それにより部分構造３１２ｂを作成するために、同じサブモデル３０６ａを使用してもよい。そのような場合は、構造化テキスト文書３１０の多数の部分構造は、単一の意味構造（例えば、節および段落）のための内容を含んでもよい。

例えば、サブモデル３０６ａは、「見出し」言語モデルであってもよく、これはヘッダー部３１２ａの内容を含む口語的音声ストリーム３０２の一部を認識するために使用され、例えば、サブモデル３０６ｂは、「比較」言語モデルであってもよく、これは比較部３１２ｂの内容を含む口語的音声ストリーム３０２の一部を認識するために使用される、などいろいろである。トレーニング文書の対応する節からのトレーニングテキストを使用して、それぞれのそのような言語モデルをトレーニングしてもよい。例えば、複数のトレーニング文書のヘッダー部からのテキストを使用して、見出しサブモデル３０６ａをトレーニングしてもよく、また複数のトレーニング文書の比較部からのテキストを使用して、比較サブモデルをトレーニングしてもよい。

本発明の様々な実施例の特徴を大まかに説明したが、以降本発明の実施例をより詳細に説明する。図７を参照して、構造化テキスト文書３１０（図２、ステップ２０４）を生成するために、本発明の一実施形態において構造化文書ジェネレータ３０８によって実行される方法のフローチャートを示す。図８を参照して、図７の方法に関する詳細なシステム３００の一部を説明するデータフロー図を示す。

図８で説明されている例では、構造化文書ジェネレータ３０８は、セグメント識別子８１４を含み、これは口語的音声ストリーム３０２で複数のセグメントＳ８０２ａ〜ｃを識別する（ステップ７０１）。例えば、セグメント８０２ａ〜ｃは、節、段落、文、単語、日付、時間または倫理規定などの概念を表してもよい。図８には３つのセグメント８０２ａ〜ｃのみを示しているが、口語的音声ストリーム３０２はいくつの部分を含んでもよい。以下の図１１Ｂおよび１２Ｂについてさらに詳細に説明されるとはいえ、説明を簡単にするために、方法７００の残りを実行する前に、図７のステップ７０１ですべてのセグメント８０２ａ〜ｃを識別し、オーディオストリーム３０２の認識および構造化文書３１０の生成と同時に、セグメント８０２ａ〜ｃの識別を実行してもよい。

構造化文書ジェネレータ３０８は、口語的音声ストリーム３０２でそれぞれのセグメントＳに対しループに入る（ステップ７０２）。上述したように、構造化文書ジェネレータ３０８は、音声認識デコーダ３２０を含み、例えば、これは異なる種類の言語モデルを使用して、音声を認識するための一つまたは複数の従来型の音声認識デコーダを含んでもよい。さらに上述したように、それぞれのサブモデル３０６ａ〜ｅは、ｎグラム言語モデル、文脈自由文法、またはその両方の組み合わせであってもよい。

例を挙げる目的で、構造化文書ジェネレータ３０８は現在、口頭オーディオストリーム３０２のセグメント８０２ａを生成していると仮定する。構造化文書ジェネレータ３０８は、現在のセグメントＳを認識するためのサブモデル３０６ａ〜ｅの複数の８０４を選択する。例えば、サブモデル８０４は、言語サブモデル３０６ａ〜ｅのすべて、またはサブモデル３０６ａ〜ｅのサブセットであってもよい。音声認識デコーダ３２０は、それぞれの選択サブモデル８０４を使って現在のセグメントＳ（例えば、セグメント８０２ａ）を認識し、それによりセグメントＳに対応する複数の候補内容８０８を作成する（ステップ７０４）。言い換えれば、明確なサブモデル８０４の一つを使用して、現在のセグメントＳを認識するために、音声認識デコーダ３２０を使用することによって、それぞれの候補内容８０８を作成する。それぞれの候補内容８０８は、認識テキストだけでなく、機械可読形式にエンコードされる概念（例えば、日付、時間、倫理規定、投薬、アレルギー、バイタルなど）のような、その他の種類の内容も含んでよいことに留意されたい。

構造化文書ジェネレータ３０８は、最終内容セレクタ８１０を含み、これはセグメントＳのための最終内容８１２として、候補内容８０８の一つを選択する（ステップ７０６）。最終内容セレクタ８１０は、出力が導かれる音声に最も近く一致する音声認識出力を選択するために、当技術分野において通常の技術を有する者にとっては既知のどのような種類の手法を使用してもよい。

構造化文書ジェネレータ３０８は、それぞれの候補内容８０８を作成するのに使用されるサブモデルの経過をたどる。例を挙げる目的で、サブモデル３０４は、サブモデル３０６ａ〜ｅのすべてを含み、従って、候補内容８０８はセグメント８０２ａ〜ｃ（それぞれのサブモデル３０６ａ〜ｅを使用して作成されたもの）ごとに５つの候補内容を含む、と仮定する。例えば、図９を参照して、文書部分構造３１２ａ〜ｆ、サブモデル３０６ａ〜ｅ、候補内容８０８ａ〜ｅ間のマッピングを説明する図を示す。上述したように、それぞれのサブモデル３０６ａ〜ｅは、構造化テキスト文書３１０の中で、一つまたは複数の対応する部分構造３１２ａ〜ｆと関連してもよい。部分構造３１２ａ〜ｅおよびサブモデルａ〜ｅ間のマッピング９０２ａ〜ｅによるこれらの対応を図９に表示する。構造化文書ジェネレータ３０８は、テーブルまたはその他の方法を使用して、そのようなマッピング９０２ａ〜ｅを維持してもよい。

音声認識デコーダ３２０が、それぞれのサブモデル３０６ａ〜ｅを使ってセグメントＳ（例えば、セグメント８０２ａ）を認識する場合、これは候補内容８０８ａ〜ｅに対応して作成する。例えば、音声認識デコーダ３２０が、サブモデル３０６ａを使ってセグメント８０２ａを認識する場合、候補内容８０８ａは作成されるテキストである、音声認識デコーダ３２０が、サブモデル３０６ｂを使ってセグメント８０２ａを認識する場合、候補内容８０８ｂは作成されるテキストである、など。構造化文書ジェネレータ３０８は、一式の候補モデル内容マッピング８１６において、候補内容８０８ａ−ｅおよび対応するサブモデル３０６ａ〜ｅ間のマッピングを記録してもよい。

従って、構造化文書ジェネレータ３０８が、セグメントＳのための最終内容８１２として、候補内容８０８ａ〜ｅの一つを選択する場合（ステップ７０６）、最終内容８１２として選択されている候補内容を作成した言語サブモデルを識別するために、最終マッピング識別子８１８は、マッピング８１６および選択最終内容８１２を使用してもよい（ステップ７０８）。例えば、候補内容８０８ｃが最終内容８１２とてして選択される場合、最終マッピング識別子８１８は、候補内容８０８ｃを作成したサブモデルとして、サブモデル３０６ｃを識別してもよいことが、図９からわかる。最終マッピング識別子８１８は、一式のマッピング８２０において、それぞれの識別サブモデルを蓄積してもよく、これによって、マッピング８２０はその時々で、構造化テキスト文書３１０に含めるために選択されている最終内容を生成するために使用される言語サブモデルの順序を識別できる。

最終内容８１２に対応するサブモデルが識別される時点で、構造化文書ジェネレータ３０８は、識別サブモデルと関連のある文書部分構造を識別してもよい（ステップ７１０）。例えば、サブモデル３０６ｃが、ステップ７０８で識別されている場合、文書部分構造３１２ｃはサブモデル３０６ｃと関連があることが図９からわかる。

構造化内容挿入子８２２は、最終内容８１２を構造化テキスト文書３１０の識別部分構造の中へ挿入する（ステップ７１２）。例えば、部分構造３１２ｃが、ステップ７１０で識別される場合、テキスト挿入子５１４は、最終内容８１２を部分構造３１２ｃの中へ挿入する。

構造化文書ジェネレータは、口語的音声ストリーム３０２の残りのセグメント８０２ｂ〜ｃに対して、７０４〜７１２のステップを繰り返し（ステップ７１４）、その結果、残りのセグメント８０２ｂ〜ｃのそれぞれに対して最終内容８１２を生成し、また最終内容８１２をテキスト文書３１０の部分構造３１２ａ〜ｆの適切な一つに挿入する。方法７００が終わるとすぐに、構造化テキスト文書３１０は、口語的音声ストリーム３０２に対応するテキストを含み、また最終モデル内容マッピング８２０は、構造化テキスト文書３１０においてテキストを生成するために、音声認識デコータ３２０によって使用された言語サブモデルの順序を識別する。

口語的音声ストリーム３０２を認識する過程において、方法７００は、口語的音声に対応するテキストを生成してもよいだけでなく、音声によって表された意味情報を識別し、また機械可読形式でそのような意味情報を保存してもよいことに留意されたい。例えば、図５を再び参照して、比較部３１２ｂは日付要素を含み、そこには、特定の日付は、日（「０６」）、月（「４月」）、および年（「２００１」）の個々の値を含む三つぞろいとして表される。医療領域における意味概念のその他の例は、バイタルサイン、投薬およびその用量、アレルギー、医師の倫理規定などを含む。このようにして、意味情報を抽出および表明することは、そのような情報の自動処理を実行する過程を容易にする。図５に表される意味情報の特定の形態は単なる例であり、また本発明の制限を設定しないことに留意されたい。

ステップ７０１から、図７Ａで示した方法７００が、セグメント８０２ａ〜ｃを認識するために使用されるサブモデルを認識する前に、一式のセグメント８０２ａ〜ｃを識別することを思い出していただきたい。しかしながら、構造化文書ジェネレータ３０８は、セグメント８０２ａ〜ｃを識別する過程と、セグメント８０２ａ〜ｃを認識するために使用されるサブモデルを識別する過程、およびセグメント８０２ａ〜ｃに音声認識を実行する過程を統合してもよいことに留意されたい。図１１Ｂおよび１２Ｂに関して、統合されたそのようなセグメンテーション、および認識を実行するために使用可能な技法の例を以下により詳細に説明する。

図７で説明される方法の操作を大まかに説明して、図４に示した例の音声ストリーム３０２に対する図７の方法のアプリケーションを今から考慮する。口語的音声ストリーム３０２の第一部分は発話の音声ストリームであると仮定する。すなわち、「胸部ＣＴスキャン（造影なし）２００３年４月２２日」。この部分は、ステップ７０２で選択されてもよく、また複数の候補内容８０８ａ〜ｅを作成するために、ステップ７０４ですべての言語サブモデル３０６ａ〜ｅを使用して認識されてもよい。上述したように、サブモデル３０６ａは「ヘッダー」言語モデル、サブモデル３０６ｂは「比較」言語モデル、サブモデル３０６ｃは「手法」言語モデル、サブモデル３０６ｄは「所見」言語モデル、およびサブモデル３０６ｅは「印象」言語モデルと仮定する。

サブモデル３０６ａは言語モデルで、これは文書３１０（例えば、部分構造３１２ａ）の「ヘッダー」部で音声を認識するようにトレーニングされているので、サブモデル３０６ａを使用して作成される候補内容８０８ａは、その他の候補内容８０８ｂ−ｅよりも、先述の音声部分の単語をより厳密に一致させることがあり得る。この音声部分に対する最終内容８１２として候補内容８０８ａを選択すると仮定して、内容挿入子８２２は、サブモデル３０６ａによって作成される最終内容８１２を構造化テキスト文書３１０のヘッダー部３１２ａの中に挿入することになる。

口語的音声ストリームの第二部分は発話の音声ストリームであると仮定する。すなわち、「２００２年３月２６日および２００１年４月６日から前の研究との比較」。この部分は、ステップ７０２で選択されてもよく、また複数の候補内容８０８ａ〜ｅを作成するために、ステップ７０４ですべての言語サブモデル３０６ａ〜ｅを使用して認識されてもよい。サブモデル３０６ｂは言語モデルで、これは文書３１０（例えば、部分構造３１２ｂ）の「比較」部で音声を認識するようにトレーニングされているので、サブモデル３０６ｂを使用して作成される候補内容８０８ｂは、その他の候補内容８０８ａおよび８０８ｃ〜ｅよりも、先述の音声部分の単語をより厳密に一致させることがあり得る。この音声部分に対する最終内容８１２として候補内容８０８ｂを選択すると仮定して、テキスト挿入子５１４は、サブモデル３０６ｂによって作成される最終内容８１２を構造化テキスト文書３１０の比較部３１２ｂの中に挿入することになる。

図４で説明される音声ストリーム３０２の残りも、同様に、認識され、また構造化テキスト文書３１０の部分構造３１２ａ〜ｆの適切な一つの中へ挿入されてもよい。図４で説明される口語的音声ストリーム３０２の内容が、構造化テキスト文書３１０の部３１２ａ〜ｆと同様の順序で現れるが、これは本発明の必要条件でないことに留意されたい。もっと正確に言えば、内容は、任意の順序で、音声ストリーム３０２に現れてもよい。音声ストリーム３０２のそれぞれのセグメント８０２ａ〜ｃは、音声認識デコーダ３２０によって認識され、また結果として起こる最終内容８１２は、部分構造３１２ａ−ｆの適切な一つの中に挿入される。結果的に、部分構造３１２ａ〜ｆのテキスト内容の順序は、口語的音声ストリームの内容の順序と同様でなくともよい。しかしながら、テキスト内容の順序が、音声ストリーム３０２および構造化テキスト文書３１０の両方と同様であるとしても、レンダリングエンジン３１４（図３）は、文書３１０のテキスト内容を好ましい順序でレンダリングしてもよいことに留意されたい。

本発明の他の実施例は、確率的言語モデル３０４は階層的言語モデルである。具体的には、本実施例では、複数のサブモデル３０６ａ〜ｅは階層に構造化される。上述したように、サブモデル３０６ａ〜ｅは、追加のサブモデルなどをさらに含んでもよく、これによって言語モデル３０４の階層は多数のレベルを含むことができる。

図１０Ａを参照して、階層形式での言語モデル３０４の例を説明する図を示す。言語モデル３０４は、複数のノード１００２、３０６ａ〜ｅ、１００６ａ〜ｅ、および１０１０と１０１２を含む。四角ノード１００２、３０６ｂ〜ｅ、および１００６ｅと１０１２は、非常に制約された概念（報告部順序、節のキュー、日付および時間など）をモデル化するために、確率有限状態文法を使用する。楕円形ノード３０６ａ、１００６ａ−ｄおよび１０１０は、制約の低い言語をモデル化するために、統計的（ｎグラム）言語モデルを使用する。

例えば、ここで使用される用語「概念」は、日付、時間、番号、倫理規定、投薬、病歴、診断、処方薬、成句、列挙および節のキューを含む。概念は複数の方法で話されてもよい。特定の概念を話すそれぞれの方法は、ここでは、概念の「口語形式」と称される。「意味」概念および「統語」概念の間で時々区別がされる。ここで使用される用語「概念」は、意味概念および統語概念の両方を含むが、どちらかに限定されることはなく、「意味概念」または「統語概念」の特定のどのような定義、またはその二つの間のどのような区別に依存しない。

例えば、ここで使用される用語としての概念の例である１９９３年１０月１日を考えてみる。この概念の口語形式は、口語的な成句、「１９９３年１０月１日」「１日、１０月、９３年」「９３―１０―１」を含む。「１９９３年１０月１日」および「１０／０１／１９９３」のようなテキストは、この概念の「書面形式」の例である。

ここで「Ｊｏｈｎ Ｊｏｎｅｓは肺炎になっていた。」という文を考えてみる。ここで使用される用語としての概念であるこの文は、口語的な成句、「ｊｏｈｎ ｊｏｎｅｓは肺炎になっていた。」、「患者ｊｏｎｅｓ診断肺炎」および「診断肺炎患者ｊｏｎｅｓ」のような複数の方法で話されてもよい。書面の文「Ｊｏｈｎ Ｊｏｎｅｓは肺炎になっていた。」は、同様の概念の「書面形式」の例である。

日付および時間のような下層の概念に対する言語モデルは図１０Ａには示していないが、（サブモデル１０１２を除く）、階層的言語モデル３０４はこのような下層の概念に対するサブモデルを含んでもよい。例えば、ｎグラムサブモデル３０６ａ、１００６ａ〜ｄ、および１０１０は、日付、時間およびその他の下層の概念を表す単語の順序に対する確率を割り当ててもよい。

言語モデル３０４は、ルートノード１００２を含み、これはノード１００２のサブノード３０６ａ〜ｅが発生する確率を表す有限状態文法を含む。例えば、ルートノード１００２は、口語的音声ストリーム３０２で特定の順序で現れ、文書３１０のヘッダー、比較、手法、所見、および印象部の確率を示す。

言語モデル３０４の階層を一つ下層に移動して、ノード３０６ａは、「ヘッダー」であり、これは構造化テキスト文書３１０をヘッダー部３１２ａに含むことを目的として、口語的音声ストリーム３０２の部分に単語の発生の確率を表すｎグラム言語モデルである。

ノード３０６ｂは、テキスト文書の比較部３１２ｂのための多様な代替の音声形式のキューが発生する確率を表す「比較」有限状態文法を含む。例えば、比較ノード３０６ｂの有限状態文法は、「と比較」「のために比較」「前は」「前の研究は」などのキューを含む。有限状態文法は、それぞれこれらのキューの確率を含む。例えば、そのような確率は、同一話者対する一式のトレーニング音声での、あるいは口語的音声ストリーム３０２と同一のドメインでのキューの実際の使用頻度に基づいてもよい。例えば、「Ｄｏｃｕｍｅｎｔ Ｔｒａｎｓｃｒｉｐｔｉｏｎ Ｓｙｓｔｅｍ Ｔｒａｉｎｉｎｇ」という名称の先述の特許出願で開示されている手法を使用して、そのような頻度を得てもよい。

比較ノード３０６ｂは、「比較内容」サブノード１００６ａを含み、これはテキスト文書３１０を比較部３１２ｂの本体に含むことを目的として、口語的音声ストリーム３０２の部分に単語の発生の確率を表すｎグラム言語モデルである。比較内容ノード１００６ａは子として日付ノード１０１２を有する。以下により詳細に説明するように、日付ノード１０１２は、様々な言い方で話される日付の確率を表す有限状態文法である。

ノード３０６ｃおよび３０６ｄも同様に理解してよい。ノード３０６ｃは、テキスト文書３１０の手法部３１２ｃのための多様な代替の音声形式のキューが発生する確率を表す「手法」有限状態文法を含む。手法ノード３０６ｃは、「手法内容」サブノード１００６ｂを含み、これはテキスト文書３１０を手法部３１２ｃの本体に含むことを目的として、口語的音声ストリーム３０２の部分に単語の発生の確率を表すｎグラム言語モデルである。同様に、ノード３０６ｄは、テキスト文書３１０の所見部３１２ｄのための多様な代替の音声形式のキューが発生する確率を表す「所見」有限状態文法を含む。所見ノード３０６ｄは、「所見内容」サブノード１００６ｃを含み、これはテキスト文書３１０を所見部３１２ｄの本体に含むことを目的として、口語的音声ストリーム３０２の部分に単語の発生の確率を表すｎグラム言語モデルである。

印象ノード３０６ｅは、ノード３０６ｂ〜ｄと同様であり、これは節のキューおよび認識部内容に対するｎグラム言語モデルを含むサブノード１００６ｄを認識するための有限状態文法を含む。しかしながら、さらに、印象ノード３０６ｅは、追加のサブノード１００６ｅを含み、これは同様にサブノード１０１０を含む。これは印象部の内容が、印象ノード３０６ｅに対応する有限状態文法に基づく言語モデルによって管理される、印象内容ノード１００６ｄまたは「列挙型」ノード１００６ｅのどちらかの言語モデルを使用して認識されてもよいことを示す。「列挙型」ノード１００６ｅは、発話列挙キュー（「一番」「二番」「第一」「第二」「第三」などのような）の異なる方法と関連のある確率を示す有限状態文法を含む。印象内容ノード１０１０は、印象内容ノード１００６ｄと同一の言語モデルを含んでもよい。

本発明の一実施形態で言語モデル３０４の階層構造を説明して、言語モデル３０４を使用した構造化文書３１０を生成するために使用されてもよい手法の例を今から説明する。図１１Ａを参照して、構造化テキスト文書３１０を生成するために、本発明の一実施形態で、構造化文書ジェネレータ３０８によって実行される方法のフローチャートを示す（図２、ステップ２０４）。図１２Ａを参照して、図１１Ａの方法に相当するシステム３００の部分を詳細に説明するデータフロー図を示す。

構造化文書ジェネレータ３０８は、経路セレクタ１２０２を含み、これは階層的言語モデル３０４を介して、経路１２０４を識別する（ステップ１１０２）。経路１２０４は、階層的言語モデル３０４内の整然としたノードの順序である。ノードは経路１２０４を何度もトラバースしてもよい。経路１２０４を生成する手法の例は、図１１Ｂおよび１２Ｂについて、以下により詳細に説明する。図１０Ｂを参照して、経路１２０４の例を説明する。経路１２０４はポイント１０２０ａ〜ｊを含み、これらは、言語モデル３０４でノードをトラバースする順序を特定する。ポイント１０２０ａ〜ｊは、言語モデル３０４で、これらとノ−ド１００２、３０６ａ〜ｅ、１００６ａ〜ｅ、および１０１０と区別するために、「ノード」というよりは「ポイント」と称する。

図１０Ｂで説明される例では、経路１２０４は、言語モデル３０４の以下のノードを順序正しくトラバースする。すなわち、（１）ルートノード１００２（ポイント１０２０ａ）、（２）ヘッダー内容ノード３０６ａ（ポイント１０２０ｂ）、（３）比較ノード３０６ｂ（ポイント１０２０ｃ）、（４）比較内容ノード１００６ａ（ポイント１０２０ｄ）、（５）手法ノード３０６ｃ（ポイント１０２０ｅ）、（６）手法内容ノード１００６ｂ（ポイント１０２０ｆ）、（７）所見ノード３０６ｄ（ポイント１０２０ｇ）、（８）所見内容ノード１００６ｃ（ポイント１０２０ｈ）、（９）印象ノード３０６ｅ（ポイント１０２０ｉ）、および（１０）印象内容ノード１００６ｄ（ポイント１０２０ｊ）である。

図４を参照することによってわかる可能性があるように、音声ストリーム３０２は、図１０Ｂに説明される経路１２０４の言語サブモデルと同一の順序で発生するので、図１０Ｂに説明される経路１２０４の沿って移動する言語サブモデルを使用する口語的音声ストリーム３０２を認識することは、最善の音声認識をもたらすことになる。例えば、口語的音声ストリーム３０２は、ヘッダー内容言語モデル３０６ａ（「２００３年４月２２日胸部ＣＴスキャン（造影なし）」）によって最善に認識される音声によって始まり、その後、比較言語モデル３０６ｂ（と比較する）によって最善に認識される発話が続き、その後、比較内容言語モデル１００６ａ（２００２年３月２６日および２００１年４月６日から前の）によって最善に認識される音声が続く、など。

経路１２０４を識別して、構造化文書ジェネレータ３０８は、構造化テキスト文書３１０を作成するために、経路１２０４によってトラバースされる言語モデルを使用して、口語的音声ストリーム３０２を認識する（ステップ１１０４）。図１１Ｂおよび１２Ｂについて、以下により詳細に説明するように、ステップ１１０４の音声認識および構造化テキスト文書の生成は、単独に実行するよりもむしろ、ステップ１１０２の経路の認識と統合してもよい。

より具体的には、構造化文書ジェネレータ３０８は、列挙子１２０６を含んでもよく、これは選択された経路１２０４によってトラバースされるそれぞれの言語モデルノードＮ１２０８間を繰り返す（ステップ１１０６）。そのようなそれぞれのノードＮに対して、対応する構造化テキストＴを作成するために、音声認識デコーダ３２０は、ノードＮで言語モデルに対応する音声ストリーム３０２の部分を認識してもよい（ステップ１１０８）。構造化文書ジェネレータ３０８は、テキストＴ１２１０を、言語モデル３０４のノードＮ１２０８に対応する構造化テキスト文書３１０の部分構造の中へ挿入してもよい（ステップ１１１０）。

例えば、ノードＮが比較ノード３０６ｂ（図１０Ａ）である場合、口語的音声ストリーム３０２（図４）の中でテキスト「と比較」を認識するために、比較ノード３０６ｂを使用してもよい。比較ノード３０６ｂは、内容よりもむしろ文書部分構造（例えば、比較部３１２ｂ）に対応するので、この場合ステップ１１０８で実行された音声認識の結果は、文書部分構造、すなわち空の「比較」部であってもよい。ステップ１１１０、例えば、「＜ｃｏｍｐａｒｉｓｏｎ＞」および「＜／ｃｏｍｐａｒｉｓｏｎ＞」タグの形式で、そのような部を構造化文書３１０の中へ挿入してもよい。

ノードＮが比較内容ノード１００６ａ（図１０Ａ）である場合、口語的音声ストリーム３０２（図４）の中のテキスト「２００２年３月２６日および２００１年４月６日から前の研究」を認識するために、比較内容ノード１００６ａを使用してもよく、これによって、図５に示すように、構造化テキスト「＜ｄａｔｅ＞２００２−３月―２６＜／ｄａｔｅ＞および＜ｄａｔｅ＞２００１−４月―０６＜／ｄａｔｅ＞から前の研究」を作成する。その後、ステップ１１１０で、この構造化テキストを比較部３１２ｂの中へ挿入してもよい（例えば、図５に示すように、「＜ｃｏｍｐａｒｉｓｏｎ＞」および「＜／ｃｏｍｐａｒｉｓｏｎ＞」タグの間）。

構造化文書ジェネレータ３０８は、経路１２０４によってトラバースされる残りのノードＮに対して、ステップ１１０８〜１１１０を繰り返し（ステップ１１１２）、これによって、複数の構造化テキスト１２１０を構造化テキスト文書３１０の中へ挿入する。図１１Ａで説明される方法の最終結果は、構造化テキスト文書３１０を創出することであり、これは言語モデル３０４を介して経路１２０４の構造に対応する構造を有するテキストを含む。例えば、説明された経路の構造は、順序正しく、ヘッダー、比較、手法、所見および印象部に対応する言語モデルノードをトラバースすることが、図１０Ｂからわかる。その結果としてできる構造化テキスト文書３１０（例えば、図５で説明されるように）は、同様に、順序正しく、ヘッダー、比較、手法、所見および印象部を含んでもよい。従って、構造化テキスト文書３１０は、構造化テキスト文書３１０を創出するために使用される言語モデル経路１２０４と同一の構造を有する。

構造化文書ジェネレータ３０８は、認識された構造化テキスト１２１０を構造化テキスト文書３１０の適切な部分構造の中へ挿入することを上記に述べた（図１１Ａ、ステップ１１１０）。図５に示すように、ＸＭＬ文書または入れ子構造を支えるその他の文書として、構造化テキスト文書３１０を実行してもよい。そのような場合は、最終構造化テキスト文書３１０は、経路１２０４の構造に対応する構造を有することができるように、それぞれの認識された構造化テキスト１２１０を適切な部分構造の内側に挿入することが必要である。当技術分野において通常の技術を有する者は、言語モデル３０４の構造をトラバースするための経路１２０４を使用し、これによってそのような構造化文書を創出する最終モデル内容マッピング８２０（図８）の使用法を理解できる。

図１２Ａで説明したシステムは経路セレクタ１２０２を含み、これは言語モデル３０４を介して経路１２０４を選択する。図１１Ａで説明される方法はその後、構造化テキスト文書３１０を生成するために、選択された経路１２０４を使用する。言い換えれば、図１１Ａおよび１２Ａにおいて、経路の選択および構造化文書の創出のステップは、単独で実行される。しかしながら、これは本発明を制限するものではない。

もっと正確に言えば、図１１Ｂを参照して、経路の選択および構造化文書の生成のステップを統合する方法１１５０のフローチャートを示す。図１２Ｂを参照して、本発明の一実施形態である図１１Ｂの方法１１５０を実行する構造化文書ジェネレータ３０８を示す。概略では、図１１Ｂの方法１１５０は、ルートノード１００２から始まり、外に向かい拡大しながら、言語モデル３０４（図１０Ａ）の階層を介して可能性のある経路を検索する。言語モデル階層を介して検索するのに、当技術分野において通常の技術を有する者に周知の手法を含み、様々などのような手法を使用してもよい。方法１１５０が言語モデル階層を介して部分経路を識別しながら、方法１１５０は、部分経路に沿って移動する言語モデルを使用し、これによって部分候補構造化文書を創出する口語的音声ストリーム３０２の大部分を次第に認識するための音声認識デコーダ３２０を使用する。方法１１５０は、それぞれの部分候補構造化文書にフィットネススコアを割り当てる。それぞれの候補構造化文書に対するフィットネススコアは、候補構造化文書を生成した経路がいかにうまく実行したかの尺度である。全ての口語的音声ストリーム３０２が認識されるまで、方法１１５０は部分経路を拡大し、これによって言語モデル階層を介して検索を続ける。構造化文書ジェネレータ３０８は、最終構造化テキスト文書３１０として最も高いフィットネススコアを有する候補構造化文書を選択する。

さらに具体的には、方法１１５０は、言語モデル３０４を介して一つまたは複数の候補経路１２２４を初期化する（ステップ１１５２）。例えば、候補経路１２２４は、ルートノード１００２から成る単一経路を含んで初期化されてもよい。「フレーム」という用語は、ここでは１０ミリ秒のような短期間のことを示す。方法１１５０は、音声ストリーム３０２内の第一フレームを指し示すための音声ストリームポインターを初期化する（ステップ１１５３）。例えば、図１２Ｂで説明される実施例では、構造化文書ジェネレータ３０８は、音声ストリーム列挙子１２４０を含み、これは音声認識デコーダ３２０に音声ストリーム３０２の部分１２４２を提供する。方法１１５０が初期化されるとすぐに、部分１２４２は音声ストリーム３０２の第一フレームを単独で含んでもよい。

音声認識デコーダ３２０は、一つまたは複数の候補構造化部分文書１２３２を生成するために、候補経路１２２４内の言語サブモデルを使用して、音声ストリーム３０２の現在の部分１２４２を認識する（ステップ１１５４）。文書１２３２は、音声ストリーム３０２の部分のみに基づき生成されたので、唯一の部分文書１２３２であることに留意されたい。ステップ１１５４が最初に実行されると、音声認識デコーダ３２０は単に、言語モデル３０４のルートノード１００２の言語モデルを使用して、音声ストリーム３０２の最初のフレームを認識する。

候補経路１２２４を使用して、候補構造化部分文書１２３２を生成するために、音声認識デコーダ３２０によって、図１１Ａおよび図１２Ａについて上記に開示された手法を利用してもよいことに留意されたい。より具体的には、ステップ１１０２で識別された経路としてそれぞれの候補経路１２２４を使用して、音声認識デコーダ３２０は、図１１Ａで説明した方法を音声ストリーム部分１２４２に適用する（図１１Ａ）。

図１１Ｂおよび１２Ｂに戻り、フィットネス評価部１２３４は、それぞれの候補構造化部分文書１２３２に対してフィットネススコア１２３６を生成する（ステップ１１５６）。フィットネススコア１２３６は、候補構造化部分文書１２３２がいかにうまく音声ストリーム３０２の対応する部分を表すかの尺度である。概して、単一候補文書に対するフィトネススコアは、（１）候補経路１２２４の対応する一つ内のそれぞれのノードに対してフィットネススコアを生成すること、および（２）ステップ（１）で生成された個々のノードフィットネススコアを、候補構造化文書に対する総体的なフィットネススコアの中へ統合する統合機能を利用すること、により生成されることができる。候補フィットネススコア１２３６を生成するために使用する手法の例を、図１１Ｃについて以下により詳細に説明する。

言語モデル３０４の階層を介して可能性のあるすべての経路を検索するのに構造化文書ジェネレータ３０８を試みる場合、それぞれの可能性のある経路を評価するのに必要なコンピュータ資源は、可能性のある経路の数の急激な増加のために、法外に費用がかかり、および／または多大な時間を必要とする可能性がある。従って、図１２Ｂで説明される実施例では、経路切取部１２３０は、不適合経路を候補経路１２２４から取り除くのに候補フィットネススコア１２３６を使用し、これによって、一式の切り取られた経路１２２２を作成する（ステップ１１５８）。

全部の音声ストリーム３０２が認識されている場合（ステップ１１６０）、最終文書セレクタ１２３８は、最も高いフィットネススコアを有する候補構造化文書を候補構造化部分文書１２３２の中から選択し、最終構造化テキスト文書３１０として選択された文書を提供する（ステップ１１６４）。全部の音声ストリーム３０２が認識されていない場合は、経路拡張部１２２０は、新しい一式の候補経路１２２４を作成するために、言語モデル３０４内で切り取られた経路１２２２を拡張する。例えば、切り取られた経路１２２２がルートノード１００２を含む単一経路から成る場合、経路拡張部１２２０は、ルートノード１００２からヘッダー内容ノード３０６ａへの経路、ルートノード１００２から比較ノード３０６ｂへの経路、ルートノード１００２から手法ノード３０６ｃへの経路などのようなルートノード１００２から拡張された複数の候補経路を作成するために、図１０Ａで説明された階層で、ノードを一つ下げることによりこの経路を拡張してもよい。縦型、横型、またはその他の種類の階層的な検索を実行するのに経路１２２４を拡張する様々な手法は、当技術分野において通常の技術を有する者に既知である。

音声ストリーム列挙子１２４０は、次のフレームを音声ストリーム３０２内に含めるために、音声ストリーム３０２の部分１２４２を拡張する（ステップ１１６３）。その後、音声ストリーム３０２の部分１２４２を認識するために、新しい候補経路１２２４を使用して、ステップ１１５４〜１１６０を繰り返す。このようにして、言語モデル３０４内の適切なサブモデルを使用して、全体の音声ストリーム３０２を認識してもよい。

図１１Ｂおよび１２Ｂについて上記に説明したように、言語モデル３０４を介して候補経路１２２４を評価している間に、構造化文書ジェネレータ３０８によって作成されるそれぞれの候補構造化部分文書１２３２に対して、フィットネススコア１２３６を生成してもよい。図１２Ｂで説明した部分候補構造化部分文書１２３２またはより一般的な構造化文書のどちらかに対するフィットネススコアを生成するために、手法の例を今から説明する。

例えば、図１０Ａを参照して、比較内容ノード１００６ａは子として日付ノード１０１２を有することに留意されたい。テキスト「２００３年４月２２日胸部ＣＴスキャン（造影なし）」は、比較内容ノード１００６ａに対応するテキストとして認識されたと仮定する。テキスト「胸部ＣＴスキャン（造影なし）」を認識するために、比較内容ノード１００６ａを使用し、またテキスト「２００３年４月２２日」を生成するために、比較内容ノード１００６ａの子である日付ノード１０１２を使用したことに留意されたい。従って、テキスト「胸部ＣＴスキャン（造影なし）」に対する第一フィットネススコアを計算するために、比較内容ノード１００６ａを使用して、その後に、日付ノード１０１２に基づき、テキスト「２００３年４月２２日」に対して、第二フィットネススコアを計算する日付が続き、第一および第二フィットネススコアを掛け算して、このテキストのフィットネススコアを計算してもよい。

図１１Ｃを参照して、候補文書に対するフィットネススコアを計算するために、本発明の一実施形態で実行され、従って、また図１１Ｂで説明された方法１１５０のステップ１１５６を実行するのに使用される方法のフローチャートを示す。評価された候補構造化文書の一つの値に対して、フィットネススコアＳを初期化する（ステップ１１７２）。方法は、候補文書に対応する候補経路内のルートノードを指し示すために、現在のノードポインターＮを割り当てる（ステップ１１７４）。

方法は、値ＮおよびＳを一緒に、Fitness()と呼ばれる関数を呼び出し（ステップ１１７６）、また候補文書に対するフィットネススコアとして結果を戻す（ステップ１１７８）。今からさらに詳細に説明するように、関数Fitness()は、候補文書に対応する候補経路をトラバースすることによる階層的因数分解を使用して、フィットネススコアＳを生成する。

図１１Ｄを参照して、本発明の一実施形態に従う関数Fitness()１１８０のフローチャートを示す。関数１１８０は、現在のノードＮに対応するテキストが、そのノードに関連する言語モデルによって認識される確率Ｐ（Ｗ（Ｎ））Ｗを識別し、またＳの新しい値を作成するためにＳの現在の値による確率を掛け算する（ステップ１１８４）。

ノードＮに子がない場合（ステップ１１８６）、Ｓの値は戻される（ステップ１１９４）。ノードＮに子がある場合、ひいては、関数Fitness()１１８０は、Ｓの新しい値を作成するために、Ｓの値によって掛け算された結果とともに、それぞれの子ノードに再帰的に呼び出される（ステップ１１８８〜１１９２）。その結果としてできるＳの値は戻される（ステップ１１９４）。

図１１Ｃで説明された方法が完了するとすぐに、Ｓの値は、全体の候補構造化文書に対するフィットネススコアを表し、Ｓの値は、例えば、図１１Ｂで説明された方法１１５０で使用するために戻される（ステップ１１９４）。

例えば、「胸部ＣＴスキャン（造影なし）二千三年四月二十二日」を思い出していただきたい。＜日付＞がどのような日付も意味するテキスト「胸部ＣＴスキャン（造影なし）＜日付＞」の確率を識別することにより、このテキストのフィットネススコア（確率）を得てもよく、また、もしテキストが日付を表すならば起きるテキスト「２００３年４月２２日」の条件付き確率によって、このテキストのフィットネススコア（確率）を掛け算してもよい。

より一般には、図１１Ｃで説明された方法の効果は、言語モデル３０４の階層に従う単語の順序の確率を階層的に因数に分解することであり、これによりそれぞれの言語モデルノードに関連する個々の確率評価を、その他のノードと関連する確率評価とシームレスに組み合わせることができる。この確率的な構成により、システムは、モデルを作り、組み込み確率有限状態文法および組み込み統計言語モデル付き有限状態文法とともに、統計言語モデルを使用できる。

上記に説明したように、言語モデル３０４内のノードは言語サブモデルを表し、これは口語的音声ストリーム３０２内の単語の順序が発生する確率を特定する。これまでの考察では、確率はそのような言語モデルに既に割り当てられていると仮定してきた。言語モデル３０４内で、確率を言語サブモデル（ｎグラム言語モデルおよび文脈自由文法）に割り当てるために、手法の例を今から開示する。

図１３を参照して、言語モデル３０４を生成するために、本発明の一実施形態に使用される方法１３００のフローチャートを示す。言語モデルに使用するために、複数のノードを選択する（ステップ１３０２）。例えば、記録転写士または相当する分野で技術を有するその他の者によってノードを選択してもよい。口語的音声ストリーム３０２内で現れる可能性のあるすべての概念のタイプを確保しようとしてノードを選択してもよい。例えば、医学分野で、診断書の部および診断書に現れることが予想される概念（例えば、日付、時間、投薬、アレルギー、バイタルサインおよび医師の倫理規定）を表すノード（例えば、図１０Ａで示すものなど）を選択してもよい。

概念および言語モデルタイプをステップ１３０２で選択されたそれぞれのノードに割り当ててもよい（ステップ１３０４〜１３０６）。例えば、ノード３０６ｂ（図１０Ａ）は概念「比較部キュー」に割り当てられてもよく、また言語モデルタイプ「有限状態文法」に割り当てられてもよい。同様に、ノード１００６ａは、概念「比較内容」および言語モデルタイプ「ｎグラム言語モデル」に割り当てられてもよい。

ステップ１３０２で選択されたノードを階層構造の中へ配列してもよい（ステップ１３０８）。例えば、ノード間の構造上の依存性を表し、実行するために、ノード１００２、３０６ａ〜ｅ、１００６ａ〜ｅ、および１０１０を図１０Ａで説明した階層構造の中へ配列してもよい。

その後、対応する概念を表すテキストを使用して、ステップ１３０２で選択したそれぞれのノードをトレーニングしてもよい（ステップ１３１０）。例えば、一式のトレーニング文書を識別してもよい。例えば、一式のトレーニング文書は、一式の既存の診断書または口語的音声ストリーム３０２と同一のドメイン内のその他の文書であってもよい。部、サブ部、日付、時間、倫理規定およびその他の概念のような文書内の構造の存在および場所を示すために、トレーニング文書を手作業で印を付けてもよい。例えば、フォーマット済みの文書で自動的に、または記録転写士または相当する分野で技術を有するその他の者によって手作業によって、そのような印付けを実行してもよい。ステップ１３０２で選択されたノードをトレーニングするための手法の例は、「Ｄｏｃｕｍｅｎｔ Ｔｒａｎｓｃｒｉｐｔｉｏｎ Ｓｙｓｔｅｍ Ｔｒａｉｎｉｎｇ」という名称の先述の特許出願で説明される。

トレーニング文書内でマークされたそれぞれの概念に対する概念に特有の言語モデルのトレーニングを行うために、従来型の言語モデルトレーニング手法をステップ１３１０で使用してもよい。例えば、ヘーダー部を表す言語モデルノード３０６ａのトレーニングを行うために、トレーニング文書内のマークされたすべての「ヘッダー」部からのテキストを使用してもよい。このようにして、図１０Ａで説明された言語モデル３０４内のそれぞれのノード１００２、３０６ａ〜ｅ、１００６ａ〜ｅ、および１０１０に対する言語モデルのトレーニングを行ってもよい。図１３で説明された方法１３００の結果は、トレーニングされた確率を有する階層的言語モデルであり、上記に説明した方法で、構造化テキスト文書３１０を生成するためにこれを使用できる。その後、例えば、図１１Ｂおよび１２Ｂと関連して上記に開示した手法を使用するなどによって、トレーニングテキストを反復して再分割するために、階層的言語モデルを使用してもよい。階層的言語モデルを保持するために、分割されたトレーニングテキストを使用してもよい。言語モデルの質を繰り返して改善するために、再分割および再トレーニングのこの過程を反復して実行してもよい。

上記に説明した例では、構造化文書ジェネレータ３０８は、中間の非構造化筆記録を生成する範囲内で、統合された過程を使用し、口語的音声ストリーム３０２の認識、および構造化テキスト文書３１０の生成の両方を行う。しかしながら、そのような手法は単に例示目的のために開示され、本発明に制限を加えるものではない。

図１４を参照して、区別できる音声認識および構造化構文解析ステップを使用し、構造化テキスト文書３１０を生成するために、本発明の別の実施形態で使用される方法１４００のフローチャートを示す。図１５を参照して、本発明の一実施形態に従う図１４の方法１４００を実行するシステム１５００のデータフロー図を示す。

音声認識デコーダ３２０は、口語的音声ストリーム３０２の筆記録１５０２を生成するための言語モデル１５０６を使用し、口語的音声ストリーム３０２を認識する。言語モデル１５０６は、言語モデル３０４と異なる従来型の言語モデルであってもよいことに留意されたい。より具体的には、言語モデル１５０６は、従来の一体型の言語モデルであってもよい。例えば、言語モデル３０４をトレーニングするのに使用される同一のトレーニング言語資料を使用して、言語モデル１５０６を生成してもよい。言語モデル３０４のノードのトレーニングを行うために、トレーニング言語資料の一部を使用してもよいが、言語モデル１５０６のトレーニングを行うために、言語資料の全体を使用してもよい。従って、音声認識デコーダ３２０は、言語モデル１５０６を使用し、口語的音声ストリーム３０２を認識し、それによって筆記録１５０２を生成するために、従来型の音声認識手法を使用してもよい。

筆記録１５０２は、上記に開示された前の例にあるような構造化文書よりはむしろ、口語的音声ストリーム３０２の「フラット」筆記録１５０２であってもよいことに留意されたい。例えば、筆記録１５０２は、図４（これはテキスト形式で口語的音声ストリーム３０２と示す）で説明されたテキストと似ているフラットテキストの順序を含んでもよい。

システム１５００は構造化構文解析ツール１５０４も含むが、これは筆記録１５０２を構文解析し、それによって構造化テキスト文書３１０を生成するために、階層的言語モデル３０４を使用する（ステップ１４０４）。構造化構文解析ツール１５０４は、（１）筆記録１５０２と同一の内容を有するが、言語モデル３０４を介して異なる経路に対応する構造を有する多数の候補構造化文書を作成するため、（２）それぞれの候補構造化文書に対するフィットネススコアを生成するため、および（３）最終構造化テキスト文書として最も高いフィットネススコアを有する候補構造化文書を選択するため、という目的のために、図１１Ｃおよび１２Ｂについて上記に開示した手法を使用してもよい。しかしながら、図１１Ｃおよび１２Ｂについて上記に開示した手法と対照的に、それぞれの候補構造化文書を生成するために、音声認識を実行することなく、ステップ１４０４を実行してもよい。もっと正確に言えば、音声認識デコーダ３２０を使用して、筆記録１５０２を作成した時点で、音声認識を追加で実行することなく、筆記録１５０２に基づいて、候補構造化文書を生成してもよい。

さらに、構造化パーサー１５０４は、構造化テキスト文書３１０を作成するために完全な言語モデル３０４を使用する必要はない。むしろ、構造化パーサー１５０４は、図１０Ｃに示す言語モデル１０３０等の「骨格」言語モデルを使用してよい。図１０Ｃに示す言語モデル例１０３０は、骨格言語モデル１０３０において内容言語モデルノード３０６ａ、１００６ａ〜ｄおよび１０１０が、「ドントケア」言語モデルとも称される汎用対応言語モデル１０３２ａ〜ｆに置き換えられているという点を除いては、図１０Ａに示す言語モデル３０４と同じであることに留意されたい。言語モデル１０３２ａ〜ｆは、それらに入力として提供されるいかなるテキストにも対応するであろう。骨格言語モデル１０３０内のヘッダーキュー言語モデル３０６ｂ〜ｅは、構造化パーサー１５０４に、筆記録１５０２を構造化文書３１０内の的確な部分構造へ構文解析させることができる。しかしながら、汎用対応言語モデル１０３２ａ〜ｆの使用は、構造化パーサー１５０４に、図１０Ａに示すモデル３０６ａ、１００６ａ〜ｄ、および１０１０等の内容言語モデルをトレーニングする（一般にかなりの）費用を負担することなく、該当する構造的な構文解析を実行させることができる。

骨格言語モデル１０３０はさらに、下位概念に対応する日付言語モデル１０１２等の言語モデルを含んでよいことに留意されたい。結果として、骨格言語モデル１０３０は、下位概念を構造化文書３１０へ構文解析する能力を維持しながら、内容言語モデルをトレーニングする諸経費を負担することなく、筆記録１５０２から構造化文書３１０を生成するために使用されることができる。

本発明の利点には、以下のうち１つ以上が含まれる。本明細書において開示される技術は、従来の世界言語モデルを、単一の一般言語モデルよりも文書の節に適している特定ローカル言語モデルの組み合わせに置き換えるものである。該当する言語モデルは、様々な利点を有する。

例えば、それぞれが特定の概念に対応するサブモデルを含有する言語モデルの使用は、ほとんどの適切な言語モデルが各概念に対応する音声を認識するために使用されることを可能にするため、好都合である。換言すると、サブモデルのそれぞれが異なる概念に対応する場合、そのサブモデルのそれぞれは、対応する概念を表現する音声における音声認識を実行するために使用されることができる。音声の特性は概念によって異なるため、該当する概念固有言語モデルの使用によって、すべての概念用のモノリシック言語モデルを使用して作成されるものよりも良い認識結果を作成することができる。

言語モデルのサブモデルは文書の節に対応することができるが、これは本発明を限定するものではない。むしろ、言語モデルにおける各サブモデルは、節、段落、文、日付、時刻、またはＩＣＤ９コード等、いかなる概念にも対応することができる。結果として、言語モデルにおけるサブモデルは、節固有言語モデルのみを用いた場合に考えられるよりも高度な精密度を持つ特定の概念に適合されることができる。そのような多種多様の概念用の概念固有言語モデルを使用することで、音声認識精度をさらに向上させることができる。

さらに、本発明の実施形態に従って設計された階層的言語モデルは、互いの内側でサブモデルを入れ子にする効果を持つ多層階層構造を有することができる。結果として、言語モデル内のサブモデルは、各レベルの粒度において適用される最も適切な言語モデルとともに、様々なレベルの粒度における口語的音声ストリーム３０２の一部に適用されることができる。例えば、「ヘッダー部」言語モデルは概して文書のヘッダー部の内側の音声に適用されることができ、一方、「日付」言語モデルは特にヘッダー部において日付を表現する音声に適用されることができる。言語モデルを入れ子にし、入れ子にされた言語モデルを音声の異なる部分に適用するためのこの能力は、口語的音声ストリームの各部分に最も適切な言語モデルが適用できるようにすることによって、認識精度をさらに向上させることができる。

複数のサブモデルを含む言語モデルを使用することの別の利点は、本明細書において開示される技術が、図１Ａに示す、音声認識ステップに続いて自然言語処理ステップが行われる先行技術の２ステッププロセス１００よりもむしろ、単一の総合プロセスを使用して口語的音声ストリームから構造化テキスト文書を生成するために、該当する言語モデルを使用できることである。図１Ａに示す２ステッププロセス１００において、音声認識装置１０４と自然言語プロセッサ１０８とによって実行されるステップは完全に分離されている。自動音声認識装置１０４および自然言語プロセッサ１０８は互いに独立して動作するため、自動音声認識装置１０４の出力１０６は音声ストリーム１０２内の口語的内容の文言記録である。したがって文言記録１０６は、該当する発話が最終的に望ましい構造化テキスト文書に関連するか否かにかかわらず、音声ストリーム１０２内のすべての口語的発話に対応するテキストを含有する。該当する発話は、構造的示唆またはタスク関連語に加えて、例えば躊躇、無関係な語、または繰り返しを含んでよい。さらに、自然言語プロセッサ１０８は、構造的示唆等、一定のキーワードおよび／またはキーフレーズの検出および記録転写の成功に依存している。キーワード／フレーズが自動音声識別装置１０４によって誤認識されると、自然言語プロセッサ１０８による構造エントリの識別が悪影響を受ける場合がある。対照的に、図２に示す方法２００においては、音声認識および自然言語処理が統合され、それによって言語モデルが音声ストリーム３０２における語の認識および構造化テキスト文書３１０における構造の生成の両方に影響を及ぼすことが可能になり、それによって構造化文書３１０の品質全体が向上する。

本明細書において開示される技術は、構造化文書３１０を生成することに加えて、音声ストリーム３０２から意味内容を抽出および解釈するために使用されてもよい。例えば、日付言語モデル１０１２（図１０Ａ〜１０Ｂ）は、音声ストリーム３０２の日付を表現する部分を識別し、そのような日付の表現をコンピュータ可読形式で保存するために使用されてよい。例えば、本明細書に開示される技術は、口語的フレーズ「１９９３年１０月１日」を日付として識別し、その日付を「月＝１０，日＝１，年＝１９９８」等のコンピュータ可読形式で保存するために使用されてよい。そのような概念をコンピュータ可読形式で保存することは、日付ごとに文書節を保存すること、または任意の日付より前に処方された薬物を識別すること等により、そのような概念の内容がコンピュータによって容易に処理されることを可能にする。さらに、本明細書において開示される技術は、ユーザーが文書の異なる部分（例えば、節）を定義し、各節においてどの概念を抽出するかを選ぶことを可能にする。したがって、本明細書において開示される技術は、口語的音声ストリームにおける意味内容の認識および処理を容易にする。該当する技術は、抽出された情報を構造化文書に保存することの代わりに、またはそれに加えて適用されることができる。

医療および法律分野等、トレーニングテキストとして使用するためにまとまった量の事前録音済み音声ストリームがある分野は、本明細書において開示される技術に特定の利益を見出すことができる。該当するトレーニングテキストは、図１３に関連して上記で開示した技術を使用して、言語モデル３０４をトレーニングするために使用されることができる。そのような分野における文書は明確に定義された構造を有することを要求される場合があるため、また該当する構造は既存の文書において直ちに識別可能な場合があるため、言語モデル３０４内の概念固有言語モデルノードのそれぞれをトレーニングする際において使用するために、該当する既存の文書の部分を正確に識別することは（時間はかかるが）比較的容易である。結果として、言語モデルノードのそれぞれは、対応する概念を認識するよう十分にトレーニングされることができ、それによって認識精度が向上し、また、要求される構造を有する文書を生成するためのシステムの能力が向上する。

さらに、本明細書において開示される技術は、音声が録音および記録転写される既存のプロセスにおいていかなる変更も必要とすることなく、該当する分野内に適用できる。医療分野においては、例えば、医師は現在の様式で診断書を口述し続けることができる。本明細書において開示される技術は、口語的音声ストリームが口述される様式にかかわらず、望ましい構造を有する文書を生成するために使用されることができる。話者が（トレーニングテキストを読むことによって）エンロールすることを必要とする技術、話者が自らの口語の様式を（所定の口語形式を使用して常に特定の概念を話すこと等によって）修正することを必要とする技術、または筆記録が特定のフォーマットで生成されることを必要とする技術等、ワークフローにおいて変更を必要とする代替技術は、医療および法律分野等の分野において実装するには極めて高価となりうる。事実、そのような変更は、報告書の構造に関連する制度的または法的要件（保険報告要件によって課されるもの等）と矛盾するおそれがある。対照的に、本明細書において開示される技術は、音声ストリーム３０２が任意の様式で生成され、任意の形式を有することを可能にする。

また、言語モデル３０４内の個別のサブモデル３０６ａ〜ｅは、残りの言語モデルに影響することなく容易に更新されることができる。例えば、ヘッダー内容３０６ａサブモデルは、文書ヘッダーが口述される手法について異なる説明をする、異なるヘッダー内容サブモデルに置き換えられてよい。言語モデル３０４のモジュール構造は、そのようなサブモデルの修正／置換が、言語モデル３０４のその他いかなる部分を修正することも必要とせずに実行されることを可能にする。結果として、言語モデル３０４の一部は、異なる文書口述筆記仕様を反映するために、容易に更新されることができる。

さらに、本発明の様々な実施形態によって作成される構造化テキスト文書３１０は、言語モデルをトレーニングするために使用されることができる。例えば、上記で参照した特許出願の名称「Ｄｏｃｕｍｅｎｔ Ｔｒａｎｓｃｒｉｐｔｉｏｎ Ｓｙｓｔｅｍ Ｔｒａｉｎｉｎｇ」に記載のトレーニング技術は、言語モデル３０４を再トレーニングし、それによって言語モデル３０４を向上させるために、構造化テキスト文書３１０を使用することができる。再トレーニングされた言語モデル３０４はその後、次の構造化テキスト文書を作成するために使用されることができ、これが同様に言語モデル３０４を再トレーニングするために使用されることができる。この反復プロセスは、時間をかけて作成される構造化文書の品質を向上させるために用いられることができる。

本発明を特定の実施形態の観点で上記に説明したが、当然のことながら、前述の実施形態は一例として提供したにすぎず、本発明の範囲を限定または定義するものではない。以下を含むがそれらに限定されないその他様々な実施形態も、特許請求の範囲内である。例えば、本明細書において記載されている要素および構成要素は、追加構成要素へさらに分割されてもよく、または、同じ機能を実行するより少ない構成要素を形成するために結合されてもよい。

口語的音声ストリーム３０２は、直接的にまたは間接的に（電話またはＩＰ接続等を介して）受信されたライブ音声ストリーム、または任意の媒体に任意のフォーマットで録音された音声ストリーム等、任意の音声ストリームであってよい。分散型音声認識（Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ；ＤＳＲ）において、クライアントは、サーバへ伝送される処理された音声ストリームを作成するために音声ストリームの前処理を実行し、サーバがその処理された音声ストリームについて音声認識を実行する。音声ストリーム３０２は、例えば、ＤＳＲクライアントによって作成された、処理された音声ストリームであってよい。

上記の例において、言語モデル３０４内の各ノードは特定の概念に対応する言語モデルを含有するとして説明されているが、これは本発明の要件ではない。例えばノードは、（１）世界背景言語モデル、または（２）その他のノードに関連する概念固有言語モデルを補間することによって生じる言語モデルのうち１つ以上を持つノードに関連する概念固有言語モデルを含んでよい。

上記の例において、区別は「文法」と「テキスト」との間でなされうる。テキストは文法として表現されることができ、その場合、確率１を有する単一の口述形式があることを十分に理解すべきである。したがって、本明細書においてテキストおよび文法の両方を含むとして説明されている文書は、必要に応じて、文法のみを使用して実装されることができる。さらに、有限状態文法は、表現される概念の多数の代替口述形式を可能にする言語モデルの一種である、文脈自由文法の中のほんの一種類にすぎない。したがって、本明細書における、有限状態文法に適用される技術についてのあらゆる説明は、その他任意の種類の文法に、より広く適用されることができる。さらに、上記の説明は有限状態言語モデルおよびｎグラム言語モデルに言及している場合もあるが、これらは本発明の実施形態に関連して使用されうる言語モデルの種類の例にすぎない。本発明の実施形態は、任意の特定の種類の言語モデルに関連して使用するよう限定されるものではない。

本発明は、説明した領域（診断書および法的報告書等）のいずれかに限定されるものではなく、あらゆる種類の構造化文書に広く当てはまる。

上記で説明した技術は、例えば、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装されることができる。上記で説明した技術は、プロセッサ、プロセッサにより可読である記憶媒体（例えば、揮発性および不揮発性メモリならびに／または記憶素子を含む）、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスを含むプログラム可能コンピュータ上で実行する、１つ以上のコンピュータプログラムにおいて実装されることができる。説明した機能を実行するためおよび出力を生成するために、入力デバイスを使用して入力された入力に、プログラムコードを適用してもよい。出力は、１つ以上の出力デバイスに提供されてよい。

以下の特許請求の範囲内における各コンピュータプログラムは、アセンブリ言語、機械語、高水準の手続き型プログラミング言語、またはオブジェクト指向プログラミング言語等、任意のプログラミング言語において実装されることができる。プログラミング言語は、例えば、コンパイル型またはインタープリタ型プログラミング言語であってよい。

各該当するコンピュータプログラムは、コンピュータプロセッサによる実行のための機械可読ストレージデバイスにおいて明白に具現化されるコンピュータプログラム製品において実装されることができる。本発明の方法のステップは、入力を操作し出力を生成することによって、本発明の機能を実行するために、コンピュータ可読媒体において明白に具現化されるプログラムを実行するコンピュータプロセッサによって実行されることができる。適したプロセッサは、一例として、汎用および特殊用途マイクロプロセッサの両方を含む。概して、プロセッサは、リードオンリーメモリおよび／またはランダムアクセスメモリから命令およびデータを受信する。コンピュータプログラム命令を明白に具現化するのに適したストレージデバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスを含む半導体メモリデバイス；内蔵ハードディスクおよびリムーバブルディスク等の磁気ディスク；光磁気ディスク；ならびにＣＤ‐ＲＯＭ等、すべての形式の不揮発性メモリを含む。上述のいずれも、特別に設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ；特定用途向け集積回路）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ；フィールドプログラマブルゲートアレイ）によって補完されるか、または、それらに組み込まれることができる。コンピュータは概して、内蔵ディスク（図示せず）またはリムーバブルディスク等の記憶媒体からプログラムおよびデータを受信することもできる。これらの要素は、本明細書において説明した方法を実装するコンピュータプログラムを実行するのに適した他のコンピュータに加えて、従来のデスクトップまたはワークステーションコンピュータにおいても見られ、任意のデジタルプリントエンジンもしくはマーキングエンジン、ディスプレイモニタ、または、紙、フィルム、ディスプレイ画面、もしくはその他の出力媒体上にカラーもしくはグレースケールピクセルを作成することができるラスタ出力デバイスと関連して使用されることもできる。

図１Ａは、口語音声ストリームに基づいて構造化文書を生成するための、従来技術のシステムのデータフロー図である。図１Ｂは、口語の報告書に基づいて生成されるテキスト診断書の図である。 口語の文書に基づいて構造化テキスト文書を生成するために、本発明の一実施態様において行われる方法のフローチャートの図である。 本発明の一実施態様における図２の方法を行うシステムのデータフロー図である。 本発明の一実施態様の口語音声ストリームの一例を示す図である。 本発明の一実施態様による、構造化テキスト文書を示す図である。 本発明の一実施態様による、図５の構造化テキスト文書に基づいてレンダリングされる、レンダリングされた文書の一例を示す図である。 構造化テキスト文書を生成するために、本発明の一実施態様における図３の構造化文書ジェネレータによって行われる方法のフローチャートの図である。 本発明の一実施態様による、図７の方法に関連する、図３のシステムの一部を詳細に示すデータフロー図である。 言語モデルと、該言語モデルに対応する文書の部分構造と、本発明の一実施態様による言語モデルを使用して生成された候補内容とのマッピングを示す図である。 図１０Ａは、本発明の一実施態様による、階層的言語モデルを示す図である。図１０Ｂは、本発明の一実施態様による図１０Ａの階層的言語モデルを介した経路を示す図である。図１０Ｃは、本発明の別の実施態様による、階層的言語モデルを示す図である。 図１１Ａは、本発明の一実施態様による、構造化テキスト文書を生成するために、図３の構造化文書ジェネレータによって行われる方法のフローチャートの図である。図１１Ｂは、本発明の一実施態様による、階層的言語モデルを介して経路を選択し、音声に基づいて構造化テキスト文書を生成するために、統合プロセスを使用する方法のフローチャートの図である。図１１Ｃ及び図１１Ｄは、候補文書に対するフィットネススコアを計算するために、本発明の一実施態様において行われる方法のフローチャートの図である。 図１２Ａは、本発明の一実施態様による、図１１Ａの方法に関連する、図３のシステムの一部を詳細に示すデータフロー図である。図１２Ｂは、本発明の一実施態様における図１１Ｂの方法を行う図３の構造化文書ジェネレータの一実施態様を示すデータフロー図である。 構造化テキスト文書の生成において使用するための階層的言語モデルを生成するために、本発明の一実施態様において使用される方法のフローチャートの図である。 相異なる音声認識および構造的な構文解析ステップを使用して、構造化テキスト文書を生成するために、本発明の一実施態様において使用される方法のフローチャートの図である。 本発明の一実施態様による、図１４の方法を行うシステムのデータフロー図である。

Claims (21)

1. （Ａ）第１の階層内に論理的に構成された複数の概念に関連する複数の確率的言語モデルを含む確率的言語モデルを識別するステップと、
   （Ｂ）口語音声ストリームに前記確率的言語モデルを適用するために音声認識デコーダを使用して、前記第１の階層を介した経路によって定義される論理構造を有する第２の階層に論理的に構成された複数の部分構造に構成された内容を含む文書を生成するステップと、
   を含む方法であって、
   前記ステップ（Ｂ）は、
   （Ｂ）（１）前記階層を介して経路を識別するステップであって、
   （Ｂ）（１）（ａ）前記階層を介して複数の経路を識別するステップと、
   （Ｂ）（１）（ｂ）前記複数の経路Ｐのそれぞれに対して、経路Ｐ上の前記言語モデルを使用して前記口語音声ストリームを認識するために、前記音声認識デコーダを使用して前記口語音声ストリームに対する構造化文書であって、フラットテキストと意味概念を含む構造化文書の候補を生成するステップと、
   （Ｂ）（１）（ｃ）前記複数の構造化文書の候補に対する複数のフィットネススコアを生成するために、ステップ（Ｂ）（１）（ｂ）で生成された前記複数の構造化文書の候補にメトリックを適用するステップと、
   （Ｂ）（１）（ｄ）最も高いフィットネススコアを有する前記構造化文書の候補を生成する前記経路を選択するステップと、を含むステップと、
   （Ｂ）（２） ステップ（Ｂ）（１）で識別された前記経路に対応する構造を有する文書を生成するステップと、を含む、
   方法。
2. 前記ステップ（Ｂ）（２）は、前記文書を生成するために、前記第１の階層を介して前記経路をトラバースするステップを含む、
   請求項１に記載の方法。
3. 前記ステップ（Ｂ）（１）は、前記口語音声ストリームを認識するために音声認識デコーダによって適用された場合に、前記複数の確率的言語モデルの前記第１の階層に関する最適認識結果を生成する前記第１の階層を介して経路を識別するステップを含む、
   請求項１に記載の方法。
4. 前記複数の部分構造は意味概念を表す部分構造を含む、
   請求項１に記載の方法。
5. 前記意味概念は日付を含む、
   請求項４に記載の方法。
6. 前記意味概念は投薬を含む、
   請求項４に記載の方法。
7. 前記意味概念はコンピュータ可読形式で前記文書内に表される、
   請求項４に記載の方法。
8. 前記複数の確率的言語モデルは少なくとも１つのｎグラム言語モデルを含む、
   請求項１に記載の方法。
9. （Ｃ）前記文書の構造を示す解釈を生成するために、前記文書をレンダリングするステップをさらに含む、
   請求項１に記載の方法。
10. 前記複数の確率的言語モデルは少なくとも１つの有限状態言語モデルを含む、
    請求項１に記載の方法。
11. 前記複数の確率的言語モデルは少なくとも１つのｎグラム言語モデルを含む、
    請求項１０に記載の方法。
12. 第１の階層内に論理的に構成される複数の概念に関連する複数の確率的言語モデルを含む確率的言語モデルを識別するための識別手段と、
    口語音声ストリームに前記確率的言語モデルを適用するために音声認識デコーダを使用して、前記第１の階層を介した経路によって定義される論理構造を有する第２の階層に論理的に構成された複数の部分構造に構成された内容を含む文書を生成するための文書生成手段と、を備える装置であって、
    前記文書生成手段は：
    前記第１の階層を介して経路を識別するための第２の識別手段であって、前記第２の識別手段は、
    前記第１の階層を介して複数の経路を識別するための手段と、
    前記複数の経路Ｐのそれぞれに対して、経路Ｐ上の前記言語モデルを使用して前記口語音声ストリームを認識するために、前記音声認識デコーダを使用して前記口語音声ストリームに対する構造化文書であって、フラットテキストと意味概念を含む構造化文書の候補を生成するための候補生成手段と、
    前記複数の構造化文書の候補に対する複数のフィットネススコアを生成するために、前記候補生成手段で生成された前記複数の構造化文書の候補にメトリックを適用するための手段と、
    最も高いフィットネススコアを有する前記構造化文書の候補を生成する前記経路を選択するための手段と、を備える第２の識別手段と；
    前記第２の識別手段で識別された前記経路に対応する構造を有する文書を生成するための手段と、
    を備える装置。
13. 前記文書生成手段は、前記文書を生成するために、前記第１の階層を介して前記経路をトラバースする手段を備える、
    請求項１２に記載の装置。
14. 前記複数の確率的言語モデルは少なくとも１つのｎグラム言語モデルを含む、
    請求項１２に記載の装置。
15. 前記複数の確率的言語モデルは少なくとも１つの有限状態言語モデルを含む、
    請求項１２に記載の装置。
16. 前記複数の確率的言語モデルは少なくとも１つのｎグラム言語モデルを含む、
    請求項１５に記載の装置。
17. 前記複数の部分構造は意味概念を表す部分構造を含む、
    請求項１２に記載の装置。
18. 前記意味概念は日付を含む、
    請求項１７に記載の装置。
19. 前記意味概念は投薬を含む、
    請求項１７に記載の装置。
20. 前記意味概念はコンピュータ可読形式で前記文書内に表される、
    請求項１７に記載の装置。
21. 前記文書の構造を示す解釈を生成するために、前記文書をレンダリングするための手段をさらに含む、
    請求項１２に記載の装置。

Images