JPWO2005122143A1 - 音声認識装置および音声認識方法 - Google Patents

音声認識装置および音声認識方法 Download PDF

Info

Publication number
JPWO2005122143A1
JPWO2005122143A1 JP2006514451A JP2006514451A JPWO2005122143A1 JP WO2005122143 A1 JPWO2005122143 A1 JP WO2005122143A1 JP 2006514451 A JP2006514451 A JP 2006514451A JP 2006514451 A JP2006514451 A JP 2006514451A JP WO2005122143 A1 JPWO2005122143 A1 JP WO2005122143A1
Authority
JP
Japan
Prior art keywords
vocabulary
language model
unit
combination coefficient
speech recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006514451A
Other languages
English (en)
Other versions
JP3923513B2 (ja
Inventor
誠 西崎
誠 西崎
中藤　良久
良久 中藤
麻紀 山田
麻紀 山田
芳澤　伸一
伸一 芳澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3923513B2 publication Critical patent/JP3923513B2/ja
Publication of JPWO2005122143A1 publication Critical patent/JPWO2005122143A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

話題が変化してもその話題に対応した言語モデルをリアルタイムに生成することにより音声認識を適切に行う音声認識装置を提供する。 語彙を取得して指定する語彙指定部（１０１）と、音声を認識するための複数種の言語モデル、およびそれらのタグ情報を格納する言語モデル情報格納部（１０５）と、語彙指定部（１０１）で取得された語彙と、各言語モデルのタグ情報との関連性に基づいて、語彙指定部（１０１）で取得された語彙に応じた各言語モデルの重みを組合せ係数として算出する組合せ係数算出部（１０３）と、算出された組合せ係数に応じて各言語モデルを組み合わせることにより、出現単語予測確率を算出する言語確率計算部（１０４）と、算出された出現単語予測確率を用いて音声を認識する音声認識部（３０１）とを備える。

Description

本発明は、言語モデルを用いて音声を認識する音声認識装置および音声認識方法に関する。
音声認識などに用いられる言語モデルは、音声認識の対象となるタスクに対応した大量の文例集をもとに、その文例に対して、不要な記号などを削除する前処理などを施した後、形態素解析を行い、単語の連鎖情報を統計的にモデル化したものである。通常、言語モデルには２−ｇｒａｍまたは３−ｇｒａｍが用いられる。
従来、このような言語モデルを作成するには、音声認識を適用したいタスクに対して大量の文例を収集する必要があり、そのコストは莫大なものになった。そのため、収集すべき文例の数を抑えて、認識すべき発話の話題に適応可能な言語モデルを作成することが考えられている（例えば、特許文献１および特許文献２参照。）。
上記特許文献１では、上記のような言語モデルを作成する方法として、音声認識用の言語モデルの話題適応技術が開示されている。
図１は、上記特許文献１に記載された従来の話題適応技術を利用した音声入力検索システムの動作を示すフローチャートである。
図１に示すように、ユーザが検索要求を発話すると、音声入力検索システムは、音響モデル１０１２と言語モデル１０１４を用いて音声認識を行い（ステップＳ１０１６）、書き起こしを生成する（ステップＳ１０１８）。ここで、言語モデル１０１４はテキストデータベース１０２０に基づいて作成されている。次に、音声入力検索システムは、書き起こされた検索要求を用いてテキスト検索を実行し（ステップＳ１０２２）、検索結果を関連するものから順位付けて出力する（ステップＳ１０２４）。次に、音声入力検索システムは、検索結果の上位文書から情報を取得してモデリングを行い（ステップＳ１０２６）、音声認識の言語モデル１０１４を洗練する。また、音声入力検索システムは、検索結果をパーソナルコンピュータの表示画面などの表示部に表示する（ステップＳ１０２８）。
また、上記特許文献２では、テキストデータベースを大量に集めるのではなく、既存の複数の言語モデル（他のタスクのテキストデータから作成された言語モデル）から得られる情報を使ってターゲットとなる特定タスクの言語モデルを作成する発明が公開されている。
図２は、上記特許文献２の音声認識装置の言語モデル生成部によって行われる処理動作を説明するための説明図である。
この言語モデル生成部は、複数の言語モデル（他のタスクのテキストデータから作成された言語モデル）から得られる連接頻度の分布（事前情報）と、ターゲットである特定タスク（特定タスクのテキストデータ）についての数千単語からなる文例を（特許文献２ １１ページの第１９欄３〜５行目）集めた結果から得られる連接頻度（事後情報）とを用いて、言語予測確率（出現単語予測確率）を求める。即ち、言語モデル生成部は、特定タスクに対応した言語モデルを生成する。そして特許文献２の音声認識装置は、この言語モデル生成部で生成された言語モデルを用いて音声認識を行う。
特開２００３−３６０９３号公報 特開平１０−１９８３９５号公報
しかしながら、ＡＶ（Ａｕｄｉｏ Ｖｉｄｅｏ）データの字幕化であるとか、人の会話の音声認識（たとえばホームページやテレビ番組、電子番組表のようなデータを閲覧しながらの会話の認識）を行う場合、その話題は逐次変化をしていくといった特徴があるため、上記特許文献１および２の技術では、その話題の変化にリアルタイムに言語モデルを適応させることができず、音声認識を適切に行えないという問題がある。
上記特許文献１に記載の技術では、新たな話題の言語モデルを作成するためには、認識結果を用いて情報検索を行い、その結果に対して形態素解析などを含めた処理を必要とする。つまり、既存の言語モデルの内容を洗練して新たな話題に適応させるために、大量の認識結果とそれに対する複雑な処理を必要とする。そのため、リアルタイムの適応は困難である。
また、上記特許文献２に記載の技術であっても、ターゲットとなるタスクの文例を数千単語程度集める必要があるため、言語モデルを話題の変化にリアルタイムに適応させることができない。
そこで、本発明は、かかる問題に鑑みてなされたものであって、話題が変化してもその話題に対応した言語モデル（出現単語予測確率）をリアルタイムに生成することにより音声認識を適切に行う音声認識装置および音声認識方法を提供することを目的とする。
上記目的を達成するために、本発明に係る音声認識装置は、音声を取得して認識する音声認識装置であって、語彙を取得する語彙取得手段と、音声を認識するための複数種の言語モデルを格納する言語モデル格納手段と、前記言語モデルごとに当該言語モデルの特徴を示すタグ情報を格納するタグ情報格納手段と、前記語彙取得手段で取得された語彙と、前記各言語モデルのタグ情報との関連性に基づいて、前記語彙取得手段で取得された語彙に応じた前記各言語モデルの重みを組合せ係数として算出する組合せ係数算出手段と、前記組合せ係数算出手段により算出された組合せ係数に応じて前記各言語モデルを組み合わせることにより、前記音声において所定の単語が出現する予測確率を算出する予測確率算出手段と、前記予測確率算出手段により算出された予測確率を用いて前記音声を認識する認識手段とを備えることを特徴とする。
これにより、例えばユーザによる発話の話題が変化したときには、その変化した話題に対応する語彙を取得することで、その話題に応じた各言語モデルの組合せ係数が算出されるため、その算出された組合せ係数を用いて各言語モデルを組み合わせることで、従来例のように、大量の文例を収集したり複雑な言語処理などを行ったりすることなく、その話題に対応した予測確率（出現単語予測確率）をリアルタイムに算出することができる。即ち、話題が変化してもその話題に対応した言語モデルを擬似的にリアルタイムに生成することができ、その結果、音声認識を適切に行うことができる。さらに、話題に対応した語彙とタグ情報との関連性に基づいて組合せ係数が算出されるため、話題に対して適切な言語モデルを生成することができる。
また、前記語彙取得手段は、前記認識手段によって認識された音声に対応する語彙を取得することを特徴としてもよい。
これにより、認識された音声に対応する語彙は、ユーザによる発話の話題を示しているため、ユーザによる発話が行われてその話題が変化しても、話題が変化するごとに、その変化した話題に対応した言語モデルをリアルタイムに生成することができ、ユーザによる発話を適切に認識することができる。
また、前記音声認識装置は、さらに、複数種の語彙と前記各タグ情報との間の関連度を保持している関連度保持手段と、前記関連度保持手段に保持されている各関連度を用いて、前記語彙取得手段で取得された語彙に対する前記タグ情報ごとの関連度を導出する関連度導出手段と、前記タグ情報ごとに当該タグ情報の前記言語モデルに対する重要度を保持している重要度保持手段とを備え、前記組合せ係数算出手段は、前記関連度導出手段で導出された各関連度と、前記重要度保持手段で保持されている重要度とを用いることにより、前記各言語モデルの組合せ係数を算出し、前記予測確率算出手段は、前記言語モデルごとに導出される、前記所定の単語が出現する特定モデル予測確率と、前記言語モデルごとの組合せ係数とを用いることにより、前記予測確率を算出することを特徴としてもよい。
これにより、関連度および重要度によって、話題と各言語モデルとの間の関連付けを的確に行うことができ、話題に対する各言語モデルの組合せ係数をより適切に算出することができる。さらに、複数種の語彙と各タグ情報との間の関連度が保持されているため、その保持されている関連度の語彙であれば、各言語モデルに含まれる語彙に関わらず、各言語モデルの組合せ係数を算出することができ、多くの語彙つまり話題に対応した言語モデルを生成することができる。
また、前記組合せ係数算出手段は、前記語彙取得手段で１つの語彙が取得されるごとに、前記各言語モデルの組合せ係数を算出することを特徴としてもよい。
これにより、ユーザによる発話の話題の変化に対して、各言語モデルの組合せ係数を迅速に追随させることができ、話題が逐次変化しても、その発話による音声を適切に認識することができる。
また、前記組合せ係数算出手段は、前記語彙取得手段で複数の語彙が取得されるごとに、前記各言語モデルの組合せ係数を算出することを特徴としてもよい。
これにより、ユーザによる発話の話題が頻繁に変化することよって、各言語モデルの組合せ係数が過剰に変更されてしまうのを防ぐことができ、その発話による音声を適切に認識することができる。
また、前記組合せ係数算出手段は、前記語彙取得手段で取得された複数の語彙と、前記各言語モデルのタグ情報との関連性に基づいて、前記複数の語彙に応じた前記各言語モデルの重みを組合せ係数として算出することを特徴としもよい。
これにより、ユーザによる発話に含まれる語彙ごとに、各言語モデルの組合せ係数が必要以上に急激に変更されることが防止されるため、その発話の全体的な話題に対応した組合せ係数を算出することができる。その結果、その発話による音声を適切に認識することができる。
また、前記音声認識装置は、さらに、ユーザの閲覧している電子データ、およびユーザに関するプロファイル情報のうち少なくとも１つからキーワードを抽出するキーワード抽出手段を備え、前記語彙取得手段は、前記キーワード抽出手段によって抽出されたキーワードを前記語彙として取得することを特徴としてもよい。
例えば、ユーザが電子番組表やホームページを電子データとして閲覧しているときには、ユーザはその電子番組表などに含まれるキーワードを話題にして発話していると仮定できるため、そのキーワードが上述の語彙として取得されることによって、その話題に対応した言語モデルを生成することができ、音声認識を適切に行うことができる。同様に、ユーザは自らに関することを話題にして発話していることが多いため、プロファイル情報に含まれるキーワードが上述の語彙として取得されることによって、その話題に対応した言語モデルを生成することができる。
なお、本発明は、このような音声認識装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体としても実現することができる。
本発明の音声認識装置は、大量の文例を収集したり複雑な言語処理などを行ったりすることなく、その話題に対応した予測確率（出現単語予測確率）をリアルタイムに算出することができる。即ち、話題が変化してもその話題に対応した言語モデルをリアルタイムに生成することができ、その結果、音声認識を適切に行うことができる。さらに、話題に対応した語彙とタグ情報との関連性に基づいて組合せ係数が算出されるため、話題に対して適切な言語モデルを生成することができる。
図１は、従来の音声入力検索システムの動作を示すフローチャートである。 図２は、従来の音声認識装置の言語モデル生成部によって行われる処理動作を説明するための説明図である。 図３は、本発明の実施の形態における音声認識装置の言語モデル生成装置を示す構成図である。 図４は、同上の言語モデル格納部およびタグ情報格納部に格納されている情報を示す図である。 図５は、同上の共起情報の内容を示す図である。 図６は、同上の言語モデル生成装置による言語モデル作成の動作を示すフローチャートである。 図７は、同上の音声認識装置の構成図である。 図８は、同上の変形例１に係る音声認識装置の構成図である。 図９は、同上の変形例１に係る音声認識装置の動作を示すフローチャートである。 図１０は、同上の変形例２に係る音声認識装置の構成図である。 図１１は、同上の変形例３に係る音声認識装置の構成図である。 図１２は、同上の変形例４に係る音声認識装置の構成図である。 図１３は、同上の変形例５に係る音声認識装置の構成図である。 図１４は、同上の変形例６に係る音声認識装置の構成図である。
符号の説明
１０１ 語彙指定部
１０２ 関連度算出部
１０３ 組合せ係数算出部
１０４ 言語確率計算部
１０５ 言語モデル情報格納部
１０６ 言語モデル格納部
１０７ タグ情報格納部
１０８ 対象語彙指定部
１１１ 語彙情報信号
１１２ タグ情報関連度信号
１１３ 組合せ係数信号
１１４ 適応言語確率信号
１１５ 重要度信号
１１６ タグ情報信号
１１７ 音声認識結果出力部
１１９ 特定モデル予測確率信号
３００ 音声入力部
３０１ 音声認識部
３０２ 結果出力部
３０３ キーワード抽出部
３０４ キーワード送信部
３１１ 音声認識出力信号
３１３ キーワード信号
３１４ 入力音声信号
５０１ 電子番組表
５０２ 番組関連ホームページ
５０３ テキスト入力部
５１１ 電子番組表信号
５１２ 番組関連ホームページ信号
５１３ テキスト入力信号
６０１ 映像受像部
６０２ 文字認識部
６１１ 映像信号
６１２ 文字認識結果信号
７０１ プロファイル情報格納部
７１１ プロファイル情報信号
以下、本発明の実施の形態について、図面を参照しながら説明する。
本実施の形態における音声認識装置は、言語モデル生成装置を備え、その言語モデル生成装置により算出された出現単語予測確率に基づいた音声認識を行う。
本実施の形態における音声認識装置の言語モデル生成装置は、文という単位が様々な話題の組み合わせによって表現できるという特徴に注目し、その話題を表す語彙をもとに、予め用意された言語モデルを組み合わせて出現単語予測確率を計算することによって、任意の話題に対応可能な言語モデルを生成する。例えば、「話しことばの音声認識技術が確立され、聴覚障害者が希望していた字幕放送がすべての番組で実現されるようになった」という文を考えると、この文が「音声認識」に関する話題と「聴覚障害」に関する話題と、更には「放送」に関する話題から構成されていると言える。したがって、この場合、言語モデル生成装置は、「音声認識」や「聴覚障害」や「放送」という語彙を指定し、この語彙をもとに予め用意された言語モデルを組み合わせ、任意の単語の連接する確率（出現単語予測確率）を得る。
すなわち、本実施の形態における音声認識装置は、既存の言語モデルを組み合わせるための係数（組合せ係数）を、指定した語彙に応じて逐次的にリアルタイムに更新することで、話題の変化に応じてその話題に対応した出現単語予測確率を算出し、つまり、擬似的に話題に適応した言語モデルを作成し、入力音声の適切な認識を行うものである。
図３は、本発明の実施の形態１における言語モデル生成装置の構成を示す構成図である。
この言語モデル生成装置は、１つまたは複数の語彙を受け付け、あらかじめ用意した一つ以上の言語モデルをその受け付けた語彙に応じて組み合わせて次単語の出現単語予測確率を算出する。これにより、その受け付けた語彙の内容に関わる発話の適切な認識が可能になる。
本実施の形態の言語モデル生成装置は、語彙指定部１０１と、関連度算出部１０２と、組合せ係数算出部１０３と、言語確率計算部１０４と、言語モデル情報格納部１０５とを備える。
言語モデル情報格納部１０５は、複数の言語モデルを格納している言語モデル格納部１０６と、各言語モデルの話題性の特徴を表す語彙（以下、タグ情報という）を格納しているタグ情報格納部１０７とを備えている。
図４は、言語モデル格納部１０６およびタグ情報格納部１０７に格納されている情報を示す図である。
言語モデル格納部１０６は、複数種の言語モデルを格納している。例えば、言語モデル格納部１０６は、技術ニュースに対応した言語モデルＭＤＬ１、福祉技術に対応した言語モデルＭＤＬ２、および音楽情報に対応した言語モデルＭＤＬ３などを格納している。そして、言語モデル格納部１０６は、各言語モデルに対応した出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）を示す特定モデル予測確率信号１１９を出力する。ここで、出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）は、単語Ｗｊ−１の後に単語Ｗｊが続く確率を意味する。
タグ情報格納部１０７には、上述の言語モデルごとにその言語モデルの特徴を表すタグ情報と、そのタグ情報の重要度とが格納されている。ここで、上述の重要度は、タグ情報とそのタグ情報に対応する言語モデルとの関係の程度を示し、例えば１未満の数値によって示される。例えば、言語モデルＭＤＬ１に対して、タグ情報「ニュース」および「技術」が格納されるとともに、そのタグ情報「ニュース」の重要度「０．４」と、タグ情報「技術」の重要度「０．３」とが格納されている。そして、タグ情報格納部１０７は、そのタグ情報を示すタグ情報信号１１６を関連度算出部１０２に出力するとともに、各タグ情報の言語モデルに対する重要度を示す重要度信号１１５を組合せ係数算出部１０３に出力する。
語彙指定部１０１は、話題性の特徴を表す語彙を受け付けて、その語彙を示す語彙情報信号１１１を出力することにより、その語彙を関連度算出部１０２に指定する。
対象語彙指定部１０８は、出現単語予測確率の算出対象となる語彙を示す対象語彙信号１１８を言語確率計算部１０４に対して出力する。対象語彙指定部１０８は、例えば、音声認識結果のいくつかの候補となる語彙を、確率の算出対象とし、その語彙を示す対象語彙信号１１８を出力する。
関連度算出部１０２は、２つの単語が同一文章中に共に出現する程度（個別関連度）を示す共起情報１０２ａを保持している。
図５は、共起情報１０２ａの内容を示す図である。
この共起情報１０２ａは、複数種の語彙の組と、各組における語彙間の個別関連度とを示す。例えば、共起情報１０２ａは、「音声認識」および「技術」の語彙の組と、その組における語彙間の個別関連度「０．８」とを示すとともに、「音声認識」および「字幕」の語彙の組と、その組における語彙間の個別関連度「０．５」とを示す。
また、関連度算出部１０２は、語彙指定部１０１から出力される語彙情報信号１１１とタグ情報格納部１０７から出力されるタグ情報信号１１６とに基づいて、語彙指定部１０１で指定された語彙ごとに、その語彙に対する各タグ情報の個別関連度を特定する。ここで、関連度算出部１０２は、上述の個別関連度を特定するときには、共起情報１０２ａを参照する。そして関連度算出部１０２は、その共起情報１０２ａに示される語彙の組に含まれる一方の語彙をタグ情報と見なすことで、指定された語彙とタグ情報との個別関連度を特定する。そして、関連度算出部１０２は、その特定した個別関連度から、語彙指定部１０１で指定された全ての語彙に対する各タグ情報の関連度（関連度α）を求め、その求めた関連度を示すタグ情報関連度信号１１２を出力する。
組合せ係数算出部１０３は、言語モデル格納部１０６に格納されている言語モデルの重要度を表わす重要度信号１１５とタグ情報関連度信号１１２とから、語彙指定部１０１で受け付けられた語彙に対応した各言語モデルの組合せ係数を算出し、その組合せ係数を示す組合せ係数信号１１３を出力する。
言語確率計算部１０４は、言語モデル格納部１０６に格納される各言語モデルの出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）を示す特定モデル予測確率信号１１９と、組合せ係数算出部１０３から出力された組合せ係数信号１１３とを取得する。各言語モデルの特定モデル予測確率信号１１９と組合せ係数信号１１３とを取得した言語確率計算部１０４は、対象語彙指定部１０８から出力された対象語彙信号１１８の示す各語彙に対して、話題に適応した出現単語予測確率を算出し、その話題に適応した出現単語予測確率を示す適応言語確率信号１１４を出力する。
図６は、上述の言語モデル生成装置の動作を示すフローチャートである。
まず、語彙指定部１０１は、発話の内容に関わる語彙、たとえば「音声認識」や「聴覚障害」を受け付けて、関連度算出部１０２に対してそれらの語彙を指定する（ステップＳ２０２）。
そして、関連度算出部１０２は、指定された語彙をもとにタグ情報格納部１０７に格納されている各タグ情報の関連度αを算出する（ステップＳ２０３）。
例えば、言語モデルＭＤＬ１に対してタグ情報「ニュース」と「技術」とがあり、言語モデルＭＤＬ２に対してタグ情報「福祉」と「技術」とがある場合、関連度算出部１０２は、まず、語彙指定部１０１で指定された語彙「音声認識」および「聴覚障害」のそれぞれに対して、タグ情報格納部１０７に格納されているタグ情報「ニュース」、「技術」および「福祉」などの各タグ情報が、どの程度関連しているかを示す個別関連度（指定語彙ごとの関連度）を特定する。この個別関連度は、共起情報１０２ａに基づいて特定される。
本発明のポイントは、タグ情報を介在させて、受け付けられた語彙から言語モデルの組み合わせ係数をもとめることにある。ここにおいて、関連度αは、その受け付けられた語彙とタグ情報との間の関連性を表現したものであって、話題の展開はこのタグ情報によって予想される。例えば、単語の共起関係は、単語の同時出現傾向を表現しているため、このような話題の展開に関わる情報を持っていると考えられる。そこで、関連度αは共起情報１０２ａをもちいて以下のように算出できる。
関連度算出部１０２は、指定語彙をＷｏｒｄｋ（ｋ＝１〜Ｋ）とし、タグ情報をＴＡＧｌ（ｌ＝１〜Ｌ）とすると、ＴＡＧｌごとの全てのＷｏｒｄｋに対する関連度α（ＴＡＧｌ）を以下の数式１により算出する。
Figure 2005122143
 ここで関数Ｒは、共起情報１０２ａで定義される個別関連度、即ち、ＷｏｒｄｋとＴＡＧｌとの個別関連度を示す。
ここで、タグ情報は、各言語モデルに含まれる名詞と定義することが可能であるが、望ましくはｔｆｉｄｆ（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）などの指標を使って特定される、各言語モデルに特異的な単語を、タグ情報として用意しておくのがよい。
また、共起情報１０２ａは、新聞記事やインターネットなどの、より一般的な情報を用いて作成しておくことが望ましい。さらに、共起関係などに関しては、言語のスパースネス性の問題で、ＷｏｒｄｋとＴＡＧｌとの間の関係が定義されていない場合もある。そのようなことを考慮し、以下の数式２に示すように、２次の共起関係まで利用して関連度α（ＴＡＧｌ）を算出してもよい。
Figure 2005122143
 ここで、Ｗ１は、数式２の第１項か第２項のどちらの項をどれだけ考慮するかを示す重み係数である。また、上記関数Ｒの個別関連度に代えて、シソーラス情報や因果関係などを用いることも可能である。
上述のような数式２を用いることにより、指定語彙（Ｗｏｒｄｋ）とタグ情報（ＴＡＧｌ）との間の個別関連度が共起情報１０２ａに登録されていなくても、Ｗ１＝０とすることで、指定語彙（Ｗｏｒｄｋ）と語彙（Ｗｏｒｄｍ）との間の個別関連度と、語彙（Ｗｏｒｄｍ）とタグ情報（ＴＡＧｌ）との間の個別関連度とが共起情報１０２ａに登録されていれば、関連度αを算出することができる。例えば、図５に示すように、指定語彙「技術」とタグ情報「字幕」との間の個別関連度が共起情報１０２ａに登録されていなくても、指定語彙「技術」と語彙「音声認識」との間の個別関連度と、語彙「音声認識」とタグ情報「字幕」との間の個別関連度が共起情報１０２ａに登録されていれば、そのタグ情報「字幕」の指定語彙「技術」に対する関連度αを算出することができる。
すなわち、関連度算出部１０２は、言語モデル格納部１０６に格納された各言語モデルの特徴を表す各タグ情報が、語彙指定部１０１で指定された語彙に対してどれだけ重要かを示す関連度αを算出している。タグ情報を介在させるメリットの１つとして、語彙指定部１０１で指定できる語彙数を言語モデルの語彙数よりも多くすることができることが挙げられる。具体的に、音声認識の対象として用いることが可能な単語数は性能の面から見ても１０万単語程度であるのに対して、本発明の方法を使えば、語彙指定部１０１で指定される語彙とタグ情報との共起関係さえあれば、その指定される語彙数を、言語モデルの語彙数にとらわれずに例えば１００万語にすることができる。
次に、組合せ係数算出部１０３は、上記各タグ情報（「ニュース」や、「福祉」、「技術」など）の関連度αをもとに、語彙指定部１０１で指定された語彙に応じた各言語モデルの組み合わせ係数γを算出する（ステップＳ２０４）。組み合わせ係数γの計算のために、タグ情報格納部１０７には、各タグ情報と各言語モデルの関係の程度が重要度βとして予め定義されている。たとえば、言語モデルＭＤＬ１に対して、タグ情報「ニュース」の重要度「０．４」が定義されている。この重要度βを用いることで、語彙指定部１０１で指定された語彙で特定される話題の特徴に合わせた出現単語予測確率の算出ができる。なお、このような重要度の指標として、上述のｔｆｉｄｆを用いてもよい。
ここで、ｎ番目の言語モデルをＮ−ｇｒａｍｎとし、この言語モデルとタグ情報（ＴＡＧｌ）との重要度、つまりｔｆｉｄｆをβ（ＴＡＧｌ，Ｎ−ｇｒａｍｎ）とする。このように定義すると、ｎ番目の言語モデル（Ｎ−ｇｒａｍｎ）に対する組合せ係数γｎを、次の数式３によって求めることが出来る。
Figure 2005122143
 すなわち、組合せ係数算出部１０３は、関連度算出部１０２から出力されるタグ情報関連度信号１１２（関連度α）とタグ情報格納部１０７から出力される重要度信号１１５（重要度β）とによって、語彙指定部１０１で指定された語彙（「音声認識」および「聴覚障害」）に応じた各言語モデルの組み合せの重み（各言語モデルが指定語彙に対してどれだけかかわることができるか）を示す組み合せ係数γを算出する。
次に、言語確率計算部１０４は、言語モデル格納部１０６に格納された各言語モデルの出現単語予測確率を示す特定モデル予測確率信号１１９と、対象語彙指定部１０８で指定された語彙を示す対象語彙信号１１８と、組合せ係数信号１１３（組合せ係数γ）とを用いて、出現単語予測確率を算出して適応言語確率信号１１４を出力する（ステップＳ２０５）。
このような出現単語予測確率の算出には、数式３で求めた組み合わせ係数γｎを用いる。言語確率計算部１０４は、単語Ｗｊ−１の後に単語Ｗｊ（対象語彙指定部１０８で指定された語彙）が出現する出現単語予測確率を、数式４を用いて算出する。なお、ここでは言語モデルとして、一つ前の単語から次単語を予測する２−ｇｒａｍを想定したが、任意の次数のＮ−ｇｒａｍ（３−ｇｒａｍ、４−ｇｒａｍなど）や、クラスＮ−ｇｒａｍ、さらにはＦＳＡ（Ｆｉｎｉｔｅ Ｓｔａｔｅ Ａｕｔｏｍａｔｏｎ）のような言語モデルも利用することができる。
Figure 2005122143
 なお、Ｐｎ（Ｗｊ｜Ｗｊ−１）は、ｎ番目の言語モデルの出現単語予測確率を示す。
以上のように本実施の形態によれば、語彙指定部１０１で指定された語彙をもとに、関連度算出部１０２で数式１または数式２を用いて各タグ情報の関連度αを求め、組合せ係数算出部１０３で、各タグ情報と各言語モデルの間の重要度βと関連度αとの積を数式３によって算出して組合せ係数γを求める。次に対象語彙指定部１０８で指定された語彙（ヒストリーと対象語彙）に対する出現単語予測確率が、各言語モデルの特定モデル予測確率信号１１９と組合せ係数信号１１３とから言語確率計算部１０４で数式４によって算出され、その算出結果が適応言語確率信号１１４として出力される。
すなわち、言語確率計算部１０４で話題に適応した出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）を計算することによって、対象語彙指定部１０８から指定されるいくつかの語彙の候補から、入力音声に対して最適な候補を見つけることができ、指定された語彙の示す話題に応じた言語モデルが擬似的に作成されることになる。
図７は、本実施の形態における音声認識装置の構成図である。
本実施の形態における音声認識装置は、上述の言語モデル生成装置と、音声入力部３００と、音声認識部３０１と、音声認識結果出力部１１７とを備えている。
音声入力部３００は、音声（発話）を受け付けてその音声を入力音声信号３１４として音声認識部３０１に出力する。
音声認識部３０１は、入力音声信号３１４に対して音声認識処理を行い、音声に対応する語彙の各候補を示す上述の対象語彙信号１１８を言語確率計算部１０４に出力する。さらに、音声認識部３０１は、言語確率計算部１０４で算出された上記各候補の出現単語予測確率を示す適応言語確率信号１１４を取得し、その適応言語確率信号１１４を言語モデルとして利用する。即ち、音声認識部３０１は、上記各候補の出現単語予測確率に基づいて、その各候補の中から音声に対応する語彙の絞込みを行う。そして、音声認識部３０１は、その絞込みによって得られた語彙を示す音声認識出力信号３１１を音声認識結果出力部１１７に対して出力する。
音声認識結果出力部１１７は、ディスプレイや機器制御系などを具備し、音声認識出力信号３１１により示される語彙を表示する。
上述のように本実施の形態によれば、１つ以上の語彙を語彙指定部１０１に指定するだけで、指定された語彙をもとに各タグ情報の関連度αを関連度算出部１０２で求め、さらに各タグ情報と各言語モデルとの重要度βから各言語モデルの組合せ係数γを組合せ係数算出部１０３で求め、その組合せ係数γをもとに複数の言語モデルを組合せて出現単語予測確率を言語確率計算部１０４で求める。これにより、得られた出現単語予測確率を話題に適応可能な言語モデルとして利用できる。したがって、話題に適応した音声認識結果が音声認識部３０１で瞬時に得られる。
つまり、本実施の形態では、例えばユーザによる発話の話題が変化したときには、その変化した話題に対応する語彙を取得することで、その話題に応じた各言語モデルの組合せ係数が算出されるため、その算出された組合せ係数を用いて各言語モデルを組み合わせることで、従来例のように、大量の文例を収集したり複雑な言語処理などを行ったりすることなく、その話題に対応した出現単語予測確率をリアルタイムに算出することができる。即ち、話題が変化してもその話題に対応した言語モデルをリアルタイムに生成することができ、その結果、音声認識を適切に行うことができる。さらに、話題に対応した語彙とタグ情報との関連性に基づいて組合せ係数が算出されるため、話題に対して適切な組合せ係数を算出することができる。
（変形例１）
ここで、本実施の形態における音声認識装置の第１の変形例について説明する。
図８は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、語彙指定部１０１で受け付ける語彙に音声認識部３０１の認識結果を利用する。これにより、音声認識が認識結果のフィードバックを受けて、逐次的に組合せ係数γが変更されることで、動的に話題に適応した音声認識が可能になる。これは、本発明の組み合わせ係数算出方法が高々一語の語彙を指定するだけで、その後にその語彙に関係する言語モデルを瞬時に構成できるという特徴を持つためであり、逐次的な話題の変化に瞬時に対応することが可能である。
本変形例に係る音声認識装置は、図７に示す音声認識装置の各構成要素を備えるとともに、結果出力部３０２とキーワード抽出部３０３とを備えている。
結果出力部３０２は、音声認識部３０１から出力される音声認識出力信号３１１を受けて、その音声認識出力信号３１１を認識結果信号３１２として音声認識結果出力部１１７とキーワード抽出部３０３へ出力する。
キーワード抽出部３０３は、結果出力部３０２から出力される認識結果信号３１２を受けて、その認識結果信号３１２からキーワードとなる語彙を抽出し、その語彙（キーワード）を示すキーワード信号３１３を語彙指定部１０１に出力する。
そして、語彙指定部１０１は、キーワード抽出部３０３から出力されるキーワード信号３１３の示す語彙を受け付ける。
図９は、本変形例に係る音声認識装置の動作を示すフローチャートである。
まず、音声認識部３０１は、音声入力部３００から出力される入力音声信号３１４に基づいて、音声入力部３００で音声が検出されたか否かを判断し（ステップＳ４０２）、検出されたと判断したときには（ステップＳ４０２のＹ）、その検出された音声の認識を行う（ステップＳ４０３）。一方、検出されなかったと判断したときには（ステップＳ４０２のＮ）、音声認識部３０１は、例えばユーザによる操作などに基づいて終了の指示があったか否かを判断する（ステップＳ４０９）。そして、音声認識部３０１によって終了の指示があったと判断されたときには（ステップＳ４０９のＹ）、音声認識装置は全ての処理を終了し、指示がなかったと判断されたときには（ステップＳ４０９のＮ）、音声認識装置はステップＳ４０２からの処理を繰り返し実行する。
ステップＳ４０３で音声が認識されると、音声認識結果出力部１１７は、その音声認識部３０１によって認識された結果を、結果出力部３０２を介して音声認識部３０１から得て、その結果を例えばディスプレイに表示させる（ステップＳ４０４）。さらに、キーワード抽出部３０３は、その認識結果から、話題に関する情報をもつキーワードを抽出し（ステップＳ４０５）、その抽出したキーワードを語彙指定部１０１に指定する。即ち、語彙指定部１０１は、このように指定されたキーワードを語彙として受け付けて、その語彙を関連度算出部１０２に指定する（ステップＳ４０６）。このキーワード抽出部３０３でのキーワードの抽出は、例えば、認識結果から名詞のみを抜き出すとすることで実現できる。また、抽出したキーワードの類似語や概念語を指定することで共起関係のスパースネス性を解消することも有効である。
次に、関連度算出部１０２は、語彙指定部１０１に指定された語彙をもとに、各タグ情報の関連度αを算出する（ステップＳ４０７）。続いて、各タグ情報と各言語モデルの間に定義された重要度βと、関連度αとを用いて、組合せ係数算出部１０３は、各言語モデルの組合せ係数γを算出し（ステップＳ４０８）、その算出した組合せ係数γをステップＳ４０２及びステップＳ４０３の処理に反映させる。即ち、再び、ステップＳ４０２で音声が検出されたと判断されると、音声認識部３０１は、上記算出された組合せ係数γをもとに複数の言語モデルによる出現単語予測確率を数式４を用いて算出して、その出現単語予測確率を利用して音声認識を行う（ステップＳ４０３）。
以上の動作を行うことにより、１発話ごと（音声に対応する１つの語彙が認識されるごと）に各言語モデルの組合せ係数γを変えることができ、動的に話題に適応可能な音声認識装置を実現できる。
具体的に例えば、図４に示すように、「技術ニュース」や、「福祉技術」、「音楽情報」、「バラエティー情報」に関わる言語モデルがあるとする。また「技術ニュース」の言語モデルに対しては、タグ情報「ニュース」および「技術」がそれぞれ重要度０．４と０．３で格納されており、「福祉技術」の言語モデルに対しては、タグ情報「福祉」と「技術」がそれぞれ重要度０．７と０．３で格納されているとする。その他の言語モデルに対しても図４に示すとおりにタグ情報と重要度が格納されているとする。このとき、以下のような音声が流れてきたとする。「話しことばの音声認識技術が確立され、聴覚障害者が希望していた字幕放送がすべての番組で実現される見込みがつきました。また字幕を利用して、ユーザが予め登録しておいたキーワードをもとに番組を推薦してくれるサービスも出現しています。例えば、音楽番組が好きな人が、ピアノ、オーケストラなどのキーワードを登録しておくことで、該当する番組のシーンのリストが演奏者、曲名などの情報とともにメールで送られてくるというサービスです」。本発明を使ってこの音声を認識すると次のようになる。
まず、音声認識装置は、組み合わせ係数をすべての言語モデルに対して均等にし、「話しことばの音声認識技術が確立され」という入力音声に対して「音声認識」を認識する。「音声認識」は「技術」と関係があるので、言語モデルＭＤＬ１，ＭＤＬ２に対応付けられたタグ情報「技術」と「音声認識」の間の関連度αは大きな値をもつ。ここで仮に、共起情報１０２ａに基づいて、その関連度αが０．８であるとする。また、タグ情報「技術」と言語モデルＭＤＬ１，ＭＤＬ２との間には０．３の重要度βが定義されている。したがって、組み合わせ係数γは、γ＝０．８×０．３＝０．２４となり、音声認識装置は、その組合せ係数γと言語モデルＭＤＬ１，ＭＤＬ２を利用した音声の認識を行う。その結果、「福祉技術」の言語モデルＭＤＬ２に対しても重みをおいていることより、続いて入力される音声「聴覚障害者が希望していた字幕放送がすべての番組で実現される見込みがつきました。」に対して認識が確実に行えるようになる。
続いて、「ユーザが予め登録しておいたキーワードをもとに番組を推薦してくれるサービスも出現しています。」という音声の入力により「推薦」が認識されると、「推薦」と「情報」の間には、「推薦するものは情報である」という共起関係が存在するため、タグ情報「情報」に対応付けられた言語モデルＭＤＬ３，ＭＤＬＪの組み合わせ係数が算出できる。これにより、続く音声入力「例えば、音楽番組が好きな人が、ピアノ、オーケストラなどのキーワードを登録しておくことで、該当する番組のシーンのリストが演奏者、曲名などの情報とともにメールで送られてくるというサービスです」を、「音楽情報」に対する言語モデルＭＤＬ３を用いることで精度よく認識することが可能になる。
本変形例では組み合わせ係数の更新に際して、抽出されたキーワードを用いて行うとしたが、組み合わせ係数を算出する際に、抽出された過去のキーワードも合わせて複数のキーワードを使用してもよい。この場合には、必要以上に急激な言語モデルの変化を抑制することができて有効である。
（変形例２）
ここで、本実施の形態における音声認識装置の第２の変形例について説明する。
図１０は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記変形例１の音声認識装置の各構成要素を備えるとともに、キーワード送信部３０４を備えている。このキーワード送信部３０４は、キーワード抽出部３０３と語彙指定部１０１との間に設けられている。
キーワード送信部３０４は、キーワード抽出部３０３からキーワード信号３１３を取得して、そのキーワード信号３１３を所定のタイミングで語彙指定部１０１に出力する。
すなわち、上述の変形例１では、１発話ごとに組合せ係数γの更新を行ったが、本変形例では、キーワード送信部３０４を設けたことによって、語彙指定部１０１に対する語彙の指定のタイミングを制御することができる。例えば、キーワード送信部３０４が、キーワード信号３１３の語彙指定部１０１に対する送信を、Ｎ回の発話ごとに行ったり、キーワード（語彙）が所定の個数だけ蓄積された後に行ったりすることにより、適切なタイミングで語彙を指定することができる。ここで、１回のキーワード信号３１３の送信によって語彙指定部１０１に指定する語彙は、その送信のタイミングで抽出された１つのキーワードであっても、その送信時までに抽出されて蓄積された複数のキーワードであってもよい。
かかる構成によれば、語彙指定部１０１で受け付けられる語彙を、音声認識部３０１での音声認識の結果から抽出されたキーワードとすることで、音声認識が認識結果のフィードバックを受け、動的に話題に適応した音声認識が可能になるとともに、その話題への適応のタイミングを適切にすることができる。
（変形例３）
ここで、本実施の形態における音声認識装置の第３の変形例について説明する。
図１１は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、キーワード抽出部３０３ａと、テキスト入力部５０３とを備える。
このような音声認識装置は、語彙指定部１０１に指定する語彙を、後述する電子番組表５０１、番組関連ホームページ５０２、およびテキスト情報から抽出されるキーワードとするように構成されており、この構成により、電子番組表、番組関連ホームページ、および入力されたテキストに関わる内容の音声認識を行うことができる。つまり、音声認識装置は、電子番組表などに関する内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
テキスト入力部５０３は、例えばユーザによるキーボードの入力操作に基づいてテキスト情報を取得し、そのテキスト情報をテキスト入力信号５１３としてキーワード抽出部３０３ａに出力する。
キーワード抽出部３０３は、電子的に配信される電子番組表（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）５０１を電子番組表信号５１１として受け取るとともに、番組内容に関するホームページ（電子データ）たる番組関連ホームページ５０２を番組関連ホームページ信号５１２として受け取り、さらに、テキスト入力部５０３からのテキスト入力信号５１３を受け取る。具体的に、番組関連ホームページ５０２は、電子番組表５０１の番組内容に関するホームページ、もしくはテレビ局のホームページに掲載された番組内容に関するホームページなど、ネットワークを通じて入手可能な番組内容を示す電子データである。また、電子番組表５０１および番組関連ホームページ５０２の内容は、ユーザによる閲覧操作に応じて変更される。
そして、キーワード抽出部３０３は、電子番組表信号５１１、番組関連ホームページ信号５１２およびテキスト入力信号５１３から、語彙指定部１０１に指定すべきキーワード（語彙）を抽出し、そのキーワードを示すキーワード信号３１３を語彙指定部１０１に出力する。ここで、キーワード抽出部３０３は、入力として受けた電子番組表信号５１１、番組関連ホームページ信号５１２、およびテキスト入力信号５１３に対して形態素解析などの言語処理を施した後、名詞のみを抽出するなどの方法を用いてキーワードの抽出を行う。また、変形例１のときと同様に、抽出したキーワードの類似語や概念語を出力することで共起関係のスパースネス性を解消することも有効である。
これにより、ユーザによる閲覧操作や入力操作により、ユーザの閲覧している電子番組表５０１の内容や、ユーザの閲覧している番組関連ホームページ５０２の内容、ユーザの入力しているテキスト情報の内容が変わるごとに、その変更された内容にあわせた音声の認識を行うことが可能になる。すなわち、ユーザの操作に対するフィードバックを利用して、その操作に応じた言語モデルを瞬時に生成することにより、適切な音声の認識を行うことができる。これにより、たとえば過去の電子番組表を参照しながら関連する話題を認識するなどといったことが可能になる。
かかる構成によれば、電子番組表、番組関連ホームページ、および入力されたテキスト情報から抽出したキーワードを語彙指定部１０１に指定することができ、閲覧しているホームページが変わるごとに、電子番組表、番組関連ホームページ、および入力されたテキスト情報の内容に関わる出現単語予測確率を計算でき、その内容の話題に適応した音声認識を行うことができる。なお、ここでは、電子番組表、番組関連ホームページ、および入力されたテキスト情報からキーワードを抽出するように構成したが、いずれか一つだけから抽出しても良いことは言うまでもない。
例えば、このような本変形例に係る音声認識装置は、パーソナルコンピュータに組み込まれ、そのパーソナルコンピュータに表示される電子データを閲覧しながら複数のユーザが会話している状況において利用される。具体的に、複数のユーザが例えば料理番組のホームページを閲覧しながら会話している場合、パーソナルコンピュータに組み込まれたエージェントは、その料理に関連する会話を、本変形例に係る音声認識装置を用いて適切に認識する。そして、エージェントは、その認識結果に基づいて、その会話で表現された例えば寿司などのユーザの関心を示す情報を提示する。
（変形例４）
ここで、本実施の形態における音声認識装置の第４の変形例について説明する。
図１２は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、テレビなどの映像を写す映像受像部６０１と、映像受像部６０１に表示される文字情報に対して文字認識を行う文字認識部６０２と、文字認識部６０２から出力される文字認識結果信号６１２からキーワードを抽出するキーワード抽出部３０３ｂとを備えている。この音声認識装置は、映像受像部６０１に表示される文字の内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
映像受像部６０１は、表示される映像情報を映像信号６１１として文字認識部６０２に送る。文字認識部６０２は、その映像信号６１１を取得して、その映像信号６１１の示す映像情報に対して文字認識を行う。そして、文字認識部６０２は、文字認識結果を文字認識結果信号６１２としてキーワード抽出部３０３ｂに送る。キーワード抽出部３０３ｂは、文字認識結果信号６１２に対して形態素解析などの処理を行い、その文字認識結果信号６１２からキーワード（語彙）を抽出し、そのキーワードを示すキーワード信号３１３を語彙指定部１０１に送信する。これにより、音声認識装置は、映像受像部６０１の画面上に表示されたテキストの内容に関わる出現単語予測確率を計算して、その内容の話題に適応した音声認識を行うことができる。
かかる構成によれば、映像受像部６０１の画面上に表示されたキーワードをもとに、このキーワードの内容に応じた音声認識ができるので、例えば、ニュースのタイトルに応じて、そのニュースの内容に沿った音声の認識が実現可能となる。また、キーワード抽出部３０３ｂによるキーワードの抽出を、字幕にキーワードが出現するごとに行うことにより番組内容にそった会話の認識を行うことが可能である。
例えば、このような本変形例に係る音声認識装置は、テレビに組み込まれ、そのテレビに表示されるニュースなどを視聴しながら複数のユーザが会話している状況において利用される。具体的に、複数のユーザが例えば経済のニュースを視聴しながら会話している場合、そのテレビに組み込まれたエージェントは、そのニュースに関連する会話を、本変形例に係る音声認識装置を用いて適切に認識する。そして、エージェントは、その認識結果に基づいて、その会話で表現された例えば株価などのユーザの関心を示す情報を提示する。
（変形例５）
ここで、本実施の形態における音声認識装置の第５の変形例について説明する。
図１３は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、プロファイル情報を格納するプロファイル情報格納部７０１と、プロファイル情報格納部７０１から出力されるプロファイル情報信号７１１からキーワードを抽出するキーワード抽出部３０３とを備えている。プロファイル情報は、ユーザの嗜好などのユーザに関連する情報であって、プロファイル情報信号７１１は、そのプロファイル情報を示す信号である。この音声認識装置は、プロファイル情報の内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
本変形例では、プロファイル情報格納部７０１から出力されたプロファイル情報信号７１１に対して、キーワード抽出部３０３が形態素解析などの処理を施すことにより、キーワード（語彙）を抽出し、そのキーワードをキーワード信号３１３として語彙指定部１０１に指定することができる。
以上のように構成することで、ユーザのプロファイル情報にあわせた話題に適応可能な音声認識が実現できる。例えば、本変形例に係る音声認識装置をチケット予約システムに適用する。ここで、プロファイル情報格納部７０１には、ユーザが「クラシック音楽」が好きであることを示すプロファイル情報が蓄積されているとする。この場合、このプロファイル情報の示すキーワード（クラシック音楽）が語彙指定部１０１に指定されることにより、クラシック音楽のコンサート予約を行う際に必要となる言語表現に対応した言語モデルを作成することができる。これにより、ユーザの発話の認識がより確実に行えるようになる。
（変形例６）
ここで、本実施の形態における音声認識装置の第６の変形例について説明する。
図１４は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、変形例３の図１１に示すテキスト入力部５０３と、変形例５の図１３に示すプロファイル情報格納部７０１と、キーワード抽出部３０３ｄとを備えている。この音声認識装置は、プロファイル情報や電子番組表の内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
キーワード抽出部３０３ｄは、プロファイル情報信号７１１、電子番組表信号５１１、番組関連ホームページ信号５１２、およびテキスト入力信号５１３から、キーワード（語彙）を抽出して、そのキーワードを示すキーワード信号３１３を語彙指定部１０１に出力する。
即ち、本変形例に係る音声認識装置は、変形例３の音声認識装置の特徴と、変形例５の音声認識装置の特徴とを兼ね備え、プロファイル情報、電子番組表５０１、番組関連ホームページ５０２、およびテキスト情報を同時に組み合わせて利用する。
これにより、本変形例に係る音声認識装置は、例えば、ユーザが「ドラマが好きである」というプロファイル情報と電子番組表をもとに、ドラマに沿った言語モデルを生成することができ、ユーザの発話の認識をより適切に行うことが可能になる。
本発明は、内容を表す少なくとも１単語の語彙を指定するだけで、その話題に適応した言語モデルを利用できるようになり、その結果、動的に話題に適応可能な音声認識を実現することが可能になり、家電、ＡＶ（Ａｕｄｉｏ Ｖｉｄｅｏ）機器、パーソナルコンピュータなどの各種機器のユーザインターフェース用音声認識技術や、ＡＶ（Ａｕｄｉｏ Ｖｉｄｅｏ）データに対して文字化を行う字幕付与装置およびタグ付け装置など等の用途にも適用できる。
本発明は、言語モデルを用いて音声を認識する音声認識装置および音声認識方法に関する。
音声認識などに用いられる言語モデルは、音声認識の対象となるタスクに対応した大量の文例集をもとに、その文例に対して、不要な記号などを削除する前処理などを施した後、形態素解析を行い、単語の連鎖情報を統計的にモデル化したものである。通常、言語モデルには２−ｇｒａｍまたは３−ｇｒａｍが用いられる。
従来、このような言語モデルを作成するには、音声認識を適用したいタスクに対して大量の文例を収集する必要があり、そのコストは莫大なものになった。そのため、収集すべき文例の数を抑えて、認識すべき発話の話題に適応可能な言語モデルを作成することが考えられている（例えば、特許文献１および特許文献２参照。）。
上記特許文献１では、上記のような言語モデルを作成する方法として、音声認識用の言語モデルの話題適応技術が開示されている。
図１は、上記特許文献１に記載された従来の話題適応技術を利用した音声入力検索システムの動作を示すフローチャートである。
図１に示すように、ユーザが検索要求を発話すると、音声入力検索システムは、音響モデル１０１２と言語モデル１０１４を用いて音声認識を行い（ステップＳ１０１６）、書き起こしを生成する（ステップＳ１０１８）。ここで、言語モデル１０１４はテキストデータベース１０２０に基づいて作成されている。次に、音声入力検索システムは、書き起こされた検索要求を用いてテキスト検索を実行し（ステップＳ１０２２）、検索結果を関連するものから順位付けて出力する（ステップＳ１０２４）。次に、音声入力検索システムは、検索結果の上位文書から情報を取得してモデリングを行い（ステップＳ１０２６）、音声認識の言語モデル１０１４を洗練する。また、音声入力検索システムは、検索結果をパーソナルコンピュータの表示画面などの表示部に表示する（ステップＳ１０２８）。
また、上記特許文献２では、テキストデータベースを大量に集めるのではなく、既存の複数の言語モデル（他のタスクのテキストデータから作成された言語モデル）から得られる情報を使ってターゲットとなる特定タスクの言語モデルを作成する発明が公開されている。
図２は、上記特許文献２の音声認識装置の言語モデル生成部によって行われる処理動作を説明するための説明図である。
この言語モデル生成部は、複数の言語モデル（他のタスクのテキストデータから作成された言語モデル）から得られる連接頻度の分布（事前情報）と、ターゲットである特定タスク（特定タスクのテキストデータ）についての数千単語からなる文例を（特許文献２ １１ページの第１９欄３〜５行目）集めた結果から得られる連接頻度（事後情報）とを用いて、言語予測確率（出現単語予測確率）を求める。即ち、言語モデル生成部は、特定タスクに対応した言語モデルを生成する。そして特許文献２の音声認識装置は、この言語モデル生成部で生成された言語モデルを用いて音声認識を行う。
特開２００３−３６０９３号公報 特開平１０−１９８３９５号公報
しかしながら、ＡＶ（Audio Video）データの字幕化であるとか、人の会話の音声認識（たとえばホームページやテレビ番組、電子番組表のようなデータを閲覧しながらの会話の認識）を行う場合、その話題は逐次変化をしていくといった特徴があるため、上記特許文献１および２の技術では、その話題の変化にリアルタイムに言語モデルを適応させることができず、音声認識を適切に行えないという問題がある。
上記特許文献１に記載の技術では、新たな話題の言語モデルを作成するためには、認識結果を用いて情報検索を行い、その結果に対して形態素解析などを含めた処理を必要とする。つまり、既存の言語モデルの内容を洗練して新たな話題に適応させるために、大量の認識結果とそれに対する複雑な処理を必要とする。そのため、リアルタイムの適応は困難である。
また、上記特許文献２に記載の技術であっても、ターゲットとなるタスクの文例を数千単語程度集める必要があるため、言語モデルを話題の変化にリアルタイムに適応させることができない。
そこで、本発明は、かかる問題に鑑みてなされたものであって、話題が変化してもその話題に対応した言語モデル（出現単語予測確率）をリアルタイムに生成することにより音声認識を適切に行う音声認識装置および音声認識方法を提供することを目的とする。
上記目的を達成するために、本発明に係る音声認識装置は、音声を取得して認識する音声認識装置であって、語彙を取得する語彙取得手段と、音声を認識するための複数種の言語モデルを格納する言語モデル格納手段と、前記言語モデルごとに当該言語モデルの特徴を示すタグ情報を格納するタグ情報格納手段と、前記語彙取得手段で取得された語彙と、前記各言語モデルのタグ情報との関連性に基づいて、前記語彙取得手段で取得された語彙に応じた前記各言語モデルの重みを組合せ係数として算出する組合せ係数算出手段と、前記組合せ係数算出手段により算出された組合せ係数に応じて前記各言語モデルを組み合わせることにより、前記音声において所定の単語が出現する予測確率を算出する予測確率算出手段と、前記予測確率算出手段により算出された予測確率を用いて前記音声を認識する認識手段とを備えることを特徴とする。
これにより、例えばユーザによる発話の話題が変化したときには、その変化した話題に対応する語彙を取得することで、その話題に応じた各言語モデルの組合せ係数が算出されるため、その算出された組合せ係数を用いて各言語モデルを組み合わせることで、従来例のように、大量の文例を収集したり複雑な言語処理などを行ったりすることなく、その話題に対応した予測確率（出現単語予測確率）をリアルタイムに算出することができる。即ち、話題が変化してもその話題に対応した言語モデルを擬似的にリアルタイムに生成することができ、その結果、音声認識を適切に行うことができる。さらに、話題に対応した語彙とタグ情報との関連性に基づいて組合せ係数が算出されるため、話題に対して適切な言語モデルを生成することができる。
また、前記語彙取得手段は、前記認識手段によって認識された音声に対応する語彙を取得することを特徴としてもよい。
これにより、認識された音声に対応する語彙は、ユーザによる発話の話題を示しているため、ユーザによる発話が行われてその話題が変化しても、話題が変化するごとに、その変化した話題に対応した言語モデルをリアルタイムに生成することができ、ユーザによる発話を適切に認識することができる。
また、前記音声認識装置は、さらに、複数種の語彙と前記各タグ情報との間の関連度を保持している関連度保持手段と、前記関連度保持手段に保持されている各関連度を用いて、前記語彙取得手段で取得された語彙に対する前記タグ情報ごとの関連度を導出する関連度導出手段と、前記タグ情報ごとに当該タグ情報の前記言語モデルに対する重要度を保持している重要度保持手段とを備え、前記組合せ係数算出手段は、前記関連度導出手段で導出された各関連度と、前記重要度保持手段で保持されている重要度とを用いることにより、前記各言語モデルの組合せ係数を算出し、前記予測確率算出手段は、前記言語モデルごとに導出される、前記所定の単語が出現する特定モデル予測確率と、前記言語モデルごとの組合せ係数とを用いることにより、前記予測確率を算出することを特徴としてもよい。
これにより、関連度および重要度によって、話題と各言語モデルとの間の関連付けを的確に行うことができ、話題に対する各言語モデルの組合せ係数をより適切に算出することができる。さらに、複数種の語彙と各タグ情報との間の関連度が保持されているため、その保持されている関連度の語彙であれば、各言語モデルに含まれる語彙に関わらず、各言語モデルの組合せ係数を算出することができ、多くの語彙つまり話題に対応した言語モデルを生成することができる。
また、前記組合せ係数算出手段は、前記語彙取得手段で１つの語彙が取得されるごとに、前記各言語モデルの組合せ係数を算出することを特徴としてもよい。
これにより、ユーザによる発話の話題の変化に対して、各言語モデルの組合せ係数を迅速に追随させることができ、話題が逐次変化しても、その発話による音声を適切に認識することができる。
また、前記組合せ係数算出手段は、前記語彙取得手段で複数の語彙が取得されるごとに、前記各言語モデルの組合せ係数を算出することを特徴としてもよい。
これにより、ユーザによる発話の話題が頻繁に変化することよって、各言語モデルの組合せ係数が過剰に変更されてしまうのを防ぐことができ、その発話による音声を適切に認識することができる。
また、前記組合せ係数算出手段は、前記語彙取得手段で取得された複数の語彙と、前記各言語モデルのタグ情報との関連性に基づいて、前記複数の語彙に応じた前記各言語モデルの重みを組合せ係数として算出することを特徴としもよい。
これにより、ユーザによる発話に含まれる語彙ごとに、各言語モデルの組合せ係数が必要以上に急激に変更されることが防止されるため、その発話の全体的な話題に対応した組合せ係数を算出することができる。その結果、その発話による音声を適切に認識することができる。
また、前記音声認識装置は、さらに、ユーザの閲覧している電子データ、およびユーザに関するプロファイル情報のうち少なくとも１つからキーワードを抽出するキーワード抽出手段を備え、前記語彙取得手段は、前記キーワード抽出手段によって抽出されたキーワードを前記語彙として取得することを特徴としてもよい。
例えば、ユーザが電子番組表やホームページを電子データとして閲覧しているときには、ユーザはその電子番組表などに含まれるキーワードを話題にして発話していると仮定できるため、そのキーワードが上述の語彙として取得されることによって、その話題に対応した言語モデルを生成することができ、音声認識を適切に行うことができる。同様に、ユーザは自らに関することを話題にして発話していることが多いため、プロファイル情報に含まれるキーワードが上述の語彙として取得されることによって、その話題に対応した言語モデルを生成することができる。
なお、本発明は、このような音声認識装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体としても実現することができる。
本発明の音声認識装置は、大量の文例を収集したり複雑な言語処理などを行ったりすることなく、その話題に対応した予測確率（出現単語予測確率）をリアルタイムに算出することができる。即ち、話題が変化してもその話題に対応した言語モデルをリアルタイムに生成することができ、その結果、音声認識を適切に行うことができる。さらに、話題に対応した語彙とタグ情報との関連性に基づいて組合せ係数が算出されるため、話題に対して適切な言語モデルを生成することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
本実施の形態における音声認識装置は、言語モデル生成装置を備え、その言語モデル生成装置により算出された出現単語予測確率に基づいた音声認識を行う。
本実施の形態における音声認識装置の言語モデル生成装置は、文という単位が様々な話題の組み合わせによって表現できるという特徴に注目し、その話題を表す語彙をもとに、予め用意された言語モデルを組み合わせて出現単語予測確率を計算することによって、任意の話題に対応可能な言語モデルを生成する。例えば、「話しことばの音声認識技術が確立され、聴覚障害者が希望していた字幕放送がすべての番組で実現されるようになった」という文を考えると、この文が「音声認識」に関する話題と「聴覚障害」に関する話題と、更には「放送」に関する話題から構成されていると言える。したがって、この場合、言語モデル生成装置は、「音声認識」や「聴覚障害」や「放送」という語彙を指定し、この語彙をもとに予め用意された言語モデルを組み合わせ、任意の単語の連接する確率（出現単語予測確率）を得る。
すなわち、本実施の形態における音声認識装置は、既存の言語モデルを組み合わせるための係数（組合せ係数）を、指定した語彙に応じて逐次的にリアルタイムに更新することで、話題の変化に応じてその話題に対応した出現単語予測確率を算出し、つまり、擬似的に話題に適応した言語モデルを作成し、入力音声の適切な認識を行うものである。
図３は、本発明の実施の形態１における言語モデル生成装置の構成を示す構成図である。
この言語モデル生成装置は、１つまたは複数の語彙を受け付け、あらかじめ用意した一つ以上の言語モデルをその受け付けた語彙に応じて組み合わせて次単語の出現単語予測確率を算出する。これにより、その受け付けた語彙の内容に関わる発話の適切な認識が可能になる。
本実施の形態の言語モデル生成装置は、語彙指定部１０１と、関連度算出部１０２と、組合せ係数算出部１０３と、言語確率計算部１０４と、言語モデル情報格納部１０５とを備える。
言語モデル情報格納部１０５は、複数の言語モデルを格納している言語モデル格納部１０６と、各言語モデルの話題性の特徴を表す語彙（以下、タグ情報という）を格納しているタグ情報格納部１０７とを備えている。
図４は、言語モデル格納部１０６およびタグ情報格納部１０７に格納されている情報を示す図である。
言語モデル格納部１０６は、複数種の言語モデルを格納している。例えば、言語モデル格納部１０６は、技術ニュースに対応した言語モデルＭＤＬ１、福祉技術に対応した言語モデルＭＤＬ２、および音楽情報に対応した言語モデルＭＤＬ３などを格納している。そして、言語モデル格納部１０６は、各言語モデルに対応した出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）を示す特定モデル予測確率信号１１９を出力する。ここで、出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）は、単語Ｗｊ−１の後に単語Ｗｊが続く確率を意味する。
タグ情報格納部１０７には、上述の言語モデルごとにその言語モデルの特徴を表すタグ情報と、そのタグ情報の重要度とが格納されている。ここで、上述の重要度は、タグ情報とそのタグ情報に対応する言語モデルとの関係の程度を示し、例えば１未満の数値によって示される。例えば、言語モデルＭＤＬ１に対して、タグ情報「ニュース」および「技術」が格納されるとともに、そのタグ情報「ニュース」の重要度「０．４」と、タグ情報「技術」の重要度「０．３」とが格納されている。そして、タグ情報格納部１０７は、そのタグ情報を示すタグ情報信号１１６を関連度算出部１０２に出力するとともに、各タグ情報の言語モデルに対する重要度を示す重要度信号１１５を組合せ係数算出部１０３に出力する。
語彙指定部１０１は、話題性の特徴を表す語彙を受け付けて、その語彙を示す語彙情報信号１１１を出力することにより、その語彙を関連度算出部１０２に指定する。
対象語彙指定部１０８は、出現単語予測確率の算出対象となる語彙を示す対象語彙信号１１８を言語確率計算部１０４に対して出力する。対象語彙指定部１０８は、例えば、音声認識結果のいくつかの候補となる語彙を、確率の算出対象とし、その語彙を示す対象語彙信号１１８を出力する。
関連度算出部１０２は、２つの単語が同一文章中に共に出現する程度（個別関連度）を示す共起情報１０２ａを保持している。
図５は、共起情報１０２ａの内容を示す図である。
この共起情報１０２ａは、複数種の語彙の組と、各組における語彙間の個別関連度とを示す。例えば、共起情報１０２ａは、「音声認識」および「技術」の語彙の組と、その組における語彙間の個別関連度「０．８」とを示すとともに、「音声認識」および「字幕」の語彙の組と、その組における語彙間の個別関連度「０．５」とを示す。
また、関連度算出部１０２は、語彙指定部１０１から出力される語彙情報信号１１１とタグ情報格納部１０７から出力されるタグ情報信号１１６とに基づいて、語彙指定部１０１で指定された語彙ごとに、その語彙に対する各タグ情報の個別関連度を特定する。ここで、関連度算出部１０２は、上述の個別関連度を特定するときには、共起情報１０２ａを参照する。そして関連度算出部１０２は、その共起情報１０２ａに示される語彙の組に含まれる一方の語彙をタグ情報と見なすことで、指定された語彙とタグ情報との個別関連度を特定する。そして、関連度算出部１０２は、その特定した個別関連度から、語彙指定部１０１で指定された全ての語彙に対する各タグ情報の関連度（関連度α）を求め、その求めた関連度を示すタグ情報関連度信号１１２を出力する。
組合せ係数算出部１０３は、言語モデル格納部１０６に格納されている言語モデルの重要度を表わす重要度信号１１５とタグ情報関連度信号１１２とから、語彙指定部１０１で受け付けられた語彙に対応した各言語モデルの組合せ係数を算出し、その組合せ係数を示す組合せ係数信号１１３を出力する。
言語確率計算部１０４は、言語モデル格納部１０６に格納される各言語モデルの出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）を示す特定モデル予測確率信号１１９と、組合せ係数算出部１０３から出力された組合せ係数信号１１３とを取得する。各言語モデルの特定モデル予測確率信号１１９と組合せ係数信号１１３とを取得した言語確率計算部１０４は、対象語彙指定部１０８から出力された対象語彙信号１１８の示す各語彙に対して、話題に適応した出現単語予測確率を算出し、その話題に適応した出現単語予測確率を示す適応言語確率信号１１４を出力する。
図６は、上述の言語モデル生成装置の動作を示すフローチャートである。
まず、語彙指定部１０１は、発話の内容に関わる語彙、たとえば「音声認識」や「聴覚障害」を受け付けて、関連度算出部１０２に対してそれらの語彙を指定する（ステップＳ２０２）。
そして、関連度算出部１０２は、指定された語彙をもとにタグ情報格納部１０７に格納されている各タグ情報の関連度αを算出する（ステップＳ２０３）。
例えば、言語モデルＭＤＬ１に対してタグ情報「ニュース」と「技術」とがあり、言語モデルＭＤＬ２に対してタグ情報「福祉」と「技術」とがある場合、関連度算出部１０２は、まず、語彙指定部１０１で指定された語彙「音声認識」および「聴覚障害」のそれぞれに対して、タグ情報格納部１０７に格納されているタグ情報「ニュース」、「技術」および「福祉」などの各タグ情報が、どの程度関連しているかを示す個別関連度（指定語彙ごとの関連度）を特定する。この個別関連度は、共起情報１０２ａに基づいて特定される。
本発明のポイントは、タグ情報を介在させて、受け付けられた語彙から言語モデルの組み合わせ係数をもとめることにある。ここにおいて、関連度αは、その受け付けられた語彙とタグ情報との間の関連性を表現したものであって、話題の展開はこのタグ情報によって予想される。例えば、単語の共起関係は、単語の同時出現傾向を表現しているため、このような話題の展開に関わる情報を持っていると考えられる。そこで、関連度αは共起情報１０２ａをもちいて以下のように算出できる。
関連度算出部１０２は、指定語彙をＷｏｒｄk（ｋ＝１〜Ｋ）とし、タグ情報をＴＡＧl（ｌ＝１〜Ｌ）とすると、ＴＡＧlごとの全てのＷｏｒｄkに対する関連度α（ＴＡＧl）を以下の数式１により算出する。
Figure 2005122143
 ここで関数Ｒは、共起情報１０２ａで定義される個別関連度、即ち、ＷｏｒｄkとＴＡＧlとの個別関連度を示す。
ここで、タグ情報は、各言語モデルに含まれる名詞と定義することが可能であるが、望ましくはｔｆｉｄｆ（term frequency inverse document frequency）などの指標を使って特定される、各言語モデルに特異的な単語を、タグ情報として用意しておくのがよい。
また、共起情報１０２ａは、新聞記事やインターネットなどの、より一般的な情報を用いて作成しておくことが望ましい。さらに、共起関係などに関しては、言語のスパースネス性の問題で、ＷｏｒｄkとＴＡＧlとの間の関係が定義されていない場合もある。そのようなことを考慮し、以下の数式２に示すように、２次の共起関係まで利用して関連度α（ＴＡＧl）を算出してもよい。
Figure 2005122143
 ここで、Ｗ１は、数式２の第１項か第２項のどちらの項をどれだけ考慮するかを示す重み係数である。また、上記関数Ｒの個別関連度に代えて、シソーラス情報や因果関係などを用いることも可能である。
上述のような数式２を用いることにより、指定語彙（Ｗｏｒｄk）とタグ情報（ＴＡＧl）との間の個別関連度が共起情報１０２ａに登録されていなくても、Ｗ１＝０とすることで、指定語彙（Ｗｏｒｄk）と語彙（Ｗｏｒｄm）との間の個別関連度と、語彙（Ｗｏｒｄm）とタグ情報（ＴＡＧl）との間の個別関連度とが共起情報１０２ａに登録されていれば、関連度αを算出することができる。例えば、図５に示すように、指定語彙「技術」とタグ情報「字幕」との間の個別関連度が共起情報１０２ａに登録されていなくても、指定語彙「技術」と語彙「音声認識」との間の個別関連度と、語彙「音声認識」とタグ情報「字幕」との間の個別関連度が共起情報１０２ａに登録されていれば、そのタグ情報「字幕」の指定語彙「技術」に対する関連度αを算出することができる。
すなわち、関連度算出部１０２は、言語モデル格納部１０６に格納された各言語モデルの特徴を表す各タグ情報が、語彙指定部１０１で指定された語彙に対してどれだけ重要かを示す関連度αを算出している。タグ情報を介在させるメリットの１つとして、語彙指定部１０１で指定できる語彙数を言語モデルの語彙数よりも多くすることができることが挙げられる。具体的に、音声認識の対象として用いることが可能な単語数は性能の面から見ても１０万単語程度であるのに対して、本発明の方法を使えば、語彙指定部１０１で指定される語彙とタグ情報との共起関係さえあれば、その指定される語彙数を、言語モデルの語彙数にとらわれずに例えば１００万語にすることができる。
次に、組合せ係数算出部１０３は、上記各タグ情報（「ニュース」や、「福祉」、「技術」など）の関連度αをもとに、語彙指定部１０１で指定された語彙に応じた各言語モデルの組み合わせ係数γを算出する（ステップＳ２０４）。組み合わせ係数γの計算のために、タグ情報格納部１０７には、各タグ情報と各言語モデルの関係の程度が重要度βとして予め定義されている。たとえば、言語モデルＭＤＬ１に対して、タグ情報「ニュース」の重要度「０．４」が定義されている。この重要度βを用いることで、語彙指定部１０１で指定された語彙で特定される話題の特徴に合わせた出現単語予測確率の算出ができる。なお、このような重要度の指標として、上述のｔｆｉｄｆを用いてもよい。
ここで、ｎ番目の言語モデルをＮ−ｇｒａｍnとし、この言語モデルとタグ情報（ＴＡＧl）との重要度、つまりｔｆｉｄｆをβ（ＴＡＧl,Ｎ−ｇｒａｍn)とする。このように定義すると、ｎ番目の言語モデル（Ｎ−ｇｒａｍn）に対する組合せ係数γnを、次の数式３によって求めることが出来る。
Figure 2005122143
 すなわち、組合せ係数算出部１０３は、関連度算出部１０２から出力されるタグ情報関連度信号１１２（関連度α）とタグ情報格納部１０７から出力される重要度信号１１５（重要度β）とによって、語彙指定部１０１で指定された語彙（「音声認識」および「聴覚障害」）に応じた各言語モデルの組み合せの重み（各言語モデルが指定語彙に対してどれだけかかわることができるか）を示す組み合せ係数γを算出する。
次に、言語確率計算部１０４は、言語モデル格納部１０６に格納された各言語モデルの出現単語予測確率を示す特定モデル予測確率信号１１９と、対象語彙指定部１０８で指定された語彙を示す対象語彙信号１１８と、組合せ係数信号１１３（組合せ係数γ）とを用いて、出現単語予測確率を算出して適応言語確率信号１１４を出力する（ステップＳ２０５）。
このような出現単語予測確率の算出には、数式３で求めた組み合わせ係数γnを用いる。言語確率計算部１０４は、単語Ｗｊ−１の後に単語Ｗｊ（対象語彙指定部１０８で指定された語彙）が出現する出現単語予測確率を、数式４を用いて算出する。なお、ここでは言語モデルとして、一つ前の単語から次単語を予測する２−ｇｒａｍを想定したが、任意の次数のＮ−ｇｒａｍ（３−ｇｒａｍ、４−ｇｒａｍなど）や、クラスＮ−ｇｒａｍ、さらにはＦＳＡ（Finite State Automaton）のような言語モデルも利用することができる。
Figure 2005122143
 なお、Ｐn（Ｗｊ｜Ｗｊ−１）は、ｎ番目の言語モデルの出現単語予測確率を示す。
以上のように本実施の形態によれば、語彙指定部１０１で指定された語彙をもとに、関連度算出部１０２で数式１または数式２を用いて各タグ情報の関連度αを求め、組合せ係数算出部１０３で、各タグ情報と各言語モデルの間の重要度βと関連度αとの積を数式３によって算出して組合せ係数γを求める。次に対象語彙指定部１０８で指定された語彙（ヒストリーと対象語彙）に対する出現単語予測確率が、各言語モデルの特定モデル予測確率信号１１９と組合せ係数信号１１３とから言語確率計算部１０４で数式４によって算出され、その算出結果が適応言語確率信号１１４として出力される。
すなわち、言語確率計算部１０４で話題に適応した出現単語予測確率Ｐ（Ｗｊ｜Ｗｊ−１）を計算することによって、対象語彙指定部１０８から指定されるいくつかの語彙の候補から、入力音声に対して最適な候補を見つけることができ、指定された語彙の示す話題に応じた言語モデルが擬似的に作成されることになる。
図７は、本実施の形態における音声認識装置の構成図である。
本実施の形態における音声認識装置は、上述の言語モデル生成装置と、音声入力部３００と、音声認識部３０１と、音声認識結果出力部１１７とを備えている。
音声入力部３００は、音声（発話）を受け付けてその音声を入力音声信号３１４として音声認識部３０１に出力する。
音声認識部３０１は、入力音声信号３１４に対して音声認識処理を行い、音声に対応する語彙の各候補を示す上述の対象語彙信号１１８を言語確率計算部１０４に出力する。さらに、音声認識部３０１は、言語確率計算部１０４で算出された上記各候補の出現単語予測確率を示す適応言語確率信号１１４を取得し、その適応言語確率信号１１４を言語モデルとして利用する。即ち、音声認識部３０１は、上記各候補の出現単語予測確率に基づいて、その各候補の中から音声に対応する語彙の絞込みを行う。そして、音声認識部３０１は、その絞込みによって得られた語彙を示す音声認識出力信号３１１を音声認識結果出力部１１７に対して出力する。
音声認識結果出力部１１７は、ディスプレイや機器制御系などを具備し、音声認識出力信号３１１により示される語彙を表示する。
上述のように本実施の形態によれば、１つ以上の語彙を語彙指定部１０１に指定するだけで、指定された語彙をもとに各タグ情報の関連度αを関連度算出部１０２で求め、さらに各タグ情報と各言語モデルとの重要度βから各言語モデルの組合せ係数γを組合せ係数算出部１０３で求め、その組合せ係数γをもとに複数の言語モデルを組合せて出現単語予測確率を言語確率計算部１０４で求める。これにより、得られた出現単語予測確率を話題に適応可能な言語モデルとして利用できる。したがって、話題に適応した音声認識結果が音声認識部３０１で瞬時に得られる。
つまり、本実施の形態では、例えばユーザによる発話の話題が変化したときには、その変化した話題に対応する語彙を取得することで、その話題に応じた各言語モデルの組合せ係数が算出されるため、その算出された組合せ係数を用いて各言語モデルを組み合わせることで、従来例のように、大量の文例を収集したり複雑な言語処理などを行ったりすることなく、その話題に対応した出現単語予測確率をリアルタイムに算出することができる。即ち、話題が変化してもその話題に対応した言語モデルをリアルタイムに生成することができ、その結果、音声認識を適切に行うことができる。さらに、話題に対応した語彙とタグ情報との関連性に基づいて組合せ係数が算出されるため、話題に対して適切な組合せ係数を算出することができる。
（変形例１）
ここで、本実施の形態における音声認識装置の第１の変形例について説明する。
図８は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、語彙指定部１０１で受け付ける語彙に音声認識部３０１の認識結果を利用する。これにより、音声認識が認識結果のフィードバックを受けて、逐次的に組合せ係数γが変更されることで、動的に話題に適応した音声認識が可能になる。これは、本発明の組み合わせ係数算出方法が高々一語の語彙を指定するだけで、その後にその語彙に関係する言語モデルを瞬時に構成できるという特徴を持つためであり、逐次的な話題の変化に瞬時に対応することが可能である。
本変形例に係る音声認識装置は、図７に示す音声認識装置の各構成要素を備えるとともに、結果出力部３０２とキーワード抽出部３０３とを備えている。
結果出力部３０２は、音声認識部３０１から出力される音声認識出力信号３１１を受けて、その音声認識出力信号３１１を認識結果信号３１２として音声認識結果出力部１１７とキーワード抽出部３０３へ出力する。
キーワード抽出部３０３は、結果出力部３０２から出力される認識結果信号３１２を受けて、その認識結果信号３１２からキーワードとなる語彙を抽出し、その語彙（キーワード）を示すキーワード信号３１３を語彙指定部１０１に出力する。
そして、語彙指定部１０１は、キーワード抽出部３０３から出力されるキーワード信号３１３の示す語彙を受け付ける。
図９は、本変形例に係る音声認識装置の動作を示すフローチャートである。
まず、音声認識部３０１は、音声入力部３００から出力される入力音声信号３１４に基づいて、音声入力部３００で音声が検出されたか否かを判断し（ステップＳ４０２）、検出されたと判断したときには（ステップＳ４０２のＹ）、その検出された音声の認識を行う（ステップＳ４０３）。一方、検出されなかったと判断したときには（ステップＳ４０２のＮ）、音声認識部３０１は、例えばユーザによる操作などに基づいて終了の指示があったか否かを判断する（ステップＳ４０９）。そして、音声認識部３０１によって終了の指示があったと判断されたときには（ステップＳ４０９のＹ）、音声認識装置は全ての処理を終了し、指示がなかったと判断されたときには（ステップＳ４０９のＮ）、音声認識装置はステップＳ４０２からの処理を繰り返し実行する。
ステップＳ４０３で音声が認識されると、音声認識結果出力部１１７は、その音声認識部３０１によって認識された結果を、結果出力部３０２を介して音声認識部３０１から得て、その結果を例えばディスプレイに表示させる（ステップＳ４０４）。さらに、キーワード抽出部３０３は、その認識結果から、話題に関する情報をもつキーワードを抽出し（ステップＳ４０５）、その抽出したキーワードを語彙指定部１０１に指定する。即ち、語彙指定部１０１は、このように指定されたキーワードを語彙として受け付けて、その語彙を関連度算出部１０２に指定する（ステップＳ４０６）。このキーワード抽出部３０３でのキーワードの抽出は、例えば、認識結果から名詞のみを抜き出すとすることで実現できる。また、抽出したキーワードの類似語や概念語を指定することで共起関係のスパースネス性を解消することも有効である。
次に、関連度算出部１０２は、語彙指定部１０１に指定された語彙をもとに、各タグ情報の関連度αを算出する（ステップＳ４０７）。続いて、各タグ情報と各言語モデルの間に定義された重要度βと、関連度αとを用いて、組合せ係数算出部１０３は、各言語モデルの組合せ係数γを算出し（ステップＳ４０８）、その算出した組合せ係数γをステップＳ４０２及びステップＳ４０３の処理に反映させる。即ち、再び、ステップＳ４０２で音声が検出されたと判断されると、音声認識部３０１は、上記算出された組合せ係数γをもとに複数の言語モデルによる出現単語予測確率を数式４を用いて算出して、その出現単語予測確率を利用して音声認識を行う（ステップＳ４０３）。
以上の動作を行うことにより、１発話ごと（音声に対応する１つの語彙が認識されるごと）に各言語モデルの組合せ係数γを変えることができ、動的に話題に適応可能な音声認識装置を実現できる。
具体的に例えば、図４に示すように、「技術ニュース」や、「福祉技術」、「音楽情報」、「バラエティー情報」に関わる言語モデルがあるとする。また「技術ニュース」の言語モデルに対しては、タグ情報「ニュース」および「技術」がそれぞれ重要度０．４と０．３で格納されており、「福祉技術」の言語モデルに対しては、タグ情報「福祉」と「技術」がそれぞれ重要度０．７と０．３で格納されているとする。その他の言語モデルに対しても図４に示すとおりにタグ情報と重要度が格納されているとする。このとき、以下のような音声が流れてきたとする。「話しことばの音声認識技術が確立され、聴覚障害者が希望していた字幕放送がすべての番組で実現される見込みがつきました。また字幕を利用して、ユーザが予め登録しておいたキーワードをもとに番組を推薦してくれるサービスも出現しています。例えば、音楽番組が好きな人が、ピアノ、オーケストラなどのキーワードを登録しておくことで、該当する番組のシーンのリストが演奏者、曲名などの情報とともにメールで送られてくるというサービスです」。本発明を使ってこの音声を認識すると次のようになる。
まず、音声認識装置は、組み合わせ係数をすべての言語モデルに対して均等にし、「話しことばの音声認識技術が確立され」という入力音声に対して「音声認識」を認識する。「音声認識」は「技術」と関係があるので、言語モデルＭＤＬ１，ＭＤＬ２に対応付けられたタグ情報「技術」と「音声認識」の間の関連度αは大きな値をもつ。ここで仮に、共起情報１０２ａに基づいて、その関連度αが０．８であるとする。また、タグ情報「技術」と言語モデルＭＤＬ１，ＭＤＬ２との間には０．３の重要度βが定義されている。したがって、組み合わせ係数γは、γ＝０．８×０．３＝０．２４となり、音声認識装置は、その組合せ係数γと言語モデルＭＤＬ１，ＭＤＬ２を利用した音声の認識を行う。その結果、「福祉技術」の言語モデルＭＤＬ２に対しても重みをおいていることより、続いて入力される音声「聴覚障害者が希望していた字幕放送がすべての番組で実現される見込みがつきました。」に対して認識が確実に行えるようになる。
続いて、「ユーザが予め登録しておいたキーワードをもとに番組を推薦してくれるサービスも出現しています。」という音声の入力により「推薦」が認識されると、「推薦」と「情報」の間には、「推薦するものは情報である」という共起関係が存在するため、タグ情報「情報」に対応付けられた言語モデルＭＤＬ３，ＭＤＬＪの組み合わせ係数が算出できる。これにより、続く音声入力「例えば、音楽番組が好きな人が、ピアノ、オーケストラなどのキーワードを登録しておくことで、該当する番組のシーンのリストが演奏者、曲名などの情報とともにメールで送られてくるというサービスです」を、「音楽情報」に対する言語モデルＭＤＬ３を用いることで精度よく認識することが可能になる。
本変形例では組み合わせ係数の更新に際して、抽出されたキーワードを用いて行うとしたが、組み合わせ係数を算出する際に、抽出された過去のキーワードも合わせて複数のキーワードを使用してもよい。この場合には、必要以上に急激な言語モデルの変化を抑制することができて有効である。
（変形例２）
ここで、本実施の形態における音声認識装置の第２の変形例について説明する。
図１０は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記変形例１の音声認識装置の各構成要素を備えるとともに、キーワード送信部３０４を備えている。このキーワード送信部３０４は、キーワード抽出部３０３と語彙指定部１０１との間に設けられている。
キーワード送信部３０４は、キーワード抽出部３０３からキーワード信号３１３を取得して、そのキーワード信号３１３を所定のタイミングで語彙指定部１０１に出力する。
すなわち、上述の変形例１では、１発話ごとに組合せ係数γの更新を行ったが、本変形例では、キーワード送信部３０４を設けたことによって、語彙指定部１０１に対する語彙の指定のタイミングを制御することができる。例えば、キーワード送信部３０４が、キーワード信号３１３の語彙指定部１０１に対する送信を、Ｎ回の発話ごとに行ったり、キーワード（語彙）が所定の個数だけ蓄積された後に行ったりすることにより、適切なタイミングで語彙を指定することができる。ここで、１回のキーワード信号３１３の送信によって語彙指定部１０１に指定する語彙は、その送信のタイミングで抽出された１つのキーワードであっても、その送信時までに抽出されて蓄積された複数のキーワードであってもよい。
かかる構成によれば、語彙指定部１０１で受け付けられる語彙を、音声認識部３０１での音声認識の結果から抽出されたキーワードとすることで、音声認識が認識結果のフィードバックを受け、動的に話題に適応した音声認識が可能になるとともに、その話題への適応のタイミングを適切にすることができる。
（変形例３）
ここで、本実施の形態における音声認識装置の第３の変形例について説明する。
図１１は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、キーワード抽出部３０３ａと、テキスト入力部５０３とを備える。
このような音声認識装置は、語彙指定部１０１に指定する語彙を、後述する電子番組表５０１、番組関連ホームページ５０２、およびテキスト情報から抽出されるキーワードとするように構成されており、この構成により、電子番組表、番組関連ホームページ、および入力されたテキストに関わる内容の音声認識を行うことができる。つまり、音声認識装置は、電子番組表などに関する内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
テキスト入力部５０３は、例えばユーザによるキーボードの入力操作に基づいてテキスト情報を取得し、そのテキスト情報をテキスト入力信号５１３としてキーワード抽出部３０３ａに出力する。
キーワード抽出部３０３は、電子的に配信される電子番組表（Electronic Program Guide）５０１を電子番組表信号５１１として受け取るとともに、番組内容に関するホームページ（電子データ）たる番組関連ホームページ５０２を番組関連ホームページ信号５１２として受け取り、さらに、テキスト入力部５０３からのテキスト入力信号５１３を受け取る。具体的に、番組関連ホームページ５０２は、電子番組表５０１の番組内容に関するホームページ、もしくはテレビ局のホームページに掲載された番組内容に関するホームページなど、ネットワークを通じて入手可能な番組内容を示す電子データである。また、電子番組表５０１および番組関連ホームページ５０２の内容は、ユーザによる閲覧操作に応じて変更される。
そして、キーワード抽出部３０３は、電子番組表信号５１１、番組関連ホームページ信号５１２およびテキスト入力信号５１３から、語彙指定部１０１に指定すべきキーワード（語彙）を抽出し、そのキーワードを示すキーワード信号３１３を語彙指定部１０１に出力する。ここで、キーワード抽出部３０３は、入力として受けた電子番組表信号５１１、番組関連ホームページ信号５１２、およびテキスト入力信号５１３に対して形態素解析などの言語処理を施した後、名詞のみを抽出するなどの方法を用いてキーワードの抽出を行う。また、変形例１のときと同様に、抽出したキーワードの類似語や概念語を出力することで共起関係のスパースネス性を解消することも有効である。
これにより、ユーザによる閲覧操作や入力操作により、ユーザの閲覧している電子番組表５０１の内容や、ユーザの閲覧している番組関連ホームページ５０２の内容、ユーザの入力しているテキスト情報の内容が変わるごとに、その変更された内容にあわせた音声の認識を行うことが可能になる。すなわち、ユーザの操作に対するフィードバックを利用して、その操作に応じた言語モデルを瞬時に生成することにより、適切な音声の認識を行うことができる。これにより、たとえば過去の電子番組表を参照しながら関連する話題を認識するなどといったことが可能になる。
かかる構成によれば、電子番組表、番組関連ホームページ、および入力されたテキスト情報から抽出したキーワードを語彙指定部１０１に指定することができ、閲覧しているホームページが変わるごとに、電子番組表、番組関連ホームページ、および入力されたテキスト情報の内容に関わる出現単語予測確率を計算でき、その内容の話題に適応した音声認識を行うことができる。なお、ここでは、電子番組表、番組関連ホームページ、および入力されたテキスト情報からキーワードを抽出するように構成したが、いずれか一つだけから抽出しても良いことは言うまでもない。
例えば、このような本変形例に係る音声認識装置は、パーソナルコンピュータに組み込まれ、そのパーソナルコンピュータに表示される電子データを閲覧しながら複数のユーザが会話している状況において利用される。具体的に、複数のユーザが例えば料理番組のホームページを閲覧しながら会話している場合、パーソナルコンピュータに組み込まれたエージェントは、その料理に関連する会話を、本変形例に係る音声認識装置を用いて適切に認識する。そして、エージェントは、その認識結果に基づいて、その会話で表現された例えば寿司などのユーザの関心を示す情報を提示する。
（変形例４）
ここで、本実施の形態における音声認識装置の第４の変形例について説明する。
図１２は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、テレビなどの映像を写す映像受像部６０１と、映像受像部６０１に表示される文字情報に対して文字認識を行う文字認識部６０２と、文字認識部６０２から出力される文字認識結果信号６１２からキーワードを抽出するキーワード抽出部３０３ｂとを備えている。この音声認識装置は、映像受像部６０１に表示される文字の内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
映像受像部６０１は、表示される映像情報を映像信号６１１として文字認識部６０２に送る。文字認識部６０２は、その映像信号６１１を取得して、その映像信号６１１の示す映像情報に対して文字認識を行う。そして、文字認識部６０２は、文字認識結果を文字認識結果信号６１２としてキーワード抽出部３０３ｂに送る。キーワード抽出部３０３ｂは、文字認識結果信号６１２に対して形態素解析などの処理を行い、その文字認識結果信号６１２からキーワード（語彙）を抽出し、そのキーワードを示すキーワード信号３１３を語彙指定部１０１に送信する。これにより、音声認識装置は、映像受像部６０１の画面上に表示されたテキストの内容に関わる出現単語予測確率を計算して、その内容の話題に適応した音声認識を行うことができる。
かかる構成によれば、映像受像部６０１の画面上に表示されたキーワードをもとに、このキーワードの内容に応じた音声認識ができるので、例えば、ニュースのタイトルに応じて、そのニュースの内容に沿った音声の認識が実現可能となる。また、キーワード抽出部３０３ｂによるキーワードの抽出を、字幕にキーワードが出現するごとに行うことにより番組内容にそった会話の認識を行うことが可能である。
例えば、このような本変形例に係る音声認識装置は、テレビに組み込まれ、そのテレビに表示されるニュースなどを視聴しながら複数のユーザが会話している状況において利用される。具体的に、複数のユーザが例えば経済のニュースを視聴しながら会話している場合、そのテレビに組み込まれたエージェントは、そのニュースに関連する会話を、本変形例に係る音声認識装置を用いて適切に認識する。そして、エージェントは、その認識結果に基づいて、その会話で表現された例えば株価などのユーザの関心を示す情報を提示する。
（変形例５）
ここで、本実施の形態における音声認識装置の第５の変形例について説明する。
図１３は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、プロファイル情報を格納するプロファイル情報格納部７０１と、プロファイル情報格納部７０１から出力されるプロファイル情報信号７１１からキーワードを抽出するキーワード抽出部３０３とを備えている。プロファイル情報は、ユーザの嗜好などのユーザに関連する情報であって、プロファイル情報信号７１１は、そのプロファイル情報を示す信号である。この音声認識装置は、プロファイル情報の内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
本変形例では、プロファイル情報格納部７０１から出力されたプロファイル情報信号７１１に対して、キーワード抽出部３０３が形態素解析などの処理を施すことにより、キーワード（語彙）を抽出し、そのキーワードをキーワード信号３１３として語彙指定部１０１に指定することができる。
以上のように構成することで、ユーザのプロファイル情報にあわせた話題に適応可能な音声認識が実現できる。例えば、本変形例に係る音声認識装置をチケット予約システムに適用する。ここで、プロファイル情報格納部７０１には、ユーザが「クラシック音楽」が好きであることを示すプロファイル情報が蓄積されているとする。この場合、このプロファイル情報の示すキーワード（クラシック音楽）が語彙指定部１０１に指定されることにより、クラシック音楽のコンサート予約を行う際に必要となる言語表現に対応した言語モデルを作成することができる。これにより、ユーザの発話の認識がより確実に行えるようになる。
（変形例６）
ここで、本実施の形態における音声認識装置の第６の変形例について説明する。
図１４は、本変形例に係る音声認識装置の構成図である。
本変形例に係る音声認識装置は、上記実施の形態の図７に示す音声認識装置の各構成要素を備えるとともに、変形例３の図１１に示すテキスト入力部５０３と、変形例５の図１３に示すプロファイル情報格納部７０１と、キーワード抽出部３０３ｄとを備えている。この音声認識装置は、プロファイル情報や電子番組表の内容が話題の対象とされていると仮定し、その話題に適した音声の認識を行う。
キーワード抽出部３０３ｄは、プロファイル情報信号７１１、電子番組表信号５１１、番組関連ホームページ信号５１２、およびテキスト入力信号５１３から、キーワード（語彙）を抽出して、そのキーワードを示すキーワード信号３１３を語彙指定部１０１に出力する。
即ち、本変形例に係る音声認識装置は、変形例３の音声認識装置の特徴と、変形例５の音声認識装置の特徴とを兼ね備え、プロファイル情報、電子番組表５０１、番組関連ホームページ５０２、およびテキスト情報を同時に組み合わせて利用する。
これにより、本変形例に係る音声認識装置は、例えば、ユーザが「ドラマが好きである」というプロファイル情報と電子番組表をもとに、ドラマに沿った言語モデルを生成することができ、ユーザの発話の認識をより適切に行うことが可能になる。
本発明は、内容を表す少なくとも１単語の語彙を指定するだけで、その話題に適応した言語モデルを利用できるようになり、その結果、動的に話題に適応可能な音声認識を実現することが可能になり、家電、ＡＶ（Audio Video）機器、パーソナルコンピュータなどの各種機器のユーザインターフェース用音声認識技術や、ＡＶ（Audio Video）データに対して文字化を行う字幕付与装置およびタグ付け装置など等の用途にも適用できる。
図１は、従来の音声入力検索システムの動作を示すフローチャートである。 図２は、従来の音声認識装置の言語モデル生成部によって行われる処理動作を説明するための説明図である。 図３は、本発明の実施の形態における音声認識装置の言語モデル生成装置を示す構成図である。 図４は、同上の言語モデル格納部およびタグ情報格納部に格納されている情報を示す図である。 図５は、同上の共起情報の内容を示す図である。 図６は、同上の言語モデル生成装置による言語モデル作成の動作を示すフローチャートである。 図７は、同上の音声認識装置の構成図である。 図８は、同上の変形例１に係る音声認識装置の構成図である。 図９は、同上の変形例１に係る音声認識装置の動作を示すフローチャートである。 図１０は、同上の変形例２に係る音声認識装置の構成図である。 図１１は、同上の変形例３に係る音声認識装置の構成図である。 図１２は、同上の変形例４に係る音声認識装置の構成図である。 図１３は、同上の変形例５に係る音声認識装置の構成図である。 図１４は、同上の変形例６に係る音声認識装置の構成図である。
符号の説明
１０１ 語彙指定部
１０２ 関連度算出部
１０３ 組合せ係数算出部
１０４ 言語確率計算部
１０５ 言語モデル情報格納部
１０６ 言語モデル格納部
１０７ タグ情報格納部
１０８ 対象語彙指定部
１１１ 語彙情報信号
１１２ タグ情報関連度信号
１１３ 組合せ係数信号
１１４ 適応言語確率信号
１１５ 重要度信号
１１６ タグ情報信号
１１７ 音声認識結果出力部
１１９ 特定モデル予測確率信号
３００ 音声入力部
３０１ 音声認識部
３０２ 結果出力部
３０３ キーワード抽出部
３０４ キーワード送信部
３１１ 音声認識出力信号
３１３ キーワード信号
３１４ 入力音声信号
５０１ 電子番組表
５０２ 番組関連ホームページ
５０３ テキスト入力部
５１１ 電子番組表信号
５１２ 番組関連ホームページ信号
５１３ テキスト入力信号
６０１ 映像受像部
６０２ 文字認識部
６１１ 映像信号
６１２ 文字認識結果信号
７０１ プロファイル情報格納部
７１１ プロファイル情報信号

Claims (10)

  1. 音声を取得して認識する音声認識装置であって、
    語彙を取得する語彙取得手段と、
    音声を認識するための複数種の言語モデルを格納する言語モデル格納手段と、
    前記言語モデルごとに当該言語モデルの特徴を示すタグ情報を格納するタグ情報格納手段と、
    前記語彙取得手段で取得された語彙と、前記各言語モデルのタグ情報との関連性に基づいて、前記語彙取得手段で取得された語彙に応じた前記各言語モデルの重みを組合せ係数として算出する組合せ係数算出手段と、
    前記組合せ係数算出手段により算出された組合せ係数に応じて前記各言語モデルを組み合わせることにより、前記音声において所定の単語が出現する予測確率を算出する予測確率算出手段と、
    前記予測確率算出手段により算出された予測確率を用いて前記音声を認識する認識手段と
    を備えることを特徴とする音声認識装置。
  2. 前記語彙取得手段は、
    前記認識手段によって認識された音声に対応する語彙を取得する
    ことを特徴とする請求項１記載の音声認識装置。
  3. 前記音声認識装置は、さらに、
    複数種の語彙と前記各タグ情報との間の関連度を保持している関連度保持手段と、
    前記関連度保持手段に保持されている各関連度を用いて、前記語彙取得手段で取得された語彙に対する前記タグ情報ごとの関連度を導出する関連度導出手段と、
    前記タグ情報ごとに当該タグ情報の前記言語モデルに対する重要度を保持している重要度保持手段とを備え、
    前記組合せ係数算出手段は、
    前記関連度導出手段で導出された各関連度と、前記重要度保持手段で保持されている重要度とを用いることにより、前記各言語モデルの組合せ係数を算出し、
    前記予測確率算出手段は、
    前記言語モデルごとに導出される、前記所定の単語が出現する特定モデル予測確率と、前記言語モデルごとの組合せ係数とを用いることにより、前記予測確率を算出する
    ことを特徴とする請求項２記載の音声認識装置。
  4. 前記組合せ係数算出手段は、前記語彙取得手段で１つの語彙が取得されるごとに、前記各言語モデルの組合せ係数を算出する
    ことを特徴とする請求項３記載の音声認識装置。
  5. 前記組合せ係数算出手段は、前記語彙取得手段で複数の語彙が取得されるごとに、前記各言語モデルの組合せ係数を算出する
    ことを特徴とする請求項３記載の音声認識装置。
  6. 前記組合せ係数算出手段は、
    前記語彙取得手段で取得された複数の語彙と、前記各言語モデルのタグ情報との関連性に基づいて、前記複数の語彙に応じた前記各言語モデルの重みを組合せ係数として算出する
    ことを特徴とする請求項３記載の音声認識装置。
  7. 前記音声認識装置は、さらに、
    ユーザの閲覧している電子データ、およびユーザに関するプロファイル情報のうち少なくとも１つからキーワードを抽出するキーワード抽出手段を備え、
    前記語彙取得手段は、前記キーワード抽出手段によって抽出されたキーワードを前記語彙として取得する
    ことを特徴とする請求項１記載の音声認識装置。
  8. 音声を取得して認識する音声認識方法であって、
    語彙を取得する語彙取得ステップと、
    前記語彙取得ステップで取得された語彙と、音声を認識するための複数種の言語モデルのそれぞれの特徴を示すタグ情報との関連性に基づいて、前記語彙取得ステップで取得された語彙に応じた前記各言語モデルの重みを組合せ係数として算出する組合せ係数算出ステップと、
    前記組合せ係数算出ステップで算出された組合せ係数に応じて前記各言語モデルを組み合わせることにより、前記音声において所定の単語が出現する予測確率を算出する予測確率算出ステップと、
    前記予測確率算出ステップで算出された予測確率を用いて前記音声を認識する認識ステップと
    を含むことを特徴とする音声認識方法。
  9. 音声を取得して認識するためのプログラムであって、
    語彙を取得する語彙取得ステップと、
    前記語彙取得ステップで取得された語彙と、音声を認識するための複数種の言語モデルのそれぞれの特徴を示すタグ情報との関連性に基づいて、前記語彙取得ステップで取得された語彙に応じた前記各言語モデルの重みを組合せ係数として算出する組合せ係数算出ステップと、
    前記組合せ係数算出ステップで算出された組合せ係数に応じて前記各言語モデルを組み合わせることにより、前記音声において所定の単語が出現する予測確率を算出する予測確率算出ステップと、
    前記予測確率算出ステップで算出された予測確率を用いて前記音声を認識する認識ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  10. 音声を取得して認識するためのプログラムを記憶している記憶媒体であって、
    前記プログラムは、
    語彙を取得する語彙取得ステップと、
    前記語彙取得ステップで取得された語彙と、音声を認識するための複数種の言語モデルのそれぞれの特徴を示すタグ情報との関連性に基づいて、前記語彙取得ステップで取得された語彙に応じた前記各言語モデルの重みを組合せ係数として算出する組合せ係数算出ステップと、
    前記組合せ係数算出ステップで算出された組合せ係数に応じて前記各言語モデルを組み合わせることにより、前記音声において所定の単語が出現する予測確率を算出する予測確率算出ステップと、
    前記予測確率算出ステップで算出された予測確率を用いて前記音声を認識する認識ステップとをコンピュータに実行させる
    ことを特徴とする記憶媒体。
JP2006514451A 2004-06-08 2005-05-26 音声認識装置および音声認識方法 Active JP3923513B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004169730 2004-06-08
JP2004169730 2004-06-08
PCT/JP2005/009652 WO2005122143A1 (ja) 2004-06-08 2005-05-26 音声認識装置および音声認識方法

Publications (2)

Publication Number Publication Date
JP3923513B2 JP3923513B2 (ja) 2007-06-06
JPWO2005122143A1 true JPWO2005122143A1 (ja) 2008-04-10

Family

ID=35503309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006514451A Active JP3923513B2 (ja) 2004-06-08 2005-05-26 音声認識装置および音声認識方法

Country Status (3)

Country Link
US (1) US7310601B2 (ja)
JP (1) JP3923513B2 (ja)
WO (1) WO2005122143A1 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7539086B2 (en) * 2002-10-23 2009-05-26 J2 Global Communications, Inc. System and method for the secure, real-time, high accuracy conversion of general-quality speech into text
WO2005039406A1 (en) * 2003-10-23 2005-05-06 Koninklijke Philips Electronics, N.V. Heart monitor with remote alarm capability
CN1922605A (zh) * 2003-12-26 2007-02-28 松下电器产业株式会社 辞典制作装置以及辞典制作方法
US7848927B2 (en) * 2004-11-30 2010-12-07 Panasonic Corporation Speech recognition device and method of recognizing speech using a language model
WO2006080149A1 (ja) * 2005-01-25 2006-08-03 Matsushita Electric Industrial Co., Ltd. 音復元装置および音復元方法
US8265933B2 (en) * 2005-12-22 2012-09-11 Nuance Communications, Inc. Speech recognition system for providing voice recognition services using a conversational language model
WO2007083496A1 (ja) * 2006-01-23 2007-07-26 Nec Corporation 音声認識用言語モデル作成用のシステム、方法およびプログラムならびに音声認識システム
JP4910420B2 (ja) * 2006-02-24 2012-04-04 カシオ計算機株式会社 画像処理装置および画像処理のプログラム
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
WO2007132690A1 (ja) * 2006-05-17 2007-11-22 Nec Corporation 音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラム
US8069032B2 (en) * 2006-07-27 2011-11-29 Microsoft Corporation Lightweight windowing method for screening harvested data for novelty
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8447285B1 (en) 2007-03-26 2013-05-21 Callwave Communications, Llc Methods and systems for managing telecommunications and for translating voice messages to text messages
US8325886B1 (en) 2007-03-26 2012-12-04 Callwave Communications, Llc Methods and systems for managing telecommunications
US8352264B2 (en) 2008-03-19 2013-01-08 Canyon IP Holdings, LLC Corrective feedback loop for automated speech recognition
US9973450B2 (en) 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
US8214338B1 (en) 2007-05-01 2012-07-03 Callwave, Inc. Methods and systems for media storage
US8583746B1 (en) 2007-05-25 2013-11-12 Callwave Communications, Llc Methods and systems for web and call processing
US8392392B1 (en) * 2008-09-11 2013-03-05 Smith Micro Software, Inc Voice request broker
WO2010061507A1 (ja) * 2008-11-28 2010-06-03 日本電気株式会社 言語モデル作成装置
WO2010100853A1 (ja) * 2009-03-04 2010-09-10 日本電気株式会社 言語モデル適応装置、音声認識装置、言語モデル適応方法、及びコンピュータ読み取り可能な記録媒体
GB2469499A (en) * 2009-04-16 2010-10-20 Aurix Ltd Labelling an audio file in an audio mining system and training a classifier to compensate for false alarm behaviour.
JP5344396B2 (ja) * 2009-09-07 2013-11-20 本田技研工業株式会社 言語学習装置、言語学習プログラム及び言語学習方法
US11416214B2 (en) 2009-12-23 2022-08-16 Google Llc Multi-modal input on an electronic device
EP4318463A3 (en) 2009-12-23 2024-02-28 Google LLC Multi-modal input on an electronic device
US10276170B2 (en) * 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
JP5772214B2 (ja) * 2010-05-24 2015-09-02 株式会社デンソー 音声認識装置
US9576570B2 (en) 2010-07-30 2017-02-21 Sri International Method and apparatus for adding new vocabulary to interactive translation and dialogue systems
US8527270B2 (en) * 2010-07-30 2013-09-03 Sri International Method and apparatus for conducting an interactive dialogue
US8744860B2 (en) 2010-08-02 2014-06-03 At&T Intellectual Property I, L.P. Apparatus and method for providing messages in a social network
KR101699720B1 (ko) * 2010-08-03 2017-01-26 삼성전자주식회사 음성명령 인식 장치 및 음성명령 인식 방법
US8880403B2 (en) * 2010-09-03 2014-11-04 Canyon Ip Holdings Llc Methods and systems for obtaining language models for transcribing communications
US8352245B1 (en) 2010-12-30 2013-01-08 Google Inc. Adjusting language models
US8296142B2 (en) 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
US9202465B2 (en) * 2011-03-25 2015-12-01 General Motors Llc Speech recognition dependent on text message content
US9679561B2 (en) 2011-03-28 2017-06-13 Nuance Communications, Inc. System and method for rapid customization of speech recognition models
WO2012151743A1 (en) * 2011-05-10 2012-11-15 Nokia Corporation Methods, apparatuses and computer program products for providing topic model with wording preferences
JP5799733B2 (ja) * 2011-10-12 2015-10-28 富士通株式会社 認識装置、認識プログラムおよび認識方法
US9324323B1 (en) * 2012-01-13 2016-04-26 Google Inc. Speech recognition using topic-specific language models
JP6019604B2 (ja) * 2012-02-14 2016-11-02 日本電気株式会社 音声認識装置、音声認識方法、及びプログラム
US8775177B1 (en) 2012-03-08 2014-07-08 Google Inc. Speech recognition process
US9620111B1 (en) * 2012-05-01 2017-04-11 Amazon Technologies, Inc. Generation and maintenance of language model
US20140112496A1 (en) * 2012-10-19 2014-04-24 Carlo Murgia Microphone placement for noise cancellation in vehicles
US9747900B2 (en) 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
US9508345B1 (en) 2013-09-24 2016-11-29 Knowles Electronics, Llc Continuous voice sensing
US9953634B1 (en) 2013-12-17 2018-04-24 Knowles Electronics, Llc Passive training for automatic speech recognition
US9842592B2 (en) 2014-02-12 2017-12-12 Google Inc. Language models using non-linguistic context
US10643616B1 (en) * 2014-03-11 2020-05-05 Nvoq Incorporated Apparatus and methods for dynamically changing a speech resource based on recognized text
US9812130B1 (en) * 2014-03-11 2017-11-07 Nvoq Incorporated Apparatus and methods for dynamically changing a language model based on recognized text
US9412365B2 (en) 2014-03-24 2016-08-09 Google Inc. Enhanced maximum entropy models
US9437188B1 (en) 2014-03-28 2016-09-06 Knowles Electronics, Llc Buffered reprocessing for multi-microphone automatic speech recognition assist
US10134394B2 (en) 2015-03-20 2018-11-20 Google Llc Speech recognition using log-linear model
US20170018268A1 (en) * 2015-07-14 2017-01-19 Nuance Communications, Inc. Systems and methods for updating a language model based on user input
JP6443843B2 (ja) * 2015-09-17 2018-12-26 日本電信電話株式会社 言語モデル作成装置、言語モデル作成方法、およびプログラム
US10896681B2 (en) * 2015-12-29 2021-01-19 Google Llc Speech recognition with selective use of dynamic language models
US10049666B2 (en) 2016-01-06 2018-08-14 Google Llc Voice recognition system
US9978367B2 (en) 2016-03-16 2018-05-22 Google Llc Determining dialog states for language models
US10832664B2 (en) 2016-08-19 2020-11-10 Google Llc Automated speech recognition using language models that selectively use domain-specific model components
CN108346073B (zh) * 2017-01-23 2021-11-02 北京京东尚科信息技术有限公司 一种语音购物方法和装置
US10311860B2 (en) 2017-02-14 2019-06-04 Google Llc Language model biasing system
KR102435750B1 (ko) * 2017-12-14 2022-08-25 현대자동차주식회사 멀티미디어 장치 및 이를 포함하는 차량, 멀티미디어 장치의 방송 청취 방법
CN110703612B (zh) * 2018-07-10 2023-09-15 松下家电(中国)有限公司 一种家电自动调整用户设置参数的方法
US11568007B2 (en) * 2018-10-03 2023-01-31 Walmart Apollo, Llc Method and apparatus for parsing and representation of digital inquiry related natural language
US11954719B2 (en) * 2019-05-30 2024-04-09 Ncr Voyix Corporation Personalized voice-based assistance
US11397859B2 (en) * 2019-09-11 2022-07-26 International Business Machines Corporation Progressive collocation for real-time discourse

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467425A (en) * 1993-02-26 1995-11-14 International Business Machines Corporation Building scalable N-gram language models using maximum likelihood maximum entropy N-gram models
JP3027544B2 (ja) 1997-01-10 2000-04-04 株式会社エイ・ティ・アール音声翻訳通信研究所 統計的言語モデル生成装置及び音声認識装置
JP3794597B2 (ja) 1997-06-18 2006-07-05 日本電信電話株式会社 話題抽出方法及び話題抽出プログラム記録媒体
US6418431B1 (en) * 1998-03-30 2002-07-09 Microsoft Corporation Information retrieval and speech recognition based on language models
US6233559B1 (en) * 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
JP3232289B2 (ja) * 1999-08-30 2001-11-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 記号挿入装置およびその方法
JP2001188784A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP3628245B2 (ja) * 2000-09-05 2005-03-09 日本電信電話株式会社 言語モデル生成方法、音声認識方法及びそのプログラム記録媒体
US6606597B1 (en) * 2000-09-08 2003-08-12 Microsoft Corporation Augmented-word language model
US20020087313A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented intelligent speech model partitioning method and system
US20020087311A1 (en) * 2000-12-29 2002-07-04 Leung Lee Victor Wai Computer-implemented dynamic language model generation method and system
JP4067776B2 (ja) * 2001-03-13 2008-03-26 三菱電機株式会社 言語モデル構成装置及び音声認識装置
US7072838B1 (en) * 2001-03-20 2006-07-04 Nuance Communications, Inc. Method and apparatus for improving human-machine dialogs using language models learned automatically from personalized data
JP3893893B2 (ja) * 2001-03-30 2007-03-14 セイコーエプソン株式会社 ウエブページの音声検索方法、音声検索装置および音声検索プログラム
JP2003036093A (ja) 2001-07-23 2003-02-07 Japan Science & Technology Corp 音声入力検索システム
JP2003255985A (ja) * 2002-02-28 2003-09-10 Toshiba Corp 統計的言語モデル作成方法及び装置並びにプログラム
JP3913626B2 (ja) * 2002-07-17 2007-05-09 日本電信電話株式会社 言語モデル生成方法、その装置及びそのプログラム
JP4100243B2 (ja) * 2003-05-06 2008-06-11 日本電気株式会社 映像情報を用いた音声認識装置及び方法
US7379867B2 (en) * 2003-06-03 2008-05-27 Microsoft Corporation Discriminative training of language models for text and speech classification
KR100612839B1 (ko) * 2004-02-18 2006-08-18 삼성전자주식회사 도메인 기반 대화 음성인식방법 및 장치

Also Published As

Publication number Publication date
US7310601B2 (en) 2007-12-18
WO2005122143A1 (ja) 2005-12-22
JP3923513B2 (ja) 2007-06-06
US20060100876A1 (en) 2006-05-11

Similar Documents

Publication Publication Date Title
JP3923513B2 (ja) 音声認識装置および音声認識方法
US10410627B2 (en) Automatic language model update
US9330661B2 (en) Accuracy improvement of spoken queries transcription using co-occurrence information
JP4485694B2 (ja) 並列する認識エンジン
TWI506982B (zh) 音訊聊天系統、資訊處理裝置、語音辨識方法、關鍵字偵測方法、及記錄媒體
KR101359715B1 (ko) 모바일 음성 웹 제공 방법 및 장치
KR101309042B1 (ko) 다중 도메인 음성 대화 장치 및 이를 이용한 다중 도메인 음성 대화 방법
US10394886B2 (en) Electronic device, computer-implemented method and computer program
US20100169095A1 (en) Data processing apparatus, data processing method, and program
KR20080068844A (ko) 텍스트 메타데이터를 갖는 음성문서의 인덱싱 및 검색방법, 컴퓨터 판독가능 매체
JP2008287697A (ja) 音声チャットシステム、情報処理装置およびプログラム
Álvarez et al. Automating live and batch subtitling of multimedia contents for several European languages
Trnka et al. Topic modeling in fringe word prediction for AAC
JP2009042968A (ja) 情報選別システム、情報選別方法及び情報選別用プログラム
JP2004334409A (ja) データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム
US20140129221A1 (en) Sound recognition device, non-transitory computer readable storage medium stored threreof sound recognition program, and sound recognition method
KR102422844B1 (ko) 인공지능에 기반하여 영상 컨텐츠의 언어 위기를 관리하는 방법
JP6115487B2 (ja) 情報収集方法、対話システム及び情報収集装置
Adell Mercado et al. Buceador, a multi-language search engine for digital libraries
JP2007213554A (ja) コンピュータにより実施される、確率論的クエリーに対して順位付けした結果セットをレンダリングする方法
Bahng et al. CAC: Content-Aware Captioning for Professional Online Lectures in Korean Language
JP2022542415A (ja) 発音情報を使用して音声クエリを管理するためのシステムおよび方法
KR20230080849A (ko) 실시간 온라인 전문 강의용 주제 친화적 자막 생성 방법 및 시스템
Bordel et al. An XML Resource Definition for Spoken Document Retrieval

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070221

R150 Certificate of patent or registration of utility model

Ref document number: 3923513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140302

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350