WO2007111162A1

WO2007111162A1 - テキスト表示装置、テキスト表示方法およびプログラム

Info

Publication number: WO2007111162A1
Application number: PCT/JP2007/055374
Authority: WO
Inventors: Ken Hanazawa
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-03-24
Filing date: 2007-03-16
Publication date: 2007-10-04
Anticipated expiration: 2008-09-24
Also published as: US20090287488A1; JPWO2007111162A1; CN101410790A

Abstract

　音声による情報をテキストでユーザに効率よく伝達することが可能なテキスト表示装置を提供する。音声を入力するための音声入力部１０１と、音声による情報をテキストに変換するための認識辞書が格納された記憶部１３０と、テキストを表示するための出力部１０５と、音声が入力されると、音声に対応する単語または単語列を上記認識辞書を参照して認識し、単語または単語列を含む認識結果およびその重要度を求め、重要度に対応して認識結果の表示時間を計算し、算出した表示時間以上、認識結果を出力部に表示させる制御部１２０とを有する構成である。

Description

テキスト表示装置、テキスト表示方法およびプログラム

技術分野

[0001] 本発明は、音声の入力に同期して、そのテキストを表示するテキスト表示装置、テキスト表示方法、およびその方法をコンピュータに実行させるためのプログラムに関する背景技術

[0002] TV放送、 TV電話、 Web会議などにぉ、て、音声認識によるリアルタイム自動字幕表示装置が考えられている (特許文献 1参照)。従来の字幕表示装置を簡単に説明する。

[0003] 図 5は従来の字幕表示装置の一構成例を示すブロック図である。従来の字幕表示装置は、音声を入力するための音声入力部 201と、音声認識のための認識辞書 203 が格納された記憶部 230と、入力された音声を認識する音声認識手段 202を含む制御部 220と、テキストを表示するための出力部 204とを有する構成である。音声入力部 201はマイクに代表される。図 5に示す従来の字幕表示装置は、話者の発声を受け付けると音声認識処理を行い、認識結果の単語あるいは単語列を、当該音声から少し遅れて表示するものが一般的である。当該認識結果が表示された後に次の発声が既に始まっている場合には、一定時間の表示の後、次の認識結果を同様に表示すること〖こなる。

[0004] 図 6は入力される音声とその認識結果の具体例を示す図である。ここでは、携帯電話機を用いた Web会議の場合とし、携帯電話機は図 5に示した構成を有しているものとする。携帯電話機は、図 6に示すような入力音声 501があると、音声検出した区間毎に認識処理を行い、その認識結果として、字幕 502aから 502dまでを順にそれぞれ一定時間表示する。図 6の表示時刻に示すように、携帯電話機は、時刻 tlから t5 の間に字幕 502aから 502dのそれぞれを一定時間 TOだけ表示している。このようにして、認識した単語あるいは単語列をある一定時間、または次の認識結果が得られるまでの時間だけ表示して!/、た。 [0005] 特許文献 1：特開 2002— 342311号公報

発明の開示

発明が解決しょうとする課題

[0006] 上述した従来の方法では、認識対象となる音声が連続的に行われ、認識結果を表示する場所および時間が充分でないと、ユーザが音声を聞き逃したり、字幕の認識結果を見逃したりすることがあった。この場合、音声および字幕中に重要な単語が含まれていても、その重要度と無関係に字幕が次々と切り替わってしまうため、ユーザは重要な単語を知覚できないという問題があった。特に、携帯電話機はラップトップ型やデスクトップ型のパーソナルコンピュータなどの情報処理装置の中でも、表示画面の大きさが一般的に最も小さいため、多くの字幕およびその履歴を表示しておくことは困難であり、上述の問題が起こりやすい。

[0007] 本発明は上述したような従来の技術が有する問題点を解決するためになされたものであり、音声による情報をテキストでユーザに効率よく伝達することが可能なテキスト表示装置、テキスト表示方法、およびその方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

課題を解決するための手段

[0008] 上記目的を達成するための本発明のテキスト表示装置は、音声を入力するための音声入力部と、音声による情報をテキストに変換するための認識辞書が格納された記憶部と、前記テキストを表示するための出力部と、音声が入力されると、該音声に対応する単語または単語列を前記認識辞書を参照して認識し、該単語または該単語列を含む認識結果およびその重要度を求め、該重要度に対応して該認識結果の表示時間を計算し、算出した表示時間以上、該認識結果を前記出力部に表示させる制御部とを有する構成である。

[0009] また、テキスト表示装置は、前記制御部が、入力される音声に対する認識の信頼度、前記認識辞書に記述された単語重要度、およびユーザによって指定された単語重要度のいずれか 1つ、またはこれらの組み合わせにより、前記認識結果の重要度を決定するものであってもよ、。

[0010] また、テキスト表示装置は、前記制御部が、前記表示時間の計算結果から他の認識結果と比較して長い時間表示すると決定した認識結果に対して、下線を引くこと、反転表示すること、またはフォントもしくは大きさもしくは色を変えることのうちいずれか

1つ、またはこれらの組み合わせにより強調して前記出力部に表示させるものであつてもよい。

[0011] 本発明では、入力された音声の情報が認識されると、認識結果がその重要度に対応して算出された時間以上、出力部に表示される。そのため、重要度の高い認識結果が長く表示されるようにすれば、重要な情報がユーザにより伝達しやすくなる。

[0012] 上記目的を達成するための本発明のテキスト表示方法は、音声をテキストに変換する情報処理装置によるテキスト表示方法であって、音声による情報をテキストに変換するための認識辞書を記憶部に格納し、音声が入力されると、該音声に対応する単語または単語列を前記認識辞書を参照して認識し、前記単語または前記単語列を含む認識結果およびその重要度を求め、前記重要度に対応して前記認識結果の表示時間を計算し、算出した表示時間以上、前記認識結果を出力部に表示させるものである。

[0013] また、テキスト表示方法は、入力される音声に対する認識の信頼度、前記認識辞書に記述された単語重要度、およびユーザによって指定された単語重要度の!ヽずれか 1つ、またはこれらの組み合わせにより、前記認識結果の重要度を決定するものであつてもよい。

[0014] また、テキスト表示方法は、前記表示時間の計算結果から他の認識結果と比較して長い時間表示すると決定した認識結果に対して、下線を引くこと、反転表示すること、またはフォントもしくは大きさもしくは色を変えることのうちいずれか 1つ、またはこれらの組み合わせにより強調して前記出力部に表示させるものであってもよい。

[0015] 上記目的を達成するための本発明のプログラムは、音声をテキストに変換して表示する処理をコンピュータに実行させるためのプログラムであって、音声による情報をテキストに変換するための認識辞書を記憶部に格納するステップと、音声が入力されると、該音声に対応する単語または単語列を前記認識辞書を参照して認識するステツプと、前記単語または前記単語列を含む認識結果およびその重要度を求めるステツプと、前記重要度に対応して前記認識結果の表示時間を計算するステップと、算出した表示時間以上、前記認識結果を出力部に表示させるステップと、を有する処理を前記コンピュータに実行させるものである。

[0016] また、プログラムは、入力される音声に対する認識の信頼度、前記認識辞書に記述された単語重要度、およびユーザによって指定された単語重要度のいずれか 1つ、またはこれらの組み合わせにより、前記認識結果の重要度を決定するステップを有するものであってもよい。

[0017] また、プログラムは、前記表示時間の計算結果から他の認識結果と比較して長!、時間表示すると決定した認識結果に対して、下線を引くこと、反転表示すること、またはフォントもしくは大きさもしくは色を変えることのうちいずれか 1つ、またはこれらの組み合わせにより強調して前記出力部に表示させるステップを有するものであってもよい発明の効果

[0018] 本発明によれば、重要度の高!ヽ認識結果を優先して長!ヽ時間表示することで、表示画面が切り替わっても重要な認識結果が履歴として出力部に残る。したがって、認識結果を表示する場所および時間が充分でなくても、ユーザに効率よく情報を伝達できる。

図面の簡単な説明

[0019] [図 1]本実施形態のテキスト表示装置の一構成例を示すブロック図である。

[図 2]本実施形態のテキスト表示装置の動作手順を示すフローチャートである。

[図 3]本実施例の認識辞書の記述例を示す図である。

[図 4]本実施例の入力音声と認識結果の一例を示す図である。

[図 5]従来のテキスト表示装置の一構成例を示すブロック図である。

[図 6]従来の場合の入力音声と認識結果の具体例を示す図である。

符号の説明

[0020] 101 音声入力部

102 音声認識手段

103 認識辞書

104 表示時間計算手段 105 出力部

120 制御部

130 記憶部

発明を実施するための最良の形態

[0021] 本発明のテキスト表示装置は、入力音声から認識した認識結果およびその重要度を求め、その重要度に対応して表示時間を算出し、算出した表示時間以上、認識結果を表示することを特徴とする。

[0022] 次に、本実施形態のテキスト表示装置について図面を参照して詳細に説明する。

[0023] 図 1は本実施形態のテキスト表示装置の一構成例を示すブロック図である。本実施形態のテキスト表示装置は、音声を入力するための音声入力部 101と、認識辞書 10 3が格納された記憶部 130と、入力された音声を認識辞書 103を用いて認識し、認識結果の単語または単語列およびその重要度を出力する音声認識手段 202および重要度から表示時間を計算する表示時間計算手段 204を含む制御部 120と、認識結果を表示するための出力部 105とを有する。制御部 120は、重要度に応じて表示時間計算手段 204により計算された表示時間、認識結果を出力部 105に表示させる。

[0024] 制御部 120は、プログラムにしたがって所定の処理を実行する CPU (Central Proce ssing Unit)とプログラムを格納するためのメモリとを有する。音声認識手段 102および表示時間計算手段 104は CPUがプログラムを実行することで制御部 120内に仮想的に構成される。

[0025] 次に、本実施形態のテキスト表示装置の動作を説明する。図 2はテキスト表示装置の動作手順を示すフローチャートである。

[0026] 図 2に示すように、音声入力手段 101を介して音声が入力され (ステップ 301)、音声認識手段 102が、音声入力手段 101から音声のデータを受け取ると、記憶部 130 に格納された認識辞書 103を参照して音声を認識する (ステップ 302)。続いて、単語または単語列を含む認識結果を出力するとともに、その重要度を求める。そして、認識結果およびその重要度を表示時間計算手段 104に出力する。表示時間計算手段 104は、認識結果およびその重要度の情報を音声認識手段 102から受け取ると、その重要度に対応して認識結果の表示時間を計算する (ステップ 303)。その後、制御部 120は、その重要度に応じて算出された表示時間、認識結果を出力部 105に表示させる（ステップ 304)。

[0027] [実施例 1]

本実施例のテキスト表示装置の構成を説明する。本実施例のテキスト表示装置の認識辞書 103には、登録された各単語に対応して重要度の情報が記述されている。図 3は認識辞書の記述例を示す図である。図 3に示すように、認識辞書 103には、単語「RSS」の重要度が「3. 0」であり、単語「サイト」の重要度が「1. 5」であり、単語「バ一ジョン」の重要度が「0. 9」であることが記述されて、る。

[0028] 音声認識手段 102は、認識辞書 103を参照して単語または単語列を特定すると、その重要度を認識辞書 103から読み出し、特定した単語または単語列を含む認識結果とその重要度の情報を表示時間計算手段 104に渡す。

[0029] 表示時間計算手段 104が計算する、単語 wの表示時間 Tを求める計算式の一例として、以下のものがある。

T = Cw X p · · ·式 (1)

Cwは単語 wの単語重要度を示す値である。 pは係数である。 pの一例として、システムの表示領域依存の定数がある。表示領域依存の定数とは、画面表示サイズの制約で決まる値であり、画面表示サイズが小さいほど認識結果を表示する場所と時間に余裕がなくなるため、その値が小さくなる。表示時間計算手段 104は、音声認識手段 102から単語 wを含む認識結果と重要度の情報を受け取ると、上記（1)式を計算し、認識結果の表示時間 Tを算出する。

[0030] 表示時間計算手段 104が認識結果の表示時間を算出すると、制御部 120は、重要度の高、認識結果を強調表示するために、重要度の高、認識結果に対して下線が引かれた状態で出力部 105に表示させる。本実施例では、その認識結果の表示時間が第 1の閾値以上であると、出力部 105に強調表示させるものとする。第 1の閾値は、強調表示する力否力の判定基準の時間となる。

[0031] 反対に、制御部 120は、認識結果の表示時間が第 2の閾値に達していないと、重要度の低いものとして出力部 105に表示させないものとする。第 2の閾値は、表示する力否かの判定基準となる時間となる。第 1の閾値および第 2の閾値は予め記憶部 1 30に格納されている。

[0032] 次に、本実施例において、音声入力からテキスト表示までの動作を説明する。図 4 は本実施例における、入力音声と認識結果の一例を示す図である。ここでは、入力される音声の情報が図 6で示した従来の場合と同様とする。また、上記式（1)の係数 p を 3. 0とする。また、第 1の閾値を 3. 5秒とし、第 2の閾値を 2. 0秒とする。また、字幕の標準切換周期を 3. 5秒とする。

[0033] 音声認識手段 102は、「RSSは' · '流通しており、」までの音声が入力されると、音声による単語または単語列を順に認識する。単語「RSS」を認識すると、認識辞書 103からその重要度「3. 0」を読み出し、単語「RSS」と重要度「3. 0」の情報を表示時間計算手段 104に渡す。表示時間計算手段 104は、上記（1)式から単語「1¾3」の表示時間 T1を算出する。表示時間 T1は、 3. 0 X 3. 0 = 9. 0秒となる。そして、制御部 120は、単語「RSS」の表示時間が第 1の閾値よりも大きいことから、単語「RSS 強調表示の対象になることを認識する。このようにして、制御部 120は、「RSSは · · '流通しており、」までの情報で、強調表示するものを確定した後、字幕 402aを出力部 105に表示させる。

[0034] 続いて、音声認識手段 102は、「それぞれを' · '続いています。」までの音声を認識する。上述したようにして、認識した単語または単語列毎に重要度を求めて、表示時間計算手段 104に渡す。そして、表示時間計算手段 104が、各認識結果とその重要度の情報を受け取ると、単語または単語列毎に表示時間を計算する。ここで、「続いています」の重要度を 0. 5とすると、単語列「続いています」の表示時間は 1. 5秒となる。この時間は第 2の閾値よりも小さい。また、上述したように、字幕 402aで表示した単語「RSS」は強調表示の対象になつている。

[0035] 制御部 120は、字幕 402aを 3. 5秒表示させた後、出力部 105に次の字幕への切換指示をする際、字幕 402aにおける単語「RSS」の表示時間が 9秒に満たないことから、下線が引かれた状態で単語「RSS」を表示させる。また、制御部 120は、出力部 10 5に対して、単語列「続いています」を除いて次の字幕 402bを表示させる。このようにして、図 4に示すような字幕 402bが出力部 105に表示される。

[0036] さらに、音声認識手段 102が、次の「Weblogに…として」の音声を認識する場合も、上述したのと同様である。続いて、表示時間計算手段 104が、音声認識手段 102 力も受け取る認識結果とその重要度の情報と上記（1)式により、単語または単語列毎に表示時間を計算する。表示時間が算出された後、制御部 120は、単語「RSS」の表示時間が字幕 402a、 402bの 2つの字幕表示時間を合わせても 7秒であり 9秒に満たないことから、出力部 105に対して字幕 402cを表示させる際、単語「RSS」を強調表示させたままにしておく。このようにして、図 4に示す字幕 402cが出力部 105に表示される。なお、詳細な説明を省略するが、制御部 120は、単語「\^ 1_0§」と単語列「サイト概要フォーマット」についても、単語「1¾3」の場合と同様に、強調表示の対象にする判断を行う。

[0037] 続いて、上述と同様にして、「新たに' · ·提案されています」の音声が音声認識手段 102により認識され、単語または単語列毎に表示時間が表示時間計算手段 104により算出される。その後、制御部 120は、単語「RSS」の表示時間が字幕 402a〜402c の 3つの字幕表示時間を合わせた 10. 5秒あり 9秒よりも長いことから、次の字幕を出力部 105に表示させる際、単語「RSS」を表示から消去させる。一方、新たに単語「We blogjと単語列「サイト概要フォーマット」が強調表示の対象になったことから、制御部 120は、出力部 105に対して単語「Weblog」および単語列「サイト概要フォーマット」を強調表示させる。その結果、図 4に示すように、字幕 402dが出力部 105に表示される。

[0038] 上述のようにして、本実施例では、重要度の高低と表示制約とを考慮して認識結果の表示対象と表示時間を求め、テキストを表示する場所と時間が充分ではない表示画面に表示する認識結果を取捨選択する。そして、認識結果を全てリアルタイムに表示しきれない場合でも、強調表示の対象となる認識結果を長く表示し、重要度の低い認識結果を表示しないため、ユーザに対して効率よく情報伝達を行うことが可能となる。

[0039] なお、本実施例では、強調表示の対象となる認識結果「RSS」を 3つの字幕表示時間 (合計表示時間 10. 5秒)だけ表示させたが、認識結果「RSS」の表示時間が 9秒になったときに、認識結果「RSS」を表示画面から消去するようにしてもよい。

[0040] また、単語または単語列の重要度が図 3に示すように予め認識辞書 103に記述されていてもよいが、ユーザのプロファイルにより変更可能であってもよい。例えば、認識辞書 103をはじめに登録した段階で重要度の高い単語であっても、何度も強調表示すると、ユーザもその単語の意味を理解できるようになるため、その単語の重要度を低くする。ユーザ自身が重要度の高い単語を指定したり、重要度を示す数値を記述したりしてちょい。

[0041] また、単語の重要度の代わりに認識の信頼度を用いて、認識結果の表示時間を求めるようにしてもよい。認識の信頼度とは、音声認識手段 102が認識辞書 103を参照して入力音声に対する単語または単語列を特定したときの、音声データと単語または単語列との適合性を示すものである。入力される音声が明瞭でなヽ場合や読み方の似ている単語が複数登録されている場合などは、音声認識手段 102が入力音声と異なる単語または単語列を特定してしまう確率が高くなり、信頼度が低くなる。信頼度の低ヽ認識結果は誤認識されてヽる可能性があり、このような認識結果が強調表示されてしまうと、かえってユーザは混乱してしまうおそれがあるからである。

[0042] また、図 3に示したような認識辞書 103に予め記述されている数値と、認識の信頼度との組み合わせによって、単語または単語列の重要度を求めるようにしてもよい。この場合には、予め認識辞書 103に記述されている数値が高くても、認識結果の信頼度が低ければ、誤認識の可能性が高くなり、表示しないことになる。信頼度の低い誤認識結果を表示しないことで、情報伝達の誤りを低減できる。その結果、ユーザへの情報伝達の精度が向上する。

[0043] さらに、予め認識辞書 103に登録された重要度、ユーザによる指定、および認識の信頼度のうちいずれか、または、これらの組み合わせにより、単語または単語列の重要度を求めるようにしてもょ、。

[0044] 強調表示の方法については、図 4に示した例では、認識結果「RSS」および「Weblog 」など、重要度が高ぐ表示時間が長いと判定された単語に下線を引いて強調表示をしたが、この方法に限られない。強調表示の方法は、その他にも、対象となるテキストのフォントまたは大きさまたは色を変えてもよ!、し、対象となるテキストを反転表示してもよい。また、これらの方法の組み合わせでもよい。これにより、ユーザは、重要度が高く表示時間が長い単語を、それ以外の単語と容易に区別することが可能となる。 [0045] 本発明のテキスト表示装置は、入力された音声の情報を認識すると、認識結果をその重要度に対応して算出された時間以上、出力部に表示させる。重要度の高い認識結果を優先して長、時間表示することで、表示画面が切り替わっても重要な認識結果が履歴として出力部に残る。したがって、認識結果を表示する場所および時間が充分でなくても、ユーザに効率よく情報を伝達できる。

[0046] 本発明のテキスト表示装置を、 TV放送、 TV電話および WEB会議などでの字幕表示といった用途に適用できる。また、本発明のテキスト表示方法をコンピュータに実行させるためのプログラムに適用してもよい。

Claims

請求の範囲

[1] 音声を入力するための音声入力部と、

音声による情報をテキストに変換するための認識辞書が格納された記憶部と、前記テキストを表示するための出力部と、

音声が入力されると、該音声に対応する単語または単語列を前記認識辞書を参照して認識し、該単語または該単語列を含む認識結果およびその重要度を求め、該重要度に対応して該認識結果の表示時間を計算し、算出した表示時間以上、該認識結果を前記出力部に表示させる制御部と

を有することを特徴とするテキスト表示装置。

[2] 前記制御部は、

入力される音声に対する認識の信頼度、前記認識辞書に記述された単語重要度、およびユーザによって指定された単語重要度のいずれか 1つ、またはこれらの組み合わせにより、前記認識結果の重要度を決定することを特徴とする請求項 1に記載のテキスト表示装置。

[3] 前記制御部は、

前記表示時間の計算結果から他の認識結果と比較して長い時間表示すると決定した認識結果に対して、下線を引くこと、反転表示すること、またはフォントもしくは大きさもしくは色を変えることのうちいずれか 1つ、またはこれらの組み合わせにより強調して前記出力部に表示させることを特徴とする請求項 1または 2に記載のテキスト表示装置。

[4] 音声をテキストに変換する情報処理装置によるテキスト表示方法であって、

音声による情報をテキストに変換するための認識辞書を記憶部に格納し、音声が入力されると、該音声に対応する単語または単語列を前記認識辞書を参照して認識し、

前記単語または前記単語列を含む認識結果およびその重要度を求め、前記重要度に対応して前記認識結果の表示時間を計算し、

算出した表示時間以上、前記認識結果を出力部に表示させることを特徴とするテキスト表示方法。

[5] 入力される音声に対する認識の信頼度、前記認識辞書に記述された単語重要度、およびユーザによって指定された単語重要度のいずれか 1つ、またはこれらの組み合わせにより、前記認識結果の重要度を決定することを特徴とする請求項 4に記載のテキスト表示方法。

[6] 前記表示時間の計算結果から他の認識結果と比較して長!、時間表示すると決定した認識結果に対して、下線を引くこと、反転表示すること、またはフォントもしくは大きさもしくは色を変えることのうちいずれか 1つ、またはこれらの組み合わせにより強調して前記出力部に表示させることを特徴とする請求項 4または 5に記載のテキスト表示方法。

[7] 音声をテキストに変換して表示する処理をコンピュータに実行させるためのプロダラムであって、

音声による情報をテキストに変換するための認識辞書を記憶部に格納するステップと、

音声が入力されると、該音声に対応する単語または単語列を前記認識辞書を参照して認識するステップと、

前記単語または前記単語列を含む認識結果およびその重要度を求めるステップと前記重要度に対応して前記認識結果の表示時間を計算するステップと、算出した表示時間以上、前記認識結果を出力部に表示させるステップと、を有する処理を前記コンピュータに実行させるためのプログラム。

[8] 入力される音声に対する認識の信頼度、前記認識辞書に記述された単語重要度、およびユーザによって指定された単語重要度のいずれか 1つ、またはこれらの組み合わせにより、前記認識結果の重要度を決定するステップを有する請求項 7に記載のプログラム。

[9] 前記表示時間の計算結果から他の認識結果と比較して長!、時間表示すると決定した認識結果に対して、下線を引くこと、反転表示すること、またはフォントもしくは大きさもしくは色を変えることのうちいずれか 1つ、またはこれらの組み合わせにより強調して前記出力部に表示させるステップを有する請求項 7または 8に記載のプログラム。