JP4769611B2 - 音声データ再生装置および音声データ再生装置のデータ表示方法 - Google Patents

Description

本発明は、音声データ再生装置およびそのデータ表示方法に関し、特に音楽プレイヤー、語学学習装置、音声機能付き電子辞書、翻訳装置、放送受信装置のような音声データ再生装置が再生した音声を遡って確認することができる音声再生装置に関する。

従来の音声機能付き音楽プレイヤー、翻訳装置や電子辞書において、その利用者が装置に予め記憶されている文書データを選択すると、その文書データが表示装置に表示され、更にその文書データを音声再生するものがある。この音声再生装置を用いて、再生動作中に利用者が聞き逃した音声あるいは不明な音声を再確認したい場合、音声再生装置の再生動作を停止させ、元に戻り、改めて再生をしなければならない。またその再生中に聞き逃した音声あるいは不明な音声に注意しなければならない。このように音声再生装置の操作手数が多く、また利用者の負担が大きい。
このような問題を解決するものとして、特許文献１がある。特許文献１は、ユーザが文章を聞き取れなくて、キー操作すると、再生している音声データに対応する文章データを読み出して表示部に表示し、ユーザに聞き取れなかった箇所をカーソル移動させて指示させ、その指示された単語の意味あるいは解説を辞書機能により表示する情報処理装置を開示している。
また特許文献２は、語学学習用装置として、ＡＶコンテンツの映像および音声を再生すると共に字幕を表示させ、字幕に含まれる文字列を選択して翻訳を希望すると、その翻訳が表示される装置を開示している。
特開２００１−６２９５号公報 特開２００３−１８５３４号公報

しかし、引用文献１は、表示部に表示された文章からユーザが聞き取れなかった箇所を目視で探してカーソルを移動させ、指示する必要がある。また引用文献２は、字幕を見ながらその字幕が表示されているときに、文字列を選択し、翻訳を指示する必要がある。
また、本件出願人は、特願２００４−２８７４９２号（平成１６年９月３０日出願）により、音声出力された文章中に聞き取れなかった単語がある場合に、最大難易度の単語を分かりやすく表示して、利用者の利便性及び操作性を向上させる情報処理装置を出願している。この出願の情報処理装値は、音声情報と、音声情報に対応するテキストデータを記憶し、音声情報が再生されているとき、当該音声情報に対応するテキストデータを表示することを指示させるものである。そして、この指示に対応して、テキストデータを表示部に表示する際に、難易度の高い単語を他の単語と判別可能に表示するものである。

本発明は、音楽プレイヤー、語学学習装置、音声機能付き電子辞書、翻訳装置、放送受信装置のような音声データ再生装置において、再生した音声を遡って確認することができる音声データ再生装置および音声データ再生装置のデータ表示方法であり、特に本発明は長文であったり、または区切り情報や範囲指定情報のような特別な情報がない文書であったりした場合でも、テキストデータの取得範囲を決定することができる音声データ再生装置を提供することを目的とする。

本発明の音声データ再生装置は、上記課題を解決するために、音声を再生し、出力する音声出力部と、前記音声出力部が出力した音声の再確認箇所を指示させる指示部と、前記指示部からの指示に基づいて取得範囲を決定する取得範囲決定部と、前記取得範囲決定部によって決定された範囲に含まれる単語を抽出する単語抽出部と、前記単語抽出部によって抽出された単語を表示する表示部とを備えるものである。これにより、指示された時点から音声出力を聞逃した箇所、あるいは不明箇所のように再確認箇所まで遡って単語を抽出して、再確認したい単語を表示することができる。その際に、ユーザの操作や負担を軽減することができる。

また本発明の音声データ再生装置は、テキストデータを格納するテキストデータ記憶部を更に備え、前記音声は、テキストデータ記憶部に記憶されたテキストデータを読上げるＴＴＳ出力部より得るものである。この構成によれば、音声データを格納する必要がなく、テキストデータをＴＴＳ出力部により音声出力することができる。従って、文書や書籍から得られるテキストデータ、デジタルコンテンツに含まれるテキストデータを本発明の装置に利用することができる。そして、指示された時点から聞逃した箇所、あるいは不明箇所のように再確認箇所まで遡ってテキストデータを取得することができる。またテキストデータが長文であり、かつ区切り情報ない文書や範囲指定情報のような予め特別な情報が加工されていないテキストデータであってもテキストデータの取得範囲を決定することができる。
また本発明の音声データ再生装置は、音声データを格納する音声データ記憶部を更に備え、前記音声出力部が出力する音声を音声認識して言語データを得るものである。これにより、ＣＤ装置、ＤＶＤ装置、音楽プレイヤーが再生する音声を聴取して、聞逃した箇所あるいは不明箇所のように再確認したい箇所を音声認識により、言語データに変換した単語を表示することができる。さらには、ラジオ、テレビのような放送受信装置より出力される音声を音声認識部により音声認識して言語データを得ることにより、放送受信装置にも本発明の装置を適用することができる。
前記音声認識は、前記指示部によって指示された時点から前記取得範囲時間遡って音声認識することが望ましい。これにより指示されたときに音声認識部を動作させればよい。
また本発明の音声データ再生装置は、テキストデータを格納するテキストデータ記憶部と、前記テキストデータに対応する音声データを格納する音声データ記憶部を更に備え、前記指示部からの指示に基づいて前記テキストデータの取得範囲を決定し、その範囲のテキストデータから単語を抽出するものである。

ここで、前記取得範囲決定部は、前記指示部により指示された時点から再確認箇所まで遡った時間、指示部により指示された時点から所定の単語数または音節数まで遡った範囲、指示部により指示された時点の文章の文頭までの範囲、指示部により指示された時点の文章の文末までの範囲の少なくとも１つ以上によって決定するものである。これにより、テキストデータが長文であったり、または区切り情報や範囲指定情報のような予め特別な情報が加工されていない文書であったりした場合でも、テキストデータの取得範囲を決定することができる。また多くの態様に対応してテキストデータの取得範囲を決定することができる。このように本発明によれば、聞逃した箇所、あるいは不明箇所のように再確認箇所まで遡ってテキストデータを取得することができる。
また取得範囲決定部は、複数の段階に設定可能であるとよい。これにより、ユーザに合わせた範囲を取得することができる。

また本発明の前記取得範囲決定部は、前記指示部により指示された時点からユーザの反応時間を除外することが望ましい。これにより、テキストデータの取得範囲を絞ることができ、ユーザが希望する単語を確実に抽出することができる。
また本発明は、前記単語の難易度情報を収納する辞書を更に備え、前記単語抽出部によって抽出された単語を、前記難易度情報にしたがって選出するものである。これにより、ユーザが希望する単語を優先的に抽出することができる。
また本発明の前記単語抽出部は、難易度が同じ単語の場合、前記指示部によって指示された時点に近い方を優先的に選出することが望ましい。これによりユーザが希望する単語を優先的に抽出することができる。
また本発明の前記辞書は、単語の属性情報を収納し、前記単語抽出部は前記属性情報を含む単語を優先的に選出することが望ましい。これにより、ユーザの指示に対応してユーザが希望する単語を優先的に表示することができる。

また本発明は別の観点によれば、テキストデータあるいは音声データまたはテキストデータとそのテキストデータに対応する音声データを格納するデータ記憶部を備え、前記音声データを再生し、出力する音声出力ステップと、前記音声データの再生した音声の再確認箇所を指示させる指示ステップと、前記指示ステップにより指示された時点から再確認箇所まで遡った時間、前記指示ステップにより指示された時点から所定の単語数または音節数まで遡った範囲、前記指示ステップにより指示された時点の文章の文頭までの範囲、前記指示ステップにより指示された時点の文章の文末までの範囲の少なくとも１つ以上によって前記テキストデータの取得範囲を決定する取得範囲決定ステップと、前記取得範囲のテキストデータから単語を抽出する単語抽出ステップと、前記抽出された単語を表示する表示ステップとを備える。これにより、聞逃した箇所、あるいは不明箇所のように再確認箇所まで遡ってテキストデータを取得し、再確認したい単語を表示することができる。
また本発明は前記各ステップを音声データ再生装置に実行させるためのプログラムである。

本発明によれば、音楽プレイヤー、語学学習装置、音声機能付き電子辞書、翻訳装置、放送受信装置のような音声再生装置において、再生した音声を遡って確認することができ、その際に、ユーザの操作や負担を軽減することができる。特に本発明は再生した音声データが長文であったり、または区切り情報や範囲指定情報のような予め特別な情報が加工されていないテキストデータのような文書であったりした場合でも、そのテキストデータの取得範囲を決定することができ、ユーザが希望する単語を聞き返すことができ、または再確認することができる。

図１（ａ）は、本発明の一実施形態である音声データ再生装置のブロック図を示す。音声データ再生装置は、主として、制御部１、操作部２、表示部３、音声入力部４、音声出力部５、メモリ６より構成される。
制御部１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏコントローラ、タイマーなどからなるマイクロコンピュータにより実現される部分である。制御部１は、メモリ６に格納したプログラムに基づいて、ハードウエアを動作させ、各機能ブロックの機能を実行させる部分である。またメモリ６に格納したデータおよび操作部２から入力されたデータや指示情報を利用して所期の目的動作を達成する部分である。所期の目的動作とは、テキストデータから取得範囲を決定する動作、取得範囲に含まれるテキストデータから単語を抽出する動作、単語を並び替える動作、単語を選出する動作、単語を表示する動作等である。詳細は以下の実施形態において説明する。

操作部２は、ユーザがデータの入力や特定の機能の実行または指示を入力するための部分であり、アルファベット文字キー、１〜０の数字キー、特定機能キーなどからなるキーボードである。そのほかにマウス、トラックボール、ペン等のポインティングデバイスを用いてもよい。特別キーとしては、この発明の実施形態では、検索キー、決定キー、指示キー、上下左右キーなどがある。
表示部３は、テキストデータやメニューデータなど各種情報を視覚的にユーザに提示するものであり、ＬＣＤ、ＥＬのようにフラットディスプレイにより構成する。
音声入力部４は、例えば、ラジオ、テレビのような放送受信装置、ＣＤ装置、ＤＶＤ装置、カラオケ装置や日常会話、講演、歌などの音声振動を入力し、電気信号に変換するマイクであり、制御部１が音声認識プログラムに基づいて言語データを生成する。
音声出力部５は、制御部１がメモリ６に格納された音声データを読み出して音声出力し、またＴＴＳプログラムに基づいてテキストデータを読上げ音声出力するためのスピーカである。

メモリ６は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスクなどが用いられ、制御部１が動作中に利用するデータ、この発明の音声データ再生装置の各機能を実行させるためのプログラムやデータを記憶する。メモリ６はこの音声データ再生装置に一体的に備える必要はなく、メモリカードを挿入して追加することができる。また通信回線を通して必要になるたびに取得するものであってもかまわない。メモリ６は、図１（ｂ）に示すように、訳語や例文のような辞書情報、品詞、難易度情報など属性情報を含む辞書データ記憶領域６１、テキストデータ記憶領域６２、音声データ記憶領域６３、ＴＴＳ（text to speech）プログラム記憶領域６４、音声認識プログラム記憶領域６５、単語切出しプログラム記憶領域６６、その他データやプログラムの記憶領域を含む。
テキストデータ記憶領域６２に格納されるテキストデータと、音声データ記憶領域６３に含まれる音声データは、それぞれ一対になるよう対応付けて格納される。音声データは、アナログデータ、デジタルデータのいずれでもよい。ＴＴＳプログラム記憶領域６４は、テキストデータを読上げるためのプログラムであり、いわゆる音声合成装置により構成される。ここで使用されるＴＴＳプログラム、音声合成形式はいずれの形式であってもかまわない。音声認識プログラム記憶領域６５は、音声を認識して言語データに変換し、さらに単語を抽出する機能を持つものが使用され、その形式はどのような形式のものでもかまわない。単語切出しプログラム記憶領域６６は、テキストデータから単語を切出すことができる機能を備える。英語の場合は単語間のスペースにより単語を切出すことができる。日本語の場合は単語切出しプログラムを利用して、単語を切出すことができる。
またメモリ６には、抽出された単語を記憶しておく単語メモリ領域、抽出された単語を難易度や抽出された時間の順序に並び替えるための並び替え領域、抽出された単語数をカウントする単語数カウント領域、単語の品詞のような属性情報を記憶する属性情報領域のようなワークメモリ領域を備えるが、図示は省略している。

＜基本的動作＞
図２〜図４は、本発明の基本的動作の説明図を示す。
本発明の音声データ再生装置は、メモリ６に音声データと、それに対応するテキストデータをメモリに格納し、音声データの再生とともにテキストデータを表示する装置あるいは音声データの再生後、テキストデータを表示する装置に適用される。
そのような装置としては、例えば音楽プレイヤー、語学学習装置、音声機能付き電子辞書、翻訳装置がある。また音楽を再生するとともに歌詞を表示するような音楽プレイヤー、伴奏音楽を再生するとともに歌詞を表示するカラオケ装置、音声、映像の再生とともに画面に文字を表示するようなＣＤ装置、ＤＶＤ装置がある。さらに音声とともにテキストデータも送信するようなテレビ、表示部を持っているラジオ（デジタルラジオ）、インターネット等の放送・通信装置がある。放送・通信装置の場合、テキストデータおよび音声データは、メモリ６に格納されていないが、受信データを一時的にメモリすることにより、本発明の装置として適用することができる。
本発明の音声データ再生装置は、以上のような装置に適用され、音声データ再生装置が再生した音声を聞き逃した箇所あるいは不明な箇所を、再確認をしたい場合に聞き返すことができる装置である。

図２は、音声データ再生装置が再生した音声データを２行表示している。この音声データは、例えば図５に示すテキストデータに対応する音声データの一部分である。図５は音楽プレイヤーが再生している音楽に対応する歌詞テキストデータを示す。音楽プレイヤー以外に、カラオケ装置が格納している歌詞テキストデータ、電子辞書の辞書情報、翻訳装置の翻訳テキストデータ、語学学習装置の語学テキストデータ、ＣＤまたはＤＶＤに収納されたテキストデータ、メモリカードのような記憶媒体により追加されたテキストデータ、放送や通信装置によって得られたテキストデータであってもよい。図２において、ユーザが聞き逃した箇所あるいは不明な箇所があり、再確認したい単語は、「minstrel」であるとして、白黒反転表示している。そして、ユーザは聞き逃した箇所、あるいは再確認したい箇所を指示するために、指示キーを操作した時点（「as」の直後）を矢印Ａで示している。

次に音声データ再生装置は、指示キーが操作された時点からユーザが音声データを聞き逃した箇所あるいは不明な箇所を含む範囲まで遡って、音声データに対応するテキストデータを取得する。遡る範囲としては、その１は、ユーザが音声を聞き逃した箇所あるいは不明箇所のように再確認箇所を検知してから指示キーが操作されるまでの時間である。この時間はユーザの反応時間、装置の操作性により設定する。例えば、ユーザがキー操作した時点より数秒前又は数１０秒前までが好ましい。数１０秒以上は、遡る範囲が大きくなり過ぎる。数秒以下は聞き逃した箇所、不明箇所を含まなくなる恐れがある。このように時間を限定して遡ったとき、単語の区切りでないことがあるので、区切られた時点の単語や音節の始め、または後で区切るようにすることが望ましい。その２は、ユーザが指示キーにより指示した時点から所定の単語数まで遡った範囲である。例えば、数個から数１０個の単語までである。遡る単語数は、ユーザの反応時間、装置の操作性により決定すればよく、好ましくは１０数個の単語である。数１０個以上は遡る範囲が大きくなり過ぎる。数個以下は聞き逃した箇所、不明箇所を含まなくなる恐れがある。その３は、ユーザが指示部により指示した時点の文章の文頭までの範囲である。その４はユーザが指示部により指示した時点の文章の文末までの範囲である。
これらの範囲は、再生するコンテンツ、ユーザの体調に応じて、複数段に設定可能にすると、よりユーザが使いやすくなる。

図２は、ユーザが指示キーを操作した時点から３秒前に再生した音声データに対応するテキストデータを取得し、「just a wandering minstrel man,but I'll make you happy as 」が取得範囲Ｂであるとして示している。この中にユーザが聞き逃した箇所、不明な箇所のように再確認したい箇所が含まれているとする。この動作手順を図３のフローチャートにより説明する。このフローチャートの処理は、制御部１が処理プログラムに従い、各機能ブロックを利用して実行する。以下のフローチャートも同様である。

音声データ再生装置が再生動作を開始すると、ステップＳ１では単語メモリ領域に前回の動作で記憶している候補単語をクリアする。次にユーザが指示キーを操作した時点の直前の音声データに対応する単語をテキストデータから取得する（Ｓ２）。図２の場合は「as」である。そして、このステップＳ２で取得した単語を単語リストに追加する（Ｓ３）。次のステップＳ４は、ステップＳ３で取得した単語の１つ前の単語をテキストデータから取得する。ステップＳ５では、ステップＳ４で取得した単語が音声データの再生されたのは、キー操作がされた時点から設定時間（３秒）内であるか否かを判定する。もし設定時間内であれば、ステップＳ３に戻り、ステップＳ３〜Ｓ５を繰り返す。所定時間を経過していれば、次の処理ステップに進む（Ｓ６）。以上のフローにより指示キーが操作された時点より３秒前までのテキストデータが取得される。
図２に示した取得範囲Ｂのテキストデータの場合、各候補単語と、その単語が再生されてから指示キーが操作されるまでの時間の関係は、図４に示す表の通りである。図４では、「I'm」が再生された時間は、指示キーが操作された時間の3.2秒前であるので、設定時間外であり、削除線により取得範囲から除外されることを示している。
以上のようにして抽出された単語は、聞逃した箇所あるいは不明な箇所のように再確認したい箇所に含まれる候補単語である。

＜取得範囲の絞り込み動作＞
ここでは、テキストデータを更に絞込む場合について説明する。
即ち、一般にユーザはキー操作をしようと思ってから実際にキー操作するまでに反応時間があり、この反応時間内には通常ユーザが聞き逃した箇所、不明な箇所のように再確認したい箇所は含まないと考えられるので、この反応時間の単語を除外するものである。反応時間は通常数秒〜数１０ミリ秒である。老若男女、個人差、キー操作を準備している場合、キー操作を準備していない場合など多くの状況があるので、ユーザがその状況に対応して設定するのが好ましい。この実施例では0.5秒を好ましい範囲として設定している。
図６は、キー操作しようと思ってから実際にキー操作するまでの反応時間の範囲Ｃを示した以外は、図２と同様である。

図７のフローチャートは、図３で説明したフローチャートに、ステップＳ７が加わっている点と、ステップＳ５がステップＳ３、Ｓ４の前にある点が相違し、その他は同様である。ステップＳ７は、ステップＳ２で取得した単語が再生されたのは、キー操作された時点から反応時間より前か否かを判定する。反応時間より前であればその単語は取得範囲の単語であるから、ステップＳ５に進む。しかし反応時間より前でなければ、即ち、反応時間Ｃ（0.5秒）で示した範囲の単語は取得しないので、ステップＳ４に進む。
図８は、図４と同様に、各単語と、その単語が再生されてから指示キーが操作されるまでの時間の関係を示し、「as」は指示キーが操作される0.1秒前であり、「happy」は指示キーが操作される0.2秒前であるので、反応時間（0.5秒）内であるとして、削除線により取得範囲から除外することを示している。

＜難易度順の並び替え動作＞
次に、抽出された候補単語を、単語の難易度情報に従って並び替える場合を説明する。
ここで、難易度情報は、ユーザの語学学習程度や単語の難易度に合わせればよく、例えば次のような情報である。
難易度情報１は、教育課程の学習レベルに基づいて付与する。例えば、中学校で学習する単語は比較的低いレベルの難易度を付与する。高等学校で学習する単語は、より高いレベルを付与する。大学以上で学習する単語は最も高いレベルを付与する。
難易度情報２は、市販の辞書の各語句に付与された重要度マークに応じて設定する。また複数の辞書のうち、幾つの辞書にどのレベルの重要度マークが付与されているかに基づいて設定する。即ち、高い重要度マークを付与している辞書が多い単語は、基本的な単語であり、多くの人が訳や意味を知っているであろうということで、低いレベルを付与する。
難易度情報３は、見出しの文字数によって設定する。例えば、文字数が１１文字以上である単語は、理解や記憶が困難な単語であろうということで、高いレベルを付与する。文字数の設定は任意であり、いくつかの段階数に設定することも可能であり、ユーザまたはこの装置の開発者が設定できるようにする。しかし文字数が多い単語であっても、接頭辞や接尾辞などが連接して長くなった単語はレベルを低く設定する。例えば、“supernatural”と“supercalender”はいずれも"super"の接頭辞を持つが、前者の訳語は「超自然の」であり、"natural"から訳語の意味が容易に推測することができるのに対して、後者の訳語は「紙に光沢をつける」であり、calender"とは全く別の意味になっている。したがって、前者の単語のレベルは低く設定し、後者の単語のレベルは高く設定する。またイディオムの単語（複合語）は、文字数が多いので、高いレベルを付与する。この場合に、容易なイディオムには低いレベルを付与してもかまわない。

難易度情報４は、品詞の種類によって決める。即ち、特定の品詞には一律に低いレベルを付与する。例えば、助動詞はその数も少なく、再確認しても意味の変化が少ないので、レベルを低くする。名詞や動詞は聞き違えたり、聞き逃したりすることも多いのでレベルを高くする。
難易度情報５は、単語が掲載されている辞書の種類によって決める。即ち、基本辞書に登録されている単語は、基本的な単語が多く、レベルを低くする。一方、ユーザ辞書および専門辞書などに登録されている単語は、特殊なものが多いので、レベルを高くする。更に専門分野に属する人数、関心や興味を持つ人数によってレベルを設定してもよい。
難易度情報６は、その単語がその装置で抽出された回数をカウントし、そのカウント数が所定値以上になると、レベルを低くする。また前回抽出してからの経過時間によりレベルを変える。経過時間の短い単語はレベルを低くする。
難易度情報の例示は以上の通りであるが、固定的にするのではなく、学習者のレベルや使用頻度などを考慮して柔軟的に難易度を変更できるようにしてもよい。

図９は、図４または図８に示した候補単語と、再生されてからキー操作までの時間を示す表に、更にその単語の難易度情報と、品詞情報を加えた表を示す。難易度情報と、品詞情報は、辞書データより取得する。図１０は、辞書データに格納された内容を示すものであり、ここでは候補単語「happy」の辞書内容を示し、難易度情報として「４」が取得されることを示している。次に図９の難易度情報を基準にして降順にソートした結果を図１１に示す。図１１において、再生されてからキー操作されるまでの時間情報および属性情報は、候補単語の並び替えとともに移動すること示している。
図１２は、図９に示す表から図１１に示す表を作成するためのフローチャートである。ステップＳ１１では、図４または図８に示した、抽出された候補単語について付帯情報が未検索の単語を取り出す。取り出した単語について、辞書データを照合し、それに対応する難易度情報、属性情報（品詞）情報を取り出す（Ｓ１２）。次に、ステップＳ１３では、候補単語の全てについて付帯情報を検索したか否か判断し、まだであれば、ステップＳ１１に戻る。全ての候補単語について付帯情報を検索した場合は、ステップＳ１４に進み、候補絞込みテーブルを完成する。次に候補絞込みテーブルにより、難易度の順番にソーティングする（Ｓ１５）。これにより、図１１に示す表を得ることができる。

図１１に示す表では、難易度が同じ単語が複数ある。その場合に、更に優先順位を決定するために、指示キーが操作された時点に近い単語の方がユーザが確認したい単語であるとして、指示キーを操作した時点からの時間によって、優先順位を決定する。
図１３（ａ）は、図１１と同じ表である。この図１３（ａ）では、難易度５から３の単語がそれぞれ２つあり、難易度２の単語が５つある。このように難易度情報だけでは同じ順位の単語が複数存在するので、この例では、指示キーを操作した時点に近い方の単語の優先順位を上げる処理をする。即ち、図１３（ｂ）に示すように、難易度が同じ単語は、再生されてからキー操作されるまでの時間の短い順にソーティングし、順位を高くする。
また難易度と、キー操作されるまでの時間を関数として使用し、優先順位を決定する指数を作ることができる。その方法として、優先順位を（ａ）、難易度を（ｂ）、キー操作されるまでの時間を（ｃ）とすると、
（ａ）＝（ｂ）―（ｃ）
を計算する。その結果は、図１３（ｃ）に示す通りである。この計算結果を基にして並び替えをした表を図１３（ｄ）に示す。ここに示した計算式は一例であり、他の関数を用いてもよく、また他の演算を用いてもよく、難易度（ｂ）または時間（ｃ）に係数を掛けてもよい。なお、図１３（ｄ）は、優先順位を決定する数値が同じになる単語（「minstrel」と「make」）は、難易度の高い単語を上位にして示している。

＜属性情報による絞り込み動作＞
図１４は、抽出した候補単語を単語の属性によりフィルタを掛けて更に絞り込む場合を示す。
図１４（ａ）は、図１３（ｂ）と同じテーブルを示している。即ち、抽出した候補単語を、難易度情報と、指示キーを操作した時点に近い方の単語を優先度が高いとしたテーブルである。ここで、ユーザは候補単語の内、動詞と名詞だけを検索対象とするように絞り込む場合を説明する。図１４（ｂ）は、ユーザが選出を希望する品詞を設定したフラグ表を示す。図１４（ａ）に示すように、このテーブルには候補単語の属性情報として品詞情報が組み入れられている。そして、ユーザは予め動詞と名詞だけを検索対象とするよう設定しているので、属性情報をチェックし、図１４（ａ）のテーブルから検索対象でない単語を削除する。図１４（ｃ）に削除線を引いた単語は削除する単語である。そして、図１４（ｄ）に示すように、「make」「man」「you」を含む表を作成する。

＜文頭までを取得範囲とする動作＞
図１５〜図１７は、基本的動作で説明したように設定時間内のテキストデータを取得範囲とするとともに、さらにその取得範囲が文章の途中である場合は、その文章の文頭までを取得範囲とする場合である。音声データの再生タイミングと、テキストデータの取得タイミングが、完全に一定している場合は基本的動作で説明した通りの動作が行われるが、フレーズごとまたは段落ごとに同期させるように、完全に一致していない場合、指示キーにより指示されたタイミングとテキストデータの取得タイミングがずれることがある。そのような場合に、ここでは、指示キーにより指示されたときの文章の文頭までを取得範囲とするものである。あるいは、文章の途中からテキストデータを取得した場合は、単語の訳語または意味を確認する場合に本来の訳語または意味が得られない場合があるので、そのような場合に、文頭まで取得する。
図１５は、図２とほぼ同様のことを示している。図２では、テキストデータの取得範囲は、指示キーが操作されてから設定時間（３秒）であったので、文章の途中からテキストデータが取得される。しかし、この例では、指示キーが操作された時点から設定時間の取得範囲のテキストデータを取得するとともに、その文章の文頭までを取得範囲とするものである。図５に示したテキストデータから分かるように、「I'm just a wandering minstrel man,but I'll make you happy as best I can.」が１つの文章である。したがって、ここでは「as」を再生した直後に指示キーが操作されたので、文頭は「I'm」である。よって、「I'm」を含む文頭までを取得範囲Ｂ２とする。文頭はその前の文章の終りに付された句読点、段落の有無によって判断する。

このような手順を図１６に示すフローチャートにより説明する。
図１６のフローチャートは、図３に示したフローチャートに比べて、ステップＳ５とＳ６の間にステップＳ８がある点が異なる点である。その他は同じである。
ステップＳ８は、ステップＳ４で取得され、ステップＳ５でキー操作された時点から設定時間内であると判定された単語は、前回候補単語としてリストに追加した単語と同じ文章内の単語か否か判定する。同じ文章内であれば、ステップＳ３に戻る。同じ文章内でなければステップＳ６へ進む。
ここでは同じ文章内であるかどうかを判定しているが、フレーズ、句読点、文節、段落、文書のような区切りであってもかまわない。
図１７は、図４と同じリストを示しているが、ここでは、「I'm」は、３秒以上前であるが、その前の単語「just」と同じ文章内の単語であるので、候補単語としてリストに含められることを示している。

＜文末までを取得範囲とする動作＞
図１８〜図２０は、その文章の文末までを取得範囲にする例である。
図１８は、図１５とほぼ同様のことを示しているが、ここでは、指示キーが操作された時点からその文章の文末までを含むように取得する。そのため、この実施例では、指示キーが操作された時点から、上記説明したように、その文章の文頭までを取得範囲とするのに加えて、その文章の文末までを取得範囲とするものである。なお、図１８は、文頭までを取得範囲とする動作に追加する動作として示している。図５のテキストデータから分かるように、「I'm just a wandering minstrel man,but I'll make you happy as best I can.」が１つの文章である。したがって、ここでは「as」を再生した直後の時点で、指示キーが操作されたので、文頭は「I'm」であり、文末は「can.」である。よって、「I'm」〜「can.」までの１まとめの文章を取得範囲Ｂ３とする。このような文章の範囲は句読点、段落の有無によって判断する。図１８〜図２０は、文頭から文末までを取得範囲Ｂ３とする説明をしたが、必ずしも文頭から文末までを一体的にする必要はなく、指示キーが操作された時点から文末までを取得範囲としてもかまわない。

このような手順を図１９に示すフローチャートにより説明する。
図１９のフローチャートは、図１６に示したフローチャートに比べて、ステップＳ２１〜Ｓ２４が追加されている点が異なる点である。その他は同じである。
ステップＳ２１は、ステップＳ２で指示キーが操作された時点で取得した単語の後の単語を取得する。ステップＳ２２ではその取得した単語が前の単語と同じ文章内の単語か否か判定される。もし同じ文章内の単語でなければ、ステップＳ６へ進み、このフローは終了する。同じ文章内の単語であれば、取得した単語を候補単語リストに追加して、次のステップＳ２４に進む。ステップＳ２４は、ステップＳ２１で取得した後の単語を取得して、ステップＳ２２に戻る。ステップＳ２２〜Ｓ２４を繰り返すことにより、同じ文章内の単語を文末まで取得して候補単語リストを作成する。ここでは同じ文章内であるかどうかを判定しているが、フレーズ、句読点、文節、段落、文書のような区切りであってもかまわない。
図２０は、図１７のリストに更に文末までの単語「best」「I」「「can.」が追加されたことを示している。しかし「I'll」は、同じ文章内でないので、検索対象外として、削除されることを示している。

以上に説明した各動作を含む音声データ再生装置を、図２１により説明する。
基本的動作および取得範囲の絞り込み動作で説明したように、取得範囲の単語を取得した後、ステップＳ３１では設定Ａがオンか否か判定される。設定Ａがオン状態であれば、ステップＳ３２により難易度の高い単語にプライオリティをつける。その後、ステップＳ３３に進む。ステップＳ３１で設定Ａがオンされていない場合は、ステップＳ３２を通らずに直接ステップＳ３３に進む。
ステップＳ３３及びＳ３４もステップＳ３１、Ｓ３２と同様に、設定Ｂがオンか否か判定され、設定Ｂがオン状態であれば、ステップＳ３４によりプライオリティがつけられ、設定Ｂがオンでなければ、ステップＳ３４を通らずに直接ステップＳ３５に進む。設定Ｂは指示キーが操作された時点に近い方の単語にプライオリティを高くする設定である。ステップＳ３５、Ｓ３６もステップＳ３１、Ｓ３２と同様である。設定Ｃは、例えば特定の品詞を選択する設定である。ここでは動詞と、名詞を取得対象として選択している。
以上の各設定Ａ、Ｂ、Ｃは、全て備える必要はなく、装置の仕様に合わせて、適宜備えるとよい。

ステップＳ３７では、以上のようにしてステップＳ３１〜Ｓ３６により単語の優先順位が決められ、最もプライオリティの高い単語を表示部３に表示する。ユーザはこの表示された単語を見て、再生された音声を聞逃した箇所あるいは不明な箇所のように再確認したい箇所の単語であるか否か判断し、所望の単語であれば指示キーを操作する。ステップＳ３８は、ユーザが所望の単語であることを示す指示キーを操作したか否かチェックする。もしユーザの指示がない場合は、音声データ再生装置は、次にプライオリティの高い単語を表示する（Ｓ３９）。そしてステップＳ３８に戻り、その単語についてユーザは再確認したい単語であるか否かチェックする。このステップＳ３８とＳ３９を繰り返すことにより、ユーザは再確認したい単語を選出する。次にこの音声データ再生装置では、必要に応じて、選出された単語について、辞書データ領域６１を参照して辞書データを取得する（Ｓ４０）。次のステップＳ４１では、その辞書データを表示する。
以上のようにして、音声データ再生装置は、ユーザが聞逃した箇所あるいは不明な箇所のように再確認したい箇所で指示キーを操作すると、その音声データに対応するテキストデータから特定範囲のテキストデータを取得し、その特定範囲に含まれる単語を表示する。また単語にプライオリティをつけ、そのプライオリティの順に表示する。これにより、ユーザが不明な箇所または再確認したい箇所の単語を容易に見つけることができる。

図２２は、指示キーが操作されたときに、その時点で再生動作を停止させ、不明な箇所または再確認したい箇所の単語を抽出する場合の手順を説明するフローチャートである。図２２は、音声データ再生装置が例えば音楽プレイヤーであり、音楽を再生する場合を示す。最初に電源スイッチがオンされると、音声データ再生装置は動作を開始し、音声再生する曲目を表示する（Ｓ５１）。次にユーザが希望の曲目を選択すると、装置はその選択に従い再生曲を音声データ領域６２から抽出し（Ｓ５２）、それを再生する（Ｓ５３）。この再生された音声にユーザが不明な箇所または再確認したい箇所を検知したとき、指示キーを操作する（Ｓ５４）。この指示キーの操作により音声データ再生装置は、再生動作を停止する（Ｓ５５）。次に再生中の音声データに対応するテキストデータから特定範囲のテキストデータを取得し、プライオリティの高い単語を抽出し、その単語を表示する（Ｓ５６）。不明な箇所または再確認したい箇所の単語を確認した後は、ステップＳ５３に戻り、再生を再開する。指示キーの操作がなければ、ステップＳ５７に進み、曲またはトラックの終りまで再生を継続する。次にステップＳ５８では他の曲を再生するか否か判断して、他の曲を再生する場合はステップＳ５１に戻る。他の曲を再生しない場合は、ステップＳ５９に進み、電源スイッチをオフにする。
図２３は、指示キーが操作された時点をその都度マーキングして、再生は継続させ、曲またはトラックの終りで再生動作を停止し、マーキングした箇所から、再確認したい箇所の単語を抽出する場合の手順を説明するフローチャートである。ステップＳ５１〜Ｓ５４までは、図２２と同様である。

ステップＳ５４で、再確認したい箇所があった場合、ステップＳ６０で、その再生時点の情報を記録する。この時点では指示キーの操作タイミングを記録するだけでよい。そして、ステップＳ５３に戻る。ステップＳ５４で再確認箇所がない場合は、ステップＳ６１に進み、曲またはトラックの区切りまで再生する。曲またはトラックの区切りまで再生したら、ステップＳ６２に進み、再生を終了する。次に、ステップＳ６０で記録したマーキングリストを表示パネルに表示する（Ｓ６３）。このマーキングリストについて、ユーザがマーキングポイントを予め選択するように設定されているか否か判定する（Ｓ６４）。設定されている場合はステップＳ６５で、そのマーキングポイントから取得範囲に含まれるテキストデータを取得し、単語を選出して表示する。マーキングポイントが設定されていない場合は、各マーキングリストの取得範囲のテキストデータを取得し、単語を選出して表示する（Ｓ６６）。次に、ステップＳ６７に進み、他の曲を再生するか否か判定し、再生しない場合は、終了する。再生する場合はステップＳ５１に戻る。
図２２、図２３は、音楽プレイヤーの場合を説明したが、語学楽手装置、音声機能付き電子辞書、翻訳装置、放送受信装置のような音声データ再生装置にも同様に適用できる。

以上に説明した実施例は、それぞれ対応する音声データとテキストデータが存在する場合について説明したが、以下には音声データが存在せず、テキストデータのみが存在する場合、音声データが存在するが、テキストデータが存在しない場合について説明する。
まず、テキストデータのみが存在し、音声データが存在しない場合とは、例えば書籍や文書、あるいはネットワークより取得したテキストデータのような場合である。書籍や文書についてテキストデータが存在しない場合は、スキャナにより読み込み、文字認識することによりテキストデータを生成し、単語を抽出することが可能である。このように、テキストデータが存在すると、そのテキストデータを、ＴＴＳプログラムに基づき、読上げ再生する。読上げ再生した後は、上記基本的動作、取得範囲の絞り込み動作、難易度順の並び替え動作、属性情報による絞込み動作、文頭までを取得範囲とする動作、文末までを取得範囲とする動作を実施することができる。

次に、音声データが存在するが、テキストデータが存在しない場合とは、例えばラジオ、テレビのような放送受信装置が音声出力している場合である。あるいは日常会話、講演、テキストデータのない歌を音声出力している場合である。現在の技術では全ての音声から言語データを抽出し、音声認識してテキストデータに変換することはできないが、アナウンサーが呼んでいるニュース番組、語学学習の先生の音声、雑音のない場所での講演などは現在の技術でも音声認識してテキストデータを生成し、単語を切出すことが可能である。このように音声出力からテキストデータが得られる場合は、上記に説明した各場合を実施することが可能であり、聞き逃した箇所あるいは不明箇所を再確認して単語を選出して表示することができる。この場合に音声認識は常時動作状態にするか、指示キーにより指示があったときに遡って音声データを音声認識するように、取得範囲分の音声データを記憶することができるメモリ容量を備えるとよい。

本発明の音声データ再生装置は、図２４に示すような操作パネル２１、表示パネル２２を備える装置によって実現される。操作パネル２１は、中央部に再生と再確認箇所を指示し、装置を動作停止させるためのボタンを備え、「play／pause」ボタンで示している。左側には曲目を１つ前に戻すためのボタンを備え、「prev」ボタンで示している。このボタンは長押しすると、連続的に曲目を戻す。右側は曲目を１つ進めるためのボタンであり、「next」ボタンで示している。このボタンは押し続けると連続的に曲目を進める。上側には音量を上げるためのボタンを備え、「vol+」で示している。下側は音量を下げるためのボタンであり、「vol-」で示している。表示パネルは再生中のテキストデータおよび再確認箇所の単語を表示する。図２４は音楽プレイヤーを示しているが、他の音声データ再生装置では、「prev」ボタンは巻き戻しであり、長押しすると、高速巻き戻しになる。また「next」ボタンは早や送りであり、長押しすると、高速早送りになる。
ユーザが聞き逃して、あるいは不明であるため、再確認をしたいと思って、「play／pause」ボタンを操作すると、再生動作が停止して、操作された時点から遡って特定範囲のテキストデータを取得する。取得された特定範囲のテキストデータが表示されている状態を図２４（ａ）の表示パネル２２に示す。そして、この特定範囲の中の単語を抽出する。抽出された単語を図２４（ａ）の左側に示す。この抽出された単語は単語メモリ領域に候補単語として記憶された単語である。次には上記取得範囲の絞り込み動作で説明したように、キー操作した直前の単語を削除する。削除された後に残っている単語を図２４（ｂ）に示す。

更に上記難易度順の並び替え動作で説明したように、難易度情報を用いて、難易度の高い単語の順にソートする。図２４（ｃ）は、ソートされて、難易度の高い単語が上に表示され、難易度の低い単語が下に表示されている状態を示す。図２４（ｄ）は、上記説明したように、難易度が同じ単語は指示キーが操作された時点に近い方の単語にプライオリティを高くする処理を行った結果を示す。
以上の処理をして、優先順位の高い単語を表示する。図２４（ｅ）では表示パネル２２に表示されたテキストデータに、一番上の単語にアンダーラインを付して示している。優先順位に高い単語を視覚的に目立つように表示する形態としては、点滅表示、他の文字と異なる色による表示、太字表示、斜体表示でもよい。あるいは別ウインドウを設け、優先順位の高い単語をそのウインドウ２に表示してもよい。
図２４（ｅ）で示した単語が、ユーザの所望の単語でない場合は、次の順位の単語を図２４（ｆ）に示すように表示する。これが所望の単語である場合は、辞書を検索し、その訳語、意味、例文等の辞書情報を図２４（ｇ）に示すようにウインドウ画面、分割画面で表示する。
更に属性情報の絞込み動作で説明したように、図２４（ｈ）に示す候補単語を、動詞で絞り込んだ場合の表示例を図２３（ｉ）に示す。また名詞で絞り込んだ場合の表示例を図２４（ｊ）に示す。これらの表示は一度に表示してもよく、あるいは１つずつ順次表示してもよい。
また文頭または文末までを取得範囲とする動作で説明したように、音声再生の途中で再確認箇所が指示された場合、その指示時点Ａで、装置は動作を停止し、表示パネルには、指示時点以降のテキストデータを太文字表示する場合を、図２４（ｋ）に示す。

本発明の一実施形態である音声データ再生装置のブロック図を示す。 基本的動作をするための説明の音声データ図を示す。 基本的動作のフローチャートを示す。 基本的動作により取得された単語と、その単語が再生されてから指示キーが操作されるまでの時間の関係図を示す。 本発明の実施形態に使用されるテキストデータを示す。 取得範囲の絞込み動作を説明するたの音声データ図を示す。 取得範囲の絞込み動作を説明するフローチャートを示す。 取得範囲の絞込み動作により取得された単語と、その単語が再生されてから指示キーが操作されるまでの時間の関係図を示す。 候補単語に難易度情報、品詞譲歩を加えた表を示す。 辞書データの一例を示す。 単語の難易度情報を基準にして降順にソートした結果を示す。 単語の難易度情報を基準にしてソートするフローチャートを示す。 単語の難易度情報を基準にしてソートした別の結果を示す。 単語の属性によりフィルタを掛ける動作を説明する表を示す。 文頭までを取得範囲とする動作を説明するための再生中の音声データ図を示す。 文頭までを取得範囲とする動作を説明するフローチャートを示す。 文頭までを取得範囲とする動作により取得された単語と、その単語が再生されてから指示キーが操作されるまでの時間の関係図を示す。 文末までを取得範囲とする動作を説明するための再生中の音声データ図を示す。 文末までを取得範囲とする動作を説明するフローチャートを示す。 文末までを取得範囲とする動作により取得された単語と、その単語が再生されてから指示キーが操作されるまでの時間の関係図を示す。 音声データ再生装置の各機能の動作を説明するフローチャートを示す。 指示キーが操作された時点で再生動作を停止する場合のフローチャートを示す。 指示キーが操作された時点をマーキングして、曲の終りに再確認したい箇所の単語を抽出する場合のフローチャートを示す。 音声データ再生装置の操作パネルと表示パネルを示す。

符号の説明

１ 制御部
２ 操作部
３ 表示部
４ 音声入力部
５ 音声出力部
６ メモリ
６１ 辞書データ記憶領域
６２ テキストデータ記憶領域
６３ 音声データ記憶領域
６４ ＴＴＳ読上げプログラム記憶領域
６５ 音声認識プログラム記憶領域
６６ 単語認識プログラム記憶領域
２１ 操作パネル
２２ 表示パネル

Claims (11)

1. 音声を再生し、出力する音声出力部と、
   前記音声出力部が出力した音声の再確認箇所を指示させる指示部と、
   前記指示部からの指示に基づいて取得範囲を決定する取得範囲決定部と、
   前記取得範囲決定部によって決定された範囲に含まれる単語を抽出する単語抽出部と、
   前記単語抽出部により抽出された単語と該単語の付帯情報とを記憶する辞書データ記憶部と、
   前記単語抽出部によって抽出された単語を、前記付帯情報に基づいて選出する単語選出部と、
   前記単語抽出部により選出された単語を表示する表示部と
   を備えることを特徴とする音声データ再生装置。
2. 前記単語選出部は、前記付帯情報に基づいて難易度を決定し、該難易度順に並び替えて選出することを特徴とする請求項１に記載の音声データ再生装置。
3. 前記難易度は、前記付帯情報から抽出した単語の重要度、単語の文字の数、品詞、辞書の種類、単語を学習する学生に応じたレベルの少なくとも１つに基づき決定されることを特徴とする請求項２に記載の音声データ再生装置。
4. 前記単語選出部は、前記単語抽出部により抽出された単語の今迄抽出された回数に基づいて決定したレベル、または、前記単語抽出部により前回抽出されてからの経過時間に基づいたレベルのいずれかにより難易度を決定し、該難易度順に並び替えて選出することを特徴とする請求項１に記載の音声データ再生装置。
5. 前記付帯情報は、単語の品詞を含み、前記単語抽出部は、該品詞の中の特定の品詞を含む単語を優先的に選出することを特徴とする請求項１に記載の音声データ再生装置。
6. 前記取得範囲決定部は、前記指示部により指示された時点から再確認箇所まで遡った時間、前記指示部により指示された時点から所定の単語数または音節数まで遡った範囲、前記指示部により指示された時点の文章の文頭までの範囲、前記指示部により指示された時点の文章の文末までの範囲の少なくとも１つ以上によって決定することを特徴とする請求項１に記載の音声データ再生装置。
7. 前記取得範囲決定部は、複数の段階に設定可能であることを特徴とする請求項６に記載の音声データ再生装置。
8. 前記取得範囲は、前記指示部により指示された時点から所定時間を除外することを特徴とする請求項１乃至７のいずれか１項に記載の音声データ再生装置。
9. 前記単語抽出部は、難易度が同じ単語の場合、前記指示部によって指示された時点に近い方を優先的に選出することを特徴とする請求項１乃至８のいずれか１項に記載の音声データ再生装置。
10. テキストデータあるいは音声データまたはテキストデータとそのテキストデータに対応する音声データを格納するデータ記憶部と、単語と該単語の付帯情報とを記憶する辞書データ記憶部とを備え、
    前記音声を再生し、出力する音声出力ステップと、
    前記再生された音声の再確認箇所を指示させる指示ステップと、
    前記指示ステップによる指示に基づいて取得範囲を決定する取得範囲決定ステップと、
    前記取得範囲決定ステップによって決定された範囲に含まれる単語を抽出する単語抽出ステップと、
    前記単語抽出ステップにより抽出された単語を表示する表示ステップと
    をコンピュータによって実行する音声データ再生装置のデータ表示方法。
11. 前記請求項１０に記載の各ステップを音声データ再生装置に実行させるためのプログラム。

Images