JP4442479B2 - 情報提示装置 - Google Patents

Description

本発明は、情報提示装置に係り、特に画面表示と音の出力を組合せた情報提示装置に関する。

近年、ＰＤＡや携帯電話等、情報表示のためのディスプレイを持った小型携帯端末が普及している。これらの端末は小型であるが故に画面に表示できる情報量は限られており、この限界を超える量の情報を表示しようとした場合、文字が小さくなりすぎて読めないという問題が起こりうる。

新聞やカタログのようにレイアウト情報が読み易さに寄与する情報においては、そのレイアウト情報を維持したまま表示することが重要であるが、レイアウト構造のわかる程度の記事範囲を小さな画面に表示しようとすると、文字が小さくなりすぎて見出し程度しか読み取れないという事態がしばしば生じる。

必要に応じて表示倍率を切り替えて、読みたい部分の文字を読みやすいサイズにすることは可能であるが、拡大状態では全体のレイアウト構造が把握できないため、倍率切替や表示位置変更の操作が頻繁となり、煩わしい。

また、元々小画面用に構成された文書でない場合、画面内で折返し表示ができなければテキストの各行が一部しか表示されないため、結果として一連のテキストの全容が見えず、細切れのテキストの集まりとなるため内容が理解できないという問題も生じる。

同様の問題は、文章に限らず、楽譜についても生じる。

このように、現在の画面表示状態では内容が読取れない場合への対処として、表示画面の情報を読取る代わりに、音でその内容を聞くことが考えられる。

特許文献１には、ファイリングシステムにおいて蓄積された文書を表示する際、表示されている原画像上の座標をマウスによって指定すると、指定された座標に対応するテキスト領域の文章の読上げを行う技術が開示されている。表示装置の解像度により文章の確認ができない場合に利用することを想定しており、任意のテキスト領域を指定可能である。
特開２００１−２０９６４５号公報

図１、図２を用いて、従来の情報提示装置の問題点について説明する。

図１は従来の情報提示装置の概略構成を示すブロック図であり、図２は従来の情報提示装置のフローチャートである。

文書情報入力部２がテキストを含む文書５２から文書情報５４を抽出し（Ｓ２）、レイアウト解析部４がテキストブロックとその文書情報中の位置情報５６（図中では「テキストブロック、位置情報５６」と記載）を抽出する（Ｓ４）。表示データ決定部６が一画面分の表示データ５８を決定し（Ｓ６）、文書表示部１０が表示する（Ｓ１０）。

読上げ対象指定部２０で読上げ対象テキストが指定されると（Ｓ２０：ＹＥＳ）、変換対象抽出部１４が読上げ対象のテキストデータ６８を抽出し（Ｓ２２）、これを音声出力部１６が音声に変換し出力する（Ｓ１６）。

表示位置・表示倍率変更指示部１８から表示位置の変更や表示倍率の変更が指示されると（Ｓ１８：ＹＥＳ）、それに従って表示データ決定部６が表示位置や表示倍率を変更する（Ｓ６）。

従来は、このような構成により、画面に表示された文書中のテキストに対して、読上げ対象指定部を用いてユーザが所望のテキストを指定し、音声読上げにより情報を得ていた。

この読上げ対象指定部として、特許文献１のように、マウスによる直接指示入力手段が用意されている場合は読み上げ箇所の指定は比較的容易であるが、直接指示入力手段が用意されていない場合には、十字キー等によるカーソル移動等の手段で多数のテキスト領域の中から読み上げ箇所の指定を行うことになり、操作が煩わしい。

また、直接指示入力手段が用意されていたとしても、ペンや指先によるものであれば、小画面の場合には細かい位置指定が困難である。

例えば、携帯電話やＰＤＡのような小型の携帯情報機器の場合、マウスは通常付属しておらず、また、表示画面は極めて小型であるため、従来の情報提示装置における読上げ箇所の指定は困難で煩わしいものであった。

本発明が解決しようとする課題は、マウスやペン、指先等を用いた直接指示入力手段が用意されていない環境でも、或は、ペンや指先による指示が困難な小画面表示を採用している環境でも、判読困難なテキストを容易に指示することができ、その内容を音声で聞くことのできる情報提示装置を提供することである。

前記課題を解決するために、本発明では、画面上の表示状態に応じて、ユーザが判読困難として音声による読上げを要求しそうなテキストブロックを装置側で推定し、このテキストブロックに対する簡易な選択手段を提供することで、装置利用者の便宜を図る。

その基本原理は、充分読めるサイズで画面内に収まって表示されたテキストブロックについては音声読上げの需要は少ないと想定し、読み取りにくいサイズで表示されたテキストブロックや画面からはみ出たテキストブロックについてのみ、ブロックの番号に相当する数字キーの押下や、次ブロックへの移動指示並びにブロック選択確定と意味付けたキーの押下、或は、これらのキー押下に代わる音声コマンド等の簡易な操作で対象ブロックを選択指定できるようにするものである。選択指定可能なテキストブロックは他の領域と区別して表示し、必要に応じて番号を付す。

このため、本発明にかかる情報提示装置は、文書から文書情報を抽出する文書情報入力部と、文書情報からテキストデータを抽出するレイアウト解析部と、一画面分の表示データを決定する表示データ決定部と、画面上に表示されるテキストをまとまりのあるブロック毎に分割し、各ブロックに含まれる文字を表示した場合の文字のサイズが予め定められた閾値以下となるブロック、或はテキストが画面からはみ出してしまうブロックを判読困難ブロックと判定する判読困難ブロック抽出部と、各判読困難ブロックの領域を他の領域と区別して表示データを表示する文書表示部と、ユーザからの読上げ対象ブロック選択指示を受付けるブロック選択部と、選択されたブロックに対応する読上げ対象のテキストデータを抽出する変換対象抽出部と、読上げ対象のテキストデータを音声に変換して出力する音声出力部と、を備えたことを特徴とする。

本発明によれば、マウスやペン、指先等を用いた直接指示入力手段が用意されていない環境でも、或は、ペンや指先による指示が困難な小画面表示を採用している環境でも、表示の内容が判読困難な部分を容易に指示することができ、音でその内容を聞くことのできる情報提示装置を提供することができる。

以下で説明する各実施形態にかかる情報提示装置は、特に携帯電話や小型携帯情報機器のように小さな表示画面を備えた携帯機器に使用される。

[第１の実施形態]
図３〜図１６に基づいて、本発明の情報提示装置の第１の実施形態について説明する。

図３は、第１の実施形態にかかる情報提示装置１００の概略構成を示すブロック図であり、図４は、第１の実施形態にかかる情報提示装置１００のフローチャートである。

本実施形態にかかる情報提示装置は、画面に表示される文書に含まれるテキストのうち、文字が小さくて判読しにくいであろうテキストを推定し、それらをいくつかのブロックに分けて他の部分と区別できるように表示した上で各々に番号を付し、ユーザが内容を知りたいブロックの番号に相当する数字キーを押下すると、対応するテキストブロックの内容を音声で読上げるように構成したものである。

文書情報入力部１０２は、テキストを含む文書１５２から文書情報１５４を抽出してレイアウト解析部１０４に出力する（Ｓ１０２）。ここで、文書情報入力部１０２としては、ＣＤやＭＯ等の記録媒体に格納されたデータを読み出す手段や、有線或は無線のネットワーク経由で送られてくるデータを受信する手段の他、新聞、雑誌等の紙面を読み取る手段も含む。また、文書情報としては、ビットマップデータ等の２次元的に固定レイアウトされたものやコード化されて1次元シンボル列として表現されたもの、或はHTML形式等の構造化データも含む。

レイアウト解析部１０４は、文書情報入力部１０２から入力した文書情報１５４を表示データ決定部１０６に出力するとともに、文書情報１５４からテキストブロックとその文書情報中の位置情報１５６（図中では「テキストブロック、位置情報１５６」と記載）を抽出し、判読困難ブロック抽出部１０８に出力する（Ｓ１０４）。ここで、テキストブロックとその文書情報中の位置情報１５６のデータ構造は如何様でもよく、例えば図５（１）に示すように、各テキストブロックの内容と、１次元配列で表された文書情報のうちで該各テキストブロックが占める位置を表す始端アドレス、終端アドレスをセットにしたようなデータ構造で記述される。或は、図５（２）に示すように、各テキストブロックの内容と、２次元レイアウトされた文書情報のうちで該各テキストブロックが占める位置を表す左上座標、右下座標をセットにしたようなデータ構造で記述してもよい。

表示データ決定部１０６は、レイアウト解析部１０４から入力した文書情報１５４を基に、文書表示部１１０の一画面分の表示データ１５８を決定し、文書表示部１１０に出力するとともに、表示データとその文書情報中の位置情報１６０（図中では「表示データ、位置情報１６０」と記載）を判読困難ブロック抽出部１０８に出力する（Ｓ１０６）。ここで、表示データ１５８のデータ構造は如何様でもよく、例えば図６（１）に示すように、画面上に表示する各コンポーネントの内容と、画面上で該各コンポーネントが占める位置を表す左上座標、右下座標をセットにしたようなデータ構造で記述される。また、表示データとその文書情報中の位置情報１６０のデータ構造は如何様でもよく、例えば図６（２）に示すように、画面上に表示する各コンポーネントの内容と、画面上で該各コンポーネントが占める位置を表す左上座標、右下座標、及び１次元配列で表された文書情報のうちで該各コンポーネントが占める位置を表す始端アドレス、終端アドレスをセットにしたようなデータ構造で記述される。

初めて表示する文書の画面上の表示位置及び表示倍率は、予め定められたデフォルト値（例えば表示位置は文書情報の左上端を表示画面の左上端に一致させ、表示倍率は1倍とする等）を用いて設定し、以降は、表示位置・表示倍率変更指示部１１８から入力した表示位置変更情報や表示倍率変更情報１６２（図中では「表示位置変更情報、表示倍率変更情報１６２」と記載）と現在の表示位置、表示倍率を基に表示位置及び表示倍率を変更する。

判読困難ブロック抽出部１０８は、レイアウト解析部１０４から入力したテキストブロックとその文書情報中の位置情報１５６を変換対象抽出部１１４に出力するとともに、これらの情報、及び表示データ決定部１０６から入力した表示データとその文書情報中の位置情報１６０を基に、画面上に表示されるテキストをテキストブロック毎に分割した表示ブロックを抽出し、各表示ブロックに含まれる文字を表示した場合の文字のサイズを計算し、予め定められた閾値以下のサイズの文字が含まれる表示ブロックを判読困難ブロックと判定し、判読困難ブロックと判定した表示ブロックにブロック番号を付し、各判読困難ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報１６４（図中では「ブロック番号、位置情報１６４」と記載）を文書表示部１１０及び変換対象抽出部１１４に出力する（Ｓ１０８）。ここで、各判読困難ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報１６４のデータ構造は如何様でもよく、例えば図７に示すように、各判読困難ブロックのブロック番号と、画面上で該各判読困難ブロックが占める位置を表す左上座標、右下座標、及び１次元配列で表された文書情報のうちで該各判読困難ブロックが占める位置を表す始端アドレス、終端アドレスをセットにしたようなデータ構造で記述される。

ここで、文字のサイズの定義は如何様でもよく、例えば、その文字のフォントサイズ、その文字が画面上で占める矩形領域の縦、横の画素数、或は、その文字が画面上に表示されるときの実寸等を用いる。ただし、画素数や実寸を用いる場合は、句読点等、他の文字に比べて相対的に小さい記号や文字が存在するので、そのような記号や文字は無視してもよい。

文書表示部１１０は、表示データ決定部１０６から入力した表示データ１５８をディスプレイ等の画面に出力するための画面データに変換し、ディスプレイ等の画面に表示する（Ｓ１１０）。この際、判読困難ブロック抽出部１０８から入力した判読困難ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報１６４を基に、表示データ１５８のうち、各判読困難ブロックの領域を他の領域と区別して表示し、ブロック番号を各領域に表示すべく、画面データを作成する。

ここで、各判読困難ブロックの領域を他の領域と区別して表示する方法は如何様でもよく、例えば、その領域の外周を線で囲む、文字色を変える、アンダーラインを引く、領域にメッシュをかける等を行う。

ユーザ１０１は文書表示部１１０で表示された文書を読み、必要に応じて、表示位置・表示倍率変更指示部１１８を用いて表示位置の変更、表示内容の拡大／縮小を指示する。特に、テキストが小さくて読みづらい場合には拡大表示指示を行うことになる。

ブロック選択部１１２は、ユーザ１０１が読上げてほしいブロックに付された番号に対応する数字キーを押下した時に、その数字キーで示されるブロック番号１６６を変換対象抽出部１１４に出力する（Ｓ１１２：ＹＥＳ）。

変換対象抽出部１１４は、ブロック選択部１１２から入力したブロック番号１６６と、判読困難ブロック抽出部１０８から入力した判読困難ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報１６４、及びテキストブロックとその文書情報中の位置情報１５６を基に読上げ対象のテキストデータ１６８を抽出して音声出力部１１６に出力する（Ｓ１１４）。

音声出力部１１６は、変換対象抽出部１１４から入力した読上げ対象のテキストデータ１６８をtext-to-speechプログラムによる音声合成技術を利用して音声に変換しスピーカ等から出力する（Ｓ１１６）。

表示位置・表示倍率変更指示部１１８は、ユーザ１０１が十字キー等を用いて表示位置の変更や表示倍率の変更を指示した時に、表示位置変更情報や表示倍率変更情報１６２を表示データ決定部１０６に出力する（Ｓ１１８：ＹＥＳ）。

図８は、第１の実施形態にかかる情報提示装置の入力文書例である。

図９〜図１６は、第１の実施形態にかかる情報提示装置の画面表示例である。

図８の入力文書をそのまま表示しようとした場合、図９のように画面が小さ過ぎて文書が画面に収まりきらず、右方向、下方向が表示されない。

この状態ではすべての文字のサイズが予め定められた閾値を越えており、判読可能として通常の表示が行われている。

図９の表示を縮小すると図１０のようになり、本文のテキストを構成する文字のサイズが閾値以下となるため、表示ブロック単位で読上げ選択可能を示す枠が表示されブロック番号を示す数字が付される。ここで数字に対応するキーをユーザが押下すると、そのブロックに相当するテキストが画面に表示されていない部分も含め読上げられる。

図１０の表示をさらに縮小すると図１１のようになり、見出し部分も文字サイズが閾値以下となるため、本文同様、表示ブロック単位で枠が表示されブロック番号を示す数字が付される。

入力文書がHTML形式等の構造化データで、テキスト部分がテキスト表示領域の幅に応じて流し込み処理される場合、図９で右側にはみ出して表示されなかったテキスト部分が図１２のように右端で折り返されて表示される。

図１２の表示を縮小すると図１３のようになり、本文のテキストを構成する文字が閾値以下となるため、表示ブロック単位で枠が表示されブロック番号を示す数字が付される。

図１３の表示をさらに縮小すると図１４のようになり、見出し部分も文字サイズが閾値以下となるため、本文同様、表示ブロック単位で枠が表示されブロック番号を示す数字が付される。

上記説明では、判読困難ブロックに付したブロック番号を示す数字を画面に表示し、ブロック選択に際してはブロック番号に対応する数字キーを押下するとしているが、これに限定するものではなく、表示されたブロックを容易に指示できるのであれば如何様でもよい。

例えば、判読困難ブロックのうちの一つを仮選択状態として他の判読困難ブロックと区別して表示し、十字キーや矢印キー或は予め次候補指示と定義したキーの入力による仮選択ブロックの変更と、予め選択確定指示と定義したキーの入力でブロックを選択するようにしてもよい。このような例を図１５及び図１６に示す。

図１５は図１３に対応する図であり、ブロック番号を示す数字を表示する代わりに最初のブロックに網掛け表示を施してある。ユーザが十字キーの操作を行うことにより網掛け対象が変更され、例えば図１６のようになる。さらに十字キーを操作すれば網掛け対象がさらに変更される。ユーザが「＊」キーを押下すると、その時点で網掛け表示されているブロックが読上げられる。この例では仮選択ブロックの変更に十字キー、選択確定に「＊」キーを用いているが、これに限定するものではなく、如何様に定義してもよい。

或はまた、画面表示は図１３や図１５のようにしておいた上で、キー操作の代わりに音声認識技術を利用した音声コマンドによって読上げ対象ブロックを選択するようにしてもよい。その場合は、数字キー押下の代わりに「イチ」「イチバン」等の発声を行い、十字キー操作や「＊」キー押下の代わりに「ツギ」「シタ」や「ソレ」「カクテイ」「ヨミアゲ」等の発声を行うことになる。

本実施形態にかかる発明によれば、表示された文書中の判読困難なテキストを容易に選択し、その内容を音声で聞くことの可能な情報提示装置を提供することができる。
［第２の実施形態］
図１７〜図２０に基づき、また第１の実施形態の説明で参照した図も随時参照して、本発明の情報提示装置の第２の実施形態について説明する。なお、第１の実施形態で説明した構成等については、同じ参照符号を付し、その説明を省略する。

図１７は、第２の実施形態にかかる情報提示装置２００の概略構成を示すブロック図であり、図１８は、第２の実施形態にかかる情報提示装置２００のフローチャートである。

本実施形態にかかる情報提示装置は、ブロック選択部とは別に画面中の任意のテキストを指定して読上げ指示する手段が存在し、この手段によりブロック選択部では指定できないテキストの読上げをユーザが指示した場合に、このテキストにもユーザにとって判読困難なサイズの文字が存在するとの解釈のもと、以降、このテキストもブロック選択部により選択可能とするために、判読困難ブロックの判定に用いる閾値を変更するように構成したものである。

読上げ対象指定部２２０は、ユーザ２０１がタブレットペン等を用いて読上げ対象テキストを指定した時に、読上げ対象テキストの座標データ２７０（図中では「読上げ対象の座標データ２７０」と記載）を変換対象抽出部２１４及び最小サイズ検出部２２２に出力する（Ｓ２２０：ＹＥＳ）。

変換対象抽出部２１４は、読上げ対象指定部２２０から入力した読上げ対象テキストの座標データ２７０と、判読困難ブロック抽出部２０８から入力したテキストブロックとその文書情報中の位置情報１５６、及び表示データとその文書情報中の位置情報１６０を基に読上げ対象のテキストデータ２６８を抽出し、音声出力部１１６に出力する（Ｓ２１４）。変換対象抽出部２１４のその他の処理は、第１の実施形態の変換対象抽出部１１４と同様である。

最小サイズ検出部２２２は、読上げ対象指定部２２０から入力した読上げ対象テキストの座標データ２７０と判読困難ブロック抽出部２０８から入力した表示データとその文書情報中の位置情報１６０を基に読上げ対象テキストの文字サイズを調べ、最小文字サイズの値２７２を閾値変更部２２４に出力する（Ｓ２２２）。

閾値変更部２２４は、判読困難ブロックを判定するための閾値の現在値と最小サイズ検出部２２２から入力した最小文字サイズの値２７２とを比較し、現在の閾値のほうが小さければ（Ｓ２２３：ＹＥＳ）、最小文字サイズの値２７２を新閾値２７４として判読困難ブロック抽出部２０８に出力する（Ｓ２２４）。

判読困難ブロック抽出部２０８は、判読困難ブロックを判定する際の閾値を、閾値変更部２２４から入力した新閾値２７４に変更して改めて判読困難ブロックの抽出を行い、判読困難ブロックと判定したブロックに番号を付し、各ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報２６４（図中では「ブロック番号、位置情報２６４」と記載）を文書表示部１１０及び変換対象抽出部２１４に出力する（Ｓ２０８）。

なお、判読困難ブロック抽出部２０８は、表示データ決定部１０６から表示データとその文書情報中の位置情報１６０を入力したときには、変換対象抽出部２１４及び最小サイズ検出部２２２にこの情報を出力する。判読困難ブロック抽出部２０８のその他の処理は、第１の実施形態の判読困難ブロック抽出部１０８と同様である。

図１９及び図２０は、第２の実施形態にかかる情報提示装置の画面表示例である。

本実施形態の説明においても、図８を入力文書の例とする。入力文書がHTML等の構造化データで折返し表示された場合は図１２となる。

図１２の表示状態においてユーザが読上げ指示を行うと、指示された部分が図１９のように網掛け表示される。

この部分に対応するテキストが読上げられることになるが、このとき、このテキスト中の最小文字サイズの値が判読困難ブロックを判定するための閾値の現在値を越えているため、閾値がこの最小文字サイズの値に変更され、その結果、画面は図２０のような表示に変更される。すなわち、画面上の表示テキストは図１２と同様であるが、本文の領域に図１２にはなかった読上げ選択可能を示す枠が表示されブロック番号を示す数字が付される。

本実施形態にかかる発明によれば、テキストの判読困難性の判断基準をユーザの操作状況に応じて自動的に調整することの可能な情報提示装置を提供することができる。
［第３の実施形態］
図２１〜図２３に基づき、また第１、第２の実施形態の説明で参照した図も随時参照して、本発明の情報提示装置の第３の実施形態について説明する。なお、第１の実施形態で説明した構成等については、同じ参照符号を付し、その説明を省略する。

図２１は、第３の実施形態にかかる情報提示装置３００の概略構成を示すブロック図であり、図２２は、第３の実施形態にかかる情報提示装置３００のフローチャートである。

本実施形態にかかる情報提示装置は、ユーザが画面上の表示内容の拡大を指示した場合に、ブロック選択部で選択できないテキストにもユーザにとって判読困難なサイズの文字が存在するとの解釈のもと、以降、このサイズのテキストもブロック選択部により選択可能とするために、判読困難ブロックの判定に用いる閾値を変更するように構成したものである。

表示位置・表示倍率変更指示部３１８は、ユーザ１０１が十字キー等を用いて表示位置の変更や表示倍率の変更を指示した時に、表示位置変更情報や表示倍率変更情報１６２を表示データ決定部１０６と最小サイズ検出部３２２に出力する（Ｓ３１８：ＹＥＳ）。

最小サイズ検出部３２２は、表示位置・表示倍率変更指示部３１８から入力した表示位置変更情報や表示倍率変更情報１６２が文書の拡大指示を示している場合に（Ｓ３２１：ＹＥＳ）、拡大前に判読困難ブロック抽出部３０８から入力した表示データとその文書情報中の位置情報１６０を基に、拡大前の画面に表示されていた文書内で判読困難ブロックに含まれないテキストを抽出し、その中の最小文字サイズの値３７２を閾値変更部３２４に出力する（Ｓ３２２）。

閾値変更部３２４は、最小サイズ検出部３２２から入力した最小文字サイズの値３７２を新閾値３７４として判読困難ブロック抽出部３０８に出力する（Ｓ３２４）。

判読困難ブロック抽出部３０８は、判読困難ブロックを判定する際の閾値を、閾値変更部３２４から入力した新閾値３７４に変更して改めて判読困難ブロックの抽出を行い、判読困難ブロックと判定したブロックにブロック番号を付し、各ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報３６４（図中では「ブロック番号、位置情報３６４」と記載）を文書表示部１１０及び変換対象抽出部１１４に出力する（Ｓ３０８）。

なお、判読困難ブロック抽出部３０８は、表示データ決定部１０６から表示データとその文書情報中の位置情報１６０を入力したときには、最小サイズ検出部３２２にこの情報を出力する。判読困難ブロック抽出部３０８のその他の処理は、第１の実施形態の判読困難ブロック抽出部１０８と同様である。

図２３は、第３の実施形態にかかる情報提示装置の画面表示例である。

本実施形態の説明においても、図８を入力文書の例とする。入力文書がHTML等の構造化データで折返し表示された場合は図１２となり、これを縮小表示すると図１３となる。

図１３の表示状態においてユーザが表示の拡大を指示すると、図１２の表示状態に戻るはずであるが、このとき、図１３の表示画面中の枠で囲まれていないテキスト中の最小文字サイズの値が抽出され、判読困難ブロックを判定するための閾値がこの最小文字サイズの値に変更される。その結果、画面は図１２ではなく図２０のようになる。すなわち、画面上の表示テキストは図１２と同様であるが、図１２にはなかった読上げ選択可能を示す枠が本文の領域に表示されブロック番号を示す数字が付される。

ここで、ユーザが表示の縮小を指示すると、画面は図２３のようになる。すなわち、画面上の表示テキストは図１３と同様であるが、本文領域に加え、見出し部分にも図１３にはなかった読上げ選択可能を示す枠が表示されブロック番号を示す数字が付される。

本実施形態にかかる発明によれば、テキストの判読困難性の判断基準をユーザの操作状況に応じて自動的に調整することの可能な情報提示装置を提供することができる。

[第４の実施形態]
図２４、図２５に基づいて、本発明の情報提示装置の第４の実施形態について説明する。なお、第１の実施形態で説明した構成等については、同じ参照符号を付し、その説明を省略する。

図２４は、第４の実施形態にかかる情報提示装置４００の概略構成を示すブロック図であり、図２５は、第４の実施形態にかかる情報提示装置４００のフローチャートである。

本実施形態にかかる情報提示装置は、判読困難ブロックの判定に用いる閾値をユーザの指示に従い変更するように構成したものである。

閾値変更指示部４２６は、ユーザ４０１が十字キー等を用いて判読困難ブロックの判定に用いる閾値の変更を指示した時に（Ｓ４２６：ＹＥＳ）、新閾値４７４を判読困難ブロック抽出部４０８に出力する（Ｓ４２４）。

判読困難ブロック抽出部４０８は、判読困難ブロックを判定する際の閾値を、閾値変更指示部４２６から入力した新閾値４７４に変更して改めて判読困難ブロックの抽出を行い、判読困難ブロックと判定したブロックにブロック番号を付し、各ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報４６４（図中では「ブロック番号、位置情報４６４」と記載）を文書表示部１１０及び変換対象抽出部１１４に出力する（Ｓ４０８）。判読困難ブロック抽出部４０８のその他の処理は、第１の実施形態の判読困難ブロック抽出部１０８と同様である。

本実施形態にかかる発明によれば、テキストの判読困難性の判断基準がユーザにとって不適切である場合に、ユーザの指示により判読困難性の判断基準を調整することの可能な情報提示装置を提供することができる。また、実施形態２或は実施形態３と組合わせることにより、実施形態２或は実施形態３によって自動的に調整された閾値がユーザにとって不適切なものとなった場合に、ユーザの指示により判読困難性の判断基準を調整することの可能な情報提示装置を提供することができる。
［第５の実施形態］
図２６〜図２８に基づき、また第１の実施形態の説明で参照した図も随時参照して、本発明の情報提示装置の第５の実施形態について説明する。なお、第１の実施形態で説明した構成等については、同じ参照符号を付し、その説明を省略する。

図２６は、第５の実施形態にかかる情報提示装置５００の概略構成を示すブロック図であり、図２７は、第５の実施形態にかかる情報提示装置５００のフローチャートである。

本実施形態にかかる情報提示装置は、画面上に表示され、画面内に収まりきらなかったテキストも判読困難としてブロック選択部により選択可能とするように構成したものである。

判読困難ブロック抽出部５０８は、レイアウト解析部１０４から入力したテキストブロックとその文書情報中の位置情報１５６、及び表示データ決定部１０６から入力した表示データとその文書情報中の位置情報１６０を基に、画面上に表示されるテキストをテキストブロック毎に分割した表示ブロックを抽出し、各表示ブロックのうち、テキストブロックとその文書情報中の位置情報１５６中の各テキストブロックの全体が表示されず一部分だけが表示される表示ブロックも判読困難ブロックと判定する（Ｓ５０８）。ここで、テキストブロックの周辺部分に無効領域を設定し、表示ブロックが無効領域しか含まない場合には、判読困難ブロックから除外するようにしてもよい。すなわち、テキストブロックのごく一部しか表示されない場合にはブロック選択部１１２による選択対象から外すことにより選択対象のブロック数を制限し、操作性の向上を図ることができる。判読困難ブロック抽出部５０８のその他の処理は、第１の実施形態の判読困難ブロック抽出部１０８と同様である。

図２８は、第５の実施形態にかかる情報提示装置の画面表示例である。

本実施形態の説明においても、図８を入力文書の例とする。これをそのまま表示すると、図２８のようになる。すなわち、文字サイズが予め定められた閾値以下の表示ブロックはないが、テキストが右側にはみ出ている表示ブロックが存在するため、この表示ブロックに読上げ選択可能を示す枠が表示されブロック番号を示す数字が付される。ここで数字に対応するキーをユーザが押下すると、そのブロックに相当するテキストが画面に表示されていない部分も含め読上げられる。

本実施形態にかかる発明によれば、文字サイズは大きくてもテキストが完全に画面内に収まっていないためにテキストの内容が判読困難な場合にも、テキストを容易に選択し、その内容を音声で聞くことの可能な情報提示装置を提供することができる。

[第６の実施形態]
図２９〜図３１に基づいて、本発明の情報提示装置の第６の実施形態について説明する。なお、第１の実施形態で説明した構成等については、同じ参照符号を付し、その説明を省略する。

図２９は、第６の実施形態にかかる情報提示装置６００の概略構成を示すブロック図であり、図３０は、第６の実施形態にかかる情報提示装置６００のフローチャートである。

本実施形態にかかる情報提示装置は、入力文書中にテキストデータに対応する音声データが付随している場合には、このテキストの読上げに際して、対応する音声データを出力するように構成したものである。

文書情報入力部６０２が出力する（Ｓ６０２）文書情報６５４に含まれるテキストデータには、対応する音声データが付随していてもよい。

レイアウト解析部６０４は、テキストデータに音声データが付随している場合には、テキストブロックとその文書情報中の位置情報及び対応する音声データ６５６（図中では「テキストブロック、位置情報、音声データ６５６」と記載）を判読困難ブロック抽出部６０８に出力する（Ｓ６０４）。ここで、テキストブロックとその文書情報中の位置情報及び対応する音声データ６５６のデータ構造は如何様でもよく、例えば図３１に示すように、各テキストブロックの内容と、１次元配列で表された文書情報のうちで該各テキストブロックが占める位置を表す始端アドレス、終端アドレス、及び該各テキストブロックに対応する音声データの内容をセットにしたようなデータ構造で記述される。ここで、音声データの形式は如何様でもよいが、例えばＷＡＶＥ形式やＭＰ３形式等が想定される。なお、テキストデータに音声データが付随していない場合には、音声データが存在しないことを示す予め定めたデータを音声データの代わりに入れておく。レイアウト解析部６０４のその他の処理は、第１の実施形態のレイアウト解析部１０４と同様である。

判読困難ブロック抽出部６０８は、レイアウト解析部６０４から入力したテキストブロックとその文書情報中の位置情報及び対応する音声データ６５６を変換対象抽出部６１４に出力する（Ｓ６０８）。判読困難ブロック抽出部６０８のその他の処理は、第１の実施形態の判読困難ブロック抽出部１０８と同様である。

変換対象抽出部６１４は、抽出した読上げ対象のテキストデータに音声データが付随している場合は、その音声データを読上げ対象の音声データ６７６として音声出力部６１６に出力する（Ｓ６１４）。変換対象抽出部６１４のその他の処理は、第１の実施形態の変換対象抽出部１１４と同様である。

音声出力部６１６は、変換対象抽出部６１４から読上げ対象の音声データ６７６を入力した場合は、これを音声に変換しスピーカ等から出力する（Ｓ６１６）。音声出力部６１６のその他の処理は、第１の実施形態の音声出力部１１６と同様である。

本実施形態にかかる発明によれば、テキストデータに付随する音声データが入力文書中に存在する場合には、音声合成によらず、対応する音声データによる音声を出力するため、より適切な音声を出力することの可能な情報提示装置を提供することができる。また、入力文書中の全てのテキストデータに対応する音声データが付随していると想定される場合には、音声合成機能の不要な情報提示装置を提供することができる。

[第７の実施形態]
図３２〜図３４に基づいて、本発明の情報提示装置の第７の実施形態について説明する。なお、第１の実施形態で説明した構成等については、同じ参照符号を付し、その説明を省略する。

図３２は、第７の実施形態にかかる情報提示装置７００の概略構成を示すブロック図であり、図３３は、第７の実施形態にかかる情報提示装置７００のフローチャートである。

本実施形態にかかる情報提示装置は、テキストの場合と同様に、画面に表示される文書から判読しにくいであろう楽譜を推定し、それらをいくつかのブロックに分けて他の部分と区別できるように表示した上で各々に番号を付し、ユーザが内容を知りたい楽譜ブロックの番号に相当する数字キーを押下すると、対応する楽譜ブロックの内容を演奏で聞かせるように構成したものである。

文書情報入力部７０２はテキスト及び楽譜のいずれかもしくは両方を含む文書７５２から文書情報７５４を抽出してレイアウト解析部７０４に出力する（Ｓ７０２）。なお、楽譜データには対応する演奏データが付随しているものとする。

レイアウト解析部７０４は、文書情報入力部７０２から入力した文書情報７５４から楽譜ブロックとその文書情報中の位置情報及び対応する演奏データ７７８（図中では「楽譜ブロック、位置情報、演奏データ７７８」と記載）を抽出し、判読困難ブロック抽出部７０８に出力する（Ｓ７０４）。ここで、楽譜ブロックとその文書情報中の位置情報及び対応する演奏データ７７８のデータ構造は如何様でもよく、例えば図３４に示すように、各楽譜ブロックの内容と、２次元レイアウトされた文書情報のうちで該各楽譜ブロックが占める位置を表す左上座標、右下座標、及び該各楽譜ブロックに対応する演奏データの内容をセットにしたようなデータ構造で記述される。なお、演奏データの形式は如何様でもよいが、例えばＭＩＤＩ形式やＷＡＶＥ形式、ＭＰ３形式等が想定される。レイアウト解析部７０４のその他の処理は、第１の実施形態のレイアウト解析部１０４と同様である。

判読困難ブロック抽出部７０８は、レイアウト解析部７０４から入力した楽譜ブロックとその文書情報中の位置情報及び対応する演奏データ７７８を変換対象抽出部７１４に出力するとともに、楽譜ブロックとその文書情報中の位置情報及び対応する演奏データ７７８、及び表示データ決定部１０６から入力した表示データとその文書情報中の位置情報１６０を基に、画面上に表示される楽譜を楽譜ブロック毎に分割した表示ブロックを抽出し、各表示ブロックに含まれる楽譜を表示した場合の五線の線間隔を計算し、予め定められた閾値以下の線間隔の五線が含まれる表示ブロックを判読困難ブロックと判定し、判読困難ブロックと判定した表示ブロックにブロック番号を付し、各判読困難ブロックのブロック番号と文書情報中の位置情報、画面上の位置情報１６４を文書表示部１１０及び変換対象抽出部７１４に出力する（Ｓ７０８）。

ここで五線の線間隔の定義は如何様でもよく、例えば、その五線が画面上に表示されるときの線間の画素数或は実寸等を用いる。判読困難ブロック抽出部７０８のその他の処理は、第１の実施形態の判読困難ブロック抽出部１０８と同様である。

変換対象抽出部７１４は、ブロック選択部１１２によって選択されたブロックが楽譜ブロックであった場合には（Ｓ７１３：楽譜）、ブロック選択部１１２から入力したブロック番号１６６と、判読困難ブロック抽出部７０８から入力した判読困難ブロックのブロック番号と文書情報中の位置情報１６４、及び楽譜ブロックとその文書情報中の位置情報及び対応する演奏データ７７８を基に演奏対象の演奏データ７８０を抽出し、音楽出力部７２８に出力する（Ｓ７１４）。選択されたブロックがテキストブロックであった場合（Ｓ７１３：テキスト）の変換対象抽出部７１４の処理は第１の実施形態の変換対象抽出部１１４と同様である。

音楽出力部７２８は、変換対象抽出部７１４から入力した演奏対象の演奏データ７８０を音楽に変換しスピーカ等から出力する（Ｓ７２８）。

本実施形態にかかる発明によれば、表示された文書中の判読困難な楽譜を容易に選択し、その内容を演奏で聞くことの可能な情報提示装置を提供することができる。

本発明の各実施形態における情報提示装置は、特に小さな表示画面を備えた携帯機器に使用されるものとしているが、これに限定するものではなく、大画面を備えた機器或は据置き型の機器にも適用可能である。

なお、上述した各実施形態にかかる情報提示装置は、ハードウェアとして実施可能であるだけでなく、コンピュータのソフトウェアとしても実施可能である。例えば、第１の実施形態において、図３に示したレイアウト解析部１０４、表示データ決定部１０６、判読困難ブロック抽出部１０８、文書表示部１１０、ブロック選択部１１２、変換対象抽出部１１４、及び音声出力部１１６の機能をコンピュータに実行させるプログラムを作成し、当該プログラムをコンピュータのメモリに読み込ませて実行させれば、図３に示した情報提示装置を実現することができる。なお、第２の実施形態以降の装置についても同様に、コンピュータのソフトウェア（プログラム）により実現可能である。

本発明の実施形態にかかる情報提示装置を実現するプログラムは、図３５に示すように、ＣＤ−ＲＯＭやＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等やフレキシブルディスク等の可搬型記録媒体８３２だけでなく、通信回線８３４の先に備えられた他の記憶装置８３６や、コンピュータシステム８３０のハードディスクやＲＡＭ等の記憶装置、記録媒体８３８のいずれに記憶されるものであってもよく、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。

以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１）
テキストを含む文書を入力して文書情報を抽出する文書情報入力部と、
前記文書情報からテキストブロックとその該文書情報中の位置情報を抽出するレイアウト解析部と、
現在の表示位置及び表示倍率を基に、前記文書情報から表示データを抽出する表示データ決定部と、
前記テキストブロックとその前記文書情報中の位置情報、及び前記表示データとその前記文書情報中の位置情報を基に、画面上に表示されるテキストをテキストブロック毎に分割した表示ブロックを抽出し、該各表示ブロックに含まれる文字を表示した場合の該文字のサイズが予め定められた閾値以下となる表示ブロックを判読困難ブロックと判定してブロック番号を付す判読困難ブロック抽出部と、
前記各判読困難ブロックの領域を他の領域と区別して、前記表示データを表示する文書表示部と、
ユーザからの読上げ対象ブロック選択指示を受付けるブロック選択部と、
前記選択されたブロックのブロック番号と、前記判読困難ブロックの前記ブロック番号と前記文書情報中の位置情報、及び前記テキストブロックとその前記文書情報中の位置情報を基に読上げ対象のテキストデータを抽出する変換対象抽出部と、
前記読上げ対象のテキストデータを音声に変換し出力する音声出力部と、
を備えたことを特徴とする情報提示装置。
（付記２）
付記１に記載の情報提示装置であって、さらに、
ユーザからの読上げ対象テキスト指定を受付け、該読上げ対象テキストの座標データを抽出する読上げ対象指定部と、
前記座標データと前記表示データを基に該読上げ対象テキスト中の最小文字サイズの値を検出する最小サイズ検出部と、
前記閾値の現在値が前記最小文字サイズの値より小さければ、該最小文字サイズの値を新閾値とする閾値変更部と、
を備え、
前記変換対象抽出部は、さらに前記座標データと、前記テキストブロックとその前記文書情報中の位置情報、及び前記表示データとその前記文書情報中の位置情報を基に読上げ対象のテキストデータを抽出し、
前記判読困難ブロック抽出部は、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
ことを特徴とする情報提示装置。
（付記３）
付記１に記載の情報提示装置であって、さらに、
ユーザからの表示位置の変更指示或は表示倍率の変更指示を受付ける表示位置・表示倍率変更指示部と、
前記表示倍率変更指示が文書の拡大指示である場合に、拡大前の前記表示データとその前記文書情報中の位置情報を基に、前記表示データに含まれ、前記判読困難ブロックに含まれないテキスト中の最小文字サイズの値を検出する最小サイズ検出部と、
前記最小文字サイズの値を新閾値とする閾値変更部と、
を備え、
前記表示データ決定部は、前記表示位置の変更指示或は表示倍率の変更指示と、現在の表示位置及び表示倍率を基に、前記文書情報から表示データを抽出し、
前記判読困難ブロック抽出部は、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
ことを特徴とする情報提示装置。
（付記４）
付記１乃至付記３に記載の情報提示装置であって、さらに、
ユーザからの閾値変更指示を受付けて新閾値を抽出する閾値変更指示部と、
を備え、
前記判読困難ブロック抽出部は、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
ことを特徴とする情報提示装置。
（付記５）
付記１乃至付記４に記載の情報提示装置であって、
前記判読困難ブロック抽出部は、さらに前記テキストブロックに含まれるテキストデータの一部分しか含まない前記表示ブロックも判読困難ブロックと判定してブロック番号を付す、
ことを特徴とする情報提示装置。
（付記６）
付記１乃至付記５に記載の情報提示装置であって、
前記文書情報に含まれるテキストデータは音声データを伴い、
前記変換対象抽出部は、さらに前記読上げ対象のテキストデータに対応する前記音声データを抽出する、
ことを特徴とする情報提示装置。
（付記７）
付記１乃至付記６に記載の情報提示装置であって、さらに、
演奏データを音楽に変換し出力する音楽出力部と、
を備え、
前記文書情報はテキストデータ、及び演奏データを伴った楽譜データのいずれかもしくは両方を含み、
前記レイアウト解析部は、さらに前記文書情報から楽譜ブロックとその前記文書情報中の位置情報、及び対応する演奏データを抽出し、
前記判読困難ブロック抽出部は、さらに前記楽譜ブロックとその前記文書情報中の位置情報、及び前記表示データとその前記文書情報中の位置情報を基に、画面上に表示される楽譜を楽譜ブロック毎に分割した表示ブロックを抽出し、各表示ブロックに含まれる楽譜を表示した場合の五線の線間隔が予め定められた閾値以下となる表示ブロックを判読困難ブロックと判定してブロック番号を付し、
前記変換対象抽出部は、さらに前記選択されたブロックの前記ブロック番号と、前記判読困難ブロックの前記文書情報中の位置情報とブロック番号、及び前記楽譜ブロックとその前記文書情報中の位置情報を基に演奏対象の楽譜データに対応する演奏データを抽出する、
ことを特徴とする情報提示装置。
（付記８）
コンピュータにロードされて実行されるプログラムであって、
テキストを含む文書を入力して文書情報を抽出する文書情報入力ステップと、
前記文書情報からテキストブロックとその該文書情報中の位置情報を抽出するレイアウト解析ステップと、
現在の表示位置及び表示倍率を基に、前記文書情報から表示データを抽出する表示データ決定ステップと、
前記テキストブロックとその前記文書情報中の位置情報、及び前記表示データとその前記文書情報中の位置情報を基に、画面上に表示されるテキストをテキストブロック毎に分割した表示ブロックを抽出し、該各表示ブロックに含まれる文字を表示した場合の該文字のサイズが予め定められた閾値以下となる表示ブロックを判読困難ブロックと判定してブロック番号を付す判読困難ブロック抽出ステップと、
前記各判読困難ブロックの領域を他の領域と区別して、前記表示データを表示する文書表示ステップと、
ユーザからの読上げ対象ブロック選択指示を受付けるブロック選択ステップと、
前記選択されたブロックのブロック番号と、前記判読困難ブロックの前記ブロック番号と前記文書情報中の位置情報、及び前記テキストブロックとその前記文書情報中の位置情報を基に読上げ対象のテキストデータを抽出する変換対象抽出ステップと、
前記読上げ対象のテキストデータを音声に変換し出力する音声出力ステップと、
を備えたことを特徴とする情報提示プログラム。
（付記９）
付記８に記載の情報提示プログラムであって、さらに、
ユーザからの読上げ対象テキスト指定を受付け、該読上げ対象テキストの座標データを抽出する読上げ対象指定ステップと、
前記座標データと前記表示データを基に該読上げ対象テキスト中の最小文字サイズの値を検出する最小サイズ検出ステップと、
前記閾値の現在値が前記最小文字サイズの値より小さければ、該最小文字サイズの値を新閾値とする閾値変更ステップと、
を備え、
前記変換対象抽出ステップでは、さらに前記座標データと、前記テキストブロックとその前記文書情報中の位置情報、及び前記表示データとその前記文書情報中の位置情報を基に読上げ対象のテキストデータを抽出し、
前記判読困難ブロック抽出ステップでは、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
ことを特徴とする情報提示プログラム。
（付記１０）
付記８に記載の情報提示プログラムであって、さらに、
ユーザからの表示位置の変更指示或は表示倍率の変更指示を受付ける表示位置・表示倍率変更指示ステップと、
前記表示倍率変更指示が文書の拡大指示である場合に、拡大前の前記表示データとその前記文書情報中の位置情報を基に、前記表示データに含まれ、前記判読困難ブロックに含まれないテキスト中の最小文字サイズの値を検出する最小サイズ検出ステップと、
前記最小文字サイズの値を新閾値とする閾値変更ステップと、
を備え、
前記表示データ決定ステップでは、前記表示位置の変更指示或は表示倍率の変更指示と、現在の表示位置及び表示倍率を基に、前記文書情報から表示データを抽出し、
前記判読困難ブロック抽出ステップでは、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
ことを特徴とする情報提示プログラム。
（付記１１）
付記８乃至付記１０に記載の情報提示プログラムであって、さらに、
ユーザからの閾値変更指示を受付けて新閾値を抽出する閾値変更指示ステップと、
を備え、
前記判読困難ブロック抽出ステップでは、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
ことを特徴とする情報提示プログラム。
（付記１２）
付記８乃至付記１１に記載の情報提示プログラムであって、
前記判読困難ブロック抽出ステップでは、さらに前記テキストブロックに含まれるテキストデータの一部分しか含まない前記表示ブロックも判読困難ブロックと判定してブロック番号を付す、
ことを特徴とする情報提示プログラム。
（付記１３）
付記８乃至付記１２に記載の情報提示プログラムであって、
前記文書情報に含まれるテキストデータは音声データを伴い、
前記変換対象抽出ステップでは、さらに前記読上げ対象のテキストデータに対応する前記音声データを抽出する、
ことを特徴とする情報提示プログラム。
（付記１４）
付記８乃至付記１３に記載の情報提示プログラムであって、さらに、
演奏データを音楽に変換し出力する音楽出力ステップと、
を備え、
前記文書情報はテキストデータ、及び演奏データを伴った楽譜データのいずれかもしくは両方を含み、
前記レイアウト解析ステップでは、さらに前記文書情報から楽譜ブロックとその前記文書情報中の位置情報、及び対応する演奏データを抽出し、
前記判読困難ブロック抽出ステップでは、さらに前記楽譜ブロックとその前記文書情報中の位置情報、及び前記表示データとその前記文書情報中の位置情報を基に、画面上に表示される楽譜を楽譜ブロック毎に分割した表示ブロックを抽出し、各表示ブロックに含まれる楽譜を表示した場合の五線の線間隔が予め定められた閾値以下となる表示ブロックを判読困難ブロックと判定してブロック番号を付し、
前記変換対象抽出ステップでは、さらに前記選択されたブロックの前記ブロック番号と、前記判読困難ブロックの前記文書情報中の位置情報とブロック番号、及び前記楽譜ブロックとその前記文書情報中の位置情報を基に演奏対象の楽譜データに対応する演奏データを抽出する、
ことを特徴とする情報提示プログラム。

従来の情報提示装置の概略構成を示すブロック図。 従来の情報提示装置のフローチャートを示す図。 第１の実施形態にかかる情報提示装置の概略構成を示すブロック図。 第１の実施形態にかかる情報提示装置のフローチャートを示す図。 第１の実施形態にかかる情報提示装置のデータ構造例（１）を示す図。 第１の実施形態にかかる情報提示装置のデータ構造例（２）を示す図。 第１の実施形態にかかる情報提示装置のデータ構造例（３）を示す図。 第１の実施形態にかかる情報提示装置の入力文書例を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（１）を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（２）を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（３）を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（４）を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（５）を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（６）を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（７）を示す図。 第１の実施形態にかかる情報提示装置の画面表示例（８）を示す図。 第２の実施形態にかかる情報提示装置の概略構成を示すブロック図。 第２の実施形態にかかる情報提示装置のフローチャートを示す図。 第２の実施形態にかかる情報提示装置の画面表示例（１）を示す図。 第２の実施形態にかかる情報提示装置の画面表示例（２）を示す図。 第３の実施形態にかかる情報提示装置の概略構成を示すブロック図。 第３の実施形態にかかる情報提示装置のフローチャートを示す図。 第３の実施形態にかかる情報提示装置の画面表示例を示す図。 第４の実施形態にかかる情報提示装置の概略構成を示すブロック図。 第４の実施形態にかかる情報提示装置のフローチャートを示す図。 第５の実施形態にかかる情報提示装置の概略構成を示すブロック図。 第５の実施形態にかかる情報提示装置のフローチャートを示す図。 第５の実施形態にかかる情報提示装置の画面表示例を示す図。 第６の実施形態にかかる情報提示装置の概略構成を示すブロック図。 第６の実施形態にかかる情報提示装置のフローチャートを示す図。 第６の実施形態にかかる情報提示装置のデータ構造例を示す図。 第７の実施形態にかかる情報提示装置の概略構成を示すブロック図。 第７の実施形態にかかる情報提示装置のフローチャートを示す図。 第７の実施形態にかかる情報提示装置のデータ構造例を示す図。 コンピュータ環境の例を示す図。

符号の説明

１００、２００、３００、４００、５００、６００、７００ 情報提示装置
１０１、２０１、４０１、７０１ ユーザ
１０２、６０２、７０２ 文書情報入力部
１０４、６０４、７０４ レイアウト解析部
１０６ 表示データ決定部
１０８、２０８、３０８、４０８、５０８、６０８、７０８ 判読困難ブロック抽出部
１１０ 文書表示部
１１２ ブロック選択部
１１４、２１４、６１４、７１４ 変換対象抽出部
１１６、６１６ 音声出力部
１１８、３１８ 表示位置・表示倍率変更指示部
２２０ 読上げ対象指定部
２２２、３２２ 最小サイズ検出部
２２４、３２４ 閾値変更部
４２６ 閾値変更指示部
７２８ 音楽出力部
８３０ コンピュータシステム
８３２ 可搬型記録媒体
８３４ 通信回線
８３６ 記憶装置
８３８ 記憶装置、記録媒体
１５２、６５２、７５２ 文書
１５４、６５４、７５４ 文書情報
１５６ テキストブロック、位置情報
６５６ テキストブロック、位置情報、音声データ
１５８ 表示データ
１６０ 表示データ、位置情報
１６２ 表示位置変更情報、表示倍率変更情報
１６４、２６４、３６４、４６４ ブロック番号、位置情報
１６６ ブロック番号
１６８、２６８ 読上げ対象のテキストデータ
２７０ 読上げ対象の座標データ
２７２、３７２ 最小文字サイズの値
２７４、３７４、４７４ 新閾値
６７６ 読上げ対象の音声データ
７７８ 楽譜ブロック、位置情報、演奏データ
７８０ 演奏対象の演奏データ

Claims (10)

1. テキストを含む文書を入力して文書情報を抽出する文書情報入力部と、
   前記文書情報からテキストブロックとその該文書情報中の位置情報を抽出するレイアウト解析部と、
   現在の表示位置及び表示倍率を基に、前記文書情報から表示データとその前記文書情報中の位置情報を抽出する表示データ決定部と、
   前記テキストブロックとその前記文書情報中の位置情報とを対応付ける情報、及び前記表示データとその前記文書情報中の位置情報とを対応付ける情報を基に、画面上に表示されるテキストをテキストブロック毎に分割した表示ブロックを抽出し、該各表示ブロックに含まれる文字を表示した場合の該文字のサイズが予め定められた閾値以下となる表示ブロックを判読困難ブロックと判定してブロック番号を付す判読困難ブロック抽出部と、
   前記各判読困難ブロックの領域を他の領域と区別して、前記表示データを表示する文書表示部と、
   ユーザからの読上げ対象となる判読困難ブロックの選択指示を受付けるブロック選択部と、
   前記判読困難ブロックの前記ブロック番号と前記文書情報中の位置情報とを対応付ける情報、及び前記テキストブロックとその前記文書情報中の位置情報とを対応付ける情報を基に、前記選択されたブロックのブロック番号に対応する読上げ対象のテキストデータを抽出する変換対象抽出部と、
   前記読上げ対象のテキストデータを音声に変換し出力する音声出力部と、
   を備えたことを特徴とする情報提示装置。
2. 請求項１に記載の情報提示装置であって、さらに、
   ユーザからの読上げ対象テキスト指定を受付け、該読上げ対象テキストの座標データを抽出する読上げ対象指定部と、
   前記座標データと前記表示データを基に該読上げ対象テキスト中の最小文字サイズの値を検出する最小サイズ検出部と、
   前記閾値の現在値が前記最小文字サイズの値より小さければ、該最小文字サイズの値を新閾値とする閾値変更部と、
   を備え、
   前記変換対象抽出部は、さらに、前記テキストブロックとその前記文書情報中の位置情報とを対応付ける情報、及び前記表示データとその前記文書情報中の位置情報とを対応付ける情報を基に、前記座標データに対応する読上げ対象のテキストデータを抽出し、
   前記判読困難ブロック抽出部は、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
   ことを特徴とする情報提示装置。
3. 請求項１に記載の情報提示装置であって、さらに、
   ユーザからの表示位置の変更指示或は表示倍率の変更指示を受付ける表示位置・表示倍率変更指示部と、
   前記表示倍率変更指示が文書の拡大指示である場合に、拡大前の前記表示データとその前記文書情報中の位置情報を基に、前記表示データに含まれ、前記判読困難ブロックに含まれないテキスト中の最小文字サイズの値を検出する最小サイズ検出部と、
   前記最小文字サイズの値を新閾値とする閾値変更部と、
   を備え、
   前記表示データ決定部は、前記表示位置の変更指示或は表示倍率の変更指示と、現在の表示位置及び表示倍率を基に、前記文書情報から表示データを抽出し、
   前記判読困難ブロック抽出部は、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
   ことを特徴とする情報提示装置。
4. 請求項１乃至請求項３に記載の情報提示装置であって、さらに、
   ユーザからの閾値変更指示を受付けて新閾値を抽出する閾値変更指示部と、
   を備え、
   前記判読困難ブロック抽出部は、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
   ことを特徴とする情報提示装置。
5. 請求項１乃至請求項４に記載の情報提示装置であって、
   前記判読困難ブロック抽出部は、さらに前記テキストブロックに含まれるテキストデータの一部分しか含まない前記表示ブロックも判読困難ブロックと判定してブロック番号を付す、
   ことを特徴とする情報提示装置。
6. 請求項１乃至請求項５に記載の情報提示装置であって、
   前記文書情報に含まれるテキストデータは音声データを伴い、
   前記変換対象抽出部は、さらに前記読上げ対象のテキストデータに対応する前記音声データを抽出する、
   ことを特徴とする情報提示装置。
7. 請求項１乃至請求項６に記載の情報提示装置であって、さらに、
   演奏データを音楽に変換し出力する音楽出力部と、
   を備え、
   前記文書情報はテキストデータ、及び演奏データを伴った楽譜データのいずれかもしくは両方を含み、
   前記レイアウト解析部は、さらに前記文書情報から楽譜ブロックとその前記文書情報中の位置情報、及び対応する演奏データを抽出し、
   前記判読困難ブロック抽出部は、さらに前記楽譜ブロックとその前記文書情報中の位置情報とを対応付ける情報、及び前記表示データとその前記文書情報中の位置情報とを対応付ける情報を基に、画面上に表示される楽譜を楽譜ブロック毎に分割した表示ブロックを抽出し、各表示ブロックに含まれる楽譜を表示した場合の五線の線間隔が予め定められた閾値以下となる表示ブロックを判読困難ブロックと判定してブロック番号を付し、
   前記変換対象抽出部は、さらに、前記判読困難ブロックとその前記文書情報中の位置情報とを対応付ける情報、及び前記楽譜ブロックの前記文書情報中の位置情報と演奏データとを対応付ける情報を基に、前記選択されたブロックのブロック番号に対応する演奏データを抽出する、
   ことを特徴とする情報提示装置。
8. コンピュータにロードされて実行されるプログラムであって、
   テキストを含む文書を入力して文書情報を抽出する文書情報入力ステップと、
   前記文書情報からテキストブロックとその該文書情報中の位置情報を抽出するレイアウト解析ステップと、
   現在の表示位置及び表示倍率を基に、前記文書情報から表示データとその前記文書情報中の位置情報を抽出する表示データ決定ステップと、
   前記テキストブロックとその前記文書情報中の位置情報とを対応付ける情報、及び前記表示データとその前記文書情報中の位置情報とを対応付ける情報を基に、画面上に表示されるテキストをテキストブロック毎に分割した表示ブロックを抽出し、該各表示ブロックに含まれる文字を表示した場合の該文字のサイズが予め定められた閾値以下となる表示ブロックを判読困難ブロックと判定してブロック番号を付す判読困難ブロック抽出ステップと、
   前記各判読困難ブロックの領域を他の領域と区別して、前記表示データを表示する文書表示ステップと、
   ユーザからの読上げ対象となる判読困難ブロックの選択指示を受付けるブロック選択ステップと、
   前記判読困難ブロックの前記ブロック番号とその前記文書情報中の位置情報とを対応付ける情報、及び前記テキストブロックとその前記文書情報中の位置情報とを対応付ける情報を基に、前記選択されたブロックのブロック番号に対応する読上げ対象のテキストデータを抽出する変換対象抽出ステップと、
   前記読上げ対象のテキストデータを音声に変換し出力する音声出力ステップと、
   を備えたことを特徴とする情報提示プログラム。
9. 請求項８に記載の情報提示プログラムであって、さらに、
   ユーザからの読上げ対象テキスト指定を受付け、該読上げ対象テキストの座標データを抽出する読上げ対象指定ステップと、
   前記座標データと前記表示データを基に該読上げ対象テキスト中の最小文字サイズの値を検出する最小サイズ検出ステップと、
   前記閾値の現在値が前記最小文字サイズの値より小さければ、該最小文字サイズの値を新閾値とする閾値変更ステップと、
   を備え、
   前記変換対象抽出ステップでは、さらに、前記テキストブロックとその前記文書情報中の位置情報とを対応付ける情報、及び前記表示データとその前記文書情報中の位置情報とを対応付ける情報を基に、前記座標データに対応する読上げ対象のテキストデータを抽出し、
   前記判読困難ブロック抽出ステップでは、さらに前記閾値を前記新閾値に変更して、改めて判読困難ブロックの抽出を行う、
   ことを特徴とする情報提示プログラム。
10. 請求項８乃至請求項９に記載の情報提示プログラムであって、
    前記判読困難ブロック抽出ステップでは、さらに前記テキストブロックに含まれるテキストデータの一部分しか含まない前記表示ブロックも判読困難ブロックと判定してブロック番号を付す、
    ことを特徴とする情報提示プログラム。

Images