JP5691654B2 - 表示制御装置、表示制御方法、および表示制御プログラム - Google Patents

Description

本発明は、表示装置への情報の表示を制御する表示制御装置、表示制御方法、および表示制御プログラムに係わる。

Ｅ−ラーニング、プレゼンテーション等のために、情報の表示と連動して、その表示内容を説明する合成音声を提供する技術が実用化されてきている。このとき、ユーザにとっては、合成音声が表示内容のどの部分について説明しているのかが分かると便利である。例えば、合成音声による文書読上げの進行に連動して、読み上げられている文書の内容に対応する領域が強調表示されると、利便性が向上する。

関連する技術として、下記の文書読上げ装置が提案されている。文書読上げ装置は、単語を登録した単語辞書記憶部と、単語辞書記憶部を用いて文書データを日本語解析する日本語解析部と、日本語解析部の解析結果を基に音声データを生成する音声データ生成部と、生成された音声データ及び少なくとも読上げ速度の制御情報を受けて音声合成を行なう音声合成部と、音声合成部で得た音声信号を拡声して文書データを読上げるスピーカと、読上げ速度の制御情報に基づき、スピーカでの拡声に同期して文書データの該当部分を表示部で表示させる表示処理部と、音声合成部における残る音声データ量及び読上げ速度の制御情報により読上げに要する残り時間を算出し、表示処理部による文書データと共に表示部で表示させる読上げ残量処理部、を備える。（例えば、特許文献１）
また、他の関連する技術として、下記の文書読上げ装置が提案されている。文書読上げ装置においては、文書データの日本語解析および音声合成を通して文書の読み上げを行うメインルーチンに、読み上げを行う文書中の任意の単語をオペレータが指定してこの単語の読みを変更するためのサブルーチンを付加し、このサブルーチンはメインルーチンの実行中に割り込み処理として実行される。（例えば、特許文献２）

特開平７−１８１９９２号公報 特開平６−２０２８４３号公報

合成音声で読み上げられる文書の内容に応じて、表示装置上の画像内で対応する領域を強調表示するためには、読み上げられている文書と表示されている領域との対応関係を予め設定しておく必要がある。しかしながら、従来技術においては、上述の対応関係は、人間が手作業で作成していた。このため、音声内容に連動して表示が変化するコンテンツを作成するためには、多大なコストが発生し、また、その作成に要する時間も長くなっていた。

本発明の課題は、音声出力に連動して対応する領域が強調される表示を容易に実現する表示制御装置、表示制御方法、表示制御プログラムを提供することである。

本発明の１つの態様の表示制御装置は、表示データからテキストを含むテキスト領域を抽出するテキスト領域抽出部と、前記テキスト領域抽出部により抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与する形態素解析部と、前記形態素解析部により得られる形態素から、予め決められた特定の品詞を有する特定単語を抽出する特定単語抽出部と、前記特定単語抽出部により抽出された特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算する相関計算部と、前記相関計算部により計算される相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成する対応関係決定部と、前記読上げ原稿データから各原稿要素の音声データを生成する音声合成部と、前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する同期制御部、を有する。

本発明の１つの態様の表示制御方法は、コンピュータを利用して、表示データからテキストを含むテキスト領域を抽出し、前記抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与し、前記形態素から、予め決められた特定の品詞を有する特定単語を抽出し、前記抽出された特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算し、前記相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成し、前記読上げ原稿データから各原稿要素の音声データを生成し、前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する。

上述の態様によれば、音声出力に連動して対応する領域が強調される表示を容易に実現できる。

実施形態の表示制御装置が使用されるシステムの一例を示す図である。 表示装置に表示される画像の一例を示す図である。 読上げ原稿データの一例を示す図である。 強調表示の一例を示す図である。 第１の実施形態の表示制御装置の構成を示す図である。 テキスト領域抽出部の処理を説明する図である。 各テキスト領域から得られる形態素解析の結果を示す図である。 各原稿要素から得られる形態素解析の結果を示す図である。 各テキスト領域から得られる自立語を示す図である。 各原稿要素から得られる自立語を示す図である。 相関計算部の処理を示すフローチャートである。 対応関係決定部の処理を示すフローチャートである。 第１の実施形態における処理結果を示す図である。 同期制御部の処理を示すフローチャートである。 第２の実施形態の表示制御装置の構成を示す図である。 係り受け解析の一例を示す図である。 文脈否定語辞書の一例を示す図である。 第２の実施形態における処理結果を示す図である。 第３の実施形態の表示制御装置の構成を示す図である。 位置情報スコア付加部の処理を示すフローチャートである。 （ａ）は位置情報スコアの実施例、（ｂ）は第３の実施形態における処理結果を示す図である。 第４の実施形態の表示制御装置の構成を示す図である。 類似語辞書の一例を示す図である。 一致または類似する自律語をカウントする処理を示すフローチャートである。 第４の実施形態における処理結果を示す図である。 表示制御装置を実現するためのコンピュータシステムのハードウェア構成を示す図である。

図１は、実施形態の表示制御装置が使用されるシステムの一例を示す。表示制御装置１は、例えば、パーソナルコンピュータ等のコンピュータにより実現される。また、表示制御装置１には、表示装置２およびスピーカ３が接続されている。表示装置２は、例えば液晶表示装置であり、表示制御装置１から与えられる画像データを表示する。また、スピーカ３は、表示制御装置１から与えられる音声データを出力する。表示制御装置１は、図示しないが、ネットワークに接続されるようにしてもよい。

表示制御装置１には、表示データ４および読上げ原稿データ５が入力される。表示データ４および読上げ原稿データ５は、例えば、着脱可能な記録媒体を利用して表示制御装置１に与えられる。或いは、表示データ４および読上げ原稿データ５は、例えば、他のコンピュータからネットワークを介して表示制御装置１に入力されるようにしてもよい。

表示制御装置１は、表示データ４により表わされる画像を表示装置２に表示する。図２は、表示データ４に従って表示装置２に表示される画像の一例を示す。この例では、表示データ４は、下記の５つのテキスト要素を含む。
０：４０代をとりまく経済的不安要因
１：増税が心配です
２：家のローンは大丈夫か？
３：自動車ローンもある
４：子供の養育費も結構かかる
なお、表示データ４は、画像フレーム内での各テキスト要素の位置、各テキスト要素のフォント、文字サイズ、色などを指定する情報を含むようにしてもよい。また、表示データ４は、他の画像要素を表す情報を含むようにしてもよい。

読上げ原稿データ５は、表示データ４に対応して作成されるテキストデータである。すなわち、読上げ原稿データ５の文書は、表示データ４により表わされる画像の内容を説明する。図３は、読上げ原稿データ５の文書の一例を示す。この例では、読上げ原稿データ５は、６つの原稿要素（文０〜文５）を含んでいる。また、この例では、１つの原稿要素が１つの文に対応しているが、１つの原稿要素が２以上の文を含んでもよい。

表示制御装置１は、表示データ４および読上げ原稿データ５が入力されると、図２に示す画像を表示装置２に表示すると共に、図３に示す文０〜文５の合成音声を生成してスピーカ３を利用して出力する。このとき、表示制御装置１は、読上げ原稿データ５の合成音声の進行に応じて（すなわち、読上げ原稿データ５の再生位置に応じて）、表示装置２に表示される画像を変化させる。例えば、図４に示すように、文３「更に、住宅のローンの返済が滞っていて、まだ終了していない人もいるでしょう。」の合成音声が出力されているときは、表示制御装置１は、表示装置２の画面上で、「家のローンは大丈夫か？」を含む領域を強調表示する。なお、強調表示は、特定の領域が他の領域から識別可能に表示されることを意味し、様々な方法により実現され得る。例えば、強調表示は、特に限定されるものではないが、対象テキストに下線を引く処理、対象テキストの文字サイズまたは字体を変更する処理、対象領域の色を変更する処理、対象領域を点滅させる処理、対象領域を拡大する処理などにより実現される。

このように、表示制御装置１は、音声データに連動して表示装置２の画面上の画像を変化させる。一例としては、表示制御装置１は、合成音声が説明している内容に対応する画像領域を強調表示する。

＜第１の実施形態＞
図５は、第１の実施形態の表示制御装置の構成を示す。第１の実施形態の表示制御装置１は、図５に示すように、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、相関計算部１４、対応関係決定部１５、音声合成部１６、同期制御部１７を備える。そして、表示制御装置１には、表示資料および読上げ原稿が与えられる。表示資料は、上述した表示データ４に相当し、読上げ原稿は、上述した読上げ原稿データ５に相当する。

テキスト領域抽出部１１は、表示資料の中から文字列を含む領域を抽出する。以下の記載では、表示資料中の文字列を含む各領域を「テキスト領域」と呼ぶことにする。たとえば、表示制御装置１に図２に示す画像を表す表示資料が入力されると、テキスト領域抽出部１１は、図６に示すように、５つのテキスト領域を抽出する。そして、テキスト領域抽出部１１は、抽出した各テキスト領域に対して識別番号を付与する。この例では、文字列「４０代をとりまく経済的不安要因」を含む領域に対して「０」が付与され、文字列「増税が心配です」を含む領域に対して「１」が付与され、文字列「家のローンは大丈夫か？」を含む領域に対して「２」が付与され、文字列「自動車ローンもある」を含む領域に対して「３」が付与され、文字列「子供の養育費も結構かかる」を含む領域に対して「４」が付与されている。

形態素解析部１２は、テキスト領域抽出部１１により抽出された各テキスト領域内の文字列をそれぞれ形態素に分割する。また、形態素解析部１２は、読上げ原稿に含まれる各原稿要素の文字列もそれぞれ形態素に分割する。そして、形態素解析部１２は、上述のようにして得られる各形態素にそれぞれ品詞を付与する。なお、図５においては、形態素解析部１２は、表示資料中の各文字列を形態素に分解する形態素解析部１２ａ、および読上げ原稿中の各文字列を形態素に分解する形態素解析部１２ｂを備えているが、形態素解析部１２の構成（或いは、処理手順）は特に限定されるものではない。

図７および図８は、形態素解析部１２により得られる解析結果を示す。図７は、テキスト領域抽出部１１により表示資料から抽出された各テキスト領域内の文字列から得られる形態素解析の結果を示す。また、図８は、読上げ原稿に含まれる各原稿要素の文字列から得られる形態素解析の結果を示す。

例えば、表示資料のテキスト領域１は、文字列「増税が心配です」を含んでいる。この場合、形態素解析部１２は、形態素解析により、この文字列を４つの形態素「増税」「が」「心配」「です」に分解する。そして、形態素解析部１２は、下記の通り、各形態素の品詞を判定する。
増税：名詞
が：助詞
心配：形容動詞
です：助動詞
なお、文字列を形態素に分解する方法、および各形態素の品詞を判定する方法は、様々な手順が知られている。形態素解析部１２は、任意の方法で形態素解析を実行することができる。

自立語抽出部１３は、形態素解析部１２により得られる形態素から自立語を抽出する。ここで、「自立語」は、それ単体で意味を有する単語である。すなわち、名詞、動詞、形容詞、形容動詞、副詞、代名詞、接続詞は、自立語に含まれる。したがって、自立語抽出部１３は、形態素解析部１２により得られる形態素から、助詞、助動詞などを除去する。ただし、本明細書においては、「自立語」は、日本語文法において定義される自立語ではなく、予め決められた特定の品詞を有する単語（特定単語または特定品詞単語）を意味するものとする。この例では、自立語抽出部１３は、「自立語」として、形態素解析部１２により得られる形態素から、名詞、動詞、形容詞、形容動詞、副詞を抽出するものとする。すなわち、自立語抽出部１３は、形態素解析部１２により得られる形態素から、代名詞、接続詞も除去する。

なお、図５においては、自立語抽出部１３は、表示資料内の各文字列から自立語を抽出する自立語抽出部１３ａ、および読上げ原稿中の各文字列から自立語を抽出する自立語抽出部１３ｂを備えているが、自立語抽出部１３の構成（或いは、処理手順）は特に限定されるものではない。

図９および図１０は、自立語抽出部１３により得られる抽出結果を示す。図９は、表示資料内の各文字列から抽出される自立語を示す。また、図１０は、読上げ原稿に含まれる各原稿要素の文字列から抽出される自立語を示す。

例えば、表示資料のテキスト領域１からは、形態素解析部１２により４つの形態素「増税（名詞）」「が（助詞）」「心配（形容動詞）」「です（助動詞）」が得られている。この場合、自立語抽出部１３は、上記４つの形態素から「が（助詞）」および「です（助動詞）」を除去し、「増税（名詞）」および「心配（形容動詞）」を抽出する。

相関計算部１４は、自立語抽出部１３により抽出された自立語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算する。相関計算部１４の処理のフローチャートを図１１に示す。なお、この例では、テキスト領域と原稿要素との間の相関は、テキスト領域および原稿要素が共通して有する自立語の個数で表わされる。

図１１に示すフローチャートでは、読上げ原稿中の各原稿要素は変数Ｍで識別され、表示資料内の各テキスト領域は変数Ｎで識別される。また、変数Ｋは、Ｎ番目のテキスト領域から抽出された各自立語を識別し、変数Ｌは、Ｍ番目の原稿要素から抽出された各自立語を識別する。

ステップＳ１、Ｓ１１は、読上げ原稿中の各原稿要素に対してステップＳ２〜Ｓ１０の処理を実行するために設けられている。すなわち、相関計算部１４は、すべての原稿要素に対してステップＳ２〜Ｓ１０の処理を実行するまで、変数Ｍを１ずつインクリメントしながら、各原稿要素に対してステップＳ２〜Ｓ１０の処理を実行する。変数Ｍの初期値はゼロである。したがって、図３に示す読上げ原稿が表示制御装置１に入力されると、相関計算部１４は、文０〜文５に対してそれぞれステップＳ２〜Ｓ１０の処理を実行する。

ステップＳ２、Ｓ１０は、表示資料内の各テキスト領域に対してステップＳ３〜Ｓ９の処理を実行するために設けられている。すなわち、相関計算部１４は、すべてのテキスト領域に対してステップＳ３〜Ｓ９の処理を実行するまで、変数Ｎを１ずつインクリメントしながら、各テキスト領域に対してステップＳ３〜Ｓ９の処理を実行する。変数Ｎの初期値はゼロである。したがって、図２に示す画像を表す表示資料が表示制御装置１に入力されると、相関計算部１４は、テキスト領域０〜４に対してそれぞれステップＳ３〜Ｓ９の処理を実行する。

ステップＳ３において、相関計算部１４は、一致個数[M][N]を格納するための配列をゼロに初期化する。なお、一致個数[M][N]は、Ｍ番目の原稿要素とＮ番目のテキスト領域との間で一致する自立語の個数を表す。また、一致個数[M][N]を格納するための配列は、表示制御装置１が備えるメモリ上に形成することができる。

ステップＳ４〜Ｓ９において、相関計算部１４は、Ｍ番目の原稿要素とＮ番目のテキスト領域との間で一致する自立語の個数をカウントする。ここで、ステップＳ４、Ｓ９は、上述の変数Ｋを利用して、Ｎ番目のテキスト領域から抽出される各自立語に対してステップＳ５〜Ｓ８の処理を実行する。また、ステップＳ５、Ｓ８は、上述の変数Ｌを利用して、Ｍ番目の原稿要素から抽出される各自立語に対してステップＳ６〜Ｓ７の処理を実行する。ステップＳ６において、相関計算部１４は、Ｍ番目の原稿要素から抽出されたＫ番目の自立語と、Ｎ番目のテキスト領域から抽出されたＬ番目の自立語とを互いに比較する。そして、これらの自立語が互いに一致していれば、相関計算部１４は、ステップＳ７において、一致個数[M][N]を１だけインクリメントする。一方、これらの自立語が互いに一致していなければ、相関計算部１４は、ステップＳ７の処理をスキップする。

一例を示す。ここでは、自立語抽出部１３による抽出結果が図８および図１０に示す通りであるものとする。また、読上げ原稿中の各原稿要素を文０〜文５を表記する。
例えば、Ｍ＝１、Ｎ＝１であるものとする。この場合、読上げ原稿の文１と表示資料のテキスト領域１との間で一致する自立語の個数がカウントされる。ここで、文１から抽出される自立語は以下の通りである。
文１：消費税、所得税、増税、税負担、増加、事、考え
また、テキスト領域１から抽出される自立語は以下の通りである。
領域１：増税、心配
このケースでは、文１とテキスト領域１との間で「増税」が一致している。したがって、相関計算部１４は、一致個数[1][1]として「１」を出力する。

Ｍ＝１、Ｎ＝２であるときは、読上げ原稿の文１と表示資料のテキスト領域２との間で一致する自立語の個数がカウントされる。ここで、文１から抽出される自立語は以下の通りである。
文１：消費税、所得税、増税、税負担、増加、事、考え
また、テキスト領域２から抽出される自立語は以下の通りである。
領域２：家、ローン、大丈夫
このケースでは、文１とテキスト領域２との間で一致する自立語は存在しない。したがって、相関計算部１４は、一致個数[1][2]として「０」を出力する。

Ｍ＝４、Ｎ＝２であるときは、読上げ原稿の文４と表示資料のテキスト領域２との間で一致する自立語の個数がカウントされる。ここで、文４から抽出される自立語は以下の通りである。
文４：家、ローン、以外、車、ローン、各種、ローン、ある
また、テキスト領域２から抽出される自立語は以下の通りである。
領域２：家、ローン、大丈夫
このケースでは、文４とテキスト領域２との間で「家」が一致する。また、領域２から抽出される「ローン」は、文４の２番目、５番目、７番目の自立語と一致する。よって、相関計算部１４は、一致個数[4][2]として「４」を出力する。

相関計算部１４は、表示資料内のテキスト領域０〜４と読上げ原稿中の文０〜５との間のすべての組合せについて、それぞれ、一致する自立語の個数をカウントする。相関計算部１４により得られる一致個数[M][N]の計算結果を図１３に示す。

対応関係決定部１５は、相関計算部１４により計算される相関の値（すなわち、一致する自立語の個数）に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成する。対応関係決定部１５の処理のフローチャートを図１２に示す。この例では、対応関係決定部１５は、各原稿要素について、一致する自立語を最も多く有するテキスト領域を「対応するテキスト領域」として特定する。

ステップＳ２１、Ｓ２９は、読上げ原稿中の各原稿要素に対してステップＳ２２〜Ｓ２８の処理を実行するために設けられている。すなわち、対応関係決定部１５は、すべての原稿要素に対してステップＳ２２〜Ｓ２８の処理を実行するまで、変数Ｍを１ずつインクリメントしながら、各原稿要素に対してステップＳ２２〜Ｓ２８の処理を実行する。変数Ｍの初期値はゼロである。したがって、図３に示す読上げ原稿が表示制御装置１に入力されると、対応関係決定部１５は、文０〜５に対してそれぞれステップＳ２２〜Ｓ２８の処理を実行する。

ステップＳ２２において、対応関係決定部１５は、変数ＭＡＸをゼロに初期化すると共に、変数ＩＮＤＥＸを−１に初期化する。変数ＭＡＸは、Ｍ番目の原稿要素と各テキスト領域との間で一致する自立語の個数の最大値を表す。また、変数ＩＮＤＥＸは、変数ＭＡＸを与えるテキスト領域を識別する。すなわち、変数ＩＮＤＥＸは、Ｍ番目の原稿要素との間で一致する自立語の個数が最大値となるテキスト領域を識別する。

ステップＳ２３、Ｓ２６は、表示資料内の各テキスト領域に対してステップＳ２４〜Ｓ２５の処理を実行するために設けられている。すなわち、対応関係決定部１５は、すべてのテキスト領域に対してステップＳ２４〜Ｓ２５の処理を実行するまで、変数Ｎを１ずつインクリメントしながら、各テキスト領域に対してステップＳ２４〜Ｓ２５の処理を実行する。変数Ｎの初期値はゼロである。したがって、図２に示す画像を表す表示資料が表示制御装置１に入力されると、対応関係決定部１５は、テキスト領域０〜４に対してそれぞれステップＳ２４〜Ｓ２５の処理を実行する。

ステップＳ２４において、対応関係決定部１５は、一致個数[M][N]と変数ＭＡＸとを比較する。一致個数[M][N]は、上述したように、Ｍ番目の原稿要素とＮ番目のテキスト領域との間で一致する自立語の個数を表す。そして、一致個数[M][N]が変数ＭＡＸよりも大きいときは、対応関係決定部１５は、ステップＳ２５において、変数ＭＡＸとして一致個数[M][N]の値を保持する。また、対応関係決定部１５は、変数ＩＮＤＥＸとして、Ｎ番目のテキスト領域を識別する「Ｎ」を保持する。したがって、すべてのテキスト領域についてステップＳ２３〜Ｓ２６を順番に実行することにより、Ｍ番目の原稿要素と各テキスト領域との間で一致する自立語の個数の最大値、およびその最大値が得られるテキスト領域が特定される。

ステップＳ２７において、対応関係決定部１５は、ステップＳ２３〜Ｓ２６において得られる変数ＭＡＸが予め決められた閾値以上であるか判定する。そして、変数ＭＡＸが閾値以上であれば、対応関係決定部１５は、ステップＳ２８において、読上げ原稿中のＭ番目の原稿要素に対して、変数ＩＮＤＥＸにより識別される表示資料内のテキスト領域を対応付ける。一方、変数ＭＡＸが閾値よりも小さければ、対応関係決定部１５は、ステップＳ２８の処理をスキップする。この場合、Ｍ番目の原稿要素に対応するテキスト領域が存在しないと判定される。

なお、ステップＳ２７の閾値判定処理は、対応関係の誤判定を減らすために設けられている。すなわち、この閾値判定処理を設けることにより、一致する自立語の個数が少ない原稿要素とテキスト領域とを対応付けないようにすることができる。ただし、この閾値を大きくし過ぎると、実際に対応している原稿要素とテキスト領域とのペアが検出されなくなる。したがって、この閾値は、適切に設定する必要がある。以下では、説明を簡単にするために、閾値＝１とする。なお、実施形態の表示制御装置は、必ずしもステップＳ２７の閾値判定処理を実行しなくてもよい。

図１３を参照しながら一例を示す。ここでは、原稿要素「文１」について対応するテキスト領域を特定するものとする。この場合、文１と各テキスト領域０〜４との間で、一致する自立語の個数の最大となるテキスト領域が特定される。図１３に示す例では、文１とテキスト領域０、２、３、４との間で一致する自立語の個数は、それぞれゼロであり、文１とテキスト領域１との間で一致する自立語の個数は、１である。そうすると、文１に対しては、テキスト領域１が最大一致個数を与え、且つ、この最大値が閾値以上である。したがって、この場合、対応関係決定部１５は、対応関係情報において、文１に対してテキスト領域１を対応付ける。同様に、対応関係決定部１５は、文２に対してテキスト領域４を対応付ける。

なお、図１３に示す例では、例えば、文３とテキスト領域２、３との間で、一致する自立語の個数が同じである。この場合、図１２に示すフローチャートにおいては、ステップＳ２４〜Ｓ２５の処理が先に実行されるテキスト領域が、対象となっている原稿要素に対応するテキスト領域として特定される。したがって、対応関係決定部１５は、文３に対してテキスト領域２を対応付ける。同様に、対応関係決定部１５は、文４に対してもテキスト領域２を対応付ける。

このように、対応関係決定部１５は、各原稿要素に対して相関の高いテキスト領域を特定することにより、対応関係情報を生成する。生成された対応関係情報は、表示制御装置１が備えるメモリに格納される。

音声合成部１６は、表示制御装置１に入力される読上げ原稿から音声データ（即ち、合成音声）を生成する。なお、テキストデータまたは文字列から音声データを生成する方法は、様々な手順が知られている。音声合成部１６は、任意の方法で読上げ原稿から音声データを生成することができる。

同期制御部１７は、対応関係決定部１５により生成される対応関係情報に基づいて、音声合成部１６により得られる音声データが出力される原稿要素に対応するテキスト領域を強調して表示する。すなわち、同期制御部１７は、表示資料をユーザに提示する際に、読上げ原稿の各原稿要素の合成音声の出力に同期して、表示資料内の対応するテキスト領域を強調表示する。

図１４は、同期制御部１７の処理を示すフローチャートである。図１４において、ステップＳ３１、Ｓ３８は、読上げ原稿中の各原稿要素に対してステップＳ３２〜Ｓ３７の処理を実行するために設けられている。すなわち、同期制御部１７は、すべての原稿要素に対してステップＳ３２〜Ｓ３７の処理を実行するまで、変数Ｍを１ずつインクリメントしながら、各原稿要素に対してステップＳ３２〜Ｓ３７の処理を実行する。変数Ｍの初期値はゼロである。したがって、図３に示す読上げ原稿が表示制御装置１に入力されると、同期制御部１７は、文０〜５に対してそれぞれステップＳ３２〜Ｓ３７の処理を実行する。

ステップＳ３２〜Ｓ３３において、同期制御部１７は、対応関係決定部１５により生成される対応関係情報を参照し、Ｍ番目の原稿要素に対応するテキスト領域を探す。Ｍ番目の原稿要素に対応するテキスト領域が特定されているときは、同期制御部１７は、ステップＳ３４〜Ｓ３６を実行する。

ステップＳ３４において、同期制御部１７は、Ｍ番目の原稿要素に対応するテキスト領域を強調表示する。強調表示は、上述したように、たとえば、対象テキスト領域内の文字列に下線を引く処理、対象テキスト領域内の文字列の文字サイズまたは字体を変更する処理、対象テキスト領域の色を変更する処理、対象テキスト領域を点滅させる処理、対象テキスト領域を拡大する処理などにより実現される。これらの強調表示は、表示資料を表す表示データを補正することによって実現可能である。

ステップＳ３５において、同期制御部１７は、Ｍ番目の原稿要素の音声データを再生して出力する。なお、音声データは、音声合成部１６によって生成されているものとする。そして、Ｍ番目の原稿要素の音声データの再生が終了すると、同期制御部１７は、ステップＳ３６において、Ｍ番目の原稿要素に対応するテキスト領域の強調表示を解除する。

なお、Ｍ番目の原稿要素に対応するテキスト領域が特定されていないときは（ステップＳ３３：Ｎｏ）、同期制御部１７は、ステップＳ３７において、Ｍ番目の原稿要素の音声データを再生して出力する。この場合、テキスト領域の強調表示は行われない。

同期制御部１７は、読上げ原稿中のすべての原稿要素について図１４に示すフローチャートの処理を実行する。これにより、例えば、図１３に示す対応関係情報が得られているときは、下記のようにして音声および表示が連携される。

読上げ原稿の文０に対しては、テキスト領域が対応付けられていない。このため、同期制御部１７は、ステップＳ３４〜Ｓ３６ではなくステップＳ３７を実行する。すなわち、文０の音声データが再生されるとき、表示装置２の画面上で表示資料に対する強調表示は行われない。

読上げ原稿の文１に対しては、テキスト領域１が対応付けられている。この場合、同期制御部１７は、ステップＳ３４〜Ｓ３６を実行する。この結果、文１の音声データが再生されるとき、表示装置２の画面上で表示資料内のテキスト領域１が強調して表示される。同様に、文２、文３、文４の音声データが再生されるときは、それぞれテキスト領域４、テキスト領域２、テキスト領域２が強調表示される。最後に、文５の音声データが再生されるときは、強調表示は行われない。

このように、第１の実施形態の表示制御装置は、各原稿要素および各テキスト領域内の特定の品詞を有する特定単語（実施例では、自立語）を利用して、原稿要素とテキスト領域との対応関係を決定する。すなわち、第１の実施形態の表示制御装置においては、原稿要素とテキスト領域との対応関係を決定する際に、付属語（助詞、助動詞、接続詞、代名詞など）が除去される。

ここで、付属語を除去することなく、形態素解析部１２によって得られるすべての形態素を利用して原稿要素とテキスト領域との対応関係を決定する構成を想定する。この構成では、各テキスト領域または各原稿要素の意味内容と直接的に関係のない語も考慮して対応関係が決定されてしまう。例えば、助詞「の」は、テキスト領域２に含まれると共に、文１、文２、文３、文４、文５に、それぞれ、１つ、２つ、２つ、３つ、２つ含まれている。この場合、テキスト領域２と文０〜文５との対応関係の決定は、テキスト領域または原稿要素の意味内容と直接的に関係のない助詞「の」に依存してしまう。すなわち、この構成では、不適切な対応関係が得られるおそれがある。

そこで、第１の実施形態の表示制御装置は、各テキスト領域または各原稿要素の意味内容と関連性が強い特定単語を抽出し、それらの特定単語を利用して原稿要素とテキスト領域との対応関係を決定する。このため、第１の実施形態の構成または方法によれば、原稿要素とテキスト領域の対応付けの精度が高くなる。

なお、上述の実施例では、図２、図３、図１３に示すように、文１〜文３についての対応付けは適切であるが、文４についての対応付けが適切とはいえない。文４には、テキスト領域３が対応付けられるべきである。以下、第２〜第４の実施形態において、対応付けの精度を向上させる構成および方法を記載する。

＜第２の実施形態＞
図１５は、第２の実施形態の表示制御装置の構成を示す。第２の実施形態の表示制御装置１は、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、相関計算部１４、対応関係決定部１５、音声合成部１６、同期制御部１７、係り受け解析部２１、文脈否定語辞書２２、文脈否定自立語除去部２３を備える。なお、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、相関計算部１４、対応関係決定部１５、音声合成部１６、同期制御部１７は、第１の実施形態と実質的に同じである。

係り受け解析部２１は、形態素解析部１２から出力される形態素列において、形態素列中の自立語間の係り受け関係を求める。この例では、係り受け解析部２１は、形態素解析部１２ｂから出力される、読上げ原稿中の各原稿要素についての形態素列において、各形態素列中の自立語間の係り受け関係を求める。なお、係り受け解析方法としては、公知の技術として様々なアルゴリズムが提案されている。そして、係り受け解析部２１は、任意の係り受け解析アルゴリズムを利用して、各形態素列中の自立語間の係り受け関係を求めることができる。

図１６は、係り受け解析の一例を示す。ここでは、読上げ原稿中の原稿要素「文４」を例に説明する。以下の説明では、文４に対して、形態素解析部１２ｂにより図８に示す形態素列が生成され、自立語抽出部１３ｂにより図１０に示すように自立語が抽出されているものとする。

図１６において、自立語間をリンク付けている矢印は、自立語間の係り受け関係を表している。例えば、「家」から「ローン」に向かう矢印は、「家」と「ローン」が係り受け関係を有し、「家」が係り受け元であり、「ローン」が係り受け先であることを表している。

文脈否定語辞書２２には、否定的な文脈を生成する語（すなわち、文脈否定語）が登録されている。この例では、文脈否定語辞書２２には、文脈否定語として、図１７に示すように、「以外」「限らず」「ない」などが登録されている。なお、文脈否定語辞書２２にどのような文脈否定語を登録するのかについては、例えば、経験的にまたはシミュレーション等に基づいて決定される。

文脈否定自立語除去部２３は、各原稿要素について、自立語抽出部１３により抽出された自立語から、原稿要素の文脈に対して否定的な働きをする自立語を除去する。ここで、読上げ原稿中の文４を例に、文脈否定自立語除去部２３の処理を説明する。なお、文４に対して、自立語抽出部１３ｂにより図１０に示すように自立語が抽出されており、係り受け解析部２１により図１６に示す解析結果が得られているものとする。

この場合、文脈否定自立語除去部２３は、文脈否定語辞書２２を参照し、自立語抽出部１３ｂにより抽出されている自立語の中に文脈否定語が含まれているか否かをチェックする。この例では、「以外」が検出される。そうすると、文脈否定自立語除去部２３は、係り受け解析部２１による解析結果を参照し、「以外」に直接的あるいは間接的に係る自立語を探索する。この例では、「以外」に対して係り受け元である「ローン（図１６において、先頭から２番目の自立後）」が抽出される。また、抽出された「ローン」の係り受け元である「家」も抽出される。ここで、「家」は、「以外」に対して、「ローン」を介して間接的に係っている。そして、文脈否定自立語除去部２３は、自立語抽出部１３ｂにより抽出されている自立語から、「家」「ローン（図１６において、先頭から２番目の自立後）」「以外」を除去する。したがって、文脈否定自立語除去部２３は、文４に対応する自立語として、「車」「ローン」「各種」「ローン」「ある」を相関計算部１４に送る。

ここで、文脈否定語を除去する理由について説明する。例えば、文４「家のローン以外にも車のローンなどの各種ローンがあるかもしれません。」の主たる文脈は、「車のローンなどの各種ローンがある」である。そうすると、文４から「家のローン以外にも（実際には、「家」「ローン」「以外」）」を除去する処理は、文４からその文脈の要部を抽出する処理に相当する。このため、文脈否定語が除去された後に、原稿要素とテキスト領域との間で一致する自立語の個数をカウントすれば、各原稿要素の主たる文脈の範囲内で、対応関係を調べることが可能となる。すなわち、原稿要素とテキスト領域との間の対応関係を判定する処理において、雑音（すなわち、文脈否定語による影響）が抑圧される。この結果、原稿要素とテキスト領域との間の対応付けの精度が向上する。

次に、第２の実施形態における相関計算部１４および対応関係決定部１５の処理の一例を示す。ここでは、読上げ原稿中の文４と各テキスト領域０〜４の対応関係を特定する。なお、相関計算部１４には、文脈否定自立語除去部２３により、文４から抽出される自立語として「車」「ローン」「各種」「ローン」「ある」が入力されるものとする。また、各テキスト領域０〜４から抽出される自立語は、図９に示す通りである。

この場合、文４とテキスト領域２との間で「ローン（２つ）」が一致している。すなわち、文４とテキスト領域２との間で一致する自立語の個数は「２」である。一方、文４とテキスト領域３との間では「ローン（２つ）」及び「ある」が一致している。すなわち、文４とテキスト領域３との間で一致する自立語の個数は「３」である。なお、文４とテキスト領域０、１、４との間には、いずれも一致する自立語は存在しない。

図１８は、第２の実施形態における相関計算部１４および対応関係決定部１５の処理結果を示す。第２の実施形態によれば、図１８に示すように、文４に対して、一致する自律語の個数が最大となる領域は、テキスト領域３である。したがって、対応関係決定部１５は、文４に対してテキスト領域３を対応付ける。他の原稿要素（文０〜文３、文５）についての対応関係は、第１の実施形態と同じである。

したがって、同期制御部１７が図１８に示す対応関係情報に従って図１４に示すフローチャートを実行すると、読上げ原稿中の文１、文２、文３、文４の音声データの再生と同期して、それぞれ、テキスト領域１、テキスト領域４、テキスト領域２、テキスト領域３が順番に強調表示される。このように、図１６〜図１８に示す例では、読上げ原稿中の文４に対しても、適切なテキスト領域が対応付けられている。すなわち、第２の実施形態によれば、第１の実施形態と比較して、原稿要素とテキスト領域との対応付けの精度が向上する。

なお、図１５に示す表示制御装置においては、読上げ原稿中の各原稿要素から文脈否定語を除去しているが、本発明はこの構成に限定されるものではない。すなわち、第２の実施形態の表示制御装置は、各テキスト領域から文脈否定語を除去してもよいし、各原稿要素および各テキスト領域の双方から文脈否定語を除去してもよい。

＜第３の実施形態＞
図１９は、第３の実施形態の表示制御装置の構成を示す。第３の実施形態の表示制御装置１は、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、相関計算部１４、対応関係決定部１５、音声合成部１６、同期制御部１７、位置情報スコア付加部３１を備える。なお、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、相関計算部１４、対応関係決定部１５、音声合成部１６、同期制御部１７は、第１の実施形態と実質的に同じである。

位置情報スコア付加部３１は、表示資料内での各テキスト領域の位置を表す位置情報、および各原稿要素について音声データが出力される順序を表す順序情報に基づいて、各テキスト領域と各原稿要素との組合せについて、それぞれ、相関計算部１４により得られる相関の値（上述の例では、一致する自律語の個数）を補正する。以下、位置情報スコア付加部３１の処理について説明する。

各テキスト領域の位置情報は、下式で表わされる。
位置情報[N] ＝Ｎ／（テキスト領域の数−１） ・・・（１）
Ｎは、各テキスト領域を識別する識別番号である。例えば、図６に示す例では、Ｎ＝０〜４であり、「テキスト領域の数」は「５」である。また、「位置情報[N]」は、識別番号としてＮが割り当てられているテキスト領域の位置情報を意味する。

ここで、表示資料の内容の説明は、多くのケースにおいて、上方に配置されている要素から下方に配置されている要素に向かって行われる。また、同じ高さに複数の要素が配置されているときは、多くのケースにおいて、左方に配置されている要素から右方に配置されている要素に向かって説明が行われる。このため、この実施例では、表示資料内の各テキスト領域に対して、下記の規則で識別番号が割り当てられる。
（１）ゼロから割当てを開始する
（２）上方から下方に向かって順番に割り当てる
（３）同じ高さ位置に配置されているテキスト領域に対しては、左方から右方に向かって順番に割り当てる
したがって、表示資料内で最も上方に配置されているテキスト領域「４０代をとりまく経済的不安要因」に対して、識別番号＝０が割り当てられる。また、同じ高さ位置に配置されている２つのテキスト領域「増税が心配です」「家のローンは大丈夫か？」のうち、「増税が心配です」が左方に配置されている。よって、テキスト領域「増税が心配です」に対して識別番号＝１が割り当てられ、テキスト領域「家のローンは大丈夫か？」に対して識別番号＝２が割り当てられている。同様に、テキスト領域「自動車ローンもある」に対して識別番号＝３が割り当てられ、テキスト領域「子供の養育費も結構かかる」に対して識別番号＝４が割り当てられている。

よって、上述の式（１）によれば、図６に示すテキスト領域０、１、２、３、４の位置情報は、それぞれ、「ゼロ」「０．２５」「０．５」「０．７５」「１」である。すなわち、位置情報は、最小値＝ゼロ、最大値＝１となるように、正規化されている。ここで、各テキスト領域の識別番号は、上述のように、表示資料の内容が説明されるときに、各テキスト領域が登場する順序を表すように割り当てられる。したがって、テキスト領域の位置情報は、概ね、表示資料の説明においてそのテキスト領域が参照される順番を表すこととなる。

各原稿要素の順序情報は、下式で表わされる。
順序情報[M] ＝Ｍ／（原稿要素の数−１） ・・・（２）
Ｍは、各原稿要素を識別する識別番号である。例えば、図３に示す例では、Ｍ＝０〜５であり、「原稿要素の数」は「６」である。また、「順序情報[M]」は、識別番号としてＭが割り当てられている原稿要素の順序情報を意味する。

この例では、図３に示す文０〜文５が順番に読み上げられる（文０〜文５の音声データが順番に出力される）ものとする。すなわち、原稿要素「文０」〜「文５」に対して順番に識別番号「０」〜「５」が割り当てられる。したがって、文０、文１、文２、文３、文４、文５の順序情報は、それぞれ、「ゼロ」「０．２」「０．４」「０．６」「０．８」「１」である。すなわち、順序情報も正規化されている。

続いて、位置情報スコア付加部３１は、上述の位置情報および順序情報に基づいて、各テキスト領域と各原稿要素との組合せのそれぞれについて、位置情報スコアを計算する。図２０は、位置情報スコア付加部３１の処理を示すフローチャートである。

図２０において、ステップＳ４１、Ｓ４５は、読上げ原稿中の各原稿要素に対してステップＳ４２〜Ｓ４４の処理を実行するために設けられている。すなわち、位置情報スコア付加部３１は、すべての原稿要素に対してステップＳ４２〜Ｓ４４の処理を実行するまで、変数Ｍを１ずつインクリメントしながら、各原稿要素に対してステップＳ４２〜Ｓ４４の処理を実行する。よって、図３に示す読上げ原稿が表示制御装置１に入力されると、位置情報スコア付加部３１は、文０〜文５に対してステップＳ４２〜Ｓ４４の処理をそれぞれ実行する。

ステップＳ４２、Ｓ４４は、表示資料内の各テキスト領域に対してステップＳ４３の処理を実行するために設けられている。すなわち、位置情報スコア付加部３１は、すべてのテキスト領域に対してステップＳ４３の処理を実行するまで、変数Ｎを１ずつインクリメントしながら、各テキスト領域に対してステップＳ４３の処理を実行する。よって、図３に示す読上げ原稿が表示制御装置１に入力されると、位置情報スコア付加部３１は、各原稿要素と各テキスト領域とのすべての組合せに対してステップＳ４３の処理をそれぞれ実行する。

ステップＳ４３において、位置情報スコア付加部３１は、まず、原稿要素とテキスト領域との各組合せに対して、順序情報と位置情報の差分の絶対値を計算することで「差分」を算出する。以下、Ｍ番目の原稿要素の順序情報とＮ番目のテキスト領域の位置情報との差分の絶対値を、差分[M][N]と表記することがある。たとえば、テキスト領域０の位置情報は「０」であり、原稿要素「文０」の順序情報は「０」なので、これらの組合せについては、差分[0][0]＝０が得られる。また、テキスト領域１の位置情報は「０．２５」であり、原稿要素「文１」の順序情報は「０．２」なので、これらの組合せについては、差分[1][1]＝０．０５が得られる。テキスト領域１の位置情報は「０．２５」であり、原稿要素「文５」の順序情報は「１」なので、これらの組合せについては、差分[5][1]＝０．７５が得られる。

差分[M][N]は、上述のように、順序情報と位置情報の差分の絶対値である。順序情報は、各原稿要素が読み上げられる順序に対応する値を表し、各原稿要素が読み上げられる順序を表す識別番号を正規化することにより得られる。また、位置情報は、各テキスト領域が参照されると見込まれる順序に対応する値を表し、各テキスト領域が参照されると見込まれる順序を表す識別番号を正規化することにより得られる。ここで、正規化は、順序情報および位置情報の最大値をそれぞれ１にする処理であって、原稿要素の数とテキスト領域の数との差異を補償する。したがって、ある原稿要素の順序情報の値と、あるテキスト領域の位置情報の値が近似している状態は、表示資料の画像および読上げ原稿の合成音声がユーザに提供されるときに、それらの原稿要素およびテキスト領域が互いに同一または近接するタイミングで登場する可能性が高いことを表している。換言すれば、ある原稿要素の順序情報の値とあるテキスト領域の位置情報の値が近似している状態（すなわち、対応する「差分[M][N]」が小さい状態）は、それらの原稿要素およびテキスト領域が互いに関連している可能性が高いと考えられる。そこで、第３の実施形態では、各テキスト領域と各原稿要素との間の対応関係を決定する際に、上述の差分[M][N]も考慮される。

ただし、第３の実施形態では、計算の便宜上、関連性の高い組合せに対して大きな値を与える。よって、位置情報スコア付加部３１は、各テキスト領域と各原稿要素との組合せのそれぞれについて、下式に従って位置情報スコアを計算する。
位置情報スコア[M][N]＝（１−差分[M][N]）＊重み
「位置情報スコア[M][N]」は、Ｍ番目の原稿要素とＮ番目のテキスト領域との間の位置情報スコアを表す。「差分[M][N]」は、上述したように、Ｍ番目の原稿要素の順序情報とＮ番目のテキスト領域の位置情報との差分の絶対値を表す。「重み」は、シミュレーション等に応じて決定される定数である。位置情報スコア付加部３１により得られる位置情報スコアの計算結果を図２１（ａ）に示す。ここでは、重み＝０．８である。

さらに、位置情報スコア付加部３１は、相関計算部１４により得られる各相関の値を、それぞれ対応する位置情報スコアで補正する。このとき、位置情報スコア付加部３１は、相関計算部１４により得られる一致個数[M][N]に、対応する位置情報スコア[M][N]を加算することにより、各テキスト領域と各原稿要素との組合せのそれぞれについて、補正された一致個数の値を得る。各一致個数[M][N]を対応する位置情報スコア[M][N]で補正した結果を図２１（ｂ）に示す。

対応関係決定部１５は、位置情報スコア付加部３１により得られる、補正された一致個数に基づいて、各テキスト領域と各原稿要素との間の対応関係を決定する。すなわち、対応関係決定部１５は、各原稿要素について、補正された一致個数が最大となるテキスト領域を特定する。例えば、図２１（ｂ）に示す実施例では、文３に対してテキスト領域２が対応付けられる。同様に、文４に対してテキスト領域３が対応付けられる。このように、各原稿要素「文１」〜「文４」に対してそれぞれ適切にテキスト領域が対応付けられている。すなわち、第３の実施形態によれば、各テキスト領域と各原稿要素との間の対応付けの精度が向上する。

なお、第３の実施形態は、第２の実施形態と組み合わせて実施してもよい。すなわち、表示制御装置は、各原稿要素および／または各テキスト領域において文脈を否定する語を除去した後に、位置情報スコアを利用して一致個数を補正してもよい。

＜第４の実施形態＞
図２２は、第４の実施形態の表示制御装置の構成を示す。第４の実施形態の表示制御装置１は、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、対応関係決定部１５、音声合成部１６、同期制御部１７、類似語辞書４１、類似語対応相関計算部４２を備える。なお、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、対応関係決定部１５、音声合成部１６、同期制御部１７は、第１の実施形態と実質的に同じである。

類似語辞書４１は、図２３に示すように、対象語に対応づけてその対象語に類似する概念を有する類似語を格納する。図２３に示す例では、対象語「お子さん」に対して、類似語「子供」が格納されている。なお、類似語辞書４１において、１つの対象語に対して複数の類似語を登録するようにしてもよい。

類似語対応相関計算部４２は、各テキスト領域と各原稿要素との間で互いに一致または類似する特定単語の個数をカウントする。このとき、類似語対応相関計算部４２は、類似語辞書４１を参照する。

第４の実施形態の類似語対応相関計算部４２は、第１の実施形態による図１１に示すフローチャートと類似の手順を実行する。ただし、類似語対応相関計算部４２は、図１１に示すフローチャートにおいて、ステップＳ６〜Ｓ７の処理の代わりに、図２４に示すステップＳ５１〜Ｓ５３を実行する。

ステップＳ５１の処理は、第１の実施形態のステップＳ６と実質的に同じである。すなわち、類似語対応相関計算部４２は、ステップＳ５１において、Ｍ番目の原稿要素から抽出されたＫ番目の自立語と、Ｎ番目のテキスト領域から抽出されたＬ番目の自立語とを互いに比較する。そして、これらの自立語が互いに一致していれば、類似語対応相関計算部４２は、ステップＳ５３において一致／類似個数[M][N]を１だけインクリメントする。一方、これらの自立語が互いに一致していなければ、類似語対応相関計算部４２の処理はステップＳ５２へ移行する。

ステップＳ５２において、類似語対応相関計算部４２は、類似語辞書４１を参照し、Ｍ番目の原稿要素から抽出されたＫ番目の自立語がＮ番目のテキスト領域から抽出されたＬ番目の自立語の類似語であるか判定する。そして、一方の自立語が他方の自立語の類似語であれば、ステップＳ５３において、一致／類似個数[M][N]がインクリメントされる。一方、上記２つの自立語が類似関係にないときは、ステップＳ５３の処理はスキップされる。

一例を示す。以下では、読上げ原稿中の原稿要素「文３」について説明する。文３は、図１０に示すように、８個の自立語「住宅」「ローン」「返済」「滞っ」「まだ」「終了し」「人」「いる」を有する。そうすると、文３は、テキスト領域２との間に、一致する自律語「ローン」を有すると共に、類似する自律語「家（「住宅」に類似する）」を有する。したがって、原稿要素「文３」とテキスト領域２との組合せについて、一致／類似個数[3][2]＝２が得られる。また、文３は、テキスト領域３との間に、一致する自律語「ローン」を有するが、類似する自律語は有していない。したがって、原稿要素「文３」とテキスト領域３との組合せについて、一致／類似個数[3][3]＝１が得られる。なお、原稿要素「文３」と各テキスト領域０、１、４との間には、いずれも、一致する自律語も類似する自律語も存在しない。上述の例における類似語対応相関計算部４２の出力を図２５に示す。

第４の実施形態において、対応関係決定部１５は、類似語対応相関計算部４２の計算結果に基づいて、各テキスト領域と各原稿要素との間の対応関係を決定する。よって、図２５に示す例では、読上げ原稿の各原稿要素「文１」〜「文４」に対して、それぞれテキスト領域１、４、２、３が対応付けられる。このように、各原稿要素「文１」〜「文４」に対してそれぞれ適切にテキスト領域が対応付けられる。すなわち、第４の実施形態によれば、各テキスト領域と各原稿要素との間の対応付けの精度が向上する。

なお、第４の実施形態は、第２の実施形態と組み合わせて実施してもよいし、第３の実施形態と組み合わせて実施してもよい。さらに、第２〜第４の実施形態を組み合わせて実施してもよい。

＜表示制御装置のハードウェア構成＞
図２６は、第１〜第４の実施形態の表示制御装置を実現するためのコンピュータシステムのハードウェア構成を示す図である。コンピュータシステム１００は、図２６に示すように、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、読み取り装置１０４、通信インタフェース１０６、および入出力装置１０７を備える。なお、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、読み取り装置１０４、通信インタフェース１０６、入出力装置１０７は、例えば、バス１０８を介して互いに接続されている。

ＣＰＵ１０１は、メモリ１０２を利用して上述のフローチャートの手順を記述したプログラムを実行することにより、テキスト領域抽出部１１、形態素解析部１２、自立語抽出部１３、相関計算部１４、対応関係決定部１５、音声合成部１６、同期制御部１７、係り受け解析部２１、文脈否定自立語除去部２３、位置情報スコア付加部３１、類似語対応相関計算部４１の一部または全部の機能を提供する。

メモリ１０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。記憶装置１０３は、例えばハードディスクであり、実施形態の表示制御に係わる表示制御プログラムを格納する。なお、記憶装置１０３は、フラッシュメモリ等の半導体メモリであってもよい。また、記憶装置１０３は、外部記録装置であってもよい。文脈否定語辞書２２および類似語辞書４１は、例えば、記憶装置１０３に格納されるようにしてもよい。

読み取り装置１０４は、ＣＰＵ１０１の指示に従って着脱可能記録媒体１０５にアクセスする。着脱可能記録媒体１０５は、たとえば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。通信インタフェース１０６は、ＣＰＵ１０１の指示に従ってネットワークを介してデータを送受信する。入出力装置１０７は、例えば、ユーザからの指示を受け付けるデバイス、表示装置２との間のインタフェース、スピーカ３との間のインタフェースに相当する。

実施形態の表示制御プログラムは、例えば、下記の形態でコンピュータシステム１００に提供される。
（１）記憶装置１０３に予めインストールされている。
（２）着脱可能記録媒体１０５により提供される。
（３）プログラムサーバ１１０から提供される。

なお、実施形態の表示制御方法は、複数のコンピュータを利用して上述のフローチャートの処理を提供してもよい。この場合、あるコンピュータが、上述のフローチャートの処理の一部を、ネットワークを介して他のコンピュータに依頼し、その処理結果を受け取るようにしてもよい。

さらに、実施形態の表示制御装置の一部は、ハードウェアで実現してもよい。或いは、実施形態の表示制御装置は、ソフトウェアおよびハードウェアの組み合わせで実現してもよい。

＜他の実施形態＞
上述した第１〜第４の実施形態においては、表示制御装置１は、読上げ原稿の音声データを出力しながら表示装置２に表示資料を表示する際に、その音声データの内容に応じて表示資料の画像内の対応する領域を強調する。しかしながら、本発明は、このような動作を行う装置、方法、プログラムに限定されるものではない。例えば、本発明の範囲は、音声データの内容に応じて表示資料の画像内の対応する領域を強調するように表示データが加工されたコンテンツを作成する装置、方法、プログラムも含むものとする。この場合、本発明に係る装置は、例えば、音声合成部１６を備えなくてもよい。また、同期制御部１７は、例えば、各テキスト領域と各原稿要素との間の対応関係に基づいて、表示データに強調表示を指示する情報を付加する。

読上げ原稿データは、例えば、キーボード等を利用して入力されるテキストデータにより実現される。ただし、本発明はこのような実施形態に限定されるものではない。たとえば、読上げ原稿データとして、人の音声を解析することで得られる文字列データが表示制御装置に入力されてもよい。

１ 表示制御装置
２ 表示装置
３ スピーカ
４ 表示データ
５ 読上げ原稿データ
１１ テキスト領域抽出部
１２ 形態素解析部
１３ 自立語抽出部
１４ 相関計算部
１５ 対応関係決定部
１６ 音声合成部
１７ 同期制御部
２１ 係り受け解析部
２２ 文脈否定語辞書
２３ 文脈否定自立語除去部
３１ 位置情報スコア付加部
４１ 類似語辞書
４２ 類似語対応相関計算部

Claims (6)

1. 表示データからテキストを含むテキスト領域を抽出するテキスト領域抽出部と、
   前記テキスト領域抽出部により抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与する形態素解析部と、
   前記形態素解析部により得られる形態素から、予め決められた特定の品詞を有する特定単語を抽出する特定単語抽出部と、
   各原稿要素の文字列または各テキスト領域内の文字列の少なくとも一部について、前記特定単語抽出部により抽出された特定単語間の係り受けを解析する係り受け解析部と、
   前記係り受け解析部による解析結果に基づいて、前記係り受け解析部による解析が行われた文字列において、文字列の文脈に対して否定的な働きをする否定語および前記否定語に係る特定単語を除去する文脈否定語除去部と、
   前記特定単語抽出部により抽出された特定単語の中で前記文脈否定語除去部により除去されなかった特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算する相関計算部と、
   前記相関計算部により計算される相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成する対応関係決定部と、
   前記読上げ原稿データから各原稿要素の音声データを生成する音声合成部と、
   前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する同期制御部と、
   を有する表示制御装置。
2. 前記相関計算部は、各テキスト領域と各原稿要素との間で互いに一致する特定単語の個数をカウントすることで、前記相関を計算し、
   前記対応関係決定部は、前記対応関係情報において、各原稿要素に対して一致する特定単語の個数が最大であるテキスト領域を対応付ける
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示データにより表わされる画像内での各テキスト領域の位置を表す位置情報、および各原稿要素について音声データが出力される順序を表す順序情報に基づいて、各テキスト領域と各原稿要素との組合せのそれぞれについて補正値を生成し、各テキスト領域と各原稿要素との組合せについて、それぞれ、前記相関計算部により得られる相関の値を対応する補正値で補正する補正部をさらに備える
   ことを特徴とする請求項１に記載の表示制御装置。
4. 前記相関計算部は、各テキスト領域と各原稿要素との間で互いに一致または類似する特定単語の個数をカウントすることで、前記相関を計算する
   ことを特徴とする請求項２に記載の表示制御装置。
5. コンピュータを利用して、
   表示データからテキストを含むテキスト領域を抽出し、
   前記抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与し、
   前記形態素から、予め決められた特定の品詞を有する特定単語を抽出し、
   各原稿要素の文字列または各テキスト領域内の文字列の少なくとも一部について、前記抽出された特定単語間の係り受けを解析し、
   前記係り受けについての解析結果に基づいて、前記係り受けについての解析が行われた文字列において、文字列の文脈に対して否定的な働きをする否定語および前記否定語に係る特定単語を除去し、
   前記抽出された特定単語の中で前記除去する処理により除去されなかった特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算し、
   前記相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成し、
   前記読上げ原稿データから各原稿要素の音声データを生成し、
   前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する
   ことを特徴とする表示制御方法。
6. 表示データからテキストを含むテキスト領域を抽出し、
   前記抽出された各テキスト領域内の文字列、および読上げ原稿データに含まれる各原稿要素の文字列を形態素に分割し、各形態素に品詞を付与し、
   前記形態素から、予め決められた特定の品詞を有する特定単語を抽出し、
   各原稿要素の文字列または各テキスト領域内の文字列の少なくとも一部について、前記抽出された特定単語間の係り受けを解析し、
   前記係り受けについての解析結果に基づいて、前記係り受けについての解析が行われた文字列において、文字列の文脈に対して否定的な働きをする否定語および前記否定語に係る特定単語を除去し、
   前記抽出された特定単語の中で前記除去する処理により除去されなかった特定単語を利用して、各テキスト領域と各原稿要素との間の相関をそれぞれ計算し、
   前記相関に基づいて、テキスト領域と原稿要素との間の対応関係を表す対応関係情報を生成し、
   前記読上げ原稿データから各原稿要素の音声データを生成し、
   前記対応関係情報に基づいて、前記音声データが出力される原稿要素に対応するテキスト領域を強調して表示する
   処理をコンピュータに実行させる表示制御プログラム。

Images