JPWO2004079709A1 - スクロール表示制御 - Google Patents

Abstract

映像に対応するテキストを理解しやすくスクロール表示できるスクロール表示制御装置である。スクロール表示制御装置は、テキスト情報（ＴＩ）と対応付けられた映像の再生に同期して、対応するテキスト情報（ＴＩ）をテキスト表示画面（ＴＷ）にスクロール表示する。スクロール速度形成部（１０２）は、テキストのスクロール速度（ｖ）を、現在再生中の映像区間の時間長、それに対応するテキスト区間のテキスト量およびテキスト表示設定情報に基づいて動的に算出する。映像テキスト制御部（１０４）は、スクロール速度（ｖ）に従って、テキスト表示画面（ＴＷ）の一定の基準位置においてテキスト区間のテキストをスクロール表示する。現在再生中の映像区間に対応するテキストの前後のテキストも表示することで、読み返しや先読みが可能となる。

Description

技術分野：
本発明は、映像や音声などの系列情報と対応するテキストを表示するシステムに係り、特に系列情報に同期してテキストをスクロール表示する装置および方法に関する。
背景技術：
映像とテキストとを同期させて表示する装置が種々提案されている。例えば、特開２００１−２０９３６１号公報（以下、「特許文献１」と呼ぶ。）は、再生された映像に同期してテキストを表示し、その映像に関連するテキスト上の特定位置を示すことができるマルチメディア表示装置を開示している。具体的には、マルチメディア表示装置は、映像データの再生区間とその再生区間に表示するテキストページとの対応を示すシナリオをあらかじめ設定しておく。次に、マルチメディア表示装置は、ある動画画面内のテキスト表示領域にカーソルが位置すると、対応するテキスト画面上の同じ位置にカーソルを表示する。このような構成により、視聴者の理解をより容易にしている。
しかしながら、特許文献１に記載されたマルチメディア表示装置では、映像に対応するページが変化すると次のページに切り替わるため、ユーザが映像内容を確認する際に前ページのテキストを読み返すことができない。
また、特開２００１−２９６８５２号公報（以下、「特許文献２」と呼ぶ。）は、映像の表示に同期させてテキスト情報をスクロール表示させる方法を開示している。この方法では、ＷＥＢ上でマルチメディアプレゼンテーションを実現するための仕様とブラウザのスクロール機能とを利用し、映像の変化に対応させてテキスト表示をスクロールさせている。スクロール速度は、テキストファイル内で予め定義されている。
しかしながら、特許文献２に記載されたスクロール表示制御方法では、スクロール速度がテキストファイルで定義された一定速度であるために、映像とテキストを同期して表示できない場合がある。たとえば発言者が口調の遅い人から早い人に変わったとする。この場合、単位時間あたりの映像に対応する発言の量（＝テキストの量）が変化するため、一定のスクロール速度では映像とテキストとの良好な同期が得られない。
なお、テキストのスクロール速度に関しては、特開２０００−９９５２６号公報（以下、「特許文献３」と呼ぶ。）に、文書情報の重要度に応じてスクロール速度を変更可能な文書情報抽出装置が開示されている。
特許文献３に記載された文書情報抽出装置では、テキストの分量に関係なく、文書情報の重要度に応じてスクロール速度を変更する。このために、ユーザにとってテキストが読みやすいとは限らない。また、文書の重要度はユーザによって異なることもある。
このように、従来の映像対応テキストの表示技術では、映像と同期した読みやすく理解しやすいテキスト表示を得ることができない。
本発明の目的は、系列情報に対応するテキストを理解しやすくスクロール表示できるスクロール表示制御装置および表示制御方法を提供することにある。
本発明の他の目的は、系列情報に対応するテキストの量が変化しても、系列情報とテキストとの良好な同期を維持できるスクロール表示制御装置および表示制御方法を提供することにある。
本発明のさらに他の目的は、ユーザの希望に応じて表示設定を容易に変更でき、表示設定の変更に柔軟に対応してテキストを表示できるスクロール表示制御装置を提供することにある。
発明の開示：
本発明の第１の側面によれば、テキスト情報と対応付けられた系列情報の再生に同期して、対応するテキスト情報をテキスト表示画面にスクロール表示する表示制御装置は、前記系列情報の再生時間に対する前記対応テキスト情報のテキスト量に基づいて、前記テキスト表示画面におけるスクロール速度を変化させることを特徴とする。
本発明の第２の側面によれば、テキスト情報と対応付けられた系列情報の再生に同期して、対応するテキスト情報をテキスト表示画面にスクロール表示する系列情報対応テキスト表示制御装置は、少なくとも現在再生中の系列情報区間の時間長と前記再生中の系列情報区間に対応するテキスト区間に属するテキスト量とに基づいて、前記テキストのスクロール速度を計算するスクロール速度計算手段と、前記スクロール速度に従って前記テキスト表示画面の一定の基準位置において前記テキスト区間に属するテキストをスクロール表示する制御手段と、を有することを特徴とする。
本発明によれば、再生中の系列情報に対応して、テキストのスクロール速度を動的に変化させることができ、また再生中の系列情報に対応するテキスト区間をテキスト表示画面の一定の基準位置にスクロール表示することができる。
さらに、再生中の系列情報に対応するテキスト区間とその前後のテキスト区間とを表示すれば、前のテキストの確認や後のテキストの先読みが可能になる。また、テキスト表示画面の一定の基準位置を変更することで、前のテキストの確認を重視してテキストを表示したり、後のテキストの先読みを重視してテキストを表示したりできる。
また、テキストの表示設定を動的に変化させることもできる。これにより、スクロール速度に応じて、テキストを見やすい表示に設定を変更することができる。

第１図は本発明による映像対応テキスト表示制御装置によって表示される表示画面の一例を示す模式図である。
第２図は映像情報とテキスト情報との対応関係を示す映像テキスト対応情報の一例を示す模式図である。
第３図は本発明の第１実施形態による映像対応テキスト表示制御装置の構成を示すブロック図である。
第４図は第１実施形態による映像対応テキスト表示制御装置の映像テキスト制御動作を示すフローチャートである。
第５図はユーザ指示があった場合の処理を示すフローチャートである。
第６図はユーザ指示があった場合の処理を示すフローチャートである。
第７図は本実施形態におけるテキスト表示画面の一例を示す図である。
第８図は本発明の第２実施形態による映像対応テキスト表示システムの概略的構成を示すブロック図である。
発明を実施するための最良の形態：
発明をより詳細に説明するために、添付の図面に従ってこれを説明する。
まず、本発明による映像対応テキスト表示制御装置によって表示される表示画面と、そこで使用される映像情報、テキスト情報および映像テキスト対応情報について説明する。
表示画面
第１図は、本発明による映像対応テキスト表示制御装置によって表示される表示画面ＤＳの一例を示す模式図である。この例では、映像情報ＰＩとテキスト情報ＴＩとが一画面ＤＳに表示されている。映像情報表示ウインドウＰＷの下には映像コントロールボタンＰＣＢが表示され、ユーザがマウス等でクリックすることにより標準再生、早送り、巻き戻しなどのユーザ指示を入力することができる。さらに、キーワード入力のためのダイアローグボックスＤＢが表示され、そこにユーザが所望する映像に関連するキーワードを入力することができる。後述するように、ユーザがキーワードを入力することで、そのキーワードで検索された映像とそれに対応するテキスト情報ＴＩとを呼び出すことができる。
表示画面ＤＳには映像情報表示ウインドウＰＷと並んでテキスト情報表示ウインドウＴＷが表示される。テキスト情報表示ウインドウＴＷはテキスト表示画面とも呼ばれる。テキスト情報表示ウインドウＴＷには、再生中の映像に対応するテキスト情報ＴＩが、映像の進行に同期してスクロール表示される。この例に従えば、ある人物「田中」が発言している映像が表示されているとする。このときには、「田中」の発言のテキスト情報ＴＩがその前後の発言と共にテキスト情報ウインドウＴＷにスクロール表示される。後述するように、スクロール速度は、「田中」の発言時間に対する発言量（テキスト量）が多ければ、速くなり、少なければ遅くなるように制御される。その際、「田中」の発言テキストが注目テキストとしてテキスト情報表示ウインドウＴＷの中央部に、かつ、ハイライト表示されてもよい。
なお、テキスト情報ＴＩは、映像に対応する情報が記述されているテキストであればよい。テキスト情報ＴＩは、映像中の発言者の台詞や発言録だけでなく、映像の内容を記したテキストやプレゼンテーション資料なども含まれる。
映像テキスト対応情報
上述した映像およびテキストの同期表示は、映像情報ＰＩとテキスト情報ＴＩとを対応づけることで可能になる。映像テキスト対応情報ＰＴＣＩは、映像中のある区間（映像区間）とテキストのある区間（テキスト区間）との対応関係を示す情報である。例えば、テキスト情報ＴＩを、発言者あるいは会話や文章の区切りなどで複数のテキスト区間に予め分割しておき、それらのテキスト区間と、対応する映像区間の開始時刻および終了時刻（あるいはフレーム番号）とを映像テキスト対応情報として対応付けておく。映像テキスト対応情報ＰＴＣＩの具体例を第２図に示す。
第２図は、映像情報ＰＩとテキスト情報ＴＩとの対応関係を示す映像テキスト対応情報ＰＴＣＩの一例を示す模式図である。この例では、ある映像情報の３５フレーム〜７３フレームまでの映像区間が「佐藤」の発言部分、７４フレーム〜１１２フレームまでの映像区間が「田中」の発言部分、１１３フレーム〜２０４フレームまでの映像区間が「鈴木」の発言部分とし、「佐藤」の発言テキストが文１、「田中」の発言テキストが文２、「鈴木」の発言テキストが文３であるとする。
第２図において、映像テキスト対応情報ＰＴＣＩは、３５フレーム〜７３フレームの映像区間を文１のテキスト区間に、７４フレーム〜１１２フレームの映像区間を文２のテキスト区間に、１１３フレーム〜２０４フレームの映像区間を文３のテキスト区間に、それぞれ対応付けるテーブルである。
このような映像テキスト対応情報ＰＴＣＩを参照することで、たとえば第１図に示す表示が可能となる。すなわち、映像情報ＰＩの７４フレーム〜１１２フレームが再生表示されているときには、注目テキストとして「田中」の文２をテキスト情報表示ウインドウＴＷの中央部にハイライト表示させることができる。その際、現在発言中の「田中」の文２の上には先に発言した「佐籐」の文１が、文２の下には次に発言する「鈴木」の文３がそれぞれ配置され、映像の進行に同期して順次スクロール表示される。
第１実施形態
第３図は、本発明の第１実施形態による映像対応テキスト表示制御装置の構成を示すブロック図である。本実施形態による映像対応テキスト表示制御装置は、映像テキスト記憶部１０１、スクロール速度計算部１０２、テキスト表示設定情報メモリ１０３、および映像テキスト制御部１０４を有する。
映像テキスト記憶部１０１は、第２図に例示したような映像情報ＰＩ、テキスト情報ＴＩおよび映像テキスト対応情報ＰＴＣＩを検索可能に格納し、指定された検索条件に合致する映像情報ＰＩ、テキスト情報ＴＩ及びそれらの対応情報ＰＴＣＩを出力する。
スクロール速度計算部１０２は、後述するように、計算情報を映像テキスト制御部１０４から入力してテキスト表示のスクロール速度を計算する。なお、本実施形態におけるスクロールは、表示を逐次移動させる動作のみならず、一定時間間隔で表示を移動させる動作、及び、一定時間後に表示の移動を開始する動作をも含むものとする。
テキスト表示設定情報メモリ１０３は、テキストを表示する際の基準となるパラメータを記述するテキスト表示設定情報を保持する。具体的には、テキスト表示設定情報には、注目テキスト（現在再生中の映像に対応するテキスト）の表示基準位置ＤＲＰ、テキストの表示領域の高さＨおよび幅Ｗを示すテキスト表示領域サイズＤＡＳ、文字の高さｈおよび幅ｗを示す表示文字サイズＤＣＳ、スクロールさせる方法を示すスクロール方式ＳＭなどが含まれる。
映像対応テキスト表示制御装置は更に利用者指示部１０５を有し、各種ユーザ指示ＵＩの入力を受け付ける。利用者指示部１０５は、具体的にはキーボード、ポインティングデバイスなどの入力装置である。ユーザ指示ＵＩの入力方法としては、第１図に例示するように、ユーザがボタン、文字あるいはアイコンなどで提示されたメニューから選択する方法、キーボードなどを用いた文字入力による方法、あるいは、映像の再生位置に応じてユーザ指示プロンプトを発生するようにプログラムする方法、などが挙げられる。
ユーザ指示ＵＩは映像やテキストを操作するための情報であり、具体的には次のものが含まれる。
・表示指示：映像の１フレームを静止画表示する指示
・再生指示：映像を通常速度で再生する指示
・停止指示：映像を停止する指示
・ｎ倍速早送り指示：映像を２倍速、３倍速などで早送りする指示
・ｎ倍速巻き戻し指示：映像を２倍速、３倍速などで巻き戻しする指示
・１／ｎ倍速スロー再生指示：映像を１／ｎ倍速でスロー再生する指示
・テキスト表示領域サイズ変更指示：テキスト表示領域の大きさを変更する指示
・表示文字サイズ変更指示：表示テキストの文字の大きさを変更する指示
・表示位置変更指示：現在再生中の映像区間（以下、注目映像区間と呼ぶ。）に対応する注目テキスト区間の表示位置を変更する指示
・スクロール方式変更指示：テキストをスクロールする方法を変更する指示
・注目テキスト変更指示：注目テキスト区間または注目映像区間を変更する指示
・テキスト検索指示：テキストを検索し、キーワードを含むテキスト区間あるいはテキスト情報中の位置を求める指示
映像テキスト制御部１０４は、後述するように映像情報ＰＩおよびテキスト情報ＴＩを同期させ、映像表示部１０６に動画像を、テキスト表示部１０７にテキスト情報ＴＩを、それぞれ表示させる。映像表示部１０６およびテキスト表示部１０７は別個のモニタであってもよいし、第１図に例示したように１つのモニタ画面を分割して映像とテキストをそれぞれ並列表示してもよい。
第４図は本実施形態による映像対応テキスト表示制御装置の映像テキスト制御動作を示すフローチャートである。まず、ユーザは、利用者指示部１０５を通して所望の映像名および映像表示位置情報、あるいは、所望の映像に関連するキーワードを入力する。
所望の映像名および映像表示位置情報が入力されると、映像テキスト制御部１０４は、入力された映像名および映像表示位置情報をキーとして、映像テキスト記憶部１０１に映像データの検索要求（サーチ要求）ＳＲを行う（ステップ２０１）。
キーワードが入力された場合には、映像テキスト制御部１０４は、入力されたキーワードに従って映像テキスト記憶部１０１を検索し、キーワードを含むテキスト情報を得ると、それに対応する映像名および映像表示位置情報を用いて映像データの検索要求ＳＲを行う。
映像テキスト制御部１０４は、映像テキスト記憶部１０１から該当する映像データ（情報）ＰＩ、テキスト情報ＴＩおよびそれらの対応情報ＰＴＣＩを取得する（ステップＳ２０２）。このとき、映像テキスト制御部１０４は、映像表示位置情報に対応する映像の静止フレームを表示させてもよい。同時に、映像テキスト制御部１０４は、映像テキスト対応情報ＰＴＣＩ、テキスト情報ＴＩ、および、メモリ１０３に格納されているテキスト表示設定情報に基づいて、テキスト表示部１０７に表示テキストを表示してもよい。なお、表示テキストの作成方法については後述する。
この状態において、映像テキスト制御部１０４はユーザ指示ＵＩの発生を待機する（ステップＳ２０３）。ユーザ指示ＵＩが発生すると、映像テキスト制御部１０４は、それに対応する処理（詳しくは後述する）を実行し（ステップＳ２０４）、ユーザ指示ＵＩが再生関連指示ＲＲＩであるか否かを判定する（ステップＳ２０５）。再生関連指示ＲＲＩとは、たとえば再生指示、Ｎ倍速再生指示、１／Ｎ倍速スロー再生指示、Ｎ倍速巻き戻し指示である。ユーザ指示ＵＩが再生関連指示ＲＲＩでなければステップＳ２０３へ戻る。ユーザ指示ＵＩが再生関連指示ＲＲＩである場合には（ステップＳ２０５のＹＥＳ）、映像テキスト制御部１０４は、次に述べる処理を実行する。
まず、映像テキスト制御部１０４は、テキストをスクロールさせる速度を計算するために必要なスクロール速度計算情報ＣＩをスクロール速度計算部１０２へ出力し、算出されたスクロール速度ｖを受け取る（ステップＳ２０６）。スクロール速度計算情報ＣＩには、現在再生中の映像区間の長さ、現在再生中の映像区間に対応するテキストの文字数、および、テキスト表示設定情報が含まれる。スクロール速度ｖの計算方法については後述する。
続いて、映像テキスト制御部１０４は、映像の再生位置、映像テキスト対応情報ＰＴＣＩ、算出されたスクロール速度ｖ、テキスト表示設定情報を含むテキスト制御情報およびテキスト情報ＴＩに基づいて、新たな表示テキストを作成し、算出されたスクロール速度ｖで当該テキスト情報ＴＩのスクロール表示を行い、映像の再生表示を行う（ステップＳ２０７）。
内部状態変化イベントあるいは新たなユーザ指示ＵＩが発生しない限り（ステップＳ２０８のＮＯおよびステップＳ２０９のＮＯ）、映像テキスト制御部１０４は、当該時刻における映像の再生位置に基づいてテキストスクロール表示および映像の再生表示（ステップＳ２０７）を繰り返す。なお、内部状態変化イベントは映像テキスト制御部１０４内で先生するイベントであり、映像の再生位置が注目テキスト区間の終了時刻に到達すると発生する。
内部状態変化イベントが検知されると（ステップＳ２０８のＹＥＳ）、次のテキスト区間に移った際にスクロール速度計算ステップＳ２０６へ戻る。ただし、現在のテキスト区間の終了時刻と次のテキスト区間の開始時刻との間に差がある場合には、空白のテキスト区間が存在するとみなしてスクロール速度を計算してもよい。つまり、スクロール速度を０としてスクロール表示するとみなし、次に述べる停止指示とは区別する。
ユーザ指示ＵＩが検知されると（ステップＳ２０９のＹＥＳ）、映像テキスト制御部１０４は、それが停止指示ＳＩであるか否かが判定される（ステップＳ２１０）。ユーザ指示ＵＩが停止指示ＳＩでなければ（ステップＳ２１０のＮＯ）、ユーザ指示ＵＩに対応する処理が実行され（ステップＳ２１２）、スクロール速度計算ステップＳ２０６へ戻る。
停止指示ＳＩが検知されると（ステップＳ２１０のＹＥＳ）、映像テキスト制御部１０４は、映像の再生表示およびテキストのスクロール表示を停止する（ステップＳ２１１）。停止指示ＳＩは、利用者指示部１０５から入力される場合のほかに、映像の再生位置が映像の終了時刻に達したとき、あるいは、映像の再生位置が最後尾のテキスト区間の終了時刻に達したときにも発生する。
上述したように、停止指示ＳＩ以外のユーザ指示が検知された場合には、映像テキスト制御部１０４は各ユーザ指示ＵＩに対する処理を行ない、スクロール計算部１０２にスクロール計算情報を送出することによりスクロール速度ｖを再計算させる（ステップＳ２０６）。あわせて、映像テキスト制御部１０４は、必要に応じてテキスト表示設定情報を更新して、新たにテキスト制御情報ＴＣＩを作成し、テキスト制御情報ＴＣＩとテキスト情報ＴＩとを用いて映像再生表示およびスクロール表示を繰り返す。
次に、ステップＳ２０４およびＳ２１２におけるユーザ指示に対する処理について説明する。
第５図および第６図は、各ユーザ指示があった場合の処理を示すフローチャートである。
（映像再生指示）
利用者指示部１０５から再生指示があると、映像テキスト制御部１０４は映像表示部１０６における映像の再生状態を等倍速再生に設定する（ステップＳ２２０）。
（Ｎ倍速再生）
利用者指示部１０５からＮ倍速早送り再生指示が入力されると、映像テキスト制御部１０４は、画面中で表示する文字数を多くする処理を行い（ステップＳ２２１）、映像表示部１０６における映像の再生状態をＮ倍速早送り再生に設定する（ステップＳ２２２）。
文字数を多くする処理としては、例えば、テキスト表示設定情報に含まれる文字サイズを小さくする文字サイズ変更指示処理、表示テキスト領域のサイズを拡大する表示サイズ変更指示処理、あるいは、双方の組み合わせといった処理が考えられる（いずれも後述する）。また、表示設定を変更しないという選択肢も可能である。これらの処理はシステムごとにあらかじめ規定しておくことも可能であるし、映像の特性や利用者の好み等に基づいて細かく設定することも可能である。これにより、テキストが表示される時間が長くなり、スクロールが速いことでテキストを読み切る前に表示されなくなるという事態を有効に回避できる。
また、注目テキスト区間と前後のテキスト区間との間にテキストが存在しない区間がある場合には、その区間を含めて注目テキスト区間としてもよい。これにより、現在再生中の映像区間に対応する時間が実際より長くなるために、算出されるスクロール速度が遅くなり、テキストを読み切る前に表示されなくなるという事態を有効に回避できる。
（Ｎ倍速巻戻再生）
利用者指示部１０５からＮ倍速巻戻再生指示が入力されると、映像テキスト制御部１０４は、Ｎ倍速で早送りする場合と同様の画面中で表示する文字数を多くする処理を行い（ステップＳ２２３）、映像表示部１０６における映像の再生状態をＮ倍速巻戻再生に設定する（ステップＳ２２４）。
（１／Ｎ倍速スロー再生）
利用者指示部１０５から１／Ｎ倍速スロー再生指示が入力されると、映像テキスト制御部１０４は、後のテキスト区間に属するテキストを多く表示するように、テキスト表示設定情報の表示基準位置を変更する表示位置変更ユーザ指示処理を行い（ステップＳ２２５）、映像表示部１０６における映像の再生状態を１／Ｎ倍速スロー再生に設定する（ステップＳ２２６）。
このように、１／Ｎ倍速スロー再生の際に、映像の再生位置に対応するテキスト区間より後の位置にあるテキスト区間を多く表示することで、読み終えた過去のテキストをいつまでも表示させることによるイライラを解消し、後のテキストを早く読みたいという要望に応えることができる。
（テキスト表示領域サイズ変更指示）
テキスト表示領域サイズ変更指示が検知されると、映像テキスト制御部１０４は、テキストの表示領域の大きさを示す情報（高さＨ、幅Ｗ）に基づいてテキスト表示設定情報のテキスト表示領域サイズを変更する（ステップＳ２２７）。これにより、テキストの表示領域を見やすい大きさに変更することができる。
（表示文字サイズ変更指示）
表示文字サイズ変更指示が検知されると、映像テキスト制御部１０４は、表示する文字の大きさを示す情報（高さｈ、幅ｗ）に基づいて、テキスト表示設定情報の表示文字サイズを変更する（ステップＳ２２８）。これにより、表示する文字の大きさを見やすい大きさに変更することができる。
（表示位置変更指示）
表示位置変更指示が検知されると、映像テキスト制御部１０４は、変更先の表示位置を示す情報に基づいてテキスト表示設定情報の表示基準位置を変更する（ステップＳ２２９）。これにより、テキストの先読みあるいは確認を重視する表示形態を提供できる。
（スクロール方式変更指示）
スクロール方式変更指示が検知されると、映像テキスト制御部１０４は、変更後のスクロール方式を示す情報に基づいてテキスト表示設定情報のスクロール方式を変更する（ステップＳ２３０）。スクロール方式としては、表示を逐次移動させる方法、一定時間間隔で表示を移動させる方法、および、一定時間後に表示の移動を開始する方法がある。これらから所望のスクロール方式を選択することにより、より見やすいスクロールに変更することができる。
（注目テキスト変更指示）
注目テキスト変更指示が検知されると、映像テキスト制御部１０４は、注目テキスト区間を指定されたテキスト区間に変更する（ステップＳ２３１）。
（テキスト検索指示）
テキスト検索指示が検知されると、映像テキスト制御部１０４は、テキスト検索指示と共に入力されたキーワードを用いて、映像テキスト記憶部１０１内に格納されたテキスト情報内をキーワード検索し（ステップＳ２３２）、キーワードに対応するテキスト位置および映像位置を取得する。映像テキスト制御部１０４は、取得されたテキスト位置を開始位置としてテキストをテキスト表示部１０７でスクロール表示し、取得された映像位置を開始位置として映像を映像表示部１０６で再生表示する。
（映像表示指示）
映像表示指示が検知されると、映像テキスト制御部１０４は、映像表示部１０６に映像表示位置情報に対応する当該映像の静止フレームを表示させる（ステップＳ２３３）。同時に、映像テキスト制御部１０４は、映像テキスト対応情報、テキスト情報、および、テキスト表示設定メモリ１０３に格納されているテキスト表示設定情報に基づいて、テキスト表示部１０７に表示テキストを表示する。なお、表示テキストの作成方法については後述する。
表示テキストの作成
第７図は本実施形態におけるテキスト表示画面の一例を示す図である。ここでは、横書き表示されたテキストを上方にスクロールする場合について例示するが、スクロール方向やテキストの表示方向はこれに限定されない。
第７図に示すように、高さＨ、幅Ｗのテキスト表示画面３０１は、前のテキスト区間の表示領域３０２、現在再生中の映像に対応したテキスト区間である注目テキスト区間の表示領域３０３、および、それに続くテキスト区間の表示領域３０４からなる。注目テキスト区間は、現在の映像再生位置を時刻ｔ、ｎ番目のテキスト区間の開始時刻をｔｎとすると、ｔｎ≦ｔ＜ｔｎ＋１を満たすテキスト区間である。
以下、注目テキスト区間の表示領域３０３の高さをＬ、注目テキスト区間の領域３０３の中央位置に相当する表示基準位置３０５とテキスト表示画面３０１の上辺との距離をｘ、注目テキスト区間の開始時刻を基準とした映像の再生位置をｔ、スクロール速度をｖとする。
この場合、注目テキスト区間に属するテキストは、テキスト表示画面３０１の上辺からｘ−ｖｔの位置とＬ＋ｘ−ｖｔの位置との間の領域３０３に表示される。また、前のテキスト区間に属するテキストのうちの高さｘ−ｖｔに相当するテキストは、テキスト表示画面３０１の上辺からｘ−ｖｔまでの領域３０２に表示される。後のテキスト区間に属するテキストのうちの高さＨ−Ｌ−ｘ＋ｖｔに相当するテキストは、テキスト表示画面３０１の上辺からＬ＋ｘ−ｖｔの位置より下の領域３０４に表示される。このように表示テキストをデザインして作成することができる。
文字の大きさを考慮すると、次式により注目テキスト区間の高さＬを求めることができるから、同様に表示テキストを作成することができる。

ここで、ｈは文字の高さ、ｗは文字の幅、ｎは注目テキスト区間に属するテキスト

また、注目テキスト区間に属するテキストをハイライト表示（色を変えるなど）してもよい。これにより、注目テキスト区間に属するテキストおよびその位置を分かりやすく表示することができる。
また、注目テキスト区間に属するテキストを他のテキスト区間に属するテキストより大きく表示してもよい。これにより、現在の映像に対応するテキスト区間に属するテキストおよびその位置を分かりやすく表示することができる。
あるいは、表示基準位置３０５に表示されているテキストを大きく表示し、表示基準位置からの距離が離れるほどテキストを小さく表示するようにしてもよい。これにより、現在の映像に対応するテキストを分かりやすく表示することができ、さらに現在の映像に対応するテキストと他のテキストとの時間的な差を示すことができる。
表示基準位置
表示基準位置３０５はテキスト表示画面３０１の中央の位置に設定される。このように設定すると、注目テキスト区間の前後のテキスト区間のテキストは、中央領域３０３の上下にそれぞれ表示されるため、テキスト表示画面３０１をみるだけで、前のテキストを確認できるとともに、後のテキストを前もって読むことも可能である。
あるいは、表示基準位置３０５はテキスト表示画面３０１の中央より上方の位置に設定されてもよい。このとき、注目テキスト区間に続くテキストを多く表示できるために、後のテキストを前もって読むことに重点をおくことができる。特に、１／Ｎ倍速スロー再生時に効果がある。
逆に、表示基準位置３０５はテキスト表示画面３０１の中央より下方の位置に設定されてもよい。このとき、注目テキスト区間の前のテキストを多く表示できるために、前のテキストの確認に重点をおくことができる。特に、Ｎ倍速再生時に効果がある。
また、表示基準位置３０５はテキスト表示画面３０１の任意の位置に設定可能である。これにより、ユーザの希望する位置に注目テキスト区間に属するテキストを表示することができる。
いずれにしても、表示基準位置３０５を設定することで、注目テキスト区間のテキストを常時一定の位置に表示させることができる。その際のテキストスクロール速度は次に説明するように計算される。
スクロール速度計算
次に、スクロール速度計算部１０２で実行されるスクロール計算方法について詳細に説明する。以下、注目テキスト区間に属するテキストの文字数（テキスト量）をｎ、注目テキスト区間に対応する注目映像区間の時間長をＴ、テキストの表示領域の幅をＷ、注目テキスト区間に属するテキストの高さ（長さ）をＬ、１文字の幅をｗ、１文字の高さをｈ、スクロール速度をｖとする。
まず、逐次スクロールする場合のスクロール速度ｖは、次式（２）で求められる。

このように逐次スクロール速度ｖを決定することにより、注目テキスト区間の各行が高さＬの領域３０３を時間長Ｔで通過するように滑らかにスクロールさせることができる。
一定時間間隔Ｔｄでスクロールさせる場合のスクロール速度ｖは、次式（３）で求められる。

ここで、ａ ｍｏｄ ｂは「ａをｂで割った余り」を示す。このように、一定時間間隔でスクロールさせる場合は、表示テキストを作成するために必要な処理量を削減することができる。
また、スクロール方式として、注目テキストの開始時刻から一定時間（Ｔｑ）後にスクロールを開始するように設定することもできる。この場合のスクロール速度ｖは、次式（４）で求められる。

このように、注目テキストの開始時刻から一定時間後にスクロールを開始することで、テキストを読みやすくすることができる。
さらに、テキストの各単語、文節、文といったより小さい単位でも開始時刻や終了時刻をあらかじめ付与しておけば、小さい単位でスクロール速度ｖを計算することができる。これにより、さらに細かい単位時間で映像とテキストとを同期させて表示することができる。
例えば、テキストの各単語に時刻を付与した場合について説明する。まず、テキストの表示領域のサイズ、１文字のサイズから、各行に表示できる文字数を求める。次に、テキストと各行に表示できる文字数とから、各行の先頭および最後尾の単語を求め、先頭の単語の開始時刻をその行の開始時刻とし、最後尾の単語の終了時刻をその行の終了時刻とする。次に、１文宇の表示サイズ、各行の開始時刻、各行の終了時刻から、各行のスクロール速度ｖを求める。スクロール速度ｖは、テキスト区間に時刻を付与した場合と同様な方法を用いて求めることができる。再生時刻がその行の終了時刻に達した時、次の行のスクロール速度ｖを計算し、スクロール表示する。これにより、行単位でスクロール速度ｖを変更することができる。
さらに、単語の開始時刻に達したときにその単語の表示色を変えるなどのハイライトを行うことにより、映像とテキストとの対応が単語単位で把握できる。また、単語の開始時刻と終了時刻、単語の文字数、１文字の表示サイズとからハイライトの移動速度を計算することにより、滑らかにハイライトを移動させることができる。
また、テキストの各文節や文に時刻を付与した場合も同様である。１行に複数の文節や文が含まれる場合には、上述の各単語に時刻を付与した場合と同様の処理により、スクロール速度を求めることができる。１つの文節や文が複数行で表示される場合には、上述したテキスト区間に時刻を付与した場合と同様の処理により、スクロール速度を求めることができる。
また、テキストの読みやすさに応じてスクロール速度を変更してもよい。例えば、テキストを構成する文字の合計画数が増加するとスクロール速度ｖが低下／上昇するようにスクロール速度ｖを計算しても良い。もちろん、ユーザからの入力に応じてスクロール速度を変更してもよい。
例えば、文字の画数を用いてスクロール速度ｖを求める場合について説明する。スクロール速度計算部１０２は、文字の画数を記憶する文字画数辞書を保持する。スクロール速度計算部１０２は、注目する行のスクロール速度ｖを求める際、まず注目テキスト区間内の各行を構成する文字について、文字に対応する画数を文字画数辞書により求め、各行を構成する文字の合計画数を求める。スクロール速度計算部１０４は、注目テキスト区間の開始時刻、終了時刻、各行を構成する文字の合計画数から、再生時間を行の合計画数に応じて比例配分することにより、注目する行のスクロール速度ｖを求める。これにより読みやすさに応じてスクロール速度ｖを変更することができる。
上述したように、映像に対応するテキストの量と時間に応じてテキストのスクロール速度ｖを変化させることで、映像に対応するテキストを常に同じ位置に表示することができ、表示設定の変更にも柔軟に対応できる。さらに、映像に対応するテキストの前後のテキストも表示することで、テキストの読み返しや先読みを可能にし、理解を容易にすることができる。
なお、本実施形態による映像対応テキスト表示制御装置は、プログラム制御プロセッサ上で上述した映像テキスト制御及びスクロール速度計算プログラムを実行することでソフトウエアにより実現することもできる。
第２実施形態
本発明は、サーバから端末へ映像テキストコンテンツを配信するネットワークシステムにも適用可能である。
第８図は、本発明の第２実施形態による映像対応テキスト表示システムの概略的構成を示すブロック図である。第８図において、端末４０は、家庭内やオフィス内で固定的に使用される通信機能を有するコンピュータあるいは携帯情報端末などである。端末４０はネットワーク４１を通してサーバ４２にアクセス可能である。
端末４０は、ＩＤ番号などの端末を特定するデータや端末が設置されている地域コードなどを格納した端末データメモリ４０１を有する。携帯情報端末の場合には、ネットワークに接続したアクセスポイントの識別子を地域コードとして用いてもよい。
端末４０は、さらに、ネットワークに接続してデータ通信を行うための通信制御部４０２、上述したテキスト表示設定情報を格納するテキスト表示設定情報メモリ４０３、各種ユーザ指示入力が可能なテンキーを含む入力部４０４、映像およびテキストの表示を行うための表示部４０６、および、必要なプログラムを格納したプログラムメモリ４０７を有する。プログラムメモリ４０７は映像テキスト制御プログラム４０８およびスクロール速度算出プログラム４０９を含む。マイクロプロセッサ４１０は、これらプログラムを実行することで、上述した映像対応テキスト表示を実行する。
上述したように、本発明によれば、映像に対応するテキストの量および時間長に応じてテキストのスクロール速度ｖを変化させ、映像に対応するテキストを常に同じ位置に表示してテキストの理解を容易にすることができる。その際、映像のコンテンツによってテキストのスクロール速度ｖを変更し、ユーザに関連の深い情報やユーザの希望する情報を重点的に表示させることも可能である。
例えば、サーバ４２の映像テキストコンテンツにおける各テキスト区間に地域コードをあらかじめ付与しておく。ユーザが端末４０を用いてサーバ４２に対して特定の映像を要求すると、サーバ４２はその映像とそれに対応するテキストデータとをネットワーク４１を通して端末４０へ送信する。
端末４０では、受信した映像及びテキストを上述したように表示部４０６に表示するが、その際、端末データメモリ４０１に格納している地域コードと受信した各テキスト区間の地域コードとを比較する。それらが一致する場合に、スクロール速度ｖを遅くすることで、当該テキスト区間のテキストが注目テキスト区間としてゆっくりスクロール表示されるように設定することができる。これによって、ユーザが現在いる場所あるいは地域に関連した情報をより読みやすく表示することができる。
なお、映像をテキストと同期して再生表示する方法について説明したが、本発明は映像に限らず音声などの系列情報にも適用可能である。たとえば、映像の代わりに音声情報を用い、音声再生に同期させてテキストのスクロール表示を行うこともできる。この場合も上述した効果を得ることができる。
以上詳細に説明したように、本発明によれば、テキストの量および時間長に応じてスクロール速度ｖを適宜変化させることで、系列情報に対応するテキストを見やすい位置に確実に表示でき、系列情報およびテキスト情報ＴＩの理解を容易にすることができる。
また、連続する前後のテキストも表示することで、テキストを読み返すことができ、また、テキストを先読みすることも可能になり、テキストの理解を更に容易にできる。

Claims (19)

1. テキスト情報（ＴＩ）と対応付けられた系列情報（ＰＩ）の再生に同期して、対応するテキスト情報（ＴＩ）をテキスト表示画面（ＴＷ）にスクロール表示する表示制御装置において、
   前記系列情報（ＰＩ）の再生時間に対する前記対応テキスト情報（ＴＩ）のテキスト量に基づいて、前記テキスト表示画面（ＴＷ）におけるスクロール速度（ｖ）を変化させる手段（１０１，１０２，１０３，１０４）を有することを特徴とするスクロール表示制御装置。
2. テキスト情報（ＴＩ）と対応付けられた系列情報（ＰＩ）の再生に同期して、対応するテキスト情報（ＴＩ）をテキスト表示画面（ＴＷ）にスクロール表示する表示制御装置において、
   少なくとも現在再生中の系列情報区間の時間長と前記再生中の系列情報区間に対応するテキスト区間に属するテキスト量とに基づいてスクロール速度（ｖ）を計算するスクロール速度計算手段（１０２）と、
   前記スクロール速度（ｖ）に従って、前記テキスト表示画面（ＴＷ）の一定の基準位置において前記テキスト区間に属するテキストをスクロール表示する制御手段（１０４）と、
   を有することを特徴とするスクロール表示制御装置。
3. 前記テキスト表示画面（ＴＷ）に表示されるテキストの表示設定情報を変更可能に格納するテキスト表示設定情報メモリ（１０３）をさらに有し、
   前記スクロール速度計算手段（１０２）は、前記再生中の系列情報区間の長さと、前記再生中の系列情報区間に対応するテキスト区間に属するテキスト量と、前記表示設定情報とに基づいて、前記テキストのスクロール速度（ｖ）を計算することを特徴とする、請求の範囲第２項に記載のスクロール表示制御装置。
4. 前記テキスト表示設定情報メモリ（１０３）は、複数のスクロール方式を変更可能に格納し、前記制御手段（１０４）は選択されたスクロール方式に従ってテキストをスクロール表示することを特徴とする、請求の範囲第３項に記載のスクロール表示制御装置。
5. 前記テキスト表示設定情報メモリ（１０３）は、前記テキスト表示画面（ＴＷ）の一定の基準位置を変更可能に格納することを特徴とする、請求の範囲第３項に記載のスクロール表示制御装置。
6. 前記テキスト表示設定情報を動的に変更するためのユーザ指示入力手段（１０５）を更に有することを特徴とする、請求の範囲第３項に記載のスクロール表示制御装置。
7. 前記テキスト区間に先行する先行テキスト区間のテキストと後続する後続テキスト区間のテキストとは、前記基準位置に表示される前記テキスト区間を挟んだ２つの隣接領域にそれぞれ表示されることを特徴とする、請求の範囲第２項または第５項に記載のスクロール表示制御装置。
8. 前記系列情報（ＰＩ）およびテキスト情報（ＴＩ）を検索可能に格納する記憶手段（１０１）を更に有することを特徴とする、請求の範囲第２項に記載のスクロール表示制御装置。
9. 系列情報（ＰＩ）およびテキスト情報（ＴＩ）を提供するサーバにアクセスすることで前記系列情報（ＰＩ）およびそれに対応するテキスト情報（ＴＩ）を取得することを特徴とする、請求の範囲第２項に記載のスクロール表示制御装置。
10. 音声の再生に同期して、該音声に対応するテキスト情報（ＴＩ）をスクロールさせながら表示するシステムにおいて、再生中の音声に対応してスクロール速度（ｖ）を変化させることによって表示することを特徴とするスクロール表示制御方法。
11. 映像の再生に同期して、該映像に対応するテキスト情報（ＴＩ）をスクロールさせながら表示・閲覧するシステムにおいて、再生中の映像に対応してスクロール速度（ｖ）を変化させることによって表示することを特徴とするスクロール表示制御方法。
12. 表示するテキスト情報（ＴＩ）は、再生中の映像に対応するテキスト区間およびその前後のテキスト区間に属するテキスト情報であることを特徴とする、請求の範囲第１１項に記載のスクロール表示制御方法。
13. 前記スクロール速度（ｖ）は、映像の再生位置に対応するテキスト区間が変化した際に映像の再生位置に対応する映像区間の時間長と、映像の再生位置に対応するテキスト区間のテキスト量とに基づいて導出されることを特徴とする、請求の範囲第１１項に記載のスクロール表示制御方法。
14. 前記システムは前記映像の再生と同期して表示されるテキストの表示設定の変更機能を備え、
    前記テキストの表示設定が変更されると、前記スクロール速度（ｖ）は、変更されたテキストの表示設定に基づいて導出されることを特徴とする、請求の範囲第１１項または第１３項に記載のスクロール表示制御方法。
15. 前記映像の再生は、静止画再生、ｎ（ｎは１以上の整数）倍速再生、ｎ倍速巻き戻し再生、および、スロー再生のうちの１つであることを特徴とする、請求の範囲第１４項に記載のスクロール表示制御方法。
16. 前記映像の再生が２倍速以上の早送り再生および巻き戻し再生のいずれかである場合、前記テキスト表示設定を変更して前記テキスト区間のテキスト量を増大させることを特徴とする、請求の範囲第１５項に記載のスクロール表示制御方法。
17. 前記映像の再生がスロー再生である場合、前記テキスト表示設定を変更して前記再生中の映像に対応するテキスト区間の後に続くテキスト区間のテキスト量を増大させることを特徴とする、請求の範囲第１５項に記載のスクロール表示制御方法。
18. テキスト情報（ＴＩ）と対応付けられた映像情報（ＰＩ）の再生に同期して、対応するテキスト情報（ＴＩ）をスクロール表示するコンピュータシステム（４０）において、
    映像情報を表示する映像表示画面と当該映像情報に対応するテキスト情報を表示するテキスト表示画面とを提供する表示手段（４０６）と、
    前記映像情報（ＰＩ）および前記テキスト情報（ＴＩ）の前記表示手段（４０６）での表示を制御するプログラム制御プロセッサ（４０１）と、
    前記プログラム制御プロセッサ上で実行されるプログラムを格納したメモリ（４０７）とを有し、
    前記プログラムは、
    少なくとも現在再生中の映像区間の時間長と当該映像区間に対応するテキスト区間に属するテキスト量とに基づいて前記テキスト表示画面でのスクロール速度（ｖ）を計算するステップ（４０９）と、
    前記スクロール速度（ｖ）に従って、前記テキスト表示画面の一定の基準位置において前記テキスト区間に属するテキストをスクロール表示するステップ（４０８）と、
    を有することを特徴とするコンピュータシステム。
19. コンピュータ（４０）に、テキスト情報（ＴＩ）と対応付けられた系列情報（ＰＩ）の再生に同期して、対応するテキスト情報（ＰＩ）をテキスト表示画面にスクロール表示させる系列情報対応テキスト表示を実現するためのプログラムにおいて、
    少なくとも現在再生中の系列情報区間の時間長と前記再生中の系列情報区間に対応するテキスト区間に属するテキスト量とに基づいて、前記テキストのスクロール速度（ｖ）を計算するステップ（４０９）と、
    前記スクロール速度（ｖ）に従って前記テキスト表示画面の一定の基準位置において前記テキスト区間に属するテキストをスクロール表示するステップ（４０８）と、
    を有することを特徴とするコンピュータプログラム。

Images