以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。はじめに、本発明の実施の形態における、用語の定義についてまとめる。
本実施の形態において「要素データ」とは、テキストデータ、静止画データ、動画データ、音声データ、音楽データのいずれかであり、電子的なファイルやストリーミングデータの形態で存在するものである。
本実施の形態において「コンテンツデータ」とは、前記要素データの集合体であり、複数の要素データが配置されたデータを示している。具体的なコンテンツデータとしては、1つの座標軸(時系列)に沿って配置された複数の要素データを上記座標軸に沿って再生する際の情報表示方法、再生方法を規定する記述を含めたひとまとまりのテキスト形式またはバイナリ形式のデータとして定義されるものであってもよいし、単に、ファイルを格納するディレクトリのようなものであってもよい。なお、上記コンテンツデータが要素データを格納するディレクトリである場合には、当該ディレクトリに含まれる要素データは、上記コンテンツデータの上記座標軸に対する配置位置が記憶されていればよく、また、ファイルの名前順、作成時刻順など、ファイルの属性をもとに順序を定めてもよい。
本実施の形態において「スクロールバー」とはコンテンツデータを再生する際の進捗状況を示すものであり、スクロールバー・スライダの位置をもって、コンテンツデータ総再生時間のうちで現在どの位置にあるかを示すものである。そして、スクロールバーは、コンテンツデータの表示領域と隣接するように表示される。なお、上記総再生時間とは、コンテンツデータの全長を予め設定されている速度でスクロールさせた場合に要する時間と、動画データの再生などのためにスクロールを停止させる時間とを併せた時間である。上記の場合、例えば、コンテンツデータに音楽ファイルが含まれており、当該音楽ファイルを再生するときに、コンテンツデータのスクロールを停止する場合には、当該音楽ファイルの再生時間が総再生時間に含まれることとなる。
本実施の形態において「再生」とは、各要素データを、コンピュータ読取り可能なデジタルデータの形態から、人間が視聴覚可能な形態に変換する処理のことを指し、コンテンツデータに含まれる各要素データを、時系列に沿って順々に表示または再生していくことである。つまり、上記再生とは、コンテンツデータに含まれる全ての要素データを表示画面に表示または再生することである。なお、コンテンツデータに要素データとして音楽ファイルが含まれる場合には、スピーカ等の出力装置から音声データや音楽データを出力することはいうまでもない。
[第1の実施の形態]
図2は、第1の実施の形態にかかる情報表示装置100のハードウェア構成の具体例を示すブロック図である。本実施の形態にかかる情報表示装置100は、図2に示すように、通信部11、制御部12、記憶部13、および、入出力部14を備えている。
上記制御部12は、情報表示装置100全体を制御するものである。また、通信部11は、他の装置と通信するためのものである。これら通信部11および制御部12は、CPU(Central Processing Unit)などから構成されている。
上記記憶部13は、制御部12において実行されるプログラムや、そのプログラムの中間データおよび他のコンピュータから受信したデータなどを記憶するものである。
上記入出力部14は、ユーザインタフェースである。これら、記憶部13および入出力部14は、ROM(Read Only Memory)やRAM(Random Access Memory)などから構成されている。
さらに上記入出力部14は、ボタンやダイヤルやレバーなどの制御部12に対してデータや命令を入力する操作部141と、ユーザに情報を表示するLCD(Liquid Crystal Display)などの表示部142と、音声を出力するスピーカなどの音声出力部143とを含んで構成される。
図3は、上記情報表示装置100の、再生するコンテンツデータを読み込む機能、および、あらかじめ定められた設定またはユーザの操作に従って該コンテンツデータを再生する機能にかかる構成を説明するブロック図である。
本実施の形態にかかる情報表示装置100は、図3に示すように、操作受付部101、移動速度指示部102、出力部分指示部103、出力データ指示部104、出力制御部105、出力データ読込部106、出力設定情報記憶部107、出力部108、データ一時記憶部109、データ記憶部110、および通信部11を含んで構成される。なお、操作部141は、操作受付部101、移動速度指示部102、出力部分指示部103および出力データ指示部104を備えている。また、制御部12は、出力制御部105および出力データ読込部106を備えている。また、記憶部13は、出力設定情報記憶部107、データ一時記憶部109、および、データ記憶部110を備えている。そして、データ一時記憶部109、および、データ記憶部110でデータ保持部136を構成している。また、出力部108は、表示部142と音声出力部143とを備えている。そして、コンテンツデータを読み込む機能および該コンテンツデータを再生する機能、制御部12が、記憶部13に記憶されるプログラムを読み出し、そのプログラムを実行して図2に示されるハードウェア構成の各部を制御することによって実現される。
操作受付部101は、ユーザからの操作を受け付ける。ユーザからの操作の主なものとしては、例えば、表示させたいコンテンツデータの指定、表示中コンテンツデータのうち、画面に表示させる部分の変更指示、コンテンツデータをスクロール表示させる際のスクロール速度の変更指示等が挙げられる。
移動速度指示部102は、操作受付部101がスクロール速度の変更指示を受け付けていれば、換言すると、ユーザからスクロール速度の変更要求を受けると、出力制御部105に対して、移動速度の変更を指示する。
出力部分指示部103は、操作受付部101がコンテンツデータ中の表示部分の変更指示を受け付けていれば、換言すると、ユーザからコンテンツデータ中の表示部分の変更要求を受けると、出力制御部105に対し、出力部分の変更を指示する。
出力データ指示部104は、再生するコンテンツデータを指定するものである。また、出力データ指示部104は、操作受付部101がコンテンツデータの変更指示を受け付けていれば、換言すると、ユーザから再生するコンテンツデータの再生要求(変更要求)を受けると、出力データ読込部106に対して、新たなコンテンツデータの読込を指示する。
出力制御部105は、出力データ読込部106を介してデータ保持部136に記憶されているコンテンツデータの再生に関する制御を行う。具体的には、出力制御部105は、出力設定情報記憶部107に記憶されている設定情報を参照し、さらに、移動速度指示部102、出力部分指示部103からの指示を受けて、データ保持部136に保持されているコンテンツデータを、出力部108に対して出力する。なお、出力制御部105の詳細な説明については、後述する。
出力データ読込部106は、出力データ指示部104または出力制御部105から、出力すべきコンテンツデータの読込指示を受けると、データ記憶部110およびデータ一時記憶部109を参照して、読み込むべきコンテンツデータの一部または全部が存在するか否かを判断し、出力データ読込部106は、データ記憶部110およびデータ一時記憶部109にコンテンツデータの一部または全部が存在していないと判断すると、通信部11を介してコンテンツデータを取得する。そして取得したコンテンツデータを、データ記憶部110および/またはデータ一時記憶部109に記憶させる。
出力設定情報記憶部107は、コンテンツデータの出力にかかる設定情報、具体的には、画面スクロールの速度、表示解像度、色数、画面更新頻度、音量、その他の情報を記憶している。
出力部108は、出力制御部105の指示に基づいて、コンテンツデータの出力(再生動作)を行う。上記出力部108は、表示部142および音声出力部143を備えている。
データ保持部136であるデータ一時記憶部109とデータ記憶部110とは、出力するコンテンツデータの一部または全部を保持しておく記憶領域(記憶装置)である。通常、データ一時記憶部109には高速読み書きの可能なメモリなどのデバイスを利用して、出力するコンテンツデータのうち、出力部108において出力中の部分、および、直後に出力される可能性の高い部分を保持しておく。一方、データ記憶部110は、大容量のデータ保存が可能なハードディスク等のデバイスであり、出力するコンテンツデータを、データ一時記憶部109に保持しきれない部分も含め保持する。さらに、近い将来に出力されることが想定されるコンテンツデータを前もって保持しておいてもよいし、過去に出力されたコンテンツデータをキャッシュとして保持しておいてもよい。
通信部11は、出力データ読込部106の指示を受けて、外部ネットワーク112よりデータ(コンテンツデータ)を取得する。
ここで、上記出力部105について説明する。図1は、出力制御部105の機能構成をより詳しく説明するブロック図である。出力制御部105は、図1に示すように、再生制御データ構造管理部152と、コンテンツデータ解析部154と、データ取得部130と、要素データ変倍決定部131と、スクロールバー制御部151と、スクロール動作制御部133と、出力要素データ判定部153と、変倍処理部132と、コンテンツデータ再生制御部155とを備えている。
そして、前記コンテンツデータ再生制御部155は、動画再生制御部171と、静止画再生制御部172と、音声再生制御部173と、テキスト再生制御部174とを備えている。
また、出力部108は、表示部142および音声出力部143を含んで構成される。
上記データ取得部130は、操作部(入力手段)141の出力データ指示部104からの指示に基づいて、データ保持部136に記憶されているコンテンツデータまたは、当該コンテンツデータと対応付けられた要素データを取得する。また、データ取得部130は、後述する出力要素データ判定部153からの指示に基づいて、データ保持部136に記憶されているコンテンツデータを構成している要素データを取得する。
上記コンテンツデータ解析部154は、出力データ指示部104の指示に基づいてデータ取得部130が取得したコンテンツデータを解析する。そして、コンテンツデータ解析部154は、解析結果を再生制御データ構造管理部152に送信し、上記解析結果は再生制御データ構造管理部152が管理する。
コンテンツデータとは、具体的には、図30に示したようなスクリプトと、該スクリプトから参照されている1つ以上の要素データ(図30の例では、text1.txt、video1.mpg、text2.txt、img1.jpg、text3.txt)のセットとして構成される。前記スクリプトには、要素データを表示するための1つ以上の領域情報を指定するための記述と、要素データを指定する記述と、前記各要素データを前記指定された領域のうちどの領域に、どの時間帯に再生表示させるかを指定する再生スケジュール情報の記述を含んでいる。
上記コンテンツデータの解析とは、図30に示したようなスクリプトを読み込んで、図28に示したようなデータ構造構成ルールに基づいて、図29に示したようなデータ構造に展開することを言う。再生制御データ構造管理部152は、前記展開されたデータ構造の読み書きを管理する。
上記要素データ変倍決定部131は、前記コンテンツデータの解析の際に、コンテンツデータが含む各要素データについて、該要素データの表示領域が、再生領域に収まるか否かを判断する。そして、該要素データの表示領域が再生領域に収まらないと判断した場合には、変倍処理を施した後の該データの表示領域の座標値を計算し、その情報を、例えば、図29に示すデータ構造のようなデータに追加する。
上記再生制御データ構造管理部152は、さらに、移動速度指示部102よりスクロール速度の変更指示を受けた場合、もしくは、出力設定情報記憶部107にてあらかじめコンテンツデータのスクロール速度が規定されている場合には、各要素データの再生スケジュール情報、具体的には図29のBeginTimeおよびEndTimeの属性値を変更する。
スクロール動作制御部133は、コンテンツデータの再生におけるスクロールの開始、スクロール速度の変更、および停止等のスクロール再生にかかる制御を行うものである。
具体的には、上記スクリプトに含まれるスクロール速度に基づいて、コンテンツデータのスクロールを行うとともに、スクロール制御部151や出力要素データ判定部153から送信されてくるスクロール停止命令に基づいてスクロールの停止を行い、また、スクロール開始命令に基づいてスクロールを開始する。
スクロールバー制御部151は、スクロール動作制御部133より出力座標範囲の通知を受けると、これに応じてスクロールバー・スライダの位置を計算し、コンテンツデータ再生制御部155に対してスクロールバーの再描画を指示する。
また、スクロールバー制御部151は、ユーザ操作によりスクロールバー・スライダが移動された場合に、移動後のコンテンツデータの出力座標範囲を計算し、スクロール動作制御部133に通知する。
出力要素データ判定部153は、スクロール動作制御部133より出力座標範囲の通知を受けると、再生制御データ構造管理部を介して再生制御データ構造を参照し、コンテンツデータが含む要素データのうち、どの要素データのどの部分を、再生領域のどの部分に表示すべきかを算出する。この結果、再生表示すべき要素データを、データ取得部130を介して取得(より具体的には、データ保持部において該要素データが格納されているアドレスを取得)し、コンテンツデータ再生制御部155に対し再生を指示する。このとき、要素データの変倍処理が必要であれば、変倍処理部132において変倍処理を施したうえでコンテンツデータ再生制御部155に対して再生指示を行う。
コンテンツデータ再生制御部155は、上記出力要素データ判定部153から送信されてきたコンテンツデータに基づいて、コンテンツデータの再生の制御を行う。
動画再生制御部171は、動画データの再生制御を行うものである。静止画再生制御部172は、静止画データの再生制御を行うものである。音声再生制御部173は、音声データの再生制御を行うものである。テキスト再生制御部174は、テキストデータの再生制御を行うものである。
上記変倍処理部132は、上記出力要素データ判定部153から変倍命令を受信すると、対象となる要素データの表示領域を変倍する。再生領域に収まるように上記要素データの表示領域を変倍する。なお、変倍する変倍率については、例えば、動画データの解像度等によって異ならせてもよく、また、一定の変倍率で変倍させてもよい。
上述の要素データ読込指示処理は、コンテンツデータがスクロールしながら再生されるのに合わせて行われる。すなわち、コンテンツデータに含まれるすべての要素データを一度に読み込んでおく必要はなく、コンテンツデータの再生開始後、スクロールしていくのに合わせて、登場する各要素データを読み込んでデータ一時記憶部109へ保持し、不要になったものからデータ一時記憶部109より削除していく。このため、1つのコンテンツデータに動画データなど容量の大きい要素データが多数含まれる場合でも、データ一時記憶部109の記憶容量がそれほど大きくなくても、スムーズな再生処理が実現可能である。
なお、スクロール動作制御部133は、動画データが再生領域に収まった時点で、動画データの再生を指示するようにしてもよく、また、スクロール再生中に、出力要素データ判定部153から特定の静止画データが再生領域内に収まった旨の信号を受信すると、スクロール再生を停止させる指示を出すとともに、所定時間経過後に、スクロール再生を開始させる指示を出すようにしてもよい。
図4は、本発明の情報表示装置の表示画面領域を説明する図面である。図4を参照して、表示画面領域300は、テキストデータや静止画データ、動画データなどを表示する、データ再生領域(再生領域)310と、スクロールバー320およびスクロールバー・スライダ330を表示するスクロールバー再生領域とを含んで構成される。表示対象となるコンテンツデータは、データ再生領域310において、縦方向、横方向または斜め方向にスクロールしながら当該コンテンツデータの全体が表示される。スクロールバー320およびスクロールバー・スライダ330は、コンテンツデータ全体のうち、データ再生領域310にどの部分が表示されているかを示すものであり、より詳しくは、スクロールバー・スライダ330は、コンテンツデータを再生するとき、当該コンテンツデータの先頭を再生する場合においてはスクロールバー320の一番上に配置されており、再生の進捗とともに下へ移動し、上記コンテンツデータの終端を再生する場合においては、スクロールバー320の一番下に達する。なお、上記「コンテンツデータの先頭」とは、上記コンテンツデータを再生するとき、再生時間0における端部を示している。
コンテンツデータの再生は縦方向にスクロールすることで行われるが、スクロールの速度、方向は、情報表示装置にてあらかじめ定められた速度、方向で、あるいは、再生するコンテンツデータにおいて規定された速度、方向で、自動的に行われることにしてもよいし、ユーザがリモートコントローラなどのデバイスを利用してスクロール速度、方向を指示することにしてもよい。ユーザがマウスなどのポインティングデバイスを利用できる場合には、スクロールバー・スライダ330の位置をスクロールバー320の任意の位置に直接移動させることによって再生点(再生領域)を移動できる構成にしてもよい。
なお、上記「再生領域」とは、例えば、情報表示装置の表示画面のうち、必ずしも全面を示すものではなく、例えば、表示画面の一部を再生領域としてもよい。つまり、上記再生領域とは、情報表示装置の表示画面におけるコンテンツデータを再生する領域を示している。
ここで、本実施の形態にかかるコンテンツデータの情報表示方法について具体的に説明する。本実施の形態にかかるコンテンツデータの情報表示方法は、複数の要素データが1つの座標軸に沿って配置されたコンテンツデータを、当該コンテンツデータの再生開始点から再生終了点に向かってスクロールさせながら当該コンテンツデータを表示する再生領域に再生するスクロール再生工程と、上記要素データが動画データであった場合に該動画データを再生領域内で再生する動画再生工程と、上記動画データの表示領域が、上記再生領域内に収まったか否かを検出する検出工程と、上記検出工程の検出結果に基づいて、動画データの表示領域が再生領域内に収まったと判断すると、スクロールを停止させて、動画データの再生を行う再生制御工程とを含む情報表示方法である。これについて以下に説明する。
図5は、本実施の形態にかかるコンテンツデータの情報表示方法における処理の流れを示すフローチャートである。このフローチャートを参照して、本実施の形態にかかる情報表示方法について説明する。
ユーザによって、表示画面の再生領域が変更された場合には、制御部12は、記憶部13の出力設定情報記憶部107に、再生領域を記憶する(S10)。この再生領域の取得および記憶は、再生領域が変更される毎に行われる。
まず、ユーザから操作部141の出力データ指示部を介して、再生表示させるコンテンツデータが指定されると、出力データ読込部106は、通信部11を介して外部ネットワークよりコンテンツデータの取得を指示する。取得されたコンテンツデータは、データ保持部136に記憶される。
続いて、出力制御部105において、前記取得したコンテンツデータの再生制御に必要な情報を準備する。まず、データ取得部130が、データ保持部136より前記取得したコンテンツデータを読込み、これをコンテンツデータ解析部154に受け渡す。コンテンツデータ解析部154では、取得したコンテンツデータを解析し、図29に示したようなデータ構造を作成する。作成されたデータ構造は再生制御データ構造管理部152にて管理される。
その後、ユーザから操作部141の移動速度指示部を介して、コンテンツデータの再生指示がなされる(S11)と、出力設定情報記憶部107に記憶されているスクロール速度情報に従って、コンテンツデータのスクロール再生が開始される(S12)。
コンテンツデータのスクロール再生制御はスクロール動作制御部133主導で行われる。スクロール動作制御部133は、スクロールバー制御部151を介して、コンテンツデータ再生制御部155に対して、スクロールバーおよびスクロールバー・スライダの描画を指示する。一方、再生開始後の経過時間を逐一カウントし、出力要素データ判定部153に通知する。再生時刻の通知を受けた出力要素データ判定部153は、前記通知された現在時刻、および、再生制御データ構造とを参照して、再生表示すべき要素データを判定する。そして、前記判定した要素データをデータ取得部130を介して取得する。
次に、出力要素データ判定部153は、コンテンツデータのスクロール再生によって、当該コンテンツデータに含まれる動画データの表示領域が再生領域に入ったか否かを判定する(S13)。具体的には、スクロール動作制御部133から通知される現在時刻と、再生制御データ構造を参照して、スクロール再生を開始してから所定時間後に動画データが再生領域に表示されることを示す情報が記されている場合には、動画データが再生領域に入ったか否かを判定することができる。
そして、上記ステップS13にて、動画データの表示領域が再生領域に入ったと判定すると、出力要素データ判定部153は、再生領域に入った動画データの表示領域が再生領域に収まるか否かを判定する(S14)。これは、例えば、出力要素データ判定部153は、要素データ変倍決定部131の判断結果により、判定することができる。
ステップS14にて、動画データの表示領域が再生領域に収まらないと判定すると、出力要素データ判定部153は、変倍処理部132に上記動画データの表示領域の変倍命令を出す。変倍処理部132は、動画データの表示領域が再生領域に収まるように変倍処理を行う(S15)。そして、処理はステップS16に進む。
次に、動画データの表示領域が再生領域に収まると判定する、または、上記表示領域が再生領域に収まるように変倍処理が行われると、次に、出力要素データ判定部153は、スクロール再生によって、動画データの表示領域が再生領域内に収まったか否かを判定する(S16)。具体的には、スクロール動作制御部133から通知される現在時刻における、コンテンツデータの再生領域に出力される座標値の範囲と、再生制御データ構造を参照して得られる動画データの表示領域の座標値の範囲とを比較することで判定する。
そして、スクロール再生によって、動画データの表示領域が再生領域内に収まったと判定すると、出力要素データ判定部153は、スクロール動作制御部133に、スクロール再生の停止を指示する。スクロール停止命令を受信したスクロール動作制御部133は、スクロール再生を停止する(S17)。
そして、スクロール動作制御部133は、スクロール再生を停止させた後、コンテンツデータ再生制御部155に対して動画再生命令を送信する。上記動画再生命令を受信したコンテンツデータ再生制御部155は、再生領域に表示されている動画データを再生する(S18)。
次に、スクロール動作制御部133は、再生領域に表示されている動画データの再生が終了したか否かを判断する(S19)。具体的には、動画再生制御部171は、再生領域に表示されている動画データの再生を終了すると、スクロール動作制御部に対して動画データの再生が終了した旨の信号を送信する。つまり、上記スクロール動作制御部133は、上記動画再生制御部171から上記動画データの再生が終了した旨の信号を受け取ったか否かを判断することにより、再生領域に表示されている動画データの再生が終了したか否かを判断する。
そして、動画再生制御部171から再生領域に表示されている動画データの再生が終了した旨の信号を受信すると、スクロール動作制御部133は、再度スクロール開始命令をスクロールバー制御部151およびコンテンツデータ再生制御部155に送信し、これによりコンテンツデータのスクロール再生が再開される(S20)。
コンテンツデータの再生が終了したか否かは、出力要素データ判定部153が判断し、スクロール動作制御部133にスクロール停止を指示する(S21)。具体的には、再生開始からの経過時間と、再生制御データ構造管理部より取得できるコンテンツデータの総裁政治観を比較し、コンテンツデータの再生が終了したか否かを判断する。そして、まだ、コンテンツデータの再生が終了していないと判断すると、処理は、ステップS13に戻る。また、コンテンツデータの再生が終了したと判断した場合には処理を終了する。
なお、例えば、コンテンツデータの再生が終了したと判断した時点で、再び、当該コンテンツデータの再生を開始するようにしてもよい。また、上記の説明では、スクロール再生により、動画データの表示領域が再生領域に収まったか否かを検出し、収まったと判断した場合には、動画データの再生を行うように制御する例について説明している。しかしながら、上記に限定されるものではなく、例えば、静止画データ(動画データであってもよい)の場合には、静止画データが、(1)再生領域に入った(スクロールインした)ことを検出すると、通常のスクロール再生速度よりも速いスクロール速度でスクロール再生を行い、(2)静止画データが再生領域に完全に収まったことを検出するとスクロール再生を停止し、所定時間経過後、(3)通常のスクロール速度よりも速いスクロール速度でスクロール再生を行い、上記静止画データが再生領域から外れた(スクロールアウトし)ことを検出すると、通常のスクロール速度でスクロール再生を行うように制御してもよい。なお、上記(1)〜(3)の制御は、例えば、いずれか1つ(または2つ)のみを行ってもよい。また、上記(1)および/または(3)において、要素データ(動画データ、静止画データ)の再生領域が、表示領域に収まる収まり具合に応じて、スクロール速度を可変にするように制御してもよい。
図6は、本発明の情報表示装置において、テキストデータ、静止画データ、動画データを含むコンテンツデータ350を再生する場合の表示形態の変化を模式的に示した図である。本来、表示画面領域300は静止しており、コンテンツデータ350が上または下の一方向にスクロールしながら再生されるが、説明の便宜上、図面上では、コンテンツデータ350が静止していて、表示画面領域300が上または下方向に動くように記載している。
コンテンツデータ350はテキストデータ、静止画データ、および動画データ361〜362を含んでいる。この動画データ361、362は一連のデータであり、361の状態から所定の時間再生が進むと362の状態になることを示している。表示画面領域300では再生の進捗とともに、表示画面領域300に表示される映像が、画面301から画面302、画面303を経て画面304に遷移していく。そして、この画面の遷移に連動して、スクロールバー・スライダ330も上から下へと移動していく。なお、動画データ361〜362が再生される時間帯においては、表示画面領域300は画面302の位置で静止する。すなわち、画面302と303とコンテンツデータの同じ位置を表示している。つまり、動画データを表示する場合には、コンテンツデータのスクロールは停止している。一方、スクロールバー・スライダ330は動画データの再生中においても移動を続ける。
上記のように、動画データを再生する際には、コンテンツデータのスクロール再生を一時停止させている。そして、当該コンテンツデータに含まれる要素データの再生進捗状況が容易に把握できるように、スクロールバー320におけるスクロールバー・スライダ330の表示を、動画データの再生時間を含んだ状態で表示することが望ましい。これについて以下に説明する。
図22は、要素データの再生進捗状況を視覚化する手法の一例を示す図面である。図22を参照して、動画データ361〜362が再生される区間では、スクロールバー・スライダがこの区間で移動する範囲を、スクロールバー320の中に340のように色分けして表示する。これにより、スクロールバー320におけるスクロールバー・スライダ330の位置によって、コンテンツデータ全体のなかでの現在の再生点を把握できると同時に、再生区間340とスクロールバー・スライダ330の位置を見比べることによって、当該要素データについての現在の再生点を把握することができるようになる。
なお、コンテンツデータが、上記の動画データのように、再生領域のスクロールを停止した状態で再生する要素データを複数含む場合には、当該複数の動画データの再生区間すべてについて図22に示すように、動画データの再生区間340を色分けして表示をしてもよいし、再生点が上記複数の動画データのそれぞれの再生区間に入ったところで当該動画データについてのみ色分け表示することにしてもよい。複数の区間について色分け表示をする場合、とくにそれらの区間のいずれかが隣接する場合には、それらの区別がつくように異なる色を使うなどのように区別できることが好ましい。
つまり、本実施の形態において、スクロールバー320およびスクロールバー・スライダ330を表示して、コンテンツデータの再生進捗状況を表示する場合には、当該コンテンツデータを所定の速度でスクロール再生することにかかるスクロール時間と、当該コンテンツデータに含まれる動画データの動画再生時間とを加えた時間となるようにスクロールバー320を表示することが好ましい。そして、コンテンツデータに含まれる動画データを再生する際には、動画データの再生に要する時間をスクロールバーの最大値における割合として表示することがより好ましい。
図7は、本発明の情報表示装置において、コンテンツデータの再生中に入力されたユーザからの指示に応じて、コンテンツデータの再生を行う際の処理の流れを示したフローチャートである。図7を参照して、コンテンツデータの再生中に入力されたユーザからの指示に基づいてコンテンツデータの再生を変更する処理について説明する。
まず、情報表示装置は、コンテンツデータが現在再生中であるか否かを判断し(S401)、未実行であれば(S401でNO)S402へ、実行中であれば、コンテンツ再生処理に進む。なお、上記コンテンツ再生処理とは、S12〜S20にかかる処理である。そして、コンテンツ再生処理が終了すると、S405へ進む。ここで、コンテンツデータが再生中である状態とは、コンテンツデータがロードされてから再生終了後にアンロードされるまでの間のことを指す。したがって、コンテンツデータがロードされていれば、再生を一時停止している状態もコンテンツデータが再生中である状態に含まれる。
そして、操作受付部101はS402においてユーザからの入力の有無を監視し、ユーザからコンテンツデータを再生する旨の入力を受けた場合には、出力データ指示部104を介して出力データ読込部106がコンテンツデータの読み込みを開始する(S403)。続いて、出力制御部105の制御に基づいて読み込んだコンテンツエータの再生を開始する(S404)。そして、処理はS10に戻る。
操作受付部101は、コンテンツデータの再生中でないと判断している場合には、ユーザからコンテンツデータの再生指示以外の操作(命令)を受け付けても無視する(S402でそれ以外)。操作受付部101は、コンテンツデータ再生中であれば(S405でNO)、ユーザからコンテンツデータのスクロール速度の指示入力操作を受け付けると、移動速度指示部102を介して、出力制御部105にスクロール速度の変更命令を送信する。そして、出力制御部105では、ユーザから入力されたスクロール速度の指示に基づいて、スクロール速度設定を変更し、S408へ進む。また、操作受付部101が、ユーザからコンテンツデータの出力部分(表示部分)の指定を受けた場合、もしくはいずれの操作も受け付けていない場合には、処理はS408へ進む。そして、S408では、スクロール動作制御部133は、ユーザから入力された出力部分の指定に応じてスクロール動作を制御する。そして、コンテンツデータ再生制御部155では、スクロール動作制御部133の指示に基づいて出力要素データ判定部153を介してコンテンツデータを構成している個々の要素データを読み込む(S409)。さらに、上記スクロール動作制御部133の指示に基づいて、スクロールバー制御部151を介して表示部142がスクロールバー・スライダの移動、再描画を行い(S410)、コンテンツデータ再生制御部155を介して表示部142が要素データの描画処理(S411)を、音声出力部143が音声再生処理(S412)を、それぞれ実施する。そして、処理は、S12に戻る。
さらに、上記ステップS405において、コンテンツデータの終端に達していれば(S405でYES)再生処理を終了し、そうでなければ(S405でNO)S406へ戻り、上述の処理を繰返す。
なお、コンテンツデータの再生を終了する終了処理は、上述のように再生領域においてコンテンツデータの終端に達した時点で自動的に行うようにしてもよいし、コンテンツデータの終端に達した時点では終了せずに、情報表示装置100の電源が切られること、もしくはそれに代わる明示的な終了処理がなされたことをもって終了処理を行うことにしてもよい。
図8は、コンテンツデータ350、表示画面領域300、スクロールバー320、およびスクロールバー・スライダ330の位置関係を規定する座標系の定義を説明する図である。
ここで、図8に示すように、コンテンツデータ350の左上点を原点とし、ここから右方向に伸びるx軸、下方向に伸びるy軸によって規定される座標平面を想定する。
コンテンツデータ350の縦方向(y軸方向)の全体の長さをH、表示画面領域300の縦方向における全体の長さをhとし、コンテンツデータ350全体の再生に要する時間をTとし、再生を開始した時刻から起算して時間t経過したときの表示画面領域300の左上点のy座標をtの関数y=y(t)で表す。つまり、上記y(t)は、時間t経過後における表示画面領域300に表示されているコンテンツデータの位置を示している。なお、ここで、コンテンツデータ350全体の再生に要する時間とは、コンテンツデータ350を最初から最後まで再生させるのに要する時間である。そして、コンテンツデータ350全体の再生に要する時間は、所定のスクロール速度で、コンテンツデータ350をy軸方向にスクロールさせることに要する時間と、当該コンテンツデータ350に含まれる動画データの再生に要する時間とを併せた時間に等しくなる。
一方、スクロールバー320の縦方向全体の長さをS、コンテンツデータ350の再生を開始した時刻から起算して時間t経過したときの、スクロールバー320の最上点のy座標とスクロールバー・スライダ330の最上点のy座標の差分をtの関数s=s(t)で表す。
コンテンツデータ350は、動画データ360を含み、動画データ360の再生開始時刻はt1、再生終了時刻はt2であるものとする。
再生制御データ構造管理部152は、図8における、y(t)およびs(t)を決定する処理を行う。
図9は、s(t)、y(t)およびこれを時間微分したdy(t)/dtの、0≦t≦Tにおける変化の一例を示すグラフである。
所定の速度でコンテンツデータをスクロール再生する場合、図9に示すように、差分s(t)は、下式(1)
で表される等速直線運動をする(図9(a)参照)。すなわち、スクロールバー・スライダ330は一定の速度でスクロールバー320の上から下まで移動する。また、y(t)は、下式(2)〜(4)
で表される変化をする(図9(b)参照)。そして、y(t)を時間微分したdy(t)/dtは表示画面領域300の移動速度を表すが、これは、式(5)、(6)
となる(図9(c)参照)。すなわち、再生制御データ構造管理部152では、動画データ360の再生開始から終了まではコンテンツデータのスクロール再生を停止し、それ以外の区間では一定速度で上から下へ移動するように制御する再生制御データ構造を作成する。
このように、上述のように、表示画面領域300で一度に表示しきれないコンテンツ350を、スクロール再生して、動画データを再生する場合には、スクロール再生を一時停止し、動画データの再生を行った後、動画データの再生が終了すると、再び、スクロール再生を開始するように、自動的にスクロール再生することで、テキストや静止画データは自然に視界に入ってくるので容易に閲覧できる。また、動画データ再生時にはスクロール再生を停止させるので、ユーザはただ見ているだけで動画データもくまなく見ることができる。
ところで、上記の説明では、動画データ360を再生する際、動画データの表示領域が再生領域に収まるまでスクロール再生した後で、スクロール再生を停止し、動画データの再生を開始する。また、動画データの再生が終了した後も、同じ速度でスクロール再生を再開する。この動画データの再生前後のスクロール速度については、上記のように一定にスクロールさせてもよいが、例えば、図10に示すグラフのように、動画データ再生前後のスクロール再生におけるスクロール速度を、通常のスクロール再生におけるスクロール速度よりも高速で行うようにしてもよい。このようにすることで、動画データの再生を終了したあとで、直ぐに、当該動画データに下に配置されている静止画データやテキストデータを閲覧することができる。また、例えば、図11に示すグラフのように、加速度をつけて滑らかにスクロール再生におけるスクロール速度が変化するようにスクロール再生を行うようにしてもよい。
なお、上記図10および図11において、時間t0とは、表示画面領域300に再生を開始する動画データの先端が現れた時点であり、時間t1は、表示画面領域300に動画データの表示領域が収まった時点を示している。また、上記時間t2は、動画データの再生が終了して、スクロール再生を開始する時点であり、時間t3は、表示画面領域300から、上記動画データが消えた時点を示している。
このように、主にテキストデータや小さな静止画データなどが表示されている時のスクロール速度と、動画データ再生時における、スクロール再生を停止させる前後のスクロール速度とが異なっていても構わない。
また、動画データを再生する際に、スクロール再生を停止するか否かは、情報表示装置100の設定(出力設定情報)によって決めてもよいし、コンテンツデータの記述形式として、要素データごとにスクロール停止させるか否かの識別子を用意し、この記述に従って行うことにしてもよい。
また、出力設定情報によってスクロール再生を停止するか否かの設定を行う方法としては、要素データのファイル形式によって決める(動画ならば停止する、それ以外は停止しない等)、要素データの再生に要する時間によって決める(所定の時間よりも長いものは停止して再生するなど)、要素データの表示に要する面積の大小によって決めるなどが挙げられる。
また、上記の説明では、動画データを再生する場合にスクロール再生を停止する例について説明しているが、例えば、静止画データが表示画面に収まった時点で所定時間、スクロール再生を停止するようにしてもよい。
図12は、静止画データ群を並べて構成されるコンテンツデータの例である。各静止画データは表示画面領域300にちょうど収まるサイズに調整されている。このコンテンツデータをスクロール再生する際に、各静止画データが再生領域に収まった時点でスクロール再生を停止し、所定時間後に再び、スクロール再生を開始する、すなわち、静止画データと他の静止画データとの間ではスクロール再生を行うようにすると、y(t)およびdy(t)/dtの時間変化はたとえば図13に示すグラフのようになる。
また、例えば、コンテンツデータの先頭にテキストデータがある場合、コンテンツデータの読み込み後、ユーザからのスクロール再生開始指示によって、初めてスクロール再生を開始させる場合には問題ないが、読み込み後ただちにスクロール再生を開始する設定である場合には、テキストデータの最初の数行はすぐに再生領域の外に出てしまい、ユーザにとって不都合が生じる場合がある。そこで、コンテンツデータを読み込み後に、ただちにスクロール再生を開始する場合には、所定の時間静止した後にスクロール再生を開始するようにすることが好ましい。
次に、上述の自動実行機能に加えて、ユーザがコンテンツデータ再生の制御を行う場合について説明する。
図14は、情報表示装置100がテレビである場合における情報表示装置100の概略構成を示す図面である。ユーザからの、コンテンツデータの再生指示は、リモートコントローラ(以下リモコンと表記)を介して行われる。つまり、操作部141がリモコンである。
情報表示装置100であるテレビは、図14に示すように、表示部(図4に示した各構成要素を含む)142と、音声出力部182であるスピーカ1310とを備えている。コンテンツデータの再生は、上述のように再生指示のみ出せば自動的に行われるほか、ユーザがリモコン1320を操作することによっても行われる。リモコン1320は、停止ボタン1321と、再生ボタン1322と、早送りボタン1323と、巻き戻しボタン1324とを備えている。なお、リモコン1320にはこれ以外の入力手段が実装されていてもよいし、もしくは、通常のテレビのリモコンに、テレビの操作をするボタンなどに加えて、前記のボタン1321〜1324が実装されていてもよい。
各ボタン1321〜1324を押したとき動き方について、図18を用いて説明する。
図18(a)は、図8のコンテンツデータを再生したときの、y(t)の時間変化を示したものであり、縦軸および横軸は、図10(b)と同じものである。ただし、図18(a)では、y(t0)=y0、y(t1)=y1、y(t3)=y3にそれぞれ書き換えている。コンテンツデータを最初に読み込んだ時点では、グラフ上の(t,y)=(0,0)の位置にあり、ユーザが再生ボタン1322を押すと再生状態になり、グラフに示される軌跡で移動する。再生状態において、ユーザが停止ボタン1321を押すと、その時点の(t,y)の位置で停止する。早送りボタン1323が押されると、再生状態におけるスクロール速度およびコンテンツデータに含まれる動画データの再生速度が上がる。(t,y)=(0,0)の時点で早送りボタン1323が押された場合には、図18(b)のような軌跡で移動することとなる。すなわち、0<y<y0およびy3<y<H−hの区間ではグラフの傾きが急になる。y=y1の区間は動画データ再生区間であるが、ここは動画データを早送り再生する。したがって、y=y1である区間の時間が短くなる(t2’−t1’<t2−t1)。巻き戻しボタン1324が押されると、図18(b)の軌跡を右から左へたどるように変移する。
なお、早送りボタン1323および巻き戻しボタン1324を使って、要素データのスキップ機能を実現するようにしてもよい。スキップ機能とは、現在再生されている要素データの再生時間の終端または先頭へジャンプする機能のことで、図18(a)のy=y1の動画データ再生区間においては、t=t2またはt=t1の状態へジャンプする。
早送り、巻き戻し機能と、スキップ機能をともに実現する場合には、別のボタンを用意してもよいし、ボタン1323、1324の押し方によって使い分けることにしてもよい。たとえば、ボタン1323を所定の時間よりも長く押し続けていれば早送り機能が実行され、所定の時間が経過する前に離せばスキップ機能が実行される、などである。
また、動画データやアニメーションデータを早送り、巻き戻し再生するのに代えて、該データを代表する、該データの一部の静止画像もしくは動画像を再生することにしてもよい。
図15は、ユーザによりコンテンツデータの再生指示を行うリモコンの他の例である。コンテンツデータの再生指示は、図15に示すように、つまみ1401を回すことによって制御される。すなわち、つまみの回し具合によって再生速度、再生方向が変化する。具体的には、つまみ1401を回すことにより、つまみ1401に刻印されている目盛1402が、STOPの位置にあれば再生停止、これより右側にあれば順方向再生で、目盛1402がPLAYの位置にあれば既定のスクロール速度および動画データの再生速度での再生、PLAYより右側にあれば早送り再生、STOPより右側かつPLAYより左側であればスロー再生となる。つまり、右へ回すほどスクロール速度および再生速度が速くなる。つまみ1401は目盛1402がFFの位置に来るまで回すことができ、FFの位置にあるときに最高速で再生される。
一方、目盛1402がSTOPよりも左側にあるときには逆方向再生となり、左へ回すほどその速度が速くなる。
目盛1402がSTOPの位置およびPLAYの位置にあるときには、つまみ1401は、手を離してもこの位置で静止するような機構になっていることが望ましい。
また、目盛1402がPLAYより右にあるときにつまみ1401から手を離すと、PLAYの位置まで戻ってきて止まるような機構になっていてもよい。
さらに、目盛1402がSTOPより左にあるときにつまみ1401から手を離すと、STOPの位置まで戻ってきて止まるような機構になっていてもよい。
図16は、情報表示装置100が携帯電話である場合における情報表示装置100の概略構成を示す図面である。操作部141は、携帯電話付属のボタンである。
情報表示装置100である携帯電話は、図16に示すように、表示部(図4に示した各構成要素を含む)142と、操作ボタン群、音声出力部182であるスピーカ(図示せず)とを備えている。コンテンツデータの再生は、上述のように自動的に行われるほか、ユーザが停止/再生ボタン1501、早送りボタン1502、および巻き戻しボタン1503を操作することによっても行われる。停止/再生ボタン1502は、コンテンツデータ再生が一時停止している場合には再生開始ボタンとして、コンテンツデータの再生中である場合には一時停止ボタンとして機能する。そして、ボタン1502を押すと再生が始まるのか止まるのかは、ガイド行の1504の位置に「再生」「停止」などの文字列もしくはアイコン画像などを表示することで判断することができる。このようにすることで、よりユーザの利便性を向上させることができる。
ボタン1501〜1503を押すことによるコンテンツデータ再生状態の変化については、情報表示装置100がテレビである場合と同様であるので、詳細な説明は省略する。
図23は、情報表示装置100がデジタルカメラである場合における情報表示装置100の概略構成を示す図面である。このデジタルカメラでは、記憶媒体に保存されている静止画データおよび動画データを、1回のボタン操作により全ての画像データ(静止画データおよび動画データ)を液晶画面に表示させることができる。
情報表示装置100であるデジタルカメラは、図23に示すように、表示部(図4に示した各構成要素を含む)142と、データ逆送りボタン2201およびデータ順送りボタン2202とを備えている。ここで再生されるコンテンツデータとは、記憶媒体(図示せず)に保存されている静止画データまたは動画データの集合であり、記憶媒体に保存されているすべてのデータであってもよいし、撮影日時その他の属性が一定の条件を満たすもののみを抽出したものであってもよい。
この場合にコンテンツデータの再生実行とは、各画像データを順々に切り替えて表示していくことであって、必ずしも、全データを一列に並べてスクロールさせなくてもよく、各データを切り替えていくだけでもよい。同様に、スクロールバー・スライダ330のスクロールバー320上での移動についても必ずしも連続的である必要はなく、画像データを表示している最中には静止し、次の画像データの表示時には位置を変えて表示しているようにしてもよい。
コンテンツデータの再生を行うための操作は、データ逆送りボタン2201およびデータ順送りボタン2202とを用いて行う。すなわち、データ逆送りボタン2201が押されると、前の画像データの表示へ移行し、データ順送りボタン2202が押されると、次の画像データの表示へと遷移する。
情報表示装置100であるデジタルカメラが、静止画データに加えて動画データも記録可能であって、コンテンツデータが動画データを含む場合においては、先に述べたように、スクロールバー320内で動画データの再生区間である340を色分け表示することが望ましい。
動画データの再生制御も、データ逆送りボタン2201およびデータ順送りボタン2202とを用いて行う。すなわち、データ逆送りボタン2201を所定の時間よりも長く押しっぱなしにすると動画データの巻き戻し再生、前記所定の時間よりも短く押して離すと、該動画データの先頭へ戻る。データ順送りボタン2202を所定の時間よりも長く押しっぱなしにすると早送り再生、前記所定の時間よりも短く押して離すと、次の画像データの表示へとスクロール再生される。
なお、動画データの再生制御には、データ逆送りボタン2201およびデータ順送りボタン2202に替えて、別の再生、停止ボタンを用いることにしてもよい。
図17は、情報表示装置100がパーソナルコンピュータ(以下パソコンと表記)である場合における情報表示装置100の概略構成を示す図面である。この場合には、コンテンツデータの再生指示をパソコン付属のポインティングデバイスで行う。つまり、操作部141がポインティングデバイスである。
情報表示装置100であるパソコンは、図17に示すように、表示部(図4に示した各構成要素を含む)142と、キーボード1601、マウス1602、音声出力部182であるスピーカ1610とを備えている。また、表示画面領域300内には、UI部品である停止ボタン1607および再生ボタン1608とが表示されている。なお、上記停止ボタン1607および再生ボタン1608は、コンテンツデータの再生および停止を行うボタンである。
コンテンツデータの再生は、上述のように自動的に行われるほか、ユーザがマウス1602(操作部141)を用いて、上記停止ボタン1607および再生ボタン1608を操作することによっても行われる。マウス1602は、左クリックボタン1603、右クリックボタン1604、スクロールホイール1605を含んで構成される。
ユーザがマウス1602自体を机上で移動させると、上記マウス1602の動作に応じて、表示部142の表示画面上では、カーソル1606が移動する。そして、例えば、ユーザが表示部142の表示画面上に表示されているカーソル1606を停止ボタン1607の上に重ね合わせてボタン1603をクリック(以下、左クリックと表記)すると、コンテンツデータの再生が一時停止し、カーソル1606を再生ボタン1608の上に重ね合わせて左クリックすると再生を開始する。なお、コンテンツデータの再生停止中に停止ボタン1607を左クリックした場合、および、再生中に再生ボタン1608を左クリックした場合には、再生の状態に変化はない。また、停止ボタン1607と再生ボタン1608とを共通化し、再生中にはボタン1607のように停止ボタンとして表示され、このときにマウス1602をクリックすると停止ボタンとして機能し、再生停止中にはボタン1608のように再生ボタンとして表示され、このときにマウス1602をクリックすると再生開始ボタンとして機能するように切り替える構成をとってもよい。
ボタン1607、1608を左クリックすることによるコンテンツデータ再生状態の変化については、情報表示装置100がテレビである場合と同様であるので、説明を省略する。
また、カーソル1606をスクロールバー・スライダ330に合わせ、ボタン1603を用いて上下方向にドラッグすることで、コンテンツデータの再生点を連続的に移動させることができる。この操作は、スクロールホイール1605を前後に回転させることによっても行うことができる。
また、カーソル1606をスクロールバー320の、スクロールバー・スライダ330以外の部分に合わせ、左クリックすることで、コンテンツデータの再生点を離散的に移動させることができる。
この他に、再生の速度および方向を任意の値に設定するための、スクロールバーやボタンなどのUI部品を別途、表示画面領域300内に表示し、これをマウス1602で操作することによって速度制御できるようにしてもよい。
また、上述のマウス1602による操作を、キーボード1601のキー押下操作によって実行するようにしてもよい。つまり、上記マウス1602およびキーボード1601は、操作部141として機能する。
また、コンテンツデータを再生する際、出力データ指示部104を、図14および図15に示したようなリモコンによって行うことにしてもよい。つまり、このリモコンが出力データ指示部104に相当することとなる。つまり、本実施の形態において、操作部141は、情報表示装置に対して別体で設けられていてもよい。
また、コンテンツデータが動画データなど、表示画面領域300のスクロールを一時停止した状態で再生する動画データ(要素データ)を含む場合においては、図22に示したように、現在、再生領域に表示されている要素データの再生にかかる時間が色分け表示されることが望ましい。つまり、コンテンツデータ全体における現在再生中の要素データに相当する部分のみが区分けされて表示されることがより好ましい。
この場合、該要素データを再生中に、カーソルをスクロールバー・スライダ330に合わせ、ボタン1603を用いて上下方向にスクロールバー・スライダ330をドラッグ操作すると、当該スクロールバー・スライダ330が区間340の内側であれば、該要素データの再生点の移動として、区間340の外側に出れば、コンテンツデータのスクロール機能として働く。
また、上記動画データの再生中に、すなわち、スクロールバーが示す区間340のうち、スクロールバー・スライダ330以外の部分も、上下方向にドラッグ可能にしてもよい。つまり、本実施の形態中では、動画データ再生中には、スクロール再生を一時停止し、当該動画データの再生を行うようになっているが、ユーザの操作によって動画データの再生中に、上記動画データ以外の要素データを見るためにスクロール操作命令が出された場合には、動画データの再生を行いながら、ユーザの操作に基づいてスクロール動作を行うようにしてもよい。つまり、ユーザによるドラッグ操作は、コンテンツデータのスクロール機能として働くこととなる。
これにより、動画データなど、通常は表示画面領域300のスクロールが一旦停止した状態で再生される要素データの再生中に、再生の状態の変更することなく、当該要素データの前後に存在する他の要素データを表示させることができる。これにより、例えば動画データが全画面表示で再生されていたときに、その前後にあった解説テキストを当該動画データの再生中に確認したい場合に、当該動画データを再生させたまま再生領域を少しスクロールさせて上記解説テキストを見ることができるので、利便性を向上させることができる。
さらに、上述のように、動画データをスクロール方向に少しずらして該動画データの周辺の要素データを見る場合において、該動画データの表示領域すべてが再生領域に収まるように、スクロールの度合いに応じて随時変倍処理を行うことにしてもよい。
なお、上記の、スクロールバー・スライダ330が区間340に存在するときであって、ユーザのスクロール操作によって、表示画面領域300が本来の位置から移動された場合であって、再生中の動画データが終了し、次の要素データにスクロール再生によって遷移する場合には、表示画面は、本来の位置、すなわち、再生が終了した動画データの位置に自動的に復帰することが望ましい。
以上のように、本実施の形態にかかる情報表示装置100は、複数の要素データが1つの座標軸に沿って配置されたコンテンツデータを、再生領域に、当該コンテンツデータの再生開始点から再生終了点に向かってスクロール再生するスクロール動作制御部133と、上記要素データが動画データで合った場合に該動画データを再生領域内で再生する動画再生制御部171と、上記動画データの表示領域が、スクロール再生によって上記再生領域内に収まったか否かを検出する出力要素データ判定部153とを含む。前記スクロール動作制御部133は、上記出力要素データ判定部153の検出結果に基づいて、動画データの表示領域が再生領域内に収まったことを検出した場合に、スクロール再生を停止させ、かつ、動画データの再生を行わせるよう上記動画再生制御部171を制御する構成である。
上記の構成によれば、動画データを含むコンテンツデータを再生する際に、動画データの表示領域が再生領域に収まったか否かを判断(検出)するようになっている。具体的には、例えば、出力要素データ判定部153は、動画データの表示領域を取得し、コンテンツデータがスクロール再生されるときに、再生領域に上記取得した表示領域が収まったかことを検出する。そして、動画データの表示領域が再生領域に収まると、スクロール再生を停止し、動画データの再生を行うようになっている。つまり、ユーザは、コンテンツデータに含まれている要素データが、動画データであるのか静止画データやテキストデータであるのかといった要素データの種類を意識することなく、上記コンテンツデータに含まれる全ての要素データを閲覧することができる。具体的には、ユーザは、コンテンツデータの閲覧命令を出すだけで、コンテンツデータに含まれる全ての要素データを閲覧することができる。これにより、従来と比べて、より少ない操作でコンテンツデータをスクロール再生させて閲覧することができるので、利便性が向上する。
本実施の形態にかかる情報表示装置は、一つの操作系でコンテンツデータのスクロールと、当該コンテンツデータが含む動画やアニメーションデータの再生制御との両方を行うことができる。例えば、スクロール再生を自動的に行う場合には、スクロール操作と、動画データの再生操作の双方が不要となる。また、例えば、手動でスクロール再生を行う場合には、スクロール操作を手動で行うことになるが、このスクロール操作に連動して、コンテンツデータに含まれる動画データを自動的に再生することができるので、ユーザは、単にスクロール再生を行うための操作を行うのみでよい。つまり、スクロール再生および動画再生を1つの操作系で実現することができる。また、例えば、リモコンを用いてコンテンツデータの閲覧を行う場合、従来のHTML文書を表示するブラウザを制御するには、スクロール操作とは別に、内包する動画データを指定するポインティング操作、該動画データを再生開始、停止などを行う操作に別々のボタンを設けるなどの工夫が必要であるが、本実施の形態にかかる情報表示装置では、単に、スクロール再生を開始する命令を与えるだけで、コンテンツデータに含まれる全ての要素データを閲覧することができる。
また、動画データにかかる表示領域が再生領域よりも大きい場合には、当該動画データの表示領域を再生領域に収まるように変倍するので、動画データの全体を閲覧することができる。
また、本実施の形態にかかる情報表示装置100は、スクロール再生を行うことによって、コンテンツデータが含む全ての要素データにおける全ての部分をくまなく再生することができる。そして、ユーザは、コンテンツデータの閲覧時にただ見ているだけで、全ての要素データを閲覧することができる。したがって、例えば、リモコンのボタンなど、閲覧操作のために必要なボタンなどの操作系も単純なものにすることができる。
また、コンテンツデータは一連のデータとして連続的に再生されるので、プレゼンテーション文書のような不連続な遷移は発生しない。これにより、コンテンツデータ内の各要素データ間の関係を容易に把握しながらの閲覧が可能になる。また、例えば、プレゼンテーション文書におけるスライドのような、コンテンツデータ内に画面や紙面の大きさなどによる切れ目が存在しないので、表現内容や文字の大きさ、レイアウトを調整するのに苦心する必要がなくなる。また、ある要素データが再生される時間は、コンテンツデータのスクロール方向の表示領域の長さに比例するので、例えば、同じ行間で配置されている10行のテキストデータは5行のテキストデータの2倍の時間をかけてスクロール表示されることになるので、ユーザは、ごく自然にコンテンツデータを閲覧することができる。
さらに、例えば、コンテンツデータを再生する場合であって、多くの要素データを含むコンテンツデータの場合でも、現在画面に表示されている再生領域およびその周辺に存在する要素データのみのメモリを確保して再生準備をしておけばよいというメリットもある。つまり、例えば、現在再生されている要素データの次に再生する要素データのみをメモリに記憶させておくことにより、コンテンツデータに含まれる全ての要素データを一度に記憶させておく必要がない。
次に、本発明の情報表示装置にて再生させるコンテンツデータの例について具体的に説明する。
図19は、コンテンツデータ350が、テキストデータ、静止画データ、動画データ1801、動画データ1802を含むマルチメディア文書である場合の、表示画面領域300とコンテンツデータ350との関係を示した図面である。
動画データ1801と1802とは、通常は別々の時間帯に再生するので、図19に示したような、コンテンツデータをHTMLで記述し、従来のWWWブラウザで表示する場合には、動画データ1801および1802を、各データの再生制御用のボタンなどを含むアプレットなどの形で貼り付けることになる。すると、このコンテンツデータを閲覧するユーザは、従来では、画面を上下方向にスクロールさせる操作と、動画データの再生制御を行う操作の両方を行う必要がある。また、例えば、スクロール制御を情報表示装置において自動実行するようにした場合にはユーザによるスクロール操作は不要になるものの、動画データ1801および1802の再生制御はユーザが行う必要がある。また、動画データが画面内に来たところで自動スクロールを止める操作を行わないと、動画データの再生が見えなくなってしまう。
本実施の形態の情報表示装置では、自動的に画面スクロール処理を行うだけでなく、動画データが再生領域に収まった時点でスクロール処理を一時停止し、この状態で動画データの再生を行うので、ユーザはとくに動画データの再生処理操作を行う必要はなく、また、コンテンツデータの全てをくまなく閲覧することができる。
図20は、ハイパーリンクで関連づけられた文書群の関係を示した図面である。文書1900は、文書1910(内包コンテンツデータ)に関連づけられた記述(以下、アンカーと表記)1901、文書1920へのアンカー1902、文書1930へのアンカー1903、文書1940へのアンカー1904、文書1950へのアンカー1905、および、各種要素データを含んで構成される。
文書1900をHTML形式で記述し、従来のWWWブラウザで閲覧する場合には、まず文書1900を表示させ、ここでアンカー1901にカーソルを合わせてリンク遷移操作を行うと文書1910が読み込まれて表示される。また、アンカー1902〜1905も同様である。
図21は、図20に示す文書群のうち、文書1920および文書1940を、文書1900の中に挿入した場合の文書群の関係を模式的に示した図面である。図20の構成では、文書1920および文書1940を表示するためには、文書1900においてアンカー1902および1904から辿る必要があったが、図21の構成では文書1900内に文書1920および1940を読み込んで表示するため、リンク遷移操作を行うことなく、文書1920および1940の内容も1つのコンテンツデータに統合して表示させることができる。
本実施の形態にかかる情報表示装置は、画面サイズを大きくはみ出すようなコンテンツデータであっても、自動的にスクロール表示させることができるので、図21のような、リンク先文書を挿入した文書を表示させる場合にも有効である。
図20〜21のように、リンク先文書をリンク元文書に組み込んで便利になると想定されるコンテンツデータの一例としては、ニュースサイトのように、ニュース記事が記述された文書群へのリンク集のようなものが挙げられる。ここで、リンクされているニュース記事群の一部または全部をリンク元ページ中に読み込んで表示することで、ユーザは、挿入されているリンク先文書に関しては、リンク遷移操作を行うことなく閲覧することができる。また、本実施の形態にかかる情報表示装置により、上記のコンテンツデータを再生すれば、あたかもテレビのニュース番組を見ているのと同様に、一連のニュース記事群を再生させることが可能になる。
リンク先文書群のうち、どの文書をリンク元文書に挿入するかは、更新日時の新しいものを優先して挿入するようにしてもよいし、アクセス数の多いものを優先して挿入するようにしてもよいし、ユーザの嗜好性の高いものを優先して挿入するようにしてもよいし、その他どのような規則に従っても構わない。
また、リンク先文書(他のコンテンツデータ)をリンク元文書(コンテンツデータ)に組み込んで便利になると想定されるコンテンツデータの例としては、Webページなどの検索が挙げられる。検索対象としては、キーワードを含むWebページ、ショッピングサイトにおける、所定の条件を満たす商品群、など様々な形態が存在しているが、いずれにしても、検索結果がリスト表示され、各項目の記述からリンク遷移することで該項目の詳細な説明などを表示するような構成になっていることが多い。
そこで、上述のような仕組みで、検索結果のうちの一部または全部のリンク先文書を、リンク元文書中に挿入するようにすれば、挿入された文書に関してはリンク遷移操作をせずに閲覧することができるようになる。
リンク先文書群のうち、どの文書をリンク元文書に挿入するかは、更新日時の新しいものを優先して挿入するようにしてもよいし、アクセス数の多いものを優先して挿入するようにしてもよいし、検索キーとの一致度の高いものを優先して挿入するようにしてもよいし、その他どのような規則に従っても構わない。
また、検索キーが複数ある場合には、1つ目の検索キーに適合する文書群へのリンク元文書をまず表示し、このうち2つ目以降の検索キーに適合する文書群を読み込んでリンク元文書に挿入するようにしてもよい。
これらの、リンク先文書のリンク元文書への挿入を行うか否か、リンク先文書へのアンカーの順序などが、複数の規則によって多様に変更できる場合には、それらを簡単に切り替えられる構成であることが望ましい。たとえば、「新着順」「一致順」などのボタンを用意し、これを押すことでリンク元文書へ挿入される/されないが変わったり、表示の順序が変わったりするような構成である。
さらに、本実施の形態にかかる情報表示装置によりコンテンツデータを再生する場合に、リンク先文書の内容によってスクロールの速度を変更するようにしてもよい。
また、上記のコンテンツデータを自動的に繰返して再生する場合には、繰り返しのたびに、上記のリンク先文書の挿入、アンカーの順序、挿入された文書の再生速度などを変化させることにしてもよい。
また、リンク先文書を挿入する際には、文書全体を挿入してもよいし、一部のみを挿入したり、文字サイズや画像、映像のサイズ、品質を変えて挿入するようにしてもよい。
上記のように、他のコンテンツデータが含まれているコンテンツデータをスクロール再生させる場合には、再生に先立ってデータ取得部130がすべてのコンテンツデータを取得し、コンテンツデータ解析部154において、前記取得したすべてのコンテンツデータを解析し、前記解析の結果を再生制御データ構造管理部152にて一元的に扱う構成であることが望ましい。このとき、スクロールバー制御部151は、他のコンテンツデータの再生時間を含むコンテンツデータの総再生時間を全体としてスクロールバー320を表示する。
本実施の形態にかかるコンテンツデータを、例えば、プレビュー表示や所定の速度よりも高速で再生する高速再生にて表示する場合には、スクロール動作制御部133は、上記コンテンツデータが含む要素データの再生に代えて、上記要素データの代替データを再生するようにコンテンツデータ再生制御部155を制御してもよい。なお、上記代替データとは、例えば、サムネイルである。
なお、上記高速再生とは、例えば、ユーザの指示によりスクロール速度が指定された場合であって、その指定されたスクロール速度が、予め設定された速度よりも速い場合等における再生形態を示している。
次に、本実施の形態の情報表示装置において再生されるコンテンツデータの作成について説明する。ここでは特に、コンテンツデータを、各要素データおよび該各要素データを結びつけるスクリプトの集合体であるものとし、このコンテンツデータを携帯電話にて作成し、作成したコンテンツデータを携帯電話内の記憶領域に保存、もしくは他の機器へメッセージとして送信する場合について述べるが、この場合に限定されるものではない。
図24は、情報表示装置100において、コンテンツデータを作成する際の機能構成を示すブロック図である。図24を参照して、本実施の形態にかかる情報表示装置100である携帯電話は、操作受付部2301、端末機能実行部2302、データ構造管理部2303、およびスクリプト作成部2304を含んで構成される。これらの機能は、制御部12が、記憶部13に記憶されるプログラムを読み出し、そのプログラムを実行して図1に示されるハードウェア構成の各部を制御することによって実現される。
操作受付部2301は、ユーザからの操作を受け付ける。
端末機能実行部2302は、コンテンツデータの作成に必要な端末の機能を実行する。具体的には、テキスト入力のためのテキストエディタ、静止画データや動画データ、音声・音楽データなどを読み込んだり、作成したコンテンツデータを保存するためのファイル管理機能、画面にデータを表示させる機能、スピーカから音声を発する機能などである。
データ構造管理部2303は、作成途中のコンテンツデータを管理する。
スクリプト作成部2304は、各要素データを結びつけるスクリプトを作成し、上記情報表示装置100にて再生可能な形式のコンテンツデータを作成する。
次に、コンテンツデータ作成の処理の流れについて、図25のフローチャート、および図26と図27との画面遷移図を用いて説明する。
コンテンツデータの作成は、テキストの入力を基本とする場合には、まずテキストエディタを起動する(図25のS2401、図26の(a))。ユーザが文字入力操作を行うと、(図25のS2402で「文字入力」)このユーザによる文字入力操作をテキストエディタが受け付け、文字入力および入力された文字の表示を行う(図25のS2403、図26(b))。
次に、上記のテキストエディタが起動された状態で、ユーザが「メニュー」を選択する操作を行う(図25のS2402で「メニュー」、図26(b)でソフトキー押下により「メニュー」を選択)と、オプションメニューが画面に表示される(図25のS2404、図26(c))。このメニュー画面では、静止画データ、動画データ、サウンドデータなどのメディアファイルの読込操作、および、現在までに編集してきたコンテンツデータを再生するプレビュー機能を呼び出す操作を行うことができる。
ここで、既に記録されている動画データをコンテンツデータ内に挿入する場合について説明する。上記オプションメニュー画面が表示されているときに、ファイル挿入を指示する入力がなされる(図25のS2405で「ファイル挿入」、図26(c)で「ピクチャ挿入」「ムービー挿入」「サウンド挿入」のいずれかを選択、ここでは「ムービー挿入」を選択する)と、挿入するファイルを選択する画面が表示される(図25のS2406、図26(d))。この画面でユーザが所望のファイルを選択する(図25のS2407、図26(d)にて所望のファイルにカーソルを当てた状態でソフトキー押下により「選択」を選択)と、該選択された要素データがコンテンツデータ内に挿入され、テキストエディタに復帰する(図25のS2407〜S2402、図26(e))。
ここで、上記の要素データ挿入後のテキストエディタ画面においては、挿入された要素データをそのまま表示するのでもよいし、代表的な画像、サムネイル、アイコンなどを表示する形態をとっても構わない。
なお、上記のメディアファイル読込操作のところでは、情報表示装置100である携帯電話に内蔵されているメモリ、携帯電話に装着して用いる外部記録媒体より要素データを読み込むほか、通信機能を利用して外部の機器より要素データを取得してもよいし、携帯電話がカメラ機能やボイスレコーダ機能を具備している場合には、当該カメラ機能やボイスレコーダ機能を呼び出して、静止画像や動画像、音声データをその場で記録して、当該記録された要素データを採用することにしてもよい。
一方、上記メニュー画面においてプレビュー機能を呼び出す操作がなされた場合には、現在まで編集された部分についてスクリプトを作成(図25のS2408)し、作成したコンテンツデータの再生処理を行う(図25のS2409)。プレビュー処理が終了すると、テキストエディタに復帰する(図25のS2409〜S2402)。
以上述べた流れと同様の手順を繰返すことで、コンテンツデータが完成する(図27(a))。ここでソフトキー押下により「確定」を選択する(図25の2402で「確定」)と、確認画面表示へ移行する(図25のS2410、図27(b))。この画面においては、作成したコンテンツデータをメッセージとして送信するか、単に保存しておくかの選択ができる。
また、例えば、送信先アドレスが入力されている状態で、ソフトキー押下により「送信」が選択されると、スクリプト作成処理が行われ(図25のS2412)、完了次第、携帯電話の通信機能を利用してスクリプト処理されたコンテンツデータが送信先アドレスに送信される(図25のS2413)。このときの画面表示は、たとえば図27(c)〜(e)のようになる。
一方、確認画面において、ソフトキー押下により「登録」が選択されると、スクリプト作成処理が行われ(図25のS2414)、完了次第、携帯電話の記憶領域もしくは携帯電話に装着されている外部記憶媒体に保存される。
以上で、情報表示装置100である携帯電話において、コンテンツデータを作成する処理は完了する。
ここで、上述のコンテンツデータ作成にかかるデータ構造および作成するスクリプトに関して簡単に説明する。
図28は、データ構造管理部2303が管理するデータ構造の具体例を示す図面である。図28(b)に示されるように、コンテンツデータが含む各要素データについて、メディアの種別やファイル名、表示領域などの属性値を保持するDisplayContentクラスのインスタンスが作成される。ここで、表示領域とは、各要素データの、図8における原点O(0,0)からの相対座標値および幅、高さのことである。
このインスタンスの集合が図28(a)に示されるDisplaySchedulerクラスにて統合管理される。
各要素データについて、図28(b)のインスタンスに属性値を代入した結果を表で示したのが図29である。図29の表における各項目の値は、ユーザが文字を入力する毎、または、要素データを挿入するごとに更新されていく。なお、各要素データの再生時間帯は、通常各要素データがコンテンツデータの座標平面上で占める表示領域の大きさと比例関係にあるので、例えば、ユーザ入力によりテキストデータが入力された場合や、静止画データが挿入されることにより、表示領域の大きさが定まれば、自動的に決定される。また、ユーザが各要素データの再生時間を表示領域の大きさとは独立に設定できるような手段を別途設け、要素データ毎に再生時間を自由に設定できるようにしてもよい。この場合には、作成されたコンテンツデータを再生する時のスクロール速度を、ユーザの意志によって柔軟に変化させることが可能になる。
コンテンツデータ作成中のプレビュー処理、またはコンテンツデータ作成完了後の送信、保存処理を行う際には、スクリプト作成処理が行われる。図30は、図29のデータ構造をもとに作成したスクリプト記述の一例である。図30に示したスクリプトおよび図30から参照されているメディアファイルのセットをもって、コンテンツデータとして扱う。
上記情報表示装置100において、コンテンツデータの再生命令が出された場合、出力制御部105または出力データ読込部106において、図30に示したようなスクリプトを解析し、図29、図30に示したようなデータ構造に各要素データの属性値を展開した後に、各要素データの読み込み、再生処理が行われる。この再生処理中には、図28(a)のDisplaySchedulerクラスの属性であるCurrentTimeの値によって、再生点の時間軸上での位置を管理する。CurrentTime値は順方向再生中には所定時間(通常は1秒)毎にインクリメントされていき、このCurrentTime値と、図29の各要素データのBeginTime値およびEndTime値を比較することによって、コンテンツデータのどの部分を再生領域に表示すべきかが算出され、これに基づいて要素データの読み出し、描画、再生処理が行われる。
なお、本実施の形態では、コンテンツデータを、各要素データおよび該各要素データへの参照および各属性値を記述したスクリプトとのセットとして扱う例について説明したが、必ずしもこの形態をとらなくてもよい。例えば、各要素データとそれらの再生のための属性値すべてをひとまとまりにしたバイナリ形式のデータとしてコンテンツデータを定義してもよい。この場合には、上述のスクリプト作成処理に代えてバイナリデータ作成処理を行う。また、コンテンツデータ再生時には、該バイナリデータを解析し、例えば、上記のようなデータ構造に展開した後に再生処理が行われることになる。また、ファイルシステムにおいて要素データ群を格納するディレクトリをもってコンテンツデータとしてもよい。また、複数のファイルに含まれる要素データを1つのコンテンツデータとしてもよい。この場合には、各要素データの属性より、再生のための属性を抽出し、図28〜29のようなデータ構造を構築することによって再生処理が可能になる。
また、上記の説明では、情報表示装置100にて再生するためのコンテンツデータを作成する処理について説明したが、上記コンテンツデータの作成において、従来のWWWブラウザ、プレゼンテーションソフトなどで再生可能なコンテンツデータも作成可能であることが望ましい。
例えば、図28のデータ構造のうち、時刻に関する属性は無視して、表示領域およびメディア種別に関する属性をもとに、HTMLファイルを作成する。このときコンテンツデータが動画データを含む場合には、該動画データの再生にかかるボタン群を該動画データの表示領域の近傍に配置し、ユーザがこれを操作することで初めて再生されることにするか、当該動画データへのハイパーリンクのみを記述し、ユーザがリンク操作を行えば再生できるようにすれば、上記説明したようなスクロール再生はできないものの、従来のWWWブラウザにて閲覧可能となる。図31は、図30のスクリプトを出力するのに代えて、従来のWWWブラウザで閲覧可能なHTMLを出力した場合の出力結果の一例である。
また、本実施の形態で説明したコンテンツデータが、例えば、再生機器における再生領域に収まらない場合には、コンテンツデータをスクロール方向に複数に分割し、一連のスライドとして構成し、データフォーマットを所定の形式に変換することによって、プレゼンテーションソフトで閲覧したり、MMS(Multimedia Messaging Services)にて送受信するメッセージとして利用したりすることも可能である。図32は、図30のスクリプトを出力するのに代えて、従来のMMS再生ソフトにて閲覧可能なSMILを出力した場合の出力結果の一例である。図32のスクリプトおよび図32のスクリプトから参照される要素データは、たとえば図33に示すようにスライドショー形式で表示することができる。
また、上記説明した方法で作成されたコンテンツデータを再生する機器側で当該機器が再生可能な形式に変換する方法を採ってもよい。
また、本実施の形態で説明したコンテンツデータをメールなどにより他機器へ送信する場合で、送信先で上記コンテンツデータを正しく再生できるか否かが不明な場合(送信先の機器が本実施の形態にかかる情報表示装置100であるか否かが不明である場合)においては、図30のスクリプト、図30のスクリプトから参照される要素データに加えて、図31や図32で示されるスクリプトを同時に、または別途送信することにしてもよい。
[第2の実施の形態]
本発明の他の実施の形態について説明すれば、以下の通りである。なお、説明の便宜上、前記実施の形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。
第2の実施の形態として、情報表示装置100において、コンテンツデータ解析部154によるコンテンツデータの解析段階で、コンテンツデータの再生方向における任意の地点A(始点)と地点B(終点)とを結ぶリンクを生成し、コンテンツデータのスクロール再生時に、再生領域に前記地点Aが達すると前記生成されたリンクをたどってただちに前記地点Bへ上記再生領域に表示されるコンテンツデータが移動するという機能を追加する場合について説明する。
図34は、コンテンツデータ350において、動画データ360の直上地点Aと直下地点Bとを結ぶリンクを設けた場合のdy(t)/dtの、0≦t≦Tにおける変化の一例を示すグラフである。実線が地点Aから地点Bへ直ちに遷移する場合、一点鎖線はリンクをたどらずに動画データ360を通常どおり再生する場合の変化を示している。
なお、上述のようにコンテンツデータ内の別の地点へリンク遷移する場合に、リンク先の要素データをリンク元の要素データの直下に描画し(リンク元、リンク先の要素データの間にある要素データは描画せずに)、あたかも一連のデータであるかのように連続的に表示するのでもよいし、リンク元、リンク先の要素データの間にある要素データを通常のスクロール速度よりも高速でスクロール再生することによって、隣接しない離れた位置の要素データへ移動することをユーザに視覚的に訴える表示形態をとってもよいし、不連続に切り替わるような遷移であってもよい。不連続な遷移である場合には、遷移前にスクロールを一時停止させて、遷移する旨のメッセージや画像などを表示する、といった表示形態をとることが望ましい。
リンクに従って離れた地点間の遷移を行うか、リンクには従わず座標軸に沿って再生するかは、後述のような条件分岐によって判断すればよい。
このリンク機能の用途としては、以下のようなものが考えられる。
たとえば、コンテンツデータが含む一部の要素データは、対応するデバイスを備えていたり、対応するソフトウェアがインストールされている端末でのみ視聴可能であり、対応していない端末では再生不可能である場合に、該要素データの前後を結ぶリンクを設け、コンテンツデータの再生が該要素データの直前まで来たときに、対応可能端末であればそのまま座標軸に沿って再生するが、再生不可能端末の場合はリンクに従って該要素データの直後までコンテンツデータを遷移(ジャンプ)させる。上記のリンクは、再生端末において、コンテンツデータの解析時に設定される。
ここで、コンテンツデータ解析部154におけるリンク設定を含むコンテンツデータ解析処理の流れを図35を参照して説明する。図35を参照して、未解析の要素データが残っていれば(S3501でYES)、コンテンツデータ解析部154は、次の要素データを解析する(S3502)。解析を行った結果、この要素データが当該端末で再生不可能であると判断した場合(S3503でNO)、コンテンツデータ解析部154は、まずコンテンツデータに終点未設定のリンクが存在するかどうかを調べ、なければ(S3506でNO)、リンクを生成するために始点を設定する(S3507)。そして、続くデータが再生可能であった場合(S3503でYES、S3504でYES)、コンテンツデータ解析部154は、前記リンクの終点(到達点)を設定する。リンク情報が設定された場合のデータ構造はたとえば図36のようになる。図36を参照して、video1.mpgが当該端末で再生不可能であると判断された場合に、video1.mpgの再生区間は12秒〜28秒であることから、コンテンツデータ解析部154は、上記コンテンツデータに、始点:12秒、終点:28秒であるリンクを作成する(図36(A)の2)。ここで図28と異なるのは、図36(A)ではReason_codeフィールドを追加していることである。Reason_codeの管理表の例が図36(B)であり、各要素データが当該機器にて再生可能である場合には0、再生不可能である場合には再生不可の理由の種類を1、2、…の数値で区別するものである。図36のデータ構造に従って、スクロール動作制御部133が、コンテンツデータのスクロール再生を行うことにより、図34のグラフで示される軌跡で表示領域が移動しながら各要素データの再生処理が行われる。
図37は、上の例で再生を行わないvideo1.mpgについて、リンクによって再生をスキップするのではなく、再生不可能である旨のメッセージを、本来video1.mpgが表示される領域に表示する場合の例である。具体的には、図37に示すように、再生不可能である旨のメッセージ3701をユーザに示す。ここで、メッセージ3701に記載の「再生できないフォーマット」とは、図36(B)のMessageフィールドを参照して埋め込まれるテキストである。ここで、メッセージ3701は情報表示装置100が再生可能なメディアデータであればどのような形態であってもよく、図37の例ではテキストデータであるが、他に、静止画像データ、動画像データ、音声データ、およびそれら複数の組み合わせであってもよい。また、メッセージ3701のコンテンツデータ350内で占める領域は、本来ここに表示されるはずであったvideo1.mpgと同じ位置、大きさであってもよいし、異なっていてもよい。また、メッセージ3701の再生時間もvideo1.mpgの再生時間と同じにしてもよいし異なっていてもよい。スクロール速度に関しても、一旦停止する、速度を落とす、そのままの速度でスクロールする、など、どのような形態であっても構わない。
[第3の実施の形態]
本発明の他の実施の形態について説明すれば、以下の通りである。なお、説明の便宜上、前記実施の形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。
第3の実施の形態として、コンテンツデータ内にあらかじめ任意の地点AとBを結ぶリンクが埋め込まれており、かつ、前記リンクは条件によって有効状態(リンク遷移状態)、無効状態(リンク非遷移状態)のいずれかに切り替わるものであり、コンテンツデータ再生時には、前記地点Aに達すると、前記リンクが有効状態であれば、リンクをたどってただちに前記地点Bへ移動するが、前記リンクが無効状態であれば、リンクをたどらずにそのままスクロール再生を続けるという再生形態をとることを特徴とする機能を追加する場合について説明する。
第3の実施の形態におけるリンク機能を利用する例として、コンテンツデータの再生方向における地点Aから、地点Aよりも前に通る地点Bへ移動する場合について説明する。たとえば、コンテンツデータに含まれる要素データがユーザの入力操作を受け付けることが可能なものであって、スクロール再生の途中でユーザは一連の要素データに対して選択や文字入力操作を行えるとする。この場合、入力を行う画面は放っておくとスクロールアウトしてしまうので、入力が未完了であった際には、前記一連の要素データの最初に自動的に戻って再生を再開させる。入力が完了していれば、次の要素データへ進む。同様の例としては、ゲームや教育用コンテンツを扱う場合が考えられる。ユーザが出題に対して選択回答していき、正答率が所定の値よりも低ければ戻ってやり直しをさせ、所定の値を上回る正答率であった場合には次へ進むことができるというような例である。
この例におけるコンテンツデータを構成するスクリプトの記述例を図38に示す。図38を参照して、まず、15行目でrepeatCount=”indefinite”と記述されていることから、この<seq>で囲まれる範囲(15行目〜27行目)は無限に繰り返し再生されることになる。25〜26行目は、id=”4th_question”であるコンテンツデータ内の要素(28行目)へ移動するためのリンク記述である。このリンクが有効状態であれば、28行目へ移動することによって無限の繰り返しから抜けることができるが、リンクが無効状態であれば、依然として15〜27行目を繰り返し再生することになる。有効状態・無効状態は”validity.txt”なるテキストファイルに記述されている。このファイルに”true”と記述されていればリンクは有効状態、”false”と記述されていればこのリンクは無効状態である。当初は”validity.txt”には”false”と記述されている。17、20、23行目で再生実行されるアニメーションデータはユーザの入力操作を受け付ける要素データであり、これらのデータを再生実行するアニメーションデータ再生プログラムが、ユーザの入力を処理し、所定の条件を満たすと、”validity.txt”の内容を”true”に書き換える。これにより、25〜26行目に記述されているリンクが有効状態となり、再生は28行目へ移動することになる。
第3の実施の形態におけるリンク機能を利用するさらに別の例として、通常はリンクが設定されているためにコンテンツデータの所定区間は再生されないが、所定の条件を満たすと前記リンクが解除されて前記所定区間も再生されるようになるという場合が考えられる。たとえば、アンケートのようにユーザが選択入力していく要素データにおいて、所定の選択をした場合にのみ、より詳しい設問が現れて回答を促されるが、所定の選択をしなかった場合には該詳しい設問は現れない、といった例や、ゲームコンテンツにおいて、ユーザの成績が優秀であった場合にボーナスステージが現れる、といった例が考えられる。
このように、コンテンツデータを再生する端末において、リンクの設定・解除を行える仕組みを追加することによって、端末のさまざまな条件に応じて要素データの再生可・不可が異なったり再生形態を変える必要があっても、それらを1つのコンテンツデータで表現することができるため、とくにメッセージとして端末間やサービスー端末間で送受信する形態をとる場合に有効であると考えられる。
この例におけるコンテンツデータを構成するスクリプトの記述例を図39に示す。図39を参照して、24〜25行目は、id=”4th_question”であるコンテンツデータ内の要素(29行目)へ移動するためのリンク記述である。このリンクが有効状態であれば、29行目へ移動するが、このリンクが無効状態であれば、26行目へ進む。有効状態・無効状態は”validity.txt”に記述されており、当初は”true”と記述されているため、26〜28行目は通らないことになる。この区間が、上述のボーナスステージなどに相当する記述である。16、19、22行目で再生実行されるアニメーションデータはユーザの入力操作を受け付ける要素データであり、これらのデータを再生実行するアニメーションデータ再生プログラムが、ユーザの入力操作を処理し、所定の条件を満たすと、”validity.txt”の内容を”false”に書き換える。これにより、24〜25行目に記述されているリンクが無効になり、再生は26〜28行目を通ることになる。
さらに、上述のようなコンテンツデータの再生およびコンテンツデータの作成処理を行う方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD−ROM(Compact Disc-Read Only Memory)、ROM(Read Only Memory)、RAM(Random Access Memory)およびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
なお、上記実施の形態では、情報表示装置100を構成する各部材が、「CPUなどの演算手段がROMやRAMなどの記録媒体に格納されたプログラムコードを実行することで実現される機能ブロックである」場合を例にして説明したが、同様の処理を行うハードウェアで実現してもよい。また、処理の一部を行うハードウェアと、当該ハードウェアの制御や残余の処理を行うプログラムコードを実行する上記演算手段とを組み合わせても実現することもできる。さらに、上記各部材のうち、ハードウェアとして説明した部材であっても、処理の一部を行うハードウェアと、当該ハードウェアの制御や残余の処理を行うプログラムコードを実行する上記演算手段とを組み合わせても実現することもできる。なお、上記演算手段は、単体であってもよいし、装置内部のバスや種々の通信路を介して接続された複数の演算手段が共同してプログラムコードを実行してもよい。
上記演算手段によって直接実行可能なプログラムコード自体、または、後述する解凍などの処理によってプログラムコードを生成可能なデータとしてのプログラムは、当該プログラム(プログラムコードまたは上記データ)を記録媒体に格納し、当該記録媒体を配付したり、あるいは、上記プログラムを、有線または無線の通信路を介して伝送するための通信手段で送信したりして配付され、上記演算手段で実行される。
なお、通信路を介して伝送する場合、通信路を構成する各伝送媒体が、プログラムを示す信号列を伝搬し合うことによって、当該通信路を介して、上記プログラムが伝送される。また、信号列を伝送する際、送信装置が、プログラムを示す信号列により搬送波を変調することによって、上記信号列を搬送波に重畳してもよい。この場合、受信装置が搬送波を復調することによって信号列が復元される。一方、上記信号列を伝送する際、送信装置が、デジタルデータ列としての信号列をパケット分割して伝送してもよい。この場合、受信装置は、受信したパケット群を連結して、上記信号列を復元する。また、送信装置が、信号列を送信する際、時分割/周波数分割/符号分割などの方法で、信号列を他の信号列と多重化して伝送してもよい。この場合、受信装置は、多重化された信号列から、個々の信号列を抽出して復元する。いずれの場合であっても、通信路を介してプログラムを伝送できれば、同様の効果が得られる。
ここで、プログラムを配付する際の記録媒体は、取外し可能である方が好ましいが、プログラムを配付した後の記録媒体は、取外し可能か否かを問わない。また、上記記録媒体は、プログラムが記憶されていれば、書換え(書き込み)可能か否か、揮発性か否か、記録方法および形状を問わない。記録媒体の一例として、磁気テープやカセットテープなどのテープ、あるいは、フロッピー(登録商標)ディスクやハードディスクなどの磁気ディスク、または、CD−ROMや光磁気ディスク(MO)、ミニディスク(MD)やデジタルビデオディスク(DVD)などのディスクが挙げられる。また、記録媒体は、ICカードや光カードのようなカード、あるいは、マスクROMやEPROM、EEPROMまたはフラッシュROMなどのような半導体メモリであってもよい。あるいは、CPUなどの演算手段内に形成されたメモリであってもよい。
なお、上記プログラムコードは、上記各処理の全手順を上記演算手段へ指示するコードであってもよいし、所定の手順で呼び出すことで、上記各処理の一部または全部を実行可能な基本プログラム(例えば、オペレーティングシステムやライブラリなど)が既に存在していれば、当該基本プログラムの呼び出しを上記演算手段へ指示するコードやポインタなどで、上記全手順の一部または全部を置き換えてもよい。
また、上記記録媒体にプログラムを格納する際の形式は、例えば、実メモリに配置した状態のように、演算手段がアクセスして実行可能な格納形式であってもよいし、実メモリに配置する前で、演算手段が常時アクセス可能なローカルな記録媒体(例えば、実メモリやハードディスクなど)にインストールした後の格納形式、あるいは、ネットワークや搬送可能な記録媒体などから上記ローカルな記録媒体にインストールする前の格納形式などであってもよい。また、プログラムは、コンパイル後のオブジェクトコードに限るものではなく、ソースコードや、インタプリトまたはコンパイルの途中で生成される中間コードとして格納されていてもよい。いずれの場合であっても、圧縮された情報の解凍、符号化された情報の復号、インタプリト、コンパイル、リンク、または、実メモリへの配置などの処理、あるいは、各処理の組み合わせによって、上記演算手段が実行可能な形式に変換可能であれば、プログラムを記録媒体に格納する際の形式に拘わらず、同様の効果を得ることができる。
本実施の形態にかかる情報表示装置は、1つ以上の要素データを含んで構成されるコンテンツデータをスクロール再生するスクロール再生手段および上記要素データのうちの動画データを再生する動画再生手段を制御する再生制御手段(データ再生手段)を備える情報表示装置であって、前記コンテンツデータは、該コンテンツデータが含む1つ以上の要素データを、1本の座標軸に沿って配置したものであって、上記再生制御手段は、前記コンテンツデータを、前記座標軸に沿ってスクロール再生させることによって、動画データの再生を含むコンテンツデータの再生を時系列に沿って行うようにスクロール再生手段および動画再生手段を制御するものである構成であってもよい。
また、上記情報表示装置は、スクロールバーを表示するスクロールバー表示手段をさらに備え、該スクロールバー表示手段は、上記スクロール再生手段によるコンテンツデータの再生の状況に応じて、該スクロールバーが含むスクロールバー・スライダの表示位置を更新するものである構成であることがより好ましい。これにより、ユーザはコンテンツデータ再生状況を把握することができる。
また、上記情報表示装置は、前記スクロールバー・スライダは、前記コンテンツデータの再生にかかる所要時間のうち、現在どの地点にあるかを示すものである構成がより好ましい。これにより、ユーザはコンテンツデータ再生にかかる所要時間のうち現在どの地点にあるのかを把握することができる。
また、上記情報表示装置は、上記再生制御手段は、上記コンテンツデータの上記座標軸に沿ったスクロール再生および動画データの再生を自動的に行うものである構成がより好ましい。これにより、ユーザはコンテンツデータ再生に際して何の操作も必要なくなる。
また、上記情報表示装置は、上記再生制御手段は、上記コンテンツデータの座標軸に沿ったスクロール再生を一定速度で行うようにスクロール再生手段を制御する構成がより好ましい。これにより、ユーザはコンテンツデータを一定のペースで閲覧することができる
また、上記情報表示装置は、上記再生制御手段は、表示する要素データの属性に応じて、前記コンテンツデータの座標軸に沿ったスクロールの速度を変化させるもしくは一時停止させるようにスクロール再生手段を制御する構成がより好ましい。これにより、コンテンツデータが含む要素データによって再生にかかるスクロールの速度を変化させることができる。
また、上記情報表示装置は、前記再生制御手段は、前記スクロール一時停止の直前および直後のスクロール再生を、それ以外の領域のスクロール再生とは速度を変えて行うものである構成であってもよい。これにより、スクロールを一時停止させて再生する要素データの登場、退場を迅速に行うことが出来る。
また、上記情報表示装置は、ユーザからの入力を受け付ける入力手段を備え、該入力手段によって入力される情報は、前記スクロールの方向、速度の指示情報、および/または、コンテンツデータを再生する再生点の変更指示情報、とを含み、前記再生制御手段は、前記コンテンツデータの再生を、前記入力手段によって入力された情報に従って行うものである構成であってもよい。これにより、ユーザ主導でコンテンツデータの再生を制御できる。
また、上記情報表示装置は、上記入力手段は、遠隔操作可能なリモートコントローラである構成がより好ましい。これにより、コンテンツデータの再生制御を、表示装置と離れた位置から制御できる。
また、上記情報表示装置は、上記入力手段は、表示されている上記スクロールバーおよびスクロールバー・スライダを操作可能なポインティングデバイスである構成がより好ましい。これにより、スクロールバー・スライダを移動させることによって再生の位置を移動させることができる
また、上記情報表示装置は、上記スクロールバー表示手段は、上記再生制御手段のスクロール制御と関係なく、前記スクロールバー・スライダの位置を等速で移動させるものである構成がより好ましい。これにより、ユーザは、コンテンツデータの再生にかかる所要時間のうち現在どの位置にあるのかを把握することができる。
また、上記情報表示装置は、上記スクロールバー表示手段は、上記再生制御手段がスクロール再生を一時停止させる場合には、該一時停止区間にて再生される要素データの再生区間を、上記スクロールバー・スライダの周辺に識別可能に表示する(視覚化する)ものである構成がより好ましい。これにより、ユーザは、現在再生中の要素データの再生時間が、コンテンツデータ全体の再生時間のうちどの程度の割合を占めるのかを把握出来る
また、上記情報表示装置は、上記入力手段は、上記スクロール再生の一時停止区間において、当該区間で再生される要素データの再生状態を変えることなく、コンテンツデータの座標軸に沿ったスクロール再生を行うことができる構成がより好ましい。そして、要素データの再生状態を変えることなく、コンテンツデータの座標軸に沿ったスクロール再生を行うための入力手段による操作は、上記スクロールバーのうち、上記スクロールバー・スライダの周辺に視覚化された、要素データの再生区間を示す部分を、ポインティングデバイスによって動かすことによって実現されるものである構成がより好ましい。これにより、要素データの再生状態を変えることなく、該要素データの前後に存在するデータを確認することができる。
また、上記情報表示装置は、上記要素データは、テキストデータ、静止画データ、動画データ、音声データ、音楽データのいずれかである構成がより好ましい。
また、上記情報表示装置は、上記コンテンツデータ内に、他のコンテンツデータを参照するリンクを定義することができ、上記コンテンツデータの再生中に、ユーザによる操作により、または、自動的に、上記他のコンテンツデータの再生へ遷移することができる構成がより好ましい。これにより、リンク遷移することで別の(他の)コンテンツデータへ切り替えることが出来る。
また、上記情報表示装置は、上記コンテンツデータ内の、上記他のコンテンツデータを参照するリンクに替えて、上記他のコンテンツデータの一部または全部を、上記コンテンツデータ内に挿入することによって、一つのコンテンツデータとして扱う構成であってもよい。これにより、リンク遷移操作を行わなくてもリンク先のコンテンツデータの内容を閲覧することができる。
また、上記情報表示装置は、上記コンテンツデータに対応する、上記他のコンテンツデータが複数存在する場合に、所定の規則に従い、上記複数の他のコンテンツデータのうち、少なくとも1つの他のコンテンツデータを、上記コンテンツデータ内に挿入する構成であってもよい。これにより、他のコンテンツデータが複数ある場合に、その一部のみを上記コンテンツデータと一緒に見ることが出来る。
また、上記情報表示装置は、上記所定の規則とは、上記他のコンテンツデータのうち、更新日時の新しいものを優先して、上記コンテンツデータ内に挿入するものである構成であってもよい。これにより、更新日時が最も新しいものが、(リンク遷移操作不要で)コンテンツデータとリンクされることになるので、ユーザは、更新日時が最も新しい情報を見ることができる。
また、上記情報表示装置は、上記所定の規則とは、上記他のコンテンツデータのうち、アクセス数の多いものを優先して、上記コンテンツデータ内に挿入するものである構成がより好ましい。
また、上記情報表示装置は、上記所定の規則とは、上記他のコンテンツデータのうち、ユーザ嗜好度の高いものを優先して、上記コンテンツデータ内に挿入するものである構成がより好ましい。
また、上記情報表示装置は、上記所定の規則とは、上記他のコンテンツデータのうち、検索キーとの一致度の高いものを優先して、上記コンテンツデータ内に挿入するものである構成がより好ましい。
また、上記情報表示装置は、さらに、上記所定の規則に従って、上記コンテンツデータ内に挿入された上記他のコンテンツデータが含む前記要素データの再生形態を変化させるものである構成がより好ましい。これにより、ユーザは、挿入されたデータを元のデータと区別することができる。
また、上記情報表示装置は、上記再生形態の変化とは、再生にかかるスクロール速度、再生時間、再生する部分、表示する面積、再生時の音量のいずれか一つに差をつけるものである構成がより好ましい。
また、上記情報表示装置は、上記再生制御手段は、上記コンテンツデータの再生終了点(再生点の終端)までスクロール再生が達したと判断すると、上記コンテンツデータの再生開始点(再生点の先頭)に戻って繰り返し再生を行うものである構成がより好ましい。これにより、自動的に繰り返して再生することが出来る。また、自動的に先頭に戻るのでスクロール操作で先頭まで戻る必要がない。
また、上記情報表示装置は、上記コンテンツデータ内から参照される上記他のコンテンツデータを上記コンテンツデータ内に挿入するか否かは、繰り返し再生の繰り返し回数によって定まるものである構成がより好ましい。これにより、繰り返し再生していくにつれて、挿入するデータを変えることが出来る。
また、上記情報表示装置は、上記コンテンツデータおよび、上記コンテンツデータ内に挿入された上記他のコンテンツデータが含む前記要素データの再生形態は、前記繰り返し再生の繰り返し回数に応じて変化するものである構成がより好ましい。これにより、繰り返し再生していくにつれて、挿入されたデータの再生形態を変えることが出来る。
また、上記情報表示装置は、前記要素データが再生領域に収まらない大きさである場合には、縮小表示することによって再生領域に収める構成がより好ましい。これにより、再生領域に収まらないサイズの要素データも、一目で全貌を見ることが出来る。
また、上記情報表示装置は、上記再生制御手段は、上記コンテンツデータの再生を所定の速度よりも高速で実行する場合において、上記コンテンツデータが含む要素データの再生に代えて、上記要素データの代替データを再生するようにスクロール再生手段および動画再生手段を制御する構成がより好ましい。代替データ=要素データの代表的な一部分、とすれば、高速再生時において、コンテンツデータ全体の概略をある程度把握できるようになる。また、代替データは要素データよりもデータ量が少ないので、データのロード・アンロードが短時間で行え、高速再生がスムーズに行える。
また、上記情報表示装置は、上記要素データを追加していくことによってコンテンツデータを作成する、データ作成手段をさらに備える構成がより好ましい。これにより、本願の情報表示装置にて再生可能なコンテンツデータを作成することができる。
また、上記情報表示装置は、通信機能(通信手段)をさらに備え、当該通信機能(通信手段)を利用して前記コンテンツデータを他の機器との間で送受信する構成がより好ましい。これにより、本発明の情報表示装置にて再生可能なコンテンツデータを他の機器へ送受信することができる。
また、上記情報表示装置は、上記再生制御手段は、動画再生手段から動画データの再生終了報告を受信すると、スクロール再生手段にコンテンツデータのスクロール再生を開始させるとともに、スクロール再生するスクロール速度を、当該動画データの表示領域が上記再生領域からスクロールアウトするまでの間、動画データの表示領域が再生領域に表示されていない場合におけるスクロール速度よりも速くするように制御する構成であることがより好ましい。
上記の構成によれば、上記再生制御手段は、動画データの再生が終了すると、スクロール再生を再開するようになっている。そして、スクロール再生を再開するにあたり、すでに再生が終了している動画データの表示領域がスクロールアウトするまで、スクロール速度を、通常のスクロール速度(動画データの表示領域が再生領域に表示されていない場合におけるコンテンツデータのスクロール速度、換言すると、コンテンツデータの動画データが含まれていない部分におけるスクロール速度)よりも速くスクロール再生を行うようになっている。これにより、すでに、動画データの再生が終了した後、他の要素データの閲覧を速く行うことができる。
本実施の形態にかかる情報処理装置は、上記コンテンツデータは、任意の始点と終点とを結ぶリンク情報を含み、上記スクロール再生手段は、再生点が上記始点に達したときただちに再生点を上記終点へ移動させるものである構成であってもよい。
また、本実施の形態にかかる情報処理装置は、上記リンク情報は、上記コンテンツデータにあらかじめ含まれている構成であってもよい。
また、本実施の形態にかかる情報処理装置は、上記コンテンツデータには含まれていないリンク情報を新たに生成する機能を備える構成がより好ましい。
また、本実施の形態にかかる情報処理装置は、上記リンク情報は、有効状態または無効状態に切替可能なものであって、上記再生制御手段は、上記リンク情報が有効状態であれば、上記リンクの始点から終点へ遷移するよう上記スクロール再生手段を制御し、上記リンク情報が無効状態であれば、再生点が上記リンクに達してもリンク遷移を行わないよう上記スクロール再生手段を制御する構成であってもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。