JPH08115250A - ハイパーメディアシステム - Google Patents

Abstract

(57)【要約】 【目的】 これまでリンクを辿って呼び出してきた関連
情報の関連性を容易に把握することができ、また過去に
呼び出した関連情報を何度でも見ることができるハイパ
ーメディアシステムを提供する。 【構成】 予め、関連する情報どうしがリンクされてお
り、利用者がリンクを辿って関連情報を呼び出した時
に、前記関連情報を指す経歴図形を作成、表示する経歴
図形作成手段と、これまで辿ってきたリンク情報を記憶
しておく経歴情報記憶手段とを設けることによって、表
示されている関連情報をどういう経路で辿ってきたかを
視覚的に把握することができ、また入力指示手段で経歴
図形を選択することによって、過去に呼び出した関連情
報を何度でも見ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画、静止画、テキス
ト、音声等のデータ（以下マルチメディアデータとい
う）に対して、予め関連性のあるデータどうしをリンク
情報で関連付けておき、そのリンク情報を辿ることによ
って、関連するマルチメディアデータを階層的に呼び出
すことができるハイパーメディアシステムにおいて、こ
れまで呼び出したマルチメディアデータの関連性を容易
に把握でき、また、リンク情報を効率良く検索するハイ
パーメディアシステムに関するものである。

【０００２】

【従来の技術】近年、情報検索システムや自動案内シス
テムとしてハイパーテキストやハイパーメディアを利用
したものが開発されている。ハイパーテキストとは文書
中の章、段落、文、キーワードといったテキストに予め
関連性のある別のテキストをリンク（関連付け）させて
おき、例えば、文書中のテキストをマウスなどのポイン
ティングデバイスで選択することによって、そのテキス
トにリンクされた関連テキストを次々と階層的に呼び出
すことができるものである。

【０００３】さらにハイパーメディアでは、章、段落、
文、キーワードといったテキストに限らず、動画につい
てはシーン、フレーム、フレーム内の個々の物体に対し
て、静止画については静止画そのものあるいはその静止
画中に存在する個々の物体に対して動画、静止画といっ
た情報をリンクでき、呼び出すことができる。

【０００４】ここで、予め関連付けされている情報間に
おいて、一方の情報から他方の情報を呼び出す場合、呼
び出し元となる情報をリンク元データ、呼び出された別
の情報をリンク先データと呼ぶことにする。

【０００５】以下図面を参照しながら、上記した従来の
ハイパーメディアシステムの一例について説明する。

【０００６】図２０は従来のハイパーメディアシステム
の一構成を示すものである。図２０において、２００１
は位置情報入力部、２００２はリンク情報判定部、２０
０３はリンク情報記憶部、２００４はデータ検索部、２
００５はデータ記憶部、２００６はアナログ映像制御
部、２００７はアナログ映像記憶部、２００８は画面制
御部、２００９は表示装置である。

【０００７】位置情報入力部２００１はマウスなどの座
標入力手段で、表示装置２００９の画面上で選択した座
標をリンク情報判定部２００２に通知する。

【０００８】リンク情報記憶部２００３はリンク元デー
タの領域情報、リンク先データの識別情報及びリンク先
データを表示装置２００９に表示する際の表示座標をリ
ンク情報として記憶している。ここで動画データに対す
る前記領域情報にはリンク元データが動画中のどのフレ
ームに存在するかを示す情報も含まれている。

【０００９】データ記憶部２００５は静止画やテキスト
のデジタルデータが記憶してあり、例えば、ハードディ
スクや光磁気ディスクなどの記憶装置に、静止画はビッ
トマップ、テキストはアスキーなどの形式で記憶されて
いる。

【００１０】アナログ映像制御部２００６は利用者また
はデータ検索部２００４の指示を受けて、アナログ映像
記憶部２００７に記憶されているアナログ映像の再生、
停止、早送り、巻き戻し、頭出しなどの制御を行ない、
アナログ映像を画面制御部２００８に通知する。

【００１１】アナログ映像記憶部２００７は例えば、レ
ーザーディスクや光ディスクなどの記憶装置で、アナロ
グ映像を記憶している。

【００１２】表示装置２００９はＣＲＴなどの表示装置
である。以上のように構成された従来のハイパーメディ
アシステムについて、図２０及び図２１を用いて以下に
その動作を説明する。

【００１３】まず予め、動画、静止画、テキストデータ
のそれぞれに関連性がある場合、関連するデータどうし
をリンクし、そのリンク情報がリンク情報記憶部２００
３に記憶されているものとする。例えば、動画の場合、
刻々と変化するフレーム中に現れる物体（人物や車や建
物など）に他のデータをリンクしていると、その動画の
持つリンク情報はどのフレームの、どの位置に現れる物
体に、どの情報をリンクしているといったものがフレー
ム毎に定義されている。

【００１４】また静止画及びテキストデータはデータ記
憶部２００５に、動画はアナログ映像記憶部２００７に
記憶されているものとする。

【００１５】図２１のステップ２１０１において、利用
者はアナログ映像制御部２００６を操作してアナログ映
像記憶部２００７のアナログ映像を再生する。

【００１６】図２１のステップ２１０２において、ステ
ップ２１０１で再生された動画は画面制御部２００８に
よって他の画面情報とスーパーインポーズされて表示装
置２００９に表示されている。

【００１７】図２１のステップ２１０３において、利用
者は表示装置２００９に表示されている動画を見ている
途中に興味のある物体（人物や車）が現れ、仮にその物
体を物体Ａとし、物体Ａに対する別の情報が欲しいと思
った場合、利用者は位置情報入力部２００１を用いて物
体Ａの領域内を選択すると位置情報入力部２００１はリ
ンク情報判定部２００２に選択された座標を通知する。

【００１８】図２１のステップ２１０５において、リン
ク情報判定部２００２は位置情報入力部２００１から通
知された座標が動画中の物体Ａを選択しているかどうか
を判定するために、リンク情報記憶部２００３に記憶さ
れている全てのリンク情報の領域座標を検索し、判定す
る。この時、リンク情報記憶部２００３には全ての動
画、静止画、テキストデータの持つリンク情報が記憶さ
れているので、位置情報入力部２００１から通知された
座標がどのリンク元データを選択しているかを判定する
のに関係のないリンク情報も検索することになる。

【００１９】図２１のステップ２１０６において、ステ
ップ２１０５の判定が真の場合は物体Ａにリンクされた
リンク先データの識別情報及び表示座標をデータ検索部
２００４に通知する。

【００２０】図２１のステップ２１０７において、デー
タ検索部２００４はリンク情報検索部２００２から通知
されたリンク先データの識別情報をもとに静止画、テキ
ストの場合はデータ記憶部２００５からリンク先データ
を読み出す。

【００２１】図２１のステップ２１０８、ステップ２１
０９において、ステップ２１０７で読み出した静止画ま
たはテキストのリンク先データを、リンク情報判定部２
００２から通知された表示座標とともに画面制御部２０
０８に通知する。

【００２２】図２１のステップ２１１０において、も
し、前記識別情報が動画の場合はアナログ映像制御部２
００６に動画の頭出し再生を指示する。

【００２３】図２１のステップ２１１１において、アナ
ログ映像制御部２００６はデータ検索部２００４からの
指示を受けて、アナログ映像記憶部２００７から動画の
頭出し再生を行ない、画面制御部２００８に動画を通知
する。

【００２４】図２１のステップ２１１２において、画面
制御部２００８はデータ検索部２００４から通知される
静止画やテキストのデータとアナログ映像制御部２００
６から通知される動画とマウスを表示座標に従ってスー
パーインポーズし、表示装置２００９に表示する。

【００２５】図２１のステップ２００４において、以上
の処理を操作が終了するまで繰り返すことによってリン
ク情報がある限り関連情報を階層的に呼び出すことがで
きる。

【００２６】ここで仮に物体Ａから静止画Ａ１及びテキ
ストＡ１を呼び出し、さらに静止画Ａ１内の物体Ｂから
静止画Ｂ１及びテキストＢ１を呼び出した場合の表示装
置２００９の画面例を図２２に示す。

【００２７】図２２において、２２０１は表示装置２０
０９の画面、２２０２はアナログ映像記憶部２００７か
ら再生している動画を表示しているウインドウで、再生
の途中で物体Ａが現れる。２２０３は利用者がウインド
ウ２２０２に表示された物体Ａを選択した時に物体Ａか
ら呼び出された静止画Ａ１を表示しているウインドウ、
２２０４は静止画Ａ１と同様に物体Ａから呼び出された
テキストＡ１を表示しているウインドウである。２２０
５は利用者がウインドウ２２０３に表示された物体Ｂを
選択した時に物体Ｂから呼び出された静止画Ｂ１を表示
しているウインドウ、２２０６は静止画Ｂ１と同様に物
体Ｂから呼び出されたテキストＢ１を表示しているウイ
ンドウである。これらのウインドウはマルチウインドウ
形式で画面制御部２００８によってスーパーインポーズ
され、表示装置２００９に表示されるが、それぞれのウ
インドウの関連性は把握しにくい。２２０７はウィンド
ウ２２０２に表示されている動画の一場面に現れた物体
Ａを定義する領域、２２０８はウィンドウ２２０３に表
示されている静止画に存在する物体Ｂを定義する領域で
ある。

【００２８】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では動画、静止画、テキストのデータをマルチ
ウインドウ形式で表示するため、図２２に示す画面例か
らも明らかなように、それぞれのウインドウに表示され
たデータの関連性は利用者が把握していなければなら
ず、リンクを辿って多くのデータを呼び出していくうち
に今まで辿ってきた道のりを見失ってしまうという問題
点を有していた。

【００２９】また、リンク情報と動画、静止画、テキス
トのデータは別々に記憶保持されており、位置情報入力
部によって選択された座標がどのリンク元データを指し
ているのかを全リンク情報の中から検索しなければなら
ず、リンク情報が増えるほど検索時間もかかるという問
題点を有していた。

【００３０】本発明は上記問題点に鑑み、リンクを辿っ
て呼び出した情報の関連性を容易に把握することがで
き、リンク情報内でのリンク元データの検索時間を短く
することができるハイパーメディアシステムを提供する
ことを目的とする。

【００３１】

【課題を解決するための手段】上記問題点を解決するた
めの第１の課題解決の手段は、予めリンク情報により関
連付けされている画像データ間のリンク情報を記憶する
リンク情報記憶手段と、前記画像データを記録保持する
データ記憶手段と、表示装置に前記画像データを含む情
報をマルチウインドウ形式で表示することができる表示
手段と、前記表示装置上に表示されている前記情報を選
択し、その選択した情報の前記表示装置上での位置情報
を決定する位置情報入力手段と、前記位置情報入力手段
で決定された位置情報が、前記リンク情報記憶手段で記
憶されているリンク情報に含まれているか否かを判定す
るリンク情報判定手段と、前記リンク情報判定手段で判
定された結果、前記位置情報が前記リンク情報に含まれ
ていれば前記データ記憶手段から画像データを含む情報
を検索するデータ検索手段と、前記データ検索手段で検
索された画像データを前記表示手段により前記表示装置
に表示するとともに、前記画像データを表す経歴図形を
作成、表示する経歴図形作成手段とを備えた構成とす
る。

【００３２】第２の課題解決の手段は、予めリンク情報
により関連付けされている画像データ間のリンク情報を
前記画像データに含んだ形式で記憶保持するデータ記憶
手段と、表示装置に前記画像データを含む情報をマルチ
ウインドウ形式で表示することができる表示手段と、前
記表示装置上に表示されている前記情報を選択し、その
選択した情報の前記表示装置上での位置情報を決定する
位置情報入力手段と、前記位置情報入力手段で決定され
た位置情報が、リンク情報記憶手段で記憶されているリ
ンク情報に含まれているか否かを判定するリンク情報判
定手段と、前記リンク情報判定手段で判定された結果、
前記位置情報が前記リンク情報に含まれていれば前記デ
ータ記憶手段から画像データを含む情報を検索するデー
タ検索手段と、前記データ検索手段で検索された前記画
像データを画像データとリンク情報に分離するリンク情
報分離手段と、前記リンク情報分離手段で分離されたリ
ンク情報を一時記憶するリンク情報記憶手段とを備えた
構成とする。

【００３３】

【作用】上記構成における第１の作用は、関連情報を呼
び出す毎に経歴図形作成手段によって、表示画面に経歴
図形が作成、表示されるため、マルチウインドウ形式で
表示されている関連情報をどういう経路で辿ってきたか
を視覚的に把握することができる。

【００３４】第２の作用は、予め、それぞれの動画、静
止画、テキストデータが持つリンク情報をそれぞれのデ
ータの中に含んだ形式で記憶保持し、前記データが呼び
出された時に、リンク情報分離手段によって、前記デー
タの中からリンク情報が分離されて、前記リンク情報は
リンク情報記憶手段に記憶されるので、リンク情報記憶
手段には全てのリンク情報が記憶されているのではな
く、呼び出されたデータが持つリンク情報だけが記憶さ
れていることになる。これによって、リンク情報におけ
るリンク元データの検索時間を短縮することができる。

【００３５】

【実施例】

（実施例１）以下本発明の第１の実施例について、図面
を参照しながら説明する。

【００３６】図１は本発明の第１の実施例におけるハイ
パーメディアシステムの構成例を示すものである。図１
において、１０１は位置情報入力部、１０２はリンク情
報判定部、１０３はリンク情報記憶部、１０４はデータ
検索部、１０５はデータ記憶部、１０６は圧縮データ伸
張部、１０７は画面制御部、１０８は表示装置、１０９
は経歴図形作成部、１１０は経歴情報記憶部、１１１は
経歴図形判定部である。

【００３７】位置情報入力部１０１はマウスなどの座標
入力手段で、表示装置１０８の画面上で選択された座標
をリンク情報判定部１０２に通知する。

【００３８】リンク情報判定部１０２は位置情報入力部
１０１から通知された座標がリンク先データを持つリン
ク元データの領域座標内であるかをリンク情報記憶部１
０３に記憶されているリンク情報をもとに判定し、真の
場合はリンク先データの識別子、データ名及び表示座標
をデータ検索部１０４及び経歴図形作成部１０９に通知
し、偽の場合は経歴図形判定部１１１に位置情報入力部
１０１から通知された座標を通知する。

【００３９】リンク情報記憶部１０３はリンク元データ
の領域座標、リンク先データの識別子、データ名及び表
示座標をリンク情報として記憶している。例えば動画中
のリンク元データが持つリンク情報は図２のような形式
で、動画中の全てのフレームに現れる物体について定義
し、記憶している。また静止画、テキストについては動
画と違い時間軸情報は必要ないので図４のような形式で
定義し、記憶している。

【００４０】データ検索部１０４はリンク情報判定部１
０２あるいは経歴図形判定部１１１から通知されたリン
ク先データの識別子、データ名及び表示座標をもとにデ
ータ記憶部１０５からリンク先データを読み出し、前記
識別子によってリンク先データがテキストならば画面制
御部１０７に、もし静止画または動画ならば圧縮データ
伸張部１０６にリンク先データと前記表示座標を通知す
る。

【００４１】データ記憶部１０５は動画、静止画、テキ
ストのデータが記憶してあり、例えば、ハードディスク
や光磁気ディスクなどの記憶装置に動画及び静止画はデ
ジタル圧縮して、テキストはアスキー形式で記憶されて
いる。

【００４２】圧縮データ伸張部１０６はデータ検索部１
０４から通知されたリンク先データの圧縮データを伸張
し、画面制御部１０７にリンク先データ表示座標ととも
に通知する。

【００４３】画面制御部１０７は入力される動画、静止
画、テキスト、経歴図形、マウスなどの表示データを表
示座標に従ってマルチウインドウ形式で表示装置１０８
にスーパーインポーズ表示する。

【００４４】表示装置１０８はＣＲＴなどの表示装置
で、本実施例では横６４０ドット、縦４８０ドットの解
像度を持つＣＲＴを用いるものとする。

【００４５】経歴図形作成部１０９はリンク情報判定部
１０２から通知されたリンク先データの識別子、データ
名及び表示座標のうちリンク先データの識別子及びデー
タ名を経歴図形化し、経歴図形の表示座標とともに画面
制御部１０７に通知する。また前記経歴図形の表示座
標、リンク先データの識別子、リンク先データ名、リン
ク先データの表示座標を経歴情報記憶部１１０に記憶す
る。

【００４６】経歴情報記憶部１１０は経歴図形作成部１
０９から通知された経歴図形の表示座標、リンク先デー
タの識別子、リンク先データ名、リンク先データの表示
座標をそれぞれ領域座標、識別子、データ名、表示座標
として図４のような形式で記憶している。

【００４７】経歴図形判定部１１１はリンク情報判定部
１０２から通知された座標が経歴図形の領域座標内であ
るかを経歴情報記憶部１１０に記憶されている経歴情報
をもとに判定し、真の場合はリンク先データの識別子、
データ名及び表示座標をデータ検索部１０４に通知す
る。

【００４８】次に本実施例で取り扱うデータ構造につい
て、図面を参照しながら説明する。図２は動画中のリン
ク元データが持つリンク情報の構造例で、リンク元デー
タ毎にリンク情報記憶部１０３に記憶されている。図２
において２０１は動画の時間軸を示す情報で、リンク元
データが存在するフレーム情報を示す。

【００４９】２０２は領域座標で、フレーム内でリンク
元データを定義する領域座標を示す。本実施例では図３
に示す領域座標のようにリンク元データを矩形領域で定
義し、矩形領域の左隅上の横座標、縦座標と右隅下の横
座標、縦座標を用いるものとする。

【００５０】２０３は識別子でリンク元データにリンク
されたリンク先データの種類を示す。本実施例では図３
に示す識別子のように静止画データにはＪＰＥＧ、テキ
ストデータにはＴＥＸＴ、動画データにはＭＰＥＧの識
別子を用いるものとする。

【００５１】２０４はデータ名で、リンク元データにリ
ンクされたリンク先データ名を示す。本実施例では図３
に示すデータ名のようにファイル名を用いるものとす
る。

【００５２】２０５は表示座標で、リンク先データを表
示する際の表示座標を示す。本実施例では図３に示す表
示座標のように矩形領域で表示するため、矩形領域の左
隅上の横座標、縦座標と右隅下の横座標、縦座標を用い
るものとする。

【００５３】図３に本実施例で用いる動画データＦＩＬ
Ｅ０のリンク情報を示す。図４は静止画またはテキスト
中のリンク元データが持つリンク情報の構造例で、リン
ク元データ毎にリンク情報記憶部１０３に記憶されてい
る。図４において２０２、２０３、２０４、２０５は図
２で示したものと同様な構成である。また図５に本実施
例で用いる図３中の静止画データＦＩＬＥ１のリンク情
報を示す。

【００５４】図６、図７、図８は本実施例で用いる呼び
出されたリンク先データの経歴情報の状態遷移で、経歴
情報記憶部１１０に記憶されている。経歴情報は図４で
示す構造と同様なものである。

【００５５】図９、図１０、図１１は関連情報を次々と
呼び出した時の表示装置１０８の状態遷移を示す。

【００５６】図９において、９０１は表示装置１０８の
画面、９０２は動画データＦＩＬＥ０を表示しているウ
インドウ、９０３は動画データＦＩＬＥ０中のリンク元
データの物体Ｃを定義した領域、すなわち、図３の領域
座標（８０、８０、１６０、１２０）の矩形領域、９０
４は表示装置１０８の画面上での座標を指示するマウ
ス、９０５は物体Ｃから呼び出されたリンク先データの
静止画データＦＩＬＥ１を表示しているウインドウ、９
０６は物体Ｃから呼び出されたリンク先データのテキス
トデータＦＩＬＥ２を表示しているウインドウ、９０７
は経歴図形を表示する領域、９０８はウインドウ９０２
の経歴図形、９０９はウインドウ９０５の経歴図形、９
１０はウインドウ９０６の経歴図形を示す。

【００５７】図１０において、９０１、９０２、９０
４、９０５、９０６、９０７、９０８、９０９、９１０
は図９のものと同様である。１００１は静止画データＦ
ＩＬＥ１中のリンク元データの物体Ｄを定義した領域、
すなわち、図５の領域座標（５００、１５０、５７０、
２５０）の矩形領域、１００２は物体Ｄから呼び出され
たリンク先データの静止画データＦＩＬＥ４を表示して
いるウインドウ、１００３は物体Ｄから呼び出されたリ
ンク先データのテキストデータＦＩＬＥ５を表示してい
るウインドウ、１００４はウインドウ１００２の経歴図
形、１００５はウインドウ１００３の経歴図形を示す。

【００５８】図１１において、９０１、９０２、９０
４、９０５、９０６、９０７、９０８、９０９、９１０
は図９のものと同様である。１００２、１００３、１０
０４、１００５は図１０のものと同様である。

【００５９】以上のように構成された第１の実施例につ
いて、以下図１、図９、図１０及び図１２を用いてその
動作を説明する。

【００６０】予め、動画、静止画、テキストデータのそ
れぞれに関連性がある場合、関連するデータどうしをリ
ンクし、そのリンク情報が図２及び図４の形式でリンク
情報記憶部１０３に、また動画及び静止画データはデジ
タル圧縮して、テキストはアスキー形式でデジタル情報
記憶部１０５に記憶されているものとする。

【００６１】まず、利用者が表示装置１０８に表示され
ている動画データＦＩＬＥ０に出現した物体Ｃに対して
関連情報を呼び出す時の動作を説明する。

【００６２】図１２のステップ１２０１において、圧縮
されている動画データＦＩＬＥ０は圧縮データ伸張部１
０６にて伸張され、経歴図形９０８とともに表示装置１
０８に表示されており、経歴情報記憶部１１０内には図
６のような経歴情報が記憶されている。

【００６３】図１２のステップ１２０２において、利用
者は表示中の動画データＦＩＬＥ０で物体Ｃの関連情報
を呼び出す場合、位置情報入力部１０１によって図９に
示すように物体Ｃの存在する領域を選択すると位置情報
入力部１０１はリンク情報判定部１０２に選択された座
標を通知する。

【００６４】図１２のステップ１２０４において、リン
ク情報判定部１０２は位置情報入力部１０１から通知さ
れた座標と圧縮データ伸張部１０６から読み出した現在
表示中の動画データＦＩＬＥ０のフレーム情報をもとに
通知された座標が動画データＦＩＬＥ０中の物体Ｃを選
択しているかどうかをリンク情報記憶部１０３に記憶さ
れている動画データＦＩＬＥ０のリンク情報（図３）内
で検索し、判定する。

【００６５】図１２のステップ１２０５において、例え
ば、前記フレーム情報が１００００、通知座標が（１２
０、１００）だとすると、これはリンク先データを持つ
領域（８０、８０、１６０、１２０）内なので、物体Ｃ
にリンクされたリンク先データ、この場合、図３のＦＩ
ＬＥ１及びＦＩＬＥ２の識別子、データ名、表示座標を
データ検索部１０４及び経歴図形作成部１０９に通知す
る。

【００６６】図１２のステップ１２０６において、経歴
図形作成部１０９はリンク情報判定部１０２から通知さ
れたＦＩＬＥ１及びＦＩＬＥ２の識別子、データ名、表
示座標のうち、識別子とデータ名を図形化して、この経
歴図形の表示座標とともに画面制御部１０７に通知し、
画面制御部１０７は図９に示すように、表示装置１０８
の経歴図形を表示する領域に経歴図形を順次、表示す
る。これによって、利用者は動画データＦＩＬＥ０から
静止画データＦＩＬＥ１とテキストデータＦＩＬＥ２を
呼び出したことを把握することができる。

【００６７】図１２のステップ１２０７において、ＦＩ
ＬＥ１及びＦＩＬＥ２の識別子、データ名、表示座標と
それぞれの経歴図形の表示座標を経歴情報として経歴情
報記憶部１１０に記憶する。

【００６８】図１２のステップ１２０８において、デー
タ検索部１０４はリンク情報判定部１０２から通知され
たリンク先データのＦＩＬＥ１及びＦＩＬＥ２をデータ
記憶部１０５から読み出す。

【００６９】図１２のステップ１２０９、ステップ１２
１１において、図３に示すようにＦＩＬＥ１の識別子は
ＪＰＥＧなので、圧縮データ伸張部１０６に、ＦＩＬＥ
２の識別子はＴＥＸＴなので、画面制御部１０７にそれ
ぞれ表示座標とともに通知する。

【００７０】図１２のステップ１２１２において、圧縮
データ伸張部１０６はデータ検索部１０４から通知され
たＦＩＬＥ１を伸張し、表示座標とともに画面制御部１
０７に通知する。

【００７１】図１２のステップ１２１３において、画面
制御部１０７は通知されたＦＩＬＥ１とＦＩＬＥ２を表
示座標に従ってＦＩＬＥ０とスーパーインポーズして表
示装置１０８に表示する。この時、表示装置１０８に表
示されている画面を図９に示す。また経歴情報記憶部１
１０には図７に示すようにＦＩＬＥ１及びＦＩＬＥ２の
経歴情報が追加記憶される。

【００７２】図１２のステップ１２０３において、以上
の処理を操作が終了するまで繰り返すことによってリン
ク情報がある限り、関連情報を階層的に呼び出すことが
でき、例えば、図１０に示すように関連情報を次々と呼
び出した場合、関連情報を表示しているウインドウだけ
では、これまでは辿ってきた道のりを把握しにくいが、
経歴図形を見ることによって、辿ってきた道のりを知る
ことができる。

【００７３】次に経歴図形を位置情報入力部１０１で選
択することで過去に呼び出した関連情報を再表示する時
の動作について説明する。

【００７４】図１０に示すように関連情報を次々と呼び
出した場合、経歴情報記憶部１１０には図８に示すよう
な経歴情報が記憶されている。

【００７５】図１２のステップ１２０２において、利用
者は位置情報入力部１０１を用いて図１０の経歴図形９
０９を選択すると位置情報入力部１０１はリンク情報判
定部１０２に選択された座標を通知する。

【００７６】図１２のステップ１２０４において、リン
ク情報判定部１０２は位置情報入力部１０１から通知さ
れた座標をもとにリンク情報記憶部１０３のリンク情報
を検索し、判定する。

【００７７】図１２のステップ１２０５において、ステ
ップ９０４でリンク情報がないことが判定され、位置情
報入力部１０１からの通知座標が経歴図形を指していな
いかを調べるために、経歴図形判定部１１１に通知座標
を通知する。

【００７８】図１２のステップ１２１４において、経歴
図形判定部１１１はリンク情報判定部１０２から通知さ
れた座標が経歴図形の領域座標内であるかを経歴情報記
憶部１１０に記憶されている経歴情報（図８）内で検索
し、判定する。

【００７９】図１２のステップ１２１５において、例え
ば、通知座標が（１７０、４５０）だとすると図８の経
歴情報により、静止画データＦＩＬＥ１の経歴図形領域
内なので、ＦＩＬＥ１の識別子、データ名、表示座標を
リンク先データ選択部１０４に通知する。

【００８０】以後、ステップ１２０８〜ステップ１２１
３の処理を行ない、表示装置１０８には図１１に示すよ
うに静止画データＦＩＬＥ１が最前面に表示される。

【００８１】以上のように本実施例によれば、関連情報
を表示装置に表示する時に表示するデータを指す経歴図
形を作成、表示することによって、マルチウィンドウ形
式で表示されている関連情報をどういう経路で呼び出し
てきたかを視覚的に把握することができる。特に現在表
示されている関連情報を完全に覆う形で、新たに呼び出
した関連情報が表示された場合には効果的である。さら
に経歴情報を記録保持し、位置情報入力部で経歴図形が
選択された場合、経歴情報をもとに経歴図形が指す関連
情報を再表示してやることによって、過去に呼び出した
関連情報を何度でも見ることができる。

【００８２】なお、第１の実施例において、経歴図形は
リンク先データの識別子とデータ名を図形化したが、表
示装置に表示しているリンク先データを縮小画像にし、
これを用いて経歴図形とすれば、経歴図形が指すリンク
先データの内容を一層把握しやすくなる。

【００８３】（実施例２）以下本発明の第２の実施例に
ついて図面を参照しながら説明する。

【００８４】図１３は本発明の第２の実施例におけるハ
イパーメディアシステムの構成例を示すものである。図
１３において、１３０１は位置情報入力部、１３０２は
リンク情報判定部、１３０３はリンク情報記憶部、１３
０４はデータ検索部、１３０５はデータ記憶部、１３０
６はリンク情報分離部、１３０７は圧縮データ伸張部、
１３０８は画面制御部、１３０９は表示装置である。

【００８５】図１で示す第１の実施例と特に異なるのは
静止画、動画、テキストのそれぞれのデータが持つリン
ク情報をそれぞれのデータの中にリンク情報の存在を示
す情報とともに記憶し、また、前記データ中からリンク
情報を分離するリンク情報分離部１３０６を設けた点で
ある。

【００８６】位置情報入力部１３０１はマウスなどの座
標入力手段で、表示装置１３０９の画面上で選択された
座標をリンク情報判定部１３０２に通知する。

【００８７】リンク情報判定部１３０２は位置情報入力
部１３０１から通知された座標がリンク先データを持つ
リンク元データの領域座標内であるかをリンク情報記憶
部１３０３に記憶されているリンク情報をもとに判定
し、真の場合はリンク先データの識別子、データ名及び
表示座標をデータ検索部１３０４に通知する。

【００８８】リンク情報記憶部１３０３はリンク元デー
タの領域座標、リンク先データの識別子、データ名及び
表示座標をリンク情報として一時記憶するためのもの
で、表示装置１３０９に現在表示しているリンク元デー
タのリンク情報のみが記憶されている。

【００８９】データ検索部１３０４はリンク情報判定部
１３０２から通知されたリンク先データの識別子、デー
タ名及び表示座標をもとにデータ記憶部１３０５からリ
ンク先データを読み出し、前記識別子及び前記表示座標
とともにリンク情報分離部１３０６に通知する。

【００９０】データ記憶部１３０５は動画、静止画、テ
キストのデータが記憶してあり、例えば、ハードディス
クや光磁気ディスクなどの記憶装置に、動画及び静止画
データはデジタル圧縮して、テキストデータはアスキー
形式で記憶されている。ここに記憶されている動画、静
止画、テキストのデータの中には、例えば図１４、図１
５、図１６に示すようにリンク情報をリンク情報がある
ことを示すコードの後に記憶している。

【００９１】リンク情報分離部１３０６はデータ検索部
１３０４から通知されたリンク先データ、識別子及び表
示座標を受け取り、リンク先データ中からリンク情報が
あることを示すコードを検出し、リンク情報を分離す
る。分離されたリンク情報はリンク情報記憶部１３０３
に記憶し、リンク情報が取り除かれたリンク先データは
前記識別子によって、もしテキストならば画面制御部１
３０８に、もし静止画または動画ならば圧縮データ伸張
部１３０７に前記表示座標とともに通知する。

【００９２】圧縮データ伸張部１３０７はリンク情報分
離部１３０６から通知されたリンク先データの圧縮デー
タを伸張し、画面制御部１３０８にリンク先データの表
示座標とともに通知する。

【００９３】画面制御部１３０８は入力される動画、静
止画、テキスト、マウスなどの表示データを表示座標に
従ってマルチウインドウ形式で表示装置１３０９にスー
パーインポーズ表示する。

【００９４】表示装置１３０９はＣＲＴなどの表示装置
で、本実施例では横６４０ドット、縦４８０ドットの解
像度を持つＣＲＴを用いるものとする。

【００９５】次に本実施例で取り扱うデータ構造につい
て、図面を参照しながら説明する。動画、静止画、テキ
ストデータの中にリンク情報を多重化して記憶するため
に、リンク情報の始まりを示す目印としてスタートコー
ドを設け、スタートコードのあとにリンク情報を記憶す
ることにする。

【００９６】図１４はリンク情報を多重化した動画デー
タＦＩＬＥ０の構造例であり、データの転送順は左方向
から右方向である。図１４において、１４０１、１４０
４、１４０６は各フレームの圧縮データ、１４０２はリ
ンク情報の始まりを示すスタートコード、１４０３、１
４０５は圧縮データ中に多重化されたリンク情報であ
る。リンク情報１４０３は圧縮データ１４０４を伸張し
た時のフレームに存在するリンク元データのリンク情報
で、例えば図３に示す第１の実施例で用いたリンク情報
のうち、フレーム情報（１００００）のフレーム情報を
除いた部分である。

【００９７】リンク情報１４０５は圧縮データ１４０６
を伸張した時のフレームに存在するリンク元データのリ
ンク情報で、例えば図３に示す第１の実施例で用いたリ
ンク情報のうち、フレーム情報（１０００５）のフレー
ム情報を除いた部分である。

【００９８】このように動画中の各フレームが持つリン
ク情報を各フレームの圧縮データ毎に持たせることによ
って、動画中の各フレームを静止画のように見なすこと
ができ、図３に示すようなフレーム情報は必要でなくな
る。

【００９９】図１５はリンク情報を多重化した静止画デ
ータＦＩＬＥ１の構造例で、１５０１は画像サイズや量
子化テーブルといったヘッダ情報、１５０２はリンク情
報の始まりを示すスタートコード、１５０３はリンク情
報、１５０４はリンク元データを持つ静止画の圧縮デー
タである。リンク情報１５０３は、図５に示す第１の実
施例で用いたリンク情報と同様なものである。

【０１００】図１６はリンク情報を多重化したテキスト
データＦＩＬＥ２の構造例で、１６０１はリンク情報の
始まりを示すスタートコード、１６０２はリンク情報、
１６０３はリンク元データを持つテキストデータであ
る。

【０１０１】以上のように構成されたハイパーメディア
システムについて、以下その動作を図１３及び図１９を
用いて説明する。

【０１０２】予め、動画、静止画、テキストデータのそ
れぞれに関連性がある場合、関連するデータどうしをリ
ンクし、そのリンク情報を呼び出し元となるそれぞれの
動画、静止画、テキストデータの中にリンク情報の始ま
りを示すスタートコードとともに記憶しておく。

【０１０３】図１９のステップ１９０１において、圧縮
されている動画データＦＩＬＥ０は圧縮データ伸張部１
３０７によって伸張され、表示装置１３０９に表示され
ており、リンク情報分離部１３０６は動画データＦＩＬ
Ｅ０中にリンク情報がある度に、そのリンク情報をリン
ク情報記憶部１３０３に記憶している。

【０１０４】図１９のステップ１９０２において、利用
者は表示中の動画データＦＩＬＥ０で物体Ｃの関連情報
を呼び出す場合、位置情報入力部１３０１によって物体
Ｃの存在する領域を選択すると位置情報入力部１３０１
はリンク情報判定部１３０２に選択された座標を通知す
る。

【０１０５】図１９のステップ１９０４において、リン
ク情報判定部１３０２は位置情報入力部１３０１から通
知された座標が動画データＦＩＬＥ０中の物体Ｃを選択
しているかどうかをリンク情報記憶部１３０３に記憶さ
れているリンク情報内で検索し、判定する。この時、表
示装置１３０９には動画データＦＩＬＥ０しか表示され
ていないので、リンク情報記憶部１３０３には動画デー
タＦＩＬＥ０から分離された物体Ｃの存在するフレーム
が持つリンク情報しか記憶されていない。これによっ
て、関係のないリンク情報を検索することはなくなる。

【０１０６】図１９のステップ１９０５において、例え
ば、位置情報入力部１３０１から通知があった時のリン
ク情報記憶部１３０３のリンク情報が図１７のようにな
っていた場合、通知座標が（１２０、１００）だとする
と、これはリンク先データを持つ領域（８０、８０、１
６０、１２０）内なので、物体Ｃにリンクされたリンク
先データ、この場合、ＦＩＬＥ１及びＦＩＬＥ２の識別
子、データ名、表示座標をデータ検索部１３０４に通知
する。

【０１０７】図１９のステップ１９０６において、デー
タ検索部１３０４はリンク情報判定部１３０２から通知
されたリンク先データのＦＩＬＥ１及びＦＩＬＥ２をデ
ータ記憶部１３０５から読み出し、リンク先データの識
別子及び表示座標とともにリンク情報分離部１３０６に
通知する。

【０１０８】図１９のステップ１９０７において、リン
ク情報分離部１３０６はデータ検索部１３０４から通知
されたＦＩＬＥ１とＦＩＬＥ２の中からリンク情報の始
まりを示すスタートコードを検出すると、その後に続く
リンク情報を分離し、リンク情報記憶部１３０３に記憶
する。この時のリンク情報記憶部１３０３のリンク情報
は図１８のようになり、動画データＦＩＬＥ０が持つリ
ンク情報に静止画データＦＩＬＥ１が持つリンク情報と
テキストデータＦＩＬＥ２が持つリンク情報が追加記憶
される。

【０１０９】図１９のステップ１９０８、ステップ１９
１０において、図１７に示すようにＦＩＬＥ１の識別子
はＪＰＥＧなので、圧縮データ伸張部１３０７に、ＦＩ
ＬＥ２の識別子はＴＥＸＴなので、画面制御部１３０８
にそれぞれ表示座標とともに通知する。

【０１１０】図１９のステップ１９１１において、圧縮
データ伸張部１３０７はリンク情報分離部１３０６から
通知されたＦＩＬＥ１を伸張し、表示座標とともに画面
制御部１３０８に通知する。

【０１１１】図１９のステップ１９１２において、画面
制御部１３０８は通知されたＦＩＬＥ１とＦＩＬＥ２を
表示座標に従ってＦＩＬＥ０とスーパーインポーズして
表示装置１３０９に表示する。

【０１１２】図１９のステップ１９０３において、以上
の処理を操作が終了するまで繰り返すことによってリン
ク情報がある限り、関連情報を階層的に呼び出すことが
できる。

【０１１３】以上のように、予め、それぞれの動画、静
止画、テキストデータが持つリンク情報をそれぞれのデ
ータの中にリンク情報の存在を示す情報とともに記憶し
ておき、リンク先データが呼び出された時に、そのデー
タの中からリンク情報を分離し、リンク情報記憶部に記
憶するリンク情報分離部を設けることによって、リンク
情報記憶部には全てのリンク情報が記憶されているので
はなく、呼び出されたデータのリンク情報だけが記憶さ
れるので、リンク情報におけるリンク元データの検索時
間を短縮することができる。

【０１１４】なお、第１及び第２の実施例で、動画及び
静止画のデータに圧縮データを用いたが、特に圧縮する
必要はない。また、圧縮データを用いない場合は圧縮デ
ータ伸張部を経由せずに、画面制御部に通知することに
なる。

【０１１５】なお、第１及び第２の実施例で、表示装置
は横６４０ドット、縦４８０ドットの解像度を持つＣＲ
Ｔを用いたが、横８００ドット、縦６００ドットや横１
２８０ドット、縦９６０ドットなどの高解像度のＣＲＴ
を用いても同様の効果が得られる。

【０１１６】なお、第１及び第２の実施例で、入力指示
部にマウスを用いたが、タッチパネルやライトペンなど
のポインティングデバイスを用いてもよい。

【０１１７】

【発明の効果】以上のように本発明における第１の効果
は、リンクを辿って別の関連情報を呼び出した時に、前
記関連情報を指す経歴図形を作成、表示する経歴図形作
成手段と、これまで辿ってきたリンク情報を記憶してお
く経歴情報記憶手段とを設けることによって、マルチウ
ィンドウ形式で表示されている関連情報をどういう経路
で辿ってきたかを視覚的に把握することができ、また位
置情報入力手段で経歴図形を選択した時に、経歴情報を
もとに経歴図形が指す関連情報を再表示してやることに
よって、過去に呼び出した関連情報を何度でも見ること
ができる。

【０１１８】第２の効果は、予め、関連性のある情報ど
うしのリンク情報を前記情報にリンク情報の存在を示す
情報とともに記憶しておき、リンク情報が多重化してあ
る関連情報からリンク情報を分離し、リンク情報記憶手
段に記憶するリンク情報分離手段とを設けることによっ
て、リンク情報記憶部には全てのリンク情報が記憶され
ているのではなく、呼び出された情報のリンク情報だけ
が記憶されているので、リンク情報におけるリンク元デ
ータの検索時間を短縮することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例におけるハイパーメディ
アシステムの構成図

【図２】本発明の第１の実施例における動画データの持
つリンク情報の構造を示す図

【図３】本発明の第１の実施例における動画データの持
つリンク情報を示す図

【図４】本発明の第１の実施例における静止画及びテキ
ストデータの持つリンク情報の構造を示す図

【図５】本発明の第１の実施例における静止画データの
持つリンク情報を示す図

【図６】本発明の第１の実施例における経歴情報を示す
図

【図７】本発明の第１の実施例における経歴情報を示す
図

【図８】本発明の第１の実施例における経歴情報を示す
図

【図９】本発明の第１の実施例における表示画面例を示
す図

【図１０】本発明の第１の実施例における表示画面例を
示す図

【図１１】本発明の第１の実施例における表示画面例を
示す図

【図１２】本発明の第１の実施例における動作を説明す
る図

【図１３】本発明の第２の実施例におけるハイパーメデ
ィアシステムの構成図

【図１４】本発明の第２の実施例における動画データの
構造を示す図

【図１５】本発明の第２の実施例における静止画データ
の構造を示す図

【図１６】本発明の第２の実施例におけるテキストデー
タの構造を示す図

【図１７】本発明の第２の実施例におけるリンク情報を
示す図

【図１８】本発明の第２の実施例におけるリンク情報を
示す図

【図１９】本発明の第２の実施例における動作を説明す
る図

【図２０】従来のハイパーメディアシステムの構成図

【図２１】従来のハイパーメディアシステムにおける動
作を説明する図

【図２２】従来のハイパーメディアシステムにおける表
示画面例を示す図

【符号の説明】

１０１ 位置情報入力部 １０２ リンク情報判定部 １０３ リンク情報記憶部 １０４ データ検索部 １０５ データ記憶部 １０６ 圧縮データ伸張部 １０７ 画面制御部 １０８ 表示装置 １０９ 経歴図形作成部 １１０ 経歴情報記憶部 １１１ 経歴図形判定部 １３０１ 位置情報入力部 １３０２ リンク情報判定部 １３０３ リンク情報記憶部 １３０４ データ検索部 １３０５ データ記憶部 １３０６ リンク情報分離部 １３０７ 圧縮データ伸張部 １３０８ 画面制御部 １３０９ 表示装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】複数のマルチメディアデータが記録された
   データ記憶手段と、 前記複数のマルチメディアデータを関連付けるためのリ
   ンク情報が記録されたリンク情報記憶手段と、 表示装置にマルチメディアデータをマルチウインドウ形
   式で表示する表示手段と、 前記表示装置上に表示されている前記マルチメディアデ
   ータを選択し、その選択した前記表示装置上での位置情
   報を決定する位置情報入力手段と、 前記位置情報入力手段で決定された位置情報が、前記リ
   ンク情報記憶手段で記憶されているリンク情報に含まれ
   ているか否かを判定するリンク情報判定手段と、 前記リンク情報判定手段で判定された結果、前記位置情
   報が前記リンク情報に含まれていれば前記リンク情報に
   より関連付けされているマルチメディアデータを前記デ
   ータ記憶手段から検索するデータ検索手段と、 前記データ検索手段で検索されたマルチメディアデータ
   を表す経歴図形を作成する経歴図形作成手段と、 前記表示装置にマルチメディアデータをマルチウインド
   ウ形式で表示し、かつ経歴図形を表示することができる
   表示手段とを備えたことを特徴とするハイパーメディア
   システム。
2. 【請求項２】リンク情報で関連付けされているマルチメ
   ディアデータ間を辿ってきた経歴情報を記憶しておく経
   歴情報記憶手段と、 位置情報入力手段で決定した位置情報が経歴図形を選択
   しているか否かを判定する経歴図形判定手段と、 前記経歴図形判定手段で判定された結果、位置情報が経
   歴図形を選択していれば、前記経歴情報記憶手段に記憶
   されている経歴情報により、前記経歴図形が表すマルチ
   メディアデータを表示手段により再表示することを特徴
   とする請求項１記載のハイパーメディアシステム。
3. 【請求項３】データ検索手段で検索されたマルチメディ
   アデータを表示手段により表示装置に表示するととも
   に、前記マルチメディアデータを経歴図形作成手段で経
   歴図形とすることを特徴とする請求項１記載のハイパー
   メディアシステム。
4. 【請求項４】マルチメディアデータ間を関連付けるため
   のリンク情報が前記マルチメディアデータに含んだ形式
   で記憶されたデータ記憶手段と、 表示装置にマルチメディアデータをマルチウインドウ形
   式で表示する表示手段と、 前記表示装置上に表示されている前記マルチメディアデ
   ータを選択し、その選択した前記表示装置上での位置情
   報を決定する位置情報入力手段と、 前記位置情報入力手段で決定された位置情報が、リンク
   情報記憶手段で記憶されているリンク情報に含まれてい
   るか否かを判定するリンク情報判定手段と、 前記リンク情報判定手段で判定された結果、前記位置情
   報が前記リンク情報に含まれていれば前記リンク情報に
   より関連付けされているリンク情報を含むマルチメディ
   アデータを前記データ記憶手段から検索するデータ検索
   手段と、 前記データ検索手段で検索されたリンク情報を含むマル
   チメディアデータをリンク情報とマルチメディアデータ
   に分離するリンク情報分離手段と、 前記リンク情報分離手段で分離された前記リンク情報を
   一時記憶するリンク情報記憶手段とを備え、 前記リンク情報判定手段は、前記リンク情報分離手段で
   分離され前記リンク情報記憶手段に記憶されているリン
   ク情報を用いることを特徴とするハイパーメディアシス
   テム。