JPH04163589A - 動画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、動画像を対象とする画像処理装置及び方法に
係り、特に、情報の論理的単位（ノード）をリンクによ
って関連付け、これらのノードの連鎖を手繰り寄せるこ
とで互いに関連し合った情報を検索するハイパーテキス
ト処理装置、または、動画像の表示内容から、リンクを
手繰って情報検索を行う場合に利用できるハイパーテキ
スト処理装置に関する。

〔従来の技術〕

従来のハイパーテキストシステムにおいては、特開平１
−１．３４５６１において述へられているように、文書
を論理的単位（ノード）によって区分し、各単位の間は
システムの提供するリンクで関連づけられた状態で記憶
装置に記憶されて、木構造、網構造、あるいはその両者
を組合せた複雑な非線形の構造を持った文書、すなわち
、ハイパーテキストが組立てられる。利用者は、この互
いに関連づけられて記憶されている上記単位のうち、必
要とする単位を上記リンクに基づいて自由に読み出すこ
とができる。

例えば、このようなハイパーテキストを使ったシステム
としてＡｐｐｌｅ社のＨａｙｐｅｒＣａｒｄ　（西林端
夫著、共立出版、Ｍａｃｉｎｔｏｓｈ　ｐｐ、１７１−
２０７）がある。ハイパーカートでは、カードと呼ばれ
る情報の単位をリンクにより関連づけており、カードに
描かれている絵や文字をマウスでクリックすることで、
その絵や文字に関するカードが表示される。

〔発明が解決しようとする課題〕

しかしながら、従来方式では、上記ハイパーカートのカ
ートにあたるようなリンクを設定する情報の論理的なｍ
位（ノート）は、テキストや静止画像に限られ、動画像
として表現される情報を扱うことができなかった。

本発明の第１の目的は、動画像内の一部分によって表現
される情報に、上記の論理的単位（ノート）として扱い
、リンクを設定できるようにした画像処理装置を提供す
ることである。

本発明の第２の目的は、動画像を出力しながら、時間を
計測し、動画像の表示部分を、マウスの如き位置指示装
置で指示することで上記リンクを設定すべき表示部分と
時間とを記憶するリンク設定方法を提供することである
。

〔課題を解決するための手段〕

上記第１の目的を達成するために、本発明の画像処理装
置は、動画像を記録するための手段と、該動画像再生表
示時の任意の動画像表示領域と、任意の時間帯と、任意
の説明情報とをそれぞれリンクさせて記憶するための手
段と、上記動画像表示中に、上記動画像表示領域上でユ
ーザから入力された所定コマンドに応じて、」二記コマ
ンドの入力タイミングが属する時間帯にリンクされた上
記説明情報を動画像と並列表示するための手段とを備え
る。

更に具体的な表現を用いれば、本発明の画像処理装置は
、マウス等の位置入力装置と、ビットマツプデイスプレ
ィ等の表示装置と、プログラムやデータを記憶する主記
憶装置と、主記憶装置からプログラムを読み呂し実行す
る中央処理装置と、時間を計測するタイマと、管理ファ
イル等を記憶する外部記憶装置と、動画像信号を出力す
る動画像再生装置と、プログラムの実行制御と入出力管
理を行う制御手段と、少なくとも一つ以上のウィンドウ
を上記表示装置に表示することができるウィンドウ表示
手段と、情報の論理的単位（ノード）をリンクによって
関連付け、これらのノードの連鎖を手繰り寄せることで
互いに関連し合った情報を検索する手段とを備えた情報
処理装置において、動画像上の対象に別のノードをリン
クによって関連付けるのに、時間と表示範囲との両方を
使用する。

本発明の第２の目的を達成するために、本発明では上記
動画像上の対象を識別するのに使用する時間と表示範囲
とを設定する方法において、マウスの如き位置指示装置
で、表示上の範囲を指示し続けることで動画像上の表示
範囲を設定し、表示範囲を設定している時の時刻として
、動画像の出力が開始された時刻からの経過時間を記憶
することを特徴とする。

〔作用〕

本発明によれば、動画像の出力が開始された時刻を起点
とした時間と、その時間における表示範囲とを使って、
動画像上の対象と別のノードとをリンクで関連づけてお
くことによって、利用者が動画像のある表示部分をマウ
スで指示するなどの操作によって、動画像内のある表示
部分に関するリンクを手繰るとき、上記マウスで指示さ
れた範囲もしくは座標と動画像の出力開始時刻からの経
過時間とによって関連付けられたノードを出力すること
ができ、動画像を扱ったハイパーテキスト処理が可能に
なる。

〔実施例〕

本発明の実施例を図面を用いて詳細に説明する。

第３図は本発明を実施するためのワークステーションの
全体構成図である。２０１はビットマツプデイスプレィ
の如き表示装置、２０２はマウスの如き入力装置、２０
３は動画像を再生し、表示装置２０１に表示する動画像
再生装置、２０４は時間を管理するタイマ、２０５はプ
ログラムやデータを記憶する主記憶装置、２０６は主記
憶装置からプログラムやデータを読み込み実行する中央
処理装置、２０７はファイルを格納する外部記憶装置で
ある。

第４図は本発明を実施するためのソフトウェア構成であ
る。各プログラムは外部記憶装置２０７から主記憶装置
２０５に適宜読み出され、中央処理装置２０６に実行さ
れる。

３０１はプログラムの実行を制御する基本制御プログラ
ム、３０２は動画再生装置から出力される動画像を表示
装置に出力するなどの動画像再生装置の制御を行う動画
像再生装置制御プログラム、３０３は表示装置の表示制
御を行う表示装置制御プログラム、３０４はマウスやキ
ーボードなどの入力装置の制御を行う入力装置制御プロ
グラム、３０５はタイマの管理を行うタイマ管理プログ
ラム、３０６は外部記憶装置の制御を行う外部記憶装置
制御プログラム３０４を呼出して、ウィンドウによる入
出力管理を行うウィンドウ制御プログラム、３０８はハ
イパーテキスト処理を行うハイパーテキスト処理プログ
ラムである。

３０８はハイパーテキスト処理プログラムであり、この
プログラムは第５図の如き表示画面のレイアウトを管理
する画面レイアウト管理プログラム３０９と、動画像再
生装置制御プログラムによって出力される動画像を動画
像ウィンドウ４０１に表示する動画像ウィンドウ表示プ
ログラム３１０と、動画像ウィンドウ４０１に関するリ
ンクを管理するリンク管理プログラム３１１と、上記リ
ンク管理プログラム３１１にリンクによって関連付けら
れた情報（説明データ）を外部記憶装置から読み出す説
明データ管理プログラム３１２と、利用者が位置指示装
置で指示する動画像内の表示部分（座標、高さ２幅）及
びタイマから得られる時間を記憶し、リンクする情報を
利用者に入力させ後述する。第８図の如きリンク設定ウ
ィンドウを表示するリンク指示プログラム３１３とから
構成される。

第５図は、ハイパーテキスト処理プログラムが表示する
画面例を示す図である。４０１は動画像を表示する動画
像表示ウィンドウ、４０２は動画像に関連付けられた説
明データを表示する説明データ表示ウィンドウ、４０３
は動画像の表示を一時停止するのに使用するポーズボタ
ン、４０４は説明データウィンドウをスクロールさせる
のに使用するスクロールバーである。

第８図は、リンク設定プログラム３１３が表示する画面
例を示す図である。７０１は動画像を表示する動画像表
示ウィンドウ、７０２は動画像に関連付けられた説明デ
ータを入力する説明データ入力ウィンドウ、７０３は動
画像へのリンク設定を開始を指示するリンク設定ボタン
、７０４は説明データ入力ウィントウをスクロールさせ
るのに使用するスクロールバーである。

第９図は、リンク設定時の動画像ウィンドウ上で変化す
る動画像と、リンク管理表に格納されるデータとの関係
を示すイメージ図である。

第１図は、上述したハイパーテキスト処理プログラムに
より実行される全体のフローチャートを示す図である。

ハイパーテキスト処理プログラムの処理は、動画像とリ
ンクさせる説明文あるいは図形データを設定するための
リンク設定プログラム３１３の処理（１２０，第２図）
と、ユーザの指示に応じて、ステップ１２０で設定され
た説明文等を動画像とリンクさせて表示する処理（１０
１〜１１６）とに大別される。ハイパーテキスト処理プ
ログラムが起動されると、メニュー画面上で表示モード
とリンク設定モードのいずれかが選択される（図示略）
。

まず、リンク設定モートが選択された場合のリンク設定
プログラムの処理（１２０）について第２図を用いて説
明し、次に、設定された説明文等を動画像とリンクさせ
て表示する処理（第１図１０１〜１１６）について順に
説明する。

リンク設定プログラムが起動（１２０）されると、タイ
マが初期化され、予め外部記憶装置２０７に記憶してお
いた動画像データが、動画像ウィンドウ（７０１）上に
表示される（１２１）。また、主記憶装置内部にはモー
ドを設定するためのモード格納エリア（図示略）が設け
られており、一部の処理の分岐判断時にその内容が参照
されることになる。リンク設定プログラムが起動時には
、通常モードが設定される。

したがって、ステップ１２２で取り込んだイベント（入
力装置からのコマンド割込み）が、リンク設定ボタン（
第８図７０３）を指定したマウスイベントでないかぎり
ステップ１２３〜１２７を素通りして、ステップ１２２
にリターンすることになる。

１２８：リンク設定ボタン（７０３）を指定したマウス
イベントがあった場合には、タイマと動画像の表示を一
時停止し、モードを始点入力モードに設定し、ステップ １２２にリターンする。

１２３：モードが始点入力モードである場合には、ステ
ップ１３１へ分岐し、動画像画面上でマウスイベントが
あるまで、ステップ１２３．１３１，１２２をループす
る。

１３２ニステツプ１３１で動画像画面上でのマウスから
のイベントが確認された場合に、マウスで入力された始
点のＸ＋　ｙ座標（例えば、（１０，１０））を、主記
憶装置内部に構築されるリンク管理表（第６図）の（Ｘ
１＋３’□）のコラムに記録し、モードを終点入力モー
ドに設定する。

１２４ニステツプ１３２において終点入力モードが設定
された場合に、ステップ１３３〜１３７（第２図（ｂ）
）に分岐する。

１３３：マウスからのイベントが継続して入力されてい
る場合はステップ１３４に分岐し、マウスからのイベン
トがない場合にはステップ１３５にすすむ。

１３４ニステツプ１３２でリンク管理表に記録した始点
と、現在のマウスからの入力座標点とを対角点とする矩
形のラバーバンドを描写する。

１３５ニステップ１３３，１３４において、継続して入
力されていたマウスからのイベントが途絶えた場合に、
ステップ１３６に進む。

１３６：マウスからの入力座標点（例えば、（１５０，
１００））を終点データとして、リンク管理表（第６図
）の（ｘ２゜ｙ２）のコラムに記録する。

１３７：タイマの値（例えば、６０）をリンク開始設定
時刻として、リンク管理表（第６図の「ｔｌ」のコラム
に記録する。また、マウスカーソルをラバーバンドの中
心点に移動し、ラバーバンドを表示したまま、タイマと
、動画像の８力を再開する。また、モートをリンク範囲
設定モードに設定する。

１２５：リンク設定モードの場合にはステップ１２６へ
進み、他のモードの場合はステップ１３８に分岐する。

１３８：マウスからの入力座標に変化があったときには
ステップ１４２に進み、マウス以外のイベント（例えば
、完了キーからのイベント）が入力された場合には、ス
テップ１３９に分岐する。

１３９：完了キーからのイベントが入力された場合はス
テップ１４０へ進み、他のイベントの場合はリンク設定
のやり直しをおこなうためのステップ１４４（第２図（
Ｃ））へ分岐する。

１４０：タイマと動画像の出力を一時停止する。

１４１：モードを説明する入力モードに設定し、ステッ
プ１２２ヘリターンする。

１４４：キャンセルキーからのイベント入力されていた
場合はステップ１４５へ進み、その他のイベントである
場合にはステップ１２２ヘリターンする。

１４５ニステップ１３２，１３６，１３７でリンク管理
表に記録された内容を削除し、モードを通常モートに設
定し、ステップ １２２ヘリターンする。

１２６：モードが説明文人力モードの場合はステップ１
５１　（第２図（ｄ））へ分岐し、ステップ１５１では
説明文の入力完了キーの入力の判断を行う。

１５５：ユーザに説明文あるいは説明図形の入力を促し
、入力された説明データを編集バッファに格納する。

１５２ニステツプ１５１で完了キーが入力されていた場
合に、ステップ１５５で入力されたデータと、ユニーク
に割り当てられるノードＩＤ（例えば、３）とデータの
種別（例えば、テキスト）を対応つけて、説明文管理表
（第７図）に記録する。

１５３ニステツプ１５２て割り付けられたノードＩＤを
リンク管理表「ノードＴＤＪのコラムに記録する。

１５４：モードを通常モートに設定し、タイマと動画出
力を再開し、ステップ１２２にリターンする。

以上の処理により、主記憶装置２０５内には第６図及び
第７図に示すテーブルが作成され、動画像の一部領域と
、それに対応する説明データとがリンクされることにな
る。

尚、リンク設定モードでマウスを移動した場合は、既に
、ステップ１３２，１３６，３１７で設定された動画像
と、移動後の範囲でリンクされる動画像とが同じ説明文
でリンクされることになる。

したがって、ステップ１４２では、マウスからの入力座
標を中心点として、ラバーバンドを移動し、タイマ値（
例えば、９２）をリンク設定終了時刻として、リンク管
理表（第６図）の「ｔ２」のコラムに記録し、ステップ
１４３では、リンク管理表の次の行にポインタを進め、
その時のタイマ値をリンク開始設定時刻として、リンク
管理表（第６図）の「シ、」のコラムに記録する。また
、移動後のラバーバントから矩形の２つの対角点を求め
、リンク管理表（第６図）の（Ｘ工、ｙ工）及び（Ｘｚ
＋ｙｚ）のコラムに座標を入力し、説明文人力モードに
おける処理を繰り返す。この場合、リンク管理表の複数
のリンク設定範囲には、同しノードＩＤが付されること
になる。

また、ステップ１２７での分岐先ステップ１２９（第２
図（ｅ））では、キャンセルキーからのイベントである
場合には、ハイパーテキスト処理プログラム起動時にリ
ターンし、他のイベントである場合にはイベントを無視
してステップ１２２にリターンする。

次に、上述してきたリンク設定プログラムにより説明文
がリンクされた動画像をユーザからの指示に応じて表示
する場合のフローを、第１図のフローチャートを用いて
説明する。

１００：リンク設定モードであるか調べ、リンク設定モ
ードならリング設定プログラム １２０を呼ぶ。

１０１：タイマを初期化する。

１０２：動画像再生装置からの８力を動画像ウィンドウ
４０１に表示する。

１０３：マウスイベントを待ち、マウスイベントを入力
したら１０４へ、マウスイベント以外であれば、１１６
へジャンプする。

１０４：動画像ウィンドウが指示されたがどうが、調べ
、動画像ウィンドウ内なら現在時刻と、指示された座標
をもって１０５へ、外なら１１０ヘジヤンプする。

１０５：第６図の如きリンク管理表において、現時刻が
時間帯５０３に含まれ、かつ、座標が始点５０１と終点
５０２に囲まれる矩形内に含まれるかを調へ、該当する
項のノードＩＤを得る。該当する項がない場合、１０６
へ進み、該当する項がある場合、１０７へ進む。

１０６：Ｏをもって１０８ヘジヤンプする。

１０７：ノードＩＤをもって１０８ヘジヤンプする。

１０８：あらかしめ外部記憶装置から読み込んでおいた
第７図の如き説明文管理表からノードＩＤに対応する説
明情報を得る。第７図において、６０１はノードＩＤ、 ６０２は説明データの種別、６０３は説明データへのポ
インタ、６０４は文字列や画像を表現される説明データ
である。

１０９：得られた説明データを説明データ表示ウィンド
ウ４０２に表示し、１０３へ戻る。

１１０：ポーズボタンウィンドウ４．０３が指示された
かを調べ、指示された場合、１１１へ進み、そうでなけ
れば１０３へ戻る。

１１１：現在、動画像が表示されているが調べ、動画像
が表示中なら１１２へ進み、そうでなければ１１４へ進
む。

１１２：タイマを一時停止する。

１１３：動画像の表示を一時停止し、１０３へ戻る。

１１４：タイマを再スタートする。

１１５：動画像の表示を再スタートし、１０３へ戻る。

１１６：終了キーが押されたのか調べ、ＹＥＳならプロ
グラムを終了し、ＮＯなら１０３へ戻る。

〔発明の効果〕 以上・の説明すら明らかな如く１本発明によれば、情報
の論理的な単位であるノードをリンクによって動画像に
関連づけておくことができ、動画像を利用したハイパー
テキストが利用でき、動画像を使ったプレゼンテーショ
ン、教育用ソフトウェア。

電子カタログなどに応用でき、便利である。

【図面の簡単な説明】

第１図は本発明の一実施例の動作原理を示した流れ図、
第２図はリンク設定プログラムのフローチャートを示す
図、第３図は本発明を実施するためのワークステーショ
ンの構成図、第４図は本発明を実施するためのソフトウ
ェア構成図、第５図は本発明を実施するための表示画面
の例を示す図、第６図は本発明を実施するためのリンク
管理表の構造図、第７図は本発明を実施するための説明
データ管理表の構造図、第８図はリンク設定プログラム
を実施するための六方画面の例を示す図、第９図は本実
施例においてマウスでリンクを設定する様子を示した図
である。 ２０１・・・動画像を再生する動画像再生装置、３０９
・・表示画面のレイアウトを管理する画面レイアウト管
理プログラム、３１１・・リンクとして関連付けられて
いるノードを検索するリンク管理プログラム、３１２・
・・リンクされているノード（説明データ）を外部記憶
装置から読み込み管理する説明データ管理プログラム、
４０１・・動画像を表示するウィンドウ、４０２・・・
動画像に関連付けられた第１　図 第１　図 （ｂ） 第２図（（２） 第２図（ｂ） 斎２図（Ｃ） 第２区ぴ） 閉２閉（６） 第　３　（２） 不　４　回 ＶＪ５　　口 ρ１ ′ｆＪｚ　図 ′ｆＪ　Ｂ　口 第　ｑ　ロ

Claims (1)

1. 【特許請求の範囲】 １、動画像を対象とする画像処理装置であって、動画像
   を記録するための手段と、該動画像再生表示時の任意の
   時間帯と任意の説明情報とをそれぞれリンクさせて記憶
   するための手段と、上記動画像表示中にユーザから入力
   された所定コマンドに応じて、上記コマンドの入力タイ
   ミングが属する時間帯にリンクされた説明情報を動画像
   と並列表示するための手段とを備えたことを特徴とする
   画像処理装置。 ２、動画像を対象とする画像処理装置であって、動画像
   を記録するための手段と、該動画像再生表示時の任意の
   動画像表示領域と、任意の時間帯と、任意の説明情報と
   をそれぞれリンクさせて記憶するための手段と、上記動
   画像表示中に、上記動画像表示領域上でユーザから入力
   された所定コマンドに応じて、上記コマンドの入力タイ
   ミングが属する時間帯にリンクされた上記説明情報を動
   画像と並列表示するための手段とを備えたことを特徴と
   する画像処理装置。 ３、動画像表示中にユーザから入力された所定コマンド
   の入力タイミングに応じて、動画像と対応する説明情報
   を並列表示するようにした画像処理方法であって、動画
   像再生表示時の任意の時間帯と任意の説明情報とをそれ
   ぞれリンクさせてメモリに記憶しておき、上記動画像表
   示中にユーザから入力された所定コマンドに応じて上記
   メモリを参照し、上記コマンドの入力タイミングが属す
   る時間帯にリンクされた説明情報がある場合には、該説
   明情報を動画像と並列表示するようにしたことを特徴と
   する画像処理方法。 ４、動画像表示中にユーザから入力された所定コマンド
   の入力タイミングに応じて、動画像と対応する説明情報
   を並列表示するようにした画像処理方法であって、動画
   像再生表示時の任意の動画像表示領域と、任意の時間帯
   と、任意の説明情報とをそれぞれリンクさせてメモリに
   記憶しておき、上記動画像表示中に、上記動画像表示領
   域上でユーザから入力された所定コマンドに応じて上記
   メモリを参照し、上記コマンドの入力タイミングが属す
   る時間帯にリンされた説明情報がある場合には、該説明
   情報を動画像と並列表示するようにしたことを特徴とす
   る画像処理方法。