JPH0990926A - 映像情報表示装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、密に組み合わさった変形表示枠を持
つ複数の映像情報の表示・再生が可能である映像情報表
示装置を実現することを目的としている。 【解決手段】表示画面上に密に組み合わさった矩形とは
限らない複数個の表示枠領域に動画像情報を表示する映
像情報表示装置において，変形映像情報格納手段をもう
け、各動画像情報を構成する各静止画像情報に画像情報
表示用の表示画面上で外接する矩形に含まれるすべての
静止画像情報から構成される静止画像情報と表示タイミ
ングを与える同期識別番号とを保持するようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータあるいはワークステーションなどの表示画面上
に、複数の変形映像情報を様々な形態で表示する映像情
報表示装置に関する。

【０００２】

【従来の技術】パーソナルコンピュータあるいはワーク
ステーションなどの計算機の表示画面上に、動画像情報
と音声情報とから構成される映像情報を、動画像情報と
音声情報とを同期させながらリアルタイムに表示する手
法として、ムービー方式などと呼ばれる数種類の映像情
報表示装置が提案されている。

【０００３】従来の映像情報表示装置では、図１に示す
ように映像情報はイメージトラックおよびオーディオト
ラックに個別に格納される。イメージトラックは、フレ
ームと呼ばれる一連の情報格納部から構成され、各フレ
ームには、動画像情報を構成する各静止画像情報が一つ
づつ順番に格納されている。オーディオトラックもイメ
ージトラックと同様にフレームから構成され、両者のフ
レームは各々一対一に対応している。動画像情報の表示
速度をＮフレーム／秒とすると、音声情報はオーディオ
トラックの各フレームに１／Ｎ秒分ずつ順次格納され
る。

【０００４】映像情報の再生時には、音声情報がオーデ
ィオトラックから順次読み出され、音声再生部によって
一定速度で再生され、スピーカーから出力される。この
音声情報の再生と同期してイメージトラックの各フレー
ムから静止画像情報が順次読み出され、表示画面の同一
位置に１／Ｎ秒ずつ表示される。したがって、動画像情
報と音声情報が同期した映像情報を再生することができ
る。

【０００５】

【発明が解決しようとする課題】従来の映像情報表示装
置では、パーソナルコンピュータやワークステーション
の表示画面上に静止画像情報を高速に繰り返し表示する
ことで、動画像情報の表示を実現していた。このために
は、動画像情報を構成する各静止画像情報の形状は一定
の大きさの矩形に限定されていた。また従来の映像情報
表示装置では、個々の映像情報が独立した映像情報表示
態様をもって管理されていた。このため、表示画面上に
空間的に複数の映像情報を配置し、これらを相互に同
期、連携させながら映像表示を行うことは困難であっ
た。このため、たとえば図２に示すように、表示画面上
に複数の映像情報をコミックのコマの様に矩形以外の変
形表示枠に配置して、各映像情報を再生する場合、 (1) コミックで多用される矩形以外の変形表示枠を持つ
複数の映像情報を、密に組み合わせた状態で表示、再生
を行うことができない、また映像情報を再生しながら図
３に示すようにｔ₁ ，ｔ₂ ，ｔ₃ ・・・のような時間経
過に応じて当該映像情報の表示枠形状Ｆｉ（ｔ₁ ），Ｆ
ｊ（ｔ₁ ），Ｆｉ（ｔ₂ ），Ｆｊ（ｔ₂），Ｆｉ
（ｔ₃ ），Ｆｊ（ｔ₃ ）・・・の如く逐次的に変形させ
たり移動させることができない。

【０００６】(2) 各映像情報が個別の映像情報表示態様
であるため、ある表示枠における映像情報の再生終了後
に、隣接する表示枠の映像情報の再生を開始することに
なるがその際に、音声情報の途切れが発生してしまう。
また、ある表示枠の映像情報の再生と別の表示枠の映像
情報の再生とを同時に行う場合に、両者の同期、連携が
保証されない。といった問題点が存在した。

【０００７】本発明は、パーソナルコンピュータまたは
ワークステーションの表示画面上に空間的に配置された
複数の映像情報を表示する場合において、密に組み合わ
さった変形表示枠を持つ複数の映像情報の表示、再生が
可能であり、かつ複数映像情報間での同期、連携再生が
可能な映像情報表示装置を実現することを目的としてい
る。

【０００８】

【課題を解決するための手段】密に組み合わさった変形
表示枠を持つ複数の映像情報を表示するための最も単純
な方法は、変形した表示枠形状をした動画像情報を含む
映像情報表示態様を定義することである。しかし動画像
情報を、パーソナルコンピュータやワークステーション
の表示画面上で高速に表示するためには、動画像情報の
表示枠形状は矩形である必要がある。

【０００９】ここでは、図２に示すように、表示画面上
にＭ個の映像情報の表示枠領域Ｆｉ（ｔ）（ｉ＝１，・
・・，Ｍ）が空間的に配置されているものとし、各表示
枠領域Ｆｉ（ｔ）は、図３に示すように、時間ｔの経過
に伴って、その形状と位置を逐次的に変化させるものと
する。ただし、ｔは離散的であり、ｔ＝１，２，・・
・，Ｔとする。また各表示枠領域において、その形状と
位置とを持った仮想的な動画像情報Ｄｉ（ｔ）が表示さ
れるものとする。

【００１０】初期状態では、表示画面上の各表示枠領域
には各動画像情報を構成する静止画像情報のうち最初の
静止画像情報が表示されているものとする。すなわち、
Ｄｉ（ｔ）の表示開始時間をｔｓｉ、終了時間をｔｅｉ
とすると、初期状態では、Ｄｉ（ｔｓｉ）が表示されて
いることになる。簡単のために動画像情報Ｄｉ（ｔ）の
表示順序は添字の小さい順とし、ある動画像情報Ｄｉ
（ｔ）の表示が完了した時点で次の動画像情報Ｄｉ＋１
（ｔ）の表示が開始され、またＤｉ（ｔ）の表示完了時
の静止画像情報Ｄｉ（ｔｅｉ）は、そのまま表示枠領域
Ｆｉ（ｔｅｉ）に表示され続けるものとする。そして、
この様に動画像情報Ｄｉ（ｔ）（ｉ＝１，２，・・・，
Ｍ）（ｔ＝ｔｓｉ，・・・，ｔｅｉ）の表示が順次実行
されるのと同期して、音声情報Ｓ（ｔ）（ｔ＝１，２，
・・・，Ｔ）の再生を行うものとする。

【００１１】しかし、仮想的な動画像情報Ｄｉ（ｔ）
は、その形状が矩形以外に変化すると動画像情報として
の高速な表示が困難となる。そこで、図４に示す如く、
ｉ番目の表示枠領域Ｆｉ（ｔ）に着目し、ｔ＝ｔｓｉ，
・・・，ｔｅｉにおけるすべての表示枠領域Ｆｉ（ｔ）
に表示画面上で外接する最小の矩形領域Ｒｉを求める。
そして表示枠の位置と形状が矩形領域Ｒｉである動画像
情報をＥｉ（ｔ）とし、各時間ｔ（ｔ＝ｔｓｉ，・・
・，ｔｅｉ）毎のＥｉ（ｔ）、すなわち各静止画像情報
を、図５に示すようにＤｉ（ｔ）、領域Ｒｉに含まれる
Ｄｋ（ｔｅｋ）の部分（ただしｋ＜ｉの場合）、および
領域Ｒｉに含まれるＤｊ（ｔｓｊ）の部分（ただしｊ＞
ｉの場合）によって構成する。また、動画像情報Ｄｉ
（ｔ）の表示枠領域Ｆｉ（ｔ）が時間とともに逐次的に
変形するために、図３に示すように、Ｆｉ（ｔ）と隣接
する他の表示枠領域Ｆｊ（ｔ）も逐次的に変形する。し
たがって各Ｅｉ（ｔ）は、Ｆｉ（ｔ）の変形に応じたＤ
ｉ（ｔ）、領域Ｒｉに含まれるＦｊ（ｔ）の変形に応じ
たＤｋ（ｔｅｋ）の部分（ただしｋ＜ｉの場合）、およ
び領域Ｒｉに含まれるＦｊ（ｔ）の変形に応じたＤｊ
（ｔｓｊ）の部分（ただしｊ＞ｉの場合）によって構成
しておく。

【００１２】これらの動画像情報Ｅｉ（ｔ）、および音
声情報Ｓ（ｔ）を、領域Ｒｉの表示画面上での位置情報
Ｐｉ（ｉ＝１，・・・，Ｍ）とともに、各々、情報格納
部（フレーム）から構成される専用のトラックに格納し
ておく。

【００１３】そして、音声情報Ｓ（ｔ）、動画像情報Ｅ
ｉ（ｔ）を構成する各静止画像情報、および位置情報Ｐ
ｉを、順次、各トラックを構成するフレームから読み出
し、該音声情報Ｓ（ｔ）を再生し、Ｓ（ｔ）の再生と同
期させながら動画像情報Ｅｉ（ｔ）を構成する静止画像
情報を位置情報Ｐｉが示す表示画面上の位置に表示する
と、表示画面上では、Ｄｉ（ｔ）の全体と、領域Ｒｉと
オーバーラップする他の動画像情報Ｄｊの一部が表示さ
れる。ただし、領域Ｒｉとオーバーラップする他の動画
像情報に関しては、時間に関わりなく常に同じ静止画像
情報が表示される。このような構成とすることで、実際
には同じ大きさの矩形の静止画像情報を表示画面中の同
一位置に表示しているのにもかかわらず、密に組み合わ
さった変形表示枠を持つ複数の映像情報の表示が可能と
なる。

【００１４】表示枠領域Ｆｉ（ｔ）の形状が時間ととも
に逐次的に変形するだけでなく、その大きさが時間とと
もに大きく変化する場合、矩形領域Ｒｉを単純にｔ＝ｔ
ｓｉ，・・・，ｔｅｉにおけるすべての表示枠領域Ｆｉ
（ｔ）に外接する最小の矩形領域とすると、動画像情報
Ｅｉ（ｔ）のデータ量が莫大なものとなる可能性があ
る。そこで、各時間ｔにおける表示枠領域Ｆｉ（ｔ）に
外接する矩形領域をＲｉ（ｔ）とし、Ｒｉ（ｔ）の表示
画面上での位置情報Ｐｉ（ｔ）および大きさ情報Ｂｉ
（ｔ）を、それぞれ、動画像情報Ｅｉ（ｔ）が格納され
るイメージトラックのフレームに同期するフレームから
構成される位置情報トラックおよび大きさ情報トラック
に格納する。位置情報としては、たとえば表示画面上で
の矩形領域Ｒｉ（ｔ）の左上隅の座標値などを、大きさ
情報としては、Ｒｉ（ｔ）の高さ情報と幅情報などを用
いる。また音声情報Ｓ（ｔ）をこれらと同期するフレー
ム（情報格納部）から構成されるオーディオトラックに
格納する（図６参照）。

【００１５】動画像情報の表示時には、大きさ情報トラ
ックの各フレームから順次、大きさ情報Ｂｉ（ｔ）を、
位置情報トラックの各フレームからは位置情報Ｐｉ
（ｔ）を、そしてイメージトラックの各フレームから該
大きさ情報Ｂｉ（ｔ）が示す大きさ分の静止画像情報を
読み出し、該静止画像情報を表示画面上の該位置情報が
示す位置に表示する。そして該動画像情報の表示と同期
して、オーディオトラックに格納された音声情報を再生
する。これは、時間ｔにおいて表示中の静止画像情報に
対応するオーディオトラックのフレームに格納されてい
る音声情報を再生することで実現できる。

【００１６】この様に、従来一定であった動画像情報を
構成する各静止画像情報の表示位置と大きさを可変とす
ることができ、かつ格納すべきデータ量を必要最低限に
制限することができる。

【００１７】各静止画像情報の表示画面上での位置と大
きさとを可変にしても、その形状さえ矩形であれば、高
速に表示画面に描画することは可能なので、依然として
Ｅｉ（ｔ）を動画像として表示することは可能である。
すなわち、逐次的に表示枠領域の形状を変化させる密に
組み合わさった複数の動画像情報の表示が可能となる。

【００１８】また図６に示すように同期した複数のイメ
ージトラックに、さらに同期して単一のオーディオトラ
ックを用意することで、複数の動画像情報の同期、連携
表示を保証することができ、また音声情報の再生の途切
れを防止することが可能となる。

【００１９】ところで、映像情報表示を上述したような
構成とした場合、表示領域枠同士が密に組み合わさった
動画像表示をたしかに実現することが可能となる。しか
し、映像情報の表示、再生順序を会話的に変更したい場
合に問題が生じる。

【００２０】たとえば図７（ａ）に示すように二つの密
に組み合わさった変形表示枠領域Ｆｉ（ｔ）、Ｆｊ
（ｔ）（ただしｉ＜ｊ）が表示画面上に配置され、図７
（ｂ）に示すように、あらかじめＥｉ（ｔ）、Ｅｊ
（ｔ）が作成されて各イメージトラックに格納されてい
るものとする。Ｆｉ（ｔ）に対応する動画像Ｅｉ（ｔ）
の表示を完了し、ついでＦｊ（ｔ）に対応する動画像Ｅ
ｊ（ｔ）の表示を開始するなら問題はないが、Ｅｉ
（ｔ）の表示を区間（ｔｓｉ，ｔｅｉ）の途中の時間
ｔ′で中止してＥｊ（ｔ）の表示を開始すると、Ｅｊ
（ｔ）におけるＦｉ（ｔ）のオーバーラップ領域はＤｉ
（ｔｅｉ）にあらかじめ固定して作成されているため、
Ｆｉ（ｔ）内に不適当な静止画像情報が表示される可能
性がある。

【００２１】そこで、Ｅｊ（ｔ）の表示を開始する前
に、Ｅｉ（ｔ）の最終静止画像情報Ｅｉ（ｔｅｉ）をい
ったん表示画面上に表示してからＥｊ（ｔ）の再生を開
始する必要がある。

【００２２】この問題を解決するための手段は、図８に
示すように、書き込み禁止領域を定義する方法である。
Ｅｉ（ｔ）を構成する各静止画像情報において、対応す
る表示枠領域Ｆｉ（ｔ）以外の領域を書き込み禁止領
域、Ｆｉ（ｔ）に対応する領域を書き込み許可領域と
し、静止画像情報Ｅｉ（ｔ）と同じ大きさで、対応する
書き込み禁止領域の画素値をＨ、書き込み許可領域の画
素値をＬとする静止画像情報をＱｉ（ｔ）とする。この
Ｑｉ（ｔ）を書き込み制御静止画像情報と呼ぶことにす
る。

【００２３】そして動画像情報Ｅｉ（ｔ）が格納される
イメージトラックに対応するイメージトラックをもう一
つ用意し、この各フレームに書き込み制御静止画像情報
Ｑｉ（ｔ）を格納する。動画像情報Ｅｉ（ｔ）の表示時
には、Ｅｉ（ｔ）を各フレームから読み出すとともに書
き込み制御静止画像情報Ｑｉ（ｔ）も対応する各フレー
ムから読み出す。そしてＥｉ（ｔ）を表示画面上に表示
する。

【００２４】すなわちＥｉ（ｔ）を構成する各画素を画
像表示用メモリに書き込む際には、書き込み制御静止画
像情報Ｑｉ（ｔ）の対応する画素値がＬである場合だけ
表示用メモリへの書き込みを行う。パーソナルコンピュ
ータやワークステーションの中には、この様な書き込み
禁止機能をハードウェアで実現しているものがあり、そ
の場合には、映像情報表示態様のデータ構造に上述の書
き込み制御静止画像情報を格納すべきイメージトラック
を付加することで、密に組み合わさった複数の変形動画
像情報の再生・表示を高速に実現することが可能とな
る。

【００２５】

【発明の実施の形態】図９および図１０は一緒になって
１つの図を構成する本発明の第一の実施例を示す。画像
情報表示部１３に表示する動画像情報は、図２に示すよ
うに画像情報表示部１３の表示画面上に空間的に配置さ
れたＭ個の表示枠領域Ｆｉ（ｔ）から構成され、各表示
枠領域Ｆｉ（ｔ）には、一つづつ動画像情報Ｅｉ（ｔ）
が対応しているものとする。また各表示枠領域Ｆｉ
（ｔ）の形状は矩形とは限らず、該表示画面上に於いて
お互いに密に組み合わさったものであり、さらに時間的
に逐次的に変形し得るものとする。

【００２６】各動画像情報Ｅｉ（ｔ）（ｔ＝ｔｓｉ，・
・・，ｔｅｉ）は、複数枚の静止画像情報から構成さ
れ、各静止画像情報Ｅｉ（ｔ）は課題を解決するための
手段で述べたように、それが画像情報表示部１３に表示
される時間ｔにおける表示枠領域Ｆｉ（ｔ）に外接する
矩形Ｒｉ（ｔ）が、該時間ｔに於いて含むその他の表示
枠領域Ｆｊ（ｔ）（ｊ≠ｉ）内に表示される静止画像情
報を含む様に構成されるものとする。

【００２７】変形映像情報格納手段１は、Ｍ個の枠内動
画像情報格納手段１−１−１〜１−１−Ｍ、表示制御情
報格納手段１−２、および音声情報格納手段１−３とか
ら構成され、各枠内動画像情報格納手段１−１−１〜１
−１−Ｍには、各々、識別記号が付されている。

【００２８】各枠内動画像情報格納手段１−１−１は、
動画像情報格納手段１−１−１−１、位置情報格納手段
１−１−１−２、および大きさ情報格納手段１−１−１
−３とから構成される。ｉ番目の枠内動画像情報格納手
段１−１−ｉを構成する動画像情報格納手段１−１−ｉ
−１、位置情報格納手段１−１−ｉ−２、および大きさ
情報格納手段１−１−ｉ−３は、各々、Ｔｉ個の動画像
情報単位格納手段１−１−ｉ−１−１〜１−１−ｉ−１
−Ｔｉ、位置情報単位格納手段１−１−ｉ−２−１〜１
−１−ｉ−２−Ｔｉ、および大きさ情報単位格納手段１
−１−ｉ−３−１〜１−１−ｉ−３−Ｔｉとから構成さ
れる。

【００２９】そして、各動画像情報単位格納手段１−１
−ｉ−１−１〜１−１−ｉ−１−Ｔｉには該動画像情報
を構成する静止画像情報が、各位置情報単位格納手段１
−１−ｉ−２−１〜１−１−ｉ−２−Ｔｉには該静止画
像情報を画像情報表示部１３に表示する際の表示画面上
での位置情報（たとえば、表示画面上での該静止画像情
報の左上隅の座標情報）が、各大きさ情報単位格納手段
１−１−ｉ−３−１〜１−１−ｉ−３−Ｔｉには該静止
画像情報の大きさ情報（たとえば、該静止画像情報の高
さ方向の画素数および幅方向の画素数）が順番に格納さ
れている。

【００３０】音声情報格納手段１−３はＴ個（ただしＴ
≧Ｔｉ）の音声情報単位格納手段１−３−１〜１−３−
Ｔから構成され、各音声情報単位格納手段１−３−１〜
１−３−Ｔには、音声情報が、動画像情報を構成する静
止画像情報一枚あたりの表示時間分ずつ順番に格納され
ている。

【００３１】表示制御情報格納手段１−２には、表示開
始タイミング情報が格納される。これは、たとえば、表
示制御情報格納手段１−２をＴ個の表示制御情報単位格
納手段１−２−１〜１−２−Ｔから構成し、各表示制御
情報単位格納手段１−２−１〜１−２−Ｔに、もし該表
示制御情報単位格納手段１−２−１〜１−２−Ｔに対応
する時間に表示を開始する動画像情報があるならば、該
動画像情報が蓄積されている枠内動画像情報格納手段１
−１−ｉの識別記号を格納し、もし表示を開始する動画
像情報がないのなら、空白情報を格納することで実現で
きる。各表示制御情報単位格納手段１−２−１〜１−２
−Ｔ、および音声情報単位格納手段１−３−１〜１−３
−Ｔには、最初から順番に１からＴまでの同期識別番号
が付されている。

【００３２】また、各動画像情報単位格納手段１−１−
ｉ−１−１〜１−１−ｉ−１−Ｔｉ、位置情報単位格納
手段１−１−ｉ−２−１〜１−１−ｉ−２−Ｔｉ、およ
び大きさ情報単位格納手段１−１−ｉ−３−１〜１−１
−ｉ−３−Ｔｉには、それが同期して再生されるべき音
声情報が格納されている音声情報単位格納手段１−３−
１〜１−３−Ｔの同期識別番号と同一の同期識別番号が
付されている。また初期状態では、変形映像情報格納手
段１の各枠内動画像情報格納手段１−１−１〜１−１−
Ｍの各動画像情報格納手段１−１−１−１〜１−１−Ｍ
−１の第一の動画像情報単位格納手段１−１−ｉ−１−
１に格納されている静止画像情報が、各々対応する。

【００３３】本実施例を動作するには、まず命令入力部
７に再生開始信号を入力する。命令入力部７は、該再生
開始信号を入力されると、該再生開始信号を再生制御部
９の入力制御部９−１に出力する。入力制御部９−１は
再生開始信号を入力されると、一番目の同期識別番号か
らの読み出し開始信号を音声情報入力部６および表示制
御情報入力部５に出力する。音声情報入力部６は読み出
し開始信号を入力されると、変形映像情報格納手段１の
音声情報格納手段１−３の一番目の音声情報単位格納手
段１−３−１から音声情報およびその同期識別番号を読
み出し、音声情報再生部１０に出力する。

【００３４】同時に表示制御情報入力部５は、変形映像
情報格納手段１の表示制御情報格納手段１−２の一番目
の表示制御情報単位格納手段１−２−１の内容を読み出
し入力制御部９−１に出力する。

【００３５】入力制御部９−１は、入力された該表示制
御情報単位格納手段１−２−１の内容が空白情報である
ならば何も行わず、枠内動画像情報格納手段１−１−ｉ
の識別記号であるならば、該識別記号を再生制御部９の
再生中識別記号格納部９−３の一番目の再生中識別記号
単位格納部９−３−１−１に格納し、該再生中識別記号
単位格納部９−３−１−１に対応する次期同期識別番号
格納部９−３−２−１に同期識別番号１を格納すると同
時に、該識別記号に該当する枠内動画像情報格納手段１
−１−ｉの動画像情報、位置情報、および大きさ情報の
読み出し開始信号を、各々、動画像情報入力部２、位置
情報入力部３、および大きさ情報入力部４に出力する。

【００３６】もしすでに、一番目の再生中識別記号単位
格納部９−３−１−１に別の枠内動画像情報格納手段１
−１−ｊの識別記号が格納されているならば、次の再生
中識別記号単位格納部９−３−１−２およびそれに対応
する次期同期識別番号格納部９−３−２−２に、各々該
識別記号および該同期識別番号を格納する。

【００３７】動画像情報入力部２、大きさ情報入力部
４、および位置情報入力部３は、該識別記号に該当する
枠内動画像情報格納手段１−１−ｉの動画像情報、位置
情報、および大きさ情報の読み出し開始信号を入力され
ると、各々、該識別記号に該当する枠内動画像情報格納
手段１−１−ｉの動画像情報格納手段１−１−ｉ−１の
一番目の動画像情報単位格納手段１−１−ｉ−１−１に
格納されている一番目の静止画像情報とその同期識別番
号、位置情報格納手段１−１−ｉ−２の一番目の位置情
報単位格納手段１−１−ｉ−２−１に格納されている一
番目の位置情報とその同期識別番号、大きさ情報格納手
段１−１−ｉ−３の一番目の大きさ情報単位格納手段１
−１−ｉ−３−１に格納されている一番目の大きさ情報
とその同期識別番号を読み出す。

【００３８】そして動画像情報入力部２は、該一番目の
静止画像情報および同期識別番号を画像情報書き込み部
１１に出力し、大きさ情報入力部４と位置情報入力部３
とは、各々該一番目の大きさ情報と位置情報とそれらの
同期識別番号とをアドレス変換部８に出力する。

【００３９】アドレス変換部８は、該一番目の大きさ情
報と一番目の位置情報とそれらの同期識別番号とを入力
されると、画像情報表示部１３の表示画面上に該位置情
報の示す位置に該大きさ情報の示す大きさで静止画像情
報を表示するためには、該静止画像情報を表示用画像情
報格納部１２のどのアドレスに書き込むべきかを算出
し、該アドレスと該同期識別番号とを画像情報書き込み
部１１に出力する。

【００４０】画像情報書き込み部１１は、該一番目の静
止画像情報とその同期識別番号、および該一番目の静止
画像情報を書き込むべきアドレスとその同期識別番号を
入力されると、両者の同期識別番号が一致することを判
定したうえで表示用画像情報格納部１２の該アドレスに
該静止画像情報を書き込む。表示用画像情報格納部１２
に書き込まれた画像情報は、常に画像情報表示部１３の
表示画面上に表示される。画像情報書き込み部１１は該
一番目の静止画像情報の書き込みを終了すると、一番目
の静止画像情報の同期識別番号を再生制御部９の同期制
御部９−２に出力する。

【００４１】一方、音声情報再生部１０は、一番目の音
声情報単位格納手段１−３−１に格納されていた音声情
報を入力されると、該音声情報を音声信号に変換しスピ
ーカーや増幅器などで構成される音声情報出力部１４に
出力し、出力が完了した時点で、その同期識別番号を同
期制御部９−２に出力する。

【００４２】同期制御部９−２は、画像情報書き込み部
１１から入力された同期識別番号と音声情報再生部１０
から入力された同期識別番号とを比較し、音声情報再生
部１０から入力された同期識別番号に画像情報書き込み
部１１から入力された同期識別番号が一致するように、
次に入力すべき動画像情報単位格納手段１−１−ｉ−１
−ｋの同期識別番号（以下、次期同期識別番号）を入力
制御部９−１に出力する。

【００４３】入力制御部９−１は、該枠内動画像情報格
納手段１−１−ｉの識別記号が格納されている再生中識
別記号単位格納部９−３−１−１に対応する次期同期識
別番号格納部９−３−２−１に、該次期同期識別番号を
格納する。

【００４４】そして、入力制御部９−１は、再生中識別
記号格納部９−３に格納されている最も小さい次期同期
識別番号とそれに対応する枠内動画像情報格納手段１−
１−ｉの識別記号を読み出し、動画像情報入力部２、大
きさ情報入力部４、位置情報入力部３に、各々、該識別
記号を持つ枠内動画像情報格納手段の該次期同期識別番
号と同じ同期識別番号を持つ動画像情報単位格納手段１
−１−ｉ−１−ｋ、大きさ情報単位格納手段１−１−ｉ
−３−ｋ、および位置情報単位格納手段１−１−ｉ−２
−ｋから、その内容を読み出す読み出し命令を出力す
る。

【００４５】また入力制御部９−１は、同時に、音声情
報入力部６と表示制御情報入力部５に、各々、次の同期
識別番号を持つ音声情報単位格納手段１−３−ｋおよび
表示制御情報単位格納手段１−２−ｋの内容の読み出し
命令を出力する。

【００４６】上記の手順を、音声情報入力部６が、音声
情報格納手段１−３に格納されたすべての音声情報を読
み出し、音声情報再生部１０が該音声情報の再生を終了
するまで反復する。もし、動画像情報入力部２が、該枠
内動画像情報格納手段１−１−ｉの該動画像情報格納手
段１−１−ｉ−１のすべての動画像情報を読み出してし
まったら、動画像情報入力部２は、該枠内動画像情報格
納手段１−１−ｉの識別記号とその読み出し完了の旨を
表す信号を入力制御部９−１に出力する。入力制御部９
−１は、枠内動画像情報格納手段１−１−ｉの識別記号
とその読み出し完了の旨を表す信号を入力されると、再
生中識別記号格納部９−３に格納されている識別記号の
うち該識別記号に該当するものとそれに対応する次期同
期番号を、それが格納されている再生中識別記号単位格
納部９−３−１−１〜９−３−１−Ｍおよび次期同期識
別番号格納部９−３−２−１〜９−３−２−Ｍから抹消
する。

【００４７】図１１および図１２は一緒になって１つの
図を構成する本発明の第二の実施例を示す。第一の実施
例との違いは、まず、変形映像情報格納手段１の各枠内
動画像情報格納手段１−１−１〜１−１−ＭにＴｉ個の
書き込み制御情報単位格納手段１−１−ｉ−４−１〜１
−１−ｉ−４−Ｔｉから構成される書き込み制御情報格
納手段１−１−ｉ−４が追加されている点である。

【００４８】各書き込み制御情報単位格納手段１−１−
ｉ−４−１〜１−１−ｉ−４−Ｔｉは、動画像情報単位
格納手段１−１−ｉ−１−１〜１−１−ｉ−１−Ｔｉと
一対一に対応し、同期識別番号が付されている。各書き
込み制御情報単位格納手段１−１−ｉ−４−１〜１−１
−ｉ−４−Ｔｉには、それが対応する動画像情報単位格
納手段１−１−ｉ−１−１〜１−１−ｉ−１−Ｔｉに格
納されている静止画像情報と同一の大きさと形状の書き
込み制御静止画像情報が格納されている。書き込み制御
静止画像情報を構成する各画素は、それが対応する動画
像情報単位格納手段１−１−ｉ−１−１〜１−１−ｉ−
１−Ｔｉに格納されている静止画像情報の各画素と一対
一に対応しており、課題を解決するための手段で述べた
ように、表示枠領域以外の領域を書き込み禁止領域、そ
れ以外の領域を書き込み許可領域として定義するもの
で、書き込み禁止領域における画素値をＨ、書き込み許
可領域における画素値をＬとする。

【００４９】第一の実施例と比較した場合のもう一つの
相違点は、書き込み制御情報入力部１５が付加され、さ
らに画像情報書き込み部１１が書き込み処理部１１−２
と書き込み判定部１１−１から構成される点である。

【００５０】そして、入力制御部９−１は、動画像情報
入力部２、大きさ情報入力部４、位置情報入力部３に、
ある識別記号の枠内動画像情報格納手段１−１−ｉの動
画像情報格納手段１−１−ｉ−１、大きさ情報格納手段
１−１−ｉ−３、および位置情報格納手段１−１−ｉ−
２からの、特定の同期識別番号に対応する静止画像情
報、大きさ情報、位置情報の読み出し命令を出力する際
には、常に、該枠内動画像情報格納手段１−１−ｉの書
き込み制御情報格納手段１−１−ｉ−４の該同期識別番
号に対応する書き込み制御情報単位格納手段１−１−ｉ
−４−１〜１−１−ｉ−４−Ｔｉから書き込み制御静止
画像情報の読み出しを命じる入力命令を、書き込み制御
情報入力部１５に出力する。

【００５１】書き込み制御情報入力部１５は、該枠内動
画像情報格納手段１−１−ｉの書き込み制御情報格納手
段１−１−ｉ−４の該同期識別番号に対応する書き込み
制御情報単位格納手段１−１−ｉ−４−１〜１−１−ｉ
−４−Ｔｉから書き込み制御静止画像情報を読み出し、
画像情報書き込み部１１の書き込み判定部１１−１に出
力する。また、動画像情報入力部２から出力された静止
画像情報とアドレス変換部８から出力されたアドレスも
画像情報書き込み部１１の書き込み判定部１１−１に出
力される。

【００５２】書き込み判定部１１−１では、入力された
該静止画像情報の各画素を実際に書き込むべきかを、該
書き込み制御静止画像情報の対応する画素値によって判
定する。すなわち該書き込み制御静止画像情報の対応す
る画素値がＨならば書き込みはせず、Ｌならば該静止画
像情報の画素値とそれが書き込まれるべきアドレスを書
き込み処理部１１−２に出力する。書き込み処理部１１
−２は、入力された静止画像情報の画素値を、表示用画
像情報格納部１２の該アドレスに書き込む。

【００５３】第二の実施例に於いて、これ以外の動作は
第一の実施例と同様である。この様な構成になっている
から、表示画面上に空間的に密に組み合わさって配置さ
れた逐次的に変形する表示枠を持つ複数の映像情報の再
生・表示が可能となる。また複数の映像情報を逐次的に
表示・再生する場合でも音声情報を途切れることなく再
生することが可能であり、かつ複数の映像情報間での同
期・連携表示が可能となる。

【００５４】図１３は第一の実施例の処理の流れを示
す。また図１４は第二の実施例の処理の流れを示す。図
１３や図１４において、命令入力部７から命令が与えら
れると、入力制御部９−１が表示制御情報と音声情報と
を取り入れる処理を行う。そして画像に関するものと音
声に関するものとの同期をとりつつ、再生制御部９が画
像情報の表示と音声情報の出力とを行う。

【００５５】

【発明の効果】本発明によれば、パーソナルコンピュー
タまたはワークステーションの表示画面上に空間的に配
置された複数の映像情報を表示する場合に於いて、密に
組み合わさった変形表示枠を持つ複数の映像情報の再生
・表示が可能であり、かつ複数映像情報間での同期、連
携、再生・表示が可能となる。

【図面の簡単な説明】

【図１】従来の装置の場合の説明図である。

【図２】密に組み合わさった矩形とは限らない表示枠領
域の例を示す。

【図３】映像情報を再生しながら映像情報の表示枠を逐
次的に変形あるいは移動させる例を示す。

【図４】すべての表示枠領域Ｆｉ（ｔ）に外接する最小
の矩形領域Ｒｉを示す図である。

【図５】領域Ｒｉに含まれる情報を説明する図である。

【図６】動画像情報と位置情報と大きさ情報と書き込み
制御情報とオーディオトラックとの格納状態を説明する
図である。

【図７】再生順序を会話的に変更する場合を説明する図
である。

【図８】書き込み禁止領域を定義する図である。

【図９】本発明の第１の実施態様図を示す。

【図１０】図９と一緒になって１つの図を構成する本発
明の第一の実施態様図を示す。

【図１１】本発明の第二の実施態様図を示す。

【図１２】図１１と一緒になって１つの図を構成する本
発明の第二の実施態様図を示す。

【図１３】第一の実施例の処理の流れを示す図である。

【図１４】第二の実施例の処理の流れを示す図である。

【符号の説明】

１ 変形映像情報格納手段 ２ 動画像情報入力部 ３ 位置情報入力部 ４ 大きさ情報入力部 ５ 表示制御情報入力部 ６ 音声情報入力部 ７ 命令入力部 ８ アドレス変換部 ９ 再生制御部 １０ 音声情報再生部 １１ 画像情報書き込み部 １２ 表示用画像情報格納部 １３ 画像情報表示部 １４ 音声情報出力部 １５ 書き込み制御情報入力部 １−１−ｉ 枠内動画像情報格納手段 １−１−ｉ−ｊ 動画像情報格納手段 １−１−ｉ−ｊ−ｋ 動画像情報単位格納手段 １−２ 表示制御情報格納手段 １−２−ｉ 表示制御情報単位格納手段 １−３ 音声情報格納手段 １−３−ｉ 音声情報単位格納手段 ９−１ 入力制御部 ９−２ 同期制御部 ９−３ 再生中識別記号格納部 １１−１ 書き込み判定部 １１−２ 書き込み処理部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０９Ｇ 5/36 ５１０ 9377−5Ｈ Ｇ０９Ｇ 5/36 ５１０Ｍ Ｈ０４Ｎ 5/45 Ｈ０４Ｎ 5/45

Claims (4)

【特許請求の範囲】
1. 【請求項１】 表示画面上に密に組み合わさった矩形と
   は限らない複数個の表示枠領域に動画像情報を表示する
   映像情報表示装置において、 各動画像情報を構成する各静止画像情報に画像情報表示
   部の表示画面上で外接する矩形に含まれるすべての静止
   画像情報を格納する変形映像情報格納手段をそなえ、 当該変形映像情報格納手段は、識別記号が付された複数
   個の枠内動画像情報格納手段と、音声情報格納手段とか
   ら構成され、 前記枠内動画像情報格納手段は、 各動画像情報を構成する各静止画像情報に画像情報表示
   部の表示画面上で外接する矩形に含まれるすべての静止
   画像情報から構成される静止画像情報を格納しかつ該静
   止画像情報を画像情報表示部に表示するタイミングを表
   す同期識別番号が付された動画像情報単位格納手段をそ
   なえ、当該動画像情報単位格納手段に単一の動画像情報
   を格納する動画像情報格納手段と、 該静止画像情報を画像情報表示部に表示する位置情報を
   格納し該静止画像情報が格納される動画像情報単位格納
   手段と対応づけられた位置情報単位格納手段から構成さ
   れ該単一の動画像情報を構成する各静止画像情報の位置
   情報をすべて格納する位置情報格納手段と、 該静止画像情報の大きさ情報を格納し該静止画像情報が
   格納される動画像情報単位格納手段と対応づけられた大
   きさ情報単位格納手段から構成され該単一の動画像情報
   を構成する各静止画像情報の大きさ情報をすべて格納す
   る大きさ情報格納手段とから構成されかつ前記音声情報
   格納手段は、 各枠内動画像情報格納手段に格納された動画像情報の表
   示開始タイミング情報が格納された表示制御情報格納手
   段と、 音声情報を該静止画像情報の表示時間分だけ格納し、該
   音声情報を音声情報再生部で再生するタイミングを表す
   同期識別番号を付された音声情報単位格納手段とから構
   成されることを特徴とする映像情報表示装置。
2. 【請求項２】 前記変形映像情報格納手段における前記
   各枠内動画像情報格納手段は、前記単一の動画像情報を
   構成する各静止画像情報の書き込み制御静止画像情報を
   すべて格納する書き込み制御情報格納手段を付され、 かつ当該書き込み制御情報格納手段は、前記各静止画像
   情報の書き込み禁止領域と書き込み許可領域を規定した
   書き込み制御静止画像情報を格納し、該静止画像情報が
   格納された前記動画像情報単位格納手段と対応づけられ
   た書き込み制御情報単位格納手段から構成されることを
   特徴とする請求項１記載の映像情報表示装置。
3. 【請求項３】 表示画面上に密に組み合わさった矩形と
   は限らない複数個の表示枠領域に動画像情報を表示する
   映像情報表示装置において、 各動画像情報を構成する各静止画像情報に画像情報表示
   部の表示画面上で外接する矩形に含まれるすべての静止
   画像情報を格納する変形映像情報格納手段と、 該変形映像情報格納手段の枠内識別番号によって指定さ
   れた枠内動画像情報格納手段から静止画像情報および同
   期識別番号を読み出す動画像情報入力部と、 該枠内動画像情報格納手段から位置情報を読み出す位置
   情報入力部と、 該枠内動画像情報格納手段から大きさ情報を読み出す大
   きさ情報入力部と、 該変形映像情報格納手段の音声情報格納手段から音声情
   報および同期識別番号を読み出す音声情報入力部と、 前記変形映像情報格納手段の表示制御情報格納手段から
   表示開始タイミング情報を読み出す表示制御情報入力部
   と、 該音声情報入力部からの入力に対応して音声情報を音声
   信号に変換して音声情報出力部に出力する音声情報再生
   部と、 該大きさ情報と位置情報とから該静止画像情報を表示用
   画像情報格納部に書き込むべきアドレスを求めるアドレ
   ス変換部と、 該静止画像情報と該同期識別番号とアドレスとを入力さ
   れると表示用画像情報格納部に該静止画像情報を書き込
   み、該同期識別番号を再生制御部に出力する画像情報書
   き込み部と、 該画像情報書き込み部によって静止画像情報を書き込ま
   れると該静止画像情報を画像信号として画像情報表示部
   に出力する表示用画像情報格納部と、 該画像情報書き込み部が出力した同期識別番号と該音声
   情報再生部が出力した同期識別番号と表示制御情報入力
   部が読み出した表示開始タイミング情報とから、次に読
   み出しを行うべき枠内動画像情報格納手段の識別記号お
   よび同期識別番号を決定し、読み出し命令を該動画像情
   報入力部、大きさ情報入力部、位置情報入力部、音声情
   報入力部、表示制御情報入力部に出力する再生制御部と
   から構成されることを特徴とする映像情報表示装置。
4. 【請求項４】 表示画面上に密に組み合わさった矩形と
   は限らない複数個の表示枠領域に動画像情報を表示する
   映像情報表示装置において、 各動画像情報を構成する各静止画像情報に画像情報表示
   部の表示画面上で外接する矩形に含まれるすべての静止
   画像情報を格納する変形映像情報格納手段と、 該変形映像情報格納手段の枠内識別番号によって指定さ
   れた枠内動画像情報格納手段から静止画像情報および同
   期識別番号を読み出す動画像情報入力部と、 該枠内動画像情報格納手段から位置情報を読み出す位置
   情報入力部と、 該枠内動画像情報格納手段から大きさ情報を読み出す大
   きさ情報入力部と、 該枠内動画像情報格納手段から書き込み制御静止画像情
   報を読み出す書き込み制御情報入力部と、 前記変形映像情報格納手段の音声情報格納手段から音声
   情報および同期識別番号を読み出す音声情報入力部と、 前記変形映像情報格納手段の表示制御情報格納手段から
   表示開始タイミング情報を読み出す表示制御情報入力部
   と、 該音声情報入力部からの入力に対応して音声情報を音声
   信号に変換して音声情報出力部に出力する音声情報再生
   部と、 該大きさ情報と位置情報とから該静止画像情報を表示用
   画像情報格納部に書き込むべきアドレスを求めるアドレ
   ス変換部と、 該静止画像情報と該同期識別番号と該アドレスと該書き
   込み制御情報入力部が読み出した書き込み制御静止画像
   情報を入力されると、該書き込み制御静止画像情報が書
   き込みを許可する画素についてのみ表示用画像情報格納
   部の該アドレスに該画像情報を書き込み、該同期識別番
   号を再生制御部に出力する画像情報書き込み部と、 該画像情報書き込み部によって静止画像情報を書き込ま
   れると該静止画像情報を画像信号として画像情報表示部
   に出力する表示用画像情報格納部と、 該画像情報書き込み部が出力した該同期識別番号と該音
   声情報再生部に出力した該同期識別番号および表示制御
   情報入力部が読み出した表示開始タイミング情報とか
   ら、次に読み出しを行うべき枠内動画像情報格納手段の
   識別記号および同期識別番号を決定し、読み出し命令を
   該動画像情報入力部、大きさ情報入力部、位置情報入力
   部、音声情報入力部、書き込み制御情報入力部、表示制
   御情報入力部に出力する再生制御部とから構成されるこ
   とを特徴とする映像情報表示装置。