JP3337596B2 - Video information display device - Google Patents

Video information display device

Info

Publication number
JP3337596B2
JP3337596B2 JP25035595A JP25035595A JP3337596B2 JP 3337596 B2 JP3337596 B2 JP 3337596B2 JP 25035595 A JP25035595 A JP 25035595A JP 25035595 A JP25035595 A JP 25035595A JP 3337596 B2 JP3337596 B2 JP 3337596B2
Authority
JP
Japan
Prior art keywords
information
unit
image information
display
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25035595A
Other languages
Japanese (ja)
Other versions
JPH0990926A (en
Inventor
輝夫 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP25035595A priority Critical patent/JP3337596B2/en
Publication of JPH0990926A publication Critical patent/JPH0990926A/en
Application granted granted Critical
Publication of JP3337596B2 publication Critical patent/JP3337596B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータあるいはワークステーションなどの表示画面上
に、複数の変形映像情報を様々な形態で表示する映像情
報表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video information display device for displaying a plurality of deformed video information in various forms on a display screen of a personal computer or a workstation.

【0002】[0002]

【従来の技術】パーソナルコンピュータあるいはワーク
ステーションなどの計算機の表示画面上に、動画像情報
と音声情報とから構成される映像情報を、動画像情報と
音声情報とを同期させながらリアルタイムに表示する手
法として、ムービー方式などと呼ばれる数種類の映像情
報表示装置が提案されている。
2. Description of the Related Art A technique for displaying video information composed of moving image information and audio information on a display screen of a computer such as a personal computer or a workstation in real time while synchronizing the moving image information and the audio information. As such, several types of video information display devices called a movie system have been proposed.

【0003】従来の映像情報表示装置では、図1に示す
ように映像情報はイメージトラックおよびオーディオト
ラックに個別に格納される。イメージトラックは、フレ
ームと呼ばれる一連の情報格納部から構成され、各フレ
ームには、動画像情報を構成する各静止画像情報が一つ
づつ順番に格納されている。オーディオトラックもイメ
ージトラックと同様にフレームから構成され、両者のフ
レームは各々一対一に対応している。動画像情報の表示
速度をNフレーム/秒とすると、音声情報はオーディオ
トラックの各フレームに1/N秒分ずつ順次格納され
る。
In a conventional video information display device, video information is stored separately in an image track and an audio track as shown in FIG. The image track is composed of a series of information storage units called frames, and each frame stores the still image information constituting the moving image information one by one in order. The audio track is composed of frames similarly to the image track, and both frames correspond one-to-one. Assuming that the display speed of the moving image information is N frames / second, the audio information is sequentially stored in each frame of the audio track for 1 / N seconds.

【0004】映像情報の再生時には、音声情報がオーデ
ィオトラックから順次読み出され、音声再生部によって
一定速度で再生され、スピーカーから出力される。この
音声情報の再生と同期してイメージトラックの各フレー
ムから静止画像情報が順次読み出され、表示画面の同一
位置に1/N秒ずつ表示される。したがって、動画像情
報と音声情報が同期した映像情報を再生することができ
る。
When reproducing video information, audio information is sequentially read from an audio track, reproduced at a constant speed by an audio reproducing unit, and output from a speaker. In synchronization with the reproduction of the audio information, the still image information is sequentially read from each frame of the image track and displayed at the same position on the display screen for 1 / N second. Therefore, video information in which moving image information and audio information are synchronized can be reproduced.

【0005】[0005]

【発明が解決しようとする課題】従来の映像情報表示装
置では、パーソナルコンピュータやワークステーション
の表示画面上に静止画像情報を高速に繰り返し表示する
ことで、動画像情報の表示を実現していた。このために
は、動画像情報を構成する各静止画像情報の形状は一定
の大きさの矩形に限定されていた。また従来の映像情報
表示装置では、個々の映像情報が独立した映像情報表示
態様をもって管理されていた。このため、表示画面上に
空間的に複数の映像情報を配置し、これらを相互に同
期、連携させながら映像表示を行うことは困難であっ
た。このため、たとえば図2に示すように、表示画面上
に複数の映像情報をコミックのコマの様に矩形以外の変
形表示枠に配置して、各映像情報を再生する場合、 (1) コミックで多用される矩形以外の変形表示枠を持つ
複数の映像情報を、密に組み合わせた状態で表示、再生
を行うことができない、また映像情報を再生しながら図
3に示すようにt1 ,t2 ,t3 ・・・のような時間経
過に応じて当該映像情報の表示枠形状Fi(t1 ),F
j(t1 ),Fi(t2 ),Fj(t2),Fi
(t3 ),Fj(t3 )・・・の如く逐次的に変形させ
たり移動させることができない。
In the conventional video information display device, the display of moving image information is realized by repeatedly displaying still image information at high speed on a display screen of a personal computer or a workstation. For this purpose, the shape of each piece of still image information constituting moving image information has been limited to a rectangle of a certain size. In the conventional video information display device, each video information is managed in an independent video information display mode. For this reason, it has been difficult to spatially arrange a plurality of pieces of video information on a display screen and to perform video display while synchronizing and cooperating with each other. For this reason, as shown in FIG. 2, for example, when a plurality of pieces of video information are arranged on a display screen in a deformed display frame other than a rectangle like a comic frame and each video information is reproduced, (1) comics displaying a plurality of video information having a deformation display frame other than a rectangle which is frequently used, in a state of closely combined, can not be reproduced, and t 1, as shown in FIG. 3 while reproducing the video information, t 2 , T 3, ..., And the display frame shape Fi (t 1 ), F
j (t 1 ), Fi (t 2 ), Fj (t 2 ), Fi
(T 3 ), Fj (t 3 )... Cannot be sequentially deformed or moved.

【0006】(2) 各映像情報が個別の映像情報表示態様
であるため、ある表示枠における映像情報の再生終了後
に、隣接する表示枠の映像情報の再生を開始することに
なるがその際に、音声情報の途切れが発生してしまう。
また、ある表示枠の映像情報の再生と別の表示枠の映像
情報の再生とを同時に行う場合に、両者の同期、連携が
保証されない。といった問題点が存在した。
(2) Since each piece of video information has an individual video information display mode, after the reproduction of video information in a certain display frame is completed, the reproduction of video information in an adjacent display frame is started. In this case, interruption of audio information occurs.
Further, when the reproduction of the video information of one display frame and the reproduction of the video information of another display frame are performed at the same time, synchronization and cooperation between the two cannot be guaranteed. There was such a problem.

【0007】本発明は、パーソナルコンピュータまたは
ワークステーションの表示画面上に空間的に配置された
複数の映像情報を表示する場合において、密に組み合わ
さった変形表示枠を持つ複数の映像情報の表示、再生が
可能であり、かつ複数映像情報間での同期、連携再生が
可能な映像情報表示装置を実現することを目的としてい
る。
The present invention provides a method for displaying a plurality of video information spatially arranged on a display screen of a personal computer or a workstation, the display of a plurality of video information having a deformed display frame closely combined, It is an object of the present invention to realize a video information display device that is capable of reproducing, and capable of synchronizing and cooperatively reproducing a plurality of pieces of video information.

【0008】[0008]

【課題を解決するための手段】密に組み合わさった変形
表示枠を持つ複数の映像情報を表示するための最も単純
な方法は、変形した表示枠形状をした動画像情報を含む
映像情報表示態様を定義することである。しかし動画像
情報を、パーソナルコンピュータやワークステーション
の表示画面上で高速に表示するためには、動画像情報の
表示枠形状は矩形である必要がある。
The simplest method for displaying a plurality of pieces of video information having a closely combined deformed display frame is a video information display mode including moving image information having a deformed display frame shape. Is to define However, in order to display moving image information on a display screen of a personal computer or a workstation at high speed, the display frame shape of the moving image information needs to be rectangular.

【0009】ここでは、図2に示すように、表示画面上
にM個の映像情報の表示枠領域Fi(t)(i=1,・
・・,M)が空間的に配置されているものとし、各表示
枠領域Fi(t)は、図3に示すように、時間tの経過
に伴って、その形状と位置を逐次的に変化させるものと
する。ただし、tは離散的であり、t=1,2,・・
・,Tとする。また各表示枠領域において、その形状と
位置とを持った仮想的な動画像情報Di(t)が表示さ
れるものとする。
Here, as shown in FIG. 2, a display frame area Fi (t) (i = 1,...) Of M pieces of video information is displayed on the display screen.
.., M) are spatially arranged, and each display frame area Fi (t) changes its shape and position sequentially with the passage of time t, as shown in FIG. Shall be allowed. Here, t is discrete, and t = 1, 2,.
・, T In each display frame area, virtual moving image information Di (t) having the shape and position is displayed.

【0010】初期状態では、表示画面上の各表示枠領域
には各動画像情報を構成する静止画像情報のうち最初の
静止画像情報が表示されているものとする。すなわち、
Di(t)の表示開始時間をtsi、終了時間をtei
とすると、初期状態では、Di(tsi)が表示されて
いることになる。簡単のために動画像情報Di(t)の
表示順序は添字の小さい順とし、ある動画像情報Di
(t)の表示が完了した時点で次の動画像情報Di+1
(t)の表示が開始され、またDi(t)の表示完了時
の静止画像情報Di(tei)は、そのまま表示枠領域
Fi(tei)に表示され続けるものとする。そして、
この様に動画像情報Di(t)(i=1,2,・・・,
M)(t=tsi,・・・,tei)の表示が順次実行
されるのと同期して、音声情報S(t)(t=1,2,
・・・,T)の再生を行うものとする。
In the initial state, it is assumed that the first still image information of the still image information constituting each moving image information is displayed in each display frame area on the display screen. That is,
The display start time of Di (t) is tsi, and the end time is tei.
Then, in the initial state, Di (tsi) is displayed. For the sake of simplicity, the display order of the moving image information Di (t) is set in the order of small suffix,
When the display of (t) is completed, the next moving image information Di + 1
The display of (t) is started, and the still image information Di (tei) at the completion of the display of Di (t) is continuously displayed in the display frame area Fi (tei). And
Thus, the moving image information Di (t) (i = 1, 2,...,
M) (t = tsi,..., Tei), and the audio information S (t) (t = 1, 2,
.., T).

【0011】しかし、仮想的な動画像情報Di(t)
は、その形状が矩形以外に変化すると動画像情報として
の高速な表示が困難となる。そこで、図4に示す如く、
i番目の表示枠領域Fi(t)に着目し、t=tsi,
・・・,teiにおけるすべての表示枠領域Fi(t)
に表示画面上で外接する最小の矩形領域Riを求める。
そして表示枠の位置と形状が矩形領域Riである動画像
情報をEi(t)とし、各時間t(t=tsi,・・
・,tei)毎のEi(t)、すなわち各静止画像情報
を、図5に示すようにDi(t)、領域Riに含まれる
Dk(tek)の部分(ただしk<iの場合)、および
領域Riに含まれるDj(tsj)の部分(ただしj>
iの場合)によって構成する。また、動画像情報Di
(t)の表示枠領域Fi(t)が時間とともに逐次的に
変形するために、図3に示すように、Fi(t)と隣接
する他の表示枠領域Fj(t)も逐次的に変形する。し
たがって各Ei(t)は、Fi(t)の変形に応じたD
i(t)、領域Riに含まれるFj(t)の変形に応じ
たDk(tek)の部分(ただしk<iの場合)、およ
び領域Riに含まれるFj(t)の変形に応じたDj
(tsj)の部分(ただしj>iの場合)によって構成
しておく。
However, virtual moving image information Di (t)
However, if the shape changes to a shape other than a rectangle, high-speed display as moving image information becomes difficult. Therefore, as shown in FIG.
Focusing on the i-th display frame area Fi (t), t = tsi,
..., all display frame regions Fi (t) in tei
The minimum rectangular area Ri circumscribed on the display screen is obtained.
The moving image information in which the position and the shape of the display frame are rectangular regions Ri is Ei (t), and each time t (t = tsi,.
., Tei), Ei (t), that is, each still image information is represented by Di (t) as shown in FIG. 5, Dk (tek) portion included in region Ri (provided that k <i), and Dj (tsj) portion (where j>
i)). In addition, moving image information Di
Since the display frame area Fi (t) of (t) is sequentially deformed with time, other display frame areas Fj (t) adjacent to Fi (t) are also sequentially deformed as shown in FIG. I do. Therefore, each Ei (t) is a D (D) corresponding to the deformation of Fi (t).
i (t), a portion of Dk (tek) corresponding to the deformation of Fj (t) included in region Ri (when k <i), and Dj corresponding to the deformation of Fj (t) included in region Ri
(Tsj) (where j> i).

【0012】これらの動画像情報Ei(t)、および音
声情報S(t)を、領域Riの表示画面上での位置情報
Pi(i=1,・・・,M)とともに、各々、情報格納
部(フレーム)から構成される専用のトラックに格納し
ておく。
The moving image information Ei (t) and the audio information S (t) are stored together with the position information Pi (i = 1,..., M) of the region Ri on the display screen. It is stored in a dedicated track composed of a unit (frame).

【0013】そして、音声情報S(t)、動画像情報E
i(t)を構成する各静止画像情報、および位置情報P
iを、順次、各トラックを構成するフレームから読み出
し、該音声情報S(t)を再生し、S(t)の再生と同
期させながら動画像情報Ei(t)を構成する静止画像
情報を位置情報Piが示す表示画面上の位置に表示する
と、表示画面上では、Di(t)の全体と、領域Riと
オーバーラップする他の動画像情報Djの一部が表示さ
れる。ただし、領域Riとオーバーラップする他の動画
像情報に関しては、時間に関わりなく常に同じ静止画像
情報が表示される。このような構成とすることで、実際
には同じ大きさの矩形の静止画像情報を表示画面中の同
一位置に表示しているのにもかかわらず、密に組み合わ
さった変形表示枠を持つ複数の映像情報の表示が可能と
なる。
The audio information S (t) and the moving image information E
Still image information constituting i (t) and position information P
i is sequentially read from the frames constituting each track, the audio information S (t) is reproduced, and the still image information constituting the moving image information Ei (t) is located while synchronizing with the reproduction of S (t). When displayed at the position on the display screen indicated by the information Pi, the entire Di (t) and a part of other moving image information Dj overlapping the region Ri are displayed on the display screen. However, with respect to other moving image information overlapping with the region Ri, the same still image information is always displayed regardless of time. With such a configuration, even though rectangular still image information of the same size is actually displayed at the same position on the display screen, a plurality of closely combined deformed display frames are provided. Can be displayed.

【0014】表示枠領域Fi(t)の形状が時間ととも
に逐次的に変形するだけでなく、その大きさが時間とと
もに大きく変化する場合、矩形領域Riを単純にt=t
si,・・・,teiにおけるすべての表示枠領域Fi
(t)に外接する最小の矩形領域とすると、動画像情報
Ei(t)のデータ量が莫大なものとなる可能性があ
る。そこで、各時間tにおける表示枠領域Fi(t)に
外接する矩形領域をRi(t)とし、Ri(t)の表示
画面上での位置情報Pi(t)および大きさ情報Bi
(t)を、それぞれ、動画像情報Ei(t)が格納され
るイメージトラックのフレームに同期するフレームから
構成される位置情報トラックおよび大きさ情報トラック
に格納する。位置情報としては、たとえば表示画面上で
の矩形領域Ri(t)の左上隅の座標値などを、大きさ
情報としては、Ri(t)の高さ情報と幅情報などを用
いる。また音声情報S(t)をこれらと同期するフレー
ム(情報格納部)から構成されるオーディオトラックに
格納する(図6参照)。
When the shape of the display frame region Fi (t) is not only sequentially deformed with time but also changes greatly with time, the rectangular region Ri is simply represented by t = t
all display frame areas Fi in si, ..., tei
If the minimum rectangular area circumscribing (t) is used, the data amount of the moving image information Ei (t) may be enormous. Therefore, a rectangular area circumscribing the display frame area Fi (t) at each time t is defined as Ri (t), and position information Pi (t) and size information Bi of Ri (t) on the display screen.
(T) is stored in the position information track and the size information track each composed of a frame synchronized with the frame of the image track in which the moving image information Ei (t) is stored. As the position information, for example, the coordinate value of the upper left corner of the rectangular area Ri (t) on the display screen is used, and as the size information, the height information and the width information of Ri (t) are used. Also, the audio information S (t) is stored in an audio track composed of a frame (information storage unit) synchronized with the audio information S (t) (see FIG. 6).

【0015】動画像情報の表示時には、大きさ情報トラ
ックの各フレームから順次、大きさ情報Bi(t)を、
位置情報トラックの各フレームからは位置情報Pi
(t)を、そしてイメージトラックの各フレームから該
大きさ情報Bi(t)が示す大きさ分の静止画像情報を
読み出し、該静止画像情報を表示画面上の該位置情報が
示す位置に表示する。そして該動画像情報の表示と同期
して、オーディオトラックに格納された音声情報を再生
する。これは、時間tにおいて表示中の静止画像情報に
対応するオーディオトラックのフレームに格納されてい
る音声情報を再生することで実現できる。
At the time of displaying the moving image information, the size information Bi (t) is sequentially transmitted from each frame of the size information track.
From each frame of the position information track, the position information Pi
(T), and still image information corresponding to the size indicated by the size information Bi (t) is read from each frame of the image track, and the still image information is displayed at the position indicated by the position information on the display screen. . Then, the audio information stored in the audio track is reproduced in synchronization with the display of the moving image information. This can be realized by reproducing the audio information stored in the frame of the audio track corresponding to the still image information being displayed at time t.

【0016】この様に、従来一定であった動画像情報を
構成する各静止画像情報の表示位置と大きさを可変とす
ることができ、かつ格納すべきデータ量を必要最低限に
制限することができる。
As described above, the display position and size of each still image information constituting the moving image information, which has been conventionally fixed, can be made variable, and the amount of data to be stored is limited to a necessary minimum. Can be.

【0017】各静止画像情報の表示画面上での位置と大
きさとを可変にしても、その形状さえ矩形であれば、高
速に表示画面に描画することは可能なので、依然として
Ei(t)を動画像として表示することは可能である。
すなわち、逐次的に表示枠領域の形状を変化させる密に
組み合わさった複数の動画像情報の表示が可能となる。
Even if the position and size of each still image information on the display screen are variable, it is possible to draw on the display screen at high speed as long as the shape is rectangular, so that Ei (t) is still a moving image. It is possible to display it as an image.
That is, it is possible to display a plurality of closely combined moving image information in which the shape of the display frame area is sequentially changed.

【0018】また図6に示すように同期した複数のイメ
ージトラックに、さらに同期して単一のオーディオトラ
ックを用意することで、複数の動画像情報の同期、連携
表示を保証することができ、また音声情報の再生の途切
れを防止することが可能となる。
As shown in FIG. 6, by synchronizing a plurality of synchronized image tracks with a single audio track, synchronization of a plurality of pieces of moving image information and cooperative display can be guaranteed. In addition, it is possible to prevent interruption of reproduction of audio information.

【0019】ところで、映像情報表示を上述したような
構成とした場合、表示領域枠同士が密に組み合わさった
動画像表示をたしかに実現することが可能となる。しか
し、映像情報の表示、再生順序を会話的に変更したい場
合に問題が生じる。
By the way, when the video information display is configured as described above, it is possible to realize a moving image display in which display area frames are closely combined. However, a problem arises when it is desired to interactively change the display and reproduction order of the video information.

【0020】たとえば図7(a)に示すように二つの密
に組み合わさった変形表示枠領域Fi(t)、Fj
(t)(ただしi<j)が表示画面上に配置され、図7
(b)に示すように、あらかじめEi(t)、Ej
(t)が作成されて各イメージトラックに格納されてい
るものとする。Fi(t)に対応する動画像Ei(t)
の表示を完了し、ついでFj(t)に対応する動画像E
j(t)の表示を開始するなら問題はないが、Ei
(t)の表示を区間(tsi,tei)の途中の時間
t′で中止してEj(t)の表示を開始すると、Ej
(t)におけるFi(t)のオーバーラップ領域はDi
(tei)にあらかじめ固定して作成されているため、
Fi(t)内に不適当な静止画像情報が表示される可能
性がある。
For example, as shown in FIG. 7A, two closely combined deformed display frame areas Fi (t) and Fj
(T) (where i <j) is arranged on the display screen, and FIG.
As shown in (b), Ei (t), Ej
It is assumed that (t) is created and stored in each image track. Moving image Ei (t) corresponding to Fi (t)
Is completed, and then the moving image E corresponding to Fj (t) is displayed.
There is no problem if the display of j (t) starts, but Ei
When the display of (t) is stopped at the time t 'in the middle of the section (tsi, tei) and the display of Ej (t) is started,
The overlap area of Fi (t) in (t) is Di
(Tei)
Inappropriate still image information may be displayed in Fi (t).

【0021】そこで、Ej(t)の表示を開始する前
に、Ei(t)の最終静止画像情報Ei(tei)をい
ったん表示画面上に表示してからEj(t)の再生を開
始する必要がある。
Therefore, before starting the display of Ej (t), it is necessary to display the final still image information Ei (tei) of Ei (t) on the display screen once and then start the reproduction of Ej (t). There is.

【0022】この問題を解決するための手段は、図8に
示すように、書き込み禁止領域を定義する方法である。
Ei(t)を構成する各静止画像情報において、対応す
る表示枠領域Fi(t)以外の領域を書き込み禁止領
域、Fi(t)に対応する領域を書き込み許可領域と
し、静止画像情報Ei(t)と同じ大きさで、対応する
書き込み禁止領域の画素値をH、書き込み許可領域の画
素値をLとする静止画像情報をQi(t)とする。この
Qi(t)を書き込み制御静止画像情報と呼ぶことにす
る。
A means for solving this problem is a method of defining a write-protected area as shown in FIG.
In each still image information constituting Ei (t), an area other than the corresponding display frame area Fi (t) is set as a write-inhibited area, an area corresponding to Fi (t) is set as a write-enabled area, and the still image information Ei (t) ), Qi (t) represents still image information in which the pixel value of the corresponding write-protected area is H and the pixel value of the corresponding write-enabled area is L. This Qi (t) will be referred to as write control still image information.

【0023】そして動画像情報Ei(t)が格納される
イメージトラックに対応するイメージトラックをもう一
つ用意し、この各フレームに書き込み制御静止画像情報
Qi(t)を格納する。動画像情報Ei(t)の表示時
には、Ei(t)を各フレームから読み出すとともに書
き込み制御静止画像情報Qi(t)も対応する各フレー
ムから読み出す。そしてEi(t)を表示画面上に表示
する。
Then, another image track corresponding to the image track storing the moving image information Ei (t) is prepared, and the write control still image information Qi (t) is stored in each frame. When the moving image information Ei (t) is displayed, Ei (t) is read from each frame, and the write control still image information Qi (t) is also read from the corresponding frame. Then, Ei (t) is displayed on the display screen.

【0024】すなわちEi(t)を構成する各画素を画
像表示用メモリに書き込む際には、書き込み制御静止画
像情報Qi(t)の対応する画素値がLである場合だけ
表示用メモリへの書き込みを行う。パーソナルコンピュ
ータやワークステーションの中には、この様な書き込み
禁止機能をハードウェアで実現しているものがあり、そ
の場合には、映像情報表示態様のデータ構造に上述の書
き込み制御静止画像情報を格納すべきイメージトラック
を付加することで、密に組み合わさった複数の変形動画
像情報の再生・表示を高速に実現することが可能とな
る。
That is, when each pixel constituting Ei (t) is written to the image display memory, writing to the display memory is performed only when the corresponding pixel value of the write control still image information Qi (t) is L. I do. In some personal computers and workstations, such a write-protection function is realized by hardware. In such a case, the above-described write control still image information is stored in the data structure of the video information display mode. By adding an image track to be played, it is possible to realize high-speed reproduction and display of a plurality of deformed moving image information in close combination.

【0025】[0025]

【発明の実施の形態】図9および図10は一緒になって
1つの図を構成する本発明の第一の実施例を示す。画像
情報表示部13に表示する動画像情報は、図2に示すよ
うに画像情報表示部13の表示画面上に空間的に配置さ
れたM個の表示枠領域Fi(t)から構成され、各表示
枠領域Fi(t)には、一つづつ動画像情報Ei(t)
が対応しているものとする。また各表示枠領域Fi
(t)の形状は矩形とは限らず、該表示画面上に於いて
お互いに密に組み合わさったものであり、さらに時間的
に逐次的に変形し得るものとする。
FIG. 9 and FIG. 10 show a first embodiment of the invention which together form a single drawing. The moving image information displayed on the image information display unit 13 is composed of M display frame regions Fi (t) spatially arranged on the display screen of the image information display unit 13 as shown in FIG. In the display frame area Fi (t), moving image information Ei (t)
Shall correspond. Also, each display frame area Fi
The shape of (t) is not limited to a rectangle, but is closely combined with each other on the display screen, and can be sequentially and temporally deformed.

【0026】各動画像情報Ei(t)(t=tsi,・
・・,tei)は、複数枚の静止画像情報から構成さ
れ、各静止画像情報Ei(t)は課題を解決するための
手段で述べたように、それが画像情報表示部13に表示
される時間tにおける表示枠領域Fi(t)に外接する
矩形Ri(t)が、該時間tに於いて含むその他の表示
枠領域Fj(t)(j≠i)内に表示される静止画像情
報を含む様に構成されるものとする。
Each moving picture information Ei (t) (t = tsi,.
.., tei) are composed of a plurality of pieces of still image information, and each still image information Ei (t) is displayed on the image information display unit 13 as described in the means for solving the problem. A rectangle Ri (t) circumscribing the display frame area Fi (t) at the time t represents still image information displayed in the other display frame area Fj (t) (j ≠ i) included at the time t. It shall be configured to include.

【0027】変形映像情報格納手段1は、M個の枠内動
画像情報格納手段1−1−1〜1−1−M、表示制御情
報格納手段1−2、および音声情報格納手段1−3とか
ら構成され、各枠内動画像情報格納手段1−1−1〜1
−1−Mには、各々、識別記号が付されている。
The modified video information storage means 1 comprises M in-frame moving image information storage means 1-1-1 to 1-1-M, display control information storage means 1-2, and audio information storage means 1-3. And moving image information storage means 1-1-1 to 1-1 in each frame.
Each of -1-M is provided with an identification symbol.

【0028】各枠内動画像情報格納手段1−1−1は、
動画像情報格納手段1−1−1−1、位置情報格納手段
1−1−1−2、および大きさ情報格納手段1−1−1
−3とから構成される。i番目の枠内動画像情報格納手
段1−1−iを構成する動画像情報格納手段1−1−i
−1、位置情報格納手段1−1−i−2、および大きさ
情報格納手段1−1−i−3は、各々、Ti個の動画像
情報単位格納手段1−1−i−1−1〜1−1−i−1
−Ti、位置情報単位格納手段1−1−i−2−1〜1
−1−i−2−Ti、および大きさ情報単位格納手段1
−1−i−3−1〜1−1−i−3−Tiとから構成さ
れる。
Each of the in-frame moving image information storage means 1-1-1 includes:
Moving image information storage means 1-1-1-1, position information storage means 1-1-1-2, and size information storage means 1-1-1
-3. Moving image information storing means 1-1-i constituting the i-th in-frame moving image information storing means 1-1-i
-1, the position information storage unit 1-1-i-2 and the size information storage unit 1-1-i-3 are respectively Ti Ti moving image information unit storage units 1-1-i-1-1. ~ 1-1-i-1
-Ti, location information unit storage means 1-1-i-2-1-1
-1-i-2-Ti and size information unit storage means 1
-1-i-3-1 to 1-1-i-3-Ti.

【0029】そして、各動画像情報単位格納手段1−1
−i−1−1〜1−1−i−1−Tiには該動画像情報
を構成する静止画像情報が、各位置情報単位格納手段1
−1−i−2−1〜1−1−i−2−Tiには該静止画
像情報を画像情報表示部13に表示する際の表示画面上
での位置情報(たとえば、表示画面上での該静止画像情
報の左上隅の座標情報)が、各大きさ情報単位格納手段
1−1−i−3−1〜1−1−i−3−Tiには該静止
画像情報の大きさ情報(たとえば、該静止画像情報の高
さ方向の画素数および幅方向の画素数)が順番に格納さ
れている。
Then, each moving picture information unit storage means 1-1
Still image information constituting the moving image information is stored in each of the position information unit storage units 1 -i-1-1 to 1-1-i-1-Ti.
-1-i-2-1 to 1-1-i-2-Ti include position information on the display screen when the still image information is displayed on the image information display unit 13 (for example, on the display screen). The size information of the still image information (coordinate information of the upper left corner of the still image information) is stored in each size information unit storage means 1-1-i-3-1 to 1-1-i-3-Ti. For example, the number of pixels in the height direction and the number of pixels in the width direction of the still image information) are stored in order.

【0030】音声情報格納手段1−3はT個(ただしT
≧Ti)の音声情報単位格納手段1−3−1〜1−3−
Tから構成され、各音声情報単位格納手段1−3−1〜
1−3−Tには、音声情報が、動画像情報を構成する静
止画像情報一枚あたりの表示時間分ずつ順番に格納され
ている。
The number of the voice information storage means 1-3 is T (T
≧ Ti) audio information unit storage means 1-3-1 to 1-3-3-
T, each audio information unit storage means 1-3-1
In the 1-3-T, audio information is stored in order of display time per still image information constituting moving image information.

【0031】表示制御情報格納手段1−2には、表示開
始タイミング情報が格納される。これは、たとえば、表
示制御情報格納手段1−2をT個の表示制御情報単位格
納手段1−2−1〜1−2−Tから構成し、各表示制御
情報単位格納手段1−2−1〜1−2−Tに、もし該表
示制御情報単位格納手段1−2−1〜1−2−Tに対応
する時間に表示を開始する動画像情報があるならば、該
動画像情報が蓄積されている枠内動画像情報格納手段1
−1−iの識別記号を格納し、もし表示を開始する動画
像情報がないのなら、空白情報を格納することで実現で
きる。各表示制御情報単位格納手段1−2−1〜1−2
−T、および音声情報単位格納手段1−3−1〜1−3
−Tには、最初から順番に1からTまでの同期識別番号
が付されている。
The display control information storage means 1-2 stores display start timing information. This means that, for example, the display control information storage means 1-2 is composed of T display control information unit storage means 1-2-1 to 1-2-T, and each display control information unit storage means 1-2-1. If there is moving image information to start displaying at a time corresponding to the display control information unit storage means 1-2-1 to 1-2-T, the moving image information is stored. In-frame moving image information storage means 1
−1-i is stored, and if there is no moving image information to start displaying, it can be realized by storing blank information. Each display control information unit storage means 1-2-1 to 1-2
-T and audio information unit storage means 1-3-1 to 1-3
-T is assigned a synchronization identification number from 1 to T in order from the beginning.

【0032】また、各動画像情報単位格納手段1−1−
i−1−1〜1−1−i−1−Ti、位置情報単位格納
手段1−1−i−2−1〜1−1−i−2−Ti、およ
び大きさ情報単位格納手段1−1−i−3−1〜1−1
−i−3−Tiには、それが同期して再生されるべき音
声情報が格納されている音声情報単位格納手段1−3−
1〜1−3−Tの同期識別番号と同一の同期識別番号が
付されている。また初期状態では、変形映像情報格納手
段1の各枠内動画像情報格納手段1−1−1〜1−1−
Mの各動画像情報格納手段1−1−1−1〜1−1−M
−1の第一の動画像情報単位格納手段1−1−i−1−
1に格納されている静止画像情報が、各々対応する。
Each moving picture information unit storage means 1-1-
i-1-1 to 1-1-i-1-Ti, position information unit storage means 1-1-i-2-1 to 1-1-i-2-Ti, and size information unit storage means 1- 1-i-3-1 to 1-1
-I-3-Ti stores audio information unit storing means 1-3 which stores audio information to be reproduced in synchronization with it.
The same synchronization identification numbers as the synchronization identification numbers 1-1-3-T are assigned. In the initial state, the in-frame moving image information storage means 1-1-1 to 1-1-1 of the deformed video information storage means 1 are provided.
M moving image information storage means 1-1-1-1 to 1-1-M
-1 first moving image information unit storage means 1-1-i-1--
1 correspond to the respective still image information.

【0033】本実施例を動作するには、まず命令入力部
7に再生開始信号を入力する。命令入力部7は、該再生
開始信号を入力されると、該再生開始信号を再生制御部
9の入力制御部9−1に出力する。入力制御部9−1は
再生開始信号を入力されると、一番目の同期識別番号か
らの読み出し開始信号を音声情報入力部6および表示制
御情報入力部5に出力する。音声情報入力部6は読み出
し開始信号を入力されると、変形映像情報格納手段1の
音声情報格納手段1−3の一番目の音声情報単位格納手
段1−3−1から音声情報およびその同期識別番号を読
み出し、音声情報再生部10に出力する。
In order to operate this embodiment, first, a reproduction start signal is input to the command input unit 7. When receiving the reproduction start signal, the command input unit 7 outputs the reproduction start signal to the input control unit 9-1 of the reproduction control unit 9. Upon receiving the reproduction start signal, the input control unit 9-1 outputs a read start signal from the first synchronization identification number to the audio information input unit 6 and the display control information input unit 5. Upon receiving the read start signal, the audio information input unit 6 receives the audio information and its synchronization identification from the first audio information unit storage means 1-3-1 of the audio information storage means 1-3 of the modified video information storage means 1. The number is read and output to the audio information reproducing unit 10.

【0034】同時に表示制御情報入力部5は、変形映像
情報格納手段1の表示制御情報格納手段1−2の一番目
の表示制御情報単位格納手段1−2−1の内容を読み出
し入力制御部9−1に出力する。
At the same time, the display control information input section 5 reads the contents of the first display control information unit storage means 1-2-1 of the display control information storage means 1-2 of the deformed video information storage means 1, and reads the contents. Output to -1.

【0035】入力制御部9−1は、入力された該表示制
御情報単位格納手段1−2−1の内容が空白情報である
ならば何も行わず、枠内動画像情報格納手段1−1−i
の識別記号であるならば、該識別記号を再生制御部9の
再生中識別記号格納部9−3の一番目の再生中識別記号
単位格納部9−3−1−1に格納し、該再生中識別記号
単位格納部9−3−1−1に対応する次期同期識別番号
格納部9−3−2−1に同期識別番号1を格納すると同
時に、該識別記号に該当する枠内動画像情報格納手段1
−1−iの動画像情報、位置情報、および大きさ情報の
読み出し開始信号を、各々、動画像情報入力部2、位置
情報入力部3、および大きさ情報入力部4に出力する。
The input control section 9-1 does nothing if the contents of the input display control information unit storage means 1-2-1 are blank information, and performs the in-frame moving image information storage means 1-1. −i
, The identification symbol is stored in the first playback identification symbol unit storage unit 9-3-1-1 of the playback identification symbol storage unit 9-3 of the playback control unit 9; At the same time as storing the synchronization identification number 1 in the next synchronization identification number storage unit 9-3-2-1 corresponding to the middle identification symbol unit storage unit 9-3-1-1, the in-frame moving image information corresponding to the identification symbol Storage means 1
A read start signal for moving image information, position information, and size information of -1-i is output to the moving image information input unit 2, the position information input unit 3, and the size information input unit 4, respectively.

【0036】もしすでに、一番目の再生中識別記号単位
格納部9−3−1−1に別の枠内動画像情報格納手段1
−1−jの識別記号が格納されているならば、次の再生
中識別記号単位格納部9−3−1−2およびそれに対応
する次期同期識別番号格納部9−3−2−2に、各々該
識別記号および該同期識別番号を格納する。
If the in-frame moving image information storage means 1 has already been stored in the first reproduced identification symbol unit storage section 9-3-1-1.
If the identification code of −1-j is stored, the next reproduction identification data unit storage unit 9-3-1-2 and the corresponding next synchronization identification number storage unit 9-3-2-2 are stored in the storage unit 9-3-1-2. Each stores the identification symbol and the synchronization identification number.

【0037】動画像情報入力部2、大きさ情報入力部
4、および位置情報入力部3は、該識別記号に該当する
枠内動画像情報格納手段1−1−iの動画像情報、位置
情報、および大きさ情報の読み出し開始信号を入力され
ると、各々、該識別記号に該当する枠内動画像情報格納
手段1−1−iの動画像情報格納手段1−1−i−1の
一番目の動画像情報単位格納手段1−1−i−1−1に
格納されている一番目の静止画像情報とその同期識別番
号、位置情報格納手段1−1−i−2の一番目の位置情
報単位格納手段1−1−i−2−1に格納されている一
番目の位置情報とその同期識別番号、大きさ情報格納手
段1−1−i−3の一番目の大きさ情報単位格納手段1
−1−i−3−1に格納されている一番目の大きさ情報
とその同期識別番号を読み出す。
The moving image information input section 2, the size information input section 4, and the position information input section 3 are provided with moving image information and position information of the in-frame moving image information storage means 1-1-i corresponding to the identification symbol. , And a read start signal of the size information are input, each of the moving image information storing means 1-1-i-1 of the in-frame moving image information storing means 1-1-i corresponding to the identification symbol. The first still image information stored in the first moving image information unit storage means 1-1-i-1-1 and its synchronous identification number, the first position of the position information storage means 1-1-i-2 First position information stored in the information unit storage means 1-1-i-2-1 and its synchronization identification number, and first size information unit storage of the size information storage means 1-1-i-3 Means 1
The first size information and its synchronization identification number stored in -1-i-3-1 are read.

【0038】そして動画像情報入力部2は、該一番目の
静止画像情報および同期識別番号を画像情報書き込み部
11に出力し、大きさ情報入力部4と位置情報入力部3
とは、各々該一番目の大きさ情報と位置情報とそれらの
同期識別番号とをアドレス変換部8に出力する。
The moving image information input unit 2 outputs the first still image information and the synchronization identification number to the image information writing unit 11, and outputs the size information input unit 4 and the position information input unit 3.
Outputs the first size information, the position information, and their synchronization identification numbers to the address conversion unit 8.

【0039】アドレス変換部8は、該一番目の大きさ情
報と一番目の位置情報とそれらの同期識別番号とを入力
されると、画像情報表示部13の表示画面上に該位置情
報の示す位置に該大きさ情報の示す大きさで静止画像情
報を表示するためには、該静止画像情報を表示用画像情
報格納部12のどのアドレスに書き込むべきかを算出
し、該アドレスと該同期識別番号とを画像情報書き込み
部11に出力する。
When the first size information, the first position information and their synchronization identification numbers are input, the address conversion unit 8 displays the position information on the display screen of the image information display unit 13. In order to display the still image information at the position indicated by the size information, it calculates to which address of the display image information storage unit 12 the still image information is to be written, and calculates the address and the synchronous identification information. The number is output to the image information writing unit 11.

【0040】画像情報書き込み部11は、該一番目の静
止画像情報とその同期識別番号、および該一番目の静止
画像情報を書き込むべきアドレスとその同期識別番号を
入力されると、両者の同期識別番号が一致することを判
定したうえで表示用画像情報格納部12の該アドレスに
該静止画像情報を書き込む。表示用画像情報格納部12
に書き込まれた画像情報は、常に画像情報表示部13の
表示画面上に表示される。画像情報書き込み部11は該
一番目の静止画像情報の書き込みを終了すると、一番目
の静止画像情報の同期識別番号を再生制御部9の同期制
御部9−2に出力する。
When the first still image information and its synchronization identification number, and the address where the first still image information is to be written and its synchronization identification number are input, the image information writing unit 11 performs synchronization identification of the two. After determining that the numbers match, the still image information is written to the address of the display image information storage unit 12. Display image information storage unit 12
Is always displayed on the display screen of the image information display unit 13. When the writing of the first still image information is completed, the image information writing unit 11 outputs the synchronization identification number of the first still image information to the synchronization control unit 9-2 of the reproduction control unit 9.

【0041】一方、音声情報再生部10は、一番目の音
声情報単位格納手段1−3−1に格納されていた音声情
報を入力されると、該音声情報を音声信号に変換しスピ
ーカーや増幅器などで構成される音声情報出力部14に
出力し、出力が完了した時点で、その同期識別番号を同
期制御部9−2に出力する。
On the other hand, when the audio information reproducing unit 10 receives the audio information stored in the first audio information unit storage means 1-3-1, the audio information reproducing unit 10 converts the audio information into an audio signal and converts the audio information into a speaker or an amplifier. And outputs the synchronization identification number to the synchronization control unit 9-2 when the output is completed.

【0042】同期制御部9−2は、画像情報書き込み部
11から入力された同期識別番号と音声情報再生部10
から入力された同期識別番号とを比較し、音声情報再生
部10から入力された同期識別番号に画像情報書き込み
部11から入力された同期識別番号が一致するように、
次に入力すべき動画像情報単位格納手段1−1−i−1
−kの同期識別番号(以下、次期同期識別番号)を入力
制御部9−1に出力する。
The synchronization control unit 9-2 is configured to control the synchronization identification number input from the image information writing unit 11 and the audio information reproduction unit 10
The synchronization identification number input from the audio information reproducing unit 10 is compared with the synchronization identification number input from the audio information reproducing unit 10 so that the synchronization identification number input from the image information writing unit 11 matches.
Moving image information unit storage means 1-1-i-1 to be input next
It outputs the −k synchronization identification number (hereinafter, the next synchronization identification number) to the input control unit 9-1.

【0043】入力制御部9−1は、該枠内動画像情報格
納手段1−1−iの識別記号が格納されている再生中識
別記号単位格納部9−3−1−1に対応する次期同期識
別番号格納部9−3−2−1に、該次期同期識別番号を
格納する。
The input control unit 9-1 stores the next identification symbol unit storage unit 9-3-1-1 in which the identification symbol of the in-frame moving image information storage unit 1-1-i is stored. The next synchronization identification number is stored in the synchronization identification number storage unit 9-3-2-1.

【0044】そして、入力制御部9−1は、再生中識別
記号格納部9−3に格納されている最も小さい次期同期
識別番号とそれに対応する枠内動画像情報格納手段1−
1−iの識別記号を読み出し、動画像情報入力部2、大
きさ情報入力部4、位置情報入力部3に、各々、該識別
記号を持つ枠内動画像情報格納手段の該次期同期識別番
号と同じ同期識別番号を持つ動画像情報単位格納手段1
−1−i−1−k、大きさ情報単位格納手段1−1−i
−3−k、および位置情報単位格納手段1−1−i−2
−kから、その内容を読み出す読み出し命令を出力す
る。
Then, the input control section 9-1 stores the smallest next synchronization identification number stored in the reproducing identification symbol storage section 9-3 and the corresponding in-frame moving image information storage means 1--1.
1-i is read out, and the next synchronization identification number of the in-frame moving image information storage means having the identification code is input to the moving image information input unit 2, the size information input unit 4, and the position information input unit 3, respectively. Moving image information unit storage means 1 having the same synchronization identification number as
-1-i-1-k, size information unit storage means 1-1-i
-3-k and location information unit storage means 1-1-i-2
From -k, a read command for reading the contents is output.

【0045】また入力制御部9−1は、同時に、音声情
報入力部6と表示制御情報入力部5に、各々、次の同期
識別番号を持つ音声情報単位格納手段1−3−kおよび
表示制御情報単位格納手段1−2−kの内容の読み出し
命令を出力する。
At the same time, the input control unit 9-1 simultaneously supplies the voice information unit storage means 1-3-k having the next synchronization identification number and the display control information to the voice information input unit 6 and the display control information input unit 5, respectively. An instruction to read the contents of the information unit storage means 1-2-k is output.

【0046】上記の手順を、音声情報入力部6が、音声
情報格納手段1−3に格納されたすべての音声情報を読
み出し、音声情報再生部10が該音声情報の再生を終了
するまで反復する。もし、動画像情報入力部2が、該枠
内動画像情報格納手段1−1−iの該動画像情報格納手
段1−1−i−1のすべての動画像情報を読み出してし
まったら、動画像情報入力部2は、該枠内動画像情報格
納手段1−1−iの識別記号とその読み出し完了の旨を
表す信号を入力制御部9−1に出力する。入力制御部9
−1は、枠内動画像情報格納手段1−1−iの識別記号
とその読み出し完了の旨を表す信号を入力されると、再
生中識別記号格納部9−3に格納されている識別記号の
うち該識別記号に該当するものとそれに対応する次期同
期番号を、それが格納されている再生中識別記号単位格
納部9−3−1−1〜9−3−1−Mおよび次期同期識
別番号格納部9−3−2−1〜9−3−2−Mから抹消
する。
The above procedure is repeated until the voice information input section 6 reads out all the voice information stored in the voice information storage means 1-3 and the voice information reproducing section 10 finishes reproducing the voice information. . If the moving image information input unit 2 has read all the moving image information in the moving image information storage unit 1-1-i-1 of the in-frame moving image information storage unit 1-1-i, the moving image The image information input unit 2 outputs to the input control unit 9-1 an identification symbol of the in-frame moving image information storage unit 1-1-i and a signal indicating completion of reading. Input control unit 9
-1, when the identification symbol of the in-frame moving image information storage means 1-1-i and a signal indicating the completion of the reading thereof are input, the identification symbol stored in the reproducing identification symbol storage unit 9-3. Of the identification symbol and the next synchronization number corresponding to the identification symbol are stored in the currently-reproduced identification symbol unit storage units 9-3-1-1 to 9-3-1-M and the next synchronization identification. Delete from the number storage units 9-3-2-1 to 9-3-2-2-M.

【0047】図11および図12は一緒になって1つの
図を構成する本発明の第二の実施例を示す。第一の実施
例との違いは、まず、変形映像情報格納手段1の各枠内
動画像情報格納手段1−1−1〜1−1−MにTi個の
書き込み制御情報単位格納手段1−1−i−4−1〜1
−1−i−4−Tiから構成される書き込み制御情報格
納手段1−1−i−4が追加されている点である。
FIG. 11 and FIG. 12 show a second embodiment of the present invention which together form one figure. The difference from the first embodiment is that, first, each of the in-frame moving image information storage units 1-1-1 to 1-1-M of the modified video information storage unit 1 has Ti write control information unit storage units 1-1-1. 1-i-4-1 to 1
-1-i-4-Ti is that a write control information storage unit 1-1-i-4 composed of Ti is added.

【0048】各書き込み制御情報単位格納手段1−1−
i−4−1〜1−1−i−4−Tiは、動画像情報単位
格納手段1−1−i−1−1〜1−1−i−1−Tiと
一対一に対応し、同期識別番号が付されている。各書き
込み制御情報単位格納手段1−1−i−4−1〜1−1
−i−4−Tiには、それが対応する動画像情報単位格
納手段1−1−i−1−1〜1−1−i−1−Tiに格
納されている静止画像情報と同一の大きさと形状の書き
込み制御静止画像情報が格納されている。書き込み制御
静止画像情報を構成する各画素は、それが対応する動画
像情報単位格納手段1−1−i−1−1〜1−1−i−
1−Tiに格納されている静止画像情報の各画素と一対
一に対応しており、課題を解決するための手段で述べた
ように、表示枠領域以外の領域を書き込み禁止領域、そ
れ以外の領域を書き込み許可領域として定義するもの
で、書き込み禁止領域における画素値をH、書き込み許
可領域における画素値をLとする。
Each write control information unit storage means 1-1
i-4-1 to 1-1-i-4-Ti correspond one-to-one with the moving image information unit storage means 1-1-i-1-1 to 1-1-i-1-Ti, and are synchronized. An identification number is attached. Each write control information unit storage means 1-1-i-4-1 to 1-1
-I-4-Ti has the same size as the still image information stored in the corresponding moving image information unit storage means 1-1-i-1-1 to 1-1-i-1-Ti. And write control still image information of the shape. Each pixel constituting the writing control still image information is associated with the corresponding moving image information unit storage means 1-1-i-1-1 to 1-1-i-.
1-Ti has one-to-one correspondence with each pixel of the still image information stored in Ti, and as described in the means for solving the problem, an area other than the display frame area is a write-inhibited area, The area is defined as a write-permitted area, and the pixel value in the write-inhibited area is H, and the pixel value in the write-permitted area is L.

【0049】第一の実施例と比較した場合のもう一つの
相違点は、書き込み制御情報入力部15が付加され、さ
らに画像情報書き込み部11が書き込み処理部11−2
と書き込み判定部11−1から構成される点である。
Another difference from the first embodiment is that a write control information input unit 15 is added and the image information writing unit 11 is replaced with a write processing unit 11-2.
And a write determination unit 11-1.

【0050】そして、入力制御部9−1は、動画像情報
入力部2、大きさ情報入力部4、位置情報入力部3に、
ある識別記号の枠内動画像情報格納手段1−1−iの動
画像情報格納手段1−1−i−1、大きさ情報格納手段
1−1−i−3、および位置情報格納手段1−1−i−
2からの、特定の同期識別番号に対応する静止画像情
報、大きさ情報、位置情報の読み出し命令を出力する際
には、常に、該枠内動画像情報格納手段1−1−iの書
き込み制御情報格納手段1−1−i−4の該同期識別番
号に対応する書き込み制御情報単位格納手段1−1−i
−4−1〜1−1−i−4−Tiから書き込み制御静止
画像情報の読み出しを命じる入力命令を、書き込み制御
情報入力部15に出力する。
The input control unit 9-1 sends the moving image information input unit 2, the size information input unit 4, and the position information input unit 3
The moving image information storage unit 1-1-i-1, the size information storage unit 1-1-i-3, and the position information storage unit 1 of the in-frame moving image information storage unit 1-1-i of a certain identification symbol. 1-i-
When outputting the still image information, size information, and position information read command corresponding to the specific synchronization identification number from the second, the write control of the in-frame moving image information storage means 1-1-i is always performed. Write control information unit storage means 1-1-i corresponding to the synchronization identification number of information storage means 1-1-i-4
An input command for instructing reading of the write control still image information from −4-1 to 1-1-i-4-Ti is output to the write control information input unit 15.

【0051】書き込み制御情報入力部15は、該枠内動
画像情報格納手段1−1−iの書き込み制御情報格納手
段1−1−i−4の該同期識別番号に対応する書き込み
制御情報単位格納手段1−1−i−4−1〜1−1−i
−4−Tiから書き込み制御静止画像情報を読み出し、
画像情報書き込み部11の書き込み判定部11−1に出
力する。また、動画像情報入力部2から出力された静止
画像情報とアドレス変換部8から出力されたアドレスも
画像情報書き込み部11の書き込み判定部11−1に出
力される。
The write control information input unit 15 stores a write control information unit corresponding to the synchronization identification number in the write control information storage means 1-1-i-4 of the in-frame moving image information storage means 1-1-i. Means 1-1-i-4-1 to 1-1-i
-4- Read write control still image information from Ti,
The output is output to the write determination unit 11-1 of the image information writing unit 11. Further, the still image information output from the moving image information input unit 2 and the address output from the address conversion unit 8 are also output to the write determination unit 11-1 of the image information writing unit 11.

【0052】書き込み判定部11−1では、入力された
該静止画像情報の各画素を実際に書き込むべきかを、該
書き込み制御静止画像情報の対応する画素値によって判
定する。すなわち該書き込み制御静止画像情報の対応す
る画素値がHならば書き込みはせず、Lならば該静止画
像情報の画素値とそれが書き込まれるべきアドレスを書
き込み処理部11−2に出力する。書き込み処理部11
−2は、入力された静止画像情報の画素値を、表示用画
像情報格納部12の該アドレスに書き込む。
The write judging section 11-1 judges whether each pixel of the input still image information should be actually written based on the corresponding pixel value of the write control still image information. That is, if the corresponding pixel value of the write control still image information is H, writing is not performed, and if L, the pixel value of the still image information and the address to which it is written are output to the write processing unit 11-2. Write processing unit 11
In step -2, the pixel value of the input still image information is written to the address of the display image information storage unit 12.

【0053】第二の実施例に於いて、これ以外の動作は
第一の実施例と同様である。この様な構成になっている
から、表示画面上に空間的に密に組み合わさって配置さ
れた逐次的に変形する表示枠を持つ複数の映像情報の再
生・表示が可能となる。また複数の映像情報を逐次的に
表示・再生する場合でも音声情報を途切れることなく再
生することが可能であり、かつ複数の映像情報間での同
期・連携表示が可能となる。
The other operations of the second embodiment are the same as those of the first embodiment. With such a configuration, it is possible to reproduce and display a plurality of pieces of video information having a display frame which is sequentially combined and spatially deformed and arranged on the display screen. Further, even when a plurality of pieces of video information are sequentially displayed and played back, audio information can be played back without interruption, and synchronized / cooperative display among a plurality of pieces of video information becomes possible.

【0054】図13は第一の実施例の処理の流れを示
す。また図14は第二の実施例の処理の流れを示す。図
13や図14において、命令入力部7から命令が与えら
れると、入力制御部9−1が表示制御情報と音声情報と
を取り入れる処理を行う。そして画像に関するものと音
声に関するものとの同期をとりつつ、再生制御部9が画
像情報の表示と音声情報の出力とを行う。
FIG. 13 shows the flow of processing in the first embodiment. FIG. 14 shows a processing flow of the second embodiment. 13 and 14, when a command is given from the command input unit 7, the input control unit 9-1 performs a process of incorporating display control information and audio information. Then, the reproduction control unit 9 displays the image information and outputs the audio information while synchronizing the image and the audio.

【0055】[0055]

【発明の効果】本発明によれば、パーソナルコンピュー
タまたはワークステーションの表示画面上に空間的に配
置された複数の映像情報を表示する場合に於いて、密に
組み合わさった変形表示枠を持つ複数の映像情報の再生
・表示が可能であり、かつ複数映像情報間での同期、連
携、再生・表示が可能となる。
According to the present invention, when displaying a plurality of video information spatially arranged on a display screen of a personal computer or a workstation, a plurality of video information having a closely combined deformed display frame are displayed. Can be reproduced and displayed, and synchronization, cooperation, reproduction and display among a plurality of pieces of video information can be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】従来の装置の場合の説明図である。FIG. 1 is an explanatory diagram of a conventional device.

【図2】密に組み合わさった矩形とは限らない表示枠領
域の例を示す。
FIG. 2 shows an example of a display frame area that is not necessarily a closely combined rectangle.

【図3】映像情報を再生しながら映像情報の表示枠を逐
次的に変形あるいは移動させる例を示す。
FIG. 3 shows an example in which a display frame of video information is sequentially deformed or moved while reproducing the video information.

【図4】すべての表示枠領域Fi(t)に外接する最小
の矩形領域Riを示す図である。
FIG. 4 is a diagram showing a minimum rectangular region Ri circumscribing all display frame regions Fi (t).

【図5】領域Riに含まれる情報を説明する図である。FIG. 5 is a diagram illustrating information included in a region Ri.

【図6】動画像情報と位置情報と大きさ情報と書き込み
制御情報とオーディオトラックとの格納状態を説明する
図である。
FIG. 6 is a diagram illustrating a storage state of moving image information, position information, size information, write control information, and an audio track.

【図7】再生順序を会話的に変更する場合を説明する図
である。
FIG. 7 is a diagram illustrating a case where the reproduction order is changed interactively.

【図8】書き込み禁止領域を定義する図である。FIG. 8 is a diagram for defining a write-protected area.

【図9】本発明の第1の実施態様図を示す。FIG. 9 shows a first embodiment diagram of the present invention.

【図10】図9と一緒になって1つの図を構成する本発
明の第一の実施態様図を示す。
FIG. 10 shows a first embodiment diagram of the present invention, which together with FIG.

【図11】本発明の第二の実施態様図を示す。FIG. 11 shows a diagram of a second embodiment of the present invention.

【図12】図11と一緒になって1つの図を構成する本
発明の第二の実施態様図を示す。
FIG. 12 shows a second embodiment of the invention together with FIG.

【図13】第一の実施例の処理の流れを示す図である。FIG. 13 is a diagram showing a flow of processing of the first embodiment.

【図14】第二の実施例の処理の流れを示す図である。FIG. 14 is a diagram showing a flow of processing of the second embodiment.

【符号の説明】[Explanation of symbols]

1 変形映像情報格納手段 2 動画像情報入力部 3 位置情報入力部 4 大きさ情報入力部 5 表示制御情報入力部 6 音声情報入力部 7 命令入力部 8 アドレス変換部 9 再生制御部 10 音声情報再生部 11 画像情報書き込み部 12 表示用画像情報格納部 13 画像情報表示部 14 音声情報出力部 15 書き込み制御情報入力部 1−1−i 枠内動画像情報格納手段 1−1−i−j 動画像情報格納手段 1−1−i−j−k 動画像情報単位格納手段 1−2 表示制御情報格納手段 1−2−i 表示制御情報単位格納手段 1−3 音声情報格納手段 1−3−i 音声情報単位格納手段 9−1 入力制御部 9−2 同期制御部 9−3 再生中識別記号格納部 11−1 書き込み判定部 11−2 書き込み処理部 REFERENCE SIGNS LIST 1 deformed video information storage means 2 moving image information input section 3 position information input section 4 size information input section 5 display control information input section 6 audio information input section 7 command input section 8 address conversion section 9 reproduction control section 10 audio information reproduction Unit 11 Image information writing unit 12 Display image information storage unit 13 Image information display unit 14 Audio information output unit 15 Write control information input unit 1-1-i In-frame moving image information storage unit 1-1-ij Moving image Information storage unit 1-1-ijk Moving image information unit storage unit 1-2 Display control information storage unit 1-2-i Display control information unit storage unit 1-3 Audio information storage unit 1-3-i Audio Information unit storage means 9-1 Input control section 9-2 Synchronization control section 9-3 Reproducing identification symbol storage section 11-1 Write determination section 11-2 Write processing section

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 表示画面上の複数個の表示枠領域に動画
像情報を表示する映像情報表示装置において、 各動画像情報を構成する各静止画像情報に画像情報表示
部の表示画面上で外接する矩形に含まれるすべての静止
画像情報を格納する変形映像情報格納手段をそなえ、 当該変形映像情報格納手段は、識別記号が付された複数
個の枠内動画像情報格納手段と、表示制御情報格納手段
と、音声情報格納手段とから構成され、 前記枠内動画像情報格納手段は、 各動画像情報を構成する各静止画像情報に画像情報表示
部の表示画面上で外接する矩形に含まれるすべての前記
静止画像情報を格納しかつ該静止画像情報を画像情報表
示部に表示するタイミングを表す同期識別番号が付され
た動画像情報単位格納手段をそなえ、複数の当該動画像
情報単位格納手段をもって動画像情報を格納する動画像
情報格納手段と、前記 静止画像情報を画像情報表示部に表示する位置情報
を格納し該静止画像情報が格納される動画像情報単位格
納手段と対応づけられた位置情報単位格納手段から構成
され、複数の当該位置情報単位格納手段をもって前記動
画像情報格納手段に格納されている各静止画像情報の位
置情報をすべて格納する位置情報格納手段と、前記 静止画像情報の大きさ情報を格納し該静止画像情報
が格納される動画像情報単位格納手段と対応づけられた
大きさ情報単位格納手段から構成され、複数の当該大き
さ情報単位格納手段をもって前記動画像情報格納手段に
格納されている各静止画像情報の大きさ情報をすべて格
納する大きさ情報格納手段とから構成されかつ前記表示
制御情報格納手段は、各枠内動画像情報格納手段に格納
された動画像情報の表示開始タイミング情報を格納する
よう構成され 前記音声情報格納手段は、 音声情報を前記静止画像情報の表示時間分だけ格納し、
該音声情報を音声情報再生部で再生するタイミングを表
す同期識別番号を付された音声情報単位格納手段とから
構成されることを特徴とする映像情報表示装置。
1. A video information display apparatus for displaying video information into several display frame area birefringence on the display screen, on the display screen of the image information display section in each still picture information constituting each video information It includes a modified video information storage means for storing all the still picture information included in the rectangle circumscribing, the deformed image information storage means includes a plurality of frame in video information storage means identification mark is attached, the display control Information storage means
And audio information storage means, wherein the in-frame moving image information storage means includes all of the still image information constituting each moving image information included in the rectangle circumscribed on the display screen of the image information display unit. the <br/> still picture information stores and the still picture information includes a video information unit storage means for synchronization identification numbered representing the timing of displaying the image information display section, a plurality of the moving picture information unit a video information storage means with storage means for storing moving picture information, said still picture information stores position information to be displayed on the image information display unit video information unit storage means for the still image information is stored association And a plurality of location information unit storage means.
A position information storage means for storing all the positional information of each still picture information stored in the image information storing unit and a stored video information unit storage of the still image information is stored size information of the still picture information A plurality of size information unit storing means associated with the size information unit;
The moving image information storage means with the information unit storage means.
It is and the display configuration and a size information storage means for storing all the size information of each still picture information stored
The control information storage unit stores display start timing information of the moving image information stored in the in-frame moving image information storage unit.
The audio information storing unit configured stores audio information only display time period of the still picture information,
A video information display device comprising: a voice information unit storage unit to which a synchronization identification number indicating a timing at which the voice information is reproduced by the voice information reproducing unit.
【請求項2】 前記変形映像情報格納手段における前記
各枠内動画像情報格納手段は、前記動画像情報格納手段
に格納されている各静止画像情報の書き込み制御静止画
像情報をすべて格納する書き込み制御情報格納手段を付
され、 かつ当該書き込み制御情報格納手段は、前記各静止画像
情報の書き込み禁止領域と書き込み許可領域を規定した
書き込み制御静止画像情報を格納し、該静止画像情報が
格納された前記動画像情報単位格納手段と対応づけられ
た書き込み制御情報単位格納手段から構成されることを
特徴とする請求項1記載の映像情報表示装置。
2. The moving picture information storing means in each of the frames in the deformed video information storing means,
All labeled write control information storage means for storing, and the write control information storage unit write control static image information for each still image information stored in the write-protected area and write enable areas of the respective still picture information 2. A writing control information unit storing means which stores writing control still image information defining the following, and is associated with the moving image information unit storing means in which the still image information is stored. The video information display device according to the above.
【請求項3】 表示画面上の複数個の表示枠領域に動画
像情報を表示する映像情報表示装置において、 各動画像情報を構成する各静止画像情報に画像情報表示
部の表示画面上で外接する矩形に含まれるすべての静止
画像情報を格納する変形映像情報格納手段と、 該変形映像情報格納手段の枠内識別番号によって指定さ
れた枠内動画像情報格納手段から静止画像情報および同
期識別番号を読み出す動画像情報入力部と、前記 枠内動画像情報格納手段から位置情報を読み出す位
置情報入力部と、前記 枠内動画像情報格納手段から大きさ情報を読み出す
大きさ情報入力部と、前記 変形映像情報格納手段の音声情報格納手段から音声
情報および同期識別番号を読み出す音声情報入力部と、 前記変形映像情報格納手段の表示制御情報格納手段から
表示開始タイミング情報を読み出す表示制御情報入力部
と、前記 音声情報入力部からの入力に対応して音声情報を音
声信号に変換して音声情報出力部に出力する音声情報再
生部と、前記 大きさ情報と位置情報とから該静止画像情報を表
示用画像情報格納部に書き込むべきアドレスを求めるア
ドレス変換部と、前記 静止画像情報と前記同期識別番号とアドレスとを入
力されると表示用画像情報格納部に該静止画像情報を
書き込み、該同期識別番号を再生制御部に出力する画
像情報書き込み部と、 該画像情報書き込み部によって静止画像情報を書き込ま
れると前記静止画像情報を画像信号として画像情報表示
部に出力する表示用画像情報格納部と、前記 画像情報書き込み部が出力した同期識別番号と該音
声情報再生部が出力した同期識別番号と表示制御情報入
力部が読み出した表示開始タイミング情報とから、次に
読み出しを行うべき枠内動画像情報格納手段の識別記号
および同期識別番号を決定し、読み出し命令を該動画像
情報入力部、大きさ情報入力部、位置情報入力部、音声
情報入力部、表示制御情報入力部に出力する再生制御部
とから構成されることを特徴とする映像情報表示装置。
3. A video information display apparatus for displaying video information into several display frame area birefringence on the display screen, on the display screen of the image information display section in each still picture information constituting each video information Deformed video information storage means for storing all the still image information contained in the circumscribed rectangle; and still image information and synchronous identification information from the in-frame moving image information storage means designated by the in-frame identification number of the deformed video information storage means. a video information input unit for reading the number, the position information input unit for reading position information from the frame in the video information storing means, and the size information input unit for reading the size information from the frame in the video information storing means, An audio information input unit for reading audio information and a synchronization identification number from the audio information storage means of the modified video information storage means; And display control information input unit that reads a start timing information, the audio information reproducing section for outputting the audio information output section converts the voice information to voice signals in response to the input from the voice information input unit, wherein the size information those the address conversion section for obtaining an address to write the still image information in the image information storage unit for display, the display image information storage and input and said still picture information the synchronization identification numbers and addresses from the location information and writes those the still image information parts, the image and the image information writing unit that outputs those synchronizing identification number to the reproduction control unit, and writes the still image information by the image information writing unit to the still image information as an image signal table and display image information storing unit, the image information synchronization identification number writing unit has output the synchronization identification number voice information reproducing unit has output the output to the information display unit From the display start timing information read by the display control information input unit, the identification symbol and the synchronization identification number of the in-frame moving image information storage unit to be read next are determined, and a read command is issued to the moving image information input unit. A video information display device comprising: an information input unit; a position information input unit; an audio information input unit; and a reproduction control unit that outputs to the display control information input unit.
【請求項4】 表示画面上の複数個の表示枠領域に動画
像情報を表示する映像情報表示装置において、 各動画像情報を構成する各静止画像情報に画像情報表示
部の表示画面上で外接する矩形に含まれるすべての静止
画像情報を格納する変形映像情報格納手段と、 該変形映像情報格納手段の枠内識別番号によって指定さ
れた枠内動画像情報格納手段から静止画像情報および同
期識別番号を読み出す動画像情報入力部と、前記 枠内動画像情報格納手段から位置情報を読み出す位
置情報入力部と、前記 枠内動画像情報格納手段から大きさ情報を読み出す
大きさ情報入力部と、前記 枠内動画像情報格納手段から書き込み制御静止画像
情報を読み出す書き込み制御情報入力部と、 前記変形映像情報格納手段の音声情報格納手段から音声
情報および同期識別番号を読み出す音声情報入力部と、 前記変形映像情報格納手段の表示制御情報格納手段から
表示開始タイミング情報を読み出す表示制御情報入力部
と、前記 音声情報入力部からの入力に対応して音声情報を音
声信号に変換して音声情報出力部に出力する音声情報再
生部と、前記 大きさ情報と位置情報とから該静止画像情報を表
示用画像情報格納部に書き込むべきアドレスを求めるア
ドレス変換部と、前記 静止画像情報と該同期識別番号と該アドレスと
書き込み制御情報入力部が読み出した書き込み制御静
止画像情報を入力されると、該書き込み制御静止画像
情報が書き込みを許可する画素についてのみ表示用画像
情報格納部の該アドレスに該画像情報を書き込み、
該同期識別番号を再生制御部に出力する画像情報書き込
み部と、 該画像情報書き込み部によって静止画像情報を書き込ま
れると前記静止画像情報を画像信号として画像情報表示
部に出力する表示用画像情報格納部と、 該画像情報書き込み部が出力した該同期識別番号と該音
声情報再生部出力した該同期識別番号および表示制
御情報入力部が読み出した表示開始タイミング情報とか
ら、次に読み出しを行うべき枠内動画像情報格納手段の
識別記号および同期識別番号を決定し、読み出し命令を
該動画像情報入力部、大きさ情報入力部、位置情報入力
部、音声情報入力部、書き込み制御情報入力部、表示制
御情報入力部に出力する再生制御部とから構成されるこ
とを特徴とする映像情報表示装置。
4. A video information display apparatus for displaying video information into several display frame area birefringence on the display screen, on the display screen of the image information display section in each still picture information constituting each video information Deformed video information storage means for storing all the still image information contained in the circumscribed rectangle; and still image information and synchronous identification information from the in-frame moving image information storage means designated by the in-frame identification number of the deformed video information storage means. a video information input unit for reading the number, the position information input unit for reading position information from the frame in the video information storing means, and the size information input unit for reading the size information from the frame in the video information storing means, A write control information input unit for reading out write control still image information from the in-frame moving image information storage means; and audio information and synchronization information from the audio information storage means of the modified video information storage means. A voice information input unit for reading a different number, and display control information input unit that reads the display start timing information from the display control information storage means of the deformation image information storing means, sound information in response to the input from the voice information input unit and the audio information reproduction unit for outputting the audio information output section is converted into a speech signal, the address conversion unit for obtaining the address to be written from said size information and position information to the person the image information storing unit for displaying the still picture information If the still picture information and said synchronization identification number and those that address before
When serial write control information input unit is input to the write control static image information read, the image information only to those that address of the display image information storing unit for a pixel person said write control static image information is allowed to write writing an image information writing unit that outputs those <br/> synchronous identification number to the reproduction control unit, and writes the still image information by the image information writing unit to the still image information to the image information display unit as an image signal a display image information storing unit for outputting the display start timing information the image information the synchronizing synchronous identification number and voice information reproducing unit that the writing unit has outputted is outputted identification number and the display control information input unit has read From this, the identification symbol and the synchronization identification number of the in-frame moving image information storage means to be read next are determined, and a read command is issued to the moving image information input unit. A video information display device comprising: a size information input unit; a position information input unit; an audio information input unit; a write control information input unit; and a reproduction control unit for outputting to the display control information input unit.
JP25035595A 1995-09-28 1995-09-28 Video information display device Expired - Fee Related JP3337596B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25035595A JP3337596B2 (en) 1995-09-28 1995-09-28 Video information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25035595A JP3337596B2 (en) 1995-09-28 1995-09-28 Video information display device

Publications (2)

Publication Number Publication Date
JPH0990926A JPH0990926A (en) 1997-04-04
JP3337596B2 true JP3337596B2 (en) 2002-10-21

Family

ID=17206694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25035595A Expired - Fee Related JP3337596B2 (en) 1995-09-28 1995-09-28 Video information display device

Country Status (1)

Country Link
JP (1) JP3337596B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3331285B2 (en) * 1995-11-07 2002-10-07 日本電信電話株式会社 Video information converter
JP3331291B2 (en) * 1996-03-29 2002-10-07 日本電信電話株式会社 Video information editing device
JP3529003B2 (en) * 1996-05-29 2004-05-24 日本電信電話株式会社 Image information summarization device

Also Published As

Publication number Publication date
JPH0990926A (en) 1997-04-04

Similar Documents

Publication Publication Date Title
JPH10145762A (en) Method for synchronizing presentation of static and dynamic components for interactive multimedia document
JPH07253986A (en) Retrieval device for sound and moving picture
JP3337596B2 (en) Video information display device
JP2001209361A (en) Multimedia display device
US5576736A (en) Visually effective image switching apparatus
JP3238747B2 (en) Adaptive video recording / playback system, adaptive video playback system, adaptive video recording / playback method, and adaptive video playback method
KR19980066044A (en) Apparatus and copyrighted work for converting the main character&#39;s face and metabolism into a specific person using an image processing technique
JPH0686222A (en) Still picture reproducing device
JPS6028389A (en) Still picture reproducing device
JPH0614292A (en) Method for giving moving image effect on one part of still picture
JP3491981B2 (en) Multimedia presentation method and system, and multimedia data creation method and system
KR100235834B1 (en) Image converting method and image processing supporting apparatus by using image processing method
JP2989376B2 (en) Image processing device
JPH05153552A (en) Multi-medium processor and its method
JPH07248749A (en) Image display device
JPH0221482A (en) Still picture dubbing system
JPH03286271A (en) Picture display device
JP2753010B2 (en) Moving image display method
JP3730639B2 (en) Multimedia presentation method and system, multimedia data creation method and system
JPH0778061A (en) Moving picture display device
JP2650266B2 (en) Still video playback device
JPH022598A (en) Method and device for data editing
JPH07193750A (en) Video generating device
JP2801224B2 (en) Image recording and playback method
JPH031775A (en) Superimposing device for magnetic recording and reproducing device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070809

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100809

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100809

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110809

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130809

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees