JPH10105135A - コンピュータシステムの合成画像表示方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像を合成する場合には従来は特別なハード
ウェアとしての編集装置またはソフトウェアとしての編
集プログラムが必要であり、また少なくとも一方の画像
が劣化式の圧縮動画像である場合には画像の劣化を伴っ
ていた。 【解決手段】 CRTディスプレイ50の画面上に表示され
る動画像上に図形を重畳表示する際に、少なくとも図形
の種類を特定する情報と、それが表示されるべき画面上
の位置を特定する情報と、表示開始及び表示終了のタイ
ミングを前記画像の時系列で表した情報とで構成される
データ群を一つまたは複数記憶した関連付けテーブル４
を用意し、この関連付けテーブル４の内容に従って図形
を表示することにより、 CRTディスプレイ50の画面上に
表示される動画像上に任意の図形を任意の位置に任意の
タイミングで重畳表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はコンピュータシステ
ムの合成画像表示方法、特に動画像の合成表示方法に関
し、より詳細には、動画像に重畳して何らかの図形，文
字等を表示する方法に関する。

【０００２】

【従来の技術】コンピュータシステムを利用して、具体
的にはコンピュータシステムの表示装置の画面上に種々
の画像（動画，静止画，文章等）を表示すると共に音声
で説明を加える等して、いわゆるプレゼンテーションを
行なう際に、ある画像を表示しておいてその画像中で聴
衆に注目させたい部分を強調する場合、従来は表示され
る画像に予め何らかの図形（たとえば矢印，○等）の画
像を重畳表示した合成画像を用意することが一般的であ
った。

【０００３】図11はそのような合成画像を作成するため
の従来のハードウェア構成を示す模式的ブロック図であ
る。本来表示されるべきプレゼンテーション用の画像は
プレゼンテーション画像データファイル34に、注目点を
指示するためのたとえば矢印等の図形の画像データは指
示画像データファイル35にそれぞれ予め格納されてい
る。そして、編集装置20によりまずプレゼンテーション
画像データファイル34から画像データを読み出してビッ
トマップデータとして CRTディスプレイ50に再生表示さ
せる。この状態で、オペレータが操作部21を操作して再
生画像上において任意のタイミングで任意の位置に指示
画像データファイル35に格納されているたとえば矢印等
の図形の画像を重畳表示させる指示を与えると、編集装
置20はプレゼンテーション画像データファイル34から読
み出しているビットマップデータに指示画像データファ
イル35から読み出したビットマップデータを書き込むこ
とにより両者を合成する。合成されたビットマップデー
タは CRTディスプレイ50に表示されると共に、新たな画
像データとして編集画像データファイル28に格納される
か、またはプレゼンテーション画像データ１と置換され
る。

【０００４】このようにして一旦作成された画像データ
を編集画像データファイル28から読み出して CRTディス
プレイ50に表示すれば、プレゼンテーション画像上にオ
ペレータが意図した通りに矢印等が表示される。

【０００５】

【発明が解決しようとする課題】ところで、上述のよう
な従来の手法では、プレゼンテーション画像データファ
イル34から読み出した画像データが動画像データである
場合にはそれぞれのフレームに矢印等のビットマップデ
ータを書き込んだ新たなフレームを作成するという処理
を行なうため比較的時間が必要であり、また特別なハー
ドウェアとしての編集装置またはソフトウェアとしての
編集プログラムが必要になる。

【０００６】更に、プレゼンテーション画像データファ
イルに用意されている画像データがMPEG形式等のいわゆ
る劣化式の圧縮動画像データである場合には、圧縮動画
像データを復元した個々のフレームのビットマップデー
タ上に矢印等の図形の画像のビットマップデータを書き
込み、その個々のフレームのビットマップデータを再度
圧縮して格納する必要が生じる。このため、結果的に得
られる合成画像はより劣化してしまうため、このような
合成処理を何度も反復することは現実には不可能であ
る。

【０００７】本発明はこのような事情に鑑みてなされた
ものであり、本来表示されるべき画像にはなんら手を加
えること無しに、従って画像の劣化を伴うこと無しに、
また従来のような特別なハードウェア，ソフトウェアを
使用する必要無しに、注目点を指示するためのたとえば
矢印等の画像、更には文字列等をも重畳表示することが
可能なコンピュータシステムの合成画像表示方法の提供
を目的とする。

【０００８】

【課題を解決するための手段】本発明は表示装置の画面
上に所定の時系列に従って表示される画像上に図形を重
畳表示するコンピュータシステムの合成画像表示方法で
あって、少なくとも図形の種類を特定する情報と、それ
が表示されるべき画面上の位置を特定する情報と、表示
開始及び表示終了のタイミングを画像の時系列で表した
情報とを指定することにより、表示装置の画面上に表示
される画像上に図形を重畳表示することを特徴とする。

【０００９】このような本発明方法では、表示装置の画
面上に本来表示される画像にはまったく加工が行なわれ
ること無しに図形が重畳表示される。

【００１０】また本発明は表示装置の画面上に所定の時
系列に従って表示される第１の画像上に第２の画像を重
畳表示するコンピュータシステムの合成画像表示方法で
あって、第１の画像の画面上での表示領域と同じ大きさ
の透明ウィンドウを設定し、少なくとも第２の画像の表
示内容を特定する情報と、それが表示されるべき画面上
の位置を特定する情報と、表示開始及び表示終了のタイ
ミングを第１の画像の時系列で表した情報とを指定し、
透明ウィンドウ上に指定された各情報に従って第２の画
像を表示することにより、表示装置の画面上に表示され
る第１の画像上に第２の画像を重畳表示することを特徴
とする。

【００１１】このような本発明方法では、表示装置の画
面上に本来表示される第１の画像にはまったく加工が行
なわれること無しに、図形，文字列等の第２の画像が重
畳表示される。

【００１２】

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて詳述する。図１は本発明に係るコン
ピュータシステムの合成画像表示方法（以下、本発明方
法と言う）の原理を示す模式図である。

【００１３】図１において、参照符号１は本来表示され
るべきプレゼンテーション画像が予め格納されているプ
レゼンテーション画像データを、２はたとえば矢印，説
明文章等の、上述のプレゼンテーション画像データ１に
重畳表示されるべき指示画像データをそれぞれ示してい
る。なお、プレゼンテーション画像データ１は、本発明
では動画像データであることを前提としており、特にMP
EG形式のような劣化式の圧縮動画像データが適してい
る。

【００１４】本発明方法はこれらの２種類の画像データ
を合成して表示するための技術であるが、従来のように
直接合成を行なってその結果得られる合成画像を利用す
るのではなく、プレゼンテーション画像データ１上に表
示される指示画像データ２に関して、その形状を指定す
るデータと、表示位置を指定するデータと、プレゼンテ
ーション画像データ１の再生時系列に対する表示時間に
関するデータとを参照符号３で示されている関連付け処
理により生成する。そして、生成された関連付けテーブ
ル４のみを新たなデータとして格納しておく。

【００１５】以上のようにして作成された関連付けテー
ブル４の内容に従って指示画像データ２をプレゼンテー
ション画像データ１上に重畳表示して再生することによ
り、プレゼンテーション画像データ１上に指示画像デー
タ２が重畳された合成画像が表示される。

【００１６】従って、プレゼンテーション画像データ１
には全く加工がなされないため、たとえそれが劣化式の
圧縮動画像データであったとしても、再生表示される画
像は劣化することがない。このため、プレゼンテーショ
ン画像データ１に指示画像データ２を合成する処理を何
度でも反復することが可能になる。

【００１７】なお、プレゼンテーション画像上に重畳表
示される指示画像としては、矢印等の図形を単独で表示
する場合と、プレゼンテーション画像の表示領域と同サ
イズの文字列等も表示された透明なウィンドウを重畳表
示する場合とが考えられる。以下、両方法について具体
的に説明する。

【００１８】図２は本発明方法の実施に使用されるコン
ピュータシステムの全体の構成例を示す外観の模式図で
ある。このコンピュータシステムは所謂マルチメディア
システムとして構成されており、CPU, ROM, RAM,ハード
ディスクドライブ等で構成される本体10に、キーボード
12, マウス13, CCDカメラ14, CRTディスプレイ15,左
右のスピーカ16L 及び16R,マイク17等が接続されてい
る。

【００１９】図３は本発明方法の実施のためのコンピュ
ータシステムの機能構成例を示すブロック図である。図
３において操作部21は、図２に示されている具体的なハ
ードウェアとしてはキーボード12及びマウス13が相当す
るが、他にたとえばジョイスティック, トラックボール
等を使用することも勿論可能である。この操作部21をオ
ペレータが操作して種々の指示を与えることにより本発
明方法を実行する。

【００２０】処理部22及びテーブル作成部23はいずれ
も、コンピュータシステムの本体10に内蔵されているCP
U により同じく本体10に内蔵されているROM, RAMまたは
ハードディスクに予め格納されているソフトウェアプロ
グラムを実行することにより実現される。即ち、処理部
22は操作部21を介してオペレータから与えられる指示に
従って、動画データファイル24に格納されている動画デ
ータ (プレゼンテーション画像データ１) を再生すると
共に、静止画データファイル25からたとえば矢印等の静
止画データ (指示画像データ２) を指示されたタイミン
グで読み出して指示された位置に重畳して CRTディスプ
レイ50に表示したりあるいは消去したり、またたとえば
文章等が表示された透明ウィンドウを動画データファイ
ル24から指示されたタイミングで読み出して重畳し、 C
RTディスプレイ50に表示したりあるいは消去したりす
る。

【００２１】なお、動画データファイル24に格納されて
いる動画データは CRTディスプレイ50にそのまま表示可
能なビットマップデータで個々のフレームが構成されて
いる非圧縮の形式でもよいが、通常はたとえばMPEG形式
等のいわゆる劣化式 (復元した場合に原画と全く同一の
情報にはならない) の圧縮動画像データである場合が多
い。この実施の形態においても、動画データファイル24
に格納されている動画データは劣化式の圧縮動画データ
であるとする。

【００２２】上述のような処理部22による処理に際し
て、タイマ26は動画データファイル24から動画が読み出
されて CRTディスプレイ50に表示され始めた時点で処理
部22により始動され、その後の静止画の動画上への重畳
表示及び消去のタイミング、位置の変更のタイミング等
が操作部21から指示される都度、その時点の計時結果を
テーブル作成部23へ出力する。

【００２３】テーブル作成部23はこのような処理部22に
よる動画と静止画との表示情報及びそれぞれの時点にお
けるタイマ26の計時結果の情報を処理部22及びタイマ26
から取り込んでテーブルの形にまとめてテーブルデータ
ファイル27に格納させる。

【００２４】なお、上述の図３に示されているような構
成例では、実際にプレゼンテーション画像データファイ
ル24からデータを読み出して CRTディスプレイ50に表示
させ、その表示状態に指示画像データファイル25からデ
ータを読み出して重畳表示させることによりテーブルが
自動的に作成されるが、テーブルのみを全く単独で手作
業で作成してテーブルデータファイル27に格納すること
も勿論可能である。

【００２５】図４はテーブル作成部23により作成された
関連付けテーブル４の一例を示す模式図である。この例
では、第１エントリのデータによる表示状態は、その開
始時点がプレゼンテーション画像の開始時点(00:00:00)
であり、終了時点が10秒後(00:00:10)であり、表示開始
時点の表示位置はＸ座標が150,Ｙ座標が100 であり、表
示終了時点の表示位置はＸ座標が200,Ｙ座標が120 であ
り、マウス形状は上向きの矢印である。

【００２６】第２エントリのデータによる表示状態は、
その開始時点がプレゼンテーション画像の開始時点から
10秒後(00:00:10)であり、終了時点が更に10秒後(00:0
0:20)であり、表示開始時点の表示位置はＸ座標が200,
Ｙ座標が120 であり、表示終了時点の表示位置はＸ座標
が200,Ｙ座標が120 であり、マウス形状は上向きの矢印
である。

【００２７】第３エントリのデータによる表示状態は、
その開始時点がプレゼンテーション画像の開始時点から
20秒後(00:00:20)であり、終了時点が更に10秒後(00:0
0:30)であり、表示開始時点の表示位置はＸ座標が300,
Ｙ座標が150 であり、表示終了時点の表示位置はＸ座標
が300,Ｙ座標が150 であるが、非表示が指定されてい
る。

【００２８】第４エントリのデータによる表示状態は、
その開始時点がプレゼンテーション画像の開始時点から
30秒後(00:00:30)であり、終了時点が更に５秒後(00:0
0:35)であり、表示開始時点の表示位置はＸ座標が300,
Ｙ座標が150 であり、表示終了時点の表示位置はＸ座標
が300,Ｙ座標が150 であり、マウス形状は左向きの矢印
である。

【００２９】図５はテーブル作成部23により作成された
関連付けテーブル４に従って合成画像を表示する際の手
順を示すフローチャートであり、上述の図４に示されて
いる関連付けテーブル４の内容例に従って以下に説明す
る。

【００３０】まず、プレゼンテーション画像の再生が開
始されると (ステップS11)、パラメータ”ｉ”が”１”
に初期化され (ステップS12)、このパラメータ”ｉ”の
値に対応する関連付けテーブル４のエントリのデータが
読み出される (ステップS13)。但し、パラメータ”ｉ”
に対応するエントリのデータが関連付けテーブル４に無
い場合にはこの一連の処理は終了する (ステップS14)。

【００３１】そして、パラメータ”ｉ”に対応するエン
トリのデータの開始時刻になると (ステップS15)、デー
タ内容に従った指示画像の表示が行なわれる (ステップ
S16)。この例では、第１エントリのデータに従ってプレ
ゼンテーション画像の表示開始時点において図６(a) に
示されているように CRTディスプレイ50の画面上の(X,
Y)=(150, 100) の位置に上向きのマウスが表示され、そ
の10秒後には図６(b)に示されているように(X, Y)=(20
0, 120) の位置にまで移動する。

【００３２】パラメータ”ｉ”に対応するエントリのデ
ータの終了時刻になると (ステップS17)、パラメータ”
ｉ”が”１”インクリメントされ (ステップS18)、前述
のステップS13 へ処理が戻される。

【００３３】以下、第２エントリのデータに従って、プ
レゼンテーション画像の表示開始時点から10秒後におい
て図６(b) に示されているように CRTディスプレイ50の
画面上の(X, Y)=(200, 120) の位置に上向きのマウスが
表示され、その後の10秒間にわたって同様の表示状態が
継続する。

【００３４】第３エントリのデータに従って、プレゼン
テーション画像の表示開始時点から20秒後において図６
(c) に示されているように CRTディスプレイ50の画面上
ではマウスは表示されない。

【００３５】第４エントリのデータに従って、プレゼン
テーション画像の表示開始時点から30秒後において図６
(d) に示されているように CRTディスプレイ50の画面上
の(X, Y)=(300, 150) の位置に左向きのマウスが表示さ
れ、その後の５秒間にわたって同様の表示状態が継続さ
れる。

【００３６】次に、プレゼンテーション画像の表示領域
と同サイズの文章等も表示された透明なウィンドウを重
畳表示する場合について説明する。テーブルの作成方法
は前述の場合と基本的には同様であり、プレゼンテーシ
ョン画像の表示領域と同一サイズで透明な重畳ウィンド
ウを用意し、この重畳ウィンドウ上に種々の画像（ビッ
トマップデータによる）または文字列（キャラクタコー
ドによる）を表示し、この重畳ウィンドウをプレゼンテ
ーション画像の表示領域の前面に表示する。

【００３７】図７はそのようなプレゼンテーション画像
の表示領域W1と重畳ウィンドウW2との関係の例を示す模
式図である。図７(a) に示されている例では、表示画面
Ｓの全面がプレゼンテーション画像の表示領域W1になっ
ており、従って重畳ウィンドウW2も表示画面Ｓ全面の大
きさになっている。一方、図７(b) に示されている例で
は、表示画面Ｓの一部のみがプレゼンテーション画像の
表示領域W1になっており、従って重畳ウィンドウW2も表
示画面Ｓの一部の重畳ウィンドウW2と同一のサイズにな
っている。

【００３８】図８は重畳ウィンドウW2に指示画像を表示
する場合のテーブル作成部23により作成された関連付け
テーブル４の一例を示す模式図である。この例では、第
１エントリのデータによる表示状態は、その開始時点が
プレゼンテーション画像の開始時点(00:00:00)であり、
終了時点が10秒後(00:00:10)であり、表示開始時点の表
示位置はＸ座標が150,Ｙ座標が100 であり、表示終了時
点の表示位置はＸ座標が150,Ｙ座標が100 であり、表示
される図形はなく、文字列は「ボタン１」である。

【００３９】第２エントリのデータによる表示状態は、
その開始時点がプレゼンテーション画像の開始時点から
10秒後(00:00:10)であり、終了時点が更に10秒後(00:0
0:20)であり、表示開始時点の表示位置はＸ座標が200,
Ｙ座標が120 であり、表示終了時点の表示位置はＸ座標
が120,Ｙ座標が200 であり、表示される図形はなく、文
字列は「ボタン２」である。

【００４０】第３エントリのデータによる表示状態は、
その開始時点がプレゼンテーション画像の開始時点から
20秒後(00:00:20)であり、終了時点が更に10秒後(00:0
0:30)であり、表示開始時点の表示位置はＸ座標が300,
Ｙ座標が150 であり、表示終了時点の表示位置はＸ座標
が300,Ｙ座標が150 であり、表示される図形は上向きの
矢印であり、文字列は無い。

【００４１】第４エントリのデータによる表示状態は、
その開始時点がプレゼンテーション画像の開始時点から
30秒後(00:00:30)であり、終了時点が更に５秒後(00:0
0:35)であり、表示開始時点の表示位置はＸ座標が300,
Ｙ座標が150 であり、表示終了時点の表示位置はＸ座標
が300,Ｙ座標が150 であり、表示される図形は上向きの
矢印であり、文字列は「押す」である。

【００４２】図９は重畳ウィンドウW2に指示画像を表示
する場合の、テーブル作成部23により作成された関連付
けテーブル４に従って合成画像を表示する際の手順を示
すフローチャートであり、上述の図８に示されている関
連付けテーブル４の内容例に従って以下に説明する。

【００４３】まず、プレゼンテーション画像の再生が C
RTディスプレイ50の表示画面Ｓ上に開始されると (ステ
ップS11)、プレゼンテーション画像の表示領域W1に重畳
して透明で同一サイズの重畳ウィンドウW2が表示される
(ステップS20)。そして、パラメータ”ｉ”が”１”に
初期化され (ステップS12)、このパラメータ”ｉ”の値
に対応する関連付けテーブル４のエントリのデータが読
み出される (ステップS13)。但し、パラメータ”ｉ”に
対応するエントリのデータが関連付けテーブル４に無い
場合にはこの一連の処理は終了する (ステップS14)。

【００４４】そして、パラメータ”ｉ”に対応するエン
トリのデータの開始時刻になると (ステップS15)、デー
タ内容に従った画像及び文字列の重畳ウィンドウW2への
表示が行なわれる (ステップS16)。この例では、第１エ
ントリのデータに従ってプレゼンテーション画像の表示
開始時点において図10(a) に示されているように重畳ウ
ィンドウW2上の(X, Y)=(150, 100) の位置に文字列「ボ
タン１」が表示され、その後の10秒間にわたって同様の
表示状態が継続される。

【００４５】パラメータ”ｉ”に対応するエントリのデ
ータの終了時刻になると (ステップS17)、パラメータ”
ｉ”が”１”インクリメントされ (ステップS18)、前述
のステップS13 へ処理が戻される。

【００４６】以下、第２エントリのデータに従って、プ
レゼンテーション画像の表示開始時点から10秒後におい
て図10(b) に示されているように重畳ウィンドウW2上の
(X,Y)=(200, 120) の位置に文字列「ボタン２」が表示
され、その後の10秒間にわたって同様の表示状態が継続
する。

【００４７】次に、第３エントリのデータに従って、プ
レゼンテーション画像の表示開始時点から20秒後におい
て図10(c) に示されているように重畳ウィンドウW2上の
(X,Y)=(300, 150) の位置に図形「上向き矢印」が表示
され、その後の10秒間にわたって同様の表示状態が継続
する。

【００４８】次に、第４エントリのデータに従って、プ
レゼンテーション画像の表示開始時点から30秒後におい
て図10(d) に示されているように重畳ウィンドウW2上の
(X,Y)=(300, 150) の位置に図形「上向き矢印」及び文
字列「押す」が表示され、その後の５秒間にわたって同
様の表示状態が継続される。

【００４９】

【発明の効果】以上に詳述したように本発明に係るコン
ピュータシステムの合成画像表示方法によれば、本来表
示されるべき画像にはなんら手を加えること無しに、ま
た従来のような特別なハードウェア，ソフトウェアを使
用する必要無しに、たとえば矢印等の画像、更には文字
列等をも重畳表示して注目点を指示することが可能にな
る。従って、事前に特別なハードウェアまたはソフトウ
ェアを使用して合成画像を予め作成する手間が省ける。

【００５０】また、上述のように本来表示されるべき画
像にはなんら手を加えることが無いため、本来表示され
るべき画像がたとえばMPEG方式等のような劣化式の圧縮
動画像である場合にも、画像の劣化を伴うことなしに合
成画像を表示することが可能になる。更にこのことは、
複数回にわたって同様の処理を反復してもなんらの問題
を生じないことをも意味している。

【図面の簡単な説明】

【図１】本発明に係るコンピュータシステムの合成画像
表示方法の原理を示す模式図である。

【図２】本発明方法の実施に使用されるコンピュータシ
ステムの全体の構成例を示す外観の模式図である。

【図３】本発明方法の実施のためのコンピュータシステ
ムの機能構成例を示すブロック図である。

【図４】本発明方法により生成される関連付けテーブル
の内容の一例を示す模式図である。

【図５】本発明方法により合成画像を表示する際の手順
を示すフローチャートである。

【図６】本発明方法により合成画像を表示する際の表示
画面の模式図である。

【図７】プレゼンテーション画像の表示領域と本発明方
法により表示される重畳ウィンドウとの関係を示す模式
図である。

【図８】本発明方法により生成される関連付けテーブル
の内容の一例を示す模式図である。

【図９】本発明方法により合成画像を表示する際の手順
を示すフローチャートである。

【図１０】本発明方法により合成画像を表示する際の表
示画面の模式図である。

【図１１】従来のハードウェア構成を示す模式的ブロッ
ク図である。

【符号の説明】

１ プレゼンテーション画像データ ２ 指示画像データ ３ 関連付け処理 ４ 関連付けテーブル W1 プレゼンテーション画像の表示領域 W2 重畳ウィンドウ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 表示装置の画面上に所定の時系列に従っ
   て表示される画像上に図形を重畳表示するコンピュータ
   システムの合成画像表示方法において、 少なくとも前記図形の種類を特定する情報と、それが表
   示されるべき画面上の位置を特定する情報と、表示開始
   及び表示終了のタイミングを前記画像の時系列で表した
   情報とを指定することにより、前記表示装置の画面上に
   表示される画像上に前記図形を重畳表示することを特徴
   とするコンピュータシステムの合成画像表示方法。
2. 【請求項２】 前記表示装置の画面上に所定の時系列に
   従って表示される画像が劣化式の圧縮動画像であること
   を特徴とする請求項１に記載のコンピュータシステムの
   合成画像表示方法。
3. 【請求項３】 表示装置の画面上に所定の時系列に従っ
   て表示される第１の画像上に第２の画像を重畳表示する
   コンピュータシステムの合成画像表示方法において、 第１の画像の前記画面上での表示領域と同じ大きさの透
   明ウィンドウを設定し、 少なくとも第２の画像の表示内容を特定する情報と、そ
   れが表示されるべき画面上の位置を特定する情報と、表
   示開始及び表示終了のタイミングを前記第１の画像の時
   系列で表した情報とを指定し、 前記透明ウィンドウ上に前記指定された各情報に従って
   第２の画像を表示することにより、前記表示装置の画面
   上に表示される第１の画像上に第２の画像を重畳表示す
   ることを特徴とするコンピュータシステムの合成画像表
   示方法。
4. 【請求項４】 前記第１の画像が劣化式の圧縮動画像で
   あることを特徴とする請求項３に記載のコンピュータシ
   ステムの合成画像表示方法。