JPH0677992A - マルチメディア電子メールシステム - Google Patents

Abstract

(57)【要約】 【目的】 複数のメディア情報を扱う電子メールシステ
ムにおいて、テキスト、音声、画像等を時間的・空間的
に同期させて提示する。また、表示後、受信者が提示の
タイミング、期間、位置を変更可能とする。 【構成】 送信するメールの各メディア情報および提示
単位毎の情報を１つのオブジェクトとして扱い、送信端
末では各オブジェクトにメールの提示開始時刻を起点と
するグローバルタイムによる提示時刻、提示位置の制御
情報を付与して送信し、受信端末ではメールを各オブジ
ェクトに付与されている制御情報に基づき提示する。さ
らにオブジェクトの提示開始時刻を起点とするローカル
タイムにより受信者が表示時間を制御可能とすることに
よって受信者に同期関係を変更する手段を提供してい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は通信機能を持った端末と
電子メールセンタからなる電子メールシステムに関する
もので、特に複数のメディアを時間的・空間的に同期さ
せて送受信する方式に係わるものである。

【０００２】

【従来の技術】図１は従来の電子メールシステムのシス
テム構成図である。従来の電子メールシステムではテキ
ストが中心に利用されているので利用者がテキスト情報
を入力するとそれに続いて送信処理を行う構成になって
いる。一部、静止画や音声を扱うことのできるシステム
もあるが、それらはテキスト中心のシステム上に静止画
や音声を扱うための機能を付け加えているので、個々の
メディア情報はテキストの内容を補う付随的な形でそれ
ぞれ独立かつ非同期的に扱われている。例えば、最初か
ら全てのメディア情報を提示するものや、画像や音声を
提示する代わりにアイコンとしてメールに付加してお
き、操作者が必要に応じてそれを提示させるというよう
に、各メディア情報はあくまでも独立した情報として扱
われており、メディア情報間の関連性を積極的に利用す
るものではない。

【０００３】

【発明が解決しようとする課題】上記のように従来の電
子メールシステムはテキスト中心であり、他のメディア
が扱える場合でもテキスト情報の付随情報のような形で
独立かつ非同期的に実現されている。しかしマルチメデ
ィア情報を扱う場合には、テキストを中心とした提示方
法よりも個々のメディアの特徴を生かし、情報全体で一
つの意味を表すような提示方法が有効であると考えられ
る。例えばテキストを音声で読み上げて、ある内容の箇
所で関連する画像が現れ、別の内容の所では違う画像が
現れるというようにテキスト，音声，画像等を時間的に
同期して全体で一つの意味を持たせる提示方法などが考
えられる。このように複数の独立したメディア情報を一
つの意味を表すものとするためには個々のメディア情報
を独立に扱うのではなく、その間に何らかの関連を持た
せることが必要である。

【０００４】本発明では電子メールシステムで複数のメ
ディアを扱う上で個々のメディア情報を独立した情報と
して提示するのではなく、あらかじめメディア情報間に
関連性を持たせることによって同期した情報の交換を実
現させること、および、電子メールを受信する側でメデ
ィア情報間の同期関係の変更を行える機能を実現し、受
信者が指定するメディアに関する情報のみ再提示するあ
るいは提示位置を時間的・空間的に変更可能とすること
を目的とする。

【０００５】

【課題を解決するための手段】本発明では、複数のメデ
ィア情報からなる電子メールを同期して送信端末と受信
端末間で交換するために、メディア情報間を次に説明す
る（１）空間的な関係と（２）時間的な関係とによって
関連付ける。 （１）空間的な関係 各メディア情報が互いに関連を持
ちながらディスプレイ上のどこに提示されるかを示す情
報で、複数のメディア情報間を空間的に関係付ける。本
発明ではテキストや画像等を表示するウインドウのディ
スプレイ上でのｘ−ｙ座標により表現する。

【０００６】（２）時間的な関係 各メディア情報を各
々どのタイミングでどのくらいの時間提示するかを示す
情報で、複数のメディア情報間を空間的に関係付ける。
例えば、図２ではテキスト・静止画・音声が時間と共に
変化している。一般に時間的な関係は図３のようなタイ
ムテーブルで表される。本発明ではこのタイムテーブル
を電子メールで扱うために図４にしめす２つの時間軸で
表すこととした。第１の時間軸はメール情報の提示開始
時刻を起点として複数のメディア情報間の同期を制御す
るグローバルタイム、第２の時間軸はメディア情報毎に
その情報の提示開始時刻を起点とするローカルタイムで
あり、各ローカルタイムの開始契機はグローバルタイム
のタイムテーブルから与えられるようにしている。

【０００７】本発明では、メール情報に上記の空間的・
時間的関係情報を付加し、さらにこれら情報を構造化し
て交換することとしている。そのために、送信端末に個
々のメディア情報と各メディア情報間の関係を指定する
手段とそれらの情報を構造化する手段を設け、受信端末
には構造化された情報から元のメディア情報をその関係
を情報取り出す手段とその関係情報に従って情報を提示
する段を設けた。

【０００８】また、メール受信者の利便性向上のため受
信端末にメディア間の同期関係を変更できる手段を設け
た。

【０００９】

【作用】電子メールの配送を制御する電子メールセンタ
と、送りたい情報を入力・編集し電子メールとして送信
する送信端末と、前記電子メールセンタから電子メール
を受信し受信情報を提示する受信端末からなる電子メー
ルシステムにおいて、請求項１の発明では、送信端末か
らの電子メール送信時に送信者があらかじめよういして
おいた各種メディア情報に対して、各メディア情報間の
時間的・空間的関係を指定する。次に、上記で送信者が
指定した関係情報と個々のメディア情報に対して図５に
示すように各メディア情報を各々一つのオブジェクトと
して定義し、オブジェクト内部にメディア情報と時間的
・空間的関係情報とローカルタイムに関する情報を持た
せてグローバルタイムとともに構造化する。受信端末で
の電子メール受信時に構造化された情報から個々のメデ
ィア情報とそれに対応する関係情報（それぞれのオブジ
ェクトとグローバルタイムの情報）を取り出して、図５
のようにグローバルタイムに従ってそれぞれのオブジェ
クトにｓｔａｒｔメッセージを送ることで複数のメディ
ア情報を同期させて提示することができる。

【００１０】請求項２の発明では、受信者がすでに受信
した電子メールに対して、グローバルタイムやそれぞれ
のオブジェクト内の位置情報やローカルタイムに関する
情報を変更する手段を提供して、提示位置や提示タイミ
ングを変更できる。

【００１１】

【実施例】図６に請求項１の構成例を示す。図６の入力
処理部では、キーボードからテキストを、スキャナやビ
デオ等から画像を、マイクロフォンやオーディオインタ
フェース等から音声を入力する。上記で入力したメディ
ア情報は入力時点で情報間に何ら関連性を持たないので
送信者が情報間に位置的・空間的関係を指定する。例え
ば、図７に示すようなユーザインタフェースを用いて画
面上で送信者とインタラクティブに情報間に位置的な関
係と時間的な関係を指定することができる。図７ではそ
れぞれのメディア情報の提示位置、提示開始時刻、提示
終了時刻を指定している。提示開始時刻と提示終了時刻
は先に述べたグローバルタイムに関する情報であり、マ
ルチメディアメール全体の提示開始時刻を起点として、
あらかじめ決められた時間単位でそれぞれのメディア情
報の提示開始・終了時刻を指定したものである。ローカ
ルタイムは主に同期情報を変更するときに用いるが、そ
れに相当する提示時間は提示終了時刻と提示開始時刻と
の差分から求まる。

【００１２】次に、送信者が指定した関係情報と個々の
メディア情報をひとまとまりにするために情報を構造化
する。ここではメディア情報、位置情報、提示開始時
刻、提示終了時刻、提示時間をひとまとまりの情報とし
て構造化する（図８）。位置情報は図９のようにディス
プレイの左上すみから情報内容を表示するウインドウの
左上すみ迄の距離を画素単位でｘ−ｙ座標として指定し
たものである。また内容情報は一般にデータ量が大きく
なるので、実情報を格納している場所アドレス（ポイン
タ）を格納することにする。また図８において音声情報
に関してはその提示位置を持たないのでその位置情報は
「なし」となっている。

【００１３】受信端末では、構造化された情報を受信し
た後に各オブジェクトの対応する情報とグローバルタイ
ムに対応する情報を取り出す。グローバルタイムに対応
する情報は図８中では提示開始時刻と提示終了時刻なの
で各オブジェクト毎にこの２つの情報を取り出す。次
に、この２つの情報から図１０のようなイベントリスト
を作成する。このイベントリストはメディア情報毎の提
示開始時刻と提示終了時刻を時刻が早い順に並べ替えて
リストにしたものである。このリストによりグローバル
タイムを実現する。

【００１４】このイベントリストを用いて実際に提示を
行うまでを図１１のフロー図に従って説明する。まず、
イベントリストの先頭のエントリを見て対象となるメデ
ィア情報と提示の開始または終了時刻を知る。その後該
当時刻まで待って提示開始の場合であれば対応するオブ
ジェクトに対してｓｔａｒｔメッセージを送る。メッセ
ージを送られたオブジェクトは自分自身の中にある位置
情報とメディア情報を用いてメディア対抗のデバイスド
ライバにより実際の提示を行う。提示終了の場合には、
対応するオブジェクトに対してｓｔｏｐメッセージを送
るメッセージを送られたオブジェクトはデバイスドライ
バに対して提示終了を指示して実際の提示を終了する。
これをイベントリストのエントリが終了するまで繰り返
す。この結果複数のメディア情報が空間的・時間的に同
期した形で提示されることになる。

【００１５】図１２に請求項２の構成例を示す。受信端
末では受信者がすでに受け取った電子メールに対して、
提示位置や提示時刻の変更をするために、グローバルタ
イムやそれぞれのオブジェクト内の位置情報とローカル
タイムに関する情報を変更できる。提示位置を変更した
い場合には各オブジェクト内部にある位置情報を変更し
た後に図１１にフロー図に従って処理を行う。次に、提
示タイミングを変更する場合には、提示開始・終了時刻
に関してはグローバルタイムの情報を返送した後に図１
１のフローに沿った処理を行う。またメディア情報を個
別に提示したり、その提示時間を変更する場合には、グ
ローバルタイムからのｓｔａｒｔやｓｔｏｐのメッセー
ジに従った提示の代わりに、オブジェクト内部にあるロ
ーカルタイム（提示時間）に従った提示を行う。電子メ
ール受信時には、提示終了時刻と提示開始時刻の差分が
提示時間となっているが、受信者が提示時間を変更する
ことでそのメディア情報のみを長時間提示させることを
可能にできる。

【００１６】本実施例では時間的・空間的な同期関係を
指定する手段と、個々のメディア情報と同期関係情報を
まとめて構造化する手段は送信端末にあり、構造化され
た情報から個々のメディア情報と同期関係情報を取り出
す手段と、個々のメディア情報同期関係情報に従って提
示する手段と、受信したメディア情報の時間的・空間的
同期関係を変更する手段は受信端末にあるものとして説
明した。しかしながら、上記送信端末と受信端末の両手
段を有する通信端末を通信網やＬＡＮを通して電子メー
ルセンタに複数台収容し、請求項１および請求項２と同
一の機能を実現させることは容易に推測できる。電子メ
ールセンタに上記に示した送信端末の機能と受信端末機
能を配備することもできる。

【００１７】

【発明の効果】本発明によれば、電子メールシステムで
送信者と受信者の間で複数のメディア情報を同期して交
換する事を可能にし、静的な情報の交換のみならず情報
の提示動作の交換を可能にするものである。また、受信
側で同期関係を変更できることにより受信者の好みに応
じた提示形態を提供できるようになった。

【図面の簡単な説明】

【図１】従来の電子メールシステムの実施例を示す図で
ある。

【図２】時間的に同期したマルチメディア情報の提示の
例を示す図である。

【図３】時間的な同期関係を示したタイムテーブルの例
を示す図である。

【図４】本発明の時間的関係のモデルを示す図である。

【図５】時間的・空間的関係の構造化モデルを示す図で
ある。

【図６】請求項１の構成例を示す図である。

【図７】本発明の時間的・空間的関係の指定方法を例示
する図である。

【図８】本発明の電子メールシステムで交換される情報
の構造を例示する図である。

【図９】本発明の空間的な関係の表現方法を例示する図
である。

【図１０】本発明の情報提示のために一時的に作成され
るリストを例示する図である。

【図１１】本発明の情報提示までの手順を示す動作フロ
ーを示す図である。

【図１２】請求項２の構成例を示す図である。

【符号の説明】

１１ 電子メールの送信端末 １２ 電子メールセンタ １３ 電子メールの受信端末 ６１ 電子メールの送信端末 ６２ 電子メールセンタ ６３ 電子メールの受信端末 １２３ 電子メールの受信端末

Claims (2)

【特許請求の範囲】
1. 【請求項１】 電子メールの配送を制御する電子メール
   センタと、送りたい情報を入力・編集し電子メールとし
   て送信する送信端末と、前記電子メールセンタから電子
   メールを受信し受信情報を提示する受信端末からなる電
   子メールシステムにおいて、 前記送信端末に複数のメディア情報の時間的・空間的な
   同期関係を指定する手段と個々のメディア情報の同期関
   係を構造化する手段を有し、また、前記受信端末には前
   記構造化された情報から個々のメディア情報と前記同期
   関係情報を取り出す手段と前記取り出した個々のメディ
   アを前記取り出した同期関係情報に従って提示する手段
   を有することを特徴とするマルチメディア電子メールシ
   ステム。
2. 【請求項２】 請求項１のマルチメディア電子メールシ
   ステムにおいて、受信端末に受信したメディア情報の時
   間的・空間的同期関係を変更できる手段を有することを
   特徴とするマルチメディア電子メールシステム。