JP3441003B2 - マルチメディア情報転送方法 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】この発明はテキスト、音声、画像
などの複数種類のメディアで構成される情報を転送する
方法に関する。 【０００２】 【従来の技術】従来の技術でのマルチメディア電子メー
ルシステムは、１通の電子メールに格納される情報のメ
ディアは１種類であるという仮定の基に運用されてい
る。図１３に従来のマルチメディア電子メールシステム
の構成を示す。送信端末１１で作成されたマルチメディ
アデータ１２は、１通の電子メール１３に格納されて電
子メールセンタ１４に送信される。このマルチメディア
データ１２には、あらかじめ定められた複数のメディア
のどれか１つの形態を取ることしか許されていない。 【０００３】電子メールセンタ１４では、電子メール配
送装置１５により電子メールを受信する受信端末１６が
決定されると、その受信端末１６が電子メールに格納さ
れたマルチメディアデータ１２を直接受信可能かどうか
を判断し、可能であればそのまま、可能ではないが電子
メールセンタ１４内のメディア変換装置１７によってマ
ルチメディアデータ１２を受信端末１６が直接受信可能
なメディアに変換可能な場合はこれを用いてマルチメデ
ィアデータ１２を受信端末１６が直接受信可能なメディ
アであるマルチメディアデータ１８に変換して、電子メ
ール１９に格納して受信端末１６に送信する。 【０００４】 【発明が解決しようとする課題】従来の端末は、電話は
音声、ＦＡＸは静止画、パソコンはテキストというよう
に、端末とメディアの種類との関係が１対１であった。
しかし、高性能パソコンのようにテキスト以外に静止
画、動画、音声などの複数種類のメディアを同時に扱え
る高機能な端末の出現により、端末とメディアの１対１
の関係が必ずしも成り立たなくなった。さらに１つの端
末で使用されるメディアの種類が増加して来たので、電
子メールシステムが使用するメディアの全てをあらかじ
め規定することは現実的でなくなって来た。しかしなが
ら、従来からの単一のメディアしか扱うことのできない
端末は依然として存在するので、メディアの互換性の問
題はより深刻になる。 【０００５】例えば図１４に示すように、送信者２１
が、受信者２２と受信者２３との二人に電子メールを送
信する場合を考える。電子メールセンタ１４は、送信者
２１の端末１１であるパソコン２４で作成されたマルチ
メディア情報２５は、テキストデータ２６と静止画デー
タ２７から構成される。従来技術においては、このマル
チメディア情報２５は、１通の電子メール１３に格納し
て電子メールセンタ１４に送信される。 【０００６】マルチメディア情報２５の作成に使用した
パソコン２４と同機能を持つパソコン２８を通信端末と
して持つ受信者２２は、メディア変換装置１７を経由す
ることなく、電子メール配送装置１４よりこの電子メー
ル１３をそのまま受信することができる。メディア変換
装置１７はテキストデータを、受信者２３の通信端末で
ある電話２９が唯一受信可能なメディアである音声に変
換することができる。しかしながら、電子メール２８が
格納しているマルチメディアデータ２５はテキストデー
タのみではないので、これを音声データに変換すること
はできない。従って受信者２３の端末２９では、マルチ
メディア情報２５を全く受信することはできない。 【０００７】この問題を解決するために、 １) 送信者２１がマルチメディアデータ２５を、テキス
トデータのみを格納した電子メールと、静止画データの
みを格納した電子メールとの２つに分けて送信すること
が考えられる。しかしながらこの方法では、ａ) 本来一
度の送受信処理を行えばすむはずの送信者２１、受信者
２２にそれぞれ２度の送信／受信処理を強いることにな
る。ｂ) メディア間の関連情報（例えばこの場合は、テ
キストに対する静止画の表示位置等) が失われる。ｃ)
送信者２１は、受信者２２、受信者２３の所有する端末
２８、端末２９が受信できる電子メールのメディアの種
類をあらかじめ意識してマルチメディアデータ２５を分
割する必要がある。これらのため、送信者２１、受信者
２２の利便性が著しく損なわれる。 ２) 図１７のメディア変換装置１７の機能を拡張して、
電子メール２８を分析して格納されているマルチメディ
ア情報２５から、テキストデータ２６と静止画データ２
７とを抽出し、送信先の端末の種類に応じて、テキスト
データ２６、あるいは静止画データ２７を送信すること
も考えられる。 【０００８】この方法では、メディア変換装置１７は全
てのメディアをあらかじめ知っている必要があり、マル
チメディアデータを構成するメディアの種類が大きく制
限される。また、全ての電子メールを分析し、メディア
毎に分割することは、電子メールセンタの作業量を著し
く増大させる。送信端末と受信端末とが共にパソコンで
ある場合でも、その性能が異なり、送信端末で作成され
た電子メール中に含まれる各種メディアのすべてを、受
信端末では必ずしも再生することができない場合には前
述した問題が同様に生じる。 【０００９】 【課題を解決するための手段】この発明に用いられる電
子メール作成装置は例えばテキスト、音声、画像などの
１つまたは複数種類のメディアで構成されるオリジナル
情報を、そのメディアの種類と、再生契機と、再生位置
ごとに部品メールとして分離する手段と、前記オリジナ
ル情報を構成する前記部品メールの一覧と、その各部品
メールのメディアの種類情報と、再生契機情報と、再生
位置情報とを有するコントロールメールを作成し、その
コントロールメールと前記オリジナル情報を構成する部
品メールの集合とを組として電子メールを構成する手段
とにより構成される。 【００１０】この発明のマルチメディア情報転送方法に
よれば、送信端末で前記電子メール作成装置で電子メー
ルを作り、その電子メールを送信端末から電子メールセ
ンタでその電子メールを記憶し、又は電子メールセンタ
で送信端末から受信したオリジナル情報から前記電子メ
ール作成装置で電子メールを作成して記憶し、受信端末
が再生可能な部品メールのみを転送する。 【００１１】 【作用】マルチメディア情報のメディア毎に分割し、複
数の部品メールとして送信すれば、機能が低く特定のメ
ディアしか受信できない端末にとっては、自端末で再生
可能な部品メールのみを受信すればよく、これらは従来
の技術による電子メールシステムによるマルチメディア
データの転送となんら変わりがない。このとき、このメ
ディア毎に分割されたメールは、同じメディアであれば
異なる再生契機／再生位置を持つデータを複数含んで
も、１つのみに限定しても良い。 【００１２】これにより機能が低い端末の互換性を最大
限確保できるだけでなく、電子メールセンタが、送信さ
れてきた電子メールに格納される情報のメディアの種類
について管理・制御する必要がなく、電子メールセンタ
の処理を低く押えることができる。しかしながらマルチ
メディア情報を単に分割して送信するだけでは、メディ
ア間の情報（再生契機と再生位置) が失われるうえに、
この方法を用いなくてもマルチメディア情報を受信でき
る端末の所有者の利便性を損なう可能性がある。従っ
て、これらメディア毎の情報を含んだ部品メール群に加
え、これらを管理制御する情報を含んだコントロールメ
ールをこれに追加して送信する。高機能で多種のメディ
アを扱える端末はコントロールメールを受信し、コント
ロールメールが持つ管理情報に従ってメディア毎の情報
を含んだ部品メールの複数を受信し再生すれば、この端
末の利用者にはメディア毎に情報を分割して送信するこ
とを意識させずに、マルチメディア情報の交換を行う端
末ソフトウェアを設計することができる。 【００１３】また、マルチメディア情報のフォーマット
が、電子メールの中継を行う電子メールセンタに既知の
ものであれば、マルチメディア情報をメディア毎に分割
して複数の部品メールとし、これらメディア毎の情報を
含んだ部品メール群に加え、これらを管理制御する情報
を含んだコントロールメールをこれに追加して電子メー
ルとすることは送信端末に限らずこの電子メールセンタ
で実施してもよい。電子メールセンタでこの電子メール
を作ることにより、この電子メールを作ることが不可能
な送信端末もこの発明のマルチメディア情報転送をする
ことができる。 【００１４】 【実施例】この発明で作成する電子メールは部品メール
とコントロールメールとからなり、部品メールは各メデ
ィアの種類、各再生契機、各再生位置ごとに作る。 （１) 再生契機情報 図１Ａに再生契機情報の構成例を示す。再生契機情報の
記述例３１が示す各データの再生のタイムチャートであ
る。この例ではテキストＡは絶対時間ｔｘに再生が開始
されｔｚに終了し、そのｔｘとｔｚが再生契機情報とな
り、動画Ａは絶対時間ｔｙに再生を開始するが、再生終
了時間が指定されていないため再生の終了は動画Ａ自身
が持つ再生情報に従って再生を終了し、再生契機情報は
ｔｙだけである。静止画Ａは動画Ａと同じ期間だけ再生
され、再生契機情報はｓａｍｅ動画Ａとする。音声Ａは
動画Ａの終了後に再生を開始し、動画Ａ同様再生終了時
間が指定されていないので、音声Ａ自身が持つ再生情報
に従って再生を終了し、この再生契機情報はａｆｔｅｒ
動画Ａとする。 （２) 再生位置情報 図１Ｂに再生位置情報の構成例を示す。再生位置情報の
記述例３３が示す静止画Ａの表示画面３４上の再生位置
を示す。つまり再生位置情報３３中の最初のｗ×ｈは静
止画Ａの横幅ｗと縦幅ｈとを示し、次のｘは表示画面３
４の左上端からの横方向の位置、次のｙは左上端からの
縦方向の位置を示し、このｘ，ｙ位置に静止画Ａの左上
端が位置している。 （３) マルチメディア情報の構成例 図２にマルチメディア情報の構成例を示し、同図Ａに再
生位置を、同図Ｂに再生契機を示す。これは３つの画面
からなり、絶対時間ｔ０に画面上半分に静止画１を表示
し、画面下半の左半分にテキスト１を表示し、画面下半
の右半分に長さＬ時間の動画１の再生を開始し、同時に
音声１の再生を開始する。 【００１５】絶対時間ｔ１に静止画１、テキスト１の表
示を終了し、画面上半の左半分にテキスト２を、画面上
半の右半分に静止画２を、画面下半の左半分にテキスト
３をそれぞれ表示する。画面下半の右半分には動画１が
引続き再生中である。同時に音声２の再生を開始する
（音声１の再生は既に終わっているものとする) 。絶対
時間ｔ０からＬ時間後に動画１の再生が終了する。ここ
で、テキスト２、テキスト３、静止画２の表示を終了
し、画面上半分にテキスト４を、画面下半分に静止画３
をそれぞれ表示する。 （４) マルチメディア情報のデータ形式 この発明ではマルチメディア情報を各メディアごとに、
また再生契機ごとに、更に再生位置ごとに分離して部品
メールを作り、またその部品を管理制御するコントロー
ルメールを作るが、これらを作るのに必要とする各種情
報を例えば次のようにファイルする。 【００１６】図３に図２に示したマルチメディア情報に
ついてメディアごとに分離したデータ形式の例を示す。
これは図２のマルチメディア情報全体の管理情報を格納
したファイル３５と、個々のメディア毎のデータを格納
したファイル３６〜３９から構成される。管理情報格納
ファイル３５に格納する管理情報自体はテキストメディ
アで表現し、このマルチメディア情報全体が持つメディ
アの種類（この例ではテキスト、静止画、動画、音声)
と各メディアごとのデータ数、つまりこの例ではテキス
トは４つあるからデータ数４となり、静止画は３つであ
るからデータ数３となる。各データを格納したファイル
名と各データにおける再生契機、再生位置情報を含んで
いる。再生契機情報、再生位置情報の記述は図１Ａ、Ｂ
に示した形式による。テキスト１が格納されるファイル
名をテキスト１とすると、その再生契機情報は図２から
ｔ０、ｔ１となり、再生位置情報は図２Ａのｔ０画面か
ら４０×３０＋０＋６０となる。その他の各メディアフ
ァイルに関する再生契機情報、再生位置情報も同様に記
述される。 【００１７】メディアファイル３６はテキストデータを
格納するファイルであって、ファイルの先頭にファイル
名のテキスト１が、次にメディア名のテキストがそれぞ
れ格納され、続いてテキストの長さの情報３００が格納
され、以後そのテキストのデータが格納される。メディ
アファイル３７は静止画データを格納するファイルであ
って、ファイルの先頭にファイル名の静止画１、メディ
ア名の静止画、続いて静止画の高さと幅を示す情報４
０、８０がそれぞれ格納され、以後その静止画の画像テ
ータが格納される。 【００１８】メディアファイル３８は動画データを格納
するファイルであって、ファイルの先頭にファイル名の
動画１とメディア名の動画、続いてその動画の各フレー
ムの高さと幅を示す情報４０，４０、次に提示時間を示
す情報６０、以後その動画データが格納される。メディ
アファイル３９は音声データを格納するファイルであっ
て、ファイルの先頭にファイル名の音声１とメディア名
の音声、続いて提示時間を示す情報３０、音声のサンプ
リングレートを示す情報２２、以後その音声データが格
納される。 【００１９】同様にして他のメディア、テキスト２、
３、４、静止画２、３、音声２に対するメディアファイ
ルが作られる。 （５) 部品メール／コントロールメール 先に述べたようにこの発明はメディアごとに分離して部
品メールを作り、またそれらを管理制御するコントロー
ルメールを作るが、図３に示したデータ形式に基づいて
図２Ａのマルチメディア情報について作成したコントロ
ールメールの構成例を図４に示す。図３ではファイル３
５中の全体の管理情報はテキストで表現されているの
で、このコントロールメールもメディアはテキストであ
る。コントロールメール４１には送信元情報格納部４
２、受信先情報格納部４３、メール識別子格納部４４、
本文情報格納部４５があり、メール識別子格納部４４に
はこのメールがコントロールメールであることを明示す
るコントロールが格納される。本文情報格納部４５には
図３に示したファイル３５中の全体の管理情報４６をそ
のまま管理情報格納部４５ａに格納するが、端末内では
個々のデータの識別はファイル名で行われるのに対し
て、電子メールシステムではメール識別子が用いられる
ので、全体の管理情報４６中の個々のデータのファイル
名とメール識別子との対応表（一覧) ４７を本文情報格
納部４５中の部品メール管理情報格納部４５ｂに格納す
る。対応表４７の左側はファイル名を、右側はそのファ
イル名のデータが格納されるメールの識別子をそれぞれ
示す。 【００２０】図４に示したコントロールメール４１の構
成例に対応する、図２Ａのマルチメディア情報中の個々
のメディア毎のデータを格納した部品メールの構成例を
図５ に示す。テキスト用部品メール４８は静止画用部品
メール４９、動画用部品メール５１、音声用部品メール
５２はそれぞれ送信元情報格納部５３、受信先情報格納
部５４、メール識別子格納部５５、本文情報格納部５６
をそれぞれ有し、部品メール４８、４９、５１、５２の
各メール識別子格納部５５にはそれぞれテキスト、静止
画、動画、音声が格納され、各本文情報格納部５６には
それぞれ、図３の対応メディアファイル中のファイル
名、メディア名以外のデータがそれぞれ格納される。 部品メール／コントロールメールの構成の他の例 図６に、図３に示したデータ形式に基づいた図２Ａのマ
ルチメディア情報について構成した部品メールとコント
ロールメールのもう一つの例を示す。これは複数の電子
メールを１つの電子メールの集合として扱うことのでき
る同封機能を持つ電子メールシステムの機能を利用した
例である。このため部品メール／コントロールメールと
も個々に送信元情報、受信先情報を持つ必要はない。ま
たメール識別子も不要であるが同封された他のメールと
の識別のために同封メール識別子を持つ。これは同封メ
ールの中でのみ一意性を保てばよいので、図３に示した
個々のメディア毎のデータを格納したファイル名がその
まま使用できる。 【００２１】この同封メール５７には送信元情報格納部
５８、受信先情報格納部５９、メール識別子格納部６
１、同封メール情報格納部６２、メール格納部６３があ
り、同封メール情報格納部６２には、同封された順番
（ボディーパート) と、そのメール内のメディアを示す
識別子とがそれぞれ対応ずけた対応表（同封メール情
報)６４を格納する。メール格納部６３には、同封され
たメール６５、６６、…を格納する。各メール６５、６
６、…には同封メール識別子格納部７１と本文情報格納
部７２とが設けられ、メール６５、６６、６７、６８、
６９の各同封メール識別子格納部７１にはそれぞれコン
トロール、テキスト１、静止画１、動画１、音声１を格
納し、各本文情報格納部７２にそれぞれ管理情報４６、
図５の部品メール４８、４９、５１、５２中の各本文情
報格納部５６内の本文情報と同一の情報をそれぞれ格納
する。 （６) コントロールメール／部品メール作成装置 図７に図３に示したデータ形式に基づいた図２Ａのマル
チメディア情報から、図４、図５に示したコントロール
メール４１、部品メール４８、４９、５１、５２を生成
する。コントロールメール／部品メール生成装置の構成
例を示す。この装置７３内の電子メール生成装置７４
は、スタート信号が入力されると、送信元情報入力部７
５、受信先情報入力部７６、メール識別子入力部７７、
本文情報入力部７８にそれぞれ入力された情報を用いて
送信可能な電子メールを作成する。 【００２２】送信元情報生成装置７９、受信先情報生成
装置８１はそれぞれ電子メール生成装置７４の入力とし
て使用可能な送信元情報、受信先情報を出力する。日付
発生装置８２は絶対時間を出力するコントロールメール
生成制御装置８３は、部品メール生成制御装置８４から
入力されたメール識別子の履歴を記憶する機能を持つ。
これはリセット信号を入力されることで消去される。 【００２３】今、部品メール生成装置８５のメディア毎
データ入力部８６に図３中のメディアファイル３６〜３
９に示したデータ形式を持つ個々のメディア毎のデータ
が入力され、作成開始信号が入力されたとする。このと
き部品メール生成装置８５と電子メール生成装置７４は
以下に示す動作を行い、図５に示した部品メールを出力
する。 １) 図３に示した通り、各メディア毎データはファイル
名とメディア名を格納しているから、メディア分類装置
８７はこれらの情報を抽出して部品メール生成制御装置
８４に、残りのデータは電子メール生成装置７４の本文
情報入力部７８に入力する。 ２) 部品メール生成制御装置８４は、入力されたファイ
ル名、メディア名、及び日付発生装置８２の出力から、
“メディア名”“ファイル名”“日付”で構成される文
字列を生成し、電子メール生成装置７４のメール識別子
入力部７７とコントロールメール生成装置８３に入力す
る。 ３) 部品メール生成制御装置８４は、電子メール生成装
置７４にスタート信号を送る。 ４) 電子メール生成装置７４は、部品メール生成装置８
５によってメール識別子入力部７７、本文情報入力部７
８にそれぞれ入力された情報と、送信元情報生成装置７
９、受信先情報生成装置８１によって、それぞれ送信元
情報入力部７５、受信先情報入力部７６に入力された情
報を用いて電子メールを生成する。 【００２４】今、コントロールメール生成装置８３の管
理情報入力部８８に図３中に示したデータ形式をもつ管
理情報４６が入力され、作成開始情報が入力されたとす
る。このときコントロールメール生成装置８３と、電子
メール生成装置７４は以下に示す動作を行って図４に示
したコントロールメール４１を出力する。 １) コントロールメール生成制御装置８９は、先の部品
メール生成時に、記憶している部品メールのメール識別
子の履歴を部品メール管理情報生成装置９１に入力す
る。 ２) 部品メール管理情報入力装置９１は、入力されたメ
ール識別子の履歴から図４に示した部品メール管理情
報、つまり対応表４７を作成し、コントロールメール生
成制御装置８９に入力する。 ３) コントロールメール生成制御装置８９は、部品メー
ル管理情報生成装置９１の出力と、管理情報入力部８８
に入力された情報４６とから図４に示す本文情報を作成
し、電子メール生成装置７４の本文情報入力部７８に入
力する。 ４) コントロールメール生成制御装置８９は、日付発生
装置８２の出力から、“コントロール”“日付”で構成
される文字列を生成し、電子メール生成装置７４のメー
ル識別子入力部７７に入力する。 ５) コントロールメール生成制御装置８９は、電子メー
ル生成装置７４にスタート信号を送る。 ６) 電子メール生成装置７４は、コントロールメール生
成装置８９によってメール識別子入力部７７、本文情報
入力部７８にそれぞれ入力された情報と、送信元情報生
成装置７９、受信先情報生成装置８１によって、それぞ
れ送信元情報入力部７５、受信先情報入力部７６に入力
された情報を用いて電子メールを生成する。 【００２５】以上の動作により、この装置７３は、図３
に示したマルチメディア情報が入力されると、図４、図
５に示したコントロールメール４１及び部品メール４
８、４９…を出力する。 部品メール／コントロールメール作成装置の他の例 図８に図３に示したデータ形式に基づいた図２Ａのマル
チメディア情報から、図６に示したコントロールメール
６５、部品メール６６、６７…を生成するコントロール
メール／部品メール生成装置９２の構成例を示し、図７
と対応する部分に同一符号を付けてある。 【００２６】電子メール生成装置７４は、スタート信号
が入力されると、送信元情報入力部７５、受信先情報入
力部７６、メール識別子入力部７７、同封メール情報入
力部９３、同封メール入力部９４に入力された情報を用
いて送信可能な同封型の電子メールを作成する。同封メ
ール情報生成装置９５は、同封メール生成装置９６から
出力された同封メール識別子から、図６に示した形式を
持つ同封メール情報を生成する機能を持つ。同封メール
情報は、“同封された順番”“同封メール識別子”で構
成される。また、リセット信号が入力されると、現在の
同封メール情報を消去し、同封された順番を０にする。 【００２７】今、部品メール／コントロールメール生成
装置９７のマルチメディアデータ入力部９８に図３に示
したデータ形式を持つマルチメディアデータが入力さ
れ、作成開始信号が入力されたとする。このとき部品メ
ール／コントロールメール生成装置９７と電子メール生
成装置７４は以下に示す動作を行い、図６に示した同封
メール５７を出力する。 １) 制御装置９９は、同封メール情報生成装置９５にリ
セット信号を送り、同封メール情報をクリアし、同封の
順番を０にする。 ２) 同封メール生成装置９６は、マルチメディアデータ
入力部９８から、図３に示した形式を持つ管理情報４６
を選択し、メール６５を作成し、同封メール識別子を同
封メール情報生成装置９５に、メール６５を電子メール
生成装置７４の同封メール入力部９４に入力する。 ３) 同封メール情報生成装置９５は入力された同封メー
ル識別子を用いて“同封された順番０”“コントロー
ル”の文字列を作成して同封メール情報として記憶す
る。 ４) 同封メール生成装置９６は、マルチメディアデータ
入力部９８に残された全てのデータに対して、図６に示
した他のメール６６、６７…を作成し、その各同封メー
ル識別子を同封メール情報生成装置９５に、メール６
６、６７…を電子メール生成装置の同封メール入力部９
４に入力する。 ５) 同封メール情報生成装置９５は入力された同封メー
ル識別子に対して、順番に“同封された順番”“同封メ
ール識別子”の文字列を作成し、同封メール情報に追加
する。 ６) 全てのデータの処理が終わると、同封メール情報生
成装置９５は作成された同封メール情報、つまり対応表
６４を、電子メール生成装置７４の同封メール情報入力
部９３に入力し、制御装置９９は、電子メール生成装置
７４にスタート信号を送る。 ７) 電子メール生成装置７４は、部品メール／コントロ
ールメール生成装置９７によって、同封メール情報入力
部９３、同封メール入力部９４にそれぞれ入力された情
報と、送信元情報生成装置７９、受信先情報生成装置８
１、メール識別子生成装置１０１によって、それぞれ送
信元情報入力部７５、受信先情報入力部７６、メール識
別子入力部７７に入力された情報とを用いて電子メール
を生成する。 【００２８】以上の動作によりこの装置９２は、図３に
示したマルチメディア情報が入力されると、図６に示し
たコントロールメール及び部品メールを同封した電子メ
ール５７を出力する。 （６) 再生制御装置 上述のように部品メールとコントロールメールとからな
る電子メールを受信した端末では例えば図９に示す再生
制御装置１０２でメディアを再生する。 【００２９】イベントリスト生成装置１０３は、コント
ロールメール入力部１０４に格納された管理情報４６を
基にして図１０に示すイベントリスト、つまり各絶対時
間ごとの表示すべきメディアと再生位置情報を示す表を
作成する。この際、必要があれば（動画の終了時間を求
める等) 部品メールの参照も行う。メディア分類装置１
０５は、部品メール入力部１０６に入力された部品メー
ルをメディアによって分類し、対応する表示／再生装置
に入力する。テキスト表示装置１０７、静止画表示装置
１０８、動画表示装置１０９は、制御装置１１１の指示
により、任意の時間に任意のディスプレイ上の位置に、
メディア分類装置１０５より各装置に格納したそれぞ
れ、テキストデータ、静止画データ、動画データの表示
を開始／終了し、画面合成装置１１２は、これらの表示
装置１０７〜１０９の出力を合成して実際のディスプレ
イ１１３に表示する。音声再生装置１１４は、制御装置
１１１の指示により、メディア分類装置１０５から格納
した音声データを任意の時間にスピーカ１１５で再生／
終了する。 【００３０】今、コントロールメール入力部１０４に図
４で示した構成を持つコントロールメール４１が入力さ
れ、部品メール入力部１０６に図５に示した構成を持つ
部品メール４８，４９…が入力されたとする。このとき
再生制御装置１０２は以下に示す動作を行い、マルチメ
ディアデータの再生を行う。 １) イベントリスト生成装置１０３は、コントロールメ
ール入力部１０４に格納されたコントロールメール４１
の管理情報格納部４５ａ内の情報４６を解析し、図１０
に示すイベントリスト１１０を生成する。動画、音声の
再生終了時間を決定する際に、動画、音声の提示時間が
必要になる場合がある。この情報は部品メール５１、５
２のみが持つ情報であるので、管理情報４６と部品メー
ル管理情報４７を照合して部品メール５１、５２を特定
し、部品メール入力部１０６から必要な部品メール５
１、５２を入力し、必要な情報を抽出することによって
獲得する。 ２) メディア分類装置１０５は、コントロールメール入
力部１０４に格納されたコントロールメール４１の部品
メール管理情報格納部４５ｂ内の情報４７を解析し、部
品メール入力部１０６に格納された部品メール４８、４
９、５１…をメディア毎に分類し、対応する表示、再生
装置１０７、１０８、１０９、１１４に入力する。 ３) 制御装置１１１はイベントリスト１１６に従って、
各表示、再生装置１０７〜１０９、１１４に指示を出
し、データの表示を行う。 【００３１】以上の動作により、この装置１０２は、図
４、図５に示されたコントロールメール４１及び部品メ
ール４８、４９…が入力されると、これらのメールのオ
リジナルの情報である図２Ａに示すマルチメディア情報
を再生する。なお、図６に示す構成を持つ部品メール／
コントロールメール（同封メール)５７が入力され、図
２Ａに示すマルチメディア情報を再生する装置の構成は
図９に示した構成例と同じにすることができるので省略
する。 （７) マルチメディア情報転送 以上説明したコントロールメール／部品メール生成装置
７３又は９２、再生制御装置１０２を用いて、この発明
によりマルチメディア情報の転送方法の実施例を以下の
２つのケースにおいて説明する。 【００３２】 送信端末で図２Ａのマルチメディアデ
ータを、図６に示す構成を持つ部品メール／コントロー
ルメール（同封メール) ５７に再構成し、受信端末に直
接送信する。受信端末はこれを受信して、送信されてき
た全てのメディアを再生する。この場合の送信端末１２
１、受信端末１２２の構成例を示す。送信端末１２１に
おいてそのマルチメディアデータ生成装置１２３が、図
２Ａに示したマルチメディア情報を図３に示したデータ
形式で生成し、図８に示したコントロールメール／部品
メール生成装置９２に作成開始信号が入力されたとす
る。このとき送信端末１２１と受信端末１２２は以下に
示す動作を行い、マルチメディアデータの転送を行い表
示する。 １）コントロールメール／部品メール生成装置９２は、
図８で説明した動作を行い、マルチメディアデータ生成
装置１２３から入力された図３に示したデータ形式を持
つマルチメディア情報より、図６に示した形式を持つ部
品メールとコントロールメールが同封された電子メール
５７を生成して電子メール送信装置１２４に入力する。 ２）電子メール送信装置１２４は、入力された電子メー
ル５７をその受信先情報格納部の情報に従って受信端末
１２２に送信する。 ３）受信端末１２２の電子メール受信装置１２５は、電
子メール送信装置１２４が送信した電子メール５７を受
信し、部品メール／コントロールメール分類装置１２６
に入力する。 ４）部品メール／コントロールメール分類装置１２６
は、入力された電子メール５７に同封されているメール
を、同封情報格納部６２に格納されている情報６４を用
いて部品メール、コントロールメールに分類して再生制
御装置１０２に入力する。 ５）再生制御装置１０２は、図９で説明した動作を行
い、コントロールメールの管理情報４６に従って、各部
品メールに格納された個々のメディアデータを再生し、
結果的に図２Ａに示したマルチメディア情報の再生を行
う。 【００３３】 送信端末で図２Ａのマルチメディア情
報を、図４、図５に示す構成を持つ部品メール／コント
ロールメールに再構成し、電子メールセンタを経由し
て、テキスト表示を行うが画像を表示することができな
い受信端末に送信する。受信端末はこの中からテキスト
メディアの部品メールのみを選択して受信し表示する。
図１２に送信端末１２１、電子メールセンタ１２７、受
信端末１２２の各構成例を示す。送信端末１２１中のコ
ントロールメール／部品メール生成装置７３は図７を用
いて既に説明した装置の場合であり、電子メールセンタ
１２７内の電子メール配送装置１２８は、 ａ）電子メール蓄積装置１２９内の、入力された受信先
情報が示す受信端末宛の電子メールの送信元情報とメー
ル識別子の一覧を作成して出力する機能、 ｂ）電子メール蓄積装置１２９内の、入力されたメール
識別子を持つ電子メールを出力する機能、 を持つ。 【００３４】受信端末１２２内の電子メール受信装置１
２５は、受信制御装置１３０からの指示に従って電子メ
ールセンタ１２７の電子メール配送に対して、その受信
端末１２２の受信先情報、メール識別子を出力し、電子
メール配送装置１２８の出力をそれぞれ受信制御装置１
３０、テキストデータ再生装置１３１に出力する。今、
送信端末１２１内のマルチメディアデータ生成装置１２
３が、図２Ａに示したマルチメディア情報を図３に示し
たデータ形式で生成し、コントロールメール／部品メー
ル生成装置７３に作成開始信号が入力されたとする。こ
のとき送信端末１２１と電子メールセンタ１２７、受信
端末１２２は以下に示す動作を行い、マルチメディア情
報の転送を行い、そのうちのテキストデータのみを受信
端末１２２のテキストデータ再生装置１３１に表示す
る。 １）送信端末１２１内のマルチメディア送信制御装置１
３２は、コントロールメール／部品メール生成装置７３
にリセット信号を送り、図７で説明したように、それま
でのメール識別子履歴を消去する。 ２）マルチメディア送信制御装置１３２は、コントロー
ルメール／部品メール生成装置７３に部品メール作成開
始信号を送る。これにより、コントロールメール／部品
メール生成装置７３は、図７で説明した動作を行い、部
品メールを作成する。 ３）電子メール送信装置１２４は、入力された部品メー
ルを電子メールセンタ１２７に送信する。 ４）電子メールセンタ１２７の電子メール受信装置１３
３は、受信した部品メールを電子メール蓄積装置１２９
に格納する。 ５）マルチメディア送信制御装置１３２は、コントロー
ルメール／部品メール生成装置７３にコントロールメー
ル作成開始信号を送る。これにより、コントロールメー
ル／部品メール生成装置７３は図７で説明した動作を行
い、コントロールメール４１を作成する。 ６）電子メール送信装置１２４は、入力されたコントロ
ールメール４１を電子メールセンタ１２７に送信する。 ７）電子メールセンタ１２７の電子メール受信装置１３
３は、受信したコントロールメール４１を電子メール蓄
積装置１２９に格納する。 ８）受信端末１２２の受信制御装置１３０は、電子メー
ル受信装置１２５に指示を出し、電子メールセンタ１２
７の電子メール蓄積装置１２９内にある自受信端末１２
２宛ての電子メールの送信元情報とメール識別子の一覧
を得る。 ９）図７で説明したとおり、２）、５）で作成された部
品メール、コントロールメール４１はその識別子に同じ
日付を持っているので、送信元情報とあわせることによ
り、同じマルチメディア情報から作成された部品メー
ル、コントロールメールの電子メール識別子の一覧表４
７を作成することが可能であり、受信制御装置１３０は
これを作成する。 １０）図７で説明したとおり、２）で作成された部品メ
ールのメール識別子格納部５５には、その部品メールが
格納するデータのメディアが含まれているので、９）で
作成したメール識別子の一覧表４７中から、テキストデ
ータを持つ部品メールのみのメール識別子の一覧表を受
信制御装置１３０は作成する。 １１）受信制御装置１３０は、１０）で作成したテキス
トデータを持つ部品メールのみのメール識別子の一覧表
を電子メール受信装置１２５に入力する。 １２）電子メール受信装置１２５は、入力されたメール
識別子を持つ電子メールを電子メールセンタ１２７より
受信し、その本文情報をテキストデータ再生装置１３１
に入力する。 １３）テキストデータ再生装置１３１は入力されたテキ
ストデータを表示する。 【００３５】先に述べたように部品メールへの分離、コ
ントロールメールの生成は送信端末で行う場合に限ら
ず、電子メールセンタで行ってもよい。電子メールを受
信する際に、コントロールメールを受信した後、自受信
端末で再生可能な部品メールを電子メールセンタから取
出してもよい。あるいはコントロールメール及びその全
部品メールを電子メールセンタから取出して、そのうち
の必要な部品メールのみを再生してもよい。更に電子メ
ールセンタに、受信端末の管理情報を保持させ、電子メ
ールセンタで受信端末の種類に応じてその受信端末が受
信可能な部品メールだけ到着を通知し、またはその部品
メールだけを受信端末に送ってもよい。 【００３６】 【発明の効果】以上説明したように、この発明によれば
マルチメディアデータをメディア毎にに分離し、１つの
メディアしか持たない部品メールに再構成し、これに、
これらの部品メールの集合を管理するための情報を持た
せたコントロールを他の部品メールと区別できる情報を
加えて送信することにより、 １）送信者は受信者の端末の機能を考慮することなくマ
ルチメディア情報を送信することができる。 ２）受信者は送られてきたマルチメディア情報の中で、
自分が利用可能なものだけを選択して受信することが出
来る。 ３）電子メールセンタは、これに関してなんら特別の処
理を要求されない。という効果が生じる。

【図面の簡単な説明】 【図１】Ａは再生契機情報例とそのタイムチャート、Ｂ
は再生位置情報とその画像の位置を示す図である。 【図２】Ａは、テキスト、静止画、動画、音声から構成
されるマルチメディア情報の例を示す図、Ｂはその各メ
ディアのタイムチャートを示す図である。 【図３】図２Ａで示したマルチメディア情報を示すデー
タ形式の例を示す図。 【図４】図３に示したデータ形式に基づいた図２Ａのマ
ルチメディア情報について作成したコントロールメール
の構成例を示す図。 【図５】図４に示したコントロールメールに対応する図
２Ａの個々のメディア毎のデータを格納した部品メール
の構成例を示す図。 【図６】図３に示したデータ形式に基づいた図２Ａのマ
ルチメディア情報を、部品メールとコントロールメール
に再構成したもう一つの例を示す図。 【図７】図４，５に示したコントロールメール、部品メ
ールを生成するコントロールメール／部品メール生成装
置７３の構成例を示すブロック図。 【図８】図６に示したコントロールメール、部品メール
を生成するコントロールメール／部品メール生成装置９
２の構成例を示すブロック図。 【図９】図３に示したデータ形式に基づいたマルチメデ
ィア情報を受けとって、その管理情報に従って再生を行
う装置の構成例を示すブロック図。 【図１０】図９中のイベントリスト生成装置１０３が出
力するイベントリストの構成例を示す図。 【図１１】マルチメディア情報を図６に示したコントロ
ールメール、部品メールに再構成して送信する送信端末
の構成例と、これを受信してマルチメディアデータの再
生を行う受信端末の構成例とを示すブロック図。 【図１２】マルチメディア情報を図４、図５に示したコ
ントロールメール、部品メールに再構成して送信する送
信端末の構成例と、これを配送する電子メールセンタの
構成例、及び送信された部品メールの中からテキストデ
ータを格納するものだけを選択して受信し、表示を行う
受信端末の構成例を示すブロック図。 【図１３】従来のマルチメディア転送方式を示すブロッ
ク図。 【図１４】従来の方式で、テキストデータと静止画デー
タとを送信した場合の問題を説明するためのブロック
図。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−110384（ＪＰ，Ａ) 特開 平４−111659（ＪＰ，Ａ) ２Ｃ−９ メディア間の同期情報を含 むマルチメディア電子メールシステム, 情報処理学会第44回全国大会講演論文集 （３），日本，３−359〜３−360 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04L 12/58 H04M 11/06 H04N 1/00 104

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 テキスト、音声、画像などの複数種類の
   メディアで構成される情報を電子メールセンタを介して
   送受信するマルチメディア情報転送方法において、 前記電子メールセンタに受信端末の管理情報を保持さ
   せ、 前記電子メールセンタは、オリジナル情報がそのメディ
   アの種類と、再生契機と、再生位置ごとに部品メールと
   して分離され、これら部品メールの一覧及びその各部品
   メールのメディアの種類情報と再生位置情報とを有する
   コントロールメールと、前記各部品メールとの集合を組
   にした電子メールを送信端末から受信して記憶し、又は
   前記送信端末から受信したオリジナル情報を、そのメデ
   ィアの種類と、再生契機と、再生位置ごとに部品メール
   として分離し、これら部品メールの一覧及びその各部品
   メールのメディアの種類情報と再生位置情報とを有する
   コントロールメールと、前記各部品メールとの集合を組
   にした電子メールを作成して記憶し、 前記受信端末が再生可能な部品メールだけを転送するこ
   とを特徴とするマルチメディア情報転送方法。