JPH05191451A - マルチメディアメールシステム同期制御方式 - Google Patents

Abstract

(57)【要約】 【目的】 回線の伝送速度差や、回線の混み具合に関係
なく、受信端末側で同期したデータが得られるように
し、また、音声メディアデータを途中部分から再生しよ
うとする時、再生の応答時間を速くすること。 【構成】 端末機３，４において、音声メディアデータ
を分割して複数のフレームを形成し、また、該音声メデ
ィアデータと同期させるべき画像・テキストメディアデ
ータを分割して上記音声メディアデータフレームと同数
のフレームを形成する。さらに、上記各音声メディアデ
ータフレームと画像・テキストメディアデータフレーム
とを各１フレームずつ複合化して複数のマルチメディア
データフレームを形成し、それらの各マルチメディアデ
ータフレームの前後にはフレームを管理するための付加
情報を付ける。マルチメディアメールサーバー１と端末
機３，４との間の送受信は、該マルチメディアデータフ
レームを単位として行い、その伝送路としてはパケット
交換網２のみを用いる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声，テキスト及び画
像の複数メディアに対してサービスを行うマルチメディ
アメールシステムにおいて、データ転送時における各メ
ディアデータ間の同期制御を可能にするマルチメディア
メールシステム制御方式に関するものである。

【０００２】

【従来の技術】マルチメディアメールシステムは、例え
ば、画像とともに音声を相手側に送って、画像を表示さ
せながら音声で説明を加えること等を行えるようにした
電子メールシステムである。このようなマルチメディア
メールシステムにおいては、例えば、何頁かの画面を有
する画像と一緒に各画面を説明する音声を送る場合、受
信側では、ある画面が表示されている時に、その画面を
説明する音声が流れるように各メディアデータ間で同期
をとってやらなければならない。したがって、その対策
が必要となる。

【０００３】（第１の従来例）図９は、第１の従来例の
マルチメディアメールシステムの概要を示すブロック図
である。図９において、１はマルチメディアメールサー
バー、２はパケット交換網、５０，６０はマルチメディ
ア端末機、５１，６１は電話機、５２，６２は画像・テ
キストメディアデータ用入出力機、７０は回線交換網、
７１〜７３はアナログ電話回線である。

【０００４】第１の従来例においては、マルチメディア
端末機５０，６０は、電話機５１，６１及び画像・テキ
ストメディアデータ用入出力機５２，６２を有してい
る。そして、音声メディアデータは、電話機５１，６
１、アナログ電話回線７１，７２、回線交換網７０及び
アナログ電話回線７３を介して、マルチメディアメール
サーバー１と各マルチメディア端末機５０，６０との間
で送受信される。一方、画像・テキストメディアデータ
は、画像・テキストメディアデータ用入出力機５２，６
２及びパケット交換網２を介して、マルチメディアメー
ルサーバー１と各マルチメディア端末機５０，６０との
間で送受信される。このように、第１の従来例において
は、音声メディアデータと、画像・テキストメディアデ
ータとは、別々の管理の下に、別々の回線を介して送受
信されていた。

【０００５】この従来例では、次のようにして各メディ
アデータ間の同期をとるようにしていた図１０は、第１
の従来例のマルチメディアメールシステムにおける同期
制御方法を示す図である。図１０において、８０はメデ
ィア同期管理情報、８１は画像・テキストメディアデー
タ、８２は音声メディアデータである。

【０００６】マルチメディアメールサーバー１にマルチ
メディアデータの蓄積を行う際、画像・テキストメディ
アデータ８１をブロック単位（例えば、１頁分のデー
タ）に分割して、ブロック番号＃０，＃１，＃２，・・
・，＃ｎを付ける。また、その画像・テキストメディア
データ８１の各ブロックと同時に再生する音声メディア
データ８２の部分をブロック指定して、ブロック番号＃
０，＃１，＃２，・・・，＃ｎを付ける。そして、それ
らのブロック番号をメディア同期管理情報８０として保
持しておく。なお、上記ブロック指定は、マルチメディ
アメールサーバー１がデータ受信後、送信側にそれを送
り返して、送信側の端末に画像・テキスト画面を表示さ
せながら、送信者に指定させる方法がとられている。

【０００７】マルチメディアメールの再生時には、メデ
ィア同期管理情報８０を参照して画像・テキストメディ
アデータ８１の最初のブロック番号を得て、マルチメデ
ィアメールサーバー１の記憶装置から該当する画像・テ
キストメディアデータ８１のブロックをパケット交換網
２を介して送信する。それと同時に、メディア同期管理
情報８０から関連する音声メディアデータ８２のブロッ
ク番号を得て、マルチメディアメールサーバー１の記憶
装置から該当する音声メディアデータ８２のブロックを
アナログ電話回線７３を介して送信する。

【０００８】このようにすれば、マルチメディアメール
サーバー１から受信側に送信する際、画像・テキストメ
ディアデータ８１と音声メディアデータ８２とを同期さ
せて送信することができる。なお、このようなマルチメ
ディアメールシステムにおける同期制御方法に関する従
来の文献としては、特開平１−１８８０６５号公報があ
る。

【０００９】（第２の従来例）一方、第１の従来例と同
様に、音声メディアデータと画像・テキストメディアデ
ータとが、別々の管理の下に、別々の回線を介して送受
信されるものにおいて、音声メディアデータと画像・テ
キストメディアデータとの伝送所要時間に差があること
に基づく同期ずれを防止するようにしたものがある。そ
れは、音声メディアデータと画像・テキストメディアデ
ータとをメールサーバーから受信側に転送する時、画像
・テキストメディアデータを伝送所要時間差に相当する
時間だけ音声データより先に送出するようにしたもので
ある。

【００１０】このようにすれば、画像メディアデータと
音声メディアデータとの伝送所要時間に所定の差があっ
ても、受信側では同期したデータが得られる。なお、こ
のようなマルチメディアメールシステムにおける同期制
御方法に関する従来の文献としては、特開昭６３−１２
７６４５号公報がある。

【００１１】なお、上記両従来例も含めて、従来のマル
チメディアメールサーバーでは、送られてきたデータ
は、そこに記憶させておいて、他の端末から受信要求が
くるのを待つことになる。その際、データを記憶させて
おくファイル形式として、画像・テキストメディアデー
タについては、ランダムアクセスが可能なファイル形式
を採用していたが、音声メディアデータについては、磁
気テープのようなシーケンシャルファイル形式を用いる
のが普通であった。

【００１２】

【発明が解決しようとする課題】（問題点）しかしなが
ら、前記した従来の技術には、次のような問題点があっ
た。

【００１３】第１の問題点は、マルチメディアメールを
発信する時点では、各マルチメディアデータ間の同期は
保証されているが、回線の送信速度差や、回線の混み具
合の影響で、受信端末側で必ずしも同期して受信できる
とは限らないという点である。

【００１４】第２の問題点は、受信後、音声メディアデ
ータを途中部分から再生しようとする時、再度ファイル
の先頭から目的部分を検索しなければならず、応答に時
間がかかるという点である。

【００１５】（問題点の説明）まず第１の問題点につい
て説明する。第１の従来例では、マルチメディアメール
サーバー１から受信側に送信する際、テキストメディア
データ８１と音声メディアデータ８２とを同期させて送
信するので、両メディアデータが同じ伝送時間で送信さ
れれば、受信側でも同期したデータが得られる。しか
し、パケット交換網で伝送されるテキストメディアデー
タとアナログ電話回線で伝送される音声メディアデータ
とでは、データ量の差や伝送方式の差が要因となって、
伝送時間に差が出てしまい、受信側では必ずしも同期し
たデータが得られるとは限らない。

【００１６】また、第２の従来例によれば、画像・テキ
ストメディアデータと音声メディアデータの通常の伝送
時間差に基づく同期ずれを防止することはできる。しか
しながら、画像・テキストメディアデータを伝送するパ
ケット交換網では、複数ある伝送経路の内から空いてい
る経路を探しながら、ばらばらにパケット化したデータ
を送信していく関係上、回線が混んでいるような場合、
空いている経路が見つからずデータがなかなか送れない
場合が出てくる。そのため、回線の混み具合によって、
伝送時間が変わってしまう。したがって、送信する際に
画像・テキストメディアデータと音声メディアデータの
伝送時間差を見込んで送信しても、実際にかかる伝送時
間差は変動してしまい、同期ずれが生じてしまうことが
ある。

【００１７】次に第２の問題点について説明する。受信
後、音声が聞き取りにくかったりして、その部分をもう
一度聞き直したい場合がある。そのような時、音声メデ
ィアデータの内から聞き取りにくかった部分のデータを
検索して、取り出さなければならない。しかし、従来、
音声メディアデータは、磁気テープのようなシーケンシ
ャルファイル形式で管理されていたので、ランダムアク
セスができず、再度ファイルの先頭から目的部分を検索
しなければならなかった。そのため、応答に非常に長い
時間がかかってしまっていた。

【００１８】本発明は、以上のような問題点を解決する
ことを課題とするものである。

【００１９】

【課題を解決するための手段】前記課題を解決するた
め、本発明のマルチメディアメールシステム同期制御方
式では、音声メディアデータを分割して複数の音声メデ
ィアデータフレームを形成する音声メディアデータ分割
部と、該音声メディアデータと同期させるべき画像・テ
キストメディアデータを分割して音声メディアデータフ
レームと同数の画像・テキストメディアデータフレーム
を形成する画像・テキストメディアデータ分割部と、上
記分割した音声メディアデータフレームと画像・テキス
トメディアデータフレームとを各１フレームずつ複合化
して複数のマルチメディアデータフレームを形成する複
合化制御部とを備え、単一回線のみを使ってマルチメデ
ィアメールサーバーと端末機との間で該複数のマルチメ
ディアデータフレームの送受信を行うこととした。

【００２０】

【作 用】本発明では、分割した音声メディアデータ
フレームと画像・テキストメディアデータフレームとを
各１フレームずつ複合化して複数のマルチメディアデー
タフレームを形成し、マルチメディアメールサーバーと
端末機との間で単一回線のみを使って該複数のマルチメ
ディアデータフレームの送受信を行うようにした。その
結果、回線の送信速度差や、回線の混み具合に関係な
く、受信端末側では音声メディアデータとそれに対応し
た画像・テキストメディアデータとが必ず同時に受信で
き、両者の間の同期がとれる。

【００２１】また、音声メディアデータを複数の記憶単
位から構成されるレコード単位に分割し、無音レコード
が所定レコード以上連続した部分を区切りとして音声メ
ディアデータフレームを形成することにより、音声デー
タの言葉の区切り目に当たる比較的長い無音区間によっ
て音声メディアデータを区切ることができるので、音声
メディアデータの管理がし易くなる。そしてまた、音声
メディアデータを他のメディアデータと複合化してマル
チメディアデータフレームとしたので、音声メディアデ
ータも該フレームを単位として取り扱えるようになり、
ランダムアクセスが可能となる。さらに、各マルチメデ
ィアデータフレームの前後にフレームを管理するための
付加情報を付加することにより、音声メディアデータを
途中部分から再生しようとする時、その付加情報をキー
にして検索することができるので、再生の応答時間を速
くすることができる。

【００２２】

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。図１は、本発明におけるマルチメディアメ
ールシステムの概要を示すブロック図である。符号は図
９のものに対応し、３，４はマルチメディア端末機であ
る。

【００２３】従来例のマルチメディア端末機５０，６０
は音声メディアデータ用の電話機５１，６１と、画像・
テキストデータ用入出力機５２，６２とに分けられ、そ
れぞれのデータは、別々の回線を介して送受信されてい
た。それに対して、本発明におけるマルチメディア端末
機３，４は、１台で音声，画像，テキストの各メディア
データの入出力が可能であり、それぞれのデータは、単
一のパケット交換網２のみを介して送受信される。マル
チメディアメールサーバー１では、マルチメディア端末
機３，４から送信されたマルチメディアデータを記憶し
ておき、他のマルチメディア端末機から受信要求が出さ
れた時、パケット交換網２を介してそれを送信する。

【００２４】図２は、本発明におけるマルチメディア端
末機の構成を示すブロック図である。図２において、１
０は制御管理部、１１は音声入出力部、１２，１５はＡ
Ｄ変換器、１３，１６，１９，２８はバッファ、１４は
画像入力部、１７は文字入力部、１８は操作卓、２０は
表示制御部、２１は表示部、２２は記憶管理部、２３は
記憶部、２４は音声メディアデータ分割部、２５はフレ
ームカウンタ、２６は画像・テキストメディアデータ分
割部、２７は複合化制御部、２９はパケット通信制御部
である。

【００２５】このマルチメディア端末機は、入力された
各メディアデータをそれぞれ複数フレームに分割し、分
割した音声メディアデータフレームと他のメディアデー
タフレームとを複合化して複数のマルチメディアデータ
フレームを形成し、それらをマルチメディアメールサー
バー１に送信する機能を有している。音声メディアデー
タは、音声入出力部１１から入力し、ＡＤ変換器１２で
デジタル化した後、バッファ１３，記憶管理部２２を経
て、記憶部２３に一時格納する。同様に、画像メディア
データ，テキストメディアデータも、それぞれ、画像入
力部１４，文字入力部１７から入力した後、記憶部２３
に一時格納する。また、同時に、表示制御部２０を介し
て表示部２１に表示させる。

【００２６】制御管理部１０より記憶部２３に一時格納
されている各メディアデータを分割する指令が出された
ら、記憶管理部２２は、先ず、音声メディアデータを記
憶部２３より引き出して音声メディアデータ分割部２４
へ送る。音声メディアデータ分割部２４では、音声メデ
ィアデータを複数フレームに分割するが、その際、フレ
ームカウンタ２５により分割したフレーム数をカウント
する。そして、分割された音声メディアデータは、複合
化制御部２７に送り、そこに一時記憶させておく。

【００２７】次に、音声メディアデータ以外の画像メデ
ィアデータあるいはテキストメディアデータを記憶部２
３より引き出して画像・テキストメディアデータ分割部
２６へ送る。画像・テキストメディアデータ分割部２６
では、画像メディアデータあるいはテキストメディアデ
ータをフレームカウンタ２５のカウント数に基づいて、
音声メディアデータフレームと同じ数のフレームに均等
に分割する。そして、分割された画像・テキストメディ
アデータは、複合化制御部２７に送り、一時記憶させて
おいた音声メディアデータフレームと複合化させて、複
数のマルチメディアデータフレームを形成する。そのマ
ルチメディアデータフレームは再び記憶部２３に送り、
そこに格納する。

【００２８】制御管理部１０より、マルチメディアデー
タフレームの送信指令が出されたら、記憶管理部２２は
記憶部２３よりマルチメディアデータフレームを一フレ
ームずつ読み出し、バッファ２８、パケット通信制御部
２９及びパケット交換網２を介してマルチメディアメー
ルサーバー１に送信する。

【００２９】ここで、図２に加えて、図３及び図４を参
照しながら音声メディアデータの分割について、さらに
詳しく説明する。図３は、音声メディアデータ分割部の
構成を示すブロック図である。図３において、３０は有
音・無音判定部、３１はカウンタ、３２はバッファ、３
３は無音圧縮部である。

【００３０】図４は、音声メディアデータの分割方法を
示す図である。図４（１）は、マルチメディア端末機の
音声入出力部１１から入力された音声入力を示してい
る。図４（２）は、図４（１）の音声入力をデジタル化
して記憶部２３に格納した音声メディアデータをレコー
ド単位に区切って示したものである。そのレコードと
は、記憶部２３に記憶されているデータの記憶単位（通
常、５１２バイト）を複数個（例えば、１０個）まとめ
たものである。図４（３）は、記憶部２３から送られて
きた音声メディアデータを分割した音声メディアデータ
フレームを示しており、図４（４）は、音声メディアデ
ータフレーム中の圧縮済無音部分を拡大して示してい
る。

【００３１】制御管理部１０より記憶部２３に一時格納
されている各メディアデータを分割する指令が出された
ら、図４（２）に示されるような音声メディアデータが
記憶部２３より音声メディアデータ分割部２４へ送られ
てきて、有音・無音判定部３０に入る。有音・無音判定
部３０では、送られてきた音声メディアデータをレコー
ド単位で有音か無音かを判定する。有音か無音かを判定
する際、もしレコード中にわずかでも有音部分が含まれ
ていたら、そのレコードは有音であると判定する。

【００３２】有音部分のレコードは直接バッファ３２に
送る。無音部分は、無音レコードがいくつ連続するかを
カウンタ３１でカウントすることにより、その長さを判
定し、カウント数が所定値（例えば、５）に達しない短
いものであれば、そのままバッファ３２に送る。そし
て、無音レコードが所定回数以上連続した長い無音部分
がきたら、無音圧縮部３３でそれを圧縮した後、図４
（４）に示されるような、圧縮された無音部分であるこ
とを示す圧縮フラグとカウント数から成る圧縮済無音部
分をバッファ３２に送る。バッファ３２内では、送られ
てきた有音部分，無音部分及び圧縮済無音部分を一まと
めにして、図４（３）に示されるような音声メディアデ
ータフレームを形成し、それを複合化制御部２７に送
る。この圧縮済無音部分が音声メディアデータフレーム
の切れ目となる。

【００３３】この音声メディアデータの分割手順をフロ
ーチャートにまとめると、次のようになる。図５は、音
声メディアデータの分割手順を示すフローチャートであ
る。 ステップ１…図２に示されているフレームカウンタ２５
をクリアする。このフレームカウンタ２５は、音声メデ
ィアデータを分割する上では直接関係ないが、画像メデ
ィアデータやテキストメディアデータを分割する時にそ
のカウント数が用いられる。 ステップ２…有音・無音判定部３０に音声メディアデー
タのレコードが入力されて、現在有音・無音を判定すべ
きレコードが有るか否かを判別し、有れば次のステップ
３に移る。一方、判定すべきレコードが全てなくなれば
処理を終了する。

【００３４】ステップ３…カウンタ３１をクリアする。 ステップ４…音声メディアデータの１レコードを読み込
む。 ステップ５…そのレコードが無音レコードか有音レコー
ドかを判別し、無音レコードであれば、ステップ８に移
り、有音レコードであればステップ６に移る。 ステップ６…読み込んだレコードを有音・無音判定部３
０に一時記憶する。 ステップ７…無音区間が音声データの言葉の区切り目に
当たる長さになるように設定した所定値ｍに、カウンタ
３１のカウント数が、達しているか否かを判別し、達し
ていればステップ１０に移り、達していなければステッ
プ９に移る。 ステップ８…カウンタ３１のカウント数を１カウント上
げてからステップ４に戻る。 ステップ９…１レコード長にカウンタ３１のカウント数
を掛けた長さを有する無音データと、一時記憶しておい
た有音レコードとをまとめてバッファ３２に送り、ステ
ップ２に戻る。

【００３５】ステップ１０…カウンタ３１のカウント数
を無音圧縮部３３に与える。 ステップ１１…無音圧縮部３３で圧縮フラグにカウンタ
３１のカウント数を付加した圧縮済無音部分を形成す
る。 ステップ１２…その圧縮済無音部分をバッファ３２へ送
る。 ステップ１３…バッファ３２に送られてきた有音部分，
無音部分及び圧縮済無音部分を一まとめにして音声メデ
ィアデータフレームを形成する。 ステップ１４…その音声メディアデータフレームを複合
化制御部２７へ送る。 ステップ１５…フレームカウンタ２５のカウント数を１
カウント上げる。 ステップ１６…ステップ６で一時記憶された有音レコー
ドをバッファ３２へ送り、ステップ２に戻る。

【００３６】次に、画像・テキストメディアデータの分
割手順をさらに詳しく説明する。前述したように、画像
・テキストメディアデータは、画像・テキストメディア
データ分割部２６で、フレームカウンタ２５のカウント
数に基づいて、音声メディアデータフレームと同じ数の
フレームに均等に分割する。その分割手順を、テキスト
メディアデータを分割する場合を例にして、フローチャ
ートを使って説明する。なお、画像メディアデータの分
割もテキストメディアデータと同様に行われる。

【００３７】図６は、テキストメディアデータの分割手
順を示すフローチャートである。 ステップ１…音声メディアデータの分割が終わっている
か否かを判別し、終わっていれば、ステップ２に移る。 ステップ２…必要な処理回数を示す変数Ｎを設けて、フ
レームカウンタ２５のカウント数を変数Ｎに入れる。 ステップ３…テキストメディアデータの１フレーム当た
りのレコード数を示す変数Ｍを設け、テキストメディア
データの総レコード数を上記のカウント数Ｎで割り算し
て、変数Ｍに入れる。この時、割り算して出る端数は切
り上げる。 ステップ４…変数Ｎの現在値が０より大きいか否かを判
別し、大きければステップ５に移り、０になっていれば
処理を終了する。

【００３８】ステップ５…変数Ｍの現在値が０より大き
いか否かを判別し、大きければステップ６に移り、０に
なっていればステップ９に移る。 ステップ６…テキストメディアデータの１レコードを読
み込む。 ステップ７…読み込んだレコードを一時記憶する。 ステップ８…変数Ｍを１だけ減じてステップ５に戻る。 ステップ９…ステップ７で記憶しておいた一時記憶デー
タを複合化制御部２７に送る。 ステップ１０…変数Ｎを１だけ減じた後、ステップ４に
戻る。

【００３９】次に、音声メディアデータフレームとテキ
ストメディアデータフレームとを複合化してマルチメデ
ィアデータフレームを形成する点をさらに詳しく説明す
る。前述したように、音声メディアデータフレームと画
像・テキストメディアデータは、複合化制御部２７で複
合化されて、複数のマルチメディアデータフレームが形
成される。

【００４０】図７は、音声メディアデータフレームとテ
キストメディアデータフレームとを複合化する態様を示
す図である。図７（１）は、音声メディアデータを前述
した方法で分割して形成した各音声メディアデータフレ
ームを示している。図７（２）は、テキストメディアデ
ータを前述した方法で分割して形成した各テキストメデ
ィアデータフレームを示している。音声メディアデータ
フレームの数とテキストメディアデータフレームの数
は、互いに等しい。

【００４１】そして、図７（３）は、各音声メディアデ
ータフレームと各テキストメディアデータフレームと
を、先頭から順に１つずつまとめて複合化した各マルチ
メディアデータフレームを示している。各マルチメディ
アデータフレームの前部に付加されているものは、フレ
ーム番号であり、後部に付加されているものは、次に続
くマルチメディアデータフレームが格納されている記憶
部２３上の先頭アドレスである。このような付加情報を
付けることにより、記憶管理部２２によるデータ管理が
し易くなり、データの検索が容易となる。

【００４２】図８は、マルチメディアデータフレームの
複合手順を示すフローチャートである。 ステップ１…音声メディアデータ分割部２４において、
前述した様な仕方で形成した音声メディアデータフレー
ムを順次複合化制御部２７内に取込み、全ての音声メデ
ィアデータフレームを記憶させる。 ステップ２…画像・テキストメディアデータ分割部２６
において、前述した様な仕方で形成したテキストメディ
アデータフレームを順次複合化制御部２７内に取込み、
全てのテキストメディアデータフレームを記憶させる。 ステップ３…フレームカウンタ２５のカウント数を変数
Ｎに代入する。 ステップ４…各メディアデータフレームの番号を指定す
るための変数ｉを設け、その変数ｉに０を設定する。 ステップ５…変数Ｎの現在値が０より大きいか否かを判
別し、大きければステップ６に移り、０になっていれば
処理を終了する。

【００４３】ステップ６…ｉ番目の音声メディアデータ
フレームとｉ番目のテキストメディアデータフレームと
を結合させ、ｉ番目のマルチメディアデータフレームを
形成する。その際、音声メディアデータフレームとテキ
ストメディアデータフレームとの境目をはっきりさせる
ために、両フレームの間に特殊なコードを入れる。 ステップ７…ｉ番目のマルチメディアデータフレームを
記憶部２３に格納する。その際、前述した付加情報をマ
ルチメディアデータフレームに付加する。 ステップ８…変数ｉに１を加える。 ステップ９…変数Ｎから１を減じた後、ステップ５に戻
る。

【００４４】なお、上記図８のフローチャートでは、ス
テップ２で、全てのテキストメディアデータフレームを
複合化制御部２７内に一旦記憶させるようにしたが、必
ずしもそのようにする必要はない。例えば、各テキスト
メディアデータフレームを形成していく過程で、順次複
合化制御部２７内に記憶されている音声メディアデータ
フレームと１フレームずつ複合化させていってもよい。

【００４５】複合化されたマルチメディアデータフレー
ムは、記憶部２３に一旦格納され、制御管理部１０から
の送信指令によって、マルチメディアメールサーバー１
に送られ、そこに記憶される。そして、別のマルチメデ
ィア端末機からの受信要求に応じて、マルチメディアメ
ールサーバー１からそのマルチメディア端末機に送られ
る。その間、各マルチメディアデータフレームは、常に
そのままの状態を保ち、音声メディアデータやテキスト
メディアデータが他のデータと入れ代わることはない。
したがって、音声メディアデータとテキストメディアデ
ータとは常に一定の対応関係を持っている。

【００４６】受信端末では、送られてきたマルチメディ
アデータフレームを全て一旦記憶装置に記憶し、マルチ
メディアデータフレームに付いている付加情報を基にし
て、それらを順次読み出しながら音声メディアデータと
テキストメディアデータとを別々に再生していくことに
なる。その際、音声メディアデータとテキストメディア
データをマルチメディアデータフレームに複合されてい
る同士の関係でそのまま同時に再生したのでは、厳密な
意味での同期はとれない。というのは、テキストメディ
アデータは、音声メディアデータフレームの数に合わせ
て均等に分割しているだけで、両者を厳密に対応させて
分割、複合を行っている訳ではないからである。

【００４７】しかし、その点については、厳密に同期を
とる必要があるのなら、受信端末で受信、記憶されてい
るデータの読出しのタイミングを調整することにより、
適宜成しうることである。例えば、音声メディアデータ
及びテキストメディアデータ中の、頁の先頭にくるべき
箇所に頁の先頭であることを示す特殊なコードを入れて
おき、そのコードを基準にして、テキスト画面の表示を
行い、音声を再生するようにすることが考えられる。

【００４８】

【発明の効果】以上述べた如く、本発明のマルチメディ
アメールシステム同期制御方式によれば、次のような効
果を奏する。本発明では、分割した音声メディアデータ
フレームと画像・テキストメディアデータフレームとを
各１フレームずつ複合化して複数のマルチメディアデー
タフレームを形成し、マルチメディアメールサーバーと
端末機との間で単一回線のみを使って該複数のマルチメ
ディアデータフレームの送受信を行うようにした。その
結果、回線の送信速度差や、回線の混み具合に関係な
く、受信端末側では音声メディアデータとそれに対応し
た画像・テキストメディアデータとが必ず同時に受信で
き、両者の間の同期がとれる。

【００４９】また、音声メディアデータを記憶部の複数
の記憶単位から構成されるレコード単位に分割し、無音
レコードが所定レコード以上連続した部分を区切りとし
て音声メディアデータフレームを形成することにより、
音声データの言葉の区切り目に当たる比較的長い無音区
間によって音声メディアデータを区切ることができるの
で、音声メディアデータの管理がし易くなる。そしてま
た、音声メディアデータを他のメディアデータと複合化
してマルチメディアデータフレームとしたので、音声メ
ディアデータも該フレームを単位として取り扱えるよう
になり、ランダムアクセスが可能となる。さらに、各マ
ルチメディアデータフレームの前後にフレームを管理す
るための付加情報を付加することにより、音声メディア
データを途中部分から再生しようとする時、その付加情
報をキーにして検索することができるので、再生の応答
時間を速くすることができる。

【図面の簡単な説明】

【図１】 本発明におけるマルチメディアメールシステ
ムの概要を示すブロック図

【図２】 本発明におけるマルチメディア端末機の構成
を示すブロック図

【図３】 音声メディアデータ分割部の構成を示すブロ
ック図

【図４】 音声メディアデータの分割方法を示す図

【図５】 音声メディアデータの分割手順を示すフロー
チャート

【図６】 テキストメディアデータの分割手順を示すフ
ローチャート

【図７】 音声メディアデータフレームとテキストメデ
ィアデータフレームとを複合化する態様を示す図

【図８】 マルチメディアデータフレームの複合手順を
示すフローチャート

【図９】第１の従来例のマルチメディアメールシステム
の概要を示すブロック図

【図１０】第１の従来例のマルチメディアメールシステ
ムにおける同期制御方法を示す図

【符号の説明】

１…マルチメディアメールサーバー、２…パケット交換
網、３，４…マルチメディア端末機、１０…制御管理
部、１１…音声入出力部、１２，１５…ＡＤ変換器、１
３，１６，１９，２８，３２…バッファ、１４…画像入
力部、１７…文字入力部、１８…操作卓、２０…表示制
御部、２１…表示部、２２…記憶管理部、２３…記憶
部、２４…音声メディアデータ分割部、２５…フレーム
カウンタ、２６…画像・テキストメディアデータ分割
部、２７…複合化制御部、２９…パケット通信制御部、
３０…有音・無音判定部、３１…カウンタ、３３…無音
圧縮部、５０，６０…マルチメディア端末機、５１，６
１…電話機、５２，６２…画像・テキストメディアデー
タ用入出力機、７０…回線交換網、７１〜７３…アナロ
グ電話回線、８０…メディア同期管理情報、８１…画像
・テキストメディアデータ、８２は音声メディアデータ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/00 １０４ Ｚ 7046−5Ｃ // Ｈ０４Ｑ 11/04 ３０４ Ｚ 8843−5Ｋ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 音声メディアデータを分割して複数の音
   声メディアデータフレームを形成する音声メディアデー
   タ分割部と、該音声メディアデータと同期させるべき画
   像・テキストメディアデータを分割して音声メディアデ
   ータフレームと同数の画像・テキストメディアデータフ
   レームを形成する画像・テキストメディアデータ分割部
   と、上記分割した音声メディアデータフレームと画像・
   テキストメディアデータフレームとを各１フレームずつ
   複合化して複数のマルチメディアデータフレームを形成
   する複合化制御部とを備え、単一回線のみを使ってマル
   チメディアメールサーバーと端末機との間で該複数のマ
   ルチメディアデータフレームの送受信を行うことを特徴
   とするマルチメディアメールシステム同期制御方式。