JP3720133B2 - マルチメディア多重化通信システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、パケット化したマルチメディアデータの多重化技術に関し、特に、各メディアデータ毎の再送処理に費やすことができる時間を管理する装置及び方法に関する。
【０００２】
【従来の技術】
従来では画像、音声、テキスト等といった種類の異なる複数のメディアデータはそれぞれ別個なデータとして通信されていたが、情報通信が多様化するにつれて複数種類のメディアデータを多重化させて通信するマルチメディア通信の必要性が高まっている。
例えば、パーソナルハンディホン（ＰＨＳ）等の携帯電話を用いて音声データと共に画像データを通信する場合、従来では音声データと画像データとは多重化させずに別々に伝送していたが、通話中は画像を伝送することができず、また画像伝送中は通話することができないことから、即時性を要するマルチメディア通信には不便であった。このため、種類の異なる複数のメディアデータを多重化させて同時に通信することが求められていた。
【０００３】
音声データと画像データとを多重化する従来の主な方法は、各メディアデータに予め固定的に帯域（例えば、音声データには８Ｋｂｐｓ、画像データには１６Ｋｂｐｓ）を割り当てて伝送するものであった。
ここで、このようなデータ通信は無線や有線の回線を介して行われるが、例えばフェージング等の外乱によってデータに伝送エラーが発生する場合がある。特に、出力が限られ、また、建物等の遮蔽がある環境で無線通信する携帯電話を用いてデータ通信する場合には、伝送エラーの発生確率はかなり高いものとなる。このような伝送エラーに対しては、チェックコードを付加してデータを伝送し、このチェックコードに基づいて伝送エラーを検出して該当するデータを再送する処置がとられている。
【０００４】
しかしながら、上記した従来の多重化方法では、マルチメディア通信の即時性は得られるものの、各メディアデータを多重化して伝送フレームの形式にした後にチェックコードを付加して伝送させていたため、伝送エラーに対する再送処理を各メディアの特性に応じて実施することができなかった。
すなわち、例えば音声データと画像データとを多重化して送信する場合には、図１６に示すように、音声データと画像データとを１つの伝送フレームにし、これらフレーム毎にチェックコードを付加して送信していたため、例えば画像データの一部にのみ伝送エラーが発生しても、エラーを回復させるためには当該エラー部を含むフレーム全体（音声データ＋画像データ）を再送処理することとなり、再送が必要でない音声データ部も再送することとなっていた。
【０００５】
このような再送処理によるエラー回復のためには当然のことながら或る程度の処理時間が必要となるが、メディアの特性から、音声データと画像データとではエラー回復のために許容できる遅延時間が異なる。例えば、音声データは少なくとも１０ｍＳ以内にエラー回復を行わなければならないが、画像データは５０ｍＳ以内にエラー回復されれば足りるといったように、メディアの種類によって再送処理に費やすことができる時間が異なる。このような事情は、パソコン通信の電子メール等のデータ、ファクシミリ通信のデータ、ファイル転送のデータ等、音声や画像以外についても同様である。
このため、再送処理に費やすことができる時間を比較的長く設定すればデータを確実に伝送できる確率が向上する反面、或るデータについてはエラー回復のために許容できる時間を上回ってしまうためにデータ自体の価値が損なわれてしまうといった事態が生じていた。
【０００６】
【発明が解決しようとする課題】
上記のように、マルチメディア通信においても、伝送エラーの発生に対して再送処理を行う処置がとられるが、メディア毎の特性に応じた再送処理が行われていなかった。特に、携帯電話のように伝送速度が比較的低速で且つ使用環境が比較的劣悪な通信手段を用いてマルチメディア多重化通信を実現しようとする場合には、伝送エラーによる影響が顕著なものとなっていた。
【０００７】
本発明は上記従来の事情に鑑みなされたもので、パケット化した各メディアデータに対してそのメディアの種類毎に再送処理に費やすことができる時間を管理することにより、メディアの特性に応じた再送処理を実現するマルチメディア多重化通信方法及びシステムを提供することを目的とする。
また、本発明は、携帯電話のように伝送速度が比較的低速で且つ使用環境が比較的劣悪な通信装置を用いて、効率の高いマルチメディア通信を実現するシステム及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係るマルチメディア多重化通信方法では、パケット化した複数種類のメディアデータを多重化して送信するマルチメディア多重化通信方法において、各メディアデータの種類毎に再送処理に費やすことができる時間を予め設定し、送信されたメディアデータパケットに伝送エラーが発生した場合に、当該パケットについての再送処理を前記設定時間内において行う。
したがって、例えば音声データについては１０ｍＳ、画像データについては５０ｍＳといったように、再送処理に費やすことができる時間をメディアの種類毎に設定しておくことにより、メディアの特性に応じた再送処理が実行される。
【０００９】
また、本発明に係るマルチメディア多重化通信方法では、前記設定時間は所定の時間内に行われる再送処理の回数で設定される。すなわち、データパケットが正常に受信されるまで繰り返し行う再送処理の回数をメディア毎に規制することにより、実質的に再送処理に費やすことができる時間をメディアの種類毎に管理する。
また、本発明に係るマルチメディア多重化通信方法では、各パケットには伝送エラーを検出するチェックコードが付加されており、再送処理は、送信されたデータを受信する受信側装置から正常受信の確認応答が所定の時間内に得られないことに基づいて行われる。すなわち、伝送エラーの検出は各チェックコードに基づいてメディア毎且つパケット毎に行われ、伝送エラーの生じたパケットに対しては、上記の管理の下に再送処理がなされる。
【００１０】
また、本発明に係るマルチメディア多重化通信システムでは、送信側装置に、各メディアデータをパケット化するパケット生成手段と、生成された各メディアデータのパケットを混合配列させるパケット多重化手段と、混合配列により生成されたパケット列を各パケット毎に伝送エラーを検出するチェックコードを付加して送信する送信手段と、を備え、受信側装置に、送信されたパケット列中の各パケットについてチェックコードに基づいて伝送エラーを検出するエラー検出手段と、送信されたパケット列を受信する受信手段と、正常に受信したパケット列を各メディアデータ毎のパケットに分離するパケット分離手段と、分離された各メディアデータ毎のパケットからメディアデータを再生するデータ再生手段と、を備え、送信側装置によりパケット化された複数種類のメディアデータを混合多重化して送信し、受信側装置によりパケット列を受信して各メディアデータを再生する。
【００１１】
そして更に、上記の受信側装置には、伝送エラーを検出したパケットを送信側装置へ通知する再送要求手段が備えられ、また、上記の送信側装置には、前記通知に基づいて該当するパケットを再送させる再送処理手段と、各メディアデータの種類毎に予め設定された再送処理に費やすことができる時間内で当該再送処理を実行させる再送管理手段と、が備えられており、伝送エラーが発生したパケットに対してそのメディア種類に応じた時間内で再送処理が実行される。
【００１２】
また、本発明に係るマルチメディア多重化通信システムでは、再送管理手段は、所定の時間内に行われる再送処理の回数で管理を行い、実質的に再送処理に費やすことができる時間を管理する。
また、本発明に係るマルチメディア多重化通信システムでは、送信側装置は、パケット化されるメディアデータを圧縮するデータ圧縮手段を更に備え、受信側装置は、圧縮されたメディアデータを伸長するデータ伸長手段と、伸長再生された各メディアデータに基づいて各メディア情報を出力する出力手段と、を更に備えており、データ伝送効率が高められている。
【００１３】
【発明の実施の形態】
本発明の実施の形態を図面を参照して説明する。
図１には、本発明に係るマルチメディア多重化通信システムの一例を示してある。
このマルチメディア多重化通信システムは、画像データ、テキストデータ、及び、音声データを多重化させたパケット列として無線送信する送信側装置１と、このように多重化されたパケット列を無線受信して画像データ、テキストデータ、及び、音声データとを再生する受信側装置３０と、が備えられている。
なお、本例では説明を簡略化するため、送信側装置１は送信側機能を司る装置、受信側装置３０は受信側機能を司る装置としてあるが、各装置は送信側機能と受信側機能とを兼備した送受信装置として構成してもよい。また、マルチメディア多重化通信システムは、これら装置を２以上の任意の数備えて構成してもよい。
【００１４】
まず、送信側装置１には、画像を撮像して画像データ（ビデオ信号）を入力するカメラ２と、テキストファイルを格納したテキストファイル手段３と、音声を取り込んで音声データ（音声信号）を入力するマイクロホン４と、多重化されたパケット列及び必要なデータを無線送受信するパーソナルハンディホン等の通信装置５と、が接続されている。
また、送信側装置１には、入力された各メディアのデータを圧縮符号化する送信側符号化部（送信ＣＯＤＥＣ部）６と、符号化された各メディアデータをパケット化して多重パケット列に構成する送信パケット部７と、多重化されたパケット列を通信装置５から送信させ或いは後述する確認応答等のデータを通信装置５を介して受信する通信制御部８と、これら各機能部６〜８を統括して制御するとともに後述する再送管理を行う主制御部９と、が内蔵されている。
【００１５】
送信側符号化部６には、カメラ２から入力されたビデオ信号をデジタル画像データに変換するアナログ／デジタル変換器（Ａ／Ｄ変換器）１０と、デジタル化された画像データをＪＰＥＧ方式等によって圧縮符号化する符号化器１１と、テキストファイル手段３からテキストデータを取り込んで入力するテキスト入力手段１２と、入力されたテキストデータを圧縮符号化する符号化器１３と、マイクロホン４から入力された音声信号をデジタル音声データに変換するアナログ／デジタル変換器１４と、デジタル化された音声データを圧縮符号化する符号化器１５と、が備えられている。
【００１６】
また、送信パケット部７には、符号化器１１によって圧縮符号化された画像データを複数のパケットに分割して格納するパケットバッファ（ＰＡＤバッファＡ）１６と、符号化器１３によって圧縮符号化されたテキストデータを複数のパケットに分割して格納するパケットバッファ（ＰＡＤバッファＢ）１７と、符号化器１５によって圧縮符号化された音声データを複数のパケットに分割して格納するパケットバッファ（ＰＡＤバッファＣ）１８と、各パケットバッファ１６〜１８から取り出された各メディアのデータパケットを多重化したパケット列として格納する多重化バッファ（ＭＵＸバッファ）１９と、が備えられている。
また、通信制御部８は、上記したデータの送受信処理の他に、送信するメディア毎の各パケットに伝送エラーを検出するためのチェックコード（例えば、ＣＲＣ）を付加する。
【００１７】
また、主制御部９には、制御プログラム及び後述する再送処理の定義テーブルを格納したＲＯＭ２０と、制御プログラムを実行するプロセッサ（ＣＰＵ）２１と、ＣＰＵ２１の作業領域となるとともに後述する再送管理テーブルを格納したＲＡＭ２２と、再送管理処理等の種々な制御に用いる計数を行うタイマ２３と、が備えられている。この主制御部９は、制御プログラムを実行することによって、パケットバッファ１６〜１８を用いた各メディアデータのパケット化処理、多重化バッファ１９を用いたパケット列の多重化処理、受信側装置３０からの確認応答の有無に応じたパケットの再送処理、メディア毎のパケット再送処理を管理する処理等を行う。
【００１８】
すなわち、主制御部９とパケットバッファ１６〜１８とによりパケット生成手段が構成され、主制御部９と多重化バッファ１９とによりパケット多重化手段が構成され、主制御部９と通信制御手段８とによりパケットを再送させる再送処理手段が構成され、更に、後述するように主制御部９の再送管理テーブルとタイマ２３とによりメディア毎のパケット再送処理を管理する再送管理手段が構成される。なお、これら機能手段はプログラム制御によるソフトウエア手段として構成せずとも、機能毎の回路として構成することも可能である。
また、上記の装置構成において、Ａ／Ｄ変換器１０と１４、符号器１１、１３、１５、をそれぞれ共用化することも可能であり、また、パケットバッファ１６〜１８及び多重化バッファ１９を１つのメモリに領域を区切って構成することも可能である。
【００１９】
一方、受信側装置３０には、再生された画像データに基づく画像を表示出力する液晶ディスプレイ等の表示部３１と、再生されたテキストデータを格納するハードディスク装置等のテキストファイル手段３２と、再生された音声データに基づく音声を出力するスピーカ３３と、多重化されたパケット列及び必要なデータを無線送受信するパーソナルハンディホン等の通信装置３４と、が接続されている。
また、受信側装置３０には、多重化されたパケット列を通信装置３４を介して受信し或いは後述する確認応答等のデータを通信装置３４を介して送信する通信制御部３５と、受信したパケット列を各メディアデータ毎に分離する受信パケット部３６と、各メディア毎に分離されたデータを伸長復号化する受信側復号化部（受信ＣＯＤＥＣ部）３７と、これら各機能部３５〜３７を統括して制御するとともに後述する受信管理を行う主制御部３８と、が内蔵されている。
【００２０】
通信制御部３５は、上記したデータの送受信処理の他に、各パケットに付加されたチェックコードに基づいて伝送エラーの有無を検出する処理を行い、伝送エラーが生じたパケットを破棄する処理を行う。
また、受信パケット部３６には、正常に受信した各メディアのデータパケットを多重化された状態で格納する多重化バッファ（ＭＵＸバッファ）３９と、多重化バッファ３９から取り出された画像データパケットを順次格納して元のデータストリームの並びで保持するパケットバッファ（ＰＡＤバッファＤ）４０と、多重化バッファ３９から取り出されたテキストデータパケットを順次格納して元のデータストリームの並びで保持するパケットバッファ（ＰＡＤバッファＥ）４１と、多重化バッファ３９から取り出された音声データパケットを順次格納して元のデータストリームの並びで保持するパケットバッファ（ＰＡＤバッファＦ）４２と、が備えられている。
【００２１】
また、受信側復号化部３７には、パケットバッファ４０から取り出した画像データを圧縮時に対応した方式によって伸長復号化する復号化器４３と、復号化された画像データをアナログビデオ信号に変換して表示部３１へ出力するデジタル／アナログ変換器４４と、パケットバッファ４１から取り出したテキストデータを圧縮時に対応した方式によって伸長復号化する復号化器４５と、復号化されたテキストデータをテキストファイル３２に格納する出力手段４６と、パケットバッファ４２から取り出した音声データを圧縮時に対応した方式によって伸長復号化する復号化器４７と、復号化された音声データをアナログ音声信号に変換してスピーカ３３へ出力するデジタル／アナログ変換器４８と、テキストデータを圧縮符号化する符号化器１３と、マイクロホン４から入力された音声信号をデジタル音声データに変換するアナログ／デジタル変換器１４と、デジタル化された音声データを圧縮符号化する符号化器１５と、が備えられている。
【００２２】
また、主制御部３８には、制御プログラム及び後述する再送監視処理の定義テーブルを格納したＲＯＭ４９と、制御プログラムを実行するプロセッサ（ＣＰＵ）５０と、ＣＰＵ５０の作業領域となるとともに後述する受信管理テーブルを格納したＲＡＭ５１と、受信管理処理等の種々な制御に用いる計数を行うタイマ５２と、が備えられている。この主制御部３８は、制御プログラムを実行することによって、パケットバッファ４０〜４２を用いて行う多重化パケット列の各メディアデータパケットへの分離処理、受信するパケットの管理処理等を行う。
【００２３】
すなわち、主制御部３８とパケットバッファ４０〜４２とによりパケット分離手段が構成され、主制御部３８と通信制御手段８とにより正常に受信したパケットについての確認応答を返送する確認応答手段が構成される。なお、本例では後述するように、確認応答のないパケットについては伝送エラーが生じたものとして再送処理を行っており、確認応答手段が確認応答を行わないことによって送信側装置１へ伝送エラーを検出したパケットを通知することとなる。また、これら機能手段はプログラム制御によるソフトウエア手段として構成せずとも、機能毎の回路として構成することも可能である。
また、上記の装置構成において、Ｄ／Ａ変換器４４と４８、復号器４３、４５、４７、をそれぞれ共用化することも可能であり、また、パケットバッファ４０〜４２及び多重化バッファ３９を１つのメモリに領域を区切って構成することも可能である。
【００２４】
なお、本例では、データ入力装置２〜３、通信装置５又は３４、再生データ出力装置３１〜３３は送信側装置１又は受信側装置３０とは別体の構成としているが、その一部或いは全部を装置１又は３０に一体的に組み込んで構成する等してもよく、各装置をどのような組み込み関係で構成するかは任意である。
また、本実施例では、カメラ２は静止画アナログデータを入力するものとしているが、カメラ２から動画データを入力して多重化通信することもできる。
また、本実施例では３種類のメディアデータを多重化通信するが、他の種類のデータ等も含めた任意の数のメディアデータを多重化通信することもでき、そのメディア種類の組合せも任意である。
【００２５】
次に、図２を参照して、上記したパケット化処理を説明するとともにパケットバッファ１６〜１８の構成を更に詳しく説明する。なお、明確化のために画像データを例にとって説明するが、パケットバッファ１７、１８及びテキストデータや音声データのパケット化処理についても同様である。
同図に示すデータストリームはカメラ２から取り込まれた後に符号器１１で圧縮符号化された画像データであり、主制御部９が、符号器１１から出力される画像データストリームを固定長のデータブロックに分割し、各データブロックに制御データを付してパケットとし、これらパケットをパケットバッファ１６に順次格納させる。なお、符号器１１からデータストリームが出力されないときにはパケットも生成されない。
【００２６】
すなわち、図３（ａ）に示すように、各パケットは固定長のデータブロックを含むデータ部に制御データとしての送信順序番号Ｐ（Ｓ）とバーチャルチャネル番号ＶＣとが付加されたフォーマット構成であり、このバーチャルチャネル番号ＶＣによって各パケットのメディア種別が識別され、送信順序番号Ｐ（Ｓ）によって各パケットが送信順序として識別される。
本例では、送信順序番号Ｐ（Ｓ）は”０”〜”７”の数値をサイクリックに使用しており、また、データの通信路を仮想的に定義するバーチャルチャネル番号ＶＣは、画像データパケットの通信路（パケットバッファ１６とパケットバッファ４０との間の通信路）をＶＣ１、テキストデータパケットの通信路（パケットバッファ１７とパケットバッファ４１との間の通信路）をＶＣ２、音声データパケットの通信路（パケットバッファ１８とパケットバッファ４２との間の通信路）をＶＣ３としてある。
【００２７】
パケットバッファ１６は先入れ先出し方式でパケットをサイクリックに順次格納するリングバッファであり、パケットが格納される毎にＰＵＴポインタの値が主制御装置９によって１つずつ更新されて有効なパケットがあることが示され、また、主制御装置９によりパケットが取り出さて多重化バッファ７へ格納される毎にＧＥＴポインタの値が１つずつ更新される。したがって、ＰＵＴポインタとＧＥＴポインタとに記述された値の差が、パケットバッファ１６に格納されているパケット数を示している。
また、後述するように多重化バッファ７に格納したパケットが受信側装置３０へ送信されて、受信側装置３０から当該パケットについての確認応答を受信する毎に、主制御装置９によりパケットバッファ１６の廃棄ポインタが１つずつ更新されて正常に送信できたパケット位置が示される。
【００２８】
例えば、図２に示す状態では、ＰＵＴポインタがパケットＣの後にあるということでデータストリームから切り取られる次のパケットはパケットＣの下に格納されることを示しており、ＧＥＴポインタがパケットＢの後にあるということで多重化バッファ７に次に格納されるパケットがパケットＣであることを示しており、廃棄ポインタがパケットＡの前にあることでパケットＡについての確認応答を受信待ちしていることを示している。
【００２９】
ここで、確認応答は図３（ｂ）に示すようにデータ部を有しないパケットであり、受信順序番号Ｐ（Ｒ）とバーチャルチャネル番号ＶＣとから構成されている。この受信順序番号Ｐ（Ｒ）は正常に受信できたパケットに付された送信順序番号Ｐ（Ｓ）であり、また、バーチャルチャネル番号ＶＣは当該パケットに付されたバーチャルチャネル番号ＶＣであり、これら受信順序番号Ｐ（Ｒ）とバーチャルチャネル番号ＶＣとにより、何れのメディアの何れのパケットが伝送エラーを生ずることなく受信側装置３０で正常に受信されたかが示される。
なお、この確認応答パケットは受信側装置３０から送信側装置１へパケットが正常受信されたことを通知するためのものであり、パケットバッファには格納されない。また、この確認応答パケットは正常受信されたパケットを通知するものであることから、確認応答パケットを受信し得ないと言うことによりパケットに伝送エラーが発生したことが実質的に通知される。なお、本発明においては、送信されたパケットが正常受信できないときに、受信側装置３０が再送要求を送信することにより、再送処理を行うようにすることもできる。
【００３０】
次に、図４を参照して、上記したパケット列の多重化処理を説明する。
上記のパケット化処理によって、画像パケットバッファ１６には複数の画像パケットが”画像パケット１”、”画像パケット２”・・・といったように画像データストリーム中の並びに従って格納され、テキストパケットバッファ１７には複数の画像パケットが”テキストパケット１”、”テキストパケット２”・・・といったようにテキストデータストリーム中の並びに従って格納され、音声パケットバッファ１８には複数の音声パケットが”音声パケット１”、”音声パケット２”・・・といったように音声データストリーム中の並びに従って格納される。
主制御部９は、図４に示すように、それぞれのパケットバッファ１６〜１８から交互にパケットを取り出して多重化バッファ１９に順次格納し、これらパケットを多重化バッファ１９への格納順に通信制御手段８へ順次渡して送信させる。すなわち、”画像パケット１”、”テキストパケット１”、”音声パケット１”、”画像パケット２”、”テキストパケット２”、”音声パケット２”・・・といった多重化されたパケット列が受信側装置３０へ送信される。
【００３１】
このような多重化パケット列は通信制御手段８によって構成され、通信制御手段８は当該パケット列を構成するに際して伝送エラーを検出するためのチェックコード（例えば、ＣＲＣ）を各パケット毎に付加する。すなわち、図５に示すように、多重化パケット列に含まれて送信される各パケットにはチェックコードが付加され、伝送エラーの検出は受信側装置３０の通信制御手段３５において各パケット単位で行われる。なお、伝送エラーが検出されたパケットは通信制御手段３５により破棄され、再送処理の対象となる。
【００３２】
次に、図６を参照して、上記した多重化パケット列を受信側装置３０において各メディア毎のパケットに分離する処理を説明する。
この分離処理は各パケットバッファ４０〜４２及び多重化バッファ３９を用いて主制御部３８による制御の下に行われ、多重化バッファ３９には通信制御手段３５において伝送エラーの無いことが確認された正常に受信したパケットが順次格納される。そして、主制御部３８が多重化バッファ３９に格納された各パケットをそのバーチャルチャネル番号ＶＣに従って対応するパケットバッファ４０〜４２へ順次格納し、各パケットバッファ４０〜４２にそれぞれのメディア毎に分離されたパケットを送信時のデータストリームに従った順序で保持させる。
なお、各パケットバッファ４０〜４２のＰＵＴポインタはパケットが格納される毎に更新されて有効なパケットが保持されていることを示し、また、ＧＥＴポインタは再生出力のために復号化器へパケットが取り出される毎に更新される。
【００３３】
上記のような多重化されたパケット列が送信側装置１から送信され、受信側装置３０で受信されて各メディアが元のデータとして再生されるが、この送信処理に際しては確認応答の有無に基づいた再送管理がなされる。
本実施例の再送管理は、伝送エラーが生じた各メディアのパケット毎に再送処理を行うことができる回数によって行っており、図７（ａ）に示すように、管理を行うためのパラメータが定義されたテーブルが送信側装置１のＲＯＭ２０に予め記憶されている。この定義テーブルには、各メディアデータ毎に再送タイマ値と再送回数値とが記憶されており、再送タイマ値によって再送処理を行うこととする確認応答の受信までの遅延時間が規定され、再送回数値によって再送処理を繰り返し行うことができる回数が規定される。
【００３４】
なお、受信側装置３０のＲＯＭ４９には、図７（ｂ）に示すように、再送処理の打ち切り管理を行うためのパラメータが定義されたテーブルが予め記憶されており、この定義テーブルには、各メディアデータ毎に再送処理を受信装置３０側から打ち切るためのタイマ値が受信監視タイマ値として記憶されている。
ここで、図７（ａ）及び（ｂ）に示した定義テーブルのパラメータは必要に応じて書き換え可能であり、後述する各メディア毎の再送回数（すなわち、再送処理に費やすことができる時間）をシステム環境等に応じて変更することも可能である。
【００３５】
上記の再送管理は主制御部９がＲＡＭ２２に格納されている再送管理テーブルを用いて行い、具体的には図９に示す処理手順によって実行される。
ここで、ＲＡＭ２２に格納されている再送管理テーブルを図８を参照して説明しておく。
再送管理テーブルは各メディアのパケットバッファ１６〜１８毎に設けられており、各メディア毎に、何番の送信順序番号Ｐ（Ｓ）のパケットが送信され、何番までの確認応答を受信し、さらには、各パケット毎に確認応答が得られるまでに許容するタイマ値及び再送処理を行った際の回数値を管理する。すなわち、再送管理テーブルには、メディア毎のパケットにサイクリックに付与された送信順序番号Ｐ（Ｓ）を示す送信Ｐ（Ｓ）ポインタ、確認応答パケットに含まれた受信順序番号Ｐ（Ｒ）を示す受信Ｐ（Ｒ）ポインタ、更には、送信順序番号が”０”〜”７”までの各パケットについて、再送処理を行うまでに許容する遅延時間を規定するタイマ値及び再送処理の上限回数を規定する再送回数の領域が設けられている。
【００３６】
次に、図９を参照して再送管理処理の手順を具体的に説明する。なお、この再送管理処理も各パケットバッファ１６〜１８毎に独立して実行される。
まず、パケットバッファのＰＵＴポインタとＧＥＴポインタとを比較してパケットバッファ内に送信すべきパケットがあるかを判断し（ステップＳ１）、パケットがある場合には当該パケットを多重化バッファ１９に格納する一方（ステップＳ２）、パケットがない場合にはステップＳ１の判断処理を繰り返し行う。
上記のように送信対象のパケットを多重化バッファ１９に格納した後、再送管理テーブルの送信Ｐ（Ｓ）ポインタを更新（＋１）し（ステップＳ３）、送信管理テーブルの対応する順序番号のパケットについて、定義テーブル（図７（ａ））に定義されている再送タイマ値を設定するとともにタイマ２３をスタートさせ（ステップＳ４）、更に、当該パケットについて、定義テーブルに定義されている再送回数値を再送管理テーブルの再送回数値に設定する（ステップＳ５）。
【００３７】
次いで、タイマ２３によるカウント値と送信管理テーブルの再送タイマ値とを比較してタイムアップしたパケットがあるかを判断し（ステップＳ６）、タイプアップしたパケットがない場合には上記の処理を繰り返し行う一方、タイムアップしたパケットがある場合には、当該パケットについての再送処理を行うために再送管理テーブルの対応する再送回数を更新（−１）する（ステップＳ７）。
次いで、更新した再送回数値が”０”すなわち規定された再送回数の上限値に達したかを判断し（ステップＳ８）、この規定値に未だ達していない場合には当該パケットについての再送を更に繰り返して行うために、送信管理テーブルの送信Ｐ（Ｓ）ポインタを戻して（−１）上記の処理を繰り返し行う（ステップＳ９）。すなわち、この送信Ｐ（Ｓ）ポインタを戻すことによって、当該パケットは未だ送信されていない状態と管理され、送信処理（すなわち、再送処理）が行われることとなる。
【００３８】
一方、規定値に達した場合には再送処理に費やすことができる時間が経過した状態であるので、伝送エラーが生じている当該パケットについて再送処理を打ち切るために、当該伝送エラーのパケットを正常受信されたパケットと同様に扱い、再送管理テーブルの送信Ｐ（Ｓ）ポインタを更新して次のパケットについての再送管理を行うとともに（ステップＳ１０）、パケットバッファの廃棄ポインタを更新する（ステップＳ１１）。
したがって、各メディア毎のパケットは再送回数で規定される時間内でのみ再送処理が行われ、各メディアの特性に応じて許容される遅延時間での再送処理が実行される。
【００３９】
ここで、上記の再送管理処理は受信側装置３０からの確認応答が得られない状態でのみ行われ、応答確認が得られたときには図１０に示す処理が主制御部９によって実行されて、対応するパケットを再送処理の対象から除外する。すなわち、確認応答パケットを受信すると、そのバーチャルチャネル番号ＶＣから何れのメディアについての応答かを特定して、対応する再送管理テーブルを特定する（ステップＳ２１）。
次いで、確認応答パケットの受信順序番号Ｐ（Ｒ）に１を加えた値を当該再送管理テーブルの送信Ｐ（Ｓ）ポインタに設定することにより、当該ポインタを更新して当該パケットを送信処理の対象から外す（ステップＳ２２）。そして、対応するパケットバッファの廃棄ポインタを更新して（ステップＳ２３）、当該パケットをパケットバッファから取り除く。
【００４０】
上記の確認応答は受信側装置３０の主制御部３８がＲＡＭ５１に格納されている受信管理テーブルを用いて行い、具体的には図１２に示す処理手順によって実行される。
ここで、ＲＡＭ５１に格納されている受信管理テーブルを図１１を参照して説明しておく。
受信管理テーブルは各メディアのパケットバッファ４０〜４２毎に設けられており、各メディア毎に、何番の送信順序番号Ｐ（Ｓ）のパケットを受信することを期待しているかを管理し、更には、正常受信されていないにも拘わらず確認応答パケットを送信するまでに許容されるタイマ値を各パケット毎に管理する。すなわち、受信管理テーブルには、メディア毎のパケットにサイクリックに付与された送信順序番号Ｐ（Ｓ）を示す受信Ｐ（Ｓ）期待値、更には、受信を期待する順序番号が”０”〜”７”までの各パケットについて、正常受信されていないにも拘わらず確認応答パケットを送信するまでに許容する遅延時間を規定するタイマ値の領域が設けられている。
【００４１】
次に、図１２を参照して確認応答の送信処理手順を具体的に説明する。なお、この処理も各パケットバッファ４０〜４２毎に独立して実行される。
まず、後述するステップＳ３７でスタートされたタイマ５２によるカウント値と受信管理テーブルのタイマ値とを比較して、タイムアップしたパケットがあるかを判断し（ステップＳ３１）、タイムアップしているものがない場合には、正常に受信できたパケットがあるかを確認する（ステップＳ３２）。この結果、未だ正常受信したパケットがない場合には上記の処理を繰り返して行う一方、正常受信したパケットがある場合には、当該パケットの送信順序番号Ｐ（Ｓ）と受信管理テーブルの受信Ｐ（Ｓ）期待値とが一致しているかを判断する（ステップＳ３３）。
【００４２】
この判断の結果、一致している場合には送信側装置１へ確認応答パケットを送信し（ステップＳ３４）、受信管理テーブルの受信Ｐ（Ｓ）期待値を更新（＋１）して次のパケットの受信に備え（ステップＳ３５）、正常受信したパケットのデータ部をパケットバッファから対応する符号化器へ出力する（ステップＳ３６）。
一方、上記の判断（ステップＳ３３）の結果、正常受信したパケットの送信順序番号Ｐ（Ｓ）と受信管理テーブルの受信Ｐ（Ｓ）期待値とが一致していない場合には、伝送エラーによって通信制御手段３５で破棄されたパケットがあるため、当該破棄された（抜けた）パケットについての再送処理を所定の時間内に規制するためにタイマ５２のスタートさせて（ステップＳ３７）、上記のステップＳ３１以降の処理を繰り返し行う。
【００４３】
そして、タイマ５２によるカウント値が受信管理テーブルのタイマ値（すなわち、ＲＯＭ４９に定義されたタイマ値）に達したところで（ステップＳ３１）、当該パケットは再送処理が試みられたが所定の時間内では正常に受信し得なかったので、受信動作を打ち切るために確認応答パケットを送信側装置１へ送信し（ステップＳ３８）、受信管理テーブルの受信Ｐ（Ｓ）期待値を更新（＋１）して次のパケットの受信に備える（ステップＳ３９）。
したがって、この受信側装置３０による応答確認の送出処理によっても、メディア毎の再送処理時間が規制される。
【００４４】
図１３〜図１５には、本発明の第２の実施例を示してある。
上述した実施例では、各メディアのパケット毎の再送処理に許容される時間を再送回数で規制したが、この実施例では、再送処理に許容される時間を予め直接的に定義している。
このため、パケットバッファ１６〜１８にそれぞれ対応して送信側装置１のＲＡＭ２２に格納されている再送管理テーブルを、図１３に示す構成に変更している。
再送管理テーブルは各メディアのパケットバッファ１６〜１８毎に設けられており、各メディア毎に、何番の送信順序番号Ｐ（Ｓ）のパケットが送信され、何番までの確認応答を受信し、更には、各パケット毎に確認応答が得られるまでに許容する応答遅延タイマ値、再送処理を行った際に許容し得る再送監視タイマ値、及び、再送処理を実行中であることを示す識別フラグを管理する。
【００４５】
すなわち、再送管理テーブルには、メディア毎のパケットにサイクリックに付与された送信順序番号Ｐ（Ｓ）を示す送信Ｐ（Ｓ）ポインタ、確認応答パケットに含まれた受信順序番号Ｐ（Ｒ）を示す受信Ｐ（Ｒ）ポインタ、更には、送信順序番号が”０”〜”７”までの各パケットについて、再送処理を行うことが許容される上限時間を規定する再送監視タイマ値、確認の応答の遅延に対して再送処理を行うまでに許容する遅延時間を規定する応答遅延タイマ値、及び、パケットについての送信処理が再送処理であるかを示す送信識別フラグの領域が設けられている。
【００４６】
この再送監視タイマと応答遅延タイマとはメディア毎のパケットを送信（再送ではない初回）するときにスタートされ、この初回の送信がなされることによって送信識別フラグが”１”にセットされる。
この応答遅延タイマをスタートさせることによって、当該パケットの確認応答が所定の応答遅延時間以内に得られるか（すなわち、再送を行うか）が管理され、また、この送信識別フラグを立てることによって、当該パケットについて以後送信を行うときには再送であることが識別される。また、再送監視タイマをスタートさせることによって、当該パケットについて再送処理を行うことが許容される時間が管理される。
【００４７】
また、再送管理を行うために送信側装置１のＲＯＭ２０に予め記憶されている定義テーブルも図１４に示す構成に変更されており、この定義テーブルには、各メディアデータ毎に再送処理を行うことが許容される上限時間を規定する再送監視タイマ値が記憶されている。すなわち、再送監視タイマ値によって再送処理を繰り返し行うことができる最大限の時間が規定されており、再送管理処理においては再送処理に費やしているタイマ値（時間）と当該再送監視タイマ値とが比較される。
なお、受信側装置３０のＲＡＭ５１に記憶された受信管理テーブル及びＲＯＭ４９に記憶された定義テーブルは、上述した実施例と同様である。
【００４８】
次に、図１５を参照して、本実施例における再送管理処理の手順を具体的に説明する。なお、この再送管理処理も各パケットバッファ１６〜１８毎に独立して実行される。
まず、パケットバッファのＰＵＴポインタとＧＥＴポインタとを比較してパケットバッファ内に送信すべきパケットがあるかを判断し（ステップＳ４１）、パケットがある場合には当該パケットを多重化バッファ１９に格納する一方（ステップＳ４２）、パケットがない場合にはステップＳ４１の判断処理を繰り返し行う。
そして、上記のように送信対象のパケットを多重化バッファ１９に格納した後、再送管理テーブルの送信Ｐ（Ｓ）ポインタを更新（＋１）し（ステップＳ４３）、送信管理テーブルの対応する順序番号のパケットについて、応答遅延時間を計時するためのタイマ２３をスタートさせる（ステップＳ４４）。
【００４９】
次いで、再送管理テーブルの送信識別フラグを確認して（ステップＳ４５）、当該フラグが”０”である場合（再送処理ではない場合）には、当該パケットについて以後に再送処理が行われた場合にこれを時間管理するため、当該パケットについての再送許容時間を計時するためのタイマ２３をスタートさせる（ステップＳ４６）。なお、この処理を行うと同時に、送信識別フラグが”１”にセットされる。
一方、送信識別フラグが”１”である場合には、当該パケットについてこれから行う送信処理は２回目以降（すなわち、再送）であり、既に再送監視タイマはスターとされているのでそのまま次の処理ステップへ移行する。
【００５０】
次いで、タイマ２３によるカウント値と送信管理テーブルの応答遅延タイマ値とを比較してタイムアップしたパケットがあるかを判断し（ステップＳ４７）、タイプアップしたパケットがない場合には上記の処理を繰り返し行う。一方、タイムアップしたパケットがある場合には、当該パケットについての再送処理を行う時間があるかを確認するため、タイマ２３によるカウント値と送信管理テーブルの再送監視タイマ値とを比較してタイムアップしたかを判断する（テップＳ４８）。
この結果、このタイムアップしていない場合には当該パケットについての再送を更に繰り返して行うために、送信管理テーブルの送信Ｐ（Ｓ）ポインタを戻して（−１）上記の処理を繰り返し行う（ステップＳ４９）。すなわち、この送信Ｐ（Ｓ）ポインタを戻すことによって、当該パケットは未だ送信されていない状態と管理され、送信処理（すなわち、再送処理）が行われることとなる。
【００５１】
一方、タイムアップした場合には再送処理に費やすことができる時間が経過した状態であるので、伝送エラーが生じている当該パケットについて再送処理を打ち切るために、当該伝送エラーのパケットを正常受信されたパケットと同様に扱い、再送管理テーブルの送信Ｐ（Ｓ）ポインタを更新して次のパケットについての再送管理を行うとともに（ステップＳ５０）、パケットバッファの廃棄ポインタを更新する（ステップＳ５１）。
したがって、各メディア毎のパケットは再送監視タイマ値で規定される時間内でのみ再送処理が行われ、各メディアの特性に応じて許容される遅延時間での再送処理が実行される。
【００５２】
なお、上記実施例ではカメラやマイクロホンで入力したデータをパケット通信する例を示したが、記憶装置に予め記憶されらメディアデータをパケット通信するようにしてもよく、また、本発明は予めパケット化されたマルチメディアデータに対しても適用することができる。
また、上記の実施例では各パケットのメディア種別をバーチャルチャネル番号で識別したが、各パケットにメディア種別情報を付加するようにしてもよい。
【００５３】
【発明の効果】
以上説明したように、本発明によると、多重化された複数種類のメディアデータの通信において、伝送エラーの発生に対する再送処理がメディア毎に予め設定した時間内で行われるため、再送処理に起因して過大な遅延時間が生ずることが防止され、各メディアの特性に応じたデータ通信を実現することができる。
特に、中継伝送の速度が低速で且つ固定的（例えば、ＰＨＳでは３２Ｋｂｐｓ）な無線通信手段を用いてマルチメディア通信を行う場合に適用して本発明は顕著な効果を奏し、また、簡易テレビ電話システム、ビデオフォンシステム、遠隔指示システム、工事立ち会いシステム、遠隔監視システム等といった広い分野への適用も可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るマルチメディア多重化通信装置の構成図である。
【図２】データストリームのパケット化を説明する概念図である。
【図３】データパケット及び確認応答パケットの構成を説明する図である。
【図４】パケットの多重化を説明する概念図である。
【図５】多重化パケット列の伝送フレーム構成を説明する図である。
【図６】多重化パケット列の分離を説明する概念図である。
【図７】送信側装置及び受信側装置の定義テーブルを説明する概念図である。
【図８】送信側装置に備えられた送信管理テーブルの一例を説明する概念図である。
【図９】再送管理処理の手順の一例を示すフローチャートである。
【図１０】確認応答受信処理の手順の一例を示すフローチャートである。
【図１１】受信側装置に備えられた受信管理テーブルの一例を説明する概念図である。
【図１２】確認応答送信処理の手順の一例を示すフローチャートである。
【図１３】送信側装置に備えられた再送管理テーブルの一例を説明する概念図である。
【図１４】送信側装置の定義テーブルを説明する概念図である。
【図１５】再送管理処理の手順の他の一例を示すフローチャートである。
【図１６】従来における多重化パケット列の伝送フレーム構成を説明する図である。
【符号の説明】
１・・・送信側装置、 ２・・・カメラ、 ３・・・テキストファイル、
４・・・マイクロフォン、 ５・・・通信手段、 ６・・・送信符号化部、
７・・・送信パケット部、 ８・・・通信制御手段、 ９・・・主制御部、
３０・・・受信側装置、 ３１・・・表示部、 ３２・・・テキストファイル、
３３・・・スピーカ、 ３４・・・通信手段、 ３５・・・通信制御手段、
３６・・・受信パケット部、 ３７・・・受信復号化部、
３８・・・主制御部、

Claims (2)

1. パケット化した複数種類のメディアデータを多重化して送信するマルチメディア多重化通信方法において、
   各メディアデータの種類毎に、再送処理を行うこととする確認応答の受信までの時間と、再送処理を繰り返し行うことができる回数であって各メディアデータの種類毎に異なる回数を予め設定し、
   各メディアデータの種類毎に設定された前記時間及び前記回数に基づいて、送信側装置が、送信したメディアデータパケットについて受信側装置から正常受信の確認応答を前記時間内に得ない場合に再送処理を行い且つ前記回数内で再送処理を行うことを特徴とするマルチメディア多重化通信方法。
2. 送信側装置によりパケット化された複数種類のメディアデータを混合多重化して送信し、受信側装置によりパケット列を受信して各メディアデータを再生するマルチメディア多重化通信システムにおいて、
   送信側装置に、各メディアデータの種類毎に再送処理を行うこととする確認応答の受信までの時間と再送処理を繰り返し行うことができる回数が記憶された送信側テーブルを設け、
   受信側装置に、各メディアデータの種類毎に再送処理を受信側装置から打ち切るための時間が記憶された受信側テーブルを設け、
   送信側装置は、各メディアデータの種類毎に前記送信側テーブルに記憶された前記時間及び前記回数に基づいて、送信したメディアデータパケットを受信する受信側装置から正常受信の確認応答を受信するまでに前記送信側テーブルに記憶された前記時間を超えた場合に再送処理を行い且つ当該メディアデータパケットについて前記回数内で再送処理を行い、
   受信側装置は、送信側装置から送信されたメディアデータパケットを正常受信した場合に前記正常受信の確認応答を送信側装置に対して送信し、
   更に、受信側装置は、各メディアデータの種類毎に前記受信側テーブルに記憶された時間に基づいて、送信側装置からのメディアデータパケットを前記時間内に正常受信しない場合には再送処理を打ち切る、ことを特徴とするマルチメディア多重化通信システム。

Images