JPH118598A

JPH118598A - 多重伝送方法

Info

Publication number: JPH118598A
Application number: JP15943497A
Authority: JP
Inventors: Akio Kurobe; 彰夫黒部; Koji Ikeda; 浩二池田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-06-17
Filing date: 1997-06-17
Publication date: 1999-01-12

Abstract

(57)【要約】【課題】誤りに強く、伝送効率の良い多重伝送方法を
提供することである。【解決手段】１つの多重化フレームに２フレーム以上
の音声フレームを多重する場合において、１つの多重化
フレームに多重された音声フレームがすべて無音フレー
ムの場合にのみ、これらすべてを伝送する代わりにビデ
オフレームまたはデータフレームを伝送することとし、
音声フレームを多重しない多重化フレームのうち少なく
とも１フレーム以上は音声フレームを多重する多重化フ
レームのすべての音声フレームを合わせた大きさと同じ
大きさのビデオフレームまたはデータフレームを多重す
ることによってビデオフレームの大きさを一種類にする
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多重伝送方法に関
し、より特定的には、高能率圧縮された音声データとビ
デオデータおよび／またはコンピュータデータとを多重
して伝送する方法に関する。

【０００２】

【従来の技術】テレビ電話やテレビ会議システムにおい
ては、膨大な情報量を持つビデオ信号は、高能率で符号
化した後、伝送先に伝送することが一般的である。この
ような高能率符号化の例としては、ＩＴＵ−Ｔ（ＩＮＴ
ＥＲＮＡＴＩＯＮＡＬＴＥＬＥＣＯＭＭＵＮＵＣＡＴ
ＩＯＮＵＮＩＯＮ−ＴＥＬＥＣＯＭＭＵＮＵＣＡＴＩ
ＯＮＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮＳＥＣＴＯ
Ｒ）の国際標準規格であるＨ．２６１やＨ．２６３が知
られている。

【０００３】これらの規格では、いずれも圧縮符号化方
式として、動き補償フレーム間予測符号化方法や可変長
符号化を採用しているため、伝送誤りに対しては大変敏
感である。すなわち、１ビットの誤りでも発生すると、
当該誤りによる影響は、画面の大きな範囲へ伝搬すると
ともに、時間軸方向にも伝搬し、画質の劣化が著しい。
そのため、伝送誤りが発生しやすいアナログ電話回線で
は、再送制御により誤り訂正を行ってから画像復号化を
行うのが一般的である。

【０００４】一方、音声データは、ＩＴＵ−Ｔが勧告し
たＧ．７２３のように、高能率符号化により超低ビット
レートに圧縮して伝送するのが一般的である。音声デー
タは、ビデオデータに比べると、伝送誤りが目立ちにく
い性質をもつ反面、伝送遅延には敏感である。従って、
Ｇ．７２３では、再送による誤り訂正は用いず、誤りを
検出した場合にはミューティングすることで、伝送誤り
がノイズ化することを防止している。

【０００５】こうした再送型の可変長データであるビデ
オデータと、非再送型の固定長データである音声データ
とを多重伝送する方法として、同じくＩＴＵ−Ｔから
Ｈ．２２３が勧告されている。

【０００６】以下には、従来の多重伝送方式の一例とし
て、Ｈ．２２３を、図を参照して説明する。

【０００７】図３１は、Ｈ．２２３で決められた多重化
伝送方式を採用した多重化伝送装置の一般的なレイヤ構
造を示している。図３１において、この多重化伝送装置
は、物理層８０１と、多重化層８０２と、適応化層８０
３と、ビデオコーダー８０４と、音声コーダー８０５
と、データプロトコル８０６と、ＬＡＰＭ８０７と、
Ｈ．２４５制御８０８と、ビデオＩ／Ｏ８０９と、オー
ディオＩ／Ｏ８１０と、応用層８１１とを備えている。

【０００８】Ｈ．２２３では、物理層８０１として、２
８．８Ｋｂｐｓのアナログ電話回線用のモデムが想定さ
れている。また、多重化層８０２および適応化層８０３
として、ビデオの再送制御による誤り訂正のためのフレ
ーム構成および手順と、音声の誤り検出のためのフレー
ム構成とが規定されている。また、ビデオコーダー８０
４として、Ｈ．２６３が想定されている。また、音声コ
ーダー８０５として、Ｇ．７２３が想定されている。そ
して、ＩＴＵ−Ｔは、これらのシステム全体の仕様勧告
として、Ｈ．３２４を発行している。なお、Ｈ．２２３
では、データプロトコル８０６は特に規定されていな
い。また、ＬＡＰＭ８０７として、制御データの通信手
順が規定されている。また、Ｈ．２４５制御８０８とし
て、システム制御のコマンドや手順が想定されている。

【０００９】次に、Ｈ．２２３の多重化層８０２におけ
る多重化フレームフォーマットを、図３２に示す。図３
２において、開始フラグおよび終了フラグには、フラグ
同期をとるために、ＨＤＬＣで用いられるフラグと同じ
ビットパターン「０１１１１１１０」が用いられる。
Ｈ．２２３では、開始フラグおよび終了フラグの透過性
を保つため、フラグ以外の部分で１が５回連続する後に
は０を挿入し、受信側でこれを削除することを規定して
いる。ヘッダは、以下に続く情報フィールドを、どのよ
うなスロットに分割してどのようなデータを多重するか
を示している。図３３は、音声データとコンピュータデ
ータとビデオデータとを多重した場合の多重化層８０２
における多重化フレームフォーマットの一例を示してい
る。

【００１０】適応化層８０３では、ビデオの再送制御に
よる誤り訂正のためのフレームフォーマットおよび手順
が規定されている。図３４にビデオの再送制御による誤
り訂正のためのＡＲＱ（ＡｕｔｏｍａｔｉｃＲｅｐｅ
ａｔｒｅＱｕｅｓｔ）フレームフォーマットを示す。
図３４において、制御フィールドには、再送制御のため
の送信番号と、以下に続くペイロードフィールドが情報
フレームなのか監視フレームなのかを示すフラグとが格
納されている。ペイロードフィールドは、情報フレーム
の場合はビデオデータを、監視フレームの場合は再送要
求番号と再送要求コマンドとを格納する。ＣＲＣフィー
ルドは、誤り検出のためのチェックコードを格納してい
る。また、適応化層８０３で決められている再送制御の
手順は、ウインドウサイズ１２８フレームのセレクティ
ブリピートＡＲＱ方式であり、ＣＲＣチェックにより誤
りが検出されたフレームの送信番号を再送要求番号とし
て、送信要求コマンドとともに監視フレームで一度だけ
再送を要求する。

【００１１】このＨ．２２３は、多重化フレーム、ビデ
オフレームをともに可変長とし、また、フラグ同期を用
いている。そのため、フラグに誤りがあると、フレーム
同期を見失うことになる。また、他のデータに誤りが生
じた場合、当該他のデータがフラグに化け、これによっ
て同期が外れる場合もある。このように、Ｈ．２２３
は、誤りに対して弱いという課題がある。

【００１２】一方、簡易型携帯電話であるＰＨＳ（パー
ソナル・ハンディホン・システム）の無線回線（３２ｋ
ｂｐｓの伝送速度を持つ）は、アナログ電話回線に比べ
てさらに伝送誤りが発生しやすくなっている。従来、こ
のようなＰＨＳの無線回線においてコンピュータデータ
を伝送する際の伝送制御方式として、例えばＰＩＡＦＳ
（ＰＨＳＩｎｔｅｒｎｅｔＡｃｃｅｓｓＦｏｒｕ
ｍＳｔａｎｄａｒｄ）が日本国内において提案されて
いる。

【００１３】ＰＩＡＦＳにおけるＡＲＱフレームは、固
定長（８０バイト）である。図３５にＰＩＡＦＳのフレ
ーム構成を示す。図３５において、フレーム種別識別領
域にはフレーム種別が、誤り制御領域には送信フレーム
番号および最も古い未受信フレーム番号が、ユーザデー
タ長表示領域にはユーザデータ領域内の有意なデータの
データ長が、ユーザデータ領域にはユーザデータが、誤
り検出符号領域にはＡＲＱフレーム全体の誤りを検出す
る誤り検出符号が格納されている。

【００１４】ＰＩＡＦＳでは、フレーム同期は、通信に
先立って、同期フラグを含んだ同期フレームを用いて確
立し、データフレームのフレーム長を同期フレームと同
じ長さにすることで、以降のフレーム同期を継続するた
め、データフレームに同期フラグを必要としない。この
ＰＩＡＦＳは、ＡＲＱフレームが固定長であるため、誤
りがあってもフレーム同期を見失うことがなく、誤りに
対して強くなっている。

【００１５】そこで、Ｈ．２２３において多重化フレー
ムを固定長にすると、誤りがあっても多重化フレームの
同期がとれ、多重化フレームが誤りに対して強くなる。

【００１６】我々はＰＩＡＦＳの同期フレームで同期を
確立した後に、同期フレームと同じフレーム長の固定長
の多重化フレームを用い、さらに多重するビデオフレー
ムのフレーム長を増減して１つの多重化フレームに１つ
のビデオフレームを格納することで同期のとれた誤りに
強い多重伝送を実現する方法を提案している（特願平９
−１１８４７９号）。

【００１７】そこでは、図３６（ａ）のように、１フレ
ームの音声フレームを格納する領域を含む８０バイトの
第１の多重化フレームと、音声フレームを多重しない８
０バイトの第２の固定長多重化フレームが２：１の割合
で現れるパターンで伝送する形態や図３６（ｄ）のよう
に、２フレームの音声フレームを格納する領域を含む８
０バイトの第３の多重化フレームと、音声フレームを多
重しない８０バイトの第２の固定長多重化フレームが
１：２の割合で現れるパターンで伝送する形態等が考え
られている。

【００１８】こうすることにより８０バイトの多重化フ
レームで１２０バイト中１フレームの音声データを伝送
できる。さらにこの場合には、無音区間において音声フ
レームが発生しなかったときに、無音フレームを伝送す
る代わりに、第２の固定長多重化フレームまたは第１ま
たは第４の多重化フレームを用いることでビデオフレー
ムの伝送帯域が増やせる。この拡張されたビデオフレー
ムに誤りが生じた際の再送時に有音となった時にでも第
２の固定長多重化フレームで再送を行うことができる。
Ｇ．７２３の音声フレームの最初の１オクテットの２ビ
ット目はＶＡＤＦＬＡＧ＿Ｂ０であり、このビットが０
のときは、音声フレームが有音(activespeech)であるこ
とを表し、ビットが１のときは音声フレームが無音(non
-speech)であることを表す。

【００１９】以下、有音である音声フレームを有音フレ
ーム、無音である音声フレームを無音フレームと呼ぶこ
ととする。無音フレームを音声デコーダーへ入力する
と、２オクテット目以降のデータは無視され、音声デコ
ーダーは背景雑音を出力する。

【００２０】しかし、図３６の（ａ），（ｂ），
（ｅ），（ｆ）においては、２種類のフレーム長のビデ
オフレームが発生するため、以下に示す２つの課題を生
じる。第１の課題はフレーム長の長いビデオフレームは
フレーム長の短いビデオフレームを格納する多重化フレ
ームでは伝送できないため、再送要求を受けてもフレー
ム長の長いビデオフレームを格納する多重化フレームを
待つことになり、ビデオフレームの再送に遅延が生じ、
リアルタイムなビデオの伝送に支障をきたす。特に
（ｃ）の状態でエラーが多発し、それを再送する時点で
有音となり（ａ）の状態になった場合、すべての再送フ
レームを１／３の頻度でしか現れない第２の多重化フレ
ームのみで行うため大きな遅延となる。

【００２１】さらに受信側において再送要求のリトライ
のためのタイマのタイムアウト値をこの大きな遅延時間
を含めて設計することを強いられるため、再送要求に伝
送エラーが生じたさいの再送要求のリトライのタイミン
グにも遅延が生じることになる。第２の課題はフレーム
長の短いビデオフレームをフレーム長の長いビデオフレ
ームを格納する多重化フレームで伝送する際に生じる。
この場合、データ部にスタッフィングをする必要が生じ
る。スタッフィングは余分な詰め物をすることであり、
そのもの事体が冗長であるだけでなく、その有無を判別
するためのフラグを常時伝送する必要があり伝送効率の
低下を招く。

【００２２】また、スタッフィングの有無を判別するフ
ラグやスタッフィングの長さを示すコードに伝送誤りが
生じた場合、正しいビデオフレームの大きさや場所が分
からなくなるためビデオフレームに伝送誤りが生じなく
ても結果的に伝送エラーとなってしまう。

【００２３】

【発明が解決しようとする課題】本発明は、上記のよう
な問題を解決するためのもので、多重するビデオフレー
ムのフレーム長を１つにし、かつ、無音区間の音声帯域
をビデオの帯域に利用でき、ビデオの再送遅延が少な
く、エラーに強く、高効率な多重伝送方法を提供するこ
とを目的とする。

【００２４】

【課題を解決するための手段】この課題を解決するため
に、本発明の多重伝送方法では、請求項１記載の発明に
おいては、１つの多重化フレームに２フレーム以上の音
声フレームを多重する場合において、１つの多重化フレ
ームに多重された音声フレームがすべて無音フレームの
場合にのみ、これらすべての帯域をビデオフレームまた
はデータフレームとして利用することとしている。

【００２５】請求項２記載の発明においては、１つの多
重化フレームに２フレーム以上の音声フレームを多重す
る場合において、１つの多重化フレームに多重された音
声フレームがすべて無音フレームの場合にのみ、これら
すべてを伝送する代わりにビデオフレームまたはデータ
フレームを伝送することとしている。

【００２６】請求項３記載の発明においては、１つの多
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。

【００２７】請求項４記載の発明においては、音声フレ
ームを多重しない多重化フレームのうち少なくとも１フ
レーム以上は音声フレームを多重する多重化フレームの
すべての音声フレームを合わせた大きさと同じ大きさの
ビデオフレームまたはデータフレームを多重しているこ
ととしている。

【００２８】請求項５記載の発明においては、１つの多
重化フレームに多重する音声フレームに１つでも有音フ
レームが含まれる場合、有音フレーム又は無音フレーム
を多重して伝送することとしている。

【００２９】請求項６記載の発明においては、１つの多
重化フレームに多重する音声フレームに少なくとも一つ
の有音フレームと一つ以上の無音フレームが含まれる場
合、無音フレームの代わりに有音フレームを重複して多
重して伝送することとしている。

【００３０】請求項７記載の発明においては、１つ以上
の音声フレームと別の種類のフレームの全部または一部
を多重して１つの多重化フレームとして一定周期で伝送
する場合に、音声フレームすべてが無音フレームのとき
音声フレームおよび一緒に多重していた別の種類のフレ
ームの全部または一部を伝送する代わりにビデオフレー
ム又はデータフレームを伝送することとしている。

【００３１】請求項８記載の発明においては、１つの多
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。

【００３２】請求項９記載の発明においては、音声フレ
ームを多重しない多重化フレームのうち少なくとも１フ
レーム以上は音声フレームを多重する多重化フレームの
すべての音声フレームと別の種類のフレームの全部また
は一部の大きさを合わせた大きさと同じ大きさのビデオ
フレームまたはデータフレームを多重していることとし
ている。

【００３３】請求項１０記載の発明においては、１つの
多重化フレームに多重する音声フレームに１つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することとしている。

【００３４】請求項１１記載の発明においては、１つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、無音フレームの代わりに有音フレームを重複して
多重して伝送することとしている。

【００３５】請求項１２記載の発明においては、１つ以
上の音声フレームと別の種類のフレームの全部または一
部を多重して１つの多重化フレームとして一定周期で伝
送する場合に、音声フレームすべてが無音フレームでか
つ別の種類のフレームを多重伝送する必要のないときは
音声フレームおよび一緒に多重していた別の種類のフレ
ームの全部または一部を伝送する代わりにビデオフレー
ム又はデータフレームを伝送し、音声フレームすべてが
無音フレームでかつ別の種類のフレームを多重伝送する
必要があるとき音声フレームおよび一緒に多重していた
別の種類のフレームの全部または一部を伝送する代わり
に他のフレームの全部または一部を伝送することとして
いる。

【００３６】請求１３記載の発明においては、１つの多
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。

【００３７】請求項１４記載の発明においては、音声フ
レームを多重しない多重化フレームのうち少なくとも１
フレーム以上は音声フレームを多重する多重化フレーム
のすべての音声フレームと別の種類のフレームの全部ま
たは一部の大きさを合わせた大きさと同じ大きさのビデ
オフレームまたはデータフレームを多重していることと
している。

【００３８】請求項１５記載の発明においては、１つの
多重化フレームに多重する音声フレームに１つでも有音
フレームが含まれる場合、別の種類のデータフレームを
多重伝送する必要がないときには有音フレーム又は無音
フレームを多重して伝送し、別の種類のデータフレーム
を多重伝送する必要があるときには無音フレームの代わ
りに別の種類のデータフレームの全部または一部を多重
して伝送することとしている。

【００３９】請求項１６記載の発明においては、１つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、無音フレームの代わりに有音フレームを重複して
多重して伝送することとしている。

【００４０】請求項１７記載の発明においては、別の種
類のフレームを伝送する必要がない場合、別の種類のフ
レームの代わりに有音フレームを重複して多重して伝送
することとしている。

【００４１】請求項１８記載の発明においては、１つの
多重化フレームに２フレーム以上の音声フレームを多重
するソフトウエアプログラムを格納した記録媒体であっ
て、ソフトウエアプログラム１つの多重化フレームに多
重された音声フレームがすべて無音フレームの場合にの
み、これらすべてを伝送する代わりにビデオフレームま
たはデータフレームを伝送することとしている。

【００４２】請求項１９記載の発明においては、請求項
１８記載のソフトウエアプログラムは、１つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。

【００４３】請求項２０記載の発明においては、請求項
１９記載のソフトウエアプログラムは、音声フレームを
多重しない多重化フレームのうち少なくとも１フレーム
以上は音声フレームを多重する多重化フレームのすべて
の音声フレームを合わせた大きさと同じ大きさのビデオ
フレームまたはデータフレームを多重していることとし
ている。

【００４４】請求項２１記載の発明においては、請求項
１８から２０記載のソフトウエアプログラムは、１つの
多重化フレームに多重する音声フレームに１つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することとしている。

【００４５】請求項２２記載の発明においては、請求項
２０記載のソフトウエアプログラムは、１つの多重化フ
レームに多重する音声フレームに少なくとも一つの有音
フレームと一つ以上の無音フレームが含まれる場合、無
音フレームの代わりに有音フレームを重複して多重して
伝送することとしている。

【００４６】請求項２３記載の発明においては、１つ以
上の音声フレームと別の種類のフレームの全部または一
部を多重して１つの多重化フレームとして一定周期で伝
送するソフトウエアプログラムを記録した記録媒体であ
って、音声フレームすべてが無音フレームのとき音声フ
レームおよび一緒に多重していた別の種類のフレームの
全部または一部を伝送する代わりにビデオフレーム又は
データフレームを伝送することとしている。

【００４７】請求項２４記載の発明においては、請求項
２３記載のソフトウエアプログラムは、１つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。

【００４８】請求項２５記載の発明においては、請求項
２４記載のソフトウエアプログラムは、前記音声フレー
ムを多重しない前記多重化フレームのうち少なくとも１
フレーム以上は前記音声フレームを多重する多重化フレ
ームのすべての音声フレームと前記別の種類のフレーム
の全部または一部の大きさを合わせた大きさと同じ大き
さのビデオフレームまたはデータフレームを多重してい
ることとしている。

【００４９】請求項２６記載の発明においては、請求項
２３から請求項２５記載のソフトウエアプログラムは、
１つの多重化フレームに多重する音声フレームに１つで
も有音フレームが含まれる場合、有音フレーム又は無音
フレームを多重して伝送することとしている。

【００５０】請求項２７記載の発明においては、請求項
２３から請求項２５記載のソフトウエアプログラムは、
１つの多重化フレームに多重する音声フレームに少なく
とも一つの有音フレームと一つ以上の無音フレームが含
まれる場合、前記無音フレームの代わりに前記有音フレ
ームを重複して多重して伝送することとしている。

【００５１】請求項２８記載の発明においては、１つ以
上の音声フレームと別の種類のフレームの全部または一
部を多重して１つの多重化フレームとして一定周期で伝
送するソフトウエアプログラムを記録した記録媒体であ
って、音声フレームすべてが無音フレームでかつ別の種
類のフレームを多重伝送する必要のないときは音声フレ
ームおよび一緒に多重していた別の種類のフレームの全
部または一部を伝送する代わりにビデオフレーム又はデ
ータフレームを伝送し、音声フレームすべてが無音フレ
ームでかつ別の種類のフレームを多重伝送する必要があ
るとき音声フレームおよび一緒に多重していた別の種類
のフレームの全部または一部を伝送する代わりに別の種
類のフレームの全部または一部を伝送することとしてい
る。

【００５２】請求項２９記載の発明においては、請求項
２８記載のソフトウエアプログラムは、１つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。

【００５３】請求項３０記載の発明においては、請求項
２９記載のソフトウエアプログラムは音声フレームを多
重しない多重化フレームのうち少なくとも１フレーム以
上は音声フレームを多重する多重化フレームのすべての
音声フレームと別の種類のフレームの全部または一部の
大きさを合わせた大きさと同じ大きさのビデオフレーム
またはデータフレームを多重していることとしている。

【００５４】請求項３１記載の発明においては、請求項
２８から請求項３０記載のソフトウエアプログラムは、
１つの多重化フレームに多重する音声フレームに１つで
も有音フレームが含まれる場合、別の種類のフレームを
多重伝送する必要がないときには有音フレーム又は無音
フレームを多重して伝送し、別の種類のフレームを多重
伝送する必要があるときには無音フレームの代わりに別
の種類のフレームの全部または一部を多重して伝送する
こととしている。

【００５５】請求項３２記載の発明においては、請求項
２８から請求項３０記載のソフトウエアプログラムは、
１つの多重化フレームに多重する音声フレームに少なく
とも一つの有音フレームと一つ以上の無音フレームが含
まれる場合、無音フレームの代わりに有音フレームを重
複して多重して伝送することとしている。

【００５６】請求項３３記載の発明においては、請求項
３０から請求項３２記載のソフトウエアプログラムは、
別の種類のフレームを伝送する必要がない場合、別の種
類のフレームの代わりに有音フレームを重複して多重し
て伝送することとしている。

【００５７】

【発明の実施の形態】

（実施の形態１）以下、請求項１、２、３、４記載の発
明について第１実施の形態を用いて、図面を参照しなが
ら説明する。

【００５８】図１は、本実施の形態における多重化フレ
ームのタイミング図である。図１は２４０バイト中に生
成される３つの多重化フレームの伝送タイミングをあら
わしており、２４０バイト毎に２つ生成される音声フレ
ームの有音、無音の状況により（ａ）、（ｂ）、
（ｃ）、（ｄ）のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。また伝送レートは３２ｋｂｐ
ｓとし、２４０バイト伝送するのにかかる時間は６０ｍ
Ｓｅｃである。図１においてＭＣは多重化情報であり、
ＡＶ信号の伝送に先立って送信側が多重化情報と多重化
構造の関係を受信側に通知している。ここでは多重化構
造と多重化情報の対応表として図２をもちいるものと
し、ＭＣ＝１はビデオフレームが７６バイトつづくこと
を示し、ＭＣ＝２は第一の音声フレームが３８バイト、
第２の音声フレームが３８バイトつづくことを示すこと
としている。第１、第２の音声フレームは連続して３０
ｍｓ毎に生成された音声フレームであり、第１の音声フ
レームの後に第２の音声フレームが生成されているもの
とする。本来Ｇ．７２３における音声フレームは２０バ
イトあるいは２４バイトであるが誤り検出フラグ、誤り
訂正フラグなどを付加して３８バイトとしている。それ
ぞれの多重化フレームは８０バイトの固定長の場合であ
り、これを３２ｋｂｐｓで伝送する場合３０ｍｓ毎に生
成される音声フレームは３多重化フレーム、すなわち２
４０バイトに２フレーム生成される。ここでは、これら
２フレームを１つの多重化フレームで伝送する。図１
（ａ）は１つの多重化フレームに含まれる、２つの音声
フレームが有音の場合、図１(ｂ）、図１（ｃ）は１つ
の音声フレームが有音で１つの音声フレームが無音の場
合を表している。図１（ｄ）は１つの多重化フレームに
含まれる、２つの音声フレームが無音だった場合を表
し、このとき無音フレームを２つ送信する代わりにビデ
オフレームを送信する。

【００５９】次に本実施の形態における送信側の多重化
処理フローを図３に示す。始めに３０１にてカウンタＣ
を０に初期化した後、３０２にて８０バイト伝送時間毎
に通知される多重化フレーム生成の要求が来るのを待
つ。つぎに３０３にてカウンタＣ＝２であるか判定を行
い、Ｃ＝２でない場合には３０４にてＣを１加算したの
ち３０５にてビデオデータからＭＣ＝１の多重化フレー
ムを生成し３０２より繰り返す。一方３０３にてカウン
タＣ＝２の場合には３０６にてカウンタＣを０にクリア
した後、３０７にて２つの音声フレームを音声エンコー
ダより入力する。その後３０８にて２つの音声フレーム
が共に無音であるかの判定を行い、少なくとも一つが有
音フレームである場合には、前記２つの音声フレームよ
りＭＣ＝２の多重化フレームを生成し３０２より繰り返
す。３０８にて第１、第２の音声フレームが共に無音で
あった場合には、ビデオデータよりＭＣ＝１の多重化フ
レームを生成し３０２より繰り返す。以上のような処理
フローを実行することにより図１に示す多重化フレーム
を生成することができる。

【００６０】また、本実施の形態における受信側の多重
分離処理フローを図４に示す。始めに４０１にてカウン
タＣを０に初期化した後、４０２にて８０バイトの多重
化フレームが到着するのを待つ。次に４０３にて多重化
フレームのＭＣが２か判定を行いＭＣ＝２の場合には４
０４にてカウンタＣを０にクリアした後、４０５にて多
重化フレームより２つの音声フレームを分離し音声デコ
ーダに渡し、４０２から繰り返す。４０３にてＭＣ＝２
でなかった場合には、４０６にてカウンタＣが２である
か判定を行い、Ｃ＝２の場合には４０８にてカウンタＣ
をクリアした後、４０９にてローカルで生成した無音フ
レームを２つ音声デコーダに渡したのち４０２へ進む。
４０６にてＣ＝２でなかった場合には、カウンタＣを１
加算した後、４１０へ進む。４１０では、多重化フレー
ムのＭＣが１であるかの判定を行い、ＭＣ＝１の場合に
は、多重化フレームより抽出したビデオフレームをビデ
オデコーダへ渡し、４０２より繰り返す。４１０にて、
ＭＣ＝１でない場合には受信した多重化フレームは無効
と判定し４０２より繰り返す。以上の処理フローを行う
ことにより図１（d)のような一連の多重化フレームを受
け取った場合に無音部分を判定し、無音フレームを生成
して音声デコーダへ渡すことができる。

【００６１】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、図１に示すとおり、ビ
デオフレームを含む多重化構造がひとつのみなので、ど
のタイミングのビデオフレームの再送においても、任意
のＭＣ＝１の多重化構造の多重化フレームにて直ちにビ
デオフレームを再送することができ、従来例のようにフ
レーム長の長い方のビデオフレームを再送する場合に、
フレーム長の長いビデオフレームを格納することができ
る多重化フレームが現れるまで再送待ちをする必要はな
い。唯一有音フレームが含まれる多重化フレームが現れ
た場合のみ、１多重化フレーム分待機する。また、フレ
ーム長の短いビデオフレームを再送する際に、スタッフ
ィングをしてフレーム長の長いビデオフレームを格納す
る多重化フレームにて伝送するようなことも生じない。

【００６２】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても１種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能にな
り、さらに無音の場合に音声フレームの領域をビデオフ
レームに割り振ることによりビデオの帯域を広げ効率よ
く伝送することができる。

【００６３】なお、本実施の形態では、一つの多重化フ
レームに２種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない１つの多重化フレームに３種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が６０バイトで、ビデオフレームを多重化す
る多重化フレーム３フレームと音声フレーム２フレーム
を多重化する多重化フレーム１フレームであってもよ
く、また、６４Ｋｂｐｓで伝送する場合に、８０バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム５フレームと音声フレームを多重化する多重化フ
レーム１フレームであってもよいし、６０バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
７フレームと音声フレームを多重化する多重化フレーム
１フレームであってもよい。

【００６４】また、本実施の形態では多重化フレームに
ビデオフレームのみ、あるいは音声フレームのみを多重
しているが、その他の種類のフレームを多重する場合に
もビデオフレームと複数の音声フレームのフレーム長を
等しくすることにより同等に効果を発揮する。

【００６５】さらに、２種類のサイズのビデオフレーム
にはなるが、その他の種類のフレームとしてやはりビデ
オフレームを多重しており、それと同じ多重化フレーム
に多重している音声フレームがすべて無音フレームの場
合にのみ、もとのビデオフレームのサイズと音声フレー
ムすべてのサイズを合計した大きさのビデオフレームを
伝送するようにすると、例えばひとつの多重化フレーム
に音声フレームを２フレーム多重している最も単純な場
合でも３種類のサイズのビデオフレームを取り扱うべき
ところが、２種類のサイズのビデオフレームを扱えばよ
いようになる。例えば、６４Ｋｂｐｓの伝送速度で８Ｋ
ｂｐｓの音声データを伝送する場合、８０バイトの多重
化フレームに１０バイトの音声フレームを２フレーム多
重し、残りの領域にビデオフレームを多重した多重化フ
レームと８０バイトの多重化フレームにビデオフレーム
を多重した多重化フレームを交互に伝送し、音声フレー
ムが２フレームとも無音フレームの際に８０バイトの多
重化フレームにビデオフレームを多重するようにすれ
ば、２種類のサイズのビデオフレームを扱えばよい。図
５はその他の種類のフレームとして、データフレームを
加えた場合の一例である。このとき、多重化構造と多重
化情報の対応表は、図６のようになり、多重処理フロー
の３０５、３０９、３１０ではデータを入力し多重する
処理が、多重分離フローの４０５、４１１ではデータを
分離し出力する処理がそれぞれ加わる。

【００６６】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図７に示すよ
うに複数の音声フレームと同じ大きさのデータフレーム
を伝送している場合には代わりにデータフレームを多重
してもよい。このときの多重化構造と多重化情報の対応
表は、図２である。

【００６７】（実施の形態２）以下、請求項５記載の発
明について第２の実施の形態を用いて、図面を参照しな
がら説明する。

【００６８】図８は、本実施の形態における多重化フレ
ームのタイミング図である。図８は２４０バイト中に生
成される３つの多重化フレームの伝送タイミングをあら
わしており、２４０バイト毎に２つ生成される音声フレ
ームの有音、無音の状況により（ａ）、（ｂ）、
（ｃ）、（ｄ）のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。

【００６９】図８における、多重化構造と多重化情報の
対応表は図９のようになり、ＭＣ＝１はビデオフレーム
が７６バイトつづくことを示し、ＭＣ＝２は第一の音声
フレームが３８バイト、第２の音声フレームが３８バイ
トつづくことを示すこととしている。第１、第２の音声
フレームは連続して３０ｍｓ毎に生成された音声フレー
ムであり、第１の音声フレームの後に第２の音声フレー
ムが生成されているものとする。本来Ｇ．７２３におけ
る音声フレームは２０バイトあるいは２４バイトである
が誤り検出フラグ、誤り訂正フラグなどを付加して３８
バイトとしている。ＭＣ＝３は第１の音声フレームを２
つ含み、第２の音声フレームを含んでいないことを表
し、ＭＣ＝４の場合は第２の音声フレームのみを２つ含
むことを表すものとする。それぞれの多重化フレームは
８０バイトの固定長の場合であり、これを３２ｋｂｐｓ
で伝送する場合３０ｍｓ毎に生成される音声フレームは
３多重化フレーム、すなわち２４０バイトに２フレーム
生成される。ここでは、これら２フレームを１つの多重
化フレームで伝送する。図８（ａ）は１つの多重化フレ
ームに含まれる、２つの音声フレームが有音の場合、図
８(ｂ）は第１の音声フレームが有音で、第２の音声フ
レームが無音の場合、図８（ｃ）は第１の音声フレーム
が無音で第２の音声フレームが有音の場合を表し、無音
フレームを送信する代わりに有音フレームを２回送る。
図８（ｄ）は１つの多重化フレームに含まれる、２つの
音声フレームが無音だった場合を表し、このとき無音フ
レームを２つ送信する代わりにビデオフレームを送信す
る。

【００７０】次に本実施の形態における送信側の多重化
処理フローを図１０に示す。始めに１００１にてカウン
タＣを０に初期化した後、１００２にて８０バイト伝送
時間毎に通知される多重化フレーム生成の要求が来るの
を待つ。つぎに１００３にてカウンタＣ＝２であるか判
定し、Ｃ＝２でない場合には１００４にてＣを１加算し
たのち１００５にてビデオデータからＭＣ＝１の多重化
フレームを生成し１００２より繰り返す。一方１００３
にてカウンタＣ＝２の場合には１００６にてカウンタＣ
を０にクリアした後、１００７にて第１、第２の音声フ
レームを音声エンコーダより入力する。その後１００８
にて２つの音声フレームが共に有音であるかの判定を行
い、２つとも有音フレームである場合には、１００９に
て前記第１、第２の音声フレームよりＭＣ＝２の多重化
フレームを生成し１００２より繰り返す。１００８にて
２つの音声フレームの少なくとも一方が無音であった場
合には、１０１０にて第１の音声フレームが有音か、の
判定を行い、第１の音声フレームが有音の場合には１０
１１にて第１の音声フレームを２つ多重したＭＣ＝３の
多重化フレームを生成し１００２より繰り返す。１０１
０にて第１の音声フレームが無音だった場合には、１０
１２にて第２の音声フレームが有音か、の判定を行い第
２の音声フレームが有音の場合には１０１３にて第２の
音声フレームを２つ多重したＭＣ＝４の多重化フレーム
を生成し、１００２より繰り返す。１０１２にて第２の
音声フレームが無音だった場合、ビデオデータよりＭＣ
＝１の多重化フレームを生成し１００２より繰り返す。
以上のような処理フローを実行することにより図７に示
す多重化フレームを生成することができる。

【００７１】また、本実施の形態における受信側の多重
分離処理フローを図１１に示す。始めに１１０１にてカ
ウンタＣを０に初期化した後、１１０２にて８０バイト
の多重化フレームが到着するのを待つ。次に１１０３に
て多重化フレームのＭＣが２か判定を行いＭＣ＝２の場
合には１１０４にてカウンタＣを０にクリアした後、１
１０５にて多重化フレームより第１、第２の音声フレー
ムを分離し音声デコーダに渡し、１１０２から繰り返
す。１１０３にてＭＣ＝２でなかった場合には、１１０
６にて多重化フレームのＭＣが３か判定を行いＭＣ＝３
の場合には１１０７にてカウンタＣを０にクリアした
後、１１０８にて多重化フレームより第１の音声フレー
ムを分離し、第１の音声フレーム、無音フレームの順で
音声デコーダに渡し、１１０２から繰り返す。１１０６
にてＭＣ＝３でなかった場合には、１１０９にて多重化
フレームのＭＣが４か判定を行いＭＣ＝４の場合には１
１１０にてカウンタＣを０にクリアした後、１１１１に
て多重化フレームより第２の音声フレームを分離し、無
音フレーム、第２の音声フレームの順で音声デコーダに
渡し、１１０２から繰り返す。１１０９にてＭＣ＝４で
なかった場合には１１１２にてカウンタＣが２であるか
判定を行い、Ｃ＝２の場合には１１１３にてカウンタＣ
をクリアした後、１１１４にて無音フレームを２つ音声
デコーダに渡したのち１１１６へ進む。１１１２にてＣ
＝２でなかった場合には、カウンタＣを１加算した後、
１１１６へ進む。１１１６では、多重化フレームのＭＣ
が１であるかの判定を行い、ＭＣ＝１の場合には、ビデ
オフレームをビデオデコーダへ渡し、１１０２より繰り
返す。１１１６にて、ＭＣ＝１でない場合には受信した
多重化フレームは無効と判定し１１０２より繰り返す。
以上の処理フローを行うことにより図７のような一連の
多重化フレームを受け取った場合に無音部分を判定し、
無音フレームを生成して音声デコーダへ渡すことができ
る。

【００７２】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、実施の形態１と同様に
直ちにビデオフレームを再送することができ、ＭＣ＝
３、ＭＣ＝４の多重化構造にて音声フレームを送信した
場合には、１１０８、１１１１にて一方の音声フレーム
に誤りが検出された場合においても、もう一方の音声フ
レームに誤りがなければ、多重化フレームに誤りが無い
場合と同じ出力が得られるため音声の誤り耐性が向上す
る。

【００７３】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても１種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能とな
り、さらに２フレームの音声フレームがともに無音の場
合には音声フレームの領域をビデオフレームに割り振る
ことによりビデオの帯域を広げ効率よく伝送し、１フレ
ームの音声フレームのみが無音の場合には無音フレーム
の領域を使って有音の音声フレームを２重に伝送して音
声の誤り耐性を強くして伝送することができる。

【００７４】なお、本実施の形態では、一つの多重化フ
レームに２種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない１つの多重化フレームに３種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が６０バイトで、ビデオフレームを多重化す
る多重化フレーム３フレームと音声フレーム２フレーム
を多重化する多重化フレーム１フレームであってもよ
く、また、６４Ｋｂｐｓで伝送する場合に、８０バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム５フレームと音声フレームを多重化する多重化フ
レーム１フレームであってもよいし、６０バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
７フレームと音声フレームを多重化する多重化フレーム
１フレームであってもよい。

【００７５】また、本実施の形態では多重化フレームに
ビデオフレームと音声フレームのみを多重しているが、
その他の種類のフレームを多重する場合にもビデオフレ
ームと複数の音声フレームのフレーム長を等しくするこ
とにより同等に効果を発揮する。図１２はその他の種類
のフレームとして、データフレームを加えた場合の一例
である。このとき、多重化構造と多重化情報の対応表
は、図１３のようになり、多重処理フローの１００５、
１００９、１０１１、１０１３、１０１４ではデータを
入力し多重する処理が、多重分離フローの１１０５、１
１０８、１１１１、１１１７ではデータを分離し出力す
る処理がそれぞれ加わる。

【００７６】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図１４に示す
ように２つの音声フレームと同じ大きさのデータフレー
ムを伝送している場合には代わりにデータフレームを多
重してもよい。このときの多重化構造と多重化情報の対
応表は、図２である。

【００７７】（実施の形態３）以下、請求項６、７、
８、９記載の発明について第３の実施の形態を用いて図
面を参照しながら説明する。

【００７８】図１５は、本実施の形態における多重化フ
レームのタイミング図である。図１５は２４０バイト中
に生成される３つの多重化フレームの伝送タイミングを
あらわしており、２４０バイト毎に２つ生成される音声
フレームの有音、無音の状況により（ａ）、（ｂ）、
（ｃ）、（ｄ）のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。

【００７９】図１５における、多重化構造と多重化情報
の対応表は図１６のようになり、ＭＣ＝１はビデオフレ
ームが７０バイト、タイプＡのデータが６バイトつづく
ことを示し、ＭＣ＝２は第一の音声フレームが２５バイ
ト、第２の音声フレームが２５バイト、タイプＢのデー
タが１２バイト、タイプＣのデータが８バイト、タイプ
Ａのデータが６バイトつづくことを示すとしている。第
１、第２の音声フレームは連続して３０ｍｓ毎に生成さ
れた音声フレームであり、第１の音声フレームの後に第
２の音声フレームが生成されているものとする。ここで
はＧ．７２３における２４バイトの音声フレームに誤り
検出フラグを１バイト付加して音声フレームとしてい
る。それぞれの多重化フレームは８０バイトの固定長の
場合であり、これを３２ｋｂｐｓで伝送する場合３０ｍ
ｓ毎に生成される音声フレームは３多重化フレーム、す
なわち２４０バイトに２フレーム生成される。ここで
は、これら２フレームを１つの多重化フレームで伝送す
る。図８（ａ）は１つの多重化フレームに含まれる、２
つの音声フレームが有音の場合、図８(ｂ）は第１の音
声フレームが有音で、第２の音声フレームが無音の場
合、図８（ｃ）は第１の音声フレームが無音で第２の音
声フレームが有音の場合を表している。図８（ｄ）は１
つの多重化フレームに含まれる、２つの音声フレームが
無音だった場合を表し、このとき無音フレーム２つとタ
イプＡ、Ｂのデータフレームを送信する代わりにビデオ
フレームを送信する。

【００８０】本実施の形態における送信側の多重化処理
フローは図３の３０５、３１０にてビデオデータとタイ
プＡのデータよりＭＣ＝１の多重化フレームを生成する
ことと３０９にて第１、第２の音声フレームとタイプ
Ａ、Ｂ、ＣのデータよりＭＣ＝２の多重化フレームを生
成すること以外は実施の形態１と同様である。

【００８１】また本実施の形態における受信側の多重分
離フローは図４の４０５にて第１、第２の音声フレーム
とタイプＡ、Ｂ、Ｃのデータを分離して出力し、４１１
にてビデオフレームとタイプＡのデータを分離して出力
する以外は実施の形態１と同様である。

【００８２】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、図１５に示すとおり、
ビデオフレームを含む多重化構造がひとつしか存在しな
いので、どのタイミングのビデオフレームの再送におい
ても、任意のＭＣ＝１の多重化構造の多重化フレームに
て直ちにビデオフレームを再送することができ、従来例
のようにフレーム長の長い方のビデオフレームを再送す
る場合に、フレーム長の長いビデオフレームを格納する
ことができる多重化フレームが現れるまで再送待ちをす
る必要はない。唯一有音フレームが含まれる多重化フレ
ームが現れた場合のみ、１多重化フレーム分待機する。
また、フレーム長の短いビデオフレームを再送する際
に、スタッフィングをしてフレーム長の長いビデオフレ
ームを格納する多重化フレームにて伝送するようなこと
も生じない。

【００８３】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても１種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能とな
り、さらに無音の場合に音声フレームの領域をビデオフ
レームに割り振ることによりビデオの帯域を広げ効率よ
く伝送することができる。

【００８４】なお、本実施の形態では、一つの多重化フ
レームに２種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない１つの多重化フレームに３種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が６０バイトで、ビデオフレームを多重化す
る多重化フレーム３フレームと音声フレーム２フレーム
を多重化する多重化フレーム１フレームであってもよ
く、また、６４Ｋｂｐｓで伝送する場合に、８０バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム５フレームと音声フレームを多重化する多重化フ
レーム１フレームであってもよいし、６０バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
７フレームと音声フレームを多重化する多重化フレーム
１フレームであってもよい。

【００８５】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図１７に示す
ように複数の音声フレームと一緒に多重していた別の種
類のフレームを合わせた大きさと同じ大きさのデータフ
レームを伝送している場合には代わりにデータフレーム
を多重してもよい。このときの多重化構造と多重化情報
の対応表は、図１６である。

【００８６】（実施の形態４）以下、請求項１０記載の
発明について第４の実施の形態を用いて、図面を参照し
ながら説明する。

【００８７】図１８は、本実施の形態における多重化フ
レームのタイミング図である。図１８は２４０バイト中
に生成される３つの多重化フレームの伝送タイミングを
あらわしており、２４０バイト毎に２つ生成される音声
フレームの有音、無音の状況により（ａ）、（ｂ）、
（ｃ）、（ｄ）のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。

【００８８】図１８における、多重化構造と多重化情報
の対応表は図１９のようになり、ＭＣ＝１はビデオフレ
ームが７０バイト、タイプＡのデータが６バイトつづく
ことを示し、ＭＣ＝２は第一の音声フレームが２５バイ
ト、第２の音声フレームが２５バイト、タイプＢのデー
タが１２バイト、タイプＣのデータが８バイト、タイプ
Ａのデータが６バイトつづくことを示すとしている。第
１、第２の音声フレームは連続して３０ｍｓ毎に生成さ
れた音声フレームであり、第１の音声フレームの後に第
２の音声フレームが生成されているものとする。ここで
はＧ．７２３における２４バイトの音声フレームに誤り
検出フラグを１バイト付加して音声フレームとしてい
る。ＭＣ＝３は、第１の音声フレームを２つ含み、第２
の音声フレームを含んでいないことを表し、ＭＣ＝４の
場合は第２の音声フレームのみを２つ含むことを表すも
のとする。それぞれの多重化フレームは８０バイトの固
定長の場合であり、これを３２ｋｂｐｓで伝送する場合
３０ｍｓ毎に生成される音声フレームは３多重化フレー
ム、すなわち２４０バイトに２フレーム生成される。こ
こでは、これら２フレームを１つの多重化フレームで伝
送する。図１８（ａ）は１つの多重化フレームに含まれ
る、２つの音声フレームが有音の場合、図１８(ｂ）は
第１の音声フレームが有音で、第２の音声フレームが無
音の場合、図１８（ｃ）は第１の音声フレームが無音で
第２の音声フレームが有音の場合を表し、無音フレーム
を送信する代わりに有音フレームを２回送る。図１８
（ｄ）は１つの多重化フレームに含まれる、２つの音声
フレームが無音だった場合を表し、このとき無音フレー
ムを２つとタイプＢ、Ｃのデータを送信する代わりにビ
デオフレームを送信する。

【００８９】本実施の形態における送信側の多重化処理
フローは図１０の１００５、１０１４にてビデオデータ
とタイプＡのデータよりＭＣ＝１の多重化フレームを生
成することと、１００９にて第１、第２の音声フレーム
とタイプＡ、Ｂ、ＣのデータよりＭＣ＝２の多重化フレ
ームを生成すること、１０１１にて第１の音声フレーム
とタイプＡ、Ｂ、ＣのデータよりＭＣ＝３の多重化フレ
ームを生成すること、１０１３にて第２の音声フレーム
とタイプＡ、Ｂ、ＣのデータよりＭＣ＝４の多重化フレ
ームを生成すること以外は実施の形態２と同様である。

【００９０】また本実施の形態における受信側の多重分
離フローは図１１の１１０５にて第１、第２の音声フレ
ームを音声デコーダへ渡し、タイプＡ、Ｂ、Ｃのデータ
を分離して出力し、１１０８にて第１の音声フレームと
無音フレームを音声デコーダへ渡し、タイプＡ、Ｂ、Ｃ
のデータを分離して出力し、１１１１にて無音フレーム
と第２の音声フレームを音声デコーダへ渡し、タイプ
Ａ、Ｂ、Ｃのデータを分離して出力し、１１１７にてビ
デオフレームとタイプＡのデータを分離して出力する以
外は実施の形態２と同様である。

【００９１】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、実施の形態１と同様に
直ちにビデオフレームを再送することができ、ＭＣ＝
３、ＭＣ＝４の多重化構造にて音声フレームを送信した
場合には、１１０８、１１１１にて一方の音声フレーム
に誤りが検出された場合においても、もう一方の音声フ
レームに誤りがなければ、多重化フレームに誤りが無い
場合と同じ出力が得られるため音声の誤り耐性が向上す
る。

【００９２】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても１種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく、
かつ冗長分を付加することなく行うことが可能となり、
さらに２フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、１フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを２重に伝送して音声の
誤り耐性を強くして伝送することができる。

【００９３】なお、本実施の形態では、一つの多重化フ
レームに２種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない１つの多重化フレームに３種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が６０バイトで、ビデオフレームを多重化す
る多重化フレーム３フレームと音声フレーム２フレーム
を多重化する多重化フレーム１フレームであってもよ
く、また、６４Ｋｂｐｓで伝送する場合に、８０バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム５フレームと音声フレームを多重化する多重化フ
レーム１フレームであってもよいし、６０バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
７フレームと音声フレームを多重化する多重化フレーム
１フレームであってもよい。

【００９４】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図２０に示す
ように複数の音声フレームと一緒に多重していた別の種
類のフレームを合わせた大きさと同じ大きさのデータフ
レームを伝送している場合には代わりにデータフレーム
を多重してもよい。このときの多重化構造と多重化情報
の対応表は、図１９である。

【００９５】また、タイプＡのデータは必ずしも多重す
る必要はなく、多重しない場合においても本発明は同様
に効果を発揮する。

【００９６】（実施の形態５）以下、請求項１１、１
２、１３、１４、１５記載の発明について第５の実施の
形態を用いて、図面を参照しながら説明する。

【００９７】図１８、図２１は、本実施の形態における
多重化フレームのタイミング図である。図１８、図２１
は２４０バイト中に生成される３つの多重化フレームの
伝送タイミングをあらわしており、２４０バイト毎に２
つ生成される音声フレームの有音、無音の状況により
（ａ）、（ｂ）、（ｃ）、（ｄ）のうちのひとつを選択
し、タイプＢデータの蓄積状況により図１８、図２１の
いずれかのパターンに基づき各データを多重化し伝送す
る。

【００９８】本実施の形態においてタイプＢのデータは
制御情報のような単位時間あたりの発生情報量にばらつ
きがあるものとする。さらにタイプＢのデータは送信側
にてバッファに蓄積し、その蓄積量は多重処理部にて参
照できるものとする。図１８、図２１における多重化構
造と多重化情報の対応表は図２２のようになり、ＭＣ＝
１、２、３、４は図１９と同様であり、ＭＣ＝５の場合
は第１の音声フレームが２５バイト、タイプＢのデータ
が３７バイト、タイプＣのデータが８バイト、タイプＡ
のデータが６バイト続くことを示し、ＭＣ＝６の場合
は、第２の音声フレームが２５バイト、タイプＢのデー
タが３７バイト、タイプＣのデータが８バイト、タイプ
Ａのデータが６バイト続くことを示し、ＭＣ＝７の場合
はタイプＢのデータが７０バイト、タイプＡのデータが
６バイト続くことを示している。図１８はタイプＢのデ
ータの蓄積量があるしきい値より小さい場合の多重化フ
レームのタイミングであり、その生成条件は実施の形態
４と同様である。

【００９９】図２１はタイプＢのデータ蓄積量があるし
きい値より大きい場合の多重化フレームのタイミングで
ある。図２１（ａ）は１つの多重化フレームに含まれ
る、２つの音声フレームが有音の場合、図２１(ｂ）は
第１の音声フレームが有音で、第２の音声フレームが無
音の場合、図２１（ｃ）は第１の音声フレームが無音で
第２の音声フレームが有音の場合を表し、無音フレーム
を送信する代わりにタイプＢのデータに領域を割り当て
る。図２１（ｄ）は１つの多重化フレームに含まれる、
２つの音声フレームが無音だった場合を表し、このとき
無音フレーム２つとタイプＣのデータを送信する代わり
にタイプＢのデータを送信する。

【０１００】次に本実施の形態における送信側の多重化
処理フローを図２３、図２４に示す。始めに２３０１に
てカウンタＣを０に初期化した後、２３０２にて８０バ
イト伝送時間毎に通知される多重化フレーム生成の要求
が来るのを待つ。次に２３１５にてタイプＢデータの蓄
積量がしきい値以下の場合は２３０３へ進む。２３０３
ではカウンタＣ＝２であるかにより分岐しＣ＝２でない
場合には２３０４にてＣを１加算したのち２３０５にて
ビデオデータとタイプＡのデータからＭＣ＝１の多重化
フレームを生成し２３０２より繰り返す。一方２３０３
にてカウンタＣ＝２の場合には２３０６にてカウンタＣ
を０にクリアした後、２３０７にて第１、第２の音声フ
レームを音声エンコーダより入力する。その後２３０８
にて２つの音声フレームが共に有音であるかの判定を行
い、２つとも有音フレームである場合には、２３０９に
て前記第１、第２の音声フレームとタイプＡ，Ｂ，Ｃの
データよりＭＣ＝２の多重化フレームを生成し２３０２
より繰り返す。２３０８にて２つの音声フレームが２つ
とも有音でなかった場合には、２３１０にて第１の音声
フレームが有音か、の判定を行い、第１の音声フレーム
が有音の場合には２３１１にて第１の音声フレームを２
つとタイプＡ，Ｂ，Ｃのデータを多重したＭＣ＝３の多
重化フレームを生成し２３０２より繰り返す。２３１０
にて第１の音声フレームが無音だった場合には、２３１
２にて第２の音声フレームが有音か、の判定を行い第２
の音声フレームが有音の場合には２３１３にて第２の音
声フレームを２つとタイプＡ，Ｂ，Ｃのデータを多重し
たＭＣ＝４の多重化フレームを生成し、２３０２より繰
り返す。２３１２にて第２の音声フレームが無音だった
場合、ビデオデータとタイプＡのデータよりＭＣ＝１の
多重化フレームを生成し２３０２より繰り返す。２３１
５にてタイプＢデータの蓄積量がしきい値以上であった
場合には２４０１へ進む。２４０１ではカウンタＣ＝２
であるかにより分岐しＣ＝２でない場合には２４０２に
てＣを１加算したのち２４０３にてビデオデータとタイ
プＡのデータからＭＣ＝１の多重化フレームを生成し２
３０２より繰り返す。一方２４０１にてカウンタＣ＝２
の場合には２４０４にてカウンタＣを０にクリアした
後、２４０５にて第１、第２の音声フレームを音声エン
コーダより入力する。その後２４０６にて２つの音声フ
レームが共に有音であるかの判定を行い、２つとも有音
フレームである場合には、２４０７にて前記第１、第２
の音声フレームとタイプＡ，Ｂ，ＣのデータよりＭＣ＝
２の多重化フレームを生成し２３０２より繰り返す。２
４０６にて２つの音声フレームのうち少なくとも一方が
有音でなかった場合には、２４０８にて第１の音声フレ
ームが有音か、の判定を行い、第１の音声フレームが有
音の場合には２４０９にて第１の音声フレームとタイプ
Ａ，Ｂ，Ｃのデータを多重したＭＣ＝５の多重化フレー
ムを生成し２３０２より繰り返す。２４０８にて第１の
音声フレームが無音だった場合には、２４１０にて第２
の音声フレームが有音か、の判定を行い第２の音声フレ
ームが有音の場合には２４１１にて第２の音声フレーム
とタイプＡ，Ｂ，Ｃのデータを多重したＭＣ＝６の多重
化フレームを生成し、２３０２より繰り返す。２４１０
にて第２の音声フレームが無音だった場合、タイプＡＢ
のデータよりＭＣ＝７の多重化フレームを生成し２３０
２より繰り返す。

【０１０１】以上のような処理フローを実行することに
より図１８、図２１に示す多重化フレームを生成するこ
とができる。

【０１０２】また、本実施の形態における受信側の多重
分離処理フローを図２５、図２６に示す。始めに２５０
１にてカウンタＣを０に初期化した後、２５０２にて８
０バイトの多重化フレームが到着するのを待つ。次に２
５０３にて多重化フレームのＭＣが２か判定を行いＭＣ
＝２の場合には２５０４にてカウンタＣを０にクリアし
た後、２５０５にて多重化フレームより第１、第２の音
声フレームを分離して音声デコーダに渡し、タイプＡ，
Ｂ，Ｃのデータを分離し出力し、１１０２から繰り返
す。２５０３にてＭＣ＝２でなかった場合には、２５０
６にて多重化フレームのＭＣが３か判定を行いＭＣ＝３
の場合には２５０７にてカウンタＣを０にクリアした
後、２５０８にて多重化フレームより第１の音声フレー
ムを分離し、第１の音声フレーム、無音フレームの順で
データを音声デコーダに渡し、タイプＡ，Ｂ，Ｃのデー
タを分離して出力し、２５０２から繰り返す。２５０６
にてＭＣ＝３でなかった場合には、２５０９にて多重化
フレームのＭＣが４か判定を行いＭＣ＝４の場合には２
５１０にてカウンタＣを０にクリアした後、２５１１に
て多重化フレームより第２の音声フレームを分離し、無
音フレーム、第２の音声フレームの順でデータを音声デ
コーダに渡し、タイプＡ，Ｂ，Ｃのデータを分離して出
力し、２５０２から繰り返す。２５０９にてＭＣ＝４で
なかった場合には２６０１にて多重化フレームのＭＣが
５か判定を行いＭＣ＝５の場合には２６０２にてカウン
タＣを０にクリアした後、２６０３にて多重化フレーム
より第１の音声フレームを分離し、第１の音声フレー
ム、無音フレームの順でデータを音声デコーダに渡し、
タイプＡ，Ｂ，Ｃのデータを分離して出力し、２５０２
から繰り返す。２６０１にてＭＣ＝５でなかった場合に
は、２６０４にて多重化フレームのＭＣが６か判定を行
いＭＣ＝６の場合には２６０５にてカウンタＣを０にク
リアした後、２６０６にて多重化フレームより第２の音
声フレームを分離し、無音フレーム、第２の音声フレー
ムの順でデータを音声デコーダに渡し、タイプＡ，Ｂ，
Ｃのデータを分離して出力し、２５０２から繰り返す。
２６０４にてＭＣ＝６でなかった場合には２６０７にて
多重化フレームのＭＣが７か判定を行いＭＣ＝７の場合
には２６０８にてカウンタＣを０にクリアした後、２６
０９にて２つの無音フレームを音声デコーダに渡し、タ
イプＡＢのデータを分離して出力し、２５０２から繰り
返す。２６０７にてＭＣ＝７でなかった場合には、２６
１０にてカウンタＣが２であるか判定を行い、Ｃ＝２の
場合には２６１１にてカウンタＣをクリアした後、２６
１２にて無音フレームを２つ音声デコーダに渡したのち
２６１４へ進む。２６１０にてＣ＝２でなかった場合に
は、カウンタＣを１加算した後、２６１４へ進む。２６
１４では、多重化フレームのＭＣが１であるかの判定を
行い、ＭＣ＝１の場合には、ビデオフレーム分離してビ
デオデコーダへ渡し、タイプＡのデータを分離して出力
したのち２５０２より繰り返す。２６１４にて、ＭＣ＝
１でない場合には受信した多重化フレームは無効と判定
し２５０２より繰り返す。以上の処理フローを行うこと
により図１８、図２１のような一連の多重化フレームを
受け取った場合に無音部分を判定し、無音フレームを生
成して音声デコーダへ渡すことができる。

【０１０３】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、図１８、図２１に示す
とおり、ビデオフレームを含む多重化構造がひとつしか
存在しないので、どのタイミングのビデオフレームの再
送においても、任意のＭＣ＝１の多重化構造の多重化フ
レームにて直ちにビデオフレームを再送することがで
き、従来例のようにフレーム長の長い方のビデオフレー
ムを再送する場合に、フレーム長の長いビデオフレーム
を格納することができる多重化フレームが現れるまで再
送待ちをする必要はない。有音フレームが含まれる多重
化フレームとＭＣ＝７の多重化フレームが現れた場合に
１多重化フレーム分待機し、ＭＣ＝１の多重化フレーム
にて再送を行う。また、フレーム長の短いビデオフレー
ムを再送する際に、スタッフィングをしてフレーム長の
長いビデオフレームを格納する多重化フレームにて伝送
するようなことも生じない。

【０１０４】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても１種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なし、
かつ冗長分を付加することなく行うことが可能となり、
さらに２フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、１フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを２重に伝送して音声の
誤り耐性を強くして伝送したり、優先度の高いデータの
転送効率を上げて伝送することができる。

【０１０５】なお、本実施の形態では、一つの多重化フ
レームに２種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない１つの多重化フレームに３種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が６０バイトで、ビデオフレームを多重化す
る多重化フレーム３フレームと音声フレーム２フレーム
を多重化する多重化フレーム１フレームであってもよ
く、また、６４Ｋｂｐｓで伝送する場合に、８０バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム５フレームと音声フレームを多重化する多重化フ
レーム１フレームであってもよいし、６０バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
７フレームと音声フレームを多重化する多重化フレーム
１フレームであってもよい。

【０１０６】また、タイプＡのデータ、タイプＣのデー
タは必ずしも多重する必要はなく、多重しない場合にお
いても本発明は同様に効果を発揮する。

【０１０７】（実施の形態６）以下、請求項１６記載の
発明について第６の実施の形態を用いて、図面を参照し
ながら説明する。

【０１０８】図２７、図２８は、本実施の形態における
多重化フレームのタイミング図である。図２７、図２８
は２４０バイト中に生成される３つの多重化フレームの
伝送タイミングをあらわしており、２４０バイト毎に２
つ生成される音声フレームの有音、無音の状況により
（ａ）、（ｂ）、（ｃ）、（ｄ）のうちのひとつを選択
し、タイプＢデータの蓄積状況により図２７、図２８の
いずれかのパターンに基づき各データを多重化し伝送す
る。

【０１０９】本実施の形態においてデータは制御情報の
ような単位時間あたりの発生情報量にばらつきがあるも
のとする。さらにデータは送信側にてバッファに蓄積
し、その蓄積量は多重処理部にて参照できるものとす
る。

【０１１０】図２７、図２８における多重化構造と多重
化情報の対応表は図２９のようになり、ＭＣ＝１、２、
３、４は図１９と同様であり、ＭＣ＝５の場合は第１の
音声フレームが２５バイト、タイプＢのデータが３７バ
イト、タイプＣのデータが８バイト、タイプＡのデータ
が６バイト続くことを示し、ＭＣ＝６の場合は、第２の
音声フレームが２５バイト、タイプＢのデータが３７バ
イト、タイプＣのデータが８バイト、タイプＡのデータ
が６バイト続くことを示し、ＭＣ＝７の場合はタイプＢ
のデータが７０バイト、タイプＡのデータが６バイト続
くことを示す。

【０１１１】図２７はデータ蓄積量が０の場合の多重化
フレームのタイミング図であり、図２７（ａ）は１つの
多重化フレームに含まれる、２つの音声フレームが有音
の場合を表し、第１の音声フレームを前後で二重に送信
する。図２７(ｂ）は第１の音声フレームが有音で、第
２の音声フレームが無音の場合、図２７（ｃ）は第１の
音声フレームが無音で第２の音声フレームが有音の場合
を表し、一つの音声フレームを３重に送信する。図２１
（ｄ）は１つの多重化フレームに含まれる、２つの音声
フレームが無音だった場合を表し、このとき無音フレー
ムを送信する代わりにビデオフレームを送信する。

【０１１２】図２８はデータ蓄積量が１以上の場合の多
重化フレームのタイミングである。図２８（ａ）は１つ
の多重化フレームに含まれる、２つの音声フレームが有
音の場合、図２８(ｂ）は第１の音声フレームが有音
で、第２の音声フレームが無音の場合、図２８（ｃ）は
第１の音声フレームが無音で第２の音声フレームが有音
の場合を表し、無音フレームを送信する代わりにデータ
に領域を割り当てる。図２８（ｄ）は１つの多重化フレ
ームに含まれる、２つの音声フレームが無音だった場合
を表し、このとき無音フレーム２つを送信する代わりに
データを送信する。

【０１１３】本実施の形態における送信側の多重化処理
フローは実施の形態５と多重化フレームを生成する方法
と２４０７でＭＣ＝８の多重化フレームを生成する点の
み異なり他は同様である。本実施の形態において２３０
５、２３１４ではビデオデータよりＭＣ＝１の多重化フ
レームを生成し、２３０９では第１の音声フレームと第
２の音声フレームよりＭＣ＝２の多重化フレームを生成
し、２３１１では第１の音声フレームよりＭＣ＝３の多
重化フレームを生成し、２３１３では第２の音声フレー
ムよりＭＣ＝４の多重化フレームを生成し、２４０７で
は第１の音声フレームと第２の音声フレームとデータよ
りＭＣ＝８の多重化フレームを生成し、２４０９では第
１の音声フレームとデータよりＭＣ＝５の多重化フレー
ムを生成し、２４１１では第２の音声フレームとデータ
よりＭＣ＝６の多重化フレームを生成し、２４１２では
データよりＭＣ＝７の多重化フレームを生成する。

【０１１４】また本実施の形態における受信側の多重分
離フローは実施の形態５と多重化フレームを分離する方
法が異なり、２６０７と２６１０の間にＭＣ＝８か判定
し、ＭＣ＝８の場合には第１の音声フレームと第２の音
声フレームを分離して音声デコーダに渡し、さらにデー
タを分離、出力して２５０２から繰り返し、ＭＣ＝８で
ない場合には２６１０へ進む処理が加わる点以外は同様
である。本実施の形態において２５０５では、第１、第
２の音声フレームを分離して音声デコーダへ渡し、２５
０８では第１の音声フレームを分離して、第１の音声フ
レーム、無音フレームの順で音声デコーダへ渡し、２５
１１では第２の音声フレームを分離して、第２の音声フ
レーム、無音フレームの順で音声デコーダへ渡す。２６
０３では第１の音声フレームを分離して第１の音声フレ
ームと無音フレームを音声デコーダへ渡し、データを分
離して出力する。２６０６では第２の音声フレームを分
離して無音フレーム、第２の音声フレームの順で音声デ
コーダへ渡し、データを分離して出力する。２６０９で
はデータを分離し出力する。

【０１１５】本実施の形態では、データがバースト的に
発生する場合に、データが無いとき帯域を音声に割り振
ることにより、音声のエラー耐性を向上している。特に
ＭＣ＝２の多重化フレームで伝送する場合、第１の音声
フレームを距離をおいて配置しているため、バーストエ
ラーに対する耐性が強くなり無線伝送時などに効力を発
揮する。

【０１１６】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても１種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく、
かつ冗長分を付加することなく行うことが可能となり、
さらに２フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、１フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを２重に伝送して音声の
誤り耐性を強くして伝送することができ、加えてデータ
を転送する必要の無い場合にも音声の誤り耐性を強くし
て伝送することができる。

【０１１７】なお、本実施の形態では、一つの多重化フ
レームに２種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない１つの多重化フレームに３種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が６０バイトで、ビデオフレームを多重化す
る多重化フレーム３フレームと音声フレーム２フレーム
を多重化する多重化フレーム１フレームであってもよ
く、また、６４Ｋｂｐｓで伝送する場合に、８０バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム５フレームと音声フレームを多重化する多重化フ
レーム１フレームであってもよいし、６０バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
７フレームと音声フレームを多重化する多重化フレーム
１フレームであってもよい。

【０１１８】また、本実施の形態では、データを送信す
る必要がある場合でも、音声フレームのどちらか一方が
無音になった場合にはもう一方の有音フレームを重複さ
せて音声の誤り耐性を強くしているが、その代わりに図
３０のように無音フレームの部分をデータに割り当て、
データの転送効率を上げてもよい。

【０１１９】

【発明の効果】エラーに強い固定長の多重化フレームの
もと、無音の場合に音声フレームの領域をビデオフレー
ムに割り振る場合においても１種類の多重化構造にてビ
デオデータを伝送することにより、ビデオフレームの再
送の遅延を少なくし、かつ冗長分を付加することなく行
うことが可能となる。

【０１２０】さらに２フレームの音声フレームがともに
無音の場合には音声フレームの領域をビデオフレームに
割り振ることによりビデオの帯域を広げ効率よく伝送
し、１フレームの音声フレームのみが無音の場合には無
音フレームの領域を使って有音の音声フレームを２重に
伝送して音声の誤り耐性を強くして伝送することがで
き、加えてデータを転送する必要の無い場合にも音声の
誤り耐性を強くして伝送することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態で用いる固定長多重
化フレームのタイミングを示す図

【図２】本発明の第１の実施の形態で用いる多重化情報
と多重化構造の対応を示す表図

【図３】本発明の第１の実施の形態で用いる多重化フレ
ーム生成フローを示すフローチャート

【図４】本発明の第１、第３の実施の形態で用いる多重
化フレーム分離フローを示すフローチャート

【図５】本発明の第１、第３の実施の形態で用いる固定
長多重化フレームのタイミングを示す図

【図６】本発明の第１の実施の形態で用いる多重化情報
と多重化構造の対応を示す表図

【図７】本発明の第１の実施の形態で用いる固定長多重
化フレームのタイミングを示す図

【図８】本発明の第２の実施の形態で用いる固定長多重
化フレームのタイミングを示す図

【図９】本発明の第２の実施の形態で用いる多重化情報
と多重化構造の対応を示す表図

【図１０】本発明の第２、第４の実施の形態で用いる多
重化フレーム生成フローを示すフローチャート

【図１１】本発明の第２、第４の実施の形態で用いる多
重化フレーム分離フローを示すフローチャート

【図１２】本発明の第２の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図１３】本発明の第２の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図

【図１４】本発明の第２の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図１５】本発明の第３の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図１６】本発明の第３の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図

【図１７】本発明の第３の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図１８】本発明の第４、第５の実施の形態で用いる固
定長多重化フレームのタイミングを示す図

【図１９】本発明の第４の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図

【図２０】本発明の第４の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図２１】本発明の第５の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図２２】本発明の第５の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図

【図２３】本発明の第５、第６の実施の形態で用いる多
重化フレーム生成フローを示すフローチャート

【図２４】本発明の第５、第６の実施の形態で用いる多
重化フレーム生成フローを示すフローチャート

【図２５】本発明の第５、第６の実施の形態で用いる多
重化フレーム分離フローを示すフローチャート

【図２６】本発明の第５、第６の実施の形態で用いる多
重化フレーム分離フローを示すフローチャート

【図２７】本発明の第６の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図２８】本発明の第６の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図２９】本発明の第６の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図

【図３０】本発明の第６の実施の形態で用いる固定長多
重化フレームのタイミングを示す図

【図３１】Ｈ．２２３で決められた多重化伝送方式を採
用した多重化伝送装置の一般的なレイヤ構造を示す図

【図３２】Ｈ．２２３の多重化層８０２における多重化
フレームフォーマットを示す図

【図３３】音声データとコンピュータデータとビデオデ
ータとを多重した場合の多重化層における多重化フレー
ムフォーマットの一例を示す図

【図３４】ビデオの再送制御による誤り訂正のためのＡ
ＲＱフレームフォーマットを示す図

【図３５】ＰＩＡＦＳのフレーム構成を示す図

【図３６】（ａ）は１フレームの音声フレームを格納す
る領域を含む８０バイトの第１の多重化フレームと、音
声フレームを多重しない８０バイトの第２の固定長多重
化フレームが２：１の割合で現れるパターンで伝送する
形態を示す図（ｂ）は１つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図（ｃ）は２つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図（ｄ）は２フレームの音声フレームを格納する領域を含
む８０バイトの第３の多重化フレームと、音声フレーム
を多重しない８０バイトの第２の固定長多重化フレーム
が１：２の割合で現れるパターンで伝送する形態を示す
図（ｅ）は後ろの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを伝送した場合の伝送す
る形態を示す図（ｆ）は前の音声フレームが無音フレームでこれを伝送
するかわりにビデオフレームを伝送した場合の伝送する
形態を示す図（ｇ）は２つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図

Claims

【特許請求の範囲】

【請求項１】１つの多重化フレームに２フレーム以上の
音声フレームを多重する場合において、１つの多重化フ
レームに多重された音声フレームがすべて無音フレーム
の場合にのみ、これらすべての帯域をビデオフレームま
たはデータフレームとして利用することを特徴とした多
重伝送方法。
【請求項２】１つの多重化フレームに２フレーム以上の
音声フレームを多重する場合において、１つの多重化フ
レームに多重された音声フレームがすべて無音フレーム
の場合にのみ、これらすべてを伝送する代わりにビデオ
フレームまたはデータフレームを伝送することを特徴と
した請求項１記載の多重伝送方法。
【請求項３】１つの多重化フレームのすべての音声フレ
ームが無音フレームだったために、これらすべてを伝送
する代わりに伝送したビデオフレーム又はデータフレー
ムに伝送誤りが生じ、これを再送する際に多重化フレー
ムに音声フレームの有音フレームが含まれる場合、音声
フレームを多重しない多重化フレームでこれを再送する
ことを特徴とした請求項１または請求項２記載の多重伝
送方法。
【請求項４】前記音声フレームを多重しない前記多重化
フレームのうち少なくとも１フレーム以上は前記音声フ
レームを多重する多重化フレームのすべての音声フレー
ムを合わせた大きさと同じ大きさのビデオフレームまた
はデータフレームを多重していることを特徴とした請求
項３記載の多重伝送方法。
【請求項５】１つの多重化フレームに多重する音声フレ
ームに１つでも有音フレームが含まれる場合、有音フレ
ーム又は無音フレームを多重して伝送することを特徴と
した請求項１から請求項４のいずれか１項に記載の多重
伝送方法。
【請求項６】１つの多重化フレームに多重する音声フレ
ームに少なくとも一つの有音フレームと一つ以上の無音
フレームが含まれる場合、前記無音フレームの代わりに
前記有音フレームを重複して多重して伝送することを特
徴とした請求項１から請求項４記載の多重伝送方法。
【請求項７】１つ以上の音声フレームと別の種類のフレ
ームの全部または一部を多重して１つの多重化フレーム
として一定周期で伝送する場合に、音声フレームすべて
が無音フレームのとき音声フレームおよび一緒に多重し
ていた別の種類のフレームの全部または一部を伝送する
代わりにビデオフレーム又はデータフレームを伝送する
ことを特徴とした多重伝送方法。
【請求項８】１つの多重化フレームのすべての音声フレ
ームが無音フレームだったために、これらすべてを伝送
する代わりに伝送したビデオフレーム又はデータフレー
ムに伝送誤りが生じ、これを再送する際に多重化フレー
ムに音声フレームの有音フレームが含まれる場合、音声
フレームを多重しない多重化フレームでこれを再送する
ことを特徴とした請求項７記載の多重伝送方法。
【請求項９】前記音声フレームを多重しない前記多重化
フレームのうち少なくとも１フレーム以上は前記音声フ
レームを多重する多重化フレームのすべての音声フレー
ムと前記別の種類のフレームの全部または一部の大きさ
を合わせた大きさと同じ大きさのビデオフレームまたは
データフレームを多重していることを特徴とした請求項
８記載の多重伝送方法。
【請求項１０】１つの多重化フレームに多重する音声フ
レームに１つでも有音フレームが含まれる場合、有音フ
レーム又は無音フレームを多重して伝送することを特徴
とした請求項７から請求項９のいずれか１項に記載の多
重伝送方法。
【請求項１１】１つの多重化フレームに多重する音声フ
レームに少なくとも一つの有音フレームと一つ以上の無
音フレームが含まれる場合、前記無音フレームの代わり
に前記有音フレームを重複して多重して伝送することを
特徴とした請求項７から請求項９のいずれか１項に記載
の多重伝送方法。
【請求項１２】１つ以上の音声フレームと別の種類のフ
レームの全部または一部を多重して１つの多重化フレー
ムとして一定周期で伝送する場合に、音声フレームすべ
てが無音フレームでかつ別の種類のフレームを多重伝送
する必要のないときは音声フレームおよび一緒に多重し
ていた別の種類のフレームの全部または一部を伝送する
代わりにビデオフレーム又はデータフレームを伝送し、
音声フレームすべてが無音フレームでかつ別の種類のフ
レームを多重伝送する必要があるとき音声フレームおよ
び一緒に多重していた別の種類のフレームの全部または
一部を伝送する代わりに別の種類のフレームの全部また
は一部を伝送することを特徴とした多重伝送方法。
【請求項１３】１つの多重化フレームのすべての音声フ
レームが無音フレームだったために、これらすべてを伝
送する代わりに伝送したビデオフレーム又はデータフレ
ームに伝送誤りが生じ、これを再送する際に多重化フレ
ームに音声フレームの有音フレームが含まれる場合、音
声フレームを多重しない多重化フレームでこれを再送す
ることを特徴とした請求項１２記載の多重伝送方法。
【請求項１４】前記音声フレームを多重しない前記多重
化フレームのうち少なくとも１フレーム以上は前記音声
フレームを多重する多重化フレームのすべての音声フレ
ームと前記別の種類のフレームの全部または一部の大き
さを合わせた大きさと同じ大きさのビデオフレームまた
はデータフレームを多重していることを特徴とした請求
項１３記載の多重伝送方法。
【請求項１５】１つの多重化フレームに多重する音声フ
レームに１つでも有音フレームが含まれる場合、前記別
の種類のフレームを多重伝送する必要がないときには有
音フレーム又は無音フレームを多重して伝送し、前記別
の種類のフレームを多重伝送する必要があるときには無
音フレームの代わりに前記別の種類のフレームの全部ま
たは一部を多重して伝送することを特徴とした請求項１
２から請求項１４のいずれか１項に記載の多重伝送方
法。
【請求項１６】１つの多重化フレームに多重する音声フ
レームに少なくとも一つの有音フレームと一つ以上の無
音フレームが含まれる場合、前記無音フレームの代わり
に前記有音フレームを重複して多重して伝送することを
特徴とした請求項１２から請求項１４のいずれか１項に
記載の多重伝送方法。
【請求項１７】前記別の種類のフレームを伝送する必要
がない場合、前記別の種類のフレームの代わりに前記有
音フレームを重複して多重して伝送することを特徴とし
た請求項１２から請求項１６のいずれか１項に記載の多
重伝送方法。
【請求項１８】１つの多重化フレームに２フレーム以上
の音声フレームを多重するソフトウエアプログラムを格
納した記録媒体であって、前記ソフトウエアプログラム
１つの多重化フレームに多重された音声フレームがすべ
て無音フレームの場合にのみ、これらすべてを伝送する
代わりにビデオフレームまたはデータフレームを伝送す
ることを特徴とした記録媒体。
【請求項１９】前記ソフトウエアプログラムは、１つの
多重化フレームのすべての音声フレームが無音フレーム
だったために、これらすべてを伝送する代わりに伝送し
たビデオフレーム又はデータフレームに伝送誤りが生
じ、これを再送する際に多重化フレームに音声フレーム
の有音フレームが含まれる場合、音声フレームを多重し
ない多重化フレームでこれを再送することを特徴とする
請求項１８記載の記録媒体。
【請求項２０】前記ソフトウエアプログラムは、前記音
声フレームを多重しない前記多重化フレームのうち少な
くとも１フレーム以上は前記音声フレームを多重する多
重化フレームのすべての音声フレームを合わせた大きさ
と同じ大きさのビデオフレームまたはデータフレームを
多重していることを特徴とした請求項１９記載の記録媒
体。
【請求項２１】前記ソフトウエアプログラムは、１つの
多重化フレームに多重する音声フレームに１つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することを特徴とする請求項１８から
請求項２０のいずれか１項に記載の記録媒体。
【請求項２２】前記ソフトウエアプログラムは、１つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、前記無音フレームの代わりに前記有音フレームを
重複して多重して伝送することを特長とした請求項１８
から請求項２０のいずれか１項に記載の記録媒体。
【請求項２３】１つ以上の音声フレームと別の種類のフ
レームの全部または一部を多重して１つの多重化フレー
ムとして一定周期で伝送するソフトウエアプログラムを
記録した記録媒体であって、音声フレームすべてが無音
フレームのとき音声フレームおよび一緒に多重していた
別の種類のフレームの全部または一部を伝送する代わり
にビデオフレーム又はデータフレームを伝送することを
特徴とした記録媒体。
【請求項２４】前記ソフトウエアプログラムは、１つの
多重化フレームのすべての音声フレームが無音フレーム
だったために、これらすべてを伝送する代わりに伝送し
たビデオフレーム又はデータフレームに伝送誤りが生
じ、これを再送する際に多重化フレームに音声フレーム
の有音フレームが含まれる場合、音声フレームを多重し
ない多重化フレームでこれを再送することを特徴とした
請求項２３記載の多重伝送方法。
【請求項２５】前記ソフトウエアプログラムは、前記音
声フレームを多重しない前記多重化フレームのうち少な
くとも１フレーム以上は前記音声フレームを多重する多
重化フレームのすべての音声フレームと前記別の種類の
フレームの全部または一部の大きさを合わせた大きさと
同じ大きさのビデオフレームまたはデータフレームを多
重していることを特長とした請求項２４記載の記録媒
体。
【請求項２６】前記ソフトウエアプログラムは、１つの
多重化フレームに多重する音声フレームに１つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することを特徴とした請求項２３から
請求項２５のいずれか１項に記載の記録媒体。
【請求項２７】前記ソフトウエアプログラムは、１つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、前記無音フレームの代わりに前記有音フレームを
重複して多重して伝送することを特長とした請求項２３
から請求項２５のいずれか１項に記載の記録媒体。
【請求項２８】１つ以上の音声フレームと別の種類のフ
レームの全部または一部を多重して１つの多重化フレー
ムとして一定周期で伝送するソフトウエアプログラムを
記録した記録媒体であって、音声フレームすべてが無音
フレームでかつ別の種類のフレームを多重伝送する必要
のないときは音声フレームおよび一緒に多重していた別
の種類のフレームの全部または一部を伝送する代わりに
ビデオフレーム又はデータフレームを伝送し、音声フレ
ームすべてが無音フレームでかつ別の種類のフレームを
多重伝送する必要があるとき音声フレームおよび一緒に
多重していた別の種類のフレームの全部または一部を伝
送する代わりに別の種類のフレームの全部または一部を
伝送することを特徴とした記録媒体。
【請求項２９】前記ソフトウエアプログラムは、１つの
多重化フレームのすべての音声フレームが無音フレーム
だったために、これらすべてを伝送する代わりに伝送し
たビデオフレーム又はデータフレームに伝送誤りが生
じ、これを再送する際に多重化フレームに音声フレーム
の有音フレームが含まれる場合、音声フレームを多重し
ない多重化フレームでこれを再送することを特徴とした
請求項２８記載の多重伝送方法。
【請求項３０】前記ソフトウエアプログラムは前記音声
フレームを多重しない前記多重化フレームのうち少なく
とも１フレーム以上は前記音声フレームを多重する多重
化フレームのすべての音声フレームと前記別の種類のフ
レームの全部または一部の大きさを合わせた大きさと同
じ大きさのビデオフレームまたはデータフレームを多重
していることを特徴とした請求項２９記載の記録媒体。
【請求項３１】前記ソフトウエアプログラムは、１つの
多重化フレームに多重する音声フレームに１つでも有音
フレームが含まれる場合、前記別の種類のフレームを多
重伝送する必要がないときには有音フレーム又は無音フ
レームを多重して伝送し、前記別の種類のフレームを多
重伝送する必要があるときには無音フレームの代わりに
前記別の種類のフレームの全部または一部を多重して伝
送することを特徴とした請求項２８から請求項３０のい
ずれか１項に記載の記録媒体。
【請求項３２】前記ソフトウエアプログラムは、１つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、前記無音フレームの代わりに前記有音フレームを
重複して多重して伝送することを特徴とした請求項２８
から請求項３０のいずれか１項に記載の記録媒体。
【請求項３３】前記ソフトウエアプログラムは、前記別
の種類のフレームを伝送する必要がない場合、前記別の
種類のフレームの代わりに前記有音フレームを重複して
多重して伝送することを特徴とした請求項３０から請求
項３２のいずれか１項に記載の記録媒体。