JPH118598A - 多重伝送方法 - Google Patents
多重伝送方法Info
- Publication number
- JPH118598A JPH118598A JP15943497A JP15943497A JPH118598A JP H118598 A JPH118598 A JP H118598A JP 15943497 A JP15943497 A JP 15943497A JP 15943497 A JP15943497 A JP 15943497A JP H118598 A JPH118598 A JP H118598A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- multiplexed
- frames
- voice
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
(57)【要約】
【課題】 誤りに強く、伝送効率の良い多重伝送方法を
提供することである。 【解決手段】 1つの多重化フレームに2フレーム以上
の音声フレームを多重する場合において、1つの多重化
フレームに多重された音声フレームがすべて無音フレー
ムの場合にのみ、これらすべてを伝送する代わりにビデ
オフレームまたはデータフレームを伝送することとし、
音声フレームを多重しない多重化フレームのうち少なく
とも1フレーム以上は音声フレームを多重する多重化フ
レームのすべての音声フレームを合わせた大きさと同じ
大きさのビデオフレームまたはデータフレームを多重す
ることによってビデオフレームの大きさを一種類にする
ことができる。
提供することである。 【解決手段】 1つの多重化フレームに2フレーム以上
の音声フレームを多重する場合において、1つの多重化
フレームに多重された音声フレームがすべて無音フレー
ムの場合にのみ、これらすべてを伝送する代わりにビデ
オフレームまたはデータフレームを伝送することとし、
音声フレームを多重しない多重化フレームのうち少なく
とも1フレーム以上は音声フレームを多重する多重化フ
レームのすべての音声フレームを合わせた大きさと同じ
大きさのビデオフレームまたはデータフレームを多重す
ることによってビデオフレームの大きさを一種類にする
ことができる。
Description
【0001】
【発明の属する技術分野】本発明は、多重伝送方法に関
し、より特定的には、高能率圧縮された音声データとビ
デオデータおよび/またはコンピュータデータとを多重
して伝送する方法に関する。
し、より特定的には、高能率圧縮された音声データとビ
デオデータおよび/またはコンピュータデータとを多重
して伝送する方法に関する。
【0002】
【従来の技術】テレビ電話やテレビ会議システムにおい
ては、膨大な情報量を持つビデオ信号は、高能率で符号
化した後、伝送先に伝送することが一般的である。この
ような高能率符号化の例としては、ITU−T(INT
ERNATIONAL TELECOMMUNUCAT
ION UNION−TELECOMMUNUCATI
ON STANDARDIZATION SECTO
R)の国際標準規格であるH.261やH.263が知
られている。
ては、膨大な情報量を持つビデオ信号は、高能率で符号
化した後、伝送先に伝送することが一般的である。この
ような高能率符号化の例としては、ITU−T(INT
ERNATIONAL TELECOMMUNUCAT
ION UNION−TELECOMMUNUCATI
ON STANDARDIZATION SECTO
R)の国際標準規格であるH.261やH.263が知
られている。
【0003】これらの規格では、いずれも圧縮符号化方
式として、動き補償フレーム間予測符号化方法や可変長
符号化を採用しているため、伝送誤りに対しては大変敏
感である。すなわち、1ビットの誤りでも発生すると、
当該誤りによる影響は、画面の大きな範囲へ伝搬すると
ともに、時間軸方向にも伝搬し、画質の劣化が著しい。
そのため、伝送誤りが発生しやすいアナログ電話回線で
は、再送制御により誤り訂正を行ってから画像復号化を
行うのが一般的である。
式として、動き補償フレーム間予測符号化方法や可変長
符号化を採用しているため、伝送誤りに対しては大変敏
感である。すなわち、1ビットの誤りでも発生すると、
当該誤りによる影響は、画面の大きな範囲へ伝搬すると
ともに、時間軸方向にも伝搬し、画質の劣化が著しい。
そのため、伝送誤りが発生しやすいアナログ電話回線で
は、再送制御により誤り訂正を行ってから画像復号化を
行うのが一般的である。
【0004】一方、音声データは、ITU−Tが勧告し
たG.723のように、高能率符号化により超低ビット
レートに圧縮して伝送するのが一般的である。音声デー
タは、ビデオデータに比べると、伝送誤りが目立ちにく
い性質をもつ反面、伝送遅延には敏感である。従って、
G.723では、再送による誤り訂正は用いず、誤りを
検出した場合にはミューティングすることで、伝送誤り
がノイズ化することを防止している。
たG.723のように、高能率符号化により超低ビット
レートに圧縮して伝送するのが一般的である。音声デー
タは、ビデオデータに比べると、伝送誤りが目立ちにく
い性質をもつ反面、伝送遅延には敏感である。従って、
G.723では、再送による誤り訂正は用いず、誤りを
検出した場合にはミューティングすることで、伝送誤り
がノイズ化することを防止している。
【0005】こうした再送型の可変長データであるビデ
オデータと、非再送型の固定長データである音声データ
とを多重伝送する方法として、同じくITU−Tから
H.223が勧告されている。
オデータと、非再送型の固定長データである音声データ
とを多重伝送する方法として、同じくITU−Tから
H.223が勧告されている。
【0006】以下には、従来の多重伝送方式の一例とし
て、H.223を、図を参照して説明する。
て、H.223を、図を参照して説明する。
【0007】図31は、H.223で決められた多重化
伝送方式を採用した多重化伝送装置の一般的なレイヤ構
造を示している。図31において、この多重化伝送装置
は、物理層801と、多重化層802と、適応化層80
3と、ビデオコーダー804と、音声コーダー805
と、データプロトコル806と、LAPM807と、
H.245制御808と、ビデオI/O809と、オー
ディオI/O810と、応用層811とを備えている。
伝送方式を採用した多重化伝送装置の一般的なレイヤ構
造を示している。図31において、この多重化伝送装置
は、物理層801と、多重化層802と、適応化層80
3と、ビデオコーダー804と、音声コーダー805
と、データプロトコル806と、LAPM807と、
H.245制御808と、ビデオI/O809と、オー
ディオI/O810と、応用層811とを備えている。
【0008】H.223では、物理層801として、2
8.8Kbpsのアナログ電話回線用のモデムが想定さ
れている。また、多重化層802および適応化層803
として、ビデオの再送制御による誤り訂正のためのフレ
ーム構成および手順と、音声の誤り検出のためのフレー
ム構成とが規定されている。また、ビデオコーダー80
4として、H.263が想定されている。また、音声コ
ーダー805として、G.723が想定されている。そ
して、ITU−Tは、これらのシステム全体の仕様勧告
として、H.324を発行している。なお、H.223
では、データプロトコル806は特に規定されていな
い。また、LAPM807として、制御データの通信手
順が規定されている。また、H.245制御808とし
て、システム制御のコマンドや手順が想定されている。
8.8Kbpsのアナログ電話回線用のモデムが想定さ
れている。また、多重化層802および適応化層803
として、ビデオの再送制御による誤り訂正のためのフレ
ーム構成および手順と、音声の誤り検出のためのフレー
ム構成とが規定されている。また、ビデオコーダー80
4として、H.263が想定されている。また、音声コ
ーダー805として、G.723が想定されている。そ
して、ITU−Tは、これらのシステム全体の仕様勧告
として、H.324を発行している。なお、H.223
では、データプロトコル806は特に規定されていな
い。また、LAPM807として、制御データの通信手
順が規定されている。また、H.245制御808とし
て、システム制御のコマンドや手順が想定されている。
【0009】次に、H.223の多重化層802におけ
る多重化フレームフォーマットを、図32に示す。図3
2において、開始フラグおよび終了フラグには、フラグ
同期をとるために、HDLCで用いられるフラグと同じ
ビットパターン「01111110」が用いられる。
H.223では、開始フラグおよび終了フラグの透過性
を保つため、フラグ以外の部分で1が5回連続する後に
は0を挿入し、受信側でこれを削除することを規定して
いる。ヘッダは、以下に続く情報フィールドを、どのよ
うなスロットに分割してどのようなデータを多重するか
を示している。図33は、音声データとコンピュータデ
ータとビデオデータとを多重した場合の多重化層802
における多重化フレームフォーマットの一例を示してい
る。
る多重化フレームフォーマットを、図32に示す。図3
2において、開始フラグおよび終了フラグには、フラグ
同期をとるために、HDLCで用いられるフラグと同じ
ビットパターン「01111110」が用いられる。
H.223では、開始フラグおよび終了フラグの透過性
を保つため、フラグ以外の部分で1が5回連続する後に
は0を挿入し、受信側でこれを削除することを規定して
いる。ヘッダは、以下に続く情報フィールドを、どのよ
うなスロットに分割してどのようなデータを多重するか
を示している。図33は、音声データとコンピュータデ
ータとビデオデータとを多重した場合の多重化層802
における多重化フレームフォーマットの一例を示してい
る。
【0010】適応化層803では、ビデオの再送制御に
よる誤り訂正のためのフレームフォーマットおよび手順
が規定されている。図34にビデオの再送制御による誤
り訂正のためのARQ(Automatic Repe
at reQuest)フレームフォーマットを示す。
図34において、制御フィールドには、再送制御のため
の送信番号と、以下に続くペイロードフィールドが情報
フレームなのか監視フレームなのかを示すフラグとが格
納されている。ペイロードフィールドは、情報フレーム
の場合はビデオデータを、監視フレームの場合は再送要
求番号と再送要求コマンドとを格納する。CRCフィー
ルドは、誤り検出のためのチェックコードを格納してい
る。また、適応化層803で決められている再送制御の
手順は、ウインドウサイズ128フレームのセレクティ
ブリピートARQ方式であり、CRCチェックにより誤
りが検出されたフレームの送信番号を再送要求番号とし
て、送信要求コマンドとともに監視フレームで一度だけ
再送を要求する。
よる誤り訂正のためのフレームフォーマットおよび手順
が規定されている。図34にビデオの再送制御による誤
り訂正のためのARQ(Automatic Repe
at reQuest)フレームフォーマットを示す。
図34において、制御フィールドには、再送制御のため
の送信番号と、以下に続くペイロードフィールドが情報
フレームなのか監視フレームなのかを示すフラグとが格
納されている。ペイロードフィールドは、情報フレーム
の場合はビデオデータを、監視フレームの場合は再送要
求番号と再送要求コマンドとを格納する。CRCフィー
ルドは、誤り検出のためのチェックコードを格納してい
る。また、適応化層803で決められている再送制御の
手順は、ウインドウサイズ128フレームのセレクティ
ブリピートARQ方式であり、CRCチェックにより誤
りが検出されたフレームの送信番号を再送要求番号とし
て、送信要求コマンドとともに監視フレームで一度だけ
再送を要求する。
【0011】このH.223は、多重化フレーム、ビデ
オフレームをともに可変長とし、また、フラグ同期を用
いている。そのため、フラグに誤りがあると、フレーム
同期を見失うことになる。また、他のデータに誤りが生
じた場合、当該他のデータがフラグに化け、これによっ
て同期が外れる場合もある。このように、H.223
は、誤りに対して弱いという課題がある。
オフレームをともに可変長とし、また、フラグ同期を用
いている。そのため、フラグに誤りがあると、フレーム
同期を見失うことになる。また、他のデータに誤りが生
じた場合、当該他のデータがフラグに化け、これによっ
て同期が外れる場合もある。このように、H.223
は、誤りに対して弱いという課題がある。
【0012】一方、簡易型携帯電話であるPHS(パー
ソナル・ハンディホン・システム)の無線回線(32k
bpsの伝送速度を持つ)は、アナログ電話回線に比べ
てさらに伝送誤りが発生しやすくなっている。従来、こ
のようなPHSの無線回線においてコンピュータデータ
を伝送する際の伝送制御方式として、例えばPIAFS
(PHS Internet Access Foru
m Standard)が日本国内において提案されて
いる。
ソナル・ハンディホン・システム)の無線回線(32k
bpsの伝送速度を持つ)は、アナログ電話回線に比べ
てさらに伝送誤りが発生しやすくなっている。従来、こ
のようなPHSの無線回線においてコンピュータデータ
を伝送する際の伝送制御方式として、例えばPIAFS
(PHS Internet Access Foru
m Standard)が日本国内において提案されて
いる。
【0013】PIAFSにおけるARQフレームは、固
定長(80バイト)である。図35にPIAFSのフレ
ーム構成を示す。図35において、フレーム種別識別領
域にはフレーム種別が、誤り制御領域には送信フレーム
番号および最も古い未受信フレーム番号が、ユーザデー
タ長表示領域にはユーザデータ領域内の有意なデータの
データ長が、ユーザデータ領域にはユーザデータが、誤
り検出符号領域にはARQフレーム全体の誤りを検出す
る誤り検出符号が格納されている。
定長(80バイト)である。図35にPIAFSのフレ
ーム構成を示す。図35において、フレーム種別識別領
域にはフレーム種別が、誤り制御領域には送信フレーム
番号および最も古い未受信フレーム番号が、ユーザデー
タ長表示領域にはユーザデータ領域内の有意なデータの
データ長が、ユーザデータ領域にはユーザデータが、誤
り検出符号領域にはARQフレーム全体の誤りを検出す
る誤り検出符号が格納されている。
【0014】PIAFSでは、フレーム同期は、通信に
先立って、同期フラグを含んだ同期フレームを用いて確
立し、データフレームのフレーム長を同期フレームと同
じ長さにすることで、以降のフレーム同期を継続するた
め、データフレームに同期フラグを必要としない。この
PIAFSは、ARQフレームが固定長であるため、誤
りがあってもフレーム同期を見失うことがなく、誤りに
対して強くなっている。
先立って、同期フラグを含んだ同期フレームを用いて確
立し、データフレームのフレーム長を同期フレームと同
じ長さにすることで、以降のフレーム同期を継続するた
め、データフレームに同期フラグを必要としない。この
PIAFSは、ARQフレームが固定長であるため、誤
りがあってもフレーム同期を見失うことがなく、誤りに
対して強くなっている。
【0015】そこで、H.223において多重化フレー
ムを固定長にすると、誤りがあっても多重化フレームの
同期がとれ、多重化フレームが誤りに対して強くなる。
ムを固定長にすると、誤りがあっても多重化フレームの
同期がとれ、多重化フレームが誤りに対して強くなる。
【0016】我々はPIAFSの同期フレームで同期を
確立した後に、同期フレームと同じフレーム長の固定長
の多重化フレームを用い、さらに多重するビデオフレー
ムのフレーム長を増減して1つの多重化フレームに1つ
のビデオフレームを格納することで同期のとれた誤りに
強い多重伝送を実現する方法を提案している(特願平9
−118479号)。
確立した後に、同期フレームと同じフレーム長の固定長
の多重化フレームを用い、さらに多重するビデオフレー
ムのフレーム長を増減して1つの多重化フレームに1つ
のビデオフレームを格納することで同期のとれた誤りに
強い多重伝送を実現する方法を提案している(特願平9
−118479号)。
【0017】そこでは、図36(a)のように、1フレ
ームの音声フレームを格納する領域を含む80バイトの
第1の多重化フレームと、音声フレームを多重しない8
0バイトの第2の固定長多重化フレームが2:1の割合
で現れるパターンで伝送する形態や図36(d)のよう
に、2フレームの音声フレームを格納する領域を含む8
0バイトの第3の多重化フレームと、音声フレームを多
重しない80バイトの第2の固定長多重化フレームが
1:2の割合で現れるパターンで伝送する形態等が考え
られている。
ームの音声フレームを格納する領域を含む80バイトの
第1の多重化フレームと、音声フレームを多重しない8
0バイトの第2の固定長多重化フレームが2:1の割合
で現れるパターンで伝送する形態や図36(d)のよう
に、2フレームの音声フレームを格納する領域を含む8
0バイトの第3の多重化フレームと、音声フレームを多
重しない80バイトの第2の固定長多重化フレームが
1:2の割合で現れるパターンで伝送する形態等が考え
られている。
【0018】こうすることにより80バイトの多重化フ
レームで120バイト中1フレームの音声データを伝送
できる。さらにこの場合には、無音区間において音声フ
レームが発生しなかったときに、無音フレームを伝送す
る代わりに、第2の固定長多重化フレームまたは第1ま
たは第4の多重化フレームを用いることでビデオフレー
ムの伝送帯域が増やせる。この拡張されたビデオフレー
ムに誤りが生じた際の再送時に有音となった時にでも第
2の固定長多重化フレームで再送を行うことができる。
G.723の音声フレームの最初の1オクテットの2ビ
ット目はVADFLAG_B0であり、このビットが0
のときは、音声フレームが有音(activespeech)であるこ
とを表し、ビットが1のときは音声フレームが無音(non
-speech)であることを表す。
レームで120バイト中1フレームの音声データを伝送
できる。さらにこの場合には、無音区間において音声フ
レームが発生しなかったときに、無音フレームを伝送す
る代わりに、第2の固定長多重化フレームまたは第1ま
たは第4の多重化フレームを用いることでビデオフレー
ムの伝送帯域が増やせる。この拡張されたビデオフレー
ムに誤りが生じた際の再送時に有音となった時にでも第
2の固定長多重化フレームで再送を行うことができる。
G.723の音声フレームの最初の1オクテットの2ビ
ット目はVADFLAG_B0であり、このビットが0
のときは、音声フレームが有音(activespeech)であるこ
とを表し、ビットが1のときは音声フレームが無音(non
-speech)であることを表す。
【0019】以下、有音である音声フレームを有音フレ
ーム、無音である音声フレームを無音フレームと呼ぶこ
ととする。無音フレームを音声デコーダーへ入力する
と、2オクテット目以降のデータは無視され、音声デコ
ーダーは背景雑音を出力する。
ーム、無音である音声フレームを無音フレームと呼ぶこ
ととする。無音フレームを音声デコーダーへ入力する
と、2オクテット目以降のデータは無視され、音声デコ
ーダーは背景雑音を出力する。
【0020】しかし、図36の(a),(b),
(e),(f)においては、2種類のフレーム長のビデ
オフレームが発生するため、以下に示す2つの課題を生
じる。第1の課題はフレーム長の長いビデオフレームは
フレーム長の短いビデオフレームを格納する多重化フレ
ームでは伝送できないため、再送要求を受けてもフレー
ム長の長いビデオフレームを格納する多重化フレームを
待つことになり、ビデオフレームの再送に遅延が生じ、
リアルタイムなビデオの伝送に支障をきたす。特に
(c)の状態でエラーが多発し、それを再送する時点で
有音となり(a)の状態になった場合、すべての再送フ
レームを1/3の頻度でしか現れない第2の多重化フレ
ームのみで行うため大きな遅延となる。
(e),(f)においては、2種類のフレーム長のビデ
オフレームが発生するため、以下に示す2つの課題を生
じる。第1の課題はフレーム長の長いビデオフレームは
フレーム長の短いビデオフレームを格納する多重化フレ
ームでは伝送できないため、再送要求を受けてもフレー
ム長の長いビデオフレームを格納する多重化フレームを
待つことになり、ビデオフレームの再送に遅延が生じ、
リアルタイムなビデオの伝送に支障をきたす。特に
(c)の状態でエラーが多発し、それを再送する時点で
有音となり(a)の状態になった場合、すべての再送フ
レームを1/3の頻度でしか現れない第2の多重化フレ
ームのみで行うため大きな遅延となる。
【0021】さらに受信側において再送要求のリトライ
のためのタイマのタイムアウト値をこの大きな遅延時間
を含めて設計することを強いられるため、再送要求に伝
送エラーが生じたさいの再送要求のリトライのタイミン
グにも遅延が生じることになる。第2の課題はフレーム
長の短いビデオフレームをフレーム長の長いビデオフレ
ームを格納する多重化フレームで伝送する際に生じる。
この場合、データ部にスタッフィングをする必要が生じ
る。スタッフィングは余分な詰め物をすることであり、
そのもの事体が冗長であるだけでなく、その有無を判別
するためのフラグを常時伝送する必要があり伝送効率の
低下を招く。
のためのタイマのタイムアウト値をこの大きな遅延時間
を含めて設計することを強いられるため、再送要求に伝
送エラーが生じたさいの再送要求のリトライのタイミン
グにも遅延が生じることになる。第2の課題はフレーム
長の短いビデオフレームをフレーム長の長いビデオフレ
ームを格納する多重化フレームで伝送する際に生じる。
この場合、データ部にスタッフィングをする必要が生じ
る。スタッフィングは余分な詰め物をすることであり、
そのもの事体が冗長であるだけでなく、その有無を判別
するためのフラグを常時伝送する必要があり伝送効率の
低下を招く。
【0022】また、スタッフィングの有無を判別するフ
ラグやスタッフィングの長さを示すコードに伝送誤りが
生じた場合、正しいビデオフレームの大きさや場所が分
からなくなるためビデオフレームに伝送誤りが生じなく
ても結果的に伝送エラーとなってしまう。
ラグやスタッフィングの長さを示すコードに伝送誤りが
生じた場合、正しいビデオフレームの大きさや場所が分
からなくなるためビデオフレームに伝送誤りが生じなく
ても結果的に伝送エラーとなってしまう。
【0023】
【発明が解決しようとする課題】本発明は、上記のよう
な問題を解決するためのもので、多重するビデオフレー
ムのフレーム長を1つにし、かつ、無音区間の音声帯域
をビデオの帯域に利用でき、ビデオの再送遅延が少な
く、エラーに強く、高効率な多重伝送方法を提供するこ
とを目的とする。
な問題を解決するためのもので、多重するビデオフレー
ムのフレーム長を1つにし、かつ、無音区間の音声帯域
をビデオの帯域に利用でき、ビデオの再送遅延が少な
く、エラーに強く、高効率な多重伝送方法を提供するこ
とを目的とする。
【0024】
【課題を解決するための手段】この課題を解決するため
に、本発明の多重伝送方法では、請求項1記載の発明に
おいては、1つの多重化フレームに2フレーム以上の音
声フレームを多重する場合において、1つの多重化フレ
ームに多重された音声フレームがすべて無音フレームの
場合にのみ、これらすべての帯域をビデオフレームまた
はデータフレームとして利用することとしている。
に、本発明の多重伝送方法では、請求項1記載の発明に
おいては、1つの多重化フレームに2フレーム以上の音
声フレームを多重する場合において、1つの多重化フレ
ームに多重された音声フレームがすべて無音フレームの
場合にのみ、これらすべての帯域をビデオフレームまた
はデータフレームとして利用することとしている。
【0025】請求項2記載の発明においては、1つの多
重化フレームに2フレーム以上の音声フレームを多重す
る場合において、1つの多重化フレームに多重された音
声フレームがすべて無音フレームの場合にのみ、これら
すべてを伝送する代わりにビデオフレームまたはデータ
フレームを伝送することとしている。
重化フレームに2フレーム以上の音声フレームを多重す
る場合において、1つの多重化フレームに多重された音
声フレームがすべて無音フレームの場合にのみ、これら
すべてを伝送する代わりにビデオフレームまたはデータ
フレームを伝送することとしている。
【0026】請求項3記載の発明においては、1つの多
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。
【0027】請求項4記載の発明においては、音声フレ
ームを多重しない多重化フレームのうち少なくとも1フ
レーム以上は音声フレームを多重する多重化フレームの
すべての音声フレームを合わせた大きさと同じ大きさの
ビデオフレームまたはデータフレームを多重しているこ
ととしている。
ームを多重しない多重化フレームのうち少なくとも1フ
レーム以上は音声フレームを多重する多重化フレームの
すべての音声フレームを合わせた大きさと同じ大きさの
ビデオフレームまたはデータフレームを多重しているこ
ととしている。
【0028】請求項5記載の発明においては、1つの多
重化フレームに多重する音声フレームに1つでも有音フ
レームが含まれる場合、有音フレーム又は無音フレーム
を多重して伝送することとしている。
重化フレームに多重する音声フレームに1つでも有音フ
レームが含まれる場合、有音フレーム又は無音フレーム
を多重して伝送することとしている。
【0029】請求項6記載の発明においては、1つの多
重化フレームに多重する音声フレームに少なくとも一つ
の有音フレームと一つ以上の無音フレームが含まれる場
合、無音フレームの代わりに有音フレームを重複して多
重して伝送することとしている。
重化フレームに多重する音声フレームに少なくとも一つ
の有音フレームと一つ以上の無音フレームが含まれる場
合、無音フレームの代わりに有音フレームを重複して多
重して伝送することとしている。
【0030】請求項7記載の発明においては、1つ以上
の音声フレームと別の種類のフレームの全部または一部
を多重して1つの多重化フレームとして一定周期で伝送
する場合に、音声フレームすべてが無音フレームのとき
音声フレームおよび一緒に多重していた別の種類のフレ
ームの全部または一部を伝送する代わりにビデオフレー
ム又はデータフレームを伝送することとしている。
の音声フレームと別の種類のフレームの全部または一部
を多重して1つの多重化フレームとして一定周期で伝送
する場合に、音声フレームすべてが無音フレームのとき
音声フレームおよび一緒に多重していた別の種類のフレ
ームの全部または一部を伝送する代わりにビデオフレー
ム又はデータフレームを伝送することとしている。
【0031】請求項8記載の発明においては、1つの多
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。
【0032】請求項9記載の発明においては、音声フレ
ームを多重しない多重化フレームのうち少なくとも1フ
レーム以上は音声フレームを多重する多重化フレームの
すべての音声フレームと別の種類のフレームの全部また
は一部の大きさを合わせた大きさと同じ大きさのビデオ
フレームまたはデータフレームを多重していることとし
ている。
ームを多重しない多重化フレームのうち少なくとも1フ
レーム以上は音声フレームを多重する多重化フレームの
すべての音声フレームと別の種類のフレームの全部また
は一部の大きさを合わせた大きさと同じ大きさのビデオ
フレームまたはデータフレームを多重していることとし
ている。
【0033】請求項10記載の発明においては、1つの
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することとしている。
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することとしている。
【0034】請求項11記載の発明においては、1つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、無音フレームの代わりに有音フレームを重複して
多重して伝送することとしている。
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、無音フレームの代わりに有音フレームを重複して
多重して伝送することとしている。
【0035】請求項12記載の発明においては、1つ以
上の音声フレームと別の種類のフレームの全部または一
部を多重して1つの多重化フレームとして一定周期で伝
送する場合に、音声フレームすべてが無音フレームでか
つ別の種類のフレームを多重伝送する必要のないときは
音声フレームおよび一緒に多重していた別の種類のフレ
ームの全部または一部を伝送する代わりにビデオフレー
ム又はデータフレームを伝送し、音声フレームすべてが
無音フレームでかつ別の種類のフレームを多重伝送する
必要があるとき音声フレームおよび一緒に多重していた
別の種類のフレームの全部または一部を伝送する代わり
に他のフレームの全部または一部を伝送することとして
いる。
上の音声フレームと別の種類のフレームの全部または一
部を多重して1つの多重化フレームとして一定周期で伝
送する場合に、音声フレームすべてが無音フレームでか
つ別の種類のフレームを多重伝送する必要のないときは
音声フレームおよび一緒に多重していた別の種類のフレ
ームの全部または一部を伝送する代わりにビデオフレー
ム又はデータフレームを伝送し、音声フレームすべてが
無音フレームでかつ別の種類のフレームを多重伝送する
必要があるとき音声フレームおよび一緒に多重していた
別の種類のフレームの全部または一部を伝送する代わり
に他のフレームの全部または一部を伝送することとして
いる。
【0036】請求13記載の発明においては、1つの多
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。
重化フレームのすべての音声フレームが無音フレームだ
ったために、これらすべてを伝送する代わりに伝送した
ビデオフレーム又はデータフレームに伝送誤りが生じ、
これを再送する際に多重化フレームに音声フレームの有
音フレームが含まれる場合、音声フレームを多重しない
多重化フレームでこれを再送することとしている。
【0037】請求項14記載の発明においては、音声フ
レームを多重しない多重化フレームのうち少なくとも1
フレーム以上は音声フレームを多重する多重化フレーム
のすべての音声フレームと別の種類のフレームの全部ま
たは一部の大きさを合わせた大きさと同じ大きさのビデ
オフレームまたはデータフレームを多重していることと
している。
レームを多重しない多重化フレームのうち少なくとも1
フレーム以上は音声フレームを多重する多重化フレーム
のすべての音声フレームと別の種類のフレームの全部ま
たは一部の大きさを合わせた大きさと同じ大きさのビデ
オフレームまたはデータフレームを多重していることと
している。
【0038】請求項15記載の発明においては、1つの
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、別の種類のデータフレームを
多重伝送する必要がないときには有音フレーム又は無音
フレームを多重して伝送し、別の種類のデータフレーム
を多重伝送する必要があるときには無音フレームの代わ
りに別の種類のデータフレームの全部または一部を多重
して伝送することとしている。
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、別の種類のデータフレームを
多重伝送する必要がないときには有音フレーム又は無音
フレームを多重して伝送し、別の種類のデータフレーム
を多重伝送する必要があるときには無音フレームの代わ
りに別の種類のデータフレームの全部または一部を多重
して伝送することとしている。
【0039】請求項16記載の発明においては、1つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、無音フレームの代わりに有音フレームを重複して
多重して伝送することとしている。
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、無音フレームの代わりに有音フレームを重複して
多重して伝送することとしている。
【0040】請求項17記載の発明においては、別の種
類のフレームを伝送する必要がない場合、別の種類のフ
レームの代わりに有音フレームを重複して多重して伝送
することとしている。
類のフレームを伝送する必要がない場合、別の種類のフ
レームの代わりに有音フレームを重複して多重して伝送
することとしている。
【0041】請求項18記載の発明においては、1つの
多重化フレームに2フレーム以上の音声フレームを多重
するソフトウエアプログラムを格納した記録媒体であっ
て、ソフトウエアプログラム1つの多重化フレームに多
重された音声フレームがすべて無音フレームの場合にの
み、これらすべてを伝送する代わりにビデオフレームま
たはデータフレームを伝送することとしている。
多重化フレームに2フレーム以上の音声フレームを多重
するソフトウエアプログラムを格納した記録媒体であっ
て、ソフトウエアプログラム1つの多重化フレームに多
重された音声フレームがすべて無音フレームの場合にの
み、これらすべてを伝送する代わりにビデオフレームま
たはデータフレームを伝送することとしている。
【0042】請求項19記載の発明においては、請求項
18記載のソフトウエアプログラムは、1つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。
18記載のソフトウエアプログラムは、1つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。
【0043】請求項20記載の発明においては、請求項
19記載のソフトウエアプログラムは、音声フレームを
多重しない多重化フレームのうち少なくとも1フレーム
以上は音声フレームを多重する多重化フレームのすべて
の音声フレームを合わせた大きさと同じ大きさのビデオ
フレームまたはデータフレームを多重していることとし
ている。
19記載のソフトウエアプログラムは、音声フレームを
多重しない多重化フレームのうち少なくとも1フレーム
以上は音声フレームを多重する多重化フレームのすべて
の音声フレームを合わせた大きさと同じ大きさのビデオ
フレームまたはデータフレームを多重していることとし
ている。
【0044】請求項21記載の発明においては、請求項
18から20記載のソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することとしている。
18から20記載のソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することとしている。
【0045】請求項22記載の発明においては、請求項
20記載のソフトウエアプログラムは、1つの多重化フ
レームに多重する音声フレームに少なくとも一つの有音
フレームと一つ以上の無音フレームが含まれる場合、無
音フレームの代わりに有音フレームを重複して多重して
伝送することとしている。
20記載のソフトウエアプログラムは、1つの多重化フ
レームに多重する音声フレームに少なくとも一つの有音
フレームと一つ以上の無音フレームが含まれる場合、無
音フレームの代わりに有音フレームを重複して多重して
伝送することとしている。
【0046】請求項23記載の発明においては、1つ以
上の音声フレームと別の種類のフレームの全部または一
部を多重して1つの多重化フレームとして一定周期で伝
送するソフトウエアプログラムを記録した記録媒体であ
って、音声フレームすべてが無音フレームのとき音声フ
レームおよび一緒に多重していた別の種類のフレームの
全部または一部を伝送する代わりにビデオフレーム又は
データフレームを伝送することとしている。
上の音声フレームと別の種類のフレームの全部または一
部を多重して1つの多重化フレームとして一定周期で伝
送するソフトウエアプログラムを記録した記録媒体であ
って、音声フレームすべてが無音フレームのとき音声フ
レームおよび一緒に多重していた別の種類のフレームの
全部または一部を伝送する代わりにビデオフレーム又は
データフレームを伝送することとしている。
【0047】請求項24記載の発明においては、請求項
23記載のソフトウエアプログラムは、1つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。
23記載のソフトウエアプログラムは、1つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。
【0048】請求項25記載の発明においては、請求項
24記載のソフトウエアプログラムは、前記音声フレー
ムを多重しない前記多重化フレームのうち少なくとも1
フレーム以上は前記音声フレームを多重する多重化フレ
ームのすべての音声フレームと前記別の種類のフレーム
の全部または一部の大きさを合わせた大きさと同じ大き
さのビデオフレームまたはデータフレームを多重してい
ることとしている。
24記載のソフトウエアプログラムは、前記音声フレー
ムを多重しない前記多重化フレームのうち少なくとも1
フレーム以上は前記音声フレームを多重する多重化フレ
ームのすべての音声フレームと前記別の種類のフレーム
の全部または一部の大きさを合わせた大きさと同じ大き
さのビデオフレームまたはデータフレームを多重してい
ることとしている。
【0049】請求項26記載の発明においては、請求項
23から請求項25記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに1つで
も有音フレームが含まれる場合、有音フレーム又は無音
フレームを多重して伝送することとしている。
23から請求項25記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに1つで
も有音フレームが含まれる場合、有音フレーム又は無音
フレームを多重して伝送することとしている。
【0050】請求項27記載の発明においては、請求項
23から請求項25記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに少なく
とも一つの有音フレームと一つ以上の無音フレームが含
まれる場合、前記無音フレームの代わりに前記有音フレ
ームを重複して多重して伝送することとしている。
23から請求項25記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに少なく
とも一つの有音フレームと一つ以上の無音フレームが含
まれる場合、前記無音フレームの代わりに前記有音フレ
ームを重複して多重して伝送することとしている。
【0051】請求項28記載の発明においては、1つ以
上の音声フレームと別の種類のフレームの全部または一
部を多重して1つの多重化フレームとして一定周期で伝
送するソフトウエアプログラムを記録した記録媒体であ
って、音声フレームすべてが無音フレームでかつ別の種
類のフレームを多重伝送する必要のないときは音声フレ
ームおよび一緒に多重していた別の種類のフレームの全
部または一部を伝送する代わりにビデオフレーム又はデ
ータフレームを伝送し、音声フレームすべてが無音フレ
ームでかつ別の種類のフレームを多重伝送する必要があ
るとき音声フレームおよび一緒に多重していた別の種類
のフレームの全部または一部を伝送する代わりに別の種
類のフレームの全部または一部を伝送することとしてい
る。
上の音声フレームと別の種類のフレームの全部または一
部を多重して1つの多重化フレームとして一定周期で伝
送するソフトウエアプログラムを記録した記録媒体であ
って、音声フレームすべてが無音フレームでかつ別の種
類のフレームを多重伝送する必要のないときは音声フレ
ームおよび一緒に多重していた別の種類のフレームの全
部または一部を伝送する代わりにビデオフレーム又はデ
ータフレームを伝送し、音声フレームすべてが無音フレ
ームでかつ別の種類のフレームを多重伝送する必要があ
るとき音声フレームおよび一緒に多重していた別の種類
のフレームの全部または一部を伝送する代わりに別の種
類のフレームの全部または一部を伝送することとしてい
る。
【0052】請求項29記載の発明においては、請求項
28記載のソフトウエアプログラムは、1つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。
28記載のソフトウエアプログラムは、1つの多重化フ
レームのすべての音声フレームが無音フレームだったた
めに、これらすべてを伝送する代わりに伝送したビデオ
フレーム又はデータフレームに伝送誤りが生じ、これを
再送する際に多重化フレームに音声フレームの有音フレ
ームが含まれる場合、音声フレームを多重しない多重化
フレームでこれを再送することとしている。
【0053】請求項30記載の発明においては、請求項
29記載のソフトウエアプログラムは音声フレームを多
重しない多重化フレームのうち少なくとも1フレーム以
上は音声フレームを多重する多重化フレームのすべての
音声フレームと別の種類のフレームの全部または一部の
大きさを合わせた大きさと同じ大きさのビデオフレーム
またはデータフレームを多重していることとしている。
29記載のソフトウエアプログラムは音声フレームを多
重しない多重化フレームのうち少なくとも1フレーム以
上は音声フレームを多重する多重化フレームのすべての
音声フレームと別の種類のフレームの全部または一部の
大きさを合わせた大きさと同じ大きさのビデオフレーム
またはデータフレームを多重していることとしている。
【0054】請求項31記載の発明においては、請求項
28から請求項30記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに1つで
も有音フレームが含まれる場合、別の種類のフレームを
多重伝送する必要がないときには有音フレーム又は無音
フレームを多重して伝送し、別の種類のフレームを多重
伝送する必要があるときには無音フレームの代わりに別
の種類のフレームの全部または一部を多重して伝送する
こととしている。
28から請求項30記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに1つで
も有音フレームが含まれる場合、別の種類のフレームを
多重伝送する必要がないときには有音フレーム又は無音
フレームを多重して伝送し、別の種類のフレームを多重
伝送する必要があるときには無音フレームの代わりに別
の種類のフレームの全部または一部を多重して伝送する
こととしている。
【0055】請求項32記載の発明においては、請求項
28から請求項30記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに少なく
とも一つの有音フレームと一つ以上の無音フレームが含
まれる場合、無音フレームの代わりに有音フレームを重
複して多重して伝送することとしている。
28から請求項30記載のソフトウエアプログラムは、
1つの多重化フレームに多重する音声フレームに少なく
とも一つの有音フレームと一つ以上の無音フレームが含
まれる場合、無音フレームの代わりに有音フレームを重
複して多重して伝送することとしている。
【0056】請求項33記載の発明においては、請求項
30から請求項32記載のソフトウエアプログラムは、
別の種類のフレームを伝送する必要がない場合、別の種
類のフレームの代わりに有音フレームを重複して多重し
て伝送することとしている。
30から請求項32記載のソフトウエアプログラムは、
別の種類のフレームを伝送する必要がない場合、別の種
類のフレームの代わりに有音フレームを重複して多重し
て伝送することとしている。
【0057】
(実施の形態1)以下、請求項1、2、3、4記載の発
明について第1実施の形態を用いて、図面を参照しなが
ら説明する。
明について第1実施の形態を用いて、図面を参照しなが
ら説明する。
【0058】図1は、本実施の形態における多重化フレ
ームのタイミング図である。図1は240バイト中に生
成される3つの多重化フレームの伝送タイミングをあら
わしており、240バイト毎に2つ生成される音声フレ
ームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。また伝送レートは32kbp
sとし、240バイト伝送するのにかかる時間は60m
Secである。図1においてMCは多重化情報であり、
AV信号の伝送に先立って送信側が多重化情報と多重化
構造の関係を受信側に通知している。ここでは多重化構
造と多重化情報の対応表として図2をもちいるものと
し、MC=1はビデオフレームが76バイトつづくこと
を示し、MC=2は第一の音声フレームが38バイト、
第2の音声フレームが38バイトつづくことを示すこと
としている。第1、第2の音声フレームは連続して30
ms毎に生成された音声フレームであり、第1の音声フ
レームの後に第2の音声フレームが生成されているもの
とする。本来G.723における音声フレームは20バ
イトあるいは24バイトであるが誤り検出フラグ、誤り
訂正フラグなどを付加して38バイトとしている。それ
ぞれの多重化フレームは80バイトの固定長の場合であ
り、これを32kbpsで伝送する場合30ms毎に生
成される音声フレームは3多重化フレーム、すなわち2
40バイトに2フレーム生成される。ここでは、これら
2フレームを1つの多重化フレームで伝送する。図1
(a)は1つの多重化フレームに含まれる、2つの音声
フレームが有音の場合、図1(b)、図1(c)は1つ
の音声フレームが有音で1つの音声フレームが無音の場
合を表している。図1(d)は1つの多重化フレームに
含まれる、2つの音声フレームが無音だった場合を表
し、このとき無音フレームを2つ送信する代わりにビデ
オフレームを送信する。
ームのタイミング図である。図1は240バイト中に生
成される3つの多重化フレームの伝送タイミングをあら
わしており、240バイト毎に2つ生成される音声フレ
ームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。また伝送レートは32kbp
sとし、240バイト伝送するのにかかる時間は60m
Secである。図1においてMCは多重化情報であり、
AV信号の伝送に先立って送信側が多重化情報と多重化
構造の関係を受信側に通知している。ここでは多重化構
造と多重化情報の対応表として図2をもちいるものと
し、MC=1はビデオフレームが76バイトつづくこと
を示し、MC=2は第一の音声フレームが38バイト、
第2の音声フレームが38バイトつづくことを示すこと
としている。第1、第2の音声フレームは連続して30
ms毎に生成された音声フレームであり、第1の音声フ
レームの後に第2の音声フレームが生成されているもの
とする。本来G.723における音声フレームは20バ
イトあるいは24バイトであるが誤り検出フラグ、誤り
訂正フラグなどを付加して38バイトとしている。それ
ぞれの多重化フレームは80バイトの固定長の場合であ
り、これを32kbpsで伝送する場合30ms毎に生
成される音声フレームは3多重化フレーム、すなわち2
40バイトに2フレーム生成される。ここでは、これら
2フレームを1つの多重化フレームで伝送する。図1
(a)は1つの多重化フレームに含まれる、2つの音声
フレームが有音の場合、図1(b)、図1(c)は1つ
の音声フレームが有音で1つの音声フレームが無音の場
合を表している。図1(d)は1つの多重化フレームに
含まれる、2つの音声フレームが無音だった場合を表
し、このとき無音フレームを2つ送信する代わりにビデ
オフレームを送信する。
【0059】次に本実施の形態における送信側の多重化
処理フローを図3に示す。始めに301にてカウンタC
を0に初期化した後、302にて80バイト伝送時間毎
に通知される多重化フレーム生成の要求が来るのを待
つ。つぎに303にてカウンタC=2であるか判定を行
い、C=2でない場合には304にてCを1加算したの
ち305にてビデオデータからMC=1の多重化フレー
ムを生成し302より繰り返す。一方303にてカウン
タC=2の場合には306にてカウンタCを0にクリア
した後、307にて2つの音声フレームを音声エンコー
ダより入力する。その後308にて2つの音声フレーム
が共に無音であるかの判定を行い、少なくとも一つが有
音フレームである場合には、前記2つの音声フレームよ
りMC=2の多重化フレームを生成し302より繰り返
す。308にて第1、第2の音声フレームが共に無音で
あった場合には、ビデオデータよりMC=1の多重化フ
レームを生成し302より繰り返す。以上のような処理
フローを実行することにより図1に示す多重化フレーム
を生成することができる。
処理フローを図3に示す。始めに301にてカウンタC
を0に初期化した後、302にて80バイト伝送時間毎
に通知される多重化フレーム生成の要求が来るのを待
つ。つぎに303にてカウンタC=2であるか判定を行
い、C=2でない場合には304にてCを1加算したの
ち305にてビデオデータからMC=1の多重化フレー
ムを生成し302より繰り返す。一方303にてカウン
タC=2の場合には306にてカウンタCを0にクリア
した後、307にて2つの音声フレームを音声エンコー
ダより入力する。その後308にて2つの音声フレーム
が共に無音であるかの判定を行い、少なくとも一つが有
音フレームである場合には、前記2つの音声フレームよ
りMC=2の多重化フレームを生成し302より繰り返
す。308にて第1、第2の音声フレームが共に無音で
あった場合には、ビデオデータよりMC=1の多重化フ
レームを生成し302より繰り返す。以上のような処理
フローを実行することにより図1に示す多重化フレーム
を生成することができる。
【0060】また、本実施の形態における受信側の多重
分離処理フローを図4に示す。始めに401にてカウン
タCを0に初期化した後、402にて80バイトの多重
化フレームが到着するのを待つ。次に403にて多重化
フレームのMCが2か判定を行いMC=2の場合には4
04にてカウンタCを0にクリアした後、405にて多
重化フレームより2つの音声フレームを分離し音声デコ
ーダに渡し、402から繰り返す。403にてMC=2
でなかった場合には、406にてカウンタCが2である
か判定を行い、C=2の場合には408にてカウンタC
をクリアした後、409にてローカルで生成した無音フ
レームを2つ音声デコーダに渡したのち402へ進む。
406にてC=2でなかった場合には、カウンタCを1
加算した後、410へ進む。410では、多重化フレー
ムのMCが1であるかの判定を行い、MC=1の場合に
は、多重化フレームより抽出したビデオフレームをビデ
オデコーダへ渡し、402より繰り返す。410にて、
MC=1でない場合には受信した多重化フレームは無効
と判定し402より繰り返す。以上の処理フローを行う
ことにより図1(d)のような一連の多重化フレームを受
け取った場合に無音部分を判定し、無音フレームを生成
して音声デコーダへ渡すことができる。
分離処理フローを図4に示す。始めに401にてカウン
タCを0に初期化した後、402にて80バイトの多重
化フレームが到着するのを待つ。次に403にて多重化
フレームのMCが2か判定を行いMC=2の場合には4
04にてカウンタCを0にクリアした後、405にて多
重化フレームより2つの音声フレームを分離し音声デコ
ーダに渡し、402から繰り返す。403にてMC=2
でなかった場合には、406にてカウンタCが2である
か判定を行い、C=2の場合には408にてカウンタC
をクリアした後、409にてローカルで生成した無音フ
レームを2つ音声デコーダに渡したのち402へ進む。
406にてC=2でなかった場合には、カウンタCを1
加算した後、410へ進む。410では、多重化フレー
ムのMCが1であるかの判定を行い、MC=1の場合に
は、多重化フレームより抽出したビデオフレームをビデ
オデコーダへ渡し、402より繰り返す。410にて、
MC=1でない場合には受信した多重化フレームは無効
と判定し402より繰り返す。以上の処理フローを行う
ことにより図1(d)のような一連の多重化フレームを受
け取った場合に無音部分を判定し、無音フレームを生成
して音声デコーダへ渡すことができる。
【0061】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、図1に示すとおり、ビ
デオフレームを含む多重化構造がひとつのみなので、ど
のタイミングのビデオフレームの再送においても、任意
のMC=1の多重化構造の多重化フレームにて直ちにビ
デオフレームを再送することができ、従来例のようにフ
レーム長の長い方のビデオフレームを再送する場合に、
フレーム長の長いビデオフレームを格納することができ
る多重化フレームが現れるまで再送待ちをする必要はな
い。唯一有音フレームが含まれる多重化フレームが現れ
た場合のみ、1多重化フレーム分待機する。また、フレ
ーム長の短いビデオフレームを再送する際に、スタッフ
ィングをしてフレーム長の長いビデオフレームを格納す
る多重化フレームにて伝送するようなことも生じない。
し再送要求を受信した場合には、図1に示すとおり、ビ
デオフレームを含む多重化構造がひとつのみなので、ど
のタイミングのビデオフレームの再送においても、任意
のMC=1の多重化構造の多重化フレームにて直ちにビ
デオフレームを再送することができ、従来例のようにフ
レーム長の長い方のビデオフレームを再送する場合に、
フレーム長の長いビデオフレームを格納することができ
る多重化フレームが現れるまで再送待ちをする必要はな
い。唯一有音フレームが含まれる多重化フレームが現れ
た場合のみ、1多重化フレーム分待機する。また、フレ
ーム長の短いビデオフレームを再送する際に、スタッフ
ィングをしてフレーム長の長いビデオフレームを格納す
る多重化フレームにて伝送するようなことも生じない。
【0062】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能にな
り、さらに無音の場合に音声フレームの領域をビデオフ
レームに割り振ることによりビデオの帯域を広げ効率よ
く伝送することができる。
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能にな
り、さらに無音の場合に音声フレームの領域をビデオフ
レームに割り振ることによりビデオの帯域を広げ効率よ
く伝送することができる。
【0063】なお、本実施の形態では、一つの多重化フ
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
【0064】また、本実施の形態では多重化フレームに
ビデオフレームのみ、あるいは音声フレームのみを多重
しているが、その他の種類のフレームを多重する場合に
もビデオフレームと複数の音声フレームのフレーム長を
等しくすることにより同等に効果を発揮する。
ビデオフレームのみ、あるいは音声フレームのみを多重
しているが、その他の種類のフレームを多重する場合に
もビデオフレームと複数の音声フレームのフレーム長を
等しくすることにより同等に効果を発揮する。
【0065】さらに、2種類のサイズのビデオフレーム
にはなるが、その他の種類のフレームとしてやはりビデ
オフレームを多重しており、それと同じ多重化フレーム
に多重している音声フレームがすべて無音フレームの場
合にのみ、もとのビデオフレームのサイズと音声フレー
ムすべてのサイズを合計した大きさのビデオフレームを
伝送するようにすると、例えばひとつの多重化フレーム
に音声フレームを2フレーム多重している最も単純な場
合でも3種類のサイズのビデオフレームを取り扱うべき
ところが、2種類のサイズのビデオフレームを扱えばよ
いようになる。例えば、64Kbpsの伝送速度で8K
bpsの音声データを伝送する場合、80バイトの多重
化フレームに10バイトの音声フレームを2フレーム多
重し、残りの領域にビデオフレームを多重した多重化フ
レームと80バイトの多重化フレームにビデオフレーム
を多重した多重化フレームを交互に伝送し、音声フレー
ムが2フレームとも無音フレームの際に80バイトの多
重化フレームにビデオフレームを多重するようにすれ
ば、2種類のサイズのビデオフレームを扱えばよい。図
5はその他の種類のフレームとして、データフレームを
加えた場合の一例である。このとき、多重化構造と多重
化情報の対応表は、図6のようになり、多重処理フロー
の305、309、310ではデータを入力し多重する
処理が、多重分離フローの405、411ではデータを
分離し出力する処理がそれぞれ加わる。
にはなるが、その他の種類のフレームとしてやはりビデ
オフレームを多重しており、それと同じ多重化フレーム
に多重している音声フレームがすべて無音フレームの場
合にのみ、もとのビデオフレームのサイズと音声フレー
ムすべてのサイズを合計した大きさのビデオフレームを
伝送するようにすると、例えばひとつの多重化フレーム
に音声フレームを2フレーム多重している最も単純な場
合でも3種類のサイズのビデオフレームを取り扱うべき
ところが、2種類のサイズのビデオフレームを扱えばよ
いようになる。例えば、64Kbpsの伝送速度で8K
bpsの音声データを伝送する場合、80バイトの多重
化フレームに10バイトの音声フレームを2フレーム多
重し、残りの領域にビデオフレームを多重した多重化フ
レームと80バイトの多重化フレームにビデオフレーム
を多重した多重化フレームを交互に伝送し、音声フレー
ムが2フレームとも無音フレームの際に80バイトの多
重化フレームにビデオフレームを多重するようにすれ
ば、2種類のサイズのビデオフレームを扱えばよい。図
5はその他の種類のフレームとして、データフレームを
加えた場合の一例である。このとき、多重化構造と多重
化情報の対応表は、図6のようになり、多重処理フロー
の305、309、310ではデータを入力し多重する
処理が、多重分離フローの405、411ではデータを
分離し出力する処理がそれぞれ加わる。
【0066】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図7に示すよ
うに複数の音声フレームと同じ大きさのデータフレーム
を伝送している場合には代わりにデータフレームを多重
してもよい。このときの多重化構造と多重化情報の対応
表は、図2である。
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図7に示すよ
うに複数の音声フレームと同じ大きさのデータフレーム
を伝送している場合には代わりにデータフレームを多重
してもよい。このときの多重化構造と多重化情報の対応
表は、図2である。
【0067】(実施の形態2)以下、請求項5記載の発
明について第2の実施の形態を用いて、図面を参照しな
がら説明する。
明について第2の実施の形態を用いて、図面を参照しな
がら説明する。
【0068】図8は、本実施の形態における多重化フレ
ームのタイミング図である。図8は240バイト中に生
成される3つの多重化フレームの伝送タイミングをあら
わしており、240バイト毎に2つ生成される音声フレ
ームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。
ームのタイミング図である。図8は240バイト中に生
成される3つの多重化フレームの伝送タイミングをあら
わしており、240バイト毎に2つ生成される音声フレ
ームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。
【0069】図8における、多重化構造と多重化情報の
対応表は図9のようになり、MC=1はビデオフレーム
が76バイトつづくことを示し、MC=2は第一の音声
フレームが38バイト、第2の音声フレームが38バイ
トつづくことを示すこととしている。第1、第2の音声
フレームは連続して30ms毎に生成された音声フレー
ムであり、第1の音声フレームの後に第2の音声フレー
ムが生成されているものとする。本来G.723におけ
る音声フレームは20バイトあるいは24バイトである
が誤り検出フラグ、誤り訂正フラグなどを付加して38
バイトとしている。MC=3は第1の音声フレームを2
つ含み、第2の音声フレームを含んでいないことを表
し、MC=4の場合は第2の音声フレームのみを2つ含
むことを表すものとする。それぞれの多重化フレームは
80バイトの固定長の場合であり、これを32kbps
で伝送する場合30ms毎に生成される音声フレームは
3多重化フレーム、すなわち240バイトに2フレーム
生成される。ここでは、これら2フレームを1つの多重
化フレームで伝送する。図8(a)は1つの多重化フレ
ームに含まれる、2つの音声フレームが有音の場合、図
8(b)は第1の音声フレームが有音で、第2の音声フ
レームが無音の場合、図8(c)は第1の音声フレーム
が無音で第2の音声フレームが有音の場合を表し、無音
フレームを送信する代わりに有音フレームを2回送る。
図8(d)は1つの多重化フレームに含まれる、2つの
音声フレームが無音だった場合を表し、このとき無音フ
レームを2つ送信する代わりにビデオフレームを送信す
る。
対応表は図9のようになり、MC=1はビデオフレーム
が76バイトつづくことを示し、MC=2は第一の音声
フレームが38バイト、第2の音声フレームが38バイ
トつづくことを示すこととしている。第1、第2の音声
フレームは連続して30ms毎に生成された音声フレー
ムであり、第1の音声フレームの後に第2の音声フレー
ムが生成されているものとする。本来G.723におけ
る音声フレームは20バイトあるいは24バイトである
が誤り検出フラグ、誤り訂正フラグなどを付加して38
バイトとしている。MC=3は第1の音声フレームを2
つ含み、第2の音声フレームを含んでいないことを表
し、MC=4の場合は第2の音声フレームのみを2つ含
むことを表すものとする。それぞれの多重化フレームは
80バイトの固定長の場合であり、これを32kbps
で伝送する場合30ms毎に生成される音声フレームは
3多重化フレーム、すなわち240バイトに2フレーム
生成される。ここでは、これら2フレームを1つの多重
化フレームで伝送する。図8(a)は1つの多重化フレ
ームに含まれる、2つの音声フレームが有音の場合、図
8(b)は第1の音声フレームが有音で、第2の音声フ
レームが無音の場合、図8(c)は第1の音声フレーム
が無音で第2の音声フレームが有音の場合を表し、無音
フレームを送信する代わりに有音フレームを2回送る。
図8(d)は1つの多重化フレームに含まれる、2つの
音声フレームが無音だった場合を表し、このとき無音フ
レームを2つ送信する代わりにビデオフレームを送信す
る。
【0070】次に本実施の形態における送信側の多重化
処理フローを図10に示す。始めに1001にてカウン
タCを0に初期化した後、1002にて80バイト伝送
時間毎に通知される多重化フレーム生成の要求が来るの
を待つ。つぎに1003にてカウンタC=2であるか判
定し、C=2でない場合には1004にてCを1加算し
たのち1005にてビデオデータからMC=1の多重化
フレームを生成し1002より繰り返す。一方1003
にてカウンタC=2の場合には1006にてカウンタC
を0にクリアした後、1007にて第1、第2の音声フ
レームを音声エンコーダより入力する。その後1008
にて2つの音声フレームが共に有音であるかの判定を行
い、2つとも有音フレームである場合には、1009に
て前記第1、第2の音声フレームよりMC=2の多重化
フレームを生成し1002より繰り返す。1008にて
2つの音声フレームの少なくとも一方が無音であった場
合には、1010にて第1の音声フレームが有音か、の
判定を行い、第1の音声フレームが有音の場合には10
11にて第1の音声フレームを2つ多重したMC=3の
多重化フレームを生成し1002より繰り返す。101
0にて第1の音声フレームが無音だった場合には、10
12にて第2の音声フレームが有音か、の判定を行い第
2の音声フレームが有音の場合には1013にて第2の
音声フレームを2つ多重したMC=4の多重化フレーム
を生成し、1002より繰り返す。1012にて第2の
音声フレームが無音だった場合、ビデオデータよりMC
=1の多重化フレームを生成し1002より繰り返す。
以上のような処理フローを実行することにより図7に示
す多重化フレームを生成することができる。
処理フローを図10に示す。始めに1001にてカウン
タCを0に初期化した後、1002にて80バイト伝送
時間毎に通知される多重化フレーム生成の要求が来るの
を待つ。つぎに1003にてカウンタC=2であるか判
定し、C=2でない場合には1004にてCを1加算し
たのち1005にてビデオデータからMC=1の多重化
フレームを生成し1002より繰り返す。一方1003
にてカウンタC=2の場合には1006にてカウンタC
を0にクリアした後、1007にて第1、第2の音声フ
レームを音声エンコーダより入力する。その後1008
にて2つの音声フレームが共に有音であるかの判定を行
い、2つとも有音フレームである場合には、1009に
て前記第1、第2の音声フレームよりMC=2の多重化
フレームを生成し1002より繰り返す。1008にて
2つの音声フレームの少なくとも一方が無音であった場
合には、1010にて第1の音声フレームが有音か、の
判定を行い、第1の音声フレームが有音の場合には10
11にて第1の音声フレームを2つ多重したMC=3の
多重化フレームを生成し1002より繰り返す。101
0にて第1の音声フレームが無音だった場合には、10
12にて第2の音声フレームが有音か、の判定を行い第
2の音声フレームが有音の場合には1013にて第2の
音声フレームを2つ多重したMC=4の多重化フレーム
を生成し、1002より繰り返す。1012にて第2の
音声フレームが無音だった場合、ビデオデータよりMC
=1の多重化フレームを生成し1002より繰り返す。
以上のような処理フローを実行することにより図7に示
す多重化フレームを生成することができる。
【0071】また、本実施の形態における受信側の多重
分離処理フローを図11に示す。始めに1101にてカ
ウンタCを0に初期化した後、1102にて80バイト
の多重化フレームが到着するのを待つ。次に1103に
て多重化フレームのMCが2か判定を行いMC=2の場
合には1104にてカウンタCを0にクリアした後、1
105にて多重化フレームより第1、第2の音声フレー
ムを分離し音声デコーダに渡し、1102から繰り返
す。1103にてMC=2でなかった場合には、110
6にて多重化フレームのMCが3か判定を行いMC=3
の場合には1107にてカウンタCを0にクリアした
後、1108にて多重化フレームより第1の音声フレー
ムを分離し、第1の音声フレーム、無音フレームの順で
音声デコーダに渡し、1102から繰り返す。1106
にてMC=3でなかった場合には、1109にて多重化
フレームのMCが4か判定を行いMC=4の場合には1
110にてカウンタCを0にクリアした後、1111に
て多重化フレームより第2の音声フレームを分離し、無
音フレーム、第2の音声フレームの順で音声デコーダに
渡し、1102から繰り返す。1109にてMC=4で
なかった場合には1112にてカウンタCが2であるか
判定を行い、C=2の場合には1113にてカウンタC
をクリアした後、1114にて無音フレームを2つ音声
デコーダに渡したのち1116へ進む。1112にてC
=2でなかった場合には、カウンタCを1加算した後、
1116へ進む。1116では、多重化フレームのMC
が1であるかの判定を行い、MC=1の場合には、ビデ
オフレームをビデオデコーダへ渡し、1102より繰り
返す。1116にて、MC=1でない場合には受信した
多重化フレームは無効と判定し1102より繰り返す。
以上の処理フローを行うことにより図7のような一連の
多重化フレームを受け取った場合に無音部分を判定し、
無音フレームを生成して音声デコーダへ渡すことができ
る。
分離処理フローを図11に示す。始めに1101にてカ
ウンタCを0に初期化した後、1102にて80バイト
の多重化フレームが到着するのを待つ。次に1103に
て多重化フレームのMCが2か判定を行いMC=2の場
合には1104にてカウンタCを0にクリアした後、1
105にて多重化フレームより第1、第2の音声フレー
ムを分離し音声デコーダに渡し、1102から繰り返
す。1103にてMC=2でなかった場合には、110
6にて多重化フレームのMCが3か判定を行いMC=3
の場合には1107にてカウンタCを0にクリアした
後、1108にて多重化フレームより第1の音声フレー
ムを分離し、第1の音声フレーム、無音フレームの順で
音声デコーダに渡し、1102から繰り返す。1106
にてMC=3でなかった場合には、1109にて多重化
フレームのMCが4か判定を行いMC=4の場合には1
110にてカウンタCを0にクリアした後、1111に
て多重化フレームより第2の音声フレームを分離し、無
音フレーム、第2の音声フレームの順で音声デコーダに
渡し、1102から繰り返す。1109にてMC=4で
なかった場合には1112にてカウンタCが2であるか
判定を行い、C=2の場合には1113にてカウンタC
をクリアした後、1114にて無音フレームを2つ音声
デコーダに渡したのち1116へ進む。1112にてC
=2でなかった場合には、カウンタCを1加算した後、
1116へ進む。1116では、多重化フレームのMC
が1であるかの判定を行い、MC=1の場合には、ビデ
オフレームをビデオデコーダへ渡し、1102より繰り
返す。1116にて、MC=1でない場合には受信した
多重化フレームは無効と判定し1102より繰り返す。
以上の処理フローを行うことにより図7のような一連の
多重化フレームを受け取った場合に無音部分を判定し、
無音フレームを生成して音声デコーダへ渡すことができ
る。
【0072】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、実施の形態1と同様に
直ちにビデオフレームを再送することができ、MC=
3、MC=4の多重化構造にて音声フレームを送信した
場合には、1108、1111にて一方の音声フレーム
に誤りが検出された場合においても、もう一方の音声フ
レームに誤りがなければ、多重化フレームに誤りが無い
場合と同じ出力が得られるため音声の誤り耐性が向上す
る。
し再送要求を受信した場合には、実施の形態1と同様に
直ちにビデオフレームを再送することができ、MC=
3、MC=4の多重化構造にて音声フレームを送信した
場合には、1108、1111にて一方の音声フレーム
に誤りが検出された場合においても、もう一方の音声フ
レームに誤りがなければ、多重化フレームに誤りが無い
場合と同じ出力が得られるため音声の誤り耐性が向上す
る。
【0073】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能とな
り、さらに2フレームの音声フレームがともに無音の場
合には音声フレームの領域をビデオフレームに割り振る
ことによりビデオの帯域を広げ効率よく伝送し、1フレ
ームの音声フレームのみが無音の場合には無音フレーム
の領域を使って有音の音声フレームを2重に伝送して音
声の誤り耐性を強くして伝送することができる。
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能とな
り、さらに2フレームの音声フレームがともに無音の場
合には音声フレームの領域をビデオフレームに割り振る
ことによりビデオの帯域を広げ効率よく伝送し、1フレ
ームの音声フレームのみが無音の場合には無音フレーム
の領域を使って有音の音声フレームを2重に伝送して音
声の誤り耐性を強くして伝送することができる。
【0074】なお、本実施の形態では、一つの多重化フ
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
【0075】また、本実施の形態では多重化フレームに
ビデオフレームと音声フレームのみを多重しているが、
その他の種類のフレームを多重する場合にもビデオフレ
ームと複数の音声フレームのフレーム長を等しくするこ
とにより同等に効果を発揮する。図12はその他の種類
のフレームとして、データフレームを加えた場合の一例
である。このとき、多重化構造と多重化情報の対応表
は、図13のようになり、多重処理フローの1005、
1009、1011、1013、1014ではデータを
入力し多重する処理が、多重分離フローの1105、1
108、1111、1117ではデータを分離し出力す
る処理がそれぞれ加わる。
ビデオフレームと音声フレームのみを多重しているが、
その他の種類のフレームを多重する場合にもビデオフレ
ームと複数の音声フレームのフレーム長を等しくするこ
とにより同等に効果を発揮する。図12はその他の種類
のフレームとして、データフレームを加えた場合の一例
である。このとき、多重化構造と多重化情報の対応表
は、図13のようになり、多重処理フローの1005、
1009、1011、1013、1014ではデータを
入力し多重する処理が、多重分離フローの1105、1
108、1111、1117ではデータを分離し出力す
る処理がそれぞれ加わる。
【0076】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図14に示す
ように2つの音声フレームと同じ大きさのデータフレー
ムを伝送している場合には代わりにデータフレームを多
重してもよい。このときの多重化構造と多重化情報の対
応表は、図2である。
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図14に示す
ように2つの音声フレームと同じ大きさのデータフレー
ムを伝送している場合には代わりにデータフレームを多
重してもよい。このときの多重化構造と多重化情報の対
応表は、図2である。
【0077】(実施の形態3)以下、請求項6、7、
8、9記載の発明について第3の実施の形態を用いて図
面を参照しながら説明する。
8、9記載の発明について第3の実施の形態を用いて図
面を参照しながら説明する。
【0078】図15は、本実施の形態における多重化フ
レームのタイミング図である。図15は240バイト中
に生成される3つの多重化フレームの伝送タイミングを
あらわしており、240バイト毎に2つ生成される音声
フレームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。
レームのタイミング図である。図15は240バイト中
に生成される3つの多重化フレームの伝送タイミングを
あらわしており、240バイト毎に2つ生成される音声
フレームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。
【0079】図15における、多重化構造と多重化情報
の対応表は図16のようになり、MC=1はビデオフレ
ームが70バイト、タイプAのデータが6バイトつづく
ことを示し、MC=2は第一の音声フレームが25バイ
ト、第2の音声フレームが25バイト、タイプBのデー
タが12バイト、タイプCのデータが8バイト、タイプ
Aのデータが6バイトつづくことを示すとしている。第
1、第2の音声フレームは連続して30ms毎に生成さ
れた音声フレームであり、第1の音声フレームの後に第
2の音声フレームが生成されているものとする。ここで
はG.723における24バイトの音声フレームに誤り
検出フラグを1バイト付加して音声フレームとしてい
る。それぞれの多重化フレームは80バイトの固定長の
場合であり、これを32kbpsで伝送する場合30m
s毎に生成される音声フレームは3多重化フレーム、す
なわち240バイトに2フレーム生成される。ここで
は、これら2フレームを1つの多重化フレームで伝送す
る。図8(a)は1つの多重化フレームに含まれる、2
つの音声フレームが有音の場合、図8(b)は第1の音
声フレームが有音で、第2の音声フレームが無音の場
合、図8(c)は第1の音声フレームが無音で第2の音
声フレームが有音の場合を表している。図8(d)は1
つの多重化フレームに含まれる、2つの音声フレームが
無音だった場合を表し、このとき無音フレーム2つとタ
イプA、Bのデータフレームを送信する代わりにビデオ
フレームを送信する。
の対応表は図16のようになり、MC=1はビデオフレ
ームが70バイト、タイプAのデータが6バイトつづく
ことを示し、MC=2は第一の音声フレームが25バイ
ト、第2の音声フレームが25バイト、タイプBのデー
タが12バイト、タイプCのデータが8バイト、タイプ
Aのデータが6バイトつづくことを示すとしている。第
1、第2の音声フレームは連続して30ms毎に生成さ
れた音声フレームであり、第1の音声フレームの後に第
2の音声フレームが生成されているものとする。ここで
はG.723における24バイトの音声フレームに誤り
検出フラグを1バイト付加して音声フレームとしてい
る。それぞれの多重化フレームは80バイトの固定長の
場合であり、これを32kbpsで伝送する場合30m
s毎に生成される音声フレームは3多重化フレーム、す
なわち240バイトに2フレーム生成される。ここで
は、これら2フレームを1つの多重化フレームで伝送す
る。図8(a)は1つの多重化フレームに含まれる、2
つの音声フレームが有音の場合、図8(b)は第1の音
声フレームが有音で、第2の音声フレームが無音の場
合、図8(c)は第1の音声フレームが無音で第2の音
声フレームが有音の場合を表している。図8(d)は1
つの多重化フレームに含まれる、2つの音声フレームが
無音だった場合を表し、このとき無音フレーム2つとタ
イプA、Bのデータフレームを送信する代わりにビデオ
フレームを送信する。
【0080】本実施の形態における送信側の多重化処理
フローは図3の305、310にてビデオデータとタイ
プAのデータよりMC=1の多重化フレームを生成する
ことと309にて第1、第2の音声フレームとタイプ
A、B、CのデータよりMC=2の多重化フレームを生
成すること以外は実施の形態1と同様である。
フローは図3の305、310にてビデオデータとタイ
プAのデータよりMC=1の多重化フレームを生成する
ことと309にて第1、第2の音声フレームとタイプ
A、B、CのデータよりMC=2の多重化フレームを生
成すること以外は実施の形態1と同様である。
【0081】また本実施の形態における受信側の多重分
離フローは図4の405にて第1、第2の音声フレーム
とタイプA、B、Cのデータを分離して出力し、411
にてビデオフレームとタイプAのデータを分離して出力
する以外は実施の形態1と同様である。
離フローは図4の405にて第1、第2の音声フレーム
とタイプA、B、Cのデータを分離して出力し、411
にてビデオフレームとタイプAのデータを分離して出力
する以外は実施の形態1と同様である。
【0082】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、図15に示すとおり、
ビデオフレームを含む多重化構造がひとつしか存在しな
いので、どのタイミングのビデオフレームの再送におい
ても、任意のMC=1の多重化構造の多重化フレームに
て直ちにビデオフレームを再送することができ、従来例
のようにフレーム長の長い方のビデオフレームを再送す
る場合に、フレーム長の長いビデオフレームを格納する
ことができる多重化フレームが現れるまで再送待ちをす
る必要はない。唯一有音フレームが含まれる多重化フレ
ームが現れた場合のみ、1多重化フレーム分待機する。
また、フレーム長の短いビデオフレームを再送する際
に、スタッフィングをしてフレーム長の長いビデオフレ
ームを格納する多重化フレームにて伝送するようなこと
も生じない。
し再送要求を受信した場合には、図15に示すとおり、
ビデオフレームを含む多重化構造がひとつしか存在しな
いので、どのタイミングのビデオフレームの再送におい
ても、任意のMC=1の多重化構造の多重化フレームに
て直ちにビデオフレームを再送することができ、従来例
のようにフレーム長の長い方のビデオフレームを再送す
る場合に、フレーム長の長いビデオフレームを格納する
ことができる多重化フレームが現れるまで再送待ちをす
る必要はない。唯一有音フレームが含まれる多重化フレ
ームが現れた場合のみ、1多重化フレーム分待機する。
また、フレーム長の短いビデオフレームを再送する際
に、スタッフィングをしてフレーム長の長いビデオフレ
ームを格納する多重化フレームにて伝送するようなこと
も生じない。
【0083】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能とな
り、さらに無音の場合に音声フレームの領域をビデオフ
レームに割り振ることによりビデオの帯域を広げ効率よ
く伝送することができる。
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく
し、かつ冗長分を付加することなく行うことが可能とな
り、さらに無音の場合に音声フレームの領域をビデオフ
レームに割り振ることによりビデオの帯域を広げ効率よ
く伝送することができる。
【0084】なお、本実施の形態では、一つの多重化フ
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
【0085】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図17に示す
ように複数の音声フレームと一緒に多重していた別の種
類のフレームを合わせた大きさと同じ大きさのデータフ
レームを伝送している場合には代わりにデータフレーム
を多重してもよい。このときの多重化構造と多重化情報
の対応表は、図16である。
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図17に示す
ように複数の音声フレームと一緒に多重していた別の種
類のフレームを合わせた大きさと同じ大きさのデータフ
レームを伝送している場合には代わりにデータフレーム
を多重してもよい。このときの多重化構造と多重化情報
の対応表は、図16である。
【0086】(実施の形態4)以下、請求項10記載の
発明について第4の実施の形態を用いて、図面を参照し
ながら説明する。
発明について第4の実施の形態を用いて、図面を参照し
ながら説明する。
【0087】図18は、本実施の形態における多重化フ
レームのタイミング図である。図18は240バイト中
に生成される3つの多重化フレームの伝送タイミングを
あらわしており、240バイト毎に2つ生成される音声
フレームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。
レームのタイミング図である。図18は240バイト中
に生成される3つの多重化フレームの伝送タイミングを
あらわしており、240バイト毎に2つ生成される音声
フレームの有音、無音の状況により(a)、(b)、
(c)、(d)のうちのひとつのパターンに基づき各デ
ータを多重化し伝送する。
【0088】図18における、多重化構造と多重化情報
の対応表は図19のようになり、MC=1はビデオフレ
ームが70バイト、タイプAのデータが6バイトつづく
ことを示し、MC=2は第一の音声フレームが25バイ
ト、第2の音声フレームが25バイト、タイプBのデー
タが12バイト、タイプCのデータが8バイト、タイプ
Aのデータが6バイトつづくことを示すとしている。第
1、第2の音声フレームは連続して30ms毎に生成さ
れた音声フレームであり、第1の音声フレームの後に第
2の音声フレームが生成されているものとする。ここで
はG.723における24バイトの音声フレームに誤り
検出フラグを1バイト付加して音声フレームとしてい
る。MC=3は、第1の音声フレームを2つ含み、第2
の音声フレームを含んでいないことを表し、MC=4の
場合は第2の音声フレームのみを2つ含むことを表すも
のとする。それぞれの多重化フレームは80バイトの固
定長の場合であり、これを32kbpsで伝送する場合
30ms毎に生成される音声フレームは3多重化フレー
ム、すなわち240バイトに2フレーム生成される。こ
こでは、これら2フレームを1つの多重化フレームで伝
送する。図18(a)は1つの多重化フレームに含まれ
る、2つの音声フレームが有音の場合、図18(b)は
第1の音声フレームが有音で、第2の音声フレームが無
音の場合、図18(c)は第1の音声フレームが無音で
第2の音声フレームが有音の場合を表し、無音フレーム
を送信する代わりに有音フレームを2回送る。図18
(d)は1つの多重化フレームに含まれる、2つの音声
フレームが無音だった場合を表し、このとき無音フレー
ムを2つとタイプB、Cのデータを送信する代わりにビ
デオフレームを送信する。
の対応表は図19のようになり、MC=1はビデオフレ
ームが70バイト、タイプAのデータが6バイトつづく
ことを示し、MC=2は第一の音声フレームが25バイ
ト、第2の音声フレームが25バイト、タイプBのデー
タが12バイト、タイプCのデータが8バイト、タイプ
Aのデータが6バイトつづくことを示すとしている。第
1、第2の音声フレームは連続して30ms毎に生成さ
れた音声フレームであり、第1の音声フレームの後に第
2の音声フレームが生成されているものとする。ここで
はG.723における24バイトの音声フレームに誤り
検出フラグを1バイト付加して音声フレームとしてい
る。MC=3は、第1の音声フレームを2つ含み、第2
の音声フレームを含んでいないことを表し、MC=4の
場合は第2の音声フレームのみを2つ含むことを表すも
のとする。それぞれの多重化フレームは80バイトの固
定長の場合であり、これを32kbpsで伝送する場合
30ms毎に生成される音声フレームは3多重化フレー
ム、すなわち240バイトに2フレーム生成される。こ
こでは、これら2フレームを1つの多重化フレームで伝
送する。図18(a)は1つの多重化フレームに含まれ
る、2つの音声フレームが有音の場合、図18(b)は
第1の音声フレームが有音で、第2の音声フレームが無
音の場合、図18(c)は第1の音声フレームが無音で
第2の音声フレームが有音の場合を表し、無音フレーム
を送信する代わりに有音フレームを2回送る。図18
(d)は1つの多重化フレームに含まれる、2つの音声
フレームが無音だった場合を表し、このとき無音フレー
ムを2つとタイプB、Cのデータを送信する代わりにビ
デオフレームを送信する。
【0089】本実施の形態における送信側の多重化処理
フローは図10の1005、1014にてビデオデータ
とタイプAのデータよりMC=1の多重化フレームを生
成することと、1009にて第1、第2の音声フレーム
とタイプA、B、CのデータよりMC=2の多重化フレ
ームを生成すること、1011にて第1の音声フレーム
とタイプA、B、CのデータよりMC=3の多重化フレ
ームを生成すること、1013にて第2の音声フレーム
とタイプA、B、CのデータよりMC=4の多重化フレ
ームを生成すること以外は実施の形態2と同様である。
フローは図10の1005、1014にてビデオデータ
とタイプAのデータよりMC=1の多重化フレームを生
成することと、1009にて第1、第2の音声フレーム
とタイプA、B、CのデータよりMC=2の多重化フレ
ームを生成すること、1011にて第1の音声フレーム
とタイプA、B、CのデータよりMC=3の多重化フレ
ームを生成すること、1013にて第2の音声フレーム
とタイプA、B、CのデータよりMC=4の多重化フレ
ームを生成すること以外は実施の形態2と同様である。
【0090】また本実施の形態における受信側の多重分
離フローは図11の1105にて第1、第2の音声フレ
ームを音声デコーダへ渡し、タイプA、B、Cのデータ
を分離して出力し、1108にて第1の音声フレームと
無音フレームを音声デコーダへ渡し、タイプA、B、C
のデータを分離して出力し、1111にて無音フレーム
と第2の音声フレームを音声デコーダへ渡し、タイプ
A、B、Cのデータを分離して出力し、1117にてビ
デオフレームとタイプAのデータを分離して出力する以
外は実施の形態2と同様である。
離フローは図11の1105にて第1、第2の音声フレ
ームを音声デコーダへ渡し、タイプA、B、Cのデータ
を分離して出力し、1108にて第1の音声フレームと
無音フレームを音声デコーダへ渡し、タイプA、B、C
のデータを分離して出力し、1111にて無音フレーム
と第2の音声フレームを音声デコーダへ渡し、タイプ
A、B、Cのデータを分離して出力し、1117にてビ
デオフレームとタイプAのデータを分離して出力する以
外は実施の形態2と同様である。
【0091】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、実施の形態1と同様に
直ちにビデオフレームを再送することができ、MC=
3、MC=4の多重化構造にて音声フレームを送信した
場合には、1108、1111にて一方の音声フレーム
に誤りが検出された場合においても、もう一方の音声フ
レームに誤りがなければ、多重化フレームに誤りが無い
場合と同じ出力が得られるため音声の誤り耐性が向上す
る。
し再送要求を受信した場合には、実施の形態1と同様に
直ちにビデオフレームを再送することができ、MC=
3、MC=4の多重化構造にて音声フレームを送信した
場合には、1108、1111にて一方の音声フレーム
に誤りが検出された場合においても、もう一方の音声フ
レームに誤りがなければ、多重化フレームに誤りが無い
場合と同じ出力が得られるため音声の誤り耐性が向上す
る。
【0092】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく、
かつ冗長分を付加することなく行うことが可能となり、
さらに2フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、1フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを2重に伝送して音声の
誤り耐性を強くして伝送することができる。
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく、
かつ冗長分を付加することなく行うことが可能となり、
さらに2フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、1フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを2重に伝送して音声の
誤り耐性を強くして伝送することができる。
【0093】なお、本実施の形態では、一つの多重化フ
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
【0094】さらに、一つの多重化フレームに含まれる
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図20に示す
ように複数の音声フレームと一緒に多重していた別の種
類のフレームを合わせた大きさと同じ大きさのデータフ
レームを伝送している場合には代わりにデータフレーム
を多重してもよい。このときの多重化構造と多重化情報
の対応表は、図19である。
音声フレームがすべて無音フレームとなった場合に、代
わりにビデオフレームを多重しているが、図20に示す
ように複数の音声フレームと一緒に多重していた別の種
類のフレームを合わせた大きさと同じ大きさのデータフ
レームを伝送している場合には代わりにデータフレーム
を多重してもよい。このときの多重化構造と多重化情報
の対応表は、図19である。
【0095】また、タイプAのデータは必ずしも多重す
る必要はなく、多重しない場合においても本発明は同様
に効果を発揮する。
る必要はなく、多重しない場合においても本発明は同様
に効果を発揮する。
【0096】(実施の形態5)以下、請求項11、1
2、13、14、15記載の発明について第5の実施の
形態を用いて、図面を参照しながら説明する。
2、13、14、15記載の発明について第5の実施の
形態を用いて、図面を参照しながら説明する。
【0097】図18、図21は、本実施の形態における
多重化フレームのタイミング図である。図18、図21
は240バイト中に生成される3つの多重化フレームの
伝送タイミングをあらわしており、240バイト毎に2
つ生成される音声フレームの有音、無音の状況により
(a)、(b)、(c)、(d)のうちのひとつを選択
し、タイプBデータの蓄積状況により図18、図21の
いずれかのパターンに基づき各データを多重化し伝送す
る。
多重化フレームのタイミング図である。図18、図21
は240バイト中に生成される3つの多重化フレームの
伝送タイミングをあらわしており、240バイト毎に2
つ生成される音声フレームの有音、無音の状況により
(a)、(b)、(c)、(d)のうちのひとつを選択
し、タイプBデータの蓄積状況により図18、図21の
いずれかのパターンに基づき各データを多重化し伝送す
る。
【0098】本実施の形態においてタイプBのデータは
制御情報のような単位時間あたりの発生情報量にばらつ
きがあるものとする。さらにタイプBのデータは送信側
にてバッファに蓄積し、その蓄積量は多重処理部にて参
照できるものとする。図18、図21における多重化構
造と多重化情報の対応表は図22のようになり、MC=
1、2、3、4は図19と同様であり、MC=5の場合
は第1の音声フレームが25バイト、タイプBのデータ
が37バイト、タイプCのデータが8バイト、タイプA
のデータが6バイト続くことを示し、MC=6の場合
は、第2の音声フレームが25バイト、タイプBのデー
タが37バイト、タイプCのデータが8バイト、タイプ
Aのデータが6バイト続くことを示し、MC=7の場合
はタイプBのデータが70バイト、タイプAのデータが
6バイト続くことを示している。図18はタイプBのデ
ータの蓄積量があるしきい値より小さい場合の多重化フ
レームのタイミングであり、その生成条件は実施の形態
4と同様である。
制御情報のような単位時間あたりの発生情報量にばらつ
きがあるものとする。さらにタイプBのデータは送信側
にてバッファに蓄積し、その蓄積量は多重処理部にて参
照できるものとする。図18、図21における多重化構
造と多重化情報の対応表は図22のようになり、MC=
1、2、3、4は図19と同様であり、MC=5の場合
は第1の音声フレームが25バイト、タイプBのデータ
が37バイト、タイプCのデータが8バイト、タイプA
のデータが6バイト続くことを示し、MC=6の場合
は、第2の音声フレームが25バイト、タイプBのデー
タが37バイト、タイプCのデータが8バイト、タイプ
Aのデータが6バイト続くことを示し、MC=7の場合
はタイプBのデータが70バイト、タイプAのデータが
6バイト続くことを示している。図18はタイプBのデ
ータの蓄積量があるしきい値より小さい場合の多重化フ
レームのタイミングであり、その生成条件は実施の形態
4と同様である。
【0099】図21はタイプBのデータ蓄積量があるし
きい値より大きい場合の多重化フレームのタイミングで
ある。図21(a)は1つの多重化フレームに含まれ
る、2つの音声フレームが有音の場合、図21(b)は
第1の音声フレームが有音で、第2の音声フレームが無
音の場合、図21(c)は第1の音声フレームが無音で
第2の音声フレームが有音の場合を表し、無音フレーム
を送信する代わりにタイプBのデータに領域を割り当て
る。図21(d)は1つの多重化フレームに含まれる、
2つの音声フレームが無音だった場合を表し、このとき
無音フレーム2つとタイプCのデータを送信する代わり
にタイプBのデータを送信する。
きい値より大きい場合の多重化フレームのタイミングで
ある。図21(a)は1つの多重化フレームに含まれ
る、2つの音声フレームが有音の場合、図21(b)は
第1の音声フレームが有音で、第2の音声フレームが無
音の場合、図21(c)は第1の音声フレームが無音で
第2の音声フレームが有音の場合を表し、無音フレーム
を送信する代わりにタイプBのデータに領域を割り当て
る。図21(d)は1つの多重化フレームに含まれる、
2つの音声フレームが無音だった場合を表し、このとき
無音フレーム2つとタイプCのデータを送信する代わり
にタイプBのデータを送信する。
【0100】次に本実施の形態における送信側の多重化
処理フローを図23、図24に示す。始めに2301に
てカウンタCを0に初期化した後、2302にて80バ
イト伝送時間毎に通知される多重化フレーム生成の要求
が来るのを待つ。次に2315にてタイプBデータの蓄
積量がしきい値以下の場合は2303へ進む。2303
ではカウンタC=2であるかにより分岐しC=2でない
場合には2304にてCを1加算したのち2305にて
ビデオデータとタイプAのデータからMC=1の多重化
フレームを生成し2302より繰り返す。一方2303
にてカウンタC=2の場合には2306にてカウンタC
を0にクリアした後、2307にて第1、第2の音声フ
レームを音声エンコーダより入力する。その後2308
にて2つの音声フレームが共に有音であるかの判定を行
い、2つとも有音フレームである場合には、2309に
て前記第1、第2の音声フレームとタイプA,B,Cの
データよりMC=2の多重化フレームを生成し2302
より繰り返す。2308にて2つの音声フレームが2つ
とも有音でなかった場合には、2310にて第1の音声
フレームが有音か、の判定を行い、第1の音声フレーム
が有音の場合には2311にて第1の音声フレームを2
つとタイプA,B,Cのデータを多重したMC=3の多
重化フレームを生成し2302より繰り返す。2310
にて第1の音声フレームが無音だった場合には、231
2にて第2の音声フレームが有音か、の判定を行い第2
の音声フレームが有音の場合には2313にて第2の音
声フレームを2つとタイプA,B,Cのデータを多重し
たMC=4の多重化フレームを生成し、2302より繰
り返す。2312にて第2の音声フレームが無音だった
場合、ビデオデータとタイプAのデータよりMC=1の
多重化フレームを生成し2302より繰り返す。231
5にてタイプBデータの蓄積量がしきい値以上であった
場合には2401へ進む。2401ではカウンタC=2
であるかにより分岐しC=2でない場合には2402に
てCを1加算したのち2403にてビデオデータとタイ
プAのデータからMC=1の多重化フレームを生成し2
302より繰り返す。一方2401にてカウンタC=2
の場合には2404にてカウンタCを0にクリアした
後、2405にて第1、第2の音声フレームを音声エン
コーダより入力する。その後2406にて2つの音声フ
レームが共に有音であるかの判定を行い、2つとも有音
フレームである場合には、2407にて前記第1、第2
の音声フレームとタイプA,B,CのデータよりMC=
2の多重化フレームを生成し2302より繰り返す。2
406にて2つの音声フレームのうち少なくとも一方が
有音でなかった場合には、2408にて第1の音声フレ
ームが有音か、の判定を行い、第1の音声フレームが有
音の場合には2409にて第1の音声フレームとタイプ
A,B,Cのデータを多重したMC=5の多重化フレー
ムを生成し2302より繰り返す。2408にて第1の
音声フレームが無音だった場合には、2410にて第2
の音声フレームが有音か、の判定を行い第2の音声フレ
ームが有音の場合には2411にて第2の音声フレーム
とタイプA,B,Cのデータを多重したMC=6の多重
化フレームを生成し、2302より繰り返す。2410
にて第2の音声フレームが無音だった場合、タイプAB
のデータよりMC=7の多重化フレームを生成し230
2より繰り返す。
処理フローを図23、図24に示す。始めに2301に
てカウンタCを0に初期化した後、2302にて80バ
イト伝送時間毎に通知される多重化フレーム生成の要求
が来るのを待つ。次に2315にてタイプBデータの蓄
積量がしきい値以下の場合は2303へ進む。2303
ではカウンタC=2であるかにより分岐しC=2でない
場合には2304にてCを1加算したのち2305にて
ビデオデータとタイプAのデータからMC=1の多重化
フレームを生成し2302より繰り返す。一方2303
にてカウンタC=2の場合には2306にてカウンタC
を0にクリアした後、2307にて第1、第2の音声フ
レームを音声エンコーダより入力する。その後2308
にて2つの音声フレームが共に有音であるかの判定を行
い、2つとも有音フレームである場合には、2309に
て前記第1、第2の音声フレームとタイプA,B,Cの
データよりMC=2の多重化フレームを生成し2302
より繰り返す。2308にて2つの音声フレームが2つ
とも有音でなかった場合には、2310にて第1の音声
フレームが有音か、の判定を行い、第1の音声フレーム
が有音の場合には2311にて第1の音声フレームを2
つとタイプA,B,Cのデータを多重したMC=3の多
重化フレームを生成し2302より繰り返す。2310
にて第1の音声フレームが無音だった場合には、231
2にて第2の音声フレームが有音か、の判定を行い第2
の音声フレームが有音の場合には2313にて第2の音
声フレームを2つとタイプA,B,Cのデータを多重し
たMC=4の多重化フレームを生成し、2302より繰
り返す。2312にて第2の音声フレームが無音だった
場合、ビデオデータとタイプAのデータよりMC=1の
多重化フレームを生成し2302より繰り返す。231
5にてタイプBデータの蓄積量がしきい値以上であった
場合には2401へ進む。2401ではカウンタC=2
であるかにより分岐しC=2でない場合には2402に
てCを1加算したのち2403にてビデオデータとタイ
プAのデータからMC=1の多重化フレームを生成し2
302より繰り返す。一方2401にてカウンタC=2
の場合には2404にてカウンタCを0にクリアした
後、2405にて第1、第2の音声フレームを音声エン
コーダより入力する。その後2406にて2つの音声フ
レームが共に有音であるかの判定を行い、2つとも有音
フレームである場合には、2407にて前記第1、第2
の音声フレームとタイプA,B,CのデータよりMC=
2の多重化フレームを生成し2302より繰り返す。2
406にて2つの音声フレームのうち少なくとも一方が
有音でなかった場合には、2408にて第1の音声フレ
ームが有音か、の判定を行い、第1の音声フレームが有
音の場合には2409にて第1の音声フレームとタイプ
A,B,Cのデータを多重したMC=5の多重化フレー
ムを生成し2302より繰り返す。2408にて第1の
音声フレームが無音だった場合には、2410にて第2
の音声フレームが有音か、の判定を行い第2の音声フレ
ームが有音の場合には2411にて第2の音声フレーム
とタイプA,B,Cのデータを多重したMC=6の多重
化フレームを生成し、2302より繰り返す。2410
にて第2の音声フレームが無音だった場合、タイプAB
のデータよりMC=7の多重化フレームを生成し230
2より繰り返す。
【0101】以上のような処理フローを実行することに
より図18、図21に示す多重化フレームを生成するこ
とができる。
より図18、図21に示す多重化フレームを生成するこ
とができる。
【0102】また、本実施の形態における受信側の多重
分離処理フローを図25、図26に示す。始めに250
1にてカウンタCを0に初期化した後、2502にて8
0バイトの多重化フレームが到着するのを待つ。次に2
503にて多重化フレームのMCが2か判定を行いMC
=2の場合には2504にてカウンタCを0にクリアし
た後、2505にて多重化フレームより第1、第2の音
声フレームを分離して音声デコーダに渡し、タイプA,
B,Cのデータを分離し出力し、1102から繰り返
す。2503にてMC=2でなかった場合には、250
6にて多重化フレームのMCが3か判定を行いMC=3
の場合には2507にてカウンタCを0にクリアした
後、2508にて多重化フレームより第1の音声フレー
ムを分離し、第1の音声フレーム、無音フレームの順で
データを音声デコーダに渡し、タイプA,B,Cのデー
タを分離して出力し、2502から繰り返す。2506
にてMC=3でなかった場合には、2509にて多重化
フレームのMCが4か判定を行いMC=4の場合には2
510にてカウンタCを0にクリアした後、2511に
て多重化フレームより第2の音声フレームを分離し、無
音フレーム、第2の音声フレームの順でデータを音声デ
コーダに渡し、タイプA,B,Cのデータを分離して出
力し、2502から繰り返す。2509にてMC=4で
なかった場合には2601にて多重化フレームのMCが
5か判定を行いMC=5の場合には2602にてカウン
タCを0にクリアした後、2603にて多重化フレーム
より第1の音声フレームを分離し、第1の音声フレー
ム、無音フレームの順でデータを音声デコーダに渡し、
タイプA,B,Cのデータを分離して出力し、2502
から繰り返す。2601にてMC=5でなかった場合に
は、2604にて多重化フレームのMCが6か判定を行
いMC=6の場合には2605にてカウンタCを0にク
リアした後、2606にて多重化フレームより第2の音
声フレームを分離し、無音フレーム、第2の音声フレー
ムの順でデータを音声デコーダに渡し、タイプA,B,
Cのデータを分離して出力し、2502から繰り返す。
2604にてMC=6でなかった場合には2607にて
多重化フレームのMCが7か判定を行いMC=7の場合
には2608にてカウンタCを0にクリアした後、26
09にて2つの無音フレームを音声デコーダに渡し、タ
イプABのデータを分離して出力し、2502から繰り
返す。2607にてMC=7でなかった場合には、26
10にてカウンタCが2であるか判定を行い、C=2の
場合には2611にてカウンタCをクリアした後、26
12にて無音フレームを2つ音声デコーダに渡したのち
2614へ進む。2610にてC=2でなかった場合に
は、カウンタCを1加算した後、2614へ進む。26
14では、多重化フレームのMCが1であるかの判定を
行い、MC=1の場合には、ビデオフレーム分離してビ
デオデコーダへ渡し、タイプAのデータを分離して出力
したのち2502より繰り返す。2614にて、MC=
1でない場合には受信した多重化フレームは無効と判定
し2502より繰り返す。以上の処理フローを行うこと
により図18、図21のような一連の多重化フレームを
受け取った場合に無音部分を判定し、無音フレームを生
成して音声デコーダへ渡すことができる。
分離処理フローを図25、図26に示す。始めに250
1にてカウンタCを0に初期化した後、2502にて8
0バイトの多重化フレームが到着するのを待つ。次に2
503にて多重化フレームのMCが2か判定を行いMC
=2の場合には2504にてカウンタCを0にクリアし
た後、2505にて多重化フレームより第1、第2の音
声フレームを分離して音声デコーダに渡し、タイプA,
B,Cのデータを分離し出力し、1102から繰り返
す。2503にてMC=2でなかった場合には、250
6にて多重化フレームのMCが3か判定を行いMC=3
の場合には2507にてカウンタCを0にクリアした
後、2508にて多重化フレームより第1の音声フレー
ムを分離し、第1の音声フレーム、無音フレームの順で
データを音声デコーダに渡し、タイプA,B,Cのデー
タを分離して出力し、2502から繰り返す。2506
にてMC=3でなかった場合には、2509にて多重化
フレームのMCが4か判定を行いMC=4の場合には2
510にてカウンタCを0にクリアした後、2511に
て多重化フレームより第2の音声フレームを分離し、無
音フレーム、第2の音声フレームの順でデータを音声デ
コーダに渡し、タイプA,B,Cのデータを分離して出
力し、2502から繰り返す。2509にてMC=4で
なかった場合には2601にて多重化フレームのMCが
5か判定を行いMC=5の場合には2602にてカウン
タCを0にクリアした後、2603にて多重化フレーム
より第1の音声フレームを分離し、第1の音声フレー
ム、無音フレームの順でデータを音声デコーダに渡し、
タイプA,B,Cのデータを分離して出力し、2502
から繰り返す。2601にてMC=5でなかった場合に
は、2604にて多重化フレームのMCが6か判定を行
いMC=6の場合には2605にてカウンタCを0にク
リアした後、2606にて多重化フレームより第2の音
声フレームを分離し、無音フレーム、第2の音声フレー
ムの順でデータを音声デコーダに渡し、タイプA,B,
Cのデータを分離して出力し、2502から繰り返す。
2604にてMC=6でなかった場合には2607にて
多重化フレームのMCが7か判定を行いMC=7の場合
には2608にてカウンタCを0にクリアした後、26
09にて2つの無音フレームを音声デコーダに渡し、タ
イプABのデータを分離して出力し、2502から繰り
返す。2607にてMC=7でなかった場合には、26
10にてカウンタCが2であるか判定を行い、C=2の
場合には2611にてカウンタCをクリアした後、26
12にて無音フレームを2つ音声デコーダに渡したのち
2614へ進む。2610にてC=2でなかった場合に
は、カウンタCを1加算した後、2614へ進む。26
14では、多重化フレームのMCが1であるかの判定を
行い、MC=1の場合には、ビデオフレーム分離してビ
デオデコーダへ渡し、タイプAのデータを分離して出力
したのち2502より繰り返す。2614にて、MC=
1でない場合には受信した多重化フレームは無効と判定
し2502より繰り返す。以上の処理フローを行うこと
により図18、図21のような一連の多重化フレームを
受け取った場合に無音部分を判定し、無音フレームを生
成して音声デコーダへ渡すことができる。
【0103】送信したあるビデオフレームに誤りが発生
し再送要求を受信した場合には、図18、図21に示す
とおり、ビデオフレームを含む多重化構造がひとつしか
存在しないので、どのタイミングのビデオフレームの再
送においても、任意のMC=1の多重化構造の多重化フ
レームにて直ちにビデオフレームを再送することがで
き、従来例のようにフレーム長の長い方のビデオフレー
ムを再送する場合に、フレーム長の長いビデオフレーム
を格納することができる多重化フレームが現れるまで再
送待ちをする必要はない。有音フレームが含まれる多重
化フレームとMC=7の多重化フレームが現れた場合に
1多重化フレーム分待機し、MC=1の多重化フレーム
にて再送を行う。また、フレーム長の短いビデオフレー
ムを再送する際に、スタッフィングをしてフレーム長の
長いビデオフレームを格納する多重化フレームにて伝送
するようなことも生じない。
し再送要求を受信した場合には、図18、図21に示す
とおり、ビデオフレームを含む多重化構造がひとつしか
存在しないので、どのタイミングのビデオフレームの再
送においても、任意のMC=1の多重化構造の多重化フ
レームにて直ちにビデオフレームを再送することがで
き、従来例のようにフレーム長の長い方のビデオフレー
ムを再送する場合に、フレーム長の長いビデオフレーム
を格納することができる多重化フレームが現れるまで再
送待ちをする必要はない。有音フレームが含まれる多重
化フレームとMC=7の多重化フレームが現れた場合に
1多重化フレーム分待機し、MC=1の多重化フレーム
にて再送を行う。また、フレーム長の短いビデオフレー
ムを再送する際に、スタッフィングをしてフレーム長の
長いビデオフレームを格納する多重化フレームにて伝送
するようなことも生じない。
【0104】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なし、
かつ冗長分を付加することなく行うことが可能となり、
さらに2フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、1フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを2重に伝送して音声の
誤り耐性を強くして伝送したり、優先度の高いデータの
転送効率を上げて伝送することができる。
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なし、
かつ冗長分を付加することなく行うことが可能となり、
さらに2フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、1フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを2重に伝送して音声の
誤り耐性を強くして伝送したり、優先度の高いデータの
転送効率を上げて伝送することができる。
【0105】なお、本実施の形態では、一つの多重化フ
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
【0106】また、タイプAのデータ、タイプCのデー
タは必ずしも多重する必要はなく、多重しない場合にお
いても本発明は同様に効果を発揮する。
タは必ずしも多重する必要はなく、多重しない場合にお
いても本発明は同様に効果を発揮する。
【0107】(実施の形態6)以下、請求項16記載の
発明について第6の実施の形態を用いて、図面を参照し
ながら説明する。
発明について第6の実施の形態を用いて、図面を参照し
ながら説明する。
【0108】図27、図28は、本実施の形態における
多重化フレームのタイミング図である。図27、図28
は240バイト中に生成される3つの多重化フレームの
伝送タイミングをあらわしており、240バイト毎に2
つ生成される音声フレームの有音、無音の状況により
(a)、(b)、(c)、(d)のうちのひとつを選択
し、タイプBデータの蓄積状況により図27、図28の
いずれかのパターンに基づき各データを多重化し伝送す
る。
多重化フレームのタイミング図である。図27、図28
は240バイト中に生成される3つの多重化フレームの
伝送タイミングをあらわしており、240バイト毎に2
つ生成される音声フレームの有音、無音の状況により
(a)、(b)、(c)、(d)のうちのひとつを選択
し、タイプBデータの蓄積状況により図27、図28の
いずれかのパターンに基づき各データを多重化し伝送す
る。
【0109】本実施の形態においてデータは制御情報の
ような単位時間あたりの発生情報量にばらつきがあるも
のとする。さらにデータは送信側にてバッファに蓄積
し、その蓄積量は多重処理部にて参照できるものとす
る。
ような単位時間あたりの発生情報量にばらつきがあるも
のとする。さらにデータは送信側にてバッファに蓄積
し、その蓄積量は多重処理部にて参照できるものとす
る。
【0110】図27、図28における多重化構造と多重
化情報の対応表は図29のようになり、MC=1、2、
3、4は図19と同様であり、MC=5の場合は第1の
音声フレームが25バイト、タイプBのデータが37バ
イト、タイプCのデータが8バイト、タイプAのデータ
が6バイト続くことを示し、MC=6の場合は、第2の
音声フレームが25バイト、タイプBのデータが37バ
イト、タイプCのデータが8バイト、タイプAのデータ
が6バイト続くことを示し、MC=7の場合はタイプB
のデータが70バイト、タイプAのデータが6バイト続
くことを示す。
化情報の対応表は図29のようになり、MC=1、2、
3、4は図19と同様であり、MC=5の場合は第1の
音声フレームが25バイト、タイプBのデータが37バ
イト、タイプCのデータが8バイト、タイプAのデータ
が6バイト続くことを示し、MC=6の場合は、第2の
音声フレームが25バイト、タイプBのデータが37バ
イト、タイプCのデータが8バイト、タイプAのデータ
が6バイト続くことを示し、MC=7の場合はタイプB
のデータが70バイト、タイプAのデータが6バイト続
くことを示す。
【0111】図27はデータ蓄積量が0の場合の多重化
フレームのタイミング図であり、図27(a)は1つの
多重化フレームに含まれる、2つの音声フレームが有音
の場合を表し、第1の音声フレームを前後で二重に送信
する。図27(b)は第1の音声フレームが有音で、第
2の音声フレームが無音の場合、図27(c)は第1の
音声フレームが無音で第2の音声フレームが有音の場合
を表し、一つの音声フレームを3重に送信する。図21
(d)は1つの多重化フレームに含まれる、2つの音声
フレームが無音だった場合を表し、このとき無音フレー
ムを送信する代わりにビデオフレームを送信する。
フレームのタイミング図であり、図27(a)は1つの
多重化フレームに含まれる、2つの音声フレームが有音
の場合を表し、第1の音声フレームを前後で二重に送信
する。図27(b)は第1の音声フレームが有音で、第
2の音声フレームが無音の場合、図27(c)は第1の
音声フレームが無音で第2の音声フレームが有音の場合
を表し、一つの音声フレームを3重に送信する。図21
(d)は1つの多重化フレームに含まれる、2つの音声
フレームが無音だった場合を表し、このとき無音フレー
ムを送信する代わりにビデオフレームを送信する。
【0112】図28はデータ蓄積量が1以上の場合の多
重化フレームのタイミングである。図28(a)は1つ
の多重化フレームに含まれる、2つの音声フレームが有
音の場合、図28(b)は第1の音声フレームが有音
で、第2の音声フレームが無音の場合、図28(c)は
第1の音声フレームが無音で第2の音声フレームが有音
の場合を表し、無音フレームを送信する代わりにデータ
に領域を割り当てる。図28(d)は1つの多重化フレ
ームに含まれる、2つの音声フレームが無音だった場合
を表し、このとき無音フレーム2つを送信する代わりに
データを送信する。
重化フレームのタイミングである。図28(a)は1つ
の多重化フレームに含まれる、2つの音声フレームが有
音の場合、図28(b)は第1の音声フレームが有音
で、第2の音声フレームが無音の場合、図28(c)は
第1の音声フレームが無音で第2の音声フレームが有音
の場合を表し、無音フレームを送信する代わりにデータ
に領域を割り当てる。図28(d)は1つの多重化フレ
ームに含まれる、2つの音声フレームが無音だった場合
を表し、このとき無音フレーム2つを送信する代わりに
データを送信する。
【0113】本実施の形態における送信側の多重化処理
フローは実施の形態5と多重化フレームを生成する方法
と2407でMC=8の多重化フレームを生成する点の
み異なり他は同様である。本実施の形態において230
5、2314ではビデオデータよりMC=1の多重化フ
レームを生成し、2309では第1の音声フレームと第
2の音声フレームよりMC=2の多重化フレームを生成
し、2311では第1の音声フレームよりMC=3の多
重化フレームを生成し、2313では第2の音声フレー
ムよりMC=4の多重化フレームを生成し、2407で
は第1の音声フレームと第2の音声フレームとデータよ
りMC=8の多重化フレームを生成し、2409では第
1の音声フレームとデータよりMC=5の多重化フレー
ムを生成し、2411では第2の音声フレームとデータ
よりMC=6の多重化フレームを生成し、2412では
データよりMC=7の多重化フレームを生成する。
フローは実施の形態5と多重化フレームを生成する方法
と2407でMC=8の多重化フレームを生成する点の
み異なり他は同様である。本実施の形態において230
5、2314ではビデオデータよりMC=1の多重化フ
レームを生成し、2309では第1の音声フレームと第
2の音声フレームよりMC=2の多重化フレームを生成
し、2311では第1の音声フレームよりMC=3の多
重化フレームを生成し、2313では第2の音声フレー
ムよりMC=4の多重化フレームを生成し、2407で
は第1の音声フレームと第2の音声フレームとデータよ
りMC=8の多重化フレームを生成し、2409では第
1の音声フレームとデータよりMC=5の多重化フレー
ムを生成し、2411では第2の音声フレームとデータ
よりMC=6の多重化フレームを生成し、2412では
データよりMC=7の多重化フレームを生成する。
【0114】また本実施の形態における受信側の多重分
離フローは実施の形態5と多重化フレームを分離する方
法が異なり、2607と2610の間にMC=8か判定
し、MC=8の場合には第1の音声フレームと第2の音
声フレームを分離して音声デコーダに渡し、さらにデー
タを分離、出力して2502から繰り返し、MC=8で
ない場合には2610へ進む処理が加わる点以外は同様
である。本実施の形態において2505では、第1、第
2の音声フレームを分離して音声デコーダへ渡し、25
08では第1の音声フレームを分離して、第1の音声フ
レーム、無音フレームの順で音声デコーダへ渡し、25
11では第2の音声フレームを分離して、第2の音声フ
レーム、無音フレームの順で音声デコーダへ渡す。26
03では第1の音声フレームを分離して第1の音声フレ
ームと無音フレームを音声デコーダへ渡し、データを分
離して出力する。2606では第2の音声フレームを分
離して無音フレーム、第2の音声フレームの順で音声デ
コーダへ渡し、データを分離して出力する。2609で
はデータを分離し出力する。
離フローは実施の形態5と多重化フレームを分離する方
法が異なり、2607と2610の間にMC=8か判定
し、MC=8の場合には第1の音声フレームと第2の音
声フレームを分離して音声デコーダに渡し、さらにデー
タを分離、出力して2502から繰り返し、MC=8で
ない場合には2610へ進む処理が加わる点以外は同様
である。本実施の形態において2505では、第1、第
2の音声フレームを分離して音声デコーダへ渡し、25
08では第1の音声フレームを分離して、第1の音声フ
レーム、無音フレームの順で音声デコーダへ渡し、25
11では第2の音声フレームを分離して、第2の音声フ
レーム、無音フレームの順で音声デコーダへ渡す。26
03では第1の音声フレームを分離して第1の音声フレ
ームと無音フレームを音声デコーダへ渡し、データを分
離して出力する。2606では第2の音声フレームを分
離して無音フレーム、第2の音声フレームの順で音声デ
コーダへ渡し、データを分離して出力する。2609で
はデータを分離し出力する。
【0115】本実施の形態では、データがバースト的に
発生する場合に、データが無いとき帯域を音声に割り振
ることにより、音声のエラー耐性を向上している。特に
MC=2の多重化フレームで伝送する場合、第1の音声
フレームを距離をおいて配置しているため、バーストエ
ラーに対する耐性が強くなり無線伝送時などに効力を発
揮する。
発生する場合に、データが無いとき帯域を音声に割り振
ることにより、音声のエラー耐性を向上している。特に
MC=2の多重化フレームで伝送する場合、第1の音声
フレームを距離をおいて配置しているため、バーストエ
ラーに対する耐性が強くなり無線伝送時などに効力を発
揮する。
【0116】以上のように本実施の形態によれば、エラ
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく、
かつ冗長分を付加することなく行うことが可能となり、
さらに2フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、1フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを2重に伝送して音声の
誤り耐性を強くして伝送することができ、加えてデータ
を転送する必要の無い場合にも音声の誤り耐性を強くし
て伝送することができる。
ーに強い固定長の多重化フレームのもと、無音の場合に
音声フレームの領域をビデオフレームに割り振る場合に
おいても1種類の多重化構造にてビデオデータを伝送す
ることにより、ビデオフレームの再送の遅延を少なく、
かつ冗長分を付加することなく行うことが可能となり、
さらに2フレームの音声フレームがともに無音の場合に
は音声フレームの領域をビデオフレームに割り振ること
によりビデオの帯域を広げ効率よく伝送し、1フレーム
の音声フレームのみが無音の場合には無音フレームの領
域を使って有音の音声フレームを2重に伝送して音声の
誤り耐性を強くして伝送することができ、加えてデータ
を転送する必要の無い場合にも音声の誤り耐性を強くし
て伝送することができる。
【0117】なお、本実施の形態では、一つの多重化フ
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
レームに2種類の音声フレームを格納する場合を説明し
たが、伝送速度や音声符号化率、多重化フレームの長さ
などの変化にともない1つの多重化フレームに3種類以
上の音声フレームを格納した場合においても、また、ビ
デオフレームを多重化する多重化フレームと音声フレー
ムを多重化する多重化フレームの数の割合が変わった場
合においても、同様に効果を発揮する。例えば、多重化
フレーム長が60バイトで、ビデオフレームを多重化す
る多重化フレーム3フレームと音声フレーム2フレーム
を多重化する多重化フレーム1フレームであってもよ
く、また、64Kbpsで伝送する場合に、80バイト
のフレーム長ではビデオフレームを多重化する多重化フ
レーム5フレームと音声フレームを多重化する多重化フ
レーム1フレームであってもよいし、60バイトのフレ
ーム長ではビデオフレームを多重化する多重化フレーム
7フレームと音声フレームを多重化する多重化フレーム
1フレームであってもよい。
【0118】また、本実施の形態では、データを送信す
る必要がある場合でも、音声フレームのどちらか一方が
無音になった場合にはもう一方の有音フレームを重複さ
せて音声の誤り耐性を強くしているが、その代わりに図
30のように無音フレームの部分をデータに割り当て、
データの転送効率を上げてもよい。
る必要がある場合でも、音声フレームのどちらか一方が
無音になった場合にはもう一方の有音フレームを重複さ
せて音声の誤り耐性を強くしているが、その代わりに図
30のように無音フレームの部分をデータに割り当て、
データの転送効率を上げてもよい。
【0119】
【発明の効果】エラーに強い固定長の多重化フレームの
もと、無音の場合に音声フレームの領域をビデオフレー
ムに割り振る場合においても1種類の多重化構造にてビ
デオデータを伝送することにより、ビデオフレームの再
送の遅延を少なくし、かつ冗長分を付加することなく行
うことが可能となる。
もと、無音の場合に音声フレームの領域をビデオフレー
ムに割り振る場合においても1種類の多重化構造にてビ
デオデータを伝送することにより、ビデオフレームの再
送の遅延を少なくし、かつ冗長分を付加することなく行
うことが可能となる。
【0120】さらに2フレームの音声フレームがともに
無音の場合には音声フレームの領域をビデオフレームに
割り振ることによりビデオの帯域を広げ効率よく伝送
し、1フレームの音声フレームのみが無音の場合には無
音フレームの領域を使って有音の音声フレームを2重に
伝送して音声の誤り耐性を強くして伝送することがで
き、加えてデータを転送する必要の無い場合にも音声の
誤り耐性を強くして伝送することが可能となる。
無音の場合には音声フレームの領域をビデオフレームに
割り振ることによりビデオの帯域を広げ効率よく伝送
し、1フレームの音声フレームのみが無音の場合には無
音フレームの領域を使って有音の音声フレームを2重に
伝送して音声の誤り耐性を強くして伝送することがで
き、加えてデータを転送する必要の無い場合にも音声の
誤り耐性を強くして伝送することが可能となる。
【図1】本発明の第1の実施の形態で用いる固定長多重
化フレームのタイミングを示す図
化フレームのタイミングを示す図
【図2】本発明の第1の実施の形態で用いる多重化情報
と多重化構造の対応を示す表図
と多重化構造の対応を示す表図
【図3】本発明の第1の実施の形態で用いる多重化フレ
ーム生成フローを示すフローチャート
ーム生成フローを示すフローチャート
【図4】本発明の第1、第3の実施の形態で用いる多重
化フレーム分離フローを示すフローチャート
化フレーム分離フローを示すフローチャート
【図5】本発明の第1、第3の実施の形態で用いる固定
長多重化フレームのタイミングを示す図
長多重化フレームのタイミングを示す図
【図6】本発明の第1の実施の形態で用いる多重化情報
と多重化構造の対応を示す表図
と多重化構造の対応を示す表図
【図7】本発明の第1の実施の形態で用いる固定長多重
化フレームのタイミングを示す図
化フレームのタイミングを示す図
【図8】本発明の第2の実施の形態で用いる固定長多重
化フレームのタイミングを示す図
化フレームのタイミングを示す図
【図9】本発明の第2の実施の形態で用いる多重化情報
と多重化構造の対応を示す表図
と多重化構造の対応を示す表図
【図10】本発明の第2、第4の実施の形態で用いる多
重化フレーム生成フローを示すフローチャート
重化フレーム生成フローを示すフローチャート
【図11】本発明の第2、第4の実施の形態で用いる多
重化フレーム分離フローを示すフローチャート
重化フレーム分離フローを示すフローチャート
【図12】本発明の第2の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図13】本発明の第2の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図
報と多重化構造の対応を示す表図
【図14】本発明の第2の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図15】本発明の第3の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図16】本発明の第3の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図
報と多重化構造の対応を示す表図
【図17】本発明の第3の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図18】本発明の第4、第5の実施の形態で用いる固
定長多重化フレームのタイミングを示す図
定長多重化フレームのタイミングを示す図
【図19】本発明の第4の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図
報と多重化構造の対応を示す表図
【図20】本発明の第4の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図21】本発明の第5の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図22】本発明の第5の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図
報と多重化構造の対応を示す表図
【図23】本発明の第5、第6の実施の形態で用いる多
重化フレーム生成フローを示すフローチャート
重化フレーム生成フローを示すフローチャート
【図24】本発明の第5、第6の実施の形態で用いる多
重化フレーム生成フローを示すフローチャート
重化フレーム生成フローを示すフローチャート
【図25】本発明の第5、第6の実施の形態で用いる多
重化フレーム分離フローを示すフローチャート
重化フレーム分離フローを示すフローチャート
【図26】本発明の第5、第6の実施の形態で用いる多
重化フレーム分離フローを示すフローチャート
重化フレーム分離フローを示すフローチャート
【図27】本発明の第6の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図28】本発明の第6の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図29】本発明の第6の実施の形態で用いる多重化情
報と多重化構造の対応を示す表図
報と多重化構造の対応を示す表図
【図30】本発明の第6の実施の形態で用いる固定長多
重化フレームのタイミングを示す図
重化フレームのタイミングを示す図
【図31】H.223で決められた多重化伝送方式を採
用した多重化伝送装置の一般的なレイヤ構造を示す図
用した多重化伝送装置の一般的なレイヤ構造を示す図
【図32】H.223の多重化層802における多重化
フレームフォーマットを示す図
フレームフォーマットを示す図
【図33】音声データとコンピュータデータとビデオデ
ータとを多重した場合の多重化層における多重化フレー
ムフォーマットの一例を示す図
ータとを多重した場合の多重化層における多重化フレー
ムフォーマットの一例を示す図
【図34】ビデオの再送制御による誤り訂正のためのA
RQフレームフォーマットを示す図
RQフレームフォーマットを示す図
【図35】PIAFSのフレーム構成を示す図
【図36】(a)は1フレームの音声フレームを格納す
る領域を含む80バイトの第1の多重化フレームと、音
声フレームを多重しない80バイトの第2の固定長多重
化フレームが2:1の割合で現れるパターンで伝送する
形態を示す図 (b)は1つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図 (c)は2つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図 (d)は2フレームの音声フレームを格納する領域を含
む80バイトの第3の多重化フレームと、音声フレーム
を多重しない80バイトの第2の固定長多重化フレーム
が1:2の割合で現れるパターンで伝送する形態を示す
図 (e)は後ろの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを伝送した場合の伝送す
る形態を示す図 (f)は前の音声フレームが無音フレームでこれを伝送
するかわりにビデオフレームを伝送した場合の伝送する
形態を示す図 (g)は2つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図
る領域を含む80バイトの第1の多重化フレームと、音
声フレームを多重しない80バイトの第2の固定長多重
化フレームが2:1の割合で現れるパターンで伝送する
形態を示す図 (b)は1つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図 (c)は2つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図 (d)は2フレームの音声フレームを格納する領域を含
む80バイトの第3の多重化フレームと、音声フレーム
を多重しない80バイトの第2の固定長多重化フレーム
が1:2の割合で現れるパターンで伝送する形態を示す
図 (e)は後ろの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを伝送した場合の伝送す
る形態を示す図 (f)は前の音声フレームが無音フレームでこれを伝送
するかわりにビデオフレームを伝送した場合の伝送する
形態を示す図 (g)は2つの音声フレームが無音フレームでこれを伝
送するかわりにビデオフレームを拡張した場合の伝送す
る形態を示す図
Claims (33)
- 【請求項1】1つの多重化フレームに2フレーム以上の
音声フレームを多重する場合において、1つの多重化フ
レームに多重された音声フレームがすべて無音フレーム
の場合にのみ、これらすべての帯域をビデオフレームま
たはデータフレームとして利用することを特徴とした多
重伝送方法。 - 【請求項2】1つの多重化フレームに2フレーム以上の
音声フレームを多重する場合において、1つの多重化フ
レームに多重された音声フレームがすべて無音フレーム
の場合にのみ、これらすべてを伝送する代わりにビデオ
フレームまたはデータフレームを伝送することを特徴と
した請求項1記載の多重伝送方法。 - 【請求項3】1つの多重化フレームのすべての音声フレ
ームが無音フレームだったために、これらすべてを伝送
する代わりに伝送したビデオフレーム又はデータフレー
ムに伝送誤りが生じ、これを再送する際に多重化フレー
ムに音声フレームの有音フレームが含まれる場合、音声
フレームを多重しない多重化フレームでこれを再送する
ことを特徴とした請求項1または請求項2記載の多重伝
送方法。 - 【請求項4】前記音声フレームを多重しない前記多重化
フレームのうち少なくとも1フレーム以上は前記音声フ
レームを多重する多重化フレームのすべての音声フレー
ムを合わせた大きさと同じ大きさのビデオフレームまた
はデータフレームを多重していることを特徴とした請求
項3記載の多重伝送方法。 - 【請求項5】1つの多重化フレームに多重する音声フレ
ームに1つでも有音フレームが含まれる場合、有音フレ
ーム又は無音フレームを多重して伝送することを特徴と
した請求項1から請求項4のいずれか1項に記載の多重
伝送方法。 - 【請求項6】1つの多重化フレームに多重する音声フレ
ームに少なくとも一つの有音フレームと一つ以上の無音
フレームが含まれる場合、前記無音フレームの代わりに
前記有音フレームを重複して多重して伝送することを特
徴とした請求項1から請求項4記載の多重伝送方法。 - 【請求項7】1つ以上の音声フレームと別の種類のフレ
ームの全部または一部を多重して1つの多重化フレーム
として一定周期で伝送する場合に、音声フレームすべて
が無音フレームのとき音声フレームおよび一緒に多重し
ていた別の種類のフレームの全部または一部を伝送する
代わりにビデオフレーム又はデータフレームを伝送する
ことを特徴とした多重伝送方法。 - 【請求項8】1つの多重化フレームのすべての音声フレ
ームが無音フレームだったために、これらすべてを伝送
する代わりに伝送したビデオフレーム又はデータフレー
ムに伝送誤りが生じ、これを再送する際に多重化フレー
ムに音声フレームの有音フレームが含まれる場合、音声
フレームを多重しない多重化フレームでこれを再送する
ことを特徴とした請求項7記載の多重伝送方法。 - 【請求項9】前記音声フレームを多重しない前記多重化
フレームのうち少なくとも1フレーム以上は前記音声フ
レームを多重する多重化フレームのすべての音声フレー
ムと前記別の種類のフレームの全部または一部の大きさ
を合わせた大きさと同じ大きさのビデオフレームまたは
データフレームを多重していることを特徴とした請求項
8記載の多重伝送方法。 - 【請求項10】1つの多重化フレームに多重する音声フ
レームに1つでも有音フレームが含まれる場合、有音フ
レーム又は無音フレームを多重して伝送することを特徴
とした請求項7から請求項9のいずれか1項に記載の多
重伝送方法。 - 【請求項11】1つの多重化フレームに多重する音声フ
レームに少なくとも一つの有音フレームと一つ以上の無
音フレームが含まれる場合、前記無音フレームの代わり
に前記有音フレームを重複して多重して伝送することを
特徴とした請求項7から請求項9のいずれか1項に記載
の多重伝送方法。 - 【請求項12】1つ以上の音声フレームと別の種類のフ
レームの全部または一部を多重して1つの多重化フレー
ムとして一定周期で伝送する場合に、音声フレームすべ
てが無音フレームでかつ別の種類のフレームを多重伝送
する必要のないときは音声フレームおよび一緒に多重し
ていた別の種類のフレームの全部または一部を伝送する
代わりにビデオフレーム又はデータフレームを伝送し、
音声フレームすべてが無音フレームでかつ別の種類のフ
レームを多重伝送する必要があるとき音声フレームおよ
び一緒に多重していた別の種類のフレームの全部または
一部を伝送する代わりに別の種類のフレームの全部また
は一部を伝送することを特徴とした多重伝送方法。 - 【請求項13】1つの多重化フレームのすべての音声フ
レームが無音フレームだったために、これらすべてを伝
送する代わりに伝送したビデオフレーム又はデータフレ
ームに伝送誤りが生じ、これを再送する際に多重化フレ
ームに音声フレームの有音フレームが含まれる場合、音
声フレームを多重しない多重化フレームでこれを再送す
ることを特徴とした請求項12記載の多重伝送方法。 - 【請求項14】前記音声フレームを多重しない前記多重
化フレームのうち少なくとも1フレーム以上は前記音声
フレームを多重する多重化フレームのすべての音声フレ
ームと前記別の種類のフレームの全部または一部の大き
さを合わせた大きさと同じ大きさのビデオフレームまた
はデータフレームを多重していることを特徴とした請求
項13記載の多重伝送方法。 - 【請求項15】1つの多重化フレームに多重する音声フ
レームに1つでも有音フレームが含まれる場合、前記別
の種類のフレームを多重伝送する必要がないときには有
音フレーム又は無音フレームを多重して伝送し、前記別
の種類のフレームを多重伝送する必要があるときには無
音フレームの代わりに前記別の種類のフレームの全部ま
たは一部を多重して伝送することを特徴とした請求項1
2から請求項14のいずれか1項に記載の多重伝送方
法。 - 【請求項16】1つの多重化フレームに多重する音声フ
レームに少なくとも一つの有音フレームと一つ以上の無
音フレームが含まれる場合、前記無音フレームの代わり
に前記有音フレームを重複して多重して伝送することを
特徴とした請求項12から請求項14のいずれか1項に
記載の多重伝送方法。 - 【請求項17】前記別の種類のフレームを伝送する必要
がない場合、前記別の種類のフレームの代わりに前記有
音フレームを重複して多重して伝送することを特徴とし
た請求項12から請求項16のいずれか1項に記載の多
重伝送方法。 - 【請求項18】1つの多重化フレームに2フレーム以上
の音声フレームを多重するソフトウエアプログラムを格
納した記録媒体であって、前記ソフトウエアプログラム
1つの多重化フレームに多重された音声フレームがすべ
て無音フレームの場合にのみ、これらすべてを伝送する
代わりにビデオフレームまたはデータフレームを伝送す
ることを特徴とした記録媒体。 - 【請求項19】前記ソフトウエアプログラムは、1つの
多重化フレームのすべての音声フレームが無音フレーム
だったために、これらすべてを伝送する代わりに伝送し
たビデオフレーム又はデータフレームに伝送誤りが生
じ、これを再送する際に多重化フレームに音声フレーム
の有音フレームが含まれる場合、音声フレームを多重し
ない多重化フレームでこれを再送することを特徴とする
請求項18記載の記録媒体。 - 【請求項20】前記ソフトウエアプログラムは、前記音
声フレームを多重しない前記多重化フレームのうち少な
くとも1フレーム以上は前記音声フレームを多重する多
重化フレームのすべての音声フレームを合わせた大きさ
と同じ大きさのビデオフレームまたはデータフレームを
多重していることを特徴とした請求項19記載の記録媒
体。 - 【請求項21】前記ソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することを特徴とする請求項18から
請求項20のいずれか1項に記載の記録媒体。 - 【請求項22】前記ソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、前記無音フレームの代わりに前記有音フレームを
重複して多重して伝送することを特長とした請求項18
から請求項20のいずれか1項に記載の記録媒体。 - 【請求項23】1つ以上の音声フレームと別の種類のフ
レームの全部または一部を多重して1つの多重化フレー
ムとして一定周期で伝送するソフトウエアプログラムを
記録した記録媒体であって、音声フレームすべてが無音
フレームのとき音声フレームおよび一緒に多重していた
別の種類のフレームの全部または一部を伝送する代わり
にビデオフレーム又はデータフレームを伝送することを
特徴とした記録媒体。 - 【請求項24】前記ソフトウエアプログラムは、1つの
多重化フレームのすべての音声フレームが無音フレーム
だったために、これらすべてを伝送する代わりに伝送し
たビデオフレーム又はデータフレームに伝送誤りが生
じ、これを再送する際に多重化フレームに音声フレーム
の有音フレームが含まれる場合、音声フレームを多重し
ない多重化フレームでこれを再送することを特徴とした
請求項23記載の多重伝送方法。 - 【請求項25】前記ソフトウエアプログラムは、前記音
声フレームを多重しない前記多重化フレームのうち少な
くとも1フレーム以上は前記音声フレームを多重する多
重化フレームのすべての音声フレームと前記別の種類の
フレームの全部または一部の大きさを合わせた大きさと
同じ大きさのビデオフレームまたはデータフレームを多
重していることを特長とした請求項24記載の記録媒
体。 - 【請求項26】前記ソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、有音フレーム又は無音フレー
ムを多重して伝送することを特徴とした請求項23から
請求項25のいずれか1項に記載の記録媒体。 - 【請求項27】前記ソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、前記無音フレームの代わりに前記有音フレームを
重複して多重して伝送することを特長とした請求項23
から請求項25のいずれか1項に記載の記録媒体。 - 【請求項28】1つ以上の音声フレームと別の種類のフ
レームの全部または一部を多重して1つの多重化フレー
ムとして一定周期で伝送するソフトウエアプログラムを
記録した記録媒体であって、音声フレームすべてが無音
フレームでかつ別の種類のフレームを多重伝送する必要
のないときは音声フレームおよび一緒に多重していた別
の種類のフレームの全部または一部を伝送する代わりに
ビデオフレーム又はデータフレームを伝送し、音声フレ
ームすべてが無音フレームでかつ別の種類のフレームを
多重伝送する必要があるとき音声フレームおよび一緒に
多重していた別の種類のフレームの全部または一部を伝
送する代わりに別の種類のフレームの全部または一部を
伝送することを特徴とした記録媒体。 - 【請求項29】前記ソフトウエアプログラムは、1つの
多重化フレームのすべての音声フレームが無音フレーム
だったために、これらすべてを伝送する代わりに伝送し
たビデオフレーム又はデータフレームに伝送誤りが生
じ、これを再送する際に多重化フレームに音声フレーム
の有音フレームが含まれる場合、音声フレームを多重し
ない多重化フレームでこれを再送することを特徴とした
請求項28記載の多重伝送方法。 - 【請求項30】前記ソフトウエアプログラムは前記音声
フレームを多重しない前記多重化フレームのうち少なく
とも1フレーム以上は前記音声フレームを多重する多重
化フレームのすべての音声フレームと前記別の種類のフ
レームの全部または一部の大きさを合わせた大きさと同
じ大きさのビデオフレームまたはデータフレームを多重
していることを特徴とした請求項29記載の記録媒体。 - 【請求項31】前記ソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに1つでも有音
フレームが含まれる場合、前記別の種類のフレームを多
重伝送する必要がないときには有音フレーム又は無音フ
レームを多重して伝送し、前記別の種類のフレームを多
重伝送する必要があるときには無音フレームの代わりに
前記別の種類のフレームの全部または一部を多重して伝
送することを特徴とした請求項28から請求項30のい
ずれか1項に記載の記録媒体。 - 【請求項32】前記ソフトウエアプログラムは、1つの
多重化フレームに多重する音声フレームに少なくとも一
つの有音フレームと一つ以上の無音フレームが含まれる
場合、前記無音フレームの代わりに前記有音フレームを
重複して多重して伝送することを特徴とした請求項28
から請求項30のいずれか1項に記載の記録媒体。 - 【請求項33】前記ソフトウエアプログラムは、前記別
の種類のフレームを伝送する必要がない場合、前記別の
種類のフレームの代わりに前記有音フレームを重複して
多重して伝送することを特徴とした請求項30から請求
項32のいずれか1項に記載の記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15943497A JPH118598A (ja) | 1997-06-17 | 1997-06-17 | 多重伝送方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15943497A JPH118598A (ja) | 1997-06-17 | 1997-06-17 | 多重伝送方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH118598A true JPH118598A (ja) | 1999-01-12 |
Family
ID=15693675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15943497A Pending JPH118598A (ja) | 1997-06-17 | 1997-06-17 | 多重伝送方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH118598A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527528A (ja) * | 2003-04-30 | 2006-11-30 | モトローラ・インコーポレイテッド | 音声チャネルを介してデータを伝送するための方法及び装置 |
JP2008294986A (ja) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | 音声伝送システム |
-
1997
- 1997-06-17 JP JP15943497A patent/JPH118598A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527528A (ja) * | 2003-04-30 | 2006-11-30 | モトローラ・インコーポレイテッド | 音声チャネルを介してデータを伝送するための方法及び装置 |
JP2008294986A (ja) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | 音声伝送システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6233251B1 (en) | Multiplex transmission method and system, and audio jitter absorbing method used therein | |
US5768350A (en) | Real-time and non-real-time data multplexing over telephone lines | |
US20060056416A1 (en) | Call setup in a video telephony network | |
JP2002077233A (ja) | リアルタイム情報受信装置 | |
EP1845691B1 (en) | Media stream relay device and method | |
JP2002543636A (ja) | パケット通信のヘッダ圧縮状態の更新 | |
JP3342704B2 (ja) | マルチメディア多重化方法 | |
JPH09191296A (ja) | ディジタル復号化器と符号化器のクロックの同期方法及び装置 | |
JPH10262015A (ja) | 多重伝送方法およびシステム並びにそこで用いる音声ジッタ吸収方法 | |
JPH118598A (ja) | 多重伝送方法 | |
US5953695A (en) | Method and apparatus for synchronizing digital speech communications | |
KR100885138B1 (ko) | 이종 통신망간 접속에 있어서의 부호화 데이터의 처리방법및 게이트웨이 장치 | |
JP2000307637A (ja) | マルチメディア端末装置及び網間接続装置 | |
JP2003023462A (ja) | 多地点同報通信網用再送方法 | |
JP2002152181A (ja) | マルチメディアデータ通信方法およびマルチメディアデータ通信装置 | |
JPH01295546A (ja) | テレビ会議通信方式 | |
JP2001308923A (ja) | 音声パケット通信装置 | |
JP3374815B2 (ja) | 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法 | |
JPH08191434A (ja) | 動画/音声符号化データ多重化方法及び動画/音声符号化データ多重化装置 | |
JP2569493B2 (ja) | パケツト通信における転送ゆらぎ吸収処理方式 | |
JP2005005825A (ja) | 音声/fax通信システム、音声/fax受信装置および揺らぎ吸収バッファ量制御方法 | |
JP3048405B2 (ja) | 音声符号化器の制御方式 | |
JP2002176434A (ja) | 映像・音声データ伝送方式 | |
JPH1065642A (ja) | 音声・データ多重化装置及び音声・データ多重化プログラムを記録した記録媒体 | |
JP3189612B2 (ja) | 音声符号化復号化装置 |