JPH08191434A - 動画／音声符号化データ多重化方法及び動画／音声符号化データ多重化装置 - Google Patents

Abstract

(57)【要約】 【目的】 復号化装置におけるメモリ容量を小さくし、
動画と音声の同期が容易に取れ、データ伝送の信頼性を
向上させる動画／音声符号化データ多重化方法及び動画
／音声符号化データ多重化装置を提供する。 【構成】 時分割多重方式の伝送で、パケット長に関係
なく、画像識別子が付加された１画面分の画像符号化デ
ータに続いて音声識別子が付加された１画面分の音声符
号化データを多重化し、１パケット分のデータとして伝
送する動画／音声符号化データ多重化方法及び動画／音
声符号化データ多重化装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画と音声の符号化デ
ータの多重化方式及び多重化装置に係り、特に、復号化
装置において画像データと音声データを格納するメモリ
の容量を小さくすることができ、また、動画と音声の同
期を容易にとることができ、データ伝送の信頼性を向上
させることができる動画／音声符号化データ多重化方法
及び動画／音声符号化データ多重化装置に関する。

【０００２】

【従来の技術】ＴＤＭＡ（Time Division Multiplex Ac
cess；時分割多重接続）は、伝送路をタイムスロットと
いう短い時間幅で区切って、各タイムスロットを情報デ
ータチャネルに割り当てるデータ伝送方式である。従
来、ＴＤＭＡ方式を用いた通信装置における動画及び音
声データの多重化方法としては、図５に示すような方法
があった。図５は、従来の動画／音声符号化データ多重
化方法を示す模式説明図である。

【０００３】図５に示すように、従来の動画／音声符号
化データ多重化方法では、動画データ及び音声データを
固定長のタイムスロット（パケット）に分割して、各パ
ケットに画像データまたは音声データを割り当てるよう
にしていた。図５の例では、例えば、ｍ個のパケットに
より、ｎ枚目までの画像データを初めに連続して伝送
し、次の１パケットで、画像ｎ枚分に相当する音声デー
タを伝送している。つまり、画像パケットｍに対して音
声パケット１という割合で伝送を行う方法である。

【０００４】また、別の従来の動画／音声符号化データ
多重化方法としては、図６に示すような方法があった。
図６は、別の従来の動画／音声符号化データ多重化方法
を示す模式説明図である。図６に示すように、別の従来
の多重化方法は、固定長のパケット１つ１つの中に、動
画データと、音声データとを一定の比率で割り当てる方
法である。図６の例では、１パケットの中に、ｐ：ｑの
割合で画像データと音声データとを取り込んで、伝送す
るようにしている。

【０００５】そして、上記従来の動画／音声符号化デー
タ多重化方法においては、画像と音声の同期をとるため
に、タイムスタンプと呼ばれる情報を付加するようにな
っていた。タイムスタンプは、アクセスユニット（１画
面）毎に、いつ復号・再生を行うかを指定する時刻管理
のタグのようなものである。そして、復号器内部の基本
となる同期信号がタイムスタンプと一致した場合に、そ
の画面のデータを復号・再生するようになっていた。そ
のため、復号器においては、伝送路から受信したデータ
を、タイムスタンプにより指定された時刻に復号再生す
るよう、一旦バッファに蓄積しておく必要があった。

【０００６】例えば、図５に示した従来の多重化方法で
は、ｎ枚分の画像データの後にｎ枚分の音声データが伝
送されるので、復号器に、ｎ枚分の画像データを蓄積し
ておき、画像データと音声データのタイムスタンプを比
較して、同期を取るための処理を行っていた。

【０００７】また、図６に示した従来の多重化方法の例
では、１枚の画像データを受信する前に音声データを受
信することがあるので、音声データを蓄積するメモリが
必要であり、タイムスタンプを比較して、同期を取るよ
うにしていた。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来の動画／音声符号化データ多重化方法及び動画／音声
符号化データ多重化装置では、動画と音声の同期をとる
ために、復号化装置に、画像データ及び音声データを蓄
積しておくだけの大きな容量を備えたメモリが必要であ
り、復号化装置を高価・複雑にするという問題点があっ
た。

【０００９】また、上記従来の動画／音声符号化データ
多重化方法及び動画／音声符号化データ多重化装置で
は、タイムスタンプによる同期をとるための処理が必要
であり、処理が複雑になるという問題点があった。

【００１０】更に、図５に示した従来の動画／音声符号
化データ多重化方法及び動画／音声符号化データ多重化
装置では、ｎ画面分の音声データが１つの音声パケット
の中に入っているので、伝送上のバースト的な誤りによ
り音声パケット１つが伝送落ちした場合に、ｎ画面期間
に渡って音声が出ないことになり、エラーの影響を複数
の画面で受けやすいという問題点があった。

【００１１】本発明は上記実情に鑑みて為されたもの
で、復号化装置における画像及び音声データを蓄積する
メモリの容量を縮小し、画像と音声の同期をとるための
タイムスタンプによる処理を不要とし、更に、伝送エラ
ーの影響を受けにくくする動画／音声符号化データ多重
化方法及び動画／音声符号化データ多重化装置を提供す
ることを目的とする。

【００１２】

【課題を解決するための手段】上記従来例の問題点を解
決するための請求項１記載の発明は、動画と音声の符号
化データを時分割多重方式で伝送する動画／音声符号化
データ多重化方法において、パケット長に関係なく、画
像識別子が付加された１画面分の画像符号化データに続
いて音声識別子が付加された１画面分の音声符号化デー
タを格納する多重化を行い、前記格納した画像符号化デ
ータと音声符号化データとを１パケット分のデータとし
て出力することを特徴としている。

【００１３】上記従来例の問題点を解決するための請求
項２記載の発明は、動画／音声符号化データ多重化装置
において、入力画像を符号化する画像符号化部と、符号
化された画像符号化データを格納して１画面分の画像符
号化データを転送する画像バッファと、入力音声を符号
化する音声符号化部と、符号化された音声符号化データ
を格納して１画面分の音声符号化データを転送する音声
バッファと、前記画像バッファから転送された画像符号
化データを画像識別子を付加して格納し、格納された前
記画像符号化データに続いて音声バッファから転送され
た音声符号化データを音声識別子を付加して格納する多
重化を行い、前記画像符号化データと前記音声符号化デ
ータとを１パケット分のデータとして出力するマルチプ
レクサと、前記画像符号化部から１画面分の画像の符号
化終了を示す信号を受け取ると、前記マルチプレクサに
多重化開始を指示する信号を出力し、前記画像バッファ
に画像符号化データの転送開始を指示する信号を出力
し、前記音声バッファに音声符号化データの転送開始を
指示する信号を出力する制御部とを有することを特徴と
している。

【００１４】

【作用】請求項１記載の発明によれば、時分割多重方式
で動画／音声符号化データを伝送する場合に、パケット
長に関係なく、画像識別子が付加された１画面分の画像
符号化データに続いて音声識別子が付加された１画面分
の音声符号化データを多重化し、それらデータを１パケ
ット分のデータとして出力する動画／音声符号化データ
多重化方法としているので、１画面分の画像と音声を一
対にして伝送でき、画像と音声の同期を容易に取ること
ができ、伝送データにバースト的な誤りがあっても他の
画面の画像と音声に影響を与えず、信頼性を向上させる
ことができ、また、受信側の復号化装置では１画面分の
画像と音声の符号化データを一対で受信するため、復号
化装置でのメモリ容量を小さくできる。

【００１５】請求項２記載の発明によれば、制御部の指
示信号によりマルチプレクサが、画像バッファから１画
面分の画像符号化データを、画像識別子を付加して格納
し、続いて音声バッファから１画面分の音声符号化デー
タを、音声識別子を付加して格納するデータの多重化を
行い、それらデータを１パケット分のデータとして出力
する動画／音声符号化データ多重化装置としているの
で、１画面分の画像と音声を一対にして伝送でき、画像
と音声の同期を容易に取ることができ、伝送データにバ
ースト的な誤りがあっても他の画面の画像と音声に影響
を与えず、信頼性を向上させることができ、また、受信
側の復号化装置では１画面分の画像と音声の符号化デー
タを一対で受信するため、復号化装置でのメモリ容量を
小さくできる。

【００１６】

【実施例】本発明の一実施例について図面を参照しなが
ら説明する。本発明の一実施例に係る動画／音声符号化
データ多重化方法は、パケット長にとらわれず、ピクチ
ャ単位で画像符号化データとその画像期間内の音声符号
化データとを多重化して、受信側の復号化装置での画像
用のバッファと音声用のバッファの容量を小さくし、画
像出力と音声出力との同期を容易に取ることができ、伝
送エラーの影響を最低限に留めることができるものであ
る。

【００１７】まず、本発明の一実施例に係る動画／音声
符号化データ多重化方法について、図１を使って説明す
る。図１は、本発明の一実施例に係る動画／音声符号化
データ多重化方法を説明する多重化データストリームの
構成図である。本実施例の動画／音声符号化データ多重
化方法では、パケット長にとらわれず、多重化したデー
タのストリームが、図１に示すように、１枚目の画像符
号化データ（A1）の次に、１枚目の画像期間内の音声符
号化データ（B1）が続き、次に、２枚目の画像符号化デ
ータ（A2）、２枚目の画像期間内の音声符号化データ
（B2）というように、ピクチャ単位で画像符号化データ
とその画像期間内の音声符号化データとが連続するよう
に多重化するものである。

【００１８】尚、各画像符号化データの先頭には、画像
符号化データの始まりであることを示す識別子（画像識
別子）が付加され、同様に各音声符号化データの先頭に
は音声符号化データの始まりであることを示す識別子
（音声識別子）が付加される。そして、多重化されたデ
ータからそれぞれのデータを復元する際には、各符号化
データの識別子（画像識別子及び音声識別子）で各符号
化データの始まりを認識して取り出して出力するように
なっている。尚、画像識別子及び音声識別子には、何番
目の画像のデータであるかを示す画像番号のデータを含
むようにすれば、データを復元する際に頭出し等も可能
にできる。

【００１９】次に、本実施例の動画／音声符号化データ
多重化方法を実現する動画／音声符号化データ多重化装
置について、図２，図３を使って説明する。図２は、本
実施例の動画／音声符号化データ多重化装置の符号化装
置の構成ブロック図であり、図３は、本実施例の動画／
音声符号化データ多重化装置の復号化装置の構成ブロッ
ク図である。本実施例の動画／音声符号化データ多重化
装置の符号化装置は、図２に示すように、画像入力部１
０と、画像符号化部１１と、画像バッファ１２と、音声
入力部１３と、音声符号化部１４と、音声バッファ１５
と、マルチプレクサ１６とを具備するメディア制御部１
７と、メディア制御部１７全体の動作制御を行うＣＰＵ
２０とから構成されている。

【００２０】次に、本実施例の動画／音声符号化データ
多重化装置の符号化装置の各部について具体的に説明す
る。画像入力部１０は、画像入力装置等から入力された
アナログ画像データを、サンプリングして量子化するこ
とにより、ディジタル画像データに変換するＡ／Ｄ変換
処理を行うものである。画像符号化部１１は、ディジタ
ル画像データを１画面（ピクチャ）単位で圧縮して符号
化し、画像符号化データを作成するものである。

【００２１】ここで、ディジタル画像データを符号化す
る技術は、例えば静止画像の圧縮符号化の標準ともいえ
る「ＪＰＥＧ（Joint Photographic Expert Group ）」
方式や、通信メディア用のディジタル動画像の圧縮符号
化の国際標準である「Ｈ．２６１」方式や、蓄積メディ
ア用及び放送メディア用のディジタル動画像の圧縮符号
化の国際標準である「ＭＰＥＧ（Moving Picture Codin
g Experts Group ）」方式である。

【００２２】ＪＰＥＧ方式を例にとって、その概要を説
明すると、ＪＰＥＧ方式の最も基本的なアルゴリズム
は、１画面の画像を例えば８×８画素のブロックに分割
し、ブロック毎にＤＣＴ（Discrete Cosine Transfor
m）変換等の直交変換を施し、量子化し、更にエントロ
ピー符号化を行って符号化データを作成するものであ
る。（「最新ＭＰＥＧ教科書」 マルチメディア通信研
究会編 株式会社アスキー発行 １９９４年８月発行
ｐ５３〜ｐ６７参照）

【００２３】また、「Ｈ．２６１」方式や「ＭＰＥＧ」
方式の技術についても一般的に知られており、例えば、
「最新ＭＰＥＧ教科書」 マルチメディア通信研究会編
株式会社アスキー発行 １９９４年８月発行 ｐ６９
〜ｐ６７と、「情報・符号理論入門」 橋本清著 森北
出版株式会社 １９８４年１２月発行 ｐ７２〜１６５
に記載されている。

【００２４】更に、前述のＤＣＴ変換よりも局在する位
置情報を効率良く圧縮することができるウェーブレット
変換を用いた符号化や、画像の構造的特徴を抽出して符
号化するフラクタル符号化といった新しい変換符号化技
術が画像符号化部１１に使われても良いことは言うまで
もない。つまり、一般的に画像を１画面単位で圧縮でき
るか、もしくは１画面の区切りが認識できるような画像
圧縮（符号化）方法であれば、いかなる方法が画像符号
化部１１で使われても構わない。

【００２５】画像バッファ１２は、画像符号化部１１で
作成された１画面分の画像符号化データを記憶するバッ
ファである。

【００２６】音声入力部１３は、音声入力装置等から入
力されたアナログ音声信号を、サンプリングして量子化
することにより、ディジタル音声データに変換するＡ／
Ｄ変換処理を行うものである。

【００２７】音声符号化部１４は、ディジタル音声デー
タを圧縮して符号化し、音声符号化データを作成するも
のである。尚、本実施例の音声符号化部１４は、１画面
期間内の音声データを認識して圧縮するようにしてい
る。

【００２８】ここで、ディジタル音声データを符号化す
る技術は、例えば、前の信号と入力信号との差分（増減
分）を取り、これを量子化するＤＰＣＭ（Differential
Pulse Code Modulation：差分パルス符号変調）や、音
声信号が近接したサンプリング値間の相関が強いことを
利用して、入力信号と予測との差分（増減分）を取り、
これを量子化する適応差分パルス符号変調（Adaptive D
ifferential Pulse Code Modulation ：ＡＤＰＣＭ）
や、また更に音声品質を改善するためにベクトル量子化
を基本とするＣＥＬＰ（Code Excited Linear Predicti
on：符号励振型線形予測）等の圧縮符号化技術が一般に
知られている。（「最新ＭＰＥＧ教科書」マルチメディ
ア通信研究会編 株式会社アスキー発行 １９９４年８
月発行ｐ１９５〜ｐ２０４参照） そして、音声符号化部１４に使われる符号化技術は、デ
ィジタル音声データを圧縮符号化する方法であれば、い
かなる方法であっても構わない。

【００２９】音声バッファ１５は、音声符号化部１４で
作成された１画面期間内の音声符号化データを記憶する
バッファである。

【００３０】マルチプレクサ１６は、画像符号化データ
と音声符号化データとを１画面単位で多重化し、更に通
信制御装置の仕様に対応したパケット長でパケット化し
た多重化データを通信制御装置に出力する機能を有する
マルチプレクサである。ＣＰＵ２０は、メディア制御部
１７全体を制御するもので、具体的な制御方法について
は、後述する。

【００３１】次に、本実施例の動画／音声符号化データ
多重化装置の符号化装置の動作の概略について、図２を
使って説明する。本実施例の動画／音声符号化データ多
重化装置の符号化装置では、画像入力部１０が、画像入
力装置等から入力されたアナログ画像データをディジタ
ル画像データに変換して画像符号化部１１に出力し、画
像符号化部１１が入力されたディジタル画像データを１
画面（ピクチャ）単位で圧縮符号化して画像符号化デー
タを作成して画像バッファ１２に記憶させる。

【００３２】一方、音声入力部１３が、音声入力装置等
から入力されたアナログ音声信号をディジタル音声デー
タに変換して音声符号化部１４に出力し、音声符号化部
１４が、入力されたディジタル音声データを圧縮符号化
して音声符号化データを作成し、音声バッファ１５に記
憶させる。

【００３３】そして、ＣＰＵ２０からの制御に従ってマ
ルチプレクサ１６が画像バッファ１２から１画面分の画
像符号化データを受け取り、その際に画像符号化データ
の前に画像符号化データの始まりを示す識別子（画像識
別子）を付加する。そして、続いて音声バッファ１５か
ら１画面期間分の音声符号化データを受け取り、その際
に音声符号化データの前に音声符号化データの始まりを
示す識別子（音声識別子）を付加する。そして、通信制
御装置の仕様に対応するパケット長でパケット化して通
信制御装置に出力する。尚、多重化制御の詳細について
は後述する。

【００３４】また、本実施例では多重化されたデータを
通信メディアに出力する場合で説明するが、蓄積メディ
アに出力する場合は、パケット化せずに多重化データを
そのまま蓄積メディアに蓄積すればよい。

【００３５】次に、本実施例の動画／音声符号化データ
多重化装置の復号化装置について図３を使って説明す
る。図３は、本実施例の動画／音声符号化データ多重化
装置の復号化装置の構成ブロック図である。本実施例の
動画／音声符号化データ多重化装置の符号化装置は、図
３に示すように、デマルチプレクサ３０と、画像バッフ
ァ３１と、画像復号化部３２と、画像出力部３３と、音
声バッファ３４と、音声復号化部３５と、音声出力部３
６とを具備するメディア制御部３７と、メディア制御部
３７全体の動作制御を行うＣＰＵ４０とから構成されて
いる。

【００３６】次に、本実施例の動画／音声符号化データ
多重化装置の復号化装置の各部について具体的に説明す
る。デマルチプレクサ３０は、通信制御装置から受け取
ったパケット化された多重化データを画像符号化データ
と音声符号化データとに分離してそれぞれを画像バッフ
ァ３１と音声バッファ３４とに出力するものである。こ
こで、画像符号化データと音声符号化データとの識別
は、各符号化データの先頭に付加された識別子（画像識
別子，音声識別子）を検出することによって行うもので
ある。

【００３７】画像バッファ３１は、多重化データから分
離された１画面分の画像符号化データを記憶するバッフ
ァである。画像復号化部３２は、１画面単位で画像符号
化データを復号化して１画面分のディジタル画像データ
を作成するものである。尚、画像復号化部３２における
復号化方法は、符号化装置の画像符号化部１１で行われ
る符号化の逆処理を行う復号化方法でなければならな
い。画像出力部３３は、画像復号化部３２から出力され
るディジタル画像データをそのまま、又はアナログ画像
データに変換して表示装置等に出力するものである。

【００３８】音声バッファ３４は、多重化データから分
離された１画面期間内の音声符号化データを記憶するバ
ッファである。音声復号化部３５は、音声符号化データ
を復号化してディジタル音声データを作成するものであ
る。尚、音声復号化部３５における復号化方法は、符号
化装置の音声符号化部１４で行われる符号化の逆処理を
行う復号化方法でなければならない。音声出力部３６
は、音声復号化部３５から出力されるディジタル音声デ
ータをアナログ音声信号に変換してスピーカー等の発音
装置に出力するものである。ＣＰＵ４０は、メディア制
御部３７全体を制御するものである。

【００３９】次に、本実施例の動画／音声符号化データ
多重化装置の復号化装置の動作の概略について、図３を
使って説明する。本実施例の動画／音声符号化データ多
重化装置の復号化装置では、デマルチプレクサ３０が、
通信制御装置から受け取った多重化データを画像符号化
データと音声符号化データとに分離してそれぞれを画像
バッファ３１と音声バッファ３４とに出力する。尚、画
像符号化データと音声符号化データとに分離する方法
は、各符号化データの先頭に付加されている識別子を検
出することによって行われる。

【００４０】そして、画像復号化部３２が随時画像バッ
ファ３１から画像符号化データを取り込んで復号化して
画面単位のディジタル画像データを作成して画像出力部
３３に出力し、画像出力部３３が入力されたディジタル
画像データをそのまま、又はアナログ画像データに変換
して表示装置等に出力して表示させるようになってい
る。一方、音声復号化部３５でも、随時音声バッファ３
４から音声符号化データを取り込んで復号化してディジ
タル音声データを作成して音声出力部３６に出力し、音
声出力部３６が入力されたディジタル音声データをアナ
ログ音声信号に変換してスピーカ等に出力して発音させ
るようになっている。

【００４１】次に、本実施例の動画／音声符号化データ
多重化装置の符号化装置における多重化制御方法につい
て、図４を用いて説明する。図４は、本実施例の動画／
音声符号化データ多重化装置の符号化装置における多重
化制御方法を説明する概念図である。本実施例の動画／
音声符号化データ多重化装置の符号化装置における多重
化制御方法は、画像符号化部１１が、画像入力部１０か
ら受け取ったディジタル画像データを画面単位で符号化
して画像バッファ１２に画像符号化データを格納し終わ
ると、画像データ符号化終了信号（ａ）をＣＰＵ２０に
出力し、ＣＰＵ２０は、この画像データ符号化終了信号
（ａ）を受け取ると、マルチプレクサ１６に多重化開始
信号（ｂ）を出力する。

【００４２】マルチプレクサ１６内には、ＤＭＡ（Dire
ct Memory Access）が可能なローカルメモリ１８と、Ｆ
ＩＦＯ（First In First Out）のメモリであるＦＩＦＯ
メモリ１９とが設けられている。そして、マルチプレク
サ１６がＣＰＵ２０から多重化開始信号（ｂ）を受け取
ると、ローカルメモリ１８に画像識別子を格納し、更に
ローカルメモリ１８が画像バッファ１２又は音声バッフ
ァ１５から転送されるデータを受け取れるように設定す
る。

【００４３】次に、ＣＰＵ２０は、画像バッファ１２に
対して記憶している１画面分の画像符号化データをロー
カルメモリ１８に転送する指示（引き出し信号（ｃ））
を出力する。画像バッファ１２は、ＣＰＵ２０から引き
出し信号（ｃ）を受け取ると、記憶している１画面分の
画像符号化データをローカルメモリ１８に転送する。そ
して、マルチプレクサ１６は、画像バッファ１２からの
画像符号化データ転送が終了すると、ローカルメモリ１
８に音声識別子を格納する。

【００４４】次に、ＣＰＵ２０は、画像バッファ１２の
データ転送に充分な時間をおいて、音声バッファ１５に
対して記憶している１画面期間内の音声符号化データを
ローカルメモリ１８に転送する指示（引き出し信号
（ｄ））を出力する。音声バッファ１５は、ＣＰＵ２０
から引き出し信号（ｄ）を受け取ると、記憶している１
画面期間内の音声符号化データをローカルメモリ１８に
転送する。尚、ローカルメモリ１８では、画像バッファ
１２から転送される画像符号化データに続いて音声バッ
ファ１５から転送される音声符号化データを書き込むこ
とができるように、ポインタを設けて書込アドレスを制
御している。

【００４５】そして、ローカルメモリ１８はＦＩＦＯメ
モリ１９に接続されており、マルチプレクサ１６は、音
声バッファ１５からの音声符号化データの転送が終了す
ると、１パケット分の画像符号化データと音声符号化デ
ータをローカルメモリ１８からＦＩＦＯメモリ１９に出
力し、ＦＩＦＯメモリ１９から通信制御装置に出力され
るようになっている。

【００４６】尚、１画面分の画像符号化データのデータ
量が多すぎて、１画面分の画像符号化データと音声符号
化データが１パケット分に収まらない時には、１パケッ
ト分のデータをＦＩＦＯメモリ１９に出力し、残りのデ
ータはローカルメモリ１８に残すようにし、次の１パケ
ット分の出力でその残ったデータを出力するようにして
いる。この場合、次の１画面分の画像符号化データがロ
ーカルメモリ１８に書き込まれる位置は、残りのデータ
の次のアドレス位置からとなるようマルチプレクサ１６
で制御させるものである。

【００４７】そして、本実施例の動画／音声符号化デー
タ多重化装置の復号化装置側では、デマルチプレクサ３
０が通信制御装置から多重化データを受け取ると、多重
化データの中の画像識別子を検出すると、それに続く画
像符号化データを画像バッファ３１に出力し、多重化デ
ータの中の音声識別子を検出すると、それに続く音声符
号化データを音声バッファ３４に出力して、それぞれを
復号化して出力するようになっている。

【００４８】本実施例の動画／音声符号化データ多重化
装置によれば、１画面分の画像符号化データに続いてそ
の画面期間内の音声符号化データを多重化するので、符
号化装置及び復号化装置における画像バッファ１２，３
１と音声バッファ１５，３４がそれぞれ１画面分及び１
画面期間分の容量で充分であり、各装置においてバッフ
ァ容量を少なくすることができる効果がある。

【００４９】また、１画面分の画像符号化データに続い
てその画面期間内の音声符号化データを多重化するの
で、復号化装置において復号化してそれぞれのデータを
出力する際に、同期を取る必要がなく、タイムスタンプ
等を使った複雑な同期制御をなくして復号化処理を簡略
化することができる効果がある。

【００５０】また、本実施例の動画／音声符号化データ
多重化方法によれば、音声符号化データだけでパケット
を構成しないので、音声データにおけるバースト的な誤
りが発生しにくく、転送誤り等の影響を小さくすること
ができる効果がある。

【００５１】また、本実施例の動画／音声符号化データ
多重化方法によれば、１画面分の画像符号化データに続
いてその画面期間内の音声符号化データを多重化するの
で、例えば、多重化データを蓄積メディア等に格納した
場合、再生段階で、早送りや巻き戻しといった操作を行
っても、画像と１対１に対応する音声が取得できる効果
がある。

【００５２】

【発明の効果】請求項１記載の発明によれば、時分割多
重方式で動画／音声符号化データを伝送する場合に、パ
ケット長に関係なく、画像識別子が付加された１画面分
の画像符号化データに続いて音声識別子が付加された１
画面分の音声符号化データを多重化し、それらデータを
１パケット分のデータとして出力する動画／音声符号化
データ多重化方法としているので、１画面分の画像と音
声を一対にして伝送でき、画像と音声の同期を容易に取
ることができる効果があり、伝送データにバースト的な
誤りがあっても他の画面の画像と音声に影響を与えず、
信頼性を向上させることができる効果があり、また、受
信側の復号化装置では１画面分の画像と音声の符号化デ
ータを一対で受信するため、復号化装置でのメモリ容量
を小さくできる効果がある。

【００５３】請求項２記載の発明によれば、制御部の指
示信号によりマルチプレクサが、画像バッファから１画
面分の画像符号化データを、画像識別子を付加して格納
し、続いて音声バッファから１画面分の音声符号化デー
タを、音声識別子を付加して格納するデータの多重化を
行い、それらデータを１パケット分のデータとして出力
する動画／音声符号化データ多重化装置としているの
で、１画面分の画像と音声を一対にして伝送でき、画像
と音声の同期を容易に取ることができる効果があり、伝
送データにバースト的な誤りがあっても他の画面の画像
と音声に影響を与えず、信頼性を向上させることができ
る効果があり、また、受信側の復号化装置では１画面分
の画像と音声の符号化データを一対で受信するため、復
号化装置でのメモリ容量を小さくできる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画／音声符号化デー
タ多重化方法を説明する多重化データストリームの構成
図である。

【図２】本実施例の動画／音声符号化データ多重化装置
の符号化装置の構成ブロック図である。

【図３】本実施例の動画／音声符号化データ多重化装置
の復号化装置の構成ブロック図である。

【図４】本実施例の動画／音声符号化データ多重化装置
の符号化装置における多重化制御方法を説明する概念図
である。

【図５】従来の動画／音声符号化データ多重化方法を示
す模式説明図である。

【図６】別の従来の動画／音声符号化データ多重化方法
を示す模式説明図である。

【符号の説明】

１０…画像入力部、 １１…画像符号化部、 １２…画
像バッファ、 １３…音声入力部、 １４…音声符号化
部、 １５…音声バッファ、 １６…マルチプレクサ、
１７…メディア制御部、 １８…ローカルメモリ、
１９…ＦＩＦＯメモリ、 ２０…ＣＰＵ、 ３０…デマ
ルチプレクサ、 ３１…画像バッファ、３２…画像復号
化部、 ３３…画像出力部、 ３４…音声バッファ、
３５…音声復号化部、 ３６…音声出力部、 ３７…メ
ディア制御部、 ４０…ＣＰＵ

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｊ 3/17 Ｚ 3/22 Ｈ０４Ｎ 7/24

Claims (2)

【特許請求の範囲】
1. 【請求項１】 動画と音声の符号化データを時分割多重
   方式で伝送する動画／音声符号化データ多重化方法にお
   いて、パケット長に関係なく、画像識別子が付加された
   １画面分の画像符号化データに続いて音声識別子が付加
   された１画面分の音声符号化データを格納する多重化を
   行い、前記格納した画像符号化データと音声符号化デー
   タとを１パケット分のデータとして出力することを特徴
   とする動画／音声符号化データ多重化方法。
2. 【請求項２】 入力画像を符号化する画像符号化部と、
   符号化された画像符号化データを格納して１画面分の画
   像符号化データを転送する画像バッファと、入力音声を
   符号化する音声符号化部と、符号化された音声符号化デ
   ータを格納して１画面分の音声符号化データを転送する
   音声バッファと、前記画像バッファから転送された画像
   符号化データを画像識別子を付加して格納し、格納され
   た前記画像符号化データに続いて音声バッファから転送
   された音声符号化データを音声識別子を付加して格納す
   る多重化を行い、前記画像符号化データと前記音声符号
   化データとを１パケット分のデータとして出力するマル
   チプレクサと、前記画像符号化部から１画面分の画像の
   符号化終了を示す信号を受け取ると、前記マルチプレク
   サに多重化開始を指示する信号を出力し、前記画像バッ
   ファに画像符号化データの転送開始を指示する信号を出
   力し、前記音声バッファに音声符号化データの転送開始
   を指示する信号を出力する制御部とを有することを特徴
   とする動画／音声符号化データ多重化装置。