JPH0937220A - 画像・音声多重化装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像データと音声データの符号化処理速度の
違いを吸収するための音声データ遅延処理を内部で行う
ことが可能な画像・音声多重装置を提供する。 【構成】 符号化された音声データは、音声インタフェ
ース回路１１の音声バッファ１１１に保持される。音声
バッファ１１１に保持された音声データは、プロセッサ
１５２により読み出され、メモリ１５１に書き込まれ
る。メモリ１５１に書き込まれた音声データは、所定時
間経過後に、プロセッサ１５２により読み出され、遅延
音声バッファ１２に保持される。遅延音声バッファ１２
に保持された音声データは、第１多重回路１３と、第２
の多重回路１４（１），１４（２）と、プロセッサ回路
１５により、画像データと、ユーザデータと、制御信号
と多重され、伝送路に送出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば、ＩＴＵ−Ｔ
Ｈ．２２１に準拠して、画像データと、音声データと、
ユーザデータと、制御信号とを多重する画像・音声多重
化装置に関する。

【０００２】

【従来の技術】近年、ディジタル通信網の発展に伴い、
画像と音声を含む通信サービスの提供が行われている。

【０００３】この通信サービスを提供するためには、画
像データと音声データを符号化した後、多重して伝送す
る必要がある。

【０００４】画像データと音声データを多重化して伝送
する際のフレーム構成は、ＩＴＵ−ＴＨ．２２１に規定
されている。

【０００５】この勧告Ｈ．２２１に準拠した従来の画像
・音声多重化装置は、制御信号を発生する中央処理装置
（以下、「プロセッサ」という。）と、送信クロックに
同期して、画像データと、音声データと、ユーザデータ
を多重する第１の多重回路と、送信クロックに同期し
て、第１の多重回路の多重出力とプロセッサから出力さ
れる制御信号を多重する第２の多重回路により、画像デ
ータと、音声データと、ユーザデータと、制御信号を多
重するようになっていた。

【０００６】

【発明が解決しようとする課題】しかしながら、このよ
うな構成では、プロセッサは制御信号以外のデータを処
理することができない。このため、従来の画像・音声多
重化装置においては、プロセッサを有するにもかかわら
ず、画像データと音声データの符号化処理速度の違いを
吸収するための音声データ遅延機能を画像・音声多重化
装置に設けることができないという問題あった。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に、この発明は、音声データの記憶に使用される音声デ
ータ記憶手段と、音声データを受けると、この音声デー
タを保持する第１の音声データ保持手段と、この手段に
保持されている音声データを音声データ記憶手段に書き
込む音声データ書込み手段と、この手段により音声デー
タ記憶手段に書き込まれた音声データを所定時間経過後
に読み出す音声データ読出し手段と、この手段により読
み出された音声データを保持する第２の音声データ保持
手段と、画像データと、第２の音声データ保持手段に保
持されている音声データと、制御信号とを多重する多重
手段とを設けるようにしたものである。

【０００８】

【作用】上記構成においては、音声データは、第１の音
声データ保持手段に保持された後、音声データ書込み手
段により音声データ記憶手段に書き込まれる。音声デー
タ記憶手段に書き込まれた音声データは、所定時間経過
後に、音声データ読み出し手段により読み出された後、
第２の音声データ保持手段に保持される。第２の音声デ
ータ保持手段に保持された音声データは、多重手段によ
り、画像データと、制御信号と多重される。これによ
り、音声データは、所定時間遅延された後に、画像デー
タ等と多重されることになる。

【０００９】このような構成によれば、音声データの遅
延処理を、メモリに対する音声データの書込み動作とメ
モリからの音声データの読出し動作とにより実現するこ
とができる。これにより、音声データの遅延処理をソフ
トウェアにより実現することが可能なので、画像・音声
多重化装置がプロセッサを有する場合は、このプロセッ
サを使って、音声データを遅延することができる。その
結果、画像・音声多重化装置に音声データの遅延機能を
設けることができる。

【００１０】

【実施例】以下、図面を参照しながら、この発明の実施
例を詳細に説明する。

【００１１】［第１の実施例］ ［構成］図１は、この発明の一実施例の構成を示すブロ
ック図である。

【００１２】なお、以下の説明では、この発明をＩＴＵ
−ＴＨ．２２１に準拠した画像・音声多重化装置に適用
する場合を代表として説明する。

【００１３】図示の画像・音声符号化装置は、音声イン
タフェース回路１１と、遅延音声バッファ１２と、第１
の多重回路１３と、第２の多重回路１４（１）〜１４
（Ｎ）と、プロセッサ回路１５と、バス１６を有する。

【００１４】なお、第２の多重回路１４（１）〜１４
（Ｎ）は、チャネル数Ｎ分設けられるている。図には、
チャネル数Ｎとして、２を設定する場合を代表として示
す。

【００１５】ここで、音声インタフェース回路１１は、
図示しない音声符号化装置から出力される符号化された
音声データを保持する機能を有する。この保持は、詳細
は後述するが、音声データをプロセッサ１５２の書込み
動作に同期させるために行われる。

【００１６】遅延音声バッファ１２は、詳細は後述する
が、プロセッサ１５２によりメモリ１５１から読み出さ
れた音声データを保持する機能を有する。この保持は、
音声データを第１の多重回路１３の多重動作に同期させ
るために行われる。

【００１７】第１の多重回路１３は、図しない画像デー
タ符号化装置により符号化された画像データと、遅延音
声バッファ１２に保持されている音声データと、図示し
ないユーザデータ発生装置から出力されるユーザデータ
とをＨ．２２１のフレーム構成に準じて多重する機能を
有する。

【００１８】なお、ユーザデータとしては、低速度デー
タ（ＬＳＤ）、高速度データ（ＨＳＤ）、マルチレイヤ
プロトコル（ＭＬＰ）、高速度マルチレイヤプロトコル
（Ｈ−ＭＬＰ）等がある。

【００１９】第２の多重回路１４（ｎ）（ｎ＝１，２）
は、プロセッサ回路１５により与えられた多重データと
制御信号とをＨ．２２１のフレーム構成に準じて多重
し、伝送路に送出する機能を有する。

【００２０】なお、制御信号としては、フレーム同期信
号（ＦＡＳ）と、動作モード指定信号（ＢＡＳ）と、暗
号化制御信号（ＥＣＳ）がある。

【００２１】プロセッサ回路１５は、第１の多重回路１
３と第２の多重回路１４（１），１４（２）の状態設定
を行う機能と、音声インタフェース回路１１に保持され
た音声データを所定時間遅延して遅延音声バッファ１２
に転送する機能と、第１の多重回路１３により得られた
多重データを第２の多重回路１４（１），１４（２）に
転送する機能等を有する。

【００２２】上記状態設定とは、第１多重回路１３と，
第２の多重回路１４（１），１４（２）に対して、Ｈ．
２２１で規定されるデータ送信フォーマットのうち、予
め定めたフォーマットを設定する機能である。この状態
設定の設定項目としては、伝送路の速度、使用チャネル
数Ｎ、画像データ、音声データ、ユーザデータの転送速
度等がある。

【００２３】バス１６は、プロセッサ回路１５と、音声
インタフェース回路１１、遅延音声バッファ１２、第１
の多重回路１３、第２の多重回路１４（１），１４
（２）とを接続する機能を有する。

【００２４】上記音声インタフェース回路１１は、音声
バッファ１１１と、フラグ設定回路１１２を有する。

【００２５】ここで、音声バッファ１１１は、音声デー
タ符号化装置から出力される音声データを保持する機能
を有する。この保持は、上記のごとく、音声データをプ
ロセッサ１５２の書込み動作に同期させるために行われ
る。

【００２６】フラグ設定回路１１２は、音声バッファ１
１１の状態を示すフラグを設定する機能を有する。音声
バッファ１１１の状態としては、読出し許可状態と読出
し禁止状態がある。読出し許可状態は、音声バッファ１
１１に音声データが保持されている状態をいい、読出し
禁止状態とは、音声バッファ１１１に音声データが保持
されていない状態をいう。

【００２７】上記第１の多重回路１３は、多重回路１３
１と、多重バッファ１３２と、フラグ設定回路１３３を
有する。

【００２８】多重回路１３１は、読出し信号に従って、
外部装置（画像データ符号化装置やユーザデータ発生装
置）から画像データとユーザデータを読み出すととも
に、遅延音声バッファ１２から音声データを読み出し、
これらをＨ．２２１のフレーム構成に準じて多重する機
能を有する。

【００２９】多重バッファ１３２は、多重回路１３１か
ら出力される多重データを保持する機能を有する。この
保持は、詳細は後述するが、多重データをプロセッサ１
５２の書込み動作に同期させるために行われる。

【００３０】フラグ設定回路１３３は、多重バッファ１
３２の状態を示すフラグを設定する機能を有する。多重
バッファ１３２の状態しても、上述した読出し許可状態
と読出し禁止状態がある。

【００３１】上記第２の多重回路１４（ｎ）は、送信バ
ッファ１４１（ｎ）と、制御信号バッファ１４２（ｎ）
と、多重回路１４３（ｎ）と、フラグ設定回路１４４
（ｎ）を有する。

【００３２】ここで、送信バッファ１４１（ｎ）は、プ
ロセッサ１５２から供給される多重データを保持する機
能を有する。この保持は、詳細は後述するが、多重デー
タを多重回路１４３（ｎ）の多重動作に同期させるため
に行われる。

【００３３】制御信号バッファ１４２（ｎ）は、プロセ
ッサ１５２から供給される制御信号を保持する機能を有
する。この保持は、詳細は後述するが、制御信号を多重
回路１４３（ｎ）の多重動作に同期させるために行われ
る。

【００３４】多重回路１４３（ｎ）は、伝送路から与え
られる送信クロックに同期して、バッファ１４１
（ｎ），１４２（ｎ）の保持データを多重して、伝送路
に送出する機能を有する。

【００３５】フラグ設定回路１４４（ｎ）は、バッファ
１４１（ｎ），１４２（ｎ）の状態を示すフラグを設定
する機能を有する。バッファ１４１（ｎ），１４２
（ｎ）の状態としては、データ有り状態とデータ無し状
態がある。ここで、データ有り状態とは、バッファ１４
１（ｎ），１４２（ｎ）にデータが保持されている状態
をいい、データ無し状態とは、データが保持されていな
い状態をいう。

【００３６】上記プロセッサ回路１５は、メモリ１５１
とプロセッサ１５２を有する。

【００３７】ここで、メモリ１５１は、音声バッファ１
１１に保持されている音声データと、第１の多重回路１
３で生成された多重データの記憶に使用される。

【００３８】プロセッサ１５１は、次のような機能を有
する。

【００３９】第１多重回路１３と，第２の多重回路１
４（１），１４（２）の状態設定を行う機能 音声バッファ１１１に保持されている音声データをメ
モリ１５１に書き込む機能 メモリ１５１に書き込んだ音声データを所定時間経過
後に読み出して、遅延音声バッファ１２に書き込む機能 多重バッファ１３２に保持されている多重データをメ
モリ１５１に書き込む機能 メモリ１５１に書き込んだ多重データを読み出して、
送信バッファ１４１（１），１４１（２）に書き込む機
能。

【００４０】［動作］上記構成において、動作を説明す
る。

【００４１】まず、プロセッサ１５２は、第１の多重回
路１３と、第２の多重回路１４（１），１４（２）に対
して、Ｈ．２２１で規定されるデータ送信フォーマット
のうち、予め定めたデータ送信フォーマットを設定す
る。

【００４２】次に、プロセッサ１５２は、音声インタフ
ェース回路１１と第１の多重回路１３に対して、動作開
始設定を行う。これにより、音声インタフェース回路１
１と第１の多重回路１３が動作状態に設定される。

【００４３】音声インタフェース回路１１が動作状態に
設定されると、図示しない音声データ符号化装置から出
力される音声データが音声バッファ１１１に保持され
る。これにより、フラグ設定回路１１２は、音声バッフ
ァ１１１が読出し許可状態になったことを示すフラグを
設定する。

【００４４】プロセッサ１５２は、音声インタフェース
回路１１を動作状態に設定すると、音声バッファ１１１
が読出し許可状態になったか否かを監視する。この監視
は、フラグ設定回路１１２により設定されたフラグに基
づいて行われる。

【００４５】音声バッファ１１１が読出し許可状態にな
ると、プロセッサ１５２は、この音声バッファ１１１に
保持されている音声データを読み出し、メモリ１５１に
書き込む。

【００４６】音声バッファ１１１から音声データが読み
出されると、フラグ設定回路１１２は、音声バッファ１
１１が読出し禁止状態にあることを示すフラグを設定す
る。

【００４７】プロセッサ１５２は、メモリ１５１に音声
データを書き込むと、これを所定時間経過後に読み出
し、遅延音声バッファ１２に書き込む。これにより、音
声バッファ１１１に保持された音声データは、所定時間
遅延された後、音声遅延バッファ１２に転送されること
になる。ここで、遅延時間は、画像データと、音声デー
タの符号化処理速度の差に基づいて定められる。

【００４８】第１の多重回路１３が動作状態に設定され
ると、その多重回路１３１が、所定のクロックに従っ
て、読出し信号を発生し、図示しない外部装置（画像符
号化装置やユーザデータ発生装置）から画像データとユ
ーザデータを読み出すとともに、遅延音声バッファ１２
から音声データを読み出す。ここで、所定のクロックと
は、プロセッサ１５２の動作を規定するクロックや伝送
路から与えられる送信クロックとは独立のクロックであ
る。

【００４９】次に、多重回路１３１は、読み出した画像
データと、音声データと、ユーザデータをＨ．２２１の
フレーム構成に準じて多重し、この多重データを多重バ
ッファ１３２に書き込む。

【００５０】多重バッファ１３２に１オクテッド分の多
重データが書き込まれると、フラグ設定回路１３３は、
読出し許可状態を示すフラグを設定する。このフラグが
設定されると、多重回路１３１は、多重動作とバッファ
書込み動作を停止する。この停止は、多重バッファ１３
２に格納されている多重データがプロセッサ１５２によ
り読み出されるまで続けられる。

【００５１】プロセッサ１５１は、第１の多重回路１３
を動作状態に設定すると、多重バッファ１３２が読出し
許可状態になったか否かを監視する。この監視は、フラ
グ設定回路１３３により設定されるフラグに基づいて行
われる。

【００５２】多重バッファ１３２が読出し許可状態に設
定されると、プロセッサ１５２は、この多重バッファ１
３２から多重データを読み出し、メモリ１５１に書き込
む。

【００５３】フラグ設定回路１３３は、多重バッファ１
３２から多重データが読み出されると、多重バッファ１
３２が読出し禁止状態になったことを示すフラグを設定
する。多重回路１３１は、多重バッファ１３２が読出し
禁止状態になると、次の読出しに備えて、多重動作とバ
ッファ書込み動作を再開する。

【００５４】プロセッサ１５２は、メモリ１５１に多重
データを書き込むと、所定のタイミングでこれを読み出
し、第２の多重回路１４（１），１４（２）の送信バッ
ファ１４１（１），１４１（２）に書き込む。次に、プ
ロセッサ１５２は、制御信号を制御信号バッファ１４２
（１），１４２（２）に書き込む。

【００５５】この処理が終了すると、プロセッサ１５２
は、第２の多重回路１４（１），１４（２）に対して、
動作開始設定を行う。これにより、第２の多重回路１４
（１），１４（２）が動作状態となる。

【００５６】第２の多重回路１４（１），１４（２）が
動作状態になると、その多重回路１４３（１），１４３
（２）は、多重データと制御信号をＨ．２２１のフレー
ム構成に準じて多重し、この多重データを伝送路に送出
する。この多重は、伝送路から与えられる送信クロック
に従って行われる。

【００５７】以後、多重回路１４３（１），１４３
（２）は、送信クロックに従って送信動作を続ける。し
たがって、プロセッサ１５２は、第２の多重回路１４
（１），１４（２）を動作状態に設定した後、フラグ設
定回路１４４（１），１４４（２）により設定されたフ
ラグに基づいて、バッファ１４１（１），１４１
（２），１４２（１），１４２（２）の状態を監視し、
この監視結果に基づいて、データ転送を実行する。

【００５８】すなわち、プロセッサ１５２は、バッファ
１４１（１），１４１（２），１４２（１），１４２
（２）にデータが無くならないように、音声バッファ１
１１から遅延音声バッファ１２への音声データの転送
と、多重バッファ１３２から送信バッファ１４１
（１），１４１（２）への多重データの転送と、制御信
号バッファ１４２（１），１４２（２）への制御信号の
転送とを行う。これにより、伝送路へ送出される多重デ
ータは、欠落のない連続するＨ２２１フレーム構成の多
重データとされる。

【００５９】なお、音声バッファ１１１から遅延音声バ
ッファ１２への音声データの転送は、多重回路１３が多
重動作とバッファ書込み動作を停止するたびに行われ
る。

【００６０】［効果］以上詳述したこの実施例によれ
ば、次のような効果がある。

【００６１】（１）まず、この実施例によれば、音声デ
ータの記憶に使用される手段（メモリ１５１）と、音声
データを保持する手段（音声バッファ１１１）と、この
手段に保持された音声データを上記音声データ記憶手段
（メモリ１５１）に書き込む手段（フラグ設定部１１
２、プロセッサ１５２）と、この音声データ記憶手段
（メモリ１５１）に書き込まれた音声データを所定時間
経過後に読み出す手段（プロセッサ１５２）と、読み出
された音声データを保持する手段（遅延音声バッファ１
２）により、音声データの遅延を実現するようにしたの
で、音声データの遅延処理をメモリに対する音声データ
の書込み動作とメモリからの音声データの読出し動作に
よって行うことができる。

【００６２】これにより、音声データの遅延処理をソフ
トウェアにより実現することが可能なので、画像・音声
多重化装置がプロセッサを有する場合は、このプロセッ
サを使って、音声データを遅延することができる。その
結果、画像・音声多重化装置がプロセッサを有する場合
は、画像・音声多重化装置内で音声データを遅延するこ
とができる。

【００６３】（２）また、この実施例によれば、画像デ
ータと、音声データと、ユーザデータとの多重データの
記憶に使用される手段（メモリ１５１）と、多重回路１
３１から出力される多重データを保持する手段（多重バ
ッファ１３２）と、この手段に保持されている多重デー
タを多重データ記憶手段（メモリ１５１）に書き込む手
段（フラグ設定回路１３３、プロセッサ１５２）と、多
重データ記憶手段（メモリ１５１）に書き込まれた多重
データを読み出す手段（プロセッサ１５２）と、読み出
された多重データを保持する手段（バッファ１４１
（１），１４１（２），１４２（１），１４２（２））
とにより、多重回路１３１から出力される多重データを
多重回路１４３（１），１４３（２）に転送するように
したので、この転送処理を非同期通信方式により行うこ
とができる。

【００６４】これにより、次のような効果を得ることが
できる。

【００６５】まず、このような構成によれば、多重回
路１３１から出力される多重データに対して、プロセッ
サ１５２が暗号化等の処理を施すことができる。

【００６６】すなわち、Ｈ．２２１においては、暗号化
等の処理を施す場合は、これを制御信号を多重する前に
施すことが規定されている。したがって、この実施例の
ように、多重回路１３１から多重回路１４３（１），１
４１（２）へのデータ転送をプロセッサ１５２で行うよ
うな構成によれば、Ｈ．２２１に準拠して暗号化等の処
理を行うことができる。

【００６７】また、このような構成によれば、多重回
路１３１と多重回路１４３（１），１４３（２）の動作
を同期させる必要がないので、これらの設計が容易にな
る。 ［そのほかの実施例］以上、この発明の一実施例を詳細
に説明したが、この発明は、上述したような実施例に限
定されるものではない。

【００６８】（１）例えば、先の実施例では、この発明
をＩＴＵ−ＴＨ．２２１に準拠した画像・音声多重化装
置に適用する場合を説明した。しかし、この発明は、少
なくとも、画像データと、音声データと、制御信号を多
重する画像・音声多重化装置一般に適用することができ
る。

【００６９】（２）また、先の実施例では、音声データ
の遅延処理をソフトウェアにより実行する場合を説明し
た。しかし、この発明は、この遅延処理をハードウェア
により実行するようにしてもよい。すなわち、この発明
は、プロセッサを有しない画像・音声多重化装置にも適
用することができる。

【００７０】（３）このほかにも、この発明は、その要
旨を逸脱しない範囲で、種々様々変形実施可能なことは
勿論である。

【００７１】

【発明の効果】以上詳述したようにこの発明によれば、
音声データの記憶に使用される手段と、音声データを保
持する手段と、この手段に保持された音声データを上記
音声データ記憶手段に書き込む手段と、この音声データ
記憶手段に書き込まれた音声データを所定時間経過後に
読み出す手段と、この手段により読み出された音声デー
タを保持する手段とにより、音声データの遅延を実現す
るようにしたので、音声データの遅延処理をメモリに対
する音声データの書込み動作とメモリからの音声データ
の読出し動作によって行うことができる。

【００７２】これにより、音声データの遅延処理をソフ
トウェアにより実現することが可能なので、画像・音声
多重化装置がプロセッサを有する場合は、このプロセッ
サを使って、音声データを遅延することができる。その
結果、画像・音声多重化装置がプロセッサを有する場合
は、画像・音声多重化装置内に音声データ遅延機能を設
けることができる。

【図面の簡単な説明】

【図１】この発明の一実施例の構成を示すブロック図で
ある。

【符号の説明】

１１…音声インタフェース回路 １２…遅延音声バッファ １３…第１の多重回路 １４（１），１４（２）…第２の多重回路 １５…プロセッサ回路 １１１…音声バッファ １１２，１３３，１４４（１），１４４（２）…フラグ
設定回路 １３１，１４３（１），１４３（２）…多重回路 １３２…多重バッファ １４１（１），１４１（２）…送信バッファ １４２（１），１４２（２）…制御信号バッファ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 少なくとも、画像データと、音声データ
   と、制御信号を多重する画像・音声多重化装置におい
   て、 前記音声データの記憶に使用される音声データ記憶手段
   と、 前記音声データを受けると、この音声データを保持する
   第１の音声データ保持手段と、 この音声データ保持手段に保持されている音声データを
   前記音声データ記憶手段に書き込む音声データ書込み手
   段と、 この音声データ書込み手段により前記音声データ記憶手
   段に書き込まれた音声データを所定時間経過後に読み出
   す音声データ読出し手段と、 この音声データ読出し手段により読み出された音声デー
   タを保持する第２の音声データ保持手段と、 画像データと、前記第２の音声データ保持手段に保持さ
   れている音声データと、前記制御信号とを多重する多重
   手段とを備えたことを特徴とする画像・音声多重化装
   置。
2. 【請求項２】 前記多重手段は、 前記画像データと前記音声データとの多重データの記憶
   に使用される多重データ記憶手段と、 前記画像データと、前記第２の音声データ保持手段に保
   持されている音声データとを多重する第１の多重手段
   と、 この第１の多重手段から出力される多重データを保持す
   る第１の多重データ保持手段と、 この第１の多重データ保持手段に保持されている多重デ
   ータを前記多重データ記憶手段に書き込む多重データ書
   込み手段と、 前記多重データ記憶手段に書き込まれた多重データを読
   み出す多重データ読出し手段と、 この多重データ読出し手段により読み出された多重デー
   タを保持する第２の多重データ保持手段と、 この第２の多重データ保持手段により保持されている多
   重データと制御信号とをデータ送信タイミングに同期し
   て多重する第２の多重手段とを備えたことを特徴とする
   請求項１記載の画像・音声多重化装置。
3. 【請求項３】 ＩＴＵ−ＴＨ．２２１に準拠して、画像
   データと、音声データと、ユーザデータと、制御信号と
   を多重する画像・音声多重化装置において、 前記音声データの記憶に使用される音声データ記憶手段
   と、 音声データを受けると、この音声データを保持する第１
   の音声データ保持手段と、 この音声データ保持手段に保持されている音声データを
   前記音声データ記憶手段に書き込む音声データ書込み手
   段と、 前記音声データ記憶手段に書き込まれた音声データを所
   定時間経過後に読み出す音声データ読出し手段と、 この音声データ読出し手段により読み出された音声デー
   タを保持する第２の音声データ保持手段と、 画像データと、前記第２の音声データ保持手段に保持さ
   れている音声データと、前記ユーザデータと、前記制御
   信号とを多重する多重手段とを備えたことを特徴とする
   画像・音声多重化装置。
4. 【請求項４】 前記多重手段は、 前記画像データと、前記音声データと、前記ユーザデー
   タとの多重データの記憶に使用される多重データ記憶手
   段と、 前記画像データと、前記第２の音声データ保持手段に保
   持されている音声データと、前記ユーザデータとを多重
   する第１の多重手段と、 この第１の多重手段から出力される多重データを保持す
   る第１の多重データ保持手段と、 この第１の多重データ保持手段に保持されている多重デ
   ータを前記多重データ記憶手段に書き込む多重データ書
   込み手段と、 前記多重データ記憶手段に書き込まれた多重データを読
   み出す多重データ読出し手段と、 この多重データ読出し手段により読み出された多重デー
   タを保持する第２の多重データ保持手段と、 この第２の多重データ保持手段により保持されている多
   重データと制御信号とをデータ送信タイミングに同期し
   て多重する第２の多重手段とを備えたことを特徴とする
   請求項３記載の画像・音声多重化装置。