JPH04100430A - 音声セル画像セル再生同期装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、テレビ電話等に使用する音声セル画像セル再
生同期装置に関する。

従来の技術 音声情報および画像情報を非同期転送モードの通信網を
利用して伝送する場合、それぞれの情報はセルと呼ばれ
る固定長のパケットによって伝送される。

このとき、非同期転送モードの通信網においては、送信
装置から受信装置にいたる網内の伝送遅延時間が網内の
トラフィックの状態によって変動する。

網内で遅延時間に変動があった場合、送信装置において
一定時間毎にセルを送出しても、受信装置に到着するセ
ルの時間間隔が一定ではなくなるため、受信装置におい
て、一定時間間隔で受信セルの内容を再生しようとして
も、連着セルの内容を再生することができず、情報の欠
落が発生してしまう。

これを防ぐため、一般に非同期転送モードの通信網を用
いる受信装置においては、遅延時間の変動（遅延ゆらぎ
）の吸収が行なわれる。

第８図は、従来の音声・画像通信装置の構成を示すもの
である。第８図において、１０１，１０２は、それぞれ
画像信号、音声信号の入力端子である。

１０３は、入力端子１０１に入力される画像信号を符号
化する画像符号化部、１０４は、入力端子１０２に入力
され音声信号を符号化する音声符号化部、１０５は画像
セル組立部、１０６は音声セル組立部、１０７は、セル
組立の時刻を示すタイムスタンプ発生部である。

１０ｇは、画像セル組立部１０５で組み立てられた画像
セルと、音声セル組立部１０６で組み立てられた音声セ
ルとを多重して送出するセル多重部、１０９は送信セル
出力端子である。かくして音声信号入力端子１０１〜送
信セル出力端子１０９により、通信装置における送信装
置を構成している。

また、１１０は非同期転送モードによる通信網である。

１１１はセル入力端子であり、１１２は、このセル入力
端子１１１で受信したセルを画像セルと音声セルに分離
するセル分離部である。

１１３は、セル分離部１１２で分離し画像セルを蓄積す
る画像セルバッファ、１１４はセル分離部１１２で分離
された音声セルを蓄積する音声セル受信バッファである
。

１１５は、画像セル受信バッファからの画像セルの読出
しを制御する画像セル読出し制御部、１１６は、音声セ
ル受信バッファ１１４からの音声セルの続出しを制御す
る音声セル読出し制＠部である １１７は、画像セル受信バッファから読み出した画像セ
ルを分解して画像情報を取り出す画像セル分解部、１１
７は、音声セル受信バッファ１１４から読み出した音声
セルを分解して音声情報を取り出す音声セル分解部であ
る。

１１９は、画像セル分解部１１７から取り出した画像情
報を復号化する画像復号化部であり、１２０は同様にし
て、音声セル分解部１１８から取り出された音声情報を
復号化する復号化部である。

１２１は、画像復号化部１１９で復号化された画像信号
を取り出す画像信号出力端子、１２２は、音声復号化回
路１２０で復号化された音声信号を取り出す音声信号出
力端子である。

また、１２３は、セルの受信時刻を画像セルとともに画
像セル受信バッファ１１３に書き込むための時計である
。かくして、セル入力端子１１１から音声信号出力端子
１２２までの部分で受信装置を構成している。

次に、上記従来例の動作について説明する。入力端子１
０１．１０２からそれぞれ人力された画像信号と音声信
号とは、それぞれ画像符号化部１０３、音声符号化部１
０４により符号化される。

この画像と音声との符号化情報は、それぞれ画像セル組
立部１０５．音声セル組立部１０６により一定長のセル
として組み立てられるが、この時、セル組立の時刻を示
すタイムスタンプがタイムスタンプ発生部１０７から発
生され、画像符号化情報とともに、画像セル組立部１０
５でセルに載せられる。

そして、画像セル組立部１０５．音声セル組立部１０６
により一定長のセルとして組み立てられ画像セルと音声
セルとは、セル多重部１０８により多重され、送信セル
出力端子１０９を経て通信網１１０に送出される。

一方、受信装置においては、セル入力端子１１１で受信
したセルはセル分離部１１２において、画像セルと音声
セルとに分けられ、それぞれ画像セル受信パブファ１１
３．音声セル受信バッファ１１４に蓄積される。

画像セル受信バッファ１１３および音声セル受信バブフ
７１１４の内容は画像セル続出し制卸部１１５、音声セ
ル読出し制卸部１１６の指示により読み出され、画像セ
ル分解部１１７．音声セル分解部１１８により、セルヘ
ッダやタイムスタンプなどの不要な情報が除去されて符
号化情報のみが面像復号化部１１９．音声復号化部１２
０へ送られる。

画像復号化部１１９．音声復号化部１２０では、それぞ
れ画像および音声の符号化情報を復号化し、画像信号お
よび音声信号をそれぞれ画像信号出力端子１２１、音声
信号出力端子１２２に出力する。

上記に示した受信装置の動作において、画像セル読出し
制御部１１５．音声セル読出し制卸部１１６は画像セル
受信バッファ１１３．音声セル受信バッファ１１４の内
容を読み出す際に、網内で発生するセルの転送遅延時間
の変動を吸収するために、セル受信からある程度の時間
差（ゆらぎ吸収遅延）をもって、画像セル受信バッファ
１１３、音声セル受信バッファ１１４の続出しを開始す
る。

このゆらぎ吸収遅延の量は、予め定められたある一定量
とする方法や、セル組立時刻を示すタイムスタンプとセ
ル受信時刻との差から網内での転送遅延を求め、ゆらぎ
吸収遅延量を適応的に制御する方法などが用いられる。

このように、上記従来の音声・画像通信装置によっても
、音声情報と画像情報をセル多重して非同期転送モード
の通信網によって伝送することができた。

発明が解決しようとする課題 一般に非同期転送モードの通信網による音声と画像の同
時伝送においては、音声用のチャネルとして網内転送遅
延に対する優先度の高いチャネルを使用し、画像用のチ
ャネルとしては、低廃棄率が要求されるために廃棄率に
関する優先度が高く、網内転送遅延に対する優先度の低
いチャネルが使用される場合が多い。

この場合、網内のトラフィックの変動などにより、画像
用のチャネルの網内転送遅延時間は音声用の−１−ヤネ
ルの網内転送遅延時間と比較して大きく変動する。

このため、ゆらぎ吸収遅延の量を音声と画像で独立に制
御する上記従来の音声・画像伝送装置では、同時に符号
化された音声情報と画像情報との間でも画像セル受信ハ
ブファ１１３．音声セル受信バッファ１１４から読み出
される時刻がずれるため、再生された音声情報と画像情
報と同期が困難であるという問題があった。

本発明は、このような従来の問題を解決するものであり
、音声情報と画像情報を同期して再生できる優れた音声
セル画像セル再生同期装置を提供することを目的とする
ものである。

課題を解決するための手段 本発明は上記目的を達成するために、少なくとも画像の
符号化情報にはセル組立時刻情報を付して一定長の画像
セルに組み立てるとともに、音声の符号化情報を一定長
の音声セルに組み立てて、上記画像セルと音声セルとを
多重化して非同期転送モードによる通信網に伝送する送
信装置と、受信装置内に設けられ、上記通信網に多重化
されて伝送された画像セルと音声セルとを分離した後に
、各々個別に蓄積する、画像セル受信バッファおよび音
声セル受信バッファと、 上記音声セル受信バッファから音声セルの読出し制御を
行なう音声セル続出し制御部と、上記画像セル受信バッ
ファから画像セルの読出し制御を行なうとともに、上記
画像セルの上記通信網におけるゆらぎ吸収遅延時間によ
って上記音声セルのゆらぎ吸収遅延の量を吸収するよう
に上記音声セル読出し制卸部を制御する音声読出し遅延
制御手段と、 上記画像セル受信バッファから読み出された画像セルと
上記音声セル受信バッファから読み出された音声セルと
から、それぞれ画像信号および音声信号を個別に得る手
段とを備える構成とした。

作用 したがって、本発明によれば、画像セル用のチャネルに
対する網内の転送遅延が変動して画像情報のセル組立か
らセル分解までの遅延時間が変動しても、音声情報と画
像情報とを同期して再生することができるという効果を
有する。

実施例 第１図は本発明の第一の実施例の構成を示すものである
。第１図において、構成の説明に際し、第８図と同一部
分には同一符号を付してその重複説明を避け、第８図と
は異なる部分を主体に述べる。

この第１図を第８図と比較しても明らかなように、第１
図では、画像セル続出し制御部１１５゜音声セル読出し
制御部１１６２時計１２３の部分の入出力関係が第８図
とは異なるものであり、その詳細は第２図に示している
。

第２図は、第１図に示した画像セル受信バッファ１１３
と画像セル続出し制御部１１５の構成を示す図である。

第２図において、２０１は、セル分離部１１２からの画
像セルを人力する画像セル入力端子、１１３は画像セル
受信バッファ、２０２は、音声セル読出し遅延制卸手段
としての画像セル続出し制御部１１５に設けられ、画像
セル受信バッファ１１３から読み出した画像セルの品質
を測定する品質測定部である。

また、２０３は、画像セル読出し制卸部１１５内に設け
られ、画像セル受信バッファ１１３からの読出し遅延時
間Ｔｄを変更する読出し遅延時間書換え部、１２３は、
現在時刻を知るための時計部である さらに、２０４は、画像セル読出し制御部１１５内に設
けられ、セル到着から読み出し遅延時間だけ遅れて、画
像セル受信バッファ１１３に読み出し指示を出す遅延読
出し部、２０５は品質測定部２．０２から画像セル分解
部１１７へのセルの出力端子である。

また、第３図＜ａ＞乃至第３図（ｃ）は、音声セル受信
バッファ１１４の読出しタイミングの説明図である。第
３図（ａ）において、３０１１〜３０１Ｎは、送信装置
における音声セルの送出タイミングを示し、第３図（ｂ
）の３０２１〜３０２Ｎは、受信装置における音声セル
の受信タイミングを示す。

一方、第３図（ｃ）の３０３１〜３０３Ｎは、音声セル
受信パブファ１１４からの音声セルの読み出しタイミン
グを示す。

次に、上記実施例の動作について説明する。送信装置に
おいては、入力端子１０１に人力された画像信号および
入力端子１０２に入力された音声信号はそれぞれ画像符
号化部１０３．音声符号化部１０４により符号化され、
それぞれ画像セル組立部１０５．音声セル組立部１０６
により画像セルと音声セルが組み立てられる。

この際、音声セルの転送チャネルとしては、網内転送遅
延に対する優先度が高いチャネルが眉いられ、画像セル
の転送チャネルとしては、セル廃棄に対する優先度が高
く、網内転送遅延に対する優先度が低いチャネルが用い
られる。

また、画像セルの組立の際には、タイムスタンプ発生部
１０７から発生されたセル組立の時刻を示すタイムスタ
ンプと、セル組立の順序を示すシーケンス番号とが画像
符号化情報とともにセルに載せられる。そして、画像セ
ルと１声セルはセル多重部１０８により多重され、出力
端子１０９から非同期転送モートの通信［１１０に送出
される。

一方、受信装置においては、通信網１１０．セル入力端
子１１１を経てセル分Ｒ部１１２に人力された多重の音
声セルと画像セルは、このセル分離部１１２で音声セル
と画像セルに分離される。

この分離された画像セルと音声セルとは、それぞれ画像
セル受信バッファ１１３．音声セル受信バッファ１１４
に蓄えられる。

ここで、画像セル受信バッファ１１３からの画像セルの
読み出しは、画像セル読出し制御部１１５により、読出
し遅延時間Ｔｄだけの遅延をもって行なわれるが、その
動作の一例を第２図により説明する。

第２図において、遅延読み出し部２０４は、画像セル受
信バブファ１１３内の画像セルに付加されたタイムスタ
ンプと時計部１２３の示す現在時刻とをもとに、画像セ
ルの組立後読出し遅延時間Ｔｄ後に画像セルの読み出し
を行なう。

品質測定部２０２では、画像セル受信バッファ１１３か
ら読み出した画像セルの品質測定を行なう。品質測定の
方法としては、例えば、セル組立て時に付加したシーケ
ンス番号を用いて、１映像フレーム毎のセル廃棄率を計
測する方法があげられる。

Ｔｄの遅延時間書換え部２０３では、品質測定の結果に
より、読出し遅延時間Ｔｄを１映像フレーム毎に変更す
る。例えば、網内のセル転送遅延時間がゆらぎ吸収遅延
時間より大きくなった場合には、遅延ゆらぎを吸収でき
ないため、画像セル受信バッファ１１３のアンダフロー
が起こり、セル廃棄が発生する。

そこで、読出し遅延時間Ｔｄの遅延時間書換え部２０３
では、上記読出し遅延時間Ｔｄを増加させ、これによっ
て、次の映像フレームのセルについては、遅延ゆらぎが
吸収され品質劣化が生じないようにする。

二のようにして、網内の転送遅延時間ゆらぎ吸収のため
の読出し遅延時間Ｔｄは適応的に制卸される。

次に、音声セル受信バッファ１１４からの音集セルの読
み出しについて説明する。第３図において、Ｔ１は音声
セルの送出間隔であり、Ｔ（ｎ）はｎ番目のセルの網内
における転送遅延時間である。

音声セル読出し制御部１１６は、各有音区間の第１番目
の音声セルを受信してから上記画像セルの続出し遅延時
間Ｔｄの遅延の後、音声セル受信バッファ１１４より等
間隔（送信装置のセル送出間隔Ｔｌ）で音声セルの読み
出しを行なう。

この場合、音声セルの網内転送遅延時間が画像セルの転
送遅延時間よりも大きくなることはないので、上記のよ
うに、有音区間第１番目の音声セルの読出し遅延時間を
前記の画像セルの続出し遅延時間Ｔｄと等しくすること
により、網内のセル転送遅延Ｔ（ｎ）がゆらいでも、受
信バッファのアンダフローを防ぐことが出来る。

このようにして、画像セル受信ハブフ７１１３から読み
出された画像セルと、音声セル受信バッファ１１４から
読み出された音声セルとは、それぞれ画像セル分解部１
１７．音声セル分解部１１８に人力される。

画像セル分解部１１７．音声セル分解部１１８は、それ
ぞれセルヘッダやタイムスタンプ等の不要な情報を除去
し、画像セル、音声セルを分解して、それぞれ面像情報
の復号化情報のみと音声情報の復号化情報のみとを取り
出す。

この取り出された画像情報の復号化情報および音声情報
の復号化情報は、それぞれ画像復号化部１１９、音声復
号化部１２０に送られ、この画像復号化部１１９．音声
復号化部１２０における復号化により画像信号、音声信
号とされ、この画像信号、音声信号は、それぞれ画像信
号出力端子１２１、音声信号出力端子１２２から取り出
される。

このように、上記実施例によれば、画像フレーム毎に適
応的に制御された画像セル受信バッファ１１３の読出し
遅延時間Ｔｄを音声セルの読出し遅延時間に適用するこ
とにより、音声復号化部１２０および画像復号化部１１
９において音声と画像の符号化情報を同期して再生する
ことができる。

第４図は、本発明の第二の実施例の構成を示すものであ
る。第４図において、第１図と同一符号を付したものは
同一の構成要素を表わしており、その同一部分の再度の
重複説明を避ける。第４図では、画像セル組立部１０５
と同様に、音声セル組立部１０６にもタイムスタンプ発
生部１０７からセル組立て時刻を示すタイムスタンプが
音声セルに載せられるようにしている。

また、時計１２３から画像セル読出し制御部１１５、音
声セル読出し制御部１１６に現在の時刻を知らせるよう
にしている。

次に、第４図の実施例の動作を説明する。第４図の実施
例においては、送信装置において、音声セルの組立ての
際にも、セル組立て時刻を示すタイムスタンプがタイム
スタンプ発生部１０７から音声セル組立部１．０６に送
られ、タイムスタンプが音声セルに載せられる。

また、受信ＩＩｃＲにおける画像セル受信バッファ１１
３からの読出しは第一の実施例と同様にして行なわれる
が、音声セル受信バプフｙｌ　１４からの音声セルの読
出しは第１図とは若干具なる。

第５図は、音声セル受信バッファ１１４の読み出しタイ
ミングの説明図である。第５図において、第５［１（ａ
　）の３０１１〜３０１Ｎは、送信装置における音声セ
ルの送信タイミング、第５図（ｂ）の３０２１〜３０２
Ｎは、受信装置における音声セルの受信タイミングを示
す。

また、第５図（ｃ）の３０３１〜３０３Ｎは、受信装置
における音声セル受信バッフ、１１４からの音声セルの
読出しタイミングを示し、Ｔ（ｎ）はｎ番目の音声セル
の網内における転送遅延時間である。

音声セル読出し制御部１１６では、各音声セルの受信時
刻とタイムスタンプで示されるセル送出時刻との差Ｔ（
ｎ）を遅延時間Ｔｄから差し引いた時間Ｔ２だけ遅延さ
せて、この音声セルを音声セル受信バッファ１１４から
読み出す。

ここで、上記遅延時間Ｔｄは、画像セル受信バッファ１
１３の読出し制御ａ部１１５によって制御される画像セ
ルの読出し遅延時間である。以下に続くセルも同様の処
理を行なう。

このように、上記第二の実施例によっても、音声と画像
との符号化情報を同期して再生することができる。

第６図は、本発明の第三の実施例の構成を示すものであ
る。第６図において、６０１は、音声セル読出し遅延制
御手段としての音声セル読出し遅延時間制御部である。

その他の部分は第１図と同様であり、第６図において、
第１図と同一符号を付したものは同一の構成要素を表わ
す。

第６図の実施例において、送信装置の動作、および受信
装置のうちの画像セルの画像セル受信バッファ１１３か
らの読出し動作は、第１図の実施例と同様に行なわれる
。

また、音声セルの音声セル受信バッファ１１４からの読
出しも第１図の実施例と同様にして行なわれるが、第６
図の実施例においては、有音区間の第１番目の音声セル
を読み出すまでの遅延時間をＴｄｌとし、この遅延時間
Ｔｄｌは音声セル続出し遅延時間制＠１６０１が画像セ
ルの読出し遅延時間Ｔｄをもとに制御するものとする。

第７図は音声セル読出し遅延時間制御部６０１の特性を
示す図である。第７園に示すように、Ｔｄ≦Ｔｔｈにお
いてはＴｄｌ＝Ｔｄであり、Ｔｄ＞ＴｔｈにおいてはＴ
ｄｌ＝Ｔｔｈである。

第６図の実施例によれば、画像セルの網内転送遅延か小
さい場合には画像セルと音声セルを同期して再生するこ
とができ、網内のトラフィックが増加するなどの理由に
より画像セルの遅延が大きくなった場合には、会話の際
の不自然さを防ぐために、音声の再生遅延を一定時間以
内に抑えることができる。

なお、第６図の実施例においては、第１図に示した第一
の実施例の音声セルの読出し遅延時間Ｔｄを音声セル読
出し遅延時間制御部６０１により制御するようにしたが
、第４図に示した第二〇実施例における音声セルの読み
出し遅延時間を同様に制御することによっても第三の実
施例と同様の効果を得ることかできる。

発明の効果 本発明は上記実施例より明らかなように、少なくとも画
像の符号化情報にはセル組立時刻情報を付して一定長の
画像セルに組み立てるとともに、音声の符号化情報を一
定長の音声セルに組み立てて、上記画像セルと音声セル
とを多重化して非同期転送モートによる通信網に伝送す
る送信装置と、 受信装置内に設けられ、上記通信網に多重化されて伝送
された画像セルと音声セルとを分離した後に、各々２個
別に蓄積する、画像セル受信バッファおよび音声セル受
信バッファと、 上記音声セル受信バッファがら音声セルの続出し制御を
行なう音声セル読出し制御部と、上記１ｌｉ７像セル受
信バツフアがら画像セルの読出し制御を行なうとともに
、上記画像セルの上記通信網におけるゆらぎ吸収遅延時
間によって上記音声セルのゆらぎ吸収遅延の量を吸収す
るように上記音声セル読出し制鋪部を制（社）する音声
続出し遅延制御手段と、 上記画像セル受信バッファから読み出された画像セルと
上記音声セル受信バッファから読み出された音声セルと
から、それぞれ画像信号および音声信号を個別に得る手
段とを備える構成とした。

このため、画像セル用のチャネルに対する網内の転送遅
延が変動して画像情報のセル組立からセル分解までの遅
延時間が変動しても、音声情報と画像情報とを同期して
再生することができる。

【図面の簡単な説明】

第１図は、本発明の第１の実施例における音声セル・画
像セル再生同期装置の構成を示すブ０ツク図、第２図は
、同装置の画像用セル読出し制御部の内部構成を示すブ
ロック図、第３図は、同装置における音声セル受信バッ
ファの読み出しタイミングの説明図、第４図は、本発明
の第二の実施例における音声セル・画像セル再生＠期装
置の構成を示すブロック図、第５図は、同装置における
音声セル受信バッファの読出しタイミングの説明図、第
６図は、本発明の第三の実施例における音声セル・画像
セル再生同期装置の構成を示すプロ、り図、第７図は、
同装置の音声セル読出し遅延時間制御部の特性を示す特
性図、第８図は、従来の音声・画像通信装置の構成を示
すブロック図である。 １０３・・・画像符号化部、１０４・・・音声符号化部
、１０５・・・画像セル組立部、１０６・・・音声セル
組立部、１０７・・・タイムスタンプ発生部、１０８・
・・セル多重部、１１０・・・通信網、１１２・・・セ
ル分離部、１１３・・・画像セル受信バッファ、１１４
・・音声セル受信バッファ、１１５・・・画像セル続出
し制御部、１１６・・・音声セル読出し制御部、１１７
・・・画像セル分解部、１１８・・・音声セル分解部、
１１９・・・画像復号化部、１２０・・・音声復号化部
、１２３・・・時計、６０１・・・音声セル読出し遅延
時間制創部。 代理人の氏名　弁理士　粟　野　重　孝はか１名！＠２
図

Claims (1)

1. 【特許請求の範囲】 少なくとも画像の符号化情報にはセル組立時刻情報を付
   して一定長の画像セルに組み立てるとともに、音声の符
   号化情報を一定長の音声セルに組み立てて、上記画像セ
   ルと音声セルとを多重化して非同期転送モードによる通
   信網に伝送する送信装置と、 受信装置内に設けられ、上記通信網に多重化されて伝送
   された画像セルと音声セルとを分離した後に、各々個別
   に蓄積する、画像セル受信バッファおよび音声セル受信
   バッファと、 上記音声セル受信バッファから音声セルの読出し制御を
   行なう音声セル読出し制御部と、 上記画像セル受信バッファから画像セルの読出し制御を
   行なうとともに、上記画像セルの上記通信網におけるゆ
   らぎ吸収遅延時間によって上記音声セルのゆらぎ吸収遅
   延の量を吸収するように上記音声セル読出し制御部を制
   御する音声読出し遅延制御手段と、 上記画像セル受信バッファから読み出された画像セルと
   上記音声セル受信バッファから読み出された音声セルと
   から、それぞれ画像信号および音声信号を個別に得る手
   段とを備えた音声セル画像セル再生同期装置。