JPH07170502A - 受信装置 - Google Patents
受信装置Info
- Publication number
- JPH07170502A JPH07170502A JP5315579A JP31557993A JPH07170502A JP H07170502 A JPH07170502 A JP H07170502A JP 5315579 A JP5315579 A JP 5315579A JP 31557993 A JP31557993 A JP 31557993A JP H07170502 A JPH07170502 A JP H07170502A
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- signal
- difference
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Communication Control (AREA)
Abstract
像データを分離する分離回路12と、音声,映像データ
をA/D変換して伸張するA/D変換圧縮回路3,4
と、音声データバッファメモリ13及び映像データバッ
ファメモリ14と、音声,映像データのバッファメモリ
13,14の内容量の測定値とバッファの内容量の適正
範囲の上限値とを比較して、測定値が上限値を越えると
判断したときには、バッファメモリ13,14のデータ
を強制廃棄するバッファメモリ内容量測定回路15,2
0及びバッファ内容廃棄操作回路16,21とを有す
る。 【効果】 入力から出力までの時間遅れが少なく、出力
でのメディア間の時間のずれも小さくすることができ
る。
Description
ネットワークのような通信の技術分野で用いられる受信
装置に関し、特に、オーディオやビデオデータのような
マルチメディアデータに対応できる受信装置に関するも
のである。
ステーションなどの性能は格段に向上し、また、身近に
普及しつつある。また、最近は、それらをテレビジョン
や電話と同じように日常的なコミュニケーションに利用
したいという要求や、これら情報処理システムをより広
範囲の用途に活用したいという要求が出てきている。し
たがって、上記パーソナルコンピュータやワークステー
ションなどにおいては、これらの要求を実現するため
に、音声や動画などのマルチメディアデータを分散環境
上でインタラクティブに扱えるようにする事が必要とな
っている。
いられる情報処理通信システムとしては、図12に示す
構成のものが知られている。
01からは例えば音声データ、動画データ等が供給され
る。この入力装置100,101としては、例えばマイ
クロホンからのアナログの音声信号やビデオカメラから
のアナログの映像信号をディジタル信号に変換するA/
Dコンバータを挙げることができる。この入力装置10
0,101からのデータは、それぞれ入力データ処理装
置102,103に送られ、それぞれ所定のデータ処理
が施される。この入力データ処理装置102,103で
のデータ処理としては、例えばデータ圧縮処理を挙げる
ことができる。上記入力データ処理装置102,103
からの圧縮データは、マルチプレクサ104によってマ
ルチプレクス処理され、送信バッファメモリ105に蓄
えられた後に読み出されて、ネットワーク送信部106
から例えばイーサーネットなどのネットワークを介して
受信側のネットワーク受信部111に送られる。
たデータは、受信バッファメモリ112に一旦蓄えられ
た後に読み出され、さらに分離装置113によって上記
送信側のマルチプレクス処理に対応する分離処理がなさ
れて、出力データ処理装置114,115に送られる。
当該出力データ処理装置114,115は上記入力デー
タ処理装置102,103に対応するデータ伸張処理を
施し、その後再生装置116,117に送る。なお、当
該再生装置116,117としては、D/Aコンバータ
を例に挙げることができる。
来の情報処理通信システムにおいては、以下のような問
題点がある。
おいては、例えば受信側の上記出力データ処理装置11
4,115などの負荷の変動によって処理が遅れ、受信
バッファメモリ112において内容が増えすぎるように
なる場合がある。このように、受信バッファメモリ11
2の内容が増えすぎるようになると、当該受信バッファ
メモリ112におけるデータの入力から出力までの時間
遅れが大きくなる。
リは単数となっているが、受信バッファメモリが複数あ
る様な場合において、例えばこの複数の受信バッファメ
モリの間で内容量の差が大きくなりすぎるようになる
と、これら複数の受信バッファメモリは本来同期してい
なければならないものであるにもかかわらず、出力の際
のバッファメモリ間の時間のずれ(すなわちメディア間
の時間のずれ)が大きくなる。
する。例えば、動画や音声などのマルチメディアデータ
は、コンピュータがこれまで処理してきた数値データや
テキストデータとは本質的に異なる性質を持っている。
すなわち、マルチメディアデータは、第一に、マルチメ
ディアデータは単なるバイト列ではなく、明示的あるい
は暗示的に時間の属性を持っていること、第二に、本質
的にデータ量が莫大かつ冗長で、ハードウェアの処理能
力が向上したとしても、効率良く扱うためにはデータ圧
縮をする必要があること、第三に、インタラクティブな
処理を必要とされ、スループットだけでなくレスポンス
や遅れなどの性能が重視されること、などの性質を持っ
ている。
は、メディア間同期、通信、処理、リーソス管理などに
新たな手法を導入する必要がある。
みてなされたものであり、入力から出力までの時間遅れ
が少なく、出力でのメディア間の時間のずれも小さい受
信装置を提供することを目的とするものである。
した目的を達成するために提案されたものであり、受信
した時間と再生する時間との差を所定時間以内となして
音声及び/又は動画の信号を再生する実時間の受信装置
であって、信号を取り込む取り込み手段と、音声及び/
又は動画の信号を再生する再生手段と、音声及び/又は
動画の信号の再生時間と受信した時間との差が、許容限
度内としての第1の時間内であることを検出する第1の
検出手段と、音声及び/又は動画の信号の再生時間と受
信した時間との差が、好ましい適正値としての第2の時
間内であることを検出する第2の検出手段と、信号をバ
ッファリングするバッファ手段と、上記再生時間と受信
した時間との差が上記第1の時間内を越えたことを検出
したときに、上記再生時間と受信した時間との差を上記
第2の時間内と成す制御を行う制御手段とを有すること
を特徴とするものである。
声及び/又は動画を除く信号であることを検出する第3
の検出手段をも備え、音声及び/又は動画を除く信号を
も受信すると共に、上記第3の検出手段によって受信信
号が音声及び/又は動画を除く信号であることを検出し
たときには、そのまま処理する。
ら所定の部分を検出する第4の検出手段を設け、上記第
4の検出手段によって上記所定の部分を検出したときに
は、当該所定の部分をそのまま処理し、他の部分につい
ては廃棄する。
した時間との差が第1の時間内を越えたことを検出した
ときに、再生時間と受信される時間との差を第2の時間
内と成す制御を行う。すなわち、再生時間と受信した時
間との差が第1の時間内を越えると、バッファ手段での
入力から出力までの時間遅れが大きくなるので、再生時
間と受信した時間との差が第1の時間内を越えるように
なったときには、その差を好ましい適正値の第2の時間
内にすることで、バッファ手段の入力から出力までの時
間遅れを適正値に回復させるようにしている。
第3の検出手段を設け、この第3の検出手段によって受
信信号が音声及び/又は動画を除く信号であることを検
出したときには、そのまま処理することで、受信信号が
例えばテキストデータやプログラムデータや数値デー
タ,他のバイナリデータなどである場合に、これらデー
タの内容が変化することを防いでいる。
に第4の検出手段を設け、この第4の検出手段によって
受信信号の所定の部分を検出したときには、その所定の
部分を除く他の部分を廃棄することで、バッファ手段の
入力から出力までの時間遅れを適正値に回復させるよう
にし、その所定の部分についてはそのまま処理すること
で、この所定の部分の信号については破棄しないように
する。
て詳述する。
を示す。本実施例の受信装置は、図1に示すように、音
声及び動画の信号を、再生される時間と受信される時間
との差が所定時間以内となるように再生する実時間の受
信装置であり、信号を取り込む取り込み手段としてのネ
ットワーク受信部11及び分離回路12と、分離された
音声及び動画データをバッファリングするバッファ手段
としての音声データバッファメモリ13及び映像データ
バッファメモリ14と、音声及び動画データを再生する
再生手段としての音声データ伸張A/D変換回路18及
び映像データ伸張A/D変換回路19とを有してなる。
声及び動画について再生される信号の再生時間と受信さ
れる時間との差(後述する測定値SとV)が許容限度内
(後述する上限値SmaxとVmax内)の第1の時間
内であることを検出する第1の検出手段、及び音声と動
画について再生される信号の再生時間と受信される時間
との差が好ましい適正値(後述する適正値SstaとV
sta)の第2の時間内であることを検出する第2の検
出手段としてのバッファメモリ内容量測定回路15,2
0と、上記再生される信号の再生時間と受信される時間
との差(測定値S,V)が上記第1の時間内(上限値S
max,Vmax内)を越えたことを検出すると、上記
再生される時間の再生時間と受信される時間との差を上
記第1の時間内(適正値Ssta,Vsta内)と成す
制御を行うバッファ内容廃棄操作回路16,21とをも
有している。
び動画の信号を除く信号をも受信可能であり、したがっ
て、受信信号が音声及び動画の信号を除く信号であるこ
とを検出する第3の検出手段としての検出回路25をさ
らに設けている。本実施例の受信装置は、受信信号が音
声及び動画の信号を除く信号であることを検出したとき
には、当該検出回路25からの検出出力に応じて分離回
路12で音声及び動画の信号を除く部分のみを分離さ
せ、当該分離した部分についてはデータ処理回路26に
よってそのまま処理するようにしている。なお、上記音
声及び動画を除く信号としては、例えばテキストデータ
やプログラムデータや数値データ,他のバイナリデータ
等を挙げることができる。
出回路25は、受信信号から所定の部分として例えば映
像や音声の重要な部分を検出する第4の検出手段として
も動作する。本実施例の受信装置は、当該第4の検出手
段としての検出回路25からの検出出力に基づいて、上
記バッファ内容廃棄操作回路16,21を制御すること
で、上記所定の部分のみはそのまま処理し、他の部分を
廃棄するようにもしている。
本発明実施例の受信装置の具体的に説明に先立ち、本発
明の受信装置が適用される情報処理通信システムのマル
チメディアデータ対応の情報処理装置の基本機能と、該
情報処理装置のモデルといわゆるアプリケーション・プ
ログラミング・インタフェース(API:applicationpr
ogramming interface) と、情報処理通信システムにお
ける当該マルチメディア対応の情報処理装置の位置付
け、当該情報処理の評価について、以下に項目に分けて
説明する。
メディア対応の情報処理装置の機能この情報処理装置が
実現する目標は、(1) いろいろな制約はあるが、標準の
パーソナルコンピュータやワークステーションにおいて
構築し、既存のシステムとの親和性を保つこと、(2) 音
声や動画の通信や特有の処理は、当該情報処理装置にま
かせ、クライアントプログラムはそのコントロールだけ
を行うこと、(3) メディアデータの属性と、クライアン
トプログラムの目的に応じて柔軟に対処できること、
(4) プロセッサやネットワークなどのリソースの負荷の
変動に対して、対応できること、(5) モデルが単純なこ
と、などである。
述べるような機能を持つことが必要となる。
音声と動画がある。これらには、単位時間あたりのデー
タ量や生成時刻などの時間的な属性をつけ、これを情報
処理装置での処理に利用する。例えば、データ幅8ビッ
ト、サンプリング周波数8kHzの音声データの場合に
は、単位時間は1/8000(sec)、単位時間あた
りのデータ量は1バイトという属性がつけられる。
時間的な同期を取りながら、出力デバイスに出力する。
ンタフェースやビデオ入力インタフェースなどのハード
ウェアデバイス、(2) サウンドファイルや動画ファイル
やムービーファイルのようなマルチメディアデータファ
イル、(3) マルチキャストアドレス、(4) クライアント
プロセスなどをサポートする。
ンタフェースやウィンドウなどのデバイス、(2) マルチ
メディアファイル、(3) マルチキャストアドレス、(4)
クライアントプロセス、などをサポートする。
け存在し、それが直接に取り扱うデバイスは、そのホス
ト上にあることが必要である。入力デバイスと出力デバ
イスが別々のホストにあることを必要とする場合には、
クライアントがそれぞれのホスト上のそれぞれの情報処
理装置にアクセスして情報処理装置同志を接続させる。
質の評価規準として以下のものが考えられる。例えば、
(1) 転送の遅れの許容限度、(2) メディア間同期の許容
限度、(3) スループット、(4) データの欠損が許される
場合と許されない場合である。
ために、データ量、圧縮方式、プロトコルやパケットサ
イズなどの転送の際の種々のパラメータをコントロール
する。情報処理装置は、品質の評価基準に従って、メデ
ィア間同期を行う。
ットワークプロトコールは、品質の評価基準を考慮しな
がらフローなどを動的にコントロールできる必要があ
る。現状のネットワーク環境のIEEE 802.3規
格に準拠したいわゆるイーサ・ネット(Ethernet)や、国
際標準化機構(ISO)のSC13において提案されて
いる光ファイバを用いた100Mビット/秒トークンパ
ッシング方式のファイバ・ディストリィビューテッド・
データ・インタフェース(FDDI:fiber-distributed
data interface)などネットワークデバイスは、分散環
境上で個々に資源を取り合って共有しているため、あら
かじめネットワーク資源を確保するようなサービスが難
しい。しかし、現状のネットワーク環境との親和性を考
えるとインターネット・プロトコール(IP:internet
protocol) を利用する必要があり、今回はネットワーク
プロトコールとしていわゆるトランスミッション・コン
トロール・プロトコール(TCP:transmission contro
l protocol) と、コネクションレス形式のプロトコール
であるいわゆるユーザ・データグラム・プロトコール
(UDP:user datdgram protocol)を利用した。
る、音声データや動画データの圧縮伸張機能を持つ。音
声の圧縮方式としては、国際電信電話通信諮問委員会
(CCITT)の音声符号化標準の勧告G.711,
G.721,G.722,G.728などの規格をサポ
ートする。また、画像の圧縮方式としては、国際電信電
話通信諮問委員会(CCITT)のカラー静止画像符号
化方式の国際標準化作業グループのいわゆるJPEG(J
oint Picture Expert Group)や、テレビ会議システム用
映像符号化勧告H.261、カラー動画像符号化方式の
国際標準化作業グループのMPEG(Moving Picture E
xpert Group)などの方式がある。圧縮方式ごとに特徴が
あるので、用途によって使い分ける必要がある。
入出力要求を処理する機能をもつ。例えば、音声入力デ
バイスは一つしかないのに複数のクライアントから音声
入力要求があった場合には、以下のような処理方法が考
えられる。 (1) すべての要求元にコピーして配る。 (2) 先着の要求を優先し、後着の要求を拒絶する。 (3) クライアントを順次切り替える。この機能は、ウィ
ンドウシステムでのウィンドウマネージャに相当するマ
ルチメディアマネージャなどのプログラムが利用する。
は、ビデオカメラやビデオデッキのようないわゆるオー
ディオ・ビジュアル機器(AV機器)を接続することが
必要になる。情報処理装置は、これらのコントロールの
ために、AV機器制御用の所定のプロトコールをサポー
トする。
ぞれに対し1つの実行制御単位(AVobj)を生成する。ク
ライアントがマルチメディアデータの入出力を行いたい
場合には、次のような手順で情報処理装置に要求をだ
す。まず、実行制御単位(AVobj)において仮想的なメデ
ィアデバイス(AVdev) をオープンする。当該仮想的なメ
ディアデバイス(AVdev) は物理的なデバイスではないた
め、排他制御や複数からのオープンなどが実現出来る。
想的なメディアデバイス(AVdev) をオープンした実行制
御単位(AVobj) と出力用にメディアデバイス(AVdev) を
オープンした実行制御単位(AVobj) とを接続することに
よりマルチメディアデータの転送路が確保される。同一
の実行制御単位(AVobj) でオープンされているデバイス
間のメディアの同期は保証される。
がれた異なるホスト上の情報処理装置において実行制御
単位(AVobj) を生成し、接続することにより分散環境上
のワークステーションにおいてマルチメディアデータの
転送が行われる。
ープンするデバイス(AVdev) としてサウンドデバイスを
用いると電話が実現できる。さらに、ビデオデバイスを
オープンするとテレビ電話が実現できる。また、入力デ
バイスとして映画(Movie) ファイルを指定し、出力デバ
イスにサウンドデバイスとビデオデバイスをオープンす
ると映画(Movie) プレーヤとなる。このように入出力の
デバイスを組み替えることにより各種マルチメディアア
プリケーションを容易に作成することが可能となる。
されている。
ホスト名(hostname)上で起動されている情報処理装置に
おいて実行制御単位(AVobj) を生成する。エラーが発生
した場合にはヌル(null)が返される。正常終了した場合
には実行制御単位(AVobj) のID(識別情報)が返され
る。実行制御単位(AVobj) に対する命令はすべてこの実
行制御単位(AVobj) のIDを用いて行なわれる。
int mode);これは、デバイス(AVdev) をオープンす
る。引数は実行制御単位(AVobj) のID、デバイス名、
モードである。
これは、2つの実行制御単位(AVobj) をポイント・ツウ
・ポイント(point-to-point)接続する。これによって接
続した実行制御単位(AVobj) の一方が以下に述べる関数
(avs _transfer) によって転送状態になると、もう一
方の実行制御単位(AVobj) がそのデータを受けとれるよ
うになり自動的に受けとったデータを処理する。ひとつ
の送信実行制御単位(AVobj) に対して複数の受信実行制
御単位(AVobj) を接続することが可能なため、1対多の
データ転送を処理できる。
nt length);これは、実行制御単位(AVobj) の送信を制
御する。デバイスIDとして0を指定すると、実行制御
単位(AVobj) がオープンしたすべてのデバイスに対して
有効となる。長さ(length)に正の数を指定するとその長
さだけデータ転送が行なわれる(単位はmsec)。こ
こでゼロを指定すると、次の関数(av _transfer) が与
えられるまで転送します。負の数を指定すると即座に停
止する。
数(av _new)によって生成した実行制御単位(AVobj) を
解放する。
nt interval);これは、転送インターバルの設定を行な
う。単位はmsecである。デバイスIDとしてゼロを
設定すると、その実行制御単位(AVobj) でオープンされ
たすべてのデバイスに対して適応される。
width, int height);これは、ビデオデバイスに対して
サイズ変更を要求する。サイズの単位はピクセルであ
る。デバイスIDとしてゼロを設定すると、その実行制
御単位(AVobj)でオープンされたすべてのビデオデバイ
スに対して適応される。
e);これは、実行制御単位(AVobj) 同志を接続するネッ
トワークのタイプを設定する。現在のところ前記TCP
とUDPがサポートされている。これは関数(avs_conn
ect)を実行する以前に行なわなければならない。
ントと実行制御単位(AVobj) とのコントロール接続コネ
クションのファイル記述子を返す。
nt quality);これは、メディアデータの圧縮方式を指定
する。ここでは、画像データに対して前記JPEGの圧
縮伸張のみがサポートされている。
ィアデータにアクセスするためのライブラリとして次の
ものがある。例えば、 int avs _read(int net, int dev, int shmid, int si
ze); int avs _write(int net, int dev, int shmid, int s
ize); int avs _ioctl(int net, int dev, int request, int
shmi); である。
5のようになる。 3.1 スレッド(Thread)の利用 スレッドを用いると、複数プロセスを用いて実現するよ
りもコンテキスト・スイッチの時間が短く、各スレッド
間でメモリなどの環境を共有でき、プログラミングが容
易になる。情報処理装置を実現するにあたってスレッド
のモデルへの割り当て方法として次の2通りが考えられ
る。
データストリーム毎にスレッドを割り当てる、がある。
前者では画面入出力・音声入出力・ネットワークなどの
機能毎にスレッドを割り当て、パイプラインを形成する
方法であり、後者はメディアデータ毎の入力から出力ま
でを行う処理にスレッドに割り当てる方法である。
プロセッサ環境下でないと利点はなく、複数のストリー
ムにおいてストリーム単位のスケジュール・プライオリ
ティ制御を行うには、後者が適しているため、今回の実
装ではデータストリーム毎にスレッドを割り当てる方法
も用いた。
と遅延 前記TCP/IPでは高信頼性を実現するため、パケッ
トの順序付け、チェックサム、タイムアウトそして再転
送を行い、オーバヘッドが大きくデータの転送遅延が問
題となる。
めにバッファが用意されている。例えばワークステーシ
ョンでは、デフォルトで8K(バイト)となっている。
このバッファにデータがたまることによって遅延が生じ
る。例えば、解像度が160×120、深さ16ビット
の画面ならば、一画面でおよそ38Kバイトとなり、送
信側と受信側両方のバッファを合わせても1フレームも
バッファリングされない。この場合にはバッファサイズ
を大きくすると転送効率は向上する。ところが、画像圧
縮をかけて1/10程の4Kバイト程度の大きさにする
と両方のバッファ合わせておよそ4フレームが溜まるこ
ととなる。1秒間に5フレームのスピードで転送を行う
ならばこれだけで約1秒間の遅延となる。
と、転送効率が悪くなるため、ここにトレードオフがあ
る。この送信、受信バッファのサイズは関数(setsockop
t)で変更可能である。
評価は以下のようになる。
をした例として、同一ネットワークに接続された2台の
ワークステーションの間で動画像データの転送を行なっ
た。ここで、ワークステーションをイーサネットで接続
し、解像度は160×120、16ビットの深さの無圧
縮とJPEG圧縮画像で転送して測定し、1フレームの
サイズは無圧縮でおよそ38Kバイト、JPEG圧縮で
およそ5Kバイトとしている。
時計を合わせ、画像取り込みから転送を行いリモート側
で表示を行うまでの時間を測定した。さらに、転送効率
としては最大転送フレームレートを測定している。図6
には無圧縮、図7にはJPEG圧縮の画像の送受信バッ
ファサイズと転送遅延、効率の関係を示す。
大きさが大きい場合には、送受信バッファに1フレーム
が入り切らないためバッファのサイズに対する転送遅延
の差はほとんど変わらない。バッファサイズが8Kバイ
トの時には、転送遅延、効率ともに良い結果が現れる。
この図6によれば、デフォルトの送受信バッファサイズ
が8KバイトということからもTCP/IPでの転送が
その場合に一番効率が良くなるようになっていることが
わかる。
なった画像を転送する場合には、ソフトウェアでJPE
Gの圧縮伸張を行うため最大フレームレートは少ない。
また、送受信バッファに数フレームが溜まってしまうた
め、バッファのサイズが大きいほど遅延は増大する。そ
こでJPEGなどの圧縮を行い画像データがネットワー
クのバンド幅より充分小さい場合には、送受信のバッフ
ァサイズを転送効率が下がらない程度に小さくすること
により、メディアデータの転送遅延を短縮できる。
遅延を測定している。まず、ネットワークとしてイーサ
ネットを用いた場合は、次の表の結果が得られた。表1
には16ビットの深さの無圧縮画像、表2にはJPEG
圧縮した画像の転送最大フレームレートと遅延の性能を
示す。
ィジタル網(ISDN:integratedservice digitial ne
twork) の1B(64K)を用いた場合の性能は表3の
ようになる。なお、ISDMを用いた場合には、画像デ
ータを圧縮しないと最小の画面サイズ(80×60)に
おいてもフレームレートが0.2(fps)となり、実用的
でないため、深さ16ビットの無圧縮画像の転送性能の
評価は省いた。
り、画像と音声の取り込みや圧縮伸張、またネットワー
クプログラミングを意識することなく容易にマルチメデ
ィアアプリケーションが作成可能となった。
一のストリームにインターリーブして転送している。ま
た、ネットワークプロトコルとしてTCP/IPを用い
ているため、パケットの順序は保証される。さらに、複
数のメディアデータの取り込みを同時に行い、インター
リーブしてデータ送信時に同期を保証できれば、データ
受取側でも複数のメディアデータの同期はとれているも
のと仮定できる。実際この方法で単一ネットワーク上に
て転送した音声と動画のメディアデータの同期は満足の
いく結果となった。
ーティングシステムのUNIXで標準的なTCP/IP
を用いている。ここで、図8に示すように、メディアデ
ータを直接送ることの出来る環境では、送信側と受信側
のバッファの制御を情報処理装置が行うことができ、細
かな流量制御が行える。
を具体的に実現する本発明実施例の受信装置について説
明する。図1において、マイクロホン1やビデオカメラ
2からの音声信号や映像信号は、A/D変換圧縮回路
3,4に送られる。上記A/D変換圧縮回路3は、音声
信号をA/D変換してディジタル化すると共に、上述し
たように音声の圧縮方式として例えばG.711,G.
721,G.722,G.728などのうちのいずれか
を用いて圧縮する。また、上記A/D変換圧縮回路4で
は、映像信号をA/D変換してディジタル化すると共
に、上述したように画像の圧縮方式として例えばJPE
G,H.261,MPEGなどのうちのいずれかを用い
て圧縮する。
声データと映像データは、マルチプレクサ5によってマ
ルチプレクスされ、その後データバッファメモリ(例え
ばFIFOメモリ)6を介してネットワーク送信部7に
送られ、当該ネットワーク送信部7から例えばイーサネ
ットなどのネットワーク8を経て、受信側のネットワー
ク受信部11に送られる。
入力端子89には上記音声や動画の信号を除く信号とし
て例えばテキストデータやプログラムデータや数値デー
タ,他のバイナリデータ等が供給される。これらデータ
は、データ処理回路94において例えば誤り訂正符号が
付加される等の処理が施された後、マルチプレクサ5を
介し、さらにネットワーク送信部7から出力されるよう
にもなっている。
で受信したデータは、分離回路12によって上記圧縮さ
れた音声データと映像データとに分離され、それぞれ対
応する音声データバッファメモリ(FIFOメモリ)1
3と映像データバッファメモリ(FIFOメモリ)14
に送られる。上記音声データバッファメモリ13及び映
像データバッファメモリ14は、それぞれ読み出しクロ
ック発生回路17,22からのクロックに基づいてデー
タの読み出しがなされるものであり、また、それぞれ対
応して設けられているバッファメモリ内容量測定回路1
5,20及びバッファ内容廃棄操作回路16,21によ
って読み出しが制御されるものである。
は、音声データバッファメモリ13の書き込みアドレス
及び読み出しアドレスから当該メモリ13の内容量の測
定を行い、その測定結果をバッファ内容廃棄操作回路1
6に送る。当該バッファ内容廃棄操作回路16では、上
記測定回路15からのメモリ13の内容量測定結果に基
づいて、上記メモリ13の読み出しアドレスを再設定す
ることで、当該メモリ13の内容を強制的に廃棄させ
る。これにより、音声データバッファメモリ13におけ
る入力から出力までの時間遅れ及び時間のずれを適正な
値に回復する。
回路15及びバッファ内容廃棄操作回路16において
は、図9に示すようなフローチャートによって、音声デ
ータバッファメモリ13の内容量を測定し、上記内容の
強制的な破棄を行うようにしている。
声データのバッファメモリ13の内容量の測定値S(単
位は再生時間)を求める。なお、上記測定値Sは以下の
式で求める。 S={(バッファ読み出しアドレス)−(バッファ書き
込みアドレス)*サンプル周期}/(1サンプルのデー
タ量)
声データのバッファメモリ13の内容量の適正範囲の上
限値SmaxとからS>Smaxを判定し、ノーと判定
した場合にはステップS1に戻り、逆にイエスと判定し
た場合にはステップS3に進む。
メモリ13の内容を、アドレスの先頭からn(nは整
数)サンプル分廃棄し、残容量が音声データのバッファ
の内容量の適正範囲の適正値Sstaに近くなるように
する。なお、音声データのバッファメモリ13の内容量
の適正範囲の下限値をSminとすると、上記上限値S
maxと上記適正値Sstaと下限値Sminとの関係
はSmin<Ssta<Smaxとなる。
る。
20は、映像データバッファメモリ14の書き込みアド
レス及び読み出しアドレスから当該メモリ14の内容量
の測定を行い、その測定結果をバッファ内容廃棄操作回
路21に送る。当該バッファ内容廃棄操作回路21で
は、上記測定回路20からのメモリ14の内容量測定結
果に基づいて、上記メモリ14の読み出しアドレスを再
設定することで、当該メモリ14の内容を強制的に廃棄
させる。これにより、音声データバッファメモリ14に
おける入力から出力までの時間遅れ及び時間のずれを適
正な値に回復する。
回路20及びバッファ内容廃棄操作回路21において
は、図10に示すようなフローチャートによって、映像
データバッファメモリ14の内容量を測定し、上記内容
の強制的な破棄を行うようにしている。
は、映像データのバッファメモリ14の内容量の測定値
V(単位は再生時間)を求める。なお、上記測定値Vは
以下の式で求める。 V={(バッファ読み出しアドレス)−(バッファ書き
込みアドレス)*画面周期}/(1画面分のデータ量)
映像データのバッファメモリ14の内容量の適正範囲の
上限値VmaxとからV>Vmaxを判定し、ノーと判
定した場合にはステップS11に戻り、逆にイエスと判
定した場合にはステップS13に進む。
ァメモリ14の内容を、アドレスの先頭からn(nは整
数)画面分廃棄し、残容量が映像データのバッファの内
容量の適正範囲の適正値Vstaに近くなるようにす
る。なお、映像データのバッファメモリ14の内容量の
適正範囲の下限値をVminとすると、上記上限値Vm
axと上記適正値Vstaと下限値Vminとの関係は
Vmin<Vsta<Vmaxとなる。
に戻る。
リ13や映像データバッファメモリ14から読み出され
た音声データと映像データは、それぞれ対応する伸張処
理及びD/A変換を施す伸張D/A変換回路18,19
に送られる。これら伸張D/A変換回路18,19で
は、前記A/D変換圧縮回路3,4での各圧縮処理に対
応する伸張処理がそれぞれ施され、その後D/A変換し
て出力する。
号はスピーカ27に送られ、上記伸張D/A変換回路1
9からの映像信号はモニタディスプレイ24に送られ
る。
信号は、当該分離回路12を介して前記検出回路25に
も送られる。当該検出回路25では、上記受信信号から
音声及び動画の信号を除く他の信号として例えば上記テ
キストデータやプログラムデータ,数値データ,他のバ
イナリデータなどのようなの信号を検出する。
の信号を除く他のデータを検出すると、当該検出回路2
5からは、上記分離回路12に対して検出信号が出力さ
れる。上記分離回路12は、上記検出回路25からの検
出信号が供給されると、上記受信信号から当該検出信号
に応じたデータのみを分離して、データ処理回路26に
送る。
データに対して所定の処理を施した後、出力端子から出
力する。なお、上記所定の処理としては、例えば誤り訂
正処理等を挙げることができる。
は、上記検出回路25を有し、上記分離回路12が当該
検出回路25からの検出信号に応じて、受信信号から音
声や動画を除く他のデータを分離することによって、上
記音声や動画を除く他のデータが前記バッファ内容廃棄
操作回路21による破棄処理によって無くなることが防
止されることになる。
において分離された音声と映像のデータも、上記検出回
路25に送られる。
ータに対しては例えば人間の聴覚特性を考慮して当該音
声データから例えば低域の部分を検出したり、例えば人
間の声の部分のように特に重要な音声部分を検出する。
また、映像データに対しては例えば人間の視覚特性を考
慮して当該映像データから特に視覚的に重要な映像部分
を検出したり、映像内容で特に重要な部分を検出したり
する。この検出回路25からは、上記音声データと映像
データ用の上記バッファ内容廃棄操作回路16と21に
対して、各々検出信号が送られる。
操作回路16では、上記検出回路25からの検出信号を
受けると、前述した音声データバッファメモリ13の内
容破棄制御を行う際に、上記検出信号に対応した音声部
分が破棄されないような制御、すなわち、上記検出信号
に対応する音声の重要な部分については上記音声データ
バッファメモリ13からそのまま後段の音声データの伸
張D/A変換回路18に送られるように制御する。
声の重要な部分を除く部分については音声データバッフ
ァメモリ13での前記廃棄操作が行われることで、当該
バッファメモリ13の入力から出力までの時間遅れを適
正値に回復させることができ、また、上記音声の重要部
分については破棄されないために、後のスピーカ27か
ら出力される音声は、高品質を保つことができるように
なる。
容廃棄操作回路21では、上記検出回路25からの検出
信号を受けると、前述した映像データバッファメモリ1
4の内容破棄制御を行う際に、上記検出信号に対応した
映像部分が破棄されないような制御、すなわち、上記検
出信号に対応する映像の重要な部分については上記映像
データバッファメモリ14からそのまま後段の音声デー
タの伸張D/A変換回路19に送られるように制御す
る。
像の重要な部分を除く部分については映像データバッフ
ァメモリ14での前記廃棄操作が行われることで、当該
バッファメモリ14の入力から出力までの時間遅れを適
正値に回復させることができ、また、上記映像の重要部
分については破棄されないために、後のモニタディスプ
レイ24に表示される映像は、高品質を保つことができ
るようになる。
に示す。
ュータには、モニタディスプレイ40とマイクロホン4
1とビデオカメラ42が接続され、またネットワーク4
3を介して受信側ホストコンピュータと接続される。
CPU30は、メインメモリ31に保持されているプロ
グラムデータを用いて各部を制御したり、また、各種の
演算を行う。なお、このCPU30は、図1のデータ処
理回路94としての機能をも有する。
D変換圧縮処理部38によってA/D変換されると共に
前述したような映像データ用の圧縮処理が施され、バッ
ファメモリ34に一時蓄えられる。また、マイクロホン
41からの音声信号は、A/D変換圧縮処理部37によ
ってA/D変換されると共に前述したような音声データ
用の圧縮処理が施され、バッファメモリ33に一時蓄え
られる。
PU30によって形成された映像フレームデータや、ビ
デオカメラ42によって撮影された映像に基づく映像フ
レームデータが記憶される。当該フレームメモリ32か
らの映像フレームデータは、ディスプレイインタフェー
ス36を介してモニタディスプレイ40に送られて表示
される。
蓄えられた圧縮された音声データと映像データは、例え
ばCPU30によってマルチプレクスされた後にバッフ
ァメモリ35に一旦蓄えられてから読み出される。当該
バッファメモリ35から読み出されたデータは、ネット
ワークインタフェース39に接続されたネットワーク4
3を介して、受信側ホストコンピュータに送られる。
ニタディスプレイ61とスピーカ62が接続され、さら
にネットワーク43を介して送信側ホストコンピュータ
と接続される。
CPU52は、メインメモリ53に保持されているプロ
グラムデータを用いて各部を制御したり、各種の演算を
行う。また、このCPU52は前述の図1のバッファメ
モリ内容量測定回路15,20及びバッファ内容廃棄操
作回路16,21や、検出回路25,データ処理回路2
6と同様の機能をも有している。
ホストコンピュータから送られてきたデータは、ネット
ワークインタフェース50を介してバッファメモリ51
に一旦蓄えられた後、読み出される。
受信データからは、例えばCPU52によって上記圧縮
された音声データと映像データとが分離され、それぞれ
対応するバッファメモリ54,55に送られる。
映像データは、当該バッファメモリ54から読み出され
てデータ伸張処理部56に送られて上記送信側ホストコ
ンピュータでの圧縮に対応する伸張処理がなされる。当
該伸張された映像データは、フレームメモリに蓄えられ
てフレームとなされ、ディスプレイインタフェース58
を介してモニタディスプレイ61に送られて表示され
る。
された音声データは、当該メモリ55から読み出されて
データ伸張処理部59に送られて上記送信側ホストコン
ピュータでの圧縮に対応する伸張処理がなされる。当該
伸張された音声データは、D/A変換処理部60によっ
てアナログの音声信号に変換された後、スピーカ62に
送られる。
よれば、伸張処理がなされる信号の当該伸張処理時間
と、送信側から送られてくる送信データの受信される時
間との差(バッファの内容量の測定値S,V)が、第1
の時間内(バッファの内容量の適正範囲の上限値Sma
x,Vmax)を越えたことを検出すると、上記伸張処
理の時間と受信時間との差を第2の時間内(バッファの
内容量の適正範囲の適正値Ssta,Vsta)と成す
制御を行うようにしているので、バッファメモリ13,
14やバッファメモリ54,55の入力から出力までの
時間遅れを適正値(Ssta,Vsta)に回復させる
ことが可能となる。すなわち、各実施例装置において
は、バッファメモリ13,14,54,55の入力から
出力までの時間遅れを少なくし、出力でのメディア間の
時間のずれも小さくすることが可能となる。
ータ検出回路25を設け、このデータ検出回路25によ
って受信信号が音声及び動画を除くデータであることを
検出したときには、データ処理回路26においてそのま
ま処理するようにしたことで、受信信号が例えば上記テ
キストデータなどである場合に、データの内容が変化す
ることを防いでいる。
検出回路25によって受信信号から音声,映像において
特に重要な部分を検出したときにはバッファ内容廃棄操
作回路16,21によってこれら重要な部分を除く他の
部分を廃棄するように音声データバッファメモリ13及
び映像データバッファメモリ14を制御することで、こ
れらバッファメモリ13及び14の入力から出力までの
時間遅れを適正値に回復させるようにし、上記特に重要
な部分についてはそのまま処理することで、この部分の
信号については破棄されることを防いでいる。
は、制御手段は、受信信号の再生時間と受信した時間と
の差が許容限度内である第1の時間内を越えたことを検
出したときに、再生時間と受信した時間との差を好まし
い適正値である第2の時間内と成す制御を行うようにし
ているので、バッファ手段の入力から出力までの時間遅
れを適正値に回復させることが可能となる。すなわち、
本発明装置においては、負荷の変動によって受信側での
データ処理が遅れて、バッファ手段での入力から出力ま
での時間遅れが大きくなっても自動的に時間遅れを回復
することが可能となる。また、負荷の変動によって受信
側でのデータ処理が遅れて、出力でのバッファ手段間の
時間のずれが大きくなっても、自動的にそれを回復する
ことができる。
に第3の検出手段を設け、この第3の検出手段によって
受信信号が音声及び/又は動画を除く信号であることを
検出したときには、そのまま処理することで、受信信号
が例えばテキストデータなどである場合に、データの内
容が変化することを防止できる。
らに第4の検出手段を設け、この第4の検出手段によっ
て受信信号の所定の部分を検出したときには、その所定
の部分を除く他の部分を廃棄することで、バッファ手段
の入力から出力までの時間遅れを適正値に回復させるよ
うにし、その所定の部分についてはそのまま処理するこ
とで、この所定の部分の信号については破棄されること
を防止できる。
信側の装置の概略構成を示すブロック回路図である。
の情報処理装置のモデルを示す図である。
ための図である。
ディアデータの転送について説明するための図である。
について説明するための図である。
延、効率の関係を示す特性図である。
転送遅延、効率の関係を示す特性図である。
図である。
メモリの内容量測定と内容破棄の処理を説明するための
フローチャートである。
ァメモリの内容量測定と内容破棄の処理を説明するため
のフローチャートである。
ータと受信側ホストコンピュータの概略構成を示すブロ
ック回路図である。
ブロック回路図である。
モリ 36,58・・・ディスプレイインタフェース 37・・・音声データA/D変換圧縮部 38・・・動画データA/D変換圧縮部 56・・・音声データ用データ伸張部 59・・・映像データ用データ伸張部 60・・・音声データD/A変換部 94・・・送信側のデータ処理回路
Claims (3)
- 【請求項1】 受信した時間と再生する時間との差を所
定時間以内となして音声及び/又は動画の信号を再生す
る実時間の受信装置であって、 信号を取り込む取り込み手段と、 音声及び/又は動画の信号を再生する再生手段と、 音声及び/又は動画の信号の再生時間と受信した時間と
の差が、許容限度内としての第1の時間内であることを
検出する第1の検出手段と、 音声及び/又は動画の信号の再生時間と受信した時間と
の差が、好ましい適正値としての第2の時間内であるこ
とを検出する第2の検出手段と、 信号をバッファリングするバッファ手段と、 上記再生時間と受信した時間との差が上記第1の時間内
を越えたことを検出したときに、上記再生時間と受信し
た時間との差を上記第2の時間内と成す制御を行う制御
手段とを有することを特徴とする受信装置。 - 【請求項2】 受信信号が音声及び/又は動画を除く信
号であることを検出する第3の検出手段を設け、 音声及び/又は動画を除く信号をも受信すると共に、上
記第3の検出手段によって受信信号が音声及び/又は動
画を除く信号であることを検出したときには、そのまま
処理することを特徴とする請求項1記載の受信装置。 - 【請求項3】 受信信号から所定の部分を検出する第4
の検出手段を設け、 上記第4の検出手段によって上記所定の部分を検出した
ときには、当該所定の部分をそのまま処理し、他の部分
については廃棄することを特徴とする請求項1又は2記
載の受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5315579A JPH07170502A (ja) | 1993-12-15 | 1993-12-15 | 受信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5315579A JPH07170502A (ja) | 1993-12-15 | 1993-12-15 | 受信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07170502A true JPH07170502A (ja) | 1995-07-04 |
Family
ID=18067053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5315579A Pending JPH07170502A (ja) | 1993-12-15 | 1993-12-15 | 受信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07170502A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278691B1 (en) | 1997-02-17 | 2001-08-21 | Matsushita Electric Industrial Co., Ltd. | Communications system |
JP2002057708A (ja) * | 2000-08-10 | 2002-02-22 | Fujitsu Ltd | パケットゆらぎ吸収方法及びその装置 |
JP2003526264A (ja) * | 2000-02-28 | 2003-09-02 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | ソフトウェアベースのadslモデム内のデータのサンプルを一時的に記憶するための方法および装置 |
JP2011216997A (ja) * | 2010-03-31 | 2011-10-27 | Seiko Epson Corp | プロジェクターおよび同期方法 |
WO2021095754A1 (ja) * | 2019-11-12 | 2021-05-20 | ソニー株式会社 | データ処理装置、データ処理方法およびデータ処理プログラム |
-
1993
- 1993-12-15 JP JP5315579A patent/JPH07170502A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278691B1 (en) | 1997-02-17 | 2001-08-21 | Matsushita Electric Industrial Co., Ltd. | Communications system |
JP2003526264A (ja) * | 2000-02-28 | 2003-09-02 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | ソフトウェアベースのadslモデム内のデータのサンプルを一時的に記憶するための方法および装置 |
JP2010213331A (ja) * | 2000-02-28 | 2010-09-24 | Advanced Micro Devices Inc | ソフトウェアベースのadslモデム内のデータのサンプルを一時的に記憶するための方法および装置 |
JP2002057708A (ja) * | 2000-08-10 | 2002-02-22 | Fujitsu Ltd | パケットゆらぎ吸収方法及びその装置 |
JP2011216997A (ja) * | 2010-03-31 | 2011-10-27 | Seiko Epson Corp | プロジェクターおよび同期方法 |
WO2021095754A1 (ja) * | 2019-11-12 | 2021-05-20 | ソニー株式会社 | データ処理装置、データ処理方法およびデータ処理プログラム |
CN114631296A (zh) * | 2019-11-12 | 2022-06-14 | 索尼集团公司 | 数据处理设备、数据处理方法和数据处理程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6278478B1 (en) | End-to-end network encoding architecture | |
US5434913A (en) | Audio subsystem for computer-based conferencing system | |
US5490247A (en) | Video subsystem for computer-based conferencing system | |
US5515296A (en) | Scan path for encoding and decoding two-dimensional signals | |
US6125398A (en) | Communications subsystem for computer-based conferencing system using both ISDN B channels for transmission | |
US5590128A (en) | Dial lists for computer-based conferencing systems | |
JP3715332B2 (ja) | 通信システム、受信装置及び方法 | |
US5809237A (en) | Registration of computer-based conferencing system | |
US6359656B1 (en) | In-band synchronization of data streams with audio/video streams | |
US6618368B1 (en) | Data gateway and method for relaying data | |
EP1696396A2 (en) | Image pickup apparatus and image distributing method | |
EP1919220A2 (en) | Method and apparatus for dynamic bandwidth allocation of video over a digital subscriber line | |
JP4822866B2 (ja) | インターネットプロトコルを用いたシリアルバスを介したデータ電送を実行するための方法及び当該方法を利用するための装置 | |
JP2003524909A (ja) | マルチメディアネットワーク・インタフェースを達成する方法及び装置 | |
JP2001500331A (ja) | 汎用直列バスインタフェースを有する動画カメラ | |
JPH10229420A (ja) | 通信システム | |
US20040073953A1 (en) | Audio/video apparatus for use with a cable television network | |
JPH07170292A (ja) | 送信装置 | |
Crutcher et al. | The networked video jukebox | |
Eleftheriadis et al. | Algorithms and performance evaluation of the Xphone multimedia communication system | |
US5949891A (en) | Filtering audio signals from a combined microphone/speaker earpiece | |
US5862388A (en) | Interrupt-time processing of received signals | |
JPH07170503A (ja) | 受信装置 | |
JP3799070B2 (ja) | 送信装置及び方法 | |
JPH07170502A (ja) | 受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040416 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050930 |