JPH05268296A

JPH05268296A - 通信方式

Info

Publication number: JPH05268296A
Application number: JP4059866A
Authority: JP
Inventors: Toshio Okamoto; 利夫岡本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1992-03-17
Filing date: 1992-03-17
Publication date: 1993-10-15

Abstract

(57)【要約】【目的】音声や動画などの時系列的に連続するアナロ
グデータをデジタルデータに変換して通信する際に、出
力先でなるべく時系列が遅れたり揺らいだりしないよう
に、より自然に再生することのできる通信方式の提供を
目的とする。【構成】通信路の状態と出力装置の状態など、データ
を送る箇所から再生する箇所までの状態を出力側の計算
機（ｂ）の監視部３１及び３２で監視し、その情報をデ
ータ送出側の計算機（ａ）が知り、その状態に最適なデ
ジタルデータへの符号化方法や符号化レート、データ圧
縮方法を決定部６、７、８で決定し、それにしたがって
データを変換し通信する。また、通信中においても、そ
れぞれの箇所での状態をデータ送出装置（ａ）が入手で
き、それによって最適な変換方法に随時変更しながら通
信する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタルで音声や動画
などの時系列に連続するデータを通信する通信方式に関
する。

【０００２】

【従来の技術】音声や動画等のデータのように、時系列
に連続するアナログデータをデジタルデータに変換して
伝送する場合、通信路の状態、例えばスループットや誤
り率、そして、出力装置の処理能力などを考慮して、通
信に用いる、単位時間当たりのデータ量（転送レー
ト）や、変換方式を決定して送らないと、元と同じ状態
で再生できないことがある。たとえば通信路のスループ
ット以上の転送レートを要する音声データを通信した場
合、通信路でデータが滞ってしまい、実際に出力された
音声は途切れ途切れに再生されてしまう。また、遅延し
たデータは、バッファに溜まりだし、やがて、バッファ
からあふれ、データの廃棄が生じ、全部のデータが再生
できない不都合を生じる。また、通信路の容量が十分で
あっても再生装置の処理速度が追いつかないと同様な不
都合が生じる。さらに、計算機間での通信に使用する通
信路は、音声や動画専用の回線の利用形態とは異なり、
多くのデータを混在して送るやり方、つまり、パケット
通信方式が多い。よって、混雑度によって通信時間が変
化する。また、ＬＡＮ間接続による複数の種々の容量・
性質の回線を経由して通信する形態が普及しているの
で、通信路の状態は刻々変化する。

【０００３】しかし、従来技術では、そのような状態変
化に対応して通信方式を変えることができないので、再
生時には、時系列的に不連続になったり、変動した状態
で再生せざるを得ず、不自然な再生状態になってしま
う。そればかりではなく、再生装置の処理能力も負荷に
よって変動するので、それに適応していないと、同様に
不自然な再生をしてしまう欠点があった。

【０００４】

【発明が解決しようとする課題】以上述べたように、従
来の通信方式では通信路や、出力装置の状態に対応でき
ないという問題点があった。

【０００５】本発明は、このような事情を考慮してなさ
れたものであり、その目的とするところは、通信路や出
力装置の能力に応じて転送レート、変換方式などを決定
し通信し、さらに実際に通信中でも、通信路の状態、出
力装置の状態の変化などに応じて転送レートや変換方式
を変化させて最適なものを用いて通信できる通信方式を
提供することにある。

【０００６】

【課題を解決するための手段】本発明の第１の発明に係
る通信方式は、第１の計算機がデータに処理を施しこの
データを第２の計算機へ通信路を介して送信し、第２の
計算機が送信されたデータに処理を行って出力装置へ出
力するものであって、通信路の状態と出力装置への出力
の状態の少なくとも一方を監視し、この監視結果を利用
して第１の計算機がデータに施す処理の方法あるいはパ
ラメータについて複数の候補の中から１つを決定するこ
とを特徴とするものである。さらに、データ送信中にも
前記の監視結果を利用して、データ送信開始時に第１の
計算機が採用した処理の方法あるいはパラメータを現在
の状態に最適なものへ変換することを特徴とするもので
ある。

【０００７】本発明の第２の発明に係る通信方式は、第
１の計算機がデータを第２の計算機へ複数の通信路のう
ちの１つを介して送信し、第２の計算機が送信されたデ
ータに処理を行って出力装置へ出力するものであって、
通信路の状態と出力装置への出力の状態の少なくとも一
方を監視し、この監視結果を利用して第１の計算機が第
２の計算機へのデータの送信に用いる通信路の選択に寄
与することを特徴とするものである。さらに、データ送
信中にも前記の監視結果を利用して、データ送信開始時
に第１の計算機が採用した通信路を現在の状態において
より良いものへ変更することを特徴とするものである。

【０００８】

【作用】本発明によれば、通信路の状態（スループット
（通信速度）、遅延時間、エラー率等）あるいは出力装
置の状態（能力、混雑度等）などの、データを送る箇所
から再生する箇所までの状態を監視し、その監視情報を
データ送出側の計算機が知り、その状態に最適な処理
（デジタルデータへの符号化法や符号化レート、データ
圧縮法等）を決定しそれに従ってデータを変換し通信す
るか、あるいは、その状態に最適な通信路が選択される
よう通信するので、出力装置でのデータの再生がより自
然な状態で行えるようになる。尚、最適と判断する基準
は、処理を決定する場合には、例えば送りたいデータの
種類により送信データの質と送信速度とのどちらを重視
するかといった知識を、通信路を選択する場合には、通
信速度や遅延時間やエラー率のうちどれを重視するかと
いった知識を、データ送出側の計算機が持っていてこれ
を参照することによる。

【０００９】

【実施例】以下、図面を参照して本発明の一実施例につ
き説明する。

【００１０】図２（ａ）は本実施例に係る通信方式が適
用されるシステムの全体の構成を表す図である。音声や
動画など時系列に連続するアナログデータを取り込む装
置の例としてマイク１０１とカメラ１０２があり、これ
が入力用計算機１０３につながっている。この計算機
は、本実施例に係る方式を用いて、取り込んだデータを
デジタルデータに変換し、通信路１０４を介して出力用
計算機へ通信する。一方、出力用計算機１０５には音声
や動画を出力するスピーカ１０６とモニタＴＶ１０７が
接続されており、通信されてきたデジタルデータがこの
計算機によりもとのアナログデータに変換されて出力さ
れる。尚、図２（ａ）は抽象化して書かれた図であり、
本実施例方式は、様々な種類の様々な能力を持つ計算機
が様々な通信路や回線を介してつながっている複雑な計
算機ネットワークシステムで、リアルタイムの通信を行
う際に、その効果を最大に発揮するものである。

【００１１】ここでこの通信に用いられる通信路を図２
（ｂ）に詳しく示しておく。本実施例で用いられる通信
路は、データがパケット化されて通信されることを想定
している。データをパケット化することにより通信路を
効率的に用いることができるために、この方法は通常計
算機間の通信で多用されているものである。データがパ
ケット化されていると、図２（ｂ）に示すように複数の
通信路Ａ〜Ｄとルータ１０８と呼ばれる接続装置とを介
して双方の計算機をつなげることができ、複数の通信路
を論理的にはあたかも１本の通信路として扱うことがで
きる。

【００１２】また、このような通信路においては、２つ
の計算機間を結ぶ経路が複数存在する（図２（ｂ）の例
では通信路Ａ−Ｂ−Ｃの経路と通信路Ａ−Ｄ−Ｃの経路
の２通り）場合があり、いずれを選択するかを決定する
必要があるが、これはルータで選択することも、計算機
間に経路制御部（例えば図１の１２）を設けてここで選
択することも可能である（実際には通信のプロトコルま
たその実装状態に依存する）。経路制御の際には、通
常、送るデータの性質と、相手先までの通信路の各種状
態（例えばスループット、遅延時間、混雑度、信頼性、
課金等）とを考慮して経路を選択する。例えば、動画デ
ータ等の大容量のデータを送る場合、遅延時間が多少悪
くても衛星回線のような安価な回線を選択すべきであ
り、制御データのように緊急性があるがデータ量は小さ
いものの場合は、複数のルータを経由しないでたとえ容
量の小さい回線でも１本の回線で送った方がよい。

【００１３】また回線が混雑している場合、新たに回線
を接続してデータを送ることもできる。このような間欠
リンクは、最近普及しつつあるＩＳＤＮ回線を用いれば
実現できる。例えば、現在広く用いられているＴＣＰ／
ＩＰと呼ばれるプロトコルでは、パケットの仕様中に通
過する経路を明示的に指定できるようになっており、計
算機１０３あるいはルータ１０８が通過する経路をここ
に書き込むことにより実現できる。あるいは、ＩＰパケ
ット中のType of Service のフィールドに、サービスを
提供するのに必要な優先度、信頼性、スループット、遅
延等の諸条件を計算機１０３が書き込み、ルータ１０８
や経路制御部がこれを利用して通路制御を行うこともで
きる。

【００１４】ところが、このような経路制御の機能その
ままでは、時系列データをうまく取り扱うには不都合が
多い。つまり、データを送っている最中に通信路の状態
が刻々変化するような場合これに対応することができな
いし、さらにリアルタイム性を保証しようとする場合に
は、経路制御だけでは対応しきれない場合が起こる。そ
こで本実施例では、図１のようなシステム構成をとる。
図１中（ａ）は入力用（送信側）計算機の内部構成を、
（ｂ）は出力用（受信側）計算機の内部構成を表す。そ
して図３は、この両者の計算機の処理の流れを表す図で
ある。

【００１５】まず送信側では、実際のデータを送る前
に、制御データ取扱部１０が制御用データを通信部５を
介して受信側に送出する（Ｓ１）。その制御用データ
は、これからデータを送るという宣言を情報として持つ
ものであり、この情報の中には、送るデータの性質、入
力用計算機が行う予定であるデータの符号化の方式とそ
のレート、データ圧縮の方式等が、適宜含まれている。

【００１６】すると受信側では、この制御用データを受
け取り、これに対して、受信側の出力用計算機が対応で
きるデータ伸張の方式や復号化の方式とそのレート、デ
ータ表現のフォーマット、受信側の出力装置の能力や混
雑度、さらには受信側の出力用計算機の能力や混雑度等
の情報が適宜含まれた制御用データを、制御データ取扱
部３０が作成し、通信部２１を介して送信側に送り返す
（Ｓ２）。このとき、送信側が最初に送った制御用デー
タが送信されてから受信されるまでの時間を例えば受信
側の通信状態監視部３１が測定しておき、この測定情報
を送信側に送り返す制御用データに付加することによ
り、送信側でこれから使おうとする回線の能力、混雑度
を測定することができるようにしても良い。

【００１７】送信側では、受信側から送られてきたこの
制御用データ中の上記の情報を演算部９が解釈すると共
に、過去にこれから使おうとする回線を介して実際にデ
ータを送受信したときに通信状態監視部１１で測定した
回線の状態を記録する機能を備えている場合にはこの記
録を、記録がなければカタログ等に記載されている回線
の諸状態（例えば品質情報、回線速度の情報等で、通信
状態監視部１１に予め記憶されている）を基にして（Ｓ
３）、決定部６、７、８がそれぞれ、最適なＡＤ変換の
符号化法、符号化レート、データ圧縮法を決定する（Ｓ
４）。この決定に際しては、送信データの質と送信速度
を秤にかけて、例えば画質が多少悪くても速く（１秒当
たりの画面数を多くして）送るべきデータなのか、速度
は遅く（１秒当たりの画面数が少なく）ても画質を保証
するべきデータなのか等の判断を行うことになる。送信
データの質は符号化法と圧縮法に依存し、送信速度は回
線の能力が一定の下では符号化レートに依存するもので
ある。

【００１８】この決定に従って、ＡＤ変換部２がアナロ
グ信号入力部１からのアナログデータを変換してデジタ
ルデータを得、データ圧縮部３がこのデジタルデータの
圧縮を行う（Ｓ５）。そしてデータパケット組立部４
で、このデジタルデータを通信に用いるパケットの形に
組み立て、必要な情報をパケットに付加する（Ｓ６）。
必要な情報とは、まず、入力用計算機（自分）のアドレ
ス情報（送信元）、出力用計算機のアドレス情報（宛
先）、パケット順序番号などであり、以前受信側に知ら
せた符号化法とそのレート、データ圧縮法から変更があ
りこれを制御用データとして別に送ることをしない場合
には、データの復号に必要な情報（復号化法、復号化レ
ート、データ伸張法等の付属データ）も含まれる。さら
に、経路制御を計算機で行えるシステムの場合には、必
要に応じて上述したように、経由する通信路を指定する
ためのアドレス情報、あるいは、サービスが必要とする
回線の状態の情報をパケット中に書き込む。これらの経
路制御情報は、受信側から送られてきた制御用データ
や、過去に記録・記憶されている回線の状態を演算部９
で解釈した結果、経路制御部１２で作成されるものであ
る。

【００１９】その後、通信部５を介して実際に回線（通
信路）上にデータパケットを流して受信側に送る。この
際、直接受信側の出力用計算機が送信側と同じ回線に接
続されているかあるいは経由アドレスが指定されている
場合にはそのアドレスへ、その他の場合には経路制御部
１２が最適と判断したルータのアドレスへ（そこから先
はそのルータが最適と判断したところへ）送る。

【００２０】次に受信側では、通信部２１で受け取った
時系列データの入ったパケットをパケット分解部２２へ
送り、ここでパケット順序を正しく直し、エラー処理を
行って、もとの時系列データにする（Ｓ７）。そして、
予め送っておいた制御用データ中の情報あるいはパケッ
ト中に書かれた情報を演算部２９が利用して、決定部２
６、２７、２８にてそれぞれ、データ伸張法、復号化
法、復号化レートを決定する。ＤＡ変換部２４は、この
決定に従って上記の時系列データに戻したデジタルデー
タを処理し、時系列のアナログデータを再生るす（Ｓ
８）。このアナログデータをアナログ信号出力部２５に
送り、実際に音声や動画を生成する（Ｓ９）。一方、
これと並行して、通信状態監視部３１では、出力用計算
機に到着するパケットを監視し、遅延時間やエラー率等
を検出する（Ｓ１０）。さらに、出力状態監視部３２で
は、出力装置の出力状態を監視し、時系列データが遅れ
たりしていないか、もっと多くのデータを出力するだけ
の余裕があるかを検出する（Ｓ１１）。この２種類の検
出データを基に、演算部２９で、今の状態のデータをそ
のまま受け取って良いか、もっとデータ量を減らして送
ってもらう方が良いか、もっとデータ量を増やして送っ
てもらっても良いか、エラー率をもっと抑えられる符号
化の方法に変えた方が良いか、今利用している回線で問
題がないか（例えば衛星回線を利用しているために遅延
時間が大きすぎる）等を判断する（Ｓ１２）。この判断
結果を随時送信側に制御用データとして送る。尚、ここ
ではこの判断を受信側で行い結果だけを返すことにした
が、必要な検出データを送信側に送り送信側が判断を行
うようにしても良い。

【００２１】すると、送信側では、送られてきた制御用
データを演算部９で解釈し、符号化法や符号化レート、
データ圧縮法、これだけで対応できなければ経路制御情
報、その他必要なことの変更を必要に応じて行い（Ｓ４
戻り）、その結果受信側で復号するのに新たに必要とな
る情報の入った制御用データを受信側に送るか、あるい
はパケット中に付加する。そして、この変更に従ってＡ
Ｄ変換、パケット組立、送信（Ｓ５、Ｓ６）を続けて行
う。つまり、本実施例によれば、時間ｔ0 〜ｔ2 の間一
連時系列データを送る場合に、ｔ0 〜ｔ1 の間のデータ
は符号化法Ａ、符号化レートａを用いて変換されたもの
を送り、ｔ1 〜ｔ2 間のデータは符号化法Ｂ、符号化レ
ートｂを用いて変換されたものを送るということが、そ
の時々の回線の状態や出力装置の状態により起こるとい
うことになる。

【００２２】上述した処理を時系列データが終了するま
で行い、終了時には、送信側が終了用の制御データを送
り、各計算機内の処理を完了し、必要な通信路の終了処
理を行う。

【００２３】尚、本実施例では入力用計算機と出力用計
算機とが通信路で接続された構成になっているが、通信
路を用いず入力用出力用が同一の計算機であっても良
い。その場合、通信路の状態で符号化の方法を変える処
理はなくなるが、その計算機の負荷状態、出力装置の負
荷状態等で符号化の方法を変化させることになる。この
変化の仕方は本実施例と同じようにすれば良い。

【００２４】また、本実施例では入力用計算機が入力さ
れたアナログデータをその場で符号化し通信し出力用計
算機が復号化し出力するようになっているが、入力用計
算機が、入力されたアナログデータをデジタルデータに
変換してからいったんファイル等に蓄積し、必要なとき
に通信するようにしても良い。この場合は、アナログデ
ータ入力時には適当な符号化の方法でＡＤ変換してお
き、通信時に、その時々の出力用計算機の状態、出力装
置の負荷状態、回線の状態に応じた符号化の方法で、フ
ァイルから取り出したデジタルデータを再度処理して送
信することになる。

【００２５】同様に、出力用計算機が、送られてきたデ
ジタルデータをその場でアナログ信号に変えて出力する
のではなく、一度デジタルデータのままで蓄積し、必要
なときに出力するようにしても良い。この場合は、受信
側へデータを送信する時に、通信時の通信路の状態、出
力用計算機の状態の他、出力装置の負荷状態の代わりに
ファイル等に蓄積する際の処理能力を考慮して、符号化
の方法を決定する。また一度受信側で蓄積されたデジタ
ルデータをアナログ信号に変えて出力する時に再び出力
用計算機と出力装置の負荷や処理能力に応じてデジタル
データを再加工し、ＤＡ変換部２４を介して出力装置へ
送る。

【００２６】また、送信時と出力装置への出力時との間
に十分な時間的余裕がある場合には、送信時には符号化
の方法をいつも同じ方法として（従来通りに）送り、出
力時のみ本実施例に係る方式で出力処理しても良い。つ
まり、出力装置内で蓄積したデ−タを出力装置へ送る際
に、出力装置の状態に応じてデ−タを再加工しても良
い。

【００２７】さらには、時系列のデータにのみ本方式を
適用するだけでなく、例えば大量のデータを通信する場
合にも応用できる。この場合には、回線が混んでいると
きにはかなり高度なデータ圧縮／伸張方法を用いるか、
あるいは、通信中のパケットサイズを適度に小さく（通
信エラーにより再送しなければならなくなるデータの量
を少なくするため）して送る。また、通信路のデータ誤
り率が大きいときには誤り訂正能力の高い符号化方法を
用いて送る。

【００２８】

【発明の効果】以上詳述したように、本発明によれば、
時系列に連続したデータを通信する場合、出力装置の状
態や途中の通信路の状態を考慮し、実際に送信するデー
タの前処理の方法やパラメータを決定し、あるいは通信
路を選択するので、通信する状況に応じて最適な方法で
データを通信することができる。さらに、通信中に状況
が変化した場合でも、通信状態と出力状態を常に監視し
ているので、その新しい状況に応じた方法でデータを送
り続けることができる。よって、出力時に時系列が遅れ
たり進んだり揺らいだりしにくくなり、より自然な状態
で出力することが可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る通信方式を行うため
の（ａ）入力用（送信側）計算機、（ｂ）出力用（受信
側）計算機の内部構成を示す図。

【図２】（ａ）本実施例に係る通信方式を行うシステ
ムの全体構成を示す図、（ｂ）（ａ）中の通信路の構成
の一例を示す図。

【図３】本実施例に係る通信方式における送信側、受
信側それぞれの計算機の処理の流れを示す図。

【符号の説明】

１アナログ信号入力部２ＡＤ変換部３
データ圧縮部４データパケット組立部５・２１通信部６
符号化法決定部７符号化レート決定部８圧縮法決定部９
・２２演算部１０・３０制御データ取扱部１１・３１通
信状態監視部１２経路制御部２２データパケット分
解部２３データ伸張部２４ＤＡ変換部２５アナログ信号出力部２６伸張法決定部２
７復号化法決定部２８復号化レート決定部３２出力状態監視部１０１マイク１０２カメラ１０３
入力（送信側）計算機１０４通信路１０５出力用（受信側）計算
機１０６スピーカ１０７モニタＴＶ１０
８ルータ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｌ 29/08 Ｈ０４Ｍ 11/00 ３０３ 8627−5Ｋ

Claims

【特許請求の範囲】

【請求項１】第１の計算機がデータに処理を施しこの
データを第２の計算機へ通信路を介して送信し、第２の
計算機が送信されたデータに処理を行って出力装置へ出
力する通信方式において、通信路の状態と出力装置への出力の状態の少なくとも一
方を監視し、この監視結果を利用して第１の計算機がデータに施す処
理の方法あるいはパラメータについて複数の候補の中か
ら１つを決定することを特徴とする通信方式。
【請求項２】前記データを送信中に前記監視結果を利
用して、前記データの送信開始時に第１の計算機が採用
した前記処理の方法あるいはパラメータを変更すること
を特徴とする請求項１記載の通信方式。
【請求項３】第１の計算機がデータを第２の計算機へ
複数の通信路のうちの１つを介して送信し、第２の計算
機が送信されたデータに処理を行って出力装置へ出力す
る通信方式において、通信路の状態と出力装置への出力の状態の少なくとも一
方を監視し、この監視結果を利用して第１の計算機が第２の計算機へ
のデータの送信に用いる通信路の選択に寄与することを
特徴とする通信方式。
【請求項４】前記データを送信中に前記監視結果を利
用して、前記データの送信開始時に第１の計算機が採用
した前記通信路を変更することを特徴とする請求項３記
載の通信方式。