JP4165384B2 - 映像音声通信システム - Google Patents

Description

本発明は、映像情報と音声情報とをフレーム化したパケットを通信回線を介して伝送する映像音声通信システムに関するものである。

従来、音声情報や映像情報をフレーム化してパケット通信を行う場合において、通信の途中で通信障害が発生したような場合には、パケットの欠落が生じたり、音声情報と映像情報が受信側に到達するタイミングがずれることがある。このような場合には、映像と音声が一致しないので、その内容が理解し難くなるなどの不具合を生じる。

このため、従来技術では、パケットの欠落等が生じた場合には、受信側の機器から送信側の機器に対してパケットの再送要求を出し、これに応じて送信側の機器からパケットを再送するなどの対策を講じている（例えば、特許文献１参照）。
特開２００３−１８９３０１号公報

しかしながら、受信側の機器においては、所定のパケットが届かない場合、それがパケットの欠落が原因なのか、そもそも通信回線が断線したのが原因であるのかの判断がつきにくく、そのため、送信側の機器に対して何度も繰り返してパケットの再送要求を出すなどしている。このように、受信側の機器は、通信回線が断線したときにはパケットの再送要求を繰り返すなどの無駄な動作が行われる。

また、回線が復旧した時点において、受信側の機器が送信側の機器に対して一斉に基準となるフレーム番号を有するパケットの再送要求を出すと、通信回線がトラフィック状態になる。さらに、回線復旧後は、映像フレームと音声フレームが共に受信されるようになるが、この場合、音声フレームを受信したときにこれを無条件に再生すると、映像フレームとの再生タイミングにずれを生じ、両者間の整合がとれなくなって、情報の内容が理解し難くなる。

本発明は、上記の課題を解決するためになされたもので、通信回線の断線、および回線の復旧に対して、受信側の機器において最適な対応をとることが可能な映像音声通信システムを提供することを目的とする。

上記の目的を達成するために、本発明にあっては、送信側の機器は、映像情報と音声情報とをそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離して映像情報と音声情報を再生する映像音声通信システムにおいて、次の構成を採用している。

請求項１記載の発明に係る映像音声通信システムでは、受信側の機器は、回線復旧後に直ちに基準となるフレーム番号を有する映像フレームの送信を要求せずに、送信側の機器から予め設定されている基準となるフレーム番号を有する映像フレームを受信するまで待ち、当該映像フレームを受信したときに再生を開始し、その間に届く映像フレームは廃棄する映像再生タイミング調整手段を備えることを特徴としている。

請求項２記載の発明に係る映像音声通信システムでは、受信側の機器は、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する映像フレームの送信を要求せずに、送信側の機器から基準となるフレーム番号を有する映像フレームを受信するまで待ち、基準となるフレーム番号を有する映像フレームを受信した場合、当該映像フレームの再生を開始するタイミングに合わせて同一のフレーム番号を有する音声フレームを再生し、その間に届く音声フレームを廃棄する音声再生タイミング調整手段を備えることを特徴としている。

請求項３記載の発明に係る映像音声通信システムでは、受信側の機器は、音声フレームのみを通信する場合、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する音声フレームの送信を要求せずに、送信側の機器から基準となるフレーム番号を有する音声フレームを受信するまで待ち、回線復旧後の音声フレームの再生タイミングを、フレーム周期とは無関係に送信側の機器から送られてきた音声フレームを受信したタイミングに合わせる音声再生タイミング調整手段を備えることを特徴としている。

請求項４記載の発明に係る映像音声通信システムでは、受信側の機器は、請求項１記載の映像再生タイミング調整手段、請求項２および請求項３の音声再生タイミング調整手段の全てを備えることを特徴としている。

請求項１記載の発明によれば、受信側の機器において、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する映像フレームの送信を要求するのではなくて、送信側の機器から基準となるフレーム番号を有する映像フレームを受信するまで待ち、当該映像フレームを受信したときに再生を開始するので、回線復旧後の通信ラインのトラフィック発生を有効に回避することができる。

請求項２記載の発明によれば、受信側の機器において、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する映像フレームの送信を要求するのではなくて、送信側の機器から基準となるフレーム番号を有する映像フレームを受信するまで待ち、当該映像フレームを受信したときに再生を開始するので、回線復旧後の通信ラインのトラフィック発生を有効に回避することができ、回線復旧後に予め設定されている基準となるフレーム番号を有する映像フレームを受信して当該映像フレームの再生を開始するタイミングに合わせて同一のフレーム番号を有する音声フレームを再生し、その間に届く音声フレームは再生せずに廃棄するので、映像フレームと音声フレームの再生タイミングのずれを調整して同期再生を円滑に行うことができる。

請求項３記載の発明によれば、フレームのみを通信する場合、受信側の機器において、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する音声フレームの送信を要求するのではなくて、送信側の機器から基準となるフレーム番号を有する音声フレームを受信するまで待ち、当該音声フレームを受信したときに再生を開始するので、回線復旧後の通信ラインのトラフィック発生を有効に回避することができ、回線復旧後の音声フレームの再生タイミングを、フレーム周期とは無関係に送信側の機器から送られてきた音声フレームを受信したタイミングに合わせるので、通話の回復を速やかに行うことができる。

請求項４記載に係る発明によれば、受信側の機器は、請求項１〜請求項３の効果を全て合わせ持つので、回線の復旧に対して最適な対応をとることが可能になる。

ここでは、本発明の映像音声通信システムを集合住宅用ホームオートメーションシステム（以下、マンションＨＡシステムという）に適用した場合を例にとって説明する。

図１はマンションＨＡシステムの構成を示すブロック図である。

この実施形態のマンションＨＡシステムは、各住戸に設置される住戸端末Ａ（ここではその内の一つのみを示す）と、マンションのロビーに設置されるカメラ付きのロビーインターホンＢとを備え、両者Ａ，Ｂ間が通信回線Ｌを介して互いに接続されている。

住戸端末Ａは、制御部Ａ１、インタフェイスＡ２、映像処理部Ａ３、表示部Ａ４、映像入力部Ａ５、音声処理部Ａ６、音声入出力部Ａ７、および操作部Ａ８を備えており、音声入出力部Ａ７や映像入力部Ａ５から入力された音声情報や映像情報をフレーム化したパケットをロビーインターホンＢに送信するとともに、ロビーインターホンＢから送られてきた音声情報や映像情報のパケットを受信して、これらのパケットを再生する機能を有している。

ロビーインターホンＢは、制御部Ｂ１、インタフェイスＢ２、映像処理部Ｂ３、表示部Ｂ４、映像入力部Ｂ５、音声処理部Ｂ６、音声入出力部Ｂ７、および操作部Ｂ８を備えており、音声入出力部Ｂ７や映像入力部Ｂ５から入力された音声情報や映像情報をフレーム化したパケットを住戸端末Ａに送信するとともに、住戸端末Ａから送られてきた音声情報や映像情報のパケットを受信して、これらのパケットを再生する機能を有している。

なお、上記の各制御部Ａ１，Ｂ１が特許請求の範囲における回線断線判定手段、映像再生タイミング調整手段、および音声再生タイミング調整手段に対応している。

次に、上記構成において、例えばロビーインターホンＢを送信側の機器、住戸端末Ａを受信側の機器として、ロビーインターホンＢから住戸端末Ａに向けて映像情報と音声情報とを送信する場合の動作について説明する。なお、上記の場合とは逆に住戸端末ＡからロビーインターホンＢに映像情報と音声情報を送信する場合の動作も基本的に同じである。

ロビーインターホンＢは、映像入力部Ｂ５で映像情報をキャプチャし、映像処理部Ｂ３でこの映像情報が符号化され、続いて、制御部Ｂ１で所定の形式にフレーム化される。また、音声入出力部Ｂ７から入力された音声情報は、音声処理部Ｂ６で符号化され、続いて、制御部Ｂ１で所定の形式にフレーム化される。その際、制御部Ｂ１は、同時期に発生した映像情報と音声情報には同一のフレーム番号を付与する。こうして所定の形式にフレーム化された映像情報と音声情報とは、共にパケット化されてインタフェイスから通信回線Ｌを介して住戸端末Ａに向けて送信される。

一方、住戸端末Ａは、ロビーインターホンＢから通信回線Ｌを介して送られてきた映像情報と音声情報の各パケットを共に受信すると、制御部Ａ１はこれらの情報をアンパケット化する。アンパケット化された映像情報は、映像処理部Ａ３で復号化され、表示部Ａ４に出力されて表示される。また、アンパケット化された音声情報は音声処理部Ａ６で復号化され音声入出力部Ａ７に出力再生される。

いま、外来ノイズや信号減衰等によるパケットロスや伝送エラー等が何ら発生せず、また通信回線Ｌの断線もなくて正常にパケット通信が行われている場合、住戸端末Ａの制御部Ａ１は、図２に示すように、各パケットの映像フレームと音声フレームに付された各フレーム番号を参照してフレーム周期に同期して映像情報と音声情報とをアンパケット化するので、同じフレーム番号を有する映像情報と音声情報とが同じタイミングで再生される。

次に、通信回線Ｌに断線が生じた場合において、受信側機器となる住戸端末Ａの制御部Ａ１における処理動作について、図３および図４を参照して説明する。

映像および音声の各パケットを通信中に、何らかの原因によって通信回線Ｌが断線した場合、受信側の機器となる住戸端末Ａにはパケットが受信されなくなる。制御部Ａ１は、アンパケット化した映像フレームが得られない場合には、送信側の機器となるロビーインターホンＢに対して基準となるフレーム番号を有する映像フレームの再送信要求を出す。通信アルゴリズムでは、受信側の機器から基準となるフレーム番号を有する映像フレームの送信要求が出されてから、５〜６フレーム分の期間内に送信側機器から送信された基準となるフレーム番号を有する映像フレームが受信されるようになっているが、この実施形態では、制御部Ａ１は、この基準となるフレーム番号を有する映像フレームの送信要求をロビーインターホンＢに向けて出した時点から、フレーム周期の所定回数分（例えば１０フレーム分）の期間にわたって何ら映像フレームを受信しない場合には、通信回線Ｌが断線していると判定する。

このように、住戸端末Ａの制御部Ａ１は、基準となるフレーム番号を有する映像フレームの送信要求を出した時点からフレーム周期の所定回数分の期間にわたって映像フレームを受信しない場合には通信回線の断線と判定するので、単なるパケットの欠落なのか回線が断線したのかを明確に区別することができる。このため、回線が断線しているにもかかわらず、制御部Ａ１がロビーインターホンＢに対して何度も繰り返してパケットの再送要求を出すなどの無駄な動作がなくなるため、通信時の負担が軽減され、無駄な電力消費を削減することができる。

次に、通信回線Ｌが復旧された場合の受信側機器となる住戸端末Ａの動作について図３、および図５〜図７を参照して説明する。
（ａ） 通信回線Ｌが復旧すると、映像情報のパケットが住戸端末Ａに届くようになるが、この受信したパケットをアンパケット化して得られる映像フレームが差分フレームのみの場合には映像再生ができない。そこで、制御部Ａ１は、回線復旧後は基準となるフレーム番号（本例では“２０”）を有する映像フレームの送信を要求することになる。この場合、制御部Ａ１が、回線Ｌの復旧後に直ちにロビーインターホンＢに対して基準となるフレーム番号を有する映像フレームの送信を要求すると、回線Ｌのトラフィックが生じて通信不能に陥る恐れがある。

そこで、制御部Ａ１は、回線Ｌが復旧しても基準となるフレーム番号を有する映像フレームの送信を直ちに要求することはせずに、図５に示すように、ロビーインターホンＢから基準となるフレーム番号を有する映像フレームが届くまで待ち、その間に届く差分フレームは廃棄する。そして、制御部Ａ１は、基準となるフレーム番号を有する映像フレームを受信したときに再生を開始する。

このように、回線復旧後に直ちに基準となるフレーム番号を有する映像フレームの送信を要求するのではなくて、送信側の機器から基準となるフレーム番号を有する映像フレームを受信するまで待ち、当該映像フレームを受信したときに再生を開始するので、回線復旧後の通信回線のトラフィック発生を有効に回避することができる。
（ｂ） 通信回線Ｌが復旧すると、音声情報のパケットが住戸端末Ａに届くようになるが、この受信したパケットをアンパケット化して得られる音声フレームをそのまま再生すると、映像フレームとの整合がとれなくなる。そこで、制御部Ａ１は、上記（ａ）のように回線復旧後に基準となるフレーム番号（この例では“２０”）を有する映像フレームを受信して当該映像フレームの再生を開始するタイミングになるまでは、音声フレームを廃棄して無音で再生する。そして、基準となるフレーム番号（この例では“２０”）を有する映像フレームから映像情報を再生するタイミングに合わせて同一のフレーム番号（この例では“２０”）を有する音声フレームから音声情報を再生する。

このように、回線復旧後に基準となるフレーム番号を有する映像フレームを受信して当該映像フレームの再生を開始するタイミングに合わせて同一のフレーム番号を有する音声フレームを再生し、その間に届く音声フレームは再生せずに廃棄するので、映像フレームと音声フレームの再生タイミングのずれを調整して同期再生を円滑に行うことができる。
（ｃ） 通信回線Ｌが復旧すると、音声情報のパケットが住戸端末Ａに届くようになるが、その際、復旧後に音声情報のパケットのみを通信する場合、通信アルゴリズムでは、音声情報のパケットが再生されるタイミングは１フレーム周期（３３ｍｓ）毎に設定されている。しかし、このように１フレーム周期に再生タイミングを合わせると、回線が復旧してから通話可能になる状態が遅れる。

そこで、図７に示すように、制御部Ａ１は、回線が復旧した後は音声フレームが一定のタイミングで再生できる状態であれば、フレーム周期とは無関係にロビーインターホンＢから送られてきた音声フレームを受信したタイミングに合わせて音声情報を再生する。以降もそのタイミングを保持するようにする。

このように、音声フレームのみを通信する場合、受信側の機器Ａにおいて、音声フレームの再生タイミングをフレーム周期とは無関係に送信側の機器Ｂから送られてきた音声フレームを受信したタイミングに合わせるので、通話の回復を速やかに行うことができる。

なお、上記の実施形態では、映像音声通信システムをマンションＨＡシステムに適用した場合について説明したが、本発明はこれに限定されるものではなく、映像情報と音声情報とを共に通信ネットワークを介してリアルタイムで伝送する必要がある、例えばテレビ電話システムやテレビ会議システム等のオン・デマンドの通信システムに対して広く適用することができる。

本発明の実施形態におけるマンションＨＡシステムの構成を示すブロック図である。 正常にパケット通信が行われている場合の映像情報と音声情報の通信手順を示すタイミングチャートである。 通信回線が断線し、その後に回線が復旧した場合の映像情報と音声情報の通信手順を示すタイミングチャートである。 通信回線が断線した場合の受信側機器における処理手順の説明図である。 通信回線が復旧した場合の受信側機器における映像情報の再生処理の説明図である。 通信回線が復旧した場合の受信側機器において音声情報の再生タイミングを映像情報の再生タイミングに一致させる処理の説明図である。 通信回線が復旧した場合において、音声情報のみを通信する場合の受信側機器における再生処理の説明図である。

符号の説明

Ａ 住戸端末
Ｂ カメラ付きのロビーインターホン
Ｌ 通信回線
Ａ１，Ｂ１ 制御部（回線断線判定手段、映像再生タイミング調整手段、音声再生タイミング調整手段）

Claims (5)

1. 送信側の機器は、映像情報と音声情報とをそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離して映像情報と音声情報を再生する映像音声通信システムにおいて、前記受信側の機器は、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する映像フレームの送信を要求せずに、送信側の機器から基準となるフレーム番号を有する映像フレームを受信するまで待ち、当該映像フレームを受信したときに再生を開始し、その間に届く映像フレームは廃棄する映像再生タイミング調整手段を備えることを特徴とする映像音声通信システム。
2. 送信側の機器は、映像情報と音声情報とをそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離して映像情報と音声情報を再生する映像音声通信システムにおいて、前記受信側の機器は、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する映像フレームの送信を要求せずに、送信側の機器から基準となるフレーム番号を有する映像フレームを受信するまで待ち、基準となるフレーム番号を有する映像フレームを受信した場合、当該映像フレームの再生を開始するタイミングに合わせて同一のフレーム番号を有する音声フレームを再生し、その間に届く音声フレームを廃棄する音声再生タイミング調整手段を備えることを特徴とする映像音声通信システム。
3. 送信側の機器は、映像情報と音声情報とをそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離して映像情報と音声情報を再生する映像音声通信システムにおいて、前記受信側の機器は、音声フレームのみを通信する場合、回線復旧後に直ちに予め設定されている基準となるフレーム番号を有する音声フレームの送信を要求せずに、送信側の機器から基準となるフレーム番号を有する音声フレームを受信するまで待ち、回線復旧後の音声フレームの再生タイミングを、フレーム周期とは無関係に送信側の機器から送られてきた音声フレームを受信したタイミングに合わせる音声再生タイミング調整手段を備えることを特徴とする映像音声通信システム。
4. 送信側の機器は、映像情報と音声情報とをそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離して映像情報と音声情報を再生する映像音声通信システムにおいて、前記受信側の機器は、請求項１記載の映像再生タイミング調整手段、請求項２および請求項３の音声再生タイミング調整手段の全てを備えることを特徴とする映像音声通信システム。
5. 送信側の機器は、映像情報と音声情報とをそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離して映像情報と音声情報を再生する映像音声通信システムにおいて、
   前記受信側の機器は、請求項１記載の回線断線判定手段、請求項２記載の映像再生タイミング調整手段、請求項３および請求項４の音声再生タイミング調整手段の全てを備えることを特徴とする映像音声通信システム。
   
   

Images