JP4952636B2 - 映像通信装置および映像通信方法 - Google Patents

Description

本発明は、例えばＭＰＥＧ−４等の符号化方式により符号化された映像を、ＲＴＰ（Real−time Transport Protocol）を用いてパケット通信する映像通信装置および映像通信方法に関する。

ＭＰＥＧ−４符号化方式で符号化されたフレームには、フレーム内予測により静止画モードで符号化されたＩフレーム（Intra Picture）と、時間的に前のフレームから動き補償フレーム間予測により符号化されたＰフレーム（Predictive Picture）が含まれている。

こうしたフレームのパケット通信時にパケット損失によってデータの一部が欠落した場合、そのまま復号化処理と画面出力処理を継続すると、対象のフレームだけではなくその後のフレームに対してエラーが波及し、次のＩフレームが到着するまで画面表示が乱れたままになり、その間、映像品質が非常に低下するという問題を生じている。

こうした問題を解消するために、次のような第１および第２の方法が考えられている（非特許文献１，２参照）。すなわち、第１の方法は、受信側でＲＴＰによりパケット損失が検出された場合、次のＩフレームが送られてくるまで映像の更新を中止し、次のＩフレームが送られてきたら映像の更新を再開する方法である。この第１の方法は最後に正常受信した映像の表示を続行する方法でもある。

また、第２の方法は、送信側では受信側からのＲＴＣＰ（RTP Control Protocol）パケットにより、受信側がパケット損失していたことが分かった場合、映像更新の再開を早めるために、次のフレームとしてＩフレームを送信する方法である。

映像通信クライアントソフトウェア（樫本晋一、江里通昭、神田智宏、東芝レビューVol.61 No.4（2006)） インテリジェントＱｏＳ（VIDEO COMMUNICATION SYSTEM-TECHNICAL DOCUMENTATION：Sony Corporation June, 2007/Ver 2.1）

前述した第１の方法の場合は、映像品質が低下するという問題がある。また、第２の方法の場合は、正常な映像を表示するまでの時間を短縮できるが、依然として正常に表示できない時間が存在するとともに、Ｉフレームは１つのフレームの伝送量が多量であることから伝送レートを一定に保持しようとすると、映像の圧縮度を高めて送信することになり、その結果、やはり映像品質が低下するという問題を生じる。

本発明は以上のような問題点に鑑みてなされたものであり、その目的とするところは、符号化されたＩフレームとＰフレームとからなる映像をパケットデータとして通信した時にパケット損失が発生した場合、映像の品質低下を抑制することを目的とする。

このような課題を解決するために本発明は、映像信号をフレーム内予測により符号化したＩフレーム（第１フレーム）と、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化したＰフレーム（第２フレーム）とを含むフレームをパケットデータとして送受信することにより映像信号の通信を行う映像通信装置において、所定の期間にＩフレームを第１通信路を介して送信した後、少なくともこのＩフレームから動き補償フレーム間予測により符号化されたフレームを含むＰフレームを順次第１通信路を介して送信する第１送信部と、所定の期間に第１送信部による第１通信路を介する前記Ｐフレームの順次送信に同期して第２通信路を介しＩフレームより時間的に１つ前のＰフレームから動き補償フレーム間予測により符号化されたフレームを含むＰフレームを順次送信する第２送信部と、第１送信部の送信に基づくフレームおよび第２送信部の送信に基づくフレームの復号化を制御する制御部とを備えたことを特徴とする。

この場合、Ｉフレームの受信エラーを検出する検出部を備え、制御部は、所定の期間中は、常時は第１送信部の送信に基づくフレームのみを受信して復号化処理する一方、検出部によりＩフレームの受信エラーが検出された場合は、第２送信部の送信に基づくフレームを受信して復号化処理するように制御する。

ここで、制御部は、所定の期間中に検出部によりＩフレームの受信エラーが検出された場合は、第１送信部によるフレームの送信を停止させるように制御することもできる。
なお、上記所定の期間は、第１送信部によるＩフレームの最初のパケットデータの送信時点から、第１送信部による前記Ｉフレームの最後のパケットデータの送信に対する受信側からの応答を受信した時点までの期間を示すラウンドトリップ時間である。

本発明によれば、所定の期間にＩフレームを第１通信路を介して送信した後、少なくともこのＩフレームから動き補償フレーム間予測により符号化されたＰフレームを第１通信路を介して送信する第１送信部と、所定の期間に第１送信部による第１通信路を介するＰフレームの送信に同期して第２通信路を介しＩフレームより時間的に１つ前のＰフレームから動き補償フレーム間予測により符号化されたＰフレームを送信する第２送信部と、第１送信部の送信に基づく第１通信路を介するフレームおよび第２送信部の送信に基づく第２通信路を介するフレームの復号化を制御する制御部とを備えるようにしたことにより、ＩフレームとＰフレームとからなる映像をパケットデータとして通信した時にＩフレームにパケット損失が発生しこれを受信できなかった場合でも、第２通信路を介して送信されるＩフレームより時間的に１つ前のＰフレームを受信して復号化処理できることから、伝送帯域の増加を最小限に留めて映像の再生が可能になり、したがって、映像の品質低下を抑制することができる。

以下、本発明について図面を参照して説明する。
図１は、本発明に係る映像通信装置の構成を示すブロック図である。本映像通信装置は図１に示すように、映像送信装置１と映像受信装置２とから構成される。

ここで、映像送信装置１は図１（ａ）に示すように、カメラ１１と、カメラ１１により撮影された画像を例えばＭＰＥＧ−４等の所定の符号化方式によりそれぞれ符号化するエンコーダ１２ａ，１２ｂと、エンコーダ１２ａ，１２ｂによりそれぞれ符号化されたデータをＲＴＰ（Real−time Transport Protocol）を用いてパケットデータとして映像受信装置２側へそれぞれ送信するＲＴＰ送信部１３ａ，１３ｂと、映像受信装置２側からのＲＴＣＰ（RTP Control Protocol）パケットを受信するＲＴＣＰ受信部１４と、ＲＴＣＰ受信部１４により受信されたＲＴＣＰパケットに基づいてエンコーダ１２ａ，１２ｂを制御するエンコーダ制御部１５とから構成される。

一方、映像受信装置２は図１（ｂ）に示すように、映像送信装置１のＲＴＰ送信部１３ａ，１３ｂからそれぞれ送信されるＲＴＰパケットを受信するＲＴＰ受信部２１ａ，２１ｂと、映像送信装置１側へＲＴＣＰパケットを送信するＲＴＣＰ送信部２２と、ＲＴＰ受信部２１ａ，２１ｂを介してＲＴＰパケットの損失を検出するとともに、ＲＴＰ受信部２１ａ，２１ｂの切替を制御する制御部２３と、ＲＴＰ受信部２１ａ，２１ｂの何れかによりＲＴＰパケットとして受信された符号化画像データを制御部２３を介して入力し画像データとして復号化処理するデコーダ２４と、デコーダ２４により復号化処理された画像データを表示する表示部２５とから構成される。

次に、以上のように構成された映像通信装置の動作の概要について説明する。
映像送信装置１では、エンコーダ制御部１５の制御のもとに、エンコーダ１２ａ，１２ｂが、カメラ１１により撮影された画像をそれぞれ所定の符号化方式に基づいて符号化している。ここで、常時は、例えばエンコーダ１２ａがカメラ１１からの画像を、１つのＩフレーム（Intra Picture）と、その後に続く複数のＰフレーム（Predictive Picture）とに符号化し、順次ＲＴＰ送信部１３ａに送って、ＲＴＰ送信部１３ａから映像受信装置２側へＲＴＰパケットとして送信させるようにしている。

この場合、映像受信装置２側では、ＲＴＰ受信部２１ａがＲＴＰ送信部１３ａからのＲＴＰパケットを受信し、ＩフレームまたはＰフレームの符号化画像データとして制御部２３を介しデコーダ２４に送る。デコーダ２４では、その符号化画像データを復号化処理して表示部２５に送り表示させる。

ここで、Ｉフレームは一般に複数のパケットデータから構成されていることから、Ｉフレームは複数回にわたってパケット送信される。そして、Ｉフレームの最初の（第１回目の）パケットデータの送信時点から、このＩフレームの最後のパケットデータの送信に対する映像受信装置２側からの応答を受信する時点までの期間を、ラウンドトリップ時間（Round-Trip Time）と定義し、このラウンドトリップ時間は映像送信装置１のエンコーダ制御部１５内に設けられたタイマに設定される。
映像送信装置１のエンコーダ制御部１５は、複数のパケットで構成されるＩフレームの全てのパケットを送信してからその応答が映像受信装置２から返ってくるまでの時間を示す前述のラウンドトリップ時間の間は、次のようなエンコーダの制御を行う。

すなわち、エンコーダ制御部１５は、まず、エンコーダ１２ａを制御してＩフレームを生成させこれを複数のパケットとしてＲＴＰ送信部１３ａから送信させる。
その後、次の送信タイミングで、エンコーダ制御部１５は、エンコーダ１２ａを制御し、上記Ｉフレームから動き補償フレーム間予測により符号化された第１のＰフレームを生成させてこれをＲＴＰ送信部１３ａから送信させるとともに、これに同期して、エンコーダ１２ｂを制御し、上記Ｉフレームの１つ前のＰフレームから動き補償フレーム間予測により符号化されたＰフレームを第２のＰフレームとして生成させてこれをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる。

そして、さらに次の送信タイミングで、エンコーダ制御部１５は、エンコーダ１２ａを制御して上記第１のＰフレームから動き補償フレーム間予測により符号化された第３のＰフレームを生成させてこれをＲＴＰ送信部１３ａから送信させるとともに、これに同期して、エンコーダ１２ｂを制御し、上記第２のＰフレームから動き補償フレーム間予測により符号化された第４のＰフレームを生成させてこれをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる。

さらに、エンコーダ制御部１５は、次の送信タイミングで、エンコーダ１２ａを制御し、上記第３のＰフレームから動き補償フレーム間予測により符号化された第５のＰフレームを生成させてこれをＲＴＰ送信部１３ａから送信させるとともに、これに同期して、エンコーダ１２ｂを制御し、上記第４のＰフレームから動き補償フレーム間予測により符号化された第６のＰフレームを生成させてこれをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる。

こうしたラウンドトリップ時間が経過すると、エンコーダ制御部１５は、再びエンコーダ１２ｂを不動作に制御し、その結果、映像送信装置１からは動作継続中のエンコーダ１２ａのみが符号化処理を行いその符号化画像データをＲＴＰ送信部１３ａから映像受信装置２側へＲＴＰパケットとして送信させる。

なお、映像受信装置２側では、映像送信装置１のＲＴＰ送信部１３ａとＲＴＰ送信部１３ｂからそれぞれＲＴＰパケットとして送信された符号化画像データをＲＴＰ受信部２１ａとＲＴＰ受信部２１ｂとでそれぞれ受信した場合、ＲＴＰ送信部１３ａから送信された符号化画像データ（Ｉフレームおよび第１，第３，第５のＰフレーム）のみをデコーダ２４により復号化処理して表示部２５に表示し、ＲＴＰ送信部１３ｂから送信された符号化画像データ（第２，第４，第６のＰフレーム）については廃棄し、画像データとして復号化処理しない。

しかし、映像受信装置２側では、映像送信装置１のＲＴＰ送信部１３ａから送信されるＩフレームのパケットがＲＴＰ受信部２１ａによって受信できずにパケット損失が発生し、Ｉフレームエラー検出となった場合は、映像送信装置１のＲＴＰ送信部１３ｂから送信されＲＴＰ受信部２１ｂで受信される前述の第２，第４，第６のＰフレームを、デコーダ２４で復号化処理し表示部２５に表示する。この場合、映像受信装置２はＲＴＣＰパケットにより“Ｉフレームエラー検出”を映像送信装置１へ通知することにより、映像送信装置１ではそのＩフレームに続くＰフレームをＲＴＰ送信部１３ａから送信させないように制御する。

このように、映像送信装置１ではラウンドトリップ時間中には、ＩフレームとそのＩフレームに続くＰフレームとをＲＴＰ送信部１３ａから映像受信装置２のＲＴＰ受信部２１ａへ送信するとともに、そのＩフレームの１つ前のＰフレームとそのＰフレームに続くＰフレームとをＲＴＰ送信部１３ｂから映像受信装置２のＲＴＰ受信部２１ｂへ送信し、映像受信装置２側ではＲＴＰ受信部２１ｂで受信したフレームは廃棄する一方、複数のパケットで構成されるＩフレームのパケット損失が発生し、Ｉフレームエラー検出となったときには、ＲＴＰ受信部２１ｂの受信フレームに基づく復号化処理を行うようにしたので、パケット損失が発生した場合でも、映像の品質低下を抑制することができる。

図２は本映像通信装置の要部動作を示すシーケンス図である。このシーケンス図にしたがって本映像通信装置の詳細な動作を説明する。

まず、図２（ａ）に示す正常時のシーケンスについて説明する。
映像送信装置１では、エンコーダ制御部１５の制御のもとに、常時は、エンコーダ１２ａがカメラ１１により撮影された画像を、１つのＩフレームと、その後に続く複数のＰフレームとに符号化し、順次ＲＴＰ送信部１３ａに送って、ＲＴＰ送信部１３ａから映像受信装置２側へＲＴＰパケットとして送信させている（ステップＳ１）。

この場合、映像受信装置２側では、ＲＴＰ受信部２１ａがＲＴＰ送信部１３ａからのＲＴＰパケットを受信し、ＩフレームまたはＰフレームの符号化画像データとして制御部２３を介しデコーダ２４に送る。デコーダ２４では、その符号化画像データを復号化処理して表示部２５に送り表示させる。

ここで、映像送信装置１のエンコーダ制御部１５は、ラウンドトリップ時間の間は、次のようなエンコーダの制御を行う。すなわち、エンコーダ制御部１５は、まず、エンコーダ１２ａを制御してＩフレームを生成させこれを１つまたは複数のパケットとしてＲＴＰ送信部１３ａから送信させる（ステップＳ２）。次に、エンコーダ制御部１５は、エンコーダ１２ａを制御して上記Ｉフレームから動き補償フレーム間予測により符号化されたＰフレームＰ１（Ｉ）を生成させてこれをＲＴＰ送信部１３ａから送信させる（ステップＳ３）とともに、これに同期して、エンコーダ１２ｂを制御して、上記Ｉフレームの１つ前のＰフレームＰ＊＊から動き補償フレーム間予測により符号化されたＰフレームＰ１’（Ｐ＊＊）を生成させ、これをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる（ステップＳ４）。

次に、エンコーダ制御部１５は、エンコーダ１２ａを制御して上記ＰフレームＰ１（Ｉ）から動き補償フレーム間予測により符号化されたＰフレームＰ２（Ｐ１）を生成させてこれをＲＴＰ送信部１３ａから送信させる（ステップＳ５）とともに、これに同期して、エンコーダ１２ｂを制御し、上記ＰフレームＰ１’（Ｐ＊＊）から動き補償フレーム間予測により符号化されたＰフレームＰ２’（Ｐ１’）を生成させてこれをＲＴＰ送信部１３から映像受信装置２側へ送信させる（ステップＳ６）。

さらに、エンコーダ制御部１５は、エンコーダ１２ａを制御して上記ＰフレームＰ２（Ｐ１）から動き補償フレーム間予測により符号化されたＰフレームＰ３（Ｐ２）を生成させてこれをＲＴＰ送信部１３ａから送信させる（ステップＳ７）とともに、これに同期して、エンコーダ１２ｂを制御し、上記ＰフレームＰ２’（Ｐ１’）から動き補償フレーム間予測により符号化されたＰフレームＰ３’（Ｐ２’）を生成させてこれをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる（ステップＳ８）。

こうしたラウンドトリップ時間が経過すると、エンコーダ制御部１５は、再びエンコーダ１２ｂを不動作に制御し、その結果、映像送信装置１からは動作継続中のエンコーダ１２ａのみが符号化処理を行いその符号化画像データ、すなわち、ＰフレームＰ３（Ｐ２）から動き補償フレーム間予測により符号化されたＰフレームＰ４（Ｐ３）、および、ＰフレームＰ４（Ｐ３）から動き補償フレーム間予測により符号化されたＰフレームＰ５（Ｐ４）をＲＴＰ送信部１３ａから映像受信装置２側へ順次ＲＴＰパケットとして送信させる（ステップＳ９，Ｓ１０）。こうした符号化されたフレームデータはデコーダ２４により復号化処理されて画像データとして表示部２５へ送られ表示される。

なお、映像受信装置２の制御部２３は、ラウンドトリップ時間中に映像送信装置１のＲＴＰ送信部１３ａとＲＴＰ送信部１３ｂとからそれぞれＲＴＰパケットとして送信された符号化画像データがＲＴＰ受信部２１ａとＲＴＰ受信部２１ｂとでそれぞれ正常に受信されている場合、ＲＴＰ受信部２１ａで受信した符号化画像データ（すなわち、ステップＳ１、Ｓ３，Ｓ５，Ｓ７でそれぞれ送信されたＩフレーム、Ｐフレーム（Ｐ１（Ｉ），Ｐ２（Ｐ１），Ｐ３（Ｐ２））のみをデコーダ２４により復号化処理させ、表示部２５に表示させるように制御し、映像送信装置１のＲＴＰ送信部１３ｂからＲＴＰパケットとして送信された符号化画像データ（すなわち、ステップＳ４，Ｓ６，Ｓ８で送信されたＰフレーム（Ｐ１’（Ｐ＊＊），Ｐ２’（Ｐ１’），Ｐ３’（Ｐ２’））をＲＴＰ受信部２１ｂで受信しても、その符号化画像データを廃棄し、画像データとして復号化処理しないように制御する。

次に、図２（ｂ）に示すエラー発生時のシーケンスについて説明する。
映像送信装置１では、エンコーダ制御部１５の制御のもとに、常時は、エンコーダ１２ａがカメラ１１により撮影された画像を、１つのＩフレームと、その後に続く複数のＰフレームとに符号化し、順次ＲＴＰ送信部１３ａに送って、ＲＴＰ送信部１３ａから映像受信装置２側へＲＴＰパケットとして送信させている（ステップＳ１１）。

この場合、映像受信装置２側では、ＲＴＰ受信部２１ａがＲＴＰ送信部１３ａからのＲＴＰパケットを受信し、ＩフレームまたはＰフレームの符号化画像データとして制御部２３を介しデコーダ２４に送る。デコーダ２４では、その符号化画像データを復号化処理して画像データとして表示部２５に送り表示させる。

ここで、映像送信装置１のエンコーダ制御部１５は、ラウンドトリップ時間の間は、まず、エンコーダ１２ａを制御してＩフレームを生成させこれを複数のパケットとしてＲＴＰ送信部１３ａから送信させる（ステップＳ１２）。次に、エンコーダ制御部１５は、エンコーダ１２ａを制御して、上記Ｉフレームから動き補償フレーム間予測により符号化されたＰフレームＰ１（Ｉ）を生成させてこれをＲＴＰ送信部１３ａから送信させる（ステップＳ１３）とともに、これにに同期して、エンコーダ１２ｂを制御し、上記Ｉフレームの１つ前のＰフレームＰ＊＊から動き補償フレーム間予測により符号化されたＰフレームＰ１’（Ｐ＊＊）を生成させてこれをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる（ステップＳ１４）。

ここで、映像送信装置１側で送信したＩフレームのパケットが映像受信装置２のＲＴＰ受信部２１ａで受信できずにパケット損失が発生し、制御部２３がＩフレーム受信エラーとして検出した場合（ステップＳ１５）は、制御部２３はＲＴＣＰ送信部２２から、“Ｉフレームエラー検出”の旨のＲＴＣＰパケットを映像送信装置１側へ送信させる（ステップＳ１６）。

このＲＴＣＰパケットは映像送信装置１のＲＴＣＰ受信部１４で受信され、エンコーダ制御部１５に通知される。エンコーダ制御部１５は、この場合、エンコーダ１２ａを不動作に制御する。その結果、映像映像送信装置１からは、以降、ラウンドトリップ時間の間は、上記ＰフレームＰ１（Ｉ）から動き補償フレーム間予測により符号化されたＰフレームＰ２（Ｐ１）等の送信は行われない。この場合、エンコーダ制御部１５はエンコーダ１２ｂを制御して、上記ＰフレームＰ１’（Ｐ＊＊）から動き補償フレーム間予測により符号化されたＰフレームＰ２’（Ｐ１’）を生成させてこれをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる（ステップＳ１７）。

また、エンコーダ制御部１５は、さらにエンコーダ１２ｂを制御して、上記ＰフレームＰ２’（Ｐ１’）から動き補償フレーム間予測により符号化されたＰフレームＰ３’（Ｐ２’）を生成させてこれをＲＴＰ送信部１３ｂから映像受信装置２側へ送信させる（ステップＳ１８）。

Ｉフレームエラー検出となった場合、映像受信装置２の制御部２３は、ＲＴＰ受信部２１ｂで受信されたフレーム、すなわち、映像送信装置１のエンコーダ１２ｂにより生成されてＲＴＰ送信部１３ｂからステップＳ１４，Ｓ１７，Ｓ１８でそれぞれ送信されたＰフレームＰ１’（Ｐ＊＊），Ｐ２’（Ｐ１’），Ｐ３’（Ｐ２’）のみをデコーダ２４に送って復号化処理させ表示部２５に表示させるように制御する。

そして、エンコーダ制御部１５はラウンドトリップ時間が経過すると、エンコーダ１２ａを再び動作させずに、次のＩフレームの送出までエンコーダ１２ｂが映像受信装置２に対して映像信号を送信する。すなわち、エンコーダ１２ｂがＰフレームＰ３’（Ｐ２’）から動き補償フレーム間予測により符号化されたＰフレームＰ４’（Ｐ３’）を生成し、さらに、ＰフレームＰ４’（Ｐ３’）から動き補償フレーム間予測により符号化されたＰフレームＰ５’（Ｐ４’）を生成してＲＴＰ送信部１３ｂから映像受信装置２側へ順次ＲＴＰパケットとして送信させる（ステップＳ１９，Ｓ２０）。このＰフレームＰ４’（Ｐ３’），Ｐ５’（Ｐ４’）は映像受信装置２で受信され、デコーダ２４により復号化処理されて表示部２５に表示される。

なお、本実施の形態では、ラウンドトリップ時間が経過すると、次のＩフレームの送出までエンコーダ１２ｂにより、ＰフレームＰ３’（Ｐ２’）から動き補償フレーム間予測により符号化されたＰフレームＰ４’（Ｐ３’）を生成させ、さらに、ＰフレームＰ４’（Ｐ３’）から動き補償フレーム間予測により符号化されたＰフレームＰ５’（Ｐ４’）を生成させてＲＴＰ送信部１３ｂから映像受信装置２側へ順次ＲＴＰパケットとして送信させているが、次のＩフレームの送信が間近に迫っている場合や、伝送帯域に余裕がある場合は、エンコーダ１２ａによりＩフレームを生成させてＲＴＰ送信部１３ａから映像受信装置２側へ送信させるように構成しても良い。

本発明の映像通信装置の構成を示すブロック図である。 本映像通信装置を構成する映像送信装置と映像受信装置との間の通信シーケンスを示す図である。

符号の説明

１…映像送信装置、２…映像受信装置、１１…カメラ、１２ａ，１２ｂ…エンコーダ、１３ａ，１３ｂ…ＲＴＰ送信部、１４…ＲＴＣＰ受信部、１５…エンコーダ制御部、２１ａ，２１ｂ…ＲＴＰ受信部、２２…ＲＴＣＰ受信部、２３…制御部、２４…デコーダ、２５…表示部。

Claims (8)

1. 映像信号をフレーム内予測により符号化した第１フレームと、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化した第２フレームとを含むフレームをパケットデータとして送受信することにより映像の通信を行う映像通信装置において、
   所定の期間に前記第１フレームを第１通信路を介して送信した後、少なくともこの第１フレームから動き補償フレーム間予測により符号化されたフレームを含む第２フレームを順次前記第１通信路を介して送信する第１送信部と、
   前記所定の期間に前記第１送信部による前記第１通信路を介する第２フレームの順次送信に同期して第２通信路を介し前記第１フレームより時間的に１つ前の第２フレームから動き補償フレーム間予測により符号化されたフレームを含む第２フレームを順次送信する第２送信部と、
   前記第１送信部の送信に基づくフレームおよび前記第２送信部の送信に基づくフレームの復号化を制御する制御部と
   を備えたことを特徴とする映像通信装置。
2. 請求項１に記載の映像通信装置において、
   前記第１フレームの受信エラーを検出する検出部を備え、
   前記制御部は、前記所定の期間中は、常時は前記第１送信部の送信に基づくフレームのみを受信して復号化処理する制御を行う一方、前記検出部により前記第１フレームの受信エラーが検出された場合は、前記第２送信部の送信に基づくフレームを受信して復号化処理する制御を行うことを特徴とする映像通信装置。
3. 請求項２に記載の映像通信装置において、
   前記制御部は、前記所定の期間中に前記検出部により前記第１フレームの受信エラーが検出された場合は、前記第１送信部によるフレームの送信を停止させるように制御することを特徴とする映像通信装置。
4. 請求項１に記載の映像通信装置において、
   １つまたは複数のパケットデータから構成される前記第１フレームは前記第１送信部により送信され、前記所定の期間は、前記第１送信部による前記第１フレームの最初のパケットデータの送信時点から、前記第１送信部による前記第１フレームの最後のパケットデータの送信に対する受信側からの応答を受信した時点までの期間を示すラウンドトリップ時間であることを特徴とする映像通信装置。
5. 映像信号をフレーム内予測により符号化した第１フレームと、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化した第２フレームとを含むフレームをパケットデータとして送受信することにより映像の通信を行う映像通信方法において、
   所定の期間に前記第１フレームを第１通信路を介して送信した後、少なくともこの第１フレームから動き補償フレーム間予測により符号化されたフレームを含む第２フレームを順次前記第１通信路を介して送信する第１送信ステップと、
   前記所定の期間に前記第１送信ステップによる前記第１通信路を介する第２フレームの順次送信に同期して第２通信路を介し前記第１フレームより時間的に１つ前の第２フレームから動き補償フレーム間予測により符号化されたフレームを含む第２フレームを順次送信する第２送信ステップと、
   前記第１送信ステップの送信に基づくフレームおよび前記第２送信ステップの送信に基づくフレームの復号化を制御する制御ステップと
   を備えたことを特徴とする映像通信方法。
6. 請求項５に記載の映像通信方法において、
   前記第１フレームの受信エラーを検出する検出ステップを有し、
   前記制御ステップは、前記所定の期間中は、常時は前記第１送信ステップの送信に基づくフレームのみを受信して復号化処理する制御を行う一方、前記検出ステップにより前記第１フレームの受信エラーが検出された場合は、前記第２送信ステップの送信に基づくフレームを受信して復号化処理する制御を行うことを特徴とする映像通信方法。
7. 請求項６に記載の映像通信方法において、
   前記制御ステップは、前記所定の期間中に前記検出ステップにより前記第１フレームの受信エラーが検出された場合は、前記第１送信ステップによるフレームの送信を停止させるように制御することを特徴とする映像通信方法。
8. 請求項５に記載の映像通信方法において、
   １つまたは複数のパケットデータから構成される前記第１フレームは前記第１送信ステップにより送信され、前記所定の期間は、前記第１送信ステップによる前記第１フレームの最初のパケットデータの送信時点から、前記第１送信ステップによる前記第１フレームの最後のパケットデータの送信に対する受信側からの応答を受信した時点までの期間を示すラウンドトリップ時間であることを特徴とする映像通信方法。

Images