JP3594296B2

JP3594296B2 - Apparatus and method for transmitting encoded video data

Info

Publication number: JP3594296B2
Application number: JP2000334854A
Authority: JP
Inventors: 幸一畑; 秋弘宮崎; 康治井村; 大治井戸
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-07-24
Filing date: 2000-11-01
Publication date: 2004-11-24
Anticipated expiration: 2020-11-01
Also published as: JP2002112265A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化データの送信装置および送信方法に関し、より特定的には、一または複数の動画像符号化データを許容される伝送容量の範囲内で送信する動画像符号化データの送信装置および送信方法に関する。
【０００２】
【従来の技術】
従来から、映画やテレビ番組などの動画像データを、インターネットを介して動画像配信サーバからパーソナルコンピュータなどの動画像受信端末へ配信する技術が知られている。インターネットの伝送容量の範囲内で動画像データを配信するためには、動画像データを所定の方式で符号化し、符号化して得られた動画像符号化データを動画像の特性に応じた方式で伝送することが必要とされる。
【０００３】
例えば、図１５に示すように、動画像データの符号化方式としてＭＰＥＧ４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ４）を用い、データ伝送方式としてＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）を用いることにより、動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができる。図１５において、ＭＰＥＧ４符号化部８２は、画像データ供給部８１から供給された画像データをＭＰＥＧ４に準拠して符号化し、動画像符号化データを求める。動画像符号化データは、ビデオパケット４１の形式でＲＴＰ送信部８３に供給される。ＲＴＰ送信部８３は、ＲＴＰに準拠してビデオパケット４１を送信し、ＲＴＰ受信部８４は、ＲＴＰに準拠してビデオパケット４９を受信する。ＭＰＥＧ４復号化部８５は、受信したビデオパケット４９をＭＰＥＧ４に準拠して復号化し、画像データを再生する。再生画像は、ディスプレイ８６に表示される。
【０００４】
なお、ＭＰＥＧ４の詳細は、”ＴｅｘｔｆｏｒＣＤ１４４９６−２Ｖｉｄｅｏ”，ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１ＤｏｃｕｍｅｎｔＭＰＥＧ／Ｎ１９０２，Ｏｃｔｏｂｅｒ，１９９７．や“ＭＰＥＧ４のすべて”、三木弼一編著、工業調査会、１９９８．に、ＲＴＰの詳細は、”ＲＴＰ：ＡＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌｆｏｒＲｅａｌ−ＴｉｍｅＡｐｐｌｉｃａｔｉｏｎｓ”，Ｈ．Ｓｃｈｕｌｚｒｉｎｎｅ，Ｓ．Ｃａｓｎｅｒ，Ｒ．Ｆｒｅｄｅｒｉｋ，ａｎｄＶ．Ｊａｃｏｂｓｏｎ，ＲＦＣ１８８９，１９９６．に、それぞれ記載されている。
【０００５】
ＭＰＥＧ４では、図１６に示すように、動画像を構成する各画像ごとに画像内符号化または画像間符号化のいずれかが選択され、各画像は選択された方式で符号化される。図１６に示す例では、４枚の画像７１ａ〜ｄのうち、画像７１ａは画像内符号化され、画像７１ｂ〜ｄは画像間符号化される。画像内符号化される画像は、符号化対象とする画像だけを用いて符号化・復号化される。これに対して、画像間符号化される画像は、符号化対象とする画像に加えて、参照画像と呼ばれる画像を用いて符号化・復号化される。参照画像には、過去に復号化された画像が使用される。画像間符号化は、画像内符号化に比べて符号化効率が高いという長所を有する一方で、伝送誤りなどにより参照画像が得られない場合には復号化できないという短所を有する。
【０００６】
ＭＰＥＧ４では、各画像は、複数の画素からなるブロックに分割され、ブロック単位で符号化される。各ブロックは、ブロック内のデータのみを用いて符号化する画像内符号化、または、ブロック内のデータに加えて参照画像を用いて符号化する画像間符号化のいずれかの方式で符号化される。画像内符号化される画像（例えば、画像７１ａ）では、各ブロックは、すべて画像内符号化される。これに対して、画像間符号化される画像（例えば、画像７１ｂ）では、各ブロックは、画像内または画像間のいずれかの方式で符号化される。このように、画像間符号化された画像に含まれる画像内符号化されたブロックは、参照画像を参照することなく復号化できる。このようなブロックは、一般にリフレッシュブロックと呼ばれる。
【０００７】
このようにして得られた動画像符号化データは、画像のブロックを単位として、ビデオパケットと呼ばれるデータに分割される。図１７は、画像とビデオパケットとの対応関係を示す図である。図１７（ａ）に示す例では、１枚の画像を符号化して得られた動画像符号化データは、５個のビデオパケットに分割されている。ビデオパケットは、１個以上のブロックについての符号化データを含むことが条件とされる。したがって、ビデオパケットは、図１７（ｂ）に示すように、１ないし３個のブロックについての符号化データを含むものでもよく、図１７（ｃ）に示すように、画像のすべてのブロックについての符号化データを含むものでもよい。
【０００８】
ＲＴＰは、動画像のように実時間伝送を必要とするデータをインターネット上で伝送する方式の一つである。図１８は、ＲＴＰ伝送方式の説明図である。図１８において、ＲＴＰ送信部８３は、シリアルナンバーとタイムスタンプとを付加した後に、入力されたパケットを送信する。ＲＴＰ受信部８４は、タイムスタンプを参照して、シリアルナンバーの順に受信したパケットを出力する。この際、ＲＴＰ送信部８３は、パケットの到達を確認することなく、次々とパケットを送信する。したがって、通信ネットワーク７で輻輳や伝送誤りが発生したときには、パケットが途中で消失するパケットロスが発生する。このため、ＲＴＰでは、すべてのパケットの伝送を保証できない反面、伝送遅延によって動画像データの復号化処理が破綻することを防ぐことができる。
【０００９】
このようにＭＰＥＧ４とＲＴＰとを用いることにより、図１５に示すシステムを構成し、インターネット３を介して動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができる。この技術を用いれば、動画像受信端末２が携帯電話などの移動端末である場合にも、図１９に示すゲートウェイ４を使用することにより、動画像配信サーバ１から動画像受信端末２へ動画像データを配信することができると考えられる。
【００１０】
【発明が解決しようとする課題】
しかしながら、図１９に示す動画像符号化データ配信システムには、動画像受信端末２における再生画像の画質が著しく劣化するという問題がある。その理由は、次のとおりである。
【００１１】
図１９に示すシステムでは、インターネット３の伝送容量はビデオパケット４１のデータレートに比べて十分大きいため、動画像配信サーバ１は、伝送容量の制限を考慮することなく、すべてのビデオパケット４１を送信する。このようにしても、インターネット３では輻輳や伝送誤りが生じることがない。したがって、ゲートウェイ４が受信するビデオパケット４８は、動画像配信サーバ１が送信したビデオパケット４１に一致する。
【００１２】
次に、ゲートウェイ４は、携帯電話網５に接続された動画像受信端末２に対して、ビデオパケット４８を送信する。この際、ビデオパケット４８は、携帯電話網５に含まれる無線伝送区間６を経由して伝送される。しかし、無線伝送区間６の伝送容量がビデオパケット４８のデータレートに比べて小さい場合には、図２０（ａ）に示すように、無線伝送区間６で輻輳が生じ、予期しないパケットロスが発生する。このため、受信したビデオパケット４９に基づき画像データを再生した場合に、再生画像の画質は著しく劣化する。
【００１３】
また、無線伝送の分野では、ノイズの影響を低減させ、通信の信頼性を向上させるために、伝送容量の一部を再送用に割り当る方式が採用される場合も多い。この方式を無線伝送区間６に採用した場合、図２０（ｂ）に示すように、送信部は、以前に消失したビデオパケット４７を、再送用伝送容量８を用いて送信する。しかし、たとえビデオパケットを再送することとしても、ビデオパケット４８のデータレートが無線伝送区間６の伝送容量を越えている場合には、やがて大量にビデオパケットが再送される状態になる。このため、無線伝送区間６ではやはり輻輳が生じ、予期しないパケットロスが発生する。したがって、この方式を採用しても、再生画像の画質を改善することはできない。
【００１４】
それ故に、本発明は、再生画像の画質を大きく劣化させることなく、許容される伝送容量の範囲内で動画像符号化データを送信する、動画像符号化データの送信装置および送信方法を提供することを目的とする。
【００１５】
【課題を解決するための手段および発明の効果】
第１の発明は、動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内符号化または画像間符号化して得られた動画像符号化データを送信する動画像符号化データ送信装置であって、
動画像符号化データを画像のブロック単位で分割して得られた複数のビデオパケットの供給を受け、ビデオパケットを蓄積するパケット蓄積部と、
各ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出部と、
複数の属性値に基づき、各ビデオパケットの優先度を算出する優先度算出部と、
パケット蓄積部に蓄積されたビデオパケットのうち、優先度に基づき選択したビデオパケットを送信するパケット送信部とを備え、
属性値検出部は、
各ビデオパケットに対応した画像の符号化タイプを検出する画像符号化タイプ検出部と、
各ビデオパケットに対応した画像と当該画像よりも前にあって最も近い画像内符号化された画像との間にある画像の数を検出する画像間符号化画像数検出部と、
各ビデオパケットに含まれる画像内符号化されたブロックの数を検出する画像内符号化ブロック数検出部とを含むことを特徴とする。
【００１６】
このような第１の発明によれば、各ビデオパケットについて画像の符号化に関する複数の属性値が検出され、検出された属性値に基づき優先度が算出され、さらに、算出された優先度に基づき選択されたビデオパケットが送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、動画像符号化データを送信することができる。特に、各ビデオパケットについて、画像の符号化タイプと画像間符号化画像数と画像内符号化ブロック数とが、画像の符号化方式に関する属性値として検出されるので、これらの属性値を用いることにより、各ビデオパケットが再生画像の画質に大きな影響を与えるか否かを、効果的に判断することができる。
【００１９】
第２の発明は、第１の発明において、画像内符号化ブロック数検出部は、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と、当該ビデオパケットのサイズと、予め定めた画像内符号化されたブロックのデータサイズ及び／又は予め定めた画像間符号化されたブロックのデータサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００２０】
このような第２の発明によれば、ビデオパケットの構造から容易に得られる属性値を用いることにより、ビデオパケットを復号化することなく、画像内符号化ブロック数を簡易な処理で検出することができる。
【００２１】
第３の発明は、第１の発明において、画像内符号化ブロック数検出部は、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と当該ビデオパケットのサイズと画像内符号化された画像に含まれるブロックの平均データサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００２２】
このような第３の発明によれば、ビデオパケットの構造から容易に得られる、画像内符号化された画像に含まれるブロックの平均データサイズを用いることにより、画像内符号化ブロック数を簡易な処理で検出することができる。
【００２３】
第４の発明は、第１の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、送信されるビデオパケットのデータ量が伝送容量を越えない範囲内で、送信すべきビデオパケットを優先度に従って選択することを特徴とする。
【００２４】
このような第４の発明によれば、送信データ量が伝送容量を越えない範囲内で、優先度の高いビデオパケットを優先して選択することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００２５】
第５の発明は、第１の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、受信装置との間で折衝して定めた値であることを特徴とする。
【００２６】
このような第５の発明によれば、受信装置の特性や通信路の状態に応じて伝送容量を切り替えて、伝送容量の範囲内で動画像符号化データを送信することができる。
【００２７】
第６の発明は、第１の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、通信路の伝送容量から通信路においてビデオパケットの再送用に割り当てた伝送容量を引いた値であることを特徴とする。
【００２８】
このような第６の発明によれば、ビデオパケットの再送を考慮して伝送容量を決定し、伝送容量の範囲内で動画像符号化データを送信することができる。
【００２９】
第７の発明は、第１の発明において、動画像符号化データは、複数の動画像を個別に符号化して得られたものであることを特徴とする。
【００３０】
このような第７の発明によれば、複数の動画像に対応したビデオパケットが供給された場合でも、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００３１】
第８の発明は、第７の発明において、パケット送信部は、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、各動画像を個別に符号化したときのデータ量に応じて伝送容量を分割し、優先度と分割された伝送容量とに基づき、動画像ごとに送信すべきビデオパケットを選択することを特徴とする。
【００３２】
このような第８の発明によれば、複数の動画像に対応したビデオパケットが供給された場合には、動画像ごとに伝送容量を割り当て、動画像ごとに送信すべきビデオパケットを選択することにより、再生画像のそれぞれについて画質が大きく劣化することを防止することができる。
【００３３】
第９の発明は、動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内符号化または画像間符号化して得られた動画像符号化データを送信する動画像符号化データ送信方法であって、
動画像符号化データを画像のブロック単位で分割して得られた複数のビデオパケットの供給を受け、ビデオパケットを蓄積するパケット蓄積ステップと、
各ビデオパケットについて、画像の符号化方式に関する複数の属性値を検出する属性値検出ステップと、
複数の属性値に基づき、各ビデオパケットの優先度を算出する優先度算出ステップと、
パケット蓄積ステップにおいて蓄積されたビデオパケットのうち、優先度に基づき選択したビデオパケットを送信するパケット送信ステップとを備え、
属性値検出ステップは、
各ビデオパケットに対応した画像の符号化タイプを検出する画像符号化タイプ検出ステップと、
各ビデオパケットに対応した画像と当該画像よりも前にあって最も近い画像内符号化された画像との間にある画像の数を検出する画像間符号化画像数検出ステップと、
各ビデオパケットに含まれる画像内符号化されたブロックの数を検出する画像内符号化ブロック数検出ステップとを含むことを特徴とする。
【００３４】
このような第９の発明によれば、各ビデオパケットについて画像の符号化に関する複数の属性値が検出され、検出された属性値に基づき優先度が算出され、さらに、算出された優先度に基づき選択されたビデオパケットが送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、動画像符号化データを送信することができる。特に、各ビデオパケットについて、画像の符号化タイプと画像間符号化画像数と画像内符号化ブロック数とが、画像の符号化方式に関する属性値として検出されるので、これらの属性値を用いることにより、各ビデオパケットが再生画像の画質に大きな影響を与えるか否かを、効果的に判断することができる。
【００３７】
第１０の発明は、第９の発明において、画像内符号化ブロック数検出ステップは、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と、当該ビデオパケットのサイズと、予め定めた画像内符号化されたブロックのデータサイズ及び／又は予め定めた画像間符号化されたブロックのデータサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００３８】
このような第１０の発明によれば、ビデオパケットの構造から容易に得られる属性値を用いることにより、ビデオパケットを復号化することなく、画像内符号化ブロック数を簡易な処理で検出することができる。
【００３９】
第１１の発明は、第９の発明において、画像内符号化ブロック数検出ステップは、各ビデオパケットについて、当該ビデオパケットに含まれるブロックの数と当該ビデオパケットのサイズと画像内符号化された画像に含まれるブロックの平均データサイズとに基づき、当該ビデオパケットに含まれる画像内符号化されたブロックの数を推定することを特徴とする。
【００４０】
このような第１１の発明によれば、ビデオパケットの構造から容易に得られる、画像内符号化された画像に含まれるブロックの平均データサイズを用いることにより、画像内符号化ブロック数を簡易な処理で検出することができる。
【００４１】
第１２の発明は、第９の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、送信されるビデオパケットのデータ量が伝送容量を越えない範囲内で、送信すべきビデオパケットを優先度に従って選択することを特徴とする。
【００４２】
このような第１２の発明によれば、送信データ量が伝送容量を越えない範囲内で、優先度の高いビデオパケットを優先して選択することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４３】
第１３の発明は、第９の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、受信側との間で折衝して定めた値であることを特徴とする。
【００４４】
このような第１３の発明によれば、受信側の特性や通信路の状態に応じて伝送容量を切り替えて、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４５】
第１４の発明は、第９の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、伝送容量は、通信路の伝送容量から通信路においてビデオパケットの再送用に割り当てた伝送容量を引いた値であることを特徴とする。
【００４６】
このような第１４の発明によれば、ビデオパケットの再送を考慮して伝送容量を決定し、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４７】
第１５の発明は、第９の発明において、動画像符号化データは、複数の動画像を個別に符号化して得られたものであることを特徴とする。
【００４８】
このような第１５の発明によれば、複数の動画像に対応したビデオパケットが供給された場合でも、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００４９】
第１６の発明は、第１５の発明において、パケット送信ステップは、優先度に加え許容される伝送容量に基づきビデオパケットを選択・送信し、各動画像を個別に符号化したときのデータ量に応じて伝送容量を分割し、優先度と分割された伝送容量とに基づき、動画像ごとに送信すべきビデオパケットを選択することを特徴とする。
【００５０】
このような第１６の発明によれば、複数の動画像に対応したビデオパケットが供給された場合には、動画像ごとに伝送容量を割り当て、動画像ごとに送信すべきビデオパケットを選択することにより、再生画像のそれぞれについて画質が大きく劣化することを防止することができる。
【００５１】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１に示す動画像符号化データ送信装置１０は、画像データ供給部８１、ＭＰＥＧ４符号化部８２、ＲＴＰ送信部８３、画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、送信判定部１５、および、バッファ１６を備える。この動画像符号化データ送信装置１０は、図１５に示す動画像配信サーバ１と対比されるものである。
【００５２】
動画像符号化データ送信装置１０は、概ね次のように動作する。画像データ供給部８１は、ＭＰＥＧ４符号化部８２に対して画像データを供給する。画像データ供給部８１は、多数の動画像データを蓄積したデータサーバや、動画像データを取り込むカメラなどによって構成される。ＭＰＥＧ４符号化部８２は、供給された画像データをＭＰＥＧ４に準拠して符号化する。これにより得られた動画像符号化データは、ビデオパケット４１の形式でバッファ１６に供給される。
【００５３】
バッファ１６は、ＭＰＥＧ４符号化部８２から供給されたビデオパケット４１、各ビデオパケットの優先度５４、および、各ビデオパケットの送信マーク５５を蓄積する。優先度５４および送信マーク５５の詳細については、後述する。
【００５４】
画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、および、画像内符号化ブロック数検出部１３は、いずれも、バッファ１６に蓄積されたビデオパケット４１を参照し、各ビデオパケットの属性値を検出する。優先度算出部１４は、検出された複数の属性値に基づき、各ビデオパケットの優先度５４を算出し、バッファ１６に書き込む。送信判定部１５は、バッファ１６から読み出した優先度５４に基づき各ビデオパケット４１を送信するか否かを判定し、その結果を表す送信マーク５５をバッファ１６に書き込む。
【００５５】
バッファ１６からは、送信判定部１５において送信すべきと判定されたビデオパケット４２のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４２を受信装置（図示せず）に対して送信する。
【００５６】
次に、ビデオパケット４１について説明する。ビデオパケット４１は、ＭＰＥＧ４に準拠して符号化された動画像符号化データを分割したものである。この動画像符号化データは、動画像を構成する各画像ごとに画像内符号化または画像間符号化を選択し、画像内符号化すべき画像に含まれるすべてのブロックを画像内符号化し、画像間符号化すべき画像に含まれる各ブロックを画像内または画像間のいずれかで符号化して得られたものである。動画像符号化データは、画像単位で分割された後に、ブロック単位でパケット化されている。すなわち、動画像符号化データは、各ブロックの符号化データが複数のビデオパケットにまたがらず、かつ、各画像の最初のブロックの符号化データはビデオパケットの先頭に位置するようにパケット化される。なお、本実施形態に係るビデオパケット４１は、図１５に示した従来のシステムにおけるビデオパケット４１と同じである。
【００５７】
図２は、ビデオパケットの構成を示す図である。ビデオパケット４１は、図２に示すように、ヘッダ６１、ブロックデータ６２、および、スタッフィング６３から構成される。ブロックデータ６２は、複数のブロックについての符号化データである。スタッフィング６３は、ビデオパケット４１のサイズをバイト境界にそろえるために追加された無意味なデータである。
【００５８】
ビデオパケット４１は、画像の最初のブロックを含むか否かにより、２種類に分類される。画像の最初のブロックを含むビデオパケット４１ａのヘッダ６１ａには、図２（ａ）に示すように、ピクチャスタートコード６４やＩ−Ｐ判定情報６５などが含まれる。画像の最初のブロックを含まないビデオパケット４１ｂのヘッダ６１ｂには、図２（ｂ）に示すように、ビデオパケットスタートコード６６や開始ブロック番号６７などが含まれる。ピクチャスタートコード６４は、このビデオパケットが画像の最初のブロックを含むことを表し、ビデオパケットスタートコード６６は、このビデオパケットが画像の最初のブロックを含まないことを表す。Ｉ−Ｐ判定情報６５は、画像が画像内または画像間のいずれによって符号化されたものであるかを示す。開始ブロック番号６７は、このビデオパケットに含まれる先頭のブロックの番号を示す。
【００５９】
図３は、画像とビデオパケットとの対応関係を示す図である。図３に示す例では、１枚の画像を符号化して得られた動画像符号化データは、ブロック単位で５個のビデオパケットに分割されている。画像の最初のブロックを含む第１のビデオパケット４１ａには、Ｉ−Ｐ判定情報６５が含まれている。画像の最初のブロックを含まない第２ないし第５のビデオパケット４１ｂには、開始ブロック番号６７が含まれている。
【００６０】
次に、動画像符号化データ送信装置１０の特徴である画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部１５の詳細について説明する。
【００６１】
ＭＰＥＧ４符号化部８２から供給されたビデオパケット４１は、順に、バッファ１６に蓄積される。画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部１５は、所定のタイミングで、例えば、バッファ１６に蓄積されたビデオパケット４１の量がしきい値以上となったときに、バッファ１６に蓄積されたビデオパケット４１のうち未処理のものについて、以下の処理を行う。
【００６２】
画像符号化タイプ検出部１１は、バッファ１６に蓄積されたビデオパケット４１を参照し、このビデオパケットが画像内符号化された画像、または、画像間符号化された画像のいずれに対応するかを検出し、その結果を表す画像符号化タイプ５１を出力する。具体的には、画像符号化タイプ検出部１１は、画像の最初のブロックを含むビデオパケット４１ａが与えられたときに、Ｉ−Ｐ判定情報６５を抽出して、その値を画像符号化タイプ５１に設定すればよい。
【００６３】
画像間符号化画像数検出部１２は、バッファ１６に蓄積されたビデオパケット４１を参照し、このビデオパケットに対応した画像の画像間符号化画像数５２を求める。ここで、画像間符号化画像数とは、画像間符号化された画像について、その画像とその画像の前にあって最も近い画像内符号化された画像との間に存在する画像の数をいう。例えば、図４に示すように、４枚の画像７１ａ、７１ｂ、７１ｃおよび７１ｄがこの順序で符号化され、画像７１ａは画像内符号化され、画像７１ｂ〜ｄは画像間符号化された場合を考える。画像７１ｄと直近の画像内符号化された画像７１ａとの間には、２枚の画像が存在するので、画像７１ｄの画像間符号化画像数は、２となる。同様に、画像７１ｂおよび７１ｃの画像間符号化画像数は、それぞれ、０および１となる。また、画像７１ａは画像内符号化されているので、画像７１ａの画像間符号化画像数は定義されない。画像間符号化画像数検出部１２は、画像符号化タイプ検出部１１と同様に、ビデオパケット４１ａに含まれるＩ−Ｐ判定情報６５を用いて、画像間符号化画像数５２を求める。
【００６４】
画像内符号化ブロック数検出部１３は、バッファ１６に蓄積されたビデオパケット４１を参照して、各ブロックが画像内または画像間のいずれによって符号化されているかを検出し、画像内符号化されたブロックの数５３（以下、画像内符号化ブロック数という）を出力する。具体的には、画像内符号化ブロック数検出部１３は、各ブロックの符号化方式が判別できる程度にまでビデオパケット４１を復号化することにより、画像内符号化ブロック数５３を求める。
【００６５】
ただし、画像の最初のブロックを含まないビデオパケット４１ｂには、図３に示すように、開始ブロック番号６７が含まれている。したがって、ビデオパケット４１が画像内符号化された画像に対応する場合には、画像内符号化ブロック数検出部１３は、対象とするビデオパケットの開始ブロック番号６７と次のビデオパケットの開始ブロック番号との差を画像内符号化ブロック数５３として出力することにより、ビデオパケット４１を復号化する必要はない。この場合、画像の最初のブロックを含むビデオパケット４１ａは、開始ブロック番号６７の値が１であるとして扱えばよい。
【００６６】
優先度算出部１４は、画像符号化タイプ検出部１１と画像間符号化画像数検出部１２と画像内符号化ブロック数検出部１３とによって検出された３個の属性値に基づき、各ビデオパケット４１の優先度５４を算出する。
【００６７】
図５は、ビデオパケットの属性値と優先度との対応関係を示す図である。図５に示すように、画像符号化タイプ５１が画像内符号化であるビデオパケットには、画像符号化タイプ５１が画像間符号化であるビデオパケットに比べて、高い優先度が与えられる。また、画像符号化タイプ５１が画像間符号化である場合には、画像間符号化画像数５２が少ないビデオパケットに、高い優先度が与えられる。また、画像内符号化ブロック数５３が多いビデオパケットに、高い優先度が与えられる。このように再生画像の画質に大きな影響を与えるビデオパケットには、高い優先度が与えられる。
【００６８】
図６は、優先度算出部１４の動作を示すフローチャートである。優先度算出部１４は、まず、求めるべき優先度Ｐの値を０に初期化する（ステップＳ１０１）。次に、優先度算出部１４は、画像符号化タイプ検出部１１から画像符号化タイプ５１を受け取る（ステップＳ１０２）。次に、優先度算出部１４は、画像符号化タイプ５１が画像内符号化であればステップＳ１０４に進み、そうでなければステップＳ１０５に進む（ステップＳ１０３）。ステップＳ１０４では、優先度算出部１４は、優先度Ｐに画像符号化タイプ５１に基づく第１の優先度Ｐａ＝Ｃａを加える。ここで、Ｃａは、後述する定数である。
【００６９】
ステップＳ１０４により、画像内符号化された画像に対応したビデオパケットには高い優先度が、画像間符号化された画像に対応したビデオパケットには低い優先度が、それぞれ与えられる。例えば、図７に示すように、４枚の画像７１ａ、７１ｂ、７１ｃおよび７１ｅがこの順序で符号化され、画像７１ａと７１ｅとは画像内符号化され、画像７１ｂと７１ｃとは画像間符号化された場合を考える。この場合、画像７１ａまたは７１ｅに対応したビデオパケットには高い優先度が、画像７１ｂまたは７１ｃに対応したビデオパケットには低い優先度が、それぞれ与えられる。
【００７０】
ステップＳ１０５では、優先度算出部１４は、画像間符号化画像数検出部１２から画像間符号化画像数５２を受け取る。次に、優先度算出部１４は、優先度Ｐに画像間符号化画像数５２に基づく第２の優先度Ｐｂ＝（Ｌ−Ｎ）×Ｃｂを加える（ステップＳ１０６）。ここで、Ｎは画像間符号化画像数５２であり、ＬおよびＣｂは後述する定数である。
【００７１】
ステップＳ１０６により、ビデオパケットに対応した画像が直近の画像内符号化された画像から離れるほど、そのビデオパケットには低い優先度が与えられる。例えば、図４に示した例については、図８に示すように、画像７１ｂに対応したビデオパケットには高い優先度が、画像７１ｄに対応したビデオパケットには低い優先度が、それぞれ与えられる。また、画像７１ｃに対応したビデオパケットには、両者の中間の優先度が与えられる。
【００７２】
次に、優先度算出部１４は、画像内符号化ブロック数検出部１３から画像内符号化ブロック数５３を受け取る（ステップＳ１０７）。次に、優先度算出部１４は、優先度Ｐに画像内符号化ブロック数５３に基づく第３の優先度Ｐｃ＝Ｍ×Ｃｃを加える（ステップＳ１０８）。ここで、Ｍは画像内符号化ブロック数５３であり、Ｃｃは後述する定数である。
【００７３】
ステップＳ１０８の処理により、画像内符号化されたブロックを多く含むビデオパケットには、より高い優先度が与えられる。
【００７４】
なお、Ｌはバッファ１６内のすべてのＮよりも大きな定数、Ｃａはバッファ１６内のすべてのＰｂよりも大きな定数、Ｃｂはバッファ１６内のすべてのＰｃよりも大きな定数、Ｃｃは正の定数である。これら定数の値は、この条件を満たすように予め決めておいてもよく、バッファ１６に蓄積されたビデオパケット４１を解析した後に決めてもよい。
【００７５】
送信判定部１５は、図１０に示すフローチャートに従い、通信ネットワークの伝送容量の範囲内で、優先度５４に従って送信すべきビデオパケットを選択する。送信判定部１５は、まず、送信量Ｔの値を０に設定し（ステップＳ２０１）、処理対象のビデオパケット４１の送信マーク５５をすべてオフに設定する（ステップＳ２０２）。次に、送信判定部１５は、処理対象のビデオパケット４１の最新のタイムスタンプＴ１（秒）および最古のタイムスタンプＴ２（秒）と、通信ネットワークの伝送容量Ｒ（キロビット毎秒）とに基づき、次式（１）を用いて送信可能データ量Ｂ（バイト）を計算する（ステップＳ２０３）。
【００７６】
【数１】

【００７７】
その後、送信判定部１５は、送信すべきビデオパケットを選択する処理を繰り返す（ステップＳ２０４からＳ２０８）。具体的には、送信判定部１５は、送信マーク５５がオフであるビデオパケットのうち、優先度５４が最大であるものを検出する（ステップＳ２０４）。次に、送信判定部１５は、ステップＳ２０４で検出したビデオパケットのサイズＶを検出する（ステップＳ２０５）。次に、送信判定部１５は、ＴとＶとの和がＢ以下である場合にはステップＳ２０７に進み、それ以外の場合には処理を終了する（ステップＳ２０６）。ステップＳ２０７では、送信判定部１５は、ステップＳ２０４で検出したビデオパケットの送信マーク５５をオンに設定する。次に、送信判定部１５は、ＴにＶを加える（ステップＳ２０８）。ステップＳ２０４からＳ２０８により、送信可能データ量Ｂの範囲内で、優先度５４の順に、送信すべきビデオパケットの送信マーク５５をオンに設定したことになる。
【００７８】
また、送信判定部１５は、図１１に示すフローチャートに従い、送信すべきビデオパケットを選択してもよい。送信判定部１５は、まず、図１０のステップＳ２０１からＳ２０３と同じ処理を行い、送信量Ｔと送信マーク５５とを初期化し、送信可能データ量Ｂを計算する（ステップＳ３０１からＳ３０３）。
【００７９】
その後、送信判定部１５は、送信すべきビデオパケットを選択する処理を繰り返す（ステップＳ３０４からＳ３１０）。具体的には、送信判定部１５は、送信マーク５５がオフであるビデオパケットがあるか否かを判断し、ビデオパケットがある場合はステップＳ３０５に進み、それ以外の場合は処理を終了する（ステップＳ３０４）。次に、送信判定部１５は、送信マーク５５がオフであるビデオパケットのうち、優先度５４が最大であるものを検出し（ステップＳ３０５）、そのビデオパケットのサイズＶを検出する（ステップＳ３０６）。次に、送信判定部１５は、ＴとＶとの和がＢ以下である場合にはステップＳ３０８に進み、それ以外の場合にはステップＳ３１０に進む。
【００８０】
ＴとＶとの和がＢ以下である場合には、送信判定部１５は、検出したビデオパケットの送信マーク５５をオンに設定し（ステップＳ３０８）、ＴにＶを加えた後に、ステップＳ３０４へ戻る（ステップＳ３０９）。ＴとＶとの和がＢより大きい場合には、送信判定部１５は、検出したビデオパケットの送信マーク５５をチェック済みに設定し、ステップＳ３０４へ戻る（ステップＳ３１０）。チェック済みの送信マーク５５は、ステップＳ３０４ではオフでないとして取り扱われるものとする。ステップＳ３０４からＳ３１０により、送信可能データ量Ｂの範囲内で、優先度５４の順に、送信すべきビデオパケット４１の送信マーク５５をオンに設定したことになる。
【００８１】
なお、図１０および図１１に示すフローチャートでは、通信ネットワークの伝送容量Ｒを用いて送信可能データ量Ｂを計算しているが、これに代えて、許容される伝送容量として、受信装置との間で折衝して定めた伝送容量を用いてもよい。例えば、許容される伝送容量として、受信装置から指定された伝送容量を用いもよい。また、ビデオパケットの再送を行う方式を採用した場合には、許容される伝送容量として、通信ネットワークの伝送容量からビデオパケット再送用の伝送容量を引いた値を用いてもよい。
【００８２】
以上に示すように、本実施形態に係る動画像符号化データ送信装置は、供給された複数のビデオパケットを蓄積し、各ビデオパケットについて画像符号化タイプと画像間符号化画像数と画像内符号化ブロック数とを検出し、これらの属性値に基づき各ビデオパケットの優先度を算出した後に、蓄積したビデオパケットのうち、優先度と許容される伝送容量に従って選択したビデオパケットを送信する。これにより、画像内符号化された画像に対応したビデオパケットは、画像間符号化された画像に対応したビデオパケットよりも優先的に送信される。また、ビデオパケットに対応した画像が直近の画像内符号化された画像に近いほど、そのビデオパケットは優先的に送信される。また、画像内符号化されたブロックを多く含むビデオパケットは、優先的に送信される。したがって、再生画像の画質に大きな影響を与えるビデオパケットには高い優先度を与えて優先的に送信することにより、再生画像の画質を大きく劣化させることなく、伝送容量の範囲内で動画像符号化データを送信することができる。
【００８３】
（第２の実施形態）
図１２は、本発明の第２の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１２に示す動画像符号化データ送信装置２０は、ＲＴＰ受信部８４、ＲＴＰ送信部８３、画像符号化タイプ検出部２１、画像間符号化画像数検出部１２、画像内符号化ブロック数推定部２３、優先度算出部１４、送信判定部１５、および、バッファ１６を備える。この動画像符号化データ送信装置２０は、図１９に示すゲートウェイ４と対比されるものである。
【００８４】
ＲＴＰ受信部８４は、通信ネットワーク（図示せず）を介して、ＭＰＥＧ４に準拠して求めたビデオパケット４１を受信する。本実施形態に係るビデオパケット４１は、第１の実施形態に係るビデオパケット４１と同じ特徴を有する。
【００８５】
バッファ１６は、ＲＴＰ受信部８４から供給されたビデオパケット４１、各ビデオパケットの優先度５８、および、各ビデオパケットの送信マーク５９を蓄積する。
【００８６】
画像符号化タイプ検出部２１、画像間符号化画像数検出部１２、画像内符号化ブロック数推定部２３、優先度算出部１４、および、送信判定部１５は、第１の実施形態と同様に、所定のタイミングで、バッファ１６に蓄積されたビデオパケット４１のうち未処理のものについて処理を行う。
【００８７】
画像符号化タイプ検出部２１は、第１の実施形態に係る画像符号化タイプ検出部１１と同様に、画像符号化タイプ５１を出力する。これに加えて、画像符号化タイプ検出部２１は、画像内符号化された画像に含まれるブロックのデータサイズの平均値である画像内符号化ブロック平均データサイズ５６を出力する。
【００８８】
具体的には、画像符号化タイプ検出部２１は、画像内符号化された画像に対応したビデオパケットが入力されたときに、ビデオパケットのデータサイズＰをビデオパケットに含まれるブロック数Ｑで割った商を、画像内符号化ブロック平均データサイズ５６として出力する。あるいは、画像符号化タイプ検出部２１は、画像内符号化された画像に対応した複数のビデオパケットについて上記ＰおよびＱをそれぞれ合計し、Ｐの合計値をＱの合計値で割った商を画像内符号化ブロック平均データサイズ５６として出力してもよい。画像符号化タイプ検出部２１は、第１の実施形態に係る画像内符号化ブロック数検出部１３と同様の手法を用いて、ビデオパケット４１を復号化することなく、上記Ｑを求める。このようにして求めた画像内符号化ブロック平均データサイズ５６は、画像内符号化ブロック数推定部２３に供給される。
【００８９】
画像内符号化ブロック数推定部２３は、バッファ１６に蓄積されたビデオパケット４１のデータサイズと、このビデオパケットに含まれるブロック数とを検出する。これら２つの値は、ビデオパケット４１を復号化することなく検出できる。ビデオパケットに含まれる画像内符号化されたブロックの数Ｂｉについては、次式（２）が成立する。そこで、画像内符号化ブロック数推定部２３は、式（２）をＢｉについて解いた次式（３）を用いて、画像内符号化されたブロックの数Ｂｉを求める。
【００９０】
【数２】

【００９１】
ここで、Ｓｖは対象とするビデオパケット４１のデータサイズ、Ａは画像符号化タイプ検出部２１から供給された画像内符号化ブロック平均データサイズ５６、Ｂｖは対象ビデオパケットに含まれるブロック数、Ｒｃは画像内符号化されたブロックと画像間符号化されたブロックの符号化効率の比である。Ｒｃの値は、予め例えば、Ｒｃ＝１０のように決定しておく。このようにビデオパケット４１を復号化することなく求めた値Ｂｉは、画像内符号化ブロック数推定値５７として、優先度算出部１４に供給される。
【００９２】
画像間符号化画像数検出部１２、優先度算出部１４、および、送信判定部１５は、第１の実施形態と同様に動作する。ただし、優先度算出部１４は、第１の実施形態に係る画像内符号化ブロック数５３に代えて、画像内符号化ブロック数推定値５７を用いる。
【００９３】
バッファ１６からは、送信判定部１５において送信すべきと判定されたビデオパケット４３のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４３を受信装置（図示せず）に対して送信する。
【００９４】
以上に示すように、本実施形態に係る動画像符号化データ送信装置は、各ビデオパケットに含まれるブロックの数と、ビデオパケットのサイズと、画像内符号化されたブロックの平均データサイズとに基づき、各ビデオパケットの画像内符号化ブロック数を推定することを特徴とする。したがって、第１の実施形態に係る動画像符号化データ送信装置が奏する効果に加えて、画像内符号化ブロック数を簡易な処理で検出できるという効果を奏する。
【００９５】
なお、本実施形態では、上式（３）を用いて画像内符号化ブロック数を推定することとしたが、画像内符号化ブロック数を推定する計算式は、これに限るものではない。例えば、画像符号化タイプ検出部から供給される画像内符号化ブロック平均データサイズに代えて、予め定めた画像内符号化されたブロックのデータサイズや、予め定めた画像間符号化されたブロックのデータサイズを用いて、画像内符号化ブロック数を推定してもよい。
【００９６】
（第３の実施形態）
図１３は、本発明の第３の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。図１３に示す動画像符号化データ送信装置３０は、第１から第４のＲＴＰ受信部８４ａ〜ｄ、ＲＴＰ送信部８３、画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、送信判定部３５、および、バッファ３６を備える。この動画像符号化データ送信装置３０は、図１４に示すゲートウェイ９として使用される。
【００９７】
ＲＴＰ受信部８４ａ〜ｄは、図１４に示すように、インターネット３を介して４つの動画像配信サーバ１ａ〜ｄから、それぞれ、ビデオパケット４１ａ〜ｄを受信する。本実施形態に係るビデオパケット４１ａ〜ｄは、第１の実施形態に係るビデオパケット４１と同じ特徴を有する。
【００９８】
バッファ３６は、ＲＴＰ受信部８４ａ〜ｄから供給されたビデオパケット４１ａ〜ｄ、各ビデオパケットの優先度５４ａ〜ｄ、および、各ビデオパケットの送信マーク５５ａ〜ｄを蓄積する。ただし、図１３では、図面の簡単化のため、ビデオパケット４１ａと優先度５４ａと送信マーク５５ａのみを示している。
【００９９】
画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、優先度算出部１４、および、送信判定部３５は、第１の実施形態と同様に、所定のタイミングで、バッファ３６に蓄積されたビデオパケット４１ａ〜ｄのうち未処理のものについて処理を行う。画像符号化タイプ検出部１１、画像間符号化画像数検出部１２、画像内符号化ブロック数検出部１３、および、優先度算出部１４は、第１の実施形態と同様に動作する。これにより、ビデオパケット４１ａ〜ｄの優先度５４ａ〜ｄが求められ、バッファ３６に書き込まれる。
【０１００】
送信判定部３５は、優先度５４ａ〜ｄに基づき、通信ネットワークの伝送容量の範囲内で、送信すべきビデオパケットを選択する。送信判定部３５は、いずれのＲＴＰ受信部８４ａ〜ｄから供給されたかにかかわらず、処理対象のすべてのビデオパケットを同じように扱い、図１０または図１１に示すフローチャートに従い、送信すべきビデオパケットを選択する。この選択手法によれば、複数の動画像符号化データに対応したビデオパケットの中から、再生画像の画質に大きな影響を与えるビデオパケットを選択して送信することができる。
【０１０１】
また、送信判定部３５は、受信した動画像符号化データのデータレートの比に応じて各チャンネルに伝送容量を割り当て、チャンネルごとに送信すべきパケットを選択することとしてもよい。例えば、図１４に示すように、４種類のビデオパケット４１ａ〜ｄを携帯電話網５に中継する場合であって、ビデオパケット４１ａ〜ｄのデータレートが順に６４Ｋｂｐｓ、３２Ｋｂｐｓ、６４Ｋｂｐｓ、１２８Ｋｂｐｓである場合には、送信判定部３５は、携帯電話網５の伝送容量である６４Ｋｂｐｓを２：１：２：４の比に分割する。その後、送信判定部３５は、例えば、ビデオパケット４１ａについては、許容される伝送容量が６４Ｋｂｐｓ÷９であるとして、図１０または図１１に示すフローチャートに従い、送信すべきビデオパケットを選択する。この選択手法によれば、複数の再生画像のそれぞれについて、画質に大きな影響を与えるビデオパケットを選択して送信することができる。
【０１０２】
バッファ３６からは、送信判定部３５において送信すべきと判定されたビデオパケット４４のみが出力される。ＲＴＰ送信部８３は、ＲＴＰに準拠して、ビデオパケット４４を動画像受信端末２に対して送信する。動画像受信端末２は、ビデオパケット４４を受信し、図１４に示すように、４つの再生画面８７ａ〜ｄをディスプレイ８６に表示する。
【０１０３】
以上に示すように、本実施形態に係る動画像符号化データ送信装置は、複数の動画像に対応したビデオパケットを蓄積し、各ビデオパケットについて画像符号化タイプと画像間符号化画像数と画像内符号化ブロック数とを検出し、これらの属性値に基づき各ビデオパケットの優先度を算出した後に、蓄積したビデオパケットのうち、優先度と許容される伝送容量に従って選択したビデオパケットを送信する。したがって、複数の動画像に対応したビデオパケットが供給された場合でも、第１の実施形態に係る動画像符号化データ送信装置と同じ効果を奏することができる。また、動画像ごとに伝送容量を割り当て、動画像ごとに送信すべきビデオパケットを選択することにより、再生画像のそれぞれについて画質が大きく劣化することを防止することができる。
【０１０４】
なお、第１から第３の実施形態では、特定の構成を有する動画像符号化データ送信装置を示したが、供給されるビデオパケットは、装置の内部で生成したものでも、通信ネットワークを介して受信したものでもよい。また、ビデオパケットは、１本の動画像を符号化して得られたものでも、複数の動画像を符号化して得られたものでもよい。また、画像内符号化ブロック数は、ビデオパケットを復号化して検出したものでも、画像内符号化ブロック平均データサイズなどを用いて推定したものでもよい。
【０１０５】
また、第１から第３の実施形態では、画像の符号化タイプと画像内符号化画像数と画像間符号化ブロック数と優先度とを所定のタイミングで求めることとしたが、ビデオパケットが供給された時に、これらの値を求めることとしてもよい。
【０１０６】
また、第１から第３の実施形態では、ＭＰＥＧ４とＲＴＰとを用いた動画像符号化データ送信装置について説明したが、画像符号化方式としてＭＰＥＧ４以外の方式を用いてもよく、通信方式としてＲＴＰ以外の方式を用いてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。
【図２】ビデオパケットの構成を示す図である。
【図３】画像とビデオパケットとの対応関係を示す図である。
【図４】画像間符号化画像数の説明図である。
【図５】図１に示す動画像符号化データ送信装置における、ビデオパケットの属性値と優先度との対応関係を示す図である。
【図６】図１に示す動画像符号化データ送信装置の優先度算出部の動作を示すフローチャートである。
【図７】図１に示す動画像符号化データ送信装置における、画像符号化タイプに基づく優先度の説明図である。
【図８】図１に示す動画像符号化データ送信装置における、画像間符号化画像数に基づく優先度の説明図である。
【図９】図１に示す動画像符号化データ送信装置における、画像内符号化ブロック数に基づく優先度の説明図である。
【図１０】図１に示す動画像符号化データ送信装置の送信判定部の動作を示すフローチャートである。
【図１１】図１に示す動画像符号化データ送信装置の送信判定部の他の動作を示すフローチャートである。
【図１２】本発明の第２の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。
【図１３】本発明の第３の実施形態に係る動画像符号化データ送信装置の構成を示すブロック図である。
【図１４】図１３に示す動画像符号化データ送信装置を用いた動画像符号化データ配信システムの構成を示す図である。
【図１５】従来の動画像符号化データ配信システムの構成を示す図である。
【図１６】ＭＰＥＧ４における画像符号化タイプの説明図である。
【図１７】画像とビデオパケットとの対応関係を示す図である。
【図１８】ＲＴＰ伝送方式の説明図である。
【図１９】無線伝送を用いた、従来の動画像符号化データ配信システムの構成を示す図である。
【図２０】図１９に示す動画像符号化データ配信システムが有する問題点の説明図である。
【符号の説明】
１０、２０、３０…動画像符号化データ送信装置
１１、２１…画像符号化タイプ検出部
１２…画像間符号化画像数検出部
１３…画像内符号化ブロック数検出部
１４…優先度算出部
１５、３５…送信判定部
１６、２６、３６…バッファ
２３…画像内符号化ブロック数推定部
４１、４２、４３、４４…ビデオパケット
５１…画像符号化タイプ
５２…画像間符号化画像数
５３…画像内符号化ブロック数
５４、５８…優先度
５５、５９…送信マーク
５６…画像内符号化ブロック平均データサイズ
５７…画像内符号化ブロック数推定値
８１…画像データ供給部
８２…ＭＰＥＧ４符号化部
８３…ＲＴＰ送信部
８４…ＲＴＰ受信部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a transmission apparatus and a transmission method for moving image encoded data, and more specifically, to moving image encoded data for transmitting one or more encoded moving image data within an allowable transmission capacity. The present invention relates to a transmission device and a transmission method.
[0002]
[Prior art]
2. Description of the Related Art A technique for distributing moving image data such as a movie or a television program from a moving image distribution server to a moving image receiving terminal such as a personal computer via the Internet has been known. In order to distribute moving image data within the range of the transmission capacity of the Internet, moving image data is encoded by a predetermined method, and the encoded moving image data obtained by encoding is encoded by a method according to the characteristics of the moving image. Transmission is required.
[0003]
For example, as shown in FIG. 15, by using MPEG4 (Moving Picture Expert Group 4) as an encoding method of moving image data and using RTP (Realtime Transport Protocol) as a data transmission method, the moving image distribution server 1 can send a moving image. The moving image data can be distributed to the image receiving terminal 2. In FIG. 15, an MPEG4 encoding unit 82 encodes the image data supplied from the image data supply unit 81 in accordance with MPEG4, and obtains moving image encoded data. The encoded video data is supplied to the RTP transmission unit 83 in the form of a video packet 41. The RTP transmitting unit 83 transmits the video packet 41 according to RTP, and the RTP receiving unit 84 receives the video packet 49 according to RTP. The MPEG4 decoding unit 85 decodes the received video packet 49 according to MPEG4 and reproduces image data. The reproduced image is displayed on the display 86.
[0004]
The details of MPEG4 are described in “Text for CD 14496-2 Video”, ISO / IEC JTC1 / SC29 / WG11 Document MPEG / N1902, October, 1997. And "All about MPEG4", edited by Michi Seiichi, Industrial Research Council, 1998. For details of RTP, see “RTP: A Transport Protocol for Real-Time Applications”, H. Schulzrinne, S .; Casner, R .; Frederik, and V. Jacobson, RFC 1889, 1996. Respectively.
[0005]
In MPEG4, as shown in FIG. 16, either intra-picture coding or inter-picture coding is selected for each picture constituting a moving picture, and each picture is coded by the selected method. In the example shown in FIG. 16, among the four images 71a to 71d, the image 71a is intra-coded and the images 71b to 71d are inter-coded. An image to be intra-coded is encoded and decoded using only the image to be encoded. On the other hand, an image to be inter-coded is encoded and decoded using an image called a reference image in addition to the image to be encoded. An image decoded in the past is used as the reference image. Inter-picture coding has the advantage of higher coding efficiency than intra-picture coding, but has the disadvantage that decoding cannot be performed if a reference picture cannot be obtained due to a transmission error or the like.
[0006]
In MPEG4, each image is divided into blocks composed of a plurality of pixels, and is encoded in block units. Each block is coded by either intra-picture coding using only the data in the block or inter-picture coding using the reference picture in addition to the data in the block. You. In an image to be intra-coded (for example, the image 71a), each block is all intra-coded. On the other hand, in an image to be coded between images (for example, the image 71b), each block is coded by any method within an image or between images. As described above, the intra-coded blocks included in the inter-coded image can be decoded without referring to the reference image. Such a block is generally called a refresh block.
[0007]
The moving picture coded data thus obtained is divided into data called video packets in units of image blocks. FIG. 17 is a diagram showing the correspondence between images and video packets. In the example shown in FIG. 17A, encoded moving image data obtained by encoding one image is divided into five video packets. A video packet is supposed to include coded data for one or more blocks. Therefore, the video packet may include coded data for one to three blocks as shown in FIG. 17B, and as shown in FIG. It may include encoded data.
[0008]
RTP is a method of transmitting data that requires real-time transmission, such as a moving image, over the Internet. FIG. 18 is an explanatory diagram of the RTP transmission method. In FIG. 18, an RTP transmission unit 83 transmits an input packet after adding a serial number and a time stamp. The RTP receiving unit 84 outputs the received packets in the order of the serial number with reference to the time stamp. At this time, the RTP transmission unit 83 transmits packets one after another without confirming the arrival of the packets. Therefore, when congestion or a transmission error occurs in the communication network 7, a packet loss occurs in which the packet is lost on the way. For this reason, in RTP, transmission of all packets cannot be guaranteed, but decoding of moving image data can be prevented from being broken due to transmission delay.
[0009]
By using MPEG4 and RTP in this manner, the system shown in FIG. 15 can be configured, and moving image data can be distributed from the moving image distribution server 1 to the moving image receiving terminal 2 via the Internet 3. By using this technology, even when the moving image receiving terminal 2 is a mobile terminal such as a mobile phone, the moving image distribution server 1 sends the moving image to the moving image receiving terminal 2 by using the gateway 4 shown in FIG. It is believed that the data can be delivered.
[0010]
[Problems to be solved by the invention]
However, the moving picture coded data distribution system shown in FIG. 19 has a problem that the quality of a reproduced picture in the moving picture receiving terminal 2 is significantly deteriorated. The reason is as follows.
[0011]
In the system shown in FIG. 19, since the transmission capacity of the Internet 3 is sufficiently larger than the data rate of the video packets 41, the moving image distribution server 1 transmits all the video packets 41 without considering the limitation of the transmission capacity. I do. Even in this case, no congestion or transmission error occurs on the Internet 3. Therefore, the video packet 48 received by the gateway 4 matches the video packet 41 transmitted by the moving image distribution server 1.
[0012]
Next, the gateway 4 transmits the video packet 48 to the moving image receiving terminal 2 connected to the mobile phone network 5. At this time, the video packet 48 is transmitted via the wireless transmission section 6 included in the mobile phone network 5. However, when the transmission capacity of the wireless transmission section 6 is smaller than the data rate of the video packet 48, congestion occurs in the wireless transmission section 6 and unexpected packet loss occurs, as shown in FIG. . Therefore, when the image data is reproduced based on the received video packet 49, the image quality of the reproduced image is significantly deteriorated.
[0013]
Also, in the field of wireless transmission, a method of allocating a part of the transmission capacity for retransmission is often adopted in order to reduce the influence of noise and improve the reliability of communication. When this method is adopted for the wireless transmission section 6, as shown in FIG. 20B, the transmitting unit transmits the previously lost video packet 47 using the transmission capacity 8 for retransmission. However, even if the video packets are retransmitted, if the data rate of the video packets 48 exceeds the transmission capacity of the wireless transmission section 6, a large amount of video packets will be retransmitted. Therefore, congestion still occurs in the wireless transmission section 6, and unexpected packet loss occurs. Therefore, even if this method is adopted, the image quality of the reproduced image cannot be improved.
[0014]
Therefore, the present invention provides a moving picture encoded data transmitting apparatus and a transmitting method for transmitting moving picture encoded data within an allowable transmission capacity range without significantly deteriorating the image quality of a reproduced image. The purpose is to:
[0015]
Means for Solving the Problems and Effects of the Invention
FirstThe present invention selects intra-coding or inter-coding for each picture constituting a moving picture, and intra-codes all blocks included in the picture to be intra-coded, and selects the picture to be inter-coded. A moving image encoded data transmitting apparatus for transmitting moving image encoded data obtained by intra-image encoding or inter-image encoding of each block included in,
A packet storage unit that receives a plurality of video packets obtained by dividing the moving image encoded data in units of image blocks, and stores the video packets;
For each video packet, an attribute value detection unit that detects a plurality of attribute values related to the image encoding method,
A priority calculating unit that calculates a priority of each video packet based on the plurality of attribute values;
Of the video packets stored in the packet storage,Every timeA packet transmission unit for transmitting a video packet selected based on the,
The attribute value detector is
An image encoding type detection unit that detects an encoding type of an image corresponding to each video packet,
An inter-image coded image number detection unit that detects the number of images between the image corresponding to each video packet and the closest intra-coded image before the image,
An intra-coded block number detector for detecting the number of intra-coded blocks included in each video packet.
[0016]
The first such1According to the invention, a plurality of attribute values relating to image encoding are detected for each video packet, a priority is calculated based on the detected attribute value, and further, a video packet selected based on the calculated priority is calculated. Is sent. Therefore, by giving a high priority to a video packet which has a great influence on the image quality of the reproduced image and transmitting it preferentially, the image quality of the reproduced image is not greatly deteriorated., DynamicImage encoded data can be transmitted.In particular, for each video packet, the coding type of the image, the number of inter-coded images, and the number of intra-coded blocks are detected as attribute values related to the image coding method. Use these attribute values. Thereby, it can be effectively determined whether or not each video packet greatly affects the image quality of the reproduced image.
[0019]
No.2The invention of the1In the invention of the above, the intra-coded block number detection unit determines, for each video packet, the number of blocks included in the video packet and,The size of the video packet andThe data size of a predetermined intra-coded block and / or the data size of a predetermined inter-coded block;, The number of intra-coded blocks included in the video packet is estimated.
[0020]
The first such2According to the present invention, by using an attribute value easily obtained from the structure of a video packet, the number of intra-coded blocks can be detected by a simple process without decoding the video packet.
[0021]
No.3The invention of the1In the invention, the number-of-intra-coded blocks detection unit is configured to determine, for each video packet, the number of blocks included in the video packet, the size of the video packet, and the average data size of the blocks included in the intra-coded image. , The number of intra-coded blocks included in the video packet is estimated.
[0022]
The first such3According to the invention, by using the average data size of the blocks included in the intra-coded image, which is easily obtained from the structure of the video packet, the number of intra-coded blocks can be detected by a simple process. Can be.
[0023]
No.4In the first invention, the packet transmitting unit includes:Selects and sends video packets based on the transmission capacity allowed in addition to the priority,Video packets to be transmitted are selected according to priority within a range where the data amount of the transmitted video packets does not exceed the transmission capacity.
[0024]
The first such4According to the invention, the transmission packet amount does not exceed the transmission capacity, and the video packet having the higher priority is preferentially selected. Can transmit the moving image encoded data.
[0025]
No.5In the first invention,The packet transmission unit selects and transmits a video packet based on the transmission capacity allowed in addition to the priority,The transmission capacity is a value determined by negotiation with the receiving device.
[0026]
The first such5According to the invention, the transmission capacity is switched according to the characteristics of the receiving device and the state of the communication path, and the moving picture encoded data can be transmitted within the range of the transmission capacity.
[0027]
No.6In the first invention,The packet transmission unit selects and transmits a video packet based on the transmission capacity allowed in addition to the priority,The transmission capacity is characterized in that it is a value obtained by subtracting the transmission capacity allocated for retransmission of video packets in the communication path from the transmission capacity of the communication path.
[0028]
The first such6According to the invention, the transmission capacity is determined in consideration of the retransmission of the video packet, and the encoded video data can be transmitted within the range of the transmission capacity.
[0029]
No.7The invention of the first aspect is characterized in that, in the first aspect, the encoded moving image data is obtained by individually encoding a plurality of moving images.
[0030]
The first such7According to the invention, even when a video packet corresponding to a plurality of moving images is supplied, a video packet having a large effect on the image quality of a reproduced image is given a higher priority and transmitted preferentially, so that reproduction is performed. Moving image encoded data can be transmitted within the range of the transmission capacity without significantly deteriorating the image quality of the image.
[0031]
No.8The invention of the7In the invention of the above, the packet transmitting unit comprises:Selects and sends video packets based on the transmission capacity allowed in addition to the priority,The transmission capacity is divided according to the amount of data when each moving picture is individually encoded, and video packets to be transmitted for each moving picture are selected based on the priority and the divided transmission capacity. I do.
[0032]
The first such8According to the invention, when a video packet corresponding to a plurality of moving images is supplied, a transmission capacity is assigned to each moving image, and a video packet to be transmitted is selected for each moving image. For each of them, it is possible to prevent the image quality from being greatly deteriorated.
[0033]
NinthThe present invention selects intra-coding or inter-coding for each picture constituting a moving picture, and intra-codes all blocks included in the picture to be intra-coded, and selects the picture to be inter-coded. A video encoded data transmission method for transmitting video encoded data obtained by intra-coding or inter-coding each block included in,
A packet storage step of receiving a plurality of video packets obtained by dividing the moving image encoded data in units of image blocks and storing the video packets;
For each video packet, an attribute value detecting step of detecting a plurality of attribute values related to an image encoding method,
A priority calculating step of calculating a priority of each video packet based on the plurality of attribute values;
Of the video packets stored in the packet storage stepEvery timeTransmitting a video packet selected based on the packet transmission step.,
The attribute value detection step is
An image coding type detecting step of detecting a coding type of an image corresponding to each video packet;
An inter-image coded image number detecting step for detecting the number of images between the image corresponding to each video packet and the closest intra-coded image preceding the image,
Detecting the number of intra-coded blocks included in each video packet.
[0034]
The first such9According to the invention, a plurality of attribute values relating to image encoding are detected for each video packet, a priority is calculated based on the detected attribute value, and further, a video packet selected based on the calculated priority is calculated. Is sent. Therefore, by giving a high priority to video packets that greatly affect the image quality of the reproduced image and transmitting the packets with priority, the image quality of the reproduced image is not significantly degraded, DynamicImage encoded data can be transmitted.In particular, for each video packet, the coding type of the image, the number of inter-coded images, and the number of intra-coded blocks are detected as attribute values related to the image coding method. Use these attribute values. Thereby, it can be effectively determined whether or not each video packet greatly affects the image quality of the reproduced image.
[0037]
No.10The invention of the9In the invention, the step of detecting the number of intra-coded blocks includes, for each video packet, the number of blocks included in the video packet and,The size of the video packetAnd the data size of a predetermined intra-coded block and / or the data size of a predetermined inter-coded block, The number of intra-coded blocks included in the video packet is estimated.
[0038]
The first such10According to the present invention, by using an attribute value easily obtained from the structure of a video packet, it is possible to detect the number of coded blocks in an image by a simple process without decoding the video packet.
[0039]
No.11The invention of the9In the invention, the step of detecting the number of intra-coded blocks includes, for each video packet, the number of blocks included in the video packet, the size of the video packet, and the average data size of the blocks included in the intra-coded image. , The number of intra-coded blocks included in the video packet is estimated.
[0040]
The first such11According to the invention, by using the average data size of the blocks included in the intra-coded image, which is easily obtained from the structure of the video packet, the number of intra-coded blocks can be detected by a simple process. Can be.
[0041]
No.12The invention of the9In the invention of the first aspect, the packet transmitting step includes:Selects and sends video packets based on the transmission capacity allowed in addition to the priority,Video packets to be transmitted are selected according to priority within a range where the data amount of the transmitted video packets does not exceed the transmission capacity.
[0042]
The first such12According to the invention, the transmission packet amount does not exceed the transmission capacity, and the video packet having the higher priority is preferentially selected. Can transmit the moving image encoded data.
[0043]
No.ThirteenThe invention of the9In the invention ofThe packet transmitting step selects and transmits a video packet based on the allowable transmission capacity in addition to the priority,The transmission capacity is a value determined by negotiation with the receiving side.
[0044]
The first suchThirteenAccording to the invention, the transmission capacity is switched according to the characteristics of the receiving side and the state of the communication path, and the moving picture encoded data can be transmitted within the range of the transmission capacity.
[0045]
No.14The invention of the9In the invention ofThe packet transmitting step selects and transmits a video packet based on the allowable transmission capacity in addition to the priority,The transmission capacity is characterized in that it is a value obtained by subtracting the transmission capacity allocated for retransmission of video packets in the communication path from the transmission capacity of the communication path.
[0046]
The first such14According to the invention, the transmission capacity is determined in consideration of the retransmission of the video packet, and the encoded video data can be transmitted within the range of the transmission capacity.
[0047]
No.FifteenThe invention of the9In the invention, the moving image encoded data is obtained by individually encoding a plurality of moving images.
[0048]
The first suchFifteenAccording to the invention, even when a video packet corresponding to a plurality of moving images is supplied, a video packet having a large effect on the image quality of a reproduced image is given a higher priority and transmitted preferentially, so that reproduction is performed. Moving image encoded data can be transmitted within the range of the transmission capacity without significantly deteriorating the image quality of the image.
[0049]
No.16The invention of theFifteenIn the invention of the first aspect, the packet transmitting step includes:Selects and sends video packets based on the transmission capacity allowed in addition to the priority,The transmission capacity is divided according to the amount of data when each moving picture is individually encoded, and video packets to be transmitted for each moving picture are selected based on the priority and the divided transmission capacity. I do.
[0050]
The first such16According to the invention, when a video packet corresponding to a plurality of moving images is supplied, a transmission capacity is assigned to each moving image, and a video packet to be transmitted is selected for each moving image. For each of them, it is possible to prevent the image quality from being greatly deteriorated.
[0051]
BEST MODE FOR CARRYING OUT THE INVENTION
(1st Embodiment)
FIG. 1 is a block diagram illustrating a configuration of a coded video data transmitting apparatus according to the first embodiment of the present invention. 1 includes an image data supply section 81, an MPEG4 encoding section 82, an RTP transmission section 83, an image encoding type detection section 11, an inter-image encoded image number detection section 12, an image It includes an inner coded block number detection unit 13, a priority calculation unit 14, a transmission determination unit 15, and a buffer 16. This moving picture encoded data transmitting apparatus 10 is to be compared with the moving picture distribution server 1 shown in FIG.
[0052]
The moving picture coded data transmitting apparatus 10 operates as follows. The image data supply unit 81 supplies image data to the MPEG4 encoding unit 82. The image data supply unit 81 is configured by a data server storing a large number of moving image data, a camera for capturing the moving image data, and the like. The MPEG4 encoding unit 82 encodes the supplied image data according to MPEG4. The encoded moving image data thus obtained is supplied to the buffer 16 in the form of a video packet 41.
[0053]
The buffer 16 stores the video packets 41 supplied from the MPEG4 encoding unit 82, the priority 54 of each video packet, and the transmission mark 55 of each video packet. Details of the priority 54 and the transmission mark 55 will be described later.
[0054]
Each of the image coding type detecting unit 11, the inter-image coded image number detecting unit 12, and the intra-coded block number detecting unit 13 refers to the video packets 41 stored in the buffer 16 and Attribute value is detected. The priority calculation unit 14 calculates the priority 54 of each video packet based on the detected attribute values and writes the priority 54 to the buffer 16. The transmission determination unit 15 determines whether or not to transmit each video packet 41 based on the priority 54 read from the buffer 16, and writes a transmission mark 55 indicating the result to the buffer 16.
[0055]
From the buffer 16, only the video packet 42 determined to be transmitted by the transmission determination unit 15 is output. The RTP transmitting unit 83 transmits the video packet 42 to a receiving device (not shown) according to RTP.
[0056]
Next, the video packet 41 will be described. The video packet 41 is obtained by dividing moving image encoded data encoded according to MPEG4. This moving picture coded data selects intra-picture coding or inter-picture coding for each picture constituting a moving picture, and intra-picture codes all the blocks included in the picture to be intra-coded. Each block included in the image to be encoded is obtained by encoding either within the image or between the images. The moving image encoded data is divided into blocks and then packetized into blocks. That is, the encoded video data is packetized so that the encoded data of each block does not extend over a plurality of video packets, and the encoded data of the first block of each image is located at the beginning of the video packet. You. The video packet 41 according to the present embodiment is the same as the video packet 41 in the conventional system shown in FIG.
[0057]
FIG. 2 is a diagram showing a configuration of a video packet. As shown in FIG. 2, the video packet 41 includes a header 61, block data 62, and stuffing 63. The block data 62 is coded data for a plurality of blocks. The stuffing 63 is meaningless data added to align the size of the video packet 41 to a byte boundary.
[0058]
The video packet 41 is classified into two types depending on whether or not it includes the first block of the image. As shown in FIG. 2A, the header 61a of the video packet 41a including the first block of the image includes a picture start code 64, IP determination information 65, and the like. As shown in FIG. 2B, the header 61b of the video packet 41b not including the first block of the image includes a video packet start code 66, a start block number 67, and the like. The picture start code 64 indicates that this video packet contains the first block of the picture, and the video packet start code 66 indicates that this video packet does not contain the first block of the picture. The IP determination information 65 indicates whether the image is coded within the image or between the images. The start block number 67 indicates the number of the first block included in the video packet.
[0059]
FIG. 3 is a diagram showing the correspondence between images and video packets. In the example shown in FIG. 3, the encoded video data obtained by encoding one image is divided into five video packets in block units. The first video packet 41a including the first block of the image includes the IP determination information 65. The second to fifth video packets 41b not including the first block of the image include the start block number 67.
[0060]
Next, an image coding type detecting unit 11, an inter-image coded image number detecting unit 12, an intra-coded block number detecting unit 13, a priority calculating unit 14, which is a feature of the moving image coded data transmitting device 10, The details of the transmission determination unit 15 will be described.
[0061]
The video packets 41 supplied from the MPEG4 encoding unit 82 are sequentially stored in the buffer 16. The image coding type detecting unit 11, the inter-image coded image number detecting unit 12, the intra-coded block number detecting unit 13, the priority calculating unit 14, and the transmission determining unit 15 transmit a buffer at a predetermined timing, for example, to a buffer. When the amount of the video packets 41 stored in the buffer 16 becomes equal to or larger than the threshold value, the following processing is performed on the unprocessed video packets 41 stored in the buffer 16.
[0062]
The image coding type detection unit 11 refers to the video packet 41 stored in the buffer 16 and determines whether the video packet corresponds to an intra-coded image or an inter-coded image. Detected and outputs the image coding type 51 representing the result. Specifically, when a video packet 41a including the first block of an image is provided, the image coding type detection unit 11 extracts the IP determination information 65 and uses the extracted value as the image coding type 51. Should be set to.
[0063]
The inter-image coded image number detector 12 refers to the video packets 41 stored in the buffer 16 and obtains the inter-image coded image number 52 of the image corresponding to the video packet. Here, the number of inter-coded images is, for an inter-coded image, the number of images existing between the image and the closest intra-coded image preceding the image. Say. For example, as shown in FIG. 4, four

images

71a, 71b, 71c, and 71d are encoded in this order, the image 71a is intra-coded, and the images 71b to 71d are inter-coded. Think. Since two images exist between the image 71d and the latest intra-coded image 71a, the number of inter-coded images of the image 71d is two. Similarly, the numbers of inter-coded images of the

images

71b and 71c are 0 and 1, respectively. Further, since the image 71a is intra-coded, the number of inter-coded images of the image 71a is not defined. The inter-coded image number detecting unit 12 obtains the inter-coded image number 52 using the IP determination information 65 included in the video packet 41a, similarly to the image coding type detecting unit 11.
[0064]
The intra-coded block number detecting unit 13 refers to the video packets 41 stored in the buffer 16 to detect whether each block is coded within an image or between images, and performs intra-image coding. 53 (hereinafter referred to as the number of coded blocks in the image). More specifically, the intra-coded block number detecting unit 13 obtains the intra-coded block number 53 by decoding the video packet 41 to such an extent that the coding scheme of each block can be determined.
[0065]
However, the video packet 41b not including the first block of the image includes the start block number 67 as shown in FIG. Therefore, when the video packet 41 corresponds to the intra-coded image, the intra-coded block number detection unit 13 determines the start block number 67 of the target video packet and the start block number of the next video packet. Is output as the number 53 of intra-coded blocks, so that the video packet 41 need not be decoded. In this case, the video packet 41a including the first block of the image may be handled assuming that the value of the start block number 67 is 1.
[0066]
The priority calculating unit 14 determines each video packet based on the three attribute values detected by the image coding type detecting unit 11, the inter-coded image number detecting unit 12, and the intra-coded block number detecting unit 13. The priority 54 of the 41 is calculated.
[0067]
FIG. 5 is a diagram illustrating the correspondence between attribute values of video packets and priorities. As shown in FIG. 5, a video packet whose image coding type 51 is intra-picture coding is given higher priority than a video packet whose image coding type 51 is inter-picture coding. When the image coding type 51 is inter-picture coding, a high priority is given to a video packet having a small number of inter-picture coded pictures 52. In addition, a high priority is given to a video packet having a large number of intra-coded blocks 53. As described above, a high priority is given to a video packet which greatly affects the image quality of a reproduced image.
[0068]
FIG. 6 is a flowchart showing the operation of the priority calculation unit 14. First, the priority calculation unit 14 initializes the value of the priority P to be obtained to 0 (step S101). Next, the priority calculation unit 14 receives the image coding type 51 from the image coding type detection unit 11 (Step S102). Next, if the image coding type 51 is intra-picture coding, the priority calculation unit 14 proceeds to step S104, and otherwise proceeds to step S105 (step S103). In step S104, the priority calculation unit 14 adds the first priority Pa = Ca based on the image coding type 51 to the priority P. Here, Ca is a constant described later.
[0069]
In step S104, a high priority is given to a video packet corresponding to an intra-coded image, and a low priority is assigned to a video packet corresponding to an inter-coded image. For example, as shown in FIG. 7, four

images

71a, 71b, 71c and 71e are encoded in this order, images 71a and 71e are intra-coded, and

images

71b and 71c are inter-coded. Consider the case. In this case, a high priority is given to a video packet corresponding to the image 71a or 71e, and a low priority is given to a video packet corresponding to the

image

71b or 71c.
[0070]
In step S <b> 105, the priority calculation unit 14 receives the number 52 of inter-coded images from the inter-coded image number detection unit 12. Next, the priority calculation unit 14 adds a second priority Pb = (LN) × Cb based on the number of inter-coded images 52 to the priority P (step S106). Here, N is the number of inter-coded images 52, and L and Cb are constants described later.
[0071]
According to step S106, the farther the image corresponding to the video packet is from the most recent intra-coded image, the lower the priority is given to the video packet. For example, in the example shown in FIG. 4, as shown in FIG. 8, a high priority is given to a video packet corresponding to the image 71b, and a low priority is given to a video packet corresponding to the image 71d. The video packet corresponding to the image 71c is given an intermediate priority between the two.
[0072]
Next, the priority calculating unit 14 receives the number 53 of intra-coded blocks from the intra-coded block number detecting unit 13 (step S107). Next, the priority calculation unit 14 adds a third priority Pc = M × Cc based on the number 53 of intra-image coding blocks to the priority P (step S108). Here, M is the number 53 of intra-coded blocks, and Cc is a constant described later.
[0073]
As a result of the process in step S108, a higher priority is given to a video packet including many intra-coded blocks.
[0074]
Note that L is a constant larger than all N in the buffer 16, Ca is a constant larger than all Pb in the buffer 16, Cb is a constant larger than all Pc in the buffer 16, and Cc is a positive constant. is there. The values of these constants may be determined in advance so as to satisfy this condition, or may be determined after analyzing the video packets 41 stored in the buffer 16.
[0075]
The transmission determination unit 15 selects a video packet to be transmitted according to the priority 54 within the range of the transmission capacity of the communication network according to the flowchart shown in FIG. First, the transmission determination unit 15 sets the value of the transmission amount T to 0 (step S201), and turns off all the transmission marks 55 of the video packets 41 to be processed (step S202). Next, the transmission determination unit 15 determines, based on the latest time stamp T1 (second) and the oldest time stamp T2 (second) of the video packet 41 to be processed, and the transmission capacity R (kilobits per second) of the communication network. The transmittable data amount B (byte) is calculated using the following equation (1) (step S203).
[0076]
(Equation 1)

[0077]
Thereafter, the transmission determination unit 15 repeats the process of selecting a video packet to be transmitted (Steps S204 to S208). Specifically, the transmission determination unit 15 detects a video packet with the highest priority 54 among video packets with the transmission mark 55 turned off (Step S204). Next, the transmission determination unit 15 detects the size V of the video packet detected in step S204 (step S205). Next, when the sum of T and V is equal to or smaller than B, the transmission determination unit 15 proceeds to step S207, and otherwise ends the process (step S206). In step S207, the transmission determination unit 15 sets the transmission mark 55 of the video packet detected in step S204 to ON. Next, the transmission determination unit 15 adds V to T (Step S208). By steps S204 to S208, the transmission mark 55 of the video packet to be transmitted is set to ON in the order of the priority 54 within the range of the transmittable data amount B.
[0078]
The transmission determination unit 15 may select a video packet to be transmitted according to the flowchart shown in FIG. The transmission determination unit 15 first performs the same processing as steps S201 to S203 in FIG. 10, initializes the transmission amount T and the transmission mark 55, and calculates the transmittable data amount B (steps S301 to S303).
[0079]
Thereafter, the transmission determination unit 15 repeats the process of selecting a video packet to be transmitted (Steps S304 to S310). More specifically, the transmission determination unit 15 determines whether there is a video packet with the transmission mark 55 turned off. If there is a video packet, the process proceeds to step S305; otherwise, the process ends ( Step S304). Next, the transmission determination unit 15 detects a video packet with the highest priority 54 among video packets whose transmission mark 55 is off (step S305), and detects a size V of the video packet (step S306). . Next, the transmission determination unit 15 proceeds to step S308 when the sum of T and V is equal to or less than B, and proceeds to step S310 otherwise.
[0080]
If the sum of T and V is equal to or less than B, the transmission determination unit 15 sets the transmission mark 55 of the detected video packet to ON (step S308), adds V to T, and then proceeds to step S304. Return (step S309). If the sum of T and V is greater than B, the transmission determining unit 15 sets the transmission mark 55 of the detected video packet to “checked”, and returns to step S304 (step S310). It is assumed that the checked transmission mark 55 is handled as not being off in step S304. By steps S304 to S310, the transmission mark 55 of the video packet 41 to be transmitted is set to ON in the order of the priority 54 within the range of the transmittable data amount B.
[0081]
In the flowcharts shown in FIG. 10 and FIG. 11, the transmittable data amount B is calculated using the transmission capacity R of the communication network. Alternatively, a transmission capacity determined by negotiation may be used. For example, a transmission capacity specified by the receiving device may be used as the allowable transmission capacity. When a method of retransmitting video packets is adopted, a value obtained by subtracting the transmission capacity for retransmitting video packets from the transmission capacity of the communication network may be used as the allowable transmission capacity.
[0082]
As described above, the moving picture coded data transmitting apparatus according to the present embodiment stores a plurality of supplied video packets, and for each video packet, the image coding type, the number of inter-coded pictures, and the intra-picture code. After detecting the number of functionalized blocks and calculating the priority of each video packet based on these attribute values, the video packet selected from the stored video packets according to the priority and the allowable transmission capacity is transmitted. Thereby, the video packet corresponding to the intra-coded image is transmitted with higher priority than the video packet corresponding to the inter-coded image. In addition, the closer the image corresponding to the video packet is to the most recent intra-coded image, the more preferentially the video packet is transmitted. A video packet including many intra-coded blocks is preferentially transmitted. Therefore, video packets that greatly affect the image quality of the reproduced image are given high priority and transmitted preferentially, so that the moving image encoding can be performed within the transmission capacity without significantly deteriorating the image quality of the reproduced image. Data can be sent.
[0083]
(Second embodiment)
FIG. 12 is a block diagram illustrating a configuration of a coded video data transmitting apparatus according to the second embodiment of the present invention. The encoded video data transmitting apparatus 20 shown in FIG. 12 includes an RTP receiving unit 84, an RTP transmitting unit 83, an image encoding type detecting unit 21, an inter-image encoded image number detecting unit 12, an intra-image encoded block number estimating unit. 23, a priority calculation unit 14, a transmission determination unit 15, and a buffer 16. This moving picture encoded data transmitting apparatus 20 is to be compared with the gateway 4 shown in FIG.
[0084]
The RTP receiving unit 84 receives the video packet 41 obtained based on MPEG4 via a communication network (not shown). The video packet 41 according to the present embodiment has the same features as the video packet 41 according to the first embodiment.
[0085]
The buffer 16 stores the video packets 41 supplied from the RTP receiving unit 84, the priority 58 of each video packet, and the transmission mark 59 of each video packet.
[0086]
The image coding type detecting unit 21, the inter-coded image number detecting unit 12, the intra-coded block number estimating unit 23, the priority calculating unit 14, and the transmission determining unit 15 are the same as in the first embodiment. At a predetermined timing, processing is performed on unprocessed video packets 41 stored in the buffer 16.
[0087]
The image coding type detection unit 21 outputs the image coding type 51, similarly to the image coding type detection unit 11 according to the first embodiment. In addition to this, the image coding type detection unit 21 outputs an intra-coded block average data size 56 which is an average value of the data sizes of the blocks included in the intra-coded image.
[0088]
More specifically, when a video packet corresponding to an intra-coded image is input, the image coding type detection unit 21 divides the data size P of the video packet by the number of blocks Q included in the video packet. The quotient is output as an intra-coded block average data size 56. Alternatively, the image coding type detection unit 21 sums the above P and Q for a plurality of video packets corresponding to the intra-coded image, and divides the total value of P by the total value of Q to obtain an image. The data may be output as the inner encoded block average data size 56. The image coding type detecting unit 21 obtains the above Q without decoding the video packet 41 by using the same method as the intra-coded block number detecting unit 13 according to the first embodiment. The average intra-coded block data size 56 obtained in this way is supplied to the intra-coded block number estimator 23.
[0089]
The intra-coded block number estimating unit 23 detects the data size of the video packet 41 stored in the buffer 16 and the number of blocks included in the video packet. These two values can be detected without decoding the video packet 41. The following equation (2) holds for the number Bi of the intra-coded blocks included in the video packet. Therefore, the intra-coded block number estimating unit 23 obtains the number Bi of intra-coded blocks using the following equation (3) obtained by solving equation (2) for Bi.
[0090]
(Equation 2)

[0091]
Here, Sv is the data size of the target video packet 41, A is the average data size 56 of the intra-coded blocks supplied from the image coding type detection unit 21, Bv is the number of blocks included in the target video packet, Rc Is the ratio of the coding efficiency between the intra-coded block and the inter-coded block. The value of Rc is determined in advance, for example, as Rc = 10. The value Bi obtained without decoding the video packet 41 in this way is supplied to the priority calculation unit 14 as the estimated number 57 of intra-coded blocks.
[0092]
The inter-coded image number detector 12, the priority calculator 14, and the transmission determiner 15 operate in the same manner as in the first embodiment. However, the priority calculation unit 14 uses the estimated number of intra-coded blocks 57 instead of the number of intra-coded blocks 53 according to the first embodiment.
[0093]
From the buffer 16, only the video packet 43 determined to be transmitted by the transmission determination unit 15 is output. The RTP transmitting unit 83 transmits the video packet 43 to a receiving device (not shown) according to RTP.
[0094]
As described above, the moving picture coded data transmitting apparatus according to the present embodiment is configured to reduce the number of blocks included in each video packet, the size of the video packet, and the average data size of the intra-coded block. Based on this, the number of coded blocks in an image of each video packet is estimated. Therefore, in addition to the effect of the moving picture coded data transmitting apparatus according to the first embodiment, there is an effect that the number of intra-coded blocks can be detected by simple processing.
[0095]
Note that, in the present embodiment, the number of intra-coded blocks is estimated using the above equation (3), but the calculation formula for estimating the number of intra-coded blocks is not limited to this. For example, instead of the average intra-coded block data size supplied from the image coding type detection unit, the data size of a predetermined intra-coded block or the predetermined inter-coded block The number of intra-coded blocks may be estimated using the data size.
[0096]
(Third embodiment)
FIG. 13 is a block diagram illustrating a configuration of a moving image encoded data transmission device according to the third embodiment of the present invention. The moving image encoded data transmitting apparatus 30 illustrated in FIG. 13 includes first to fourth RTP receiving units 84a to 84d, an RTP transmitting unit 83, an image encoding type detecting unit 11, an inter-image encoded image number detecting unit 12, It includes an intra-coded block number detection unit 13, a priority calculation unit 14, a transmission determination unit 35, and a buffer 36. This moving picture coded data transmission device 30 is used as the gateway 9 shown in FIG.
[0097]
The RTP receiving units 84a to 84d receive the video packets 41a to 41d from the four moving image distribution servers 1a to 1d via the Internet 3 as shown in FIG. The video packets 41a to 41d according to the present embodiment have the same features as the video packet 41 according to the first embodiment.
[0098]
The buffer 36 stores the video packets 41a to 41d supplied from the RTP receiving units 84a to 84d, the priorities 54a to 54d of the respective video packets, and the transmission marks 55a to 55d of the respective video packets. However, FIG. 13 shows only the video packet 41a, the priority 54a, and the transmission mark 55a for simplification of the drawing.
[0099]
The image coding type detecting unit 11, the inter-coded image number detecting unit 12, the intra-coded block number detecting unit 13, the priority calculating unit 14, and the transmission determining unit 35 are the same as in the first embodiment. At a predetermined timing, an unprocessed video packet among the video packets 41a to 41d stored in the buffer 36 is processed. The image coding type detecting unit 11, the inter-coded image number detecting unit 12, the intra-coded block number detecting unit 13, and the priority calculating unit 14 operate in the same manner as in the first embodiment. Thereby, the priorities 54a to 54d of the video packets 41a to 41d are obtained and written into the buffer 36.
[0100]
The transmission determination unit 35 selects a video packet to be transmitted within the range of the transmission capacity of the communication network based on the priorities 54a to 54d. The transmission determination unit 35 treats all video packets to be processed in the same manner regardless of which RTP receiving units 84a to 84d are supplied, and according to the flowchart shown in FIG. 10 or FIG. Select According to this selection method, a video packet that greatly affects the image quality of a reproduced image can be selected and transmitted from video packets corresponding to a plurality of encoded video data.
[0101]
Further, the transmission determination unit 35 may allocate a transmission capacity to each channel according to the data rate ratio of the received encoded video data, and select a packet to be transmitted for each channel. For example, as shown in FIG. 14, when four types of video packets 41a to 41d are relayed to the mobile phone network 5, the data rates of the video packets 41a to 41d are 64Kbps, 32Kbps, 64Kbps, and 128Kbps in order. The transmission determination unit 35 divides the transmission capacity of the mobile phone network 5 of 64 Kbps into a ratio of 2: 1: 2: 4. Thereafter, the transmission determination unit 35 selects the video packet to be transmitted according to the flowchart shown in FIG. 10 or FIG. 11, for example, assuming that the allowable transmission capacity of the video packet 41a is 64 Kbpsｂ9. According to this selection method, it is possible to select and transmit a video packet that greatly affects image quality for each of a plurality of reproduced images.
[0102]
From the buffer 36, only the video packet 44 determined to be transmitted by the transmission determination unit 35 is output. The RTP transmitting unit 83 transmits the video packet 44 to the moving image receiving terminal 2 according to RTP. The moving image receiving terminal 2 receives the video packet 44 and displays four reproduction screens 87a to 87d on the display 86 as shown in FIG.
[0103]
As described above, the moving picture encoded data transmitting apparatus according to the present embodiment stores video packets corresponding to a plurality of moving pictures, and sets the image coding type, the number of inter-coded pictures, After detecting the number of inner coded blocks and calculating the priority of each video packet based on these attribute values, among the stored video packets, the video packet selected according to the priority and the allowable transmission capacity is transmitted. . Therefore, even when video packets corresponding to a plurality of moving images are supplied, the same effect as the moving image encoded data transmitting device according to the first embodiment can be obtained. Further, by allocating a transmission capacity for each moving image and selecting a video packet to be transmitted for each moving image, it is possible to prevent the image quality of each reproduced image from being significantly degraded.
[0104]
In the first to third embodiments, the moving picture coded data transmitting apparatus having a specific configuration has been described. However, the supplied video packet may be generated via the communication network even if it is generated inside the apparatus. It may be a received one. The video packet may be obtained by encoding one moving image or may be obtained by encoding a plurality of moving images. Further, the number of intra-coded blocks may be a number detected by decoding a video packet or may be estimated using an average intra-coded block data size or the like.
[0105]
In the first to third embodiments, the coding type of the image, the number of intra-coded images, the number of inter-coded blocks, and the priority are determined at predetermined timings. Then, these values may be obtained.
[0106]
In the first to third embodiments, the moving picture coded data transmitting apparatus using MPEG4 and RTP has been described. However, a method other than MPEG4 may be used as the image coding method, and the RTP may be used as the communication method. Other methods may be used.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a coded video data transmitting apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of a video packet.
FIG. 3 is a diagram illustrating a correspondence between an image and a video packet.
FIG. 4 is an explanatory diagram of the number of inter-coded images.
5 is a diagram showing a correspondence relationship between attribute values of video packets and priorities in the moving picture encoded data transmitting apparatus shown in FIG.
6 is a flowchart showing an operation of a priority calculation unit of the moving picture encoded data transmitting apparatus shown in FIG.
FIG. 7 is an explanatory diagram of priorities based on image coding types in the moving picture encoded data transmitting apparatus shown in FIG. 1;
8 is an explanatory diagram of a priority based on the number of inter-coded images in the moving picture encoded data transmitting apparatus illustrated in FIG. 1;
9 is an explanatory diagram of priorities based on the number of intra-picture encoded blocks in the moving picture encoded data transmission device shown in FIG. 1;
10 is a flowchart showing an operation of a transmission determination unit of the moving picture encoded data transmission device shown in FIG.
11 is a flowchart illustrating another operation of the transmission determination unit of the moving picture encoded data transmission device illustrated in FIG.
FIG. 12 is a block diagram illustrating a configuration of a coded video data transmitting apparatus according to a second embodiment of the present invention.
FIG. 13 is a block diagram illustrating a configuration of a coded video data transmitting apparatus according to a third embodiment of the present invention.
FIG. 14 is a diagram showing a configuration of a video encoded data distribution system using the video encoded data transmission device shown in FIG.
FIG. 15 is a diagram showing a configuration of a conventional moving picture encoded data distribution system.
FIG. 16 is an explanatory diagram of an image coding type in MPEG4.
FIG. 17 is a diagram illustrating a correspondence between an image and a video packet.
FIG. 18 is an explanatory diagram of an RTP transmission method.
FIG. 19 is a diagram illustrating a configuration of a conventional moving picture encoded data distribution system using wireless transmission.
20 is an explanatory diagram of a problem that the moving picture encoded data distribution system shown in FIG. 19 has.
[Explanation of symbols]
10, 20, 30 ... Moving picture encoded data transmitting apparatus
11, 21... Image coding type detection unit
12... Inter-image coded image number detector
13 ... Intra-picture coded block number detection unit
14 Priority calculation unit
15, 35 ... transmission determination unit
16, 26, 36 ... buffer
23 ... Intra-picture coded block number estimation unit
41, 42, 43, 44 ... Video packet
51 ... Image coding type
52: Number of inter-coded images
53: Number of coded blocks in image
54, 58 ... priority
55, 59 ... transmission mark
56: average data size of intra-coded block
57: Estimated number of intra-coded blocks
81: Image data supply unit
82: MPEG4 encoding unit
83 ... RTP transmission unit
84 ... RTP receiving unit

Claims

Intra-picture coding or inter-picture coding is selected for each picture constituting a moving picture, all blocks included in the picture to be intra-coded are intra-coded, and each block included in the picture to be inter-coded is selected. A moving picture coded data transmitting apparatus that transmits moving picture coded data obtained by intra-coding or inter-coding a block,
A packet storage unit that receives a plurality of video packets obtained by dividing the moving image encoded data in units of image blocks, and stores the video packets.
For each of the video packets, an attribute value detection unit that detects a plurality of attribute values related to an image encoding method,
A priority calculating unit that calculates a priority of each of the video packets based on the plurality of attribute values;
Of the stored video packet to the packet storage unit, and a packet transmission unit for transmitting the video packets selected based on the priority,
The attribute value detection unit,
An image encoding type detection unit that detects an encoding type of an image corresponding to each of the video packets,
An inter-image coded image number detection unit for detecting the number of images between the image corresponding to each video packet and the closest intra-coded image preceding the image,
A moving image encoded data transmitting apparatus, comprising: an intra image encoded block number detecting unit that detects the number of intra image encoded blocks included in each video packet .

The image coding block number detection unit for each said video packet, said the number of blocks included in the video packet, the size of the video packet, predetermined image data size of the encoded block and / 2. The moving image according to claim 1 , wherein the number of intra-coded blocks included in the video packet is estimated based on a predetermined data size of the inter-coded blocks. 3. Encoded data transmission device.

The intra-coded block number detector detects, for each video packet, the number of blocks included in the video packet, the size of the video packet, and the average data size of the blocks included in the intra-coded image. 2. The moving picture encoded data transmitting apparatus according to claim 1 , wherein the number of intra-coded blocks included in the video packet is estimated based on the number of blocks.

The packet transmitting unit selects and transmits a video packet based on the transmission capacity allowed in addition to the priority, and a video packet to be transmitted within a range where the data amount of the transmitted video packet does not exceed the transmission capacity. 2. The moving picture coded data transmitting apparatus according to claim 1 , wherein the selected one is selected according to the priority.

The packet transmitting unit selects and transmits a video packet based on an allowable transmission capacity in addition to the priority, and the transmission capacity is a value determined by negotiation with a receiving device. 2. The moving picture coded data transmitting apparatus according to claim 1 .

The packet transmitting unit selects and transmits a video packet based on the transmission capacity allowed in addition to the priority, and the transmission capacity is determined by the transmission capacity allocated for retransmission of the video packet on the communication path from the transmission capacity of the communication path. 2. The moving picture encoded data transmitting apparatus according to claim 1 , wherein the value is a value obtained by subtracting the capacity.

The moving image encoded data transmitting apparatus according to claim 1 , wherein the encoded moving image data is obtained by individually encoding a plurality of moving images.

The packet transmitting unit selects and transmits a video packet based on the transmission capacity allowed in addition to the priority , divides the transmission capacity according to the amount of data when each moving image is individually encoded, The moving picture coded data transmitting apparatus according to claim 7 , wherein a video packet to be transmitted is selected for each moving picture based on the priority and the divided transmission capacity.

Intra-picture coding or inter-picture coding is selected for each picture constituting a moving picture, all blocks included in the picture to be intra-coded are intra-coded, and each block included in the picture to be inter-coded is selected. A moving picture coded data transmission method for transmitting moving picture coded data obtained by intra-coding or inter-coding a block,
A packet storage step of receiving a plurality of video packets obtained by dividing the moving image encoded data in image blocks, and storing the video packets;
An attribute value detecting step of detecting, for each of the video packets, a plurality of attribute values relating to an image encoding method;
A priority calculating step of calculating a priority of each of the video packets based on the plurality of attribute values;
Of the accumulated video packets in the packet storage step, and a packet transmission step of transmitting the video packets selected based on the priority,
The attribute value detecting step includes:
An image coding type detecting step of detecting a coding type of an image corresponding to each of the video packets;
An inter-image coded image number detecting step of detecting the number of images between the image corresponding to each video packet and the closest intra-coded image preceding the image,
Detecting the number of intra-coded blocks included in each video packet by detecting the number of intra-coded blocks included in each video packet .

The image coded block number detection step, for each of said video packet, said the number of blocks included in the video packet, the size of the video packet, predetermined image data size of the encoded block and / 10. The moving picture according to claim 9 , wherein the number of intra-coded blocks included in the video packet is estimated based on a predetermined data size of the inter-coded blocks. Encoded data transmission method.

The step of detecting the number of intra-coded blocks includes, for each video packet, the number of blocks included in the video packet, the size of the video packet, and the average data size of the blocks included in the intra-coded image. 10. The moving picture encoded data transmission method according to claim 9 , wherein the number of intra-coded blocks included in the video packet is estimated based on the number of blocks.

The packet transmitting step selects and transmits a video packet based on an allowable transmission capacity in addition to the priority, and a video packet to be transmitted within a range in which a data amount of the transmitted video packet does not exceed the transmission capacity. 10. The moving image encoded data transmission method according to claim 9 , wherein the method is selected according to the priority.

The packet transmitting step selects and transmits a video packet based on an allowable transmission capacity in addition to the priority, and the transmission capacity is a value determined by negotiation with a receiving side. 10. The moving picture encoded data transmission method according to claim 9 .

The packet transmitting step selects and transmits a video packet based on an allowable transmission capacity in addition to the priority, and the transmission capacity is determined based on a transmission capacity of a communication path by a transmission allocated for retransmission of the video packet in the communication path. 10. The moving picture encoded data transmission method according to claim 9 , wherein the value is a value obtained by subtracting the capacity.

10. The moving image encoded data transmission method according to claim 9 , wherein the encoded moving image data is obtained by individually encoding a plurality of moving images.

The packet transmitting step selects and transmits a video packet based on the transmission capacity allowed in addition to the priority , divides the transmission capacity according to the data amount when each moving image is individually encoded, 16. The moving picture coded data transmission method according to claim 15 , wherein a video packet to be transmitted is selected for each moving picture based on the priority and the divided transmission capacity.