JP4767334B2 - 動画像データ受信装置 - Google Patents

Description

本発明は、動画像データを受信する動画像データ受信装置に関し、特に、当該動画像データのうち、画面上において動きがある重要部分をより確実に受信することができる動画像データ受信装置に関する。

ＭＰＥＧなどの動画像符号化方式を用いる動画像通信では、通常のデータ通信や音声通信と比較して、一般的に処理負荷が高くなることが知られている。

そこで、このような高い処理負荷に起因する動画像データの伝送（処理）遅延を低減するため、様々方法が提案、実現されている。

例えば、ＭＰＥＧ−４／ＦＧＳ（Fine Granularity Scalability）に基づいて符号化されたマクロブロック単位の動画像データのヘッダ情報を当該動画像データよりも早期に生成することによって、動画像データの伝送遅延を低減する方法が開示されている（特許文献１参照）。
特開２００４−３４３５１１号公報（第１１−１３頁、第３図）

ところで、動画像データには、一般的に、画面（画像フレーム）上において動きがあり、確実に送信先に伝送することが望ましい“重要部分”と、当該重要部分以外のその他の部分とが含まれている。

しかしながら、上述した従来の方法では、“重要部分”を含むマクロブロックと、当該重要部分以外のその他の部分を含むマクロブロックとは、同様に取り扱われる。このため、重要部分を含むマクロブロックを他のマクロブロックと差別して伝送することができないといった問題があった。

すなわち、上述した従来の方法では、重要部分を含むマクロブロックを他のマクロブロックと異なる取扱いをする（例えば、重要部分を含むマクロブロックを複数回送信する）ことによって、重要部分を含むマクロブロックをより確実に受信することができないといった問題があった。

そこで、本発明は、このような状況に鑑みてなされたものであり、重要部分を含むマクロブロックをより確実に受信することができる動画像データ受信装置を提供することを目的とする。

本発明の特徴は、画像フレームが分割されたマクロブロックを含むパケットを順次受信するパケット受信部と、マクロブロックに付与されている重みを示すマクロブロック重要度を受信する重要度受信部と、前記重要度受信部が受信した複数のマクロブロックのマクロブロック重要度に基づいて、前記パケット受信部が受信できずに喪失した特定パケットに含まれるマクロブロックの特定マクロブロック重要度を決定する重要度決定部と、前記重要度決定部によって決定された特定マクロブロック重要度が所定の閾値を超える場合、前記特定パケットの再送を要求する再送要求部と、を備えることを要旨とする。

このような特徴によれば、特定マクロブロック重要度が所定の閾値を超える場合のみ、特定パケットの再送が要求される。つまり、動画像データの再生にあまり重要でないマクロブロックを含むパケットの再送が要求されないため、より高速にマクロブロックの復号処理を実行することができる。

さらに、当該パケットの再送が要求されないため、通信ネットワークを介して送受信されるパケット量を低減することができる。特に、パケットの喪失は、通信ネットワークが輻輳している場合に発生し易いため、再送するパケット数を低減することによって、通信ネットワークの輻輳の改善に寄与する。

本発明の特徴によれば、重要部分を含むマクロブロックをより確実に受信することができる動画像データ受信装置を提供することができる。

［第１実施形態］
次に、本発明の第１実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。

したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

（動画像データ伝送装置の論理ブロック構成）
図１は、本実施形態に係る動画像データ伝送装置１００の論理ブロック構成を示している。なお、以下、本発明との関連がある部分について主に説明する。したがって、動画像データ伝送装置１００は、動画像データ伝送装置１００の機能を実現する上で必須な、図示しない或いは説明を省略した論理ブロック（電源部など）を備える場合があることに留意されたい。

同図に示すように、動画像データ伝送装置１００は、有線または無線によって、通信ネットワーク１０に接続される。

通信ネットワーク１０は、動画像データ伝送装置１００によって送信された動画像データを含むＩＰパケットを伝送するための通信ネットワークである。

動画像データ伝送装置１００は、動画像データ取得部１０１、動きベクトル演算部１０３、参照画像ブロック決定部１０５、重み付与部１０７及び通信部１０９を備えている。

動画像データ取得部１０１は、動画像データを取得するものである。具体的には、動画像データ取得部１０１は、通信ネットワーク１０を介してアクセスすることができるサーバ（不図示）から、動画像データを取得することができる。

また、動画像データ取得部１０１は、記録媒体（例えば、ＤＶＤやテープ）とのアクセスインターフェースを具備し、当該記録媒体に記録されている動画像データを取得するようにしてもよい。

動きベクトル演算部１０３は、画像フレームに含まれるマクロブロック（１６画像×１６ライン）の動きベクトルを演算するものである。

具体的には、図３に示すように、動きベクトル演算部１０３は、画像フレームＦ_ｎ（第１の画像フレーム）上における参照画像要素Ｒの位置と、画像フレームＦ_ｎよりも後に再生される画像フレームＦ_ｎ＋１（第２の画像フレーム）上において参照画像要素Ｒを含むマクロブロックＭＢ（ｎ＋１，ｋ）（後方マクロブロック）の位置とに基づいて、マクロブロックＭＢ（ｎ＋１，ｋ）の動きベクトルＶ（ｎ＋１，ｋ）、つまり、画像フレーム上におけるマクロブロックＭＢ（ｎ＋１，ｋ）の移動方向と移動量を演算する。

なお、マクロブロックＭＢ（ｎ＋１，ｋ）には、参照画像要素Ｒのすべてではなく、一部が含まれる形態でもよい。

より具体的には、動きベクトル演算部１０３は、マクロブロックＭＢ（ｎ＋１，ｋ）を構成する輝度信号及び色差信号を用いて、動きベクトルＶ（ｎ＋１，ｋ）を演算する。なお、動きベクトル演算部１０３は、輝度信号または色差信号の何れかの信号を用いて、動きベクトルＶ（ｎ＋１，ｋ）を演算してもよい。

図１に示す参照画像ブロック決定部１０５は、動きベクトル演算部１０３によって演算された動きベクトルＶ（ｎ＋１，ｋ）に基づいて、参照画像要素Ｒを含む画像フレームＦ_ｎ上の領域である参照画像ブロックＳＢ（ｎ＋１，ｋ）（図４参照）を決定するものである。

具体的には、参照画像ブロック決定部１０５は、動きベクトルＶ（ｎ＋１，ｋ）に基づいて、マクロブロックと同一サイズ（１６画素×１６ライン）の参照画像ブロックＳＢ（ｎ＋１，ｋ）を決定する。

重み付与部１０７は、画像フレームＦ_ｎ上におけるマクロブロックＭＢ（ｎ，ｍ）と参照画像ブロックＳＢ（ｎ＋１，ｋ）とが画像フレームＦ上において重なる重複領域の割合に応じて、マクロブロックＭＢ（ｎ，ｍ）に重みを付与するものである。

具体的には、図５に示すように、重み付与部１０７は、マクロブロックＭＢ（ｎ，ｍ）と参照画像ブロックＳＢ（ｎ＋１，ｋ）とが画像フレームＦ上において重なる重複領域ＯＬとマクロブロックＭＢ（ｎ，ｍ）が占める領域との比率を重みとして付与する。

より具体的には、重み付与部１０７は、（式１）を用いて、重み（Ｗ_ｓ）を演算する。

ここで、ＳＢ（ｎ＋１，ｋ）∩ＭＢ（ｎ，ｍ）とは、参照画像ブロックＳＢ（ｎ＋１，ｋ）と、マクロブロックＭＢ（ｎ，ｍ）とが重なる重複領域ＯＬの面積である。

例えば，マクロブロックＭＢ（ｎ，ｋ）と参照画像ブロックＳＢ（ｎ＋１，ｋ）とが重なる場合，動きベクトルＶ（ｎ＋１，ｋ）＝（ａ，ｂ）とすると，マクロブロックＭＢ（ｎ，ｋ）の重み（Ｗ_ｓ）は，以下のように演算される。

また、重み付与部１０７は、参照画像ブロック決定部１０５によって決定された複数の参照画像ブロックを用いて、マクロブロックＭＢ（ｎ，ｍ）に付与する重みを決定することができる。

例えば、図６に示すように、参照画像ブロックＳＢ（ｎ＋１，ｉ）及び参照画像ブロックＳＢ（ｎ＋１，ｊ）の２つの参照画像ブロックがある場合、重み付与部１０７は、マクロブロックＭＢ（ｎ，ｍ）との重複領域ＯＬ１，ＯＬ２に基づいて、複数の参照画像ブロックに基づく重み（Ｗ_ｍ）を演算する。

具体的には、重み付与部１０７は、（式２）を用いて、複数の参照画像ブロックに基づく重み（Ｗ_ｍ）を演算する。

図１に示す通信部１０９は、通信ネットワーク１０と接続するための通信インターフェースを提供するものである。通信部１０９は、通信ネットワーク１０の構成によって適宜適切な通信インターフェースを具備することができる。例えば、通信部１０９は、100BASE-TXなどのＬＡＮインターフェースを具備することができる。

また、通信部１０９は、重み付与部１０７によって付与された重み（例えば、重み（Ｗ_ｓ））に基づいて、マクロブロックの伝送方法を制御するものである。本実施形態において、通信部１０９は、伝送方法制御部を構成する。

具体的には、図７（ａ）及び（ｂ）に示すように、通信部１０９は、重みの値が所定の閾値（例えば、１．０）を超える場合、通信ネットワーク１０を介して接続することができる送信先（不図示）に向けて、マクロブロックを複数回送信する。

より具体的には、通信部１０９は、送信されるＩＰパケット（パケット）に含まれる複数のマクロブロックに付与されている重みの合計が所定の閾値（例えば、１．０）を超える場合、当該ＩＰパケットを送信先に向けて複数回送信する。

また、通信部１０９は、マクロブロックに付与されている重みが、所定の閾値（例えば、０．５）を下回る場合、前記マクロブロックを送信せずに廃棄する。

さらに、図８（ａ）及び（ｂ）に示すように、通信部１０９は、送信されるＩＰパケットに含まれる複数のマクロブロックに付与されている重みの合計が所定の範囲内（例えば、０．８〜１．２）となるように、ＩＰパケットを生成することもできる。なお、通信部１０９のさらに具体的な動作については、後述する。

（動画像データ伝送装置の動作）
次に、上述した本実施形態に係る動画像データ伝送装置１００の動作について説明する。図２は、動画像データ伝送装置１００の動作フロー図である。

同図に示すように、ステップＳ１０において、動画像データ伝送装置１００は、画像フレームＦに含まれるマクロブロック（１６画像×１６ライン）の動きベクトルを演算する。

具体的には、動画像データ伝送装置１００は、上述したように、画像フレームＦ_ｎ上における参照画像要素Ｒの位置と、画像フレームＦ_ｎよりも後に再生される画像フレームＦ_ｎ＋１上において参照画像要素Ｒを含むマクロブロックＭＢ（ｎ＋１，ｋ）の位置とに基づいて、マクロブロックＭＢ（ｎ＋１，ｋ）の動きベクトルＶ（ｎ＋１，ｋ）を演算する（図３参照）。

ステップＳ２０において、動画像データ伝送装置１００は、演算した動きベクトルＶ（ｎ＋１，ｋ）に基づいて、参照画像要素Ｒを含む画像フレームＦ_ｎ上の領域である参照画像ブロックＳＢ（ｎ＋１，ｋ）を決定する（図４参照）。なお、動画像データ伝送装置１００は、ステップＳ２０において、複数の参照画像ブロックを決定することもできる。

ステップＳ３０において、動画像データ伝送装置１００は、マクロブロックＭＢ（ｎ，ｍ）と参照画像ブロックＳＢ（ｎ＋１，ｋ）とが、画像フレームＦ上において重なる重複領域の割合に応じて、マクロブロックＭＢ（ｎ，ｍ）の重みを演算する（図５及び図６参照）。

具体的には、動画像データ伝送装置１００は、上述したように、式１（または式２）を用いて、重み（Ｗ_ｓ）（または重み（Ｗ_ｍ））を演算する。

ステップＳ４０において、動画像データ伝送装置１００は、演算した重み（Ｗ_ｓ）（または重み（Ｗ_ｍ））をマクロブロックＭＢ（ｎ，ｍ）に付与する。

例えば、図７（ａ）に示すように、動画像データ伝送装置１００は、マクロブロックＭＢ１〜ＭＢ４に、演算した重み（図中の“０．２”や“０．３”など）をそれぞれ付与する。

なお、当該重みを示す情報は、マクロブロックＭＢ（ｎ，ｍ）を構成するデータフィールドの適当なビットを用いて表現すればよい。

次いで、図２に示すように、ステップＳ５０において、動画像データ伝送装置１００は、上述したステップＳ３０，Ｓ４０の処理において対象とした参照画像ブロックＳＢ（ｎ＋１，ｋ）の他に、画像フレームＦ上においてマクロブロックＭＢ（ｎ，ｍ）と重なる参照画像ブロックがあるか否かを判定する。

マクロブロックＭＢ（ｎ，ｍ）と重なる他の参照画像ブロックがある場合（ステップＳ５０のＹＥＳ）、動画像データ伝送装置１００は、ステップＳ３０からの処理を繰り返す。

マクロブロックＭＢ（ｎ，ｍ）と重なる他の参照画像ブロックがない場合（ステップＳ５０のＮＯ）、ステップＳ６０において、動画像データ伝送装置１００は、付与した重みに応じて、マクロブロックＭＢ（ｎ，ｍ）を伝送する。動画像データ伝送装置１００は、設定内容に応じて、マクロブロックＭＢ（ｎ，ｍ）をどのように伝送するかを決定する。

例えば、図７（ａ）及び（ｂ）に示すように、ＩＰパケットＰ１に含まれているマクロブロックＭＢ１〜ＭＢ４に付与された重みの合計は、“１．０”となっている。また、ＩＰパケットＰ２に含まれているマクロブロックＭＢ５〜ＭＢ８に付与された重みの合計は、“０．７”となっている。

この場合、動画像データ伝送装置１００は、ＩＰパケットＰ１のみを送信し、ＩＰパケットＰ２を送信せずに廃棄する。

また、図８（ａ）及び（ｂ）に示すように、動画像データ伝送装置１００は、送信されるＩＰパケットに含まれる複数のマクロブロックに付与されている重みの合計が所定の範囲内（例えば、０．８〜１．２）となるように、ＩＰパケットを生成することもできる。

ＩＰパケットＰ３は、“４つ”のマクロブロックＭＢ１１〜ＭＢ１４を含み、当該マクロブロックの重みの合計は、“１．０”である。

一方、ＩＰパケットＰ４は、“５つ”のマクロブロックＭＢ２１〜２５を含んでいるが、当該マクロブロックの重みの合計は、ＩＰパケットＰ３と同じ“１．０”となっている。

すなわち、動画像データ伝送装置１００は、送信されるＩＰパケットに含まれる複数のマクロブロックに付与されている重みの合計が所定の範囲内となるように、ＩＰパケットに含まれるマクロブロックの数、つまり、パケット長を調整する。

（作用・効果）
以上説明した本実施形態に係る動画像データ伝送装置１００によれば、マクロブロックＭＢ（ｎ，ｍ）と参照画像ブロックＳＢ（ｎ＋１，ｋ）とが画像フレームＦ上において重なる重複領域ＯＬの割合に応じて、マクロブロックＭＢ（ｎ，ｍ）に重み（Ｗ_ｓ）が付与される。

さらに、通信部１０９が、付与された重み（Ｗ_ｓ）に基づいてマクロブロックＭＢ（ｎ，ｍ）の伝送方法を制御、具体的には、重み（Ｗ_ｓ）が所定の閾値を超える場合、マクロブロックＭＢ（ｎ，ｍ）を複数回送信するため、重要部分を含むマクロブロックをより確実に伝送することができる。

動画像データ伝送装置１００によれば、複数の参照画像ブロック（参照画像ブロックＳＢ（ｎ＋１，ｉ），ＳＢ（ｎ＋１，ｊ））を用いて、マクロブロックＭＢ（ｎ，ｍ）に付与する重み（Ｗ_ｍ）が決定される。このため、確実に送信先に伝送することが望ましい“重要部分”を含むマクロブロック、つまり、画像フレームＦ上において動きがあるマクロブロックをさらに精度よく決定することができる。

動画像データ伝送装置１００によれば、送信されるＩＰパケット（ＩＰパケットＰ３，Ｐ４）に含まれる複数のマクロブロックに付与されている重みの合計が所定の範囲内となるように、ＩＰパケットが生成される。

このため、動画像データ伝送装置１００によって送信されたＩＰパケットが、通信ネットワーク１０上において喪失（いわゆるパケットロス）したり、エラーを含んだりしても、送信先において再生される動画像データへの影響をほぼ一定にすることができる。

すなわち、ＩＰパケットが送信先に到達せずに喪失した場合でも、動画像データの劣化の程度を一定のレベルに抑えることができる。

動画像データ伝送装置１００によれば、マクロブロックに付与されている重みが、所定の閾値を下回る場合、当該マクロブロックを送信せずに廃棄することができる。

このため、通信ネットワーク１０の通信帯域（スループット）が制限されている場合など、比較的重みの低いマクロブロックを削除することによって、画質を大きく劣化させることなく、通信ネットワーク１０の通信帯域に応じた動画像データの伝送を実現することができる。

（変更例）
上述した本実施形態では、マクロブロックに付与された重みに基づいて、マクロブロックの伝送方法を制御する例を説明したが、当該伝送方法は、上述の実施形態に限定されるものではない。

例えば、マクロブロックに付与された重みに基づいて、ＩＰパケットの送信について優先制御などのＱｏＳ制御を実行してもよい。

また、上述した本発明の実施形態では、（式１）を用いて求められる重複領域ＯＬとマクロブロックＭＢ（ｎ，ｍ）が占める領域との比率を重みとして用いたが、重複領域ＯＬとマクロブロックＭＢ（ｎ，ｍ）が占める領域との比率が求められる式であれば、（式１）と異なる式を用いてもよい。

さらに、マクロブロックに付与される重みの演算方法は、以下のように変更することができる。

図９（ａ）及び（ｂ）は、画像フレームＦ_ｎと、画像フレームＦ_ｎよりも後に再生される画像フレームＦ_ｎ＋１に含まれるマクロブロックをそれぞれ示している。ここでは、画像フレームＦ_ｎに含まれるマクロブロックをＡ〜Ｉとし、画像フレームＦ_ｎ＋１に含まれるマクロブロックをａ〜ｉとする。

図１０は、図９（ｂ）に示したマクロブロックａ〜ｉの動きベクトルに基づいて決定された参照画像ブロックＳＢａ〜ＳＢｉを示している。

動画像データ伝送装置１００は、図９（ａ）に示した画像フレームＦ_ｎ上におけるマクロブロックＡ〜Ｉと、図１０に示した参照画像ブロックＳＢａ〜ＳＢｉとが重なる重複領域の割合に基づいて、マクロブロックＡ〜Ｉに付与する重みを演算する。

例えば、動画像データ伝送装置１００は、（式３）を用いて、画像フレームＦ_ｎのほぼ中央に位置するマクロブロックＥ（ＭＢ（Ｅ））の重みＷ_Ｅを演算する。

ここで、例えば、ＭＢ（Ｅ）∩ＳＢ（ａ）とは、マクロブロックＡと、参照画像ブロックＳＢａとが重なる重複領域の面積である。また、ｗ_ａ〜ｗ_ｉは、動画像データ伝送装置１００が取り扱う動画像データの内容などによって、任意の値に設定することができる。

（式３）を用いたマクロブロックの重みの演算によれば、例えば、マクロブロックＥの上下方向に位置するマクロブロックＡ，Ｂ，Ｃ，Ｇ，Ｈ，Ｉ用として用いられるｗ_ａ，ｗ_ｂ，ｗ_ｃ，ｗ_ｇ，ｗ_ｈ，ｗ_ｉの値を大きくすることによって、当該マクロブロックを他のマクロブロックよりも優先的に伝送することができる。

さらに、画像フレームＦ_ｎ＋１よりも後に再生される画像フレーム（例えば、２〜３画像フレーム先まで）を対象として重みを演算し、当該重みをｗ_ａ〜ｗ_ｉに反映するようにしてもよい。

このような方法によれば、現在の画像フレームから数フレーム先の画像フレームの状態を反映したマクロブロックへの重みの付与が可能となる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。本実施形態では、マクロブロックの重みをさらに有効に活用して、“重要部分”を含むマクロブロックを一層確実に伝送する。

（動画像データ伝送装置の論理ブロック構成）
図１１は、本実施形態に係る動画像データ伝送装置１００Ａ及び動画像データ伝送装置２００の論理ブロック構成を示している。なお、以下、第１実施形態と異なる部分について主に説明するものとし、同様の部分については、説明を適宜省略する。

（１）動画像データ伝送装置１００Ａ
動画像データ伝送装置１００Ａは、第１実施形態に係る動画像データ伝送装置１００（図１参照）と比較すると、パケット重要度送信部１１１及びエラー訂正処理部１１３が追加されている。

パケット重要度送信部１１１は、マクロブロックに付与されている重みを示すマクロブロック重要度を送信先、具体的には動画像データ伝送装置２００に送信するものである。

図１７は、動画像データ伝送装置１００Ａから動画像データ伝送装置２００に送信されるＩＰパケットの一例を示している。図１７に示すように、ＩＰパケットＰ１１は、マクロブロックＭＢ３１〜ＭＢ３４を含む。

パケット重要度送信部１１１は、マクロブロックＭＢ３１〜ＭＢ３４の重みの値（０．２／０．３／０．１／０．４）をマクロブロック重要度Ｗ０に含める。パケット重要度送信部１１１は、マクロブロック重要度Ｗ０をＩＰパケットＰ１１に付加して送信する。

また、パケット重要度送信部１１１は、マクロブロックが含まれるＩＰパケットと異なるＩＰパケットに、当該マクロブロックのマクロブロック重要度を含めて送信することもできる。

図１８は、動画像データ伝送装置１００Ａから動画像データ伝送装置２００に送信されるＩＰパケットの他の例を示している。図１８に示すように、ＩＰパケットＰ１２は、ＩＰパケットＰ１（図７（ａ）参照）に含まれるマクロブロックＭＢ１〜ＭＢ４の重みの合計であるマクロブロック重要度Ｗ１と、ＩＰパケットＰ２（図７（ｂ）参照）に含まれるマクロブロックＭＢ５〜ＭＢ８の重みの合計であるマクロブロック重要度Ｗ２とを含む。

パケット重要度送信部１１１は、マクロブロック（ＭＢ１〜ＭＢ８）が含まれるＩＰパケットＰ１及びＰ２と異なるＩＰパケットＰ１２に、マクロブロック重要度Ｗ１及びＷ２を含めて送信することができる。

パケット重要度送信部１１１は、図１７及び図１８に示した形態とも異なる形態によって、マクロブロック重要度を動画像データ伝送装置２００に送信することもできる。

図１９（ａ）〜（ｃ）は、動画像データ伝送装置１００Ａから動画像データ伝送装置２００に送信されるＩＰパケットの他の例を示している。

図１９（ａ）に示すように、動画像データ伝送装置１００Ａから動画像データ伝送装置２００には、ＩＰパケットＰ２１，Ｐ２２，Ｐ２３が順次送信される。

ＩＰパケットＰ２１は、マクロブロックＭＢ３１〜ＭＢ３４を含む。同様に、ＩＰパケットＰ２２は、マクロブロックＭＢ３５〜ＭＢ３８を含み、ＩＰパケットＰ２３は、マクロブロックＭＢ３９〜ＭＢ４２を含む。また、ＩＰパケットＰ２１〜Ｐ２３には、マクロブロック重要度Ｗ２１〜Ｗ２３がそれぞれ付加される。

図１９（ｂ）は、ＩＰパケットＰ２２に付加されるマクロブロック重要度Ｗ２２の内容を示している。マクロブロック重要度Ｗ２２は、ＩＰパケットＰ２２に含まれるマクロブロックＭＢ３５〜ＭＢ３８の重みの合計（０．７）であるマクロブロック重要度Ｗ２と、ＩＰパケットＰ２２よりも前に送信されるＩＰパケットＰ２１に含まれるマクロブロックＭＢ３１〜ＭＢ３４の重みの合計（１．０）であるマクロブロック重要度Ｗ１とを含む。

つまり、パケット重要度送信部１１１は、ＩＰパケットＰ２２よりも前に送信されるＩＰパケットＰ２１（前方パケット）に含まれるマクロブロックＭＢ３１〜ＭＢ３４のマクロブロック重要度Ｗ１を、ＩＰパケットＰ２２に含めて送信することができる。

また、パケット重要度送信部１１１は、マクロブロック重要度Ｗ２２に代えて、図１９（ｃ）に示すようなマクロブロック重要度Ｗ２２Ａを送信することもできる。マクロブロック重要度Ｗ２２Ａは、マクロブロック重要度Ｗ２と、ＩＰパケットＰ２２よりも後に送信されるＩＰパケットＰ２３に含まれるマクロブロックＭＢ３９〜ＭＢ４２の重みの合計（１．３）であるマクロブロック重要度Ｗ３とを含む。

つまり、パケット重要度送信部１１１は、ＩＰパケットＰ２２よりも後に送信されるＩＰパケットＰ２３（後方パケット）に含まれるマクロブロックＭＢ３９〜ＭＢ４２のマクロブロック重要度Ｗ３を、ＩＰパケットＰ２２に含めて送信することもできる。

エラー訂正処理部１１３は、動画像データ伝送装置２００に送信されるＩＰパケットにエラー訂正符号、具体的にはＦＥＣ（forward error correction）コードを付加するものである。

図２０は、動画像データ伝送装置１００Ａによって送信されるＩＰパケットの具体的な構成例を示している。図２０に示すように、ＩＰパケットＰ１０は、ＩＰヘッダ、ＵＤＰヘッダ、ＲＴＰヘッダ、重みＷ（マクロブロック重要度）、画像データ（マクロブロック）及びＦＥＣコードによって構成されている。

特に、本実施形態では、エラー訂正処理部１１３は、送信されるＩＰパケットＰ１０に含まれるマクロブロックに付与されている重み（Ｗ）の値に基づいて、ＩＰパケットＰ１０に対してＦＥＣコードを付加するか否かを判定することができる。本実施形態において、エラー訂正処理部１１３は、判定部を構成する。

また、本実施形態に係る通信部１０９は、エラー訂正処理部１１３がＩＰパケットＰ１０に対してＦＥＣコードを付加しないと判定した場合、ＦＥＣコードを付加しないＩＰパケットＰ１０を送信する。

なお、重みＷ（マクロブロック重要度）は、図２０に示すように、ＩＰパケットＰ１０のヘッダとして付加する形態に限らず、画像データのヘッダ部分に付加する形態でもよい。

（２）動画像データ伝送装置２００
図１１に示すように、動画像データ伝送装置２００は、通信ネットワーク１０を介して動画像データ伝送装置１００Ａによって送信されたＩＰパケットを受信する。さらに、動画像データ伝送装置２００は、受信したＩＰパケットに含まれるマクロブロックの復号処理を実行し、動画像データを再生する。

動画像データ伝送装置２００は、通信部２０１、パケット重要度処理部２０３、動画像データ処理部２０５及びエラー訂正処理部２０７を備えている。

通信部２０１は、通信ネットワーク１０と接続するための通信インターフェースを提供するものである。通信部２０１は、通信ネットワーク１０の構成によって適宜適切な通信インターフェースを具備することができる。

特に、本実施形態では、通信部２０１は、画像フレーム（例えば、図３に示した画像フレームＦ_ｎ）が分割されたマクロブロックを含むＩＰパケットを順次受信する。本実施形態において、通信部２０１は、パケット受信部を構成する。

また、通信部２０１は、パケット重要度処理部２０３によって決定されたマクロブロック重要度が所定の閾値を超える場合、当該マクロブロック重要度が付与されたマクロブロックを含むＩＰパケット（特定パケット）の再送を要求する。本実施形態において、通信部２０１は、再送要求部を構成する。

パケット重要度処理部２０３は、マクロブロックに付与されている重みを示すマクロブロック重要度に関する処理を実行するものである。

パケット重要度処理部２０３は、動画像データ伝送装置１００Ａによって送信されたＩＰパケット（例えば、図１７に示すＩＰパケットＰ１１）に含まれるマクロブロック重要度を受信する。本実施形態において、パケット重要度処理部２０３は、重要度受信部を構成する。

また、パケット重要度処理部２０３は、受信した複数のマクロブロックのマクロブロック重要度に基づいて、通信部２０１が受信できずに喪失したＩＰパケット（特定パケット）に含まれるマクロブロックのマクロブロック重要度（特定マクロブロック重要度）を決定する。本実施形態において、パケット重要度処理部２０３は、重要度決定部を構成する。

具体的には、パケット重要度処理部２０３は、通信部２０１が受信したＩＰパケットに基づいて、一つの画像フレーム（例えば、画像フレームＦ_ｎ）を構成するマクロブロックの重み（マクロブロック重要度）の合計値（受信合計値）を演算する。ここで、画像フレームごとの重みの合計値（基準合計値）は、ほぼ一定である。

そこで、パケット重要度処理部２０３は、基準合計値から受信合計値を減算することによって、喪失したＩＰパケットに含まれるマクロブロックの重み（マクロブロック重要度）を決定する。

また、パケット重要度処理部２０３は、マクロブロック重要度のみを含むＩＰパケット（例えば、図１８に示すＩＰパケットＰ１２）を受信することもできる。

さらに、パケット重要度処理部２０３は、図１９（ａ）及び（ｂ）に示すように、喪失したＩＰパケットがＩＰパケットＰ２１（特定パケット）である場合、ＩＰパケットＰ２１よりも後に受信したＩＰパケットＰ２２（後方パケット）に含まれるマクロブロック重要度Ｗ１（特定マクロブロック重要度）を用いて、喪失したＩＰパケットＰ２１に含まれるマクロブロックのマクロブロック重要度Ｗ１を決定することもできる。

或いは、パケット重要度処理部２０３は、図１９（ａ）及び（ｃ）に示すように、喪失したＩＰパケットがＩＰパケットＰ２３（特定パケット）である場合、ＩＰパケットＰ２３よりも前に受信したＩＰパケットＰ２２（前方パケット）に含まれるマクロブロック重要度Ｗ３（特定マクロブロック重要度）を用いて、喪失したＩＰパケットＰ２３に含まれるマクロブロックのマクロブロック重要度Ｗ３を決定することもできる。

動画像データ処理部２０５は、通信部２０１が受信したＩＰパケットに含まれるマクロブロックの復号処理を実行するものである。本実施形態において、動画像データ処理部２０５は、復号処理部を構成する。

特に、本実施形態では、動画像データ処理部２０５は、パケット重要度処理部２０３が受信したマクロブロック重要度に基づいて、復号処理の内容を変更することができる。

例えば、動画像データ処理部２０５は、マクロブロック重要度が所定の閾値以下の場合、復号処理の少なくとも一部を省略することができる。具体的には、動画像データ処理部２０５は、当該マクロブロック重要度に対応するマクロブロック（例えば、マクロブロックＭＢ３１〜ＭＢ３４）のうち、重みが所定の閾値（例えば、０．３）以上のマクロブロックについてのみ復号処理を実行したり、当該マクロブロックの復号処理をすべて省略したりすることができる。

エラー訂正処理部２０７は、通信部２０１が受信したＩＰパケットに含まれるＦＥＣコード（図２０参照）を用いて、エラー訂正処理を実行するものである。なお、エラー訂正処理部２０７は、ＩＰパケットにＦＥＣコードが付加されていない場合、何らエラー訂正処理を実行しない。

（動画像データ伝送装置の動作）
次に、上述した本実施形態に係る動画像データ伝送装置１００Ａ及び動画像データ伝送装置２００の動作について説明する。

（１）マクロブロック重要度の送信
図１２（ａ）〜（ｃ）は、動画像データ伝送装置１００Ａにおけるマクロブロック重要度の送信動作フロー図である。

（１．１）マクロブロック重要度合計値の送信
図１２（ａ）に示すように、ステップＳ１１０において、動画像データ伝送装置１００Ａは、ＩＰパケットに含まれるマクロブロックの重みの合計値を、マクロブロック重要度Ｗ１として演算する。例えば、動画像データ伝送装置１００Ａは、図１８に示すマクロブロック重要度Ｗ１及びＷ２を演算する。

ステップＳ１２０において、動画像データ伝送装置１００Ａは、演算した合計値を、マクロブロック重要度Ｗ１及びＷ２として、受信側の動画像データ伝送装置２００に送信する。

具体的には、動画像データ伝送装置１００Ａは、マクロブロック重要度Ｗ１及びＷ２を含むＩＰパケットＰ１２を動画像データ伝送装置２００に送信する。

（１．２）一部のマクロブロック重要度の送信
動画像データ伝送装置１００Ａは、図１２（ａ）に示す動作に代えて、図１２（ｂ）に示す動作を実行することもできる。図１２（ｂ）に示すように、ステップＳ１１０Ａにおいて、動画像データ伝送装置１００Ａは、ＩＰパケットに含まれる各マクロブロックの重みのうち、重みが大きい順に、所定数の重みを取得する。

例えば、図１７に示すＩＰパケットＰ１１であれば、動画像データ伝送装置１００Ａは、重みが最も大きいマクロブロックＭＢ３４、及び重みがマクロブロックＭＢ３４に次いで大きいマクロブロックＭＢ３２の重み（０．４及び０．３）を取得する。

ステップＳ１２０Ａにおいて、動画像データ伝送装置１００Ａは、当該所定数の重み（０．４及び０．３）をマクロブロック重要度Ｗ０（図１７参照）として、受信側の動画像データ伝送装置２００に送信する。

具体的には、動画像データ伝送装置１００Ａは、マクロブロック重要度Ｗ０を含むＩＰパケットＰ１１を動画像データ伝送装置２００に送信する。

（１．３）特定のマクロブロック重要度の送信
動画像データ伝送装置１００Ａは、さらに、図１２（ｃ）に示す動作を実行することもできる。図１２（ｃ）に示すように、ステップＳ１１０Ｂにおいて、動画像データ伝送装置１００Ａは、ＩＰパケットに含まれる各マクロブロックの重みのうち、重みが大きい（または小さい）マクロブロックの番号を取得する。

例えば、図１７に示すＩＰパケットＰ１１であれば、動画像データ伝送装置１００Ａは、重みが最も大きいマクロブロックＭＢ３４の番号を取得する。

ステップＳ１２０Ｂにおいて、動画像データ伝送装置１００Ａは、当該マクロブロックの番号をマクロブロック重要度Ｗ０（図１７参照）として、受信側の動画像データ伝送装置２００に送信する。

（２）マクロブロック重要度を用いた復号処理
次に、マクロブロック重要度を用いた復号処理に係る動作について説明する。具体的には、受信側の動画像データ伝送装置２００における３つの動作例について説明する。

（２．１）動作例１
本動作例では、マクロブロック重要度を用いて喪失したＩＰパケットの再送を要求するか否かが判定される。

図１３に示すように、ステップＳ２１０において、動画像データ伝送装置２００は、動画像データ伝送装置１００Ａから受信したＩＰパケットに含まれるシーケンス番号に基づいて、通信ネットワーク１０内において喪失したＩＰパケット（例えば、ＩＰパケットＰ１１）を検出する。

ステップＳ２２０において、動画像データ伝送装置２００は、受信したＩＰパケットに含まれるマクロブロックのマクロブロック重要度を取得する。

ステップＳ２３０において、動画像データ伝送装置２００は、取得したマクロブロック重要度に基づいて、喪失したＩＰパケット（ＩＰパケットＰ１１）に含まれるマクロブロックのマクロブロック重要度を決定する。

具体的には、動画像データ伝送装置２００は、上述したように、画像フレームを構成するマクロブロックのマクロブロック重要度の基準合計値から、受信したＩＰパケットに含まれるマクロブロックのマクロブロック重要度の合計値である受信合計値を減算することによって、喪失したＩＰパケットに含まれるマクロブロックの重み（マクロブロック重要度）を決定する。

ステップＳ２４０において、動画像データ伝送装置２００は、喪失したＩＰパケット（マクロブロック）のマクロブロック重要度が所定の閾値を超えるか否かを判定する。

マクロブロック重要度が所定の閾値を超える場合（ステップＳ２４０のＹＥＳ）、ステップＳ２５０において、動画像データ伝送装置２００は、喪失したＩＰパケットの再送を要求する。

ステップＳ２６０において、動画像データ伝送装置２００は、喪失したＩＰパケットを受信したか否かを判定する。

喪失したＩＰパケットを受信した場合（ステップＳ２６０のＹＥＳ）、ステップＳ２７０において、動画像データ伝送装置２００は、再送されたＩＰパケットに含まれるマクロブロックを用いて、復号処理を実行する。

喪失したＩＰパケットを受信できない場合（ステップＳ２６０のＮＯ）、動画像データ伝送装置２００は、ステップＳ２５０からの処理を繰り返す。

また、マクロブロック重要度が所定の閾値以下の場合（ステップＳ２４０のＮＯ）、ステップＳ２８０において、動画像データ伝送装置２００は、喪失したＩＰパケットに含まれるマクロブロックを用いずに、復号処理を実行する。

なお、図１８に示すように、マクロブロック重要度が、マクロブロックを含むＩＰパケットと異なるＩＰパケットＰ１２によって送信される場合、動画像データ伝送装置２００は、ＩＰパケットＰ１２に含まれるマクロブロック重要度に基づいて、ステップＳ２４０からの処理を実行すればよい。

（２．２）動作例２
図１４は、図１３に示した動作例１に係るフローにおけるステップＳ２１０〜Ｓ２３０に代えて実行される動作フロー図である。

ステップＳ２１０Ａは、図１３に示したステップＳ２１０と同様である。ステップＳ２２０Ａにおいて、動画像データ伝送装置２００は、喪失したＩＰパケット（例えば、図１９（ａ）に示すＩＰパケットＰ２１）よりも後に受信したＩＰパケット（ＩＰパケットＰ２２）に含まれるマクロブロック重要度（マクロブロック重要度Ｗ２２）を取得する。

ステップＳ２３０Ａにおいて、動画像データ伝送装置２００は、取得したマクロブロック重要度（マクロブロック重要度Ｗ２２）に基づいて、喪失したＩＰパケットのマクロブロック重要度（マクロブロック重要度Ｗ１）を決定する。

具体的には、動画像データ伝送装置２００は、図１９（ｂ）に示すように、マクロブロック重要度Ｗ２２に含まれるマクロブロック重要度Ｗ１に基づいて、喪失したＩＰパケットＰ２１のマクロブロック重要度を決定する。

なお、動画像データ伝送装置２００は、図１９（ａ）及び（ｃ）に示すように、喪失したＩＰパケットがＩＰパケットＰ２３である場合、ＩＰパケットＰ２３よりも前に受信したＩＰパケットＰ２２に含まれるマクロブロック重要度Ｗ２２Ａに基づいて、マクロブロック重要度Ｗ３を決定することもできる。

（２．３）動作例３
本動作例では、受信したマクロブロック重要度に基づいて、マクロブロックの復号処理を実行するか否かが判定される。

図１５に示すように、ステップＳ３１０において、動画像データ伝送装置２００は、動画像データ伝送装置１００ＡからＩＰパケットを受信する。

ステップＳ３２０において、動画像データ伝送装置２００は、受信したＩＰパケットに含まれるマクロブロックのマクロブロック重要度を取得する。

ステップＳ３３０において、動画像データ伝送装置２００は、受信したＩＰパケット（マクロブロック）のマクロブロック重要度が所定の閾値を超えるか否かを判定する。

マクロブロック重要度が所定の閾値を超える場合（ステップＳ３３０のＹＥＳ）、ステップＳ３４０において、動画像データ伝送装置２００は、受信したＩＰパケットに含まれるマクロブロックを用いて、復号処理を実行する。

マクロブロック重要度が所定の閾値以下の場合（ステップＳ３３０のＮＯ）、ステップＳ３５０において、動画像データ伝送装置２００は、受信したＩＰパケットに含まれるマクロブロックを用いずに、復号処理を実行する。

（３）エラー訂正符号の省略
図１６は、動画像データ伝送装置１００Ａにおけるエラー訂正符号（ＦＥＣコード）の付加動作フロー図である。

図１６に示すように、ステップＳ４１０において、動画像データ伝送装置１００Ａは、ＩＰパケットに含まれるマクロブロックの重みの合計値を、マクロブロック重要度として演算する。

ステップＳ４２０において、動画像データ伝送装置１００Ａは、演算したマクロブロック重要度が所定の閾値を超えるか否かを判定する。

マクロブロック重要度が所定の閾値を超える場合（ステップＳ４２０のＹＥＳ）、ステップＳ４３０において、動画像データ伝送装置１００Ａは、当該ＩＰパケットにＦＥＣコードを付加する。

ステップＳ４４０において、動画像データ伝送装置１００Ａは、当該ＩＰパケットを受信側の動画像データ伝送装置２００に送信する。

なお、マクロブロック重要度が所定の閾値以下の場合（ステップＳ４２０のＮＯ）、動画像データ伝送装置１００Ａは、当該ＩＰパケットにＦＥＣコードを付加せずに、当該ＩＰパケットを受信側の動画像データ伝送装置２００に送信する。

（作用・効果）
以上説明した本実施形態に係る動画像データ伝送装置１００Ａ及び動画像データ伝送装置２００によれば、喪失したＩＰパケットのマクロブロック重要度（特定マクロブロック重要度）が所定の閾値を超える場合のみ、当該ＩＰパケットの再送が要求される。つまり、動画像データの再生にあまり重要でないマクロブロックを含むＩＰパケットの再送が要求されないため、動画像データ伝送装置２００は、より高速にマクロブロックの復号処理を実行することができる。

さらに、当該ＩＰパケットの再送が要求されないため、通信ネットワーク１０を介して送受信されるＩＰパケット量を低減することができる。特に、ＩＰパケットの喪失は、通信ネットワーク１０が輻輳している場合に発生し易いため、再送するＩＰパケット数を低減することによって、通信ネットワーク１０の輻輳の改善に寄与する。

本実施形態によれば、マクロブロック重要度が、マクロブロックを含むＩＰパケットと異なるＩＰパケット（図１８に示すＩＰパケットＰ１２）によって送信することができる。

このため、受信側の動画像データ伝送装置がマクロブロック重要度を用いた処理に対応している場合には、当該ＩＰパケットを用いればよい。一方、受信側の動画像データ伝送装置が当該処理に対応していない場合、マクロブロックを含むＩＰパケットは、従来と何ら変わらないため、当該動画像データ伝送装置も正常に動作することができる。

さらに、図１９（ｂ）及び（ｃ）に示したように、ＩＰパケットＰ２２よりも後（前）に送信されるＩＰパケットＰ２３（ＩＰパケットＰ２１）に含まれるマクロブロックのマクロブロック重要度を、ＩＰパケットＰ２２に含めて送信することができる。

このため、特定のＩＰパケットが喪失した場合でも、喪失したＩＰパケットのマクロブロック重要度を速やかに認識することができる。

本実施形態によれば、マクロブロック重要度が所定の閾値以下の場合、マクロブロックの復号処理の少なくとも一部が省略されるため、より高速に復号処理を実行することができる。特に、当該復号処理をソフトウェアにおいて実行している場合に、ＣＰＵに掛かる負荷を軽減したり、音声と比較して遅延することが多い動画像の復号処理をより確実に実行したりすることができる。

本実施形態によれば、マクロブロック重要度が所定の閾値以下の場合、ＦＥＣコードの付加が省略されるため、重要なマクロブロックのエラー耐性を維持しつつ、通信ネットワーク１０に送信されるデータ量を低減することができる。

［その他の実施形態］
上述したように、本発明の第１及び第２実施形態を通じて本発明の内容を開示したが、この開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態が明らかとなろう。

例えば、上述した動画像データ伝送装置１００，１００Ａ及び２００（ＬＡＮインターフェースを構成するハードウェア部分などを除く）は、パーソナル・コンピュータなどで実行可能なコンピュータ・プログラムとして提供することもできる。

上述した第２実施形態では、通信ネットワーク１０を介して動画像データ伝送装置１００Ａと動画像データ伝送装置２００とが接続されていたが、動画像データ伝送装置１００Ａと動画像データ伝送装置２００とは、必ずしも通信ネットワーク１０を介さず、通信ケーブルなどで接続される形態でも構わない。

また、ＩＰパケットＰ１２（図１８参照）は、マクロブロックを含むＩＰパケットが伝送される通信ネットワーク１０と別個の通信ネットワークを介して伝送してもよい。

上述した第１及び第２実施形態では、マクロブロックをＩＰパケット化する形態としたが、マクロブロックは、ＩＰパケットではなく、他の形態（例えば、ＡＴＭセル）として伝送してもよい。

さらに、第２実施形態では、エラー訂正符号としてＦＥＣコードを用いる形態としたが、ＦＥＣコードに代えて、ＣＲＣなど、他のエラー訂正符号を用いても構わない。

このように、本発明は、ここでは記載していない様々な実施の形態などを含むことは勿論である。したがって、本発明の技術的範囲は、上述の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の第１実施形態に係る動画像データ伝送装置の論理ブロック構成図である。 本発明の第１実施形態に係る動画像データ伝送装置の動作フロー図である。 画像フレームの構成例を示す図である。 参照画像ブロックの例を示す図である。 参照画像ブロック及びマクロブロックの例を示す図である。 参照画像ブロック及びマクロブロックの例を示す図である。 パケットの構成例を示す図である。 パケットの構成例を示す図である。 本発明の第１実施形態の変更例に係る画像フレームの構成例を示す図である。 本発明の第１実施形態の変更例に係る参照画像ブロックの構成例を示す図である。 本発明の第２実施形態に係る動画像データ伝送装置の論理ブロック構成図である。 本発明の第２実施形態に係る動画像データ伝送装置の動作フロー図である。 本発明の第２実施形態に係る動画像データ伝送装置の動作フロー図である。 本発明の第２実施形態に係る動画像データ伝送装置の動作フロー図である。 本発明の第２実施形態に係る動画像データ伝送装置の動作フロー図である。 本発明の第２実施形態に係る動画像データ伝送装置の動作フロー図である。 本発明の第２実施形態に係るパケットの構成例を示す図である。 本発明の第２実施形態に係るパケットの構成例を示す図である。 本発明の第２実施形態に係るパケットの構成例を示す図である。 本発明の第２実施形態に係るパケットの具体的構成例を示す図である。

１０…通信ネットワーク、１００，１００Ａ…動画像データ伝送装置、１０１…動画像データ取得部、１０３…動きベクトル演算部、１０５…参照画像ブロック決定部、１０７…重み付与部、１０９…通信部、１１１…パケット重要度送信部、１１３…エラー訂正処理部、２００…動画像データ伝送装置、２０１…通信部、２０３…パケット重要度処理部、２０５…動画像データ処理部、２０７…エラー訂正処理部、Ｆ…画像フレーム、ＭＢ…マクロブロック、ＯＬ，ＯＬ１，ＯＬ２…重複領域、Ｐ１〜Ｐ４…ＩＰパケット、Ｒ…参照画像要素、ＳＢ…参照画像ブロック、Ｖ…動きベクトル、Ｗ…マクロブロック重要度（重み）

Claims (3)

1. 画像フレームが分割されたマクロブロックを含むパケットを順次受信するパケット受信部と、
   マクロブロックに付与されている重みを示すマクロブロック重要度を受信する重要度受信部と、
   前記重要度受信部が受信した複数のマクロブロックのマクロブロック重要度に基づいて、前記パケット受信部が受信できずに喪失した特定パケットに含まれるマクロブロックの特定マクロブロック重要度を決定する重要度決定部と、
   前記重要度決定部によって決定された特定マクロブロック重要度が所定の閾値を超える場合、前記特定パケットの再送を要求する再送要求部と、
   を備える動画像データ受信装置。
   
2. 前記重要度決定部は、前記パケット受信部が受信できたマクロブロックのマクロブロック重要度の合計値である受信合計値と、基準合計値とに基づいて、特定マクロブロック重要度を決定する、請求項１に記載の動画像データ受信装置。
   
3. 前記パケット受信部が受信したマクロブロックの復号処理を実行する復号処理部を更に備え、
   前記復号処理部は、前記重要度受信部が受信したマクロブロック重要度が所定の閾値以下の場合、復号処理の少なくとも一部を省略する、請求項１又は２に記載の動画像データ受信装置。