JPWO2012060459A1 - 動画像配信システム、動画像配信方法および動画像配信用プログラム - Google Patents

Abstract

【課題】圧縮符号化された動画像に対して視聴領域を任意に設定し、また視聴領域をインタラクティブに変更できる動画像配信システム、動画像配信方法および動画像配信用プログラムを提供する。【解決手段】圧縮符号化された動画像を１以上のマクロブロックを含むタイルの集合として管理する動画像配信システムであって、動画像中の表示領域を管理し、表示領域に基づいて、格納されたタイルの集合からタイルを読み出して補正処理を行い、処理されたタイルから１フレームの動画像ビットストリームを合成して送出する送信装置と、動画像ビットストリームを受信して、復号化し、復号化した動画像を表示し、ユーザの操作を入力し送信装置に送出する受信装置とを備える。

Description

本発明は動画像配信システム、動画像配信方法および動画像配信用プログラムに関し、特に視聴領域を任意に設定し、また視聴領域をインタラクティブに変更できる動画像配信システム、動画像配信方法および動画像配信用プログラムに関する。

近年、動画像データのデジタル化が進展し、動画像信号を圧縮符号化して扱うことが一般的になっている。動画像信号を低ビットレート、高圧縮率かつ高画質で符号化して符号化データを生成する、或は、符号化された動画像を復号化する技術として、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が標準化したＨ．２６１、Ｈ．２６３、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ−１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１）、ＭＰＥＧ−２、ＭＰＥＧ−４、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のＶＣ−１などが挙げられる。これらの技術は国際標準規格として広く用いられている。さらに、近年ＩＴＵとＩＳＯが共同で規格化を行なったＨ．２６４／ＭＰＥＧ−４ ＡＶＣがある（非特許文献１）。このＨ．２６４は、関連する動画像符号化技術に比べ、圧縮効率が向上し、また、画質が向上することが知られている。
これらの動画像符号化技術では、動画像信号を効率よく圧縮するために、各フレームの時間的な相関を利用するフレーム間予測符号化技術が広く用いられている。フレーム間予測符号化では、すでに符号化したフレームの画像信号から現在のフレームの画像信号を予測し、予測した信号と現在の信号との間の予測誤差信号を符号化する。一般的な動画像では時間的に近接するフレームの画像信号の間には高い相関が存在するため、この技術は圧縮効率向上に効果的である。前記のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などの動画像符号化技術では、フレーム間予測符号化を利用しないＩピクチャ（フレーム内符号化画像）、すでに符号化した１枚のフレームからのフレーム間予測符号化を利用するＰピクチャ（片方向予測符号化画像）、すでに符号化した２枚のフレームからのフレーム間予測符号化を利用するＢピクチャ（双方向予測符号化画像）が組み合わせて用いられて、動画像が符号化される。復号化の際には、Ｉピクチャは１フレーム単独で復号できる。しかし、Ｐピクチャ及びＢピクチャは、復号にフレーム間予測で予測に用いる画像データがあらかじめ必要であるため、１フレーム単独の復号はできない。
上記のＭＰＥＧ−２、Ｈ．２６４等の動画像圧縮技術は、デジタル放送、光学ディスク媒体による映像頒布、インターネット等による映像配信など多くの用途で利用されている。
これらの動画像圧縮技術により、動画像の蓄積、伝送等が容易になった一方で、映像の一部の領域のみを切り出して視聴する、視聴領域を動的に変更するなどのインタラクティブな処理は、非圧縮映像とは異なり、容易には実現できない。
近年は、映像の大画面化、高精細化への要求が高まっており、放送や光ディスクによる映像コンテンツ販売、映像配信などで利用される映像ではＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）と呼ばれる関連する技術よりも高い解像度（１９２０×１０８０画素、１２８０×７２０画素など）が主流になりつつある。また、さらに高精細な４Ｋ×２Ｋ（４０９６×２０４８画素）、８Ｋ×４Ｋ（８１９２×４０９６画素）などの映像への取り組みも進んでいる。その一方で、映像コンテンツを視聴する場面は増えており、家庭のリビングの大画面テレビジョン（ＴＶ）で視聴する以外に、小型ＴＶでの視聴、ＰＣ（パーソナルコンピュータ）での視聴、携帯電話端末での視聴、携帯映像プレーヤでの視聴など、多様な画面サイズ、画面との距離、周辺環境で映像を視聴する要求が高まっている。
ここで、例えば、８Ｋ×４Ｋ（８１９２×４０９６画素）の高精細映像を携帯電話端末の小型画面（例えば６４０×４８０画素）で視聴する場合、映像コンテンツ全体を画面サイズに合わせてそのまま表示すると、見たい被写体が背景画像に比べて非常に小さく表示され、視認が困難な場合がある。このような場合には映像コンテンツ全体を表示するのではなく、利用者が関心を持つ一部領域のみを切り出して表示すれば視聴が快適になる。さらに、利用者の要求に応じて表示領域をインタラクティブに変更することができれば、さらに利用者の利便性向上につながる。
一例として、サッカーの試合の映像の場合、スタジアム全体の映像を８１９２×４０９６画素で高精細に記録しておき、携帯電話端末で視聴する際にはゴール周辺やボールを持つプレーヤ周辺など一部の領域のみを切り出して視聴し、またプレーヤの動きに追随して視聴領域を適宜変更するような視聴スタイルが考えられる。
非圧縮の映像信号であれば、上記のように映像の一部領域を切り出すのは簡単な処理で実現できる。しかし、圧縮符号化された映像信号の場合は、この映像信号が動画像の空間的及び時間的な相関性を利用して符号化されているため、一部だけ切り出して復号して表示することは容易ではない。例えば、８１９２×４０９６画素の映像信号から６４０×４８０画素の領域を切り出す映像配信を行なうには、以下のような方法に従った処理が必要である。
（Ａ）８１９２×４０９６画素の動画像全体を送信して受信、復号し、復号結果の非圧縮画像の一部を切り出して表示する。或は、
（Ｂ）８１９２×４０９６画素の動画像全体を復号し、復号結果の非圧縮画像から視聴したい領域の画像を切り出し、その領域の画像に符号化処理を施したデータを送信し、これを受信、表示する。
しかし、方法（Ａ）では受信装置に表示サイズよりも大きい動画像の復号処理が可能な高性能な復号化装置が必要になり、また伝送路帯域を不必要に消費するという問題がある。また、方法（Ｂ）では送信装置側で、復号化−切り出し−符号化の処理を行うので、能力の高い復号化装置および符号化装置が必要になる。また、これらは同時に接続する受信装置の最大数に対応する台数の符号化装置を備える必要があるという問題がある。
このような問題に対し、特許文献１では対話型テレビ等の対話型ビデオ通信媒体に関わる、複数のＭＰＥＧ符号化ビデオストリームの結合技術が開示される。この技術では、複数のＭＰＥＧ符号化ビデオストリームを受信し、ビデオストリーム毎の各スライスの表示位置に対応する表示位置コードを必要に応じて修正し、変更されたビデオストリームを含む前記ＭＰＥＧ符号化ビデオストリーム毎の各スライスを単一の合成ビデオストリームにインターリーブすることにより、ユーザがＴＶセット上で複数のビデオストリームを選択して表示し、また各々の表示位置の選択を可能にする。
また、特許文献２では、符号化ＭＰＥＧスチール写真をスクロールするための符号化システムに関する技術が開示される。この技術では、イメージを滑らかにスクロールできるように圧縮ピクチャをスライスに細分し、視聴したい領域に対応するスライスのデータのみを復号化して、表示する。また、スクロール動作では、視聴したい領域のうち、前に視聴されたイメージ中には含まれないスライスのデータを追加し、前に視聴されたイメージのうち現在視聴したい領域には含まれないスライスのデータを破棄する。
また、特許文献３では、静止画像を縦方向にスクロールするような映像をＭＰＥＧ符号化する際に、静止画像をＭＰＥＧのＩピクチャとして符号化し、ヘッダを削除したスライスデータとして記憶し、表示領域に対応したスライスデータにヘッダを付加してＭＰＥＧのＩピクチャを生成する技術が開示される。また、後続のピクチャでは、前ピクチャの表示データを参照しスクロールに相当する移動を反映した動きベクトルを生成し、前ピクチャの未表示領域に対しては新表示領域スライスデータを読み込んでＭＰＥＧのＰピクチャを生成する技術も開示される。

特許第４１８８５９９号公報 特表２００１−５２２１７５号公報 特開２００２−２７４６１号公報

ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、２００５年３月

特許文献１に開示の技術には、ビデオストリームの表示位置を選択すると、その位置をフレーム毎に変更できないという問題がある。これは、ビデオストリームをスライス単位で切り出して合成する処理では、フレーム間予測符号化で参照する符号化済み画像はフレーム内で同一の位置に存在する必要があるためである。また、Ｉピクチャは他のＰ、Ｂピクチャと比較して圧縮効率が低いため、通常の動画像ではＩピクチャは十数フレーム乃至数十フレーム毎に１フレーム程度の頻度でしか用いられない。このため、フレーム間予測符号化を利用しないＩピクチャのタイミングでビデオストリームの表示位置を変更しようとすると、表示位置変更の自由度が低くなってしまうという問題がある。
また、特許文献２に開示の技術では、ＭＰＥＧ Ｉピクチャのみを利用し、静止画のみが処理できる。これは、大きなスチール写真をスクロール視聴するという特許文献２の技術の目的に対応したもので、通常の動画像の視聴への適用には問題がある。動画像を静止画の連続として扱うことも可能ではあるが、動画像圧縮技術では一般にＩピクチャは他のＰ、Ｂピクチャと比較して圧縮効率が低いため、Ｉピクチャのみを利用する技術では全体的な圧縮効率が非常に低下してしまい、動画像圧縮技術の効果が期待できない。
また、特許文献３に開示の技術も、表示サイズよりも大きな静止画像をスクロール表示するのに適した技術ではあるが、通常の動画像に対して適用できない。特許文献３の技術ではＰピクチャも利用するが、これは前に表示したピクチャの表示位置の変位を表現するためのもので、スクロール量に対応した動きベクトル生成には容易に適用できるが、動きベクトルとフレーム間予測誤差信号を符号化した一般的な動画像の映像信号に適用できない。このため、特許文献３の技術も、通常の動画像のスクロール視聴などには対応できないという問題がある。
このように、特許文献１乃至３に開示される技術では、Ｉ、Ｐ、Ｂピクチャを用いて符号化した通常の動画像での視聴領域切り出しやスクロール視聴等の効率よい実現は不可能である。
本発明の目的は、圧縮符号化された動画像に対して視聴領域を任意に設定し、また視聴領域をインタラクティブに変更できる動画像配信システム、動画像配信方法および動画像配信用プログラムを提供することにある。

本発明の動画像配信システムは、圧縮符号化された動画像を１以上のマクロブロックを含むタイルの集合として管理する動画像配信システムであって、送信装置と受信装置を備える。送信装置は、動画像を構成するタイルの集合を記憶するタイル記憶手段と、タイル記憶手段からタイルを読み出し補正処理を行って出力する１つ以上のストリーム補正手段と、ストリーム補正手段から出力されるタイルから１フレームの動画像ビットストリームを合成して送出する合成手段と、動画像中の表示領域を管理し表示領域に基づいてストリーム補正手段及び合成手段を制御する表示位置制御手段とを備える。受信装置は、動画像ビットストリームを受信して復号化するデコーダ手段と、デコーダ手段が復号化した動画像を表示する表示手段と、ユーザの操作を入力し送信装置の表示位置制御手段に対して送出する操作入力手段とを備える。
本発明の動画像配信方法は、圧縮符号化された動画像を１以上のマクロブロックを含むタイルの集合として管理して送信側から受信側に配信する動画像配信方法であって、送信側において、動画像を構成するタイルの集合を記憶するステップと、記憶されたタイルを読み出し補正処理を行って出力するステップと、出力されるタイルから１フレームの動画像ビットストリームを合成して送出するステップと、動画像中の表示領域を管理するステップとを含み、受信側において、動画像ビットストリームを受信して復号化するステップと、復号化した動画像を表示するステップと、ユーザの操作を入力し送信側に送出するステップとを含むことを特徴とする。
本発明の動画配信用プログラムは、圧縮符号化された動画像を１以上のマクロブロックを含むタイルの集合として管理して送信側から受信側に配信する動画像配信用プログラムであって、送信側において、動画像を構成するタイルの集合を記憶する処理と、記憶されたタイルを読み出し補正処理を行って出力する処理と、出力されるタイルから１フレームの動画像ビットストリームを合成して送出する処理と、動画像中の表示領域を管理する処理と、受信側において、動画像ビットストリームを受信して復号化する処理と、復号化した動画像を表示する処理と、ユーザの操作を入力し送信側に送出する処理とをコンピュータに行わせることを特徴とする。

本発明によれば、圧縮符号化された動画像信号を利用し、視聴領域の指定、スクロール等の視聴領域変更をインタラクティブに行う動画像配信システムが低コスト、低演算量で提供される。
その理由は以下の通りである。本発明においては、圧縮符号化された動画像信号を１以上のマクロブロックで構成されるタイルの集合として管理し、所望の視聴領域をカバーするために必要なタイルから１フレームの動画像ビットストリーム（合成フレーム）を構成して伝送する。また、合成フレームのビットストリームは通常のデコーダで復号化できるため、専用の仕様のデコーダは不要であり、コスト上昇を抑えられる。また、合成フレームを構成するためのタイル情報の補正は、タイル位置、動きベクトルなどビットストリームの一部を書き換える処理であるため、演算量が小さい。

本発明の第１の実施の形態に係る動画像配信システムの構成を示すブロック図である。 本発明の第１の実施の形態における画像管理を説明する図である。 本発明の第１の実施の形態に係る動画像配信方法を示すフローチャートである。 本発明の第１の実施の形態に係る動画像配信方法における処理の一例を説明する図である。 本発明の第１の実施の形態に係る動画像配信方法における処理の一例を説明する図である。 本発明の第２の実施の形態に係る動画像配信方法における処理の一例を説明する図である。 本発明の第２の実施の形態に係る動画像配信方法における処理の一例を説明する図である。 本発明の第３の実施の形態に係る動画像配信方法における処理の一例を説明する図である。 本発明の第３の実施の形態に係る動画像配信方法における処理の一例を説明する図である。 本発明の第３の実施の形態に係る動画像配信方法における動きベクトル補正処理の一例を説明する図である。 本発明の第３の実施の形態に係る動画像配信方法におけるタイル読み出し及び補正の処理の一例を示すフローチャートである。 本発明の第４の実施の形態に係る動画像配信方法における処理の一例を説明する図である。 本発明の第５の実施の形態における画像管理を説明する図である。 本発明の第５の実施の形態における画像管理を説明する図である。 本発明の第６の実施の形態に係る動画像配信方法における動きベクトル補正処理の一例を説明する図である。 本発明の第６の実施の形態に係る動画像配信方法におけるタイル情報記録形式の例を説明する図である。 本発明の画像管理の別の例を説明する図である。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。以降の説明では、動画像符号化技術の具体的な内容に関する部分については、特に断らない限り、Ｈ．２６４に則った処理の例を挙げて説明する。
（第１の実施の形態）
本発明の第１の実施の形態について、図１乃至図５を参照して説明する。図１は本発明の第１の実施の形態に係る動画像配信システムの構成の一例を示す。図２は本発明の第１の実施の形態における画像情報の管理方法の一例を説明する。
図２を参照して、本発明の第１の実施の形態では、圧縮符号化された動画像の各フレームを複数の部分領域に分割して管理する。本明細書では、この部分領域をタイルと呼ぶ。動画像の圧縮符号化では、１フレームの画像を１６×１６画素のサイズのブロックに分割して符号化処理を行なう。この１６×１６画素のブロックはマクロブロック（以下ではＭＢと略記する）と呼ばれる符号化処理の単位である。図２に示すように、タイルは１個以上のＭＢの集合で構成され、１個以上のタイルが集まって１フレームの画像が構成される。図２は、横方向に連続する４個のＭＢで１つのタイルを構成し、横５個×縦８個のタイルで１フレームが構成される場合の例を示す。この場合、１タイルのサイズは６４×１６画素、１フレームのサイズは３２０×１２８画素である。
ここで、１つのタイルに含まれるＭＢは、このタイルに含まれない他のＭＢの符号化情報を参照せずに復号化できるように符号化されている。ここで符号化情報とは、デコード結果の画素値、過去のデコード結果のフレームの該当位置の画素値、ＭＢ符号化モード、動きベクトル、イントラ予測モードなどである。ＭＢの復号化においては、同じタイルに含まれる他のＭＢの符号化情報を参照してよい。これにより、各タイルは他のタイルとは独立に復号処理が可能である。またＭＢは、動き補償に際して、他の画像において同じ位置にあるタイル以外のタイルの画素値を用いないよう符号化される。これにより、フレーム間予測を含めて同位置のタイルのみで復号処理が可能である。Ｈ．２６４においては、各タイルを別々のスライスとして符号化するとともに、動き補償処理でタイルの外側の画素値を参照しないように動きベクトルの値を制限する処理が、このような符号化に対応する。しかしながら、このような符号化の制限は、圧縮効率の低下を招く。特に、ＭＢ単位で独立に復号処理可能にすると、近傍のＭＢの間での時間的及び空間的相関を利用した圧縮処理ができず、圧縮効率が大きく低下する。また、Ｈ．２６４の場合は、ＭＢ毎にスライスヘッダのような管理情報を付加する必要があり、そのオーバーヘッドによる圧縮効率低下が大きい。本発明では、１つ以上のＭＢをまとめてタイルとして管理する。これにより、タイル内では近傍ＭＢ間の時間的及び空間的相関を利用した圧縮が有効に機能する。また、スライスヘッダのような管理情報も１つのタイルに対し１つでよい。このため、オーバーヘッドが小さく、圧縮効率の低下が抑えられる。圧縮効率低下の大きさはタイルに格納するＭＢの数を増減することにより制御可能である。
また、各タイルの符号化にはＩタイルとＰタイルの２種類のモードのいずれかを用いる。ここで、Ｉタイルとは、通常の動画像符号化のＩピクチャと同様に、タイルに含まれる全てのＭＢをイントラＭＢとして符号化されたデータである。また、Ｐタイルとは、Ｐピクチャと同様に、イントラＭＢとインターＭＢの混在を許して符号化されたデータである。通常の動画像符号化の場合と同様、Ｉタイルは過去の復号化結果を参照せず単独で復号化可能であるが、符号化効率は高くない。一方、Ｐタイルは過去の復号化結果の画像を参照しながら復号化される必要があるが、符号化効率はＩタイルについての効率より高い。
図１を参照して、本発明の第１の実施の形態に係る動画像配信システム１の構成を説明する。本発明の第１の実施の形態において、動画像配信システムは、送信装置１００と受信装置１０１を含む。送信装置１００は、タイル記憶部１１０、１個以上のストリーム補正部１１１、合成部１１２、表示位置制御部１１３を含む。受信装置１０１は、デコーダ部１１４、表示部１１５、操作入力部１１６を含む。タイル記憶部１１０は、圧縮符号化された個々のタイルのビットストリームを記憶する。以下では、タイル記憶部１１０に記憶されるタイル群で構成されるビットストリームを元ストリームと呼び、元ストリームに含まれる画像フレームを元フレームと呼ぶ。ストリーム補正部１１１は、表示位置制御部１１３からの制御に基づき、タイル記憶部１１０から所望のタイルのビットストリームを入力し、必要に応じてビットストリームの一部に補正処理を施し、合成部１１２に出力する。合成部１１２は入力された１つ以上のタイルのビットストリームを合成して１フレームのビットストリーム（以下では、合成フレームと呼ぶ）を生成し、また表示位置制御部１１３からの表示位置情報に基づいて合成フレームのビットストリームに表示位置情報を記録し、ビットストリームを送出する。表示位置制御部１１３は、受信装置１０１から入力される操作情報に基づいて表示領域を管理し、表示領域に基づいてストリーム補正部に対して必要なタイルの情報を供給するとともに、合成部１１２に表示位置情報を供給する。デコーダ部１１４は、送信装置１００から送信される動画像ビットストリームを受信して復号化処理を行い、復号結果の画像を表示部１１５に出力する。表示部１１５は復号結果の画像を画面等に表示する。操作入力部１１６は表示領域設定、表示領域変更などのユーザ操作を受け付け、ユーザ操作による入力を送信装置１００に送る。
次に、図３のフローチャートを参照し、本発明の第１の実施の形態に係る動画像配信方法を説明する。表示位置制御部１１３は、受信装置１０１からの操作情報および、過去の表示位置情報に基づいて所望の表示領域を決定する（ステップＳ３０１）。受信装置１０１の操作入力部１１６はユーザからの、例えば表示領域の左右或は上下への移動を指示する入力操作を受け付け、その操作情報を送信装置１００に送る。表示位置制御部１１３はこの操作情報に応じて、次に受信装置に送信する画像フレームの表示領域の位置を左右あるいは上下に移動させる。図４は、フレーム中央の１８０×８０画素の領域を切り出して再生する処理の一例を示す。図５は、送信装置１００における処理を示す。表示位置制御部１１３は、図４に示す表示領域情報に対し、その領域をカバーするのに必要な最小限のタイル群を決定する（図３のステップＳ３０２）。図５のようにラスタースキャン順に従って各タイルに番号（以下ではタイル番号と呼ぶ）を付けた場合、表示領域をカバーするのに必要なタイルはそれぞれ、６、７、８、１１、１２、１３、１６、１７、１８、２１、２２、２３、２６、２７、２８、３１、３２、３３の番号を付した１８個のタイルである。そこで、表示位置制御部１１３はストリーム補正部１１１に対し、この１８個のタイルを抜き出すよう指示する。また、この１８個のタイルで合成フレームを構成する場合、合成フレーム内でのタイルの位置は元フレーム内での位置と異なる。例えば、タイル６番は元フレームでは左上隅の点を基準にして右に１タイル、下に１タイルの位置であったが、１８個のタイルで構成する合成フレーム内では左上隅の位置となる。そこで、表示位置制御部１１３はストリーム補正部１１１に対し、フレーム内でのタイルの位置を補正するよう指示する（ステップＳ３０２）。この処理に対応して、Ｈ．２６４では、各タイルを１つのスライスとして符号化し、タイルの位置はスライスヘッダにあるｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅの値により特定される。この値はスライスの先頭に格納されているＭＢのフレーム内での座標に対応する値である。そのため、例えばタイル６番に対しては先頭ＭＢの座標が（０，０）に、タイル７番に対しては先頭ＭＢの座標が（４，０）になるように、ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅの値が補正される。本発明の第１の実施形態では、ストリーム補正部１１１は、表示位置制御部１１３からの指示に基づいて必要なタイルのビットストリームをタイル記憶部１１０から読み出し（ステップＳ３０３）、表示位置制御部１１３から指示されたストリーム補正処理を行い（ステップＳ３０４）、結果を合成部１１２に出力する。なお、本発明の第１の実施の形態では、過去の画像情報を用いないＩタイルのみを読み出すものとする。合成部１１２は入力されたタイルのビットストリームから１フレームのビットストリームを構成する（ステップＳ３０５）。また、図５の例からわかるように、表示領域をカバーするのに必要なタイル群（図５の例では１８タイル）から構成した合成フレームは、所望の表示領域より大きくなることがある。そこで、表示位置制御部１１３は合成フレーム内での表示位置の情報を決定し（ステップＳ３０２）合成部１１２に供給する。図５の例では、合成部１１２で構成した１９２×９６画素の合成フレームのうち、中心の１６０×８０画素の領域を表示すれば所望の表示となる。合成部１１２は表示位置制御部１１３から供給される表示位置情報に基づいて合成フレームのビットストリームに表示位置情報を記録する（ステップＳ３０６）。Ｈ．２６４の場合は、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）中のｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇ、ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔに、座標（１６，８）−（１７５，８７）を対角線とする矩形領域を表示するよう適切な値を設定することにより所望の表示位置情報が記録される。
本発明の第１の実施の形態によれば、圧縮符号化された元フレームを構成するタイルのうち、所望の表示領域のカバーに必要な最小限のタイル群のみを抜き出して１フレームのビットストリームを合成して受信装置に送る。このため、伝送路帯域を不必要に消費することなく、設定した指定領域の動画像の視聴を実現できる。また、合成フレームのビットストリームは通常の圧縮符号化されたビットストリームであるため、受信装置のデコーダ部１１４、表示部１１５は通常の動画像配信等で広く用いられているデコード部、表示部と同一のものでよく、受信装置を大きく変更することなく指定領域の視聴を実現できる。さらに、送信装置においては、必要なタイルのビットストリームを読み出し、フレーム内の位置情報を補正して１フレームに合成する処理のみが必要である。このため、本実施形態に係る動画像配信方法は、少ない処理量で実現可能である。特に、元の動画像全体を復号し、復号結果の非圧縮画像から視聴したい領域の画像を切り出し、その領域の画像に符号化処理を施すという方法に比較すれば、はるかに小さい負荷で実現できる。
（第２の実施の形態）
次に、本発明の第２の実施の形態について、図６及び図７を参照して説明する。システムの構成及び動作フローはそれぞれ本発明の第１の実施の形態と同様である。
ここでは、図６は、先頭の合成フレーム０ではフレーム中央の１６０×８０画素の領域を表示し、次の合成フレーム１では受信装置からの操作に基づいて表示領域を左上に移動（スクロール）する処理の一例を示す。図７は、送信装置１００における処理を示す。表示領域をカバーする必要最小限のタイル群を決定する処理は第１の実施の形態と同様である。この例では、表示領域がスクロールしてもそれをカバーするタイル群の構成は変化しないため、合成フレーム０、合成フレーム１ともそれぞれ、６、７、８、１１、１２、１３、１６、１７、１８、２１、２２、２３、２６、２７、２８、３１、３２、３３の番号を付した１８個のタイルを利用する。図７は、タイルの番号とともに、その符号化モードを表示する。例えばＩ１２は元フレームで１２番の位置にあるＩタイル、Ｐ２８は元フレームで２８番の位置にあるＰタイルを表す。合成フレーム０ではそれより前に復号化済みの画像データが無いためフレーム間予測は行なわず、すべてＩタイルでフレームが構成される。これに対し、合成フレーム１では直前の合成フレーム０の復号化結果の画像を利用できるため、フレーム間予測を行なうＰタイルでフレームを構成することが出来る。ここで、前記のようにあるタイルに含まれるＭＢは、同じ位置のタイルに含まれるＭＢの情報のみを参照して復号化できるように符号化されているため、例えばタイルＰ６はタイルＩ６のみをフレーム間予測で参照する。合成フレーム０と合成フレーム１で表示領域が移動するのに対応するため、合成フレーム０と合成フレーム１では図３のステップＳ３０６で設定する表示位置情報が異なる。すなわち、合成フレーム０では座標（１６，８）−（１７５，８７）を対角線とする矩形領域を表示するように表示位置情報を設定するのに対し、合成フレーム１では座標（０，０）−（１５９，７９）を対角線とする矩形領域を表示するように表示位置情報が設定される。
本発明の第２の実施の形態によれば、Ｉタイルに加えてフレーム間予測を行なうＰタイルも用いるため、圧縮効率が向上する。また、表示領域の移動（スクロール）は表示位置設定情報の変更で対応できるため、少ない処理量で実現可能である。
（第３の実施の形態）
次に、本発明の第３の実施の形態について、図８乃至図１１を参照して説明する。システムの構成及び動作フローはそれぞれ本発明の第１の実施の形態と同様である。
図８は、先頭の合成フレーム０ではフレーム中央の１６０×８０画素の領域を表示し、次の合成フレーム１では受信装置からの操作に基づいて表示領域を図６の例の場合よりもさらに左上に移動（スクロール）する処理の一例を示す。図９は、送信装置１００における処理を示す。この例では、表示領域がスクロールすることにより、表示領域をカバーするタイル群の構成が変化する。すなわちスクロール後の合成フレーム１ではそれぞれ、０、１、２、３、５、６、７、８、１０、１１、１２、１３、１５、１６、１７、１８、２０、２１、２２、２３、２５、２６、２７、２８の番号を付した２４個のタイルを利用する。また、タイル番号６、７、８、１１、１２、１３、１６、１７、１８、２１、２２、２３、２６、２７、２８のタイルについては、合成フレーム０に同じ番号、すなわち同じ位置のタイルが存在するため、その復号化結果の画像を利用したフレーム間予測を利用することが可能であり、Ｐタイルが用いられる。一方、上記以外のタイル０、１、２、３、５、１０、１５、２０、２５については合成フレーム０に該当位置のタイルが存在せずフレーム間予測は利用できないためＩタイルが用いられる。また、Ｐタイルについてはストリーム補正部１１１でのストリーム補正時に、第２の実施の形態で説明したタイルの位置を補正に加え、フレーム間予測に用いる動きベクトルの補正が行われる。
この動きベクトル補正に関して図１０を参照して説明する。図１０はタイル番号６のタイルでのベクトル補正の一例を示す。合成フレーム１のタイルＰ６には４個のＭＢが含まれ、それぞれ図１０に示すような動きベクトル１００１を持つものとする。この動きベクトルは直前のフレームの同位置のタイル、すなわち合成フレーム０のタイルＩ０を参照する動きベクトルである。第２の実施の形態で示した例のように、合成フレーム上でのタイルの位置に変化が無い場合にはこの動きベクトルをそのまま適用することにより正常な動き補償フレーム間予測を行なうことができる。しかし、図１０で示すように合成フレーム０と合成フレーム１でタイルの位置に変化がある場合、動きベクトル１００１をそのままフレーム間予測に用いると本来の参照位置とは異なる位置の画素データを参照してしまい、正しいフレーム間予測処理を行なうことができない。そこで、合成フレーム上でのタイルの位置変化を打ち消すような動きベクトル補正を行なう。図１０の例では、タイル６の位置変位ベクトル１００２の成分は、右方向に６４画素、下方向に１６画素である。そこで、元の動きベクトル１００１のそれぞれから、このタイル位置変位ベクトル１００２を減算して補正動きベクトル１００３を求める。この補正動きベクトルは、元の動きベクトルで表現されていた画像の被写体の動きと、タイルに含まれる各ＭＢの画像フレーム上での動きを合成した結果になっており、動き補償ではこの補正動きベクトルを用いることにより、正しいフレーム間予測を行なうことができる。
図１１は、本発明の第１乃至第３の実施の形態で、表示位置制御部１１３とストリーム補正部１１１が協調して行なうタイル読み出しおよびストリーム補正処理の流れの一例を示すフローチャートである。図１１のフローチャートは、図３におけるステップＳ３０３およびＳ３０４での処理の詳細な処理を示す。まず、読み出すタイルと同番号のタイルがフレーム間参照で参照する以前の合成フレームに存在するかを判定する（ステップＳ１１０１）。存在しない場合はフレーム間予測を利用できないのでＩタイルを読み出す（ステップＳ１１０２）。存在する場合はフレーム間予測を利用するためにＰタイルを読み出す（ステップＳ１１０３）。Ｐタイルを用いる場合はさらに、合成フレーム上でのタイルの位置が変化するか否かを判定する（ステップＳ１１０４）。位置が変化する場合はタイルに含まれる各ＭＢの動きベクトルを補正する（ステップＳ１１０５）。動きベクトル補正処理は図１０を参照して第３の実施の形態で説明した通りである。そして、合成フレーム内でタイルを適切な位置に配置するためにタイル位置補正処理を行なう（ステップＳ１１０６）。タイル位置補正は第１の実施の形態で説明した通りである。
本発明の第３の実施の形態によれば、表示領域の移動（スクロール）量が大きい場合でも合成フレームの構成に用いるタイル群の変更で対応でき、また以前の合成フレームにも存在するタイルについてはフレーム間予測を利用するＰタイルを用いることが出来る。このため、高い圧縮効率を維持して、動画像の視聴領域移動を実現できる。また、合成フレーム上でのタイル位置が変化しても動きベクトル補正で対応できるため、ＭＢの再エンコードなどの負荷の大きい処理が不要であり、少ない処理量で動画像の視聴領域移動が可能である。
（第４の実施の形態）
次に、本発明の第４の実施の形態について、図１２を参照して説明する。システムの構成及び動作フローはそれぞれ本発明の第３の実施の形態と同様である。
ここでは、第３の実施の形態と同様に、図８に示す表示領域移動があった場合の処理の一例を示す。構成及び動作フローはそれぞれ第３の実施の形態と同じである。しかし、第４の実施の形態では合成フレームの構成に用いるタイル群の決定（ステップＳ３０２）処理が異なる。第３の実施の形態では、表示領域をカバーする必要最小限のタイル群だけが利用されていたが、第４の実施形態では、必要最小限のタイルばかりではなくではなく、その周辺のいくつかのタイルも合わせて用いられる。図９の合成フレーム０と比較すると、図１２の合成フレーム０では表示領域には含まれていないタイルＩ９、Ｉ１４、Ｉ１９、Ｉ２４、Ｉ２９、Ｉ３４も含めて合成フレームを構成する。第４の実施の形態では、表示領域の横、縦の画素数をそれぞれＤＷ、ＤＨとし、１つのタイル横、縦のサイズをそれぞれＴＷ、ＴＨとすると、
横方向：ＣＥＩＬ（ＤＷ／ＴＷ）＋１個
縦方向：ＣＥＩＬ（ＤＨ／ＴＨ）＋１個
のタイルが用いられる。ここで、ＣＥＩＬ（Ｘ）はＸ以上で最小の整数を返す関数である、すなわち、ＸをＸ以上の最小の整数へ切り上げる。図８の例では表示領域はＤＷ＝１６０、ＤＨ＝８０、タイルサイズはＴＷ＝６４、ＴＨ＝１６であるので、合成フレームの構成に利用するタイル数は
横方向：ＣＥＩＬ（１６０／６４）＋１＝４個
縦方向：ＣＥＩＬ（ ８０／１６）＋１＝６個
の合計２４個となる。これは、表示領域を領域の移動範囲まで含めてカバーするタイルの個数の最大値である。図１２では、これに基づいて、合成フレーム０、合成フレーム１のそれぞれにおいて表示領域を含む２４個のタイルが用いられる。
本発明の第４の実施の形態によれば、合成フレームの構成に用いるタイル数を表示領域のサイズとタイルのサイズから決定するため、元フレーム上での表示領域の位置によって合成フレームのサイズが変化することは無い。このため、受信装置のデコーダ部あるいは表示部が、動画像ビットストリームの途中でフレームサイズが変化する場合に正常に処理を行なえない場合でも、動画像の視聴領域移動が可能である。
（第５の実施の形態）
次に、本発明の第５の実施の形態について、図１３及び図１４を参照して説明する。システムの構成及び動作フローはそれぞれ本発明の第４の実施の形態と同様である。
図１３は、本発明の第５の実施の形態における画像情報の管理の方法を説明する。図２は、横方向に連続する４個のＭＢで１つのタイルを構成する画像情報の管理方法の一例を示した。これに対し、図１３は、縦及び横がそれぞれ４個、即ち合計１６個のＭＢが１つのタイルを構成する画像情報の管理方法の一例を示す。この場合、１フレームのサイズは図２と同じく３２０×１２８画素であるが、１タイルのサイズは６４×６４画素で、１フレームは横５個×縦２個のタイルで構成される。第１の実施の形態において、Ｈ．２６４は、各タイルを他のタイルとは独立に復号処理するために、各タイルをスライスとして符号化し、動き補償処理でタイルの外側の画素値を参照しないように動きベクトルの値を制限する。これに対し本実施の形態では、図１３のように複数のＭＢ行にまたがるタイルで同様に各タイルをそれぞれ他のタイルとは独立に復号処理する。このため、例えば、Ｈ．２６４での処理に則って、スライスグループを用いて処理が行われる。これに関して、図１４を参照して説明する。
図１４は、図１３のタイル構成を実現するための各ＭＢのｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄ割り当ての例を示す。図１３に示すように、本実施の形態においては、同じＭＢ行、ＭＢ列で異なるタイルに属するＭＢには異なるｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄが割り当てられ。さらに、同じｓｌｉｃｅ＿ｇｒｏｕｐ＿ｉｄを割り当てたＭＢは属するタイル毎に異なるスライスとすることにより、各タイルを他のタイルとは独立に復号処理が行われる。
本発明の第５の実施の形態によれば、タイルを複数のＭＢ行にまたがるサイズとすることができる。これにより、各タイルをそれぞれ他のタイルとは独立に復号処理可能にするための動きベクトル値の制限が緩和され、各タイルの圧縮効率が向上する。また、タイルの形状の設定の自由度が拡大する。
（第６の実施の形態）
次に、本発明の第６の実施の形態について、図１５及び図１６を参照して説明する。システムの構成、動作フローのそれぞれは本発明の第５の実施の形態と同様である。
図１５は、ストリーム補正部１１１での動きベクトルを補正する処理の一例を示す。２つのＭＢのベクトル補正前の動きベクトルをそれぞれ１５０１及び１５０２により示す。
ＭＰＥＧ−２、Ｈ．２６４等の動画像符号化方式では、あるＭＢ（カレントＭＢと呼ぶ）の動きベクトルを符号化する際には、動きベクトルの情報を直接に符号化しない。直接符号化する代わりに、そのＭＢの周辺ＭＢの動きベクトルの情報からカレントＭＢの動きベクトルを予測し、予測ベクトルとカレントＭＢの動きベクトルの差分のベクトル情報を符号化する。これらの処理により、圧縮効率が向上する。予測ベクトルとしては、カレントＭＢの左側ＭＢの動きベクトル、或は、周辺の３個のＭＢの動きベクトルのメディアン値が用いられる。
本実施の形態において、図１５では、動きベクトル１５０２はそのまま符号化されるのではなく、動きベクトル１５０１から求めた予測ベクトル１５０３との差分ベクトル１５０４が符号化される。ここで、第３の実施の形態で図１０を用いて説明した動きベクトルの補正を行なうと、動きベクトル１５０１、１５０２はそれぞれタイル位置変位ベクトル１５２０を用いて補正され、それぞれ補正動きベクトル１５１１、１５１２になる。そして、補正動きベクトル１５１２はそのまま符号化されるのではなく、補正動きベクトル１５１１から求めた予測ベクトル１５１３との差分ベクトル１５１４が符号化される。このとき、動きベクトル１５０１、１５０２と補正動きベクトル１５１１、１５１２の差分はそれぞれ同じであるため、補正前後での差分ベクトル１５０４と１５１４は全く同じベクトルとなる。このため、動きベクトル１５０２に関して、補正を行なっても差分ベクトルは変化しないので、ビットストリームの補正は必要ない。このように、あるタイルに対して動きベクトル補正処理を行なう際には、全ての動きベクトルに対応するビットストリームを補正すれば、その他の動きベクトルはビットストリームを補正しなくても動きベクトル予測の仕組みによって補正した効果が得られる。
図１６は、本発明の第６の実施の形態でタイル記憶部１１０に記憶するタイル情報の構成の例を示す。各タイル情報は、対応するフレーム番号、タイル番号、タイルの符号化タイプ（ＩタイルまたはＰタイル）、タイルのビットストリーム情報を含んでいる。タイル情報１６０１及びタイル情報１６０２は、Ｉタイルのタイル情報の例である。また、Ｐタイルのタイル情報１６０３はこれに加えて、動きベクトル補正処理の際に補正が必要なビットストリームに関する情報も含む。例えば、ビットストリーム補正が必要な動きベクトル情報が記録されているビットストリーム中の位置及びサイズを必要数だけ記録する。なお、上記のように必ずしもタイルに含まれる全ての動きベクトルについてこの情報を記録する必要はない。ストリーム補正部１１１での動きベクトル補正処理では、各タイルのタイル情報のうち、前記の補正が必要なベクトルのビットストリームの情報を読み出して所定の補正処理を行なう。
本発明の第６の実施の形態によれば、タイルに含まれる動きベクトルの全てに対してではなく、補正が必要なベクトルに対してのみ動きベクトル補正処理を適用すればよいので、動きベクトル補正処理の負荷をさらに軽減して少ない処理量で動画像の視聴領域移動が可能である。
以上、本発明の実施の形態について説明した。上記の実施の形態では主にＨ．２６４に則った実施の例について述べたが、本発明はＨ．２６４方式での応用のみに限定されるものではなく、ＭＰＥＧ−２等の他の動画像符号化方式にも適用できる。
また、フレーム間予測を利用する場合の例は１フレームからの動き補償を行うＰタイルについて説明したが、フレーム間予測の方法はこれに限定されるものではなく、２フレームからの動き補償を行うＢタイル、また複数フレームを用いたマルチフレーム動き補償、画素値の重み付け加算を併用した重み付き動き補償、グローバル動き補償等、種々のフレーム間予測に対しても容易に適用可能である。
また、本実施の形態において、送信装置と受信装置間で動画像を伝送する動画像配信システムの例について説明したが、構成はこれに限定されるものではなく、これらを１つにまとめた動画像再生装置などの構成も当然考えられる。
また、本実施の形態においては、タイルの形状は矩形とし、すべてのタイルの大きさが均一である場合を例に挙げて説明したが、タイルの形状、サイズはこれに限定されるものではなく、例えば図１７に示すような六角形状のタイル形状や、矩形のタイル形状であってもサイズが均一でないもの、また矩形タイルの境界位置をずらして配置するなど、種々のタイルに対して適用できる。また、ストリーム補正に関してはタイル位置と動きベクトルの補正に関して具体的に説明したが、動画像方式の規格によってはこれら以外の情報の補正が必要となる可能性もあるが、少なくとも合成フレームの構成に必要な補正が行われる。また、タイル情報の記憶形式は図１６の例についてのみ説明したが、この形式に限定されない。例えば、タイル位置の補正処理の負荷を軽減するために、補正が必要なタイル位置情報、Ｈ．２６４におけるｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅの位置、サイズがあらかじめ記憶されてもよい。また、以上説明した方法は、コンピュータがプログラムを記録媒体或は通信回線から読み込んで実行することによって実現してもよい。
この出願は、２０１０年１１月１日に出願された日本出願特願２０１０−２４５１７５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、圧縮符号化された動画像信号を利用し、視聴領域の指定、スクロール等の視聴領域変更をインタラクティブに行う動画像配信システムに適用できる。

１ 動画像配信システム
１００ 送信装置
１０１ 受信装置
１１０ タイル記憶部
１１１ ストリーム補正部
１１２ 合成部
１１３ 表示位置制御部
１１４ デコーダ部
１１５ 表示部
１１６ 操作入力部
１００１ 動きベクトル
１００２ タイル位置変位ベクトル
１００３ 補正動きベクトル
１５０１ 動きベクトル
１５０２ 動きベクトル
１５０３ 予測ベクトル
１５０４ 差分ベクトル
１５１１ 補正動きベクトル
１５１２ 補正動きベクトル
１５１３ 予測ベクトル
１５１４ 差分ベクトル
１５２０ タイル位置変位ベクトル
１６０１ タイル情報
１６０２ タイル情報
１６０３ タイル情報

Claims (10)

1. 圧縮符号化された動画像を１以上のマクロブロックを含むタイルの集合として管理する動画像配信システムであって、
   動画像を構成するタイルの集合を記憶する、タイル記憶手段と、
   前記タイル記憶手段からタイルを読み出し、補正処理を行って、出力する、１つ以上のストリーム補正手段と、
   前記ストリーム補正手段から出力される前記タイルから１フレームの動画像ビットストリームを合成して、送出する、合成手段と、
   前記動画像中の表示領域を管理し、前記表示領域に基づいて前記ストリーム補正手段及び前記合成手段を制御する、表示位置制御手段と、
   を備える送信装置と、
   前記動画像ビットストリームを受信して、復号化する、デコーダ手段と、
   前記デコーダ手段が復号化した動画像を表示する、表示手段と、
   ユーザの操作を入力し、前記送信装置の前記表示位置制御手段に対して送出する、操作入力手段と、
   を備える受信装置と、
   を備えたことを特徴とする動画像配信システム。
2. 前記ストリーム補正手段は、前記表示領域を含む画像領域に対応するタイル群を読み出し、
   前記ストリーム補正手段は、前記読み出されたタイルに対し、前記タイル群で構成されるフレーム内でのタイルの位置を補正する、位置情報補正処理を行い、
   前記合成手段は、前記タイル群で構成される前記フレーム内での前記表示領域の範囲を示す情報を前記動画像ビットストリームに記録する、
   ことを特徴とする請求項１に記載の動画像配信システム。
3. 前記タイルは、画像内で異なる位置にあるタイルの情報を利用せずに復号化可能に符号化され、
   前記タイルは、他の画像の情報を参照せずに復号化可能なＩタイルの符号化と、他の画像の同じ位置のタイルの復号化結果の画像を用いたフレーム間予測を行なって復号化するＰタイルの符号化との、少なくとも一つの符号化により符号化され、
   前記ストリーム補正手段は、前記タイル群に含まれるタイルの位置ごとに、ＩタイルまたはＰタイルのいずれか一方のタイルを読み出す、
   ことを特徴とする請求項２に記載の動画像配信システム。
4. 前記ストリーム補正手段は、前記タイル群に含まれるタイルごとに、フレーム間予測で利用する画像が復号化済みの場合はＰタイルを、該画像が復号化済みでない場合はＩタイルを読み出す、
   ことを特徴とする請求項３記載の動画像配信システム。
5. 前記ストリーム補正手段は、Ｐタイルを読み出した場合に、前記Ｐタイルがフレーム間予測で利用する画像内でのタイル位置と、前記タイル群で構成されるフレーム内での前記Ｐタイルの位置が異なる場合、該位置の違いが解消されるように前記Ｐタイルに含まれるマクロブロックの動きベクトル情報を補正する、
   ことを特徴とする請求項４に記載の動画像配信システム。
6. 前記表示領域は、表示位置が設定され、
   前記ストリーム補正手段は、前記表示領域を包含するために必要なタイル数のうち、設定された前記表示位置の前記表示領域がとりうる範囲を包含するために必要なタイル数のタイルを読み出す、
   ことを特徴とする請求項３、４または５に記載の動画像配信システム。
7. 前記タイル記憶手段は、前記Ｐタイルのビットストリーム中で、補正が必要な可能性のある、動きベクトルのビットストリームを識別する情報を記憶し、
   前記ストリーム補正手段は、前記動きベクトルのビットストリームを識別する情報の存在する動きベクトルのみを、前記動きベクトルのビットストリームを識別する情報を用いて、補正する、
   ことを特徴とする請求項３から６のいずれか一項に記載の動画像配信システム。
8. 前記タイルは、２以上のマクロブロック行を含み、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの動画像符号化方式のスライスグループ中のスライスとして符号化される、
   ことを特徴とする請求項３から７のいずれか一項に記載の動画像配信システム。
9. 圧縮符号化された動画像を１以上のマクロブロックを含むタイルの集合として管理して、送信側から受信側に配信する、動画像配信方法であって、
   送信側において、
   動画像を構成するタイルの集合を記憶するステップと、
   前記記憶されたタイルを読み出し、補正処理を行って、出力するステップと、
   前記出力される前記タイルから１フレームの動画像ビットストリームを合成して、送出するステップと、
   前記動画像中の表示領域を管理するステップと、
   を含み、
   受信側において、
   前記動画像ビットストリームを受信して、復号化するステップと、
   復号化した動画像を表示するステップと、
   ユーザの操作を入力し、前記送信側に送出するステップと、
   を含むことを特徴とする、動画像配信方法。
10. 圧縮符号化された動画像を１以上のマクロブロックを含むタイルの集合として管理して、送信側から受信側に配信する、動画像配信用プログラムであって、
    送信側において、
    動画像を構成するタイルの集合を記憶する処理と、
    前記記憶されたタイルを読み出し、補正処理を行って、出力する処理と、
    前記出力される前記タイルから１フレームの動画像ビットストリームを合成して、送出する処理と、
    前記動画像中の表示領域を管理する処理と、
    受信側において、
    前記動画像ビットストリームを受信して、復号化する処理と、
    復号化した動画像を表示する処理と、
    ユーザの操作を入力し、前記送信側に送出する処理と、
    をコンピュータに行わせることを特徴とする、動画配信用プログラム。

Images