JP5187120B2 - 画像配信装置、端末装置、画像配信方法、プログラム、および記録媒体 - Google Patents

Description

本発明は、クライアント端末から送信された要求に応じて、画像符号を配信する処理を行う画像配信装置、端末装置、画像配信方法、プログラム、および記録媒体に関する。

従来より、一般のユーザがアクセスすることが可能なインターネットなどの公衆網に設置された画像配信用のサーバを始めとする画像配信装置から、クライアント端末の要求に応じて画像符号を配信する様々な形態のシステムやサービスが提供されている。

このようなシステムのうち、特に高精細な画像やサイズが大きい画像を記憶しており、クライアント端末に配信する画像配信装置においては、単一の画像符号のデータのみを用いて、一度に配信などの処理を行うことは通常困難であり、複数の画像符号に分割して配信処理が行われている。その理由は、これらの各画像は容量が非常に大きく、処理を行う際に容量が大きいメモリが必要となり、画像符号のデータの圧縮・展開に時間が掛かってしまい効率が良くないためである。また、画像配信装置の１例としてサーバから、ネットワークを介してクライアント端末に配信するシステムでは、画像符号のデータを単一とすると配信での転送量が膨大となり、転送エラーや転送中での通信不良が発生する惧れがあるからである。

このような問題に対する解決方法として、Ｆｌａｓｈ Ｐｉｘ方式を始めとする画像符号の蓄積方法では、蓄積対象となる画像を複数の解像度、および複数種類のサイズの異なる画像に分割してデータベースに蓄積している。また、画像表示の際には、ＩＩＰとして参照される暗号を使用するプロトコルを用いてＦｌａｓｈ Ｐｉｘ方式での画像符号を取り扱い、表示に必要となるタイルに関するＪＰＥＧ方式のデータのみをクライアント端末に送信することによって転送されるデータ量を少なくしている。

また近年、ＪＰＥＧ２０００方式、ＪＰＥＧ ＸＲ方式のように、１つの画像自体が複数の解像度の階層を持っており、また任意の空間領域の画像符号のみを取り出すことが可能な符号化方式が実現したことで、従来のＦｌａｓｈ Ｐｉｘ方式のように各解像度毎、各空間領域毎に個別の画像ファイルを生成することなく、同様の機能、処理が実現されている。

ここで、通常変換符号化として参照される画像信号の符号化の処理は、以下の順番で実行される。即ち、画像の原信号→色変換（輝度・色差変換）→輝度・色差毎のサブバンドへの周波数変換→サブバンドを構成する各周波数領域毎の係数の量子化→量子化後の係数のエントロピー符号化→ビットストリームの生成、の順番に処理を行い、画像信号が符号化される。

これらの一連の処理の中で、量子化後の係数のエントロピー符号化の処理には、いくつかの方法が挙げられており、Ｈｕｆｆｍａｎ符号化、算術符号化、ランレングス符号化、予測符号化のいずれかの方法、もしくはこれらの方法を組み合わせた方法などがある。

また、予測符号化の処理では、画像信号そのものの予測を用いた処理や、各周波数領域毎の係数の予測を用いた処理などが行われ、その後にＨｕｆｆｍａｎ符号化やランレングス符号化などの方法と組み合わされる。

以下の特許文献１には、画像データがＦｌａｓｈ Ｐｉｘ方式で扱われた処理が記載されている。ウィンドウ領域を包含するタイル領域および拡張タイルが、画像データ領域とされており、ウィンドウに表示する領域サイズにより適切な画層が選択される。スクロール時に現在の画像データ領域にデータがない場合は、スクロール方向の読み込まれる不足タイルが最大になるよう画像データ領域を更新する。また、スクロール方向の読み込まれる不足タイルが最小になるよう画像データ領域を更新する。

また、特許文献２では、効率的な重ね合わせ変換が、単位行列式成分行列で構成されたプリフィルタおよびポストフィルタを用いて実現されている。これらのプリフィルタおよびポストフィルタは、一連の平面回転変換および単位行列式平面スケーリング変換として実現され、平面スケーリング変換が平面せん断変形またはリフティングステップを使って実装され、更に平面回転および平面せん断変形は、可逆／損失なし演算としての実装形態を持ち、結果として、可逆重ね合わせ演算子がもたらされる。

特許文献３には、サーバおよびクライアントより成るシステムが記載されている。サーバには、画像データに対応する圧縮コードストリームが格納され、クライアントにはネットワーク環境を通じてサーバに結合されている。クライアントは、アプリケーションおよび格納されるデータ構造を有するメモリを有する。このデータ構造には、サーバにおける圧縮コードストリームのパケット位置が示され、クライアントに既にバッファされている圧縮コードストリームのデータが示されている。クライアントは、メモリに未だ格納されていないサーバからの圧縮コードストリームのバイトを要求し、サーバから要求された圧縮コードストリームのバイトを利用してユーザが要求したデコード画像データを生成し、画像データを作成するのに必要なメモリに既に格納されている圧縮コードストリームの部分を生成する。

特開２００１−１１７５５４号公報 特開２００３−２３６３０号公報 特開２００６−１７４４８７号公報

しかしながら、上述のような予測符号化の処理は、非常に単純なアルゴリズムで画像符号のデータを偏らせることができる反面、予測符号化前の値を求めるには予測元の画像符号データが必要になるという欠点がある。１つの画像のうちの任意の解像度や空間領域を部分的にアクセスできる符号化方式でも、予測符号化が用いられているため、アクセスしようとする解像度、空間領域以外に存在する予測元の画像符号を得なくてはならないようなケースでは、転送データ量が多くなり、効率が低下するという問題があった。

例えば、画像を配信する側の画像配信装置内に蓄積してある画像符号をそのまま正確に送信する場合、受信する側のクライアント端末は、配信を要求する任意の部分的な画像符号のみを受信しても正しく復号できない。このため、予測元の部分を内部に含む他の部分の画像符号も共に送信しなくてはならず、結局は予測符号化の処理に影響を及ぼす開始部分の画像符号から要求する画像を復号が可能な全ての画像符号までを連続で全て配信しなくてはならない。

一方、転送データ量を少なくするために、予測符号化を用いない非予測の画像符号に変換してから要求する部分的な画像符号のみを配信するとなると、一度実行される画像符号の復号、および、非予測の画像符号の符号化の処理が加わってコストがかかる上に、予測を用いない分扱う符号が大きくなるという問題があった。

ここで、ＪＰＥＧ ＸＲ方式では、予測符号化処理が用いられている。ＪＰＥＧ ＸＲ方式での予測符号化は、画像を構成する最大の分割単位であるタイルをまたいでは行われないため、タイル毎に画像符号を抜き出して復元する処理が行われている。

しかし、ＪＰＥＧ ＸＲ方式であっても、画像符号によってはタイリングが行われていない場合、即ち画像全体がただ一つのタイルで出来ている場合や、タイリングは行われているものの各タイル毎のサイズが非常に大きい場合は、タイル毎の画像符号の抜き出しや、サーバとクライアントとの間のタイル毎の画像符号の送受信では、効率が悪くなってしまう。なぜなら、画像表示した空間領域が１つのタイルのサイズに比べて極端に小さいような時にも、画像配信装置から送信される画像符号をこの空間領域よりも大幅に拡張して膨大なサイズの１つのタイルを送信しなければならず転送データ量が多くなるからである。

以上のように、従来の技術では、ＪＰＥＧ ＸＲ方式で画像を構成する最大の分割単位であるタイル毎に画像符号を抜き出して配信しているため、転送データ量が多くなり、効率が悪いという問題があった。

本発明は、このような課題に鑑みてなされたものであり、転送データ量を少なくして画像符号の配信を効率よく行うことが可能な画像配信装置、端末装置、画像配信方法、プログラムおよび記録媒体を提供することを目的とする。

以上の課題を解決するために本発明では、例えばＪＰＥＧ ＸＲ符号化方式などの方式で符号化された画像のうち、クライアント端末により指定された空間領域の画像符号を配信する画像配信装置が、受信手段により、例えばネットワークを介して接続されたクライアント端末から送信された画像領域指定情報を受信し、この画像領域指定情報で指定された画像のうちの空間領域を含む画像符号を記憶手段から読み出す。そして、抽出手段により、この読み出した画像符号から、画像領域指定情報で指定された空間領域を復号するためのマクロブロックを抽出して、クライアント端末に配信する処理を行う。

また、画像配信装置は、配信対象となるクライアント端末で、予測符号化の処理が実行可能か否かを判定し、その結果実行可能と判定された場合に、画像符号から画像領域指定情報で指定された空間領域を、予測符号化の処理を用いて復号するための予測元マクロブロックを抽出する。画像配信装置は、この抽出した予測元マクロブロックを復号して、予測元情報を生成し、これらのマクロブロックおよび予測元情報をクライアント端末に配信する処理を行う。

このため、画像配信装置が、例えばＪＰＥＧ ＸＲ方式などで符号化された画像を、データの最大の分割単位であるタイル毎に配信するのではなく、各タイルに含まれるマクロブロックを抽出して配信するので、各タイルに含まれている余分なデータを配信すること無く、転送データ量を少なくすることが可能となる。クライアント端末により指定された空間領域の画像符号の配信を効率よく行うことが可能となる。

本発明によれば、転送データ量を少なくして画像符号の配信を効率よく行うことが可能な画像配信装置、端末装置、画像配信方法、プログラムおよび記録媒体を提供することができる。

〔第１の実施形態〕
以下、本発明を実施形態をもって説明するが、まず、本発明に係る画像配信装置で用いられる画像符号化方式の１つの例であるＪＰＥＧ ＸＲ符号化方式の概要について説明する。図１は、ＪＰＥＧ ＸＲ符号化方式での画像を復号する際の一連の処理を示す説明図である。ＪＰＥＧ ＸＲ符号化方式では、図１に示すように、選択的にブロック重複変換処理を行った後、ブロック周波数変換、量子化、予測符号化などの処理を経て、係数スキャニング、エントロピー符号化を行い、表示画像が生成される。

ＪＰＥＧ ＸＲ符号化方式では、ＪＰＥＧ２０００のようにスケーラビリティを有する画像符号であるため、画像符号中からある解像度のある部分領域を表現する符号のみを抽出して、表示画像を復号することが可能である。また、ＪＰＥＧ ＸＲ符号化方式では、データの最大の分割単位であるタイルデータやマクロブロックを始めとしてブロック変換を用いていることと、予測符号化の処理が用いられている。

図２は、ＪＰＥＧ ＸＲ符号化方式で用いられているブロック変換処理でのタイルデータやマクロブロックなどから構成される空間的階層構造を示す説明図である。ＪＰＥＧ ＸＲ符号化方式では、ブロック変換処理での最小の単位であるＰｉｘｅｌが、例えば４×４個集まって「ブロック（Ｂｌｏｃｋ）」が形成され、更に「ブロック」が４×４個集まって「マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）」が形成される。そして、「マクロブロック」を複数配列して構成した矩形状などの空間領域である「タイル（Ｔｉｌｅ）」が形成されて画像が得られる。

画像の符号化や復号化の処理は、各タイルデータ毎に個別に行われ、複数のタイルデータ間をまたいで予測符号化の処理を行わない。

図３は、ＪＰＥＧ ＸＲ符号化方式で用いられているブロック変換処理での画像符号を配信するときに使用する複数の周波数帯域階層を示す説明図である。ＪＰＥＧ ＸＲ符号化方式では、図３に示すように、例えば３段階の周波数帯域階層を有しており、それぞれ低い周波数から順に、ＤＣ帯域、ＬＰ（Ｌｏｗ Ｐａｓｓ）帯域、ＨＰ（Ｈｉｇｈ Ｐａｓｓ）帯域の周波数帯域階層を有している。

これらのＤＣ帯域、ＬＰ帯域、ＨＰ帯域の周波数帯域は、後述する４×４ＰＣＴの変換処理を２回実行した結果として生成される。ＨＰ帯域のＨＰ係数は、４×４ピクセルのブロック内で、１回目の４×４ＰＣＴの変換処理後の係数を並び替えて得られる。

次に、ＬＰ帯域のＬＰ係数は、それぞれのブロック内で１回目の４×４ＰＣＴの変換処理で並び替えて得られた係数のうち、例えば左上などの所定位置の係数（図３（ａ）、（ｂ）、（ｃ）の係数ｃとして参照する。）を集めて行き、例えば図３（ａ）の場合、４×４個のブロックから１つのマクロブロックから１６個の係数を集める。これらの集めた１６個の係数で２回目の４×４ＰＣＴの変換処理で並び替えて得られる。

最後に、ＤＣ係数は、それぞれのブロック内で２回目の４×４ＰＣＴの変換処理で並び替えて得られた係数のうち、例えば左上などの所定位置の係数（図３（ａ）、（ｂ）、（ｃ）の係数ｄとして参照する。）を集めていき、例えば図３（ａ）の場合、４×４個のブロックから１つのマクロブロックから１６個の係数を集める。これらの集めた１６個の係数で２回目の４×４ＰＣＴの変換処理で並び替えて得られた係数が、ＬＰ係数である。

この結果、ＪＰＥＧ ＸＲ符号化方式では、ＤＣ帯域、ＬＰ帯域、ＨＰ帯域の３つの周波数帯域が生成されて、３つのレベルの解像度スケーラビリティを有する。即ち、ＪＰＥＧ ＸＲ符号化方式では、ＨＰ係数で原画像と同一の解像度、ＬＰ係数で原画像の4分の1の解像度、ＤＣ係数で原画像の１６分の１の解像度が得られる。例えば原画像が４８０×４８０の画素数となる解像度の場合には、ＨＰ係数で４８０×４８０、ＬＰ係数で１２０×１２０、ＤＣ係数で３０×３０の解像度が得られる。

（Ｆｌｅｘ Ｂｉｔｓ）
ＪＰＥＧ ＸＲ符号化方式では、周波数階層に加えて一部のデータ領域にＨＰ係数、ＬＰ係数、ＤＣ係数の各係数のスケーラビリティを実現するためのＦｌｅｘ Ｂｉｔｓとして参照される領域が形成されている。このＦｌｅｘ Ｂｉｔｓは、ＪＰＥＧ２０００符号化方式でのＬａｙｅｒに相当する。

以上のＪＰＥＧ ＸＲ符号化方式のデータ領域内の各マクロブロック内の各周波数帯域及びＦｌｅｘ Ｂｉｔｓを形成する領域をサブバンド信号として参照される。

（２×２ＰＣＴ及び４×４ＰＣＴの定義）
ここで、上述のＤＣ係数、ＬＰ係数、ＨＰ係数を得るための変換処理で用いられるＰＣＴの変換式について説明する。ＰＣＴの変換式には、２×２のバージョンと４×４のバージョンが存在する。
アダマール変換式Ｔ_Ｈを、

とする。この場合、２×２ＰＣＴの変換式Ｔ_Ｈは、下記式（２）で与えられる、アダマール変換式Ｔ_Ｈのクロネッカー積で表される。

更に、４×４ＰＣＴの変換処理は、上述の２×２ＰＣＴ変換式Ｔ_Ｈと、回転変換式Ｔ_Ｒで計算される３つの変換式により実現される。回転変換式Ｔ_Ｒを、下記式（３）、（４）で与える。

４×４ＰＣＴの変換処理は、３つのステージから成り、変換範囲である４×４のブロックを、下記式（５）で定義する。

上述した３つのステージは、（１）アダマール変換ステージ、（２）回転ステージ、および（３）係数並び替えステージであり、アダマール変換ステージおよび回転ステージは、下記式（６）、（７）で定式化することができる。

図４は、上述した（３）の係数並び替えステージで、４×４ＰＣＴの変換処理後の係数を並び替えるために用いられる係数の配置を示す説明図である。上述のアダマール変換ステージおよび回転ステージを経て得られた係数を、図４に従って配置することで４×４ＰＣＴの変換処理が実現される。

（ブロックノイズ軽減のための変換）
ここで、ＪＰＥＧ ＸＲ符号化方式では、２×２ＰＣＴおよび４×４ＰＣＴの変換処理を行うための準備処理として、ブロックノイズを抑制するためのマクロブロック間を跨ぐＰＯＴの変換処理（ＰＯＴ＝Ｐｈｏｔｏ Ｏｖｅｒｌａｐ Ｔｒａｎｓｆｏｒｍとして参照する。）を行うオプションが選択可能となっている。画像の符号化で、ＰＯＴの変換処理を経て４×４ＰＣＴの変換処理などを行った場合には、画像の復号化では、逆ＰＯＴの変換処理を行うことが必要となる。

図５は、ＰＯＴの変換処理でのマクロブロック間を跨いだ変換範囲を示す説明図である。原画像を復号するためには、復号対象のマクロブロックの周辺のマクロブロックについての画像符号の参照も必要であるが、この場合には復号対象となる画像領域の端の部分が参照される。なお、このような端の部分の誤差については、許容されるケースもあり周辺のマクロブロックをサーバなどから取得することも可能であるので、ここでは説明を省略する。

（ビットストリームの構造）
ＪＰＥＧ ＸＲ符号化方式でのビットストリームの構造は、先頭に画像に関する識別情報などを含むヘッダ、サブバンド信号が存在する位置を示すインデックステーブル、各タイル毎にサブバンド信号が並ぶ構造を有している。ＪＰＥＧ ＸＲ符号化方式でのビットストリームの構造には、Ｓｐａｔｉａｌ ｍｏｄｅと、Ｆｒｅｑｕｅｎｃｙ ｍｏｄｅのそれぞれ２種類のモードがあり、これらの２種類のモードでは各タイル毎にサブバンド信号が並ぶ点では共通している。Ｓｐａｔｉａｌ ｍｏｄｅでは、各マクロブロック毎に分けて全ての周波数帯域信号が並んでいる。

図６は、ＪＰＥＧ ＸＲ符号化方式でのこれらの２つのモードのビットストリームの構造を示す説明図である。Ｓｐａｔｉａｌ ｍｏｄｅでは、例えば図６に示すように、第１のマクロブロック内の全ての周波数帯域信号が並び、その後に続けて第２のマクロブロック内の全ての周波数帯域信号が並んでいく構造となっており、マクロブロックの単位毎に周波数の単位が分けられて外側に配置される。

一方、Ｆｒｅｑｕｅｎｃｙ ｍｏｄｅでは、Ｓｐａｔｉａｌ ｍｏｄｅとは逆に各周波数帯域毎に分けて全てのマクロブロック毎の信号が並んでいる。

Ｆｒｅｑｕｅｎｃｙ ｍｏｄｅでは、例えば図６に示すように、ＤＣ帯域、ＬＰ帯域、ＨＰ帯域、Ｆｌｅｘ Ｂｉｔｓの順番に分けられて、各周波数帯域毎に分けて全てのマクロブロックの信号が並び、第１にＤＣ帯域での各マクロブロックの信号が第１、第２、第３、・・・の順番で並べられ、その後に続けてＬＰ係数での各マクロブロックの信号が第１、第２、第３、・・・の順番で並んでいく構造となっており、各周波数帯域毎にマクロブロックの単位が分けられて外側に配置される。

（予測符号化）
ＪＰＥＧ ＸＲ符号化方式では、図１に示すように、サブバンド信号をエントロピー符号化する前に、予測符号化の処理を行う。予測符号化の処理では、ＤＣ帯域、ＬＰ帯域、ＨＰ帯域の各周波数帯域毎のそれぞれのサブバンド信号を別々に使用し、各周波数帯域毎に異なる予測モードを用いて行われる。なお、いずれの予測モードでも各タイルデータ毎に個別に処理が行われ、複数のタイルデータ間をまたいで予測符号化の処理を行わない。

図７は、ＤＣ係数で実行される各予測モードの処理方法を示す説明図である。まず、ＤＣ係数での予測符号化処理では、予測モードが４種類あり、図７に示すように、それぞれ第１に左のマクロブロックのＤＣ係数からの予測、第２に上のマクロブロックのＤＣ係数からの予測、第３に左と上のマクロブロックの各ＤＣ係数を加算して２で割算した数値からの予測、第４に予測無しである。ここで、第４の予測無しの処理では、０値からの予測と同様である。

実際にＤＣ係数の予測符号化処理では、通常第３の方法から、左と上のマクロブロックの各ＤＣ係数を加算して２で割算した数値からの予測処理が実行される。予測元との絶対値の差が所定値以下でかなり小さい場合には第１もしくは第２の処理方法が使われる。

図８は、ＬＰ係数で実行される各予測モードの処理方法を示す説明図である。ＬＰ係数での予測符号化処理では、予測モードが３種類あり、図８に示すように、それぞれ第１に左のマクロブロックのＬＰ係数からの予測、第２に上のマクロブロックのＬＰ係数からの予測、第３に予測無しである。ここで、ＬＰ係数での予測符号化処理は、図１に示す同一の量子化数値を使用するマクロブロック間でのみ実行される。即ち、ＬＰ係数での予測符号化処理は、異なる量子化数値を使用するマクロブロック間では実行されない。

ＨＰ係数での予測符号化処理では、ＤＣ係数やＬＰ係数と異なり、マクロブロック毎に個別に実行される。ＨＰ係数での予測符号化処理では、予測モードが３種類あり、それぞれ第１に左のマクロブロックのＨＰ係数からの予測、第２に上のマクロブロックのＨＰ係数からの予測、第３に予測無しである。図９は、ＨＰ係数で実行される予測モードのうち、左のマクロブロックのＨＰ係数からの予測する第１の処理方法を示す説明図である。

ＪＰＥＧ ＸＲ符号化方式の予測符号化の処理では、タイル間を跨いでは行われないため、それぞれのタイル内では個別に画像の復号が可能となっている。ＤＣ係数やＬＰ係数の予測符号化処理は、各マクロブロック間を跨いで実行されるため、マクロブロック毎で画像符号をやりとりした場合、画像を復号するためには予測元の係数を得る必要がある。これに対して、ＨＰ係数は、マクロブロックを跨いで行わないので、マクロブロック毎で個別に予測符号化を行い、画像の復号が可能となっている。ただし、周波数逆変換には、同一マクロブロック内のＤＣ係数やＬＰ係数の正しい値が無ければ画像を復元できない。

（係数スキャン）
ＪＰＥＧ ＸＲ符号化方式では、係数スキャン処理で、各サブバンド信号を適応的な順番でスキャンを行う。係数スキャン処理した後に、非ゼロ係数値が先頭部分に続き、その後にゼロ係数値が続くようにして、非ゼロ係数値の出現回数などをカウントして、スキャンを行う順番を適応的に修正していき、続けて実行されるランレングス符号化の処理を効率的に行うようにしている。図１０は、係数スキャン処理での初期のスキャン順を示す説明図である。係数スキャン処理では、図１０に示すように、ＬＰ係数、ＨＰ係数の初期の水平スキャン順は（ａ）、ＨＰ係数の初期の垂直スキャン順は（ｂ）となっている。

（エントロピー符号化）
ＪＰＥＧ ＸＲ符号化方式のサブバンド信号のエントロピー符号化は、ＤＣ係数、ＬＰ係数、ＨＰ係数の各数値のうち、ゼロの係数についてのランレベル符号化と適応的可変長の処理が組み合わせて用いられる。サブバンド信号の全ての係数がゼロであった場合は、エントロピー符号化されずに、全ての係数がゼロであるというフラグを立てて処理が行われる。

続いて、本発明における第１の実施形態をもって説明するが、本発明は、実施形態に限定されるものではない。図１６は、第１の実施形態における画像配信装置の１例であるサーバ１００のハードウェア構成を示す概略構成図である。サーバ１００は、例えば文書や写真などの画像のうち、後述するクライアント端末２００により指定された空間領域の画像符号を配信する機能を有している。

サーバ１００は、クライアント端末２００から送信された画像のうちの空間領域を指定するための画像領域指定情報を受信する受信部１０５と、クライアント端末２００に配信可能な画像符号を含む各データを記憶する画像記憶部１１０と、画像領域指定情報で指定された空間領域を含む画像符号を画像記憶部１１０に記憶された画像符号から読み出して解析処理を行う画像符号解析部１２０とを備えている。

ここで、画像領域指定情報は、例えばインターネットなどのネットワークを介してクライアント端末２００からサーバ１００に送信される情報である。画像領域指定情報には、サーバ１００の装置内もしくはサーバ１００がアクセス可能に接続された画像記憶部１１０に記憶された画像符号のうち、ユーザが配信を要求する画像符号中の空間領域の範囲を指定するための情報が含まれている。この空間領域の範囲を指定するための情報としては、例えば画像ファイル名や、配信を要求する空間領域のフレームサイズ、空間領域を指定するためのオフセット座標などが挙げられる。

サーバ１００では、この画像領域指定情報に基づいて、後述するようにマクロブロックの抽出対象となる画像符号が特定され、この特定された画像符号中の空間領域が指定されてマクロブロックの抽出処理が行われる。

また、クライアント端末２００で予測符号化処理が実行可能な場合には、画像符号中から空間領域を含むマクロブロックが抽出された後、画像の予測符号化を行うために必要となる処理として、予測元情報の生成が行われる。

画像符号解析部１２０は、画像領域指定情報で指定された空間領域の画像符号を含む画像符号を画像記憶部１１０から読み出して解析処理を行い、この読み出した画像符号から、画像領域指定情報で指定された空間領域を復号するために必要となるマクロブロックを抽出する処理を行う。

また、画像符号解析部１２０は、クライアント端末２００で予測符号化の処理が実行可能か否かを判定する処理を行い、判定した結果実行可能と判定された場合には、画像記憶部１１０から読み出した画像符号から、画像領域指定情報で指定された空間領域を予測符号化の処理を用いて復号するための予測元マクロブロックを抽出する処理を行う。そして、画像符号解析部１２０は、この抽出した予測元マクロブロックを復号して、画像符号に含まれるＤＣ帯域、ＬＰ帯域、ＨＰ帯域の各周波数帯域毎のサブバンド係数が含まれた予測元情報を生成する。

サーバ１００は、画像符号解析部１２０による解析処理で抽出されたマクロブロックや、生成された予測元情報をクライアント端末２００に送信して配信する送信部１４０を備えている。

送信部１４０は、画像符号解析部１２０による解析処理で抽出されたマクロブロックをＤＣ帯域、ＬＰ帯域、ＨＰ帯域の各周波数帯域毎に分離して、クライアント端末２００に配信する。また、送信部１４０は、画像符号解析部１２０で予測符号化の処理が実行可能と判定された場合には、画像符号解析部１２０により抽出されたマクロブロック、および、生成された予測元情報をクライアント端末２００に配信する。ここで、送信部１４０は、以下に示す２通りの方法を用いて配信を行う。

まず、第１の方法は、Ｓｐａｔｉａｌ ｍｏｄｅの符号から抽出したり再構成する際に効率の良く、１つのマクロブロックについて１つの配信データが個別に対応する。配信データは、各周波数帯域の係数のうち配信される係数に応じてデータ長が異なり、必ずしも画像符号解析部１２０で抽出されたマクロブロック符号と同じデータ長にはならない。

図１１は、１つのマクロブロックに関する各周波数帯域毎の係数を、ＤＣ係数、ＬＰ係数、ＨＰ係数、Ｆｌｅｘ Ｂｉｔｓまで全て送る場合の配信データの様子を示す説明図である。図１２は、１つのマクロブロックに関する係数を、ＨＰ係数以下を送らずにＬＰ係数までのみを送る場合の配信データの様子を示す説明図である。ここで、一度ＬＰ係数までを配信データとして送った後に、同一のマクロブロックに関してＨＰ係数とＦｌｅｘ Ｂｉｔｓのみを追加で送りたい場合は、ＨＰとＦｌｅｘ Ｂｉｔｓの符号から成る部分符号を、ＨＰ係数の開始位置のオフセットと、長さの情報を付加して送れば良い。

第２の方法は、１つのマクロブロック内に複数に分けて含まれる各周波数帯域毎の係数それぞれについて１つの配信データが個別に対応する。配信データは、各周波数帯域の係数のうち配信される係数に応じてデータ長が異なり、必ずしも画像符号解析部１２０で抽出されたマクロブロック符号と同じデータ長にはならない。また、各配信データは、各周波数帯域毎の係数のそれぞれに個別に配信されるため、タイル番号、マクロブロック番号、周波数帯域を示すＩＤ情報などを各配信データに添付する必要がある。この方法では、配信データを各周波数帯域の係数に分けて最小単位で配信するため、Ｓｐａｔｉａｌ ｍｏｄｅとＦｅｑｕｅｎｃｙ ｍｏｄｅのいずれにも対応できｍｏｄｅの切り替えが容易であるというメリットがある。図１３は、１つのマクロブロック内にそれぞれ分けて含まれるＤＣ係数、ＬＰ係数、ＨＰ係数の各周波数帯域毎に個別に送る場合の配信データのデータ構造を示す説明図である。

図１４は、サーバ１００がクライアント端末２００から送信された画像領域指定情報に対するレスポンスとして配信する配信データのデータ構造を示す説明図である。この配信データには、図１４に示すように、上述の第１の方法によって配信する配信データとして、画像符号ヘッダやインデックステーブルと、タイル番号、マクロブロック番号、ＩＤ情報が添付されたマクロブロックメッセージなどが含まれている。

また、画像符号解析部１２０で予測符号化の処理が実行可能と判定された場合には、この配信データには、上述の各データに加えて、マクロブロック予測値が含まれている。

図１５は、図１４に示す配信データに含まれるマクロブロック予測値のデータ構造を示す説明図である。マクロブロック予測値には、図１５に示すように、上述の予測符号化処理に用いられるＤＣ係数値（ＤＣ予測値）、ＬＰ係数値（ＬＰ予測値）から成っている。なお、ＤＣ係数値で予測符号化の処理が実行不可能と判定された場合には、ＤＣ係数値（ＤＣ予測値）は「０」となり、一方、ＬＰ係数値で予測符号化の処理が実行不可能と判定された場合には、ＬＰ係数値（ＬＰ予測値）は「０」となる。

図１７は、サーバ１００から配信された画像符号を受信する、本実施形態の端末装置であるクライアント端末２００のハードウェア構成を示す概略構成図である。クライアント端末２００は、ネットワークを介して画像領域指定情報をサーバ１００に送信する送信部２０５を備えている。なお、クライアント端末２００は、パーソナルコンピュータ、ＰＤＡ(Personal Data Assistant)、または携帯電話などとして構成することができる。

また、クライアント端末２００は、ネットワークを介してサーバ１００から配信されたマクロブロック、および、生成された予測元情報を受信する受信部２１０と、受信部２１０により受信されたマクロブロックから画像領域指定情報で指定された空間領域を復号する処理を行う、または、受信部２１０により受信されたマクロブロックおよび予測元情報から画像領域指定情報で指定された空間領域を予測符号化の処理を用いて復号する処理を行う復号部２２０を備えている。

クライアント端末２００は、復号部２２０により復号された空間領域を表示画像として例えばディスプレイなどに画面表示する画像表示部２３０を備えている。

続いて、第１の実施形態におけるサーバ１００が、クライアント端末２００により指定された空間領域の画像符号を配信する処理について図１８に示すフローチャートを用いて説明する。

まず、サーバ１００は、ネットワーク上に設置されて画像符号を配信可能な状態で設定されており、ステップＳ１８０１で受信部１０５によりクライアント端末２００から送信された画像配信を要求する要求情報と、この要求情報で要求される画像符号の空間領域の範囲や画像の解像度を指定するための画像領域指定情報を受信する。この画像領域指定情報には、空間領域を指定するための座標が含まれる例えば以下のようなＵＲＩ情報が用いられる。

このＵＲＩ情報は、画像を表示するときの解像度と、画像記憶部１１０に記憶されている画像全体のうちの空間領域を指定するための情報であり、このＵＲＩ情報では、矩形状である空間領域の左上端点の座標（１２０，０）と、右下端点の座標（６００，４８０）とを示し、４８０×４８０の画素数で画像を表示することを示す。

サーバ１００は、ステップＳ１８０２で画像符号解析部１２０により画像記憶部１１０を検索し、ステップＳ１８０１において受信した画像領域指定情報で指定された空間領域を含む画像符号のうち、この画像自体に関するデータを含むヘッダ情報を読み出す処理を行う。このヘッダ情報には、この画像全体のサイズ、タイルサイズ、色空間の定義、画像ファイル中のビットストリーム開始位置を示す情報などが含まれている。

サーバ１００は、ステップＳ１８０３で画像符号解析部１２０により画像領域指定情報で指定された空間領域を含む画像の解像度を特定する処理を行う。サーバ１００は、画像符号解析部１２０により、ステップＳ１８０１において受信した画像領域指定情報を解析して、画像領域指定情報で指定された空間領域の画像符号の解像度を特定する。そして、サーバ１００は、画像符号解析部１２０により、ＤＣ係数、ＬＰ係数、ＨＰ係数の各周波数帯域のサブバンド係数のうち、この特定した解像度に応じたサブバンド係数を特定する。

例えば、サーバ１００が画像領域指定情報として上述のようなＵＲＩ情報を受信した場合には、画像符号解析部１２０により、画像領域指定情報の末尾部分を解析して、解像度を指定する情報「＆ｆｒａｍｅ＝４８０，４８０」を参照し、クライアント端末２００に配信する空間領域の画像符号の解像度「４８０×４８０」を特定する。そして、サーバ１００は、画像符号解析部１２０により、各周波数帯域のサブバンド係数のうち、この特定した解像度に応じたサブバンド係数「ＨＰ係数」を特定する。

また、例えば、サーバ１００が画像符号解析部１２０により、画像領域指定情報の末尾部分を解析して、解像度を指定する情報「＆ｆｒａｍｅ＝１２０，１２０」を参照し、クライアント端末２００に配信する空間領域の画像符号の解像度「１２０×１２０」を特定する。そして、サーバ１００は、画像符号解析部１２０により、各周波数帯域のサブバンド係数のうち、この特定した解像度に応じたサブバンド係数「ＬＰ係数」を特定する。

次に、サーバ１００は、ステップＳ１８０４で画像符号解析部１２０により画像領域指定情報で指定された空間領域を含むマクロブロックを特定する処理を行う。サーバ１００は、画像符号解析部１２０により、ステップＳ１８０１において受信した画像領域指定情報を解析して、画像領域指定情報で指定された空間領域を特定する。

そして、サーバ１００は、画像符号解析部１２０により画像記憶部１１０を検索し、この特定した空間領域を含む各タイルのサイズやそれぞれの座標から、空間領域を含む各タイルのタイル番号を特定する。また、これらの特定した各タイルのうち、空間領域を含むマクロブロックのサイズやそれぞれの座標から、空間領域を含むマクロブロック番号を特定する。

図１９は、画像領域指定情報で指定された空間領域を含むタイルやマクロブロックを示す説明図である。サーバ１００は、図１９に示すように、画像符号解析部１２０により画像記憶部１１０を検索し、例えば空間領域（Ｒｅｑｕｅｓｔ Ｒｅｇｉｏｎ）を含む各タイルのタイル番号１、２、４、５、・・・を特定する。また、これらの特定した各タイルのうち、空間領域を含むマクロブロック（Ｒｅｓｐｏｎｓｅ Ｒｅｇｉｏｎ）のマクロブロック番号をそれぞれタイル番号１から７、８、１１、１２・・・と、タイル番号２から９、１０、１１、１２、１３・・・とを特定し、各タイル毎に特定していく。

サーバ１００は、ステップＳ１８０５で画像符号解析部１２０により画像領域指定情報で指定された空間領域を含むマクロブロックの画像符号を抽出する処理を行う。サーバ１００は、画像符号解析部１２０により画像記憶部１１０を検索し、画像領域指定情報で指定された空間領域を含む画像符号のうち、ステップＳ１８０４において特定したマクロブロック番号と合致するマクロブロックを抽出する処理を行う。ここで、サーバ１００は、画像符号解析部１２０により、各マクロブロックに含まれる各周波数帯域のサブバンド係数のうち、ステップＳ１８０３において特定した解像度に応じたサブバンド係数のデータを抽出する。

図２０は、画像領域指定情報で指定された空間領域を含むマクロブロックを抽出した様子を示す説明図である。例えば、サーバ１００は、図２０に示すように、画像符号解析部１２０により画像記憶部１１０を検索し、ステップＳ１８０４においてマクロブロック番号と合致するマクロブロックをそれぞれタイル番号１から７、８、１１、１２・・・と、タイル番号２から９、１０、１１、１２、１３・・・とを抽出し、各タイル毎に抽出していく。

図２１は、画像符号が例えばＳｐａｔｉａｌ ｍｏｄｅのビットストリーム構造を有している場合にマクロブロックを抽出した様子を示す説明図である。ここで、サーバ１００は、図２１に示すように、画像符号解析部１２０により、各マクロブロックに含まれる各周波数帯域のサブバンド係数のうち、例えばステップＳ１８０４において特定した解像度に応じたサブバンド係数「ＨＰ係数」のデータを抽出する。

サーバ１００は、ステップＳ１８０６で画像符号解析部１２０により画像領域指定情報を解析して、画像領域指定情報に含まれるクライアント端末２００に関する情報を参照し、クライアント端末２００で予測符号化の処理が実行可能か否かを判定する処理を行う。

例えば、各マクロブロックに含まれる各周波数帯域のサブバンド係数のうち、サブバンド係数「ＤＣ係数」、「ＬＰ係数」の２つのデータを抽出した場合には、サーバ１００は、画像符号解析部１２０により、これらの２つのデータのうちのいずれかで予測符号化の処理が実行可能か否かを判定する。判定した結果いずれか１つまたは２つ共に実行可能と判定された場合には（Ｙｅｓ）、ステップＳ１８０７の処理を実行する。また、判定した結果２つ共に実行不可能と判定された場合には（Ｎｏ）、ステップＳ１８１０の処理を実行する。

判定した結果実行不可能と判定された場合には（Ｎｏ）、サーバ１００は、ステップＳ１８１０で送信部１４０によりステップＳ１８０５において抽出したマクロブロックの画像符号をクライアント端末２００に配信する。

判定した結果実行可能と判定された場合には（Ｙｅｓ）、サーバ１００は、ステップＳ１８０７で画像符号解析部１２０により画像領域指定情報で指定された空間領域を上述の予測符号化処理で予測復号するために必要となる予測元マクロブロックを特定する処理を行う。

図２２は、画像領域指定情報で指定された空間領域を予測復号するための予測元マクロブロックを示す説明図である。予測符号化の処理が左と上のマクロブロックの各ＤＣ係数を加算して２で割算した数値から予測する場合には、サーバ１００は、図２２に示すように、画像符号解析部１２０により画像記憶部１１０を検索し、例えばステップＳ１８０５において抽出したマクロブロックの左と上の位置のマクロブロックを予測元マクロブロックとして特定する。

次に、サーバ１００は、ステップＳ１８０８で画像符号解析部１２０によりステップＳ１８０７において特定した予測元マクロブロックを用いて予測復号処理を行い、予測元情報を生成する処理を行う。

図２３は、予測元マクロブロックを用いて生成した予測元情報を示す説明図である。予測符号化の処理が左と上のマクロブロックの各ＤＣ係数やＬＰ係数から予測する場合には、サーバ１００は、図２３に示すように、画像領域指定情報で指定された空間領域の例えばマクロブロック番号１０、１１、１４、１５、１８、１９・・・を正確に予測復号するために必要となる予測元マクロブロックのマクロブロック番号６、７、９、１３、１７・・・を用いて予測復号を行い、マクロブロック番号０〜２１の画像符号を各ＤＣ係数やＬＰ係数の領域まで復号して予測元情報を生成する処理を行う。

そして、サーバ１００は、ステップＳ１８０９で送信部１４０によりステップＳ１８０５において抽出したマクロブロックの画像符号と、ステップＳ１８０８において生成した予測元情報とをクライアント端末２００に配信する。なお、ここでクライアント端末２００からの要求に従い、必要に応じてステップＳ１８０２において読み出したヘッダ情報を加えて配信する。

続いて、第１の実施形態におけるクライアント端末２００が、サーバ１００から配信された画像符号を画像表示する処理について図２４に示すフローチャートを用いて説明する。ここでは、クライアント端末２００が、予測符号化の処理が実行可能であり、予測符号化の処理を行って画像を表示する処理について説明する。

まず、クライアント端末２００は、送信部２０５により画像領域指定情報をサーバ１００に送信した後、ステップＳ２４０１で受信部２１０により、例えばｈｔｔｐ、ｔｃｐなどの転送プロトコルを使用して、サーバ１００からレスポンスとして配信されたマクロブロックの画像符号と予測元情報を含むデータを受信する。

そして、クライアント端末２００は、ステップＳ２４０２で復号部２２０によりステップＳ２４０１において受信したレスポンスのデータ内容を解析して、マクロブロックのヘッダ情報や画像符号を含むマクロブロックメッセージ、予測元情報を取り出す。

クライアント端末２００は、ステップＳ２４０３で復号部２２０によりステップＳ２４０２において取り出したマクロブロックメッセージに含まれる各サブバンド係数を、ビットストリーム構造に従ってラスタ順に連結する処理を行う。

図２５は、マクロブロックメッセージに含まれる各サブバンド信号を連結した様子を示す説明図である。クライアント端末２００は、復号部２２０によりマクロブロックメッセージに含まれる各サブバンド係数を、図２５に示すように、例えばＳｐａｔｉａｌ ｍｏｄｅのビットストリーム構造に従ってＤＣ係数、ＬＰ係数、ＨＰ係数、ＦＬＥＸ ＢＩＴＳのラスタ順に順々に連結する。ここで、マクロブロックメッセージに含まれるサブバンド係数が例えばＤＣ係数、ＬＰ係数のみである場合には、ＨＰ係数、ＦＬＥＸ ＢＩＴＳのサブバンド信号として係数値「０」のフラグ情報をラスタ順に挿入する。また、ステップＳ２４０１において受信していないマクロブロックメッセージのサブバンド係数についても連結する場合には、全てのサブバンド係数に係数値「０」のフラグ情報を挿入する。

クライアント端末２００は、ステップＳ２４０４で復号部２２０によりステップＳ２４０３において連結した各マクロブロック毎のサブバンド信号を、ＪＰＥＧ ＸＲ符号化方式に従ってエントロピー復号して、予測元マクロブロックのサブバンド係数を取得する。

次に、クライアント端末２００は、ステップＳ２４０５で復号部２２０により各予測元マクロブロックのうち、係数値「０」のフラグ情報を挿入したマクロブロックを足し合わせる処理を行う。クライアント端末２００は、復号部２２０によりステップＳ２４０４においてエントロピー復号した予測元マクロブロックのうち、上述のように、係数値「０」のフラグ情報を挿入した予測元マクロブロックと同一のマクロブロックを、ステップＳ２４０２において取り出したマクロブロックメッセージから抽出し、予測元マクロブロックとして足し合わせ、取得する処理を行う。

クライアント端末２００は、ステップＳ２４０６で復号部２２０によりステップＳ２４０４、Ｓ２４０５において取得した各予測元マクロブロックに対して予測復号処理を行い、画像領域指定情報で指定された空間領域のマクロブロックの画像符号を取得する処理を行う。

クライアント端末２００は、ステップＳ２４０７で復号部２２０によりステップＳ２４０６において取得した空間領域のマクロブロックの画像符号に対して、ステップＳ２４０２において取り出したヘッダ情報から変換処理に関する情報を参照し、上述のアダマール変換ステージ、回転ステージ、係数並び替えステージの各ステージでのＰＣＴ、ＰＯＴの変換処理と逆の処理となる逆変換処理を行う。

クライアント端末２００は、ステップＳ２４０７で画像表示部２３０によりステップＳ２４０６において逆変換処理した空間領域のマクロブロックの画像符号に対して、例えば逆色変換処理などの必要となる復号処理を行って表示画像を生成し、ディスプレイなどに画面表示する処理を行う。

以上のように、第１の実施形態の画像配信装置であるサーバ１００は、画像符号解析部１２０により画像記憶部１１０を検索し、画像領域指定情報で指定された空間領域を含む各タイルのタイル番号を特定し、また、これらの特定した各タイルのうち、空間領域を含むマクロブロックを特定して抽出し、クライアント端末２００に配信する。一方、クライアント端末２００で予測符号化の処理が実行可能か否か判定した結果実行可能と判定された場合には、サーバ１００は、空間領域を予測復号するために必要となる予測元マクロブロックを特定して予測元情報を生成しクライアント端末２００に配信する。

このため、サーバ１００が、例えばＪＰＥＧ ＸＲ方式などで符号化された画像を、データの最大の分割単位であるタイル毎ではなく、空間領域を含む各タイルのうち、空間領域を含む各タイルに含まれるマクロブロックを特定して配信するので、各タイルの余分なデータである空間領域以外の領域を配信することが少なくでき、転送データ量を少なくすることが可能となる。クライアント端末により指定された空間領域の画像符号の配信を効率よく行うことが可能となる。

〔第２の実施形態〕
続いて、本発明における第２の実施形態を図面をもって説明する。第２の実施形態では、上述のステップＳ１８０７で、サーバ１００が、画像符号解析部１２０により予測元マクロブロックを特定する処理を、以下のようにして実行する。

図２６は、第２の実施形態でサーバ１００が、送信部１４０によりクライアント端末２００に配信するマクロブロックの画像符号の範囲を示す説明図である。第１の実施形態では、上述のステップＳ１８０７で図２２に示すように、画像領域指定情報で指定された空間領域と、この空間領域の左と上のマクロブロックとを予測元マクロブロックとして特定したが、第２の実施形態では、図２６に示すように、サーバ１００が空間領域の範囲内のマクロブロックを予測元マクロブロックとして特定し、空間領域の範囲外のマクロブロックについてはクライアント端末２００に配信しないようになっている。

図２７は、第２の実施形態でサーバ１００が特定した予測元マクロブロックを示す説明図である。第２の実施形態では、サーバ１００は、空間領域の範囲内のマクロブロックを予測元マクロブロックとして特定し、予測符号化の処理が左と上のマクロブロックの各ＤＣ係数やＬＰ係数から予測する場合には、図２７に示すように、これらの特定した予測元マクロブロックのうち、上端と左端の例えばタイル番号１からマクロブロック番号１０、１１、１４、１８、２２、タイル番号２からマクロブロック番号８、９、１０、１１、１２、１６、２０の各予測元マクロブロックを用いて順次サブバンド係数の予測復号を繰り返し実行していき、各ＤＣ係数やＬＰ係数の領域まで復号して予測元情報を生成する処理を行う。

サーバ１００は、送信部１４０によりこれらの生成した予測元情報と、上述のステップＳ１８０５において抽出したマクロブロックの画像符号とをクライアント端末２００に配信する。

このため、サーバ１００が、各タイルの余分なデータである空間領域以外の領域を配信することが無くなり、転送データ量をより少なくすることが可能となる。クライアント端末により指定された空間領域の画像符号の配信を効率よく行うことが可能となる。

〔第３の実施形態〕
続いて、本発明における第３の実施形態を図面をもって説明する。第３の実施形態では、サーバ１００が、第２の実施形態において生成した予測元情報に含まれる各ＤＣ係数やＬＰ係数を、各マクロブロックの係数に置き換えて、再度空間領域の範囲内のマクロブロック全体のサブバンド係数を再エントロピー符号化する。

そして、サーバ１００は、送信部１４０により再エントロピー符号化の結果生成された画像符号と、上述のステップＳ１８０５において抽出したマクロブロックの画像符号とをクライアント端末２００に配信する。

〔第４の実施形態〕
続いて、本発明における第４の実施形態を図面をもって説明する。第４の実施形態では、サーバ１００が、上述のステップＳ１８０５で画像符号解析部１２０により画像領域指定情報で指定された空間領域を含むマクロブロックの画像符号を抽出した後、これらの抽出した各マクロブロックを用いて順次予測復号を行い、各ＤＣ係数やＬＰ係数の領域まで復号して予測元情報を生成する処理を行う。

そして、サーバ１００は、送信部１４０によりこれらの生成された予測元情報と、上述のステップＳ１８０５において抽出したマクロブロックの画像符号とをクライアント端末２００に配信する。

図２８は、画像領域指定情報で指定された空間領域を含むマクロブロックと予測元マクロブロックとを示す説明図である。ステップＳ１８０３で特定した解像度が最大値であり、予測符号化の処理が左と上のマクロブロックの各ＤＣ係数やＬＰ係数から予測し、左のマクロブロックの各ＨＰ係数から予測する場合には、サーバ１００は、画像符号解析部１２０により、空間領域（Ｒｅｓｐｏｎｓｅ Ｒｅｇｉｏｎ）の範囲内の各マクロブロックに含まれる各周波数帯域のサブバンド係数を、ＤＣ係数からＦｌｅｘ Ｂｉｔｓまで全てのデータを抽出する。

また、サーバ１００は、これらの抽出した各データを順次予測復号を行い、復号するために必要となる空間領域の左と上の各マクロブロック（Ｐｒｅｄｉｃｔｅｄ Ｓｅｒｉｅｓ Ｒｅｇｉｏｎ）を予測元マクロブロックとして抽出する処理を行う。なお、ＪＰＥＧ ＸＲ方式での予測符号化の処理は、各ＤＣ係数やＬＰ係数でのみ行われているため、予測元マクロブロックに対してはＤＣ係数およびＬＰ係数のデータのみを抽出しても良い。

図２９は、画像領域指定情報で指定された空間領域を含むマクロブロックと予測元マクロブロックの他の例を示す説明図である。ステップＳ１８０３で特定した解像度が最大値であり、予測符号化の処理が左のマクロブロックの各ＤＣ係数から予測する場合には、サーバ１００は、画像符号解析部１２０により、空間領域の範囲内の各マクロブロックに含まれる各周波数帯域のサブバンド係数を、ＤＣ係数からＦｌｅｘ Ｂｉｔｓまで全てのデータを抽出する。

また、サーバ１００は、これらの抽出した各データを順次予測復号を行い、復号するために必要となる空間領域の左の各マクロブロックを予測元マクロブロックとしてＤＣ係数のデータのみを抽出する処理を行う。

このため、サーバ１００が、空間領域以外の領域については、予測符号化の処理で必要となるサブバンド係数のみを抽出するので、各タイルの余分なデータを配信することが少なくなり、第４の実施形態においても転送データ量をより少なくすることが可能となる。クライアント端末により指定された空間領域の画像符号の配信を効率よく行うことが可能となる。

〔他の実施形態〕
上述の実施形態では、画像領域指定情報で指定された空間領域を含む画像符号をサーバ１００からクライアント端末２００に配信したが、これに限られず、クライアント端末２００がサーバ１００と同様の構成を備えていても良い。この場合には、クライアント端末２００が、例えばユーザの操作により入力された画像領域指定情報を用いて、上述の各実施形態における一連の処理をクライアント端末２００内部で実行し、画像表示部２３０で画像表示を行う。

また、本発明の上記機能は、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、Ｐｅｒｌ、Ｒｕｂｙなどのレガシープログラミング言語、オブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布することができる。

これまで本発明を図１〜図２９に示した第１〜第４の実施形態をもって説明してきたが、本発明はこれに限定されるものではない。他の実施の形態、追加、変更、削除など、本発明の要旨を変更しない範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

第１の実施形態における画像配信装置のＪＰＥＧ ＸＲ符号化方式での画像を復号するための一連の処理を示す説明図である。 第１の実施形態における画像配信装置のＪＰＥＧ ＸＲ符号化方式で用いられている画像符号の空間的階層構造を示す説明図である。 第１の実施形態における画像配信装置のＪＰＥＧ ＸＲ符号化方式で用いられている画像符号の周波数帯域階層を示す説明図である。 第１の実施形態における画像配信装置の４×４ＰＣＴの変換処理後の係数の配置を示す説明図である。 第１の実施形態における画像配信装置のＰＯＴの変換処理でのマクロブロック間を跨いだ変換範囲を示す説明図である。 第１の実施形態における画像配信装置のＪＰＥＧ ＸＲ符号化方式でのビットストリームの構造を示す説明図である。 第１の実施形態における画像配信装置のＤＣ係数で実行される各予測モードの処理方法を示す説明図である。 第１の実施形態における画像配信装置のＬＰ係数で実行される各予測モードの処理方法を示す説明図である。 第１の実施形態における画像配信装置のＨＰ係数で実行される予測モードの処理方法を示す説明図である。 第１の実施形態における画像配信装置の係数スキャン処理での初期のスキャン順を示す説明図である。 第１の実施形態における画像配信装置のマクロブロックに関する各周波数帯域毎の係数を送る場合の配信データの様子を示す説明図である。 第１の実施形態における画像配信装置のマクロブロックに含まれるサブバンド係数を送る場合の配信データの様子を示す説明図である。 第１の実施形態における画像配信装置のマクロブロックに含まれるサブバンド係数を送る場合の配信データの様子を示す説明図である。 第１の実施形態における画像配信装置のマクロブロックに含まれるサブバンド係数を送る場合の配信データの様子を示す説明図である。 第１の実施形態における画像配信装置のレスポンスとして配信する配信データの様子を示す説明図である。 第１の実施形態における画像配信装置のハードウェア構成を示す概略構成図である。 第１の実施形態における画像配信装置のクライアント端末のハードウェア構成を示す概略構成図である。 第１の実施形態における画像配信装置のクライアント端末により指定された空間領域の画像符号を配信する処理を示すフローチャートである。 第１の実施形態における画像配信装置の画像領域指定情報で指定された空間領域を含むタイルやマクロブロックを示す説明図である。 第１の実施形態における画像配信装置の画像領域指定情報で指定された空間領域を含むマクロブロックを抽出した様子を示す説明図である。 第１の実施形態における画像配信装置のＳｐａｔｉａｌ ｍｏｄｅのビットストリーム構造からマクロブロックを抽出した様子を示す説明図である。 第１の実施形態における画像配信装置の画像領域指定情報で指定された空間領域を予測復号するための予測元マクロブロックを示す説明図である。 第１の実施形態における画像配信装置の予測元マクロブロックを用いて生成した予測元情報を示す説明図である。 第１の実施形態における画像配信装置のクライアント端末が画像配信装置から配信された画像符号を画像表示する処理を示すフローチャートである。 第１の実施形態における画像配信装置のマクロブロックメッセージに含まれる各サブバンド信号を連結した様子を示す説明図である。 第２の実施形態における画像配信装置のクライアント端末に配信するマクロブロックの画像符号の範囲を示す説明図である。 第２の実施形態における画像配信装置の予測元マクロブロックを示す説明図である。 第４の実施形態における画像配信装置の画像領域指定情報で指定された空間領域を含むマクロブロックと予測元マクロブロックとを示す説明図である。 第４の実施形態における画像配信装置の画像領域指定情報で指定された空間領域を含むマクロブロックと予測元マクロブロックの他の例を示す説明図である。

符号の説明

１００…サーバ、１０５…受信部、１１０…画像記憶部、１２０…画像符号解析部、１３０…予測復号部、１４０…送信部、２００…クライアント端末、２０５…送信部、２１０…受信部、２２０…復号部、２３０…画像表示部

Claims (10)

1. 画像のうち、クライアント端末により指定された空間領域の画像符号をネットワークを介して配信する画像配信装置であって、前記画像配信装置は、
   前記クライアント端末に配信可能な画像を記憶した記憶手段と、
   前記クライアント端末から送信された、前記画像のうちの空間領域を指定するための画像領域指定情報を受信する受信手段と、
   前記受信手段により受信された画像領域指定情報で指定された空間領域を含む画像符号を、前記記憶手段に記憶された前記画像から読み出す読出手段と、
   前記読出手段により読み出された前記画像符号から、前記画像領域指定情報で指定された空間領域を復号するためのマクロブロックを抽出する抽出手段と、
   前記抽出手段により抽出されたマクロブロックを前記クライアント端末に配信する配信手段と、
   前記クライアント端末で予測符号化の処理が実行可能か否かを判定する判定手段と、
   前記判定手段により実行可能と判定された場合に、前記読出手段により読み出された前記画像符号から、前記画像領域指定情報で指定された空間領域を、前記予測符号化の処理を用いて復号するための予測元マクロブロックを抽出する第２の抽出手段と、
   前記第２の抽出手段により抽出された前記予測元マクロブロックを復号して、予測元情報を生成する生成手段と、
   前記抽出手段により抽出されたマクロブロック、および、前記生成手段により予測元情報を前記クライアント端末に配信する第２の配信手段と
   を備える、画像配信装置。
2. 前記抽出手段により抽出されたマクロブロックには、複数階層の周波数帯域毎のサブバンド係数が含まれている、請求項１に記載の画像配信装置。
3. 前記配信手段は、前記抽出手段により抽出されたマクロブロックを、マクロブロックの単位毎に全ての周波数帯域毎のサブバンド係数が並んだビットストリーム構造としてネットワークを介して前記クライアント端末に配信する、請求項２に記載の画像配信装置。
4. 前記配信手段は、前記抽出手段により抽出されたマクロブロックを、前記複数階層の周波数帯域毎に分けてマクロブロックに含まれるサブバンド係数が並んだビットストリーム構造としてネットワークを介して前記クライアント端末に配信する、請求項２に記載の画像配信装置。
5. 前記生成手段により生成される予測元情報には、複数階層の周波数帯域毎のサブバンド係数が含まれている、請求項１〜４のいずれか一つに記載の画像配信装置。
6. 画像のうち、指定した空間領域の画像符号を取得する端末装置であって、
   前記端末装置は、
   前記画像を記憶した記憶手段と、
   前記画像のうちの空間領域を指定するための画像領域指定情報で指定された空間領域を含む画像符号を、前記記憶手段に記憶された前記画像から読み出す読出手段と、
   予測符号化の処理が実行可能か否かを判定する判定手段と、
   前記判定手段により実行可能と判定された場合に、前記読出手段により読み出された前記画像符号から、前記画像領域指定情報で指定された空間領域を、前記予測符号化の処理を用いて復号するための予測元マクロブロックを抽出するマクロブロック抽出手段と、
   前記マクロブロック抽出手段により抽出された前記予測元マクロブロックを復号して、予測元情報を生成する生成手段と、
   前記抽出されたマクロブロック、および前記生成手段により予測元情報を取得する手段と、
   を備える、端末装置。
7. 前記抽出されたマクロブロックは、複数階層の周波数帯域毎のサブバンド係数を含む、
   請求項６に記載の端末装置。
8. 画像配信装置が実行する画像配信方法であって、前記画像配信方法は、前記画像配信装置が、
   クライアント端末に配信可能な画像を記憶手段に記憶するステップと、
   前記クライアント端末から送信された、前記画像のうちの空間領域を指定するための画像領域指定情報を受信するステップと、
   前記受信された画像領域指定情報で指定された空間領域を含む画像符号を、前記記憶手段に記憶された前記画像から読み出すステップと、
   前記読み出された前記画像符号から、前記画像領域指定情報で指定された空間領域を復号するためのマクロブロックを抽出するステップと、
   前記抽出されたマクロブロックを前記クライアント端末に配信するステップと、
   前記クライアント端末で予測符号化の処理が実行可能か否かを判定するステップと、
   前記予測符号化の処理が実行可能と判定された場合に、前記読み出された前記画像符号から、前記画像領域指定情報で指定された空間領域を、前記予測符号化の処理を用いて復号するための予測元マクロブロックを抽出する、第２抽出ステップと、
   前記第２抽出ステップにより抽出された前記予測元マクロブロックを復号して、予測元情報を生成するステップと、
   前記抽出されたマクロブロック、および、前記生成された予測元情報を前記クライアント端末に配信する、第２配信ステップと
   を備える、画像配信方法。
9. 画像配信装置が実行するプログラムであって、前記プログラムは、前記画像配信装置が、
   クライアント端末に配信可能な画像を記憶した記憶手段と、
   前記クライアント端末から送信された、前記画像のうちの空間領域を指定するための画像領域指定情報を受信する受信手段と、
   前記受信手段により受信された画像領域指定情報で指定された空間領域を含む画像符号を、前記記憶手段に記憶された前記画像から読み出す読出手段と、
   前記読出手段により読み出された前記画像符号から、前記画像領域指定情報で指定された空間領域を復号するためのマクロブロックを抽出する抽出手段と、
   前記抽出手段により抽出されたマクロブロックを前記クライアント端末に配信する配信手段と、
   前記クライアント端末で予測符号化の処理が実行可能か否かを判定する判定手段と、
   前記判定手段により実行可能と判定された場合に、前記読出手段により読み出された前記画像符号から、前記画像領域指定情報で指定された空間領域を、前記予測符号化の処理を用いて復号するための予測元マクロブロックを抽出する第２の抽出手段と、
   前記第２の抽出手段により抽出された前記予測元マクロブロックを復号して、予測元情報を生成する生成手段と、
   前記抽出手段により抽出されたマクロブロック、および、前記生成手段により予測元情報を前記クライアント端末に配信する第２の配信手段
   として機能させるプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ可読な記録媒体。

Images