JP4143535B2 - 画像データ処理装置、画像データ処理方法、画像データ配信装置および画像データ伝送システム - Google Patents

Description

本発明は、符号化された画像データの処理装置、処理方法、配信装置および伝送システムに関し、特に、符号化された画像データからその縮小画像用の縮小符号化画像データを生成する技術に関する。

近年、ネットワークの高速化やパーソナルコンピュータ、デジタルテレビジョン受信機等の一般家庭への急速な普及により、画像情報提供サービスが広く実用化されている。特に、このような画像情報は、デジタル化された画像データとして扱われ、データ量が膨大となる。このため、画像データの記憶や伝送等を効率よく行う必要があり、画像データを扱う分野では、画像データを圧縮符号化して利用する技術が用いられる。とりわけ、静止画像を扱う分野では、ＪＰＥＧ（Joint Photographic Experts Group）と呼ばれる画像圧縮符号化技術が一般に知られている。

ＪＰＥＧに基づく画像圧縮符号化技術を利用した一例として、一般にデジタルカメラと呼ばれる電子スチルカメラの分野がある。すなわち、この電子スチルカメラにおいては、撮影した画像をＪＰＥＧ形式に圧縮符号化して、データ量を低減してから、記憶メディアに記録している。また、他の例として、インターネット等のネットワーク技術の進展により、画像データをＪＰＥＧ形式に圧縮符号化して配信する画像配信システムも広く普及している。

電子スチルカメラの分野においては、カメラ内のＪＰＥＧ形式で保持されている画像データ（以下、ＪＰＥＧ画像と呼ぶ）をＳＤカード等の記録媒体上に記録することが一般的に行われている。このとき、複数のＪＰＥＧ画像をプリント参照用の縮小画像として作成し、記録媒体上に記録することも一般的に行われている。このような縮小画像はサムネイル画像と呼ばれ、また、このサムネイル画像を複数集めて同時にプリントアウトしたものは、インデックスプリントと呼ばれている。

インデックスプリントは、複数のＪＰＥＧ画像を復元し、それぞれについてサムネイル画像を生成することを必要とする。すなわち、複数のＪＰＥＧ画像の復元には相当量の処理が必要であり、インデックスプリントは、かなりの処理時間を要していた。

この課題を解決するため、圧縮符号化された画像データからサムネイル画像の生成を高速に行うことが可能な画像処理技術が提案されている（例えば、特許文献１参照）。特許文献１は、原画像をマクロブロックと呼ばれるブロックに分割し、各マクロブロックの空間周波数成分を符号化した符号化データに含まれる直流成分係数のみを利用し、サムネイル画像を生成する技術を開示している。この従来技術（以下、従来技術１と称する）は、直流成分係数のみでサムネイル画像を生成するため、交流成分係数の処理時間等を省くことができ、それによって処理速度の向上を図っている。

また、上述したように、画像圧縮符号化技術を利用した他の例として、インターネット等のネットワークを利用した画像配信システムが知られており、その一つとして、サムネイル画像を利用した画像配信システムが知られている。サムネイル画像を利用した画像配信システムでは、配信側は、ユーザが要望した画像サイズに対応したサムネイル画像データを画像選択用のインデックス画像として伝送し、ユーザは、このサムネイル画像より、所望の画像を選択する。さらに、ユーザが選択した画像の配信要求が、ユーザより配信側に通知される。これにより、配信側は、ユーザが選択した画像に対応する動画像等の要求コンテンツを配信する。画像配信システムの分野においては、このような画像配信システムが実用化されている。また、特に、この分野においては、ユーザの要望も多様であり、サムネイル画像のような縮小画像は、様々なサイズで配信されている。このとき、配信されたサムネイル画像のサイズが小さいと、多数の画像を同時に見ることが可能であるが、小さくなりすぎると画像内容の認識が難しくなる。

このため、サムネイル画像を迅速に確認でき、さらに、必要な場合には、ユーザの要望に応じた画像サイズでサムネイル画像を配信するような技術も提案されている（例えば、特許文献２参照）。特許文献２は、原画像をマクロブロックに分割し、各マクロブロックの空間周波数成分を符号化した符号化データに含まれる低周波成分係数を、復元する画像サイズに応じた個数分選択して伝送し、受信側において、所望のサイズのサムネイル画像を生成する技術を開示している。より詳細には、この手法において、まず、原画像をマクロブロックに分割し、各マクロブロックの複数個の標本値で標本化した原画像信号に対して符号化変換処理を行う。この符号化変換処理で得られた複数個の空間周波数係数に対し、この複数個より少なく、低周波成分のみを含む複数個の低周波成分係数を１個の係数セットとして選択する。配信側は、マクロブロック毎に、この係数のセットを受信側に伝送する。受信側は、この係数のセットに、この係数の数に対する標本配列のサイズに適合する復号化変換を施す。これにより、原画像の標本値より少ない標本値の画像、すなわち縮小画像が再生される。特許文献２に開示される従来技術（以下、従来技術２と称する）は、それによって、画像サイズが小さくてよい場合には、伝送時間や処理時間を節約可能としている。また、従来技術２は、画像の縮小率が大きくなり１に近づくのに従って、より高い空間周波成分係数へと個数を増加させているため、必要な画像サイズが大きい場合には、符号化係数不足による画質劣化を防止している。
特開２０００−５９６１２号公報 特開昭５８−７５３９０号公報

しかしながら、比較的大きなサムネイル画像を扱う場合には、符号化データに含まれる直流成分係数のみを利用した従来技術１では画質の劣化が目立ち、また、符号化データに含まれる低周波成分係数の個数を画像サイズに応じた個数分選択する従来技術２では、処理時間や伝送速度が原画像とあまり変わらないという課題があった。

すなわち、従来技術１は、各マクロブロックの画素平均値に相当する直流成分係数のみを利用しているため、画像サイズが大きくなるに従い、いわゆるブロックノイズが増加する。また、従来技術２では、画像サイズが大きくなるに従い、原画像に近い個数の係数を扱うこととなり、処理速度や伝送速度の低下を招く。

さらに、従来技術２は、原画像に対して、配信する毎に縮小率に応じて符号化し配信する方式であるため、各配信毎に符号化を行うことを要する。その結果、受信側の端末数が増大した場合には、符号化処理の負荷が重くなる。すなわち、配信のたびに符号化を行う必要があるため、符号化処理の回数の増加とともに処理の負荷が重くなり、このような処理負荷により配信要求から配信までの時間遅延を招くこともあり得る。また、従来技術２は、画像を圧縮符号化しない原画像のデータとして保持するため、圧縮符号化した画像データに比べて、より大きい記憶容量の蓄積手段が必要となる。

本発明は、上述したような課題に鑑み、比較的大きなサムネイル画像を扱う場合においても、画質の劣化を招くことなく、高速に、サムネイル画像の表示を可能とする画像データ処理装置、画像データ処理方法、並びに、サムネイル画像の伝送を可能とする画像データ配信装置および画像データ伝送システムを提供することを目的とする。

上記課題を解決するため、本発明の画像データ処理装置は、原画像を、複数画素で構成される複数のブロックに分割し、それぞれのブロックにおいて、前記ブロックの空間周波数成分を複数個の空間周波数係数として符号化した符号化画像データから、前記原画像を与えられた縮小率で縮小した縮小画像の符号化データである縮小符号化画像データを生成する画像データ処理装置であって、前記複数のブロックから各々を処理対象ブロックとして順次抽出するブロック抽出手段と、前記処理対象ブロックの前記複数個の空間周波数係数から、直流成分係数を抽出するＤＣ係数抽出手段と、前記複数のブロックのうち前記処理対象ブロックの、水平方向、垂直方向、および斜め方向の何れかに隣接する少なくとも１つの隣接ブロックの直流成分係数を少なくとも１つの隣接直流成分係数として抽出する隣接ＤＣ係数抽出手段と、前記処理対象ブロックの前記直流成分係数と、前記少なくとも１つの隣接直流成分係数とを比較し、双方の間の相違の程度を表す前記直流成分係数と前記少なくとも１つの隣接直流成分係数とを変数とする関数の値を求めるＤＣ係数比較手段と、前記関数の値が所定値より大きい場合、前記処理対象ブロックの前記複数個の空間周波数係数に対して、前記縮小率に従って、前記直流成分係数を含む低い周波数の空間周波数係数から、前記複数個より少ない個数の空間周波数係数を保持し、他の空間周波数係数にはゼロを設定する係数セット設定手段と、前記関数の値が前記所定値未満の場合、前記処理対象ブロックの前記複数個の空間周波数係数に対して、前記直流成分係数のみを保持し、他の空間周波数係数にはゼロを設定するＤＣ係数設定手段とを備えることを特徴とするものである。

このような構成により、本発明の画像データ処理装置は、原画像の符号化画像データに対して、画像の輝度や色変化が緩やかであることにより上記関数の値が小さい領域では、そのブロックの直流成分係数のみを利用し、さらに画像の輪郭等の境界領域である上記関数の値が大きい領域では、そのブロックにおいて画像の縮小率に対応した個数の低周波側の係数のみを利用し、このようにして縮小画像用の縮小符号化画像データを生成できる。すなわち、本発明の画像データ処理装置は、画像の視覚的特性に基づき、まず、ブロックノイズ等が目立ちにくい画像の輝度や色変化が緩やかな領域に対しては、直流成分係数のみを利用することで、有効な係数の個数を削減し、符号化量の低減を図っている。さらに、本発明の画像データ処理装置は、画像の視覚的特性に基づき、係数削減による画質の劣化が目立ちやすい画像輪郭等の境界領域に対しては、画像の縮小率に対応した個数の低周波側の係数を選択することで、係数削減による画質の劣化を抑制しながら有効な係数の個数を削減し、符号化量の低減を図っている。このように、本発明の画像データ処理装置は、画像の縮小率、および画像の境界領域か否かに応じて有効な空間周波数係数の個数を適応的に変えているため、符号化量の削減により縮小画像を表示するまでの処理負荷を低減するとともに、画質の劣化を抑制した縮小画像の表示を可能としている。よって、本発明の画像データ処理装置が生成する縮小符号化画像データを利用することにより、比較的大きな縮小画像を扱う場合であっても、画質の劣化を招くことなく、高速に縮小画像を表示することが可能となる。 好ましくは、前記少なくとも１つの隣接ブロックは、１つの隣接ブロックであり、前記関数の値は前記直流成分係数と前記隣接直流成分係数との差分値の絶対値である。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数の平均値と、前記処理対象ブロックの前記直流成分係数との差分値の絶対値であるのが望ましい。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数に対して、隣接方向に基づく加重平均計算により求めた加重平均値と、前記直流成分係数との差分値の絶対値であるのが望ましい。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記処理対象ブロックの前記直流成分係数との各差分値の絶対値の中で最も大きい値とするのが望ましい。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記処理対象ブロックの前記直流成分係数との各差分値の絶対値の和であるのが望ましい。

また、好ましくは、係数セット設定手段が保持する前記複数個より少ない前記空間周波数係数の個数の、前記複数個の空間周波数係数の個数に対する比率を、係数削減率とし、
前記係数セット設定手段は、前記縮小率を複数の段階に分割し、前記各縮小率の段階に応じて前記係数削減率を設定すると共に、前記関数の値が前記所定値より大きい場合に、前記係数削減率に従って、前記複数個より少ない個数の前記空間周波数係数を保持し、前記他の空間周波数係数にはゼロを設定する。

更に好ましくは、前記画像データ処理装置は、前記縮小率の入力を受け付ける入力処理手段と、生成された前記縮小符号化画像データを復号化する復号化手段と、復号化された前記縮小符号化画像データの画像サイズを縮小する画像サイズ縮小手段と、縮小された前記縮小符号化画像データを画面に表示する画面表示手段とを、更に備える。

また、前記符号化画像データがカラーの符号化画像データであって、前記所定値が色成分毎に与えられていることが好ましい。

また、前記符号化画像データがカラーの符号化画像データであって、前記係数セット設定手段は、前記複数個より少ない前記空間周波数係数の個数を、色成分毎に決定することが好ましい。

更に、前記符号化画像データがカラーの符号化画像データであって、前記ブロック抽出手段は、所定の色成分についてのみ前記処理対象ブロックを抽出することが好ましい。

また、好ましくは、前記符号化画像データが可変長符号化されたデータであり、前記係数セット設定手段及び前記ＤＣ係数設定手段は、保持すべき前記空間周波数係数の全ての後にブロックの終了を示す符号を付し且つ前記他の空間周波数係数を削除することにより、前記他の空間周波数係数にゼロを設定したことを表現する。

また、本発明の画像データ処理方法は、原画像を、複数画素で構成される複数のブロックに分割し、それぞれのブロックにおいて、前記ブロックの空間周波数成分を複数個の空間周波数係数として符号化した符号化画像データから、前記原画像を与えられた縮小率で縮小した縮小画像の符号化データである縮小符号化画像データを生成する画像データ処理方法であって、前記複数個の空間周波数係数から、直流成分係数を抽出する第１のステップと、前記抽出した直流成分係数のブロックの、水平方向、垂直方向、および斜め方向の何れかに隣接する少なくとも１つの隣接ブロックの直流成分係数を少なくとも１つの隣接直流成分係数として抽出する第２のステップと、前記直流成分係数と、前記少なくとも１つの隣接直流成分係数とを比較し、双方の間の相違の程度を表す前記直流成分係数と前記少なくとも１つの隣接直流成分係数とを変数とする関数の値を求める第３のステップと、前記関数の値が所定値より大きい場合、前記複数個の空間周波数係数に対して、前記縮小率に従って、前記直流成分係数を含む低い周波数の空間周波数係数から、前記複数個より少ない個数の空間周波数係数を保持し、他の空間周波数係数にはゼロを設定する第４のステップと、前記関数の値が前記所定値未満の場合、前記複数個の空間周波数係数に対して、前記直流成分係数のみを保持し、他の空間周波数係数にはゼロを設定する第５のステップとを有し、前記各ステップを前記各ブロックに対して行うことで、前記原画像を前記縮小率で縮小した縮小画像の符号化データである前記縮小符号化画像データを生成することを特徴とするものである。

このような構成により、本発明の画像データ処理方法は、原画像の符号化画像データに対して、画像の輝度や色変化が緩やかであることにより上記関数の値が小さい領域では、そのブロックの直流成分係数のみを利用し、さらに画像の輪郭等の境界領域である上記関数の値が大きい領域では、そのブロックにおいて画像の縮小率に対応した個数の低周波側の係数のみを利用し、このようにして縮小画像用の縮小符号化画像データを生成できる。すなわち、本発明の画像データ処理方法は、画像の視覚的特性に基づき、まず、ブロックノイズ等が目立ちにくい画像の輝度や色変化が緩やかな領域に対しては、直流成分係数のみを利用することで、有効な係数の個数を削減し、符号化量の低減を図っている。さらに、本発明の画像データ処理方法は、画像の視覚的特性に基づき、係数削減による画質の劣化が目立ちやすい画像輪郭等の境界領域に対しては、画像の縮小率に対応した個数の低周波側の係数を選択することで、係数削減による画質の劣化を抑制しながら有効な係数の個数を削減し、符号化量の低減を図っている。このように、本発明の画像データ処理方法は、画像の縮小率、および画像の境界領域か否かに応じて有効な空間周波数係数の個数を適応的に変えているため、符号化量の低減を図るとともに、画質の劣化を抑制した縮小画像用の縮小符号化画像データの生成を可能としている。よって、本発明の画像データ処理方法によって生成される縮小符号化画像データを利用することにより、比較的大きな縮小画像を表示する場合であっても、縮小画像を表示するまでの処理負荷を低減するとともに、画質劣化の低減をも図ることが可能となる。 好ましくは、前記少なくとも１つの隣接ブロックは、１つの隣接ブロックであり、前記関数の値は前記直流成分係数と前記隣接直流成分係数との差分値の絶対値である。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数の平均値と、前記直流成分係数との差分値の絶対値であることが望ましい。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数に対して、隣接方向に基づく加重平均計算により求めた加重平均値と、前記直流成分係数との差分値の絶対値であることが望ましい。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記直流成分係数との各差分値の絶対値の中で最も大きい値とすることが望ましい。

或いは、前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記直流成分係数との各差分値の絶対値の和であることが望ましい。

また、好ましくは、前記第４のステップが保持する前記複数個より少ない前記空間周波数係数の個数の、前記複数個の空間周波数係数の個数に対する比率を、係数削減率とし、
前記第４のステップは、前記縮小率を複数の段階に分割し、前記各縮小率の段階に応じて前記係数削減率を設定すると共に、前記関数の値が前記所定値より大きい場合に、前記係数削減率に従って、前記複数個より少ない個数の前記空間周波数係数を保持し、前記他の空間周波数係数にはゼロを設定する。

更に好ましくは、前記画像データ処理方法は、前記縮小率の入力を受け付ける第６のステップと、生成された前記縮小符号化画像データを復号化する第７のステップと、復号化された前記縮小符号化画像データの画像サイズを縮小する第８のステップと、縮小された前記縮小符号化画像データを画面に表示する第９のステップとを、更に備える。

また、前記符号化画像データがカラーの符号化画像データであって、前記所定値が色成分毎に与えられていることが好ましい。

また、前記符号化画像データがカラーの符号化画像データであって、前記第４のステップは、前記複数個より少ない前記空間周波数係数の個数を、色成分毎に決定することが好ましい。

更に、前記符号化画像データがカラーの符号化画像データであって、前記画像データ処理方法は、前記各ブロックに対する前記第１から第５のステップを所定の色成分についてのみ行うことが好ましい。

また、好ましくは、前記符号化画像データが可変長符号化されたデータであり、前記第４のステップ及び前記第５のステップは、保持すべき前記空間周波数係数の全ての後にブロックの終了を示す符号を付し且つ前記他の空間周波数係数を削除することにより、前記他の空間周波数係数にゼロを設定したことを表現する。

また、本発明の画像データ配信装置は、原画像を、複数画素で構成される複数のブロックに分割し、それぞれのブロックにおいて、前記ブロックの空間周波数成分を複数個の空間周波数係数として符号化した符号化画像データから、前記原画像を与えられた縮小率で縮小した縮小画像の符号化データである縮小符号化画像データを生成し、前記縮小符号化画像データを、ネットワークを経由して伝送する画像データ配信装置であって、複数の前記符号化画像データを蓄積する符号化画像データ蓄積手段と、前記符号化画像データ蓄積手段に蓄積された前記複数の符号化画像データから、一つの画像に対応する符号化画像データを、読み取る符号化画像データ読取手段と、本発明の画像データ処理装置とを備え、前記画像データ処理装置は、前記符号化画像データ読取手段が読み取った符号化画像データから前記縮小符号化画像データを生成し、前記画像データ配信装置は、前記画像データ処理装置が生成した前記縮小符号化画像データを、前記ネットワークへと伝送する伝送手段を、更に備えることを特徴とするものである。

さらに、本発明の画像データ伝送システムは、本発明の画像データ配信装置と、前記画像データ配信装置と自身とを前記ネットワークを介して接続可能な端末装置とを、備える画像データ伝送システムであって、前記端末装置は、前記伝送手段により伝送された前記縮小符号化画像データを受信する縮小符号化画像データ受信手段と、受信された前記縮小符号化画像データを復号化する復号化手段と、復号化された前記縮小符号化画像データの画像サイズを縮小する画像サイズ縮小手段と、縮小された前記縮小符号化画像データを画面に表示する画面表示手段とを備えることを特徴とするものである。

このような構成により、本発明の画像データ配信装置及び画像データ伝送システムは、原画像の符号化画像データに対して、画像の輝度や色変化が緩やかであることにより上記関数の値が小さい領域では、そのブロックの直流成分係数のみを利用し、さらに画像の輪郭等の境界領域である上記関数の値が大きい領域では、そのブロックにおいて画像の縮小率に対応した個数の低周波側の係数のみを利用し、このようにして縮小画像用の縮小符号化画像データを生成し、伝送できる。すなわち、本発明の画像データ配信装置及び画像データ伝送システムは、画像の視覚的特性に基づき、まず、ブロックノイズ等が目立ちにくい画像の輝度や色変化が緩やかな領域に対しては、直流成分係数のみを利用することで、有効な係数の個数を削減し、符号化量の低減を図っている。さらに、本発明の画像データ伝送システムは、画像の視覚的特性に基づき、係数削減による画質の劣化が目立ちやすい画像輪郭等の境界領域に対しては、画像の縮小率に対応した個数の低周波側の係数を選択することで、係数削減による画質の劣化を抑制しながら有効な係数の個数を削減し、符号化量の低減を図っている。このように、本発明の画像データ配信装置及び画像データ伝送システムは、画像の縮小率、および画像の境界領域か否かに応じて有効な空間周波数係数の個数を適応的に変えているため、符号化量の削減により縮小画像を伝送するときの伝送負荷を低減するとともに、画質の劣化を抑制した縮小画像の伝送を可能としている。よって、本発明の画像データ配信装置及び画像データ伝送システムが生成する縮小符号化画像データを利用することにより、比較的大きな縮小画像を扱う場合であっても、画質の劣化を招くことなく、高速に縮小画像の伝送が可能となり、端末装置において、高速に、画質の劣化が抑制された所望の縮小サイズの縮小画像を表示することが可能となる。 好ましくは、前記画像データ伝送システムにおいて、前記端末装置は、前記符号化画像データ蓄積手段に蓄積された前記複数の符号化画像データから、一つの画像に対応する符号化画像データを指定する要求を受け付ける画像要求入力手段と、受け付けられた前記要求を前記ネットワークを通じて前記画像データ配信装置へ送信する画像要求送信手段とを更に備え、前記画像データ配信装置は、送信された前記要求を受信する画像要求受信手段を更に備え、前記符号化画像データ読取手段は、前記符号化画像データ蓄積手段に蓄積された前記複数の符号化画像データから、前記要求に対応する符号化画像データを読み取る。

更に好ましくは、前記端末装置は、前記縮小率の入力を受け付ける縮小率入力手段と、受け付けられた前記縮小率を前記ネットワークを通じて前記画像データ配信装置へ送信する縮小率送信手段とを更に備え、前記画像データ配信装置は、送信された前記縮小率を受信する縮小率受信手段を更に備え、前記画像データ処理装置は、受信された前記縮小率を前記与えられた縮小率として前記縮小符号化画像データを生成する。

以上説明したように、本画像データ処理装置は、サムネイル画像のような縮小画像を生成するにあたり、原画像の符号化画像データに対して、画像の輝度や色変化が緩やかな領域では、そのブロックの直流成分係数のみを利用し、さらに画像の輪郭等の境界領域では、画像の縮小率に対応した個数の低周波側の係数のみを利用して、縮小画像用の縮小符号化画像データを生成する。すなわち、本画像データ処理装置は、画像の視覚的特性に基づき、画像の縮小率、および画像の境界領域か否かに応じて有効な空間周波数係数の個数を適応的に変えているため、比較的大きな縮小画像を表示する場合であっても、符号化量の削減により縮小画像を表示するまでの処理負荷を低減するとともに、画質劣化の低減をも可能としている。これにより、本画像データ処理装置は、比較的大きなサムネイル画像を扱う場合においても、画質の劣化を招くことなく、高速に、サムネイル画像の表示を行うことが可能となる。

また、本画像データ処理方法は、サムネイル画像のような縮小画像を生成するにあたり、原画像の符号化画像データに対して、画像の輝度や色変化が緩やかな領域では、そのブロックの直流成分係数のみを利用し、さらに画像の輪郭等の境界領域では、画像の縮小率に対応した個数の低周波側の係数のみを利用して、縮小画像用の縮小符号化画像データを生成する。すなわち、本画像データ処理方法は、画像の視覚的特性に基づき、画像の縮小率、および画像の境界領域か否かに応じて有効な空間周波数係数の個数を適応的に変えているため、符号化量の低減を図るとともに、画質の劣化を抑制した縮小画像用の縮小符号化画像データを生成できる。さらに、このような縮小符号化画像データを利用することにより、比較的大きな縮小画像を表示する場合であっても、縮小画像を表示するまでの処理負荷を低減するとともに、画質劣化を低減することも可能となる。

また、本画像データ配信装置及び本画像データ伝送システムは、サムネイル画像のような縮小画像を伝送するにあたり、原画像の符号化画像データに対して、画像の輝度や色変化が緩やかな領域では、そのブロックの直流成分係数のみを利用し、さらに画像の輪郭等の境界領域では、画像の縮小率に対応した個数の低周波側の係数のみを利用して、縮小画像用の縮小符号化画像データを生成し、伝送する。すなわち、本画像データ伝送システムは、画像の視覚的特性に基づき、画像の縮小率、および画像の境界領域か否かに応じて有効な空間周波数係数の個数を適応的に変えているため、比較的大きな縮小画像を伝送する場合であっても、符号化量の削減により伝送負荷を低減するとともに、画質劣化の低減をも可能としている。これにより、本画像データ配信装置及び本画像データ伝送システムは、比較的大きなサムネイル画像を扱う場合においても、画質の劣化を招くことなく、高速に、サムネイル画像の伝送を行うことが可能となる。

従って、本発明によれば、比較的大きなサムネイル画像を扱う場合においても、画質の劣化を招くことなく、高速に、サムネイル画像の表示を可能とする画像データ処理装置、画像データ処理方法、並びに、サムネイル画像の伝送を可能とする画像データ配信装置及び画像データ伝送システムを提供することができる。

以下、本発明の実施の形態について図面を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１における画像データ処理装置の全体構成を示すブロック図である。本画像データ処理装置１は、ＪＰＥＧ方式等により圧縮符号化された画像データを蓄積した蓄積手段より、ユーザが指定する画像データを抽出し、さらに、ユーザが指定する縮小率の画像サイズでその画像を表示することを特徴とする。

図１において、入力手段１８は、キーボード、あるいはリモコン等であり、ユーザがこの入力手段１８を操作することにより、ユーザからの各種指示が入力される。入力処理手段１７は、ユーザから入力された指示を指示情報としてユーザ指示判定手段１６に通知する。ユーザ指示判定手段（以下、判定手段と呼ぶ）１６は、指示情報に基づきユーザからの指示内容を解析する。さらに、判定手段１６は、その解析結果に応じた処理を実行するよう各部に指令し、また、そのための情報を通知する。例えば、ユーザから縮小画像表示の指示があった場合、判定手段１６は、そのときユーザが指示した画像ファイル名等や画像サイズの情報を出力する。図１では、画像データ処理装置１の特徴とする画像を縮小する処理を行うため、判定手段１６が、指示された画像ファイルを検索するための画像識別情報、および指示された画像サイズで表示するための画像サイズ情報を出力するような構成を示している。

符号化画像ファイル蓄積手段（以下、蓄積手段と呼ぶ）１０は、符号化画像データ蓄積手段として機能し、例えばハードディスクドライブのような記録媒体を有しており、ＪＰＥＧ方式等により圧縮符号化された画像データ（以下、符号化画像データと呼ぶ）が画像ファイルとしてこの記録媒体に蓄積されている。蓄積されている画像ファイルは、ユーザ操作により、インターネット、ＣＤ−ＲＯＭ（Compact Disc−ＲＯＭ）、ＤＶＤ（Digital Video Disc）、あるいは電子スチルカメラ等から取得される。それにより、蓄積手段１０には、原画像の符号化画像ファイルとして複数の画像ファイルが蓄積されている。符号化画像データ読取手段（以下、読取手段と呼ぶ）１１は、蓄積手段１０に蓄積された複数の画像ファイルから、画像識別情報に対応する画像ファイルを読み取る。読み取った画像ファイルは、各処理が施され、画面表示手段１５によって、表示手段として機能するモニタ１９に表示される。

このように、ユーザは、蓄積手段１０に複数ファイル蓄積された画像ファイルの中から希望の画像ファイルを指定し、表示させることができる。また、ユーザは、蓄積手段１０に多数蓄積された画像ファイルの中から希望の画像を検索するとき、サムネイル画像を複数個表示させるインデックス表示を利用して、希望の画像を容易に探すことができる。さらに、画像データ処理装置１は、サムネイル画像の表示サイズも指定できることを特徴としている。すなわち、画像データ処理装置１は、ユーザが指定した縮小率の画像サイズでサムネイル画像を生成する手段を有することを特徴としている。

符号化画像データ加工手段（以下、加工手段と呼ぶ）１２は、読取手段１１で読み取った画像ファイル、すなわち一つの画像に対応する符号化画像データを、サムネイル画像、すなわち縮小画像用の画像データへと変換するように加工する手段である。加工手段１２は、判定手段１６からの画像サイズ情報に基づいて、符号化画像データをその縮小サイズに応じた符号化画像データである縮小符号化画像データに変換する。

復号化手段１３は、この縮小符号化画像データに対してその符号化画像データを復号化し、原画像と同一サイズの復号化画像データを復元する。画像サイズ縮小手段（以下、縮小手段と呼ぶ）１４は、復号化手段１３により復元された復号化画像データに対し、ユーザが指定した画像サイズに応じて画素を間引くことで、縮小画像データを生成する。画面表示手段１５は、縮小画像データをモニタ１９の画面に表示するように、モニタ１９へ縮小画像データを出力する。

以上のように、本実施の形態１の画像データ処理装置１は、蓄積手段１０に記憶した原画像の符号化画像データを読み出し、加工手段１２により画像サイズ情報に対応した縮小画像用の縮小符号化画像データを生成し、その縮小符号化画像データを復号、縮小することで、原画像のサムネイル画像をモニタ１９に表示する。

図２は、本実施の形態において、本画像データ処理装置の特徴とする加工手段１２の詳細な構成を示すブロック図である。図２において、符号化画像データバッファ（以下、バッファと呼ぶ）１２０は、読取手段１１で読み取ったユーザ指定の符号化画像データを一時的に記憶する。

マクロブロック抽出部（以下、ＭＢ抽出部と呼ぶ）１２１は、バッファ１２０から順次、各マクロブロックに対応する符号化画像データを抽出する。図２では、ＭＢ抽出部１２１がｎ番目のマクロブロックＭＢｎを抽出した場合を示している。抽出されたマクロブロックＭＢｎについて以下の処理が行われるので、抽出されたマクロブロックＭＢｎを、処理対象ブロックと称する。なお、例えば、符号化方式がＪＰＥＧ方式の場合、符号化されてない原画像データは、８×８画素の各ブロックに分割され、それぞれのブロックに対して離散コサイン変換が施され、その結果、それぞれのブロックの各空間周波数成分に対応する空間周波数係数が得られる。また、一つのブロックに対して、空間周波数係数として、直流成分の係数である直流成分係数（以下、ＤＣ係数と呼ぶ）から、交流成分の係数であるＡＣ係数へと空間周波数が高い成分まで８×８個の係数が得られる。この８×８個の係数は、一つのブロックであるマクロブロックとして構成される。符号化画像データは、このようなマクロブロックを複数組み合わせて構成される。これより、ＭＢ抽出部１２１は、符号化画像データがＪＰＥＧ方式の場合には、ｎ番目のマクロブロックを処理するとき、マクロブロックＭＢｎの８×８個の係数を抽出する。

係数セット抽出部１２２は、マクロブロックＭＢｎに含まれる複数の係数から、原画像を縮小するための縮小率に応じた個数の係数を縮小係数セットとして抽出する。この縮小係数セットは、マクロブロックＭＢｎに含まれる係数の個数よりも少なく、ＤＣ係数を含む低周波の係数から抽出される。係数セット抽出部１２２は、このように抽出した縮小係数セットを縮小係数セットＳＭＢｎとして出力する。

ＤＣ係数抽出部１２３は、マクロブロックＭＢｎに含まれる複数の係数からＤＣ係数のみを抽出し、直流成分係数としてのＤＣ係数ＤＣｎを出力する。

隣接ＤＣ係数抽出部１２４は、処理対象ブロックであるマクロブロックＭＢｎに隣接するマクロブロックの隣接直流成分係数（以下、隣接ＤＣ係数と呼ぶ）を抽出する。ここでは、画像の水平方向の左右に隣接したマクロブロックの隣接ＤＣ係数として、隣接ＤＣ係数ＤＣｎ−１、およびＤＣｎ＋１を抽出した例を示している。なお、水平方向に隣接するマクロブロックのみに限定されず、垂直方向や斜め方向に隣接するマクロブロックの隣接ＤＣ係数を利用することも可能である。

ＤＣ係数比較部１２５は、ＤＣ係数抽出部１２３からのＤＣ係数ＤＣｎと、隣接ＤＣ係数抽出部１２４からの隣接ＤＣ係数ＤＣｎ−１、およびＤＣｎ＋１とが供給され、これらのＤＣ係数の比較、判定を行う。まず、ＤＣ係数比較部１２５は、ＤＣ係数の比較として、処理対象ブロックのＤＣ係数ＤＣｎと、比較対象である隣接ＤＣ係数ＤＣｎ−１およびＤＣｎ＋１との大きさの比較を行う。なお、隣接のマクロブロックを複数利用する場合には、一例として、各隣接ＤＣ係数の平均値をとり、平均ＤＣ係数として該当のＤＣ係数ＤＣｎとの比較を行う。また、例えば隣接方向により加重値を変え、加重平均値を平均ＤＣ係数としてもよい。さらに他の例として、該当のＤＣ係数ＤＣｎと各隣接ＤＣ係数との、それぞれの大きさを比較し、その差である差分値の絶対値が一番大きい値を比較結果としてもよい。或いは、該当のＤＣ係数ＤＣｎと各隣接ＤＣ係数との差である差分値の絶対値の和を比較結果としてもよい。隣接のマクロブロックを１個のみ利用することも可能である。この場合、該当のＤＣ係数ＤＣｎと隣接ＤＣ係数との差である差分値の絶対値を比較結果とするとよい。このように、ＤＣ係数比較部１２５は、対象のＤＣ係数ＤＣｎと、隣接ＤＣ係数との大きさの比較を行い、その比較結果である差分値を検出する。

加重平均値の一例として、処理対象であるマクロブロックＭＢｎを中心とする５×５ブロック内のマクロブロックＭＢｎの周囲に配列する２４ブロックを隣接ブロックとし、マクロブロックＭＢｎからの距離に応じて加重してもよい。この場合、マクロブロックＭＢｎからの距離が大きいほど加重を小さくするとよい。或いは、マクロブロックＭＢｎの上下及び左右に隣接するマクロブロックに対しては加重を１とし、斜め方向に隣接するマクロブロックに対しては加重を１／√２としてもよい。その他、画像毎の特性に応じて、特定方向の加重を大きくすることもできる。例えば、右下方向を重く、左上方向を軽くする等の加重を行うことも可能である。

ＤＣ係数比較部１２５は、一般には、ＤＣ係数ＤＣｎと、少なくとも１つの隣接ＤＣ係数（例えば、ＤＣｎ−１とＤＣｎ＋１）との間の相違の程度を表す関数（例えば、ＤＣｎ、ＤＣｎ−１及びＤＣｎ＋１の関数）の値を算出する。上記の各種の差分値の絶対値は、当該関数の値の具体例に相当する。

次に、ＤＣ係数比較部１２５は、検出した差分値の絶対値と、あらかじめ設定された判定値との大きさの比較を行う。このとき、この差分値が判定値より大きい場合、境界を検出したとする境界検出結果を、以下で説明する選択部１２６に通知する。また、この差分値の絶対値が判定値より小さい場合、境界を検出していないとする境界検出結果を、選択部１２６に通知する。このように、ＤＣ係数比較部１２５は、対象のＤＣ係数ＤＣｎと、隣接のＤＣ成分との比較により、対象のマクロブロックＭＢｎが、輪郭線など画像の境界部分であるかどうかの判定を行っている。すなわち、ＤＣ係数は一つのマクロブロックの各画素の値の平均値を示すものであることから、マクロブロック間での画素平均値の差が大きいマクロブロックは、画像の境界領域であると判断している。このような、画像の境界領域の判断結果は、境界検出結果として選択部１２６に通知される。

選択部１２６は、この境界検出結果に基づいて、係数セット抽出部１２２からの縮小係数セットＳＭＢｎ、またはＤＣ係数抽出部１２３からのＤＣ係数ＤＣｎを抽出する。選択部１２６は、境界を検出したとする境界検出結果が通知された場合には、縮小係数セットＳＭＢｎを選択する。選択部１２６は、境界を検出していないとする境界検出結果が通知された場合には、ＤＣ係数ＤＣｎを選択する。選択部１２６は、このように選択し、抽出した係数を加工マクロブロック生成部（以下、加工ＭＢ生成部と呼ぶ）１２７に供給する。

加工ＭＢ生成部１２７は、マクロブロックＭＢｎ内の画素数と同一個数の係数のうち、上記抽出した、縮小係数セットＳＭＢｎ、あるいはＤＣ係数ＤＣｎをその周波数に相当する係数として設定し、それ以外の周波数に対応する係数にはすべてゼロを設定し、加工マクロブロックＫＭＢｎとして出力する。

なお、図２に示すように、係数セット抽出部１２２、選択部１２６及び加工ＭＢ生成部１２７は、本発明の係数セット設定手段１３２として機能し、選択部１２６及び加工ＭＢ１２７は、本発明のＤＣ係数設定手段１３３として機能する。

以上のように構成された本実施の形態１における画像データ処理装置１の詳細な動作について、以下順を追って説明する。ここでは、本画像データ処理装置の特徴とする符号化画像データ加工手段１２の動作を中心に説明する。

図３は、図２で説明した加工手段１２により処理されるマクロブロック、および各係数の様子を示す図である。図３において、符号化画像データ３００は、図２におけるバッファ１２０に一時記憶された符号化画像データの一例である。ここでは、原画像として、３２×３２画素の画像の例を示している。この画像は、８×８画素のマクロブロックに分割されることで、４×４個のマクロブロックで構成される。さらに、各マクロブロックは、例えば離散コサイン変換により８×８個の空間周波数係数に変換され、６４個の係数の集合とし、マクロブロックＭＢが構成される。また、各マクロブロックＭＢでは、これら複数の係数は、ＤＣ係数ＤＣと、各周波数に対応した複数のＡＣ係数［ＡＣ］（以下、複数個の係数は、括弧［ ］を使って示す）により構成されている。また、図３において、処理対象とされるマクロブロックＭＢが、ｎ番目のマクロブロックであるマクロブロックＭＢｎである場合を示している。以下、マクロブロックＭＢｎを代表して説明するが、同様の処理が各マクロブロックに対して行われる。

このように、サムネイル画像のような縮小画像を表示する場合においても、画像データ処理装置１は、原画像に対応した符号化画像データ３００を蓄積手段１０から読み取り、バッファ１２０に一時記憶する。

次に、ユーザからの指示に従った縮小率での縮小画像を表示するため、加工手段１２において、符号化画像データ３００の各マクロブロックの加工処理が行われる。ＭＢ抽出部１２１は、バッファ１２０から順次、各マクロブロックに含まれる符号化画像データを抽出する。図３の処理対象マクロブロックＭＢｎ３０１は、ｎ番目のマクロブロックとして現在の処理対象となるマクロブロックである。また、係数セット抽出部１２２において、縮小画像に対応した縮小係数セットＳＭＢｎを生成するため、縮小エリアが設定される。この縮小エリアは、表示画像の縮小率に対応して設定される。ここでは、画像の面積を例えばＫ分の１の縮小画像とする場合、縮小エリアもＫ分の１に設定される場合を示している。より具体的には、画像を縦横半分のサイズにしたい場合、縮小エリアも縦横半分に設定される。ここで、縦とは画像の垂直方向を意味し、横とは水平方向を意味する。図３では、マクロブロックに８×８個の係数が含まれており、この縮小エリアは、縦横半分である４×４個の係数が対象となり、ＤＣ係数から順次低い空間周波数係数が対象となる。係数セット抽出部１２２は、この縮小エリア内の対象となる係数を抽出し、図３に示すように縮小係数セットＳＭＢｎ３０２として出力する。

なお、原画像のサイズに対する縮小画像のサイズの比率を縮小率とし、マクロブロックに含まれる複数個の空間周波数係数の個数に対する、この複数個より少ない個数の空間周波数係数を選択する空間周波数係数の個数の比率を係数削減率としたとき、図４に例示するように、縮小率を複数の段階に分割し、各縮小率の段階に応じて係数削減率を設定してもよい。また、図５に例示するように非線形変換を行ってもよく、例えば、縮小率を４分の１としたときには、係数削減率は６４分の２５としてもよい。この場合は、画像を縦横半分のサイズにする場合であり、マクロブロックに８×８個の係数が含まれているとすると、縮小エリアは、５×５個の係数が対象となる。このような変換は、縮小による画質の劣化を防止したい場合に効果がある。また、逆に、例えば、画像を縦横半分のサイズにするとき、８×８個の係数を含むマクロブロックに対して、縮小エリアは、３×３個の係数が対象となるようにしてもよい。このような変換は、画質よりも処理速度等を重視する場合に効果がある。

図３に戻って、ＤＣ係数抽出部１２３により抽出されたＤＣ係数ＤＣｎは、上述したように、ＤＣ係数比較部１２５によって隣接ＤＣ係数との大きさの比較の対象とされ、境界を検出したとする境界検出結果が、選択部１２６に通知される。さらに、選択部１２６は、この境界検出結果に基づいて、係数セット抽出部１２２からの縮小係数セットＳＭＢｎと、ＤＣ係数抽出部１２３からのＤＣ係数ＤＣｎとの間で選択を行う。さらに、加工ＭＢ生成部１２７により、マクロブロックＭＢｎと同一の係数の個数であるが、縮小係数セットＳＭＢｎ、あるいはＤＣ係数ＤＣｎ以外の係数にはすべてゼロが設定された、加工マクロブロックＫＭＢｎが生成される。図３に示す加工マクロブロックＫＭＢｎ３０３は、このように生成された加工マクロブロックＫＭＢｎの一例である。

上記の通り、符号化画像データ加工手段１２は、符号化画像データを復号化することなく、符号化されたままのものを処理の対象とし、縮小符号化画像データを生成する。従って、ＭＢ抽出部１２１が抽出したマクロブロックＭＢｎの符号化画像データと、加工ＭＢ生成部１２７が出力する加工マクロブロックＫＭＢｎの符号化画像データとを例示すると、図６が示すようなビット列となる。すなわち、マクロブロックＭＢｎの符号化画像データでは、ＤＣ係数のビット列に続いて、ＡＣ係数のビット列が低周波数側から順に並んでいる。加工ＭＢ生成部１２７から出力される加工マクロブロックＫＭＢｎの符号化画像データは、マクロブロックＫＭＢｎの符号化画像データのビット列のうち、先頭からある部分までを有効として残し、残りは捨て去ったものとなる。加工ＭＢ生成部１２７は、マクロブロックＭＢｎのビット列が可変長符号化（ＪＰＥＧの例ではハフマン符号化）後のものであれば、残されたビット列の末尾に、１つのマクロブロックのビット列の終了を示す符号であるＥＯＢ（End Of Block；例えば二進数で”1010”）を挿入し、残余のビット列を削除する。ＥＯＢは、削除された残余のビット列がゼロであること、すなわち縮小係数セットＳＭＢｎ以外の係数又はＤＣ係数ＤＣｎ以外の係数にはすべてゼロが設定されたことを表現する。加工ＭＢ生成部１２７は、マクロブロックＭＢｎのビット列が可変長符号化前のものであれば、残されたビット列について全て０であることをランレングスで表現する。何れであっても、加工マクロブロックＫＭＢｎの符号化画像データは、マクロブロックＭＢｎの符号化画像データに比べて、ビット数の少ないデータへと圧縮される。それにより、縮小符号化画像データは、伝送に伴う伝送媒体の負荷を軽減し、伝送に要する時間を節減することも可能となる。

以上説明したような処理により、加工手段１２は、画像の視覚的特性に対応させて、符号化画像データ３００に対してデータ量の削減を図った縮小画像用の縮小符号化画像データへと加工している。人間の視覚的特性から、画像を縮小した場合には、その縮小率が小さくなり０に近づくのに従い、画像の細かな部分は識別できなくなる。言い換えれば、画像の縮小率が小さくなるに従い、マクロブロックのＡＣ係数の中で、高周波数成分は不要となる。このような視覚的特性を利用して、係数セット抽出部１２２は、縮小率が小さくなるに従い、抽出する低周波側の係数の個数を少なくなるようにして抽出する。さらに、画像において、輪郭線のような画像境界部は、空間周波数成分として高周波成分を多く含むが、逆に、画像の輝度や色変化が緩やかな領域では、空間周波数成分は低周波側に集中する。すなわち、画像の輝度や色変化が緩やかな領域では、マクロブロックにおいてＤＣ成分のみであっても、画質の劣化は少ないといえる。

図７は、加工手段１２に入力される符号化画像データを例示する説明図であり、図８は、図７の符号化画像データを処理対象とした結果、加工手段１２から出力される加工された符号化画像データ、すなわち縮小符号化画像データの一例を示す説明図である。図７は、原画像において輪郭線等の境界領域４００が、図中の対応するマクロブロック位置に存在している場合を示している。また、境界領域４００以外のマクロブロックは、輝度や色変化が緩やかな領域である。さらに、各マクロブロックはＤＣ係数も含めて、斜線領域で示す高周波成分まで対応する各ＡＣ係数（［ＡＣ］で示す）が設定されている。図８に示すように、画像の輝度や色変化が緩やかな領域では、ＤＣ係数以外の各係数に対してゼロ（［０］で示す）が設定される。また、輪郭線のような画像境界部は、ＤＣ係数を含む縮小率に対応した縮小係数セットが設定され、縮小係数セット以外にはゼロが設定される。

以上、画像データ処理装置１は、縮小画像を生成するにあたり、上記のような画像の視覚的特性を利用し、画像の輝度や色変化が緩やかな領域では、そのマクロブロックのＤＣ係数のみを利用し、さらに画像の輪郭等の境界領域では、画像の縮小率に対応した個数の低周波側の係数を利用している。また、画像データ処理装置１は、利用しない高周波側の係数に対しては、有効でない係数としてすべてゼロを設定し（例えば、図６に示したようにＥＯＢを挿入し、その後のビット列を消去する）、加工マクロブロックとして出力し、このような加工マクロブロックを復号化手段１３により復号化する。従って、図８に示すように各加工マクロブロックの不要な係数にはゼロが設定されているため、復号化の処理が低減され、縮小画像を表示するときの高速化を図ることができる。また、画像データ処理装置１は、画像の縮小率、および画像の境界領域か否かに応じて有効な係数の個数を適応的に変えているため、画質の劣化を招くことなくサムネイル画像のような縮小画像を表示することができる。また、画像データ処理装置１は、原画像の符号化画像データを加工することで、縮小画像用の画像データを生成するものであるため、あらかじめ縮小画像用の画像データを記憶保持しておく蓄積手段等を必要としない。

画像データ処理装置１は、プログラムを要しないハードウェアのみで構成しても良いが、マイクロコンピュータと、画像データ処理装置１が実現する処理の各手順をプログラムとして記憶したメモリとを含むように構成しても良い。前者の場合には、図１及び図２は画像データ処理装置１のハードウェア構成図を意味し、後者の場合には図１及び図２に描かれるブロックの少なくとも一部は、画像データ処理装置１の機能に基づく構成図、すなわち機能図を意味する。画像データ処理装置１がマイクロコンピュータを含む場合には、当該マイクロコンピュータは、プログラムをメモリから読み出し実行することによって、プログラムが規定する画像データ処理方法の各手順を実行する。上記プログラムは、ＲＯＭ（Read Only Memory）或いはＣＤ−ＲＯＭ等の記録媒体を通じて供給することも、ネットワーク等の伝送媒体を通じて供給することも可能である。

図２には、ＤＣ係数比較部１２５による比較結果の如何に関わらず、係数セット抽出部１２２は縮小係数セットＳＭＢｎを抽出し、ＤＣ係数抽出部１２３はＤＣ係数ＤＣｎを抽出し、ＤＣ係数比較部１２５による比較結果にもとづいて、選択部１２６が何れかの係数を選択する形態を例示した。これに対して、ＤＣ係数比較部１２５が、差分値が判定値より大きいと判定した場合に限って、係数セット抽出部１２２が縮小係数セットＳＭＢｎを抽出するように、符号化画像データ加工手段１２を構成してもよい。

図９及び図１０は、画像データ処理装置１が実現する処理手順について、その流れの概略を示すフローチャートである。各処理の内容の詳細については、既に説明しているので、再度の説明を略する。 図９に示すように、処理が開始されると、まずユーザにより入力処理手段１７へ、縮小符号化すべき符号化画像データを指定する要求、縮小率等の情報が入力される（Ｓ１）。入力処理手段１７は、ユーザによる各種指示を受け付ける。次に、符号化画像データ加工手段１２は、ユーザが指示した符号化画像データから、ユーザが指示した縮小率に基づく縮小符号化画像データを生成する（Ｓ２）。次に、復号化手段１３は、生成された縮小符号化画像データを復号化する（Ｓ３）。続いて、画像サイズ縮小手段１４は、復号化された縮小符号化画像データの画像サイズを縮小する（Ｓ４）。その後、画像表示手段１５は、縮小された縮小符号化画像データを表示手段１９の画面に表示する（Ｓ５）。

ステップＳ２の処理手順は、図１０のフローチャートで表される。ステップＳ２の処理が始まると、例えばＭＢ抽出部１２１は、制御変数ｎを０にリセットする（Ｓ１１）。次に、ＭＢ抽出部１２１は、符号化画像データバッファ１２０に格納される符号化画像データからマクロブロックＭＢｎの符号化画像データを抽出する（Ｓ１２）。次に、ＤＣ係数抽出部１２３は、マクロブロックＭＢｎのＤＣ係数を抽出する（Ｓ１３）。それと前後して、或いは同時に、隣接ＤＣ係数抽出部１２４は、隣接ブロックのＤＣ係数を抽出する（Ｓ１４）。隣接ＤＣ係数抽出部１２４は、例えばＭＢ抽出部１２１から制御変数ｎを取得することにより（図２参照）、処理対象マクロブロックＭＢｎを識別することができ、それに対応した隣接ブロックを特定することができる。

次に、ＤＣ係数比較部１２５は、ＤＣ係数の差分値を算出し（Ｓ１５）、算出した差分値の絶対値を、判定値と比較する（Ｓ１６）。差分値の絶対値が判定値以上であれば（Ｓ１６でＮｏ）、係数セット設定手段１３２は、マクロブロックＭＢｎの空間周波数係数から縮小率に従って選択した低周波数側の空間周波数係数を保持し、他の空間周波数係数をゼロに設定する（Ｓ１７）。一方、差分値の絶対値が判定値より小さければ（Ｓ１６でＹｅｓ）、ＤＣ係数設定手段１３３は、マクロブロックＭＢｎのＤＣ係数のみを保持し、他の空間周波数係数をゼロに設定する（Ｓ１８）。すなわち、係数セット設定手段１３２及びＤＣ係数設定手段１３３は、加工マクロブロックＫＭＢｎを生成する。その後、係数セット設定手段１３２及びＤＣ係数設定手段１３３は、加工マクロブロックＫＭＢｎを出力する（Ｓ１９）。

次に、ＭＢ抽出部１２１は、マクロブロックＭＢｎが最終のマクロブロックであるか否かを判定する（Ｓ２０）。マクロブロックＭＢｎが最終のマクロブロックであれば（Ｓ２０でＹｅｓ）、符号化画像データ加工手段１２は処理を終了し、最終のマクロブロックでなければ（Ｓ２０でＮｏ）、ＭＢ抽出部１２１は制御変数ｎをインクリメントする（Ｓ２１）。ステップＳ２１の後、符号化画像データ加工手段１２は、処理をステップＳ１２へ戻す。

符号化画像データ加工手段１２が処理の対象とする符号化画像データが、カラーの符号化画像データである場合には、符号化画像データ加工手段１２は、図１１に示すように、各マクロブロックＭＢｎに対して、例えば３種の色成分毎に、図１０のステップＳ１２〜Ｓ１９と同様の処理を実行すると良い。図１１において、図１０と同一の処理には同一の符号を付している。図１１の処理手順は、各マクロブロックＭＢｎに対して、３種の色成分に対応する制御変数ｋ＝０、１、２に対して、ステップＳ３２〜Ｓ３９の処理を反復して実行する。すなわち、制御変数ｋ毎に一周するステップＳ３２〜Ｓ４１のループの中で、ステップＳ３２〜Ｓ３９の処理が実行される。ステップＳ３２〜Ｓ３９の処理は、マクロブロックＭＢｎの第ｋ色成分ＭＢｎｋに対して、図１０のステップＳ１２〜Ｓ１９と同様の処理を行うものである。例えば、ステップＳ３２の処理は、ステップＳ１２と同様に、ＭＢ抽出部１２１によって実行される。また、制御変数ｋは、制御変数ｎと同様にＭＢ抽出部１２１によって設定されると良い。

ここで、ステップＳ３６における判定値は、色成分毎に個別に与えられていてもよい。また、ステップＳ３７における係数削減率も、色成分毎に個別に与えられていてもよい。例えば、処理対象とされる符号化画像データが、Ｙ（輝度）Ｕ（色相）Ｖ（色差）表色系で表現されている場合には、Ｙ成分に対しては、Ｕ成分及びＶ成分よりも判定値を低くし、削減率を高く（削減の度合いを弱く）するとよい。

また、図１１にステップＳ５０として記載されるように、色成分に対応する制御変数ｋによって、空間周波数係数を削減しなかったり（Ｓ５０でＮｏ）、削減したり（Ｓ５０でＹｅｓ）してもよい。空間周波数係数を削減する場合に限り、Ｓ３３〜Ｓ３８の処理が行われ、削減しない場合には、マクロブロックＭＢｎの第ｋ色成分ＭＢｎｋがそのまま、加工マクロブロックＫＭＢｎの第ｋ色成分として出力される（Ｓ３９）。マクロブロックＭＢｎの第ｋ色成分ＭＢｎｋをそのまま、加工マクロブロックＫＭＢｎの第ｋ色成分として出力するためには、制御変数ｋに対して、ステップＳ３６において判定値を負の値に設定し、ステップＳ３７において係数削減率を１に設定し、ステップＳ３３〜Ｓ３７の処理を実行してもよい。これに対して、図２のブロック図において、制御変数ｋに対しては、ＭＢ抽出部１２１が、マクロブロックＭＢｎを加工マクロブロックＫＭＢｎとして出力するように、加工ＭＢ生成部１２７へ直接に入力しても良い。

（実施の形態２）
図１２は、本発明の実施の形態２における画像データ伝送システムの全体構成を示すブロック図である。本画像データ伝送システム６００は、ＪＰＥＧ方式等により圧縮符号化された画像データ（以下、符号化画像データと呼ぶ）を、画像データ配信装置としての配信装置５０１からユーザが所有する端末装置５０２へとインターネット等のネットワーク５０３を経由して伝送するシステムである。さらに、ユーザは配信装置５０１に対して伝送する画像の縮小サイズを指定することができ、配信装置５０１はユーザが指定した縮小サイズに対応した符号化画像データを配信することを特徴とする。

図１２において、図１と同一の符号を付した構成要素は同一の機能を有しており、これらについては説明を省略する。

図１２に示すように、本実施の形態２の画像データ伝送システム６００は、配信装置５０１と各ユーザ毎に設置された複数の端末装置とが、インターネット等のネットワーク５０３を介して接続される構成である。図１２では、複数の端末装置のうちの１つの端末装置５０２のみを代表して示している。

図１２において、画像等を提供するサービス提供者が所有する配信装置５０１は、ユーザの要望に応じて画像を提供するため、各画像に対応した符号化画像データを符号化画像ファイル蓄積手段１０に蓄積している。配信装置５０１は、さらにインターネット等のネットワーク５０３を介し、ユーザの要求に応じた符号化画像データを端末装置５０２に配信する。

端末装置５０２は、ユーザの操作により配信装置５０１にユーザ要求等の情報を送信し、また画像データを含め各種情報を受信するための装置である。例えば、端末装置５０２から配信装置５０１に画像の配信要求を発行すると、配信装置５０１から画像データが配信され、端末装置５０２は、配信された画像データを受信し、順次、復元し、再生する。

このように、画像データ伝送システム６００は、配信装置５０１からネットワーク５０３を介して端末装置５０２へと画像データの配信が行われ、端末装置５０２のユーザが所望の画像を視聴するシステムである。

さらに、本画像データ伝送システム６００は、ユーザが端末装置５０２から例えば希望の画像の縮小画像を要求したとき、配信装置５０１は、該当する画像の縮小画像データを、縮小符号化画像データとして配信することを特徴とする。例えば、ユーザが複数の画像から希望の画像を選択したい場合、ユーザは、まずサムネイル画像のような縮小画像の伝送を配信装置５０１に要求する。さらに、ユーザは、例えば、サムネイル画像を複数含んだインデックス画像を表示し、その中から希望の画像を選択する。このように、ユーザは、希望の画像をサムネイル画像であらかじめ選択できることが可能となり、ユーザにとっての利便性が向上する。

画像データ伝送システム６００による処理の手順を説明すると、以下の通りである。図１２において、ユーザからの各種指示が入力手段１８に入力される。入力処理手段１７は、これらの指示を受け付ける。このために、入力処理手段１７は、符号化画像ファイル蓄積手段１０に蓄積された複数の符号化画像データから、一つの画像に対応する符号化画像データを指定する要求（例えば、画像ファイル名を指定することにより要求がなされる）を受け付ける画像要求入力手段６２と、縮小率の入力（例えば、画像サイズを入力することにより行われる）を受け付ける縮小率入力手段６４とを含んでいる。

ユーザが縮小画像の配信要求を入力手段１８から入力すると、入力処理手段１７を介して、ユーザが指示した画像ファイル名、画像のサイズ等の情報が通信手段５４に通知される。端末装置５０２の通信手段５４は、ネットワーク５０３を介して、ユーザからの要求を示すリクエスト情報を配信装置５０１に送信したり、配信装置５０１からの画像データ等を受信したりすることにより、配信装置５０１と通信を行う。このために、通信手段５４は、符号化画像データの要求を送信する画像要求送信手段６３、縮小率を送信する縮小率送信手段６５、及び縮小符号化画像データを受信する縮小符号化画像データ受信手段６１を含んでいる。

また、配信装置５０１の通信手段５３は、ネットワーク５０３を介して端末装置５０２と通信を行う。すなわち、ユーザが指示した画像ファイル名等や画像のサイズの情報は、通信手段５４、ネットワーク５０３、通信手段５３を経由して、配信装置５０１のユーザ指示判定手段（以下、判定手段と呼ぶ）１６に通知される。このために、通信手段５３は、符号化画像データの要求を受信する画像要求受信手段７１、縮小率を受信する縮小率受信手段７２、及び縮小符号化画像データを伝送する伝送手段７３を含んでいる。

判定手段１６は、ユーザが指示した画像ファイル名等に基づき画像ファイルを検索するための画像識別情報、およびユーザが指示した画像サイズで表示するための画像サイズ情報を出力する。符号化画像データ蓄積手段として機能する符号化画像ファイル蓄積手段（以下、蓄積手段と呼ぶ）１０は、ＪＰＥＧ方式等により圧縮符号化された符号化画像データが複数の画像ファイルとして蓄積されている。符号化画像データ読取手段（以下、読取手段と呼ぶ）１１は、蓄積手段１０に蓄積された複数の画像ファイルから、画像識別情報に対応する画像ファイルを読み取る。読み取った画像ファイルの符号化画像データは、符号化画像データ加工手段（以下、加工手段と呼ぶ）１２により、画像サイズ情報に応じた縮小率のサムネイル画像、すなわち縮小画像用の縮小符号化画像データへと変換するように加工される。加工された縮小画像用の画像データは、伝送手段７３として機能する通信手段５３に供給され、ネットワーク５０３を経由して端末装置５０２に送信される。すなわち、加工された縮小画像用の画像データは、図８で示したように加工された、縮小符号化画像データとして配信される。

端末装置５０２では、このような加工が成された縮小符号化画像データを受信し、この縮小符号化画像データは、縮小符号化画像データ受信手段６１として機能する通信手段５４を介して符号化画像データ取得手段（以下、取得手段と呼ぶ）５１に取得され、一時記憶される。復号化手段１３は、縮小符号化画像データに対してその符号化画像データを復号化し、原画像と同一サイズの復号化画像データを復元する。復号化画像データ蓄積手段５２は、復元した原画像と同一サイズの復号化画像データを記憶する。画像サイズ縮小手段（以下、縮小手段と呼ぶ）１４は、復号化手段１３により復元された復号化画像データに対し、ユーザが指定した縮小サイズの縮小率に応じて画素を間引くことにより、縮小画像データを生成する。画面表示手段１５は、縮小画像データを、表示手段として機能するモニタ１９の画面に表示するように、モニタ１９へ出力する。

図１３及び図１４は、モニタ１９の画面に表示された縮小画像の例を示す図である。図１３は、モニタ１９の画面上に６つの縮小画像をサムネイル画像としてインデックス表示した一例を示し、図１４は、モニタ１９の画面上に４つの縮小画像をサムネイル画像としてインデックス表示した一例を示す。上述したように、画像データ伝送システム６００では、ユーザが、縮小画像のサイズを配信要求として指定できる。これにより、図１３及び図１４で示したように、モニタの画面上には異なったサイズの縮小画像を表示でき、ユーザは、所望のサイズのサムネイル画像を利用して希望の画像選択などを行うことが可能となる。

以上のように、端末装置５０２から送信された縮小画像の配信要求に対し、配信装置５０１は、その要求に応じた縮小符号化画像データを端末装置５０２に配信し、端末装置５０２は、その縮小符号化画像データを復号化し、サムネイル画像として再生する。画像データ伝送システム６００は、このとき、図２に示したように構成された加工手段１２により、符号化画像データを縮小画像に加工して配信することを特徴とする。

すなわち、実施の形態１で説明したように、加工手段１２により、各加工マクロブロックは、図８で示したように、画像の視覚的特性に対応させて、不要な係数にはゼロが設定されている。このため、符号化量の低減が図れ、ネットワーク５０３の伝送負荷を低減することが可能となり、その結果、通信速度の高速化を図ることができる。また、画像データ伝送システム６００は、画像の縮小率、および画像の境界領域か否かに応じて有効な係数の個数を適応的に変えているため、画質の劣化を招くことなくサムネイル画像のような縮小画像を伝送でき、端末装置５０２において画質劣化の少ないサムネイル画像を表示することができる。よって、ユーザは、サムネイル画像を利用して、インターネット等に存在する多数の画像ファイルから、自身の希望する画像をすばやく検索することができる。また、サムネイル画像が小さすぎて判別しにくい場合には、ユーザは、より大きな画像サイズを要求し、より詳細な確認を行いながら自身が希望する画像を選択することができる。また、画像データ伝送システム６００は、画像サイズに応じて適応的に符号化量を変えているため、サムネイル画像のサイズを大きくしても、画質の劣化を防ぐとともに、符号化量の低減を図り伝送速度低下を防いでいる。

さらに、配信装置５０１において、原画像を符号化した符号化画像データとして保持し、その縮小画像を配信する場合には、符号化画像データを加工して伝送するのみでよいため、配信装置５０１の処理負荷を低減することが可能である。例えば、原画像に対して伝送する毎に縮小率に応じて符号化し伝送するような方式の場合、各伝送毎に符号化をする必要があり、端末数が増大した場合、この符号化処理の負荷が重くなる。また、符号化画像データを復号化し画像を縮小して再符号化して伝送するような方式の場合も、やはり、復号化、再符号化の処理負荷が重くなる。これに対して、画像データ配信システム６００が有する配信装置５０１は、まず、通常に配信するための画像データを符号化画像データとして保持しているため、符号化されない画像データに比べて画像データを保持する記憶容量が少なくてよい。また、配信装置５０１は、縮小画像を配信する場合には、この符号化画像データに対して、加工手段１２による簡易な加工処理を施すのみでよいため、縮小画像を生成するための処理負荷を低減でき、端末数が増大した場合でも十分に対応可能となる。

（その他の応用例）
（１） 本発明は、携帯電話、携帯端末のように画面の狭い装置へ画像を表示する技術へも応用可能である。すなわち、サムネイル画像としてではなく、通常のモニタ画面よりも狭い画面に画像を表示させる場合にも、本発明の画像データ処理装置、画像データ処理方法、画像データ配信装置或いは画像データ伝送システムを用いて生成された縮小符号化画像データを復号化及び縮小化して、画面に表示させることができる。

（２） 本発明は、ウェブブラウザで静止画を表示する技術へも応用可能である。また、ユーザが動画を選択する際の便宜のために、動画のＩフレーム（フレーム内符号化されたフレーム）を静止画表示する場合にも、本発明の技術により生成された縮小符号化画像データを利用することができる。

（３） 画像編集を行う場合にも、本発明は応用可能である。例えば、画像の一部を切り取る処理、画像のサイズを変更する処理、画像をモザイク化する処理等を行う際に、処理後の最終画像を表示する前に、編集途上において一時的に画像を表示するのに、本発明の技術を用いて生成した縮小符号化画像データを用いることができる。オーサリングツールを用いて動画を含むマルチメディア要素（音声、動画、文字等）を編集する場合にも、同様に、編集途上の画像を表示するのに本発明の技術を用いることができる。

本発明は、比較的大きなサムネイル画像を扱う場合においても、画質の劣化を招くことなく、高速に、サムネイル画像を表示することを可能とするので、産業上有用である。

本発明の実施の形態１による画像データ処理装置の全体構成を示すブロック図である。 本発明の実施の形態１による画像データ処理装置の符号化画像データ加工手段の詳細な構成を示すブロック図である。 符号化画像データ加工手段により処理されるマクロブロック、および各係数の様子を示す図である。 縮小率と係数削減率の関係の一例を示すグラフである。 縮小率と係数削減率の関係の別の一例を示すグラフである。 マクロブロックＭＢｎと加工マクロブロックＫＭＢｎとの関係を例示する説明図である。 入力される符号化画像データの一例を示す図である。 符号化画像データ加工手段により加工された符号化画像データの一例を示す図である。 図１の画像データ処理装置の動作手順を示すフローチャートである。 図９のステップＳ２の処理手順の一例を示すフローチャートである。 図９のステップＳ２の処理手順の別の例を示すフローチャートである。 本発明の実施の形態２による画像データ伝送システムの全体構成を示すブロック図である。 モニタ上に表示された縮小画像の一例を示す図である。 モニタ上に表示された縮小画像の他の例を示す図である。

符号の説明

１ 画像データ処理装置
１０ 符号化画像ファイル蓄積手段（符号化画像データ蓄積手段；蓄積手段）
１１ 符号化画像データ読取手段（符号化画像データ読取手段；読取手段）
１２ 符号化画像データ加工手段（加工手段）
１３ 復号化手段 １４ 画像サイズ縮小手段（縮小手段）
１５ 画面表示手段 １６ ユーザ指示判定手段（判定手段）
１７ 入力処理手段 １８ 入力手段 １９ モニタ
５１ 符号化画像データ取得手段 ５２ 復号化画像データ蓄積手段
５３，５４ 通信手段 ６１ 縮小符号化画像データ受信手段
６２ 画像要求入力手段 ６３ 画像要求送信手段
６４ 縮小率入力手段 ６５ 縮小率送信手段
７１ 画像要求受信手段 ７２ 縮小率受信手段
７３ 伝送手段 １２０ 符号化画像データバッファ（バッファ）
１２１ マクロブロック抽出部（ＭＢ抽出部）
１２２ 係数セット抽出部 １２３ ＤＣ係数抽出部
１２４ 隣接ＤＣ係数抽出部 １２５ ＤＣ係数比較部
１２６ 選択部 １２７ 加工マクロブロック生成部（加工ＭＢ生成部）
１３２ 係数セット設定手段 １３３ ＤＣ係数設定手段
５０１ 画像データ配信装置（配信装置） ５０２ 端末装置
５０３ ネットワーク ６００ 画像データ伝送システム

Claims (28)

1. 原画像を、複数画素で構成される複数のブロックに分割し、それぞれのブロックにおいて、前記ブロックの空間周波数成分を複数個の空間周波数係数として符号化した符号化画像データから、前記原画像を与えられた縮小率で縮小した縮小画像の符号化データである縮小符号化画像データを生成する画像データ処理装置であって、
   前記複数のブロックから各々を処理対象ブロックとして順次抽出するブロック抽出手段と、
   前記処理対象ブロックの前記複数個の空間周波数係数から、直流成分係数を抽出するＤＣ係数抽出手段と、
   前記複数のブロックのうち前記処理対象ブロックの、水平方向、垂直方向、および斜め方向の何れかに隣接する少なくとも１つの隣接ブロックの直流成分係数を少なくとも１つの隣接直流成分係数として抽出する隣接ＤＣ係数抽出手段と、
   前記処理対象ブロックの前記直流成分係数と、前記少なくとも１つの隣接直流成分係数とを比較し、双方の間の相違の程度を表す前記直流成分係数と前記少なくとも１つの隣接直流成分係数とを変数とする関数の値を求めるＤＣ係数比較手段と、 前記関数の値が所定値より大きい場合、前記処理対象ブロックの前記複数個の空間周波数係数に対して、前記縮小率に従って、前記直流成分係数を含む低い周波数の空間周波数係数から、前記複数個より少ない個数の空間周波数係数を保持し、他の空間周波数係数にはゼロを設定する係数セット設定手段と、
   前記関数の値が前記所定値未満の場合、前記処理対象ブロックの前記複数個の空間周波数係数に対して、前記直流成分係数のみを保持し、他の空間周波数係数にはゼロを設定するＤＣ係数設定手段とを備えることを特徴とする画像データ処理装置。
2. 前記少なくとも１つの隣接ブロックは、１つの隣接ブロックであり、前記関数の値は前記直流成分係数と前記隣接直流成分係数との差分値の絶対値であることを特徴とする請求項１記載の画像データ処理装置。
3. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
   前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数の平均値と、前記処理対象ブロックの前記直流成分係数との差分値の絶対値であることを特徴とする請求項１記載の画像データ処理装置。
4. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
   前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数に対して、隣接方向に基づく加重平均計算により求めた加重平均値と、前記直流成分係数との差分値の絶対値であることを特徴とする請求項１記載の画像データ処理装置。
5. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
   前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記処理対象ブロックの前記直流成分係数との各差分値の絶対値の中で最も大きい値とすることを特徴とする請求項１記載の画像データ処理装置。
6. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
   前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記処理対象ブロックの前記直流成分係数との各差分値の絶対値の和であることを特徴とする請求項１記載の画像データ処理装置。
7. 係数セット設定手段が保持する前記複数個より少ない前記空間周波数係数の個数の、前記複数個の空間周波数係数の個数に対する比率を、係数削減率とし、
   前記係数セット設定手段は、前記縮小率を複数の段階に分割し、前記各縮小率の段階に応じて前記係数削減率を設定すると共に、前記関数の値が前記所定値より大きい場合に、前記係数削減率に従って、前記複数個より少ない個数の前記空間周波数係数を保持し、前記他の空間周波数係数にはゼロを設定することを特徴とする請求項１から６のいずれか一項に記載の画像データ処理装置。
8. 前記縮小率の入力を受け付ける入力処理手段と、
   生成された前記縮小符号化画像データを復号化する復号化手段と、
   復号化された前記縮小符号化画像データの画像サイズを縮小する画像サイズ縮小手段と、
   縮小された前記縮小符号化画像データを画面に表示する画面表示手段とを、更に備えることを特徴とする請求項１から７のいずれか一項に記載の画像データ処理装置。
9. 前記符号化画像データがカラーの符号化画像データであって、
   前記所定値が色成分毎に与えられていることを特徴とする請求項１から８のいずれか一項に記載の画像データ処理装置。
10. 前記符号化画像データがカラーの符号化画像データであって、
    前記係数セット設定手段は、前記複数個より少ない前記空間周波数係数の個数を、色成分毎に決定することを特徴とする請求項１から９のいずれか一項に記載の画像データ処理装置。
11. 前記符号化画像データがカラーの符号化画像データであって、
    前記ブロック抽出手段は、所定の色成分についてのみ前記処理対象ブロックを抽出することを特徴とする請求項１から１０のいずれか一項に記載の画像データ処理装置。
12. 前記符号化画像データが可変長符号化されたデータであり、
    前記係数セット設定手段及び前記ＤＣ係数設定手段は、保持すべき前記空間周波数係数の全ての後にブロックの終了を示す符号を付し且つ前記他の空間周波数係数を削除することにより、前記他の空間周波数係数にゼロを設定したことを表現することを特徴とする請求項１から１１のいずれか一項に記載の画像データ処理装置。
13. 原画像を、複数画素で構成される複数のブロックに分割し、それぞれのブロックにおいて、前記ブロックの空間周波数成分を複数個の空間周波数係数として符号化した符号化画像データから、前記原画像を与えられた縮小率で縮小した縮小画像の符号化データである縮小符号化画像データを生成する画像データ処理方法であって、
    前記複数個の空間周波数係数から、直流成分係数を抽出する第１のステップと、
    前記抽出した直流成分係数のブロックの、水平方向、垂直方向、および斜め方向の何れかに隣接する少なくとも１つの隣接ブロックの直流成分係数を少なくとも１つの隣接直流成分係数として抽出する第２のステップと、
    前記直流成分係数と、前記少なくとも１つの隣接直流成分係数とを比較し、双方の間の相違の程度を表す前記直流成分係数と前記少なくとも１つの隣接直流成分係数とを変数とする関数の値を求める第３のステップと、
    前記関数の値が所定値より大きい場合、前記複数個の空間周波数係数に対して、前記縮小率に従って、前記直流成分係数を含む低い周波数の空間周波数係数から、前記複数個より少ない個数の空間周波数係数を保持し、他の空間周波数係数にはゼロを設定する第４のステップと、
    前記関数の値が前記所定値未満の場合、前記複数個の空間周波数係数に対して、前記直流成分係数のみを保持し、他の空間周波数係数にはゼロを設定する第５のステップとを有し、
    前記各ステップを前記各ブロックに対して行うことで、前記原画像を前記縮小率で縮小した縮小画像の符号化データである前記縮小符号化画像データを生成することを特徴とする画像データ処理方法。
14. 前記少なくとも１つの隣接ブロックは、１つの隣接ブロックであり、前記関数の値は前記直流成分係数と前記隣接直流成分係数との差分値の絶対値であることを特徴とする請求項１３記載の画像データ処理方法。
15. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
    前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数の平均値と、前記直流成分係数との差分値の絶対値であることを特徴とする請求項１３記載の画像データ処理方法。
16. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
    前記関数の値は、前記複数の隣接ブロックに含まれる複数の隣接直流成分係数に対して、隣接方向に基づく加重平均計算により求めた加重平均値と、前記直流成分係数との差分値の絶対値であることを特徴とする請求項１３記載の画像データ処理方法。
17. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
    前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記直流成分係数との各差分値の絶対値の中で最も大きい値とすることを特徴とする請求項１３記載の画像データ処理方法。
18. 前記少なくとも１つの隣接ブロックは、複数の隣接ブロックであって、
    前記関数の値は、前記複数の隣接ブロックに含まれる各隣接直流成分係数と前記直流成分係数との各差分値の絶対値の和であることを特徴とする請求項１３記載の画像データ処理方法。
19. 前記第４のステップが保持する前記複数個より少ない前記空間周波数係数の個数の、前記複数個の空間周波数係数の個数に対する比率を、係数削減率とし、
    前記第４のステップは、前記縮小率を複数の段階に分割し、前記各縮小率の段階に応じて前記係数削減率を設定すると共に、前記関数の値が前記所定値より大きい場合に、前記係数削減率に従って、前記複数個より少ない個数の前記空間周波数係数を保持し、前記他の空間周波数係数にはゼロを設定することを特徴とする請求項１３から１８のいずれか一項に記載の画像データ処理方法。
20. 前記縮小率の入力を受け付ける第６のステップと、
    生成された前記縮小符号化画像データを復号化する第７のステップと、
    復号化された前記縮小符号化画像データの画像サイズを縮小する第８のステップと、
    縮小された前記縮小符号化画像データを画面に表示する第９のステップとを、更に備えることを特徴とする請求項１３から１９のいずれか一項に記載の画像データ処理方法。
21. 前記符号化画像データがカラーの符号化画像データであって、
    前記所定値が色成分毎に与えられていることを特徴とする請求項１３から２０のいずれか一項に記載の画像データ処理方法。
22. 前記符号化画像データがカラーの符号化画像データであって、
    前記第４のステップは、前記複数個より少ない前記空間周波数係数の個数を、色成分毎に決定することを特徴とする請求項１３から２１のいずれか一項に記載の画像データ処理方法。
23. 前記符号化画像データがカラーの符号化画像データであって、
    前記画像データ処理方法は、前記各ブロックに対する前記第１から第５のステップを所定の色成分についてのみ行うことを特徴とする請求項１３から２２のいずれか一項に記載の画像データ処理方法。
24. 前記符号化画像データが可変長符号化されたデータであり、
    前記第４のステップ及び前記第５のステップは、保持すべき前記空間周波数係数の全ての後にブロックの終了を示す符号を付し且つ前記他の空間周波数係数を削除することにより、前記他の空間周波数係数にゼロを設定したことを表現することを特徴とする請求項１３から２３のいずれか一項に記載の画像データ処理方法。
25. 原画像を、複数画素で構成される複数のブロックに分割し、
    それぞれのブロックにおいて、前記ブロックの空間周波数成分を複数個の空間周波数係数として符号化した符号化画像データから、前記原画像を与えられた縮小率で縮小した縮小画像の符号化データである縮小符号化画像データを生成し、前記縮小符号化画像データを、ネットワークを経由して伝送する画像データ配信装置であって、
    複数の前記符号化画像データを蓄積する符号化画像データ蓄積手段と、
    前記符号化画像データ蓄積手段に蓄積された前記複数の符号化画像データから、一つの画像に対応する符号化画像データを、読み取る符号化画像データ読取手段と、
    請求項１から１２のいずれか一項に記載の画像データ処理装置とを備え、
    前記画像データ処理装置は、前記符号化画像データ読取手段が読み取った符号化画像データから前記縮小符号化画像データを生成し、
    前記画像データ配信装置は、前記画像データ処理装置が生成した前記縮小符号化画像データを、前記ネットワークへと伝送する伝送手段を、更に備えることを特徴とする画像データ配信装置。
26. 請求項２５記載の画像データ配信装置と、
    前記画像データ配信装置と自身とを前記ネットワークを介して接続可能な端末装置とを、備える画像データ伝送システムであって、
    前記端末装置は、
    前記伝送手段により伝送された前記縮小符号化画像データを受信する縮小符号化画像データ受信手段と、
    受信された前記縮小符号化画像データを復号化する復号化手段と、
    復号化された前記縮小符号化画像データの画像サイズを縮小する画像サイズ縮小手段と、
    縮小された前記縮小符号化画像データを画面に表示する画面表示手段とを備えることを特徴とする画像データ伝送システム。
27. 前記端末装置は、
    前記符号化画像データ蓄積手段に蓄積された前記複数の符号化画像データから、一つの画像に対応する符号化画像データを指定する要求を受け付ける画像要求入力手段と、
    受け付けられた前記要求を前記ネットワークを通じて前記画像データ配信装置へ送信する画像要求送信手段とを更に備え、
    前記画像データ配信装置は、
    送信された前記要求を受信する画像要求受信手段を更に備え、
    前記符号化画像データ読取手段は、前記符号化画像データ蓄積手段に蓄積された前記複数の符号化画像データから、前記要求に対応する符号化画像データを読み取ることを特徴とする請求項２６記載の画像データ伝送システム。
28. 前記端末装置は、
    前記縮小率の入力を受け付ける縮小率入力手段と、
    受け付けられた前記縮小率を前記ネットワークを通じて前記画像データ配信装置へ送信する縮小率送信手段とを更に備え、
    前記画像データ配信装置は、
    送信された前記縮小率を受信する縮小率受信手段を更に備え、
    前記画像データ処理装置は、受信された前記縮小率を前記与えられた縮小率として前記縮小符号化画像データを生成することを特徴とする請求項２６又は２７記載の画像データ伝送システム。

Images