JP5413122B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像データの圧縮に関し、特に、画像のエッジの度合いに応じたディジタル画像データの圧縮に関する。

パーソナル・コンピュータ（ＰＣ）、ディジタル・カメラ、携帯電話機、等のディジタル画像を処理する装置では、撮像画像がより高解像度になり、メモリに格納されるデータ量が増大している。

国際標準化機関ＩＴＵ−Ｔによって勧告された動画像符号化方式Ｈ．２６４、静止画像圧縮方式ＪＰＥＧのような画像圧縮方式が知られている。これらの画像圧縮方式では、ピクセルの１つのピクチャ（画像）を複数のブロックに分割し、各ブロックを離散コサイン変換（ＤＣＴ）したデータを量子化し符号化してデータ量を削減する。また、ピクセルを間引くニアレスト（nearest）法、周辺ピクセルの平均値を代表値とするバイリニア（bi-linear）法のような画像圧縮方式も存在する。

既知の信号処理方法では、映像信号の近接する複数の画素を１つのブロックとして帯域圧縮符号化されたデータの復号時に、ブロック内の水平または垂直方向に隣接する画素レベルの差を検出し、画素レベルの差が第１の所定値より大きい画素をエッジ画素とし、画素レベルの差が第２の所定値より小さい画素を平坦画素とし、同一ブロック内にエッジ画素と平坦画素が混在している場合に、平坦画素間のレベル差が少なくなるように平坦画素のレベルを補正した後で、出力する。さらに、平坦画素レベルの補正は、平坦画素が、水平または垂直方向に、少なくとも３画素以上連続した場合にのみ行う。それによって、画像のエッジ部分に発生したモスキート・ノイズを効果的に軽減することができる。

特開平１１−２１２９７８号公報

高周波成分を粗く量子化する既知の画像圧縮方式に従って圧縮した撮像画像は、文字または輪郭の抽出に適さず、認識が困難となる傾向がある。それは、平坦な色の背景に存在する線または文字のシャープな輪郭の周辺で、高周波成分を粗く量子化することに起因するモスキート・ノイズと呼ばれる画質劣化が生じるからである。しかし、画質を劣化させることなくモスキート・ノイズに対処することは困難である。

ピクセル値をサブサンプリングしてピクセル・データを削減する既知の画像圧縮方式に従って圧縮した撮像画像は、大きい度合いで望ましい線およびエッジ消失を生じる傾向がある。ピクセルを間引く既知の画像圧縮方式に従って圧縮した撮像画像は、開始サブサンプル位置およびサブサンプリング間隔次第で、望ましい線およびエッジが消失することがある。周辺ピクセルの平均値を用いる既知の画像圧縮方式に従って圧縮した撮像画像は、画像全体が望ましい線および輪郭についてぼける傾向がある。

発明者たちは、ピクチャ（画像）の各ブロックにおけるエッジ方向に応じて各ブロックを圧縮すれば、大きい度合いで文字セグメント、細線または輪郭が消失するのを抑制することができる、と認識した。

本発明の目的は、画像中のエッジの消失度合いの少ない画像圧縮を実現することである。

本発明の実施形態の一観点（特徴）によれば、画像処理方法は、１つのピクチャの画像データを複数のブロックに分割するブロック分割工程と、その複数のブロックの各ブロックの画像データの水平方向および垂直方向のエッジの度合を検出するエッジ検出工程と、その各ブロックのその検出された水平方向および垂直方向のエッジの度合に基づいて水平方向および垂直方向のサブサンプリング比率を決定し、前記各ブロックの画像データにおいてサブサンプリングによって抽出される複数のサブサンプルの階調の値の総和が最大になるように前記複数のサブサンプルの位置を決定して、その決定されたサブサンプルの位置でその決定された水平方向および垂直方向のサブサンプリング比率でその各ブロックの画像データをサブサンプリングによって圧縮して、その圧縮されたブロックの画像データと、そのサブサンプリング比率および前記決定されたサブサンプルの位置情報を含む付加データとを生成する画像圧縮工程と、を含んでいる。

本発明の実施形態の一観点によれば、画像中のエッジの消失度合いの少ない画像圧縮を実現することができる。

図１は、本発明の実施形態による、画像生成利用装置２において用いられるピクセル画像データの圧縮のためのプロセッサの構成の例を示している。 図２は、図１のプロセッサによって生成される画像データのブロックのフォーマットの例を示している。 図３Ａ〜３Ｃは、本発明の実施形態による、それぞれ、異なるエッジの度合いを有するピクセル・ブロックの圧縮の例を示している。 図４Ａ〜４Ｃは、それぞれ、画像データの圧縮に用いられるブロック分割数、フィルタ・タイプ識別、およびエッジ度判定の対象となるピクセル階調の閾値のパラメータのリストの例を示している。 図５Ａ〜５Ｃは、それぞれ、画像データの圧縮に用いられる最大サブサンプリング比率、垂直方向のサブサンプリング比率を決定するための垂直方向の補正係数、および水平方向のサブサンプリング比率を決定するための水平方向の補正係数、のパラメータのリストの例を示している。 図６は、１つのピクチャの画像データの８×８個のブロックへの分割の例を示している。 図７Ａは、ピクセルの水平方向のエッジ度を検出するための３×３ピクセル・サイズのディジタル水平方向フィルタ（ソーベル）の係数の例を示している。図７Ｂは、ピクセルの垂直方向のエッジ度を検出するための３×３ピクセル・サイズのディジタル垂直方向フィルタ（ソーベル）の係数の例を示している。 図８は、非圧縮の１つの分割ブロックのピクセルのモノクロ（輝度）の濃度値の例を示している。 図９Ａは、或るブロックに図７Ａの水平方向のフィルタを適用して得られたそのブロックの水平方向のエッジ度の分布の例を示している。図９Ｂは、或るブロックに図７Ｂの垂直方向のフィルタを適用して得られたブロックの垂直方向のエッジ度の分布の例を示している。 図１０は、サブサンプル画像生成部によって実行される、非圧縮ピクチャ画像データをサブサンプリングするための概略的なフローチャートの例を示している。 図１１は、サブサンプル画像生成部によって実行される、１つのピクチャの画像データの各ブロックに対する図１０のステップ４０２のより詳細なフローチャートの例を示している。 図１２は、サブサンプル画像生成部によって実行される、１つのピクチャの各ブロックに対する図１０のステップ４０４のより詳細なフローチャートの例を示している。 図１３は、１つのブロックにおける垂直方向および水平方向の仮の開始サブサンプル位置の範囲の例の例を示している。 図１４は、図８のブロックにおける、或る開始サブサンプル位置（ＳＨｔ＝０,ＳＶｔ＝０）の場合のサブサンプル位置の例を示している。 図１５は、図８のブロックにおける、或る開始サブサンプル位置（ＳＨｔ＝２,ＳＶｔ＝２）の場合のサブサンプル位置の例を示している。 図１６は、１つのピクチャにおける異なる複数のブロックの圧縮画像の例を示している。 図１７は、本発明の実施形態による、画像生成利用装置において用いられるピクセル画像データの伸張または復元のためのプロセッサの構成の例を示している。 図１８Ａは、ブロックの圧縮画像データおよび付加データの例を示している。図１８Ｂは、ブロックの圧縮画像データおよび付加データに基づいて再配置された画像データの例を示している。 図１９は、パラメータ制御部によって設定されアップサンプル画像生成部によって実行されるアップサンプリングのための補間法の例を示している。 図２０は、異なるブロックについて、それぞれの圧縮画像データおよび付加データに基づいて異なる形態で再配置された画像データの例を示している。

発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない。

本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様のコンポーネントおよび素子には同じ参照番号が付されている。

図１は、本発明の実施形態による、画像生成利用装置２において用いられるピクセル画像データの圧縮のためのプロセッサ２０の構成（configuration）の例を示している。

図１において、画像生成利用装置２は、撮像画像データを生成し、その画像データを圧縮して格納しおよび／または外部装置に出力し、格納または入力された圧縮画像データを伸張または復元して、その復元された画像データを例えば画像認識等に利用する。画像生成利用装置２は、例えばディジタル・カメラ、ディジタル・カメラ付き携帯電話機、またはディジタル・カメラ付き小型パーソナル・コンピュータであってもよい。画像生成利用装置２は、画像メモリを含む撮像部１０、画像処理用のプロセッサ２０、およびメモリ３０を含んでいる。

プロセッサ２０は、制御部２２、パラメータ制御部２０２およびメモリ制御部２０４を含んでいる。プロセッサ２０は、さらに、データ入力部２１２、ブロック分割部２１４、エッジ検出部２１６、エッジ情報生成部２１８、サブサンプル画像生成部またはダウンサンプリング画像生成（間引部）部２２０、およびデータ出力部２５２を含んでいる。制御部２２は、要素２０２〜２５２を制御する。メモリ３０は、画像データおよびパラメータ等のデータ、およびプログラムを格納する。ここで、サブサンプル（subsample）、サブサンプリング、ダウンサンプリング（downsample）とは、画像のサンプル・ピクセルを、空間的に周期的に一定の比率で抽出しまたは間引くように、リサンプリング（再サンプリング、resample）することを意味する。一方、アップサンプリング（upsample）は、画像のサンプル・ピクセルを、空間的に周期的に一定の比率で補間するように、リサンプリングすることを意味する。

パラメータ制御部２０２は、ユーザによって入力装置（例えば、操作キー）を介して設定されまたは利用装置２によって設定されたパラメータに従って、ブロック分割部２１４、エッジ検出部２１６、エッジ情報生成部２１８、およびサブサンプル画像生成部２２０の動作条件を設定する。

メモリ制御部２０４は、データ入力部２１２、ブロック分割部２１４、エッジ検出部２１６、エッジ情報生成部２１８、およびサブサンプル画像生成部２２０から元の非圧縮ピクチャ・データおよび処理済みのピクチャ・データ等を受け取ってメモリ３０に格納する。メモリ制御部２０４は、メモリ３０から元のピクチャ・データおよび処理済みのピクチャ・データ等を取り出して、ブロック分割部２１４、エッジ検出部２１６、エッジ情報生成部２１８、およびサブサンプル画像生成部２２０、およびデータ出力部２５２に供給する。

データ入力部２１２は、画像生成利用装置２内の例えば撮像部１０等または外部装置からの非圧縮の元のピクチャ（フレーム画像）のピクセル・データを入力して、メモリ制御部２０４を介してメモリ３０に格納する。データ入力部２１２は、そのピクチャのサイズ（縦横のピクセル数）をブロック分割部２１４に供給してもよい。ブロック分割部２１４は、データ入力部２１２からそのピクチャのサイズを受け取り、メモリ制御部２０４を介してメモリ３０から入力ピクチャ・データを受け取り、ピクチャ・サイズとパラメータ制御部２０２によって設定されたブロック分割数とに従って、その入力ピクチャを複数の画像ブロックに分割する。ブロック分割部２１４は、その分割ブロックの画像またはピクセル・データをエッジ検出部２１６に順次供給する。

エッジ検出部２１６は、ブロック分割部２１４から受け取った各ブロックの画像データを、パラメータ制御部２０２によって設定されたフィルタ・タイプ識別に従って処理して、各ブロックのピクセル画像のエッジの度合いを検出または判定する。エッジ検出部２１６は、その検出されたエッジの度合いを表すエッジ・データをメモリ制御部２０４を介してメモリ３０に格納する。エッジ検出部２１６は、エッジの度合いの検出を完了した各ブロックの識別情報をエッジ情報生成部２１８に順次供給する。

エッジ情報生成部２１８は、エッジ検出部２１６から受け取った各ブロックの画像データについて、メモリ制御部２０４を介してメモリ３０から受け取った各ブロックのエッジ・データを処理して、各ブロック全体の画像の水平方向および垂直方向のエッジの度合いＥＨおよびＥＶを生成する。ブロックの水平方向および垂直方向のエッジの度合いＥＨおよびＥＶは、例えば、そのブロックのピクセルの水平方向および垂直方向のエッジの度合いの総和であっても、そのエッジの度合いの総和を０と１の間の範囲に標準化したエッジの度合いであってもよい。また、ブロックの水平方向および垂直方向のエッジの度合いＥＨおよびＥＶは、そのブロックにおける各ピクセルのエッジの度合いを統計的に処理した値であってもよく、例えば、そのブロックにおける或る閾値を超えるエッジの度合いの平均値であってもよい。エッジ情報生成部２１８は、その生成されたブロックのエッジの度合いＥＨおよびＥＶをサブサンプル画像生成部２２０に供給する。

サブサンプル画像生成部２２０は、メモリ制御部２０４を介してメモリ３０から入力ピクチャ・データを受け取り、ブロックのエッジの度合いＥＨおよびＥＶに従っておよびパラメータ制御部２０２によって設定された最大サブサンプリング比率αｍａｘに従って入力画像データのサブサンプリング比率を決定する。ここで、サブサンプリング比率αは、サブサンプリングまたはダウンサンプリングのために、１個のピクセルが抽出される水平方向または垂直方向の連続するピクセルの数の周期を表し、即ち空間的に水平方向または垂直方向の連続する何個のピクセルにつき１個のピクセルが抽出されるかを表す。各周期における抽出されたピクセル以外のピクセルは間引かれる。それによって、サブサンプリングされた低解像度のピクチャが生成される。例えば、サブサンプリング比率α＝３／１（＝３）または３：１の場合、水平方向または垂直方向の連続する３つのピクセル毎に１つのピクセルが抽出される。従って、サブサンプリング比率αが大きいほど、圧縮率が高くなる。

サブサンプル画像生成部２２０は、さらに、その決定されたサブサンプリング比率に従って、入力ピクチャの各ブロックの画像データをサブサンプリングまたは間引いて、圧縮されたピクチャ・データを生成する。サブサンプル画像生成部２２０は、サブサンプリング済みの圧縮ピクチャ・データをメモリ制御部２０４を介してメモリ３０に格納する。サブサンプル画像生成部２２０は、処理の完了をデータ出力部２５２に供給する。データ出力部２５２は、メモリ制御部２０４を介してメモリ３０から圧縮されたピクチャ・データを受け取って、画像生成利用装置２内の別の要素または外部装置に供給する。

プロセッサ２０の要素２０２〜２５２の少なくとも一部は、ハードウェアとして集積回路の形態で実装されてもよい。また、プロセッサ２０の要素２０２〜２５２の少なくとも一部は、メモリ３０に格納されるプログラムの形態で実装されていてもよい。この場合、プロセッサ２０は、メモリ３０に格納されるプログラムに従って動作する。

図２は、図１のプロセッサ２０によって生成される画像データのブロックのフォーマットの例を示している。

画像データのブロックは、そのブロックの付加データおよび圧縮画像データを含んでいる。付加データは、ヘッダであってもよい。付加データは、ブロック識別番号、ブロック・サイズ（水平方向ピクセル数、垂直方向ピクセル数）、サブサンプリング比率（水平方向比率、垂直方向比率）、非圧縮ブロックのピクセルまたは画像データにおける開始サブサンプルのピクセル位置（水平方向位置ＳＨ、垂直方向位置ＳＶ）、および元のピクチャのサイズ（水平方向ピクセル数、垂直方向ピクセル数）を含んでいる。

図３Ａ〜３Ｃは、本発明の実施形態による、それぞれ、異なるエッジの度合い（以下、エッジ度と称する）を有するピクセル・ブロックの圧縮の例を示している。

図３Ａの左側の非圧縮のピクセル・ブロックは、明るい画像領域と暗い画像領域の間の境界線、即ち明るい画像および暗い画像の輪郭またはエッジが垂直方向または縦方向にあり、縦エッジである。このブロックを、ピクセルをサブサンプリングしてピクセルを間引くことによって垂直（縦）方向に圧縮または縮小すると、図３Ａの右側の圧縮されたピクセル・ブロックが得られる。このように垂直方向に圧縮または縮小されたブロックは、間引かれたピクセルを垂直方向の隣接ピクセルで補間することによって図３Ａの左側のブロックのように垂直方向（縦）に伸張または拡大することができる。従って、伸張されまたは復元されたブロックの画像データは、元の非圧縮のブロックの画像データに対して、高い再現品質の垂直方向の輪郭またはエッジを有する。

図３Ｂの左側の非圧縮のピクセル・ブロックは、明るい画像領域と暗い画像領域の間の境界線、即ち明るい画像および暗い画像の輪郭またはエッジが水平方向または横方向にあり、横エッジである。このブロックを、ピクセルをサブサンプリングしてピクセルを間引くことによって水平（横）方向に圧縮または縮小すると、図３Ｂの右側の圧縮されたピクセル・ブロックが得られる。このように水平方向に圧縮または縮小されたブロックは、間引かれたピクセルを水平方向の隣接ピクセルで補間することによって図３Ｂの左側のブロックのように水平方向（横）に伸張または拡大することができる。従って、伸張されまたは復元されたブロックの画像データは、元の非圧縮のブロックの画像データに対して、高い再現品質の垂直方向の輪郭またはエッジを有する。

図３Ｃの左側の非圧縮のピクセル・ブロックは、明るい画像領域と暗い画像領域の間の境界線、即ち明るい画像および暗い画像の輪郭またはエッジが斜め方向にあり、斜めエッジである。このブロックを、ピクセルをサブサンプリングしてピクセルを間引くことによってその傾斜方向にまたは水平および垂直方向に異なる比率で圧縮または縮小すると、図３Ｃの右側の圧縮されたピクセル・ブロックが得られる。例えば、その傾斜方向が垂直方向の成分より水平方向の成分が多い場合には、その比率に応じて垂直方向よりも水平方向の圧縮または縮小比率を大きくする。このように傾斜方向に圧縮または縮小されたブロックは、間引かれたピクセルを水平および垂直方向の隣接ピクセルで補間することによって図３Ｂの左側のブロックのように傾斜方向に伸張または拡大することができる。従って、伸張されまたは復元されたブロックの画像データは、元の非圧縮のブロックの画像データに対して、高い再現品質の斜め方向の輪郭またはエッジを有する。

エッジは、画像における例えば物体の輪郭のような明るい部分と暗い部分の間の境界を表し、画像を特徴づける有用な情報である。実施形態において、各ブロックを圧縮または縮小する場合に、図３Ａ〜３Ｃに示された画像の圧縮とエッジの保存性または再現性の関係を考慮する。この関係を利用して、各ブロックにおけるエッジの垂直成分および水平成分の比に応じて各ブロックの画像データのサブサンプリング比率または間引き率を決定する。サブサンプリングは、周波数変換による画像圧縮と比較して、不所望なノイズの生成がなく、エッジの方向に応じてサブサンプリング比率を決定することによって、再生画像においてエッジの消失またはぼけが生じにくい。サブサンプリングは、処理が簡単なので、演算負荷も小さく、処理能力に低い画像処理装置への実装に適している。

図４Ａ〜４Ｃは、それぞれ、画像データの圧縮に用いられるブロック分割数、フィルタ・タイプ識別、およびエッジ度判定の対象となるピクセル階調の閾値のパラメータのリストの例を示している。図５Ａ〜５Ｃは、それぞれ、画像データの圧縮に用いられる最大サブサンプリング比率αｍａｘ、垂直方向のサブサンプリング比率αＶを決定するための垂直方向の補正係数βＶ、および水平方向のサブサンプリング比率αＨを決定するための水平方向の補正係数βＨ、のパラメータのリストの例を示している。

図４Ａにおいて、パラメータＡ₁、Ａ₂、．．．は、１つのピクチャの複数のブロックに分割するそのブロック分割数を表す。例えば、パラメータＡ₁＝８×８の場合、１６０×２２４ピクセルのサイズの１つのピクチャは、各ブロックが２０ピクセル×２８ピクセルの８×８個のブロックに分割される。例えば、パラメータＡ₃＝８×１６の場合、１６０×２２４ピクセルのサイズの１つのピクチャは、各ブロックが２０ピクセル×１４ピクセルの８×１６個のブロックに分割される。分割数は、エッジの特徴の保存率および圧縮ブロックのデータ量に影響を与える。例えば、画質を高くするために分割数を少なく、データ量を少なくするために分割数を多くなるように選択してもよい。小さいサイズのブロックのほうが、水平方向または垂直方向のいずれかのエッジの度合いが高くなる傾向がある。

図４Ｂにおいて、パラメータＢ₁、Ｂ₂、．．．は、１つのブロックの画像データに適用されるエッジ度検出用の空間的なディジタル・フィルタのタイプ識別を表す。入力ピクチャ・データの特徴に適したフィルタを選択するとよい。例えば、ソーベル（Sobel）フィルタは、文字または線の特徴を抽出するのに適している。例えば、ロバート（Robert）フィルタは、画像の濃度の変化または勾配を生成するのに適している。

図４Ｃにおいて、パラメータＣ₁、Ｃ₂、．．．は、エッジ度を判定する対象となるピクセルの閾値を表す。例えば、パラメータＣ₂＝１０の場合、閾値１０を超える階調のピクセルについてのみ、エッジ度が判定される、閾値１０以下の階調のピクセルについては、エッジ度を０と設定するか、またはエッジ度のデータが存在しないものとして設定してもよい。

図５Ａにおいて、パラメータＤ₁、Ｄ₂、．．．は、１つのブロックの画像データに適用される可能な最大サブサンプリング比率αｍａｘを表す。例えば、水平方向について最大サブサンプリング比率αｍａｘ＝４／１または４：１の場合、水平方向のサブサンプリングは、連続する最大４ピクセル毎に１ピクセルの割合でサブサンプリングを行う。

図５Ｂにおいて、パラメータＥ₁、Ｅ₂、．．．は、１つのブロックの画像データに適用される垂直方向の補正係数βＶを表す。例えば、垂直方向のサブサンプリング比率αＶは、水平方向のブロック・エッジ度（ＥＨ）を、垂直および水平方向のブロック・エッジ度の合計（ＥＶ＋ＥＨ）で除算し、さらに垂直方向の補正係数（βＶ）を乗算した値として求められる。即ち、垂直方向のサブサンプリング比率αＶは、垂直および水平方向のブロック・エッジ度（ＥＶ＋ＥＨ）に対する水平方向のブロック・エッジ度（ＥＨ）に応じて決定される。サブサンプリング比率αＶは、値が整数となるように四捨五入、小数点以下の切り捨てまたは切り上げにより求められる。

図５Ｃにおいて、パラメータＦ₁、Ｆ₂、．．．は、１つのブロックの画像データに適用される垂直方向の補正係数βＨを表す。例えば、水平方向のサブサンプリング比率αＨは、垂直方向のブロック・エッジ度（ＥＶ）を、垂直および水平方向のブロック・エッジ度の合計（ＥＶ＋ＥＨ）で除算し、さらに水平方向の補正係数（βＨ）を乗算した値として求められる。即ち、水平方向のサブサンプリング比率αＨは、垂直および水平方向のブロック・エッジ度（ＥＶ＋ＥＨ）に対する垂直方向のブロック・エッジ度（ＥＶ）に応じて決定される。サブサンプリング比率αＨは、値が整数となるように四捨五入、小数点以下の切り捨てまたは切り上げにより求められる。

図６は、１つのピクチャの画像データの８×８個のブロックへの分割の例を示している。

図７Ａは、ピクセルの水平方向のエッジ度を検出するための３×３ピクセル・サイズのディジタル水平方向フィルタ（ソーベル）の係数の例を示している。図７Ｂは、ピクセルの垂直方向のエッジ度を検出するための３×３ピクセル・サイズのディジタル垂直方向フィルタ（ソーベル）の係数の例を示している。

図８は、非圧縮の１つの分割ブロックのピクセルのモノクロ（輝度）の濃度値の例を示している。図８において、より大きい値はより暗いレベルを表し、より小さい値はより明るいレベルを表す。代替形態として、より大きい値はより明るいレベルを表し、より小さい値はより暗いレベルを表してもよい。例えば、モノクロの階調は０〜２５５の値であってもよい。この例では、ブロックにおいて左上から右下に伸びる細い線エッジが存在する。

図７Ａおよび７Ｂのフィルタを用いて図８のブロックのピクセル・データの水平方向および垂直方向のエッジ度を検出する場合、図８のブロックの各ピクセルに対して、図８において破線で示した３×３マトリックスのそれぞれ水平方向および垂直方向のフィルタを順次適用または乗算する。その際、各ピクセルに対して水平方向のフィルタの中心位置の係数を配置して、それぞれの係数を対応する位置のピクセルの階調値に乗算し、対応する係数とピクセル階調値の積の総和が生成される。フィルタの中心位置のピクセルの周辺に実際の隣接ピクセルが存在しない場合は、その存在しないピクセルの階調値として水平方向または垂直方向の隣接ピクセルの階調値を用いてもよい。

図９Ａは、或るブロックに図７Ａの水平方向のフィルタを適用して得られたそのブロックの水平方向のエッジ度の分布の例を示している。図９Ｂは、或るブロックに図７Ｂの垂直方向のフィルタを適用して得られたブロックの垂直方向のエッジ度の分布の例を示している。

図９Ａおよび９Ｂの水平および垂直方向のエッジ度は、図８のブロックの周辺のピクセルが実際には存在しない場合には、その隣接ピクセルで近似する。図９Ａおよび９Ｂにおいて、図８のブロックのピクセル値から求めるために、エッジ度を正と負の値で示しているが、エッジ度はその値の絶対値であってもよい。

図１０は、サブサンプル画像生成部２２０によって実行される、非圧縮ピクチャ画像データをサブサンプリングするための概略的なフローチャートの例を示している。

図１０を参照すると、ステップ４０２において、サブサンプル画像生成部２２０は、パラメータ制御部２０２からの最大サブサンプリング比率αｍａｘと、エッジ情報生成部２１８から受け取った各ブロックの水平方向および垂直方向のエッジ度ＥＨおよびＥＶとに従って、水平方向および垂直方向のサブサンプリング比率αＨ、αＶを決定する。

ステップ４０４において、サブサンプル画像生成部２２０は、異なる仮の開始サブサンプル位置（ＳＨｔ，ＳＶｔ）に基づいて非圧縮ピクチャ画像データの各ブロックのピクセルを仮にサブサンプリングして、その仮サブサンプリングされた圧縮ブロック・データの評価に基づいて、最適な開始サブサンプル位置（ＳＨ，ＳＶ）を決定する。サブサンプリング比率（αＨ，αＶ）と開始サブサンプル位置（ＳＨ，ＳＶ）とによって、各ブロックにおける全てのサブサンプル位置が一意的に決まる。

ステップ４０６において、サブサンプル画像生成部２２０は、決定されたサブサンプリング比率αＨ、αＶおよび開始サブサンプル位置（ＳＨ，ＳＶ）に従って、非圧縮ピクチャの画像データのそれぞれのブロックのピクセルをサブサンプリングして、得られた圧縮ブロック画像データを付加データとともに、メモリ制御部２０４を介してメモリ３０に格納する。その付加データは、圧縮ブロック画像データの伸張または復元に必要な、ブロック識別番号ＢＬＫ、サブサンプリング比率（αＶ、αＨ）、開始サブサンプル位置（ＳＨ，ＳＶ）、ブロックのサイズを含んでいてもよい。

図１１は、サブサンプル画像生成部２２０によって実行される、１つのピクチャの画像データの各ブロックに対する図１０のステップ４０２のより詳細なフローチャートの例を示している。

図１１を参照すると、ステップ４２２において、サブサンプル画像生成部２２０は、エッジ情報生成部２１８から１つのブロックにおける水平方向のおよび垂直方向のブロック・エッジ度ＥＨおよびＥＶを受け取る。

ステップ４２４において、サブサンプル画像生成部２２０は、そのブロックについて、垂直方向のブロック・エッジ度ＥＶが０かどうかを判定する。垂直方向のブロック・エッジ度ＥＶが０であり、即ち垂直方向のエッジが存在しないと判定された場合は、手順はステップ４３２に進む。垂直方向のブロック・エッジ度ＥＶが０でなく即ち正の値であると判定された場合は、手順はステップ４２６に進む。

ステップ４２６において、サブサンプル画像生成部２２０は、そのブロックについて、水平方向のブロック・エッジ度ＥＨが０かどうかを判定する。水平方向のブロック・エッジ度ＥＨが０であり、即ち水平方向のエッジが存在しないと判定された場合は、手順はステップ４３４に進む。水平方向のブロック・エッジ度ＥＨが０でなく即ち正の値であると判定された場合は、手順はステップ４３６に進む。

ステップ４３２において、サブサンプル画像生成部２２０は、そのブロックについて、垂直方向のサブサンプリング比率を最小値αＶ＝１／１、および水平方向のサブサンプリング比率を最大値αＨ＝αｍａｘと決定する。これは、ブロックの画像が水平方向のエッジを有する可能性があるからである。ブロックの画像が垂直方向のエッジも水平方向のエッジも持たない場合（ＥＶ＝ＥＨ＝０）は、ブロック全体が同じ階調の画像であることを表すので、水平方向と垂直方向のいずれの方向のサブサンプリング比率を最大にしても、圧縮ブロックの画像におけるエッジの保存性を低下させることはない。代替形態として、ブロックの画像が垂直方向のエッジも水平方向のエッジも持たない場合（ＥＶ＝ＥＨ＝０）は、水平方向と垂直方向の両方向のサブサンプリング比率を最大にしてもよい。

ステップ４３４において、サブサンプル画像生成部２２０は、そのブロックについて、垂直方向のサブサンプリング比率を最大値αＶ＝αｍａｘ、および水平方向のサブサンプリング比率を最小値αＨ＝１／１と決定する。これは、ブロックの画像が水平方向のエッジを有する可能性があるからである。

ステップ４３６において、サブサンプル画像生成部２２０は、そのブロックについて、垂直方向のサブサンプリング比率αＶを、垂直方向および水平方向のブロック・エッジ度の合計（ＥＶ＋ＥＨ）に対する水平方向のブロック・エッジ度ＥＨの割合の関数として、次の式に従って求める。
αＶ＝ＥＨ／（ＥＶ＋ＥＨ）×βＶ
ここで、βＶは、例えば図５Ｂに例示されているような垂直方向のサブサンプリング比率に対する補正係数を表す。従って、水平方向のブロック・エッジ度ＥＨに比例して、垂直方向のサブサンプリング比率αＶが大きくなる。

さらに、サブサンプル画像生成部２２０は、そのブロックについて、水平方向のサブサンプリング比率αＨを、垂直方向および水平方向のブロック・エッジ度の合計（ＥＶ＋ＥＨ）に対する垂直方向のブロック・エッジ度ＥＶの割合の関数として、次の式に従って求める。
αＨ＝ＥＨ／（ＥＶ＋ＥＨ）×βＨ
ここで、βＨは、例えば図５Ｃに例示されているような水平方向のサブサンプリング比率に対する補正係数を表す。従って、垂直方向のブロック・エッジ度ＥＶに比例して、水平方向のサブサンプリング比率αＨが大きくなる。

ステップ４４２において、サブサンプル画像生成部２２０は、そのブロックについて、求めた垂直方向のサブサンプリング比率αＶが最大値αｍａｘより小さいかどうかを判定する。垂直方向のサブサンプリング比率αＶが最大値αｍａｘより小さいと判定された場合は、手順はステップ４４６に進む。垂直方向のサブサンプリング比率αＶが最大値αｍａｘより小さくないと判定された場合は、手順はステップ４４４に進む。

ステップ４４４において、サブサンプル画像生成部２２０は、そのブロックについて、垂直方向のサブサンプリング比率を最大値αＶ＝αｍａｘと決定する。

ステップ４４６において、サブサンプル画像生成部２２０は、そのブロックについて、求めた水平方向のサブサンプリング比率αＨが最大値αｍａｘより小さいかどうかを判定する。水平方向のサブサンプリング比率αＨが最大値αｍａｘより小さいと判定された場合は、手順は図１１のサブルーチンを出る。垂直方向のサブサンプリング比率αＶが最大値αｍａｘより小さくないと判定された場合は、手順はステップ４４６に進む。

ステップ４４８において、サブサンプル画像生成部２２０は、そのブロックについて、水平方向のサブサンプリング比率を最大値αＨ＝αｍａｘと決定する。その後、手順は図１１のサブルーチンを出る。

図１１のフローチャートは、１つのピクチャ（画像）の各ブロックに対して適用される。このようにして、各ブロックの垂直方向および水平方向のブロック・エッジ度ＥＶおよびＥＨに基づいて、各ブロックにおける垂直方向および水平方向のサブサンプリング比率αＶおよびαＨが決定される。

図１２は、サブサンプル画像生成部２２０によって実行される、１つのピクチャ（画像）の各ブロックに対する図１０のステップ４０４のより詳細なフローチャートの例を示している。

図１３は、１つのブロックにおける垂直方向および水平方向の仮の開始サブサンプル位置の範囲の例を示している。図１３において、仮の開始サブサンプル位置の範囲は、斜線で陰影を施された水平方向のサブサンプリング周期αＨ（ピクセル数）および垂直方向のサブサンプリング周期αＶ（ピクセル数）を有する。

図１２を参照すると、ステップ４６２において、サブサンプル画像生成部２２０は、変数、即ち垂直方向および水平方向の仮の開始サブサンプル位置ＳＶｔ＝０、ＳＨｔ＝０、垂直方向および水平方向の決定された開始サブサンプル位置ＳＶ＝０、ＳＨ＝０、サブサンプルのピクセルの階調の総和Ｖｃｍ＝０、エッジ輝度の累積値の最大値Ｖｃｍ＿ｍａｘ＝０と初期化する。

ステップ４６４において、サブサンプル画像生成部２２０は、垂直方向の仮の開始サブサンプル位置ＳＶｔが垂直方向の最大のサブサンプル位置（αＶ−１）以下かどうかを判定する。仮の開始サブサンプル位置ＳＶｔが最大のサブサンプル位置（αＶ−１）以下であると判定された場合は、手順はステップ４６６に進む。仮の開始サブサンプル位置ＳＶｔが最大のサブサンプル位置（αＶ−１）以下でない即ち最大のサブサンプル位置（αＶ−１）を超えると判定された場合は、手順は図１２のルーチンを出る。

ステップ４６６において、サブサンプル画像生成部２２０は、水平方向の仮の開始サブサンプル位置ＳＨｔが水平方向の最大のサブサンプル位置（αＨ−１）以下かどうかを判定する。仮の開始サブサンプル位置ＳＨｔが最大のサブサンプル位置（αＨ−１）以下であると判定された場合は、手順はステップ４６８に進む。仮の開始サブサンプル位置ＳＨｔが最大のサブサンプル位置（αＨ−１）以下でない即ち最大のサブサンプル位置（αＨ−１）を超えると判定された場合は、手順はステップ４７８に進む。

ステップ４７８において、サブサンプル画像生成部２２０は、垂直方向の仮の開始サブサンプル位置ＳＶｔ＝ＳＶｔ＋１として１だけインクリメント（増分）し、仮の開始サブサンプル位置ＳＨｔ＝０と初期化する。

ステップ４６８において、サブサンプル画像生成部２２０は、現在の垂直方向および水平方向の仮の開始サブサンプル位置ＳＶｔおよびＳＨｔについて、垂直方向および水平方向のサブサンプリング比率でαＶおよびαＨで、１つのブロックを仮にサブサンプリングする。

ステップ４７０において、サブサンプル画像生成部２２０は、仮にサブサンプリングされたブロックの仮のサブサンプルのピクセルのモノクロ階調の総和Ｖｃｍを求める。

図１４は、図８のブロックにおける、或る開始サブサンプル位置（ＳＨｔ＝０,ＳＶｔ＝０）の場合のサブサンプル位置の例を示している。この場合、そのブロックにおける全てのサブサンプル位置のピクセルの階調の総和はＶｃｍ＝１０７０である。

図１５は、図８のブロックにおける、或る開始サブサンプル位置（ＳＨｔ＝２,ＳＶｔ＝２）の場合のサブサンプル位置の例を示している。この場合、そのブロックにおける全てのサブサンプル位置のピクセルの階調の総和はＶｃｍ＝７８０である。

ステップ４７２において、サブサンプル画像生成部２２０は、求めた階調の総和Ｖｃｍが最大値Ｖｃｍ＿ｍａｘより大きいかどうかを判定する。階調の総和Ｖｃｍが最大値Ｖｃｍ＿ｍａｘより大きいと判定された場合は、手順はステップ４７４に進む。階調の総和Ｖｃｍが最大値Ｖｃｍ＿ｍａｘより大きくないと判定された場合は、手順はステップ４７６に進む。

ステップ４７４において、サブサンプル画像生成部２２０は、階調の総和Ｖｃｍを最大値Ｖｃｍ＿ｍａｘ＝Ｖｃｍとして保存し、仮の開始サブサンプル位置ＳＶｔおよびＳＨｔを、決定された開始サブサンプル位置ＳＶ＝ＳＶｔ、ＳＨ＝ＳＨｔとして保存する。

ステップ４７６において、サブサンプル画像生成部２２０は、水平方向の仮の開始サブサンプル位置ＳＨｔ＝ＳＨｔ＋１として１だけインクリメント（増分）する。その後、手順はステップ４６６に戻る。ステップ４６２、４６４、４６６、４７６および４７８によって、垂直方向および水平方向の両サブサンプル周期の範囲における全てのピクセルが仮の開始サブサンプル位置として選択される。

このようにして、全ての可能な開始サブサンプル位置について、階調の総和Ｖｃｍが最大値Ｖｃｍ＿ｍａｘと示すような開始サブサンプル位置（ＳＶ、ＳＨ）が決定される。

図１２のフローチャートは、１つのピクチャ（画像）の各ブロックに対して適用される。このようにして、各ブロックにおけるサブサンプル位置が、階調の総和Ｖｃｍが最大値Ｖｃｍ＿ｍａｘを示すように決定される。

図１６は、１つのピクチャにおける異なる複数のブロックＢＬＫ１、ＢＬＫ２、ＢＬＫ９、ＢＬＫ１０の圧縮画像の例を示している。

図１６において、例えば、ブロックＢＬＫ１は、垂直方向のサブサンプリング比率αＶ＝１／１であり、水平方向のサブサンプリング比率αＨ＝４／１であり、開始サブサンプル位置は（ＳＨ＝０，ＳＶ＝０）であり、３×６ピクセルのサイズの圧縮ブロック画像データが得られる。

例えば、ブロックＢＬＫ２は、垂直方向のサブサンプリング比率αＶ＝２／１であり、水平方向のサブサンプリング比率αＨ＝２／１であり、開始サブサンプル位置は（ＳＨ＝０，ＳＶ＝１）であり、６×３ピクセルのサイズの圧縮ブロック画像データが得られる。

例えば、ブロックＢＬＫ９は、垂直方向のサブサンプリング比率αＶ＝２／１であり、水平方向のサブサンプリング比率αＨ＝２／１であり、開始サブサンプル位置は（ＳＨ＝１，ＳＶ＝０）であり、６×３ピクセルのサイズの圧縮ブロック画像データが得られる。

例えば、ブロックＢＬＫ１０は、垂直方向のサブサンプリング比率αＶ＝２／１であり、水平方向のサブサンプリング比率αＨ＝４／１であり、開始サブサンプル位置は（ＳＨ＝３，ＳＶ＝１）であり、３×３ピクセルのサイズの圧縮ブロック画像データが得られる。

このようにして、１つのピクチャにおける各ブロック毎のエッジ度ＥＨおよびＥＶに応じて、そのブロックの画像データが圧縮される。

図１７は、本発明の実施形態による、画像生成利用装置２において用いられるピクセル画像データの伸張または復元のためのプロセッサ２０の構成（configuration）の例を示している。図１７の画像生成利用装置２は、図１の画像生成利用装置２と同じ装置であっても、または図１の画像生成利用装置２とは異なる別個の装置であってもよい。

図１７において、画像生成利用装置２は、画像処理用のプロセッサ２０、メモリ３０および画像認識部４０を含んでいる。画像認識部４０は、例えば、文字認識、バーコード認識、二次元バーコード認識、顔認識、指紋認識、等を行う装置であってもよい。

プロセッサ２０は、図１と同様に、制御部２２、パラメータ制御部２０２およびメモリ制御部２０４を含んでいる。プロセッサ２０は、さらに、データ入力部２１２、フォーマット解析部２４４、ピクセル再配置部２４８、アップサンプル画像生成部または画像補間部２５０、およびデータ出力部２５２を含んでいる。制御部２２は、要素２０２〜２５２を制御する。メモリ３０は、画像データおよびパラメータ等のデータ、およびプログラムを格納する。

パラメータ制御部２０２は、ユーザによって入力装置（例えば、操作キー）を介して設定されまたは利用装置２によって設定されたパラメータに従って、アップサンプル画像生成部２５０の動作条件を設定する。

メモリ制御部２０４は、データ入力部２１２、ピクセル再配置部２４８、およびアップサンプル画像生成部２５０から元の圧縮ピクチャ・データおよび処理済みのピクチャ・データ等を受け取ってメモリ３０に格納する。メモリ制御部２０４は、メモリ３０から元の圧縮ピクチャ・データおよび処理済みの画像データ等を取り出して、フォーマット解析部２４４、ピクセル再配置部２４８、アップサンプル画像生成部２５０、およびデータ出力部２５２に供給する。

データ入力部２１２は、画像生成利用装置２内のメモリ等または外部装置からの圧縮された元のピクチャ（フレーム画像）のピクセル・データを入力して、メモリ制御部２０４を介してメモリ３０に格納する。データ入力部２１２は、その圧縮ピクチャ・データをフォーマット解析部２４４に供給してもよい。

フォーマット解析部２４４は、データ入力部２１２またはメモリ制御部２０４を介してメモリ３０から圧縮ピクチャ・データを付加データとともに受け取り、画像データのフォーマットを解析する。フォーマット解析部２４４は、ブロック毎の付加データをピクセル再配置部２４８に供給する。

ピクセル再配置部２４８は、メモリ制御部２０４を介してメモリ３０から受け取った圧縮ピクチャ・データのピクセル・データを、フォーマット解析部２４４から受け取った付加データに従って、各ブロック毎にブロックの対応するピクセル位置に再配置する。ピクセル再配置部２４８は、ピクセル補間されていない再配置されたピクチャ・データをメモリ制御部２０４を介してメモリ３０に格納する。

アップサンプル画像生成部２５０は、ピクセル再配置部２４８からの再配置の完了に応答して、メモリ制御部２０４を介してメモリ３０から受け取った再配置されたピクチャ・データを、パラメータ制御部２０２によって設定された補間法識別に従ってピクセル補間して、補間または復元された非圧縮ピクチャ・データを生成する。アップサンプル画像生成部２５０は、復元された非圧縮ピクチャ・データをメモリ制御部２０４を介してメモリ３０に格納する。データ出力部２５２は、メモリ制御部２０４を介してメモリ３０から復元された非圧縮ピクチャ・データを受け取って、画像生成利用装置２内の例えば画像認識部４０または外部装置に供給する。

図１８Ａは、ブロックＢＬＫ２の圧縮画像データおよび付加データの例を示している。図１８Ｂは、ブロックＢＬＫ２の圧縮画像データおよび付加データに基づいて再配置された画像データの例を示している。

図１８Ａにおいて、入力された圧縮ブロック２の画像データは、付加データの記述によれば、ブロック・サイズが３×６ピクセルであり、水平方向および垂直方向のサンプリング比率が（αＨ＝４／１，αＶ＝１／１）であり、水平方向および垂直方向の開始サブサンプル位置が（０，０）である。ピクセル再配置部２４８は、これらの付加データに基づいて、図１８Ｂに示されているように３×６圧縮ブロックのピクセル・データを元のサイズの１２×６ピクセルのブロックの対応するピクセル位置に再配置する。再配置されたピクセルの間の空白のピクセル位置に補間ピクセルがアップサンプル画像生成部２５０によって補間される。

図１９は、パラメータ制御部２０２によって設定されアップサンプル画像生成部２５０によって実行されるアップサンプリングのための補間法の例を示している。この場合、再配置された長方形の頂点に位置する隣接の４つのサブサンプル・ピクセル：
Ｐ₁＝Ｐ（ｘ，ｙ）、
Ｐ₂＝Ｐ（ｘ，ｙ＋αＶ−１）、
Ｐ₃＝Ｐ（ｘ＋αＶ−１，ｙ）、
Ｐ₄＝Ｐ（ｘ＋αＨ−１，ｙ＋αＶ−１）
の間に位置する補間ピクセルＰ（ｘａ，ｙａ）の階調は、そのピクセル位置（ｘａ，ｙａ）に応じて、そのサブサンプル・ピクセルＰ₁、Ｐ₂、Ｐ₃、Ｐ₄の階調の比例配分で決定してもよい。

図１９において、或る補間ピクセルＰ（ｘａ，ｙａ）の階調は、例えば次の式で表される。
Ｐ（ｘａ，ｙａ）＝
Ｐ₁×（αＨ−１−ｄｘ）／（αＨ−１）×（αＶ−１−ｄｙ）／（αＶ−１）
＋Ｐ₂×（ｄｘ）／（αＨ−１）×（αＶ−１−ｄｙ）／（αＶ−１）
＋Ｐ₃×（αＨ−１−ｄｘ）／（αＨ−１）×（ｄｙ）／（αＶ−１）
＋Ｐ₄×（ｄｘ）／（αＨ−１）×（ｄｙ）／（αＶ−１）
ここで、αＨ−１は左右のサブサンプル・ピクセルＰ₁とＰ₂の間の水平方向の距離、αＶ−１は上下のサブサンプル・ピクセルＰ₁とＰ₃の間の垂直方向の距離、ｄｘ＝ｘａ−ｘは左上のピクセルＰ₁から補間ピクセルＰまでの水平方向の距離、ｄｙ＝ｙａ−ｙは左上のピクセルＰ₁から補間ピクセルＰまでの垂直方向の距離である。

ブロックの頂点位置または側辺位置にある補間ピクセルは、その周辺にある再配置１つまたは２つのピクセルからの距離とその階調に基づいてその階調を生成してもよい。

図２０は、異なるブロックＢＬＫ１、ＢＬＫ２、ＢＬＫ９、ＢＬＫ１０について、それぞれの圧縮画像データおよび付加データに基づいて異なる形態で再配置された画像データの例を示している。再配置されたピクセルの間の空白のピクセル位置に補間ピクセルがアップサンプル画像生成部２５０によって補間される。

上述の実施形態によれば、例えば標準Ｈ．２６４のような通常の圧縮方法と比べて、同程度の圧縮率の圧縮ピクチャを得るのに、見た目の画像品質は幾分か低下したとしても、圧縮前のピクチャの垂直および水平方向の各ブロック・エッジ度に対する圧縮して復元したピクチャの垂直および水平方向の各ブロック・エッジ度の変化を小さくすることができるであろう。また、上述の実施形態によれば、例えば標準Ｈ．２６４のような通常の圧縮方法と比べて、演算量が少ないので、そのような圧縮の処理時間を短くすることができるであろう。従って、上述の実施形態の画像圧縮方法は、例えば画像認識のための望ましい画像の輪郭またはエッジの特徴を効率的に処理するのに適している、と考えられる。また、上述の実施形態によれば、例えば標準Ｈ．２６４のような通常の圧縮方法と比べて、例えば画像認識のための望ましい画像の輪郭またはエッジの特徴を保存した形態で、ピクチャをより効率的に大きく圧縮することができ、従って格納に必要なメモリ容量が小さくなるであろう。

ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈すべきである。また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができると理解すべきである。

２ 画像生成利用装置
１０ 撮像部
２０ プロセッサ
２２ 制御部
３０ メモリ
２０２ ペラメータ制御部
２０４ メモリ制御部
２１２ データ入力部
２１４ ブロック分割部
２１６ エッジ検出部
２１８ エッジ情報生成部
２２０ サブサンプル画像生成部
２５２ データ出力部

Claims (10)

1. １つのピクチャの画像データを複数のブロックに分割するブロック分割工程と、
   前記複数のブロックの各ブロックの画像データの水平方向および垂直方向のエッジの度合を検出するエッジ検出工程と、
   前記各ブロックの前記検出された水平方向および垂直方向のエッジの度合に基づいて水平方向および垂直方向のサブサンプリング比率を決定し、前記各ブロックの画像データにおいてサブサンプリングによって抽出される複数のサブサンプルの階調の値の総和が最大になるように前記複数のサブサンプルの位置を決定して、前記決定されたサブサンプルの位置で前記決定された水平方向および垂直方向のサブサンプリング比率で前記各ブロックの画像データをサブサンプリングによって圧縮して、前記圧縮されたブロックの画像データと、前記サブサンプリング比率および前記決定されたサブサンプルの位置情報を含む付加データとを生成する画像圧縮工程と、
   を含む画像処理方法。
2. 前記画像圧縮工程は、前記垂直方向のエッジの度合に応じて前記水平方向のサブサンプリング比率を決定し、前記水平方向のエッジの度合に応じて前記垂直方向のサブサンプリング比率を決定するものである、請求項１に記載の画像処理方法。
3. 前記エッジ検出工程は、前記複数のブロックの各ブロックの画像データを、マトリックス状のフィルタで空間的にフィルタリングして前記エッジの度合を求めるものである、請求項１または２に記載の画像処理方法。
4. 各ブロックの画像データの水平方向および垂直方向のエッジの度合に基づいて生成された１つのピクチャの複数のブロックの圧縮画像データおよび付加データを受け取る画像入力工程と、
   前記付加データに含まれる、前記水平方向および垂直方向のサブサンプリング比率と、複数のサブサンプルの階調の値の総和が最大になるように決定されたサブサンプルの位置情報とに従って、前記複数のブロックの各ブロックの圧縮画像データのピクセルを、前記各ブロックの非圧縮画像データにおける対応するピクセル位置に再配置するピクセル再配置工程と、
   前記各ブロックの非圧縮画像データにおける前記再配置されたピクセルの間の他のピクセルを補間して、前記各ブロックの非圧縮画像データを生成する画像補間工程と、
   を含む画像処理方法。
5. 前記画像補間工程は、前記再配置されたピクセルの間の補間位置のピクセルの階調値を、前記補間位置の周辺にある前記再配置されたピクセルからの距離とその階調値に基づいて決定するものである、請求項４に記載の画像処理方法。
6. １つのピクチャの画像データを複数のブロックに分割するブロック分割部と、
   前記複数のブロックの各ブロックの画像データの水平方向および垂直方向のエッジの度合を検出するエッジ検出部と、
   前記各ブロックの前記検出された水平方向および垂直方向のエッジの度合に基づいて水平方向および垂直方向のサブサンプリング比率を決定し、前記各ブロックの画像データにおいてサブサンプリングによって抽出される複数のサブサンプルの階調の値の総和が最大になるように前記複数のサブサンプルの位置を決定して、前記決定されたサブサンプルの位置で前記決定された水平方向および垂直方向のサブサンプリング比率で前記各ブロックの画像データをサブサンプリングによって圧縮して、前記圧縮されたブロックの画像データと、前記サブサンプリング比率および前記決定されたサブサンプルの位置情報を含む付加データとを生成する画像圧縮部と、
   を具える画像処理装置。
7. 前記画像圧縮部は、前記垂直方向のエッジの度合に応じて前記水平方向のサブサンプリング比率を決定し、前記水平方向のエッジの度合に応じて前記垂直方向のサブサンプリング比率を決定するものである、請求項６に記載の画像処理装置。
8. 前記エッジ検出部は、前記複数のブロックの各ブロックの画像データを、マトリックス状のフィルタで空間的にフィルタリングして前記エッジの度合を求めるものである、請求項６または７に記載の画像処理装置。
9. 各ブロックの画像データの水平方向および垂直方向のエッジの度合に基づいて生成された１つのピクチャの複数のブロックの圧縮画像データおよび付加データを受け取る画像入力部と、
   前記付加データに含まれる、前記水平方向および垂直方向のサブサンプリング比率と、複数のサブサンプルの階調の値の総和が最大になるように決定されたサブサンプルの位置情報とに従って、前記複数のブロックの各ブロックの圧縮画像データのピクセルを、前記各ブロックの非圧縮画像データにおける対応するピクセル位置に再配置するピクセル再配置部と、
   前記各ブロックの非圧縮画像データにおける前記再配置されたピクセルの間の他のピクセルを補間して、前記各ブロックの非圧縮画像データを生成する画像補間部と、
   を具える画像処理装置。
10. 前記画像補間部は、前記再配置されたピクセルの間の補間位置のピクセルの階調値を、前記補間位置の周辺にある前記再配置されたピクセルからの距離とその階調値に基づいて決定するものである、請求項９に記載の画像処理装置。

Images