JP4656497B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、画像を符号化する画像処理装置及び方法に関する。

本発明は、処理すべき画像に応じた符号化処理の制御を行う。このような符号化処理の制御に関する先行技術文献の例として特許文献１〜５が知られているが、その内容の概要は次の通りである。

特許文献１には、ブロック単位で、色差Ｃｒ，Ｃｂ又はＲ，Ｂから肌色の画素数を求め、画素数が所定値以上ならば顔の領域と判定し、顔領域と判定したブロックに肌色画素数の多い順に送出優先順位をつけて、その順にブロックの符号を送出する発明が記載されている。

特許文献２には、ＪＰＥＧ２０００（ISO/IEC 15444-1）のような符号化処理において、色変換後の色差Ｕ，Ｖのウェーブレット変換のＬＬ係数から肌色領域を検出し、肌色領域の２値ビットマップと楕円テンプレートとのパターンマッチングにより顔領域を認識し、顔領域については量子化を軽くすることにより多くの符号量を割り当てる発明が記載されている。

特許文献３には、ＪＰＥＧ２０００のような符号化処理において、高解像必要領域（文字・線画領域）であるか否かを判定し、高解像必要領域（例えばタイル）を高解像度となるようにサブバンド係数の量子化値を修正する発明が記載されている。

特許文献４には、ＭＰＥＧの符号化処理において、人間の視覚が敏感な所定の色相範囲・飽和範囲の平均色を持つブロックの量子化歪みを軽減させるように量子化ステップサイズを制御する発明が記載されている。

特許文献５には、ＪＰＥＧ２０００の符号化処理を行う装置において、タイルの文字／写真の別又はコントラスト強弱に応じて、そのタイルに対する線形量子化、プログレッシブ順序、ポスト量子化を制御する発明が記載されている。

特開平１０−２３２７４号公報 特開２０００−１９７０５０号公報 特開２００３−９１５３号公報 特許第２９４８７２０号公報 特開２００３−２３５４４号公報

写真などの画像のデータに対し情報損失を伴う符号化処理を施して圧縮すると、その伸長画像はオリジナル画像より画質が劣化する。この画質の劣化の目立ちやすさは画像の内容に左右される。例えば、人の肌色、空の青色、樹木の緑色といった、いわゆる記憶色の領域が多い画像では、色再現の劣化が目立ちやすい。

かかる考察に鑑み、本発明の目的は、符号化処理に伴う画質劣化を目立ちにくくするため、画像中の特定の記憶色の領域の多寡や分布に応じて適応的に符号化処理を制御する新規な画像処理装置及び方法を提供することにある。

請求項１の発明は、
ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って符号化データを生成する符号化処理手段、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
タイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出するととも、前記記憶色画素検出手段により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出する記憶色割合算出手段、
算出された画像全体記憶色割合が第１の所定値を超える場合にのみ、算出されたタイル記憶色割合が第２の所定値を越えるタイルについて、算出されたタイル記憶色割合が前記第２の所定値を越えないタイルに比べ、前記符号化処理手段の符号化処理における色差成分の係数又は符号のトランケーション量を減少させる制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項２の発明は、
ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って符号化データを生成する符号化処理手段、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
プレシンクト毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、プレシンクト記憶色割合と記す）を算出する記憶色割合算出手段、
算出されたプレシンクト記憶色割合が所定値を越えるプレシンクトについて、算出されたプレシンクト記憶色割合が前記所定値を越えないプレシンクトに比べ、前記符号化処理手段の符号化処理における色差成分の係数又は符号のトランケーション量を減少させる制御を行い、算出されたプレシンクト記憶色割合が前記所定値を越えないプレシンクトであっても算出されたプレシンクト記憶色割合が前記所定値を越えるプレシンクト群に外接する矩形内に存在するプレシンクトについては、算出されたプレシンクト記憶色割合が前記所定値を越えるプレシンクトと同様の制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項３の発明は、請求項２の発明に係る画像処理装置であって、
記憶色割合算出手段でタイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出し、
前記制御手段は、算出されたタイル記憶色割合が所定値を越えないタイル内のプレシンクトについては前記制御の対象から除外することを特徴とする画像処理装置である。

請求項４の発明は、
ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って符号化データを生成する符号化処理手段、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
プレシンクト毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、プレシンクト記憶色割合と記す）を算出する記憶色割合算出手段、
算出されたプレシンクト記憶色割合が所定値を越えるプレシンクトについて、算出されたプレシンクト記憶色割合が前記所定値を越えないプレシンクトに比べ、前記符号化処理手段の符号化処理における色差成分の係数又は符号のトランケーション量を減少させる制御を行う制御手段を有する画像処理装置であって、
記憶色割合算出手段でタイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出し、
前記制御手段は、算出されたタイル記憶色割合が所定値を越えないタイル内のプレシンクトについては前記制御の対象から除外することを特徴とする画像処理装置である。

請求項５の発明は、
入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理手段、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
前記記憶色画素検出手段により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出する記憶色割合算出手段、
算出された画像全体憶色割合が所定値を越えない場合に画質プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御し、算出された画像全体記憶色割合が前記所定値を越える場合に解像度プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御する制御手段を有することを特徴とする画像処理装置である。

請求項６の発明は、
入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理手段、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
前記入力画像の所定のブロック毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、ブロック記憶色割合と記す）を算出する記憶色割合算出手段、
算出されたブロック記憶色割合が所定値を越えない前記入力画像のブロックについては画質プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御し、算出されたブロック記憶色割合が前記所定値を越えるブロックについては解像度プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御する制御手段を有することを特徴とする画像処理装置である。

請求項７の発明は、
ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理手段、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
タイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出する記憶色割合算出手段、
算出されたタイル記憶色割合が所定値を越えないタイルについては画質プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御し、算出されたタイル記憶色割合が前記所定値を越えるタイルについては解像度プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御する制御手段を有することを特徴とする画像処理装置である。

請求項８の発明は、請求項６又は７の発明に係る画像処理装置であって、
前記記憶色割合算出手段で前記記憶色画素検出手段により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出し、
前記制御手段は、算出された画像全体記憶色割合が所定値を越える場合にのみ前記制御を行うことを特徴とする画像処理装置である。

請求項９の発明は、
入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理工程、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出工程、
前記記憶色画素検出工程により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出する記憶色割合算出工程、
算出された画像全体記憶色割合が所定値を越えない場合に画質プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御し、算出された画像全体記憶色割合が前記所定値を越える場合に解像度プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御する制御工程を有することを特徴とする画像処理方法である。

請求項１０の発明は、
入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理工程、
前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出工程、
前記入力画像の所定のブロック毎の前記記憶色画素検出工程により検出された記憶色画素の占める割合（以下、ブロック記憶色割合と記す）を算出する記憶色割合算出工程、
算出されたブロック記憶色割合が所定値を越えない前記入力画像のブロックについては、画質プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御し、算出されたブロック記憶色割合が前記所定値を越えるブロックについては解像度プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御する制御工程を有することを特徴とする画像処理方法である。

請求項１１の発明は、請求項１乃至８のいずれか１項の発明に係る画像処理装置の少なくとも記憶色画素検出手段、記憶色割合算出手段及び制御手段としてコンピュータを機能させるプログラムである。

請求項１２の発明は、請求項１乃至８のいずれか１項の発明に係る画像処理装置の少なくとも記憶色画素検出手段、記憶色割合算出手段及び制御手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

本発明によれば、以下のような効果を得られる。なお、ここでは便宜上、特定の記憶色として人間の肌色を想定して説明する。

（１）例えば人物の半身写真や全身写真のような画像の場合、顔のような肌の露出した部分が記憶色領域となるが、その画像全体に占める割合は必ずしも大きくないことがある。請求項１〜４の発明によれば、そのような画像の記憶色部分に対応する領域（ブロック、ＪＰＥＧ２０００のタイル又はプレシンクト）における色差成分の損失を少なくするため、それら領域の色再現の劣化が目立ちにくくなる。

（２）例えば画像中の顔の領域内において、陰影の影響などにより場所によって記憶色割合にばらつきが生じる場合がある。このような場合、顔領域内において色差成分の損失が少ないプレシンクトと色差成分の損失の多いプレシンクトが混在するのでは色味のばらつきと認識され好ましくないことがある。請求項２の発明によれば、そのような不都合を回避できる。

（３）例えば画像の一部領域（ブロック又はタイル）で記憶色割合が所定値を越えていても、画像全体から見ると記憶色割合が小さい場合に、その一部領域について色差成分の損失を減らすと、伸長画像に違和感が生じることがあり得る。このような不都合は、請求項１の発明によれば回避できる。

（４）例えば画像のあるタイル内の一部プレシンクトで記憶色割合が所定値を越えていても、そのタイル全体から見ると記憶色割合が小さい場合に、そのプレシンクトについて色差成分の損失を減らすと伸長画像に違和感が生じることがあり得る。このような不都合は、請求項３，４の発明によれば回避できる。

（５）例えば人物の顔の大写し写真のような画像の場合、請求項５，９の発明によれば、解像度プログレッシブの符号化データが生成される。後にＪＰＥＧ２０００のアルゴリズムに関連して述べるように、解像度プログレッシブの符号化データでは各解像度レベルで色差成分が全て復元されるため、例えばプログレッシブ伸長を途中の解像度レベルで打ち切っても、画質プログレッシブ符号化データの場合に比べ色再現の劣化は目立ちにくくなる。また、解像度プログレッシブ符号化データの高解像度レベルの符号を破棄しても、それより低い解像度レベルで色差成分が全て復元されるため、画質プログレッシブ符号化データの場合に比べ色再現の劣化は目立ちにくくなる。

（６）請求項６，７，１０の発明によれば、例えば人物の半身写真や全身写真のような画像の場合、顔のような肌の露出した部分を含むブロック又はタイルについては解像度プログレッシブの符号化データが生成されるため、上記（５）で述べたように、それらブロック又はタイルにおける色再現の劣化が目立ちにくくなる。

（７）例えば画像のあるブロック又はタイルで記憶色割合が所定値を越えていても、画像全体から見ると記憶色割合が小さい場合に、そのブロック又はタイルについて解像度プログレッシブの符号化データを生成したのでは伸長画像に違和感が生じることがあり得るが、請求項８の発明によれば、そのような不都合を回避できる。

（８）請求項１１，１２によれば、例えば、ハードウェア又はソフトウェアの符号化処理手段を備えるコンピュータを利用し、請求項１〜８の発明に係る画像処理装置を実現することができる。なお、請求項１１，１２の発明は、請求項１〜８のいずれか１項の発明に係る画像処理装置の符号化処理手段としてコンピュータを機能させるプログラム、それが記録された情報記録媒体を包含するものである。したがって、請求項１１，１２の発明によれば、ハードウェア又はソフトウェアの符号化処理手段を備えないコンピュータを利用して請求項１〜８の発明に係る画像処理装置を実現することもできる。

図１は、本発明の実施の形態を説明するためのブロック図である。ここに示す画像処理装置は、画像入力部１００、符号化処理部２００、記憶色画素検出部３００、記憶色割合算出部３０１及び制御部３０２から構成される。

画像入力部１００は処理すべき画像のデータ（ここではＲＧＢデータとする）を符号化処理部２００に入力する手段である。符号化処理部２００は、入力された画像のデータを輝度成分と色差成分とに色変換してから符号化処理を行って符号化データ（コードストリーム）を生成する手段である。ここでは、符号化処理部２００はＪＰＥＧ２０００に準拠するものであり、色変換部２０１、ウェーブレット変換部２０２、量子化部２０３、エントロピー符号化部２０４及び符号形成部２０５から構成される。

記憶色画素検出部３００は、入力された画像中の特定の記憶色の画素を検出する手段である。記憶色割合算出部３０１は、記憶色画素検出部３００により検出された記憶色画素の、入力画像全体に占める割合又は入力画像の分割領域である各ブロック（タイル、プレシンクト）に占める割合を算出する手段である。制御部３０２は、記憶色割合算出部３０１により算出された記憶色の割合に応じて、符号化処理部２００における色差成分の量子化の程度又は符号化データのプログレッシブ順次を制御する手段である。

ここで、符号化処理部２００の符号化処理（ＪＰＥＧ２０００の符号化アルゴリズム）について説明する。

入力画像のデータは１以上の矩形ブロック（タイル）に分割されて処理される。各タイルのデータは色変換部２０１により輝度（Ｙ）成分と、色差（Ｃｂ，Ｃｒ）成分とに変換され、各成分毎に以下の処理が施される。まず、ウェーブレット変換部２０２により２次元のウェーブレット変換を施される。

図２は、２次元ウェーブレット変換を３回施す場合の説明図である。まず、（ａ）のタイル画像に対し２次元ウェーブレット変換が１回施されることにより、（ｂ）に示すデコンポジションレベル１の４つのサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨサブバンド）に分割される。この１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が施されることにより、１ＬＬサブバンドは（ｃ）に示すデコンポジションレベル２の２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨサブバンドに分割される。２ＬＬサブバンドに２次元ウェーブレット変換が施されることにより、２ＬＬサブバンドは（ｄ）に示すようにデコンポジションレベル３の３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨサブバンドに分割される。図３に、デコンポジションレベル（施すウェーブレット変換の回数）と解像度レベルの関係を示す。

ＪＰＥＧ２０００では、ウェーブレット変換として可逆の５×３変換と非可逆の９×７変換が規定されているが、９×７変換が用いられる場合には、量子化部２０３でウェーブレット係数に対しサブバンド毎に線形量子化が施される。

各サブバンドはプレシンクト（プリシンクト）とよばれる矩形に分割される。プレシンクトとは、サブバンドを矩形に分割したものであり、ＨＬ、ＬＨ、ＨＨサブバンドのプレシンクトは３つで１まとまりである（図４参照）。ただし、ＬＬサブバンドを分割したプレシンクトは１つで１まとまりである。プレシンクトは、大まかには画像中の場所（Position）を表すものである。プレシンクトはサブバンドと同じサイズにすることもできる。プレシンクトをさらに矩形に分割したものがコードブロックである(図４参照)。よって、物理的な大きさの序列は、画像≧タイル＞サブバンド≧プレシンクト≧コードブロックとなる。

エントロピー符号化部２０４では、各サブバンドの係数に対し、コードブロック毎に、上位のビットプレーンから下位のビットプレーンへ向かって算術符号化の一種であるＭＱ符号化と呼ばれるエントロピー符号化（ビットプレーン符号化）を行う。

符号形成部２０５では、エントロピー符号からパケットを生成し、それを所定のプログレッシブ順序に従って並べるとともに必要なタグ及びタグ情報を付加することにより、図５に示すような構造の符号化データ（コードストリーム）を形成し出力する。

ここで、パケットとは、プレシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）に、ヘッダをつけたものである。上記“一部”は“空”でもいいので、パケットの中身が符号的には“空(から)”ということもある。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。

そして全てのプレシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これをレイヤと呼ぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がることになる。すなわち、レイヤはビット深さ方向（＝符号化方向）に形成された画質単位である。すべてのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。

図６の上側の図はデコンポジションレベル数＝２、プレシンクトサイズ＝サブバンドサイズとしたときのレイヤの例を示す。図５の下側の図に、レイヤに含まれるパケットの一部を太線で囲んで示す。パケットは、プレシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドをまたいだものとなる。

ＪＰＥＧ２０００では、５種類のプログレッシブ順序が規定されている。画像サイズ１００×１００画素、２レイヤ、解像度レベル３（０〜２）、３コンポ−ネント、プリシンクトサイズ３２×３２の場合について、ＬＲＣＰプログレッシブ順序によるパケット配列順を図７に、ＲＬＣＰプログレッシブ順序によるパケット配列順を図８に、それぞれ例示する。なお、コンポーネント０，１，２はそれぞれＹ，Ｃｂ，Ｃｒ成分を指している。

図７に示すような符号化コードは、先頭のパケットから順に伸長することにより徐々に伸長画像の画質が向上する画質プログレッシブ符号化データである。この符号化データでは、上位レイヤから順に伸長されるため、伸長処理が最後まで進まないと下位レイヤの色差成分は復元されない。したがって、伸長処理を途中で打ち切ったり、途中で符号を破棄した場合、色再現は劣化する。

一方、図８に示すような符号化データは、先頭のパケットから順に伸長することにより徐々に解像度が向上する解像度プログレッシブ符号化データである。この符号化データでは、低解像度レベルから順に伸長されるが、各解像度レベルで下位レイヤまで色差成分が復元されるため、長処理を途中で打ち切ったり途中で符号を破棄しても色再現は劣化しない。したがって、画質プログレッシブ符号化データに比べ色再現性が良好である。

ＪＰＥＧ２０００では、係数の量子化は、量子化部２０３による線形量子化のほかに、符号形成部２０５において下位ビットプレーンの符号の破棄（トランケーション）、又は、エントロピー符号化部２０４における係数のビットプレーンのトランケーションによって行うことができる。図６に示すレイヤ９のような下位レイヤの符号はトランケーションされるのが通常である。可逆の５×３ウェーブレット変換が用いられる場合には、トランケーションによる量子化のみ適用される。

再び図１を参照する。本実施形態においては、記憶色画素検出部３００は、色変換部２０１により色変換後のデータを入力として画素の色判定を行って特定の記憶色の画素を検出する。この検出は１画素単位で行っても複数画素（例えば２×２画素）を単位として行ってもよい。また、入力画像のＲＧＢデータを入力として同様の記憶色画素検出を行うことも可能であり、かかる態様も本発明に包含される。さらに、入力画像全体又はタイルに占める記憶色画素割合を算出する場合には、ウェーブレット変換部２０２により生成されるＬＬサブバンド係数を入力として記憶色画素検出（必然的に複数画素単位の検出となる）を行うことも可能であり、かかる態様も本発明に包含される。

なお、本発明に係る画像処理装置は、パソコンなどの汎用コンピュータや機器内蔵のマイクロコンピュータなどのコンピュータを利用し、プログラムによって実現することも可能である。すなわち、ハードウェア又はソフトウェアの符号化処理部２００を備えるコンピュータを利用するのであれば、記憶色画素検出部３００、記憶色割合算出部３０１及び制御部３０２としてコンピュータを機能させるプログラムを読み込ませ、これをコンピュータのＣＰＵにより実行させることにより本発明の画像処理装置を実現できる。符号化処理部２００を備えないコンピュータを利用する場合であれば、符号化処理部２００、記憶色画素検出部３００、記憶色割合算出部３０１及び制御部３０２としてコンピュータを機能させるプログラムを読み込ませ、これをコンピュータのＣＰＵにより実行させることにより本発明の画像処理装置を実現できる。このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。

図１は本発明の画像処理方法の各工程を説明するものでもある。すなわち、符号化処理部２００は符号化処理工程、記憶色画素検出部３００は記憶色画素検出工程、記憶色割合算出部３０１は記憶色割合算出工程、制御部３０２は制御工程に対応する。したがって、以下の説明は本発明の画像処理方法の説明でもある。

次に、画像処理装置の動作の詳細について説明する。

ここに述べる一実施例においては、記憶色割合算出部３０１は、記憶色画素検出部３００により検出された特定の記憶色の画素の入力画像全体に占める割合（＝記憶色画素数／画像総画素数）を算出する。

制御部３０２は、その割合（記憶色割合）を所定値と比較し、記憶色割合が所定値を越える場合には、それが所定値を越えない場合に比べ、符号化処理部２００における色差成分に対する量子化の程度を弱める制御を行う。具体的に、量子化部２０３による色差成分係数に対する線形量子化の量子化ステップ数を減らす制御、エントロピー符号化部２０４における色差成分係数のトランケーション数を減らす制御、符号形成部２０５における色差成分の符号のトランケーション数を減らす制御のうちのいずれか１つの制御を行うか、その２つ以上を組み合わせた制御を行う。

なお、特定の記憶色の画素の検出は、画素の色が色空間上で特定の記憶色の範囲に含まれているか判定し、含まれているならば記憶色画素として検出する一般的な方法を用いればよい。ただし、記憶色として人の肌色を用い、特に人の顔の部分の色再現を向上させることを意図するような場合には、適宜の方法により顔領域を認識し、認識した顔領域内にある肌色と判定された画素だけを記憶色画素とし検出することも可能である。記憶色画素割合と比較される所定値は、経験的に定められるもので例えば０．５というような値をとるが、処理に先立ってユーザが０以上１以下の範囲内で任意の値を指定するようにしてもよい。

ここに述べる一実施例においては、記憶色割合算出部３０１は、タイル毎の記憶色割合（＝タイル内記憶色画素数／タイル内総画素数）を算出する。

制御部３０２は、各タイルの記憶色割合を所定値と比較し、記憶色割合が所定値を越えるタイルについては、それが所定値を越えないタイルに比べ、符号化処理部２００における色差成分に対する量子化の程度を弱める制御を行う。具体的に、量子化部２０３による色差成分係数に対する線形量子化の量子化ステップ数を減らす制御を行い、あるいは、エントロピー符号化部２０４における色差成分係数のトランケーション数を減らす制御又は符号形成部２０５における色差成分の符号のトランケーション数を減らす制御を行う（請求項１）。線形量子化の量子化ステップ数の制御と係数又は符号のトランケーション数の制御とを組み合わせて行うことも可能であり、かかる態様も本実施例に含まれる。

例えば図９に示すような人物が撮影された写真の画像を例に用いる。特定の記憶色として肌色を用いるものとする。図１０に示すように画像が４つのタイル４０１，４０２，４０３，４０４に分割されて処理されるとして、人物の顔が含まれるタイル４０１について記憶色割合が所定値を越えたならば、このタイルについては、他のタイルに比べて色差成分の量子化程度が弱められる。その結果、タイル４０１について、他のタイルに比べて色差成分の損失が少なくなるため、色再現性が高められる。

ここに述べる一実施例においては、記憶色割合算出部３０１は、プレシンクト毎の記憶色割合（＝プレシンクト内記憶色画素数／プレシンクト内総画素数）を算出する。

制御部３０２は、各プレシンクトの記憶色割合を所定値と比較し、記憶色割合が所定値を越えるプレシンクトについては、それが所定値を越えないプレシンクトに比べ、符号化処理部２００における色差成分に対する量子化の程度を弱める制御を行う。具体的に、量子化部２０３による色差成分係数に対する線形量子化の量子化ステップ数を減らす制御を行い、あるいは、エントロピー符号化部２０４における色差成分係数のトランケーション数を減らす制御又は符号形成部２０５における色差成分の符号のトランケーション数を減らす制御を行う（請求項２，４）。線形量子化の量子化ステップ数の制御と係数又は符号のトランケーション数の制御とを組み合わせて行うことも可能であり、かかる態様も本実施例に含まれる。

例えば、図１２のようにプレシンクト分割を行うものとする。この場合、各プレシンクトはタイル画像（又は入力画像）の図１３に示す格子領域と１対１に対応する。そして、図１２の斜線を施したプレシンクトの記憶色割合が所定値を越えたときには、図１３の対応した斜線領域の色再現が高められることになる。

ここに述べる一実施例においては、記憶色割合算出部３０１は、プレシンクト毎の記憶色割合（＝プレシンクト内記憶色画素数／プレシンクト内総画素数）を算出する。

制御部３０２は、各プレシンクトの記憶色割合を所定値と比較することは前記実施例３と同様である。前記実施例３と異なるのは、記憶色割合が所定値を越えたプレシンクト群に外接する矩形内の全てのプレシンクトを、記憶色割合が越えたプレシンクトと判定することにある。そして、記憶色割合が所定値を越えたと判定したプレシンクトについては、それが所定値を越えないプレシンクトに比べ、符号化処理部２００における色差成分に対する量子化の程度を弱める制御を行う（請求項２）。

例えば、図１４に示す各格子領域がプレシンクトと１対１に対応するようなプレシンクト分割を行った場合に、図１４の斜線領域に対応したプレシンクトの記憶色割合が所定値を越えたとする。この場合、それらプレシンクト群に外接する矩形（太線）内の全てのプレシンクトを、記憶色割合が所定値を越えたプレシンクトとして扱い、色差成分の量子化程度を弱める制御を行う。したがって、例えば図９に示すような画像の場合に、特定の記憶色として肌色を用いるならば、図１１に示すように顔の部分に対応した矩形領域全体の色再現が高められることになる。

ここに述べる一実施例においては、記憶色割合算出部３０１は、タイル毎の記憶色割合と入力画像全体についての記憶色割合を算出する。制御部３０２は、入力画像全体の記憶色割合が所定の一定値を越える場合には、タイル毎の記憶色割合に応じて前記実施例２と同じ量子化程度の制御を行う。しかし、入力画像全体の記憶色割合が一定値を越えない場合には、タイル毎の記憶色割合に応じた制御を抑止する。すなわち、本実施例は請求項１に係る発明の一実施例に相当する。

ここに述べる一実施例においては、記憶色割合算出部３０１は、プレシンクト毎の記憶色割合とタイル毎の記憶色割合を算出する。制御部３０２は、記憶色割合が所定の一定値を越えるタイルについては、プレシンクト毎の記憶色割合に応じて前記実施例２又は３と同じ量子化程度の制御を行う。しかし、記憶色割合が一位置を越えないタイルについては、プレシンクト毎の記憶色割合に応じた制御を抑止する。すなわち、本実施例は請求項３，４に係る発明の一実施例に相当する。

ここに述べる一実施例においては、記憶色割合算出部３０１は入力画像全体についての記憶色割合を算出する。制御部３０２は、記憶色割合を所定値と比較し、記憶色割合が所定値を越えない場合には符号形成部２０５で画質プログレッシブ符号化データ（ＬＲＣＰプログレッシブ順序の符号化データ）を生成させるように制御し、記憶色割合が所定値を越える場合には符号化形成部２０５で解像度プログレッシブ符号化データ（ＲＬＣＰプログレッシブ順序の符号化データ）を生成させるように制御する。すなわち、本実施例は請求項５，９に係る発明の一実施例に相当する。

ここに述べる一実施例においては、記憶色割合算出部３０１はタイル毎の記憶色割合を算出する。制御部３０２は、各タイルの記憶色割合を所定値と比較し、記憶色割合が所定値を越えないタイルについて符号形成部２０５で画質プログレッシブ符号化データ（ＬＲＣＰプログレッシブ順序の符号化データ）を生成させるように制御し、記憶色割合が所定値を越えるタイルについては符号化形成部２０５で解像度プログレッシブ符号化データ（ＲＬＣＰプログレッシブ順序の符号化データ）を生成させるように制御する。すなわち、本実施例は請求項６，７，１０に係る発明の一実施例に相当する。

ここに述べる一実施例においては、記憶色割合算出部３０１は、タイル毎の記憶色割合と入力画像全体についての記憶色割合を算出する。制御部３０２は、入力画像全体の記憶色割合が所定の一定値を越える場合には、前記実施例８と同様にタイル毎の記憶色割合に応じた制御を行うが、入力画像全体の記憶色割合が一定値を越えない場合には、タイル毎の記憶色割合に応じた制御を抑止する。すなわち、本実施例は請求項８に係る発明の一実施例に相当する。

以上に説明した実施形態においては、ＪＰＥＧ２０００に準拠した符号化アルゴリズムが用いられたが、他の符号化アルゴリズムを用いる場合には本発明を同様に適用し得ることは当然である。

本発明の実施形態を説明するためのブロック図である。 ２次元ウェーブレット変換によるサブバンド分割の説明図である。 デコンポジションレベルと解像度レベルの関係を示す図である。 タイル、サブバンド、プレシンクト、コードブロックの説明図である。 ＪＰＥＧ２０００のコードストリームの構造を示す図である。 レイヤ構造の例を示す図である。 ＬＲＣＰプログレッシブ順序によるパケット配列例を示す図である。 ＲＬＣＰプログレッシブ順序によるパケット配列例を示す図である。 画像の一例を示す図である。 タイル毎の記憶色割合による制御の説明のための図である。 プレシンクト毎の記憶間色割合による制御の説明のための図である。 プレシンクト分割の例を示す図である。 図１２のプレシンクト分割の場合の各プレシンクトと画像領域の対応を示す図である。 実施例４の説明のための図である。

１００ 画像入力部
２００ 符号化処理部
２０１ 色変換部
２０２ ウェーブレット変換部
２０３ 量子化部
２０４ エントロピー符号化部
２０５ 符号形成部
３００ 記憶色画素検出部
３０１ 記憶色割合算出部
３０２ 制御部

Claims (12)

1. ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って符号化データを生成する符号化処理手段、
   前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
   タイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出するととも、前記記憶色画素検出手段により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出する記憶色割合算出手段、
   算出された画像全体記憶色割合が第１の所定値を超える場合にのみ、算出されたタイル記憶色割合が第２の所定値を越えるタイルについて、算出されたタイル記憶色割合が前記第２の所定値を越えないタイルに比べ、前記符号化処理手段の符号化処理における色差成分の係数又は符号のトランケーション量を減少させる制御を行う制御手段を有することを特徴とする画像処理装置。
2. ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って符号化データを生成する符号化処理手段、
   前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
   プレシンクト毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合
   （以下、プレシンクト記憶色割合と記す）を算出する記憶色割合算出手段、
   算出されたプレシンクト記憶色割合が所定値を越えるプレシンクトについて、算出されたプレシンクト記憶色割合が前記所定値を越えないプレシンクトに比べ、前記符号化処理手段の符号化処理における色差成分の係数又は符号のトランケーション量を減少させる制御を行い、算出されたプレシンクト記憶色割合が前記所定値を越えないプレシンクトであっても算出されたプレシンクト記憶色割合が前記所定値を越えるプレシンクト群に外接する矩形内に存在するプレシンクトについては、算出されたプレシンクト記憶色割合が前記所定値を越えるプレシンクトと同様の制御を行う制御手段を有することを特徴とする画像処理装置。
3. 記憶色割合算出手段でタイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出し、
   前記制御手段は、算出されたタイル記憶色割合が所定値を越えないタイル内のプレシンクトについては前記制御の対象から除外することを特徴とする請求項２に記載の画像処理装置。
4. ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って符号化データを生成する符号化処理手段、
   前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
   プレシンクト毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合
   （以下、プレシンクト記憶色割合と記す）を算出する記憶色割合算出手段、
   算出されたプレシンクト記憶色割合が所定値を越えるプレシンクトについて、算出されたプレシンクト記憶色割合が前記所定値を越えないプレシンクトに比べ、前記符号化処理手段の符号化処理における色差成分の係数又は符号のトランケーション量を減少させる制御を行う制御手段を有する画像処理装置であって、
   記憶色割合算出手段でタイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出し、
   前記制御手段は、算出されたタイル記憶色割合が所定値を越えないタイル内のプレシンクトについては前記制御の対象から除外することを特徴とする画像処理装置。
5. 入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理手段、
   前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
   前記記憶色画素検出手段により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出する記憶色割合算出手段、
   算出された画像全体憶色割合が所定値を越えない場合に画質プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御し、算出された画像全体記憶色割合が前記所定値を越える場合に解像度プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御する制御手段を有することを特徴とする画像処理装置。
6. 入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理手段、
   前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
   前記入力画像の所定のブロック毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、ブロック記憶色割合と記す）を算出する記憶色割合算出手段、
   算出されたブロック記憶色割合が所定値を越えない前記入力画像のブロックについては画質プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御し、算出されたブロック記憶色割合が前記所定値を越えるブロックについては解像度プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御する制御手段を有することを特徴とする画像処理装置。
7. ＪＰＥＧ２０００に準拠して、入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理手段、
   前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出手段、
   タイル毎の前記記憶色画素検出手段により検出された記憶色画素の占める割合（以下、タイル記憶色割合と記す）を算出する記憶色割合算出手段、
   算出されたタイル記憶色割合が所定値を越えないタイルについては画質プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御し、算出されたタイル記憶色割合が前記所定値を越えるタイルについては解像度プログレッシブの符号化データを生成させるように前記符号化処理手段の符号化処理を制御する制御手段を有することを特徴とする画像処理装置。
8. 前記記憶色割合算出手段で前記記憶色画素検出手段により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出し、
   前記制御手段は、算出された画像全体記憶色割合が所定値を越える場合にのみ前記制御を行うことを特徴とする請求項６又は７記載の画像処理装置。
9. 入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理工程、
   前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出工程、
   前記記憶色画素検出工程により検出された記憶色画素の前記入力画像の全体に占める割合（以下、画像全体記憶色割合と記す）を算出する記憶色割合算出工程、
   算出された画像全体記憶色割合が所定値を越えない場合に画質プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御し、算出された画像全体記憶色割合が前記所定値を越える場合に解像度プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御する制御工程を有することを特徴とする画像処理方法。
10. 入力画像を輝度と色差の成分に変換してから符号化処理を行って画質プログレッシブ又は解像度プログレッシブの符号化データを生成する符号化処理工程、
    前記入力画像中の特定の記憶色の画素を検出するための記憶色画素検出工程、
    前記入力画像の所定のブロック毎の前記記憶色画素検出工程により検出された記憶色画素の占める割合（以下、ブロック記憶色割合と記す）を算出する記憶色割合算出工程、
    算出されたブロック記憶色割合が所定値を越えない前記入力画像のブロックについては、画質プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御し、算出されたブロック記憶色割合が前記所定値を越えるブロックについては解像度プログレッシブの符号化データを生成させるように前記符号化処理工程の符号化処理を制御する制御工程を有することを特徴とする画像処理方法。
11. 請求項１乃至８のいずれか１項記載の画像処理装置の少なくとも記憶色画素検出手段、記憶色割合算出手段及び制御手段としてコンピュータを機能させるプログラム。
12. 請求項１乃至８のいずれか１項記載の画像処理装置の少なくとも記憶色画素検出手段、記憶色割合算出手段及び制御手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images