JPWO2006106754A1 - 画像処理方法、表示画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 - Google Patents

Abstract

本発明では、より自然に画像の色情報補正を行うとともに、簡易な構成を用いた画像処理方法を実現することを目的とする。本発明の画像処理方法は、入力された画像データの色情報補正を行う画像処理方法であって、情報算出ステップ（Ｓ１１）と、特性算出ステップ（Ｓ１２）と、色情報補正ステップ（Ｓ１３）と、出力ステップ（Ｓ１４）とを備えるものである。情報算出ステップ（Ｓ１１）は、画像データの色情報を算出する。特性算出ステップ（Ｓ１２）は、色情報に応じて視覚特性情報を算出する。色情報補正ステップ（Ｓ１３）は、特性算出ステップ（Ｓ１２）で算出された視覚特性情報をもとに、色情報を補正する。出力ステップ（Ｓ１４）は、色情報補正ステップ（Ｓ１３）で補正された色情報をもとに、色情報補正後の画像データを出力する。

Description

本発明は、画像処理方法、特に、入力されたカラー画像データを補正する画像処理方法に関する。また別の本発明は、表示画像処理方法、画像処理装置、画像処理プログラム、集積回路に関する。

従来より、画像信号の視認性の改善などのため、画像信号に対して適切に色補正（色情報補正）を行うことが求められている。
例えば、日中の屋外や電車内で携帯電話などの表示画面を確認する場合、直射日光等により表示画面が白く飽和し、表示画面の表示内容を確認しづらいという課題がある。
一般に、これを改善することへの要求は非常に大きい。この要求に対するため、表示画面の液晶デバイス特性を改善する取組みが多く検討されている。この取組みの場合、表示画面の液晶透過率を周囲の環境光レベルに応じて変化させる手法が一般的に知られている。この手法を用いたデバイスとして、最も輝度の高い白画素と最も輝度の低い黒画素の比（コントラスト比）を２０：１〜１５：１程度まで改善するものが知られている。しかし、このデバイスでは、輝度に関する視認性を改善することを目的としており、日中の太陽光のような強い環境光により生じる、色差、色相あるいは彩度等の色情報の消失への改善は何等されていない。さらに、昼間の日中では、白と黒のコントラスト比は３：１から２：１程度まで落ちることが指摘されており、上記のように２０：１〜１５：１のコントラスト比までに対応できるデバイスを用いても、輝度に関する視認性改善が不十分である場合が多い。
このように、強い環境光下での表示画面の視認性を改善するためには、輝度の補正に加えて、色情報の補正が必要となる。
また、表示機器性能向上（解像度向上、表現色数の増大、記憶色を中心とした色補正性能の向上等）によりユーザの色情報に対する関心が高まっており、色情報の補正を行う場合にはより自然でかつ人間の視覚特性に対応した色補正が望まれている。
例えば、人間の視覚特性のうち、色対比特性を考慮した画像処理方法が知られている。この画像処理方法では、画像内の色相ヒストグラムと画素面積とにより画像の前景と背景とを抽出し、前景に対する背景の色相を一律に補正する（例えば、特許文献１参照）。この場合、人間の色対比特性を考慮して、前景に対する背景の色の程度を抑えることを目的としている。
この画像処理方法を実現する画像処理装置について、図３０を用いて説明を加える。図３０は、この画像処理装置において色補正判定を行う色補正判定部２００５のブロック図である。図３０が示すように、色補正判定部２００５は、画像メモリ２０００と、ベタ画像判定部２００１と、ヒストグラム作成部２００２と、前景／背景判別部２００３と、色数判別部２００４とを備えている。画像メモリ２０００には画像が保持されている。ベタ画像判定部２００１は、所定の色相ヒストグラムにおいてあるしきい値以上の色相領域が所定画素数以上に連続しているかどうかによりベタ画像を判定する。ヒストグラム作成部２００２は、ベタ画像の色相、彩度、明度のヒストグラムを生成する。前景／背景判別部２００３は、生成されたヒストグラムに基づいて前景、背景、その他、の判定を行う。色数判別部２００４は、フルカラー画像かどうかの判定を行う。
図３１に、上記画像処理装置による画像処理方法のフローチャートを示し、図３２に、色相補正処理のフローチャートを示す。
図３１に示す画像処理方法について説明する。画像処理方法では、まず色数を判別し（Ｓ１００）、色数が「フルカラー」を示すしきい値Ｔｈ１を越えているかを判定する（Ｓ１０１）。フルカラーであればＳ１０２に進み、フルカラーでなければ本処理を終了する。
Ｓ１０２ではベタ画像部判別を行い、Ｓ１０３ではベタ画像部の色相ｈ、明度ｖ、彩度ｓの各ヒストグラムＨ（ｈ）、Ｈ（ｖ）、Ｈ（ｓ）を作成する。さらに、ヒストグラムの各値がしきい値Ｔｈ２を越えているかを判定する（Ｓ１０４）。判定結果が肯定的である場合、全ての値についての判定が終了するまで判定が行われる（Ｓ１０５）。なお、図３１では、色相ｈ、ヒストグラムＨ（ｈ）のみについて図示しているが、Ｈ（ｖ）、Ｈ（ｓ）についても判定が行われる。全ての値について判定が行われた場合（Ｓ１０５）、しきい値を超えているＨ（ｈ）等が複数あるかが判定される（Ｓ１０６）。
この判定結果が肯定的である場合、それらが前景もしくは背景を成しているか、又は、前景、背景のいずれでもない他の領域に属するかを判定する（Ｓ１０７）。この判定結果が肯定的である場合、図３２に示す色補正処理Ｓ１０８を実施する。Ｓ１０１、Ｓ１０４、Ｓ１０６、Ｓ１０７のいずれかの判定結果が否定的であれば、本処理は実施されない。このような処理により、前景色と背景色の占める面積がある所定の大きさ以上の場合に該当する色補正処理を行い、それ以下の場合には補正を実施しないようになる。
図３２に示す色補正処理について説明する。
まず、背景色の色相（ｈａ）を抽出し（Ｓ２００）、ｈａの色差軸方向の補正レベルΔｈａを抽出する（Ｓ２０１）。次に、Ｓ２０２のように前景色の色相（ｈｆ）を抽出し、ｈｆ＋Δｈａを前景色の新たな色相ｈｆとする（Ｓ２０３）。
このような処理を行うことで、上記従来の技術では、色相対比現象により前景部が背景部の補正方向に色みを帯びる影響を相殺し、忠実な色みの再現を行うことを目的としている。
この従来の技術では、所定の画素サイズを持ち、かつある色相領域に含まれるベタ画像領域を正確に抽出すること、およびそれが前景か背景どうかの判定を正確に行うことが必要となる。
特開２００１−２９２３３３号公報

上記従来の画像処理手法では、色相、彩度、明度ヒストグラムによる前景と背景の抽出処理が必要である。その抽出処理時には、画素面積による判定が含まれている。このため、前景と背景とを抽出するためには、前景と背景とはある程度の画素面積を持つ必要がある。このため、従来の技術は、自然画像での抽出には不向きな場合が多い。また、抽出処理においても、抽出誤差を避けることはできず、境界等で補正誤りを発生することがある。さらに、抽出された背景内で色を補正する際の補正量は、背景内で一律に設定されている。このため、変化している背景の場合、場所によっては過剰補正することがあり、そのための抑制処理を必要とする。
よって、従来の画像処理方法に対しては、画像信号に対してより簡易に、自然な色補正を行うことが求められている。
そこで、本発明は、より自然に画像の色補正を行うとともに、簡易な構成を用いた画像処理方法を実現することを目的とする。

発明１は、入力された画像信号の色情報補正を行う画像処理方法であって、情報算出ステップと、特性算出ステップと、色情報補正ステップと、出力ステップとを備えるものである。情報算出ステップは、画像信号の色情報を算出する。特性算出ステップは、画像信号により構成される２次元画像領域に含まれる第１の領域の色情報と、第１の領域の周囲に存在する第２の領域の色情報とを対比し、対比量を算出する。色情報補正ステップは、特性算出ステップで算出した対比量を用いて、第１の領域の色情報を第２の領域の色情報との対比が強調される方向に補正する。出力ステップは、補正された第１の領域を含む画像信号を出力する。
特性算出ステップは、例えば、対象とする画素又は領域の色情報を、その周囲の領域内の色情報を代表する周囲色情報と比較する色対比処理含む。第１の領域は、１つ画素でも、複数の画素からなる領域であってもよい。第１の領域が１つの画素である場合、第２の領域は、その画素の周辺に存在する画素で、例えば、その画素に上下左右に隣接する画素である。第１の画素が複数の画素からなる領域である場合、第２の領域は、その領域の周辺に存在する領域で、例えば、その領域の上下左右に隣接する複数画素からなる領域である。
この発明では、対象画素又は対象領域の色情報（色差、彩度、色相等）と、対象画素又は対象領域の周囲領域内（例えば視野領域内）の色情報を代表する代表色とを比較した色対比処理をもとに対象画素又は対象領域の色情報を補正することなどが可能となる。この発明では、色対比を強調する方向に補正を行うので、人間の視覚特性に適した色情報補正を行うことができる。さらに、物体の抽出処理を行う必要がなく抽出誤差の影響を受けない。このため、簡易な構成で人間が視覚特性に適した色情報補正処理を実現することができる。
発明２は、発明１であって、それぞれ少なくとも１つの画素を含み、第１の色情報補正の対象となる複数の対象領域を選択する領域選択ステップをさらに備えるものである。情報算出ステップは、入力された画像信号の色情報と明るさ情報を算出する。特性算出ステップは、領域選択ステップで選択された複数の対象領域の色情報と明るさ情報とを、選択された対象領域の周囲に存在する複数の周囲領域の色情報と明るさ情報とのそれぞれと対比し、対比量を算出する。色情報補正ステップは、第１の色情報補正ステップと第２の色情報補正ステップを有している。第１の色情報補正ステップは、特性算出ステップで算出した対比量を用いて、選択された対象領域の周囲に存在する複数の周囲領域との対比が強調される方向に補正する。第２の色情報補正ステップは、選択された対象領域以外の領域に対して、第１の色情報補正に関する情報を用いて、第２の色情報補正を行う。出力ステップは、第１の色情報補正ステップと第２の色情報補正ステップとで補正された領域を含む画像信号を出力する。
特性算出ステップは、例えば、対象とする画素の明るさ情報と色情報とを、その周囲の領域内の明るさ情報と色情報とを代表する周囲明るさ情報と周囲色情報の各々と比較する明るさ対比処理と色対比処理とを含む。
この発明の一例では、所定の基準により複数の画素を選択する。そして、選択された画素の色情報（色差、彩度、色相等）と、その周囲に設定された周囲領域内（例えば、視野領域内）の色情報を代表する代表色とを比較して得られた色対比情報をもとに、選択された画素の色情報を補正する。次に、選択された画素の周囲画素に対して、例えば、基準画素との色空間内での距離に応じて基準画素の色情報をその周囲の画素へ伝播させる処理（カラリゼーション処理）などを行い、画像全体の色情報の補正を行う。
またこの発明の別の一例では、対象画素の明るさ情報と対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の明るさ情報を代表する代表明るさとの比較により得られた明るさ対比情報を求める。また、対象画素の色情報（色差、彩度、色相等）と対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の色情報を代表する代表色の比較により得られた色対比情報を求める。さらに、この２つの対比情報をもとに、色情報補正を実施する画素を決定する。さらに、決定された画素に対して、色対比情報をもとに色情報補正を行い、補正された複数の画素を基準画素として、その周囲の画素に色情報の伝播を実施する処理などを行い、画像全体の色情報の補正を行う。
また、発明２は、画素を単位とした処理であってもよいし、画像を複数に細分化したブロックを単位とした処理であってもよい。ブロックを単位とする場合、発明２は、画像を細分化する画像細分化ステップとをさらに備えていてもよい。この場合、画素毎の処理に比して、処理量を削減することが可能となる。
以上の発明２では、色対比により人間の関心が高いと考えられる領域の色情報補正ができる。さらに、例えば、カラリゼーション処理により画像全体のバランスを保持したままで、画像全体の色情報補正を行うことができる。このため、境界における色情報補正誤差を発生することなく、高精度な色情報補正を実現することができる。
発明３は、発明２であって、領域選択ステップは、第１の色情報補正の対象とする領域の領域位置より所定の間隔幅に位置する領域を選択するステップを含むことを特徴とする。
発明４は、発明２であって、領域選択ステップは、各領域の明るさ情報と色情報とに関する視覚特性情報を使って、または明るさ情報のみに関する視覚特性情報を使って、第１の色情報補正の対象となる複数の対象領域を選択するステップを含むことを特徴とする。
発明５は、発明２であって、第２の色情報補正ステップは、第１の色情報補正ステップで補正された複数の対象領域の色情報をもとに、複数の対象領域の周辺領域に色情報を順次伝播させていくことで周辺領域の色情報の補正を行うことを特徴とする。
発明６は、処理モード受付ステップと、画像処理実行ステップと、表示ステップとを備えるものである。処理モード受付ステップは、入力手段による処理モードの選択を受け付ける。画像処理実行ステップは、処理モード受付ステップで得られた処理モードに応じて、発明１又は発明２の画像処理方法を実行する。表示ステップは、画像処理実行ステップにより出力される色情報補正後の画像信号を表示手段に表示する。
この発明により、例えば、色情報補正の効果をユーザが表示デバイスなどで確認しつつ、色情報補正の強度などの処理モードを選択することが可能となる。このため、個々のユーザに対応して視認性を向上させる色情報補正を行うことが可能となる。
発明７は、環境光検出ステップと、処理モード決定ステップと、画像処理実行ステップと、表示ステップとを備えるものである。環境光検出ステップは、色情報補正後の画像信号を表示する表示手段に照射される環境光を検出する。処理モード決定ステップは、環境光検出ステップが検出する環境光に応じて、処理モードを決定する。画像処理実行ステップは、処理モード決定ステップで決定された処理モードに応じて、発明１又は発明２の画像処理方法を実行する。表示ステップは、画像処理実行ステップにより出力される色情報補正後の画像信号を表示手段に表示する。
この発明により、例えば、センサ等の環境光検出手段で検出された環境光レベル（使用環境でのコントラスト比でもよい）をもとに、色情報補正の強度を制御することが可能となる。すなわち、機器が使用されている環境下での環境光の影響を考慮して自動的に色情報補正の強度を変えることが可能となる。さらに、発明６の処理モード受付ステップを備えれば、使用環境に応じて自動的に色情報補正の強度を変えるとともに、表示デバイスなどで色情報補正の効果を確認し、ユーザが再度補正強度を選択することなどが可能となる。
発明８は、発明６であって、処理モード受付ステップは、色情報を補正する際の強度を、予め設定された複数の強度より選択することを特徴とする。
発明９は、発明７であって、処理モード決定ステップは、環境光検出ステップで得られた環境光の強度が所定のしきい値を超える場合に、色情報を補正する処理を有効とさせるように動作することを特徴とする。
発明１０は、発明７であって、処理モード決定ステップは、環境光検出ステップで得られた環境光の強度に応じて、所定の関数により色情報を補正する強度を変化させるように動作することを特徴とする。
発明１１は、発明７であって、処理モード決定ステップは、環境光検出ステップで得られた環境光の時間的変動に応じて、所定の関数により色情報を補正する強度を時間的に変化させるように動作することを特徴とする。
発明１２は、発明７であって、処理モード決定ステップは、表示手段の表示領域に含まれる複数の領域において、環境光検出ステップで得られた環境光の強度の変動に応じて、色情報を補正する強度を表示領域に含まれる複数の領域ごとに制御することを特徴とする。
発明１３は、発明１であって、色情報補正は、色対比現象を発生する所定のパターンの大きさの変動に応じて、色情報補正の強度が増減するように動作することを特徴とする。
この発明により、例えば、背景と色彩が異なるドーナッツ状パターンＡ（同心円２つから構成されるパターン）と、背景とドーナッツ状パターンの色彩はそれぞれ同じで、パターンＡより大きさが大きく、かつ、パターンＡの形状と相似形であるパターンＢとで、色情報補正の強度を変化させることができる。これにより、小さな領域で色彩等の変化が大きな領域に対しては、視覚特性に適した強度の強い色情報補正を行うことができ、大きな領域で色彩等の変化が少ない領域に対しては強度の弱い色情報補正を行うことができる。
発明１４、１５は、画像処理装置であって、発明１、２に記載の画像処理方法と同様の効果を奏する。
発明１６、１７は、画像処理プログラムであって、発明１、２に記載の画像処理方法と同様の効果を奏する。
発明１８、１９は、集積回路であって、発明１、２に記載の画像処理方法と同様の効果を奏する。

本発明の画像処理方法、表示画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路により、より自然に画像の色情報補正を行うとともに、簡易な構成を用いた画像処理を実現することが可能となる。

本発明における第１の発明である画像処理装置の構成を示すブロック図。 本発明における色特性算出手段の構成を示すブロック図。 本発明における第１の発明である画像処理方法の処理フローチャート図。 本発明における色対比現象の概要を示す説明図。 色情報補正手段における彩度補正の概要を示す説明図。 色情報補正手段における色相補正の概要を示す説明図。 本発明の第２の発明である画像処理装置の構成を示すブロック図。 本発明における色情報伝播補正手段の構成を示すブロック図。 本発明における第２の発明である画像処理方法の処理フローチャート図。 本発明における色情報伝播補正手段における処理概要の説明図。 本発明における色情報伝播補正手段における第２の処理概要の説明図。 本発明における第３の発明である画像処理装置の構成を示すブロック図。 本発明における第３の発明である画像処理方法の処理フローチャート図。 本発明における第４の発明である画像処理装置の構成を示すブロック図。 本発明における第４の発明である画像処理装置で対象とする単位を示す図。 本発明における第５の発明である画像処理装置の構成を示すブロック図。 本発明における第６の発明である画像処理装置の構成を示すブロック図。 本発明における第６の発明である画像処理方法の処理フローチャート図。 本発明における第６の発明である画像処理装置のカラーバランス推定を示す説明図。 本発明における第７の発明である画像処理装置の構成を示すブロック図。 本発明における第８の発明である画像処理装置の構成を示すブロック図。 本発明における第９の発明である画像処理装置の構成を示すブロック図。 本発明における第９の発明である画像処理装置でのユーザ選択の概要を示す説明図。 本発明における第１０の発明である画像処理装置の構成を示すブロック図。 本発明における第１１の発明である画像処理装置の構成を示すブロック図。 本発明における第１０、１１の発明である画像処理装置での処理制御の概念を示す説明図。 本発明における第１０、１１の発明である画像処理装置での処理制御の概念を示す説明図。 本発明における第１から第１１の発明である画像処理装置の効果について説明する説明図。 本発明における第１から第１１の発明である画像処理装置の特長である色対比効果の変動に関する説明図。 従来の画像処理装置における色補正判別部の構成を示すブロック図。 従来の画像処理方法の処理フローチャート図。 従来の画像処理方法における色補正処理のフローチャート図。

符号の説明

１ 色情報算出手段
２ 色特性算出手段
３ 色情報補正手段
４ 出力手段
５ 補正制御変数
１００ 画像処理装置
６ 周辺代表色抽出手段
７ 色対比情報算出手段
１０ 情報算出手段
１１ 画素選択手段
１２ 特性算出手段
１３ 選択画素色情報補正手段
１４ 色情報伝播補正手段
１５ 制御変数
２００ 画像処理装置
１６ 基準設定手段
１７ 周囲色情報算出手段
１８ 伝播判定手段
４０ 第２画素選択手段
４００ 画像処理装置
５０ 画像分割手段
５１ ブロック情報算出手段
５２ 処理ブロック選択手段
５３ ブロック特性算出手段
５４ 選択ブロック色情報補正手段
５５ 色情報ブロック伝播補正手段
５６ 画素変換手段
５００ 画像処理装置
６０ ブロック選択手段
６００ 画像処理装置
７０ 推定画素選択手段
７１ バランス量算出手段
７２ バランス補正手段
７３ 推定制御変数
７００ 画像処理装置
８０ 修正色特性算出手段
８００ 画像処理装置
９０ 第２バランス量算出手段
９１ 第２バランス補正手段
９００ 画像処理装置
１０００ 画像処理手段
１００１ ユーザモード選択手段
１００２ 表示デバイス
１１００ 処理制御手段
１１０１ 環境光検出手段
２０００ 画像メモリ
２００１ ベタ画像判別部
２００２ ヒストグラム作成部
２００３ 前景／背景判別部
２００４ 色数判別部

以下、本発明の最良の形態としての第１〜第１１実施形態について説明する。
第１実施形態では、画素における色対比情報を用いて色補正を実施する。
第２実施形態では、所定の方法で選択された画素における色対比情報を用いて色補正を行う。さらに、その補正後の色情報を有する選択された画素を基準画素として周囲画素に対する伝播処理を行い、周囲画素の色情報補正を行う。これにより、画像全体の色補正を実施する。
第３実施形態では、各画素における色対比情報を用いてまず補正する画素を選択し、その選択された画素の色補正を行う。さらに、その補正後の色情報を有する選択された画素を基準画素として周囲画素に対する伝播処理を行い、周囲画素の色情報補正を行う。これにより、画像全体の色補正を実施する。
第４実施形態は、第２実施形態の変形例であり、画素を処理単位として色対比処理と伝播補正処理とを実施するのではなく、細分化されたブロックを処理単位として色補正をおこなう。
第５実施形態は、第３実施形態の変形例であり、画素を処理単位として色対比処理と伝播補正処理とを実施するのではなく、細分化されたブロックを処理単位として色補正を行う。
第６実施形態では、対象画像の明るさ対比情報と色対比情報とにより人間が明るく感じる領域を推定する。さらに、その領域における色情報のグレー軸（無彩度軸）からのずれ量を画像全体のカラーバランス補正に利用する。
第７実施形態では、第６実施形態のカラーバランス補正後に、第１実施形態の色補正処理を行う。
第８実施形態では、第６実施形態のカラーバランス補正後に、第１実施形態の色補正処理を行う。特に、第８実施形態は、カラーバランス補正が色補正の効果を考慮して推定される点に特徴を有している。
第９実施形態では、第１実施形態から第８実施形態の画像処理を採用し、その補正レベル等の処理モードをユーザが選択する。
第１０実施形態では、第１実施形態から第８実施形態の画像処理を採用し、その補正レベル等の処理モードを環境光検出により自動的に制御する。
第１１実施形態では、第１実施形態から第８実施形態の画像処理を採用し、その補正レベル等の処理モードを環境光検出により自動的に制御するとともに、その結果をもとにユーザがさらに処理モードを選択する。
［第１実施形態］
図１から図６を用いて、本発明の第１実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１００について説明する。
図１に、本発明の第１実施形態である画像処理装置１００の構成を示す。また、図３に、本発明の第１実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。
画像処理装置１００に画像データｖＩｉが入力されると、色情報算出手段１は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ１１）。ここでは、画像データｖＩｉを、色情報として扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。
色特性算出手段２では、色情報算出手段１で得られた色情報ｖＣｉのうちで、補正対象である色情報に関する色特性情報データが算出される（Ｓ１２）。例えば、色情報ｖＣｉがＨＳＶ系に変換されている場合で、彩度Ｓの補正を行う場合は、彩度Ｓに関する色特性情報データが算出される。なおここでは、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとする。色特性算出手段２は、図２に示すように、各画素に対して、周辺代表色抽出手段６と色対比情報算出手段７とを経て色特性情報データＲｎ＿ｉを生成する。まず、周辺代表色抽出手段６は、対象画素Ｐｉの周辺領域内における代表色情報ＡＣｉを算出し（Ｓ１５）、色対比情報算出手段７は、対象画素Ｐｉの色情報Ｃｉと代表色情報ＡＣｉとから色特性情報データＲｎ＿ｉを生成する（Ｓ１６）。
さらに、色情報補正手段３は、対象画素Ｐｉの色情報Ｃｉを補正する（Ｓ１３）。出力手段４は、補正後の色情報と、補正対象でない色情報とを所定の方法で出力する（Ｓ１４）。以上の処理は、画像データｖＩｉのすべての画素について行われる。
以下、色特性算出手段２、色情報補正手段３、出力手段４の処理について詳しく説明する。
この色特性情報データＲｎ＿ｉとしては、多くのものが考えられるが、ここではより人間の見た目に近い（視覚特性に適した）補正を実現するために、人間の視覚特性に対応した情報を色特性情報データＲｎ＿ｉとして用いる。人間の視覚特性には多くのものがあるが、ここでは、色特性に関する色対比特性を用いる。なお、これ以外にも明るさ対比や、大きさ・画素特性等も用いることができる。
図４は色対比特性の概念を模式的に示したものである。図４では、灰色背景の中に中心部分が開いた赤と青との２つの円が示されている。なお、２つの円の中心領域は、灰色背景と同じものである。これらの円を星印で示す視線位置に注目して観察すると、赤色円の中心はやや青く感じられる傾向にあり、青色円の中心はやや赤く感じられる傾向にあることが視覚心理より明らかにされている。この現象は、人間の色対比特性により生じる現象である。色対比特性とは、対象物体の周囲が異なる彩度や色相の領域で取り囲まれる場合に、対象物体の彩度や色相の見た目（視覚）が影響を受けることである。具体的には、以下の（ａ）と（ｂ）との影響が知られている。
（ａ）異なる色相の領域が取り囲む場合、対象物体に周囲の色相の補色が加わって感じられる。
（ｂ）対象物体よりも周囲を取り囲む領域の彩度が高い場合、対象物体の彩度は低く感じられる。逆に、対象物体よりも周囲を取り囲む領域の彩度が低い場合、対象物体の彩度は高く感じられる。
本発明では、この色対比特性を用いて、画素の色情報の補正を行うことで、より人間の視覚に近い印象を与える色補正を行う。
例えば、色情報ｖＣｉのうち画素Ｐｉの彩度Ｓｉを補正対象である色情報Ｃｉとした場合、図５に模式的に示すように彩度補正を行うことで人間の視覚に近い印象を与える色補正を行うことができる。図５に示す彩度補正とは、対象画素Ｐｉの彩度Ｓｉがその周囲の代表彩度ＳｉＲよりも低い場合（例えば、対象画素Ｐｉが左円の中心部分にある場合）には、対象画素Ｐｉの彩度Ｓｉを減少させ、対象画素Ｐｉの彩度Ｓｉがその周囲の代表彩度ＳｉＲよりも高い場合（例えば、対象画素Ｐｉが右円の中心部分にある場合）には、対象画素Ｐｉの彩度Ｓｉを増加させる補正である。なお、対象画素Ｐｉの彩度Ｓｉは、対象画素の彩度Ｓｉと周囲の代表彩度ＳｉＲとの比に応じて減少あるいは増加される。
対象画素Ｐｉの周囲の代表彩度ＳｉＲとしては、視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の彩度の重み付き平均が計算される。なお、画素領域Ωｉは、例えば、対象画素Ｐｉを中心とする円領域であり、その半径は、例えば、入力される画像データｖＩｉのサイズ（水平方向サイズあるいは垂直方向サイズ）の１／９〜１／４である。なお、周囲の代表彩度ＳｉＲとしては、これ以外にも、視野領域内の彩度ヒストグラムでもっとも度数の多い彩度値、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表彩度、視野領域内の平均彩度値等を用いることも可能である。この場合、各画素Ｐｉにおける彩度以外の色情報は保存し、変更しない。これにより、画像のバランスを保つことができる。
また例えば、色情報ｖＣｉのうち画素Ｐｉの色相Ｈｉを補正対象である色情報Ｃｉとした場合、図６に模式的に示すように色相補正を行うことで人間の視覚に近い印象を与える色補正を行うことができる。図６に示す色相補正とは、対象画素Ｐｉの色相Ｈｉよりも周囲の代表色相ＨｉＲが赤い場合（例えば、対象画素Ｐｉが左円の中心部分にある場合）には、対象画素Ｐｉの色相Ｈｉを青方向へ補正する。なお、青方向への補正では、対象画素Ｐｉの色相Ｈｉと代表色相ＨｉＲとの差分に応じて補正量が決定される。この際、色相以外の色情報は保存する。また色相に関しても、急激な変化を起こすことの弊害を抑制するために、色相の移動量（補正量）を抑制することで画像バランスをできるだけ保持することができる。一方、対象画素Ｐｉの色相Ｈｉよりも周囲の代表色相ＨｉＲが青い場合（例えば、対象画素Ｐｉが右円の中心部分にある場合）には、対象画素Ｐｉの色相Ｈｉを赤方向へ補正する。
対象画素Ｐｉの周囲の代表色相ＨｉＲとしては、視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色相の重み付き平均が計算される。画素領域Ωｉは、上記したのと同様に決定する。なお、周囲の代表色相ＨｉＲとしては、これ以外にも、視野領域内の色相ヒストグラムでもっとも度数の多い色相値、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表色相、視野領域内の平均色相値等を用いることも可能である。なお、ここでは色相Ｈｉを所定の方向へ動かす、と説明したが、ＹＣｂＣｒ色空間における色差ＣｂとＣｒを動かすことでも色相を動かすことは可能である。この場合、定性的には、色差Ｃｂを大きくすることで青成分が発生し、Ｃｒを動かすことで赤成分が発生する。
この考え方をもとに、色特性算出手段２は、各画素の色特性情報データＲｎ＿ｉを算出し、色情報補正手段３で各画素の対象色情報Ｃｉを補正する。その一例は、（数式１）と（数式２）とで表現できる。

色情報補正手段３は、（数式１）に従って対象画素Ｐｉの対象色情報Ｃｉの補正を実行する。（数式１）において、Ｃｉ＿ｎｅｗは、色対比により補正された画素Ｐｉの対象色情報、ＡＣｉは、画素Ｐｉの周囲の代表色情報（例えば、代表彩度ＳｉＲや代表色相ＨｉＲなど）であり、周辺代表色抽出手段６により算出される情報、ηは、正定数であるとする。また（数式２）において、ＴＨ０、Ｇｍａｘは、所定の正定数であり、μは、０＜μ＜１を満たす所定の正定数である。
この（数式１）で、Ｃｉ／ＡＣｉは、色対比情報算出手段７で算出される色特性情報データＲｎ＿ｉである。
なお、（数式１）と（数式２）とを用いた補正以外にも、（数式３）と（数式４）とを用いた補正を行ってもよい。

ここでは色特性情報データＲｎ＿ｉを（Ｃｉ−ＡＣｉ）で定義して、その色対比を所定の関数で変換して得られた値を強調することで対象画素Ｐｉの色情報Ｃｉの補正を実行する。
なお、（数式４）で、ＴＨ１、ＴＨ２、Ｆｍａｘ、Ｆｍｉｎ、αはそれぞれ、ＴＨ１＞ＴＨ２、ＴＨ１＞０、ＴＨ２＞０、Ｆｍａｘ＞０．０、Ｆｍｉｎ＜０．０、０＜α＜１．０を満足する定数であるとする。この式は、補正量の上下限を設定するとともに、色特性情報データＲｎ＿ｉを線形的に抑えるものである。この式に関しても、これに限らず、他の線形関数や非線形関数を用いることも可能である。
なお、（数式４）におけるＦ１（ｘ）とＦ２（ｘ）はｘの定義領域が連続になるように決定される非線形関数を示し、例えば、Ｆ１（ｘ）やＦ２（ｘ）が２次関数の場合、領域（ＴＨ２≦ｘ≦ＴＨ１）の関数Ｆ１がＦ１（ｘ）＝（（α・ＴＨ２−Ｆｍａｘ）／（ＴＨ２−ＴＨ１）^２）・（ｘ−ＴＨ１）^２＋Ｆｍａｘ、（−ＴＨ２≦ｘ≦−ＴＨ１）の関数Ｆ２がＦ２（ｘ）＝（−（α・ＴＨ２＋Ｆｍｉｎ）／（−ＴＨ２＋ＴＨ１）^２）・（ｘ＋ＴＨ１）^２＋Ｆｍｉｎとなる。
補正制御変数５（図１参照）は、（数式１）から（数式４）で使用する正定数等を保持するテーブルデータである。なお、このテーブルデータを制御することで補正強度を変えることも可能である。
最後に、出力手段４は、色情報補正手段３で得られた各画素Ｐｉの対象色情報Ｃｉの補正値Ｃｉ＿ｎｅｗと、それ以外の色情報ｖＣｉ（補正対象とならない色情報）とをそのまま出力する。なお、出力手段４は、色情報補正手段３で得られた各画素Ｐｉの対象色情報Ｃｉの補正値Ｃｉ＿ｎｅｗとそれ以外の色情報ｖＣｉとを、使用機器により扱うことのできる画像フォーマットに変換して処理画像データを出力してもよい。
このように色対比を用いて各画素の対象色情報のみを補正することで、領域抽出することもなく簡易な構成で色補正を行うことが可能となり、人間の視覚により近い印象を与えることのできるような色補正を行うことが可能となる。さらに、領域抽出することもないため、領域抽出誤差により生じる色補正誤差の発生を抑制することもできる。
上記実施形態では、対象色情報が１つの場合について説明したが、例えば、彩度・色相の２つの色情報の補正を組み合わせることも可能である。この場合、それぞれの色情報からそれぞれの色特性情報データが求められ、色情報補正手段３は、対応する色情報に適した補正関数を設定し、色補正を行う。
なお、（数式１）と（数式２）とは、（数式５）と（数式６）のようにすることも可能である。

ここで、０．０≦Ｈｍａｘ≦１．０、０．０≦ＴＨ３、０．０≦η≦１．０、０．０≦σ≦１．０、σ×ＴＨ３＝Ｈｍａｘである。
この場合、補正対象画素が灰色のように無彩色の場合、補正はされない（本来、無彩色に着色はされない）。一方、有彩色で対比の発生する色を画素が持つ場合には補正が実施される。
（数式５）におけるＨ（Ｃｉ／ＡＣｉ−１．０）の部分は、色特性情報データ（色対比量）Ｒｎ＿ｉの変化量により、補正前のＣｉに対する変化割合に相当する。そのため、補正前の色データＣｉの大きさに連動して補正することが可能となるため、例えば、低濃度の色データが色対比で急激に大きく変化することを抑制することができ、より自然な色対比による補正を可能とする。
［第２実施形態］
図７から図１１を用いて、本発明の第２実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置２００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図７に、本発明の第２実施形態である画像処理装置２００の構成を示す。また、図８に、色情報伝播補正手段１４の構成を示す。また、図９に、本発明の第３実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。
画像処理装置２００に画像データｖＩｉが入力されると、情報算出手段１０は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ２１）。なお、この色情報には輝度等の明るさに関する情報Ｋｉも含まれることとする。ここでは、画像データｖＩｉを、色情報として扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。
画素選択手段１１では、特性算出手段１２で処理する画素を所定の手順で選択する（Ｓ２２）。画像処理装置２００では、画像全体の画素を色対比で補正するのではなく、注目すべき選択画素のみを色対比で補正した後、残りの画素を補正された選択画素の色情報に基づいて補正する。これにより、画像全体のバランスをできるだけ保持しつつ、より高精度な色補正を行うことが可能となる。なお、画素の選択基準は、扱うべき画像内容に応じて予め設定するものであるが、画像を水平方向にＸＳＴＥＰ分割、垂直方向にＹＳＴＥＰ分割した場合の各ブロックの中心画素を選択するような簡単な基準であってもよい。この場合、処理時間と処理精度に応じてＸＳＴＥＰやＹＳＴＥＰを決める必要がある。以上の画素選択手段１１で選択された画素群を選択画素群Φとする。
特性算出手段１２では、情報算出手段１０で得られた色情報ｖＣｉのうちで、選択画素群Φ内の画素Ｐｉの色情報を用いて、色特性情報データＲｎ＿ｉ（Ｐｉ∈Φ）を算出する（Ｓ２３）。なお、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとする。
特性算出手段１２は、色特性算出手段２（図１参照）と同様にして、色情報と明るさ情報とに関して色特性情報データデータＲｎ＿ｉを生成する。このデータは、本発明の第１実施形態と同様の処理で生成される。例えば、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉとの比を用いて、色特性情報データＲｎ＿ｉを生成する。
選択画素色情報補正手段１３では、選択画素群Φ内の画素Ｐｉに対して、特性算出手段１２で生成した色特性情報データＲｎ＿ｉを用いて、補正対象の色情報Ｃｉの色補正を実施する（Ｓ２４）。この手法については、本発明の第１実施形態と同様である。
次に、色情報伝搬補正手段１４は、選択画素色情報補正手段１３で得られた選択画素群Φ内の画素Ｐｉを使って、残りの画素Ｐｊの色情報Ｃｊ（Ｐｊは選択画素群Φに属しない）に対する色補正を実施する（Ｓ２５）。この処理として、多くの手法が考えられるが、ここでは、カラリゼーション処理を適用する。カラリゼーション処理とは、予め設定された数点の色情報をもとにモノクロ画像データに、画像全体のバランスを壊さないよう着色する処理である。
色情報伝搬補正手段１４は、この処理を利用して、選択画素色情報補正手段１３で補正された色情報Ｃｉを初期設定点（以下、基準画素という）として、画像全体のバランスを崩さす色補正を実施する。色情報伝搬補正手段１４は、図８に示すように、基準設定手段１６、周囲色情報算出手段１７、伝播判定手段１８より構成される。
図１０を用いて伝搬処理について説明する。
なお、図１０では、画素Ｐｉに対して輝度Ｙｉ、色差Ｃｂｉ、Ｃｒｉが算出されており（Ｓ２８）、色補正の対象は、色差Ｃｂｉ、Ｃｒｉであるものとする。さらに、選択画素群Φ内の画素Ｐｉにおける補正後の色差（以下、補正色差という）を色差Ｃｂａｉ、Ｃｒａｉとする。
基準設定手段１６は、選択画素群Φ内の画素Ｐ０を基準画素として設定する（Ｓ２９および図１０（ａ）参照）。
周囲色情報算出手段１７は、基準画素Ｐ０の周囲４画素Ｐｊに対して、基準画素Ｐ０の補正色差Ｃｂａ０、Ｃｒａ０を伝播する（Ｓ２９〜Ｓ３１および図１０（ｂ）参照）。
この処理では、周囲の各画素Ｐｊの輝度Ｋｊは保存される。よって、この輝度Ｋｊを満足する画素Ｐｊの色差候補Ｃｂｊ＿ｌ，Ｃｒｊ＿ｌのうち、基準画素Ｐ０の補正色差Ｃｂａ０、Ｃｒａ０との差が最も小さくなる色差の組Ｃｂａｊ，Ｃｒａｊを求める（Ｓ３０）。
この色差候補のきめ方はいろいろな方法がある。通常、輝度Ｋｊ、色差Ｃｂｊ＿ｌ、Ｃｒｊ＿ｌは８ビットの整数で定義されるので、簡単な場合には輝度Ｋｊへの線形変換式を満足する色差Ｃｂｊ＿ｌ，Ｃｒｊ＿ｌの整数の組合わせを色差候補とする。この場合、処理時間が膨大する可能性があるので、所定の誤差関数Ｅを設けて、輝度Ｋｊへの線形変換式が成立する条件下で、その誤差関数Ｅを小さくする色差の組み合わせを候補とする手法も考えられる。
この４画素への伝播処理が終わると、さらに、その周囲の画素Ｐｊ２への伝播を実施する（図１０（ｃ）参照）。このような伝播処理を基準画素Ｐ０のすべてを基準として実施する。なお、複数の基準画素からの色情報が伝播した場合、その補正対象となる画素では、伝播された複数の色情報との差が最も小さくなるような色情報が選択される。
伝搬判定手段１８は、図１０（ｄ）に示すように、伝播対象となる画素における補正色情報Ｃｂａｊ、Ｃｒａｊと、それぞれの画素の伝搬前の色情報Ｃｂｊ，Ｃｒｊとの差を所定のしきい値と比較する。具体的には、それぞれの色情報の差が所定のしきい値ＴｈｒｅｓＣｂ、ＴｈｒｅｓＣｒより大きい場合は、この画素（例えば、Ｐｘ）に基づく伝播を終了するとともに、補正色情報Ｃｂａｊ、ＣｒａｊをＣｂａｊ＝Ｃｂｊ、Ｃｒａｊ＝Ｃｒｊとする。すなわち、伝搬判定手段１８は、伝播停止判定を実施する。
以上の処理を全ての画素の色情報が決定するまで行う（Ｓ３１）。
さらに、伝搬判定手段１８は、色補正および伝搬処理されたＹＣｂＣｒ空間データをＳ２８の処理を行う前の色空間に変換する。
また、出力手段４は、このようにして色補正された各画素の色情報を、第１実施形態で説明したのと同様に処理して出力する（Ｓ２６〜Ｓ２７）。
こうすることで、各画素の輝度（明るさ）が保持されるとともに、基準画素とその近傍の画素との輝度が近い場合に、近傍の画素の色情報は、基準画素の色情報に近い値に補正される。さらに、伝播停止判定を実施することにより、伝搬の前後で色情報が大きく変化しないことが担保されている。こうすることで、画像全体のバランスを崩さないで、色対比により補正された色情報を伝播させ、色補正処理を行うことが可能となる。
なお、伝播処理は、図１１に示すような手法であってもよい。
まず、選択画素群Φ内の基準画素Ｐ０が設定される（図１１（ａ）参照）。
次に、基準画素Ｐ０の周辺領域３３において、基準画素Ｐ０の色情報Ｃｂ０、Ｃｒ０は、輝度Ｙ０を変数とした線形変換式で近似できると仮定し、周辺領域３３において同じ変換式を適用する。ここで、線形変換式は、複数の基準画素Ｐ０の色情報Ｃｂ０、Ｃｒ０を色補正した補正色情報Ｃｂａ０、Ｃｒａ０と、線形変換式で近似された各基準画素の色情報との差が小さくなるように決定される。
線形変換式における未定係数は、基準画素Ｐ０の周辺領域３３のみで定義されるため、基準画素Ｐ０が多くなるほど、調整しなければならない線形変換式の係数は多くなる。そこで、具体的には、線形変換式は、最小二乗法や遺伝的アルゴリズム等による多変量係数の非線形推定手法等を用いて決定される。
なお、複数の基準画素Ｐ０、Ｐ１の周辺領域に含まれる画素３４では（図１１（ｃ）参照）、色情報は、複数の基準画素Ｐ０、Ｐ１に対する線形変換式を平均した値に決定される。
以上のように、色対比で補正されていない画素の色情報は、各画素が属する基準画素の周囲領域に対応する線形変換式に、各画素の輝度を適用して算出される。
この手法では、各画素の輝度は保存されるとともに、基準画素の近傍の画素で輝度が近い画素ほど近い色情報が設定される。また、基準画素での色情報が小さくなるように周辺領域内の線形変換式の係数等が決定されるとともに、周辺領域内ではゆるやかな変動をする１次線形式を用いた場合、輝度変動の少ない領域での色情報の変動を抑制することが可能となる。以上により、画像全体のバランスを崩さないで、色対比により補正された色情報を伝播させ、色補正処理を行うことが可能となる。
なお、制御変数１５は、画素選択の際のパラメータ、選択画素の補正のためのパラメータ、色情報伝搬のためのパラメータなどを格納する。
［第３実施形態］
図１２から図１３を用いて、本発明の第３実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置４００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図１２に、本発明の第３実施形態である画像処理装置４００の構成を示す。また、図１３に、本発明の第３実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。
画像処理装置４００に画像データｖＩｉが入力されると、情報算出手段１０は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ４１）。なお、この色情報には輝度等の明るさに関する情報Ｋｉも含まれることとする。ここでは、画像データｖＩｉを、色情報として扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。
特性算出手段１２では、情報算出手段１０で得られた色情報ｖＣｉのうちで、補正対象である色情報に対する特性情報（色対比情報ＲｎＣ＿ｉ）と、明るさに対する特性情報（明るさ対比情報ＲｎＫ＿ｉ）が算出される。ここでは、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとし、明るさ情報をＫｉとする。
特性算出手段１２は、色特性算出手段２（図１参照）と同様に、画素Ｐｉの色情報と明るさ情報とに関して、色特性情報データＲｎ＿ｉ（色対比情報ＲｎＣ＿ｉ、明るさ対比情報ＲｎＫ＿ｉ）を生成する（Ｓ４２）。このデータについては、本発明の第１実施形態と同様の処理で生成する。つまり、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉとの比を用いて、色対比情報ＲｎＣ＿ｉを算出し、画素Ｐｉにおける輝度情報Ｋｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の輝度の重み付き平均ＡＫｉとの比を用いて、明るさ対比情報ＲｎＫ＿ｉを算出する。なお、明るさ対比情報ＲｎＫ＿ｉは、例えば、第１実施形態で色対比情報ＲｎＣ＿ｉを定義する式において、ＣｉをＫｉとし、ＡＣｉをＡＫｉとすることにより定義される。
第２画素選択手段４０は、このＲｎＫ＿ｉとＲｎＣ＿ｉとを用いて、画素Ｐｉに対して色対比現象を利用した色補正を行うか否かの判定を行い、色補正の対象となる画素領域を選択する（Ｓ４３）。この判定にはいろいろな方法があるが、ここでは、次の（数式７）を満足する画素を選択する。なお、（数式７）で、ＴｈＣ、ＴｈＫは、正定数であり、制御変数１５に格納される。

明るさ対比の絶対値が大きい領域に対して、人間の視覚特性は強いコントラストを感じる傾向がある。そして、色対比の値が１に近い画素は、ある程度色情報の変動が少ない画素領域に属する。この２つの事実を考慮して、本発明では、人間の視覚特性上関心が集まる領域であって、色情報の変化が比較的小さい領域を（数式７）を用いて選択し、色対比現象を利用した色補正を行うこととしている。
なお、色対比情報ＲｎＣ＿ｉを、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉとの差分で定義した場合、（数式８）を用いて画素の選択を行うのが良い。（数式８）では、色対比が０に近いことは、色情報の変動が少ないことを示す。

第３実施形態の特徴を以下に記載する。本発明の第２実施形態では、図７の画素選択手段１１が色対比現象を利用して色補正する画素を選定している。一方、第３実施形態では、より人間の関心が高い画素領域をまず選択し、その後色対比現象により色補正を行う（Ｓ４４）。そして、選択された画素を基準画素として、この基準画素の補正色情報をカラリゼーション処理により伝播処理し、周囲の画素へ色情報を伝播させることで色補正を実施する（Ｓ４５）。こうすることで、人間の関心が集まると考えられる画素での補正結果を利用して、画像全体のバランスをできるだけ保存しながら色補正を行うことができる。このため、全画素に対して色対比で補正した場合と比べて、画像中の物体の境界付近等での過剰な色補正を抑制することができる。
なお、出力手段４は、このようにして色補正された各画素の色情報を、第１実施形態で説明したのと同様に処理して出力する（Ｓ４６〜Ｓ４７）。
［第４実施形態］
図１４から図１５を用いて、本発明の第４実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置５００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図１４に、本発明の第４実施形態である画像処理装置５００の構成を示す。
画像処理装置５００は、画像分割手段５０、ブロック情報算出手段５１、処理ブロック選択手段５２、ブロック特性算出手段５３、選択ブロック色情報補正手段５４、色情報ブロック伝播補正手段５５、画素変換手段５６、出力手段４より構成される。
この発明の特徴は、本発明の第２実施形態の画像処理装置２００が画素単位で処理していたのに対して、図１５に概念的に示すようなブロック単位で処理を行う点にある。
より具体的には、画像処理装置５００では、画像分割手段５０が、入力される画像データをブロックに分割し、そのブロックを処理単位とする。
ブロック情報算出手段５１は、各ブロックの色情報として、図１５に示すように、各ブロック内を代表する代表色情報を算出する。具体的には、ブロック内の色情報の平均値、ヒストグラムで最も度数の多い値、クラスタリング等の統計的手法による値などを代表色情報として算出する。
画像処理装置５００は、ブロックｋ内の代表色情報ＢＣｋを、本発明の第２実施形態における画素の色情報Ｃｉと見なして、第２実施形態と同様の処理を行う。
なお、この場合、出力手段４で所定の画像フォーマットに変換する前に、画素変換手段５６では、ブロックｋ内の各画素の補正後の色情報を、ブロックｋの後のブロックｋ＋１と１つ下のブロックｋ＋Ｂｗｉｄｔｈ（縦方向に隣接するブロック）との補正された代表色情報値を用いた補間処理により算出する。ここでＢｗｉｄｔｈは、横方向のブロック数を表し、ブロック番号が画像左上から右方向へ順に一列につながって定義されているものとする。
なお、補間処理はこの方式に限定されるものではなく、ブロックｋの前のブロックｋ−１と、ブロックｋの上のブロックｋ−Ｂｗｉｄｔｈとの補正された代表色情報値を用いた補間処理も可能である。また、前後、上下４つのブロックと対象ブロックとの計５個のブロックの補正された代表色情報値を用いた補間処理も可能である。
なお、図１５では均一サイズの長方形ブロックを用いたが、画像内容に応じてブロックサイズや形状を変えても良い。
このような構成や方法により、画像サイズが大きい場合に必要とされる処理量を削減することができる。特に、分割されるブロック数を画像サイズにかかわらず固定にすることで、各ブロックの代表色情報に対する色補正処理の処理量の増減を抑制することができ、入力される画像サイズに対する処理時間の大幅な変動を抑えることができる。
［第５実施形態］
図１６を用いて、本発明の第５実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置６００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図１６に、本発明の第５実施形態である画像処理装置６００の構成を示す。
画像処理装置６００は、画像分割手段５０、ブロック情報算出手段５１、ブロック特性算出手段５３、ブロック選択手段６０、選択ブロック色情報補正手段５４、色情報ブロック伝播補正手段５５、画素変換手段５６、出力手段４より構成される。
この発明の特徴は、本発明の第３実施形態である画像処理装置４００が画素単位で処理していたのに対して、図１５に概念的に示すようなブロック単位で処理を行う点にある。
より具体的には、画像処理装置６００では、画像分割手段５０が入力される画像データをブロックに分割し、そのブロックを処理単位とする。
ブロック情報算出手段５１は、各ブロックの色情報として、図１５に示すように、各ブロック内を代表する代表色情報を算出する。具体的には、ブロック内の色情報の平均値、ヒストグラムで最も度数の多い値、クラスタリング等の統計的手法による値などを代表色情報として算出する。
画像処理装置５００は、ブロックｋ内の代表色情報ＢＣｋを、本発明の第３実施形態における画素の色情報Ｃｉと見なす。なお、第３実施形態では、画素単位の処理を行い、色対比による色補正を実施する画素を、画素の特性情報である明るさ対比情報、色対比情報、輝度を使って選択する。一方、本発明では、ブロック特性算出手段５３は、ブロックｋを代表する代表色情報ＢＣｋと代表輝度ＢＹｋを使って、明るさ対比情報と色対比情報を算出する。さらに、ブロック選択手段６０は、これらの情報を用いて色対比で補正する代表色情報を持つブロックを選択する。
また、出力手段４で所定の画像フォーマットに変換する前に、画素変換手段５６では、ブロックｋ内の各画素の補正後の色情報を、ブロックｋの後のブロックｋ＋１と１つ下のブロックｋ＋Ｂｗｉｄｔｈとの補正された代表色情報値を用いた補間処理により算出する。ここでＢｗｉｄｔｈは横方向のブロック数を表し、ブロック番号が画像左上から右方向へ順に一列につながって定義されているものとする。
なお、補間処理はこの方式に限定されるものではなく、ブロックｋの前のブロックｋ−１とブロックｋの上のブロックｋ−Ｂｗｉｄｔｈとの補正された代表色情報値を用いた補間処理も可能である。また、前後、上下４つのブロックと対象ブロックとの計５個のブロックの補正された代表色情報値を用いた補間処理も可能である。
なお、図１５では均一サイズの長方形ブロックを用いたが、画像内容に応じてブロックサイズや形状を変えても良い。
このような構成や方法により、画像サイズが大きい場合に必要とされる処理量を削減することができる。特に、分割されるブロック数を画像サイズにかかわらず固定にすることで、各ブロックの代表色情報に対する色補正処理の処理量の増減を抑制することができ、入力される画像サイズに対する処理時間の大幅な変動を抑えることができる。
［第６実施形態］
図１７から図１９を用いて、本発明の第６実施形態として、画素における色対比情報をもとにしたカラーバランス補正を行う画像処理方法及び画像処理装置７００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図１７に、本発明の第６実施形態である画像処理装置７００の構成を示す。また、図１８に、本発明の第６実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。
画像処理装置７００は、情報算出手段１０、特性算出手段１２、推定画素選択手段７０、バランス量算出手段７１、バランス補正手段７２、出力手段４、推定制御変数７３より構成されている。情報算出手段１０は、画像データｖＩｉを所定の色情報へ変換する。特性算出手段１２は、変換された所定の色情報より、対象とする色情報に関する特性情報および明るさに関する特性情報を算出する。推定画素選択手段７０は、特性算出手段１２が算出した特性情報より、ホワイト点推定に使用できる推定画素を選択する。画素の選択に際しては、推定制御変数７３が格納するテーブルデータが用いられる。バランス量算出手段７１は、推定画素選択手段７０で得られた推定画素のグレー軸からのずれ量を算出する。バランス補正手段７２は、バランス量算出手段７１で得られたバランスずれ量を各画素の色情報のバランス補正に適用する。出力手段４は、バランス補正された画像を所定のフォーマットで出力する。
この装置に画像データｖＩｉが入力されると、情報算出手段１０は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ５０）。なお、この色情報には輝度等の明るさに関する情報Ｋｉも含まれることとする。ここでは、画像データｖＩｉを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。
特性算出手段１２では、情報算出手段１０で得られた色情報ｖＣｉのうちで、補正対象である色情報に対する特性情報（色対比情報ＲｎＣ＿ｉ）と、明るさに対する特性情報（明るさ対比情報ＲｎＫ＿ｉ）が算出される。なお、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとし、明るさ情報をＫｉとする。
特性算出手段１２は、色特性算出手段２（図１参照）と同様に、画素Ｐｉの色情報と明るさ情報とに関して、色特性情報データＲｎ＿ｉ（色対比情報ＲｎＣ＿ｉ、明るさ対比情報ＲｎＫ＿ｉ）を生成する（Ｓ５１）。このデータについては、本発明の第１実施形態と同様の処理で生成する。つまり、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉ（代表色情報）との比を用いて、色対比情報ＲｎＣ＿ｉを算出し（Ｓ５７，Ｓ５９）、画素Ｐｉにおける輝度情報Ｋｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の輝度の重み付き平均ＡＫｉ（代表輝度情報）との比を用いて、明るさ対比情報ＲｎＫ＿ｉを算出する（Ｓ５７，Ｓ５８）。なお、明るさ対比情報ＲｎＫ＿ｉは、例えば、第１実施形態で色対比情報ＲｎＣ＿ｉを定義する式において、ＣｉをＫｉとし、ＡＣｉをＡＫｉとすることにより定義される。
推定画素選択手段７０では、色対比情報ＲｎＣ＿ｉ、明るさ対比情報ＲｎＫ＿ｉ、輝度Ｋｉを用いて、人間が照明のように明るく感じる領域（ホワイト領域）に画素Ｐｉが属するかどうかの判定を行い、満足する場合にはその画素Ｐｉを選択する（Ｓ５２）。このような処理を全ての画素Ｐｉに対して行い、選択された画素の集合をホワイト領域Ψとする。この判定にはいろいろな方法があるが、ここでは、次の（数式９）を満足する画素を選択する。なお、（数式９）で、Ｔｈ０、Ｔｈ１、Ｔｈ２は正定数であり、推定制御変数７３に格納されている。

明るさ対比の絶対値が大きい領域に対して、人間の視覚特性は強いコントラストを感じる傾向がある。これに加えて明るさ対比が大きく、輝度が所定の値より高い場合には、人間がより明るい領域として感じると考えられる。さらに、色対比値が１に近い画素は、ある程度色情報の変動が少ない画素に属すると考えられる。これらの推察より、本発明では（数式９）を用いて、人間が明るく感じるとともに色情報変化が比較的小さい領域を、照明等のあるホワイト領域と見なしている。これは、光学的に鏡面反射領域をホワイト領域」として抽出することに相当する。
図１９を用いて、（数式９）により選択されるホワイト領域について説明を加える。図１９で対象画素が領域Ａｒ１にある場合には、対象画素は、ホワイト領域に属すると判定される。これは、対象画素の輝度が高く、周辺との明るさ対比も大きいためである。
一方、対象画素が領域Ａｒ２〜Ａｒ４にある場合には、対象画素は、ホワイト領域に属すると判定されない。具体的には、対象画素が領域Ａｒ２にある場合、対象画素の輝度は高いが、周辺との明るさ対比は小さい。また、対象画素が領域Ａｒ３にある場合、周辺との明るさ対比は大きいが、対象画素の輝度は低い。また、対象画素が領域Ａｒ４にある場合、対象画素の輝度が低く、周辺との明るさ対比も小さい。よって、対象画素がこれらの領域にある場合には、対象画素は、ホワイト領域に属すると判定されない。
なお、色対比情報ＲｎＣ＿ｉを、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の色情報の重み付き平均ＡＣｉとの差分で定義した場合、（数式１０）を用いて画素の選択を行うのが良い。（数式１０）では、色対比が０に近いことは、色情報の変動が少ないことを示す。

バランス量算出手段７１では、（数式９）または（数式１０）で得られたホワイト領域Ψ内の色情報のグレー軸からのずれ量を求める（Ｓ５３）。ここでは、ずれ量を算出するために、ホワイト領域Ψ内の画素の色差Ｃｂ、Ｃｒの平均値（Ｃｂｃ、Ｃｒｃ）を計算し、この平均値をグレー軸からのずれ量とする。
ここで輝度Ｋｉにより正規化を行う理由は、推定されたバランスずれ量の精度を上げるためである。このホワイト領域Ψ内画素のＣｒ，Ｃｂを輝度Ｋｉで正規化した値の平均値以外に、その正規化したＣｒ，Ｃｂで頻度の最も多い値や最大のＣｂ、Ｃｒを用いることも可能である。
なお、ずれ量としては、ホワイト領域Ψ内の画素の色差の平均値以外に、ホワイト領域Ψの画素で最も出現頻度の高いＣｂ、Ｃｒの値等を用いることも可能である。
次に、バランス量算出手段７１では、バランス補正量ΔＣｂ、ΔＣｒを（数式１１）を用いて算出する（Ｓ５４）。

（数式１１）で、Ｋｂ、Ｋｒは正定数であり、推定制御変数７３に格納されている。
バランス補正手段７２は、算出されたバランス補正量ΔＣｂ、ΔＣｒを各画素の色差に加えて補正を行う（Ｓ５５）。Ｋｔは補正を行う画素の輝度を表す。なお、この補正量が所定の値を超える場合は、補正を実施しないこととしてもよいし、（数式１１）のＫｂとＫｒとの正定数を変更（例えば、抑制）することとしてもよい。これにより、急激なカラーバランス補正を抑えることが可能となる。
なお、Ｋｂ，Ｋｒは正定数としたが、バランスずれ量Ｃｂｃ、Ｃｒｃの値に応じて所定の関数により変換された値を用いてもよい。また、（数式１１）として急激なカラーバランス補正を抑えるような非線形関数を用いてもよい。（数式１１）では対象画素の輝度Ｋｔにより急激なバランス補正による画質低下を抑制するために輝度項Ｋｔを設けている。
本実施形態の特徴は、人間が明るく感じる傾向が高い領域を抽出し、その領域でのバランスずれ量を求め、これを補正する方向に画像のカラーバランス補正を実施する点である。こうすることで、複雑な判定をする必要がなく簡易な構成で実現できる。さらに、人間が明るく感じる領域でのバランスを中心に補正することで、処理済画像に与える弊害も低減することができる。
なお、ここではバランスずれ量の対象として色差ＣｂとＣｒとを対象としたが、これ以外にもＨＳＶ系の色相Ｈや彩度ＳまたはＬａ＊ｂ＊系の色情報ａ＊、ｂ＊を対象としてもよい。
また、（数式１０）または（数式１１）による推定画素の選択において、色対比情報に関する判定｜ＲｎＣ＿ｉ−１｜＜Ｔｈ２、または｜ＲｎＣ＿ｉ｜＜Ｔｈ２’は行われなくともよい。この場合、明るさの点で関心が高い領域のみに注目した条件で推定画素の選択を行うことが可能となり、上記で説明した条件よりも、広い画素領域を推定対象に選択することができる。
［第７実施形態］
図２０を用いて、本発明の第７実施形態として、画素における色対比情報をもとにしたカラーバランス補正および色補正を行う画像処理方法及び画像処理装置８００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図２０に、本発明の第７実施形態である画像処理装置８００の構成を示す。
この発明は、画像データを処理することで画像処理を行う装置において、本発明の第６実施形態である明るさ対比情報と色対比情報とにより画像のカラーバランス補正を行う装置の特徴と、本発明の第１実施形態である色対比により画素ごとに色補正を行う装置の特徴とを併せ持つものである。
図２０に示すように、画像処理装置８００は、修正色特性算出手段８０、色情報補正手段３、補正制御変数５を備える点に特徴を有している。
修正色特性算出手段８０は、バランス補正手段７２によりカラーバランス補正を終了した後に、改めて色特性情報データを算出する。これにより、カラーバランス補正により更新された色情報から、対象色情報の色特性情報データを抽出する。
なお、画像処理装置８００では、特性算出手段１２で得られた画素Ｐｉに対する色特性情報データＲｎ＿ｉと修正色特性算出手段８０で得られた色特性情報データｄＲｎ＿ｉは、同じ色情報に関する対比情報であっても、異なる色情報に関する対比情報であっても構わない。
図２０に示すように、推定画素選択手段７０は、明るさ対比情報ＲｎＫ＿ｉ、輝度情報Ｋｉ、色対比情報ＲｎＣ＿ｉより人間が明るく感じられる領域（ホワイト点領域）を抽出する。バランス量算出手段７１は、カラーバランスのずれ量を算出する。バランス補正手段７２は、このずれ量を補正するようにバランス補正を行う。修正色特性算出手段８０は、再度各画素における対象色情報の色特性情報データｄＲｎ＿ｉを算出する。ここでは、特性算出手段１２で説明したのと同様の処理が行われる。色情報補正手段３は、各画素の色補正を実施する。以上により、画像処理装置８００では、処理済画像を得る構成になっている。
このような構成とすることで、画像処理装置８００は、本発明の第６実施形態の特徴であるカラーバランス補正と、本発明の第１実施形態の特徴である人間の視覚特性に近づけた色補正の機能を併せ持つことができる。
なお、ここでは本発明の第６実施形態と第１実施形態を融合させたが、本発明の第６実施形態に本発明の第２実施形態から第５実施形態のいずれかを融合させることも可能である。本発明の第６実施形態に本発明の第２実施形態または第３実施形態を融合させた場合、選択された画素による色補正結果をもとに、他の画素の色補正を伝播処理により推定することとなり、画像全体のバランスを保持したより高精度な色補正が可能となる。また、本発明の第６実施形態に本発明の第４実施形態または第５実施形態を融合させた場合、色補正を行う対象を画素単位からブロック画素単位へ変更することで、処理量の削減を行うことができる。
［第８実施形態］
図２１を用いて、本発明の第８実施形態として、画素における色対比情報をもとにしたカラーバランス補正および色補正を行う画像処理方法及び画像処理装置９００について説明する。
図２１に、本発明の第８実施形態である画像処理装置９００の構成を示す。
この発明は、画像データを処理することで画像処理を行う装置において、本発明の第６実施形態である明るさ対比情報と色対比情報とにより画像のカラーバランス補正を行う装置の特徴と、本発明の第１実施形態である色対比により画素ごとに色補正を行う装置の特徴とを併せ持つものである。
図２１に示すように、画像処理装置９００は、第２バランス量算出手段９０と、第２バランス補正手段９１とを備える点に特徴を有している。
第２バランス量算出手段９０は、色情報補正手段３で得られる対象画素の色情報の補正量を用いて、推定画素選択手段７０で得られた推定画素の色情報のグレー軸からのずれ量を算出する。第２バランス補正手段９１は、第２バランス量算出手段９０で得られたバランス補正量を、色情報補正手段３で得られた各画素の色情報の補正量に加算する。
第７実施形態では、バランス補正手段７２によりカラーバランス補正を終了した後に、改めて色特性情報データを算出し、その値により色補正を実施している。それに対して、第８実施形態では改めて色特性情報データは抽出せず、特性算出手段１２で得られた色特性情報データＲｎ＿ｉを用いて補正された色情報ｄＣｉに対して、カラーバランス補正を行う構成をとったものである。
ここで、色情報補正手段３と第２バランス量算出手段９０とで対象とする色情報として、画素Ｐｉにおける色差Ｃｂｉ、Ｃｒｉを用いる例について説明する。
まず、情報算出手段１０は、各画素Ｐｉの色差Ｃｂｉ、Ｃｒｉを算出する。次に、特性算出手段１２は、色差Ｃｂｉ、Ｃｒｉに対する色特性情報データＲｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉを計算する。この場合、色特性情報データＲｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉは、色差に対して、第１実施形態で説明したのと同様の手順を行うことにより算出される。
色情報補正手段３は、この色特性情報データＲｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉを用いて、色差に対する補正を実施する。補正された色差ｄＣｉをＣｂｉ＿ｎｅｗ、Ｃｒｉ＿ｎｅｗとした場合、色差補正量ΔＣｂｉ、ΔＣｒｉは、それぞれ、ΔＣｂｉ＝Ｃｂｉ＿ｎｅｗ−Ｃｂｉ、ΔＣｒｉ＝Ｃｒｉ＿ｎｅｗ−Ｃｒｉにより求められる。
第２バランス量算出手段９０は、この色差補正量ΔＣｂｉ、ΔＣｒｉを算出する。さらに、推定画素選択手段７０で選択された推定画素の色差の平均値Ｃｂｃ，Ｃｒｃに、算出した色差補正量ΔＣｂｉ、ΔＣｒｉを加え、色情報補正手段３での色差補正を考慮したバランスずれ量を推定する。
さらに、画像処理装置９００では、図１８のステップＳ５４のようにバランス補正量を算出する際に、所定の係数Ｋｒを用いる。ここで、このＫｒが元の色差を考慮した関数により決定される場合には、色情報補正手段３で行われた色差補正分を考慮することが好ましい。
また、画像処理装置９００では、色補正量ΔＣｂ、ΔＣｒが所定以上かどうかを判定してバランス補正を実施する図１８のステップＳ５５では、そのバランス補正の実施判定を行う際に、色情報補正手段３で実施された色補正分を入力画像の色差成分に付加して考慮する必要がある。
色補正カラーバランスずれ量算出時に、図１８のＳ５２のように人間が明るく感じする画素領域を選択する場合には、各画素の明るさ対比情報や明るさも用いられるが、色情報補正手段３では、明るさ対比情報に対する補正は実施されないように設定されている。一方、色対比情報については、補正により値が変化している可能性があるが、色対比を前提とした色補正を行っていることから、第２バランス量算出手段９０でのバランス量検出に大きな影響はない。さらに、図１８のＳ５２のように人間が明るく感じる画素領域を選択する場合には、色対比情報Ｒｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉに対する条件は、明るさ対比情報よりも優先度が低い。また、特性算出手段１２での色対比情報が推定画素選択手段７０での推定画素選択に使用されてもよい。
なお、ここでは、色情報補正手段３における補正対象である色情報Ｃｉと第２バランス量算出手段９０で行われたバランス補正量の対象である色情報とは、同じ色情報Ｃｉを前提にして説明した。一方、色情報補正手段３の対象である色情報を彩度Ｓｉとし、第２バランス量算出手段９０の対象である色情報を色差Ｃｒｉ、Ｃｂｉとする、というように、異なる色情報を対象としてもよい。この場合、情報算出手段１０では、色情報補正手段３と第２バランス量算出手段との両方で使用される色情報を各画素に対して算出する必要があるとともに、色情報補正手段３では、対象色情報の補正が実施された後に、第２バランス量算出手段９０で使用する色情報へ変換する機能を有することが必要となる。
このような構成とすることで、画像処理装置９００は、本発明の第６実施形態の特徴であるカラーバランス補正と、本発明の第１実施形態の特徴である人間の視覚特性に近づけた色補正の機能を併せ持つことができる。さらに、改めて色補正のための色特性情報データを算出する必要がないため、処理量の削減につながる。
なお、ここでは本発明の第６実施形態と第１実施形態を融合させたが、本発明の第６実施形態に本発明の第２実施形態から第５実施形態のいずれかを融合させることも可能である。本発明の第６実施形態に本発明の第２実施形態または第３実施形態を融合させた場合、選択された画素による色補正結果をもとに、他の画素の色補正を伝播処理により推定することとなり、画像全体のバランスを保持したより高精度な色補正が可能となる。また、本発明の第６実施形態に本発明の第４実施形態または第５実施形態を融合させた場合、色補正を行う対象を画素単位からブロック画素単位へ変更することで、処理量の削減を行うことができる。
［第９実施形態］
図２２から図２３を用いて、本発明の第９実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１００５について説明する。
図２２に、本発明の第９実施形態である画像処理装置１００５の構成を示す。また、図２３に、本発明の第９実施形態である画像処理方法のユーザモード選択手段の適用例を示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置において、ユーザが処理モードを選択する手段を有するものである。
図２２に示すように、画像処理装置１００５は、本発明の第１実施形態から第８実施形態のいずれかに記載した画像処理装置としての画像処理手段１０００と、その処理結果を表示する表示デバイス１００２と、ユーザが処理モードを選択するユーザモード選択手段１００１とから構成される。
この発明では、画像処理手段１０００で行われた色補正処理の処理済画像を表示デバイス１００２に表示する。ユーザは、表示デバイス１００２での処理済画像を視覚的に確認して、処理モードをユーザモード選択手段１００１により選択する。これにより、個々人の特性に応じた色補正を実現することが可能となる。
ここで、表示デバイス１００２としては、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器の表示画面、デジタル画像を編集する画像編集装置の表示画面、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等の表示画面、あるいは様々な環境下で使用される大型映像表示機器等である。また、携帯電話の表示画面としては、メールや画像を表示する携帯電話の主画面だけでなく、扉式携帯電話の時間表示を行うサブ画面でもよい。
図２３に、ユーザモード選択手段１００１の一例を示す。図２３では、携帯電話のメニュー表示におけるユーザモード選択の方法を示す。
この場合、ユーザは表示デバイス１００２を確認して、図２３に示されるように「環境光補正レベルの設定」メニュー内の（１）強モード、（２）中モード、（３）弱モード、（４）デフォルトモードのいずれかを選択する。
ここでデフォルトモードとは、各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３で示されるテーブルデータ内の補正強度や推定強度のデフォルト値をそのまま使用するモードに相当する。
処理モードを選択することにより、ユーザモード選択手段１００１から画像処理手段１０００で適用される色補正処理の強度レベルを制御する。つまり、各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３が含むテーブルデータ内の補正強度や推定強度を制御することで、処理レベルのコントロールを行う。例えば、強モードの場合、色補正の強度を強め（補正量を多くする）、弱モードの場合、色補正の強度を弱める（補正量を少なくする）。こうすることで、人間の視覚特性に近い印象を与える色補正処理を行うとともに、さらに各個人の見た目に応じてレベルを制御することができる。
なお、図２３ではメニュー表示によるメニュー選択の一例を示したが、各処理モードに応じたスイッチやボタンであっても良い。また、図２３ではデフォルトモードを用意したが、メニュー内の中モードが、各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３が含むデフォルト値をそのまま使用するモードであってもよい。
［第１０実施形態］
図２４と図２６と図２７とを用いて、本発明の第１０実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１１０５について説明する。
図２４に、本発明の第１０実施形態である画像処理装置１１０５の構成を示す。また、図２６に、本発明の第１０実施形態である画像処理方法における処理制御手段の適用例を示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置において、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、検出された環境光レベルに応じて自動的に色補正強度を制御する処理制御手段１１００とを有するものである。
図２４示すように、画像処理装置１１０５は、本発明の第１実施形態から第８実施形態のいずれかに記載した画像処理装置としての画像処理手段１０００と、その処理結果を表示する表示デバイス１００２と、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、環境光検出手段１１０１で検出された環境光レベルに応じて画像処理手段１０００で実施する色補正の強度を決定する処理制御手段１１００とから構成される。
環境光検出手段１１０１では、図２６に示されているように、所定の場所にあるセンサ受光部で太陽光等の環境光を検出する方法が考えられるが、カメラ付き携帯電話などではＣＣＤカメラ受光部で代用してもよい。環境光検出手段１１０１では、最低濃度パターンである黒データを提示した際の輝度と、最高濃度パターンである白データを提示した際の輝度より、黒データの白データに対するコントラスト比ＥＲａｔｉｏを求める。なお、環境光レベルの照度をセンシングして、その値より予め内部に用意されたテーブルデータ（各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３で示されるテーブルデータでもよい）より、最低濃度パターンである黒データと最高濃度パターンである白データとのコントラスト比ＥＲａｔｉｏを換算する手法も可能である。
処理制御手段１１００は、算出されたコントラスト比ＥＲａｔｉｏを用いて、自動的に各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３などが含むテーブルデータの補正強度や推定強度を求める。
この方法として、図２７の（ａ）パターン１、（ｂ）パターン２、（ｃ）パターン３を説明する。
（ａ）に示すパターン１では、白に対する黒のコントラスト比ＥＲａｔｉｏが所定の値（図２７ではＴＨ＝０．２）を越えた時点で補正強度や推定強度などの処理強度をデフォルトの強度として、色処理を行う。その一方で、ＥＲａｔｉｏが所定の値ＴＨを越えない場合は、処理強度を０（処理を実施しない）にする。
（ｂ）に示すパターン２は、所定の使用時間間隔ごとのＥＲａｔｉｏの平均値（図２６（ｂ）における斜線領域内）を算出し、この平均値をもとに次の処理強度を線形的に変化させる。この場合、線形関数でなくても非線形関数を適用しても可能である。また、所定の時間間隔ごとでのＥＲａｔｉｏの値で補正強度を変化させることも可能である。こうすることで、パターン１と比べて環境光の変動に対して適切に処理強度を制御することができる。
（ｃ）に示すパターン３は、使用時間に対するに対する黒のコントラスト比ＥＲａｔｉｏの変動に対してリアルタイムに補正強度を変化させるものであり、よりモバイル環境下での視認性を向上させることが可能となる。
これ以外にも、表示画像全体に環境光のセンシング機能を持たせ、表示デバイスの領域ごとに処理強度を変えることで、一部だけ光が当たっている場合でも画面全体の視認性を一定に保った表示が可能となる。
［第１１実施形態］
図２５と図２６と図２７とを用いて、本発明の第１１実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１１０７について説明する。
図２５に、本発明の第１１実施形態である画像処理装置１１０７の構成を示す。また、図２６に、本発明の第１０実施形態である画像処理方法における処理制御手段の適用例を示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置において、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、検出された環境光レベルに応じて自動的に色補正強度を制御する処理制御手段１１００と、本発明の第９実施形態の特徴であるユーザモード選択手段とを有するものである。
図２５に示すように、画像処理装置１１０７は、本発明の第１実施形態から第８実施形態のいずれかに記載した画像処理装置としての画像処理手段１０００と、その処理結果を表示する表示デバイス１００２と、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、環境光検出手段１１０１で検出された環境光レベルに応じて画像処理手段１０００で実施する色補正の強度を決定する処理制御手段１１００と、ユーザが処理モードを選択するユーザモード選択手段１００１とから構成される。
環境光検出手段１１０１では、図２６に示されているように、所定の場所にあるセンサ受光部で太陽光等の環境光を検出する方法が考えられるが、カメラ付き携帯電話などではＣＣＤカメラ受光部で代用してもよい。環境光検出手段１１０１では、最低濃度パターンである黒データを提示した際の輝度と、最高濃度パターンである白データを提示した際の輝度より、黒データの白データに対するコントラスト比ＥＲａｔｉｏを求める。なお、環境光レベルの照度をセンシングして、その値より予め内部に用意されたテーブルデータ（各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３で示されるテーブルデータでもよい）より、最低濃度パターンである黒データと最高濃度パターンである白データとのコントラスト比ＥＲａｔｉｏを換算する手法も可能である。
処理制御手段１１００は、算出されたコントラスト比ＥＲａｔｉｏを用いて、自動的に各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３などが含むテーブルデータの補正強度や推定強度を求める。
この方法としては、図２７に示したのと同様の処理が行われる。
ユーザは、表示デバイス１００２を用いて、この自動的に制御された処理済画像を視覚する。さらに、ユーザは、ユーザモード選択手段１００１を用いて処理モードを変更する、つまり補正制御変数５、制御変数１５、推定制御変数７３などが含むテーブルデータ内のデータを変更する。これにより、環境光に応じて自動的に処理強度を変えるとともに、ユーザ個々人の視認性への対応を図ることが可能となる。
［実施形態の効果］
（１）
上記実施形態により、特に空等の飽和画像や強い環境光により色情報が消失した画像などの色情報を人間の視覚特性に基づいて補正することが可能となり、表示画面の視認性向上を実現することが可能となる。
（２）
上記実施形態における画像処理では、色補正処理の補正対象を選択する際に、従来技術で行われるような領域抽出を行わない。このため、領域抽出誤差により生じる色補正誤差の発生を抑えることが可能となる。
具体的には、図２８に示すように類似した色情報を持つ物体が重なり合うような画像において、従来技術の領域抽出では、対象物体Ｏａを適切に抽出することが難しく、例えば、対象物体Ｏａと、その周囲に位置する物体Ｏｃとを含む領域Ｒｂを抽出する結果となる。さらに、従来技術では、抽出した領域Ｒｂに対して色補正が行われるため、対象物体Ｏａの境界において、色補正誤差が生じ、対象物体Ｏａの色補正が適切に行われない結果となる。
一方、本発明では、領域抽出を行わないため、このような色補正誤差の発生を抑えることが可能となる。
（３）
上記実施形態における画像処理では、特に、環境光下において明るさの補正と色補正とが求められる場合に視認性を向上させることが可能となる。
例えば、室内環境において、最も輝度の高い白画素と最も輝度の低い黒画素の比（コントラスト比）が１００：１〜４０：１程度に視覚される画像を、日向などの強い環境光下で視覚すると、コントラスト比が３：１〜２：１程度にまで低下することが知られている。
従来、環境光下での視認性向上のためのガンマ関数による明るさ補正が知られている。具体的には、日向で見た画像に対して、黒濃度抑制を行うようなガンマ関数（下に凸）を用いて明るさ補正が行われる。
さらに、色補正を行う場合、従来では、以下の〈ａ〉〜〈ｃ〉の色補正が採用される。
〈ａ〉画像全体に彩度補正（彩度アップ補正）を実施する色補正
この場合、画像全体の彩度の向上は可能であるが、部分によっては、彩度の過剰補正が発生する。
〈ｂ〉補正対象の抽出（中心物体である人物の切り出しなど）を行い、抽出された補正対象に彩度補正（彩度アップ補正）を実施する色補正
この場合、抽出誤差による補正後の彩度の歪み（補正された彩度の不連続性など）が発生する。
〈ｃ〉補正の前後の明るさの比率に基づいて、彩度補正量を線形制御して彩度補正を実施する色補正
この場合、黒濃度抑制に連動して、彩度低下が発生する。また、明るさの比率の逆数に連動して彩度補正量を線形制御する場合、彩度低下を抑制することが可能となる。しかし、強い環境光による彩度成分の喪失に対しては、線形制御を行っても改善効果が小さい。
以上のように、〈ａ〉〜〈ｃ〉の従来の色補正を明るさ補正とともに実施しても、十分な補正を行うことは難しい。
そこで、色補正として本実施形態の色対比補正により彩度補正を実施すると、より色対比が増す方向に彩度補正が実施され、視認性を向上させることが可能となる。
［その他］
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、図４を用いて説明した色対比特性を利用した画像処理方法及び画像処理装置である。よって、本発明の処理は、この色対比特性に影響される。
図２９は、色対比特性について示すものであり、灰色の背景にある赤円中心部にある灰色円のサイズに依存して効果が変動する。例えば、中心の灰色円の半径が赤円と比較して小さい場合、赤円中心の灰色円を青く感じる色対比現象は強まる（図２９（ａ）参照）。それに対して、中心の灰色円の半径が大きくなり赤円に近づくにつれ、赤円中心の灰色円を青く感じる色対比現象は弱まる（図２９（ｂ）参照）。
このため、本発明の画像処理方法または画像処理装置では、図２９に示すような大きさの異なる単純パターンを処理した場合、色補正の効果が変動する特徴を有している。
また、対象とする色情報の色特性情報データＲｎ＿ｉは、本発明の第１実施形態で示した（１）周辺の代表色情報に対する対象画素の色情報の比と（２）対象画素の色情報と周辺の代表色情報の差分量以外にも、これら（１）と（２）とを所定の関数により変換して得られる値であってもよい。
また、各処理装置内のテーブルデータを含む補正制御変数５、制御変数１５、推定制御変数７３などは、処理装置内に構成されていてもよいし、ＲＡＭのような外部メモリとしてテーブルデータを格納するもの、あるいは外部からの入力手段からテーブルデータを提供するものであってもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。
より詳しくは、上記各実施形態の画像処理装置１００、２００、４００、５００、６００、７００、８００、９００、ユーザ選択モード手段１００１、処理制御手段１１００、環境光検出手段１１０１の各機能ブロック（図１、図７、図１２、図１４、図１６、図１７、図２０、図２１、図２２、図２４、図２５参照）は、個別に１チップ化させてもよいし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路の手法にはＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理は、プログラムにより実現されるものであってもよい。例えば、図１、図７、図１２、図１４、図１６、図１７、図２０、図２１、図２２、図２４、図２５の各機能ブロックの処理は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われてもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行されてもよい。
［第１付記］
本発明は、次のように表現することも可能である。
＜第１付記の内容＞
（付記１）
入力された画像信号の色補正を行う画像処理方法であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択ステップと、
前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正ステップと、
前記第３の色情報補正ステップで得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出ステップと、
前記第２の特性算出ステップで得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正ステップと、
前記第４の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理方法。
（付記２）
入力された画像信号の色補正を行う画像処理方法であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正ステップと、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択ステップと、
前記第５の色情報補正後の前記画像信号における、前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正ステップと、
前記第６の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理方法。
（付記３）
前記特性算出ステップは、対象とする画素の明るさ情報と色情報とを、その周囲の領域内の明るさ情報と色情報とを代表する周囲明るさ情報と周囲色情報との各々と比較する明るさ対比処理と色対比処理とを含むことを特徴とする、
付記１又は２に記載の画像処理方法。
（付記４）
入力された画像信号の色補正を行う画像処理装置であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出手段と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出手段と、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択手段と、
前記画素選択手段で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出手段と、
前記ずれ量算出手段で得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正手段と、
前記第３の色情報補正手段で得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出手段と、
前記第２の特性算出手段で得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正手段と、
前記第４の色情報補正手段で補正された色情報をもとに、色補正後の画像信号を出力する出力手段と、
を備えることを特徴とする画像処理装置。
（付記５）
入力された画像信号の色補正を行う画像処理装置であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出手段と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出手段と、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正手段と、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択手段と、
前記第５の色情報補正後の前記画像信号における、前記画素選択手段で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出手段と、
前記ずれ量算出手段で得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正手段と、
前記第６の色情報補正手段で補正された色情報をもとに、色補正後の画像信号を出力する出力手段と、
を備えることを特徴とする画像処理装置。
（付記６）
入力された画像信号の色補正を行う画像処理方法をコンピュータにより行うための画像処理プログラムであって、
前記画像処理方法は、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択ステップと、
前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正ステップと、
前記第３の色情報補正ステップで得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出ステップと、
前記第２の特性算出ステップで得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正ステップと、
前記第４の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理プログラム。
（付記７）
入力された画像信号の色補正を行う画像処理方法をコンピュータにより行うための画像処理プログラムであって、
前記画像処理方法は、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正ステップと、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択ステップと、
前記第５の色情報補正後の前記画像信号における、前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正ステップと、
前記第６の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理プログラム。
（付記８）
入力された画像信号の色補正を行う集積回路であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出部と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出部と、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択部と、
前記画素選択部で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出部と、
前記ずれ量算出部で得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正部と、
前記第３の色情報補正部で得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出部と、
前記第２の特性算出部で得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正部と、
前記第４の色情報補正部で補正された色情報をもとに、色補正後の画像信号を出力する出力部と、
を備えることを特徴とする集積回路。
（付記９）
入力された画像信号の色補正を行う集積回路であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出部と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出部と、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正部と、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択部と、
前記第５の色情報補正後の前記画像信号における、前記画素選択部で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出部と、
前記ずれ量算出部で得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正部と、
前記第６の色情報補正部で補正された色情報をもとに、色補正後の画像信号を出力する出力部と、
を備えることを特徴とする集積回路。
＜第１付記の説明＞
付記１に記載の画像処理方法は、入力された画像信号の色補正を行う画像処理方法であって、情報算出ステップと、特性算出ステップと、画素選択ステップと、ずれ量算出ステップと、第３の色情報補正ステップと、第２の特性算出ステップと、第４の色情報補正ステップと、出力ステップとを備えるものである。情報算出ステップは、画像信号の色情報と明るさ情報とを算出する。特性算出ステップは、明るさ情報と色情報とに応じて視覚特性情報を算出する。画素選択ステップは、画像信号より、第３の色情報の補正の対象となる複数画素を選択する。ずれ量算出ステップは、画素選択ステップで選択された複数画素の色情報の所定の基準値からのずれ量を検出する。第３の色情報補正ステップは、ずれ量算出ステップで得られたずれ量をもとに、画像信号の第３の色情報補正を行う。第２の特性算出ステップは、第３の色情報補正ステップで得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する。第４の色情報補正ステップは、第２の特性算出ステップで得られた第２の視覚特性情報をもとに、色補正後の画像信号に対して、第４の色情報補正を行う。出力ステップは、第４の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する。
ここで、所定の基準値からのずれ量とは、例えば、色情報の無彩度軸、グレー軸からのずれ量であってもよい（以下、この欄において同じ）。また、第３の色情報補正とは、いわゆるカラーバランス補正と呼ばれるものであってもよい。
付記１の画像処理方法の一例では、対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の輝度を代表する代表輝度と対象画素の輝度情報とを比較する明度対比情報をもとに、人間の関心が高いと考えられる領域または画素が選択される。さらに、得られた領域内の画素に対する色対比を算出して、その色対比より領域内の色情報のグレー軸からのずれ量を検出する。さらに、検出されたずれ量に基づいて、画像全体の色補正を行う。
以上の付記１の画像処理方法では、色対比により人間が明るく感じる領域を取り出し、その領域でのバランスを保持して画像全体の色補正を行う。このため、画像抽出を行う必要がなく、また抽出誤差により生じる補正誤差等の弊害をも抑えることができる。
さらに、この発明では、例えば、発明１の効果を奏し、より適切な色処理を行うことが可能となる。
付記２に記載の画像処理方法は、入力された画像信号の色補正を行う画像処理方法であって、情報算出ステップと、特性算出ステップと、第５の色情報補正ステップと、画素選択ステップと、ずれ量算出ステップと、第６の色情報補正ステップと、出力ステップとを備えている。情報算出ステップは、画像信号の色情報と明るさ情報とを算出する。特性算出ステップは、明るさ情報と色情報とに応じて視覚特性情報を算出する。第５の色情報補正ステップは、視覚特性情報をもとに、画像信号の第５の色情報補正を行う。画素選択ステップは、視覚特性情報をもとに、画像信号より、複数画素を選択する。ずれ量算出ステップは、第５の色情報補正後の画像信号における、画素選択ステップで選択された複数画素の色情報の所定の基準値からのずれ量を検出する。第６の色情報補正ステップは、ずれ量算出ステップで得られたずれ量をもとに、第５の色情報補正後の画像信号に対して第６の色情報補正を行う。出力ステップは、第６の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する。
この発明の一例では、対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の輝度を代表する代表輝度と対象画素の輝度情報とを比較する明度対比情報をもとに、人間の関心が高いと考えられる領域または画素が選択される。さらに、得られた領域内の画素に対する色対比を算出して、その色対比より領域内の色情報のグレー軸からのずれ量を検出する。さらに、検出されたずれ量に基づいて、画像全体の色補正を行う。
付記２の画像処理方法では、色対比により人間が明るく感じる領域を取り出し、その領域でのバランスを保持して画像全体の色補正を行う。このため、画像抽出を行う必要がなく、また抽出誤差により生じる補正誤差等の弊害をも抑えることができる。
さらに、付記２の画像処理方法では、例えば、付記１の画像処理方法の効果を奏し、より適切な色処理を行うことが可能となる。また、付記１の画像処理方法と異なり、ずれ量を用いた色補正（バランス補正）後に視覚特性情報の算出を行う必要がない。
付記３に記載の画像処理方法は、付記１又は２の画像処理方法のいずれかであって、特性算出ステップは、対象とする画素の明るさ情報と色情報とを、その周囲の領域内の明るさ情報と色情報とを代表する周囲明るさ情報と周囲色情報との各々と比較する明るさ対比処理と色対比処理とを含むことを特徴とする。
付記４又は５に記載の画像処理装置は、付記１又は２に記載の画像処理方法と同様の効果を奏する。
付記６又は７に記載の画像処理プログラムは、付記１又は２に記載の画像処理方法と同様の効果を奏する。
付記８又は９に記載の集積回路は、付記１又は２に記載の画像処理方法と同様の効果を奏する。

本発明は、より自然に画像の色補正を行うとともに、簡易な構成を用いた画像処理を実現することが求められる分野において画像処理方法、表示画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路として有用である。

本発明は、画像処理方法、特に、入力されたカラー画像データを補正する画像処理方法に関する。また別の本発明は、表示画像処理方法、画像処理装置、画像処理プログラム、集積回路に関する。

従来より、画像信号の視認性の改善などのため、画像信号に対して適切に色補正（色情報補正）を行うことが求められている。
例えば、日中の屋外や電車内で携帯電話などの表示画面を確認する場合、直射日光等により表示画面が白く飽和し、表示画面の表示内容を確認しづらいという課題がある。
一般に、これを改善することへの要求は非常に大きい。この要求に対するため、表示画面の液晶デバイス特性を改善する取組みが多く検討されている。この取組みの場合、表示画面の液晶透過率を周囲の環境光レベルに応じて変化させる手法が一般的に知られている。この手法を用いたデバイスとして、最も輝度の高い白画素と最も輝度の低い黒画素の比（コントラスト比）を２０：１〜１５：１程度まで改善するものが知られている。しかし、このデバイスでは、輝度に関する視認性を改善することを目的としており、日中の太陽光のような強い環境光により生じる、色差、色相あるいは彩度等の色情報の消失への改善は何等されていない。さらに、昼間の日中では、白と黒のコントラスト比は３：１から２：１程度まで落ちることが指摘されており、上記のように２０：１〜１５：１のコントラスト比までに対応できるデバイスを用いても、輝度に関する視認性改善が不十分である場合が多い。

このように、強い環境光下での表示画面の視認性を改善するためには、輝度の補正に加えて、色情報の補正が必要となる。
また、表示機器性能向上（解像度向上、表現色数の増大、記憶色を中心とした色補正性能の向上等）によりユーザの色情報に対する関心が高まっており、色情報の補正を行う場合にはより自然でかつ人間の視覚特性に対応した色補正が望まれている。
例えば、人間の視覚特性のうち、色対比特性を考慮した画像処理方法が知られている。この画像処理方法では、画像内の色相ヒストグラムと画素面積とにより画像の前景と背景とを抽出し、前景に対する背景の色相を一律に補正する（例えば、特許文献１参照）。この場合、人間の色対比特性を考慮して、前景に対する背景の色の程度を抑えることを目的としている。

この画像処理方法を実現する画像処理装置について、図３０を用いて説明を加える。図３０は、この画像処理装置において色補正判定を行う色補正判定部２００５のブロック図である。図３０が示すように、色補正判定部２００５は、画像メモリ２０００と、ベタ画像判別部２００１と、ヒストグラム作成部２００２と、前景／背景判別部２００３と、色数判別部２００４とを備えている。画像メモリ２０００には画像が保持されている。ベタ画像判別部２００１は、所定の色相ヒストグラムにおいてあるしきい値以上の色相領域が所定画素数以上に連続しているかどうかによりベタ画像を判定する。ヒストグラム作成部２００２は、ベタ画像の色相、彩度、明度のヒストグラムを生成する。前景／背景判別部２００３は、生成されたヒストグラムに基づいて前景、背景、その他、の判定を行う。色数判別部２００４は、フルカラー画像かどうかの判定を行う。

図３１に、上記画像処理装置による画像処理方法のフローチャートを示し、図３２に、色相補正処理のフローチャートを示す。
図３１に示す画像処理方法について説明する。画像処理方法では、まず色数を判別し（Ｓ１００）、色数が「フルカラー」を示すしきい値Ｔｈ１を越えているかを判定する（Ｓ１０１）。フルカラーであればＳ１０２に進み、フルカラーでなければ本処理を終了する。
Ｓ１０２ではベタ画像部判別を行い、Ｓ１０３ではベタ画像部の色相ｈ、明度ｖ、彩度ｓの各ヒストグラムＨ（ｈ）、Ｈ（ｖ）、Ｈ（ｓ）を作成する。さらに、ヒストグラムの各値がしきい値Ｔｈ２を越えているかを判定する（Ｓ１０４）。判定結果が肯定的である場合、全ての値についての判定が終了するまで判定が行われる（Ｓ１０５）。なお、図３１では、色相ｈ、ヒストグラムＨ（ｈ）のみについて図示しているが、Ｈ（ｖ）、Ｈ（ｓ）についても判定が行われる。全ての値について判定が行われた場合（Ｓ１０５）、しきい値を超えているＨ（ｈ）等が複数あるかが判定される（Ｓ１０６）。

この判定結果が肯定的である場合、それらが前景もしくは背景を成しているか、又は、前景、背景のいずれでもない他の領域に属するかを判定する（Ｓ１０７）。この判定結果が肯定的である場合、図３２に示す色補正処理Ｓ１０８を実施する。Ｓ１０１、Ｓ１０４、Ｓ１０６、Ｓ１０７のいずれかの判定結果が否定的であれば、本処理は実施されない。このような処理により、前景色と背景色の占める面積がある所定の大きさ以上の場合に該当する色補正処理を行い、それ以下の場合には補正を実施しないようになる。
図３２に示す色補正処理について説明する。
まず、背景色の色相（ｈａ）を抽出し（Ｓ２００）、ｈａの色差軸方向の補正レベルΔｈａを抽出する（Ｓ２０１）。次に、Ｓ２０２のように前景色の色相（ｈｆ）を抽出し、ｈｆ＋Δｈａを前景色の新たな色相ｈｆとする（Ｓ２０３）。

このような処理を行うことで、上記従来の技術では、色相対比現象により前景部が背景部の補正方向に色みを帯びる影響を相殺し、忠実な色みの再現を行うことを目的としている。
この従来の技術では、所定の画素サイズを持ち、かつある色相領域に含まれるベタ画像領域を正確に抽出すること、およびそれが前景か背景どうかの判定を正確に行うことが必要となる。
特開２００１−２９２３３３号公報

上記従来の画像処理手法では、色相、彩度、明度ヒストグラムによる前景と背景の抽出処理が必要である。その抽出処理時には、画素面積による判定が含まれている。このため、前景と背景とを抽出するためには、前景と背景とはある程度の画素面積を持つ必要がある。このため、従来の技術は、自然画像での抽出には不向きな場合が多い。また、抽出処理においても、抽出誤差を避けることはできず、境界等で補正誤りを発生することがある。さらに、抽出された背景内で色を補正する際の補正量は、背景内で一律に設定されている。このため、変化している背景の場合、場所によっては過剰補正することがあり、そのための抑制処理を必要とする。
よって、従来の画像処理方法に対しては、画像信号に対してより簡易に、自然な色補正を行うことが求められている。

そこで、本発明は、より自然に画像の色補正を行うとともに、簡易な構成を用いた画像処理方法を実現することを目的とする。

発明１は、入力された画像信号の色情報補正を行う画像処理方法であって、情報算出ステップと、特性算出ステップと、色情報補正ステップと、出力ステップとを備えるものである。情報算出ステップは、画像信号の色情報を算出する。特性算出ステップは、画像信号により構成される２次元画像領域に含まれる第１の領域の色情報と、第１の領域の周囲に存在する第２の領域の色情報とを対比し、対比量を算出する。色情報補正ステップは、特性算出ステップで算出した対比量を用いて、第１の領域の色情報を第２の領域の色情報との対比が強調される方向に補正する。出力ステップは、補正された第１の領域を含む画像信号を出力する。
特性算出ステップは、例えば、対象とする画素又は領域の色情報を、その周囲の領域内の色情報を代表する周囲色情報と比較する色対比処理含む。第１の領域は、１つ画素でも、複数の画素からなる領域であってもよい。第１の領域が１つの画素である場合、第２の領域は、その画素の周辺に存在する画素で、例えば、その画素に上下左右に隣接する画素である。第１の領域が複数の画素からなる領域である場合、第２の領域は、その領域の周辺に存在する領域で、例えば、その領域の上下左右に隣接する複数画素からなる領域である。

この発明では、対象画素又は対象領域の色情報（色差、彩度、色相等）と、対象画素又は対象領域の周囲領域内（例えば視野領域内）の色情報を代表する代表色情報とを比較した色対比処理をもとに対象画素又は対象領域の色情報を補正することなどが可能となる。この発明では、色対比を強調する方向に補正を行うので、人間の視覚特性に適した色情報補正を行うことができる。さらに、物体の抽出処理を行う必要がなく抽出誤差の影響を受けない。このため、簡易な構成で人間が視覚特性に適した色情報補正処理を実現することができる。
発明２は、発明１であって、それぞれ少なくとも１つの画素を含み、第１の色情報補正の対象となる複数の対象領域を選択する領域選択ステップをさらに備えるものである。情報算出ステップは、入力された画像信号の色情報と明るさ情報を算出する。特性算出ステップは、領域選択ステップで選択された複数の対象領域の色情報と明るさ情報とを、選択された対象領域の周囲に存在する複数の周囲領域の色情報と明るさ情報とのそれぞれと対比し、対比量を算出する。色情報補正ステップは、第１の色情報補正ステップと第２の色情報補正ステップを有している。第１の色情報補正ステップは、特性算出ステップで算出した対比量を用いて、選択された対象領域の周囲に存在する複数の周囲領域との対比が強調される方向に補正する。第２の色情報補正ステップは、選択された対象領域以外の領域に対して、第１の色情報補正に関する情報を用いて、第２の色情報補正を行う。出力ステップは、第１の色情報補正ステップと第２の色情報補正ステップとで補正された領域を含む画像信号を出力する。

特性算出ステップは、例えば、対象とする画素の明るさ情報と色情報とを、その周囲の領域内の明るさ情報と色情報とを代表する周囲明るさ情報と周囲色情報の各々と比較する明るさ対比処理と色対比処理とを含む。
この発明の一例では、所定の基準により複数の画素を選択する。そして、選択された画素の色情報（色差、彩度、色相等）と、その周囲に設定された周囲領域内（例えば、視野領域内）の色情報を代表する代表色情報とを比較して得られた色対比情報をもとに、選択された画素の色情報を補正する。次に、選択された画素の周囲画素に対して、例えば、基準画素との色空間内での距離に応じて基準画素の色情報をその周囲の画素へ伝播させる処理（カラリゼーション処理）などを行い、画像全体の色情報の補正を行う。
またこの発明の別の一例では、対象画素の明るさ情報と対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の明るさ情報を代表する代表明るさとの比較により得られた明るさ対比情報を求める。また、対象画素の色情報（色差、彩度、色相等）と対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の色情報を代表する代表色情報の比較により得られた色対比情報を求める。さらに、この２つの対比情報をもとに、色情報補正を実施する画素を決定する。さらに、決定された画素に対して、色対比情報をもとに色情報補正を行い、補正された複数の画素を基準画素として、その周囲の画素に色情報の伝播を実施する処理などを行い、画像全体の色情報の補正を行う。

また、発明２は、画素を単位とした処理であってもよいし、画像を複数に細分化したブロックを単位とした処理であってもよい。ブロックを単位とする場合、発明２は、画像を細分化する画像細分化ステップとをさらに備えていてもよい。この場合、画素毎の処理に比して、処理量を削減することが可能となる。
以上の発明２では、色対比により人間の関心が高いと考えられる領域の色情報補正ができる。さらに、例えば、カラリゼーション処理により画像全体のバランスを保持したままで、画像全体の色情報補正を行うことができる。このため、境界における色情報補正誤差を発生することなく、高精度な色情報補正を実現することができる。
発明３は、発明２であって、領域選択ステップは、第１の色情報補正の対象とする領域の領域位置より所定の間隔幅に位置する領域を選択するステップを含むことを特徴とする。

発明４は、発明２であって、領域選択ステップは、各領域の明るさ情報と色情報とに関する視覚特性情報を使って、または明るさ情報のみに関する視覚特性情報を使って、第１の色情報補正の対象となる複数の対象領域を選択するステップを含むことを特徴とする。
発明５は、発明２であって、第２の色情報補正ステップは、第１の色情報補正ステップで補正された複数の対象領域の色情報をもとに、複数の対象領域の周辺領域に色情報を順次伝播させていくことで周辺領域の色情報の補正を行うことを特徴とする。
発明６は、処理モード受付ステップと、画像処理実行ステップと、表示ステップとを備えるものである。処理モード受付ステップは、入力手段による処理モードの選択を受け付ける。画像処理実行ステップは、処理モード受付ステップで得られた処理モードに応じて、発明１又は発明２の画像処理方法を実行する。表示ステップは、画像処理実行ステップにより出力される色情報補正後の画像信号を表示手段に表示する。

この発明により、例えば、色情報補正の効果をユーザが表示デバイスなどで確認しつつ、色情報補正の強度などの処理モードを選択することが可能となる。このため、個々のユーザに対応して視認性を向上させる色情報補正を行うことが可能となる。
発明７は、環境光検出ステップと、処理モード決定ステップと、画像処理実行ステップと、表示ステップとを備えるものである。環境光検出ステップは、色情報補正後の画像信号を表示する表示手段に照射される環境光を検出する。処理モード決定ステップは、環境光検出ステップが検出する環境光に応じて、処理モードを決定する。画像処理実行ステップは、処理モード決定ステップで決定された処理モードに応じて、発明１又は発明２の画像処理方法を実行する。表示ステップは、画像処理実行ステップにより出力される色情報補正後の画像信号を表示手段に表示する。

この発明により、例えば、センサ等の環境光検出手段で検出された環境光レベル（使用環境でのコントラスト比でもよい）をもとに、色情報補正の強度を制御することが可能となる。すなわち、機器が使用されている環境下での環境光の影響を考慮して自動的に色情報補正の強度を変えることが可能となる。さらに、発明６の処理モード受付ステップを備えれば、使用環境に応じて自動的に色情報補正の強度を変えるとともに、表示デバイスなどで色情報補正の効果を確認し、ユーザが再度補正強度を選択することなどが可能となる。
発明８は、発明６であって、処理モード受付ステップは、色情報を補正する際の強度を、予め設定された複数の強度より選択することを特徴とする。
発明９は、発明７であって、処理モード決定ステップは、環境光検出ステップで得られた環境光の強度が所定のしきい値を超える場合に、色情報を補正する処理を有効とさせるように動作することを特徴とする。

発明１０は、発明７であって、処理モード決定ステップは、環境光検出ステップで得られた環境光の強度に応じて、所定の関数により色情報を補正する強度を変化させるように動作することを特徴とする。
発明１１は、発明７であって、処理モード決定ステップは、環境光検出ステップで得られた環境光の時間的変動に応じて、所定の関数により色情報を補正する強度を時間的に変化させるように動作することを特徴とする。
発明１２は、発明７であって、処理モード決定ステップは、表示手段の表示領域に含まれる複数の領域において、環境光検出ステップで得られた環境光の強度の変動に応じて、色情報を補正する強度を表示領域に含まれる複数の領域ごとに制御することを特徴とする。

発明１３は、発明１であって、色情報補正は、色対比現象を発生する所定のパターンの大きさの変動に応じて、色情報補正の強度が増減するように動作することを特徴とする。
この発明により、例えば、背景と色彩が異なるドーナッツ状パターンＡ（同心円２つから構成されるパターン）と、背景とドーナッツ状パターンの色彩はそれぞれ同じで、パターンＡより大きさが大きく、かつ、パターンＡの形状と相似形であるパターンＢとで、色情報補正の強度を変化させることができる。これにより、小さな領域で色彩等の変化が大きな領域に対しては、視覚特性に適した強度の強い色情報補正を行うことができ、大きな領域で色彩等の変化が少ない領域に対しては強度の弱い色情報補正を行うことができる。
発明１４、１５は、画像処理装置であって、発明１、２に記載の画像処理方法と同様の効果を奏する。

発明１６、１７は、画像処理プログラムであって、発明１、２に記載の画像処理方法と同様の効果を奏する。
発明１８、１９は、集積回路であって、発明１、２に記載の画像処理方法と同様の効果を奏する。

本発明の画像処理方法、表示画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路により、より自然に画像の色情報補正を行うとともに、簡易な構成を用いた画像処理を実現することが可能となる。

以下、本発明の最良の形態としての第１〜第１１実施形態について説明する。
第１実施形態では、画素における色対比情報を用いて色補正を実施する。
第２実施形態では、所定の方法で選択された画素における色対比情報を用いて色補正を行う。さらに、その補正後の色情報を有する選択された画素を基準画素として周囲画素に対する伝播処理を行い、周囲画素の色情報補正を行う。これにより、画像全体の色補正を実施する。
第３実施形態では、各画素における色対比情報を用いてまず補正する画素を選択し、その選択された画素の色補正を行う。さらに、その補正後の色情報を有する選択された画素を基準画素として周囲画素に対する伝播処理を行い、周囲画素の色情報補正を行う。これにより、画像全体の色補正を実施する。

第４実施形態は、第２実施形態の変形例であり、画素を処理単位として色対比処理と伝播補正処理とを実施するのではなく、細分化されたブロックを処理単位として色補正をおこなう。
第５実施形態は、第３実施形態の変形例であり、画素を処理単位として色対比処理と伝播補正処理とを実施するのではなく、細分化されたブロックを処理単位として色補正を行う。
第６実施形態では、対象画像の明るさ対比情報と色対比情報とにより人間が明るく感じる領域を推定する。さらに、その領域における色情報のグレー軸（無彩度軸）からのずれ量を画像全体のカラーバランス補正に利用する。
第７実施形態では、第６実施形態のカラーバランス補正後に、第１実施形態の色補正処理を行う。

第８実施形態では、第６実施形態のカラーバランス補正後に、第１実施形態の色補正処理を行う。特に、第８実施形態は、カラーバランス補正が色補正の効果を考慮して推定される点に特徴を有している。
第９実施形態では、第１実施形態から第８実施形態の画像処理を採用し、その補正レベル等の処理モードをユーザが選択する。
第１０実施形態では、第１実施形態から第８実施形態の画像処理を採用し、その補正レベル等の処理モードを環境光検出により自動的に制御する。
第１１実施形態では、第１実施形態から第８実施形態の画像処理を採用し、その補正レベル等の処理モードを環境光検出により自動的に制御するとともに、その結果をもとにユーザがさらに処理モードを選択する。

［第１実施形態］
図１から図６を用いて、本発明の第１実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１００について説明する。
図１に、本発明の第１実施形態である画像処理装置１００の構成を示す。また、図３に、本発明の第１実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。
画像処理装置１００に画像データｖＩｉが入力されると、色情報算出手段１は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ１１）。ここでは、画像データｖＩｉを、色情報として扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。

色特性算出手段２では、色情報算出手段１で得られた色情報ｖＣｉのうちで、補正対象である色情報に関する色特性情報データが算出される（Ｓ１２）。例えば、色情報ｖＣｉがＨＳＶ系に変換されている場合で、彩度Ｓの補正を行う場合は、彩度Ｓに関する色特性情報データが算出される。なおここでは、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとする。色特性算出手段２は、図２に示すように、各画素に対して、周辺代表色抽出手段６と色対比情報算出手段７とを経て色特性情報データＲｎ＿ｉを生成する。まず、周辺代表色抽出手段６は、対象画素Ｐｉの周辺領域内における代表色情報ＡＣｉを算出し（Ｓ１５）、色対比情報算出手段７は、対象画素Ｐｉの色情報Ｃｉと代表色情報ＡＣｉとから色特性情報データＲｎ＿ｉを生成する（Ｓ１６）。
さらに、色情報補正手段３は、対象画素Ｐｉの色情報Ｃｉを補正する（Ｓ１３）。出力手段４は、補正後の色情報と、補正対象でない色情報とを所定の方法で出力する（Ｓ１４）。以上の処理は、画像データｖＩｉのすべての画素について行われる。

以下、色特性算出手段２、色情報補正手段３、出力手段４の処理について詳しく説明する。
この色特性情報データＲｎ＿ｉとしては、多くのものが考えられるが、ここではより人間の見た目に近い（視覚特性に適した）補正を実現するために、人間の視覚特性に対応した情報を色特性情報データＲｎ＿ｉとして用いる。人間の視覚特性には多くのものがあるが、ここでは、色特性に関する色対比特性を用いる。なお、これ以外にも明るさ対比や、大きさ・画素特性等も用いることができる。
図４は色対比特性の概念を模式的に示したものである。図４では、灰色背景の中に中心部分が開いた赤と青との２つの円が示されている。なお、２つの円の中心領域は、灰色背景と同じものである。これらの円を星印で示す視線位置に注目して観察すると、赤色円の中心はやや青く感じられる傾向にあり、青色円の中心はやや赤く感じられる傾向にあることが視覚心理より明らかにされている。この現象は、人間の色対比特性により生じる現象である。色対比特性とは、対象物体の周囲が異なる彩度や色相の領域で取り囲まれる場合に、対象物体の彩度や色相の見た目（視覚）が影響を受けることである。具体的には、以下の（ａ）と（ｂ）との影響が知られている。
（ａ）異なる色相の領域が取り囲む場合、対象物体に周囲の色相の補色が加わって感じられる。
（ｂ）対象物体よりも周囲を取り囲む領域の彩度が高い場合、対象物体の彩度は低く感じられる。逆に、対象物体よりも周囲を取り囲む領域の彩度が低い場合、対象物体の彩度は高く感じられる。

本発明では、この色対比特性を用いて、画素の色情報の補正を行うことで、より人間の視覚に近い印象を与える色補正を行う。
例えば、色情報ｖＣｉのうち画素Ｐｉの彩度Ｓｉを補正対象である色情報Ｃｉとした場合、図５に模式的に示すように彩度補正を行うことで人間の視覚に近い印象を与える色補正を行うことができる。図５に示す彩度補正とは、対象画素Ｐｉの彩度Ｓｉがその周囲の代表彩度ＳｉＲよりも低い場合（例えば、対象画素Ｐｉが左円の中心部分にある場合）には、対象画素Ｐｉの彩度Ｓｉを減少させ、対象画素Ｐｉの彩度Ｓｉがその周囲の代表彩度ＳｉＲよりも高い場合（例えば、対象画素Ｐｉが右円の中心部分にある場合）には、対象画素Ｐｉの彩度Ｓｉを増加させる補正である。なお、対象画素Ｐｉの彩度Ｓｉは、対象画素の彩度Ｓｉと周囲の代表彩度ＳｉＲとの比に応じて減少あるいは増加される。

対象画素Ｐｉの周囲の代表彩度ＳｉＲとしては、視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の彩度の重み付き平均が計算される。なお、画素領域Ωｉは、例えば、対象画素Ｐｉを中心とする円領域であり、その半径は、例えば、入力される画像データｖＩｉのサイズ（水平方向サイズあるいは垂直方向サイズ）の１／９〜１／４である。なお、周囲の代表彩度ＳｉＲとしては、これ以外にも、視野領域内の彩度ヒストグラムでもっとも度数の多い彩度値、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表彩度、視野領域内の平均彩度値等を用いることも可能である。この場合、各画素Ｐｉにおける彩度以外の色情報は保存し、変更しない。これにより、画像のバランスを保つことができる。
また例えば、色情報ｖＣｉのうち画素Ｐｉの色相Ｈｉを補正対象である色情報Ｃｉとした場合、図６に模式的に示すように色相補正を行うことで人間の視覚に近い印象を与える色補正を行うことができる。図６に示す色相補正とは、対象画素Ｐｉの色相Ｈｉよりも周囲の代表色相ＨｉＲが赤い場合（例えば、対象画素Ｐｉが左円の中心部分にある場合）には、対象画素Ｐｉの色相Ｈｉを青方向へ補正する。なお、青方向への補正では、対象画素Ｐｉの色相Ｈｉと代表色相ＨｉＲとの差分に応じて補正量が決定される。この際、色相以外の色情報は保存する。また色相に関しても、急激な変化を起こすことの弊害を抑制するために、色相の移動量（補正量）を抑制することで画像バランスをできるだけ保持することができる。一方、対象画素Ｐｉの色相Ｈｉよりも周囲の代表色相ＨｉＲが青い場合（例えば、対象画素Ｐｉが右円の中心部分にある場合）には、対象画素Ｐｉの色相Ｈｉを赤方向へ補正する。

対象画素Ｐｉの周囲の代表色相ＨｉＲとしては、視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色相の重み付き平均が計算される。画素領域Ωｉは、上記したのと同様に決定する。なお、周囲の代表色相ＨｉＲとしては、これ以外にも、視野領域内の色相ヒストグラムでもっとも度数の多い色相値、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表色相、視野領域内の平均色相値等を用いることも可能である。なお、ここでは色相Ｈｉを所定の方向へ動かす、と説明したが、ＹＣｂＣｒ色空間における色差ＣｂとＣｒを動かすことでも色相を動かすことは可能である。この場合、定性的には、色差Ｃｂを大きくすることで青成分が発生し、Ｃｒを動かすことで赤成分が発生する。
この考え方をもとに、色特性算出手段２は、各画素の色特性情報データＲｎ＿ｉを算出し、色情報補正手段３で各画素の対象色情報Ｃｉを補正する。その一例は、（数式１）と（数式２）とで表現できる。

色情報補正手段３は、（数式１）に従って対象画素Ｐｉの対象色情報Ｃｉの補正を実行する。（数式１）において、Ｃｉ＿ｎｅｗは、色対比により補正された画素Ｐｉの対象色情報、ＡＣｉは、画素Ｐｉの周囲の代表色情報（例えば、代表彩度ＳｉＲや代表色相ＨｉＲなど）であり、周辺代表色抽出手段６により算出される情報、ηは、正定数であるとする。また（数式２）において、ＴＨ０、Ｇｍａｘは、所定の正定数であり、μは、０＜μ＜１を満たす所定の正定数である。
この（数式１）で、Ｃｉ／ＡＣｉは、色対比情報算出手段７で算出される色特性情報データＲｎ＿ｉである。

なお、（数式１）と（数式２）とを用いた補正以外にも、（数式３）と（数式４）とを用いた補正を行ってもよい。

ここでは色特性情報データＲｎ＿ｉを（Ｃｉ−ＡＣｉ）で定義して、その色対比を所定の関数で変換して得られた値を強調することで対象画素Ｐｉの色情報Ｃｉの補正を実行する。
なお、（数式４）で、ＴＨ１、ＴＨ２、Ｆｍａｘ、Ｆｍｉｎ、αはそれぞれ、ＴＨ１＞ＴＨ２、ＴＨ１＞０、ＴＨ２＞０、Ｆｍａｘ＞０．０、Ｆｍｉｎ＜０．０、０＜α＜１．０を満足する定数であるとする。この式は、補正量の上下限を設定するとともに、色特性情報データＲｎ＿ｉを線形的に抑えるものである。この式に関しても、これに限らず、他の線形関数や非線形関数を用いることも可能である。

なお、（数式４）におけるＦ１（ｘ）とＦ２（ｘ）はｘの定義領域が連続になるように決定される非線形関数を示し、例えば、Ｆ１（ｘ）やＦ２（ｘ）が２次関数の場合、領域（ＴＨ２≦ｘ≦ＴＨ１）の関数Ｆ１がＦ１（ｘ）＝（（α・ＴＨ２−Ｆｍａｘ）／（ＴＨ２−ＴＨ１）²）・（ｘ−ＴＨ１）²＋Ｆｍａｘ、（−ＴＨ２≦ｘ≦−ＴＨ１）の関数Ｆ２がＦ２（ｘ）＝（−（α・ＴＨ２＋Ｆｍｉｎ）／（−ＴＨ２＋ＴＨ１）²）・（ｘ＋ＴＨ１）²＋Ｆｍｉｎとなる。
補正制御変数５（図１参照）は、（数式１）から（数式４）で使用する正定数等を保持するテーブルデータである。なお、このテーブルデータを制御することで補正強度を変えることも可能である。
最後に、出力手段４は、色情報補正手段３で得られた各画素Ｐｉの対象色情報Ｃｉの補正値Ｃｉ＿ｎｅｗと、それ以外の色情報ｖＣｉ（補正対象とならない色情報）とをそのまま出力する。なお、出力手段４は、色情報補正手段３で得られた各画素Ｐｉの対象色情報Ｃｉの補正値Ｃｉ＿ｎｅｗとそれ以外の色情報ｖＣｉとを、使用機器により扱うことのできる画像フォーマットに変換して処理画像データを出力してもよい。

このように色対比を用いて各画素の対象色情報のみを補正することで、領域抽出することもなく簡易な構成で色補正を行うことが可能となり、人間の視覚により近い印象を与えることのできるような色補正を行うことが可能となる。さらに、領域抽出することもないため、領域抽出誤差により生じる色補正誤差の発生を抑制することもできる。
上記実施形態では、対象色情報が１つの場合について説明したが、例えば、彩度・色相の２つの色情報の補正を組み合わせることも可能である。この場合、それぞれの色情報からそれぞれの色特性情報データが求められ、色情報補正手段３は、対応する色情報に適した補正関数を設定し、色補正を行う。
なお、（数式１）と（数式２）とは、（数式５）と（数式６）のようにすることも可能である。

ここで、０．０≦Ｈｍａｘ≦１．０、０．０≦ＴＨ３、０．０≦η≦１．０、０．０≦σ≦１．０、σ×ＴＨ３＝Ｈｍａｘである。
この場合、補正対象画素が灰色のように無彩色の場合、補正はされない（本来、無彩色に着色はされない）。一方、有彩色で対比の発生する色を画素が持つ場合には補正が実施される。
（数式５）におけるＨ（Ｃｉ／ＡＣｉ−１．０）の部分は、色特性情報データ（色対比量）Ｒｎ＿ｉの変化量により、補正前のＣｉに対する変化割合に相当する。そのため、補正前の色データＣｉの大きさに連動して補正することが可能となるため、例えば、低濃度の色データが色対比で急激に大きく変化することを抑制することができ、より自然な色対比による補正を可能とする。

［第２実施形態］
図７から図１１を用いて、本発明の第２実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置２００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図７に、本発明の第２実施形態である画像処理装置２００の構成を示す。また、図８に、色情報伝播補正手段１４の構成を示す。また、図９に、本発明の第２実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。

画像処理装置２００に画像データｖＩｉが入力されると、情報算出手段１０は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ２１）。なお、この色情報には輝度等の明るさに関する情報Ｋｉも含まれることとする。ここでは、画像データｖＩｉを、色情報として扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。
画素選択手段１１では、特性算出手段１２で処理する画素を所定の手順で選択する（Ｓ２２）。画像処理装置２００では、画像全体の画素を色対比で補正するのではなく、注目すべき選択画素のみを色対比で補正した後、残りの画素を補正された選択画素の色情報に基づいて補正する。これにより、画像全体のバランスをできるだけ保持しつつ、より高精度な色補正を行うことが可能となる。なお、画素の選択基準は、扱うべき画像内容に応じて予め設定するものであるが、画像を水平方向にＸＳＴＥＰ分割、垂直方向にＹＳＴＥＰ分割した場合の各ブロックの中心画素を選択するような簡単な基準であってもよい。この場合、処理時間と処理精度に応じてＸＳＴＥＰやＹＳＴＥＰを決める必要がある。以上の画素選択手段１１で選択された画素群を選択画素群Φとする。

特性算出手段１２では、情報算出手段１０で得られた色情報ｖＣｉのうちで、選択画素群Φ内の画素Ｐｉの色情報を用いて、色特性情報データＲｎ＿ｉ（Ｐｉ∈Φ）を算出する（Ｓ２３）。なお、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとする。
特性算出手段１２は、色特性算出手段２（図１参照）と同様にして、色情報と明るさ情報とに関して色特性情報データＲｎ＿ｉを生成する。このデータは、本発明の第１実施形態と同様の処理で生成される。例えば、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉとの比を用いて、色特性情報データＲｎ＿ｉを生成する。
選択画素色情報補正手段１３では、選択画素群Φ内の画素Ｐｉに対して、特性算出手段１２で生成した色特性情報データＲｎ＿ｉを用いて、補正対象の色情報Ｃｉの色補正を実施する（Ｓ２４）。この手法については、本発明の第１実施形態と同様である。

次に、色情報伝搬補正手段１４は、選択画素色情報補正手段１３で得られた選択画素群Φ内の画素Ｐｉを使って、残りの画素Ｐｊの色情報Ｃｊ（Ｐｊは選択画素群Φに属しない）に対する色補正を実施する（Ｓ２５）。この処理として、多くの手法が考えられるが、ここでは、カラリゼーション処理を適用する。カラリゼーション処理とは、予め設定された数点の色情報をもとにモノクロ画像データに、画像全体のバランスを壊さないよう着色する処理である。
色情報伝搬補正手段１４は、この処理を利用して、選択画素色情報補正手段１３で補正された色情報Ｃｉを初期設定点（以下、基準画素という）として、画像全体のバランスを崩さす色補正を実施する。色情報伝搬補正手段１４は、図８に示すように、基準設定手段１６、周囲色情報算出手段１７、伝播判定手段１８より構成される。

図１０を用いて伝搬処理について説明する。
なお、図１０では、画素Ｐｉに対して輝度Ｙｉ、色差Ｃｂｉ、Ｃｒｉが算出されており（Ｓ２８）、色補正の対象は、色差Ｃｂｉ、Ｃｒｉであるものとする。さらに、選択画素群Φ内の画素Ｐｉにおける補正後の色差（以下、補正色差という）を色差Ｃｂａｉ、Ｃｒａｉとする。
基準設定手段１６は、選択画素群Φ内の画素Ｐ０を基準画素として設定する（Ｓ２９および図１０（ａ）参照）。
周囲色情報算出手段１７は、基準画素Ｐ０の周囲４画素Ｐｊに対して、基準画素Ｐ０の補正色差Ｃｂａ０、Ｃｒａ０を伝播する（Ｓ２９〜Ｓ３１および図１０（ｂ）参照）。
この処理では、周囲の各画素Ｐｊの輝度Ｋｊは保存される。よって、この輝度Ｋｊを満足する画素Ｐｊの色差候補Ｃｂｊ＿ｌ，Ｃｒｊ＿ｌのうち、基準画素Ｐ０の補正色差Ｃｂａ０、Ｃｒａ０との差が最も小さくなる色差の組Ｃｂａｊ，Ｃｒａｊを求める（Ｓ３０）。

この色差候補のきめ方はいろいろな方法がある。通常、輝度Ｋｊ、色差Ｃｂｊ＿ｌ、Ｃｒｊ＿ｌは８ビットの整数で定義されるので、簡単な場合には輝度Ｋｊへの線形変換式を満足する色差Ｃｂｊ＿ｌ，Ｃｒｊ＿ｌの整数の組合わせを色差候補とする。この場合、処理時間が膨大する可能性があるので、所定の誤差関数Ｅを設けて、輝度Ｋｊへの線形変換式が成立する条件下で、その誤差関数Ｅを小さくする色差の組み合わせを候補とする手法も考えられる。
この４画素への伝播処理が終わると、さらに、その周囲の画素Ｐｊ２への伝播を実施する（図１０（ｃ）参照）。このような伝播処理を基準画素Ｐ０のすべてを基準として実施する。なお、複数の基準画素からの色情報が伝播した場合、その補正対象となる画素では、伝播された複数の色情報との差が最も小さくなるような色情報が選択される。

伝搬判定手段１８は、図１０（ｄ）に示すように、伝播対象となる画素における補正色情報Ｃｂａｊ、Ｃｒａｊと、それぞれの画素の伝搬前の色情報Ｃｂｊ，Ｃｒｊとの差を所定のしきい値と比較する。具体的には、それぞれの色情報の差が所定のしきい値ＴｈｒｅｓＣｂ、ＴｈｒｅｓＣｒより大きい場合は、この画素（例えば、Ｐｘ）に基づく伝播を終了するとともに、補正色情報Ｃｂａｊ、ＣｒａｊをＣｂａｊ＝Ｃｂｊ、Ｃｒａｊ＝Ｃｒｊとする。すなわち、伝搬判定手段１８は、伝播停止判定を実施する。
以上の処理を全ての画素の色情報が決定するまで行う（Ｓ３１）。
さらに、伝搬判定手段１８は、色補正および伝搬処理されたＹＣｂＣｒ空間データをＳ２８の処理を行う前の色空間に変換する。
また、出力手段４は、このようにして色補正された各画素の色情報を、第１実施形態で説明したのと同様に処理して出力する（Ｓ２６〜Ｓ２７）。

こうすることで、各画素の輝度（明るさ）が保持されるとともに、基準画素とその近傍の画素との輝度が近い場合に、近傍の画素の色情報は、基準画素の色情報に近い値に補正される。さらに、伝播停止判定を実施することにより、伝搬の前後で色情報が大きく変化しないことが担保されている。こうすることで、画像全体のバランスを崩さないで、色対比により補正された色情報を伝播させ、色補正処理を行うことが可能となる。
なお、伝播処理は、図１１に示すような手法であってもよい。
まず、選択画素群Φ内の基準画素Ｐ０が設定される（図１１（ａ）参照）。
次に、基準画素Ｐ０の周辺領域３３において、基準画素Ｐ０の色情報Ｃｂ０、Ｃｒ０は、輝度Ｙ０を変数とした線形変換式で近似できると仮定し、周辺領域３３において同じ変換式を適用する。ここで、線形変換式は、複数の基準画素Ｐ０の色情報Ｃｂ０、Ｃｒ０を色補正した補正色情報Ｃｂａ０、Ｃｒａ０と、線形変換式で近似された各基準画素の色情報との差が小さくなるように決定される。

線形変換式における未定係数は、基準画素Ｐ０の周辺領域３３のみで定義されるため、基準画素Ｐ０が多くなるほど、調整しなければならない線形変換式の係数は多くなる。そこで、具体的には、線形変換式は、最小二乗法や遺伝的アルゴリズム等による多変量係数の非線形推定手法等を用いて決定される。
なお、複数の基準画素Ｐ０、Ｐ１の周辺領域に含まれる画素３４では（図１１（ｃ）参照）、色情報は、複数の基準画素Ｐ０、Ｐ１に対する線形変換式を平均した値に決定される。
以上のように、色対比で補正されていない画素の色情報は、各画素が属する基準画素の周囲領域に対応する線形変換式に、各画素の輝度を適用して算出される。
この手法では、各画素の輝度は保存されるとともに、基準画素の近傍の画素で輝度が近い画素ほど近い色情報が設定される。また、基準画素での色情報が小さくなるように周辺領域内の線形変換式の係数等が決定されるとともに、周辺領域内ではゆるやかな変動をする１次線形式を用いた場合、輝度変動の少ない領域での色情報の変動を抑制することが可能となる。以上により、画像全体のバランスを崩さないで、色対比により補正された色情報を伝播させ、色補正処理を行うことが可能となる。

なお、制御変数１５は、画素選択の際のパラメータ、選択画素の補正のためのパラメータ、色情報伝搬のためのパラメータなどを格納する。
［第３実施形態］
図１２から図１３を用いて、本発明の第３実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置４００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図１２に、本発明の第３実施形態である画像処理装置４００の構成を示す。また、図１３に、本発明の第３実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。

画像処理装置４００に画像データｖＩｉが入力されると、情報算出手段１０は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ４１）。なお、この色情報には輝度等の明るさに関する情報Ｋｉも含まれることとする。ここでは、画像データｖＩｉを、色情報として扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。
特性算出手段１２では、情報算出手段１０で得られた色情報ｖＣｉのうちで、補正対象である色情報に対する特性情報（色対比情報ＲｎＣ＿ｉ）と、明るさに対する特性情報（明るさ対比情報ＲｎＫ＿ｉ）が算出される。ここでは、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとし、明るさ情報をＫｉとする。

特性算出手段１２は、色特性算出手段２（図１参照）と同様に、画素Ｐｉの色情報と明るさ情報とに関して、色特性情報データＲｎ＿ｉ（色対比情報ＲｎＣ＿ｉ、明るさ対比情報ＲｎＫ＿ｉ）を生成する（Ｓ４２）。このデータについては、本発明の第１実施形態と同様の処理で生成する。つまり、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉとの比を用いて、色対比情報ＲｎＣ＿ｉを算出し、画素Ｐｉにおける輝度情報Ｋｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の輝度の重み付き平均ＡＫｉとの比を用いて、明るさ対比情報ＲｎＫ＿ｉを算出する。なお、明るさ対比情報ＲｎＫ＿ｉは、例えば、第１実施形態で色対比情報ＲｎＣ＿ｉを定義する式において、ＣｉをＫｉとし、ＡＣｉをＡＫｉとすることにより定義される。

第２画素選択手段４０は、このＲｎＫ＿ｉとＲｎＣ＿ｉとを用いて、画素Ｐｉに対して色対比現象を利用した色補正を行うか否かの判定を行い、色補正の対象となる画素領域を選択する（Ｓ４３）。この判定にはいろいろな方法があるが、ここでは、次の（数式７）を満足する画素を選択する。なお、（数式７）で、ＴｈＣ、ＴｈＫは、正定数であり、制御変数１５に格納される。

明るさ対比の絶対値が大きい領域に対して、人間の視覚特性は強いコントラストを感じる傾向がある。そして、色対比の値が１に近い画素は、ある程度色情報の変動が少ない画素領域に属する。この２つの事実を考慮して、本発明では、人間の視覚特性上関心が集まる領域であって、色情報の変化が比較的小さい領域を（数式７）を用いて選択し、色対比現象を利用した色補正を行うこととしている。
なお、色対比情報ＲｎＣ＿ｉを、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉとの差分で定義した場合、（数式８）を用いて画素の選択を行うのが良い。（数式８）では、色対比が０に近いことは、色情報の変動が少ないことを示す。

第３実施形態の特徴を以下に記載する。本発明の第２実施形態では、図７の画素選択手段１１が色対比現象を利用して色補正する画素を選定している。一方、第３実施形態では、より人間の関心が高い画素領域をまず選択し、その後色対比現象により色補正を行う（Ｓ４４）。そして、選択された画素を基準画素として、この基準画素の補正色情報をカラリゼーション処理により伝播処理し、周囲の画素へ色情報を伝播させることで色補正を実施する（Ｓ４５）。こうすることで、人間の関心が集まると考えられる画素での補正結果を利用して、画像全体のバランスをできるだけ保存しながら色補正を行うことができる。このため、全画素に対して色対比で補正した場合と比べて、画像中の物体の境界付近等での過剰な色補正を抑制することができる。

なお、出力手段４は、このようにして色補正された各画素の色情報を、第１実施形態で説明したのと同様に処理して出力する（Ｓ４６〜Ｓ４７）。
［第４実施形態］
図１４から図１５を用いて、本発明の第４実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置５００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図１４に、本発明の第４実施形態である画像処理装置５００の構成を示す。
画像処理装置５００は、画像分割手段５０、ブロック情報算出手段５１、処理ブロック選択手段５２、ブロック特性算出手段５３、選択ブロック色情報補正手段５４、色情報ブロック伝播補正手段５５、画素変換手段５６、出力手段４より構成される。

この発明の特徴は、本発明の第２実施形態の画像処理装置２００が画素単位で処理していたのに対して、図１５に概念的に示すようなブロック単位で処理を行う点にある。
より具体的には、画像処理装置５００では、画像分割手段５０が、入力される画像データをブロックに分割し、そのブロックを処理単位とする。
ブロック情報算出手段５１は、各ブロックの色情報として、図１５に示すように、各ブロック内を代表する代表色情報を算出する。具体的には、ブロック内の色情報の平均値、ヒストグラムで最も度数の多い値、クラスタリング等の統計的手法による値などを代表色情報として算出する。
画像処理装置５００は、ブロックｋ内の代表色情報ＢＣｋを、本発明の第２実施形態における画素の色情報Ｃｉと見なして、第２実施形態と同様の処理を行う。

なお、この場合、出力手段４で所定の画像フォーマットに変換する前に、画素変換手段５６では、ブロックｋ内の各画素の補正後の色情報を、ブロックｋの後のブロックｋ＋１と１つ下のブロックｋ＋Ｂｗｉｄｔｈ（縦方向に隣接するブロック）との補正された代表色情報値を用いた補間処理により算出する。ここでＢｗｉｄｔｈは、横方向のブロック数を表し、ブロック番号が画像左上から右方向へ順に一列につながって定義されているものとする。
なお、補間処理はこの方式に限定されるものではなく、ブロックｋの前のブロックｋ−１と、ブロックｋの上のブロックｋ−Ｂｗｉｄｔｈとの補正された代表色情報値を用いた補間処理も可能である。また、前後、上下４つのブロックと対象ブロックとの計５個のブロックの補正された代表色情報値を用いた補間処理も可能である。

なお、図１５では均一サイズの長方形ブロックを用いたが、画像内容に応じてブロックサイズや形状を変えても良い。
このような構成や方法により、画像サイズが大きい場合に必要とされる処理量を削減することができる。特に、分割されるブロック数を画像サイズにかかわらず固定にすることで、各ブロックの代表色情報に対する色補正処理の処理量の増減を抑制することができ、入力される画像サイズに対する処理時間の大幅な変動を抑えることができる。
［第５実施形態］
図１６を用いて、本発明の第５実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置６００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。

図１６に、本発明の第５実施形態である画像処理装置６００の構成を示す。
画像処理装置６００は、画像分割手段５０、ブロック情報算出手段５１、ブロック特性算出手段５３、ブロック選択手段６０、選択ブロック色情報補正手段５４、色情報ブロック伝播補正手段５５、画素変換手段５６、出力手段４より構成される。
この発明の特徴は、本発明の第３実施形態である画像処理装置４００が画素単位で処理していたのに対して、図１５に概念的に示すようなブロック単位で処理を行う点にある。
より具体的には、画像処理装置６００では、画像分割手段５０が入力される画像データをブロックに分割し、そのブロックを処理単位とする。
ブロック情報算出手段５１は、各ブロックの色情報として、図１５に示すように、各ブロック内を代表する代表色情報を算出する。具体的には、ブロック内の色情報の平均値、ヒストグラムで最も度数の多い値、クラスタリング等の統計的手法による値などを代表色情報として算出する。

画像処理装置６００は、ブロックｋ内の代表色情報ＢＣｋを、本発明の第３実施形態における画素の色情報Ｃｉと見なす。なお、第３実施形態では、画素単位の処理を行い、色対比による色補正を実施する画素を、画素の特性情報である明るさ対比情報、色対比情報、輝度を使って選択する。一方、本発明では、ブロック特性算出手段５３は、ブロックｋを代表する代表色情報ＢＣｋと代表輝度ＢＹｋを使って、明るさ対比情報と色対比情報を算出する。さらに、ブロック選択手段６０は、これらの情報を用いて色対比で補正する代表色情報を持つブロックを選択する。
また、出力手段４で所定の画像フォーマットに変換する前に、画素変換手段５６では、ブロックｋ内の各画素の補正後の色情報を、ブロックｋの後のブロックｋ＋１と１つ下のブロックｋ＋Ｂｗｉｄｔｈとの補正された代表色情報値を用いた補間処理により算出する。ここでＢｗｉｄｔｈは横方向のブロック数を表し、ブロック番号が画像左上から右方向へ順に一列につながって定義されているものとする。

なお、補間処理はこの方式に限定されるものではなく、ブロックｋの前のブロックｋ−１とブロックｋの上のブロックｋ−Ｂｗｉｄｔｈとの補正された代表色情報値を用いた補間処理も可能である。また、前後、上下４つのブロックと対象ブロックとの計５個のブロックの補正された代表色情報値を用いた補間処理も可能である。
なお、図１５では均一サイズの長方形ブロックを用いたが、画像内容に応じてブロックサイズや形状を変えても良い。
このような構成や方法により、画像サイズが大きい場合に必要とされる処理量を削減することができる。特に、分割されるブロック数を画像サイズにかかわらず固定にすることで、各ブロックの代表色情報に対する色補正処理の処理量の増減を抑制することができ、入力される画像サイズに対する処理時間の大幅な変動を抑えることができる。

［第６実施形態］
図１７から図１９を用いて、本発明の第６実施形態として、画素における色対比情報をもとにしたカラーバランス補正を行う画像処理方法及び画像処理装置７００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図１７に、本発明の第６実施形態である画像処理装置７００の構成を示す。また、図１８に、本発明の第６実施形態である画像処理方法の処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、デジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等、あるいは様々な環境下で使用される大型映像表示機器等へ搭載される。

画像処理装置７００は、情報算出手段１０、特性算出手段１２、推定画素選択手段７０、バランス量算出手段７１、バランス補正手段７２、出力手段４、推定制御変数７３より構成されている。情報算出手段１０は、画像データｖＩｉを所定の色情報へ変換する。特性算出手段１２は、変換された所定の色情報より、対象とする色情報に関する特性情報および明るさに関する特性情報を算出する。推定画素選択手段７０は、特性算出手段１２が算出した特性情報より、ホワイト点推定に使用できる推定画素を選択する。画素の選択に際しては、推定制御変数７３が格納するテーブルデータが用いられる。バランス量算出手段７１は、推定画素選択手段７０で得られた推定画素のグレー軸からのずれ量を算出する。バランス補正手段７２は、バランス量算出手段７１で得られたバランスずれ量を各画素の色情報のバランス補正に適用する。出力手段４は、バランス補正された画像を所定のフォーマットで出力する。

この装置に画像データｖＩｉが入力されると、情報算出手段１０は、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する（Ｓ５０）。なお、この色情報には輝度等の明るさに関する情報Ｋｉも含まれることとする。ここでは、画像データｖＩｉを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等の所定の色情報ｖＣｉに変換することとするが、画像データｖＩｉをそのまま扱うことも可能である。
特性算出手段１２では、情報算出手段１０で得られた色情報ｖＣｉのうちで、補正対象である色情報に対する特性情報（色対比情報ＲｎＣ＿ｉ）と、明るさに対する特性情報（明るさ対比情報ＲｎＫ＿ｉ）が算出される。なお、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとし、明るさ情報をＫｉとする。

特性算出手段１２は、色特性算出手段２（図１参照）と同様に、画素Ｐｉの色情報と明るさ情報とに関して、色特性情報データＲｎ＿ｉ（色対比情報ＲｎＣ＿ｉ、明るさ対比情報ＲｎＫ＿ｉ）を生成する（Ｓ５１）。このデータについては、本発明の第１実施形態と同様の処理で生成する。つまり、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の色情報の重み付き平均ＡＣｉ（代表色情報）との比を用いて、色対比情報ＲｎＣ＿ｉを算出し（Ｓ５７，Ｓ５９）、画素Ｐｉにおける輝度情報Ｋｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の画素の輝度の重み付き平均ＡＫｉ（代表輝度情報）との比を用いて、明るさ対比情報ＲｎＫ＿ｉを算出する（Ｓ５７，Ｓ５８）。なお、明るさ対比情報ＲｎＫ＿ｉは、例えば、第１実施形態で色対比情報ＲｎＣ＿ｉを定義する式において、ＣｉをＫｉとし、ＡＣｉをＡＫｉとすることにより定義される。

推定画素選択手段７０では、色対比情報ＲｎＣ＿ｉ、明るさ対比情報ＲｎＫ＿ｉ、輝度Ｋｉを用いて、人間が照明のように明るく感じる領域（ホワイト領域）に画素Ｐｉが属するかどうかの判定を行い、満足する場合にはその画素Ｐｉを選択する（Ｓ５２）。このような処理を全ての画素Ｐｉに対して行い、選択された画素の集合をホワイト領域Ψとする。この判定にはいろいろな方法があるが、ここでは、次の（数式９）を満足する画素を選択する。なお、（数式９）で、Ｔｈ０、Ｔｈ１、Ｔｈ２は正定数であり、推定制御変数７３に格納されている。

明るさ対比の絶対値が大きい領域に対して、人間の視覚特性は強いコントラストを感じる傾向がある。これに加えて明るさ対比が大きく、輝度が所定の値より高い場合には、人間がより明るい領域として感じると考えられる。さらに、色対比値が１に近い画素は、ある程度色情報の変動が少ない画素に属すると考えられる。これらの推察より、本発明では（数式９）を用いて、人間が明るく感じるとともに色情報変化が比較的小さい領域を、照明等のあるホワイト領域と見なしている。これは、光学的に鏡面反射領域をホワイト領域」として抽出することに相当する。
図１９を用いて、（数式９）により選択されるホワイト領域について説明を加える。図１９で対象画素が領域Ａｒ１にある場合には、対象画素は、ホワイト領域に属すると判定される。これは、対象画素の輝度が高く、周辺との明るさ対比も大きいためである。

一方、対象画素が領域Ａｒ２〜Ａｒ４にある場合には、対象画素は、ホワイト領域に属すると判定されない。具体的には、対象画素が領域Ａｒ２にある場合、対象画素の輝度は高いが、周辺との明るさ対比は小さい。また、対象画素が領域Ａｒ３にある場合、周辺との明るさ対比は大きいが、対象画素の輝度は低い。また、対象画素が領域Ａｒ４にある場合、対象画素の輝度が低く、周辺との明るさ対比も小さい。よって、対象画素がこれらの領域にある場合には、対象画素は、ホワイト領域に属すると判定されない。
なお、色対比情報ＲｎＣ＿ｉを、画素Ｐｉにおける色情報Ｃｉと、その視野領域に相当する所定の広さを持つ画素領域Ωｉ内の色情報の重み付き平均ＡＣｉとの差分で定義した場合、（数式１０）を用いて画素の選択を行うのが良い。（数式１０）では、色対比が０に近いことは、色情報の変動が少ないことを示す。

バランス量算出手段７１では、（数式９）または（数式１０）で得られたホワイト領域Ψ内の色情報のグレー軸からのずれ量を求める（Ｓ５３）。ここでは、ずれ量を算出するために、ホワイト領域Ψ内の画素の色差Ｃｂ、Ｃｒの平均値（Ｃｂｃ、Ｃｒｃ）を計算し、この平均値をグレー軸からのずれ量とする。
ここで輝度Ｋｉにより正規化を行う理由は、推定されたバランスずれ量の精度を上げるためである。このホワイト領域Ψ内画素のＣｒ，Ｃｂを輝度Ｋｉで正規化した値の平均値以外に、その正規化したＣｒ，Ｃｂで頻度の最も多い値や最大のＣｂ、Ｃｒを用いることも可能である。

なお、ずれ量としては、ホワイト領域Ψ内の画素の色差の平均値以外に、ホワイト領域Ψの画素で最も出現頻度の高いＣｂ、Ｃｒの値等を用いることも可能である。
次に、バランス量算出手段７１では、バランス補正量ΔＣｂ、ΔＣｒを（数式１１）を用いて算出する（Ｓ５４）。

（数式１１）で、Ｋｂ、Ｋｒは正定数であり、推定制御変数７３に格納されている。
バランス補正手段７２は、算出されたバランス補正量ΔＣｂ、ΔＣｒを各画素の色差に加えて補正を行う（Ｓ５５）。Ｋｔは補正を行う画素の輝度を表す。なお、この補正量が所定の値を超える場合は、補正を実施しないこととしてもよいし、（数式１１）のＫｂとＫｒとの正定数を変更（例えば、抑制）することとしてもよい。これにより、急激なカラーバランス補正を抑えることが可能となる。
なお、Ｋｂ，Ｋｒは正定数としたが、バランスずれ量Ｃｂｃ、Ｃｒｃの値に応じて所定の関数により変換された値を用いてもよい。また、（数式１１）として急激なカラーバランス補正を抑えるような非線形関数を用いてもよい。（数式１１）では対象画素の輝度Ｋｔにより急激なバランス補正による画質低下を抑制するために輝度項Ｋｔを設けている。

本実施形態の特徴は、人間が明るく感じる傾向が高い領域を抽出し、その領域でのバランスずれ量を求め、これを補正する方向に画像のカラーバランス補正を実施する点である。こうすることで、複雑な判定をする必要がなく簡易な構成で実現できる。さらに、人間が明るく感じる領域でのバランスを中心に補正することで、処理済画像に与える弊害も低減することができる。
なお、ここではバランスずれ量の対象として色差ＣｂとＣｒとを対象としたが、これ以外にもＨＳＶ系の色相Ｈや彩度ＳまたはＬａ＊ｂ＊系の色情報ａ＊、ｂ＊を対象としてもよい。
また、（数式１０）または（数式１１）による推定画素の選択において、色対比情報に関する判定｜ＲｎＣ＿ｉ−１｜＜Ｔｈ２、または｜ＲｎＣ＿ｉ｜＜Ｔｈ２’は行われなくともよい。この場合、明るさの点で関心が高い領域のみに注目した条件で推定画素の選択を行うことが可能となり、上記で説明した条件よりも、広い画素領域を推定対象に選択することができる。

［第７実施形態］
図２０を用いて、本発明の第７実施形態として、画素における色対比情報をもとにしたカラーバランス補正および色補正を行う画像処理方法及び画像処理装置８００について説明する。なお、上記実施形態で説明したのと同様の構成には、同じ符号を付して説明を省略する。
図２０に、本発明の第７実施形態である画像処理装置８００の構成を示す。
この発明は、画像データを処理することで画像処理を行う装置において、本発明の第６実施形態である明るさ対比情報と色対比情報とにより画像のカラーバランス補正を行う装置の特徴と、本発明の第１実施形態である色対比により画素ごとに色補正を行う装置の特徴とを併せ持つものである。

図２０に示すように、画像処理装置８００は、修正色特性算出手段８０、色情報補正手段３、補正制御変数５を備える点に特徴を有している。
修正色特性算出手段８０は、バランス補正手段７２によりカラーバランス補正を終了した後に、改めて色特性情報データを算出する。これにより、カラーバランス補正により更新された色情報から、対象色情報の色特性情報データを抽出する。
なお、画像処理装置８００では、特性算出手段１２で得られた画素Ｐｉに対する色特性情報データＲｎ＿ｉと修正色特性算出手段８０で得られた色特性情報データｄＲｎ＿ｉは、同じ色情報に関する対比情報であっても、異なる色情報に関する対比情報であっても構わない。
図２０に示すように、推定画素選択手段７０は、明るさ対比情報ＲｎＫ＿ｉ、輝度情報Ｋｉ、色対比情報ＲｎＣ＿ｉより人間が明るく感じられる領域（ホワイト点領域）を抽出する。バランス量算出手段７１は、カラーバランスのずれ量を算出する。バランス補正手段７２は、このずれ量を補正するようにバランス補正を行う。修正色特性算出手段８０は、再度各画素における対象色情報の色特性情報データｄＲｎ＿ｉを算出する。ここでは、特性算出手段１２で説明したのと同様の処理が行われる。色情報補正手段３は、各画素の色補正を実施する。以上により、画像処理装置８００では、処理済画像を得る構成になっている。

このような構成とすることで、画像処理装置８００は、本発明の第６実施形態の特徴であるカラーバランス補正と、本発明の第１実施形態の特徴である人間の視覚特性に近づけた色補正の機能を併せ持つことができる。
なお、ここでは本発明の第６実施形態と第１実施形態を融合させたが、本発明の第６実施形態に本発明の第２実施形態から第５実施形態のいずれかを融合させることも可能である。本発明の第６実施形態に本発明の第２実施形態または第３実施形態を融合させた場合、選択された画素による色補正結果をもとに、他の画素の色補正を伝播処理により推定することとなり、画像全体のバランスを保持したより高精度な色補正が可能となる。また、本発明の第６実施形態に本発明の第４実施形態または第５実施形態を融合させた場合、色補正を行う対象を画素単位からブロック画素単位へ変更することで、処理量の削減を行うことができる。

［第８実施形態］
図２１を用いて、本発明の第８実施形態として、画素における色対比情報をもとにしたカラーバランス補正および色補正を行う画像処理方法及び画像処理装置９００について説明する。
図２１に、本発明の第８実施形態である画像処理装置９００の構成を示す。
この発明は、画像データを処理することで画像処理を行う装置において、本発明の第６実施形態である明るさ対比情報と色対比情報とにより画像のカラーバランス補正を行う装置の特徴と、本発明の第１実施形態である色対比により画素ごとに色補正を行う装置の特徴とを併せ持つものである。
図２１に示すように、画像処理装置９００は、第２バランス量算出手段９０と、第２バランス補正手段９１とを備える点に特徴を有している。

第２バランス量算出手段９０は、色情報補正手段３で得られる対象画素の色情報の補正量を用いて、推定画素選択手段７０で得られた推定画素の色情報のグレー軸からのずれ量を算出する。第２バランス補正手段９１は、第２バランス量算出手段９０で得られたバランス補正量を、色情報補正手段３で得られた各画素の色情報の補正量に加算する。
第７実施形態では、バランス補正手段７２によりカラーバランス補正を終了した後に、改めて色特性情報データを算出し、その値により色補正を実施している。それに対して、第８実施形態では改めて色特性情報データは抽出せず、特性算出手段１２で得られた色特性情報データＲｎ＿ｉを用いて補正された色情報ｄＣｉに対して、カラーバランス補正を行う構成をとったものである。
ここで、色情報補正手段３と第２バランス量算出手段９０とで対象とする色情報として、画素Ｐｉにおける色差Ｃｂｉ、Ｃｒｉを用いる例について説明する。

まず、情報算出手段１０は、各画素Ｐｉの色差Ｃｂｉ、Ｃｒｉを算出する。次に、特性算出手段１２は、色差Ｃｂｉ、Ｃｒｉに対する色特性情報データＲｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉを計算する。この場合、色特性情報データＲｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉは、色差に対して、第１実施形態で説明したのと同様の手順を行うことにより算出される。
色情報補正手段３は、この色特性情報データＲｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉを用いて、色差に対する補正を実施する。補正された色差ｄＣｉをＣｂｉ＿ｎｅｗ、Ｃｒｉ＿ｎｅｗとした場合、色差補正量ΔＣｂｉ、ΔＣｒｉは、それぞれ、ΔＣｂｉ＝Ｃｂｉ＿ｎｅｗ−Ｃｂｉ、ΔＣｒｉ＝Ｃｒｉ＿ｎｅｗ−Ｃｒｉにより求められる。
第２バランス量算出手段９０は、この色差補正量ΔＣｂｉ、ΔＣｒｉを算出する。さらに、推定画素選択手段７０で選択された推定画素の色差の平均値Ｃｂｃ，Ｃｒｃに、算出した色差補正量ΔＣｂｉ、ΔＣｒｉを加え、色情報補正手段３での色差補正を考慮したバランスずれ量を推定する。

さらに、画像処理装置９００では、図１８のステップＳ５４のようにバランス補正量を算出する際に、所定の係数Ｋｒを用いる。ここで、このＫｒが元の色差を考慮した関数により決定される場合には、色情報補正手段３で行われた色差補正分を考慮することが好ましい。
また、画像処理装置９００では、色補正量ΔＣｂ、ΔＣｒが所定以上かどうかを判定してバランス補正を実施する図１８のステップＳ５５では、そのバランス補正の実施判定を行う際に、色情報補正手段３で実施された色補正分を入力画像の色差成分に付加して考慮する必要がある。
色補正カラーバランスずれ量算出時に、図１８のＳ５２のように人間が明るく感じする画素領域を選択する場合には、各画素の明るさ対比情報や明るさも用いられるが、色情報補正手段３では、明るさ対比情報に対する補正は実施されないように設定されている。一方、色対比情報については、補正により値が変化している可能性があるが、色対比を前提とした色補正を行っていることから、第２バランス量算出手段９０でのバランス量検出に大きな影響はない。さらに、図１８のＳ５２のように人間が明るく感じる画素領域を選択する場合には、色対比情報Ｒｎｃｂ＿ｉ、Ｒｎｃｒ＿ｉに対する条件は、明るさ対比情報よりも優先度が低い。また、特性算出手段１２での色対比情報が推定画素選択手段７０での推定画素選択に使用されてもよい。

なお、ここでは、色情報補正手段３における補正対象である色情報Ｃｉと第２バランス量算出手段９０で行われたバランス補正量の対象である色情報とは、同じ色情報Ｃｉを前提にして説明した。一方、色情報補正手段３の対象である色情報を彩度Ｓｉとし、第２バランス量算出手段９０の対象である色情報を色差Ｃｒｉ、Ｃｂｉとする、というように、異なる色情報を対象としてもよい。この場合、情報算出手段１０では、色情報補正手段３と第２バランス量算出手段との両方で使用される色情報を各画素に対して算出する必要があるとともに、色情報補正手段３では、対象色情報の補正が実施された後に、第２バランス量算出手段９０で使用する色情報へ変換する機能を有することが必要となる。
このような構成とすることで、画像処理装置９００は、本発明の第６実施形態の特徴であるカラーバランス補正と、本発明の第１実施形態の特徴である人間の視覚特性に近づけた色補正の機能を併せ持つことができる。さらに、改めて色補正のための色特性情報データを算出する必要がないため、処理量の削減につながる。

なお、ここでは本発明の第６実施形態と第１実施形態を融合させたが、本発明の第６実施形態に本発明の第２実施形態から第５実施形態のいずれかを融合させることも可能である。本発明の第６実施形態に本発明の第２実施形態または第３実施形態を融合させた場合、選択された画素による色補正結果をもとに、他の画素の色補正を伝播処理により推定することとなり、画像全体のバランスを保持したより高精度な色補正が可能となる。また、本発明の第６実施形態に本発明の第４実施形態または第５実施形態を融合させた場合、色補正を行う対象を画素単位からブロック画素単位へ変更することで、処理量の削減を行うことができる。
［第９実施形態］
図２２から図２３を用いて、本発明の第９実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１００５について説明する。

図２２に、本発明の第９実施形態である画像処理装置１００５の構成を示す。また、図２３に、本発明の第９実施形態である画像処理方法のユーザモード選択手段の適用例を示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置において、ユーザが処理モードを選択する手段を有するものである。
図２２に示すように、画像処理装置１００５は、本発明の第１実施形態から第８実施形態のいずれかに記載した画像処理装置としての画像処理手段１０００と、その処理結果を表示する表示デバイス１００２と、ユーザが処理モードを選択するユーザモード選択手段１００１とから構成される。
この発明では、画像処理手段１０００で行われた色補正処理の処理済画像を表示デバイス１００２に表示する。ユーザは、表示デバイス１００２での処理済画像を視覚的に確認して、処理モードをユーザモード選択手段１００１により選択する。これにより、個々人の特性に応じた色補正を実現することが可能となる。

ここで、表示デバイス１００２としては、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器の表示画面、デジタル画像を編集する画像編集装置の表示画面、モバイル環境下で使用する携帯電話、カーモバイル機器、ＰＤＡ等の表示画面、あるいは様々な環境下で使用される大型映像表示機器等である。また、携帯電話の表示画面としては、メールや画像を表示する携帯電話の主画面だけでなく、扉式携帯電話の時間表示を行うサブ画面でもよい。
図２３に、ユーザモード選択手段１００１の一例を示す。図２３では、携帯電話のメニュー表示におけるユーザモード選択の方法を示す。
この場合、ユーザは表示デバイス１００２を確認して、図２３に示されるように「環境光補正レベルの設定」メニュー内の（１）強モード、（２）中モード、（３）弱モード、（４）デフォルトモードのいずれかを選択する。

ここでデフォルトモードとは、各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３で示されるテーブルデータ内の補正強度や推定強度のデフォルト値をそのまま使用するモードに相当する。
処理モードを選択することにより、ユーザモード選択手段１００１から画像処理手段１０００で適用される色補正処理の強度レベルを制御する。つまり、各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３が含むテーブルデータ内の補正強度や推定強度を制御することで、処理レベルのコントロールを行う。例えば、強モードの場合、色補正の強度を強め（補正量を多くする）、弱モードの場合、色補正の強度を弱める（補正量を少なくする）。こうすることで、人間の視覚特性に近い印象を与える色補正処理を行うとともに、さらに各個人の見た目に応じてレベルを制御することができる。

なお、図２３ではメニュー表示によるメニュー選択の一例を示したが、各処理モードに応じたスイッチやボタンであっても良い。また、図２３ではデフォルトモードを用意したが、メニュー内の中モードが、各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３が含むデフォルト値をそのまま使用するモードであってもよい。
［第１０実施形態］
図２４と図２６と図２７とを用いて、本発明の第１０実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１１０５について説明する。
図２４に、本発明の第１０実施形態である画像処理装置１１０５の構成を示す。また、図２６に、本発明の第１０実施形態である画像処理方法における処理制御手段の適用例を示す。

この発明は、画像データを処理することで、画像内の色情報を補正する装置において、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、検出された環境光レベルに応じて自動的に色補正強度を制御する処理制御手段１１００とを有するものである。
図２４示すように、画像処理装置１１０５は、本発明の第１実施形態から第８実施形態のいずれかに記載した画像処理装置としての画像処理手段１０００と、その処理結果を表示する表示デバイス１００２と、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、環境光検出手段１１０１で検出された環境光レベルに応じて画像処理手段１０００で実施する色補正の強度を決定する処理制御手段１１００とから構成される。

環境光検出手段１１０１では、図２６に示されているように、所定の場所にあるセンサ受光部で太陽光等の環境光を検出する方法が考えられるが、カメラ付き携帯電話などではＣＣＤカメラ受光部で代用してもよい。環境光検出手段１１０１では、最低濃度パターンである黒データを提示した際の輝度と、最高濃度パターンである白データを提示した際の輝度より、黒データの白データに対するコントラスト比ＥＲａｔｉｏを求める。なお、環境光レベルの照度をセンシングして、その値より予め内部に用意されたテーブルデータ（各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３で示されるテーブルデータでもよい）より、最低濃度パターンである黒データと最高濃度パターンである白データとのコントラスト比ＥＲａｔｉｏを換算する手法も可能である。
処理制御手段１１００は、算出されたコントラスト比ＥＲａｔｉｏを用いて、自動的に各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３などが含むテーブルデータの補正強度や推定強度を求める。

この方法として、図２７の（ａ）パターン１、（ｂ）パターン２、（ｃ）パターン３を説明する。
（ａ）に示すパターン１では、白に対する黒のコントラスト比ＥＲａｔｉｏが所定の値（図２７ではＴＨ＝０．２）を越えた時点で補正強度や推定強度などの処理強度をデフォルトの強度として、色処理を行う。その一方で、ＥＲａｔｉｏが所定の値ＴＨを越えない場合は、処理強度を０（処理を実施しない）にする。
（ｂ）に示すパターン２は、所定の使用時間間隔ごとのＥＲａｔｉｏの平均値（図２７（ｂ）における斜線領域内）を算出し、この平均値をもとに次の処理強度を線形的に変化させる。この場合、線形関数でなくても非線形関数を適用しても可能である。また、所定の時間間隔ごとでのＥＲａｔｉｏの値で補正強度を変化させることも可能である。こうすることで、パターン１と比べて環境光の変動に対して適切に処理強度を制御することができる。

（ｃ）に示すパターン３は、使用時間に対する白に対する黒のコントラスト比ＥＲａｔｉｏの変動に対してリアルタイムに補正強度を変化させるものであり、よりモバイル環境下での視認性を向上させることが可能となる。
これ以外にも、表示画像全体に環境光のセンシング機能を持たせ、表示デバイスの領域ごとに処理強度を変えることで、一部だけ光が当たっている場合でも画面全体の視認性を一定に保った表示が可能となる。
［第１１実施形態］
図２５と図２６と図２７とを用いて、本発明の第１１実施形態として、画素における色対比情報をもとに、色情報の補正を行う画像処理方法及び画像処理装置１１０７について説明する。

図２５に、本発明の第１１実施形態である画像処理装置１１０７の構成を示す。また、図２６に、本発明の第１０実施形態である画像処理方法における処理制御手段の適用例を示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置において、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、検出された環境光レベルに応じて自動的に色補正強度を制御する処理制御手段１１００と、本発明の第９実施形態の特徴であるユーザモード選択手段とを有するものである。
図２５に示すように、画像処理装置１１０７は、本発明の第１実施形態から第８実施形態のいずれかに記載した画像処理装置としての画像処理手段１０００と、その処理結果を表示する表示デバイス１００２と、機器の使用する環境下での環境光レベルを検出する環境光検出手段１１０１と、環境光検出手段１１０１で検出された環境光レベルに応じて画像処理手段１０００で実施する色補正の強度を決定する処理制御手段１１００と、ユーザが処理モードを選択するユーザモード選択手段１００１とから構成される。

環境光検出手段１１０１では、図２６に示されているように、所定の場所にあるセンサ受光部で太陽光等の環境光を検出する方法が考えられるが、カメラ付き携帯電話などではＣＣＤカメラ受光部で代用してもよい。環境光検出手段１１０１では、最低濃度パターンである黒データを提示した際の輝度と、最高濃度パターンである白データを提示した際の輝度より、黒データの白データに対するコントラスト比ＥＲａｔｉｏを求める。なお、環境光レベルの照度をセンシングして、その値より予め内部に用意されたテーブルデータ（各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３で示されるテーブルデータでもよい）より、最低濃度パターンである黒データと最高濃度パターンである白データとのコントラスト比ＥＲａｔｉｏを換算する手法も可能である。
処理制御手段１１００は、算出されたコントラスト比ＥＲａｔｉｏを用いて、自動的に各処理装置内の補正制御変数５、制御変数１５、推定制御変数７３などが含むテーブルデータの補正強度や推定強度を求める。

この方法としては、図２７に示したのと同様の処理が行われる。
ユーザは、表示デバイス１００２を用いて、この自動的に制御された処理済画像を視覚する。さらに、ユーザは、ユーザモード選択手段１００１を用いて処理モードを変更する、つまり補正制御変数５、制御変数１５、推定制御変数７３などが含むテーブルデータ内のデータを変更する。これにより、環境光に応じて自動的に処理強度を変えるとともに、ユーザ個々人の視認性への対応を図ることが可能となる。
［実施形態の効果］
（１）
上記実施形態により、特に空等の飽和画像や強い環境光により色情報が消失した画像などの色情報を人間の視覚特性に基づいて補正することが可能となり、表示画面の視認性向上を実現することが可能となる。

（２）
上記実施形態における画像処理では、色補正処理の補正対象を選択する際に、従来技術で行われるような領域抽出を行わない。このため、領域抽出誤差により生じる色補正誤差の発生を抑えることが可能となる。
具体的には、図２８に示すように類似した色情報を持つ物体が重なり合うような画像において、従来技術の領域抽出では、対象物体Ｏａを適切に抽出することが難しく、例えば、対象物体Ｏａと、その周囲に位置する物体Ｏｃとを含む領域Ｒｂを抽出する結果となる。さらに、従来技術では、抽出した領域Ｒｂに対して色補正が行われるため、対象物体Ｏａの境界において、色補正誤差が生じ、対象物体Ｏａの色補正が適切に行われない結果となる。

一方、本発明では、領域抽出を行わないため、このような色補正誤差の発生を抑えることが可能となる。
（３）
上記実施形態における画像処理では、特に、環境光下において明るさの補正と色補正とが求められる場合に視認性を向上させることが可能となる。
例えば、室内環境において、最も輝度の高い白画素と最も輝度の低い黒画素の比（コントラスト比）が１００：１〜４０：１程度に視覚される画像を、日向などの強い環境光下で視覚すると、コントラスト比が３：１〜２：１程度にまで低下することが知られている。
従来、環境光下での視認性向上のためのガンマ関数による明るさ補正が知られている。具体的には、日向で見た画像に対して、黒濃度抑制を行うようなガンマ関数（下に凸）を用いて明るさ補正が行われる。

さらに、色補正を行う場合、従来では、以下の〈ａ〉〜〈ｃ〉の色補正が採用される。
〈ａ〉画像全体に彩度補正（彩度アップ補正）を実施する色補正
この場合、画像全体の彩度の向上は可能であるが、部分によっては、彩度の過剰補正が発生する。
〈ｂ〉補正対象の抽出（中心物体である人物の切り出しなど）を行い、抽出された補正対象に彩度補正（彩度アップ補正）を実施する色補正
この場合、抽出誤差による補正後の彩度の歪み（補正された彩度の不連続性など）が発生する。
〈ｃ〉補正の前後の明るさの比率に基づいて、彩度補正量を線形制御して彩度補正を実施する色補正
この場合、黒濃度抑制に連動して、彩度低下が発生する。また、明るさの比率の逆数に連動して彩度補正量を線形制御する場合、彩度低下を抑制することが可能となる。しかし、強い環境光による彩度成分の喪失に対しては、線形制御を行っても改善効果が小さい。

以上のように、〈ａ〉〜〈ｃ〉の従来の色補正を明るさ補正とともに実施しても、十分な補正を行うことは難しい。
そこで、色補正として本実施形態の色対比補正により彩度補正を実施すると、より色対比が増す方向に彩度補正が実施され、視認性を向上させることが可能となる。
［その他］
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、図４を用いて説明した色対比特性を利用した画像処理方法及び画像処理装置である。よって、本発明の処理は、この色対比特性に影響される。
図２９は、色対比特性について示すものであり、灰色の背景にある赤円中心部にある灰色円のサイズに依存して効果が変動する。例えば、中心の灰色円の半径が赤円と比較して小さい場合、赤円中心の灰色円を青く感じる色対比現象は強まる（図２９（ａ）参照）。それに対して、中心の灰色円の半径が大きくなり赤円に近づくにつれ、赤円中心の灰色円を青く感じる色対比現象は弱まる（図２９（ｂ）参照）。

このため、本発明の画像処理方法または画像処理装置では、図２９に示すような大きさの異なる単純パターンを処理した場合、色補正の効果が変動する特徴を有している。
また、対象とする色情報の色特性情報データＲｎ＿ｉは、本発明の第１実施形態で示した（１）周辺の代表色情報に対する対象画素の色情報の比と（２）対象画素の色情報と周辺の代表色情報の差分量以外にも、これら（１）と（２）とを所定の関数により変換して得られる値であってもよい。
また、各処理装置内のテーブルデータを含む補正制御変数５、制御変数１５、推定制御変数７３などは、処理装置内に構成されていてもよいし、ＲＡＭのような外部メモリとしてテーブルデータを格納するもの、あるいは外部からの入力手段からテーブルデータを提供するものであってもよい。

上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。
より詳しくは、上記各実施形態の画像処理装置１００、２００、４００、５００、６００、７００、８００、９００、ユーザ選択モード手段１００１、処理制御手段１１００、環境光検出手段１１０１の各機能ブロック（図１、図７、図１２、図１４、図１６、図１７、図２０、図２１、図２２、図２４、図２５参照）は、個別に１チップ化させてもよいし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路の手法にはＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理は、プログラムにより実現されるものであってもよい。例えば、図１、図７、図１２、図１４、図１６、図１７、図２０、図２１、図２２、図２４、図２５の各機能ブロックの処理は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われてもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行されてもよい。

［第１付記］
本発明は、次のように表現することも可能である。
＜第１付記の内容＞
（付記１）
入力された画像信号の色補正を行う画像処理方法であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択ステップと、
前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正ステップと、
前記第３の色情報補正ステップで得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出ステップと、
前記第２の特性算出ステップで得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正ステップと、
前記第４の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理方法。
（付記２）
入力された画像信号の色補正を行う画像処理方法であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正ステップと、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択ステップと、
前記第５の色情報補正後の前記画像信号における、前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正ステップと、
前記第６の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理方法。
（付記３）
前記特性算出ステップは、対象とする画素の明るさ情報と色情報とを、その周囲の領域内の明るさ情報と色情報とを代表する周囲明るさ情報と周囲色情報との各々と比較する明るさ対比処理と色対比処理とを含むことを特徴とする、
付記１又は２に記載の画像処理方法。
（付記４）
入力された画像信号の色補正を行う画像処理装置であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出手段と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出手段と、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択手段と、
前記画素選択手段で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出手段と、
前記ずれ量算出手段で得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正手段と、
前記第３の色情報補正手段で得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出手段と、
前記第２の特性算出手段で得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正手段と、
前記第４の色情報補正手段で補正された色情報をもとに、色補正後の画像信号を出力する出力手段と、
を備えることを特徴とする画像処理装置。
（付記５）
入力された画像信号の色補正を行う画像処理装置であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出手段と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出手段と、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正手段と、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択手段と、
前記第５の色情報補正後の前記画像信号における、前記画素選択手段で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出手段と、
前記ずれ量算出手段で得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正手段と、
前記第６の色情報補正手段で補正された色情報をもとに、色補正後の画像信号を出力する出力手段と、
を備えることを特徴とする画像処理装置。
（付記６）
入力された画像信号の色補正を行う画像処理方法をコンピュータにより行うための画像処理プログラムであって、
前記画像処理方法は、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択ステップと、
前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正ステップと、
前記第３の色情報補正ステップで得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出ステップと、
前記第２の特性算出ステップで得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正ステップと、
前記第４の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理プログラム。
（付記７）
入力された画像信号の色補正を行う画像処理方法をコンピュータにより行うための画像処理プログラムであって、
前記画像処理方法は、
前記画像信号の色情報と明るさ情報とを算出する情報算出ステップと、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出ステップと、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正ステップと、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択ステップと、
前記第５の色情報補正後の前記画像信号における、前記画素選択ステップで選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出ステップと、
前記ずれ量算出ステップで得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正ステップと、
前記第６の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する出力ステップと、
を備えることを特徴とする画像処理プログラム。
（付記８）
入力された画像信号の色補正を行う集積回路であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出部と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出部と、
前記画像信号より、第３の色情報の補正の対象となる複数画素を選択する画素選択部と、
前記画素選択部で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出部と、
前記ずれ量算出部で得られた前記ずれ量をもとに、前記画像信号の前記第３の色情報補正を行う第３の色情報補正部と、
前記第３の色情報補正部で得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する第２の特性算出部と、
前記第２の特性算出部で得られた前記第２の視覚特性情報をもとに、前記色補正後の画像信号に対して、第４の色情報補正を行う第４の色情報補正部と、
前記第４の色情報補正部で補正された色情報をもとに、色補正後の画像信号を出力する出力部と、
を備えることを特徴とする集積回路。
（付記９）
入力された画像信号の色補正を行う集積回路であって、
前記画像信号の色情報と明るさ情報とを算出する情報算出部と、
前記明るさ情報と色情報とに応じて視覚特性情報を算出する特性算出部と、
前記視覚特性情報をもとに、前記画像信号の第５の色情報補正を行う第５の色情報補正部と、
前記視覚特性情報をもとに、前記画像信号より、複数画素を選択する画素選択部と、
前記第５の色情報補正後の前記画像信号における、前記画素選択部で選択された前記複数画素の色情報の所定の基準値からのずれ量を検出するずれ量算出部と、
前記ずれ量算出部で得られた前記ずれ量をもとに、前記第５の色情報補正後の前記画像信号に対して第６の色情報補正を行う第６の色情報補正部と、
前記第６の色情報補正部で補正された色情報をもとに、色補正後の画像信号を出力する出力部と、
を備えることを特徴とする集積回路。

＜第１付記の説明＞
付記１に記載の画像処理方法は、入力された画像信号の色補正を行う画像処理方法であって、情報算出ステップと、特性算出ステップと、画素選択ステップと、ずれ量算出ステップと、第３の色情報補正ステップと、第２の特性算出ステップと、第４の色情報補正ステップと、出力ステップとを備えるものである。情報算出ステップは、画像信号の色情報と明るさ情報とを算出する。特性算出ステップは、明るさ情報と色情報とに応じて視覚特性情報を算出する。画素選択ステップは、画像信号より、第３の色情報の補正の対象となる複数画素を選択する。ずれ量算出ステップは、画素選択ステップで選択された複数画素の色情報の所定の基準値からのずれ量を検出する。第３の色情報補正ステップは、ずれ量算出ステップで得られたずれ量をもとに、画像信号の第３の色情報補正を行う。第２の特性算出ステップは、第３の色情報補正ステップで得られた色補正後の画像信号に対して、さらに第２の視覚特性情報を算出する。第４の色情報補正ステップは、第２の特性算出ステップで得られた第２の視覚特性情報をもとに、色補正後の画像信号に対して、第４の色情報補正を行う。出力ステップは、第４の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する。

ここで、所定の基準値からのずれ量とは、例えば、色情報の無彩度軸、グレー軸からのずれ量であってもよい（以下、この欄において同じ）。また、第３の色情報補正とは、いわゆるカラーバランス補正と呼ばれるものであってもよい。
付記１の画像処理方法の一例では、対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の輝度を代表する代表輝度と対象画素の輝度情報とを比較する明度対比情報をもとに、人間の関心が高いと考えられる領域または画素が選択される。さらに、得られた領域内の画素に対する色対比を算出して、その色対比より領域内の色情報のグレー軸からのずれ量を検出する。さらに、検出されたずれ量に基づいて、画像全体の色補正を行う。
以上の付記１の画像処理方法では、色対比により人間が明るく感じる領域を取り出し、その領域でのバランスを保持して画像全体の色補正を行う。このため、画像抽出を行う必要がなく、また抽出誤差により生じる補正誤差等の弊害をも抑えることができる。

さらに、この発明では、例えば、発明１の効果を奏し、より適切な色処理を行うことが可能となる。
付記２に記載の画像処理方法は、入力された画像信号の色補正を行う画像処理方法であって、情報算出ステップと、特性算出ステップと、第５の色情報補正ステップと、画素選択ステップと、ずれ量算出ステップと、第６の色情報補正ステップと、出力ステップとを備えている。情報算出ステップは、画像信号の色情報と明るさ情報とを算出する。特性算出ステップは、明るさ情報と色情報とに応じて視覚特性情報を算出する。第５の色情報補正ステップは、視覚特性情報をもとに、画像信号の第５の色情報補正を行う。画素選択ステップは、視覚特性情報をもとに、画像信号より、複数画素を選択する。ずれ量算出ステップは、第５の色情報補正後の画像信号における、画素選択ステップで選択された複数画素の色情報の所定の基準値からのずれ量を検出する。第６の色情報補正ステップは、ずれ量算出ステップで得られたずれ量をもとに、第５の色情報補正後の画像信号に対して第６の色情報補正を行う。出力ステップは、第６の色情報補正ステップで補正された色情報をもとに、色補正後の画像信号を出力する。

この発明の一例では、対象画素の周囲に設定された周囲領域内（例えば、視野領域内）の輝度を代表する代表輝度と対象画素の輝度情報とを比較する明度対比情報をもとに、人間の関心が高いと考えられる領域または画素が選択される。さらに、得られた領域内の画素に対する色対比を算出して、その色対比より領域内の色情報のグレー軸からのずれ量を検出する。さらに、検出されたずれ量に基づいて、画像全体の色補正を行う。
付記２の画像処理方法では、色対比により人間が明るく感じる領域を取り出し、その領域でのバランスを保持して画像全体の色補正を行う。このため、画像抽出を行う必要がなく、また抽出誤差により生じる補正誤差等の弊害をも抑えることができる。
さらに、付記２の画像処理方法では、例えば、付記１の画像処理方法の効果を奏し、より適切な色処理を行うことが可能となる。また、付記１の画像処理方法と異なり、ずれ量を用いた色補正（バランス補正）後に視覚特性情報の算出を行う必要がない。

付記３に記載の画像処理方法は、付記１又は２の画像処理方法のいずれかであって、特性算出ステップは、対象とする画素の明るさ情報と色情報とを、その周囲の領域内の明るさ情報と色情報とを代表する周囲明るさ情報と周囲色情報との各々と比較する明るさ対比処理と色対比処理とを含むことを特徴とする。
付記４又は５に記載の画像処理装置は、付記１又は２に記載の画像処理方法と同様の効果を奏する。
付記６又は７に記載の画像処理プログラムは、付記１又は２に記載の画像処理方法と同様の効果を奏する。
付記８又は９に記載の集積回路は、付記１又は２に記載の画像処理方法と同様の効果を奏する。

本発明は、より自然に画像の色補正を行うとともに、簡易な構成を用いた画像処理を実現することが求められる分野において画像処理方法、表示画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路として有用である。

本発明における第１の発明である画像処理装置の構成を示すブロック図。 本発明における色特性算出手段の構成を示すブロック図。 本発明における第１の発明である画像処理方法の処理フローチャート図。 本発明における色対比現象の概要を示す説明図。 色情報補正手段における彩度補正の概要を示す説明図。 色情報補正手段における色相補正の概要を示す説明図。 本発明の第２の発明である画像処理装置の構成を示すブロック図。 本発明における色情報伝播補正手段の構成を示すブロック図。 本発明における第２の発明である画像処理方法の処理フローチャート図。 本発明における色情報伝播補正手段における処理概要の説明図。 本発明における色情報伝播補正手段における第２の処理概要の説明図。 本発明における第３の発明である画像処理装置の構成を示すブロック図。 本発明における第３の発明である画像処理方法の処理フローチャート図。 本発明における第４の発明である画像処理装置の構成を示すブロック図。 本発明における第４の発明である画像処理装置で対象とする単位を示す図。 本発明における第５の発明である画像処理装置の構成を示すブロック図。 本発明における第６の発明である画像処理装置の構成を示すブロック図。 本発明における第６の発明である画像処理方法の処理フローチャート図。 本発明における第６の発明である画像処理装置のカラーバランス推定を示す説明図。 本発明における第７の発明である画像処理装置の構成を示すブロック図。 本発明における第８の発明である画像処理装置の構成を示すブロック図。 本発明における第９の発明である画像処理装置の構成を示すブロック図。 本発明における第９の発明である画像処理装置でのユーザ選択の概要を示す説明図。 本発明における第１０の発明である画像処理装置の構成を示すブロック図。 本発明における第１１の発明である画像処理装置の構成を示すブロック図。 本発明における第１０、１１の発明である画像処理装置での処理制御の概念を示す説明図。 本発明における第１０、１１の発明である画像処理装置での処理制御の概念を示す説明図。 本発明における第１から第１１の発明である画像処理装置の効果について説明する説明図。 本発明における第１から第１１の発明である画像処理装置の特長である色対比効果の変動に関する説明図。 従来の画像処理装置における色補正判別部の構成を示すブロック図。 従来の画像処理方法の処理フローチャート図。 従来の画像処理方法における色補正処理のフローチャート図。

符号の説明

１ 色情報算出手段
２ 色特性算出手段
３ 色情報補正手段
４ 出力手段
５ 補正制御変数
１００ 画像処理装置
６ 周辺代表色抽出手段
７ 色対比情報算出手段
１０ 情報算出手段
１１ 画素選択手段
１２ 特性算出手段
１３ 選択画素色情報補正手段
１４ 色情報伝播補正手段
１５ 制御変数
２００ 画像処理装置
１６ 基準設定手段
１７ 周囲色情報算出手段
１８ 伝播判定手段
４０ 第２画素選択手段
４００ 画像処理装置
５０ 画像分割手段
５１ ブロック情報算出手段
５２ 処理ブロック選択手段
５３ ブロック特性算出手段
５４ 選択ブロック色情報補正手段
５５ 色情報ブロック伝播補正手段
５６ 画素変換手段
５００ 画像処理装置
６０ ブロック選択手段
６００ 画像処理装置
７０ 推定画素選択手段
７１ バランス量算出手段
７２ バランス補正手段
７３ 推定制御変数
７００ 画像処理装置
８０ 修正色特性算出手段
８００ 画像処理装置
９０ 第２バランス量算出手段
９１ 第２バランス補正手段
９００ 画像処理装置
１０００ 画像処理手段
１００１ ユーザモード選択手段
１００２ 表示デバイス
１１００ 処理制御手段
１１０１ 環境光検出手段
２０００ 画像メモリ
２００１ ベタ画像判別部
２００２ ヒストグラム作成部
２００３ 前景／背景判別部
２００４ 色数判別部

Claims (19)

1. 入力された画像信号の色情報補正を行う画像処理方法であって、
   前記画像信号の色情報を算出する情報算出ステップと、
   前記画像信号により構成される２次元画像領域に含まれる第１の領域の色情報と、前記第１の領域の周囲に存在する第２の領域の色情報とを対比し、対比量を算出する特性算出ステップと、
   前記対比量を用いて、前記第１の領域の色情報を前記第２の領域の色情報との対比が強調される方向に補正する色情報補正ステップと、
   補正された前記第１の領域を含む画像信号を出力する出力ステップと、
   を備える画像処理方法。
2. 前記画像信号より、それぞれ少なくとも１つの画素を含み、第１の色情報補正の対象となる複数の対象領域を選択する領域選択ステップをさらに備え、
   前記情報算出ステップは、入力された前記画像信号の前記色情報と明るさ情報とを算出するものであり、
   前記特性算出ステップは、前記領域選択ステップで選択された前記複数の対象領域の色情報と明るさ情報とを、前記複数の対象領域の周囲に存在する複数の周囲領域の色情報と明るさ情報とのそれぞれと対比し、対比量を算出するものであり、
   前記色情報補正ステップは、第１の色情報補正ステップと第２の色情報補正ステップとを有するものであり、
   前記第１の色情報補正ステップは、前記対比量を用いて、前記複数の対象領域の色情報を前記複数の周囲領域の色情報との対比が強調される方向に補正する前記第１の色情報補正を行うものであり、
   前記第２の色情報補正ステップは、前記複数の対象領域以外の領域に対して、前記第１の色情報補正に関する情報を用いて、第２の色情報補正を行うものであり、
   前記出力ステップは、前記第１の色情報補正ステップと前記第２の色情報補正ステップとで補正された領域を含む画像信号を出力するものである、
   請求項１に記載の画像処理方法。
3. 前記領域選択ステップは、前記第１の色情報補正の対象とする領域の領域位置より所定の間隔幅に位置する領域を選択するステップを含むことを特徴とする、
   請求項２に記載の画像処理方法。
4. 前記領域選択ステップは、各領域の明るさ情報と色情報とに関する視覚特性情報を使って、または明るさ情報のみに関する視覚特性情報を使って、前記第１の色情報補正の対象となる複数の対象領域を選択するステップを含むことを特徴とする、
   請求項２に記載の画像処理方法。
5. 前記第２の色情報補正ステップは、前記第１の色情報補正ステップで補正された前記複数の対象領域の色情報をもとに、前記複数の対象領域の周辺領域に色情報を順次伝播させていくことで前記周辺領域の色情報の補正を行うことを特徴とする、
   請求項２に記載の画像処理方法。
6. 入力手段による処理モードの選択を受け付ける処理モード受付ステップと、
   前記処理モード受付ステップで得られた前記処理モードに応じて、請求項１又は請求項２に記載の画像処理方法を実行する画像処理実行ステップと、
   前記画像処理実行ステップにより出力される色情報補正後の画像信号を表示手段に表示する表示ステップと、
   を備えることを特徴とする、
   表示画像処理方法。
7. 画像信号を表示する表示手段に照射される環境光を検出する環境光検出ステップと、
   前記環境光検出ステップが検出する前記環境光に応じて、処理モード決定する処理モード決定ステップと、
   前記処理モード決定ステップで決定された処理モードに応じて、請求項１又は請求項２に記載の画像処理方法を実行する画像処理実行ステップと、
   前記画像処理実行ステップにより出力される色情報補正後の画像信号を表示手段に表示する表示ステップと、
   を備えることを特徴とする、
   表示画像処理方法。
8. 前記処理モード受付ステップは、前記色情報を補正する際の強度を、予め設定された複数の強度より選択することを特徴とする、
   請求項６に記載の表示画像処理方法。
9. 前記処理モード決定ステップは、前記環境光検出ステップで得られた環境光の強度が所定のしきい値を超える場合に、前記色情報を補正する処理を有効とさせるように動作することを特徴とする、
   請求項７に記載の表示画像処理方法。
10. 前記処理モード決定ステップは、前記環境光検出ステップで得られた環境光の強度に応じて、所定の関数により前記色情報を補正する強度を変化させるように動作することを特徴とする、
    請求項７に記載の表示画像処理方法。
11. 前記処理モード決定ステップは、前記環境光検出ステップで得られた環境光の時間的変動に応じて、所定の関数により前記色情報を補正する強度を時間的に変化させるように動作することを特徴とする、
    請求項７に記載の表示画像処理方法。
12. 前記処理モード決定ステップは、前記表示手段の表示領域に含まれる複数の領域において、前記環境光検出ステップで得られた環境光の強度に応じて、前記色情報を補正する強度を前記表示領域に含まれる複数の領域ごとに制御することを特徴とする、
    請求項７に記載の表示画像処理方法。
13. 前記色情報の補正は、色対比現象を発生する所定のパターンの大きさの変動に応じて、色情報補正の強度が増減するように動作することを特徴とする、
    請求項１に記載の画像処理方法。
14. 入力された画像信号の色情報補正を行う画像処理装置であって、
    前記画像信号の色情報を算出する情報算出手段と、
    前記画像信号により構成される２次元画像領域に含まれる第１の領域の色情報と、前記第１の領域の周囲に存在する第２の領域の色情報とを対比し、対比量を算出する特性算出手段と、
    前記対比量を用いて、前記第１の領域の色情報を前記第２の領域の色情報との対比が強調される方向に補正する色情報補正手段と、
    補正された前記第１の領域を含む画像信号を出力する出力手段と、
    を備えることを特徴とする画像処理装置。
15. 前記画像信号より、それぞれ少なくとも１つの画素を含み、第１の色情報補正の対象となる複数の対象領域を選択する領域選択手段をさらに備え、
    前記情報算出手段は、入力された前記画像信号の前記色情報と明るさ情報とを算出するものであり、
    前記特性算出手段は、前記領域選択手段で選択された前記複数の対象領域の色情報と明るさ情報とを、前記複数の対象領域の周囲に存在する複数の周囲領域の色情報と明るさ情報とのそれぞれと対比し、対比量を算出するものであり、
    前記色情報補正手段は、第１の色情報補正手段と第２の色情報補正手段とを有するものであり、
    前記第１の色情報補正手段は、前記対比量を用いて、前記複数の対象領域の色情報を前記複数の周囲領域の色情報との対比が強調される方向に補正する前記第１の色情報補正を行うものであり、
    前記第２の色情報補正手段は、前記複数の対象領域以外の領域に対して、前記第１の色情報補正に関する情報を用いて、第２の色情報補正を行うものであり、
    前記出力手段は、前記第１の色情報補正手段と前記第２の色情報補正手段とで補正された領域を含む画像信号を出力するものである、
    請求項１４に記載の画像処理装置。
16. 入力された画像信号の色情報補正を行う画像処理方法をコンピュータにより行うための画像処理プログラムであって、
    前記画像処理方法は、
    前記画像信号の色情報を算出する情報算出ステップと、
    前記画像信号により構成される２次元画像領域に含まれる第１の領域の色情報と、前記第１の領域の周囲に存在する第２の領域の色情報とを対比し、対比量を算出する特性算出ステップと、
    前記対比量を用いて、前記第１の領域の色情報を前記第２の領域の色情報との対比が強調される方向に補正する色情報補正ステップと、
    補正された前記第１の領域を含む画像信号を出力する出力ステップと、
    を備える画像処理プログラム。
17. 前記画像信号より、それぞれ少なくとも１つの画素を含み、第１の色情報補正の対象とする複数の対象領域を選択する領域選択ステップをさらに備え、
    前記情報算出ステップは、入力された前記画像信号の前記色情報と明るさ情報とを算出するものであり、
    前記特性算出ステップは、前記領域選択ステップで選択された前記複数の対象領域の色情報と明るさ情報とを、前記複数の対象領域の周囲に存在する複数の周囲領域の色情報と明るさ情報とのそれぞれと対比し、対比量を算出するものであり、
    前記色情報補正ステップは、第１の色情報補正ステップと第２の色情報補正ステップとを有するものであり、
    前記第１の色情報補正ステップは、前記対比量を用いて、前記複数の対象領域の色情報を前記複数の周囲領域の色情報との対比が強調される方向に補正する前記第１の色情報補正を行うものであり、
    前記第２の色情報補正ステップは、前記複数の対象領域以外の領域に対して、前記第１の色情報補正に関する情報を用いて、第２の色情報補正を行うものであり、
    前記出力ステップは、前記第１の色情報補正ステップと前記第２の色情報補正ステップとで補正された領域を含む画像信号を出力するものである、
    請求項１６に記載の画像処理プログラム。
18. 入力された画像信号の色情報補正を行う集積回路であって、
    前記画像信号の色情報を算出する情報算出部と、
    前記画像信号により構成される２次元画像領域に含まれる第１の領域の色情報を、前記第１の領域の周囲に存在する第２の領域の色情報とを対比し、対比量を算出する特性算出部と、
    前記対比量を用いて、前記第１の領域の色情報を前記第２の領域の色情報との対比が強調される方向に補正する色情報補正部と、
    補正された前記第１の領域を含む画像信号を出力する出力部と、
    を備える集積回路。
19. 前記画像信号より、それぞれ少なくとも１つの画素を含み、第１の色情報補正の対象となる複数の対象領域を選択する領域選択部をさらに備え、
    前記情報算出部は、入力された前記画像信号の前記色情報と明るさ情報とを算出するものであり、
    前記特性算出部は、前記領域選択部で選択された前記複数の対象領域の色情報と明るさ情報とを、前記複数の対象領域の周囲に存在する複数の周囲領域の色情報と明るさ情報とのそれぞれと対比し、対比量を算出するものであり、
    前記色情報補正部は、第１の色情報補正部と第２の色情報補正部とを有するものであり、
    前記第１の色情報補正部は、前記対比量を用いて、前記複数の対象領域の色情報を前記複数の周囲領域の色情報との対比が強調される方向に補正する前記第１の色情報補正を行うものであり、
    前記第２の色情報補正部は、前記複数の対象領域以外の領域に対して、前記第１の色情報補正に関する情報を用いて、第２の色情報補正を行うものであり、
    前記出力部は、前記第１の色情報補正部と前記第２の色情報補正部とで補正された領域を含む画像信号を出力するものである、
    請求項１８に記載の集積回路。

Images