JP4499599B2 - 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 - Google Patents
画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 Download PDFInfo
- Publication number
- JP4499599B2 JP4499599B2 JP2005106037A JP2005106037A JP4499599B2 JP 4499599 B2 JP4499599 B2 JP 4499599B2 JP 2005106037 A JP2005106037 A JP 2005106037A JP 2005106037 A JP2005106037 A JP 2005106037A JP 4499599 B2 JP4499599 B2 JP 4499599B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- pixel
- brightness
- color
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
従来の撮影光源を推定するための手段として、異なるスペクトル特性を持った複数の光感応素子を用いて推定を行う手段と、画像処理を通して推定を行う手段とが知られている。一般的に、光源推定装置は、デザインやコストなどの観点から制約のある光感応素子を用いた手段に代わって、画像信号を処理して推定する手段へ移行してきている。
画像処理に基づいて光源を推定する手法の根拠は、画像中の色を混合平均するとその色は無彩色になるという仮定(エバンスの原理)にある。この仮定に基づいてカラーバランス補正を行う手法としては、特許文献1に記載されたものが知られている。さらに、この仮定に立脚したいくつかの工夫の1つに、白い部分は光輝度であるという仮定を付加した特許文献2等に記載された手法も知られている。しかし、これらの手法では画面全体の色の単純な加算が無彩色になるというエバンスの仮定に基づいた処理が行われており、画面の上で特定の色が占める画素数が多い場合には、上記仮定が成立せず、しばしば光源推定を誤るという問題がある。
さらに事前知識を多用して、予め候補として設定したいくつかの光源の中から最も確からしいものを分類・検出することで未知光源を類推する手法もいくつか提案されている(例えば、特許文献4または特許文献5参照)。
特許文献4は、任意の照明光源下での被写体の呈する色に関する情報値から、物体の表面反射率を規定する色成分別の3つ以上の基底関数に乗ずる被写体の表面反射率係数を決定することにより、被写体の色成分別表面反射率を推定し、これを用いることで被写体の色成分別の値を補正するものである。図19はその処理のフローチャートを示す。予め、昼光のスペクトル組成に対して主成分分析をもとに得られた照明光のスペクトルの基底関数と、異なる色を呈する複数物体の表面反射率より得られた色成分別表面反射率の基底関数と、該被写体の画像を撮影する際の光特性と、照明光が白色と仮定した場合の照明光の色成分別の基底関数に対する照明光係数の積によるマトリクスを作成する(ステップS6)。このマトリクスの逆行列と、入力されたセンサ応答値より被写体に白色の光が照射されている場合の色成分別反射係数を求める(ステップS1)。この値をもとに第1の神経回路により、ステップS2の処理で得られた変化の急なエッジ付近の値をもとに領域内部の色成分別反射率係数を推定する(ステップS4)。次に、第2の神経回路において、被写体の局所的な平均値を用いて、表面反射率を推定する(ステップS3)。第3の神経回路では、被写体画像の平均値が無彩色(グレー)になる反射係数を推定して(ステップS7)、被写体の色成分別表面反射率係数を算出する。こうして推定された反射率係数より被写体固有の色成分別表面反射率を決定し入力された色情報を補正することで、照明光源による影響を除去するのである(ステップS8)。
また、特許文献3の場合、光源と独立であるはずの物体表面における仮定に基づいて推定が行われるため、シーンによっては仮定から離れた被写体の状態により光源の推定結果が大きく左右されることが知られている。
また、特許文献4の場合、予め3つの神経回路手段を学習で用意する必要があり、この学習する際の照明光と対応する表面反射率のデータに大きく依存することとなる。
さらに、特許文献5の場合、センサ空間での色域内の分布状態をもとに、予め用意された基準色域や重み付き分布との比較で相関関係を数値化する必要がある。そのため、その関係を精度よく数値化するために多くの照明下でのサンプルデータを必要とするとともに、算出する手間が必要である。さらに、用意された基準色域やそれとの相関関係を生成する画像データに偏りがあった場合、その影響を大きく受ける可能性がある。
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップと、を備えるものであり、
バランス調整ステップは前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記基準バランス量算出ステップで得られた値をもとに、画像の各画素を調整する画素別調整ステップより前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップより構成される。
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップと、を備えるものであり、
バランス調整ステップは、前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記情報算出ステップで得られた色情報をもとに、基準画像のバランス調整を実施する鏡面領域調整ステップと、
前記鏡面領域調整ステップで得られた基準画素に対する調整色情報を用いて、選択されていない他の画素の色情報を補正する色情報伝播補正ステップより構成される。
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップとを備えるものであり、
バランス調整ステップは、
前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記入力画像内を複数領域に分割する画像分割ステップと、
前記画像分割ステップで得られた分割領域ごとに前記基準バランス量を制御する制御量を算出する領域別制御量算出ステップと、
前記領域ごとに算出された制御量と前記基準バランス量をもとに各分割領域内の画素のバランス調整を実施する領域別バランス調整ステップより構成される。
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と画像の色情報や明るさ情報より、入力画像のカラーバランス調整を行うバランス調整ステップと、
前記バランス調整ステップで得られた処理済み画像を所定の出力形式で出力する出力ステップとを備えるものであり、
バランス調整ステップは、
前記明るさ特性情報よりカラーバランス補正に必要な複数画素を選択する基準画素選択ステップと、
前記基準画素でのカラーバランス調整量を算出する基準バランス量算出ステップと、
前記入力画像内を複数領域に分割する画像分割ステップと、
前記画像分割ステップで得られた分割領域において鏡面ブロック領域を抽出し、その鏡面ブロック領域に対して、前記基準バランス量をもとに領域内の画素のバランス調整を実施する鏡面ブロック内バランス補正ステップと、
前記鏡面ブロック内バランス補正ステップで処理された補正量を用いて、選択されていない他のブロック領域の色補正量を算出する色情報伝播補正ステップと、
前記色情報伝播補正ステップで得られた補正量をもとに、鏡面ブロック内バランス補正ステップで選択されていない該当ブロック領域内の画素に対してバランス調整を実施するブロック内色情報伝播調整ステップより構成される。
入力された画像信号の色情報と明るさ情報を算出する情報算出ステップと、
前記明るさ情報に対する視覚特性情報を算出する明るさ特性算出ステップと、
前記明るさ特性情報と明るさ情報より処理方式を選択する方式選択ステップと、
前記方式選択ステップにより、鏡面反射領域があると判断された場合に、その鏡面領域に従いカラーバランス補正を実施する鏡面調整ステップと、
前記方式選択ステップにより、鏡面反射領域がないと判断された場合、画像全体の色平均値が無彩色になるようにカラーバランスを調整するグレー調整ステップと、
前記方式選択ステップで選択された2つの方式のどちらかにより得られた処理済み画像を所定の出力形式で出力する出力ステップより構成される。
本発明の第2の画像処理方法によれば、明るさ対比により人間が明るく感じる領域を鏡面反射領域として取り出し、その領域でのバランス補正を実施する。次に、その領域での色補正量を色情報伝播処理により他の領域へ伝播処理させる。このため、画像判定を行う必要がないとともに、入力画像全体のバランスを保持しながら照明成分等の影響を低減させることができる。
本発明の第3の画像処理方法によれば、明るさ対比により人間が明るく感じる領域を鏡面反射領域として取り出すとともに、その条件をもとに画像領域を分割して細分化された領域ごとに適切なカラーバランス補正を行う。このため、画像判定を行う必要がなく判定誤りにより生じる補正誤差等の弊害をも抑えることができる。さらに、カラーバランス補正精度の向上にもつながる。
本発明の第5の画像処理方法によれば、明るさと明るさ対比により人間が明るく感じる領域と仮定した鏡面反射領域があるかどうかの判定を行う。そして、鏡面反射領域が存在する場合はその領域でのバランスのずれをもとに画像全体のバランス補正を実施する。鏡面反射領域がない場合には、画像内の色の平均値を算出し、その無彩色からのずれ量をもとに画像全体のバランス補正を実施する。このように鏡面反射があるかどうかの判定結果をもとに補正処理の切り替えをすることで、よりカラーバランス補正の精度を向上させることになるとともに、第1から第4の場合の課題であった鏡面反射がない画像に対してもカラーバランス補正を行うことが可能となる。
第1実施形態の画像処理は、対象画像の明るさ対比情報により人間が明るく感じる領域を推定し、その領域における色情報の無彩色軸からのずれ量を画像全体のカラーバランス補正に利用する。
第2実施形態の画像処理は、対象画像の明るさ対比情報により人間が明るく感じる領域を推定し、その領域における色情報の無彩色軸からのずれ量を補正する。次に、その補正により得られた色情報を色伝播処理により他の領域へ伝播することで画像全体の色補正を実施する。
第3実施形態の画像処理は、対象画像の明るさ対比情報により人間が明るく感じる領域を推定し、その領域における色情報の無彩色軸からのずれ量(基準補正量)を推定する。次に、画像を複数の領域に分割し、領域ごとに上記基準補正量を調整して補正し、画像全体のカラーバランス補正を行う。
第5実施形態の画像処理は、明るさ対比により人間が明るく感じる領域(鏡面反射領域)があるかどうかの判定を行う。そして、その領域が存在する場合は第1から第4の実施形態の手法により画像全体のバランス補正を実施する。その領域が存在しない場合には、画像内の色の平均値を算出し、その無彩色からのずれ量をもとに画像全体のバランス補正を実施する。このように鏡面反射があるかどうかの判定を行い、補正処理を切り替えることでカラーバランス補正を実施する。
[第1実施形態]
図1から図6を用いて、本発明の第1実施形態として、画素における明るさ対比情報をもとに、人間が最も明るく感じる領域を抽出し、そこでのバランスずれ量をもとにカラーバランス補正を行う画像処理方法及び画像処理装置1000について説明する。
画像処理装置1000は、入力画像データを所定の情報へ変換する情報算出手段1、その情報より対象とする明るさ情報に関する明るさ特性情報データを算出する明るさ特性算出手段2、情報算出手段1と明るさ特性算出手段2より得られた明るさ情報と明るさ特性情報とに基づいてホワイト点推定に使用できる画素を選択し、得られた推定画素よりバランスのグレー軸からのずれ量を算出して画素ごとにバランス補正を実施するバランス調整手段3、バランス調整手段3で得られた補正済み画像を所定のフォーマットで出力する出力手段4、そしてバランス調整手段3で使用するテーブルデータ群を持つ制御変数テーブル5より構成されている。
明るさ特性算出手段2は、図2に示されるように、各画素に対して、周辺代表抽出手段20と対比情報算出手段21とを経て明るさ特性情報データ7を生成する。この明るさ特性情報データ7としては、多くのものが考えられるが、より人間の見た目に近いような補正を実現するために、人間の視覚特性に対応した情報が明るさ特性情報データとして用いられる。人間の視覚特性としては、多くのものがあるが、本実施形態では、明るさ対比特性を用いている。
図5は、明るさ対比特性の概念を模式的に示したものである。図5では、一様の明るさ(輝度)を持つ灰色円の左側の背景は、輝度が高い白色の背景となっており、右側の背景は、輝度が低い黒色の背景になっている。中心円と背景の境界にある星印で示された位置に注目して観察すると、白色の背景との境界にある画素Aよりも黒色の背景との境界にある画素Bの方がより明るく感じられることが視覚心理より明らかとなっている。この現象は明るさ対比特性により生じる現象であり、人間の視覚では、対象画素Pの明るさのみならず、対象画素の周囲領域内画素より得られる明るさとの比較(対比)により、対象画素Pの明るさを知覚する。この明るさ特性情報RnKiはいろいろな手法で表すことが可能であるが、例えば、(式1)のように表すことができる。
これ以外にも、KiとAkiの差分量の絶対値を明るさ特性情報とすることも可能であるが、本実施形態では対比効果をより表しやすいように比を用いている。なお、視覚特性に応じた対数変換のような所定の変換式を(式1)に適用することで取りうる範囲を抑えた定義も可能である。
代表輝度AKiは、周辺代表抽出手段20で算出される。この代表輝度AKiの算出方法も一意に決定されないが、本実施形態では、視野領域に相当する所定の広さを持つ画素領域Ωi内の重み付き平均輝度として定義する。対比情報算出手段21はこの(式1)に従い、各画素の明るさ特性情報RnKiを算出する。
なお、これ以外にも、(式3)に示すように、色情報と周囲領域の色情報とを比較することにより得られる色特性情報RnCiを、明るさ特性情報と同様に求め、この色特性情報を選択条件に入れることも考えられる。
この(式3)は、人間が明るく感じるとともに色情報変化が小さい領域を照明等のある鏡面反射領域(基準画素の含まれる領域)Φrと見なすことを意味している。
ここでこの補正量が所定の値を超えた場合は、補正を実施しないか、(式4)のKbとKrの正定数を抑制する。これは、急激なカラーバランス補正を抑えるためである。また、Kb,Krは正定数としたが、バランスずれ量Cbc,Crcに応じて所定の関数により変換される値を用いることも可能である。また、(式4)自身に非線形関数を用いることも可能である。
なお、輝度の高い領域でのバランスずれ量をそのまま画像全域に適応した場合、暗部のような低輝度領域におけるバランス補正を過剰に行う恐れがある。よって、(式4)のように急激なバランス補正による画質低下を抑制するための輝度項Ktを設けたが、輝度項Ktを一律定数にすることも可能である。その場合、急激なカラーバランス補正を抑えるためのしきい値処理等の制御処理をより厳しく行うことが必要となる。
なお、ここではバランスずれ量の対象として色差CbとCrを対象としたが、これ以外にもHSV系の色相Hや彩度SまたはLa*b*系の色情報a*、b*を対象としてもよい。
[第2実施形態]
図1、図2、図7から図11を用いて、本発明の第2実施形態として、画素における明るさ対比情報と色伝播処理をもとに、カラーバランス補正を行う画像処理方法及び画像処理装置1000について説明する。
図7は、本発明の第2実施形態である画像処理装置内のバランス調整手段3の構成を示す。図8は、色情報伝播調整手段71の構成を示す。図9は、この第2実施形態である画像処理方法の処理フローチャートを示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やPDA等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。
明るさ特性算出手段2では、情報算出手段1で得られた明るさ情報である輝度Yiに対する特性情報(明るさ特性情報RnKi)が算出される。これに対して、バランス調整手段3内にある基準画素選択手段30では、明るさ特性情報RnYiおよび明るさ情報である輝度Yiをもとにカラーバランス補正に必要な鏡面反射領域Φrに属する基準画素を所定の手順で選択する。次に、基準バランス量算出手段31が、第1実施形態と同様に、鏡面反射領域Φr内の画素の色差Cb,Crを輝度Kiで正規化した値の平均値Cbc,Crcをグレー軸からのずれ量として算出する。鏡面領域調整手段70は、鏡面反射領域Φr内の基準画素のバランス補正量ΔCbとΔCrを、(式4)に従って計算し、補正を実施する。
色情報伝播調整手段71は、鏡面領域調整手段70で得られた鏡面反射領域Φr内の画素を使って、残りの画素Pjの色情報Cj(画素PjはΦに属しない)に対して色補正を実施する。この処理として、多くの手法が考えられるが、ここでは、予め設定された数点の色情報をもとにモノクロ画像データに、画像全体のバランスを壊さないで着色するカラリゼーション処理を適用する。この処理の特徴をうまく利用することで、鏡面領域調整手段70で補正された色情報を初期設定点(基準画素と呼ぶこととする)として、画像全体のバランスを崩さす色補正を実施することが可能となる。色情報伝播調整手段71は、図8に示すように、基準設定手段80、周囲色情報算出手段81、伝播判定手段82より構成される。図10がこの伝播処理の概要を示すものである。
周囲色情報算出手段81の伝播処理として図10に示す手法が考えられる。まず、基準設定手段80は、鏡面反射領域Φr内の画素を基準画素P0として設定する(図10(a))。次に網領域の周辺領域110では、基準画素P0の色情報Cb0,Cr0が輝度Y0を変数とした線形変換式で近似できると仮定するとともに、その内部では同じ変換式が適用される(図10(b))。そして、複数の基準画素P0の色情報Cb0,Cr0と線形変換式で近似された各基準画素近傍内の代表色情報(Cba0,Cra0)との差が小さくなるように、最小二乗法や遺伝的アルゴリズム等による非線形推定手法等を用いて各P0周囲の線形変換式が設定される。
[第3実施形態]
図1、図2、図11から図12、図14、図15を用いて、本発明の第3実施形態として、画素における明るさ対比情報をもとにしたカラーバランス補正を行う画像処理方法及び画像処理装置1000について説明する。
本実施形態は、明るさ対比により選択された鏡面反射領域に属すると思われる基準画素数により細分化された画像の各ブロック領域を分類する。そして、分類されたブロック領域に応じて基準画素より得られた基準バランス調整量を制御する。
明るさ特性算出手段2では、情報算出手段1で得られた明るさ情報である輝度Yiに対する特性情報(明るさ特性情報RnKi)が算出される。
次に、画像分割手段120は、各細分化ブロック領域の分類を行う(ステップS130)。その方法として多くの手法が考えられるが、ここでは以下の手法を採用する。
画像分割手段120は、まず、所定の大きさを持つブロック領域に画像全体を細分化する。その際、画像特徴に応じて(色特性情報等を用いることも可能)、細分化することも可能であるが、ここでは図14のように水平方向ブロック画素数Bw、垂直方向ブロック画素数Bhを持つNN個のブロック領域に分割する。各ブロックには1からNNの番号が割り振られる。
鏡面反射ブロックと判断されなかったブロック領域に対しては、そのブロック領域s内の画素を代表する明るさ・色情報vRIsを求め、この明るさ・色情報vRIsと、鏡面反射ブロックグループGΦrに属しかつブロック領域sに最も近いブロック領域tを代表する明るさ・色情報vRItとを比較する。この明るさ・色情報vRIsと明るさ・色情報vRItとの間の2つのベクトル量の距離を示すノルム量d_stが所定の閾値dThより小さい場合は、ブロック領域s内の画素分布は鏡面反射ブロックグループGΦrに属するブロック領域tに似ていると判断され、ブロック領域sは、鏡面反射隣接ブロックグループGRΦrに分類される。そして、このブロック番号に対応するブロック分類メモリ位置には、鏡面反射ブロックグループGΦrで似ているブロック領域tのブロック番号tが保持される。
このような分類を画像分割手段120が実施する。
図15は、その分類の一例を示すものである。
この分類は、○ある程度の画素が鏡面反射領域に含まれると判断されたブロック領域内には鏡面反射が存在する可能性があること、○鏡面反射領域が存在するとは判断されなかったがブロック領域内の色情報の分布が鏡面反射領域の存在する近接ブロック領域に似ていると判断されたブロック領域では、同じような照明光の影響を受けている可能性があること、○このどちらも満足しないブロック領域内では、色情報は照明光による影響をあまり受けていない可能性があること、という3つの仮定に基づいて行われている。
領域別バランス調整手段122は、領域別制御量算出手段121の結果を受けて、ブロック領域ごとにその中に属する画素のバランス調整量ΔCbc、ΔCrcを算出し、バランス調整を実行する。この値は、(式4)におけるCbc、Crcとして、各ブロック領域qのバランスずれ量BCb_q,BCr_qに−1を乗算した値を代入することで求めることができる。
[第4実施形態]
図1、図2、図13、図14を用いて、本発明の第4実施形態として、画素における明るさ対比情報をもとにしたカラーバランス補正を行う画像処理方法及び画像処理装置1000を説明する。
図1、図2は本発明の第2実施形態と同様である。図13は、本発明の第4実施形態である画像処理装置1000におけるバランス調整手段3の構成を示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やPDA等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。
この装置に画像データが入力されると、情報算出手段1において、画像データvIiを構成する各画素のデータを所定の明るさ・色情報データvCiへ変換する。ここでは、画像データを、色情報を扱いやすい色相H、彩度S、明度Vより構成されるHSV空間データや、輝度Y、色差Cb,Crより構成されるYCbCr空間データ、明度L,色a*、b*より構成されるLa*b*空間データ等に変換することとするが、画像データをそのまま扱うことも可能である。本実施形態では、第1実施形態の場合と同様に輝度Y、色差Cb,Crより構成されるYCbCr空間データに変換した場合について説明するが、この場合、明るさ情報は輝度Yに相当する。
バランス調整手段3内にある基準画素選択手段30では、明るさ特性情報RnKiおよび明るさ情報である輝度Yiをもとにカラーバランス補正に必要な鏡面反射領域Φrに属する基準画素を所定の手順で選択する。ブロック基準バランス量算出手段123は、第1実施形態の場合と同様に各ブロック内の鏡面反射領域Φr内の画素のCb,Crを輝度Kiで正規化した値の平均値Cbc,Crcをそのブロックにおけるグレー軸からのずれ量(基準バランスずれ量)として算出する。
次に、画像分割手段120は、各細分化ブロック領域の分類を行う(ステップS130)。まず、所定の大きさを持つブロック領域に画像全体を図14のように水平方向ブロック画素数Bw、垂直方向ブロック画素数Bhを持つNN個のブロック領域に分割する。各ブロックには1からNNの番号が割り振られる。
鏡面反射ブロックグループGΦrに分類された鏡面反射ブロックmに対して、ブロック内基準バランス量算出手段123は、鏡面反射ブロックm内で鏡面反射領域Φrに属する基準画素として選択された画素のCb,Crを輝度Kiで正規化した値の平均値BCb_m,BCr_mをバランスずれ量として算出する。
最後に、ブロック内画素別調整手段140により各ブロックk内の画素のバランス補正を実施する。ここでは得られた各ブロックkに対応するブロック内バランスずれ量BCb_k,BCr_kをもとに(式6)を計算し、ブロックk内の画素iのバランス補正量ΔBCb_ki,ΔBCr_kiを求める。
ここでこの補正量が所定の値を超えた場合は、補正を実施しないか、(式6)のKb_kとKr_kの正定数を抑制する。これは、急激なカラーバランス補正を抑えるためである。
なお、Kb_k,Kr_kは正定数としたが、バランスずれ量Cbc,Crcに応じて所定の関数により変換される値を用いることも可能である。また、(式6)自身に非線形関数を用いることも可能である。なお、輝度の高い領域でのバランスずれ量をそのまま、画像全域に適応した場合、暗部のような低輝度領域におけるバランス補正を過剰に行う恐れがある。そこで、急激なバランス補正による画質低下を抑制するために(式6)のように対象画素の輝度Kt_iを用いる輝度項Kt_iを設けている。しかし、Kt_iを一律定数にすることも可能である。その場合、急激なカラーバランス補正を抑えるための閾値処理等が必要となる。
[第5実施形態]
図16から図18を用いて、本発明の第5実施形態として、画素における明るさ対比情報をもとに、人間が最も明るく感じる領域を抽出し、そこでのバランスずれ量をもとにカラーバランス補正を行う画像処理方法及び画像処理装置1000について説明する。
図16に、本発明の第5実施形態である画像処理装置1000の全体構成を示す。図17に、本発明の第5実施形態である画像処理方法の全体処理フローチャートを示す。図18に、本発明の第5実施形態である画像処理方法における鏡面調整処理のフローチャートと、グレー調整処理のフローチャートとを示す。この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらのデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器やPDA等、あるいはいろいろな環境下で使用される大型映像表示機器等へ搭載される。
一方、鏡面反射領域がないと判定する場合には、グレー調整手段172へ処理が移る。グレー調整手段172は、図18の右フローチャートにあるように、「エバンスの原理」である対象画像内の色情報の平均は無彩色になる傾向があることを利用した処理を行う。具体的には、まず、画像内の色情報の平均値tCbc,tCrcを求める(ステップS192)。次に、この平均値をずれ量と仮定し、所定の制御係数tKb、tKtを用いてバランス補正量ΔCb,ΔCrを求める(ステップS191)。さらに、このバランス補正値を各画素に適用し、画像のバランス補正を実施する(ステップS192)。
[その他]
上記実施形態において説明した本発明の画像処理方法および画像処理装置では、対象とする明るさ情報の明るさ特性情報データ7として、本発明の第1実施形態で示した(1)周辺の代表明るさ情報に対する対象画素の明るさ情報の比と(2)対象画素の明るさ情報と周辺の代表明るさ情報の差分量以外にも、これら(1)と(2)を所定の関数により変換して得られる値を用いることも可能である。
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、カーTVなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、LSIなどの集積回路として実現される。
より詳しくは、上記各実施形態の画像処理装置1000を構成する各機能ブロック(図1、図2、図3、図7、図8、図11、図13、図16は、個別に1チップ化させてもよいし、一部又は全てを含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理は、プログラムにより実現されるものであってもよい。例えば、図1、図2、図3、図7、図8、図11、図13、図16の各機能ブロックの処理は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
2 明るさ特性算出手段
3 バランス調整手段
4 出力手段
5 制御変数テーブル
6 明るさ・色情報データ
7 明るさ特性情報データ
8 制御変数群
1000 画像処理装置
20 周辺代表抽出手段
21 対比情報算出手段
30 基準画素選択手段
31 基準バランス算出手段
32 画素別調整手段
33 選択画素情報
34 抽出制御変数
35 補正制御変数
70 鏡面領域調整手段
71 色情報伝播調整手段
72 伝播補正変数
80 基準設定手段
81 周囲色情報算出手段
82 伝播判定手段
120 画像分割手段
121 領域別制御量算出手段
122 領域別バランス調整手段
123 ブロック内基準バランス量算出手段
124 分割制御変数
125 領域別基準制御量補正変数
126 ブロック別補正変数
140 ブロック内画素別調整手段
141 ブロック色情報伝播手段
170 方式選択手段
171 鏡面調整手段
172 グレー調整手段
173 方式制御変数
174 鏡面調整制御変数
175 グレー調整制御変数
2101 A/D変換手段
2102 原マップ記憶手段
2103 マッピィング手段
2104 カウンタ
2105 レベル計数手段
2106 標準マップ記憶手段
2107 比較判定手段
2108 零マップ化手段
2109 原マップ作成手段
2110 マップ制御手段
Claims (11)
- 入力されたカラー画像データを補正処理する画像処理方法において、
前記カラー画像データの各画素の明るさ情報と、色情報とを算出する情報算出ステップと、
補正処理の対象画素を含む所定範囲の画素領域の明るさ情報の平均値を代表明るさ情報として、前記代表明るさ情報と、前記対象画素の前記明るさ情報との対比により、前記対象画素における明るさ対比特性情報を算出する明るさ対比特性情報算出ステップと、
前記明るさ対比特性情報の値が、所定の値よりも大きい場合に、前記対象画素が反射率の高い反射成分を多く含む鏡面反射領域に含まれると判定する第1の判定ステップと、
前記判定ステップにおいて、前記対象画素が前記鏡面反射領域に含まれると判定された場合に、前記鏡面反射領域の色情報のグレー軸からのずれ量が少なくなるように、前記対象画素の補正を行う第1の補正ステップと、
を含むことを特徴とする画像処理方法。 - 前記明るさ対比特性情報算出ステップに換えて、
補正処理の対象画素を含む所定範囲の画素領域の明るさ情報の平均値を代表明るさ情報として、前記代表明るさ情報と、前記対象画素の前記明るさ情報との対比により、前記対象画素における明るさ対比特性情報を算出し、前記画素領域の色情報の平均値を代表色情報として、前記代表色情報と、前記対象画素の前記色情報との対比により、前記対象画素における色対比特性情報を算出する明るさ・色特性情報算出ステップを有し、
前記第1の判定ステップは、前記明るさ対比特性情報の値が、所定の値よりも大きく、かつ、前記代表色情報と、前記対象画素の前記色情報が同じ値となる場合の基準色対比特性情報と、前記色対比特性情報との絶対値の差が、所定の値よりも小さい場合に、前記対象画素が反射率の高い反射成分を多く含む鏡面反射領域に含まれると判定することを特徴とする、
請求項1に記載の画像処理方法。 - 前記代表明るさ情報は、前記画素領域内の各画素の明るさ情報に基づく、重み付き平均値であることを特徴とする、
請求項1、または、2に記載の画像処理方法。 - 前記代表色情報は、前記画素領域内の各画素の色情報に基づく、重み付き平均値であることを特徴とする、
請求項2、または、3に記載の画像処理方法。 - 前記鏡面反射領域の色情報のグレー軸からのずれ量は、前記鏡面反射領域内の各画素の色情報を明るさ情報で正規化した値の平均値であることを特徴とする、
請求項1から4のいずれか1項に記載の画像処理方法。 - 請求項1に記載の画像処理方法を、前記カラー画像データの各画素に対して行った後、
前記第1の判定ステップにおいて、前記鏡面反射領域に含まれると判定された画素を基準画素として設定する基準画素設定ステップと、
前記基準画素における、明るさ情報を変数として、色情報を導出する線形変換式を決定する決定ステップと、
前記基準画素の周辺領域の画素の明るさ情報に基づき、前記線形変換式を用いて、前記周辺領域の画素の色情報を導出し、前記周辺領域の画素の補正を行う第2の補正ステップと、
前記周辺領域の画素の代表色情報と、複数の前記基準画素の色情報との差が小さくなるように、前記線形変換式を再度設定する設定ステップと、
前記設定ステップにより設定された前記線形変換式を用いて、前記基準画素、及び、前記周辺領域の画素の補正を行う第3の補正ステップと、
を有することを特徴とする画像処理方法。 - 前記第1の補正ステップは、
前記カラー画像データを所定範囲のブロック領域に分割する分割ステップと、
前記ブロック領域内において、前記鏡面反射領域に含まれると判定された画素数が所定数以上である場合に、反射率の高い反射成分を多く含む鏡面反射ブロックグループに属する第1のブロック領域であると判定する第2の判定ステップと、
前記鏡面反射ブロックグループに属すると判定した前記第1のブロック領域に対し前記補正を行うことを特徴とする、
請求項1に記載の画像処理方法。 - 請求項1に記載の画像処理方法に換えて、請求項5に記載の画像処理方法を、前記カラー画像データの各画素に対して行った後、
前記鏡面反射領域に換えて、前記第1のブロック領域に対して、前記第2の補正ステップ、前記第3の補正ステップを行うことを特徴とする、
請求項6に記載の画像処理方法。 - 入力されたカラー画像データを補正処理する画像処理装置において、
前記カラー画像データの各画素の明るさ情報と、色情報とを算出する情報算出手段と、
補正処理の対象画素を含む所定範囲の画素領域の明るさ情報の平均値を代表明るさ情報として、前記代表明るさ情報と、前記対象画素の前記明るさ情報との対比により、前記対象画素における明るさ対比特性情報を算出する明るさ対比特性情報算出手段と、
前記明るさ対比特性情報の値が、所定の値よりも大きい場合に、前記対象画素が反射率の高い反射成分を多く含む鏡面反射領域に含まれると判定する第1の判定手段と、
前記判定手段において、前記対象画素が前記鏡面反射領域に含まれると判定された場合に、前記鏡面反射領域の色情報のグレー軸からのずれ量が少なくなるように、前記対象画素の補正を行う第1の補正手段と、
を含むことを特徴とする画像処理装置。 - 入力されたカラー画像データを補正処理する画像処理プログラムであって、
前記カラー画像データの各画素の明るさ情報と、色情報とを算出する情報算出ステップと、
補正処理の対象画素を含む所定範囲の画素領域の明るさ情報の平均値を代表明るさ情報として、前記代表明るさ情報と、前記対象画素の前記明るさ情報との対比により、前記対象画素における明るさ対比特性情報を算出する明るさ対比特性情報算出ステップと、
前記明るさ対比特性情報の値が、所定の値よりも大きい場合に、前記対象画素が反射率の高い反射成分を多く含む鏡面反射領域に含まれると判定する第1の判定ステップと、
前記判定ステップにおいて、前記対象画素が前記鏡面反射領域に含まれると判定された場合に、前記鏡面反射領域の色情報のグレー軸からのずれ量が少なくなるように、前記対象画素の補正を行う第1の補正ステップと、
を含むことを特徴とする画像処理プログラム。 - 入力されたカラー画像データを補正処理する集積回路であって、
前記カラー画像データの各画素の明るさ情報と、色情報とを算出する情報算出ステップと、
補正処理の対象画素を含む所定範囲の画素領域の明るさ情報の平均値を代表明るさ情報として、前記代表明るさ情報と、前記対象画素の前記明るさ情報との対比により、前記対象画素における明るさ対比特性情報を算出する明るさ対比特性情報算出ステップと、
前記明るさ対比特性情報の値が、所定の値よりも大きい場合に、前記対象画素が反射率の高い反射成分を多く含む鏡面反射領域に含まれると判定する第1の判定ステップと、
前記判定ステップにおいて、前記対象画素が前記鏡面反射領域に含まれると判定された場合に、前記鏡面反射領域の色情報のグレー軸からのずれ量が少なくなるように、前記対象画素の補正を行う第1の補正ステップと、
を実行することを特徴とする集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005106037A JP4499599B2 (ja) | 2005-04-01 | 2005-04-01 | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005106037A JP4499599B2 (ja) | 2005-04-01 | 2005-04-01 | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006287689A JP2006287689A (ja) | 2006-10-19 |
JP4499599B2 true JP4499599B2 (ja) | 2010-07-07 |
Family
ID=37409101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005106037A Expired - Fee Related JP4499599B2 (ja) | 2005-04-01 | 2005-04-01 | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4499599B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5751019B2 (ja) * | 2011-05-30 | 2015-07-22 | 富士通株式会社 | 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム |
JP5973804B2 (ja) * | 2012-06-25 | 2016-08-23 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
CN112837243B (zh) * | 2021-03-05 | 2023-05-30 | 华侨大学 | 联合整体与局部信息的阴道镜图像高光消除的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003283853A (ja) * | 2002-03-20 | 2003-10-03 | Canon Inc | 画像処理装置およびその方法 |
JP2004078652A (ja) * | 2002-08-20 | 2004-03-11 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP2004312250A (ja) * | 2003-04-04 | 2004-11-04 | Sharp Corp | 画像処理装置および画像形成装置 |
JP2005010900A (ja) * | 2003-06-17 | 2005-01-13 | Mitsubishi Electric Corp | カラー画像処理装置及び方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2906974B2 (ja) * | 1994-01-14 | 1999-06-21 | 富士ゼロックス株式会社 | カラー画像処理方法および装置 |
JP3551568B2 (ja) * | 1995-08-11 | 2004-08-11 | ミノルタ株式会社 | 撮像装置 |
JPH1141477A (ja) * | 1997-07-23 | 1999-02-12 | Fuji Xerox Co Ltd | 画像処理装置 |
JP3907312B2 (ja) * | 1998-05-06 | 2007-04-18 | キヤノン株式会社 | 画像処理方法、記憶媒体及び画像処理装置 |
-
2005
- 2005-04-01 JP JP2005106037A patent/JP4499599B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003283853A (ja) * | 2002-03-20 | 2003-10-03 | Canon Inc | 画像処理装置およびその方法 |
JP2004078652A (ja) * | 2002-08-20 | 2004-03-11 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP2004312250A (ja) * | 2003-04-04 | 2004-11-04 | Sharp Corp | 画像処理装置および画像形成装置 |
JP2005010900A (ja) * | 2003-06-17 | 2005-01-13 | Mitsubishi Electric Corp | カラー画像処理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2006287689A (ja) | 2006-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9558423B2 (en) | Observer preference model | |
US8374458B2 (en) | Tone correcting method, tone correcting apparatus, tone correcting program, and image equipment | |
US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
JP5458905B2 (ja) | 画像におけるシャドーの検知装置および検知方法 | |
US7778483B2 (en) | Digital image processing method having an exposure correction based on recognition of areas corresponding to the skin of the photographed subject | |
CN111598863B (zh) | 缺陷检测方法、装置、设备及可读存储介质 | |
US20070201756A1 (en) | Image processing apparatus, mobile terminal device and image processing computer readable program | |
AU2015201623A1 (en) | Choosing optimal images with preference distributions | |
CN115115554B (zh) | 基于增强图像的图像处理方法、装置和计算机设备 | |
CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
CN109949248B (zh) | 修改车辆在图像中的颜色的方法、装置、设备及介质 | |
CN109478316B (zh) | 实时自适应阴影和高光增强 | |
CN114937050A (zh) | 绿幕抠图方法、装置及电子设备 | |
JP4499599B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 | |
Chubarau et al. | Perceptual image quality assessment for various viewing conditions and display systems | |
KR101585187B1 (ko) | Cielab 색 공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치 | |
CN109982012B (zh) | 图像处理方法及装置、存储介质、终端 | |
CN114255193A (zh) | 一种板卡图像增强方法、装置、设备及可读存储介质 | |
JP2009258770A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
US20230059407A1 (en) | Image processing system, image processing method, and non-transitory computer readable medium | |
CN116977190A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
EP1919189B1 (en) | Method and apparatus for processing digital images | |
Kim et al. | No-reference contrast measurement for color images based on visual stimulus | |
CN117893455B (zh) | 图像亮度和对比度调整方法 | |
KR102086756B1 (ko) | 하이 다이내믹 레인지 이미지 생성 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091009 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100323 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100415 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |