JP3976898B2 - 画像処理方法、装置および記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像のハイライトポイントに応じた色補正を行う画像処理方法、装置および記録媒体に関するものである。
【０００２】
【従来の技術】
ここ数年におけるパーソナルコンピュータの性能向上により、大容量のファイルでさえも容易にかつ高速に扱えるようになった。一般に容量の大きいとされる写真調の自然画像もより多くの人が取り扱うようになってきている。それに加えデジタルカメラやスキャナに代表される入力機器も普及してきたため、さまざまな画像のデジタル化が行われるようになった。一口に写真画像といってもその中にはプロの撮影した高画質の画像から、あまり品位の良くない画像まで様々である。ここで言う品位の良くない画像とは露出のオーバーしているものやアンダーしているもの、画像全体に色味のつく色かぶりを起こしている画像等である。一般に悪い画像がつくられる原因として考えられるのは、撮影時の光量が適正でないことや蛍光燈下での撮影といった撮影条件によるものと、デジタルカメラのノイズや特性といったデジタル化処理の際に起こる画像の劣化等が挙げられる。これら品位の悪い画像はデジタル化処理をしてパーソナルコンピュータ等に取り込んだ後、補正を施すことによって画像品位を上げることが可能である。
【０００３】
補正の方法の一つとしてハイライトポイントとシャドーポイントを決定し、それに基づいて補正を行う方法が本出願人から提案されている。この方法を行うためには、画像の輝度Ｙのヒストグラムを作成する。ここで輝度Ｙは、各色入力信号値赤（Ｒ）、緑（Ｇ）、青（Ｂ）（各８ｂｉｔ）から以下の式で求められる。
【０００４】
Ｙ ＝ ａ×Ｒ＋ｂ×Ｇ＋ｃ×Ｂ （但し、ａ＋ｂ＋ｃ＝１）
【０００５】
上式中のａ、ｂ、ｃの値はＮＴＳＣの伝送方式に従うと、それぞれ０．３、０．５９、０．１１である。
【０００６】
品位の良くない画像、例えば撮影時に露出のアンダーを起こしている画像は、一般に図１に示されるような輝度ヒストグラムになる。この輝度ヒストグラムでは本来白であるべき点が白でないことを表している。そこで、図１中に示すように全画素数の上から数パーセントに当たる輝度をハイライトポイント（Ｙ_HL）、下から数パーセントに当たる輝度をシャドーポイント（Ｙ_SD）と決定する。一般的にハイライトポイント、シャドーポイントは、それぞれ上（Ｙ＝２５５）および下（Ｙ＝０）から全画素数の０〜５％程度である。そして、この輝度Ｙ_HLが白、輝度Ｙ_SDが黒となるように変換を行う。
【０００７】
Ｙ_HL ＝ ２５５
Ｙ_SD ＝ ０
【０００８】
また、上式のように変換を行った場合、輝度０〜Ｙ_SD、Ｙ_HL〜２５５間の階調が失われる恐れがあるので、下式に示すようにＹ_HLを２５５よりもわずかに低い値Ｙ₂₅₅′、Ｙ_SDを０よりもわずかに高い値Ｙ₀′に設定することにより階調損失を防ぐことが出来る。
【０００９】
Ｙ_HL ＝ Ｙ₂₅₅′ （但し、Ｙ₂₅₅′≒２５５）
Ｙ_SD ＝ Ｙ₀′ （但し、Ｙ₀′≒０）
【００１０】
このようなハイライトポイントおよびシャドーポイントの輝度を変換する処理を画像全体に施すことにより、露出がアンダーやオーバーしている画像は改善される。
【００１１】
さらに画像の色差信号を求め、色かぶりの補正を行う。色差信号（ Ｃ₁、Ｃ₂）は下式から導かれる。
【００１２】
Ｃ₁ ＝ Ｒ−Ｙ′
Ｃ₂ ＝ Ｂ−Ｙ′
【００１３】
ここで、Ｙ′は上述したハイライトポイントおよびシャドーポイントの変換後の輝度の値である。ハイライトポイントの画素では白となるべきであり、Ｒ＝Ｇ＝Ｂ＝０であるから、白であるための条件は
Ｃ₁ ＝ Ｃ₂ ＝ ０ かつ Ｙ ＝ ２５５
である。同様にシャドーポイントの画素は黒となるべきであり、その条件は
Ｃ₁ ＝ Ｃ₂ ＝ ０ かつ Ｙ ＝ ０
となる。ハイライトポイントおよびシャドーポイントの輝度となる画素の色差信号の平均をそれぞれ（ Ｃ₁（ＨＬ），Ｃ₂（ＨＬ））、（ Ｃ₁（ＳＤ），Ｃ₂（ＳＤ））とすると、色かぶりのしている画像の場合
Ｃ₁（ＨＬ）≠ ０ または Ｃ₂（ＨＬ）≠０
Ｃ₁（ＳＤ）≠ ０ または Ｃ₂（ＳＤ）≠０
となってしまっている。そこで、色かぶりを補正するためには、（ Ｃ₁（ＨＬ），Ｃ₂（ＨＬ））、（ Ｃ₁（ＳＤ），Ｃ₂（ＳＤ））をそれぞれ本来の白、黒の値に変換する。その方法の一例としては図２に示すようなハイライトポイントとシャドーポイントを通る色立体の線を考え、その線が輝度軸とに重なるように変換する手法が挙げられる。この補正を行うことにより、画像の色かぶりがなくなり画質は向上する。
【００１４】
【発明が解決しようとする課題】
上述したように、補正する画像のヒストグラムを作成し、ハイライトポイントおよびシャドーポイントを決定し変換を行うことで、コントラスト調整と色かぶりの補正を行うことが出来る。
【００１５】
しかし、特に夜の画像で見られる図３に示すような輝度ヒストグラムでハイライトポイントを設定するとした場合、輝度Ｙ＝２５５から数％の場所は輝度の極めて低い地点となってしまう。この点をハイライトポイントＹ_HLとして
Ｙ_HL ＝ Ｙ₂₅₅′ （但し、Ｙ₂₅₅′≒２５５）
となるよう補正を行うと、夜の画像であるにもかかわらず不自然に明るくなってしまう。さらにデジタルカメラで撮影した画像であると、この補正によってＣＣＤノイズが目立ってしまうし、ＪＰＥＧ等で圧縮された画像であれば、ブロックノイズが顕著に浮き出てしまうおそれがある。
【００１６】
本発明では、上記課題を解決するためになされたものであり、その目的はハイライトポイントを適正に設定することで高精度の補正を実現し、良好な出力画像を得ることができるようにすることを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するために、本願発明は、明るさを示す色成分に基づき入力画像のヒストグラムを作成し、前記作成されたヒストグラムに基づき、前記入力画像のハイライトポイントを検出し、検出されたハイライトポイントと補正後のハイライトポイントとの対応関係を示すテーブルに基づき、前記入力画像から検出されたハイライトポイントに応じて補正後のハイライトポイントを求め、前記補正後のハイライトポイントに基づき前記入力画像に対して色補正を行い、前記入力画像から検出されたハイライトポイントの輝度が所定値未満の場合、前記補正後のハイライトポイントは前記検出されたハイライトポイントと等しく、前記入力画像から検出されたハイライトポイントの輝度が所定値以上の場合、前記補正後のハイライトポイントは高輝度であることを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２０】
（実施形態１）
本発明の第１実施形態として、ハイライトポイントの輝度に応じて補正後のハイライトポイントの輝度値を変化させる方法を挙げる。
【００２１】
図５に一連のプロセスを示す。まず最初に画像データの読み込みおよび輝度ヒストグラムの作成を行う。画像の画素データは一般にＲ、Ｇ、Ｂ各８ｂｉｔの値である。読み込まれた画素は下式
Ｙ ＝ ０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
により、輝度Ｙが求められる（Ｓ１）。
【００２２】
この輝度Ｙに基づき輝度ヒストグラムを作成し（Ｓ２）、上から数パーセントに当たる輝度をハイライトポイントＹ_HL、下から数パーセントに当たる輝度をシャドーポイントＹ_SDとする（Ｓ３）。そして、その後に色補正を行っていくが、ハイライトポイントについては単に
Ｙ_HL ＝ Ｙ₂₅₅′ （但し、Ｙ₂₅₅′≒ ２５５）
とせず、ルックアップテーブル（以下ＬＵＴとする）によってＹ_HLに応じた補正後の輝度Ｙ_HL′を求める（Ｓ４）。図６はＬＵＴの一例を示すグラフで、横軸はＹ_HL、縦軸は補正後の輝度Ｙ_HL′である。このＬＵＴの０≦Ｙ_HL≦１５０の領域では、故意的に色を暗くしている画像と見なし、補正後のハイライトポイントの輝度は変換させない。１５０≦Ｙ_HL≦２２０の領域では補正後の画像が著しく明るくなり、ＪＰＥＧノイズやＣＣＤノイズがより顕著に現れるのを防ぐために、補正後のハイライトポイントの輝度Ｙ_HL′を極端に上げないよう設定されている。２２０≦Ｙ_HLの領域では、従来通り補正後のハイライトポイントの輝度Ｙ_HL′を２４５にするようになっている。シャドーポイントについては従来通り
Ｙ_SD ＝ Ｙ₀′ （但し、Ｙ₀′≒ ０）
とする。このようにしてハイライトポイントＹ_HL′とシャドーポイントＹ₀′を決定した後、色かぶりの補正を行う（Ｓ５）。まず決定されたハイライトポイントおよびシャドーポイントの輝度を持つ色差信号の平均値、それぞれ（ Ｃ₁（ＨＬ），Ｃ₂（ＨＬ））、（ Ｃ₁（ＳＤ），Ｃ₂（ＳＤ））を求める。求めれらた（Ｃ₁（ＨＬ），Ｃ₂（ＨＬ））、（ Ｃ₁（ＳＤ），Ｃ₂（ＳＤ））を結ぶ線は色かぶりを起こしていれば輝度軸から傾いているはずであるので、その線が輝度と重なるように（ Ｃ₁（ＨＬ），Ｃ₂（ＨＬ））、（ Ｃ₁（ＳＤ），Ｃ₂（ＳＤ））から回転行列Ｔを算出する。この回転行列Ｔを、元の画像の全画素に施すことにより、色かぶりを補正することが出来る。
【００２３】
色かぶり補正の後は、露出のアンダーやオーバーを補正するコントラスト調整を行う（Ｓ６）。変換前のハイライトポイントＹ_HLをＹ_HL′、シャドーポイントＹ_SDをＹ₀′にするような処理を全画素にわたって行う。これにより露出アンダーやオーバーな画像が改善され、結果コントラスト調整が行われる。
【００２４】
以上のように、ハイライトポイント設定の際に、ＬＵＴに従って補正後の輝度値を変化させることによって、適切な色補正を行うことが出来る。
【００２５】
（実施形態２）
次に実施形態２として、輝度ヒストグラムと信号値平均ヒストグラムとの比較からハイライトポイントを設定する際に、それぞれのＬＵＴから補正後の輝度値を求め補正する方法を挙げる。
【００２６】
写真の多くの部分を青空が占めるような画像の場合、実施形態１のような重み付けによる輝度信号のヒストグラムからでは、B信号の重みが低いため、必ずしも最適なハイライトポイントを設定することができない。つまり青みがかった雲を白にするような補正を行うことができない。
【００２７】
また、逆光の状態で人物などを撮影すると主被写体がアンダー気味になり、好ましい階調が得られない。このような画像に対して、実施形態1のようにハイライトポイントを設定してもほとんど最高輝度に張り付いてしまい、これに基づいて補正を行ってもほとんど補正がかからない。
【００２８】
そこで、実施形態２では、青空の多い画像や逆光で撮影した画像等においても適正な補正が行われるよう、変換するハイライトポイントの値を変える。この方法は、輝度ヒストグラムを作成するだけでなく、同時に下式よりＲ、Ｇ、Ｂの信号値平均
Ｍ ＝ （Ｒ＋Ｇ＋Ｂ）／３
を求め、このＭに基づいてヒストグラムを作成して（以下、信号値平均ヒストグラムと呼ぶ）、そこからハイライトポイントＭ_HLを求める。この後、輝度ヒストグラムから求めたハイライトポイントＹ_HLと信号値平均ヒストグラムから求めたハイライトポイントＭ_HLを比較し、値の小さい方をハイライトポイントとする。その後コントラスト調整および色かぶり補正を行うのであるが、信号値ヒストグラムをハイライトポイントに設定した場合、ハイライトポイントＭ_HLに対応した輝度Ｙ_HL(M)を
Ｙ_HL(M) ＝ Ｙ₂₅₅′ （但し、Ｙ₂₅₅′≒２５５）
として、補正を行う。ハイライトポイントＭ_HLに応じた輝度Ｙ_HL(M)とは、信号値平均値ヒストグラムに累積する際に２５６個のテーブルを用意し、それぞれの信号値平均に対応づけたテーブルにその時の輝度を格納し、それをインクリメントしていき、最終的に各信号値平均の合計値をそこに格納された個数で割り求めたものである。
【００２９】
このようにすることによって例えば青空の中に浮かんだ雲があるような画像の場合、雲の部分にハイライトポイントを設定することが出来るようになり、青い空、白い雲といった人間の記憶に近い画像を再現することが可能となる。
【００３０】
しかしながら、輝度ヒストグラムと信号値平均ヒストグラムの比較からハイライトポイントを設定する場合で信号値平均ヒストグラムのハイライトポイントの方が値が小さく図４に示すように設定したとする。これに基づき上述した色補正を行ったとすると、図中斜線の領域部分Ａで色飛びが起きてしまうことがある。
【００３１】
そこで、本実施形態では、補正後のハイライトポイントを求めるLUTをハイライトポイントの設定方法に対応させて用意する。
【００３２】
図７に本実施形態の処理の流れを示すフローチャートを示す。最初に実施形態１と同様に画像データの読み込みを行う（Ｓ１１）。その後、ＲＧＢデータから輝度Ｙを求めると同時に信号値の平均Ｍを求める（Ｓ１２）。それらのデータから輝度ヒストグラムおよび信号値ヒストグラムを作成する（Ｓ１３）。作成したヒストグラムの上（２５５）から数パーセントをハイライトポイント、下（０）から数パーセントをシャドーポイントとして、輝度ヒストグラムのハイライトポイントＹ_HL、信号値平均ヒストグラムのハイライトポイントＭ_HLを求める（Ｓ１４）。この両者の値で比較を行い、値の小さい方を色補正に用いるハイライトポイントとする（Ｓ１５）。
【００３３】
Ｙ_HL ＜ Ｍ_HLであれば、ハイライトポイントは輝度ヒストグラムのハイライトポイントＹ_HLとなる。この場合、ハイライトポイントＹ_HLに基づきルックアップテーブル（ＬＵＴ_Yとする）を参照し補正後の輝度を求める（Ｓ１６）。
【００３４】
逆にＹ_HL ＞ Ｍ_HLであれば、ハイライトポイントは信号値平均のハイライトポイントＭ_HLとなる。この場合、Ｙ_HLの場合とは異なるルックアップテーブル（ＬＵＴ_Mとする）をハイライトポイントＭ_HLに基づき参照し補正後の輝度値を求める（Ｓ１７）。図８は信号値平均のハイライトポイントのＬＵＴ_Mの一例である。この例では、輝度ヒストグラムがハイライトポイントの場合、変換後の値を小さくすることで、従来課題で述べたような色飛びを防いでいる。
【００３５】
その後、Ｓ１５で決定されたハイライトポイントとに基づき実施形態１と同様の色かぶり補正（図５のＳ５）を行う（Ｓ１８）。そして、Ｓ１５で決定されたハイライトポイントと、Ｓ１６またはＳ１７によって求められた補正後の輝度値とに基づき、実施形態１と同様のコントラスト調整（図５のＳ６）を行う（Ｓ１９）。
【００３６】
本実施形態によれば、図6または図8に示されるLUTを画像に応じて選択的に使用することにより、夜などの比較的暗い画像についても、画像補正によって不自然に明るくなることを防ぐことが出来る。また、青空の多い画像や逆光で撮影された画像に効果を上げる、輝度ヒストグラムのハイライトポイントと信号値平均ヒストグラムのハイライトポイントを比較する方法においても、色飛びを抑え最適な補正を行うことが可能となる。
【００３７】
また、図６、図８で代表される本実施形態でのＬＵＴの形は一例として挙げたにすぎず、画像の種類や補正度合いなどによってＬＵＴは様々な値が適用される。
【００３８】
（他の実施形態）
上記実施形態では、最初に色かぶり補正を行い、その後に露出のアンダーやオーバーを補正するいわゆるコントラスト調整を行ったが、その順序は問われない。また、ハイライト／シャドーポイントの決定方法やヒストグラム作成方法や画像補正に関するアルゴリズムは上記方法にかぎられず他の多種多様の方法を用いることができる。例えば、ヒストグラムを他の明るさを示す成分に基づき作成しても構わない。
【００３９】
上述の実施形態をインクジェット方式や電子写真方式のプリンタのドライバまたはデジタルカメラのドライバに適用しても構わない。
【００４０】
また、イメージ、グラフィックやテキストなど複数の種類が異なるオブジェクトが含まれる画像が入力された場合は、イメージのオブジェクトに対してのみ上記補正処理を行うようにしても構わない。このようにする事によりグラフィックやテキストの画質を保持しつつ、イメージの画質を良好にすることができる。
【００４１】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００４２】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００４３】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【００４４】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４５】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００４６】
【発明の効果】
以上説明したように、本発明によればハイライトポイントを適正に設定することができ高精度の補正を行うこができ、良好な出力画像を得ることができるようにすることができる。
【図面の簡単な説明】
【図１】露出がアンダーしている画像の輝度ヒストグラムの一例を示す図である。
【図２】ハイライトポイントとシャドーポイントを結ぶ線が輝度軸に重なるように回転させるＣ₁Ｃ₂Ｙ空間の図である。
【図３】夜の画像のヒストグラムの一例を示す図である。
【図４】輝度ヒストグラムと信号値平均ヒストグラムからハイライトポイントを設定する方法を示す図である。
【図５】実施形態１の処理過程を示すフローチャート図である。
【図６】補正後のハイライトポイントの輝度値を求めるためのＬＵＴを表すグラフである。
【図７】実施形態２の処理過程を示すフローチャート図である。
【図８】信号値平均で求めたハイライトポイントの補正後の輝度値を求めるためのＬＵＴ_Mを表すグラフである。

Claims (4)

1. 明るさを示す色成分に基づき入力画像のヒストグラムを作成し、
   前記作成されたヒストグラムに基づき、前記入力画像のハイライトポイントを検出し、
   検出されたハイライトポイントと補正後のハイライトポイントとの対応関係を示すテーブルに基づき、前記入力画像から検出されたハイライトポイントに応じて補正後のハイライトポイントを求め、
   前記補正後のハイライトポイントに基づき前記入力画像に対して色補正を行い、
   前記入力画像から検出されたハイライトポイントの輝度が所定値未満の場合、前記補正後のハイライトポイントは前記検出されたハイライトポイントと等しく、前記入力画像から検出されたハイライトポイントの輝度が所定値以上の場合、前記補正後のハイライトポイントは高輝度であることを特徴とする画像処理方法。
2. 前記色補正は、色かぶり補正であることを特徴とする請求項１記載の画像処理方法。
3. 明るさを示す色成分に基づき入力画像のヒストグラムを作成する作成手段と、
   前記作成されたヒストグラムに基づき、前記入力画像のハイライトポイントを検出する検出手段と、
   検出されたハイライトポイントと補正後のハイライトポイントとの対応関係を示すテーブルに基づき、前記入力画像から検出されたハイライトポイントに応じて補正後のハイライトポイントを求める手段と、
   前記補正後のハイライトポイントに基づき前記入力画像に対して色補正を行う色補正手段と、
   前記入力画像から検出されたハイライトポイントの輝度が所定値未満の場合、前記補正後のハイライトポイントは前記検出されたハイライトポイントと等しく、前記入力画像から検出されたハイライトポイントの輝度が所定値以上の場合、前記補正後のハイライトポイントは高輝度であることを特徴とする画像処理装置。
4. コンピュータが読み取り可能にプログラムを記録する記録媒体であって、
   明るさを示す色成分に基づき入力画像のヒストグラムを作成し、
   前記作成されたヒストグラムに基づき、前記入力画像のハイライトポイントを検出し、
   検出されたハイライトポイントと補正後のハイライトポイントとの対応関係を示すテーブルに基づき、前記入力画像から検出されたハイライトポイントに応じて補正後のハイライトポイントを求め、
   前記補正後のハイライトポイントに基づき前記入力画像に対して色補正を行い、
   前記入力画像から検出されたハイライトポイントの輝度が所定値未満の場合、前記補正後のハイライトポイントは前記検出されたハイライトポイントと等しく、前記入力画像から検出されたハイライトポイントの輝度が所定値以上の場合、前記補正後のハイライトポイントは高輝度であるプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images