JP4529888B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、ホワイトバランス補正の補正量を適切に設定するための画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

従来、被写体を照らす光源の色温度の違いにより撮影画像に生じる不自然な再現色の補正として、本来白色となる部分を正確に白く表現する補正（いわゆるホワイトバランス補正）が知られている。例えば、ＣＣＤやＣＭＯＳ等の撮影素子を用いたデジタルスチルカメラなどの撮影機器で撮影された画像は、光源が白熱灯の場合には全体的に赤みがかって再現され、光源が蛍光灯の場合には全体的に青みがかって再現される。このように不自然に再現された撮影画像を自然な色に補正するために、光源の色温度に応じたホワイトバランス補正が行われる。

ホワイトバランス補正の手法としては、大別して、光源の色温度を測定してその測定結果に基づき補正を行う手法と、撮影画像の色情報を解析することにより光源の色温度を推測して補正を行う手法とが知られている。前者の手法によれば、比較的適切なホワイトバランス補正を実現することができるものの、光源の色温度を測定するための構成（センサ等）を撮影機器に設けなければならず、撮影機器の大型化や高コスト化を招いてしまう。そこで、後者の手法で適切にホワイトバランス補正を行うための種々の提案がなされている。

例えば、撮影画像全体の色は平均すると無彩色になるという前提で、撮影画像全体の色の平均的なカラーバランスのずれを判断し、そのずれ分を補正する方法が知られている。この方法によれば、撮影画像から光源の色温度を比較的容易に推測してホワイトバランス補正を行うことができるが、あくまでも撮影画像全体の色は平均すると無彩色になるという前提での補正であるため、このような前提が成り立たない撮影画像については補正が適切に行われないこととなる。

そこで、特許文献１には、ホワイトが属する輝度レベルの範囲を決め、決まった輝度レベルの範囲内で画像分割を通じて最終ホワイト値を選定することで比較的適切にホワイトを検出できるようにする方法が記載されている。具体的には、撮影画像の色データをｎ個の輝度レベルの範囲（最小輝度値と最大輝度値との間の区間を同一の間隔で区画した範囲）に分類し、ｎ個の輝度レベルに分類された色のデータに基づいてホワイトに最も近い色のデータを探してその色データが属する輝度レベルをクリップ輝度レベルに選択する。次に、撮影画像をｋ＊ｍ個に領域分割し、各領域についてその領域内の色データの中からクリップ輝度レベルの範囲内に属する色データを格納し、領域別に格納されたｋ＊ｍ個の色データの中で最も近い色のデータをホワイト値に選定する。この場合、一番に多いウィンドウにおいてホワイトに選定された色データを最終ホワイト値と選定する。こうして選定したホワイト値に基づいて色の補正を行う。
特開２００５−１２７６３号公報

しかしながら、例えば青色の花を近接して撮影した画像（図９参照）のように、特定の色の被写体が画像の全域に存在している撮影画像については、不適切な補正（青色の花が白くなるような補正）が行われてしまうことが考えられる。

本発明は、こうした問題にかんがみてなされたものであり、ホワイトバランス補正が不適切に行われてしまうことを防止することを目的としている。

上記目的を達成するためになされた本発明の請求項１に記載の画像処理装置は、色情報判断手段と、補正量設定手段とを備えている。色情報判断手段は、画像を構成する複数の画素（画像を構成するすべての画素に限らず、一部の画素であってもよい。）をその明度に応じて複数のグループに分類し、グループごとに平均的な色情報を判断する。そして、補正量設定手段は、色情報判断手段によりグループごとに判断された平均的な色情報に基づいてホワイトバランス補正の補正量を設定する。

このような構成の画像処理装置によれば、ホワイトバランス補正が不適切に行われてしまうことを効果的に防止することが可能となる。ここで、その理由について説明する。
特定の色の被写体が画像の全域に存在している撮影画像の場合、撮影画像の色が適切に再現されていても、撮影画像全体の平均的な色は無彩色からずれた色となる。このため、このような撮影画像について、撮影画像全体の色は平均すると無彩色になるという前提でのホワイトバランス補正を行うと、不適切な補正が行われてしまう。そこで、本発明の画像処理装置では、撮影画像全体の平均的な色のずれが、光源の色温度の影響によるものかそれとも被写体の色の影響によるものかを判別できるようにするため、明度に応じて分類したグループごとに色情報を判断する。すなわち、被写体の色の影響で撮影画像全体の平均的な色が無彩色からずれた色となっている場合には、すべての明度範囲ではなく一部の明度範囲でのみそのような傾向が生じると考えられるからである。したがって、本発明の画像処理装置によれば、被写体の色の影響による撮影画像全体の平均的な色のずれを光源の色温度の影響によるものと誤判断することによる不適正なホワイトバランス補正を効果的に防止することが可能となる。

具体的には、補正量設定手段は、グループごとに判断された平均的な色情報が所定の範囲内に収まっているか否かを判定し、所定の範囲内に収まっていないと判定した場合にはホワイトバランス補正の補正量を０に設定するとよい。このようにすれば、撮影画像全体の平均的な色のずれが被写体の色の影響によるものであると判断される条件としているため、撮影画像全体の平均的な色のずれが被写体の色の影響によるものである可能性の高い場合にはホワイトバランス補正自体が行われないようにすることができる。なお、ここでいう「ホワイトバランス補正の補正量を０にする」とは、要するに、ホワイトバランス補正を行わないということであり、補正量を０に設定する具体的な処理（例えば、補正量を表す変数に０を代入する処理）を必ず実行しなければならないという意味ではない。

ここで、請求項２に記載の画像処理装置では、上記請求項１に記載の画像処理装置において、色情報判断手段は、平均的な色情報として少なくとも色相の平均値を判断する。つまり、グループごとに判断された色相の平均値が類似範囲内に収まっていない（色相の傾向が一定でない）場合には、撮影画像全体の平均的な色のずれが被写体の色の影響によるものであると判定するのである。このような画像処理装置によれば、撮影画像全体の平均的な色のずれが被写体の色の影響によるものであるか否かを比較的正確かつ容易に判定することができる。

特に、請求項３に記載のように、補正量設定手段が、複数のグループのうち明度が低い１又は複数のグループ（一部のグループ）の平均的な色情報については、所定の範囲内に収まっているか否かの判定の対象外とすれば、一層適切な判定を行うことができる。画像における明度の低い部分は、明度の高い部分に比べて色情報の誤差が大きくなりやすいからである。

ところで、色情報判断手段がグループごとに平均的な色情報を判断する際に、そのグループに分類されている画素の数があまりにも少ないと判断結果の信頼度が低くなってしまう。

そこで、請求項４に記載の画像処理装置では、上記請求項１〜３のいずれかに記載の画像処理装置において、色情報判断手段が、画像を構成する複数の画素を、複数のグループに、画素の数が均等となるように分類する。このような画像処理装置によれば、平均的な色情報の判断結果の信頼度の低いグループ（分類されている画素の数が極端に少ないグループ）が発生してしまうことを防ぐことができる。

一方、請求項５に記載の画像処理装置では、上記請求項１〜４のいずれかに記載の画像処理装置において、色情報判断手段は、平均的な色情報として少なくとも無彩色を基準とした色情報の平均的なずれを判断する。そして、補正量設定手段は、色情報判断手段によりグループごとに判断された色情報の平均的なずれに基づいて、グループごとにホワイトバランス補正の補正量を設定する。このような画像処理装置によれば、撮影画像全体の色は平均すると無彩色になるという前提で、各グループに適したホワイトバランス補正の補正量を設定することができる。なお、「無彩色を基準とした色情報の平均的なずれ」とは、画素ごとの無彩色からのずれ度合い（例えば、各画素のａ^*値及びｂ^*値や、彩度Ｃ）を、グループごとに平均的に判断したものである。ここで、「平均的」とは、複数の値についての中心的傾向のことであり、例えば、平均値（値の総和／値の個数）や、中央値（値を大きさ順に並べたときに中央に位置する値）や、最頻値（もっとも度数の多い値）などが挙げられる。

また、ホワイトバランス補正の補正量としては、色情報の平均的なずれを０にする補正量が考えられるが、このような補正量で実際にホワイトバランス補正を行うと、かえって不自然な画像になってしまうことが多い。

そこで、請求項６に記載の画像処理装置では、上記請求項５に記載の画像処理装置において、補正量設定手段は、ホワイトバランス補正の補正量を、色情報の平均的なずれを０にするための補正量よりも小さい値に設定する。つまり、色情報の平均的なずれを０にする補正に比べ、補正量をやや抑え気味に設定するのである。このような画像処理装置によれば、ホワイトバランス補正を施した画像が不自然とならないようにすることができる。

次に、請求項７に記載の画像処理装置は、上記請求項５又は６に記載の画像処理装置において、画像を構成する各画素を、その画素の明度に対応するグループについて設定されたホワイトバランス補正の補正量に基づいて補正する補正手段を備えている。このような画像処理装置によれば、画像を構成する各画素をその明度に応じた適切な補正量で補正することができる。

具体的には、例えば、画像を構成する各画素をその明度に対応するグループについて設定されたホワイトバランス補正の補正量でそのまま補正することが考えられる。ただし、このようにすると、同一グループの明度範囲に属していれば、明度の異なる画素であっても同一の補正量で補正されることとなる。

そこで、請求項８に記載の画像処理装置では、上記請求項７に記載の画像処理装置において、補正手段は、グループごとに設定されたホワイトバランス補正の補正量に基づいて明度に応じた補正量を判断し、画像を構成する各画素をその明度に応じた補正量で補正する。例えば、グループごとに設定された補正量をそのグループの明度の中央値（平均値としてもよい。）に対応する補正量とする。そして、画像を構成する画素の明度が中央値と一致していればその中央値に対応する補正量をそのまま用い、中央値と異なっていれば、他の中央値に対応する補正量との関係で補間して補正量を求める。つまり、同一グループの明度範囲に属する画素であっても、明度が異なる場合にはその明度に応じたより適切な補正量が設定されるようにするのである。このようにすれば、ホワイトバランス補正を一層精度よく行うことができる。

次に、請求項９に記載の画像処理方法は、画像を構成する複数の画素をその明度に応じて複数のグループに分類し、グループごとに平均的な色情報を判断する色情報判断ステップと、グループごとに判断した平均的な色情報に基づいてホワイトバランス補正の補正量を設定する補正量設定ステップとを備え、補正量設定ステップでは、グループごとに判断された平均的な色情報が所定の範囲内に収まっているか否かを判定し、所定の範囲内に収まっていないと判定した場合にはホワイトバランス補正の補正量を０に設定することを特徴としている。このような画像処理方法によれば、上記請求項１の画像処理装置について述べた効果と同様の効果を得ることができる。

次に、請求項１０に記載の画像処理プログラムは、画像を構成する複数の画素をその明度に応じて複数のグループに分類し、グループごとに平均的な色情報を判断する色情報判断手段、及び、色情報判断手段によりグループごとに判断された平均的な色情報に基づいてホワイトバランス補正の補正量を設定する補正量設定手段としてコンピュータを機能させ、補正量設定手段は、グループごとに判断された平均的な色情報が所定の範囲内に収まっているか否かを判定し、所定の範囲内に収まっていないと判定した場合にはホワイトバランス補正の補正量を０に設定することを特徴としている。このような画像処理プログラムによれば、上記請求項１の画像処理装置としてコンピュータを機能させることができ、これにより上述した効果を得ることができる。なお、本画像処理プログラムには、フレキシブルディスク等の磁気ディスク、光磁気ディスク、半導体製メモリなど、コンピュータ読み取り可能な記憶媒体に記憶された状態のものも含まれることは言うまでもない。

以下、本発明が適用された実施形態について、図面を用いて説明する。
図１は、実施形態の画像処理装置としてのプリンタ１０の概略構成を表すブロック図である。

このプリンタ１０は、デジタルスチルカメラ等で撮影した画像を表す画像データが記憶された可搬型記憶媒体としてのメモリカード２０から、パーソナルコンピュータ等の情報処理装置を介さずに直接画像データを読み取って印刷する機能（いわゆるダイレクトプリント機能）を有している。そして、このプリンタ１０は、同図に示すように、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、操作部１４、カードインタフェース（Ｉ／Ｆ）１５及び印刷部１６をハードウェア構成として備えている。

ＣＰＵ１１は、ＲＯＭ１３に記憶されているプログラムに従い処理を実行することにより、本プリンタ１０の各部を制御する。
ＲＡＭ１２は、ＣＰＵ１１の一時的な作業領域として用いられる。また、ＲＡＭ１２には、後述する処理で用いられるデータ記憶テーブル（Ｌ^*分割テーブル及びホワイトバランステーブル）の記憶領域が確保されている。

ここで、Ｌ^*分割テーブルとは、画像を構成する複数の画素（ピクセル）をその明度に応じて分類するためのテーブルである。具体的には、図２に示すように、０〜１００．０までの範囲の値をとる明度（Ｌ^*）を等間隔（本実施形態では、０．１幅の１０００個の明度範囲）に分割した各明度範囲について、分類された画素の数（出現個数）と、分類された画素のａ^*値及びｂ^*値の各総和とが記憶される。なお、これらの初期値は０に設定される。

また、ホワイトバランステーブルとは、画像を構成する複数の画素をその明度に応じて所定数のグループに均等に分類するためのテーブルである。具体的には、図３に示すように、２０個のグループのそれぞれについて、分類された画素のａ^*値及びｂ^*値の各平均値と、分類された画素の彩度Ｃ及び色相ｈの各平均値と、画素のａ^*値及びｂ^*値についてのホワイトバランス補正の補正量とが記憶される。なお、これらの初期値は０に設定される。

ＲＯＭ１３には、後述するダイレクトプリント処理をＣＰＵ１１に実行させるためのホワイトバランス補正プログラム等、各種プログラムが記憶されている。
操作部１４は、利用者（ユーザ）が入力操作を行うための複数のキーを備え、入力操作に応じた信号をＣＰＵ１１に入力する。

カードインタフェース１５は、メモリカード２０を直接挿入可能なカードスロット１５ａを有しており、ＣＰＵ１１からの指令に基づき、カードスロット１５ａに挿入されているメモリカード２０から、そのメモリカード２０に記憶されているデータ（撮影画像を表す画像データ）を読み取る処理を行う。

印刷部１６は、ＣＰＵ１１からの指令に基づき、記録媒体としての用紙を複数枚収容可能な給紙部から１枚ずつ用紙を給紙し、画像データの表すカラー画像を用紙に印刷して、排紙部へ排紙する。

次に、本実施形態のプリンタ１０が有するホワイトバランス補正機能について説明する。
プリンタ１０は、カードスロット１５ａに挿入されているメモリカード２０から画像データを読み取り、その画像データの表す画像を構成する各画素を、明度と色情報（彩度、色相）とを表すパラメータに変換し、各画素をその明度に応じて分類する。具体的には、各画素の明度をＣＩＥＬＡＢ表色系を用いて算出する。

ここで、周知ではあるが、ＣＩＥＬＡＢ表色系について簡単に説明する。
図４に示すように、ＣＩＥＬＡＢ表色系において、Ｌ^*，ａ^*，ｂ^*は、３次元で立体的に表される。Ｌ^*は明度を表し、Ｌ^*の値が大きくなる方向が明るくなる方向である。また、ａ^*，ｂ^*は色情報を表し、ａ^*の正方向がおよそ赤色、負方向がおよそ緑色、ｂ^*の正方向がおよそ黄色、負方向が青色の量をそれぞれ示している。最明部、最暗部では、色情報は中心軸（ａ^*＝ｂ^*＝０の軸）に収束するので、明部、暗部では色情報の値は小さくなる。また、ＣＩＥＬＡＢ表色系において、彩度Ｃは、Ｃ＝ｓｑｒｔ（ａ²＋ｂ²）のユークリッド距離で表現され、色相ｈは、ｂ^*＝０におけるａ^*の正方向を０度とした左回りの角度で表現される。

そして、本プリンタ１０では、画像データの表す画像について、明度レベルの異なる複数のグループごとに色情報の平均値を算出する。具体的には、各グループを固定的な明度範囲とするのではなく、まず、明度レベルごとの画素の出現個数を調べた上で、あらかじめ定められた数のグループに分類される画素の数がそれぞれ均等となるように各グループの明度範囲を設定する。これは、明度範囲を固定的にしてしまうと、一部の明度範囲に画素の出現個数が偏っている画像の場合には、特定のグループに画素がほとんど存在しなくなり、そのグループについての色情報の平均値の信頼度が低下してしまうことが考えられるからである。

続いて、グループごとに算出した色情報の平均値に基づき、各グループについて無彩色からのずれの状態を確認する。そして、ずれ方向がすべて同じ方向であれば、その方向にホワイトバランスがずれている（光源の色温度の影響によるものである）と判断する。一方、ずれ方向がすべて同じ方向でなければ、それはホワイトバランスのずれではなく、被写体の色の影響（特定の色の被写体が高い割合で画像に存在している等）であると判断する。

すなわち、光源の色温度の影響である場合には、図５（ａ）に示すように、無彩色の軸全体がずれることとなる。これに対し、被写体の色の影響である場合には、図５（ｂ）に示すように、軸全体のずれは発生せず、明度の一部が違う方向にずれる。そこで、こうした傾向の違いに基づき、被写体の色の影響の有無を判断し、被写体の色の影響で色がずれているにもかかわらずホワイトバランスが行われてしまうことを防止する。

次に、こうしたホワイトバランス補正機能を実現するために、ホワイトバランス補正プログラムに従いＣＰＵ１１が実行するダイレクトプリント処理について、図６のフローチャートを用いて説明する。このダイレクトプリント処理は、メモリカード２０に記憶されている画像データの表す画像の印刷（ダイレクトプリント）を実行するための所定の入力操作が操作部１４において行われることにより開始される。

このダイレクトプリント処理が開始されると、まず、Ｓ１０１で、印刷対象の画像データをＲＡＭ１２上でＲＧＢデータに展開する。具体的には、ＪＰＥＧ形式等でデータ圧縮された状態でメモリカード２０に記憶されている画像データを読み取り、ＲＧＢそれぞれ８ビットの非圧縮形式の画像データに展開する。

続いて、Ｓ１０２では、Ｓ１０１で展開した画像データについてのホワイトバランステーブルを作成する処理であるホワイトバランステーブル作成処理を行う。なお、ホワイトバランステーブル作成処理の具体的内容については後述する（図７）。

続いて、Ｓ１０３では、Ｓ１０２で作成したホワイトバランステーブルを用いて、印刷対象の画像データのホワイトバランスを補正する処理であるホワイトバランス補正処理を行う。なお、ホワイトバランス補正処理の具体的内容については後述する（図８）。

続いて、Ｓ１０４では、印刷対象の画像データの表す画像を印刷部１６で印刷する。その後、本ダイレクトプリント処理を終了する。
次に、上記ダイレクトプリント処理（図６）におけるＳ１０２で実行されるホワイトバランステーブル作成処理について、図７のフローチャートを用いて説明する。なお、Ｌ^*分割テーブル及びホワイトバランステーブルの各記憶値については初期値に設定しておく（図２及び図３に示す状態とする）。

このホワイトバランステーブル作成処理が開始されると、まず、Ｓ２０１で、印刷対象の画像を構成する全画素のうち処理対象の画素として着目した１つの画素（以下「処理対象画素」という。）の値を、ＲＧＢ値からＬ^*ａ^*ｂ^*値に変換する。具体的には、ＲＧＢからＣＩＥＸＹＺへの色空間変換を行った後、ＣＩＥＸＹＺからＣＩＥＬＡＢへの色空間変換を行う。なお、処理対象画素は、本ホワイトバランステーブル作成処理の開始時に所定の画素（例えば画像における左上隅の画素）に設定され、後述するＳ１０４でＮＯと判定されるごとに一定の順序（各画素が１回ずつ順に選択される順序（換言すれば、同一の画素が重複して選択されない順序））で変更される。

続いて、Ｓ２０２では、Ｓ２０１でＬ^*ａ^*ｂ^*値に変換した処理対象画素のＬ^*値のレベルを判別する。具体的には、Ｌ^*値が、Ｌ^*分割テーブル（図２）におけるどの明度範囲に分類されるものであるかを判別する。

続いて、Ｓ２０３では、Ｌ^*分割テーブルにおけるＳ２０２で判別した明度範囲の出現個数の値をインクリメント（値に１を加算）するとともに、ａ^*値の総和及びｂ^*値の総和に、処理対象画素のａ^*値及びｂ^*値を加算する。

続いて、Ｓ２０４では、印刷対象の画像を構成するすべての画素についての処理が終了したか否かを判定する。
そして、Ｓ２０４で、すべての画素についての処理が終了していないと判定した場合には、Ｓ２０１へ戻る。

一方、Ｓ２０４で、すべての画素についての処理が終了したと判定した場合（Ｌ^*分割テーブルの作成が完了した場合）には、Ｓ２０５へ移行し、ホワイトバランステーブル（図３）の各グループに分類する画素数（以下「ＷＢテーブルピクセル数」という。）を、式（１）から算出する。なお、式（１）において、ホワイトバランステーブルの分割数とは、画素を分類するグループの数であり、本実施形態ではあらかじめ２０と設定されている。

ＷＢテーブルピクセル数＝全画素数／ホワイトバランステーブルの分割数 …式（１）
続いて、Ｓ２０６では、画素数をカウントするための変数ｓｕｍの値をリセットする（値を０にする）。

続いて、Ｓ２０７では、変数ｓｕｍの値がＷＢテーブルピクセル数以上であるか否かを判定する。
そして、Ｓ２０７で、変数ｓｕｍの値がＷＢテーブルピクセル数以上でない（ＷＢテーブルピクセル数未満である）と判定した場合には、Ｓ２０８へ移行し、Ｌ^*分割テーブルにおける複数（１０００個）の明度範囲のうち現在参照している明度範囲（以下「参照範囲」という。）における出現個数の値をｓｕｍに加算する。なお、Ｌ^*分割テーブルの参照範囲は、本ホワイトバランステーブル作成処理の開始時に、明度の最も高い明度範囲（図２でいう範囲番号が１の明度範囲）に設定され、後述する処理（Ｓ２１０，Ｓ２１７）において変更される。

続いて、Ｓ２０９では、Ｌ^*分割テーブルの参照範囲におけるａ^*値の総和及びｂ^*値の総和を、ホワイトバランステーブルにおける複数（２０個）のグループのうち現在参照しているグループ（以下「参照グループ」という。）におけるａ^*値の平均値及びｂ^*値の平均値にそれぞれ加算する。なお、ホワイトバランステーブルの参照グループは、本ホワイトバランステーブル作成処理の開始時に、明度の最も高いグループ（図３でいう範囲番号が１のグループ）に設定され、後述する処理（Ｓ２１５）において変更される。

続いて、Ｓ２１０では、Ｌ^*分割テーブルの参照範囲を、現在の参照範囲に次いで明度の高い明度範囲（範囲番号を１増加させた明度範囲）に変更する。その後、Ｓ２０７へ戻る。

一方、Ｓ２０７で、変数ｓｕｍの値がＷＢテーブルピクセル数以上であると判定した場合には、Ｓ２１１へ移行し、変数ｓｕｍの値からＷＢテーブルピクセル数を差し引く。
続いて、Ｓ２１２では、変数ｓｕｍの値が０であるか否かを判定する。

そして、Ｓ２１２で、変数ｓｕｍの値が０でないと判定した場合には、Ｓ２１３へ移行し、Ｌ^*分割テーブルの参照範囲を、現在の参照範囲に次いで明度の低い明度範囲（範囲番号を１減少させた明度範囲）に変更する。つまり、参照範囲を前の範囲に戻す。

続いて、Ｓ２１４では、Ｌ^*分割テーブルにおける参照範囲のａ^*値の総和及びｂ^*値の総和を、次の式（２）、式（３）に基づき補正する。なお、式（２）、式（３）でいう出現個数とは、Ｌ^*分割テーブルにおける参照範囲の出現個数である。

ａ^*値の総和＝ａ^*値の総和×ｓｕｍの値／出現個数 …式（２）
ｂ^*値の総和＝ｂ^*値の総和×ｓｕｍの値／出現個数 …式（３）
続いて、Ｓ２１５では、ホワイトバランステーブルにおける参照グループのａ^*値の平均値及びｂ^*値の平均値を、次の式（４）、式（５）に基づき補正した後、Ｓ２１６へ移行する。なお、式（４）、式（５）でいうａ^*値の総和、ｂ^*値の総和とは、Ｌ^*分割テーブルにおける参照範囲のａ^*値の総和、ｂ^*値の総和（式（２）、式（３）で算出した値）である。

ａ^*値の平均値＝ａ^*値の平均値−ａ^*値の総和 …式（４）
ｂ^*値の平均値＝ｂ^*値の平均値−ｂ^*値の総和 …式（５）
一方、Ｓ２１２で、変数ｓｕｍの値が０であると判定した場合には、Ｓ２１３〜Ｓ２１５の処理（各グループに分類される画素数が均等となるように補正するための処理）を行わずにＳ２１６へ移行する。

Ｓ２１６では、ホワイトバランステーブルにおける参照グループのａ^*値及びｂ^*値の各平均値（正確には、この時点ではａ^*値及びｂ^*値の各総和を表している）を、次の式（６）、式（７）に基づき算出する。

ａ^*値の平均値＝ａ^*値の平均値／ＷＢテーブルピクセル数 …式（６）
ｂ^*値の平均値＝ｂ^*値の平均値／ＷＢテーブルピクセル数 …式（７）
このように算出したａ^*値の平均値及びｂ^*値の平均値は、無彩色（ａ^*値＝ｂ^*値＝０）を基準とした色情報の平均的なずれの判断基準となる。また、本Ｓ２１６では、算出したａ^*値の平均値及びｂ^*値の平均値に基づき、彩度Ｃの平均値と色相ｈの平均値とを算出する。なお、彩度Ｃの平均値と色相ｈの平均値は、ａ^*値の平均値及びｂ^*値の平均値から導き出せる値であることから、ホワイトバランステーブルに記憶せず必要時に算出するようにしてもよい。

続いて、Ｓ２１７では、ホワイトバランステーブルの作成が完了したか否かを判定する。具体的には、ホワイトバランステーブルの参照グループが、明度の最も低いグループ（範囲番号が２０のグループ）であるか否かを判定する。

そして、Ｓ２１７で、ホワイトバランステーブルの作成が完了していないと判定した場合には、Ｓ２１８へ移行し、ホワイトバランステーブルの参照位置を、現在の参照グループに次いで明度の高いグループ（範囲番号を１増加させたグループ）に変更する。

続いて、Ｓ２１９では、変数ｓｕｍの値が０であるか否かを判定する。
そして、Ｓ２１９で、変数ｓｕｍの値が０であると判定した場合には、Ｓ２０８へ移行し、上述した処理を行う。

一方、Ｓ２１９で、変数ｓｕｍの値が０でないと判定した場合には、Ｓ２０９へ移行し、上述した処理を行う。なお、この場合にＳ２０８の処理を行わないのは、Ｌ^*分割テーブルにおける参照範囲の出現個数の値が既にｓｕｍに加算された状態となっているからである。

また、Ｓ２１７で、ホワイトバランステーブルの作成が完了したと判定した場合には、本ホワイトバランステーブル作成処理を終了する。
以上のような処理を行うことにより、画像を構成する全画素がホワイトバランステーブルにおける複数のグループに均等に分類され、グループごとにａ^*値の平均値、ｂ^*値の平均値、彩度Ｃの平均値及び色相ｈの平均値が算出される。

次に、上記ダイレクトプリント処理（図６）におけるＳ１０３で実行されるホワイトバランス補正処理について、図８のフローチャートを用いて説明する。
このホワイトバランス補正処理が開始されると、まず、Ｓ３０１で、ホワイトバランステーブルの各グループについて算出された色相ｈの平均値が所定の角度範囲内に収まっているか否かを判定する。つまり、各グループの色相ｈの平均値のばらつきが小さいか否か（明度ごとの色相ｈの傾向が一定か否か）を判定している。ただし、本実施形態では、ホワイトバランステーブルのグループのうち、明度が低い所定数のグループ（本実施形態では、範囲番号が１９，２０の２つのグループ）の色相ｈの平均値については、所定の角度範囲内に収まっているか否かの判定の対象外としている。これは、画像における明度の低い部分においてはａ^*値及びｂ^*値がかなり小さくなるため、色相ｈの誤差が大きくなる（信頼性が低くなる）からである。なお、所定の角度範囲は、例えば、４５度の角度範囲（４５度幅）や、６０度の角度範囲（６０度幅）とすることができる。実験的には、角度範囲が４５〜６０度の場合（４５度幅〜６０度幅の場合）に好適な結果が得られた。

そして、Ｓ３０１で、色相ｈの平均値が所定の角度範囲内に収まっていると判定した場合には、Ｓ３０２へ移行し、各グループについて、そのグループに分類されている画素の色の平均を無彩色に近づけるための補正量を設定する。具体的には、画素のａ^*値についての補正量（以下「ａ^*補正量」という。）と、画素のｂ^*値についての補正量（以下「ｂ^*補正量」という。）とを設定する。ここで、ａ^*平均値及びｂ^*平均値が０となるように、ａ^*平均値をそのままａ^*補正量としｂ^*平均値をそのままｂ^*補正量とすれば、画素の色の平均を無彩色にする補正（色情報の平均的なずれを０にする補正）を行うことができるが、このように色情報の平均的なずれを０にするように厳格に補正を行うと、かえって不自然な画像になってしまう場合が多い。そこで、本実施形態では、ａ^*平均値及びｂ^*平均値に対し、あらかじめ設定されている調整定数（１未満の値であり、例えば０．８）を乗じた値を、それぞれａ^*補正量及びｂ^*補正量として設定する。つまり、ホワイトバランス補正の補正量を、色情報の平均的なずれを０にするための補正量よりも小さい値に設定するようにしている。

続いて、Ｓ３０３では、処理対象画素の値を、ＲＧＢ値からＬ^*ａ^*ｂ^*値に変換する。なお、処理対象画素は、本ホワイトバランス補正処理の開始時に所定の画素（例えば画像における左上隅の画素）に設定され、後述するＳ３０７でＮＯと判定されるごとに一定の順序（各画素が１回ずつ順に選択される順序（換言すれば、同一の画素が重複して選択されない順序））で変更される。

続いて、Ｓ３０４では、ホワイトバランステーブルにおける複数のグループのうち、Ｓ３０３でＬ^*ａ^*ｂ^*値に変換した処理対象画素のＬ^*値に対応するグループ（処理対象画素のＬ^*値が分類されるグループ）を判別し、そのグループのａ^*補正量及びｂ^*補正量を取得する。

続いて、Ｓ３０５では、Ｓ３０４で取得したａ^*補正量及びｂ^*補正量を用いて、Ｓ３０３でＬ^*ａ^*ｂ^*値に変換した処理対象画素のａ^*値及びｂ^*値を補正する。具体的には、次の（１）〜（４）の条件に従い処理を行う。

（１）処理対象画素に対応するグループについて、そのグループに分類された画素の明度のメディアン（中央値）を算出する。具体的には、例えば、上述したホワイトバランステーブル作成処理におけるＳ２０９の処理において、Ｌ^*分割テーブルの参照範囲におけるａ^*値の総和及びｂ^*値の総和を、ホワイトバランステーブルにおける参照グループのａ^*値の平均値及びｂ^*値の平均値にそれぞれ加算する処理を行った際に、その参照範囲の明度（例えば明度範囲の中間値）及び出現個数を別途記憶しておき、この記憶情報を元にメディアンを算出することができる。なお、メディアンに代えて明度の平均値を算出してもよい。

（２）処理対象画素の明度が、対応するグループの明度のメディアンと一致している場合には、処理対象画素のａ^*値及びｂ^*値を、対応するグループのａ^*補正量及びｂ^*補正量をそのまま用いて補正する。

（３）処理対象画素の明度が、対応するグループの明度のメディアンよりも高い場合には、対応するグループのａ^*補正量及びｂ^*補正量と、そのグループに次いで明度の低いグループのａ^*補正量及びｂ^*補正量とをそれぞれ線形補間することにより、処理対象画素の明度に応じたａ^*補正量及びｂ^*補正量を算出する。そして、処理対象画素のａ^*値及びｂ^*値を、線形補間により算出したａ^*補正量及びｂ^*補正量を用いて補正する。

（４）処理対象画素の明度が、対応するグループの明度のメディアンよりも低い場合には、対応するグループのａ^*補正量及びｂ^*補正量と、そのグループに次いで明度の高いグループのａ^*補正量及びｂ^*補正量とをそれぞれ線形補間することにより、処理対象画素の明度に応じたａ^*補正量及びｂ^*補正量を算出する。そして、処理対象画素のａ^*値及びｂ^*値を、線形補間により算出したａ^*補正量及びｂ^*補正量を用いて補正する。

続いて、Ｓ３０６では、補正後の処理対象画素の値を、Ｌ^*ａ^*ｂ^*値からＲＧＢ値に変換する。
続いて、Ｓ３０７では、印刷対象の画像を構成するすべての画素についての処理が終了したか否かを判定する。

そして、Ｓ３０７で、すべての画素についての処理が終了していないと判定した場合には、Ｓ３０３へ戻る。
一方、Ｓ３０７で、すべての画素についての処理が終了したと判定した場合には、本ホワイトバランス補正処理を終了する。

また、Ｓ３０１で、色相ｈの平均値が所定の角度範囲内に収まっていないと判定した場合には、Ｓ３０２〜Ｓ３０７の処理を行うことなく、本ホワイトバランス補正処理を終了する。つまり、ホワイトバランス補正を行わない。

次に、本実施形態のプリンタ１０によるホワイトバランス補正機能について、具体例を挙げて説明する。なお、以下の説明で例示する画像（図９、図１０）は、ＩＳＯ／ＪＩＳ−ＳＣＩＤの画像である。

図９に示す画像は、青色の花を近接して撮影したものである。この画像においては、青色の花が画像の大部分を占めているが、光源の色温度の影響によるカラーバランスの影響はほとんど無い。

この撮影画像について、上述したホワイトバランステーブル作成処理を実行した結果を表１に示す。

表１に示すように、画像全体でのａ^*値の平均値は−２．１１９、ｂ^*値の平均値は−１０．５７であり、全体的な色のバランスが青色方向にずれている。
ここで、仮に、画像の色の平均は無彩色になるという理論に基づいてａ^*値の平均値及びｂ^*値の平均値を０に近づけるようにホワイトバランス補正を行ったとすると、全体が赤っぽくなり、かえって画像品質を損なってしまうことになる。

これに対し、本実施形態のプリンタ１０では、明度ごとにａ^*値の平均値及びｂ^*値の平均値を算出するため、画像の特性を判断することができる。すなわち、表１に示すように、明度の高い上位１０程度のグループについては、ａ^*値の平均値は正、ｂ^*値の平均値は負に偏っているが、明度が低いグループになるほど、ａ^*値の平均値は負に変化し、ｂ^*値の平均値は正に変化している。色相ｈでみると、各グループの色相ｈは、１４３．０２度〜２８９．５１度の比較的広い範囲（１４６．４９の角度範囲）に散らばっている。

このように、画像全体での平均は青色方向にずれているものの、これは被写体の色の影響によるものであり、光源の色温度の影響によるものではないと判断できる。本実施形態のプリンタ１０は、このような画像に対してはホワイトバランス補正を行わないため、不適切なホワイトバランス補正が行われてしまうことを防ぐことができる。

一方、図１０に示す画像は、女性を撮影したものである。この画像においては、画像の大部分を専有する特定の色の被写体は存在しないが、光源の色温度の影響により全体的にオレンジ色に偏っている。

この撮影画像について、上述したホワイトバランステーブル作成処理を実行した結果を表２に示す。

表２に示すように、画像全体でのａ^*値の平均値は１７．８２９、ｂ^*値の平均値は３４．０５７であり、全体的な色のバランスがオレンジ色方向にずれている。
さらに、グループごとのａ^*値の平均値及びｂ^*値の平均値についても、おおむねオレンジ色の範囲で推移している。色相ｈでみると、各グループの色相ｈは、４７．６３度〜７０．８５度の比較的狭い範囲（２３．２２度の角度範囲）内に収まっている。

本実施形態のプリンタ１０は、このような画像に対してはホワイトバランス補正を行う。具体的には、表３に示すように、各グループについてａ^*補正量及びｂ^*補正量を設定する（この例では、調整定数を０．８としている）。この結果、画像を自然な色に補正することができる。

以上説明したように、本実施形態のプリンタ１０では、画像を構成する複数の画素をその明度に応じて複数のグループに分類し（Ｓ１０１，Ｓ１０２）、グループごとに判断した色相ｈの平均値が所定の範囲内に収まっていない場合には（Ｓ３０１：ＮＯ）、ホワイトバランス補正を行わない（換言すれば、ホワイトバランス補正の補正量を０に設定する）ようにしている。このため、本プリンタ１０によれば、撮影画像全体の平均的な色のずれが被写体の色の影響によるものであるか否かを比較的正確かつ容易に判定することができ、ホワイトバランス補正が不適切に行われてしまうことを効果的に防止することができる。

また、本プリンタ１０では、ホワイトバランステーブルにおける複数のグループのうち明度が低いグループの色相ｈの平均値については所定の範囲内に収まっているか否かの判定の対象外としているため（Ｓ３０１）、誤判定を生じにくくすることができる。

さらに、本プリンタ１０では、画像を構成する複数の画素を複数のグループに均等に分類するようにしている（Ｓ１０７，Ｓ１１１〜Ｓ１１５，Ｓ１１９）。このため、本プリンタ１０によれば、平均的な色情報の判断結果の信頼度の低いグループ（分類されている画素の数が極端に少ないグループ）が発生してしまうことを防ぐことができる。

加えて、本プリンタ１０では、グループごとに判断した色情報の平均的なずれに基づいて、ホワイトバランス補正の補正量を、色情報の平均的なずれを０にするための補正量よりも小さい値に設定するようにしている（Ｓ３０２）。このため、本プリンタ１０によれば、ホワイトバランス補正を行った後の画像が不自然とならないようにすることができる。また、本プリンタ１０では、グループごとに設定された補正量をそのグループの明度の中央値に対応する補正量とし、画像を構成する画素の明度が中央値と一致していればその中央値に対応する補正量をそのまま用い、中央値と異なっていれば、他の中央値に対応する補正量との関係で補間して補正量を求める（Ｓ３０５）。このため、本プリンタ１０によれば、明度ごとに最適なホワイトバランス補正を行うことができる。

なお、本実施形態のプリンタ１０では、ホワイトバランステーブル作成処理（Ｓ１０２，図７）を実行するＣＰＵ１１が、本発明の色情報判断手段に相当し、ホワイトバランス補正処理（Ｓ１０３，図８）におけるＳ３０１，Ｓ３０２の処理を実行するＣＰＵ１１が、本発明の補正量設定手段に相当し、Ｓ３０３〜Ｓ３０７の処理を実行するＣＰＵ１１が、本発明の補正手段に相当する。また、ホワイトバランス補正プログラムが、本発明の画像処理プログラムに相当する。

以上、本発明の一実施形態について説明したが、本発明は、種々の形態を採り得ることは言うまでもない。
例えば、上記実施形態のプリンタ１０では、印刷対象の画像を構成するすべての画素を対象としてホワイトバランステーブルにおける各グループに分類することにより、ホワイトバランス補正の補正量を設定するようにしているが、これに限ったものではない。すなわち、印刷対象の画像を構成する一部の画素のみを対象としてもよい。この場合、画像全体から均等にサンプリングした画素を対象とすることが好ましい。このようにすることで、処理時間の短縮や確保すべき記憶領域の減縮を図ることができる。

また、上記実施形態のプリンタ１０では、ホワイトバランステーブルの各グループについて算出された色相ｈの平均値が所定の角度範囲内に収まっているか否かを判定することで、ホワイトバランス補正を行うか否かの判断を行うようにしているが（Ｓ３０１）、これに限ったものではない。例えば、ホワイトバランステーブルの各グループについて算出されたａ^*値の平均値及びｂ^*値の平均値に基づき判定してもよい。具体例を挙げると、ａ^*値の平均値をｘ軸、ｂ^*値の平均値をｙ軸として各グループの色情報をプロットした場合に、すべてのグループ（明度の低い一部のグループを除いてもよい。）の色情報が所定の範囲内（例えば、同じ象限）に収まっているか否かを判定し、収まっていないと判定した場合にはホワイトバランス補正を行わないことが考えられる。

さらに、上記実施形態のプリンタ１０では、処理対象画素のＬ^*値が対応するホワイトバランステーブルのグループのａ^*補正量及びｂ^*補正量に基づき処理対象画素の補正を行うようにしているが、これに限ったものではない。例えば、明度が最も高いグループのａ^*補正量と、明度が最も低いグループのａ^*補正量とを結んだ１次関数（ｙ＝ｍｘ＋ｎ）を求め、処理対象画素の明度に応じたａ^*補正量を求めるようにし、ｂ^*補正量についても同様に、明度が最も高いグループのｂ^*補正量と、明度が最も低いグループのｂ^*補正量とを結んだ１次関数を求め、処理対象画素の明度に応じたｂ^*補正量を求めるようにしてもよい。例えば、上記表３についてのａ^*補正量及びｂ^*補正量は、次の式（８）、式（９）のように表される。

ａ^*補正量＝−０．１１９６×Ｌ^*−０．５２８ …式（８）
ｂ^*補正量＝−０．３５６１６×Ｌ^*−０．３３６ …式（９）
このようにすることで、画像全体を一定の方向へ補正することができる。

一方、上記実施形態のプリンタ１０では、ａ^*平均値及びｂ^*平均値に対し、あらかじめ設定されている調整定数（１未満の値であり、例えば０．８）を乗じた値を、それぞれａ^*補正量及びｂ^*補正量として設定するようにしているが、これに限ったものではない。例えば、操作部１４における入力操作により調整定数を利用者に設定させるようにしてもよい。このようにすれば、利用者の好みに応じたホワイトバランス補正を行うことができる。

また、調整定数は、０．６５〜０．９５程度とすることが好ましい。ここで、その理由について説明する。
人の感覚は、同じ刺激を受け続けたときに、感度を変化させてその環境に適応するという効果がある。例えば白熱灯のオレンジ光の部屋で撮影した画像はオレンジ色がかって再現されるが、その部屋にいる人はそのように感じない。具体的には、その部屋に入った瞬間はオレンジと感じるが、しばらくその部屋にいればオンレジ光という状態が意識されなくなる。これは、人が白熱灯の光に順応したためである。そして、この機能をシミュレーションしているのが、ホワイトバランス補正であり、オレンジ光の光源の部屋であっても順応した状態とするようにオレンジの色を取り除くような補正を行うのである。一方、ＣＩＥ（国際照明委員会）においては、Ａ Ｃｏｌｏｕｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ ｆｏｒ Ｃｏｌｏｒ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍｓ： ＣＩＥＣＡＭ０２ というモデル式が発表されている。このモデル式は、色の見えをモデル化したものであり、「順応」と呼ばれるパラメータを使用している部分がある。式（１０）〜式（１２）は、順応した状態のＲＧＢの応答を表す式である。ここで、Ｄ＝１とすると完全順応、Ｄ＝０とすると順応なしである。また、Ｄファクタは、式（１３）で表される。

Ｆは、周辺観察環境の明度によって定まるパラメータで、平均的周辺でＦ＝１．０，薄暗い周辺ではＦ＝０．９，暗黒周辺ではＦ＝０．８とされている。ＬＡは、順応輝度を表している。順応輝度は、撮影対象の明るさと考えればよい。ここで、絶対輝度とＤファクタの関係を図１１に示す。撮影対象の明るさが明るくなるほど、Ｄは１に近づく、また暗くなると０．６付近に近づいている。この図を見ると、順応パラメータはおよそ０．６５〜０．９５で推移していることから、この値の範囲で定めるのがふさわしいと考えられるのである。

一方、上記実施形態では、メモリカード２０から直接画像データを読み取って印刷する場合を例に挙げて説明したが、これに限ったものではなく、例えば、パーソナルコンピュータ等の情報処理装置を介して入力した画像データを読み取って印刷する場合にも、同様の処理を行うことができることはいうまでもない。

また、上記実施形態では、ホワイトバランス補正の補正量を設定する構成をプリンタに組み込んだ場合を例に挙げて説明したが、これに限ったものではない。例えば、コピー機、ファクシミリ装置等、他の画像形成装置に組み込むことも可能である。また、デジタルスチルカメラ、デジタルビデオカメラ等、画像を撮像してデジタル情報として記憶するデジタル画像撮像装置に組み込むことも可能である。また、パーソナルコンピュータ等の情報処理装置に組み込むことも可能であり、具体的には、上記実施形態のホワイトバランス補正プログラムのような内容のプログラムを、パーソナルコンピュータにインストールすることにより実現することができる。

実施形態のプリンタの概略構成を表すブロック図である。 Ｌ^*分割テーブルの説明図である。 ホワイトバランステーブルの説明図である。 ＣＩＥＬＡＢ表色系の説明図である。 色のずれ具合の相違点を説明する説明図である。 ダイレクトプリント処理のフローチャートである。 ホワイトバランステーブル作成処理のフローチャートである。 ホワイトバランス補正処理のフローチャートである。 青色の花を近接して撮影した画像の説明図である。 女性を撮影した画像の説明図である。 順応輝度と部分順応ファクタの関係を表すグラフである。

１０…プリンタ、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…操作部、１５…カードインタフェース、１５ａ…カードスロット、１６…印刷部、２０…メモリカード

Claims (10)

1. 画像を構成する複数の画素をその明度に応じて複数のグループに分類し、前記グループごとに平均的な色情報を判断する色情報判断手段と、
   前記色情報判断手段により前記グループごとに判断された前記平均的な色情報に基づいてホワイトバランス補正の補正量を設定する補正量設定手段と、
   を備え、
   前記補正量設定手段は、前記グループごとに判断された前記平均的な色情報が所定の範囲内に収まっているか否かを判定し、前記所定の範囲内に収まっていないと判定した場合にはホワイトバランス補正の補正量を０に設定すること
   を特徴とする画像処理装置。
2. 前記色情報判断手段は、前記平均的な色情報として少なくとも色相の平均値を判断すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記補正量設定手段は、前記複数のグループのうち明度が低い１又は複数のグループの前記平均的な色情報については、前記所定の範囲内に収まっているか否かの判定の対象外とすること
   を特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記色情報判断手段は、前記画像を構成する複数の画素を、前記複数のグループに、画素の数が均等となるように分類すること
   を特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
5. 前記色情報判断手段は、前記平均的な色情報として少なくとも無彩色を基準とした色情報の平均的なずれを判断し、
   前記補正量設定手段は、前記色情報判断手段により前記グループごとに判断された色情報の平均的なずれに基づいて、前記グループごとにホワイトバランス補正の補正量を設定すること
   を特徴とする請求項１から請求項４までのいずれか１項に記載の画像処理装置。
6. 前記補正量設定手段は、前記ホワイトバランス補正の補正量を、前記色情報の平均的なずれを０にするための補正量よりも小さい値に設定すること
   を特徴とする請求項５に記載の画像処理装置。
7. 前記画像を構成する各画素をその明度に対応するグループについて設定されたホワイトバランス補正の補正量に基づいて補正する補正手段を備えたこと
   を特徴とする請求項５又は請求項６に記載の画像処理装置。
8. 前記補正手段は、前記グループごとに設定されたホワイトバランス補正の補正量に基づいて明度に応じた補正量を判断し、前記画像を構成する各画素をその明度に応じた補正量で補正すること
   を特徴とする請求項７に記載の画像処理装置。
9. 画像を構成する複数の画素をその明度に応じて複数のグループに分類し、前記グループごとに平均的な色情報を判断する色情報判断ステップと、
   前記グループごとに判断した前記平均的な色情報に基づいてホワイトバランス補正の補正量を設定する補正量設定ステップと、
   を備え、
   前記補正量設定ステップでは、前記グループごとに判断された前記平均的な色情報が所定の範囲内に収まっているか否かを判定し、前記所定の範囲内に収まっていないと判定した場合にはホワイトバランス補正の補正量を０に設定すること
   を特徴とする画像処理方法。
10. 画像を構成する複数の画素をその明度に応じて複数のグループに分類し、前記グループごとに平均的な色情報を判断する色情報判断手段、及び、
    前記色情報判断手段により前記グループごとに判断された前記平均的な色情報に基づいてホワイトバランス補正の補正量を設定する補正量設定手段
    としてコンピュータを機能させ、
    前記補正量設定手段は、前記グループごとに判断された前記平均的な色情報が所定の範囲内に収まっているか否かを判定し、前記所定の範囲内に収まっていないと判定した場合にはホワイトバランス補正の補正量を０に設定すること
    を特徴とする画像処理プログラム。