JP3801177B2 - 画像処理装置、画像処理プログラム、および画像処理方法 - Google Patents
画像処理装置、画像処理プログラム、および画像処理方法 Download PDFInfo
- Publication number
- JP3801177B2 JP3801177B2 JP2003583033A JP2003583033A JP3801177B2 JP 3801177 B2 JP3801177 B2 JP 3801177B2 JP 2003583033 A JP2003583033 A JP 2003583033A JP 2003583033 A JP2003583033 A JP 2003583033A JP 3801177 B2 JP3801177 B2 JP 3801177B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- gradation
- image processing
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
技術分野
本発明は、画像処理装置、画像処理プログラム、および画像処理方法に関する。特に、本発明は、画像データの撮影光源に関する情報を求める技術に関する。
背景技術
電子カメラで画像データを撮影すると、撮影光源の種類によって画像データに色の偏りが生じる。従来、この色の偏りを補正するため、電子カメラは、画像データにホワイトバランス補正を行っていた。このホワイトバランス補正では、撮影光源による色の偏りを、「画面全体の色平均」、「高頻度の出現色」、または「高輝度箇所の色」から求めていた（例えば、特開２０００−１４８９７８号公報）。
一方、撮影光源の色温度を画像データから推定する手法として、文献『Ｓｈｏｊｉ Ｔｏｍｉｎａｇａ，Ｓａｔｏｒｕ Ｅｂｉｓｕｉ，ａｎｄ Ｂｒｉａｎ Ａ．Ｗａｎｄｅｌｌ：Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｃｅｎｅ Ｉｌｌｕｍｉｎａｔｉｏｎ，Ｐｒｏｃ．Ｔｈｅ Ｓｅｖｅｎｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ：Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ，Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｐｐ．４２−４７，Ｓｃｏｔｔｓｄａｌｅ，Ａｒｉｚｏｎａ，Ｎｏｖ．１９９９．』が知られている。
図１８は、この文献から引用した『ＲＢ色空間にプロットした分布』と『撮影光源の色温度』との関係を示す図である。
図１８に示されるように、撮影光源の色温度上昇に伴って、ＲＢ色空間上の分布はＲ軸方向からＢ軸方向へと位置が移動する。上記文献の推定方法は、このＲＢ色空間の分布が、どの色温度の分布域（色温度ごとに図１８に示す枠）に収まるかに基づいて、撮影光源の色温度を推定している。
発明の開示
本発明の目的は、撮影光源に関する情報を正確に得るために、画像データの新しい解析技術を提供することである。
以下、本発明について説明する。
（１）
本発明の画像処理装置は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理装置であって、分類部および判定部を備える。
この分類部は、画素が有する色情報および階調情報から、色情報の区分ごとに、階調情報の度数分布を求める。ここでは、このように求めた度数分布を『色単位の階調分布』という。
一方、判定部は、この色単位の階調分布から、階調のバリエーション（言い換えると、階調のバラツキ具合、階調の多様性、階調の豊かさ、ほぼ連続していると見なせる階調の幅）を色情報の区分単位に評価する。そして、判定部は、この階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。
例えば、上記の『画素が有する色情報』とは、その画素のデータなどから得られる『画素の色に関する情報』である。
（２）
なお好ましくは、本発明の画像処理装置は、上記の判定部が、色単位の階調分布について度数の積を算出し、この積の値に基づいて階調バリエーションを判定する。
さらに好ましくは、上記の判定部が、この積の値が大きい色情報ほど、階調バリエーションが多いと評価する。
（３）
なお好ましくは、本発明の画像処理装置は、上記の分類部が、次のような空間分類部および正規化部を有する。
この空間分類部は、画素の色情報および階調情報を基準にして、色−階調空間上の度数分布を求める。すなわち、色および階調を座標軸にした空間上において、画素の度数分布を得る。
一方、正規化部は、この度数分布を階調情報の区分ごとに正規化して、階調情報の値の違いによる度数バラツキを抑制する。
この場合、分類部は、この正規化部で正規化された度数分布から、色単位の階調分布を得る。
（４）
なお好ましくは、本発明の画像処理装置は、上記の正規化部が、正規化に際して、度数分布の全体傾向を損なわない小さな値を、度数分布の度数ゼロの箇所に補填する。
（５）
なお好ましくは、本発明の画像処理装置は、上記の分類部において、次のような前処理を実施する。すなわち、分類部は、画像データから複数の画像領域を抽出し、これら画像領域ごとに平均色を求める。
さらに、これら画像領域の平均色が、予め定められた無彩色範囲に収まるか否かを判定し、無彩色範囲に収まる画像領域を選抜する。
分類部は、この前処理によって選抜された画像領域について、上述した色単位の階調分布を求める。
（６）
なお好ましくは、本発明の画像処理装置では、分類部と判定部が、画像データから部分的に抽出した複数の画像領域ごとに、上記処理を実行する。
すなわち、分類部は、個々の画像領域それぞれについて、色単位の階調分布を求める。一方、判定部は、個々の画像領域それぞれについて、階調バリエーションの多い色情報を求める。
さらに、判定部は、これら画像領域ごとに求めた『階調バリエーションの多い色情報』から代表となる値を算出し、この代表値を前記撮影光源の影響を反映した色情報とする。
（７）
なお好ましくは、本発明の画像処理装置は、上記の判定部が、撮影光源の影響を反映すると判定された色情報に基づいて、画像データのホワイトバランス補正を行う。
さらに好ましくは、上記の判定部は、この撮影光源の影響を反映すると判定された色情報を無彩色に変換するように、画像データのホワイトバランス補正を行う。
（８）
本発明の画像処理プログラムは、コンピュータを、上記（１）〜（７）のいずれか１つに記載の分類部および判定部として機能させることを特徴とする。
（９）
本発明の画像処理方法は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理方法であって、分類ステップおよび判定ステップを有する。
この分類ステップでは、画素が有する色情報および階調情報を基準にして、階調情報の度数分布を色情報の区分ごとに求める。
一方、判定ステップでは、この色単位の階調分布から階調のバリエーションを色単位に評価し、階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。
発明を実施するための最良の形態
以下、図面に基づいて本発明にかかる実施形態を説明する。
《第１の実施形態》
第１の実施形態は、請求項１，３，７，および９に対応する実施形態である。
［第１の実施形態の構成］
図１は、電子カメラ１１（画像処理装置を含む）の構成を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。
この撮像素子１３で生成される画像データは、Ａ／Ｄ変換部１４を介してデジタル化された後、画像メモリ１５に一時記憶される。
画像処理部１６は、画像メモリ１５内の画像データに対して、ホワイトバランス補正などの画像処理を実施する。
圧縮記録部１７は、画像処理の完了した画像データを、記録媒体１８に圧縮記録する。
［発明との対応関係］
以下、発明と第１の実施形態との対応関係について説明する。なお、ここでの対応関係は、発明の理解を容易にするために例示するものであり、発明をこの対応関係に限定するものではない。
請求項記載の分類部は、画像処理部１６の『画像データから色単位の階調分布を求める部分』に対応する。
請求項記載の判定部は、画像処理部１６の『色単位の階調分布に基づいて、撮影光源の影響を反映する色情報を求める部分』に対応する。
［第１の実施形態の動作説明］
図２は、第１の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図２に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ０： 画像処理部１６は、画像メモリ１５内の画像データから、撮影光源の推定材料とするＲＧＢデータを取得する。
この段階でのＲＧＢデータは、画像データの絵柄の違いによって、明るさや色の信号レベルが一定しない。そこで、画像処理部１６は、下式の規格化を実施し、ＲＧＢデータの信号レベルを揃える。
ステップＳ１： 画像処理部１６は、規格化後のＲ′Ｇ′Ｂ′成分に基づいて、色情報を算出する。
ここで、色情報として採用する指標値は、撮影光源の特性（例えば色温度）と一対一に対応する値が好ましい。さらには、撮影光源の違いに敏感に反応する値が好ましい。
第１の実施形態では、色温度とよく対応するという観点から、次のような色情報を採用する。
図３は、撮影光源の色温度を変えながら、無彩色被写体について色情報（Ｂ′／Ｒ′）の変化を求めたデータである。この図３に示されるように、色情報（Ｂ′／Ｒ′）は、撮影光源の色温度とほぼ一対一に対応し、かつ撮影光源の色温度の変化に敏感に反応する。
ステップＳ２： 続いて、画像処理部１６は、各画素のＲ′Ｇ′Ｂ′成分に基づいて、階調情報を算出する。
第１の実施形態では、次のような階調情報を採用する。
ステップＳ３： 画像処理部１６は、このように求めた色情報および階調情報を基準にして各画素を分類し、図６に示すような度数分布を求める。
以下、この図６の度数分布を求めるまでの処理手順を具体的に説明する。
図４は、画像データの一例である。この画像データは、晴天時に撮影されたもので、撮影光源の色温度はおおよそ６０００Ｋである。
画像処理部１６は、上述した式３および式４を用いて、色情報および階調情報を算出する。
図５は、この色情報および階調情報を、色−階調空間上にプロットした画素分布である。ここでの色−階調空間は、色および階調を座標軸にとった空間である。
画像処理部１６は、この色−階調空間上に複数の領域を設ける。これら領域のサイズは、撮影光源の推定精度に実用上影響のない程度の大きさであればよい。また、領域の形状は、矩形や円形など、何でもよい。
第１の実施形態では、これら複数の領域として、下記の条件式で規定される領域を採用する。
ただし、σ＝０．２５，ｋｍａｘ＝１０である。
この条件式に、
階調区分ｋ＝１，２，３・・・１０
色区分（Ｂ′／Ｒ′）０＝０．０，０．２，０．４・・・４．８
の値を組み合わせて代入することにより、複数の領域が規定される。
画像処理部１６は、各画素の色情報および階調情報をこの条件式に代入し、条件式が成立する領域（すなわち、条件式を満足する階調区分および色区分の値）を探索する。画像処理部１６は、条件式が成立する領域が見つかるたびに、その領域の度数を『１』増やす。
このようなカウント処理により、図６に示すような度数分布が得られる。
ステップＳ４： 画像処理部１６は、求めた度数分布を、階調区分ｋごとに正規化する。ここでは、階調区分ｋの度数の最大値が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図７は、このような正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第１の実施形態における『色単位の階調分布』に該当する。
ステップＳ５： 画像処理部１６は、これら色単位の階調分布ごとに、度数の総和を算出する。ステップＳ４において階調区分ｋごとの度数バラツキを抑制しているため、この度数の総和は、階調バリエーションの度合いをよく反映する。そこで、画像処理部１６は、この度数の総和が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図８は、色情報の値を横軸にして、この度数の総和をプロットしたグラフである。図８に示したグラフの場合、色情報２．０が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、このときの撮影光源の色温度は、おおよそ６９００Ｋとなる。
ステップＳ６： 画像処理部１６は、撮影光源の影響を反映すると判定された色情報に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによって得る。すなわち、上記の図８のケースでは、画像処理部１６は、色温度６９００Ｋのカラーバランスを補正するホワイトバランス補正値を得る。
ステップＳ７： 画像処理部１６は、得られたホワイトバランス補正値を使って、画像メモリ１５内の画像データに対して、ホワイトバランス補正を実施する。
［第１の実施形態の効果など］
第１の実施形態における色温度の推定値６９００Ｋは、実際の色温度６０００Ｋに比べて若干高めである。しかしながら、今回の画像データ（図４）の大部分が青空であるため、本来はもっと高めの色温度と推定されるおそれがあった。そのことを考慮すると、本実施形態では、大面積部分（青空）の影響を適度に抑えた良好な推定結果を得ていることが分かる。
例えば、図１８に示した従来技術では、大面積の青空を含む場合、Ｂ軸の近くに度数分布が集中する。その結果、この従来技術では、もっと高い色温度と推定されるおそれがあった。
ところが、本実施形態は、図５に示すように度数分布をとる。そのため、青空の微妙な色変化を反映して、青空の度数分布Ｓは色情報の軸方向に広く分散する。そのため、上述した処理では、青空の度数分布Ｓが、色情報の区分に細分化される。その結果、色情報の区分ごとの評価では、青空の階調バリエーションは少なく評価される。したがって、本実施形態では、大面積の青空に惑わされることなく、良好な推定結果を得ることができる。
すなわち、このような良好な推定結果は、色単位の階調バリエーションを尺度とした結果である。通常、被写界には、様々な反射率や反射角度を有する被写体や、種々の陰影が存在する。撮影光源の光は、これらによって明暗方向に変調されるため、多様な階調を生じる確率が高い。
一方、撮影光源の影響を素直に反映しない固有色や空色などは、その色自体の限られた階調範囲や、その色自体の色変化を含んで、画像データ中に現れる。
そこで、色単位の階調バリエーションを尺度にすることにより、これら固有色の影響を排除して、撮影光源の影響を反映した色情報を的確に推定できる。
さらに、第１の実施形態では、ステップＳ４の正規化処理により、階調区分ｋごとの度数バラツキを抑制している。通常、画像データの絵柄の違いによって、階調区分ごとの度数はばらつく。このバラツキにより、階調バリエーションを統一的な尺度で判定することが困難になる。しかしながら、本発明では、上述した正規化処理により、この度数バラツキを低減させ、階調方向の度数をなるべく均等化する。そのため、階調バリエーションを、絵柄の違いに係わらず、統一的な尺度で判定することが容易になる。
次に、別の実施形態について説明する。
《第２の実施形態》
第２の実施形態は、請求項１，２，３，４，７，および９に対応する実施形態である。
なお、「第２の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第２の実施形態の動作説明］
図９は、第２の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図９に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ１０： 第１の実施形態のステップＳ０と同様の処理。
ステップＳ１１： 第１の実施形態のステップＳ１と同様の処理。
ステップＳ１２： 第１の実施形態のステップＳ２と同様の処理。
ステップＳ１３： 第１の実施形態のステップＳ３と同様の処理。
ステップＳ１４： 画像処理部１６は、ステップＳ１３で求めた度数分布の全体傾向を損なわない程度の小さな値を、度数分布の度数ゼロの箇所に補填する。この実施形態では、度数分布（図６参照）の全体に最小度数『１』を一様に加算している。
ステップＳ１５： 画像処理部１６は、色−階調空間の度数分布を、階調区分ｋごとに正規化する。ここでは、階調区分ｋにおける度数の最大値が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図１１は、この正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第２の実施形態における『色単位の階調分布』である。
ステップＳ１６： 画像処理部１６は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。すなわち、画像処理部１６は、この度数の積が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図１０は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図１０に示したグラフの場合、色情報１．８が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、このときの撮影光源の色温度は、おおよそ６２００Ｋと推定される。
ステップＳ１７： 第１の実施形態のステップＳ６と同様の処理。
ステップＳ１８： 第１の実施形態のステップＳ７と同様の処理。
［第２の実施形態の効果など］
第２の実施形態における色温度の推定値６２００Ｋは、青空の影響をよく抑制した良好な推定結果である。このような良好な推定結果は、階調バリエーションを尺度にして、撮影光源を推定した結果である。
特に、第２の実施形態では、色単位の階調分布について度数の積を算出し、その積の値により階調バリエーションを判定している。この積の演算では、階調バリエーションの違いが数値の大小として顕著に現れるため、階調バリエーションを明確に判定することが可能になる。
また、第２の実施形態では、ステップＳ１３の正規化処理により、階調区分ｋごとの度数バラツキを抑制している。その結果、絵柄による階調分布の違いを補正して、階調バリエーションをより的確に判定することが可能になる。
さらに、第２の実施形態では、度数分布の全体傾向を損なわない程度の小さな値（ここでは最小度数『１』）で度数ゼロの箇所を補填している。したがって、度数の積の演算に際して、度数ゼロをわざわざ排除する必要がなく、演算処理を単純化することが可能になる。
ちなみに、このような度数ゼロの箇所は、絵柄によってばらつく。このバラツキは、階調バリエーションを判定する際に弊害となる。しかしながら、本実施形態では、この度数ゼロの箇所を補填した後で、正規化処理を実行する。その結果、度数ゼロの箇所は、一様かつ適当な度数値（図１１に示すｋ＝８〜１０の列など）で包括的に埋められる。この包絡的な度数分布を用いて階調バリエーションを判定することにより、絵柄（特に階調欠落）による度数ゼロの発生バラツキを排除し、階調バリエーションを的確かつ容易に判定することが可能になる。
次に、別の実施形態について説明する。
《第３の実施形態》
第３の実施形態は、請求項１，２，３，４，７，および９に対応する実施形態である。
なお、「第３の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第３の実施形態の動作説明］
図１２は、第３の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図１２に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ２０： 第２の実施形態のステップＳ１０と同様の処理。
ステップＳ２１： 第２の実施形態のステップＳ１１と同様の処理。
ステップＳ２２： 第２の実施形態のステップＳ１２と同様の処理。
ステップＳ２３： 第２の実施形態のステップＳ１３と同様の処理。
ステップＳ２４： 第２の実施形態のステップＳ１４と同様の処理。
ステップＳ２５： 画像処理部１６は、色−階調空間の度数分布度を、階調区分ｋごとに正規化する。ここでは、階調区分ｋにおける度数の総和が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図１４は、この正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第３の実施形態における『色単位の階調分布』である。
ステップＳ２６： 画像処理部１６は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。画像処理部１６は、この度数の積が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図１３は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図１３に示したグラフの場合、色情報１．８が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、この場合の撮影光源の色温度は、おおよそ６２００Ｋと推定される。
ステップＳ２７： 第２の実施形態のステップＳ１７と同様の処理。
ステップＳ２８： 第２の実施形態のステップＳ１８と同様の処理。
［第３の実施形態の効果など］
第３の実施形態においても、第２の実施形態とほぼ同様の効果を得ることができる。
《第４の実施形態》
第４の実施形態は、請求項１〜７，および９に対応する実施形態である。
なお、「第４の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第４の実施形態の動作説明］
図１５は、第４の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図１５に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ３１： 画像処理部１６は、画像メモリ１５内の画像データを、複数の画像領域に区分する。例えば、画像データを縦４分割、横６分割して、２４個の画像領域を作成する。なお、ここでの画像領域の区分サイズを、画像データにおける色パターンの細かさや複雑さなどに応じて変更することが好ましい。また、ここでの画像領域の区分線の位置を、画面内における色パターンの位置関係などに応じて変更することが好ましい。
ステップＳ３２： 画像処理部１６は、画像領域の一つ一つについて、画素値をＲＧＢごとに平均化して、平均色を求める。
ステップＳ３３： 画像処理部１６は、画像領域の一つ一つについて、平均色のＲＧＢデータから（Ｂ／Ｇ）および（Ｒ／Ｂ）を求める。画像処理部１６は、求めた（Ｂ／Ｇ）および（Ｒ／Ｂ）を尺度にして、予め定められた無彩色範囲に平均色が収まるか否かを判定する。
図１６は、一例として、無彩色範囲Ａ（図１６中の斜線範囲）を示す図である。ここでの無彩色範囲Ａは、次のように決定される。
まず、（Ｂ／Ｇ）および（Ｒ／Ｂ）を座標軸とした色度空間を設定し、その色度空間上に黒体軌跡Ｂのカーブをプロットする。この黒体軌跡Ｂは、撮影光源として通常予想される色温度範囲に予め制限される。すなわち、撮影光源の色温度の上限域（例えば１４０００Ｋ以上）および下限域（例えば２０００Ｋ以下）については、黒体軌跡Ｂから予め除かれる。この色度空間上において、（１）黒体軌跡Ｂに近接し、かつ（２）被写体固有の色の影響をさほど受けずに撮影光源の色を反映していると判断できる範囲を定めて、無彩色範囲Ａとする。
具体的な無彩色範囲Ａは、色度空間上の各点が無彩色に近いか否かといった主観テストに基づいて決定することが好ましい。
画像処理部１６は、ステップＳ３２で求めた平均色それぞれについて、無彩色範囲に収まるか否かを判定する。この判定結果から、画像処理部１６は、複数の画像領域から、平均色が無彩色範囲に収まるものを選別する。
図１７中に数字を示した画像領域は、このように選別された画像領域である。一方、図１７中に『−』で示した画像領域は、平均色が無彩色範囲Ａから外れたために、選抜されなかった画像領域である。
ちなみに、この図１７の元画像は、遊園地で撮影された画像であり、遊園地に特有の有彩色が局所的に配置された画像である。
ステップＳ３４： 画像処理部１６は、選抜された画像領域の数をカウントする。
ここで、選抜された画像領域の数が所定数以下であり、撮影光源の色情報を求めるのに狭すぎると判断される場合、画像処理部１６はステップＳ３５に動作を移行する。
一方、選抜された画像領域の数が所定数より多く、撮影光源の色情報を求めるのに十分であると判断される場合、画像処理部１６はステップＳ３６に動作を移行する。
ステップＳ３５： ここでは、選抜された画像領域の数が少ないために、画像データ全体を有彩色が占めているなどの状況が予想される。この場合、画像処理部１６は、画像データから撮影光源を推定することを諦め、予め設定された標準的なホワイトバランス補正値（予めプリセット設定された値など）を選択する。画像処理部１６は、この標準的なホワイトバランス補正値に従った調整を実施するため、ステップＳ４０に動作を移行する。
ステップＳ３６： ここでは、選抜された画像領域の数が所定数よりも多いため、撮影光源の推定を続行する。すなわち、画像処理部１６は、選抜した画像領域の一つ一つについて、色単位の階調分布を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第１〜第３の実施形態と同様であるため、ここでの説明を省略する。
ステップＳ３７： 画像処理部１６は、選抜した画像領域の一つ一つにおいて、色単位の階調分布から、階調バリエーションが多い色情報を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第１〜第３の実施形態と同様であるため、ここでの説明を省略する。
図１７において、画像領域ごとに示す数値は、その画像領域において階調バリエーションが最大となる色情報の（Ｂ／Ｒ）値である。
ステップＳ３８： 画像処理部１６は、ステップＳ３７で求めた色情報の中から最大値および最小値を、極端な値として除く。画像処理部１６は、残った色情報について平均をとって、色情報の代表値とする。画像処理部１６は、この色情報の代表値を、撮影光源の影響を反映する色情報と判断する。
図１７のケースでは、色情報から最大値３．９および最小値０．７が除かれ、残りの色情報について平均を取ることにより、代表値（Ｂ／Ｒ）＝１．５６となる。この値は、５５００Ｋ程度の色温度に該当する。
なお、ここでの代表値を求める演算は、平均演算だけに限定されるものではない。例えば、メディアン演算や多数決演算などによって、代表値を求めてもよい。
また、各画像領域の画面内位置に応じて重みを変えた加重平均演算により、代表値を求めてもよい。この場合、画面中央の重みを増やしたり、焦点検出エリアの選択箇所の重みを増やすなどしてもよい。
ステップＳ３９： 画像処理部１６は、色情報の代表値に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによって得る。
ステップＳ４０： 画像処理部１６は、得られたホワイトバランス補正値を使って、画像メモリ１５内の画像データに対して、ホワイトバランス補正を実施する。
［第４の実施形態の効果など］
上述したように、第４の実施形態では、平均色が無彩色範囲に収まる画像領域に範囲限定して、撮影光源の推定を行う。この場合、画像データ中から特定色に偏った画像領域を予め除くため、特定色の影響をあまり受けず、的確に撮影光源を推定できるという利点がある。
さらに、第４の実施形態では、画像領域ごとに撮影光源の状況を個別に解析し、最終的に、これら個別の解析結果から代表値を求める。したがって、画面内の局所的な色の影響は、その局所的な画像領域に閉じこめることができる。その結果、局所的な有彩色の影響が、その他の画像領域の解析結果まで波及することがない。
さらに、この局所的な有彩色の影響は、ステップＳ３８における代表値の算出過程において、排除できる。その結果、撮影光源の推定をより正確に実施できるという利点がある。
以下、他のホワイトバランス調整と比較した実験結果から、第４の実施形態の効果を示す。
まず、屋外および屋内の６０シーンの画像データについて、下記のホワイトバランス調整をそれぞれ実施した。
（Ａ）画面全体の平均色を無彩色に変換するホワイトバランス調整
（Ｂ）画像データから平均色が無彩色に近い領域のみを選別し、その領域の平均色を無彩色に変換するホワイトバランス調整
（Ｃ）第４の実施形態のホワイトバランス調整
これら３通りの方法で得たホワイトバランス補正値Ｗｂ，Ｗｒと、本来の撮影光源から求めたホワイトバランス補正値Ｗｂｏ，Ｗｒｏとの誤差δを、
により算出する。すると、６０シーン分の誤差δの平均は、
（Ａ）の方法・・・０．４３２
（Ｂ）の方法・・・０．２８２
（Ｃ）の方法・・・０．２０２
であった。この結果から、第４の実施形態である（Ｃ）が、３通りの方法の中で、一番正解に近いホワイトバランス補正となった。
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ１１について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、上述した処理動作をプログラムコード化することにより、画像処理プログラム（請求項８に対応）を作成してもよい。このような画像処理プログラムを使用することにより、コンピュータは、本実施形態のホワイトバランス補正を実行することが可能になる。
また、本実施形態の画像処理方法を、インターネット等の通信回線を介して、サービス提供することも好ましい。例えば、画像アルバムやプリントサービスなどのサーバーにおいて、クライアントからアップロードされた画像データに対して、上述した撮影光源の解析や、ホワイトバランス調整などの画像処理サービスを提供することができる。
また、上述した実施形態では、度数の和または積によって階調バリエーションを判定している。しかしながら、本発明はこれに限定されるものではない。色単位の階調分布の広がり具合を求めることよって、階調バリエーションを判定することができる。例えば、色単位の階調分布の分散値（標準偏差）から、階調バリエーションを判定してもよい。
なお、上述した実施形態では、階調バリエーションが最も多い色情報を選択して、撮影光源の影響を反映した色情報としている。しかしながら、本発明はこれに限定されるものではない。例えば、ピーク付近の階調バリエーションを補間した後にピーク位置を検出することにより、最も階調バリエーションが多い色情報を正確に求めてもよい。このような処理により、撮影光源の違いを正確に判別することができるようになる。
また、上述した実施形態では、小さな値『１』を度数ゼロの箇所に補填した後に、正規化処理を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、正規化処理、補填の順番で処理を行ってもよい。
なお、上述した実施形態では、色情報として（Ｂ／Ｒ）を採用している。しかしながら、本発明はこれに限定されるものではない。一般に、色情報としては、撮影光源の違いによって変化する色の指標値，色の尺度，または色の特性であることが好ましい。例えば、色情報として、（Ｂ−Ｒ），色相，色度，または色度座標などを採用してもよい。
しながら、本発明はこれに限定されるものではない。一般に、階調情報としては、撮影光源の光が、被写界の陰影や反射率や照射面の角度などによって変調された際に、多様なバリエーションを派生する階調の指標値、階調の尺度、階調の特性であることが好ましい。例えば、輝度値や色成分値などを階調情報として採用してもよい。
なお、上述した実施形態では、階調バリエーションのみを尺度にして、撮影光源を推定している。しかしながら、本発明はこれに限定されるものではない。その他の推定技術と本発明とを組み合わせることにより、撮影光源をより厳密に推定しても勿論よい。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
産業上の利用可能性
以上説明したように、本発明では、色単位に階調バリエーションを求め、この階調バリエーションが多い色情報ほど、撮影光源の影響が強いと判定する。
本願発明者は、撮影光源の影響を反映する色情報は階調バリエーションが多く、撮影光源の影響の少ない色情報は階調バリエーションが限られることを発見した。本発明は、この知見を利用することで、撮影光源の影響を反映する色情報を的確に検出することを可能にした。
【図面の簡単な説明】
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。
図１は、電子カメラ１１（画像処理装置を含む）の構成を示す図である。
図２は、第１の実施形態におけるホワイトバランス補正を説明する流れ図である。
図３は、撮影光源の色温度を変えながら、無彩色被写体の色情報（Ｂ′／Ｒ′）の軌跡を求めたグラフである。
図４は、画像データの絵柄の一例を示すため、画像データにディザ化を施して作成した図である。
図５は、画素単位の色情報および階調情報を、色−階調空間上にプロットした分布図である。
図６は、色−階調空間上の度数分布である。
図７は、正規化後の度数分布である。
図８は、度数の総和を示すグラフである。
図９は、第２の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１０は、度数の積を示すグラフである。
図１１は、正規化後の度数分布である。
図１２は、第３の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１３は、度数の積を示すグラフである。
図１４は、正規化後の度数分布を示す図である。
図１５は、第４の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１６は、画像領域の選抜に使用される無彩色範囲の一例を示す図である。
図１７は、画像領域の単位に、階調バリエーションの多い色情報を求めた結果を示す図である。
図１８は、『ＲＢ色空間にプロットした画素分布』と『撮影光源の色温度』との関係を示す図である。
本発明は、画像処理装置、画像処理プログラム、および画像処理方法に関する。特に、本発明は、画像データの撮影光源に関する情報を求める技術に関する。
背景技術
電子カメラで画像データを撮影すると、撮影光源の種類によって画像データに色の偏りが生じる。従来、この色の偏りを補正するため、電子カメラは、画像データにホワイトバランス補正を行っていた。このホワイトバランス補正では、撮影光源による色の偏りを、「画面全体の色平均」、「高頻度の出現色」、または「高輝度箇所の色」から求めていた（例えば、特開２０００−１４８９７８号公報）。
一方、撮影光源の色温度を画像データから推定する手法として、文献『Ｓｈｏｊｉ Ｔｏｍｉｎａｇａ，Ｓａｔｏｒｕ Ｅｂｉｓｕｉ，ａｎｄ Ｂｒｉａｎ Ａ．Ｗａｎｄｅｌｌ：Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｃｅｎｅ Ｉｌｌｕｍｉｎａｔｉｏｎ，Ｐｒｏｃ．Ｔｈｅ Ｓｅｖｅｎｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ：Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ，Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｐｐ．４２−４７，Ｓｃｏｔｔｓｄａｌｅ，Ａｒｉｚｏｎａ，Ｎｏｖ．１９９９．』が知られている。
図１８は、この文献から引用した『ＲＢ色空間にプロットした分布』と『撮影光源の色温度』との関係を示す図である。
図１８に示されるように、撮影光源の色温度上昇に伴って、ＲＢ色空間上の分布はＲ軸方向からＢ軸方向へと位置が移動する。上記文献の推定方法は、このＲＢ色空間の分布が、どの色温度の分布域（色温度ごとに図１８に示す枠）に収まるかに基づいて、撮影光源の色温度を推定している。
発明の開示
本発明の目的は、撮影光源に関する情報を正確に得るために、画像データの新しい解析技術を提供することである。
以下、本発明について説明する。
（１）
本発明の画像処理装置は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理装置であって、分類部および判定部を備える。
この分類部は、画素が有する色情報および階調情報から、色情報の区分ごとに、階調情報の度数分布を求める。ここでは、このように求めた度数分布を『色単位の階調分布』という。
一方、判定部は、この色単位の階調分布から、階調のバリエーション（言い換えると、階調のバラツキ具合、階調の多様性、階調の豊かさ、ほぼ連続していると見なせる階調の幅）を色情報の区分単位に評価する。そして、判定部は、この階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。
例えば、上記の『画素が有する色情報』とは、その画素のデータなどから得られる『画素の色に関する情報』である。
（２）
なお好ましくは、本発明の画像処理装置は、上記の判定部が、色単位の階調分布について度数の積を算出し、この積の値に基づいて階調バリエーションを判定する。
さらに好ましくは、上記の判定部が、この積の値が大きい色情報ほど、階調バリエーションが多いと評価する。
（３）
なお好ましくは、本発明の画像処理装置は、上記の分類部が、次のような空間分類部および正規化部を有する。
この空間分類部は、画素の色情報および階調情報を基準にして、色−階調空間上の度数分布を求める。すなわち、色および階調を座標軸にした空間上において、画素の度数分布を得る。
一方、正規化部は、この度数分布を階調情報の区分ごとに正規化して、階調情報の値の違いによる度数バラツキを抑制する。
この場合、分類部は、この正規化部で正規化された度数分布から、色単位の階調分布を得る。
（４）
なお好ましくは、本発明の画像処理装置は、上記の正規化部が、正規化に際して、度数分布の全体傾向を損なわない小さな値を、度数分布の度数ゼロの箇所に補填する。
（５）
なお好ましくは、本発明の画像処理装置は、上記の分類部において、次のような前処理を実施する。すなわち、分類部は、画像データから複数の画像領域を抽出し、これら画像領域ごとに平均色を求める。
さらに、これら画像領域の平均色が、予め定められた無彩色範囲に収まるか否かを判定し、無彩色範囲に収まる画像領域を選抜する。
分類部は、この前処理によって選抜された画像領域について、上述した色単位の階調分布を求める。
（６）
なお好ましくは、本発明の画像処理装置では、分類部と判定部が、画像データから部分的に抽出した複数の画像領域ごとに、上記処理を実行する。
すなわち、分類部は、個々の画像領域それぞれについて、色単位の階調分布を求める。一方、判定部は、個々の画像領域それぞれについて、階調バリエーションの多い色情報を求める。
さらに、判定部は、これら画像領域ごとに求めた『階調バリエーションの多い色情報』から代表となる値を算出し、この代表値を前記撮影光源の影響を反映した色情報とする。
（７）
なお好ましくは、本発明の画像処理装置は、上記の判定部が、撮影光源の影響を反映すると判定された色情報に基づいて、画像データのホワイトバランス補正を行う。
さらに好ましくは、上記の判定部は、この撮影光源の影響を反映すると判定された色情報を無彩色に変換するように、画像データのホワイトバランス補正を行う。
（８）
本発明の画像処理プログラムは、コンピュータを、上記（１）〜（７）のいずれか１つに記載の分類部および判定部として機能させることを特徴とする。
（９）
本発明の画像処理方法は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理方法であって、分類ステップおよび判定ステップを有する。
この分類ステップでは、画素が有する色情報および階調情報を基準にして、階調情報の度数分布を色情報の区分ごとに求める。
一方、判定ステップでは、この色単位の階調分布から階調のバリエーションを色単位に評価し、階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。
発明を実施するための最良の形態
以下、図面に基づいて本発明にかかる実施形態を説明する。
《第１の実施形態》
第１の実施形態は、請求項１，３，７，および９に対応する実施形態である。
［第１の実施形態の構成］
図１は、電子カメラ１１（画像処理装置を含む）の構成を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。
この撮像素子１３で生成される画像データは、Ａ／Ｄ変換部１４を介してデジタル化された後、画像メモリ１５に一時記憶される。
画像処理部１６は、画像メモリ１５内の画像データに対して、ホワイトバランス補正などの画像処理を実施する。
圧縮記録部１７は、画像処理の完了した画像データを、記録媒体１８に圧縮記録する。
［発明との対応関係］
以下、発明と第１の実施形態との対応関係について説明する。なお、ここでの対応関係は、発明の理解を容易にするために例示するものであり、発明をこの対応関係に限定するものではない。
請求項記載の分類部は、画像処理部１６の『画像データから色単位の階調分布を求める部分』に対応する。
請求項記載の判定部は、画像処理部１６の『色単位の階調分布に基づいて、撮影光源の影響を反映する色情報を求める部分』に対応する。
［第１の実施形態の動作説明］
図２は、第１の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図２に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ０： 画像処理部１６は、画像メモリ１５内の画像データから、撮影光源の推定材料とするＲＧＢデータを取得する。
この段階でのＲＧＢデータは、画像データの絵柄の違いによって、明るさや色の信号レベルが一定しない。そこで、画像処理部１６は、下式の規格化を実施し、ＲＧＢデータの信号レベルを揃える。
ここで、色情報として採用する指標値は、撮影光源の特性（例えば色温度）と一対一に対応する値が好ましい。さらには、撮影光源の違いに敏感に反応する値が好ましい。
第１の実施形態では、色温度とよく対応するという観点から、次のような色情報を採用する。
ステップＳ２： 続いて、画像処理部１６は、各画素のＲ′Ｇ′Ｂ′成分に基づいて、階調情報を算出する。
第１の実施形態では、次のような階調情報を採用する。
以下、この図６の度数分布を求めるまでの処理手順を具体的に説明する。
図４は、画像データの一例である。この画像データは、晴天時に撮影されたもので、撮影光源の色温度はおおよそ６０００Ｋである。
画像処理部１６は、上述した式３および式４を用いて、色情報および階調情報を算出する。
図５は、この色情報および階調情報を、色−階調空間上にプロットした画素分布である。ここでの色−階調空間は、色および階調を座標軸にとった空間である。
画像処理部１６は、この色−階調空間上に複数の領域を設ける。これら領域のサイズは、撮影光源の推定精度に実用上影響のない程度の大きさであればよい。また、領域の形状は、矩形や円形など、何でもよい。
第１の実施形態では、これら複数の領域として、下記の条件式で規定される領域を採用する。
この条件式に、
階調区分ｋ＝１，２，３・・・１０
色区分（Ｂ′／Ｒ′）０＝０．０，０．２，０．４・・・４．８
の値を組み合わせて代入することにより、複数の領域が規定される。
画像処理部１６は、各画素の色情報および階調情報をこの条件式に代入し、条件式が成立する領域（すなわち、条件式を満足する階調区分および色区分の値）を探索する。画像処理部１６は、条件式が成立する領域が見つかるたびに、その領域の度数を『１』増やす。
このようなカウント処理により、図６に示すような度数分布が得られる。
ステップＳ４： 画像処理部１６は、求めた度数分布を、階調区分ｋごとに正規化する。ここでは、階調区分ｋの度数の最大値が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図７は、このような正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第１の実施形態における『色単位の階調分布』に該当する。
ステップＳ５： 画像処理部１６は、これら色単位の階調分布ごとに、度数の総和を算出する。ステップＳ４において階調区分ｋごとの度数バラツキを抑制しているため、この度数の総和は、階調バリエーションの度合いをよく反映する。そこで、画像処理部１６は、この度数の総和が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図８は、色情報の値を横軸にして、この度数の総和をプロットしたグラフである。図８に示したグラフの場合、色情報２．０が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、このときの撮影光源の色温度は、おおよそ６９００Ｋとなる。
ステップＳ６： 画像処理部１６は、撮影光源の影響を反映すると判定された色情報に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによって得る。すなわち、上記の図８のケースでは、画像処理部１６は、色温度６９００Ｋのカラーバランスを補正するホワイトバランス補正値を得る。
ステップＳ７： 画像処理部１６は、得られたホワイトバランス補正値を使って、画像メモリ１５内の画像データに対して、ホワイトバランス補正を実施する。
［第１の実施形態の効果など］
第１の実施形態における色温度の推定値６９００Ｋは、実際の色温度６０００Ｋに比べて若干高めである。しかしながら、今回の画像データ（図４）の大部分が青空であるため、本来はもっと高めの色温度と推定されるおそれがあった。そのことを考慮すると、本実施形態では、大面積部分（青空）の影響を適度に抑えた良好な推定結果を得ていることが分かる。
例えば、図１８に示した従来技術では、大面積の青空を含む場合、Ｂ軸の近くに度数分布が集中する。その結果、この従来技術では、もっと高い色温度と推定されるおそれがあった。
ところが、本実施形態は、図５に示すように度数分布をとる。そのため、青空の微妙な色変化を反映して、青空の度数分布Ｓは色情報の軸方向に広く分散する。そのため、上述した処理では、青空の度数分布Ｓが、色情報の区分に細分化される。その結果、色情報の区分ごとの評価では、青空の階調バリエーションは少なく評価される。したがって、本実施形態では、大面積の青空に惑わされることなく、良好な推定結果を得ることができる。
すなわち、このような良好な推定結果は、色単位の階調バリエーションを尺度とした結果である。通常、被写界には、様々な反射率や反射角度を有する被写体や、種々の陰影が存在する。撮影光源の光は、これらによって明暗方向に変調されるため、多様な階調を生じる確率が高い。
一方、撮影光源の影響を素直に反映しない固有色や空色などは、その色自体の限られた階調範囲や、その色自体の色変化を含んで、画像データ中に現れる。
そこで、色単位の階調バリエーションを尺度にすることにより、これら固有色の影響を排除して、撮影光源の影響を反映した色情報を的確に推定できる。
さらに、第１の実施形態では、ステップＳ４の正規化処理により、階調区分ｋごとの度数バラツキを抑制している。通常、画像データの絵柄の違いによって、階調区分ごとの度数はばらつく。このバラツキにより、階調バリエーションを統一的な尺度で判定することが困難になる。しかしながら、本発明では、上述した正規化処理により、この度数バラツキを低減させ、階調方向の度数をなるべく均等化する。そのため、階調バリエーションを、絵柄の違いに係わらず、統一的な尺度で判定することが容易になる。
次に、別の実施形態について説明する。
《第２の実施形態》
第２の実施形態は、請求項１，２，３，４，７，および９に対応する実施形態である。
なお、「第２の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第２の実施形態の動作説明］
図９は、第２の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図９に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ１０： 第１の実施形態のステップＳ０と同様の処理。
ステップＳ１１： 第１の実施形態のステップＳ１と同様の処理。
ステップＳ１２： 第１の実施形態のステップＳ２と同様の処理。
ステップＳ１３： 第１の実施形態のステップＳ３と同様の処理。
ステップＳ１４： 画像処理部１６は、ステップＳ１３で求めた度数分布の全体傾向を損なわない程度の小さな値を、度数分布の度数ゼロの箇所に補填する。この実施形態では、度数分布（図６参照）の全体に最小度数『１』を一様に加算している。
ステップＳ１５： 画像処理部１６は、色−階調空間の度数分布を、階調区分ｋごとに正規化する。ここでは、階調区分ｋにおける度数の最大値が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図１１は、この正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第２の実施形態における『色単位の階調分布』である。
ステップＳ１６： 画像処理部１６は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。すなわち、画像処理部１６は、この度数の積が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図１０は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図１０に示したグラフの場合、色情報１．８が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、このときの撮影光源の色温度は、おおよそ６２００Ｋと推定される。
ステップＳ１７： 第１の実施形態のステップＳ６と同様の処理。
ステップＳ１８： 第１の実施形態のステップＳ７と同様の処理。
［第２の実施形態の効果など］
第２の実施形態における色温度の推定値６２００Ｋは、青空の影響をよく抑制した良好な推定結果である。このような良好な推定結果は、階調バリエーションを尺度にして、撮影光源を推定した結果である。
特に、第２の実施形態では、色単位の階調分布について度数の積を算出し、その積の値により階調バリエーションを判定している。この積の演算では、階調バリエーションの違いが数値の大小として顕著に現れるため、階調バリエーションを明確に判定することが可能になる。
また、第２の実施形態では、ステップＳ１３の正規化処理により、階調区分ｋごとの度数バラツキを抑制している。その結果、絵柄による階調分布の違いを補正して、階調バリエーションをより的確に判定することが可能になる。
さらに、第２の実施形態では、度数分布の全体傾向を損なわない程度の小さな値（ここでは最小度数『１』）で度数ゼロの箇所を補填している。したがって、度数の積の演算に際して、度数ゼロをわざわざ排除する必要がなく、演算処理を単純化することが可能になる。
ちなみに、このような度数ゼロの箇所は、絵柄によってばらつく。このバラツキは、階調バリエーションを判定する際に弊害となる。しかしながら、本実施形態では、この度数ゼロの箇所を補填した後で、正規化処理を実行する。その結果、度数ゼロの箇所は、一様かつ適当な度数値（図１１に示すｋ＝８〜１０の列など）で包括的に埋められる。この包絡的な度数分布を用いて階調バリエーションを判定することにより、絵柄（特に階調欠落）による度数ゼロの発生バラツキを排除し、階調バリエーションを的確かつ容易に判定することが可能になる。
次に、別の実施形態について説明する。
《第３の実施形態》
第３の実施形態は、請求項１，２，３，４，７，および９に対応する実施形態である。
なお、「第３の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第３の実施形態の動作説明］
図１２は、第３の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図１２に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ２０： 第２の実施形態のステップＳ１０と同様の処理。
ステップＳ２１： 第２の実施形態のステップＳ１１と同様の処理。
ステップＳ２２： 第２の実施形態のステップＳ１２と同様の処理。
ステップＳ２３： 第２の実施形態のステップＳ１３と同様の処理。
ステップＳ２４： 第２の実施形態のステップＳ１４と同様の処理。
ステップＳ２５： 画像処理部１６は、色−階調空間の度数分布度を、階調区分ｋごとに正規化する。ここでは、階調区分ｋにおける度数の総和が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図１４は、この正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第３の実施形態における『色単位の階調分布』である。
ステップＳ２６： 画像処理部１６は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。画像処理部１６は、この度数の積が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図１３は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図１３に示したグラフの場合、色情報１．８が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、この場合の撮影光源の色温度は、おおよそ６２００Ｋと推定される。
ステップＳ２７： 第２の実施形態のステップＳ１７と同様の処理。
ステップＳ２８： 第２の実施形態のステップＳ１８と同様の処理。
［第３の実施形態の効果など］
第３の実施形態においても、第２の実施形態とほぼ同様の効果を得ることができる。
《第４の実施形態》
第４の実施形態は、請求項１〜７，および９に対応する実施形態である。
なお、「第４の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第４の実施形態の動作説明］
図１５は、第４の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図１５に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ３１： 画像処理部１６は、画像メモリ１５内の画像データを、複数の画像領域に区分する。例えば、画像データを縦４分割、横６分割して、２４個の画像領域を作成する。なお、ここでの画像領域の区分サイズを、画像データにおける色パターンの細かさや複雑さなどに応じて変更することが好ましい。また、ここでの画像領域の区分線の位置を、画面内における色パターンの位置関係などに応じて変更することが好ましい。
ステップＳ３２： 画像処理部１６は、画像領域の一つ一つについて、画素値をＲＧＢごとに平均化して、平均色を求める。
ステップＳ３３： 画像処理部１６は、画像領域の一つ一つについて、平均色のＲＧＢデータから（Ｂ／Ｇ）および（Ｒ／Ｂ）を求める。画像処理部１６は、求めた（Ｂ／Ｇ）および（Ｒ／Ｂ）を尺度にして、予め定められた無彩色範囲に平均色が収まるか否かを判定する。
図１６は、一例として、無彩色範囲Ａ（図１６中の斜線範囲）を示す図である。ここでの無彩色範囲Ａは、次のように決定される。
まず、（Ｂ／Ｇ）および（Ｒ／Ｂ）を座標軸とした色度空間を設定し、その色度空間上に黒体軌跡Ｂのカーブをプロットする。この黒体軌跡Ｂは、撮影光源として通常予想される色温度範囲に予め制限される。すなわち、撮影光源の色温度の上限域（例えば１４０００Ｋ以上）および下限域（例えば２０００Ｋ以下）については、黒体軌跡Ｂから予め除かれる。この色度空間上において、（１）黒体軌跡Ｂに近接し、かつ（２）被写体固有の色の影響をさほど受けずに撮影光源の色を反映していると判断できる範囲を定めて、無彩色範囲Ａとする。
具体的な無彩色範囲Ａは、色度空間上の各点が無彩色に近いか否かといった主観テストに基づいて決定することが好ましい。
画像処理部１６は、ステップＳ３２で求めた平均色それぞれについて、無彩色範囲に収まるか否かを判定する。この判定結果から、画像処理部１６は、複数の画像領域から、平均色が無彩色範囲に収まるものを選別する。
図１７中に数字を示した画像領域は、このように選別された画像領域である。一方、図１７中に『−』で示した画像領域は、平均色が無彩色範囲Ａから外れたために、選抜されなかった画像領域である。
ちなみに、この図１７の元画像は、遊園地で撮影された画像であり、遊園地に特有の有彩色が局所的に配置された画像である。
ステップＳ３４： 画像処理部１６は、選抜された画像領域の数をカウントする。
ここで、選抜された画像領域の数が所定数以下であり、撮影光源の色情報を求めるのに狭すぎると判断される場合、画像処理部１６はステップＳ３５に動作を移行する。
一方、選抜された画像領域の数が所定数より多く、撮影光源の色情報を求めるのに十分であると判断される場合、画像処理部１６はステップＳ３６に動作を移行する。
ステップＳ３５： ここでは、選抜された画像領域の数が少ないために、画像データ全体を有彩色が占めているなどの状況が予想される。この場合、画像処理部１６は、画像データから撮影光源を推定することを諦め、予め設定された標準的なホワイトバランス補正値（予めプリセット設定された値など）を選択する。画像処理部１６は、この標準的なホワイトバランス補正値に従った調整を実施するため、ステップＳ４０に動作を移行する。
ステップＳ３６： ここでは、選抜された画像領域の数が所定数よりも多いため、撮影光源の推定を続行する。すなわち、画像処理部１６は、選抜した画像領域の一つ一つについて、色単位の階調分布を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第１〜第３の実施形態と同様であるため、ここでの説明を省略する。
ステップＳ３７： 画像処理部１６は、選抜した画像領域の一つ一つにおいて、色単位の階調分布から、階調バリエーションが多い色情報を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第１〜第３の実施形態と同様であるため、ここでの説明を省略する。
図１７において、画像領域ごとに示す数値は、その画像領域において階調バリエーションが最大となる色情報の（Ｂ／Ｒ）値である。
ステップＳ３８： 画像処理部１６は、ステップＳ３７で求めた色情報の中から最大値および最小値を、極端な値として除く。画像処理部１６は、残った色情報について平均をとって、色情報の代表値とする。画像処理部１６は、この色情報の代表値を、撮影光源の影響を反映する色情報と判断する。
図１７のケースでは、色情報から最大値３．９および最小値０．７が除かれ、残りの色情報について平均を取ることにより、代表値（Ｂ／Ｒ）＝１．５６となる。この値は、５５００Ｋ程度の色温度に該当する。
なお、ここでの代表値を求める演算は、平均演算だけに限定されるものではない。例えば、メディアン演算や多数決演算などによって、代表値を求めてもよい。
また、各画像領域の画面内位置に応じて重みを変えた加重平均演算により、代表値を求めてもよい。この場合、画面中央の重みを増やしたり、焦点検出エリアの選択箇所の重みを増やすなどしてもよい。
ステップＳ３９： 画像処理部１６は、色情報の代表値に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによって得る。
ステップＳ４０： 画像処理部１６は、得られたホワイトバランス補正値を使って、画像メモリ１５内の画像データに対して、ホワイトバランス補正を実施する。
［第４の実施形態の効果など］
上述したように、第４の実施形態では、平均色が無彩色範囲に収まる画像領域に範囲限定して、撮影光源の推定を行う。この場合、画像データ中から特定色に偏った画像領域を予め除くため、特定色の影響をあまり受けず、的確に撮影光源を推定できるという利点がある。
さらに、第４の実施形態では、画像領域ごとに撮影光源の状況を個別に解析し、最終的に、これら個別の解析結果から代表値を求める。したがって、画面内の局所的な色の影響は、その局所的な画像領域に閉じこめることができる。その結果、局所的な有彩色の影響が、その他の画像領域の解析結果まで波及することがない。
さらに、この局所的な有彩色の影響は、ステップＳ３８における代表値の算出過程において、排除できる。その結果、撮影光源の推定をより正確に実施できるという利点がある。
以下、他のホワイトバランス調整と比較した実験結果から、第４の実施形態の効果を示す。
まず、屋外および屋内の６０シーンの画像データについて、下記のホワイトバランス調整をそれぞれ実施した。
（Ａ）画面全体の平均色を無彩色に変換するホワイトバランス調整
（Ｂ）画像データから平均色が無彩色に近い領域のみを選別し、その領域の平均色を無彩色に変換するホワイトバランス調整
（Ｃ）第４の実施形態のホワイトバランス調整
これら３通りの方法で得たホワイトバランス補正値Ｗｂ，Ｗｒと、本来の撮影光源から求めたホワイトバランス補正値Ｗｂｏ，Ｗｒｏとの誤差δを、
（Ａ）の方法・・・０．４３２
（Ｂ）の方法・・・０．２８２
（Ｃ）の方法・・・０．２０２
であった。この結果から、第４の実施形態である（Ｃ）が、３通りの方法の中で、一番正解に近いホワイトバランス補正となった。
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ１１について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、上述した処理動作をプログラムコード化することにより、画像処理プログラム（請求項８に対応）を作成してもよい。このような画像処理プログラムを使用することにより、コンピュータは、本実施形態のホワイトバランス補正を実行することが可能になる。
また、本実施形態の画像処理方法を、インターネット等の通信回線を介して、サービス提供することも好ましい。例えば、画像アルバムやプリントサービスなどのサーバーにおいて、クライアントからアップロードされた画像データに対して、上述した撮影光源の解析や、ホワイトバランス調整などの画像処理サービスを提供することができる。
また、上述した実施形態では、度数の和または積によって階調バリエーションを判定している。しかしながら、本発明はこれに限定されるものではない。色単位の階調分布の広がり具合を求めることよって、階調バリエーションを判定することができる。例えば、色単位の階調分布の分散値（標準偏差）から、階調バリエーションを判定してもよい。
なお、上述した実施形態では、階調バリエーションが最も多い色情報を選択して、撮影光源の影響を反映した色情報としている。しかしながら、本発明はこれに限定されるものではない。例えば、ピーク付近の階調バリエーションを補間した後にピーク位置を検出することにより、最も階調バリエーションが多い色情報を正確に求めてもよい。このような処理により、撮影光源の違いを正確に判別することができるようになる。
また、上述した実施形態では、小さな値『１』を度数ゼロの箇所に補填した後に、正規化処理を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、正規化処理、補填の順番で処理を行ってもよい。
なお、上述した実施形態では、色情報として（Ｂ／Ｒ）を採用している。しかしながら、本発明はこれに限定されるものではない。一般に、色情報としては、撮影光源の違いによって変化する色の指標値，色の尺度，または色の特性であることが好ましい。例えば、色情報として、（Ｂ−Ｒ），色相，色度，または色度座標などを採用してもよい。
なお、上述した実施形態では、階調バリエーションのみを尺度にして、撮影光源を推定している。しかしながら、本発明はこれに限定されるものではない。その他の推定技術と本発明とを組み合わせることにより、撮影光源をより厳密に推定しても勿論よい。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
産業上の利用可能性
以上説明したように、本発明では、色単位に階調バリエーションを求め、この階調バリエーションが多い色情報ほど、撮影光源の影響が強いと判定する。
本願発明者は、撮影光源の影響を反映する色情報は階調バリエーションが多く、撮影光源の影響の少ない色情報は階調バリエーションが限られることを発見した。本発明は、この知見を利用することで、撮影光源の影響を反映する色情報を的確に検出することを可能にした。
【図面の簡単な説明】
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。
図１は、電子カメラ１１（画像処理装置を含む）の構成を示す図である。
図２は、第１の実施形態におけるホワイトバランス補正を説明する流れ図である。
図３は、撮影光源の色温度を変えながら、無彩色被写体の色情報（Ｂ′／Ｒ′）の軌跡を求めたグラフである。
図４は、画像データの絵柄の一例を示すため、画像データにディザ化を施して作成した図である。
図５は、画素単位の色情報および階調情報を、色−階調空間上にプロットした分布図である。
図６は、色−階調空間上の度数分布である。
図７は、正規化後の度数分布である。
図８は、度数の総和を示すグラフである。
図９は、第２の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１０は、度数の積を示すグラフである。
図１１は、正規化後の度数分布である。
図１２は、第３の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１３は、度数の積を示すグラフである。
図１４は、正規化後の度数分布を示す図である。
図１５は、第４の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１６は、画像領域の選抜に使用される無彩色範囲の一例を示す図である。
図１７は、画像領域の単位に、階調バリエーションの多い色情報を求めた結果を示す図である。
図１８は、『ＲＢ色空間にプロットした画素分布』と『撮影光源の色温度』との関係を示す図である。
Claims (9)
- 複数の画素のデータを含む画像データを処理して、前記画像データの撮影光源に関する情報を求める画像処理装置であって、
前記画素が有する色情報および階調情報を基準にして、前記色情報の区分ごとに前記階調情報の度数分布（以下『色単位の階調分布』という）を求める分類部と、
前記色単位の階調分布から階調のバリエーションを色単位に評価し、前記階調バリエーションが多いと評価された色情報を、前記撮影光源の影響を反映した色情報と判定する判定部と
を備えたことを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記判定部は、
前記色単位の階調分布について度数の積を算出し、前記積の値に基づいて前記階調バリエーションを評価する
ことを特徴とする画像処理装置。 - 請求項１ないし請求項２のいずれか１項に記載の画像処理装置において、
前記分類部は、
前記画素の前記色情報および前記階調情報を基準にして、色−階調空間上の度数分布を求める空間分類部と、
前記度数分布を前記階調情報の区分ごとに正規化して、前記階調情報の値の違いによる度数バラツキを抑制する正規化部とを備え、
前記分類部は、前記正規化部により正規化された前記度数分布から、前記色単位の階調分布を得る
ことを特徴とする画像処理装置。 - 請求項３に記載の画像処理装置において、
前記正規化部は、
前記正規化に際して、前記度数分布の全体傾向を損なわない小さな値を、前記度数分布の度数ゼロの箇所に補填する
ことを特徴とする画像処理装置。 - 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
前記分類部は、
前記画像データを区分して得た複数の画像領域ごとに平均色を求め、予め定められた無彩色範囲に前記平均色が収まる画像領域を選抜し、選抜された前記画像領域について前記色単位の階調分布を求める
ことを特徴とする画像処理装置。 - 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
前記分類部は、
前記画像データから部分的に抽出した複数の画像領域ごとに、前記色単位の階調分布を求め、
前記判定部は、
前記画像領域ごとに求めた前記色単位の階調分布に基づいて、個々の前記画像領域ごとに『階調バリエーションの多い色情報』を求め、これら『階調バリエーションの多い色情報』から代表値を算出して、前記撮影光源の影響を反映した色情報と判定する
ことを特徴とする画像処理装置。 - 請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
前記判定部は、前記撮影光源の影響を反映すると判定された前記色情報に基づいて、前記画像データのホワイトバランス補正を行う
ことを特徴とする画像処理装置。 - コンピュータを、請求項１ないし請求項７のいずれか１項に記載の前記分類部および前記判定部として機能させる
ことを特徴とする画像処理プログラム。 - 複数の画素のデータを含む画像データを処理して、前記画像データの撮影光源に関する情報を求める画像処理方法であって、
前記画素が有する色情報および階調情報を基準にして、前記色情報の区分ごとに前記階調情報の度数分布（以下『色単位の階調分布』という）を求める分類ステップと、
前記色単位の階調分布から階調のバリエーションを色単位に評価し、前記階調バリエーションが多いと評価された色情報を、前記撮影光源の影響を反映した色情報と判定する判定ステップと
を有することを特徴とする画像処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002102902 | 2002-04-04 | ||
| JP2002102902 | 2002-04-04 | ||
| PCT/JP2003/004327 WO2003085989A1 (fr) | 2002-04-04 | 2003-04-04 | Dispositif de traitement d'images, programme de traitement d'images et procede de traitement d'images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003085989A1 JPWO2003085989A1 (ja) | 2005-08-18 |
| JP3801177B2 true JP3801177B2 (ja) | 2006-07-26 |
Family
ID=28786277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003583033A Expired - Lifetime JP3801177B2 (ja) | 2002-04-04 | 2003-04-04 | 画像処理装置、画像処理プログラム、および画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP3801177B2 (ja) |
| AU (1) | AU2003221024A1 (ja) |
| WO (1) | WO2003085989A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4947624B2 (ja) * | 2006-04-21 | 2012-06-06 | 株式会社メガチップス | ホワイトバランス調整方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3052592B2 (ja) * | 1992-08-21 | 2000-06-12 | 松下電器産業株式会社 | 光源推定装置 |
| JP2000148978A (ja) * | 1998-11-10 | 2000-05-30 | Fuji Photo Film Co Ltd | 撮影光源推定方法および装置、画像処理方法および装置、並びに記録媒体 |
| JP4288395B2 (ja) * | 1999-01-20 | 2009-07-01 | 株式会社ニコン | ホワイトバランス調整機能を備える電子カメラ |
| JP4081213B2 (ja) * | 1999-10-04 | 2008-04-23 | イーストマン コダック カンパニー | オートホワイトバランス装置及び方法 |
-
2003
- 2003-04-04 JP JP2003583033A patent/JP3801177B2/ja not_active Expired - Lifetime
- 2003-04-04 AU AU2003221024A patent/AU2003221024A1/en not_active Abandoned
- 2003-04-04 WO PCT/JP2003/004327 patent/WO2003085989A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2003085989A1 (ja) | 2005-08-18 |
| WO2003085989A1 (fr) | 2003-10-16 |
| AU2003221024A1 (en) | 2003-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8265420B2 (en) | Digital image exposure correction | |
| JP3264273B2 (ja) | 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体 | |
| JP5389903B2 (ja) | 最適映像選択 | |
| JP5056780B2 (ja) | 画像処理装置 | |
| WO2004045219A1 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
| JP4478155B2 (ja) | 画像補正装置および方法，ならびに画像補正プログラム | |
| CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| EP1176554A1 (en) | Digital image processing method and apparatus for brightness adjustment of digital images | |
| JP4045645B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| US20090309998A1 (en) | Electronic image capture with reduced noise | |
| JP2001141569A (ja) | 認知光源とハイライトとを利用した照明色度推定及び変換装置及びそのための方法並びにそのためのプログラムを記録したコンピュータが読める記録媒体 | |
| US9978128B2 (en) | Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus | |
| US8059904B2 (en) | Image-processing device, electronic camera, image-processing program, and image-processing method | |
| US20040196383A1 (en) | Image pickup device, white balance processing method, program, and storage medium | |
| JP2005277981A (ja) | 画像処理のための対象画像の選択 | |
| JPH11331738A (ja) | 画像処理方法および装置 | |
| JP4774757B2 (ja) | 画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 | |
| JP4672587B2 (ja) | 画像出力方法および装置ならびにプログラム | |
| US8026954B2 (en) | System and computer-readable medium for automatic white balancing | |
| JP3673092B2 (ja) | 画質調整装置及び画質調整方法、並びに画像調整用プログラムを記録した記録媒体 | |
| Lin | An automatic white balance method based on edge detection | |
| JP3801177B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
| JP4950582B2 (ja) | 映像信号処理装置 | |
| JP4359662B2 (ja) | カラー画像の露出補正方法 | |
| JP2006114006A (ja) | 階調変換装置、プログラム、電子カメラ、およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060424 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3801177 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150512 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150512 Year of fee payment: 9 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150512 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |