JP4269780B2 - 画像処理装置、電子カメラ、及び画像処理プログラム - Google Patents
画像処理装置、電子カメラ、及び画像処理プログラム Download PDFInfo
- Publication number
- JP4269780B2 JP4269780B2 JP2003147894A JP2003147894A JP4269780B2 JP 4269780 B2 JP4269780 B2 JP 4269780B2 JP 2003147894 A JP2003147894 A JP 2003147894A JP 2003147894 A JP2003147894 A JP 2003147894A JP 4269780 B2 JP4269780 B2 JP 4269780B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- white balance
- image
- deviation
- electronic camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体の画像に施すべきホワイトバランス調整の調整量を決定するための画像処理装置、その決定機能を搭載した電子カメラ、及びその調整量を決定するための画像処理プログラムに関する。
【０００２】
【従来の技術】
一般の電子カメラには、白色の物体を照明色に依らず白色で表現するためのオートホワイトバランス調整の機能が搭載されている。
このホワイトバランス調整の方法として代表的なのは、次の方法（１），方法（２）などである。
【０００３】
方法（１）は、被写体の画像全体の平均色に基づき照明色を判定し、その照明色に応じた調整量（ホワイトバランスゲイン（ｇr，ｇb））でホワイトバランス調整（信号に対するホワイトバランスゲイン（ｇr，ｇb）の乗算）を行うものである。
方法（２）は、被写体の画像から無彩色領域を探索し、その無彩色領域の色に基づき照明色を判定し、その照明色に応じたホワイトバランスゲイン（ｇr，ｇb）でホワイトバランス調整を行うものである（特許文献１，特許文献２など）。
【０００４】
しかし、方法（１）は、灰色原理（画像全体の物体色を平均化すると無彩色になるという前提）の上に立つので、物体色に偏りのある画像（例えば、海の画像、芝生の画像、赤い壁の画像など）に適用すると、その物体色の偏りが照明色の偏りとみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
また、方法（２）は、照明色は予め決められた複数種（例えば、日中の自然光の色、蛍光灯の色、白熱灯の色）の何れかであるとの前提の上に立つので、想定外の照明色で照明された被写体の画像に適用すると、有彩色領域が特定の照明色の下での無彩色領域とみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
【０００５】
これらの失敗を低減するため、方法（３）が提案された。
方法（３）は、方法（１），（２）による２つの判定結果（ここでは照明色）を画像撮影時の撮影条件や画像内の色の分布に基づいて重み付け平均し、平均化された照明色に応じて、ホワイトバランスゲイン（ｇr，ｇb）を決定する方法である。
【０００６】
【特許文献１】
特開平８−３２２０６１号公報
【特許文献２】
特開平１１−２０５８１２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、方法（３）のように複数の互いに異なる判定結果を平均化すると、ホワイトバランス調整に失敗（大外しする）確率は低減されるものの、ホワイトバランス調整に成功（大正解する）確率も低減されてしまう。
【０００８】
そこで本発明は、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手段と、前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手段とを備えたことを特徴とする。
【００１０】
なお、本発明の画像処理装置は、前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手段をさらに備えてもよい。
また、本発明の電子カメラは、被写体を撮像する撮像素子と、前記撮像素子から出力される画像に基づいて演算を行う回路部とを備え、前記回路部は、被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手段と、前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手段とを備えたことを特徴とする。
【００１１】
なお、前記回路部は、前記画像の全体を前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手段をさらに備えてもよい。
また、前記第１設定手段は、無彩色検出による判定以外の判定を含む複数の判定に基づき前記設定を行ってもよい。
【００１２】
また、前記無彩色検出による判定以外の判定は、ユーザ入力された照明情報による判定であってもよい。
また、前記ずれの前記閾値は、同種照明間の演色性の相違に相当する大きさであってもよい。
【００１３】
また、前記ずれの緑色方向の前記閾値は、前記ずれの反緑色方向の前記閾値より小さくてもよい。
また、本発明の画像処理プログラムは、被写体の画像に対しホワイトバランス調整を施すコンピュータ読み取り可能な画像処理プログラムにおいて、被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手順と、前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手順と、前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手順とを含むことを特徴とする。
【００１４】
なお、本発明の画像処理プログラムは、前記画像の全体を前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手順をさらに含んでもよい。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００１６】
［第１実施形態］
図１、図２、図３、図４を参照して本発明の第１実施形態について説明する。
本実施形態は電子カメラの実施形態である。
図１は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラは、電子カメラ本体１，撮影レンズ２からなる。
【００１７】
電子カメラ本体１には、撮像素子１１、Ａ／Ｄ変換器１２、設定回路１３、ホワイトバランス調整回路１４、補間回路１５、階調変換処理回路１６などが備えられる。
撮影レンズ２は、被写体の像を撮像素子１１上に結ぶ。
【００１８】
撮像素子１１から出力される各画像の各画素信号（Ｒ，Ｇ，Ｂ）は、Ａ／Ｄ変換器１２、ホワイトバランス調整回路１４、補間回路１５、階調変換処理回路１６を経由した後、不図示の記録媒体に格納される。
各画素信号（Ｒ，Ｇ，Ｂ）は、Ａ／Ｄ変換器１２にてディジタル信号に変換され、ホワイトバランス調整回路１４にてホワイトバランス調整され、補間回路１５において画素補間処理され、階調変換処理回路１６において階調変換処理される。
【００１９】
このうちホワイトバランス調整は、ホワイトバランス調整回路１４が、各画素信号（Ｒ，Ｇ，Ｂ）に対しホワイトバランスゲイン（ｇr，ｇb）を乗算する（ｇr×Ｒ，Ｇ，ｇb×Ｂ）ことによって実現する。
このホワイトバランスゲイン（ｇr，ｇb）は、演算回路、ＲＡＭ、ＲＯＭなどからなる設定回路１３によって１画像毎に設定される。
【００２０】
設定回路１３は、Ａ／Ｄ変換器１２から出力される１画像分の画素信号（Ｒ，Ｇ，Ｂ）を参照すると共に、設定回路１３内のＲＯＭに予め格納されたルックアップテーブル１３ｃ−１を参照し、ホワイトバランス調整回路１４に対し設定すべきホワイトバランスゲイン（ｇr，ｇb）を決定し、それをホワイトバランス調整回路１４に設定する。
【００２１】
このルックアップテーブル１３ｃ−１には、照明種類及び色温度の各組み合わせそれぞれに最適なホワイトバランスゲイン（ｇr，ｇb）が、例えば図１に示すように予め格納されている。
以下、或る画像Ｉに対しホワイトバランスゲイン（ｇr，ｇb）が設定されるまでの設定回路１３の動作について詳細に説明する。
【００２２】
図２は、本実施形態の設定回路１３の動作フローチャートである。
先ず、画像Ｉの画素信号（Ｒ，Ｇ，Ｂ）から、３種類の互いに異なる方法により画像Ｉの照明色が判定される（図２ステップＳ１，Ｓ２，Ｓ３）。
第１の方法は、画像Ｉの無彩色検出による判定方法であり（図２ステップＳ１）、第２の方法は、画像Ｉの全体の平均色による判定方法あり（図２ステップＳ２）、第３の方法は、画像Ｉの肌色検出による判定方法である（図２ステップＳ３）。
【００２３】
無彩色検出による判定方法（図２ステップＳ１）では、先ず、図３（ａ）に示すように画像Ｉの各小領域ｉ（ｉ＝１，２，３，・・・）の平均色（ＡＲ，ＡＧ，ＡＢ）i（ｉ＝１，２，３，・・・）がそれぞれ求められる。平均色（ＡＲ，ＡＧ，ＡＢ）iは、小領域ｉ内の各画素信号（Ｒ，Ｇ，Ｂ）の平均値（又は積算値）である。
【００２４】
求められた各小領域ｉの平均色（ＡＲ，ＡＧ，ＡＢ）ｉ（ｉ＝１，２，３，・・・）は、それぞれ予め想定された複数色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の何れかに属するか否か、さらにどの色に属すかが判断される。また、属すると判断されたときには、該当色の頻度（小領域数）が１だけ加算される。
【００２５】
ここで、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・は、予め想定された各照明下で無彩色物体が示す各色である。
例えば、色Ｃn1，Ｃn2，Ｃn3，・・・は、互いに異なる色温度の自然光で照明された無彩色物体が示す各色である。
また、Ｃb1，Ｃb2，Ｃb3，・・・は、互いに異なる色温度の白熱灯で照明された無彩色物体が示す各色である。
【００２６】
また、Ｃf1，Ｃf2，Ｃf3，・・・は、互いに異なる色温度の蛍光灯で照明された無彩色物体が示す各色である。
そして、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の頻度（小領域数）から、図３（ｂ）に示すとおりヒストグラムが作成される。
【００２７】
さらに、このヒストグラムにおいて最大頻度を示す色（図３ではＣn2）に属する小領域の集合（図３（ｃ）の領域Ｅ）が、無彩色物体の存在する領域（無彩色領域）とみなされる。
そして、その無彩色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eが改めて求められる。領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eは、領域Ｅ内の各画素信号（Ｒ，Ｇ，Ｂ）の平均値である。
【００２８】
なお、無彩色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eの情報は、後のステップ（図２ステップＳ５）でも用いられる。
さらに、無彩色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eから、照明色（すなわち照明種類及びその色温度）が例えば「２１００Ｋの自然光」などと判定される（以上、図２ステップＳ１）。
【００２９】
一方、画像Ｉの全体の平均色による判定方法（図２ステップＳ２）では、先ず、画像Ｉの全体の平均色（ＡＲ，ＡＧ，ＡＢ）Allが求められる。平均色（ＡＲ，ＡＧ，ＡＢ）Allは、画像Ｉ内の各画素信号（Ｒ，Ｇ，Ｂ）の平均値（又は積算値）である。
【００３０】
さらに、画像Ｉの全体の平均色（ＡＲ，ＡＧ，ＡＢ）Allから、照明色（すなわち照明種類及びその色温度）が例えば「２０００Ｋの自然光」などと判定される（以上、図２ステップＳ２）。
一方、肌色検出による判定方法（図２ステップＳ３）は、上述した無彩色検出による判定方法と類似しており、無彩色領域に代えて肌色領域を検出する点のみがそれと異なる。
【００３１】
すなわち、画像Ｉの各小領域ｉ（ｉ＝１，２，３，・・・）の平均色（ＡＲ，ＡＧ，ＡＢ）i（ｉ＝１，２，３，・・・）がそれぞれ求められる。
求められた各小領域ｉの平均色（ＡＲ，ＡＧ，ＡＢ）ｉ（ｉ＝１，２，３，・・・）は、それぞれ予め想定された複数色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の何れかに属するか否か、さらに、どの色に属すか判断される。また、属すると判断されたときには、該当色の頻度（小領域数）が１だけ加算される。
【００３２】
ここで、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・は、予め想定された各照明下で肌色の物体が示す各色である。
例えば、色Ｃn1，Ｃn2，Ｃn3，・・・は、互いに異なる色温度の自然光で照明された肌色の物体が示す各色である。
また、Ｃb1，Ｃb2，Ｃb3，・・・は、互いに異なる色温度の白熱灯で照明された肌色の物体が示す各色である。
【００３３】
また、Ｃf1，Ｃf2，Ｃf3，・・・は、互いに異なる色温度の蛍光灯で照明された肌色の物体が示す各色である。
そして、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の頻度（小領域数）から、ヒストグラムが作成される。
さらに、このヒストグラムにおいて最大頻度を示す色に属する小領域の集合（領域Ｅ）が、肌色の物体の存在する領域（肌色領域）とみなされる。
【００３４】
そして、その肌色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eが求められる。
さらに、肌色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eから、照明色（すなわち照明種類及びその色温度）が例えば「２５００Ｋの自然光」などと判定される（以上、図２ステップＳ３）。
【００３５】
以上、３つの判定でそれぞれ照明色が判定されると、設定回路１３は、それらの判定の結果に基づき、仮のホワイトバランスゲイン（ｇｒ’，ｇｂ’）を決定する（図２ステップＳ４）。
例えば、３つの判定の結果が「２１００Ｋの自然光」、「２０００Ｋの自然光」、「２５００Ｋの自然光」であるときには、照明種類は自然光であり、また、照明の色温度は２１００Ｋ，２０００Ｋ，２５００Ｋを重み付け平均した値（例えば、２０５０Ｋ）とみなされる。
【００３６】
なお、その重み付け平均の荷重は、予め記憶された画像Ｉの撮影条件や、別途取得された画像Ｉ内の色の分布などに応じて、画像Ｉ毎に決定される。
さらに設定回路１３は、その照明種類（ここでは自然光）と平均後の色温度（ここでは２０５０Ｋ）とに応じてルックアップテーブル１３ｃ−１を参照し、その照明種類及び色温度の組み合わせに最適な値を、仮のホワイトバランスゲイン（ｇr’，ｇb’）とする（以上、図２ステップＳ４）。
【００３７】
次に、設定回路１３は、ステップＳ１で求めた平均色（ＡＲ，ＡＧ，ＡＢ）E（無彩色領域とみなされた領域Ｅの平均色）に対し、仮のホワイトバランスゲイン（ｇr’，ｇb’）を（ｇr’×ＡＲ，ＡＧ，ｇb’×ＡＢ）Eのように乗算する（図２ステップＳ５）。
この乗算後の領域Ｅの色（ｇr’×ＡＲ，ＡＧ，ｇb’×ＡＢ）Eは、仮のホワイトバランスゲイン（ｇr’，ｇb’）を用いたホワイトバランス調整が行われた際の領域Ｅの大凡の色を示している。
【００３８】
さらに、設定回路１３は、乗算後の領域Ｅの色（Ｒ，Ｇ，Ｂ）のバランスの１：１：１からのずれΔｒ，Δｂを求め、それらずれΔｒ，Δｂをそれぞれ閾値と比較し、式（１）を満たすか否か判別する（図２ステップＳ６）。
｜Δｒ｜＜０．０５，かつ｜Δｂ｜＜０．０５ ・・・（１）
但し、Δｒは、Ｒ色方向のずれ、すなわちΔｒ＝１−Ｇ／Ｒであり、Δｂは、Ｂ色方向のずれ、すなわちΔｂ＝１−Ｇ／Ｂである。
【００３９】
ここで、この式（１）の閾値”０．０５”は、同種照明間の演色性の相違に相当する大きさである。
図４（ａ），（ｂ）は、ずれΔｒ，Δｂを有する色（Ｒ，Ｇ，Ｂ）を可視化した図である。図４（ａ）は、ずれΔｒ，Δｂが比較的小さい色（Ｒ，Ｇ，Ｂ）を可視化したものであり、図４（ｂ）は、ずれΔｒ，Δｂが比較的大きい色（Ｒ，Ｇ，Ｂ）を可視化したものである。
【００４０】
そして、ずれΔｒ，Δｂが図４（ａ）に示すごとく小さく、式（１）を満たすとき（それぞれ閾値”０．０５”未満であるとき）には（図２ステップＳ６YES）、そのずれΔｒ，Δｂが図４（ａ’）に示すようにそれぞれ０になるよう、仮のホワイトバランスゲイン（ｇr’，ｇb’）は補正され（図２ステップＳ７）、補正後の値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図２ステップＳ８）。
【００４１】
一方、ずれΔｒ，Δｂが図４（ｂ）に示すごとく大きく、式（１）を満たさないとき（少なくとも一方が閾値”０．０５”以上であるとき）には（図２ステップＳ６NO）、図４（ｂ’）に示すように仮のホワイトバランスゲイン（ｇr’，ｇb’）のそのままの値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図２ステップＳ８）。
【００４２】
したがって、ずれΔｒ，Δｂが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
一方、バランスのずれΔｒ，Δｂが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
【００４３】
以上のようにして設定されたホワイトバランスゲイン（ｇr，ｇb）によるホワイトバランス調整は、失敗する確率が低いまま、成功する確率のみが高まる。
なお、式（１）の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”０．０５”に代えて”０．１”などと選定されてもよい。
【００４４】
［第２実施形態］
図５、図６を参照して本発明の第２実施形態について説明する。
本実施形態も電子カメラの実施形態である。なお、ここでは第１実施形態の電子カメラとの相違点についてのみ説明する。
図５は、本実施形態の電子カメラの概略構成を示す図である。
【００４５】
本実施形態の電子カメラの電子カメラ本体１には、ユーザに対し照明情報を入力させるための操作部材１７が備えられている。
照明情報は、例えば、画像Ｉの撮影環境（例えば、蛍光灯室内、晴天、夕焼け、白熱灯室内など）を示す。
この照明情報は、設定回路１３によって取り込まれる。
【００４６】
設定回路１３は、或る画像Ｉに対しホワイトバランスゲイン（ｇr，ｇb）を設定するに当たり、画像Ｉを参照すると共に、その照明情報を参照する。
以下、本実施形態において或る画像Ｉに対しホワイトバランスゲイン（ｇr，ｇb）が設定されるまでの設定回路１３の動作について説明する。
図６は、本実施形態の設定回路１３の動作フローチャートである。
【００４７】
先ず、設定回路１３は、ユーザ入力された照明情報（例えば「晴天」）から、画像Ｉの撮影に使用された照明種類と色温度を、例えば「５０００Ｋの自然光」などと判定し（図６ステップＳ２１）、その照明種類と色温度とに応じてルックアップテーブル１３ｃ−１を参照し、それらの組み合わせに最適な値を、仮のホワイトバランスゲイン（ｇr’，ｇb’）とする（図６ステップＳ２２）。
【００４８】
その一方で、設定回路１３は、画像Ｉから無彩色領域Ｅを検出する（図６ステップＳ１’）。その検出の方法は、図２ステップＳ１（図３参照）において無彩色領域Ｅを検出した方法と同じである。
その後、無彩色領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eが求められ、その平均色（ＡＲ，ＡＧ，ＡＢ）Eに対し、仮のホワイトバランスゲイン（ｇr’，ｇb’）を（ｇr’×ＡＲ，ＡＧ，ｇb’×ＡＢ）Eのように乗算する（図６ステップＳ５）。
【００４９】
さらに、設定回路１３は、乗算後の領域Ｅの色（Ｒ，Ｇ，Ｂ）のバランスの１：１：１からのずれΔｒ，Δｂを求め、それらずれΔｒ，Δｂをそれぞれ閾値と比較し、式（１）を満たすか否か判別する（図６ステップＳ５）。
そして、ずれΔｒ，Δｂが式（１）を満たすとき（それぞれ閾値未満であるとき）には（図６ステップＳ６YES）、そのずれΔｒ，Δｂがそれぞれ０になるよう、仮のホワイトバランスゲイン（ｇr’，ｇb’）は補正され（図６ステップＳ７）、補正後の値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図６ステップＳ８）。
【００５０】
一方、ずれΔｒ，Δｂが式（１）を満たさないとき（少なくとも一方が閾値”０．５”以上であるとき）には（図６ステップＳ６NO）、仮のホワイトバランスゲイン（ｇr’，ｇb’）のそのままの値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図６ステップＳ８）。
以上のとおり、ユーザ入力に従って仮のホワイトバランスゲイン（ｇr’，ｇb’）が設定される本実施形態の電子カメラでも、ずれΔｒ，Δｂが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
【００５１】
一方、バランスのずれΔｒ，Δｂが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
したがって、第１実施形態の電子カメラと同様に、ホワイトバランス調整に失敗する確率が低いまま、成功する確率のみが高まる。
［第３実施形態］
図７を参照して本発明の第３実施形態について説明する。
【００５２】
本実施形態も電子カメラの実施形態である。なお、ここでは第１実施形態の電子カメラとの相違点についてのみ説明する。
本実施形態の電子カメラの構成は、図１に示した第１実施形態の電子カメラのそれと同じである。
また、設定回路１３（図１参照）の動作も、第１実施形態におけるそれと基本的に同じである。
【００５３】
但し、ステップＳ６（図１参照）の判別に用いられる式は、式（１）に代えて式（２）とされる。
−０．０２５＜Δｒ＜０．０７５，かつ
−０．０２５＜Δｂ＜０．０７５ ・・・（２）
但し、式（２）において、Δｒ＝１−Ｇ／Ｒ、Δｂ＝１−Ｇ／Ｂである。
【００５４】
このとき、Δｒが正となる方向は、Ｒ色方向（Ｇ色と比較してＲ色が強い方向）であり、Δｂが正となる方向は、Ｂ色方向（Ｇ色と比較してＢ色が強い方向）である。
式（２）においては、ずれΔｒ，ΔｂのＧ色方向の閾値の大きさとＲ及びＢ色方向の閾値の大きさとに格差が付けられており、前者が”０．０７５”であるのに対し、後者は、”０．０２５”である。
【００５５】
図７においては、ずれΔｒ，Δｂを有する各色（Ｒ，Ｇ，Ｂ）を可視化した。図７において上に行くほどＲ色又はＢ色が強い色、下に行くほどＧ色が強い色を示す。
Ｇ方向の閾値が厳しく設定された式（２）によると、図７（ｂ）、図７（ｅ）のように同じ大きさのずれであっても、ずれの方向がＧ方向であるとき（図７（ｅ））には仮のホワイトバランスゲイン（ｇr’，ｇb’）が補正されず（図７（ｅ’））、ずれの方向がＲ方向又はＢ方向であるとき（図７（ｂ））にのみ仮のホワイトバランスゲイン（ｇr’，ｇb’）が補正される（図７（ｂ’））、という事態が生じうる。
【００５６】
このようにずれの方向に格差が付けられれば、第１実施形態と同様にホワイトバランス調整に成功する確率が高まるだけでなく、或特定の画像に対するホワイトバランス調整の失敗を防ぐことができる。
ここで、特定の画像とは、「自然光下で撮影した芝生の画像」など、蛍光灯以外の照明が採用されたにも拘わらず全体的に緑色が優勢となった画像である。
【００５７】
このような画像は、芝生の領域が誤って無彩色領域Ｅとみなされてしまう可能性がある。この場合に無彩色検出による判定結果が重視されてしまうと、ホワイトバランスゲインは、蛍光灯の照明に適する方向（緑色を抑える方向）に補正されてしまうので、ホワイトバランス調整に失敗し、画像の色が極めて不自然となる。
【００５８】
その点、本実施形態のようにＧ色方向の閾値が厳しく設定されていれば、緑色を抑える方向に補正されにくくなるので、そのような失敗の可能性は抑えられる。
なお、Ｇ色方向の閾値が厳しく設定されていると、「蛍光灯下で照明した通常の画像」のホワイトバランス調整が調整不足となる可能性もある。
しかし、調整不足では、蛍光灯特有の色味（緑色）が画像に残るのだけなので、蛍光灯下で撮影した画像が緑色がかることを経験的に知っているユーザにとっては、問題にはならない。
【００５９】
なお、式（２）の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”−０．０２５”及び”０．０７５”に代えて”−０．０５”及び”０．１２”などと選定されてもよい。
［その他］
なお、上記各実施形態の電子カメラは、記録媒体に格納される情報が、ホワイトバランス調整後の画像データ（画素信号群）となっているが、そのホワイトバランス調整前の画像データ（ＲＡＷデータ）にホワイトバランスゲイン（ｇr，ｇb）の情報を添付した情報としてもよい（ＲＡＷ記録）。
【００６０】
また、ホワイトバランスゲイン（ｇr，ｇb）の情報と共に、仮のホワイトバランスゲイン（ｇr’，ｇb’）の情報などを添付してもよい。
また、上記各実施形態の電子カメラは、情報を記録媒体に格納しているが、記録媒体に格納する代わりに、外部のコンピュータや別の電子カメラなどに情報を転送してもよい。
【００６１】
また、上記第１実施形態、第３実施形態の電子カメラは、重み付け平均により照明色を判定しているが、重み付け平均に代えて、選択式にしてもよい。
また、上記各実施形態の電子カメラは、仮のホワイトバランスゲイン（ｇr，ｇb）の設定を、２複数以上の互いに異なる判定に基づいて行ったり、ユーザ設定に応じた判定に基づいて行ったりしているが、無彩色判定以外の少なくとも１つの判定に基づいているのであれば、他の如何なる公知の判定に基づいて行われてもよい。例えば、ユーザによるプリセット内容に応じた判定もある。
【００６２】
また、上記各実施形態の設定回路１３及びホワイトバランス調整回路１４の動作の一部又は全部を、汎用のコンピュータに実行させてもよい。
その場合、その動作の一部又は全部からなるプログラムを、コンピュータ読み取り可能な記録媒体（ＣＤ−ＲＯＭ）などに予め書き込み、その記録媒体を介してコンピュータに対しそのプログラムを実行させればよい。
【００６３】
或いは、そのプログラムをインターネットを介してコンピュータにダウンロードさせてもよい。
【００６４】
【発明の効果】
以上、本発明によれば、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【図１】第１実施形態の電子カメラの概略構成を示す図である。
【図２】第１実施形態の設定回路１３の動作フローチャートである。
【図３】無彩色検出による判定方法を説明する図である。
【図４】第１実施形態における閾値判別を説明する図である。
【図５】第２実施形態の電子カメラの概略構成を示す図である。
【図６】第２実施形態の設定回路１３の動作フローチャートである。
【図７】第２実施形態における閾値判別を説明する図である。
【符号の説明】
１ 電子カメラ本体
２ 撮影レンズ
１１ 撮像素子
１２ Ａ／Ｄ変換器
１３ 設定回路
１４ ホワイトバランス調整回路
１５ 補間回路
１６ 階調変換処理回路
１３ｃ−１ ルックアップテーブル
【発明の属する技術分野】
本発明は、被写体の画像に施すべきホワイトバランス調整の調整量を決定するための画像処理装置、その決定機能を搭載した電子カメラ、及びその調整量を決定するための画像処理プログラムに関する。
【０００２】
【従来の技術】
一般の電子カメラには、白色の物体を照明色に依らず白色で表現するためのオートホワイトバランス調整の機能が搭載されている。
このホワイトバランス調整の方法として代表的なのは、次の方法（１），方法（２）などである。
【０００３】
方法（１）は、被写体の画像全体の平均色に基づき照明色を判定し、その照明色に応じた調整量（ホワイトバランスゲイン（ｇr，ｇb））でホワイトバランス調整（信号に対するホワイトバランスゲイン（ｇr，ｇb）の乗算）を行うものである。
方法（２）は、被写体の画像から無彩色領域を探索し、その無彩色領域の色に基づき照明色を判定し、その照明色に応じたホワイトバランスゲイン（ｇr，ｇb）でホワイトバランス調整を行うものである（特許文献１，特許文献２など）。
【０００４】
しかし、方法（１）は、灰色原理（画像全体の物体色を平均化すると無彩色になるという前提）の上に立つので、物体色に偏りのある画像（例えば、海の画像、芝生の画像、赤い壁の画像など）に適用すると、その物体色の偏りが照明色の偏りとみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
また、方法（２）は、照明色は予め決められた複数種（例えば、日中の自然光の色、蛍光灯の色、白熱灯の色）の何れかであるとの前提の上に立つので、想定外の照明色で照明された被写体の画像に適用すると、有彩色領域が特定の照明色の下での無彩色領域とみなされてしまい、誤判定し、ホワイトバランス調整に失敗することがある。
【０００５】
これらの失敗を低減するため、方法（３）が提案された。
方法（３）は、方法（１），（２）による２つの判定結果（ここでは照明色）を画像撮影時の撮影条件や画像内の色の分布に基づいて重み付け平均し、平均化された照明色に応じて、ホワイトバランスゲイン（ｇr，ｇb）を決定する方法である。
【０００６】
【特許文献１】
特開平８−３２２０６１号公報
【特許文献２】
特開平１１−２０５８１２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、方法（３）のように複数の互いに異なる判定結果を平均化すると、ホワイトバランス調整に失敗（大外しする）確率は低減されるものの、ホワイトバランス調整に成功（大正解する）確率も低減されてしまう。
【０００８】
そこで本発明は、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手段と、前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手段とを備えたことを特徴とする。
【００１０】
なお、本発明の画像処理装置は、前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手段をさらに備えてもよい。
また、本発明の電子カメラは、被写体を撮像する撮像素子と、前記撮像素子から出力される画像に基づいて演算を行う回路部とを備え、前記回路部は、被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手段と、前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手段と、前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手段とを備えたことを特徴とする。
【００１１】
なお、前記回路部は、前記画像の全体を前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手段をさらに備えてもよい。
また、前記第１設定手段は、無彩色検出による判定以外の判定を含む複数の判定に基づき前記設定を行ってもよい。
【００１２】
また、前記無彩色検出による判定以外の判定は、ユーザ入力された照明情報による判定であってもよい。
また、前記ずれの前記閾値は、同種照明間の演色性の相違に相当する大きさであってもよい。
【００１３】
また、前記ずれの緑色方向の前記閾値は、前記ずれの反緑色方向の前記閾値より小さくてもよい。
また、本発明の画像処理プログラムは、被写体の画像に対しホワイトバランス調整を施すコンピュータ読み取り可能な画像処理プログラムにおいて、被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手順と、前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手順と、前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手順とを含むことを特徴とする。
【００１４】
なお、本発明の画像処理プログラムは、前記画像の全体を前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手順をさらに含んでもよい。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００１６】
［第１実施形態］
図１、図２、図３、図４を参照して本発明の第１実施形態について説明する。
本実施形態は電子カメラの実施形態である。
図１は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラは、電子カメラ本体１，撮影レンズ２からなる。
【００１７】
電子カメラ本体１には、撮像素子１１、Ａ／Ｄ変換器１２、設定回路１３、ホワイトバランス調整回路１４、補間回路１５、階調変換処理回路１６などが備えられる。
撮影レンズ２は、被写体の像を撮像素子１１上に結ぶ。
【００１８】
撮像素子１１から出力される各画像の各画素信号（Ｒ，Ｇ，Ｂ）は、Ａ／Ｄ変換器１２、ホワイトバランス調整回路１４、補間回路１５、階調変換処理回路１６を経由した後、不図示の記録媒体に格納される。
各画素信号（Ｒ，Ｇ，Ｂ）は、Ａ／Ｄ変換器１２にてディジタル信号に変換され、ホワイトバランス調整回路１４にてホワイトバランス調整され、補間回路１５において画素補間処理され、階調変換処理回路１６において階調変換処理される。
【００１９】
このうちホワイトバランス調整は、ホワイトバランス調整回路１４が、各画素信号（Ｒ，Ｇ，Ｂ）に対しホワイトバランスゲイン（ｇr，ｇb）を乗算する（ｇr×Ｒ，Ｇ，ｇb×Ｂ）ことによって実現する。
このホワイトバランスゲイン（ｇr，ｇb）は、演算回路、ＲＡＭ、ＲＯＭなどからなる設定回路１３によって１画像毎に設定される。
【００２０】
設定回路１３は、Ａ／Ｄ変換器１２から出力される１画像分の画素信号（Ｒ，Ｇ，Ｂ）を参照すると共に、設定回路１３内のＲＯＭに予め格納されたルックアップテーブル１３ｃ−１を参照し、ホワイトバランス調整回路１４に対し設定すべきホワイトバランスゲイン（ｇr，ｇb）を決定し、それをホワイトバランス調整回路１４に設定する。
【００２１】
このルックアップテーブル１３ｃ−１には、照明種類及び色温度の各組み合わせそれぞれに最適なホワイトバランスゲイン（ｇr，ｇb）が、例えば図１に示すように予め格納されている。
以下、或る画像Ｉに対しホワイトバランスゲイン（ｇr，ｇb）が設定されるまでの設定回路１３の動作について詳細に説明する。
【００２２】
図２は、本実施形態の設定回路１３の動作フローチャートである。
先ず、画像Ｉの画素信号（Ｒ，Ｇ，Ｂ）から、３種類の互いに異なる方法により画像Ｉの照明色が判定される（図２ステップＳ１，Ｓ２，Ｓ３）。
第１の方法は、画像Ｉの無彩色検出による判定方法であり（図２ステップＳ１）、第２の方法は、画像Ｉの全体の平均色による判定方法あり（図２ステップＳ２）、第３の方法は、画像Ｉの肌色検出による判定方法である（図２ステップＳ３）。
【００２３】
無彩色検出による判定方法（図２ステップＳ１）では、先ず、図３（ａ）に示すように画像Ｉの各小領域ｉ（ｉ＝１，２，３，・・・）の平均色（ＡＲ，ＡＧ，ＡＢ）i（ｉ＝１，２，３，・・・）がそれぞれ求められる。平均色（ＡＲ，ＡＧ，ＡＢ）iは、小領域ｉ内の各画素信号（Ｒ，Ｇ，Ｂ）の平均値（又は積算値）である。
【００２４】
求められた各小領域ｉの平均色（ＡＲ，ＡＧ，ＡＢ）ｉ（ｉ＝１，２，３，・・・）は、それぞれ予め想定された複数色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の何れかに属するか否か、さらにどの色に属すかが判断される。また、属すると判断されたときには、該当色の頻度（小領域数）が１だけ加算される。
【００２５】
ここで、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・は、予め想定された各照明下で無彩色物体が示す各色である。
例えば、色Ｃn1，Ｃn2，Ｃn3，・・・は、互いに異なる色温度の自然光で照明された無彩色物体が示す各色である。
また、Ｃb1，Ｃb2，Ｃb3，・・・は、互いに異なる色温度の白熱灯で照明された無彩色物体が示す各色である。
【００２６】
また、Ｃf1，Ｃf2，Ｃf3，・・・は、互いに異なる色温度の蛍光灯で照明された無彩色物体が示す各色である。
そして、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の頻度（小領域数）から、図３（ｂ）に示すとおりヒストグラムが作成される。
【００２７】
さらに、このヒストグラムにおいて最大頻度を示す色（図３ではＣn2）に属する小領域の集合（図３（ｃ）の領域Ｅ）が、無彩色物体の存在する領域（無彩色領域）とみなされる。
そして、その無彩色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eが改めて求められる。領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eは、領域Ｅ内の各画素信号（Ｒ，Ｇ，Ｂ）の平均値である。
【００２８】
なお、無彩色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eの情報は、後のステップ（図２ステップＳ５）でも用いられる。
さらに、無彩色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eから、照明色（すなわち照明種類及びその色温度）が例えば「２１００Ｋの自然光」などと判定される（以上、図２ステップＳ１）。
【００２９】
一方、画像Ｉの全体の平均色による判定方法（図２ステップＳ２）では、先ず、画像Ｉの全体の平均色（ＡＲ，ＡＧ，ＡＢ）Allが求められる。平均色（ＡＲ，ＡＧ，ＡＢ）Allは、画像Ｉ内の各画素信号（Ｒ，Ｇ，Ｂ）の平均値（又は積算値）である。
【００３０】
さらに、画像Ｉの全体の平均色（ＡＲ，ＡＧ，ＡＢ）Allから、照明色（すなわち照明種類及びその色温度）が例えば「２０００Ｋの自然光」などと判定される（以上、図２ステップＳ２）。
一方、肌色検出による判定方法（図２ステップＳ３）は、上述した無彩色検出による判定方法と類似しており、無彩色領域に代えて肌色領域を検出する点のみがそれと異なる。
【００３１】
すなわち、画像Ｉの各小領域ｉ（ｉ＝１，２，３，・・・）の平均色（ＡＲ，ＡＧ，ＡＢ）i（ｉ＝１，２，３，・・・）がそれぞれ求められる。
求められた各小領域ｉの平均色（ＡＲ，ＡＧ，ＡＢ）ｉ（ｉ＝１，２，３，・・・）は、それぞれ予め想定された複数色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の何れかに属するか否か、さらに、どの色に属すか判断される。また、属すると判断されたときには、該当色の頻度（小領域数）が１だけ加算される。
【００３２】
ここで、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・は、予め想定された各照明下で肌色の物体が示す各色である。
例えば、色Ｃn1，Ｃn2，Ｃn3，・・・は、互いに異なる色温度の自然光で照明された肌色の物体が示す各色である。
また、Ｃb1，Ｃb2，Ｃb3，・・・は、互いに異なる色温度の白熱灯で照明された肌色の物体が示す各色である。
【００３３】
また、Ｃf1，Ｃf2，Ｃf3，・・・は、互いに異なる色温度の蛍光灯で照明された肌色の物体が示す各色である。
そして、各色Ｃn1，Ｃn2，Ｃn3，・・・，Ｃb1，Ｃb2，Ｃb3，・・・，Ｃf1，Ｃf2，Ｃf3，・・・の頻度（小領域数）から、ヒストグラムが作成される。
さらに、このヒストグラムにおいて最大頻度を示す色に属する小領域の集合（領域Ｅ）が、肌色の物体の存在する領域（肌色領域）とみなされる。
【００３４】
そして、その肌色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eが求められる。
さらに、肌色領域とみなされた領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eから、照明色（すなわち照明種類及びその色温度）が例えば「２５００Ｋの自然光」などと判定される（以上、図２ステップＳ３）。
【００３５】
以上、３つの判定でそれぞれ照明色が判定されると、設定回路１３は、それらの判定の結果に基づき、仮のホワイトバランスゲイン（ｇｒ’，ｇｂ’）を決定する（図２ステップＳ４）。
例えば、３つの判定の結果が「２１００Ｋの自然光」、「２０００Ｋの自然光」、「２５００Ｋの自然光」であるときには、照明種類は自然光であり、また、照明の色温度は２１００Ｋ，２０００Ｋ，２５００Ｋを重み付け平均した値（例えば、２０５０Ｋ）とみなされる。
【００３６】
なお、その重み付け平均の荷重は、予め記憶された画像Ｉの撮影条件や、別途取得された画像Ｉ内の色の分布などに応じて、画像Ｉ毎に決定される。
さらに設定回路１３は、その照明種類（ここでは自然光）と平均後の色温度（ここでは２０５０Ｋ）とに応じてルックアップテーブル１３ｃ−１を参照し、その照明種類及び色温度の組み合わせに最適な値を、仮のホワイトバランスゲイン（ｇr’，ｇb’）とする（以上、図２ステップＳ４）。
【００３７】
次に、設定回路１３は、ステップＳ１で求めた平均色（ＡＲ，ＡＧ，ＡＢ）E（無彩色領域とみなされた領域Ｅの平均色）に対し、仮のホワイトバランスゲイン（ｇr’，ｇb’）を（ｇr’×ＡＲ，ＡＧ，ｇb’×ＡＢ）Eのように乗算する（図２ステップＳ５）。
この乗算後の領域Ｅの色（ｇr’×ＡＲ，ＡＧ，ｇb’×ＡＢ）Eは、仮のホワイトバランスゲイン（ｇr’，ｇb’）を用いたホワイトバランス調整が行われた際の領域Ｅの大凡の色を示している。
【００３８】
さらに、設定回路１３は、乗算後の領域Ｅの色（Ｒ，Ｇ，Ｂ）のバランスの１：１：１からのずれΔｒ，Δｂを求め、それらずれΔｒ，Δｂをそれぞれ閾値と比較し、式（１）を満たすか否か判別する（図２ステップＳ６）。
｜Δｒ｜＜０．０５，かつ｜Δｂ｜＜０．０５ ・・・（１）
但し、Δｒは、Ｒ色方向のずれ、すなわちΔｒ＝１−Ｇ／Ｒであり、Δｂは、Ｂ色方向のずれ、すなわちΔｂ＝１−Ｇ／Ｂである。
【００３９】
ここで、この式（１）の閾値”０．０５”は、同種照明間の演色性の相違に相当する大きさである。
図４（ａ），（ｂ）は、ずれΔｒ，Δｂを有する色（Ｒ，Ｇ，Ｂ）を可視化した図である。図４（ａ）は、ずれΔｒ，Δｂが比較的小さい色（Ｒ，Ｇ，Ｂ）を可視化したものであり、図４（ｂ）は、ずれΔｒ，Δｂが比較的大きい色（Ｒ，Ｇ，Ｂ）を可視化したものである。
【００４０】
そして、ずれΔｒ，Δｂが図４（ａ）に示すごとく小さく、式（１）を満たすとき（それぞれ閾値”０．０５”未満であるとき）には（図２ステップＳ６YES）、そのずれΔｒ，Δｂが図４（ａ’）に示すようにそれぞれ０になるよう、仮のホワイトバランスゲイン（ｇr’，ｇb’）は補正され（図２ステップＳ７）、補正後の値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図２ステップＳ８）。
【００４１】
一方、ずれΔｒ，Δｂが図４（ｂ）に示すごとく大きく、式（１）を満たさないとき（少なくとも一方が閾値”０．０５”以上であるとき）には（図２ステップＳ６NO）、図４（ｂ’）に示すように仮のホワイトバランスゲイン（ｇr’，ｇb’）のそのままの値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図２ステップＳ８）。
【００４２】
したがって、ずれΔｒ，Δｂが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
一方、バランスのずれΔｒ，Δｂが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
【００４３】
以上のようにして設定されたホワイトバランスゲイン（ｇr，ｇb）によるホワイトバランス調整は、失敗する確率が低いまま、成功する確率のみが高まる。
なお、式（１）の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”０．０５”に代えて”０．１”などと選定されてもよい。
【００４４】
［第２実施形態］
図５、図６を参照して本発明の第２実施形態について説明する。
本実施形態も電子カメラの実施形態である。なお、ここでは第１実施形態の電子カメラとの相違点についてのみ説明する。
図５は、本実施形態の電子カメラの概略構成を示す図である。
【００４５】
本実施形態の電子カメラの電子カメラ本体１には、ユーザに対し照明情報を入力させるための操作部材１７が備えられている。
照明情報は、例えば、画像Ｉの撮影環境（例えば、蛍光灯室内、晴天、夕焼け、白熱灯室内など）を示す。
この照明情報は、設定回路１３によって取り込まれる。
【００４６】
設定回路１３は、或る画像Ｉに対しホワイトバランスゲイン（ｇr，ｇb）を設定するに当たり、画像Ｉを参照すると共に、その照明情報を参照する。
以下、本実施形態において或る画像Ｉに対しホワイトバランスゲイン（ｇr，ｇb）が設定されるまでの設定回路１３の動作について説明する。
図６は、本実施形態の設定回路１３の動作フローチャートである。
【００４７】
先ず、設定回路１３は、ユーザ入力された照明情報（例えば「晴天」）から、画像Ｉの撮影に使用された照明種類と色温度を、例えば「５０００Ｋの自然光」などと判定し（図６ステップＳ２１）、その照明種類と色温度とに応じてルックアップテーブル１３ｃ−１を参照し、それらの組み合わせに最適な値を、仮のホワイトバランスゲイン（ｇr’，ｇb’）とする（図６ステップＳ２２）。
【００４８】
その一方で、設定回路１３は、画像Ｉから無彩色領域Ｅを検出する（図６ステップＳ１’）。その検出の方法は、図２ステップＳ１（図３参照）において無彩色領域Ｅを検出した方法と同じである。
その後、無彩色領域Ｅの平均色（ＡＲ，ＡＧ，ＡＢ）Eが求められ、その平均色（ＡＲ，ＡＧ，ＡＢ）Eに対し、仮のホワイトバランスゲイン（ｇr’，ｇb’）を（ｇr’×ＡＲ，ＡＧ，ｇb’×ＡＢ）Eのように乗算する（図６ステップＳ５）。
【００４９】
さらに、設定回路１３は、乗算後の領域Ｅの色（Ｒ，Ｇ，Ｂ）のバランスの１：１：１からのずれΔｒ，Δｂを求め、それらずれΔｒ，Δｂをそれぞれ閾値と比較し、式（１）を満たすか否か判別する（図６ステップＳ５）。
そして、ずれΔｒ，Δｂが式（１）を満たすとき（それぞれ閾値未満であるとき）には（図６ステップＳ６YES）、そのずれΔｒ，Δｂがそれぞれ０になるよう、仮のホワイトバランスゲイン（ｇr’，ｇb’）は補正され（図６ステップＳ７）、補正後の値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図６ステップＳ８）。
【００５０】
一方、ずれΔｒ，Δｂが式（１）を満たさないとき（少なくとも一方が閾値”０．５”以上であるとき）には（図６ステップＳ６NO）、仮のホワイトバランスゲイン（ｇr’，ｇb’）のそのままの値がホワイトバランス調整回路１４に設定すべきホワイトバランスゲイン（ｇr，ｇb）とされる（図６ステップＳ８）。
以上のとおり、ユーザ入力に従って仮のホワイトバランスゲイン（ｇr’，ｇb’）が設定される本実施形態の電子カメラでも、ずれΔｒ，Δｂが演色性の相違に相当する大きさ未満しか残存していないときには、無彩色検出による判定結果が重視される方向に仮のホワイトバランスゲインの値が補正される。
【００５１】
一方、バランスのずれΔｒ，Δｂが演色性の相違に相当する大きさ以上残存しているときには、その補正は行われない。
したがって、第１実施形態の電子カメラと同様に、ホワイトバランス調整に失敗する確率が低いまま、成功する確率のみが高まる。
［第３実施形態］
図７を参照して本発明の第３実施形態について説明する。
【００５２】
本実施形態も電子カメラの実施形態である。なお、ここでは第１実施形態の電子カメラとの相違点についてのみ説明する。
本実施形態の電子カメラの構成は、図１に示した第１実施形態の電子カメラのそれと同じである。
また、設定回路１３（図１参照）の動作も、第１実施形態におけるそれと基本的に同じである。
【００５３】
但し、ステップＳ６（図１参照）の判別に用いられる式は、式（１）に代えて式（２）とされる。
−０．０２５＜Δｒ＜０．０７５，かつ
−０．０２５＜Δｂ＜０．０７５ ・・・（２）
但し、式（２）において、Δｒ＝１−Ｇ／Ｒ、Δｂ＝１−Ｇ／Ｂである。
【００５４】
このとき、Δｒが正となる方向は、Ｒ色方向（Ｇ色と比較してＲ色が強い方向）であり、Δｂが正となる方向は、Ｂ色方向（Ｇ色と比較してＢ色が強い方向）である。
式（２）においては、ずれΔｒ，ΔｂのＧ色方向の閾値の大きさとＲ及びＢ色方向の閾値の大きさとに格差が付けられており、前者が”０．０７５”であるのに対し、後者は、”０．０２５”である。
【００５５】
図７においては、ずれΔｒ，Δｂを有する各色（Ｒ，Ｇ，Ｂ）を可視化した。図７において上に行くほどＲ色又はＢ色が強い色、下に行くほどＧ色が強い色を示す。
Ｇ方向の閾値が厳しく設定された式（２）によると、図７（ｂ）、図７（ｅ）のように同じ大きさのずれであっても、ずれの方向がＧ方向であるとき（図７（ｅ））には仮のホワイトバランスゲイン（ｇr’，ｇb’）が補正されず（図７（ｅ’））、ずれの方向がＲ方向又はＢ方向であるとき（図７（ｂ））にのみ仮のホワイトバランスゲイン（ｇr’，ｇb’）が補正される（図７（ｂ’））、という事態が生じうる。
【００５６】
このようにずれの方向に格差が付けられれば、第１実施形態と同様にホワイトバランス調整に成功する確率が高まるだけでなく、或特定の画像に対するホワイトバランス調整の失敗を防ぐことができる。
ここで、特定の画像とは、「自然光下で撮影した芝生の画像」など、蛍光灯以外の照明が採用されたにも拘わらず全体的に緑色が優勢となった画像である。
【００５７】
このような画像は、芝生の領域が誤って無彩色領域Ｅとみなされてしまう可能性がある。この場合に無彩色検出による判定結果が重視されてしまうと、ホワイトバランスゲインは、蛍光灯の照明に適する方向（緑色を抑える方向）に補正されてしまうので、ホワイトバランス調整に失敗し、画像の色が極めて不自然となる。
【００５８】
その点、本実施形態のようにＧ色方向の閾値が厳しく設定されていれば、緑色を抑える方向に補正されにくくなるので、そのような失敗の可能性は抑えられる。
なお、Ｇ色方向の閾値が厳しく設定されていると、「蛍光灯下で照明した通常の画像」のホワイトバランス調整が調整不足となる可能性もある。
しかし、調整不足では、蛍光灯特有の色味（緑色）が画像に残るのだけなので、蛍光灯下で撮影した画像が緑色がかることを経験的に知っているユーザにとっては、問題にはならない。
【００５９】
なお、式（２）の閾値については、実験的に撮影された各種の被写体の画像に基づいて選定されることが望ましい。例えば、”−０．０２５”及び”０．０７５”に代えて”−０．０５”及び”０．１２”などと選定されてもよい。
［その他］
なお、上記各実施形態の電子カメラは、記録媒体に格納される情報が、ホワイトバランス調整後の画像データ（画素信号群）となっているが、そのホワイトバランス調整前の画像データ（ＲＡＷデータ）にホワイトバランスゲイン（ｇr，ｇb）の情報を添付した情報としてもよい（ＲＡＷ記録）。
【００６０】
また、ホワイトバランスゲイン（ｇr，ｇb）の情報と共に、仮のホワイトバランスゲイン（ｇr’，ｇb’）の情報などを添付してもよい。
また、上記各実施形態の電子カメラは、情報を記録媒体に格納しているが、記録媒体に格納する代わりに、外部のコンピュータや別の電子カメラなどに情報を転送してもよい。
【００６１】
また、上記第１実施形態、第３実施形態の電子カメラは、重み付け平均により照明色を判定しているが、重み付け平均に代えて、選択式にしてもよい。
また、上記各実施形態の電子カメラは、仮のホワイトバランスゲイン（ｇr，ｇb）の設定を、２複数以上の互いに異なる判定に基づいて行ったり、ユーザ設定に応じた判定に基づいて行ったりしているが、無彩色判定以外の少なくとも１つの判定に基づいているのであれば、他の如何なる公知の判定に基づいて行われてもよい。例えば、ユーザによるプリセット内容に応じた判定もある。
【００６２】
また、上記各実施形態の設定回路１３及びホワイトバランス調整回路１４の動作の一部又は全部を、汎用のコンピュータに実行させてもよい。
その場合、その動作の一部又は全部からなるプログラムを、コンピュータ読み取り可能な記録媒体（ＣＤ−ＲＯＭ）などに予め書き込み、その記録媒体を介してコンピュータに対しそのプログラムを実行させればよい。
【００６３】
或いは、そのプログラムをインターネットを介してコンピュータにダウンロードさせてもよい。
【００６４】
【発明の効果】
以上、本発明によれば、ホワイトバランス調整に失敗する確率が低く、かつ成功する確率の高い画像処理装置、電子カメラ、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【図１】第１実施形態の電子カメラの概略構成を示す図である。
【図２】第１実施形態の設定回路１３の動作フローチャートである。
【図３】無彩色検出による判定方法を説明する図である。
【図４】第１実施形態における閾値判別を説明する図である。
【図５】第２実施形態の電子カメラの概略構成を示す図である。
【図６】第２実施形態の設定回路１３の動作フローチャートである。
【図７】第２実施形態における閾値判別を説明する図である。
【符号の説明】
１ 電子カメラ本体
２ 撮影レンズ
１１ 撮像素子
１２ Ａ／Ｄ変換器
１３ 設定回路
１４ ホワイトバランス調整回路
１５ 補間回路
１６ 階調変換処理回路
１３ｃ−１ ルックアップテーブル
Claims (10)
- 被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手段と、
前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手段と、
前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手段と
を備えたことを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記画像の全体を前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手段をさらに備えた
ことを特徴とする画像処理装置。 - 被写体を撮像する撮像素子と、
前記撮像素子から出力される画像に基づいて演算を行う回路部とを備え、
前記回路部は、
被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手段と、
前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手段と、
前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手段と
を備えたことを特徴とする電子カメラ。 - 請求項３に記載の電子カメラにおいて、
前記回路部は、
前記画像の全体を前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手段をさらに備えた
ことを特徴とする電子カメラ。 - 請求項３又は請求項４に記載の電子カメラにおいて、
前記第１設定手段は、
無彩色検出による判定以外の判定を含む複数の判定に基づき前記設定を行う
ことを特徴とする電子カメラ。 - 請求項３又は請求項５に記載の電子カメラにおいて、
前記無彩色検出による判定以外の判定は、
ユーザ入力された照明情報による判定である
ことを特徴とする電子カメラ。 - 請求項３〜請求項６の何れか一項に記載の電子カメラにおいて、
前記ずれの前記閾値は、
同種照明間の演色性の相違に相当する大きさである
ことを特徴とする電子カメラ。 - 請求項３〜請求項６の何れか一項に記載の電子カメラにおいて、
前記ずれの緑色方向の前記閾値は、
前記ずれの反緑色方向の前記閾値より小さい
ことを特徴とする電子カメラ。 - 被写体の画像に対しホワイトバランス調整を施すコンピュータ読み取り可能な画像処理プログラムにおいて、
被写体の画像の全体に施すべきホワイトバランス調整の第１調整量の値を、無彩色検出による判定以外の判定を含む１又は複数の判定に基づき設定する第１設定手順と、
前記画像のうち無彩色検出された部分領域が前記第１調整量でホワイトバランス調整された際の、前記部分領域の色の無彩色からのずれを演算する演算手順と、
前記ずれが閾値以上残存しているときには前記第１調整量の値を補正せず、前記ずれが閾値未満しか残存していないときにはそのずれが圧縮される方向に前記第１調整量の値を補正する第２設定手順と
を含むことを特徴とする画像処理プログラム。 - 請求項９に記載の画像処理プログラムにおいて、
前記画像の全体を前記第２設定手段による処理後の前記第１調整量でホワイトバランス調整する調整手順をさらに含む
ことを特徴とする画像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147894A JP4269780B2 (ja) | 2003-05-26 | 2003-05-26 | 画像処理装置、電子カメラ、及び画像処理プログラム |
| US10/841,551 US7446802B2 (en) | 2003-05-26 | 2004-05-10 | Image processing unit, electronic camera, and image processing program for determining parameters of white balance adjustment to be applied to an image |
| EP04011433A EP1482725B1 (en) | 2003-05-26 | 2004-05-13 | Image processing unit, electronic camera, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003147894A JP4269780B2 (ja) | 2003-05-26 | 2003-05-26 | 画像処理装置、電子カメラ、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004350222A JP2004350222A (ja) | 2004-12-09 |
| JP4269780B2 true JP4269780B2 (ja) | 2009-05-27 |
Family
ID=33128201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003147894A Expired - Fee Related JP4269780B2 (ja) | 2003-05-26 | 2003-05-26 | 画像処理装置、電子カメラ、及び画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7446802B2 (ja) |
| EP (1) | EP1482725B1 (ja) |
| JP (1) | JP4269780B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7394930B2 (en) | 2005-01-07 | 2008-07-01 | Nokia Corporation | Automatic white balancing of colour gain values |
| KR100700492B1 (ko) * | 2005-04-29 | 2007-03-28 | 삼성에스디아이 주식회사 | 영상보정장치를 구비한 이동통신단말기 |
| JP5156423B2 (ja) * | 2008-02-08 | 2013-03-06 | キヤノン株式会社 | 色処理装置および色処理方法 |
| EP2355037A1 (en) * | 2009-12-18 | 2011-08-10 | Nxp B.V. | Method of and system for determining an average colour value for pixels |
| JP5927565B2 (ja) * | 2010-10-27 | 2016-06-01 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| US10805588B2 (en) * | 2016-04-25 | 2020-10-13 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for image white balance adjustment |
| JP7455656B2 (ja) | 2020-05-18 | 2024-03-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5270802A (en) * | 1989-04-14 | 1993-12-14 | Hitachi, Ltd. | White balance adjusting device for video camera |
| JPH07162890A (ja) * | 1993-12-08 | 1995-06-23 | Matsushita Electric Ind Co Ltd | ホワイトバランス調整装置 |
| JP3538963B2 (ja) | 1995-05-25 | 2004-06-14 | ソニー株式会社 | 色温度算出方法、色温度算出装置およびそれを有するビデオカメラ |
| JPH11205812A (ja) | 1998-01-19 | 1999-07-30 | Ricoh Co Ltd | 白バランス制御方法及び装置 |
| JP4063418B2 (ja) | 1998-09-11 | 2008-03-19 | イーストマン コダック カンパニー | オートホワイトバランス装置 |
| JP4487342B2 (ja) | 1999-09-28 | 2010-06-23 | 株式会社ニコン | デジタルカメラ |
| US6906744B1 (en) * | 1999-09-28 | 2005-06-14 | Nikon Corporation | Electronic camera |
| US7196724B2 (en) * | 2000-12-08 | 2007-03-27 | Nikon Corporation | Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas |
| JP4826028B2 (ja) * | 2001-05-24 | 2011-11-30 | 株式会社ニコン | 電子カメラ |
-
2003
- 2003-05-26 JP JP2003147894A patent/JP4269780B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-10 US US10/841,551 patent/US7446802B2/en active Active
- 2004-05-13 EP EP04011433A patent/EP1482725B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1482725A3 (en) | 2006-04-05 |
| JP2004350222A (ja) | 2004-12-09 |
| EP1482725B1 (en) | 2011-07-13 |
| EP1482725A2 (en) | 2004-12-01 |
| US20040239774A1 (en) | 2004-12-02 |
| US7446802B2 (en) | 2008-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5377691B2 (ja) | オートホワイトバランスを備える画像処理装置 | |
| US7098944B1 (en) | Image processing apparatus and method | |
| EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
| JP4266461B2 (ja) | カラー照明色温度の検出方法及び該装置 | |
| JP4707450B2 (ja) | 画像処理装置及びホワイトバランス調整装置 | |
| US20070085911A1 (en) | Apparatus for color correction of subject-image data, and method of controlling same | |
| JP2000092509A (ja) | オートホワイトバランス装置 | |
| US7876970B2 (en) | Method and apparatus for white balancing digital images | |
| JP2004282416A (ja) | 画像処理方法および画像処理装置 | |
| US8502881B2 (en) | Image processing apparatus, image processing method, and electronic camera | |
| WO2006129601A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置 | |
| US20030063197A1 (en) | Illumination light color estimating method of obtaining white balance and image sensing apparatus | |
| EP3460748B1 (en) | Dynamic range compression device and image processing device cross-reference to related application | |
| JP4269780B2 (ja) | 画像処理装置、電子カメラ、及び画像処理プログラム | |
| JP4314822B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2008526075A (ja) | 自動ホワイトバランス制御 | |
| KR101854432B1 (ko) | 역광 프레임을 검출하고, 보정하는 방법 및 장치 | |
| JP2001054014A (ja) | 電子カメラ | |
| US20200029016A1 (en) | Moving object monitoring device and moving object monitoring system | |
| JP6818284B1 (ja) | 画像処理装置、画像処理システム、及び画像処理方法 | |
| JPH06215128A (ja) | 画像処理装置 | |
| JP5743456B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JP2009260542A (ja) | 色補正装置及び色補正方法 | |
| JP2000209437A (ja) | 画像補正方法および画像補正プログラムを格納した記録媒体 | |
| CN109788217B (zh) | 不良像素补偿方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4269780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150306 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150306 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150306 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |