JP5023874B2 - カラー撮像装置 - Google Patents

カラー撮像装置 Download PDF

Info

Publication number
JP5023874B2
JP5023874B2 JP2007204610A JP2007204610A JP5023874B2 JP 5023874 B2 JP5023874 B2 JP 5023874B2 JP 2007204610 A JP2007204610 A JP 2007204610A JP 2007204610 A JP2007204610 A JP 2007204610A JP 5023874 B2 JP5023874 B2 JP 5023874B2
Authority
JP
Japan
Prior art keywords
color
group
illumination
shooting
shooting scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007204610A
Other languages
English (en)
Other versions
JP2009044255A (ja
Inventor
哲也 武下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007204610A priority Critical patent/JP5023874B2/ja
Publication of JP2009044255A publication Critical patent/JP2009044255A/ja
Application granted granted Critical
Publication of JP5023874B2 publication Critical patent/JP5023874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明は、ホワイトバランス調整機能を搭載したカラー撮像装置に関する。
画像に施すべきホワイトバランス調整の調整量を算出するに当たり、その画像の撮影時に使用された照明の種類を判別する方法が特許文献1に記載されている。この方法は、画像の特定の色成分(例えばR成分)を特徴量とした教師有り学習により判別基準を予め算出し、その判別基準と、個々の画像から抽出された特徴量とに基づき、画像撮影時における被写界の照明種類が特定の種類であるか否かを判別するものである。
特開2006−129442号公報
しかしながらこの判別方法では、特定の種類の照明で照らされた無彩色物体と似た色成分を持つ物体像が画像中に多く存在した場合に誤判別の起こる確率が高い。
そこで本発明は、個々の撮影シーンをその照明色により高精度にグループ分けすることのできるカラー撮像装置を提供することを目的とする。
本発明のカラー撮像装置は、判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、前記特徴量ベクトルのベクトル成分には、撮影レンズのレンズ情報が含まれることを特徴とする。
本発明の別のカラー撮像装置は、判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段と、前記撮影シーンで撮影された画像の色ヒストグラムに基づき撮影時の照明色を推定する推定手段とを備え、前記推定手段は、前記推定に使用される前記色ヒストグラムの色範囲を、前記判別手段が行った判別の結果に応じて制限することを特徴とする。
本発明の別のカラー撮像装置は、判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、前記特徴量ベクトルのベクトル成分には、被写界の色と、撮影レンズのレンズポジションとが含まれることを特徴とする。
本発明の別のカラー撮像装置は、判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、前記判別手段は、サポートベクターマシンであることを特徴とする。
本発明の別のカラー撮像装置は、判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、前記判別手段は、照明色の異なる複数の特定グループの各々に関して前記判別を行うことを特徴とする。
また、前記特徴量ベクトルのベクトル成分には、前記被写界中に存在するエッジ量が含まれることが望ましい。
また、前記判別手段は、前記判別を撮影前の期間に行うことが望ましい。
また、前記判別手段は、前記複数の特定グループの各々に関する判別を順次に行い、その判別結果が「正」となった場合は、それ以降の判別の処理を省略してもよい。
また、前記複数の特定グループは、照明色が低色温度照明の色度範囲に属するようなグループ、照明色が蛍光灯又は水銀灯の色度範囲に属するようなグループ、照明色が演色性の良い蛍光灯又は自然太陽光の色度範囲に属するようなグループ、照明色が日陰又は曇天の色度範囲に属するようなグループのうち何れか3つであってもよい。
また、前記複数の特定グループは、照明色が晴天の色度範囲に属するようなグループ、照明色が日陰の色度範囲に属するようなグループ、照明色が低色温度蛍光灯又は電球の色度範囲に属するようなグループ、照明色が中色温度蛍光灯の色度範囲に属するようなグループ、照明色が高色温度蛍光灯の色度範囲に属するようなグループ、照明色が水銀灯の色度範囲に属するようなグループ、照明色が低色温度照明の色度範囲に属するようなグループのうち何れか6つであってもよい。
また、本発明のカラー撮像装置は、前記撮影シーンで撮影された画像の色ヒストグラムに基づき撮影時の照明種類を推定する推定手段を更に備え、前記推定手段は、前記色ヒストグラムの色範囲を、前記判別手段が行った判別の結果に応じて制限してもよい。
また、前記撮影シーンで撮影された画像の色ヒストグラムに基づき撮影時の照明種類を推定する推定手段を更に備え、前記推定手段は、前記色ヒストグラムの各色範囲の頻度に対し、前記判別手段が行った判別の結果に応じて重み付けをしてもよい。
本発明によれば、個々の撮影シーンをその照明色により高精度にグループ分けすることができる。
[第1実施形態]
本実施形態は、電子カメラの実施形態である。ここでは電子カメラが一眼レフレックスタイプであると仮定する。
先ず、電子カメラの撮影機構を説明する。図1は、電子カメラの光学系の構成を示す模式図である。図1に示すとおり電子カメラは、カメラ本体11と、撮影レンズ12を収容したレンズユニット13とを有する。レンズユニット13は、不図示のマウントを介してカメラ本体11に交換可能に装着される。
カメラ本体11には、メインミラー14と、メカニカルシャッタ15と、カラー撮像素子16と、ファインダ光学系(17〜20)とが配置される。メインミラー14、メカニカルシャッタ15およびカラー撮像素子16は、撮影レンズ12の光軸に沿って配置され、ファインダ光学系(17〜20)はカメラ本体11の上部領域に配置される。
メインミラー14は不図示の回動軸の周りを回動し、それによって観察状態と退避状態との間で切り替えられる。観察状態のメインミラー14は、メカニカルシャッタ15およびカラー撮像素子16の前方で傾斜配置される。この観察状態のメインミラー14は、撮影レンズ12が捉えた光束を上方へ反射してファインダ光学系(17〜20)へ導く。なお、メインミラー14の中央はハーフミラーとなっており、観察状態のメインミラー14を透過した一部の光束はサブミラーによって不図示の焦点検出部に導かれる。
一方、退避状態のメインミラー14は、上方に跳ね上げられて撮影光路から外れた位置にある。メインミラー14が退避状態にあるときは、撮影レンズ12の捉えた光束がメカニカルシャッタ15およびカラー撮像素子16に導かれる。
ファインダ光学系(17〜20)は、焦点板17と、コンデンサレンズ18と、ペンタプリズム19と、接眼レンズ20とを有している。このうちペンタプリズム19の近傍には再結像レンズ21および分割測光センサ22が配置されている。
焦点板17はメインミラー14の上方に位置している。この焦点板17で結像した光束はコンデンサレンズ18を介してペンタプリズム19の下面の入射面へ入射する。その入射面へ入射した一部の光束は、ペンタプリズム19の内面を反射した後、入射面と垂直な射出面からペンタプリズム19の外部へ射出し、接眼レンズ20へ向かう。
また、前記入射面へ入射した他の一部の光束は、ペンタプリズム19の内面を反射した後、前記射出面からペンタプリズム19の外部へ射出し、再結像レンズ21を介して分割測光センサ22に導かれる。
次に、電子カメラの回路構成を説明する。図2は、電子カメラの回路構成を示すブロック図である。図2に示すとおりカメラ本体11には、カラー撮像素子16と、AFE16aと、分割測光センサ22と、A/D変換回路22aと、画像処理回路23と、バッファメモリ(MEM)24と、記録インタフェース(記録I/F)25と、操作スイッチ(SW)26と、CPU29と、RAM28と、ROM27と、バス31とが備えられる。このうち画像処理回路23、バッファメモリ24、記録インタフェース25、CPU29、RAM28、ROM27は、バス31を介して互いに接続されている。また、操作スイッチ26は、CPU29に接続されている。
カラー撮像素子16は、記録用の画像(本画像)を生成するために備えられたカラー撮像素子である。カラー撮像素子16は、その撮像面に形成された被写界像を光電変換することにより本画像のアナログ画像信号を生成する。なお、カラー撮像素子16の撮像面には、その被写界像をカラー検出するために、赤色(R)、緑色(G)、青色(B)の3種類のカラーフィルタが例えばベイヤ配列で配置されている。よって、本画像のアナログ画像信号はR成分、G成分、B成分の3成分から構成される。
AFE16aは、カラー撮像素子16が生成するアナログ画像信号に対して信号処理を施すアナログフロントエンド回路である。このAFE16aは、画像信号の相関二重サンプリングや、画像信号のゲインの調整や、画像信号のA/D変換を行う。このAFE16aが出力する画像信号(ディジタル画像信号)は、本画像の画像データとして画像処理回路23へ入力される。
分割測光センサ22は、非撮影時における被写界の色度分布及び明るさ分布を監視するために備えられたカラー撮像素子である。分割測光センサ22の撮像面には、カラー撮像素子16の撮像面に形成されるのと同じ範囲の被写界像が形成される。分割測光センサ22は、その撮像面に形成された被写界像を光電変換することにより被写界像のアナログ画像信号を生成する。なお、分割測光センサ22の撮像面には、被写界像をカラー検出するためにカラーフィルタが配置されている。よって、この被写界像の画像信号も、R成分、G成分、B成分の3成分から構成される。なお、この分割測光センサ22が出力する被写界像のアナログ画像信号は、A/D変換回路22aを介してCPU29へ入力される。
画像処理回路23は、AFE16aから入力される本画像の画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など)を施す。それら各処理のパラメータ(階調変換特性、輪郭強調強度、ホワイトバランス調整量など)は、CPU29によって適宜算出される。このうちホワイトバランス調整量は、R/Gゲインの値と、B/Gゲインの値とで構成される。
バッファメモリ24は、画像処理回路23による個々の処理の速度差を補償するため、画像処理回路23の動作中の必要なタイミングで本画像の画像データを一時的に記憶する。
記録インタフェース25には、記憶媒体32を接続するためのコネクタが形成されている。記録インタフェース25は、そのコネクタに接続された記憶媒体32にアクセスし、本画像の画像データの書き込みや読み込みを行う。なお、記憶媒体32はハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。
操作スイッチ26は、レリーズボタン、コマンドダイヤル、十字状のカーソルキーなどであり、ユーザによる操作内容に応じてCPU29へ信号を与える。例えばユーザは、レリーズボタンを全押しすることにより撮影の指示をCPU29へ与える。また、ユーザは、操作スイッチ26を操作することにより記録モードの切り替え指示をCPU29に与える。
なお、記録モードには通常記録モードとRAW記録モードとがあり、通常記録モードはCPU29が画像処理後の本画像の画像データを記憶媒体32に記録する記録モードであり、RAW記録モードは、CPU29が画像処理前の本画像の画像データ(RAWデータ)を記憶媒体32に記録する記録モードである。
CPU29は、電子カメラの統括的な制御を行うプロセッサである。CPU29は、ROM27に予め格納されたシーケンスプログラムをRAM28へ読み出し、そのプログラムを実行することにより各処理のパラメータを算出したり、電子カメラの各部を制御したりする。この際、CPU29は、必要に応じてレンズユニット13の不図示のレンズCPUからレンズ情報を取り込む。このレンズ情報には、撮影レンズ12の焦点距離、被写体距離、絞り値などの情報が含まれる。
また、CPU29は、プログラムの実行によって、現在の撮影シーンが特定のグループD1に属するか否かの判別(第1の判別)を行うサポートベクターマシン(SVM)として機能する。また、このSVMは、現在の撮影シーンが別のグループD2に属するか否かの判別(第2の判別)、及び現在の撮影シーンがグループD3に属するか否かの判別(第3の判別)を行うことも可能である。
ここで、グループD1、グループD2、グループD3は、様々な撮影シーンをその照明色によってグループ分けしてできる各グループである。また、SVMによる第1の判別、第2の判別、第3の判別の各々の判別基準は、SVMが教師有り学習によって予め算出したものである。これらの判別基準は、識別面S1,S2,S3のデータとして予めROM27に格納されている。
次に、各グループを詳しく説明する。図3に示すのは、各種の無彩色検出範囲を色度座標上で表した図である。これら無彩色検出範囲のデータは、ROM27に予め予め格納されている。これらの無彩色検出範囲は、黒体放射軌跡の近傍に分布した以下の無彩色検出範囲CL,CSSL,CFL1,CFL2,CHG,CS,CCL,CSHからなる。
無彩色検出範囲CL…電球の色度範囲(=電球で照らされた無彩色物体の色度範囲)。
無彩色検出範囲CSSL…夕日の色度範囲(=夕日で照らされた無彩色物体の色度範囲)。
無彩色検出範囲CFL1…第1の蛍光灯の色度範囲(=第1の蛍光灯で照らされた無彩色物体の色度範囲)。
無彩色検出範囲CFL2…第2の蛍光灯の色度範囲(=第2の蛍光灯で照らされた無彩色物体の色度範囲)。
無彩色検出範囲CHG…水銀灯の色度範囲(=水銀灯で照らされた無彩色物体の色度範囲)。
無彩色検出範囲CS…晴天の色度範囲(=晴天下に存在する無彩色物体の色度範囲)。なお、演色性の良いものであれば蛍光灯の色度もこの色度範囲に属する。
無彩色検出範囲CCL…曇天の色度範囲(=曇天下に存在する無彩色物体の色度範囲)。
無彩色検出範囲CSH…日陰の色度範囲(=日陰に存在する無彩色物体の色度範囲)。
そして、グループD1,D2,D3は、以下のグループである。
グループD1…照明色が比較的色温度の低い無彩色検出範囲CL,CSSLの何れかに属するような撮影シーンのグループ。
グループD2…照明色が無彩色検出範囲CFL1,CFL2,CHGの何れかに属するような撮影シーンのグループ。
グループD3…照明色が無彩色検出範囲CSに属するような撮影シーンのグループ。
また、グループD4,D0を以下のとおり定義する。
グループD4…照明色が無彩色検出範囲CCL,CSHの何れかに属するような撮影シーンのグループ。
グループD0…照明色が無彩色検出範囲CL,CSSL,CFL1,CFL2,CHG,CS,CCL,CSHの何れかに属する撮影シーンのグループ。
次に、識別面S1,S2,S3を算出するための教師有り学習の内容を説明する。
この学習で使用される学習サンプルは、電子カメラに想定され得る多数の撮影シーンである。個々の学習サンプルは、電子カメラの製造者によってグループD1,グループD2,グループD3、グループD4の何れに属するかがラベリングされている。
個々の学習サンプルからは、ベクトル成分x1,x2,…,x15を持った15次の特徴量ベクトルが抽出される。個々のベクトル成分x1,x2,…,x15は、以下の量からなる。
1=被写界の平均Bv値,
2=被写界の最大Bv値,
3=被写界の最小Bv値,
4=被写界のBv値の標準偏差,
5=被写界の平均B/G値,
6=被写界の最大B/G値,
7=被写界の最小B/G値,
8=被写界のB/G値の標準偏差,
9=被写界の平均R/G値,
10=被写界の最大R/G値,
11=被写界の最小R/G値,
12=被写界のR/G値の標準偏差,
13=被写界中に存在するエッジ量,
14=撮影レンズの焦点距離,
15=撮影レンズの被写体距離
このうちベクトル成分x1〜x13は、分割測光センサ22が生成した画像信号に基づき算出される。一方、ベクトル成分x14,x15は、レンズCPUから取り込まれたレンズ情報によって決定される。また、ベクトル成分x13は、次のようにして算出される。
先ず、分割測光センサ22が生成した画像信号のG成分に対しX方向のエッジフィルタ処理及びY方向のエッジフィルタ処理が施される。それによって被写界のX方向のエッジ量とY方向のエッジ量とが算出される。そして、X方向のエッジ量とY方向のエッジ量との和が算出される。その和がベクトル成分x13である。
学習では、全ての学習サンプルの特徴量ベクトルがベクトル空間上の点で表わされる。このうちグループD1に属する各学習サンプルの特徴量ベクトルと、グループD1に属さない各学習サンプルの特徴量ベクトルとでは、図4に点線で示すとおり、分布領域が異なる。なお、図4では簡単のため15次元のベクトル空間Pを2次元で表した。
次に、グループD1に属する学習サンプルと、グループD1に属さない学習サンプルとの間のマージンが最大となるような超平面が算出され、その超平面が識別面S1とされる。この識別面S1のデータはROM27に書き込まれる。
ここで、図4中に示すとおり、識別面S1から個々の学習サンプルまでのユークリッド距離d1を考える。なお、距離d1の極性は、グループD1に属さない学習サンプルの多くが分布する側を正、グループD1に属する学習サンプルの多くが分布する側を負にとる。
図5は、この距離d1とサンプル数mとの関係を示す図である。図5に示すとおり、グループD1に属する学習サンプルの多くは距離d1が負となり、グループD1に属さない学習サンプルの多くは距離d1が正となるが、グループD1に属するにも拘わらず距離d1が正となるような学習サンプルや、グループD1に属さないにも拘わらず距離d1が負となるような学習サンプルも存在する。ここでは、このような学習サンプルの距離d1の範囲Zg1を「グレーゾーンZg1」という。
そこで本実施形態では、識別面S1を算出する際に、このグレーゾーンZg1のプラス側の境界値Thpos1とマイナス側の境界値Thneg1とを算出しておく。これらの境界値Thpos1,Thneg1のデータも、識別面S1のデータと共にROM27に書き込まれる。
次に、ベクトル空間P上でグループD2に属する学習サンプルと、グループD2に属さない学習サンプルとの間のマージンが最大となるような超平面が算出され、その超平面が識別面S2とされる。また、その識別面S2の近傍のグレーゾーンZg2が算出され、グレーゾーンZg2のプラス側の境界値Thpos2と、マイナス側の境界値Thneg2とが算出される(図6参照)。これら識別面S2、境界値Thpos2、Thneg2のデータは、ROM27に書き込まれる。
次に、ベクトル空間P上でグループD3に属する学習サンプルと、グループD3に属さない学習サンプルとの間のマージンが最大となるような超平面が算出され、その超平面が識別面S3とされる。また、その識別面S3の近傍のグレーゾーンZg3が算出され、グレーゾーンZg3のプラス側の境界値Thpos3と、マイナス側の境界値Thneg3とが算出される(図7参照)。これら識別面S3、境界値Thpos3、Thneg3のデータは、ROM27に書き込まれる。
次に、撮影に関するCPU29の動作の流れを説明する。図8は、撮影に関するCPU29の動作フローチャートである。ここでは、電子カメラのオートホワイトバランス機能がオンされ、電子カメラの記録モードが通常記録モードに設定されていると仮定する。また、フローチャートの開始時点では、メインミラー14は観察状態の位置にあり、ユーザが被写界を接眼レンズ20から観察できるものとする。
ステップS101:CPU29は、レリーズボタンが半押しされたか否かを判別し、レリーズ釦が半押しされた場合はステップS102に移行し、レリーズボタンが半押しされていない場合はステップS101を繰り返す。
ステップS102:CPU29は、撮影レンズ12の焦点調節を実行すると共に、分割測光センサ22に被写界の画像信号の出力を開始させる。なお、焦点調節は、焦点検出部が生成するデフォーカス信号をCPU29がレンズCPUへ与えることによって行われる。このときレンズCPUは、CPU29から与えられるデフォーカス信号がゼロに近づくように撮影レンズ12のレンズポジションを変化させ、それによって撮影レンズ12の焦点を被写界中の物体(被写体)に合わせる。
ステップS103:CPU29は、SVMの機能により、現在の撮影シーンから特徴量ベクトルを抽出する。この抽出は、分割測光センサ22から出力される被写界の画像信号と、レンズCPUから与えられるレンズ情報(焦点調節後のレンズ情報)とに基づき行われる。その特徴量ベクトルは、学習時に抽出された特徴量ベクトルと同じベクトル成分を持った特徴量ベクトルである。
ステップS104:CPU29は、SVMの機能により、ステップS103で抽出された特徴量ベクトルと識別面S1との距離d1を算出する(第1の判別)。この距離d1が小さいほど、現在の撮影シーンがグループD1に属する確度は高く、距離d1が大きいほど、現在の撮影シーンがグループD1に属する確度は低い。
ステップS105:CPU29は、ステップS104で算出された距離d1と境界値Thneg1とを比較し、d1<Thneg1の式が満たされるか否かを判別する。この式が満たされる場合は、現在の撮影シーンの距離d1がグレーゾーンZg1(図5参照)のマイナス側に位置していることになる。よってCPU209は、この式が満たされた場合は現在の撮影シーンがグループD1に属するとみなしてステップS106へ移行し、この式が満たされない場合は次の判別を行うべくステップS107へ移行する。
ステップS106:CPU29は、現在の撮影シーンのグループ番号iを「1」に設定してステップS116へ移行する。
ステップS107:CPU29は、SVMの機能により、ステップS103で抽出された特徴量ベクトルと識別面S2との距離d2を算出する(第2の判別)。この距離d2が小さいほど、現在の撮影シーンがグループD2に属する確度は高く、距離d2が大きいほど、現在の撮影シーンがグループD2に属する確度は低い。
ステップS108:CPU29は、ステップS107で算出された距離d2と境界値Thneg2とを比較し、d2<Thneg2の式が満たされるか否かを判別する。この式が満たされる場合は、現在の撮影シーンの距離d2がグレーゾーンZg2(図6参照)のマイナス側に位置していることになる。よってCPU209は、この式が満たされた場合は現在の撮影シーンがグループD2に属するとみなしてステップS109へ移行し、この式が満たされない場合は次の判別を行うべくステップS110へ移行する。
ステップS109:CPU29は、現在の撮影シーンのグループ番号iを「2」に設定してステップS116へ移行する。
ステップS110:CPU29は、SVMの機能により、ステップS103で抽出された特徴量ベクトルと識別面S3との距離d3を算出する(第3の判別)。この距離d3が小さいほど、現在の撮影シーンがグループD3に属する確度は高く、距離d3が大きいほど、現在の撮影シーンがグループD3に属する確度は低い。
ステップS111:CPU29は、ステップS110で算出された距離d3と境界値Thneg3とを比較し、d3<Thneg3の式が満たされるか否かを判別する。この式が満たされる場合は、現在の撮影シーンの距離d3がグレーゾーンZg3(図7参照)のマイナス側に位置していることになる。よってCPU209は、この式が満たされた場合は現在の撮影シーンがグループD3属するとみなしてステップS112へ移行し、この式が満たされない場合はステップS113へ移行する。
ステップS112:CPU29は、現在の撮影シーンのグループ番号iを「3」に設定してステップS116へ移行する。
ステップS113:CPU29は、ステップS104,S107,S110の各々で算出した距離d1,d2,d3と境界値Thpos1,Thpos2,Thpos3とを比較し、以下の式の全てが満たされるか否かを判別する。
Thpos1<d1,Thpos2<d2,Thpos3<d3
この式の全てが満たされる場合は、現在の撮影シーンの距離d1がグレーゾーンZg1(図5参照)のプラス側に位置し、かつ現在の撮影シーンの距離d2がグレーゾーンZg2(図6参照)のプラス側に位置し、かつ、現在の撮影シーンの距離d3がグレーゾーンZg3のプラス側に位置していることになる。よってCPU29は、この式が満たされた場合は現在の撮影シーンがグループD4に属するとみなしてステップS114へ移行し、満たされない場合は現在の撮影シーンがグループD0に属するとみなして(つまり、グループの判別が不能とみなして)ステップS115へ移行する。
ステップS114:CPU29は、現在の撮影シーンのグループ番号iを「4」に設定してステップS116へ移行する。
ステップS115:CPU29は、現在の撮影シーンのグループ番号iを「0」に設定してステップS116へ移行する。
ステップS116:CPU29は、レリーズボタンが全押しされたか否かを判別する。レリーズボタンが全押しされていない場合はS117に移行し、レリーズボタンが全押しされた場合はS118に移行する。
ステップS117:CPU29は、レリーズボタンの半押しが解除されたか否かを判別し、レリーズボタンの半押しが解除された場合には、分割測光センサ22の信号の出力を停止させてステップS101に戻り、レリーズボタンの半押しが継続している場合は、ステップS103に戻る。
ステップS118:CPU29は、撮像処理を実行し、本画像の画像データを取得する。すなわちCPU29は、メインミラー14を退避状態の位置に移動させ、さらにカラー撮像素子16を駆動することにより、本画像の画像データを取得する。その本画像のデータは、AFE16aおよび画像処理部23をパイプライン式に通過してからバッファメモリ24にバッファリングされる。撮影処理が終了すると、メインミラー14は観察状態の位置に戻される。
ステップS119:CPU29は、ステップS118で取得された本画像の画像データに施すべきホワイトバランス調整のホワイトバランス調整量を、設定中のグループ番号iに応じて以下の手順(1)〜(5)で算出する。
(1)CPU29は、色度座標上に規定されている無彩色検出範囲(図3)を、現在設定中のグループ番号iに対応するもののみに制限する。つまり、グループ番号iが「1」であった場合には無彩色検出範囲CL,CSSL以外の無彩色検出範囲を無効とし、グループ番号iが「2」であった場合には無彩色検出範囲CFL1,CFL2,CHG以外の無彩色検出範囲を無効とし、グループ番号iが「3」であった場合には無彩色検出範囲CS以外の無彩色検出範囲を無効とし、グループ番号iが「4」であった場合には、無彩色検出範囲CCL,CSH以外の無彩色検出範囲を無効とし、グループ番号iが「0」であった場合には全ての無彩色検出領域を有効にする。
(2)CPU29は、本画像を複数の小領域に分割し、個々の小領域の色度(小領域内の平均色度)を算出し、その色度に応じて個々の小領域を色度座標上へ写像する。さらにCPU29は、各小領域の中で有効な無彩色検出範囲に写像される小領域を見出し、それら小領域の数(頻度)を無彩色検出範囲毎に算出する。これによって、有効な無彩色検出範囲に関する色ヒストグラムが作成される。
例えば、図9に示すとおり、グループ番号iが「1」であった場合に作成される色ヒストグラムは、無彩色検出範囲CL,CSSLのみに関する色ヒストグラムH1であり、グループ番号iが「2」であった場合に作成される色ヒストグラムは、無彩色検出範囲CFL1,CFL2,CHGのみに関する色ヒストグラムH2であり、グループ番号iが「3」であった場合に作成される色ヒストグラムは、無彩色検出範囲CSのみに関する色ヒストグラムH3であり、グループ番号iが「4」であった場合に作成される色ヒストグラムは、無彩色検出範囲CCL,CSHのみに関する色ヒストグラムH4である。また、グループ番号iが「0」であった場合に作成される色ヒストグラムは、全ての無彩色検出範囲CL,CSSL,CFL1,CFL2,CHG,CS,CCL,CSHに関する色ヒストグラムH0である。
(3)CPU29は、(2)で作成された色ヒストグラムを参照し、頻度が最大であるような無彩色検出範囲を見出し、その無彩色検出範囲に対応する照明種類を、撮影時に使用された照明種類とみなす。図9の例によると、例えば、作成された色ヒストグラムが色ヒストグラムH1であった場合は、無彩色検出範囲CLに対応する照明種類「電球」を、撮影時に使用された照明種類とみなす。また、作成された色ヒストグラムが色ヒストグラムH2であった場合は、無彩色検出範囲CFL1に対応する照明種類「第1の蛍光灯」を、撮影時に使用された照明種類とみなす。
(4)CPU29は、本画像上の小領域のうち、(3)で見出された無彩色検出範囲に写像される小領域に着目し、それら小領域の色度座標上の重心位置を算出する。そして、その重心位置に相当する色度を、現在の撮影シーンで使用中の照明色とみなす。なお、重心位置の算出は、各小領域の色度を相関色温度に換算してから行うことが望ましい。相関色温度は、色温度成分Tcと、黒体放射軌跡からのずれ成分duvとからなり、複数の色度を平均(重み付け平均)する際の演算が簡単になる。
(5)CPU29は、算出された重心位置の相関色温度(Tc,duv)からホワイトバランス調整量を算出する。このホワイトバランス調整量は、ホワイトバランス調整前の本画像上で相関色温度(Tc,duv)と同じ色度を持つような領域を無彩色に表現するためのホワイトバランス調整量である。
ステップS120:CPU29は、算出されたホワイトバランス調整量を画像処理回路23へ与え、かつ画像処理回路23に対し画像処理の指示を与える。画像処理回路23は、その指示に応じて本画像の画像データに対しホワイトバランス調整、及びその他の画像処理を施す。画像処理後の本画像の画像データは、CPU29によって記憶媒体32に記録される。以上が、撮影に関するCPU29の動作である。
以上、本実施形態のCPU29は、現在の撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと教師有り学習で獲得された識別面とに基づき、その撮影シーンが照明色の類似した特定のグループに属するか否かの判別を行う。このように、被写体条件と撮影条件との双方が反映された特徴量ベクトルに基づく判別は、被写体条件のみが反映された特徴量に基づく判別よりも高性能である。
また、本実施形態のCPU29は、グループD1,D2,D3の各々について判別を行い、撮影時の照明種類を推定する際に参照すべき色ヒストグラムの色度範囲を、それらの判別の結果に応じて制限する。したがって、照明種類は高い確度で推定される。したがって、ホワイトバランス調整の成功率も高まる。
また、本実施形態のCPU29は、複数の判別を直列的に行い、現在の撮影シーンが或るグループに属することが判明した時点で、それ以降の判別の処理を省略する。したがって、判別に関するCPU29の演算負荷は必要最小限に抑えられる。
また、本実施形態の判別はSVMによって行われるので、未知の撮影シーンに対する判別能力が高く、汎化性に優れている。
また、本実施形態のCPU29は、撮影シーンの判別を撮影前の期間(ここではレリーズボタンの半押し中)に行うので、撮影直後に照明種類を推定する際の演算量を抑えることができる。
[第2実施形態]
本実施形態は、第1実施形態の変形例である。ここでは第1実施形態との相違点のみを説明する。また、無彩色検出範囲の分割数を15、グループの分割数を4とする。以下、個々の無彩色検出範囲を第1の無彩色検出範囲、第2の無彩色検出範囲、第3の無彩色検出範囲、…、第15の無彩色検出範囲と称し、個々のグループを、グループD1,グループD2,グループD3,グループD4と称す。これらの無彩色検出範囲とグループとの関係は、以下のとおりである。
グループD1…照明色が第5の無彩色検出範囲、第14の無彩色検出範囲、第15の無彩色検出範囲の何れかに属するような撮影シーンのグループ。
グループD2…照明色が第7の無彩色検出範囲、第8の無彩色検出範囲、第9の無彩色検出範囲の何れかに属するような撮影シーンのグループ。
グループD3…照明色が第1の無彩色検出範囲、第2の無彩色検出範囲、第3の無彩色検出範囲の何れかに属するような撮影シーンのグループ。
グループD4…グループD1,D2,D3の何れにも属さないような撮影シーンのグループ。
また、本実施形態のROM27には、グループD1に関する判別(第1の判別)で使用すべき識別面S1,境界値Thpos1,Thneg1、グループD2に関する判別(第2の判別)で使用すべき識別面S2,境界値Thpos2,Thneg2、グループD3に関する判別(第3の判別)で使用すべき識別面S3,境界値Thpos3,Thneg3のデータが予め格納される。
さらに、本実施形態のROM27には、第1の重み付け係数テーブル(図10)と、第2の重み付け係数テーブル(図11)と、第3の重み付け係数テーブル(図12)とが予め格納されている。
図10に示すとおり、第1の重み付け係数テーブルは、無彩色検出範囲の種類毎、かつ距離d1の値毎に重み付け係数を格納している。
この第1の重み付け係数テーブルにおいて、グループD1との類似度の高い無彩色検出範囲(ここでは第5の無彩色検出範囲、第14の無彩色検出範囲、第15の無彩色検出範囲など)に対応する係数列に着目すると、小さい値の距離d1に対応する係数ほど大きな値を持つ。
また、第1の重み付け係数テーブルにおいて、グループD1との類似度の低い無彩色検出範囲(ここでは第1の無彩色検出範囲、第2の無彩色検出範囲など)に対応する係数列に着目すると、大きい値の距離d1に対応する係数ほど大きな値を持つ。
図11に示すとおり、第2の重み付け係数テーブルは、無彩色検出範囲の種類毎、かつ距離d2の値毎に重み付け係数を格納している。
この第2の重み付け係数テーブルにおいて、グループD2との類似度の高い無彩色検出範囲(ここでは第7の無彩色検出範囲、第8の無彩色検出範囲、第9の無彩色検出範囲など)に対応する係数列に着目すると、小さい値の距離d2に対応する係数ほど大きな値を持つ。
また、第2の重み付け係数テーブルにおいて、グループD2との類似度の低い無彩色検出範囲(ここでは第1の無彩色検出範囲、第2の無彩色検出範囲など)に対応する係数列に着目すると、大きい値の距離d2に対応する係数ほど大きな値を持つ。
図12に示すとおり、第3の重み付け係数テーブルは、無彩色検出範囲の種類毎、かつ距離d3の値毎に重み付け係数を格納している。
この第3の重み付け係数テーブルにおいて、グループD3との類似度の高い無彩色検出範囲(ここでは第1の無彩色検出範囲、第2の無彩色検出範囲、第3の無彩色検出範囲など)に対応する係数列に着目すると、小さい値の距離d3に対応する係数ほど大きな値を持つ。
また、第3の重み付け係数テーブルにおいて、グループD3との類似度の低い無彩色検出範囲(ここでは第7の無彩色検出範囲、第8の無彩色検出範囲、第9の無彩色検出範囲など)に対応する係数列に着目すると、大きい値の距離d3に対応する係数ほど大きな値を持つ。
図13は、撮影に関するCPU29の動作フローチャートである。ここでも、電子カメラのオートホワイトバランス機能がオンされ、電子カメラの記録モードが通常記録モードい設定されていると仮定する。
ステップS101:CPU29は、レリーズボタンが半押しされたか否かを判別し、レリーズ釦が半押しされた場合はステップS102に移行し、レリーズボタンが半押しされていない場合はステップS101を繰り返す。
ステップS102:CPU29は、撮影レンズ12の焦点調節を実行すると共に、分割測光センサ22に被写界の画像信号の出力を開始させる。焦点調節の方法は、前述したとおりである。
ステップS103:CPU29は、SVMの機能により、現在の撮影シーンから特徴量ベクトルを抽出する。この抽出の方法は、前述したとおりである。
ステップS104:CPU29は、SVMの機能により、ステップS103で抽出された特徴量ベクトルと識別面S1との距離d1を算出する。
ステップS107:CPU29は、SVMの機能により、ステップS103で抽出された特徴量ベクトルと識別面S2との距離d2を算出する。
ステップS110:CPU29は、SVMの機能により、ステップS103で抽出された特徴量ベクトルと識別面S3との距離d3を算出する。
ステップS116:CPU29は、レリーズボタンが全押しされたか否かを判別する。レリーズボタンが全押しされていない場合はS117に移行し、レリーズボタンが全押しされた場合はS118に移行する。
ステップS117:CPU29は、レリーズボタンの半押しが解除されたか否かを判別し、レリーズボタンの半押しが解除された場合には、分割測光センサ22からの信号の出力を停止させてステップS101に戻り、レリーズボタンの半押しが継続している場合は、ステップS103に戻る。
ステップS118:CPU29は、撮像処理を実行し、本画像の画像データを取得する。本画像の画像データの取得方法は、前述したとおりである。
ステップS119’:CPU29は、ステップS118で取得された本画像の画像データに施すべきホワイトバランス調整のホワイトバランス調整量を、最新の判別の結果(距離d1,d2,d3)に応じて以下の手順(1)〜(7)で算出する。
(1)CPU29は、第1の重み付け係数テーブル(図10)から、距離d1の値に対応する係数を読み出す。例えば距離d1の値が−200であったとすると、図10中に点線で囲ったように、第1の無彩色検出範囲に対応する重み係数「−16」、第2の無彩色検出範囲に対応する重み係数「−16」、第3の無彩色検出範囲に対応する重み係数「−16」、…、第15の無彩色検出範囲に対応する重み係数「16」が読み出される。以下、これらの重み係数を順にA1,A2,A3,…,A15とおく。
また、CPU29は、第2の重み付け係数データ(図11)から、距離d2の値に対応する係数を読み出す。例えば、距離d2の値が+800であったとすると、図11中に点線で囲ったように、第1の無彩色検出範囲に対応する重み係数「4」、第2の無彩色検出範囲に対応する重み係数「4」、第3の無彩色検出範囲に対応する重み係数「4」、…、第15の無彩色検出範囲に対応する重み係数「−4」が読み出される。以下、これらの重み係数を順にB1,B2,B3,…,B15とおく。
また、CPU29は、第3の重み付け係数データ(図12)から、距離d3の値に対応する係数を読み出す。例えば、距離d3の値が−800であったとすると、図12に点線で囲ったように、第1の無彩色検出範囲に対応する重み係数「28」、第2の無彩色検出範囲に対応する重み係数「28」、第3の無彩色検出範囲に対応する重み係数「28」、…、第15の無彩色検出範囲に対応する重み係数「−28」が読み出される。以下、これらの重み係数を順にC1,C2,C3,…,C15とおく。
(2)CPU29は、読み出された重み係数のうち、第1の無彩色検出範囲に対応する重み係数A1,B1,C1を、K1=A1+B1+C1の式に当てはめることにより、第1の無彩色検出範囲に関する重み係数K1を算出する。同様に、CPU29は、第nの無彩色検出範囲に対応する重み係数An,Bn,CnをKn=An+Bn+Cnの式に当てはめることにより、第nの無彩色検出範囲に関する重み係数Knを算出する(n=2〜15)。
(3)CPU29は、算出された重み係数K1〜K15の値を調整する。具体的に、CPU29は、重み係数K1〜K15のうち、負の値を採るものについては全てゼロに置換してから、重み係数K1〜K15の各々を、重み係数K1〜K15の和が1となるように正規化する。正規化後の重み係数K1〜K15を、「正規化重み係数K1〜K15」と称す。
(4)CPU29は、本画像を複数の小領域に分割し、個々の小領域の色度(領域内の平均色度)を算出し、それらの色度を色度座標上へ写像する。なお、本実施形態の色度座標上には第1の無彩色検出範囲〜第15の無彩色検出範囲の各々が規定されている。
そして、CPU29は、第1の無彩色検出範囲〜第15の無彩色検出範囲に写像された小領域の数(頻度)をそれぞれ算出する。但し、CPU29は、第1の無彩色検出範囲〜第15の無彩色検出範囲の各々の頻度に対し、(3)で取得した正規化重み係数K1,K2,K3,…,K15をそれぞれ乗算する。これによって、第1の無彩色検出範囲〜第15の無彩色検出範囲に関する重み付きの色ヒストグラムが作成される。
(5)CPU29は、(4)で作成された色ヒストグラムを参照し、頻度が最大であるような無彩色検出範囲を見出し、その無彩色検出範囲に対応する照明種類を、撮影時に使用された照明種類とみなす。
(6)CPU29は、本画像上の小領域のうち、(5)で見出された無彩色検出範囲に写像される小領域に着目し、それら小領域の色度座標上の重心位置を算出する。そして、その重心位置の色度を、本画像の撮影時に使用された照明色とみなす。なお、重心位置の算出は、各小領域の色度を相関色温度に換算してから行うことが望ましい。相関色温度は、色温度成分Tcと、黒体放射軌跡からのずれ成分duvとからなり、複数の色度を平均(重み付け平均)する際の演算が簡単になる。
(7)CPU29は、算出された重心位置の相関色温度(Tc,duv)からホワイトバランス調整量を算出する。このホワイトバランス調整量は、ホワイトバランス調整前の本画像上で相関色温度(Tc,duv)と同じ色度を持つような領域を無彩色に表現するためのホワイトバランス調整量である。
ステップS120:CPU29は、算出されたホワイトバランス調整量を画像処理回路23へ与え、かつ画像処理回路23に対し画像処理の指示を与える。画像処理回路23は、その指示に応じて本画像の画像データに対しホワイトバランス調整、及びその他の画像処理を施す。画像処理後の本画像の画像データは、CPU29によって記憶媒体32に記録される。
以上、本実施形態のCPU29は、グループD1,D2,D3,D4の各々について判別を行い、撮影時の照明種類を推定する際に参照すべき色ヒストグラムの各色度範囲の頻度に対し、それらの判別の結果に応じた重み付けをする。したがって、本実施形態でも照明種類は高精度に推定される。
なお、本実施形態のCPU29は、重み付けを行う際に第1の判別の結果(距離d1)と、第2の判別の結果(距離d2)と、第3の判別の結果(距離d2)との全てを使用するので、第1実施形態のように判別の処理を省略することは無い。したがって、本実施形態のCPU29は、第1の判別の処理と、第2の判別の処理と、第3の判別の処理とを並列的に実行してもよい。
[その他の実施形態]
なお、上記何れかの実施形態では、閃光発光装置が使用されないことを前提としたが、閃光発光装置が使用される可能性を考慮し、特徴量ベクトルのベクトル成分に、閃光の発光強度を含めてもよい。
また、上記何れかの実施形態では、特徴量ベクトルのベクトル成分に、撮影条件として撮影レンズの焦点距離と被写体距離とを含めたが、撮影レンズの絞り値などの他の撮影条件をを含めてもよい。
また、上記何れかの実施形態では、特徴量ベクトルのベクトル成分に、被写体条件として被写界のエッジ量を含めたが、被写界のコントラストなどの他の被写体条件を含めてもよい。
また、第1実施形態のCPU29は、無彩色検出範囲の分割数を8とし、グループの分割数を4とした。また、第2の実施形態のCPU29は、無彩色検出範囲の分割数を15とし、グループの分割数を4とした。しかし、無彩色検出範囲の分割数とグループの分割数との組み合わせは、他の組み合わせであってもよい。
例えば、無彩色検出範囲の分割数を15とし、グループの分割数を7としてもよい。15個の無彩色検出範囲と、7個のグループとの組み合わせの一例を以下に示す。
無彩色検出範囲CS1…色温度の低い晴天の色度範囲。
無彩色検出範囲CS2…色温度の高い晴天の色度範囲。
無彩色検出範囲CCL…曇天の色度範囲。
無彩色検出範囲CSH…日陰の色度範囲。
無彩色検出範囲CL…電球の色度範囲。
無彩色検出範囲CFLWW…電球色蛍光灯の色度範囲。
無彩色検出範囲CFLW…白色蛍光灯の色度範囲。
無彩色検出範囲CFLN…昼白色蛍光灯の色度範囲。
無彩色検出領域CFLD…昼光色蛍光灯の色度範囲。
無彩色検出領域CEXN…演色性の高い昼白色蛍光灯の色度範囲。
無彩色検出領域CEXD…演色性の高い昼光色蛍光灯の色度範囲。
無彩色検出領域CHG1…第1の水銀灯の色度範囲。
無彩色検出領域CHG2…第2の水銀灯の色度範囲。
無彩色検出範囲CSSL…夕日の色度範囲。
無彩色検出範囲CNTL…ナトリウムランプの色度範囲。
グループD1…照明色が無彩色検出範囲CS1,CS2の何れかに属するような撮影シーンのグループ。
グループD2…照明色が無彩色検出範囲CCL,CSHの何れかに属するような撮影シーンのグループ。
グループD3…照明色が無彩色検出範囲CL,CFLWW,CFLWの何れかに属するような撮影シーンのグループ。
グループD4…照明色が無彩色検出範囲CFLNに属するような撮影シーンのグループ。
グループD5…照明色が無彩色検出領域CFLD,CEXN,CEXDの何れかに属するような撮影シーンのグループ。
グループD6…照明色が無彩色検出領域CHG1,CHG2の何れかに属するような撮影シーンのグループ。
グループD7…照明色が無彩色検出範囲CSSL,CNTLの何れかに属するような撮影シーンのグループ。
また、上記した何れかの実施形態では、SVMの学習は予め行われ、識別面等のデータ(S1,S2,S3,Thpos1,Thneg1,Thpos2,Thneg2,Thpos3,Thneg2)は書き換えられないことを前提としたが、ユーザから指定された照明種類に応じてホワイトバランス調整を行う手動ホワイトバランス機能が電子カメラに搭載されている場合は、その照明種類が指定される度にSVMが学習を行い、そのデータを更新してもよい。なお、その場合は、識別面のデータの格納先が書き換え可能なメモリとなる。
また、上記した何れかの実施形態では、撮影シーンの判別処理がレリーズボタンの半押し期間中に繰り返されたが、レリーズボタンの半押直後に1回だけ行われることとしてもよい。この場合、レリーズボタンの半押し直後の判別結果がレリーズボタンの半押し期間中に保持されることになる。
また、上記した何れかの実施形態では、被写界の監視と本画像の取得とを異なる撮像素子で行う一眼レフレックスタイプの電子カメラを説明したが、共通の撮像素子で行うコンパクトタイプの電子カメラにも本発明は適用可能である。
また、上記した何れかの実施形態では、電子カメラの記録モードが通常記録モードである場合を想定したが、RAW記録モードであった場合、CPU29は、判別によって得られたデータを含む付帯情報を作成し、その付帯情報を本画像のRAWデータと共に記憶媒体32へ記録すればよい。その後、RAWデータの現像処理を行う際に、CPU29が記憶媒体32からRAWデータを読み込んで、上述したステップS119(又はS119’)及びステップS120を実行すればよい。
また、上記した何れかの実施形態では、ホワイトバランス調整量の算出処理を電子カメラが実行したが、それら処理の一部又は全部をコンピュータに実行させてもよい。その場合、処理に必要なプログラムがコンピュータへインストールされる。そのインストールは、CD−ROMなどの記憶媒体やインターネットなどを介して行われる。
また、上記した第2実施形態では、撮影時に使用される照明種類が1種類であると仮定してその照明種類を推定したが、使用される照明種類が複数である可能性を考慮してもよい。その場合のステップS119’は、例えば以下のとおりとなる。
(1)CPU29は、第1の重み付け係数テーブル(図10)から距離d1の値に対応する係数A1〜A15を読み出し、第2の重み付け係数データ(図11)から距離d2の値に対応する係数B1〜B15を読み出し、第3の重み付け係数データ(図12)から距離d3の値に対応する係数C1〜C15を読み出す。
(2)CPU29は、読み出された重み係数A1〜A15,B1〜B15,C1〜C15に基づき、第nの無彩色検出範囲に関する重み係数Knを、Kn=An+Bn+Cnの式により算出する(n=1〜15)。
(3)CPU29は、算出された重み係数K1〜K15の値を調整する。具体的に、CPU29は、重み係数K1〜K15のうち、負の値を採るものについては全てゼロに置換してから、重み係数K1〜K15の各々を、重み係数K1〜K15の和が1となるように正規化する。正規化後の重み係数K1〜K15を、「正規化重み係数K1〜K15」と称す。
(4)CPU29は、本画像を複数の小領域に分割し、個々の小領域の色度(領域内の平均色度)を算出し、それらの色度を色度座標上へ写像する。さらにCPU29は、各小領域の中で無彩色検出範囲(第1の無彩色検出範囲〜第15の無彩色検出範囲)に写像された小領域の数(頻度)を、無彩色検出範囲毎に算出する。但し、CPU29は、第1の無彩色検出範囲〜第15の無彩色検出範囲の各々の頻度に対し、(3)で取得した正規化重み係数K1,K2,K3,…,K1,K15をそれぞれ乗算する。
(5)CPU29は、本画像上の第1の無彩色検出範囲〜第15の無彩色検出領域に写像される各小領域の色度座標上の重心位置を算出し、算出された重心位置の色度(相関色温度)を、撮影時に使用された照明色とみなす。
(6)CPU29は、算出された重心位置の相関色温度(Tc,duv)からホワイトバランス調整量(ゲインGB,GR)を算出する。
電子カメラの光学系の構成を示す模式図である。 電子カメラの回路構成を示すブロック図である。 第1実施形態の無彩色検出範囲を示す図である。 ベクトル空間上の学習サンプルの分布例を示す図である。 距離d1とサンプル数との関係(一例)を示す図である。 距離d2とサンプル数との関係(一例)を示す図である。 距離d3とサンプル数との関係(一例)を示す図である。 撮影に関する第1実施形態のCPU29の動作フローチャートである。 色ヒストグラムの色度範囲を説明する図である。 第1の重み付け係数テーブルを説明する図である。 第2の重み付け係数テーブルを説明する図である。 第3の重み付け係数テーブルを説明する図である。 撮影に関する第2実施形態のCPU29の動作フローチャートである。
符号の説明
11…カメラ本体,16…カラー撮像素子,16a…AFE,22…分割測光センサ,22a…A/D変換回路,23…画像処理回路,24…バッファメモリ,25…記録インタフェース,26…操作スイッチ,29…CPU,28…RAM,27…ROM,31…バス

Claims (14)

  1. 判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、
    前記特徴量ベクトルのベクトル成分には、
    撮影レンズのレンズ情報が含まれる
    ことを特徴とするカラー撮像装置。
  2. 判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段と、
    前記撮影シーンで撮影された画像の色ヒストグラムに基づき撮影時の照明色を推定する推定手段とを備え、
    前記推定手段は、
    前記推定に使用される前記色ヒストグラムの色範囲を、前記判別手段が行った判別の結果に応じて制限する
    ことを特徴とするカラー撮像装置。
  3. 判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、
    前記特徴量ベクトルのベクトル成分には、
    被写界の色と、撮影レンズのレンズポジションとが含まれる
    ことを特徴とするカラー撮像装置。
  4. 判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、
    前記判別手段は、
    サポートベクターマシンである
    ことを特徴とするカラー撮像装置。
  5. 判別対象となる撮影シーンから、その撮影シーンの被写体条件と撮影条件との双方を反映した特徴量ベクトルを抽出し、その特徴量ベクトルと、教師有り学習で予め算出された判別基準とに基づき、照明色の類似した特定グループに前記撮影シーンが属するか否かを判別する判別手段を備え、
    前記判別手段は、
    照明色の異なる複数の特定グループの各々に関して前記判別を行う
    ことを特徴とするカラー撮像装置。
  6. 請求項に記載のカラー撮像装置において、
    前記判別手段は、
    前記複数の特定グループの各々に関する判別を順次に行い、その判別結果が「正」となった場合は、それ以降の判別の処理を省略する
    ことを特徴とするカラー撮像装置。
  7. 請求項又は請求項に記載のカラー撮像装置において、
    前記複数の特定グループは、
    照明色が低色温度照明の色度範囲に属するようなグループ、照明色が蛍光灯又は水銀灯の色度範囲に属するようなグループ、照明色が演色性の良い蛍光灯又は自然太陽光の色度範囲に属するようなグループ、照明色が日陰又は曇天の色度範囲に属するようなグループのうち何れか3つである
    ことを特徴とするカラー撮像装置。
  8. 請求項又は請求項に記載のカラー撮像装置において、
    前記複数の特定グループは、
    照明色が晴天の色度範囲に属するようなグループ、照明色が日陰の色度範囲に属するようなグループ、照明色が低色温度蛍光灯又は電球の色度範囲に属するようなグループ、照明色が中色温度蛍光灯の色度範囲に属するようなグループ、照明色が高色温度蛍光灯の色度範囲に属するようなグループ、照明色が水銀灯の色度範囲に属するようなグループ、照明色が低色温度照明の色度範囲に属するようなグループのうち何れか6つである
    ことを特徴とするカラー撮像装置。
  9. 請求項〜請求項の何れか一項に記載のカラー撮像装置において、
    前記撮影シーンで撮影された画像の色ヒストグラムに基づき撮影時の照明種類を推定する推定手段を更に備え、
    前記推定手段は、前記色ヒストグラムの色範囲を、前記判別手段が行った判別の結果に応じて制限する
    ことを特徴とするカラー撮像装置。
  10. 請求項〜請求項の何れか一項に記載のカラー撮像装置において、
    前記撮影シーンで撮影された画像の色ヒストグラムに基づき撮影時の照明種類を推定する推定手段を更に備え、
    前記推定手段は、前記色ヒストグラムの各色範囲の頻度に対し、前記判別手段が行った判別の結果に応じて重み付けをする
    ことを特徴とするカラー撮像装置。
  11. 請求項1、請求項2、請求項4〜請求項10の何れか一項に記載のカラー撮像装置において、
    前記特徴量ベクトルのベクトル成分には、
    被写界の色と、撮影レンズのレンズポジションとが含まれる
    ことを特徴とするカラー撮像装置。
  12. 請求項1〜請求項3、請求項5〜請求項11の何れか一項に記載のカラー撮像装置において、
    前記判別手段は、
    サポートベクターマシンである
    ことを特徴とするカラー撮像装置。
  13. 請求項1〜請求項12の何れか一項に記載のカラー撮像装置において、
    前記特徴量ベクトルのベクトル成分には、
    前記被写界中に存在するエッジ量が含まれる
    ことを特徴とするカラー撮像装置。
  14. 請求項1〜請求項13の何れか一項に記載のカラー撮像装置において、
    前記判別手段は、
    前記判別を撮影前の期間に行う
    ことを特徴とするカラー撮像装置。
JP2007204610A 2007-08-06 2007-08-06 カラー撮像装置 Active JP5023874B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007204610A JP5023874B2 (ja) 2007-08-06 2007-08-06 カラー撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007204610A JP5023874B2 (ja) 2007-08-06 2007-08-06 カラー撮像装置

Publications (2)

Publication Number Publication Date
JP2009044255A JP2009044255A (ja) 2009-02-26
JP5023874B2 true JP5023874B2 (ja) 2012-09-12

Family

ID=40444552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007204610A Active JP5023874B2 (ja) 2007-08-06 2007-08-06 カラー撮像装置

Country Status (1)

Country Link
JP (1) JP5023874B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6345430B2 (ja) * 2014-01-31 2018-06-20 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6934240B2 (ja) * 2017-03-01 2021-09-15 株式会社ブライセン 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080746A (ja) * 2004-09-08 2006-03-23 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2006129442A (ja) * 2004-09-30 2006-05-18 Fuji Photo Film Co Ltd 画像補正装置および方法,ならびに画像補正プログラム
JP2006295303A (ja) * 2005-04-06 2006-10-26 Fuji Photo Film Co Ltd 画像処理方法および装置ならびにプログラム

Also Published As

Publication number Publication date
JP2009044255A (ja) 2009-02-26

Similar Documents

Publication Publication Date Title
JP5092612B2 (ja) カラー撮像装置
JP5885416B2 (ja) 撮像装置及び撮像装置の制御方法
US20050185084A1 (en) Camera having autofocus adjustment function
JP5092565B2 (ja) 撮像装置、画像処理装置およびプログラム
US20050212950A1 (en) Focal length detecting method, focusing device, image capturing method and image capturing apparatus
JP2020537382A (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
JP5597078B2 (ja) 撮像装置及びその制御方法
US20050099522A1 (en) Variable length encoding method and variable length decoding method
JP2019086775A (ja) 画像処理装置、その制御方法、プログラム及び記憶媒体
JP2013214878A (ja) 撮像装置、露出制御方法、及びプログラム
KR20130043925A (ko) 촬상장치 및 촬상방법
JP2008042617A (ja) デジタルカメラ
JP2010072619A (ja) 露出演算装置およびカメラ
JP5023874B2 (ja) カラー撮像装置
JP2009088800A (ja) カラー撮像装置
JP5849515B2 (ja) 露出演算装置およびカメラ
JP5794665B2 (ja) 撮像装置
JP5070856B2 (ja) 撮像装置
JP5202245B2 (ja) 撮像装置およびその制御方法
JP5055569B2 (ja) カラー撮像装置及び画像処理プログラム
JP3240705B2 (ja) カメラの測光装置
JPH10150598A (ja) スチルビデオカメラの露光量制御装置
JP4995133B2 (ja) 撮像装置及び制御方法
JP7022534B2 (ja) 画像処理装置および画像処理方法
JP2828314B2 (ja) ホワイトバランス制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5023874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250