JP4973369B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は画像処理装置と撮像装置に関する。

撮像素子により撮像した画像に対してホワイトバランス処理を施す画像処理装置および撮像装置知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００３−１８９３２５号公報

上述した従来の装置では、画像の一部に輝度が飽和している部分があると、その部分ではＲＧＢ色の正確な比率が算出できないため、画像がどの部分でも輝度が飽和しないように撮像素子の電荷蓄積を制御する必要がある。しかしながら、そうして得られた画像は暗い画像になるため、鑑賞や画像処理を行うのに適さなくなるという問題がある。

請求項１に記載の画像処理装置は、複数の電荷蓄積型光電変換素子を有し、結像光学系による像を撮像する撮像手段と、撮像手段の電荷蓄積制御を行う蓄積制御手段と、撮像手段により撮像された画像に基づいて、互いに異なる第１処理と第２処理を行う処理手段とを備え、蓄積制御手段は、処理手段において第１処理を行うための画像を撮像手段によって撮像する場合は、光電変換素子の出力を飽和させない電荷蓄積制御を行い、処理手段において第２処理を行うための画像を撮像手段によって撮像する場合は、光電変換素子の出力の飽和を許容する電荷蓄積制御を行い、第１処理は、撮像手段により撮像された画像に対してホワイトバランス処理するためのゲインを求める処理であり、第１処理で求めたゲインは、第２処理を行うための画像に適用されることを特徴とする。
請求項４に記載の画像処理装置は、複数の電荷蓄積型光電変換素子を有し、結像光学系による像を撮像する撮像手段と、撮像手段の電荷蓄積制御を行う蓄積制御手段と、撮像手段により撮像された画像に基づいて、互いに異なる第１処理と第２処理を行う処理手段とを備え、蓄積制御手段は、処理手段において第１処理を行うための画像を撮像手段によって撮像する場合は、光電変換素子の出力を飽和させない電荷蓄積制御を行い、処理手段において第２処理を行うための画像を撮像手段によって撮像する場合は、光電変換素子の出力の飽和を許容する電荷蓄積制御を行い、第１処理は、撮像手段により撮像された画像に対してホワイトバランス処理するためのゲインを求める処理であり、第２処理は、撮像手段により撮像された画像を解析する処理であり、処理手段は、第２処理における画像解析の種類に応じて、実行する第１処理と第２処理の比を設定することを特徴とする。

本発明によれば、用途に応じた画像を得ることができる。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。

図１は、一実施の形態の撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が交換可能に装着される。カメラ本体２には被写体像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４は、複数の画素（電荷蓄積型光電変換素子）が二次元状に配列されたＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光はクイックリターンミラー５に反射されてファインダースクリーン１１へ導かれ、ファインダースクリーン１１上に被写体像が結像する。有機ＥＬ表示素子１２は、ファインダースクリーン１１上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。ファインダースクリーン１１上の被写体像はペンタダハプリズム１３および接眼レンズ１４を介してファインダー接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子１６が設けられる。この第２撮像素子１６については詳細を後述する。ファインダースクリーン１１に結像した被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は被写体像に応じた画像信号を出力する。撮影前にファインダースクリーン１１上に結像された被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６の受光面に被写体像が再結像される。詳細を後述するが、この第２撮像素子１６により撮像された被写体像に基づいて対象被写体の追尾制御、適正な露出制御のための露出演算、撮影シーンを判別するための画像解析などを行う。

カメラ本体２にはまた、ボディ側駆動制御装置１９、操作部材２０などが設けられる。ボディ側駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタンの半押しおよび全押しスイッチ、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ側駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で体表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ側駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ側駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などの情報が記憶されている。

ボディ側駆動制御装置１９とレンズ側駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ側駆動制御装置１９からレンズ側駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ側駆動制御装置２２からボディ側駆動制御装置１９へレンズ情報や絞り情報を送信する。

図２はボディ側駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ側駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。

マイクロコンピューター１９ｃは、ソフトウエア形態により画像処理／追尾処理部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、あるいは撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報を記憶する。

画像処理／追尾処理部１９ｅは、第２撮像素子１６による撮像画像に基づいてホワイトバランス処理に用いるＲＧＢゲインを算出し、第１撮像素子４および第２撮像素子１６の撮像画像に対してホワイトバランス処理などの補正処理や圧縮処理を施す。また、画像処理／追尾処理部１９ｅは、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像としてメモリ１９ｄに記憶させ、その後に第２撮像素子１６で繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって、対象の位置を認識する。なお、ホワイトバランス処理については詳細を後述する。

露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値（シャッター速度および絞り値）を演算する。焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。

図３は第２撮像素子１６による被写体の撮像例を示す。第２撮像素子１６は、マトリクス状に配列された複数の画素２６（電荷蓄積型光電変換素子；この例では横２２個×縦１５個＝３３０個）を備えている。この一実施の形態では、第２撮像素子１６の横方向の画素２６の座標をｉ(＝１〜２２)で表すとともに、縦方向の画素２６の座標をｊ(＝１〜１５)で表し、左上隅の画素２６の座標を原点(１,１)とする。この第２撮像素子１６により図３(ａ)に示すような被写体を撮像した場合には、第２撮像素子１６の各画素２６から図３(ｂ)に示すような画像信号が出力される。

各画素２６は図４に示すように３個の部分２６ａ、２６ｂ、２６ｃに分割され、これらの部分２６ａ、２６ｂ、２６ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素２６ごとに被写体像のＲＧＢ信号を出力することができる。この一実施の形態では、座標[ｉ,ｊ]のＲ、Ｇ、Ｂ出力をそれぞれＶor[ｉ,ｊ]、Ｖog[ｉ,ｊ]、Ｖob[ｉ,ｊ]とし、これらはそれぞれ０〜２５５の値をとるものとする。

図５は一実施の形態のホワイトバランス処理を示すフローチャートである。このフローチャートにより、一実施の形態の動作を説明する。ボディ側駆動制御装置１９の画像処理／追尾制御部１９ｅは、操作部材２０のレリーズ半押しスイッチがオンしている間、このホワイトバランス処理を繰り返し実行する。

ステップ１において、ホワイトバランス処理に用いるＲＧＢゲインを算出するための画像を第２撮像素子１６で撮像するために、第２撮像素子１６にホワイトバランス・ＲＧＢゲイン算出用の電荷蓄積時間を設定する。この一実施の形態では、第２撮像素子１６の前回の蓄積時間をＰreＩntＴimeとし、そのときの第２撮像素子１６のすべての画素２６のＲＧＢ出力の内の最大値をＭaxＶoとすると、ホワイトバランス・ＲＧＢゲイン算出用の蓄積時間ＩntＴimeは次式で求められる。
ＩntＴime＝ＰreＩntＴime・（ＰeakＶo／ＭaxＶo） ・・・（１）
（１）式において、ＰeakＶoは、第２撮像素子１６の画素２６のＲＧＢ出力の目標最大値であり、飽和レベル２５５よりも小さい所定値である。

続くステップ２で、素子制御回路１９ａにより第２撮像素子１６を制御してホワイトバランス・ＲＧＢゲイン算出用の蓄積時間ＩntＴimeで蓄積制御を行う。ステップ３では、第２撮像素子１６のすべての画素２６のＲＧＢ出力の内の最大値ＭaxＶoが２５５未満か、つまり第２撮像素子１６のすべての画素２６が非飽和状態にあるか否かを判別する。すべての画素２６のＲＧＢ出力のいずれかが２５５であれば飽和状態にあるとしてステップ１へ戻り、（１）式によりホワイトバランス・ＲＧＢゲイン算出用の蓄積時間ＩntＴimeを再設定して蓄積制御をやり直す。すべての画素２６のＲＧＢ出力が２５５未満、つまり非飽和状態になるまでこのような処理を繰り返し、非飽和状態になったらステップ４へ進む。

第２撮像素子１６のすべての画素２６のＲＧＢ出力が２５５未満、つまり非飽和状態にあるときの画像は、図３(ｂ)に示すような全画素２６で白飛びのない、やや暗めの画像になる。ステップ４において、第２撮像素子１６により撮像した非飽和状態における画像に基づいて次式によりホワイトバランス処理のＲＧＢゲインＲratio、Ｇratio、Ｂratioを算出する。
Ｒratio＝ＲＣonst／（Ｖor／ＭaxＶog） ・・・（２），
Ｇratio＝１．０ ・・・（３），
Ｂratio＝ＢＣonst／（Ｖob／ＭaxＶog） ・・・（４）
（２）〜（４）式において、Ｖorは、（１）式で算出した蓄積時間で第２撮像素子１６の蓄積を行ったときの、すべての画素２６のＲＧＢ出力の内、緑出力Ｖogが最大となる画素２６の赤Ｒ出力であり、同様に、Ｖobは、緑出力Ｖogが最大となる画素２６の青Ｂ出力である。また、ＲＣonst、ＢＣonstは、ともにホワイトバランスの算出に用いる定数である。

次に、ステップ５で、第２撮像素子１６の次回の蓄積時間ＩntＴimeＮextを次式により算出する。この蓄積時間ＩntＴimeＮextは、出力をすべての画素２６で飽和させないホワイトバランス・ＲＧＢゲイン算出用の蓄積時間ＩntＴimeと異なり、画素２６の出力の飽和を考慮しない蓄積時間、すなわちホワイトバランス・ＲＧＢゲイン算出以外の処理を行うための通常の画像を取得するための蓄積時間である。この通常の画像は、上述したように対象被写体の追尾制御、適正な露出制御のための露出演算、撮影シーンを判別するための画像解析などに用いられる。
ＩntＴimeＮext＝ＩntＴime・（ＯbjＶog／ＡveＶog） ・・・（５）
（５）において、ＯbjＶogは画像の明るさを設定するための定数であり、ここでは緑Ｇ出力を基準にしている。また、ＡveＶogはステップ２で蓄積した第２撮像素子１６のすべての画素２６の緑Ｇ出力の平均値である。

ステップ６で通常画像取得用蓄積時間ＩntＴimeＮextを用いて第２撮像素子１６の蓄積制御を行い、すべての画素２６のＲＧＢ出力Ｖor[ｉ,ｊ]、Ｖog[ｉ,ｊ]、Ｖob[ｉ,ｊ]を読み出す。続くステップ７において、すべての画素２６のＲＧＢ出力Ｖor[ｉ,ｊ]、Ｖog[ｉ,ｊ]、Ｖob[ｉ,ｊ]に対して、ステップ４で算出したＲＧＢゲインＲratio、Ｇratio、Ｂratioを用いてホワイトバランス処理を施し、ＲＧＢ画像データＶor’[ｉ,ｊ]、Ｖog’[ｉ,ｊ]、Ｖob’[ｉ,ｊ]を得る。
Ｖor’[ｉ,ｊ]＝Ｖor[ｉ,ｊ]・Ｒratio ・・・（６），
Ｖog’[ｉ,ｊ]＝Ｖog[ｉ,ｊ]・Ｇratio ・・・（７），
Ｖob’[ｉ,ｊ]＝Ｖob[ｉ,ｊ]・Ｂratio ・・・（８）

図３(ｃ)に、ホワイトバランス処理後のＲＧＢ画像データＶor’[ｉ,ｊ]、Ｖog’[ｉ,ｊ]、Ｖob’[ｉ,ｊ]による画像例を示す。この画像は、対象被写体の追尾制御、適正な露出制御のための露出演算、撮影シーンを判別するための画像解析などに用いるための最適な明るさと、適正なホワイトバランスの画像である。

次に、第１撮像素子４により撮像された観賞用の画像に対して、第２撮像素子１６をホワイトバランス・ＲＧＢゲイン算出用の蓄積時間ＩntＴimeで蓄積し、第２撮像素子１６で得られた非飽和画像から算出したＲＧＢゲインＲratio、Ｇratio、Ｂratioを用いてホワイトバランス処理を行い、適正なホワイトバランスの観賞用画像を生成することができる。

具体的には、適正な露出制御により蓄積された第１撮像素子４のすべての画素（ｍ行、ｎ列に配列されており、各画素の座標を[ｍ,ｎ]と表す）のＲＧＢ出力Ｖor[ｍ,ｎ]、Ｖog[ｍ,ｎ]、Ｖob[ｍ,ｎ]に対し、ＲＧＢゲインＲratio、Ｇratio、Ｂratioを用いてホワイトバランス処理を施し、ＲＧＢ画像データＶor’[ｍ,ｎ]、Ｖog’[ｍ,ｎ]、Ｖob’[ｍ,ｎ]を得る。
Ｖor’[ｍ,ｎ]＝Ｖor[ｍ,ｎ]・Ｒratio ・・・（９），
Ｖog’[ｍ,ｎ]＝Ｖog[ｍ,ｎ]・Ｇratio ・・・（１０），
Ｖob’[ｍ,ｎ]＝Ｖob[ｍ,ｎ]・Ｂratio ・・・（１１）

なお、第２撮像素子１６の画素数は上述した一実施の形態の画素数に限定されず、さらに多くの画素数により第２撮像素子１６を構成し、画像解析用はもちろんのこと、撮像画像をモニターや電子ビューファインダー（ＥＶＦ）などに表示する観賞用としてもよい。

第２撮像素子１６で繰り返し画像を取得して画像解析を行う場合には、ホワイトバランス・ＲＧＢゲイン算出用画像と解析用画像とを交互に撮像する必要はなく、画像解析の種類に応じてホワイトバランス・ＲＧＢゲイン算出用画像の撮像頻度を変えるようにしてもよい。

上述した一実施の形態では、本願発明を一眼レフデジタルスチルカメラに適用した一実施の形態とその変形例を説明したが、本願発明は一眼レフデジタルスチルカメラ以外の例えばコンパクトカメラやビデオカメラにも適用することができる。また、上述した一実施の形態では画像追尾機能を備えたカメラに適用した例を説明したが、画像追尾機能のないカメラにも適用できる。

このように、ホワイトバランス・ＲＧＢゲインを算出するための画像を第２撮像素子１６で撮像する場合は、すべての第２撮像素子１６の光電変換素子の出力を飽和させない電荷蓄積制御を行い、ホワイトバランス・ＲＧＢゲイン算出以外の処理を行うための画像を第２撮像素子１６で撮像する場合には、第２撮像素子１６の光電変換素子の出力の飽和を考慮しない電荷蓄積制御を行う。そのため、画像の用途に応じた最適な画像を得ることができる。そして、ホワイトバランス・ＲＧＢゲイン算出用画像に基づいてＲＧＢゲインを求め、このＲＧＢゲインを用いてＲＧＢゲイン算出以外の処理を行うための画像にホワイトバランス処理を施すようにしたので、特に、画像を鑑賞や画像解析処理などに用いる場合に最適な明るさと適正なホワイトバランスの画像を得ることができる。

一実施の形態の撮像装置の構成を示す図 一実施の形態のボディ側駆動制御装置の詳細な構成を示す図 第２撮像素子による被写体の撮像例を示す図 第２撮像素子の詳細な構成を示す図 一実施の形態のホワイトバランス処理を示すフローチャート

符号の説明

８；撮影レンズ、１６；第２撮像素子、１９；ボディ側駆動制御装置

Claims (5)

1. 複数の電荷蓄積型光電変換素子を有し、結像光学系による像を撮像する撮像手段と、
   前記撮像手段の電荷蓄積制御を行う蓄積制御手段と、
   前記撮像手段により撮像された画像に基づいて、互いに異なる第１処理と第２処理を行う処理手段とを備え、
   前記蓄積制御手段は、前記処理手段において前記第１処理を行うための画像を前記撮像手段によって撮像する場合は、前記光電変換素子の出力を飽和させない電荷蓄積制御を行い、前記処理手段において前記第２処理を行うための画像を前記撮像手段によって撮像する場合は、前記光電変換素子の出力の飽和を許容する電荷蓄積制御を行い、
   前記第１処理は、前記撮像手段により撮像された画像に対してホワイトバランス処理するためのゲインを求める処理であり、
   前記第１処理で求めた前記ゲインは、前記第２処理を行うための画像に適用されることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第２処理は、前記撮像手段により撮像された画像を解析する処理であることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記処理手段は、前記第２処理における画像解析の種類に応じて、実行する前記第１処理と前記第２処理の比を設定することを特徴とする画像処理装置。
4. 複数の電荷蓄積型光電変換素子を有し、結像光学系による像を撮像する撮像手段と、
   前記撮像手段の電荷蓄積制御を行う蓄積制御手段と、
   前記撮像手段により撮像された画像に基づいて、互いに異なる第１処理と第２処理を行う処理手段とを備え、
   前記蓄積制御手段は、前記処理手段において前記第１処理を行うための画像を前記撮像手段によって撮像する場合は、前記光電変換素子の出力を飽和させない電荷蓄積制御を行い、前記処理手段において前記第２処理を行うための画像を前記撮像手段によって撮像する場合は、前記光電変換素子の出力の飽和を許容する電荷蓄積制御を行い、
   前記第１処理は、前記撮像手段により撮像された画像に対してホワイトバランス処理するためのゲインを求める処理であり、
   前記第２処理は、前記撮像手段により撮像された画像を解析する処理であり、
   前記処理手段は、前記第２処理における画像解析の種類に応じて、実行する前記第１処理と前記第２処理の比を設定することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
   

Images