JP5660341B2 - 撮像装置、撮像方法 - Google Patents

撮像装置、撮像方法 Download PDF

Info

Publication number
JP5660341B2
JP5660341B2 JP2012252080A JP2012252080A JP5660341B2 JP 5660341 B2 JP5660341 B2 JP 5660341B2 JP 2012252080 A JP2012252080 A JP 2012252080A JP 2012252080 A JP2012252080 A JP 2012252080A JP 5660341 B2 JP5660341 B2 JP 5660341B2
Authority
JP
Japan
Prior art keywords
white balance
block
correction coefficient
imaging
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012252080A
Other languages
English (en)
Other versions
JP2013034261A (ja
Inventor
野村 健一郎
健一郎 野村
Original Assignee
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007240479 priority Critical
Priority to JP2007240479 priority
Application filed by 株式会社リコー filed Critical 株式会社リコー
Priority to JP2012252080A priority patent/JP5660341B2/ja
Publication of JP2013034261A publication Critical patent/JP2013034261A/ja
Application granted granted Critical
Publication of JP5660341B2 publication Critical patent/JP5660341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、ストロボホワイトバランス制御を行う技術を備える撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体に関するものである。

従来、ストロボを発光させて撮影した画像に対して、本来は白いものであろう被写体に対して白くなるようなホワイトバランスを画面全体にかけるといったものが広く用いられているが、カメラから近い距離に位置するエリアにおいてはストロボ光の影響を強く受け、またカメラから遠い距離に位置するエリアにおいてはストロボ光の影響が少なく外光の影響を強く受ける。そのため、ストロボ光に合わせたホワイトバランスゲインを画面全体にかけた場合、外光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。また、逆に外光に合わせたホワイトバランスゲインを画面全体にかけた場合、ストロボ光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。従って、両方のエリアが存在するシーンにおいては画面全体に最適なホワイトバランスをかけることが難しいといった問題がある。

上記問題を解決するため、ストロボを発光させた画像と発光させない画像とで比較し領域分割を行い、領域毎にホワイトバランスを掛けることで画面全体に対して色ずれ生じさせないものがある。(例えば特許文献1)

上述の従来の技術によれば、ブロック毎にホワイトバランスゲインを設定しているためブロックの境界で不自然な色ずれが発生し、また、ストロボ発光ありとなしの撮影画像を必要とするため、2枚の撮像画像を格納するためのメモリが必要になるといった問題、および撮影に要する処理時間が増えるといった問題がある。
本発明は上記のような実情に鑑みてなされたもので、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で、且つ、少ないメモリで実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。

本発明者らは上記課題を解決するために鋭意検討を重ねた結果、少なくとも、本発明に係る撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体は、具体的には下記(1)〜(9)に記載の技術的特徴を有することで上記課題が解決されることを見出し、本発明を完成するに至った。

(1):光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像機能と、ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像機能と、を有し、前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第1ホワイトバランス補正係数を算出する第1ホワイトバランス補正係数算出手段と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第2ホワイトバランス補正係数を算出する第2ホワイトバランス補正係数算出手段と、当該分割されたブロック毎のストロボ光量に基づき、前記第1ホワイトバランス補正係数と、前記第2ホワイトバランス補正係数と、の加重平均で第3ホワイトバランス補正係数を算出する第3ホワイトバランス補正係数算出手段と、当該分割されたブロック毎に前記第3ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。

(2):光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像機能と、ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像機能と、を有し、前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。

(3):当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算手段は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第1補正係数取得手段と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第2補正係数取得手段とを備えることを特徴とする上記(1)または(2)に記載の撮像装置である。

(4):光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像工程と、ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像工程と、を有し、前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第1ホワイトバランス補正係数を算出する第1ホワイトバランス補正係数算出工程と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第2ホワイトバランス補正係数を算出する第2ホワイトバランス補正係数算出工程と、当該分割されたブロック毎のストロボ光量に基づき、前記第1ホワイトバランス補正係数と、前記第2ホワイトバランス補正係数と、の加重平均で第3ホワイトバランス補正係数を算出する第3ホワイトバランス補正係数算出工程と、当該分割されたブロック毎に前記第3ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。

(5):光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像工程と、ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像工程と、を有し、前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。

(6):当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算工程は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第1補正係数取得工程と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第2補正係数取得工程とを備えることを特徴とする上記(4)または(5)に記載の撮像方法である。

(7):画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像処理と、ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像処理と、を有し、前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第1ホワイトバランス補正係数を算出する第1ホワイトバランス補正係数算出処理と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第2ホワイトバランス補正係数を算出する第2ホワイトバランス補正係数算出処理と、当該分割されたブロック毎のストロボ光量に基づき、前記第1ホワイトバランス補正係数と、前記第2ホワイトバランス補正係数と、の加重平均で第3ホワイトバランス補正係数を算出する第3ホワイトバランス補正係数算出処理と、当該分割されたブロック毎に前記第3ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

(8):画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像処理と、ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像処理と、を有し、前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

(9):当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算処理は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第1補正係数取得処理と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第2補正係数取得処理とを備えることを特徴とする上記(7)または(8)に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することができる。

本発明に係る撮像装置の第1の実施の形態であるデジタルカメラの外観を示す概略図である。 本発明に係る撮像装置の第1の実施の形態における構成を示すブロック図である。 第1の実施の形態に係るストロボWB補正の一連の処理のフローを示すブロック図である。 AE制御値の一例を示す図である。 本発明に係る撮像装置の第1の実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図におけるストロボ照射領域とストロボ非照射領域を説明する説明図である。 図5の模式図におけるストロボ照射領域ブロック中央画素及びストロボ非照射領域ブロック中央画素を説明する説明図である。 補間によるWB補正係数の算出方法の説明図である。 図5の模式図における領域12を説明する説明図である。 図5の模式図における領域13、14、15、16を説明する説明図ある。 本発明に係る撮像装置の第2の実施の形態におけるストロボWB補正の一連の処理のフロー図である。 ガンマ特性を示すグラフである。 本発明に係る撮像装置の第3の実施の形態におけるストロボWB補正の一連の処理のフロー図である。 本発明に係る撮像装置の第4の実施の形態におけるストロボWB補正の一連の処理のフロー図である。 本発明に係る撮像装置の第5の実施の形態におけるストロボWB補正の一連の処理のフロー図である。

次に図面を用いて本発明に係る撮像装置の基本的な構成についてさらに詳細に説明する。
尚、以下に述べる実施の形態は本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。ただし、第1の実施の形態は本発明の範囲に属しない参考例としての例である。

〔第1の実施の形態〕
(デジタルカメラの外観構成)
図1は本発明に係る撮像装置の第1の実施の形態であるデジタルカメラの外観を示す概略図である。
図1に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン(シャッタボタン)、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面(前面)側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。

デジタルカメラの背面側には、液晶モニタ(LCD)、前記光学ファインダの接眼レンズ部、広角側ズーム(W)スイッチ、望遠側ズーム(T)スイッチ、メニュー(MENU)ボタン、確定ボタン(OKボタン)等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。

(デジタルカメラのシステム構成)
図2は、本発明に係る撮像装置の第1の実施の形態であるデジタルカメラの構成を示すブロック図である。
図2に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系(光学系)を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのCCD、CCDから出力される電気信号(アナログRGB画像信号)をデジタル信号(撮像信号)に処理するアナログフロントエンド部(AFE部)、AFE部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するSDRAM(メモリ)、制御プログラム等が記憶されたROM、モータドライバ等が設けられている。

鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット(不図示)は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部(CPU)からの駆動信号により駆動制御される。

CCDは、CCDを構成する複数の画素上に色分解フィルタとしてのRGB原色フィルタが配置されており、RGB3原色に対応した電気信号(アナログRGB画像信号)が出力される。

AFE部は、CCDを駆動するTG(タイミング信号発生部)、CCDから出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)、CDSにてサンプリングされた画像信号のゲインを調整するAGC(アナログ利得制御部)、AGCでゲイン調整された画像信号をデジタル信号(RAW−RGBデータ)に変換するA/Dを備えている。

信号処理部は、AFE部のTGへ画面水平同期信号(HD)と画面垂直同期信号(VD)の出力を行い、これらの同期信号に合わせて、AFE部のA/Dから出力されるRAW−RGBデータを取り込むCCDインターフェース(CCDI/F)と、SDRAMを制御するメモリコントローラと、取り込んだRAW−RGBデータを表示や記録が可能なYUV形式の画像データに変換するYUV変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをJPEG形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース(メディアI/F)と、操作部からの操作入力情報に基づき、ROMに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部(CPU)を備えている。
尚、CCDI/Fの一部は、本発明における撮像手段として機能する。

操作部は、デジタルカメラ(図1参照)の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。

SDRAMには、CCDI/Fに取り込まれたRAW−RGBデータが保存されると共に、YUV変換部で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、更に、データ圧縮部で圧縮処理されたJPEG形成などの画像データが保存される。

なお、前記YUVデータのYUVは、輝度データ(Y)と、色差(輝度データと青色(B)成分データの差分(U)と、輝度データと赤色(R)成分データの差分(V))の情報で色を表現する形式である。

(デジタルカメラのモニタリング動作、静止画撮影動作)
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源ボタンをONし、撮影・再生切替ダイアルを撮影モード(静止画撮影モード)に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがONされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、CCD、AFE部、信号処理部、SDRAM、ROM、液晶モニタ等を起動させる。

そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がCCDの各画素の受光面上に結像する。そして、CCDから出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS、AGCを介してA/Dに入力され、A/Dにより12ビット(bit)のRAW−RGBデータに変換する。

このRAW−RGBデータ(第1の撮像信号)は、信号処理部のCCDI/Fに取り込まれて(第1撮像機能)メモリコントローラを介してSDRAMに保存される。そして、SDRAMから読み出されたRAW−RGBデータは、YUV変換部に入力されて表示可能な形式であるYUVデータ(YUV信号)に変換された後に、メモリコントローラを介してSDRAMにYUVデータが保存される。

そして、SDRAMからメモリコントローラを介して読み出したYUVデータは、表示出力制御部を介して液晶モニタ(LCD)へ送られ、撮影画像(動画)が表示される。前記した液晶モニタ(LCD)に撮影画像を表示しているモニタリング時においては、CCDI/Fによる画素数の間引き処理により1/30秒の時間で1フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)に撮影画像(動画)が表示されているだけで、まだレリーズボタンが押圧(半押も含む)操作されていない状態である。

この撮影画像の液晶モニタ(LCD)への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(動画)を表示することもできる。

そして、信号処理部のCCDI/Fは、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値を算出する。
尚、本発明において、ホワイトバランス評価値とは、AWB評価値であり、輝度積算結果とはAE評価値であって、ホワイトバランス評価値取得手段と輝度信号積算手段とは、それぞれ信号処理部のCCDI/Fの一部である。

AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮影レンズ系内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。

AE評価値とAWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、ブロック分割手段である信号処理部のCCDI/Fの一部である検波回路によってCCDの全画素の受光面に対応した画面を256エリア(ブロック)に等分割(水平16分割、垂直16分割)された後、それぞれのエリア(ブロック)のRGB積算値がCCDI/Fによって算出される。

そして制御部は、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリア(ブロック)の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CCDの電子シャッタ回数、絞りユニットの絞り値、NDフィルタの出し入れ等)を設定する。また、AWB処理では、RGBの分布から被写体の光源の色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、前記したAE処理とAWB処理は、前記モニタリング時には連続的に行われている。

そして、前記したモニタリング動作時に、レリーズボタンが押圧(半押しから全押し)操作される静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。

即ち、レリーズボタンが押圧(半押しから全押し)操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。

いわゆる山登りAFとは、AF(合焦)対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CCDI/Fで算出されている各フォーカス位置における前記AF評価値を制御部が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、前記したAE処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、CCDから静止画用のアナログRGB画像信号が出力される。そして、前記モニタリング時と同様に、AFE部のA/D変換部によりRAW−RGBデータに変換される。

そして、このRAW−RGBデータ(第2の撮像信号)は、信号処理部のCCDI/Fに取り込まれ(第2撮像機能)、YUV変換部でYUVデータに変換されて、メモリコントローラを介してSDRAMに保存される。そして、このYUVデータはSDRAMから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、SDRAMに書き戻された後にメモリコントローラを介してSDRAMから読み出され、メディアI/Fを介してメモリカードに保存される。

次に、本発明の特徴となる撮像動作(第2撮像機能の作動開始時以降の動作)について説明する。
図3は第1の実施の形態におけるストロボWB補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のRAW−RGBがSDRAMに格納される(S1)。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をCCDで検出することで調節している。

SDRAMに格納されたRAW−RGBは、ブロック分割手段である信号処理部のCCDI/Fの一部である検波回路によって水平16×垂直16の256ブロックに分割される。
また、同時に撮影時のAWB評価値(ホワイトバランス評価値)、AE評価値(輝度信号積算結果)とAE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置)が内部のRAMへ格納される(S2)。AWB評価値はブロック毎にR、G、Bそれぞれを積算し1画素あたりのR、G、Bを算出したあとG/R、G/Bという形で表される。AE評価値はブロック毎にR、G、Bそれぞれを積算し1画素あたりのR、G、Bを算出した後、以下の式の結果で表される。

AE評価値=0.299R+0.587G+0.114B

次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数(k)を、モニタリング画像に対応したブロック毎のAE評価値及び/または撮影時のブロック毎のAE評価値に対して設定する(S3;露出補正係数算出手段)。撮影直前のモニタリング画像(第1の撮像信号)に対応したAE評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがRAMに格納される。また、撮影時と同様にこの時のAE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置、画素加算分)も内部のRAMに格納される。また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数(k)を掛けることが好ましい。

図4に本実施の形態におけるAE制御値の例を示すが、本発明におけるAE制御値はこれに限定されるものではない。
各AE制御値の1ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各AE制御値の加算結果から、減算によって撮影時とモニタリング時の明るさの差分(delta Ev)を求めることができる。本実施の形態におけるAE制御値の例では制御値の差が16で1EV差、つまり明るさが2倍違うことになる。露出補正係数(k)の算出方法を下記式1に示す。

モニタリング時に水平垂直の画素を加算した結果からAE評価値を算出している場合は、露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数(k)の算出方法は下記式2となる。例えば、モニタリング時は水平2画素、垂直2画素を合計した結果(4画素分)がCCDから読み出される場合、画素加算を行わない撮影時(1画素分)に比べて、モニタリング時は2EV(4倍)明るいことになる。

そして、同一ブロックの撮影画像のAE評価値から撮影直前のモニタリング画像のAE評価値を減算し、予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし基準値未満のブロックをストロボ非照射領域とする領域分割を行う(S4;領域分割手段)。
尚、本発明におけるストロボ照射領域の判定方法はS4の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。

S1〜S4により、撮影時とモニタリング時で露光量が異なる場合でもストロボの影響が強いブロックを抽出することが可能となる。

図5はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図5の1はストロボ照射領域を表し、図5の2はストロボ非照射領域を表す。

次に、領域毎にそれぞれ白抽出(本発明では白検出とも称する;以下同様である。)を行う(S5;白検出手段)。白抽出は領域毎にブロック単位で取得したAWB評価値を閾値と比較して、閾値以下のブロックを白抽出ブロックとして記憶する。

白抽出ブロックとは、図5のような撮像画像で具体例を示すとすると、被写体である人物の画像における白い服の領域に存在する(を有する)ブロック、背景の画像における白い雲の領域に存在する(を有する)ブロック等が挙げられる。

ここで、本実施の形態における白抽出の処理は、抽出されるブロックのAWB評価値が所定の閾値以上であるか、所定の閾値未満であるかをもって、白抽出ブロックの判定を行っている。所定の閾値は任意で設定することができる。
尚、本発明は上述の白抽出の処理の実施の形態に限られるものではなく、被写体や背景等において白が存在するブロックを一定の基準に従い、高い信頼性をもって抽出可能であればいかなる形態であっても良い。また、本実施の形態および後述の実施の形態において、白抽出を行う範囲(白検出範囲)は、白抽出ブロックが高い信頼性をもって抽出できる任意の範囲とすることができる。

ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるAWB評価値とAE評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式3に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるAWB評価値とAE評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式4に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。

ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるAWB評価値とAE評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式5に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる(S6;補正係数算出手段)。

次に、SDRAMよりRAW−RGBを読み出し、図6のようにブロックの中央に位置する画素をブロック中央画素として、領域毎に算出したWB補正係数Rgain、Bgainをそれぞれの領域に対応するブロック中央画素に設定する(S7;ホワイトバランス演算手段)。図6の3はストロボ照射領域で算出したホワイトバランス補正係数Rgain、Bgainを設定するブロック中央画素、図6の4はストロボ非照射領域に算出したホワイトバランス補正係数Rgain、Bgainを設定するブロック中央画素である。

非ブロック中央画素のホワイトバランス補正係数Rgain、Bgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているホワイトバランス補正係数と当該画素からの距離による補間によって求めることが好ましい(S8)。

図7を基に非ブロック中央画素のホワイトバランス補正係数算出方法を説明する。ホワイトバランス補正係数の算出対象とする非ブロック中央画素を11とし周辺のブロック中央画素をR0、R1、R2、R3とする。R3を1で正規化しホワイトバランス補正係数の算出対象となる非ブロック中央画素の位置をx、yで表し、以下の計算式によってホワイトバランス補正係数を算出する。

Rgain=(1−x)(1−y)R0+x(1−y)R1+(1−x)yR2+xyR3
Bgain=(1−x)(1−y)B0+x(1−y)B1+(1−x)yB2+xyB3

図8の12部分の画素のように周辺のブロック中央画素が1つしか存在しない場合は、当該ブロックのホワイトバランス補正係数を設定する。

図9の13、14、15、16部分の画素のように周辺のブロック中央画素が2つしか存在しない場合は、2つの補正係数と当該画素からの距離による補間によって求める。計算式を以下に示す。

領域13の場合
gain=(1−x)R2+xR3
gain=(1−x)B2+xB3

領域14の場合
gain=(1−x)R0+xR1
gain=(1−x)B0+xB1

領域15の場合
gain=(1−y)R1+yR3
gain=(1−y)B1+yB3

領域16の場合
gain=(1−y)R0+yR2
gain=(1−y)B0+yB2

画面全体のR、Bデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Rgain、Bgainを掛ける(S9)。

これにより、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。

これにより、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。

また、ブロック単位のAE評価値の差分から領域分割を行うため、計算量を少なくすることができる。

また、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。

また、領域毎にホワイトバランス補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べてホワイトバランス補正係数の算出に要する計算量を少なくすることができる。

本実施の形態では撮影画像及びモニタリング画像に対して水平16×垂直16のブロックで分割したが、任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像における同一ブロック毎に、AE評価値からストロボ照射領域かストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。また、分割は格子状であることが好ましいが、撮影画像とモニタリング画像とにおいて対応するブロックが同一形状であればいかなる形状に分割しても良い。このことは、後述する実施の形態においても同様である。

〔第2の実施の形態〕
第1の実施の形態ではブロック単位でストロボ照射領域とストロボ非照射領域に分割し、それぞれの領域毎にホワイトバランス補正係数を算出するのに対し、本実施の形態では、ブロック毎にストロボ光量を算出しブロック毎にストロボ光量の割合に応じたホワイトバランス補正係数を算出する。

図10は本発明に係る撮像装置の第2の実施の形態のストロボWB補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のRAW−RGBがSDRAMに格納される(S1)。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をCCDで検出することで調節している。
SDRAMに格納されたRAW−RGBは、ブロック分割手段である信号処理部のCCDI/Fの一部である検波回路によって水平16×垂直16の256ブロックに分割される。
また、同時に撮影時のAWB評価値(ホワイトバランス評価値)、AE評価値(輝度信号積算結果)とAE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置)が内部のRAMへ格納される(S2)。AWB評価値はブロック毎にR、G、Bそれぞれを積算し1画素あたりのR、G、Bを算出したあとG/R、G/Bという形で表される。AE評価値はブロック毎にR、G、Bそれぞれを積算し1画素あたりのR、G、Bを算出した後、以下の式の結果で表される。

AE評価値=0.299R+0.587G+0.114B

次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数(k)を、モニタリング画像に対応したブロック毎のAE評価値及び/または撮影時のブロック毎のAE評価値に対して設定する(S3;露出補正係数算出手段)。撮影直前のモニタリング画像(第1の撮像信号)に対応したAE評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがRAMに格納される。また、撮影時と同様にこの時のAE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置、画素加算分)も内部のRAMに格納される。

また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分によるストロボ寄与率算出が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数(k)を掛けることが好ましい。

また、露光量が多い画像の露光量に合わせるように、露光量の少ない画像に露出補正係数(k)を掛ける場合、一定以下のAE評価値ではノイズが占める割合が大きくなるため下位1EV以下のAE評価値のブロックに対しては、後述する算出方法で算出した露出補正係数(k)に対してAE評価値に連動して線形に変化するように重み付けを行うことが好ましい。
具体的には、例えば、下記式に示すような露出補正係数(k)に対してAE評価値の重み付けを行う演算を用いて算出することができる。

k’=k×(AE評価値/1EV分のAE評価値)

更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各ブロックの露出補正係数(k’)に対して加味することが好ましい。

図4に本実施の形態におけるAE制御値の例を示すが、本発明におけるAE制御値はこれに限定されるものではない。
各AE制御値の1ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各AE制御値の加算結果から減算によって撮影時とモニタリング時の明るさの差分(delta Ev)を求めることができる。本実施の形態におけるAE制御値の例では制御値の差が16で1EV差、つまり明るさが2倍違うことになる。露出補正係数(k)の算出方法を下記式1に示す。

モニタリング時に水平垂直の画素を加算した結果からAE評価値を算出している場合は露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数(k)の算出方法は下記式2となる。例えば、モニタリング時は水平2画素、垂直2画素を合計した結果(4画素分)がCCDから読み出される場合、画素加算を行わない撮影時(1画素分)に比べて、モニタリング時は2EV(4倍)明るいことになる。

次いで、同一ブロックの撮影画像のAE評価値と撮影直前のモニタリング画像のAE評価値との減算によるブロック毎のストロボ光量を算出する(S4)。
尚、本発明におけるストロボ照射領域の判定方法はS4の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。

S1〜S4により、撮影時とモニタリング時で露光量が異なる場合でもブロック毎のストロボ光量を算出することが可能となる。

さらに、各ブロックについて、外光量とストロボ光量の割合から、当該ブロックにおけるストロボ寄与率を算出する。外光量とは、露出補正後のモニタリング画像のAE評価値を指す。また、各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを100%とした場合のストロボ光量の割合を示す。

次に、白抽出を行う(S5;白検出手段)。白抽出は画面全体におけるブロック単位で取得したAWB評価値に対して、閾値以下のブロックを白抽出ブロックとして記憶するか、ストロボ寄与率が一定以下のブロックの中から、閾値未満のブロックを白抽出ブロックとして記憶する。

白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるAWB評価値と、AE評価値とに基づき演算することで、第1ホワイトバランス補正係数を算出できる。
第1ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式3に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

さらに、ストロボ寄与率に応じて、第1ホワイトバランス係数と、ストロボの影響が100%時に良好なホワイトバランスに補正することができる第2ホワイトバランス係数と、に基づき演算することで、ブロック毎に第3ホワイトバランス補正係数を算出できる。
第3ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第2ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式6に示すように、第1ホワイトバランス係数と、第2ホワイトバランス係数との加重平均でブロック毎に算出できる。

白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのAWB評価値とAE評価値とに基づき演算することで、第1ホワイトバランス補正係数を算出できる。
第1ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式4に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第1ホワイトバランス補正係数とする。

さらに、ストロボ寄与率に応じて、第1ホワイトバランス係数と、ストロボの影響が100%時に良好なホワイトバランスに補正することができる第2ホワイトバランス係数と、に基づき演算することで、ブロック毎に第3ホワイトバランス補正係数を算出できる(S6)。
第3ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第2ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式6に示すように、第1ホワイトバランス係数と、第2ホワイトバランス係数との加重平均でブロック毎に算出できる(S6;第1〜3ホワイトバランス補正係数算出手段)。

ここで、第2ホワイトバランス補正係数とは、予めストロボの影響が100%時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のWBと上限電圧で発光した時のWBとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第2ホワイトバランス補正係数を算出することが好ましい。

次にSDRAMよりRAW−RGBを読み出し、図6のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第3ホワイトバランス補正係数Rgain、Bgainを対応するブロックの中央画素に設定する(S7;ホワイトバランス設定手段)。

以降、ブロック毎のホワイトバランス補正係数の設定方法(図10のS8〜S9)は第1の実施の形態の(図3のS8〜S9)と同様である。

本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいホワイトバランス補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でも、それぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
また、ブロック単位のAE評価値の差分から領域分割を行うため、計算量を少なくすることができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。

本実施の形態では撮影画像及びモニタリング画像に対して水平16×垂直16のブロックで分割したが任意の分割数で分割しても良い。

〔第3の実施の形態〕
第1の実施の形態では撮影時とモニタリング時の各ブロックのAE評価値の差分から領域分割を行ったが、本実施の形態では画像処理(WB、ガンマ補正、色補正等)後の撮影画像と撮影直前のモニタリング画像の輝度を基に画素単位で領域分割を行う。

図12は本発明に係る撮像装置の第3の実施の形態のストロボWB補正の一連の処理をフローにしたものである。

最初に、ストロボ発光による撮影時のRAW−RGBとYUVがSDRAMに格納される(S1)。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をCCDで検出することで調節している。

また、同時に撮影時のAWB評価値、AE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置)が内部のRAMへ格納される(S2)。

次に、SDRAMから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のSDRAM領域に保存する(S3)。

撮影時と撮影直前のモニタリングのYUVに対してデガンマ処理を行う(S4)。撮影時と撮影直前のモニタリングのYUVはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図11にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。

次に、撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する(S5)。輝度情報の算出方法を以下に示す。

輝度情報=0.299R+0.587G+0.114B

次に、撮影直前のモニタリング画像(第1の撮像信号)の露光量と撮影画像の露光量とが同じになるよう露出補正係数(k)をモニタリング画像及び/または撮影画像の各画素の輝度情報に対して設定する(S6;露出補正係数算出手段)。露出補正係数の算出方法は第1の実施の形態と同様である。モニタリング画像はCCDI/Fを通って画像処理された後YUVとして随時SDRAMに上書き保存される。また、撮影直前のモニタリング時のAE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置、画素加算分)は内部のRAMに格納される。

同一画素において、撮影画像の輝度情報からモニタリング画像の輝度情報を減算し、予め設定されている基準値と比較し、基準値以上の画素をストロボ照射領域とし基準値未満の画素をストロボ非照射領域とする領域分割を行う(S7)。さらに、画素単位の領域分割結果を基に、複数画素で構成されるブロック単位で領域を分割する(S8;領域分割手段)。

図5はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図5の1はストロボ照射領域を表し、図5の2はストロボ非照射領域を表す。

ブロックの分割はAWB評価値、AE評価値を算出するためのRGB積算値を取得する際に設定したものと対応付けされており、ブロックのストロボ照射領域またはストロボ非照射領域かの判別はブロック内に含まれるストロボ照射領域の画素の割合によって判別される。

次に、領域毎にそれぞれ白抽出を行う(S9;白検出手段)。白抽出は領域毎にブロック単位で取得したAWB評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。

ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるAWB評価値とAE評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式3に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるAWB評価値とAE評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式4に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。

ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるAWB評価値とAE評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式5に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる(S10;補正係数算出手段)。

図6のようにブロックの中央に位置する画素をブロック中央画素とし領域毎に算出したWB補正係数Rgain、Bgainをそれぞれの領域に対応するブロック中央画素に設定する(S11;ホワイトバランス演算手段)。図6の3はストロボ照射領域で算出したホワイトラバランス補正係数Rgain、Bgainを設定するブロック中央画素、図6の4はストロボ非照射領域に算出したRgain、Bgainを設定するブロック中央画素である。

以降、ブロック毎のWB補正係数の設定方法(図12のS12〜S13)は第1の実施の形態(図3のS8〜S9)と同じである。

本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
また、画素間の補正係数にローパスフィルタがかかる為、WB補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、領域毎にWB補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べWB補正係数の算出に要する計算量を少なくすることができる。
さらに、ブロック内に画素単位でストロボ照射領域とストロボ非照射領域が混在する場合でもブロック内で占める画素単位の領域分割結果の割合に応じて細かくブロック毎の領域分割を行うことができる。

本実施の形態では撮影画像及びモニタリング画像に対して水平16×垂直16のブロックで分割したが任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像の同一ブロック毎にストロボ光量からストロボ照射領域かストロボ非照射領域かの判別を行うため撮影画像とモニタリング画像の分割数を合わせる必要がある。

〔第4の実施の形態〕
第3の実施の形態では画素単位でストロボ照射領域とストロボ非照射領域に分割し、更にブロック内のストロボ照射領域の割合に応じてブロック単位に領域を分割した結果それぞれの領域毎にWB補正係数を算出するのに対し、本実施の形態では画素毎にストロボ光量を算出し、更にブロック内のストロボ光量に応じてブロック単位に領域を分割して、ブロック毎にストロボ光量の割合に応じたWB補正係数を算出する。

図13は本実施例に係るストロボWB補正の一連の処理をフローにしたものである。
最初にストロボ発光による撮影時のRAW−RGBとYUVがSDRAMに格納される(S1)。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をCCDで検出することで調節している。

また、同時に撮影時のAWB評価値、AE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置)が内部のRAMへ格納される(S2)。

次に、SDRAMから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のSDRAM領域に保存する(S3)。

撮影時と撮影直前のモニタリングのYUVに対してデガンマ処理を行う(S4)。撮影時と撮影直前のモニタリングのYUVはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図11にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。

次に撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する(S5)。輝度情報の算出方法を以下に示す。

輝度情報=0.299R+0.587G+0.114B

次に、撮影直前のモニタリング画像(第1の撮像信号)の露光量と撮影画像の露光量とが同じになるよう露出補正係数(k)をモニタリング画像及び/または撮影画像の各画素の輝度情報に対して設定する(S6;露光補正係数算出手段)。露出補正係数の算出方法は第1の実施の形態と同様である。モニタリング画像はCCDI/Fを通って画像処理された後YUVとして随時SDRAMに上書き保存される。また、撮影直前のモニタリング時のAE制御値(シャッタースピード、絞り値、AGCのゲイン値、NDフィルタ位置、画素加算分)は内部のRAMに格納される。

また、露光量を合わせる際、光量のない画素に露出補正係数を乗算しても変化が無く差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数(k)を掛けることが好ましい。

更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各画素の露出補正係数に対して加味することが好ましい。

次に、同一画素において、撮影画像の輝度情報とモニタリング画像の輝度情報との減算による画素単位のストロボ光量を算出する(S7)。

さらに、複数画素で構成されるブロック単位で領域を分割する(S8;領域分割手段)。ブロックの分割はAWB評価値、AE評価値を算出するためのRGB積算値を取得する際に設定したものと対応付けされている。
そして、画素単位のストロボ光量を基にブロック単位のストロボ光量を算出する(S9;ストロボ光量算出手段)。

各ブロックにおける外光量とストロボ光量との割合から、各ブロックのストロボ寄与率を算出する。外光量は露出補正後のモニタリング画像のAE評価値を指す。各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを100%とした場合のストロボ光量の割合を示す。

次に、白抽出を行う(S10;白検出手段)。白抽出は画面全体からブロック単位で取得したAWB評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する、若しくは、ストロボ寄与率が一定以下のブロックの中から、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。

白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるAWB評価値と、AE評価値とに基づき演算することで、第1ホワイトバランス補正係数を算出できる。
第1ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式3に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

さらに、ストロボ寄与率に応じて、第1ホワイトバランス係数と、ストロボの影響が100%時に良好なホワイトバランスに補正することができる第2ホワイトバランス係数と、に基づき演算することで、ブロック毎に第3ホワイトバランス補正係数を算出できる。
第3ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第2ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式6に示すように、第1ホワイトバランス係数と、第2ホワイトバランス係数との加重平均でブロック毎に算出できる。

白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのAWB評価値とAE評価値とに基づき演算することで、第1ホワイトバランス補正係数を算出できる。
第1ホワイトバランス補正係数は、AE評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式4に示すように、AWB評価値にAE評価値の重み付けを行うことで算出できる。

若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第1ホワイトバランス補正係数とする。

さらに、ストロボ寄与率に応じて、第1ホワイトバランス係数と、ストロボの影響が100%時に良好なホワイトバランスに補正することができる第2ホワイトバランス係数と、に基づき演算することで、ブロック毎に第3ホワイトバランス補正係数を算出できる(S6)。
第3ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第2ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式6に示すように、第1ホワイトバランス係数と、第2ホワイトバランス係数との加重平均でブロック毎に算出できる(S11;第1〜3ホワイトバランス補正係数算出手段)。

ここで、第2ホワイトバランス補正係数とは、予めストロボの影響が100%時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のWBと上限電圧で発光した時のWBとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第2ホワイトバランス補正係数を算出することが好ましい。

次にSDRAMよりRAW−RGBを読み出し、図6のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第3ホワイトバランス補正係数Rgain、Bgainを対応するブロックの中央画素に設定する(S12;ホワイトバランス演算手段)。

以降、ブロック毎のWB補正係数の設定方法(図13のS13〜S14)は第1の実施の形態(図3のS8〜S9)と同じである。

本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいWB補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、WB補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
またさらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。

本実施の形態では撮影画像及びモニタリング画像に対して水平16×垂直16のブロックで分割したが任意の分割数で分割しても良い。

〔第5の実施の形態〕
図14は第5の実施の形態に係るストロボWB補正の一連の処理のフローを示す。
最初にストロボ発光での撮影画像(第2の撮像信号)がYCCデータとしてSDRAMに格納される(メモリ格納手段)。この時、撮影画像には直前までモニタリング画像に対して設定されていたWBゲイン、ガンマテーブル、色補正パラメータが適用される(S1)。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をCCDで検出することで調節している。

次に、SDRAMから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものを、リサイズ前の撮影画像とは別のSDRAM領域に保存する(S2)。

このリサイズ後の撮影画像に対して画像全体を格子状に水平16×垂直16のブロックに分割し(ブロック分割手段)、ブロック毎にY信号の積算値を算出(輝度信号算出手段)する(S3)。

さらに、撮影直前のモニタリング画像(第1の撮像信号)に対して撮影画像と同じ露出条件となるよう露出補正係数(k)をモニタリング画像の各画素のY信号に対して設定する(S4)。モニタリング画像はCCDI/Fを通って画像処理された後YCCデータとして、随時SDRAMに上書き保存される(メモリ格納手段)。
露出補正係数(k)は下記式によって算出される。また、撮影時と撮影直前のモニタリング画像のシャッタースピード、絞り値、NDフィルタ位置は同じものとする。

k = stillAGC/monAGC

ここで、stillAGCは撮影画像時AGC、monAGCはモニタリング画像時AGCを表す。

次に、SDRAMから露出補正後のモニタリング画像を読み出し、モニタリング画像全体を格子状に水平16×垂直16のブロックに分割し(ブロック分割手段)、ブロック毎にY信号の積算値を算出(輝度信号積算手段)する(S5)。

さらに、同一ブロックの撮影画像のY信号積算値から、モニタリング画像のY信号積算値を減算して予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし、基準値以下のブロックをストロボ非照射領域とする領域分割(ストロボ光量算出手段、領域分割手段)を行う(S6)。

図5はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図5の1はストロボ照射領域を表し、図5の2はストロボ非照射領域を表す。

次に、領域毎にAWB評価値を求める為、それぞれの領域に対応する複数のブロックのRGBを積算する(S7)。

さらに、領域毎にそれぞれ白抽出(白検出手段)を行う(S8)。白抽出は領域毎にブロック単位で取得したAWB評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。

ここで、それぞれの領域に対して白抽出ブロック数がある一定基準以上である場合は、白抽出ブロックのAWB評価値と当該ブロックの平均輝度値の重み付けによってWB補正係数を算出する。また、一定基準以上でない場合は、領域内の全ブロックのAWB評価値と当該ブロックの平均輝度値の重み付けによってWB補正係数を算出するか、当該領域以外の領域で算出したWB補正係数を当該領域のWB補正係数とする(S9)。ここで、S9は本発明における補正係数算出手段である。

各領域いずれにも一定基準を満たす白抽出ブロックが存在しない場合、画面全体における各ブロックのAWB評価値と、当該ブロックの平均輝度値の重み付けによってWB補正係数を算出する。

図6のようにブロックの中央に位置する画素をブロック中央画素とし、領域毎に算出したWB補正係数(第1補正係数)Rgain、Bgainをそれぞれの領域に対応するブロック中央画素に設定する(S10)。図6の領域中心に配置された白丸はストロボ照射領域で算出したWB補正係数Rgain、Bgainを設定するストロボ照射領域ブロック中央画素3、図6の領域中心に配置された黒丸はストロボ非照射領域に算出したRgain、Bgainを設定するストロボ非照射領域ブロック中央画素4である。

非ブロック中央画素のWB補正係数(第2補正係数)Rgain、Bgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているWB補正係数(第1補正係数)と、当該画素からの距離による補間によって求める(S11)。ここで、S10及びS11は本発明におけるホワイトバランス演算手段である。

図7に示す補間によるWB補正係数の算出方法の説明図を基に、非ブロック中央画素のWB補正係数算出方法を説明する。補間によるWB補正係数の算出を行うWB補正係数の算出対象を非ブロック中央画素11とし、非ブロック中央画素11の周辺のブロック中央画素を夫々R0、R1、R2、R3とする。R3を1で正規化しWB補正係数の算出対象となる非ブロック中央画素の位置をx、yで表し、以下の式によってWB補正係数を算出する。

gain=(1−x)(1−y)R0+x(1−y)R1+(1−x)yR2+xyR3
gain=(1−x)(1−y)B0+x(1−y)B1+(1−x)yB2+xyB3

図8の12部分の画素のように周辺のブロック中央画素が1つしか存在しない場合は、当該ブロック中央画素のWB補正係数を12部分のWB補正係数(第2補正係数)として設定する。

図9の13、14、15、16部分の画素のように周辺のブロック中央画素が2つしか存在しない場合は、当該2のブロック中央画素の2つの補正係数と当該画素からの距離による補間によってWB補正係数(第2補正係数)を求める。計算式は以下の式に示す。

領域13の場合
gain=(1−x)R2+xR3
gain=(1−x)B2+xB3

領域14の場合
gain=(1−x)R0+xR1
gain=(1−x)B0+xB1

領域15の場合
gain=(1−y)R1+yR3
gain=(1−y)B1+yB3

領域16の場合
gain=(1−y)R0+yR2
gain=(1−y)B0+yB2

画面全体のR、Bデータそれぞれに対して、画素毎に算出したWB補正係数Rgain、Bgainを掛ける(S12)。

(周辺の中央画素)
また、本発明における周辺の中央画素とは、周辺に配置されている中央画素のことを指し、例えば、周辺の中央画素と第2補正係数を取得する画素とを結ぶ線分が、全ての中央画素同士を格子状に結ぶ線分と交差しないような中央画素のことを言う。
但し、中央画素と第2補正係数を取得する画素を結ぶ線分は、1のブロックの対角線の線分の長さ以下である。

また、周辺の中央画素は、第2補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか1の線上に存在する場合は、当該線分及び中央画素同士を結ぶ線分によって構成される四角形のうち、最小の四角形を構成する4の中央画素であることが好ましい。

また一方、周辺の中央画素は、第2補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか1の線上に存在する場合は、当該線分の両端に配置された2の中央画素であっても良い。

本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。また、画素間の補正係数にローパスフィルタがかかる為、WB補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。

さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。

またさらに、領域毎にWB補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べWB補正係数の算出に要する計算量を少なくすることができる。

本実施の形態では、撮影画像及びモニタリング画像に対して水平16×垂直16のブロックで分割したが任意の分割数で分割しても良い。その場合は、領域分割の際に撮影画像とモニタリング画像の同一ブロック毎に、Y信号の積算値からストロボ照射領域か、ストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。

1 ストロボ照射領域
2 ストロボ非照射領域
3 ストロボ照射領域ブロック中央画素
4 ストロボ非照射領域ブロック中央画素
12、13、14、15、16 領域

特許3569352号公報

Claims (9)

  1. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
    前記撮像信号をメモリに格納する撮像手段と、
    前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
    前記撮像手段は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像機能と、
    ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像機能と、を有し、
    前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割手段と、
    当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
    前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
    前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
    該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第1ホワイトバランス補正係数を算出する第1ホワイトバランス補正係数算出手段と、
    ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第2ホワイトバランス補正係数を算出する第2ホワイトバランス補正係数算出手段と、
    当該分割されたブロック毎のストロボ光量に基づき、前記第1ホワイトバランス補正係数と、前記第2ホワイトバランス補正係数と、の加重平均で第3ホワイトバランス補正係数を算出する第3ホワイトバランス補正係数算出手段と、
    当該分割されたブロック毎に前記第3ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。
  2. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
    前記撮像信号をメモリに格納する撮像手段と、
    前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
    前記撮像手段は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像機能と、
    ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像機能と、を有し、
    前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割手段と、
    当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
    前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
    前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
    当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
    所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、
    当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。
  3. 当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
    前記ホワイトバランス演算手段は、
    前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第1補正係数取得手段と、
    前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第2補正係数取得手段とを備えることを特徴とする請求項1または2に記載の撮像装置。
  4. 光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
    前記撮像信号をメモリに格納する撮像工程と、
    前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
    前記撮像工程は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像工程と、
    ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像工程と、を有し、
    前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割工程と、
    当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
    前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
    前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
    該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第1ホワイトバランス補正係数を算出する第1ホワイトバランス補正係数算出工程と、
    ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第2ホワイトバランス補正係数を算出する第2ホワイトバランス補正係数算出工程と、
    当該分割されたブロック毎のストロボ光量に基づき、前記第1ホワイトバランス補正係数と、前記第2ホワイトバランス補正係数と、の加重平均で第3ホワイトバランス補正係数を算出する第3ホワイトバランス補正係数算出工程と、
    当該分割されたブロック毎に前記第3ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。
  5. 光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
    前記撮像信号をメモリに格納する撮像工程と、
    前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
    前記撮像工程は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像工程と、
    ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像工程と、を有し、
    前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割工程と、
    当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
    前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
    前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
    当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
    所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、
    当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。
  6. 当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
    前記ホワイトバランス演算工程は、
    前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第1補正係数取得工程と、
    前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第2補正係数取得工程とを備えることを特徴とする請求項4または5に記載の撮像方法。
  7. 画像処理機能を有する装置が備えるコンピュータに、
    光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
    前記撮像信号をメモリに格納する撮像処理と、
    前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記撮像処理は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像処理と、
    ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像処理と、を有し、
    前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割処理と、
    当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
    前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
    前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
    該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第1ホワイトバランス補正係数を算出する第1ホワイトバランス補正係数算出処理と、
    ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第2ホワイトバランス補正係数を算出する第2ホワイトバランス補正係数算出処理と、
    当該分割されたブロック毎のストロボ光量に基づき、前記第1ホワイトバランス補正係数と、前記第2ホワイトバランス補正係数と、の加重平均で第3ホワイトバランス補正係数を算出する第3ホワイトバランス補正係数算出処理と、
    当該分割されたブロック毎に前記第3ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 画像処理機能を有する装置が備えるコンピュータに、
    光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
    前記撮像信号をメモリに格納する撮像処理と、
    前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記撮像処理は、ストロボ発光なしの撮像信号を第1の撮像信号として前記メモリに格納する第1撮像処理と、
    ストロボ発光ありの撮像信号を第2の撮像信号として前記メモリに格納する第2撮像処理と、を有し、
    前記第1の撮像信号及び前記第2の撮像信号を複数のブロックに分割するブロック分割処理と、
    当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
    前記第1の撮像信号のシェーディング補正パラメータと前記第2の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第1の撮像信号のブロックの輝度信号または前記第2の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第1の撮像信号のブロックの輝度積算結果と、前記第2の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
    前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
    当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
    所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、
    当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  9. 当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
    前記ホワイトバランス演算処理は、
    前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第1補正係数取得処理と、
    前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第2補正係数取得処理とを備えることを特徴とする請求項7または8に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012252080A 2007-09-18 2012-11-16 撮像装置、撮像方法 Active JP5660341B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007240479 2007-09-18
JP2007240479 2007-09-18
JP2012252080A JP5660341B2 (ja) 2007-09-18 2012-11-16 撮像装置、撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012252080A JP5660341B2 (ja) 2007-09-18 2012-11-16 撮像装置、撮像方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008053678 Division 2008-03-04

Publications (2)

Publication Number Publication Date
JP2013034261A JP2013034261A (ja) 2013-02-14
JP5660341B2 true JP5660341B2 (ja) 2015-01-28

Family

ID=40666468

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008053678A Active JP5169318B2 (ja) 2007-09-18 2008-03-04 撮像装置、撮像方法
JP2012252080A Active JP5660341B2 (ja) 2007-09-18 2012-11-16 撮像装置、撮像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008053678A Active JP5169318B2 (ja) 2007-09-18 2008-03-04 撮像装置、撮像方法

Country Status (1)

Country Link
JP (2) JP5169318B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5187241B2 (ja) 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
JP5566680B2 (ja) * 2009-12-24 2014-08-06 三星電子株式会社Samsung Electronics Co.,Ltd. 撮像装置及び撮像方法
JP5566679B2 (ja) * 2009-12-24 2014-08-06 三星電子株式会社Samsung Electronics Co.,Ltd. 撮像装置及び撮像方法
JP5458937B2 (ja) 2010-02-17 2014-04-02 株式会社リコー 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体
JP5665436B2 (ja) 2010-09-02 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8773577B2 (en) 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
JP2012134678A (ja) * 2010-12-20 2012-07-12 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法
JP5885416B2 (ja) * 2011-07-14 2016-03-15 キヤノン株式会社 撮像装置及び撮像装置の制御方法
KR102170686B1 (ko) 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
JP6274931B2 (ja) * 2014-03-19 2018-02-07 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6021885B2 (ja) * 2014-12-02 2016-11-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569352B2 (ja) * 1994-05-31 2004-09-22 ペンタックス株式会社 ホワイトバランス調整装置
JP3540485B2 (ja) * 1995-04-13 2004-07-07 株式会社リコー 電子スチルカメラ
JP2000102025A (ja) * 1998-09-25 2000-04-07 Minolta Co Ltd デジタルカメラ
JP2002369211A (ja) * 2001-06-08 2002-12-20 Toshiba Corp 電子スチルカメラ装置
JP4163463B2 (ja) * 2001-08-02 2008-10-08 オリンパス株式会社 電子カメラ
JP2003259390A (ja) * 2002-03-01 2003-09-12 Canon Inc ホワイトバランス補正装置およびそれを備えた撮像装置、その制御方法、その制御方法を動作させるプログラム、およびそのプログラムを記憶した記憶媒体
JP4433883B2 (ja) * 2004-05-31 2010-03-17 カシオ計算機株式会社 ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置

Also Published As

Publication number Publication date
JP2013034261A (ja) 2013-02-14
JP2009094997A (ja) 2009-04-30
JP5169318B2 (ja) 2013-03-27

Similar Documents

Publication Publication Date Title
US9270875B2 (en) Dual image capture processing
JP5701664B2 (ja) 撮像装置
TWI524709B (zh) 影像擷取設備、影像擷取設備之控制方法及電子裝置
JP5784642B2 (ja) 低解像度画像を用い高解像度画像を生成する方法及び装置
EP2216987B1 (en) Image capturing apparatus and control method thereof
US8872937B2 (en) Image capture apparatus and image capturing method
EP2134079B1 (en) Image processing apparatus, imaging apparatus, image processing method and program
US8633998B2 (en) Imaging apparatus and display apparatus
US6812969B2 (en) Digital camera
US7706674B2 (en) Device and method for controlling flash
KR101427660B1 (ko) 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
EP1437886B1 (en) Imager and image quality correcting method
US8305487B2 (en) Method and apparatus for controlling multiple exposures
US8395694B2 (en) Apparatus and method for blurring image background in digital image processing device
CN102131056B (zh) 摄像装置和摄像方法
US8830348B2 (en) Imaging device and imaging method
JP3551123B2 (ja) 電子カメラ
JP4210021B2 (ja) 画像信号処理装置および画像信号処理方法
US9148561B2 (en) Image capturing apparatus, executable autoexposure bracketing and control method thereof
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
US8928783B2 (en) Imaging apparatus including switchable edge extraction
JP6346793B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US20140168463A1 (en) Image-processing device and imaging apparatus
US8823857B2 (en) Image apparatus
JP2004328461A (ja) オートホワイトバランス調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141118

R151 Written notification of patent or utility model registration

Ref document number: 5660341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151