JP5458937B2 - 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体 - Google Patents

Description

本発明は、ホワイトバランス制御を行う技術を備えた撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体に関する。

近年、撮像装置として、報道写真を目的とするプロフェッショナル用のデジタルカメラを除いて、電球や白熱灯等のいわゆる赤い光源による低色温度光源下での撮影の際には、その低色温度光源による撮影環境下での撮影がされたという雰囲気を撮影画像に残すため、意図的に「白い被写体」を撮影したときの撮影画像が完全には白くならないようにホワイトバランス補正を行うものが一般的になっている。

しかし、撮影者によっては、光源による色味を撮影画像に残さずに「白い」被写体は白く写した方がきれいであると判断する等、撮影者の好みによる問題もあり、光源の色味を撮影画像に残すかどうかを撮影者が選択できるようにしたものもある（特許文献１参照）。

ところで、低色温度光源による撮影環境下での撮影には、撮影者の好みに応じて照明光源の色味を撮影画像に残すかどうかを撮影者に選択させるという問題の他に、被写体に起因する問題がある。

例えば、被写体がもともと彩度の高い暖色系統のものの場合、低色温度光源下でその被写体を撮影した場合、光源の色合いを撮影画像に残すというホワイトバランス補正処理を行うと、その結果、「赤」が飽和してしまって、色再現が劣化することになり、低色温度光源による撮影環境下での撮影画像の品質が劣化する。被写体が「肉」や「刺身」等の彩度の高い暖色系統の飲食物の場合に、この色再現が劣化すると、新鮮に感じられる飲食物が新鮮に感じられなくなる等、望ましくない画像品質となる。特に、マクロ撮影や被写体までの距離が近い場合にこの画像品質が問題となる。

このような場合、撮影者が被写体の色味に応じて光源の色味を残すか否かの判断を行って、手動によりホワイトバランス処理を行わないという選択肢もあるが、操作が煩雑となり、その判断も困難な場合がある。

本発明は、上記事情に鑑みてなされたもので、低色温度光源の撮影環境下であっても、煩雑な操作を行わず、マクロ撮影若しくは被写体までの距離が近づくに伴って自動的に光源の色合いを残さないホワイトバランス補正に移行することのできる撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体を提供することにある。

本発明の請求項１に記載の撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、マクロ撮影であるか否かを判定するマクロ撮影判定手段と、色情報に基づいて低色温度光源下であるか否かの判定を行う低色温度光源判定手段と、前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出する第一ホワイトバランス補正係数算出手段と、前記低色温度光源下でかつ前記マクロ撮影の時に前記色温度光源の色合いを加味しない撮影画像が得られるようにホワイトバランス補正係数を算出する第二ホワイトバランス補正係数算出手段とを備え、前記低色温度光源下のときに前記マクロ撮影判定結果に基づいて前記第一ホワイトバランス補正係数算出手段と前記第二ホワイトバランス補正係数算出手段との算出処理を切り替えることを特徴とする。マクロ撮影であるか否かの判定は、フォーカス位置とズーム位置とによって判断を行うのが望ましい。

本発明の請求項３に記載の撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、被写体までの距離を算出する被写体距離算出手段と、色情報に基づいて低色温度光源下であるか否かの判定を行う低色温度光源判定手段と、前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、前記被写体までの距離が近くなるに伴って前記色温度光源の色合いを加味した撮影画像が抑制されるように前記ホワイトバランス補正係数算出手段により算出されるべきホワイトバランス補正係数を調整する調整手段とを備え、
前記低色温度光源下の場合に被写体距離に応じて光源の色合いを加味する度合いを調整することを特徴とする。
低色温度光源であるか否かの判定は、色情報と輝度情報とに基づき判断を行うのが望ましい。

本発明の請求項５に記載の撮像方法は、光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、マクロ撮影であるか否かを判定するマクロ撮影判定ステップと、前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出する第一ホワイトバランス補正係数算出ステップと、前記低色温度光源下でかつ前記マクロ撮影の時に前記色温度光源の色合いを加味しない撮影画像が得られるようにホワイトバランス補正係数を算出する第二ホワイトバランス補正係数算出ステップと、前記低色温度光源下のときにマクロ撮影判定結果に基づいて前記第一ホワイトバランス補正係数算出ステップと前記第二ホワイトバランス補正係数算出ステップとの算出処理を切り替えることを特徴とする。

本発明の請求項７に記載の撮像方法は、光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、被写体までの距離が近くなるに伴って前記色温度光源の色合いを加味した撮影画像が抑制されるように前記ホワイトバランス補正係数算出手段により算出されるべきホワイトバランス補正係数を調整する調整ステップとを備え、前記低色温度光源下の場合に被写体距離に応じて光源の色合いを加味する度合いを調整することを特徴とする。

本発明の請求項９に記載のプログラムは、画像処理機能を有する撮像装置に搭載されたコンピュータに読み取らせるプログラムであって、光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、マクロ撮影であるか否かを判定するマクロ撮影判定ステップと、前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出する第一ホワイトバランス補正係数算出ステップと、前記低色温度光源下でかつ前記マクロ撮影の時に前記色温度光源の色合いを加味しない撮影画像が得られるようにホワイトバランス補正係数を算出する第二ホワイトバランス補正係数算出ステップと、 前記低色温度光源下のときに前記マクロ撮影判定結果に基づいて前記第一ホワイトバランス補正係数算出ステップと前記第二ホワイトバランス補正係数算出ステップとの算出処理を切り替える処理を実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体である。

本発明の請求項１０に記載のプログラムは、画像処理機能を有する撮像装置に搭載されたコンピュータに読み取らせるプログラムであって、光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、被写体までの距離が近くなるに伴って前記色温度光源の色合いを加味した撮影画像が抑制されるように前記ホワイトバランス補正係数算出手段により算出されるべきホワイトバランス補正係数を調整する調整ステップとをさせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、低色温度光源下であっても、煩雑な操作を行わず、マクロ撮影若しくは被写体までの距離が近づくに伴って自動的に光源の色合いを残さないホワイトバランス補正に移行することができるという効果を奏する。

図１（ａ）は本発明に係るデジタルカメラの正面図である。 図１（ｂ）は図１（ａ）に示すデジタルカメラの上面図である。 図１（ｃ）は図１（ａ）に示すデジタルカメラの背面図である。 図２はデジタルカメラのシステム構成を示すブロック図である。 図３は画面分割の一例を示す模式図である。 図４は本発明の実施例１に係る作用を説明するためのフローチャートである。 図５はＲゲイン−Ｂゲイン座標の説明図である。 図６は本発明の実施例１に係る屋外加重率の一例を示す特性図である。 図７は本発明の実施例２に係る作用を説明するためのフローチャートである。 図８は本発明の実施例２に係る屋外加重抑圧係数の一例を示す特性図である。

以下に、本発明に係る撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体の実施例を図面を参照しつつ説明する。

（デジタルカメラの外観構成）
図１（a）ないし図１（ｃ）は、本発明に係る撮像装置としてのデジタルカメラの概略図である。この図１（a）ないし図１（ｃ）において、符号１はデジタルカメラである。
デジタルカメラ１の正面（前面）側には、図１（a）に示すように、後述する撮影レンズ系を有する鏡胴ユニット２、ストロボ発光部３、光学ファインダ４が設けられている。
デジタルカメラ１の上部には、図１（ｂ）に示すように、レリーズボタン（シャッタボタン）５、電源ボタン６、撮影・再生切替ダイアル７が設けられている。

デジタルカメラ１の背面側には、図１（ｃ）に示すように、液晶モニタ（ＬＣＤ）８、光学ファインダ４の接眼レンズ部９、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部（図示を略す）が設けられている。

（デジタルカメラのシステム構成）
デジタルカメラ１の内部には、図２に示すように、後述する撮影レンズ系（光学系）を通して入射する像形成光束を受像する固体撮像素子（ＣＣＤ）１５、固体撮像素子１５から出力される電気信号としての撮像信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（ＡＦＥ部）１６、ＡＦＥ部１６から出力されるデジタル信号を処理する信号処理部１７、データを一時的に格納するＳＤＲＡＭ１８、制御プログラム等が記憶されたＲＯＭ（コンピュータが読み取り可能な記録媒体）１９、モータドライバ２０等が設けられている。

鏡胴ユニット２は、ズームレンズ２１やフォーカスレンズ２２等を有する撮影レンズ系１４、絞りユニット（図示を略す）、メカシャッタユニット２３を備えている。
撮影レンズ系１４、絞りユニット（図示を略す）、メカシャッタユニット２３の各駆動ユニット（図示を略す）は、モータドライバ２０によって駆動される。モータドライバ２０は、信号処理部１７の制御部（ＣＰＵ：コンピュータ）２４からの駆動信号により駆動制御される。

固体撮像素子１５には、各種の撮像素子を用いることができるが、ここでは、ＣＣＤから構成され、このＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されている。これにより、CCDからＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部１６は、ＣＣＤを駆動するＴＧ部（タイミング信号発生部）２５、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ部（相関２重サンプリング部）２６、ＣＤＳ部２６においてサンプリングされたアナログＲＧＢ画像信号のゲインを調整するＡＧＣ部（アナログ利得制御部）２７、ＡＧＣ部２７でゲイン調整されたアナログＲＧＢ画像信号を生のデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄ変換器２８を備えている。

信号処理部１７は、ＡＦＥ部１６のＴＧ部２５へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行う。この信号処理部１７は、これらの同期信号HD、VDに対応して、ＡＦＥ部１６のＡ／Ｄ変換器２８から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ部）２９と、ＳＤＲＡＭ１８を制御するメモリコントローラ３０と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３１と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３２と、この画像データの表示出力を制御する表示出力制御部３３と、この画像データをＪＰＥＧ形式等で記録するためのデータ圧縮部３４と、画像データをメモリカード３５へ書き込み、又は、メモリカード３５に書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）３６とを備えている。

制御部（ＣＰＵ）２４は、操作部３７からの操作入力情報に基づきＲＯＭ１９に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う。
この図２において、操作部３７とは、デジタルカメラ１（図１参照）の表面に設けられているレリーズボタン５、電源ボタン６、撮影・再生切替ダイアル７、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２４に入力される。

ＳＤＲＡＭ１８には、ＣＣＤＩ／Ｆ部２９に取り込まれたＲＡＷ−ＲＧＢデータ３７’が保存されると共に、ＹＵＶ変換部３１で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）３８が保存され、更に、データ圧縮部３４で圧縮処理されたＪＰＥＧ形式などの画像データ３９が保存される。

なお、ＹＵＶデータ３８のＹＵＶは、輝度データＹと、色差（輝度データＹと青色成分データＢの差分Ｕと、輝度データＹと赤色成分データＲの差分Ｖ）の色差情報として「色」を表現する形式である。

（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、デジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するモニタリング動作を実行しながら静止画撮影動作を行う。

先ず、撮影者が電源ボタン６をＯＮし、撮影・再生切替ダイアル７を撮影モード（静止画撮影モード）に設定することにより、デジタルカメラ１は記録モードで起動する。電源ボタンが６がＯＮされて、撮影・再生切替ダイアル７が撮影モードに設定されたことを制御部２４が検知すると、制御部２４はモータドライバ２０に制御信号を出力し、鏡胴ユニット２が撮影可能位置に移動され、かつ、固体撮像素子（ＣＣＤ）１５、ＡＦＥ部１６、信号処理部１７、ＳＤＲＡＭ１８、ＲＯＭ１９、液晶モニタ（ＬＣＤディスプレイ）８等が起動される。

そして、鏡胴ユニット２の撮影レンズ系１４を被写体に向けると、撮影レンズ系１４を通して入射する像形成光束により被写体画像が固体撮像素子（ＣＣＤ）１５の各画素の受光面上に結像される。

これにより、固体撮像素子（ＣＣＤ）１５から出力される被写体画像に応じた撮像信号（アナログＲＧＢ画像信号）が、ＣＤＳ部２６、ＡＧＣ部２７を介してＡ／Ｄ変換器２８に入力され、撮像信号（アナログＲＧＢ画像信号）がＡ／Ｄ変換器２８により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換される。

このＲＡＷ−ＲＧＢデータは、信号処理部１７のＣＣＤＩ／Ｆ部２９に取り込まれ、メモリコントローラ３０を介してＳＤＲＡＭ１８に保存される。そして、ＳＤＲＡＭ１８から読み出されたＲＡＷ−ＲＧＢデータ３７’は、ＹＵＶ変換部３１に送信されて、表示可能な形式のＹＵＶデータ３８に変換された後、ＹＵＶデータ３８がメモリコントローラ３０を介してＳＤＲＡＭ１８に保存される。

そして、ＳＤＲＡＭ１８からメモリコントローラ３０を介して読み出されたＹＵＶデータ３８は、表示出力制御部３３を介して液晶モニタ（ＬＣＤ）ディスプレイ８へ送られ、撮影画像（動画）が表示される。
液晶モニタ（ＬＣＤディスプレイ）８に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ部２９による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤディスプレイ）８に撮影画像（動画）が表示されているだけで、レリーズボタン５は押下（半押も含む）操作されていない状態である。
この撮影画像の液晶モニタ（ＬＣＤディスプレイ）８への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部３３からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。

そして、信号処理部のＣＣＤＩ／Ｆ部２９は、取り込まれたＲＡＷ−ＲＧＢデータ３７’により、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
ＡＦ評価値は、例えば、高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系１４内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータ３７’におけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤの全画素の受光面に対応した液晶モニタ（ＬＣＤディスプレイ）８の画面Ｇを、図３に示すように、２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）し、それぞれのエリア（ブロック）のＲＧＢ積算を算出する。

そして、制御部２４は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、液晶モニタ（ＬＣＤディスプレイ）８の画面Ｇの各エリア（ブロック）の輝度を算出し、輝度分布から適正な露光量を決定する。

この決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢ（オートホワイトバランス）の制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３１でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、ＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。

そして、モニタリング動作時に、レリーズボタン５が押下（半押しから全押し）操作されると、静止画撮影動作が開始され、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
すなわち、レリーズボタン５が押圧（半押しから全押し）操作されると、制御部２４からモータドライバ２０への駆動指令により撮影レンズ系１４のフォーカスレンズ２２が移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系１４のフォーカスレンズ２２は、至近から無限、又は、無限から至近までの間の各フォーカス位置に移動し、制御部２４がＣＣＤＩ／Ｆ部２９で算出されている各フォーカス位置におけるＡＦ評価値を読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズ２２を合焦位置に移動させ、被写体に合焦させる。

そして、ＡＥ処理が行われ、露光完了時点で、制御部２４からモータドライバ２０への駆動指令によりメカシャッタユニット２３が閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング時と同様に、ＡＦＥ部１６のＡ／Ｄ変換器２８によりＲＡＷ−ＲＧＢデータ３７’に変換される。

そして、このＲＡＷ−ＲＧＢデータ３７’は、信号処理部１７のＣＣＤＩ／Ｆ部２９に取り込まれ、ＹＵＶ変換部３１でＹＵＶデータに変換されて、メモリコントローラ３０を介してＳＤＲＡＭ１８に保存される。そして、このＹＵＶデータ３８はＳＤＲＡＭ１８から読み出されて、リサイズ処理部３２で記録画素数に対応するサイズに変換され、データ圧縮部３４でＪＰＥＧ形式等の画像データへと圧縮される。

圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ１８に書き戻された後にメモリコントローラ３０を介してＳＤＲＡＭ１８から読み出され、メディアＩ／Ｆ３６を介してメモリカード３５に保存される。
以上の説明は、従来の市販のデジタルカメラ１の動作の概要である。

（実施例１）
以下に、本発明に係るデジタルカメラのホワイトバランス補正処理について説明する。
図４は信号処理部１７のＣＣＤＩ／Ｆ２９のホワイトバランス補正処理のフローチャートを示している。なお、これらの処理はＣＣＤＩ／Ｆ２９とCPU２４との情報の授受に基づき実行される。

まず、ＲＡＷ−ＲＧＢデータ（撮影画像に対応した画像データ）３７’を、図３に示す画面Ｇの画面分割に対応して、水平１６×垂直１６のブロック単位で等分割を行う。
分割された各ブロックについてＲＧＢ値をそれぞれ積算し、ＲＧＢ積算値（ホワイトバランス評価値）を取得する（Ｓ１）。

なお、分割ブロックの分割数は、１６×１６＝２５６に限定されるものではない（但し、ｎ個の分割ブロックとしたとき、ｎ≧４を満たすことを条件とする。）。
また、等分割である必要は必ずしもないが、全ての分割ブロックが等面積かつ同形状になるように分割することが好ましい。

以下に、ＲＧＢ積算値について詳細に説明する。
このＲＧＢ積算値の算出は、各分割ブロックＧｋ（ｋは１から２５６までの整数）のそれぞれに対して行う。この実施例１において、各分割ブロックＧｋは、画面が「２５６」に等分割されているから、例えば、固体撮像素子１５が約１０００万画素からなっていると、各分割ブロックＧｋはそれぞれ約３．９万画素からなる。

ここで、この各分割ブロックＧｋのそれぞれが有する各画素のデータは、その固体撮像素子１５に結像された被写体像に対応する被写体部分のＲ、Ｇ、Ｂの各成分の情報である。
なお、図３には、固体撮像素子１５の分割ブロックに対応する分割画面に符号Ｇｋが付されている。

実施例１では、Ｒ、Ｇ、Ｂの各成分は８ｂｉｔの情報（０ないし２５５の階調情報）として記録されて利用されている。すなわち、２５６個の各分割ブロックＧｋのそれぞれにおいて、各分割ブロックＧｋが有する画素の総数（約１０００万画素÷２５６＝約３．９万画素）について、それぞれ、８ｂｉｔのＲ、Ｇ、Ｂ成分の情報がある。

ＲＧＢ積算値（Ｒ積算値、Ｇ積算値、Ｂ積算値）は、この各分割ブロックＧｋのそれぞれについて、各分割ブロックＧｋが有する画素全てのＲ成分、Ｇ成分、Ｂ成分のそれぞれについて、数式１に従って加算平均して算出する。

この数式１に基づいて演算を行うことにより、例えば、
Ｒsum＝７８０００／９７５０
Ｇsum＝２９２５０００／１９５００
Ｂsum＝９４５７５０／９７５０
が得られる。

この実施例１では、Ｒ、Ｇ、Ｂの各画素の比率は、Ｒ：Ｇ：Ｂ＝１：２：１となっていて、分割ブロックのそれぞれはＲ画素＝約０．９７５万画素、Ｇ画素＝約１．９５万画素、Ｂ画素＝０．９７５万画素から構成され、２５６個に分割した各分割ブロックＧｋのそれぞれについて、Ｒ、Ｇ、Ｂ成分毎に、ＲＧＢ積算値（Ｒ積算値、Ｇ積算値、Ｂ積算値）が８ｂｉｔの情報として出力される。

白抽出は分割ブロックＧｋ単位で取得したＲＧＢ積算値（Ｒ積算値、Ｇ積算値、Ｂ積算値）について演算を行って、Ｒゲイン＝Ｇ積算値／Ｒ積算値、Ｂゲイン＝Ｇ積算値／Ｂ積算値に変換し、その分割ブロックＧｋのＲゲイン＝Ｇ積算値／Ｒ積算値、Ｂゲイン＝Ｇ積算値／Ｂ積算値の値が予め設定してあるＲゲイン−Ｂゲイン座標（図５参照）上の白抽出範囲内であれば、当該分割ブロックＧｋを白抽出ブロックとして記憶する（Ｓ２）。

その図５において、横軸はＲゲイン、縦軸はＢゲインであり、楕円は各色温度光源における白検出枠を示している。日向から日陰までの色温度は例えば５８００〜３２００Ｋ（ケルビン）であり、夕日、白熱灯の色温度は例えば３０００〜１５００Ｋであり、白色蛍光、温白色蛍光はこの間の色温度である。

なお、Ｒゲイン、Ｂゲインは、生の白抽出ブロックＧｋｊのホワイトバランス（AWB）評価値である。これにより、２５６個の分割ブロックＧｋ（ｋ＝１〜２５６）の中から白抽出ブロックＧｋｊが決定される。
図３には、固体撮像素子１５の白抽出ブロックＧｋｊに対応する分割画面Ｇｋに便宜上符号Ｇｋｊが付されている。その図３では、被写体としてのテーブルと電球傘とに対応する画像が白いものとして仮定している。

ついで、当該各白抽出ブロックＧｋｊに高輝度加重処理を行う（Ｓ３）。
この高輝度加重処理は、各白抽出ブロックＧｋｊのＲゲイン＝Ｇ積算値／Ｒ積算値、Ｂゲイン＝Ｇ積算値／Ｂ積算値について当該白抽出ブロックＧｋｊの平均輝度Yaveによる重み付けを行う。高輝度加重処理の計算式は下記の数２式により行う。
なお、平均輝度Yaveは、当該白抽出ブロックＧｋｊのR積算値、G積算値、B積算から以下の式によって算出する。
式 Yave＝Ｒsum×０．２９９＋Gsum×０．５８７＋Bsum×０．１１４
Ｒsum Ｒ積算値
Ｇsum Ｇ積算値
Ｂsum Ｂ積算値

ここで、Ｒgain、Ｂgainとは、高輝度加重処理後のホワイトバランスゲインをいう。
また、Yavejはｊ番目の白抽出ブロックＧｋｊの平均輝度Yave、ＧＲjはｊ番目の白抽出ブロックＧｋｊのホワイトバランス（AWB）評価値（Rゲイン＝Ｇ積算値／Ｒ積算値）、ＧＢjはｊ番目の白抽出ブロックＧｋｊのホワイトバランス（AWB）評価値（Bゲイン＝Ｇ積算値／Ｂ積算値）、符号ｎは当該白抽出ブロックＧｋｊの総個数である。

白抽出ブロックＧｋｊの総個数がある一定基準よりも以下（例えば、分割ブロックＧｋの総数２５６個に対して７％以下の場合）である場合、全分割ブロックＧｋのＧ積算値／Ｒ積算値（Ｒgain）を加算平均したもの、Ｇ積算値／Ｂ積算値（Ｂgain）を加算平均したもの及び各分割ブロックＧｋのＧ積算値／Ｒ積算値（Ｒgain）、Ｇ積算値／Ｂ積算値（Ｂgain）を用いて低色温度光源の照明環境下での撮影であるか判別を行う（Ｓ４、S．５）。

すなわち、この低色温度光源下の判別は、全分割ブロックＧｋにおけるＧ積算値／Ｒ積算値（Ｒgain）を加算平均したもの、Ｇ積算値／Ｂ積算値（Ｂgain）を加算平均したものについて、図５中のAで示す白熱灯の白検出枠を中心に当該Ｇ積算値／Ｒ積算値（Ｒgain）を加算平均したものが中心A以下に存在し、かつ、当該Ｇ積算値／Ｂ積算値（Ｂgain）を加算平均したものが中心A以上の斜線部分に存在し、しかも、各分割ブロックＧｋのＧ積算値／Ｒ積算値（Ｒgain）、Ｇ積算値／Ｂ積算値（Ｂgain）の７０％以上が図５に示す斜線部分に存在する場合、低色温度光源下と判定する。

ここでは、分割ブロックＧｋの総個数が２５６個であるので、例えば、分割ブロックＧｋの総数が１７９個以上のとき低色温度光源下であると判断される。この低色温度光源判定手段の詳細については特開２００９−２１２６４１号公報に記載されているので、必要ならば参照されたい。

低色温度光源下でない場合（S.8）、又は、低色温度光源下でかつマクロ撮影でない場合（S.５、S.８）は高輝度加重処理結果に基づき屋外加重率out#kの算出を行う（Ｓ６）。
マクロ撮影であるか否かは、フォーカスレンズ２２のフォーカス位置とズームレンズ２１のズーム位置とによって判定する。
ここで、屋外加重とは高輝度加重処理の結果（Rgain、Bgain）と屋外のリファレンスゲインＲgain”、Ｂgain”との加重平均で算出される。

屋外加重率out#kは、図６に示すように、白抽出ブロックＧｋｊの高輝度加重処理後のホワイトバランス評価値Ｒgainによって算出される。図６に示すように、高輝度加重処理後のホワイトバランス評価値Ｒgainが小さい、すなわち、低色温度になるほど屋外加重率out#kが大きくなる。

また、白抽出ブロックＧｋｊの高輝度加重処理後のホワイトバランス評価値Ｒgainが大きい、すなわち、高色温度になるほど屋外加重率が小さい。
この屋外加重率out#kは低色温度になるほど、屋外のリファレンスゲインＲgain”、Ｂgain”の加重を高くし、光源の色合いを残す役割を果たす。

ここで、屋外のリファレンスゲインＲgain”、Ｂgain”とは、例えば、色温度が5200〜5500Ｋの屋外で最適になるようなホワイトバランス（ＷＢ）補正係数をいう。なお、屋外で最適になるようなホワイトバランス（ＷＢ）補正係数は、色温度が5200〜5500Ｋに限定されるものではない。

次に、高輝度加重処理結果Ｒgain、Ｂgainと屋外加重率out#kとから下記の数３式によってホワイトバランス補正係数Ｒgain’、Ｂgain’を算出（屋外加重処理）する（Ｓ７）。

低色温度光源でかつマクロ撮影の場合（S．５、S．８）、高輝度加重処理結果Ｒgain、Ｂgainをホワイトバランス（ＷＢ）補正係数Ｒgain’＝Ｒgain、Ｂgain’＝Ｂgainとする（S.９）。
次に、画面全体の各画素の各Ｒデータ、各Ｂデータに、ＷＢ補正係数Ｒgain’、Ｂgain’を掛ける（Ｓ１０）。

これにより、低色温度光源下で光源の暖か味を残したホワイトバランスＷＢを設定することができる。従って、マクロ撮影で、飲食物を撮影する際、肉や刺身の赤みが飽和することなく良好なホワイトバランスＷＢを設定することができる。

その一方、低色温度光源下及びマクロ撮影でない場合（S.5、S.6）、高輝度加重処理結果Ｒgain、Ｂgainと屋外加重率out#kとから求められたホワイトバランス補正係数Ｒgain’、Ｂgain’を用いてホワイトバランスＷＢが設定される。このため、低色温度条件下で、光源の色合いを残したホワイトバランスＷＢを設定できる。

なお、これらの処理は、画像処理機能を有する撮像装置に搭載されたコンピュータに読み取らせるプログラムであって、光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップ（図４のステップS.4、S.5の処理）と、マクロ撮影であるか否かを判定するマクロ撮影判定ステップ（図４のS.８）と、色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出する第一ホワイトバランス補正係数算出ステップ（図４のS.７）と、低色温度光源下でかつマクロ撮影の時に色温度光源の色合いを加味しない撮影画像が得られるようにホワイトバランス補正係数を算出する第二ホワイトバランス補正係数算出ステップ（図４のS.９）と、低色温度光源下のときにマクロ撮影判定結果に基づいて第一ホワイトバランス補正係数算出ステップと前記第二ホワイトバランス補正係数算出ステップとの算出処理を切り替えるプログラム（図４のステップS.5、S．８の処理）とをコンピュータに読み込ませて、ホワイトバランス演算処理を実行させるために、コンピュータ読み取り可能な記録媒体であるROM１９にこれらのプログラムを記録しておけば良い。

低色温度光源判定処理を実行するプログラムは、色情報と輝度情報に基づき低色温度光源かであるか判断可能なプログラムであることが望ましい。マクロ撮影判定処理プログラムは、フォーカス位置とズーム位置によってマクロ撮影であるかの判断を実行可能なプログラムであるのが望ましい。

（実施例２）
図７は本実施例２に係るホワイトバランス補正係数Ｒgain’、Ｂgain’の算出処理を示すフローチャートである。
実施例１では、マクロ撮影かマクロ撮影以外かによって、ホワイトバランス補正係数Ｒgain’、Ｂgain’の算出処理を切り替えることにした。

この実施例２では、低色温度光源撮影環境下でデジタルカメラから被写体までの距離によって光源の色合いの残し度合いを調節することにしたものである。
ステップＳ１’〜ステップＳ３’までは、実施例１のステップＳ１ないしＳ３（図４参照）と同一内容の処理である。

ステップＳ４’は実施例１のＳ．６と同一内容の処理（図４参照）、ステップＳ５’は実施例１のステップＳ４（図４参照）と同一内容の処理であるので、その説明は省略する。ステップＳ．６’において、低色温度光源環境下であると判定された場合（Yeｓの場合）、図８に示す屋外加重抑圧係数out#k’を用いて、被写体までの距離に応じて屋外加重率out#kを調整する（Ｓ．７’）。
調整前の屋外加重率out#kを屋外加重抑圧係数out#k’により積算した値を調整後の屋外加重率out#kに設定する。
調整後の屋外加重率out#k＝調整前の屋外加重率out#k×屋外加重抑圧係数out#k’

屋外加重抑圧係数out#k’は被写体に近い場合に係数が大きく、被写体が遠くなるに伴ってリニアーに小さくなるような係数とされているから、低色温度環境下で光源の色合いを残すのに用いる屋外加重率out#kの値が被写体に対する距離が小さくなるに伴って小さくなる。従って、これにより、被写体までの距離が近くなるに従って光源の色合いを残さないように調節される。

例えば、調整前の屋外加重率out#kが図６に示すout#k１であり、図８に示す屋外加重抑圧係数out#k’がout#k’１である場合、調整後の屋外加重率out#kはout#k＝out#k１×out#k’１により求められ、この調整後の屋外加重率out#kを用いて式２に従ってホワイトバランス補正係数Ｒgain’、Ｂgain’が求められる。

すなわち、高輝度加重処理結果Ｒgain、Ｂgainと調整後の屋外加重率out#kとから式２に従って、ホワイトバランス補正係数Ｒgain’、Ｂgain’を算出（屋外加重処理）する（Ｓ．８’）。
次に、画面全体の各画素のＲ成分データ、Ｂ成分データのそれぞれに対して、ＷＢ補正係数Ｒgain’、Ｂgain’を乗算する（Ｓ．９’）。

これにより、低色温度光源環境下で、光源の暖か味を残したホワイトバランスＷＢを設定することができ、その一方、飲食物、調理物等の被写体までの距離が近い撮影の場合、肉や刺身等の飲食物、調理物の赤みが飽和することなく、良好なホワイトバランスＷＢを設定することができる。

この処理には、低色温度光源の場合に被写体距離に応じて光源の色合いの残し度合いを調整する処理を行わせるために、被写体距離に応じてホワイトバランス演算処理を実行可能なプログラムを用いる。

１…デジタルカメラ（撮像装置）
１５…固体撮像素子
２４…CPU（制御部）
Rgain’…第一ホワイトバランス補正係数（ホワイトバランス補正係数）
Bgain’…第二ホワイトバランス補正係数（ホワイトバランス補正係数）

特開2002‐218495号公報

Claims (10)

1. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
   マクロ撮影であるか否かを判定するマクロ撮影判定手段と、
   色情報に基づいて低色温度光源下であるか否かの判定を行う低色温度光源判定手段と、
   前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出する第一ホワイトバランス補正係数算出手段と、
   前記低色温度光源下でかつ前記マクロ撮影の時に前記色温度光源の色合いを加味しない撮影画像が得られるようにホワイトバランス補正係数を算出する第二ホワイトバランス補正係数算出手段とを備え、
   前記低色温度光源下のときに前記マクロ撮影判定結果に基づいて前記第一ホワイトバランス補正係数算出手段と前記第二ホワイトバランス補正係数算出手段との算出処理を切り替えることを特徴とする撮像装置。
2. 前記マクロ撮影判定手段は、フォーカス位置とズーム位置とによってマクロ撮影であるか否かの判断を行うことを特徴とする請求項１の撮像装置。
3. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
   被写体までの距離を算出する被写体距離算出手段と、
   色情報に基づいて低色温度光源下であるか否かの判定を行う低色温度光源判定手段と、
   前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出するホワイトバランス補正係数算出手段と、
   前記被写体までの距離が近くなるに伴って前記色温度光源の色合いを加味した撮影画像が抑制されるように前記ホワイトバランス補正係数算出手段により算出されるべきホワイトバランス補正係数を調整する調整手段とを備え、
   前記低色温度光源下の場合に被写体距離に応じて光源の色合いを加味する度合いを調整することを特徴とする撮像装置。
4. 前記低色温度光源判定手段は、色情報と輝度情報とに基づき前記低色温度光源下であるか否かの判断を行うことを特徴とする請求項１ないし請求項３のいずれか１項に記載の撮像装置。
5. 光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、
   マクロ撮影であるか否かを判定するマクロ撮影判定ステップと、
   前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出する第一ホワイトバランス補正係数算出ステップと、
   前記低色温度光源下でかつ前記マクロ撮影の時に前記色温度光源の色合いを加味しない撮影画像が得られるようにホワイトバランス補正係数を算出する第二ホワイトバランス補正係数算出ステップと、
   前記低色温度光源下のときに前記マクロ撮影判定結果に基づいて前記第一ホワイトバランス補正係数算出ステップと前記第二ホワイトバランス補正係数算出ステップとの算出処理を切り替えることを特徴とする撮像方法。
6. 前記マクロ撮影判定ステップは、フォーカス位置とズーム位置によってマクロ撮影であるか否かの判断を行うことを特徴とする請求項５の撮像方法。
7. 光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、
   前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、被写体までの距離が近くなるに伴って前記色温度光源の色合いを加味した撮影画像が抑制されるように前記ホワイトバランス補正係数算出手段により算出されるべきホワイトバランス補正係数を調整する調整ステップとを備え、
   前記低色温度光源下の場合に被写体距離に応じて光源の色合いを加味する度合いを調整することを特徴とする撮像方法。
8. 前記低色温度光源判定ステップは、色情報と輝度情報とに基づき低色温度光源かであるか否かの判断を行うことを特徴とする請求項５ないし請求項７のいずれか１項に記載の撮像方法。
9. 画像処理機能を有する撮像装置に搭載されたコンピュータに読み取らせるプログラムであって、
   光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、
   マクロ撮影であるか否かを判定するマクロ撮影判定ステップと、
   前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出する第一ホワイトバランス補正係数算出ステップと、
   前記低色温度光源下でかつ前記マクロ撮影の時に前記色温度光源の色合いを加味しない撮影画像が得られるようにホワイトバランス補正係数を算出する第二ホワイトバランス補正係数算出ステップと、
   前記低色温度光源下のときに前記マクロ撮影判定結果に基づいて前記第一ホワイトバランス補正係数算出ステップと前記第二ホワイトバランス補正係数算出ステップとの算出処理を切り替える処理を実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
10. 画像処理機能を有する撮像装置に搭載されたコンピュータに読み取らせるプログラムであって、
    光学系から入射した光を電気信号に変換する撮像素子から出力される撮像信号の色情報に基づき低色温度光源下であるか否かの判定を行う低色温度光源判定ステップと、
    前記色温度光源の色合いを加味した撮影画像が得られるようにホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
    被写体までの距離が近くなるに伴って前記色温度光源の色合いを加味した撮影画像が抑制されるように前記ホワイトバランス補正係数算出手段により算出されるべきホワイトバランス補正係数を調整する調整ステップとをさせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images