JP4757927B2 - ホワイトバランス調整装置及びホワイトバランス調整方法 - Google Patents

Description

本発明は、ストロボ撮影におけるホワイトバランス調整装置及びホワイトバランス調整方法に関する。

従来、デジタルカメラなどの撮像装置において、固体撮像素子（例えば、ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ ＤｅｖｉｃｅやＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから得られた撮像画像に対して、適切なホワイトバランス制御を行う技術が知られている。

例えば、撮像装置において、ＣＣＤセンサが、２次元に配置された複数の光電変換素子によって構成され、各光電変換素子の表面には、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の何れかの色フィルタが設けられ、各色フィルタを透過した入射光に対応する電気信号を生成して出力するように構成されている。そして、ＣＣＤの後段に設けられたカラー画像再現部において、ＣＣＤから出力された電気信号を用いてカラー画像を生成する。

そして、撮影の際に、被写体を介して太陽光や照明光などの反射光が写るため、撮影された画像には光源が持つ色温度の影響を受け、光源が持つ色温度が高いと本来の白色に青みが生じ、色温度が低いと赤みが生じる。そこで、どのような光源下でも適切な白色を再現するために、ホワイトバランス調整を行う技術が知られている。

例えば、デジタルカメラでは、撮影信号にもとづいて生成される色信号から無彩色に近い撮像領域を抽出し、抽出した撮像領域の色情報に基づく演算処理によってホワイトバランス調整のアンプのゲインを光源の色温度に適合させ、ホワイトバランス制御を行う技術が開示されている（例えば、特許文献１参照）。

この際、有彩色の領域が多い画面では、正確な光源推定が困難であるので、予め画面を複数の領域に分割し、分割された領域毎に判定して、無彩色に近い領域を抽出する。

また、近年のデジタルカメラでは、ストロボ（ストロボはストロボリサーチ社の商標である）などの閃光装置を備えたものが一般的であって、撮影時に適切なホワイトバランス調整を行うための技術として、ストロボ発光の有無や撮影距離に対応付けてホワイトバランスの調整値を備えているものがある。

例えば、ストロボ装置の発光部にキセノン管を用いた際に、ストロボ光によって白い被写体が青側に偏って再現される現象を防ぐために、画面全体において青色を抑制するようにホワイトバランスの調整が行われる。

また、ストロボ撮影において、被写体との距離が遠いほどストロボ光が拡散して減衰する。そこで、撮影画面の予め分割された領域毎に、フォーカス（焦点）を合わせて被写体までの距離を検出し、検出された距離に応じて各領域におけるストロボ光の影響度を推定し、ホワイトバランスの調整を行う技術が開示されている（例えば、特許文献２参照）。

特開２００３−２２４８６３号公報 特開平７−３０１８４２号公報

しかしながら、特許文献２に記載のホワイトバランス調整の技術によれば、被写体距離やストロボ光の影響度などが予め定められた分割領域の合焦度によって推定され、被写体距離毎にストロボ光の光量及びストロボ光を除く環境光の光量の夫々を検出する手段を備えていないので、ストロボ光の影響度の推定が必ずしも高精度に得られるものでなく、更に改善の余地があった。例えば、撮影画面に反射率の異なる複数の被写体が含まれている際には、被写体距離と反射率の両者によってストロボ光の影響度が変化する。

また、特許文献２に記載のホワイトバランス調整の技術によれば、フォーカス機能を用いて被写体距離を検出しているので、撮影領域毎の距離を得るために領域の数に対となるように夫々フォーカス調整が必要であって、その作業が煩雑になる虞があり、さらに、フォーカス調整機能をもたない撮像装置では、撮影領域毎の距離情報を得ることが困難であった。

そこで、本発明は、ストロボ撮影において、ホワイトバランスに占めるストロボ光の影響度を撮影画面全体にわたって高精度に推定し、撮影された画像のホワイトバランスを精度よく調整できるホワイトバランス調整装置及びホワイトバランス調整方法を提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、被写体に所定の光量を照射する閃光手段と、複数の光電変換素子がマトリクス状に配置され、撮影された被写体の光学像を画素毎に光電変換して画像データを出力する撮像手段とを備えた撮像装置における、前記画像データのホワイトバランスを調整するホワイトバランス調整装置であって、前記画像データに基づいて、前記被写体を照明する光源の色温度を推定し、該推定された光源の色温度に対応付けて、ホワイトバランス調整のホワイトバランス係数を算出するホワイトバランス係数算出手段と、前記光電変換素子の夫々から出力された画像信号を画素信号とした際に、撮影画面において、所定の画素信号の数を一単位とする複数の輝度をマトリクス状に生成し、前記一単位毎に、前記閃光手段からの照射の有無に応じて撮影された２つの画像信号からそれぞれ生成された前記輝度に基づいて、前記被写体を撮影する撮像装置から被写体までの距離情報を検出する距離情報検出手段と、前記距離情報検出手段で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に前記主被写体領域を照らす撮影光に含まれる前記閃光手段の照射光量と該照射光量を除く環境光量との比を算出し、該算出された比に基づいて、前記ホワイトバランス係数を補正するホワイトバランス係数補正手段と、を備えていることを特徴とするを備えていることを特徴とする。

請求項１に記載のホワイトバランス調整装置によれば、光電変換素子の夫々から出力された画像信号を画素信号とした際に、撮影画面において、所定の画素信号の数を一単位とする複数の輝度をマトリクス状に生成し、この一単位毎に、閃光手段からの照射の有無に応じて撮影された２つの画像信号からそれぞれ生成された輝度に基づいて、被写体を撮影する撮像装置から被写体までの距離情報を検出する距離情報検出手段と、距離情報検出手段で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に主被写体領域を照らす撮影光に含まれる閃光手段の照射光量とこの照射光量を除く環境光量との比を算出し、この算出された比に基づいて、ホワイトバランス係数を補正するホワイトバランス係数補正手段と、を備えているので、閃光撮影（以下、ストロボ撮影ともいう）において、ホワイトバランスに占める閃光手段の照射光（以下、ストロボ光ともいう）の影響度を撮影画面全体にわたって高精度に推定し、撮影された画像のホワイトバランスを精度良く調整できる。

次に、請求項２に記載の発明は、請求項１に記載のホワイトバランス調整装置において、前記距離情報検出手段で検出された一単位毎の距離情報に基づいて、前記撮影画面における距離情報の分布を検出する距離情報分布検出手段と、前記距離情報検出手段で検出された距離情報の分布において、検出数が最も多い距離値とその次に検出数が多い距離値との谷となる距離値を分離点とし、前記画像データを前記分離点より近距離側と遠距離側とに画成する距離情報画成手段と、前記距離情報画成手段によって画成された近距離側の画像データと遠距離側の画像データとの何れかを前記主被写体領域として選択する主被写体領域選択手段と、を備え、前記ホワイトバランス係数補正手段が、前記主被写体領域に重み付けして前記ホワイトバランス係数を補正する、ことを特徴とする。

請求項２に記載のホワイトバランス調整装置によれば、距離情報検出手段で検出された一単位毎の距離情報に基づいて、撮影画面における距離情報の分布を検出する距離情報分布検出手段と、距離情報検出手段で検出された距離情報の分布において、検出数が最も多い距離値とその次に検出数が多い距離値との谷となる距離値を分離点とし、画像データを分離点より近距離側と遠距離側とに画成する距離情報画成手段と、距離情報画成手段によって画成された近距離側の画像データと遠距離側の画像データとの何れかを主被写体領域として選択する主被写体領域選択手段と、を備え、ホワイトバランス係数補正手段が、主被写体領域に重み付けしてホワイトバランス係数を補正するように構成されているので、距離情報に応じて、ユーザが自由にホワイトバランス合わせの画像領域を設定できて利便性を向上できる。

次に、請求項３に記載の発明は、請求項２に記載のホワイトバランス調整装置において、前記ホワイトバランス係数補正手段が、前記一単位毎に前記照射光量と前記環境光量との比を算出し前記算出された一単位毎の比に対して、前記主被写体領域に重みを付けるように重み係数を掛けて、該重み係数を掛けて算出された比の合計値を算出し、前記算出された合計値を重み係数の合計で除算して平均値を算出し、前記算出され平均値に対応付けて前記ホワイトバランス係数を補正する、ことを特徴とする。

請求項３に記載のホワイトバランス調整装置によれば、ホワイトバランス係数補正手段が、一単位毎に照射光量と環境光量との比を算出し算出された一単位毎の比に対して、主被写体領域に重みを付けるように重み係数を掛けて算出された比の合計値を算出し、算出された合計値を重み係数の合計で除算して平均値を算出し、算出され平均値に対応付けて前記ホワイトバランス係数を補正するように構成されているので、主被写体領域における一単位毎の照射光量及び環境光量の変化をホワイトバランスの調整に反映できる。

次に、請求項４に記載の発明は、請求項１乃至請求項３の何れか記載のホワイトバランス調整装置において、本撮影前に予備発光する予備発光手段を備え、前記距離情報検出手段が、前記撮影画面領域における特定領域に対応する距離情報の基準値を取得する基準距離取得手段と、前記予備発光無しに撮影して得られた前記被写体の画像データに基づいて、前記所定の画素信号の数を一単位とする複数の第１輝度を、所定の画像領域にわたってマトリクス状に生成する第１輝度生成手段と、前記予備発光して撮影して得られた前記被写体の画像データに基づいて、前記第１輝度と対になるように、前記所定の画素信号の数を一単位とする複数の第２輝度を生成する第２輝度生成手段と、前記一単位毎に、前記第２輝度から前記第１輝度を減算して、前記予備発光分の輝度成分を算出する輝度差算出手段と、前記一単位毎に、前記第１輝度と、前記輝度差算出手段で算出された予備発光の輝度成分とを、夫々、所定の目標輝度と比較して該目標輝度との比を求め、この比を用いて、第１の被写体距離情報を求める際の第１及び第２のパラメータを生成するパラメータ生成手段と、前記第１及び第２のパラメータと、前記第２輝度生成手段における前記予備発光の際の露出値とに基づいて、前記一単位毎に、前記第１の被写体距離情報を生成する第一距離情報生成手段と、前記特定領域に位置する前記第１の被写体距離情報と前記被写体距離情報の基準値との差分を算出する補正値算出手段と、前記一単位毎に、前記補正値算出手段で生成された差分値を用いて、該差分を打ち消すように前記第１の被写体距離情報を補正し、第２の被写体距離情報を生成する第２距離情報生成手段と、を備え、前記パラメータ生成手段が、前記第１のパラメータをＭＶａ、前記第２のパラメータをＭＶｂ、前記目標輝度をＹｔ、前記第１輝度をＹａ、前記予備発光の輝度成分をＹｂと表した際に、前記第１のパラメータをＭＶａ＝ＬＯＧ _２ （Ｙａ／Ｙｔ）、前記第2のパラメータをＭＶｂ＝ＬＯＧ _２ （Ｙｂ／Ｙｔ）、の演算式で算出し、前記第１距離情報生成手段が、前記第１の被写体距離情報のアペックス値をＤＸ、前記第１輝度生成手段及び第２輝度生成手段における撮影の際のシャッタースピードのアペックス値をＴＶ、前記閃光装置の予備発光のガイドナンバーのアペックス値をＧＶと表した際に、前記第１の被写体距離情報のアペックス値をＤＸ＝（ＭＶａ−ＭＶｂ）／２−（５−ＴＶ−ＧＶ）／２、の演算式で算出し、前記補正値算出手段が、前記補正値をＯＦＦＳＥＴ、前記特定領域における第１の被写体距離情報のアペックス値をＤＸ _{（ｂａｓｅ）} 、前記特定領域における被写体距離情報の基準値のアペックス値をＤＶ _{（ｂａｓｅ）} と表した際に、前記補正値をＯＦＦＳＥＴ＝ＤＸ _{（ｂａｓｅ）} −ＤＶ _{（ｂａｓｅ）} 、の演算式で算出し、前記第２距離情報生成手段が、前記第２の被写体距離情報のアペックス値をＤＶ、前記第１の被写体距離情報のアペックス値をＤＸ、前記補正値をＯＦＦＳＥＴと表した際に、前記第２の被写体距離情報のアペックス値をＤＶ＝ＤＸ−ＯＦＦＳＥＴ、の演算式で算出することにより、前記特定領域の被写体距離情報に基づいて、全画像領域に対して前記一単位毎に前記第２の被写体距離情報を推定演算し、前記一単位毎に、前記第２の被写体距離情報を、前記撮像装置から前記被写体までの距離情報として検出する、ことを特徴とする。

請求項４に記載のホワイトバランス調整装置によれば、まず、撮影画面領域における特定領域に対応する被写体距離情報の基準値を取得し、次いで、閃光装置の発光無しに撮影して得られた被写体の画像データに基づいて、所定の画素信号の数を一単位とする複数の第１輝度を、所定の画像領域にわたって生成し、次いで、閃光装置を予備発光して得られた被写体の画像データに基づいて、第１輝度と対になるように、複数の第２輝度を生成し、次いで、一単位毎に、第２の輝度から第１の輝度を減算することにより、閃光装置の照射光の輝度成分を算出する。

次いで、一単位毎に、第１輝度と輝度差算出手段で算出された照射光の輝度成分とを、夫々、所定の目標輝度と比較して目標輝度との比を求め、この比を用いて、第１の距離情報を求める際の第１及び第２のパラメータを生成し、次いで、第１及び第２のパラメータと、閃光装置発光の際の露出値とに基づいて、一単位毎に、第１の被写体距離情報を生成する。

次いで、特定領域に位置する第１の被写体距離情報に対して、被写体距離情報の基準値の差分を算出して、この算出された差分を用いて第１の被写体距離情報を補正し、第２の被写体距離情報を生成する。これにより、撮影画面全体にマトリクス状に生成された複数の第１、第２輝度に対応付けて、夫々、被写体距離情報（第２の被被写体距離情報である）を測定できる。

これにより、請求項４に記載のホワイトバランス調整装置は、複数の一単位の夫々の距離情報を得る際に、一単位毎のフォーカス調整が不要であって、予備発光の有無の夫々で得られた画像データと基準距離とによって輝度に対応付けた一単位毎の距離情報を検出できるので、特許文献２に記載の技術よりもホワイトバランス処理の作業を簡素化できる。また、被写体距離を分割領域の合焦度によって推定することなく、輝度に対応付けて算出できるので、ホワイトバランスにおけるストロボ光の影響度を高精度に算出できてホワイトバランス調整を向上できる。

次に、請求項５に記載の発明は、被写体に所定の光量を照射する閃光手段と、複数の光電変換素子がマトリクス状に配置され、撮影された被写体の光学像を画素毎に光電変換して画像データを出力する撮像手段とを備えた撮像装置における、前記画像データのホワイトバランスを調整するホワイトバランス調整方法であって、前記画像データに基づいて、前記被写体を照明する光源の色温度を推定し、該推定された光源の色温度に対応付けて、ホワイトバランス調整のホワイトバランス係数を算出するホワイトバランス係数算出手順と、前記光電変換素子の夫々から出力された画像信号を画素信号とした際に、撮影画面において、所定の画素信号の数を一単位とする複数の輝度をマトリクス状に生成し、前記一単位毎に、前記閃光手段からの照射の有無に応じて撮影された２つの画像信号からそれぞれ生成された前記輝度に基づいて、前記被写体を撮影する撮像装置から被写体までの距離情報を検出する距離情報検出手順と、前記距離情報検出手順で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に前記主被写体領域を照らす撮影光に含まれる前記閃光手段の照射光量と該照射光量を除く環境光量との比を算出し、該算出された比に基づいて、前記ホワイトバランス係数を補正するホワイトバランス係数補正手順と、を用いることを特徴とする。

請求項５に記載のホワイトバランス調整方法によれば、光電変換素子の夫々から出力された画像信号を画素信号とした際に、撮影画面において、所定の画素信号の数を一単位とする複数の輝度をマトリクス状に生成し、一単位毎に、閃光手段からの照射の有無に応じて撮影された２つの画像信号からそれぞれ生成された輝度に基づいて、被写体を撮影する撮像装置から被写体までの距離情報を検出する距離情報検出手順と、距離情報検出手順で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に主被写体領域を照らす撮影光に含まれる閃光手段の照射光量とこの照射光量を除く環境光量との比を算出し、この算出された比に基づいて、ホワイトバランス係数を補正するホワイトバランス係数補正手順と、を用いているので、請求項１に記載の発明と同様に、閃光（ストロボ）撮影おいて、ホワイトバランスに占める閃光手段の照射光（所謂、ストロボ光である）の影響度を撮影画面全体にわたって高精度に推定し、撮影された画像のホワイトバランスを精度よく調整できる。

次に、請求項６に記載の発明は、請求項５に記載のホワイトバランス調整方法において、前記距離情報検出手順で検出された一単位毎の距離情報に基づいて、前記撮影画面における距離情報の分布を検出する距離情報分布検出手順と、前記距離情報検出手順で検出された距離情報の分布において、検出数が最も多い距離値とその次に検出数が多い距離値との谷となる距離値を分離点とし、前記画像データを前記分離点より近距離側と遠距離側とに画成する距離情報画成手順と、前記距離情報画成手順によって画成された近距離側の画像データと遠距離側の画像データとの何れかを前記主被写体領域として選択する主被写体領域選択手順と、を用い、前記ホワイトバランス係数補正手順が、前記主被写体領域に重み付けして前記ホワイトバランス係数を補正する、ことを特徴とする。

請求項６に記載のホワイトバランス調整方法によれば、距離情報検出手順で検出された一単位毎の距離情報に基づいて、撮影画面における距離情報の分布を検出する距離情報分布検出手順と、距離情報検出手順で検出された距離情報の分布において、検出数が最も多い距離値とその次に検出数が多い距離値との谷となる距離値を分離点とし、画像データを分離点より近距離側と遠距離側とに画成する距離情報画成手順と、距離情報画成手順によって画成された近距離側の画像データと遠距離側の画像データとの何れかを主被写体領域として選択する主被写体領域選択手順と、を用い、ホワイトバランス係数補正手順を介して、主被写体領域に重み付けしてホワイトバランス係数を補正するように構成されているので、請求項２に記載の発明と同様に、距離情報に応じて、ユーザが自由にホワイトバランス合わせの画像領域を設定できて利便性を向上できる。

次に、請求項７に記載の発明は、請求項６に記載のホワイトバランス調整方法において、前記ホワイトバランス係数補正手順が、前記一単位毎に前記照射光量と前記環境光量との比を算出し、前記算出された一単位毎の比に対して、前記主被写体領域に重みを付けるように重み係数を掛けて、該重み係数を掛けて算出された比の合計値を算出し、前記算出された合計値を重み係数の合計で除算して平均値を算出し、前記算出され平均値に対応付けて前記ホワイトバランス係数を補正する、ことを特徴とする。

請求項７に記載のホワイトバランス調整方法によれば、ホワイトバランス係数補正手順を介して、一単位毎に照射光量と環境光量との比を算出し、次いで、算出された一単位毎の比に対して、主被写体領域に重みを付けるように重み係数を掛けて算出された比の合計値を算出し、次いで、算出された合計値を重み係数の合計で除算して平均値を算出し、算出され平均値に対応付けてホワイトバランス係数を補正するように構成されているので、請求項３に記載の発明と同様に、主被写体領域における一単位毎の照射光量及び環境光量の変化をホワイトバランスの調整に反映できる。

次に、請求項８に記載の発明は、請求項５乃至請求項７の何れか記載のホワイトバランス調整方法において、本撮影前に予備発光する予備発光手順を備え、前記距離情報検出手順が、前記撮影画面領域における特定領域に対応する距離情報の基準値を取得する基準距離取得手順と、前記予備発光無しに撮影して得られた前記被写体の画像データに基づいて、前記所定の画素信号の数を一単位とする複数の第１輝度を、所定の画像領域にわたってマトリクス状に生成する第１輝度生成手順と、前記予備発光して撮影して得られた前記被写体の画像データに基づいて、前記第１輝度と対になるように、前記所定の画素信号の数を一単位とする複数の第２輝度を生成する第２輝度生成手順と、前記一単位毎に、前記第２輝度から前記第１輝度を減算して、前記予備発光分の輝度成分を算出する輝度差算出手順と、前記一単位毎に、前記第１輝度と、前記輝度差算出手順で算出された予備発光の輝度成分とを、夫々、所定の目標輝度と比較して該目標輝度との比を求め、この比を用いて、第１の被写体距離情報を求める際の第１及び第２のパラメータを生成するパラメータ生成手順と、前記第１及び第２のパラメータと、前記第２輝度生成手順における前記予備発光の際の露出値とに基づいて、前記一単位毎に、前記第１の被写体距離情報を生成する第一距離情報生成手順と、前記特定領域に位置する前記第１の被写体距離情報と前記被写体距離情報の基準値との差分を算出する補正値算出手順と、前記一単位毎に、前記補正値算出手順で生成された差分値を用いて、該差分を打ち消すように前記第１の被写体距離情報を補正し、第２の被写体距離情報を生成する第２距離情報生成手順と、を用い、前記パラメータ生成手順が、前記第１のパラメータをＭＶａ、前記第２のパラメータをＭＶｂ、前記目標輝度をＹｔ、前記第１輝度をＹａ、前記予備発光の輝度成分をＹｂと表した際に、前記第１のパラメータをＭＶａ＝ＬＯＧ _２ （Ｙａ／Ｙｔ）、前記第2のパラメータをＭＶｂ＝ＬＯＧ _２ （Ｙｂ／Ｙｔ）、の演算式で算出し、前記第１距離情報生成手順が、前記第１の被写体距離情報のアペックス値をＤＸ、前記第１輝度生成手順及び第２輝度生成手順における撮影の際のシャッタースピードのアペックス値をＴＶ、前記閃光装置の予備発光のガイドナンバーのアペックス値をＧＶと表した際に、前記第１の被写体距離情報のアペックス値をＤＸ＝（ＭＶａ−ＭＶｂ）／２−（５−ＴＶ−ＧＶ）／２、の演算式で算出し、前記補正値算出手順が、前記補正値をＯＦＦＳＥＴ、前記特定領域における第１の被写体距離情報のアペックス値をＤＸ _{（ｂａｓｅ）} 、前記特定領域における被写体距離情報の基準値のアペックス値をＤＶ _{（ｂａｓｅ）} と表した際に、前記補正値をＯＦＦＳＥＴ＝ＤＸ _{（ｂａｓｅ）} −ＤＶ _{（ｂａｓｅ）} 、の演算式で算出し、前記第２距離情報生成手順が、前記第２の被写体距離情報のアペックス値をＤＶ、前記第１の被写体距離情報のアペックス値をＤＸ、前記補正値をＯＦＦＳＥＴと表した際に、前記第２の被写体距離情報のアペックス値をＤＶ＝ＤＸ−ＯＦＦＳＥＴ、の演算式で算出することにより、前記特定領域の被写体距離情報に基づいて、全画像領域に対して前記一単位毎に前記第２の被写体距離情報を推定演算し、前記一単位毎に、前記第２の被写体距離情報を、前記撮像装置から前記被写体までの距離情報として検出する、ことを特徴とする。

請求項８に記載のホワイトバランス調整方法によれば、請求項４に記載の発明と同様に、撮影画面全体にマトリクス状に生成された複数の第１、第２輝度に対応付けて、夫々、被写体距離情報（第２の被被写体距離情報である）を測定できる。

また、請求項８に記載のホワイトバランス調整方法によれば、複数の一単位の夫々の距離情報を得る際に、一単位毎のフォーカス調整が不要であって、予備発光の有無の夫々で得られた画像データと基準距離とによって輝度に対応付けた一単位毎の距離情報を検出できるので、特許文献２に記載の技術よりもホワイトバランス処理の作業を簡素化できる。また、被写体距離を分割領域の合焦度によって推定することなく、輝度に対応付けて算出できるので、ホワイトバランスにおけるストロボ光の影響度を高精度に算出できてホワイトバランス調整を向上できる。

本発明のホワイトバランス調整装置及びホワイトバランス調整方法は、光電変換素子の夫々から出力された画像信号を画素信号とした際に、撮影画面において、所定の画素信号の数を一単位とする複数の輝度をマトリクス状に生成し、この一単位毎に、閃光手段からの照射の有無に応じて撮影された２つの画像信号からそれぞれ生成された輝度に基づいて、被写体を撮影する撮像装置から被写体までの距離情報を検出し、検出された距離情報に基づいて主被写体領域を特定し、撮影の際に主被写体領域を照らす撮影光に含まれる閃光手段の照射光量とこの照射光量を除く環境光量との比を算出し、この算出された比に基づいて、ホワイトバランス係数を補正するように構成されているので、閃光撮影（所謂、ストロボ撮影である）おいて、ホワイトバランスに占める照射光（ストロボ光）の影響度を撮影画面全体にわたって高精度に推定し、撮影された画像のホワイトバランスを精度よく調整できる。

また、本発明のホワイトバランス調整装置及びホワイトバランス調整方法は、検出された一単位毎の距離情報に基づいて、撮影画面における距離情報の分布を検出し、検出された距離情報の分布において、検出数が最も多い距離値とその次に検出数が多い距離値との谷となる距離値を分離点として、画像データを分離点より近距離側と遠距離側とに画成し、次いで、画成された近距離側の画像データと遠距離側の画像データとの何れかを主被写体領域として選択し、選択された主被写体領域に重み付けしてホワイトバランス係数を補正するように構成されているので、距離情報に応じてユーザが自由にホワイトバランス合わせの画像領域を設定できて利便性を向上できる。

また、本発明のホワイトバランス調整装置及びホワイトバランス調整方法は、一単位毎に照射光量と環境光量との比を算出し、次いで、算出された一単位毎の比に対して、主被写体領域に重みを付けるように重み係数を掛けて、重み係数を掛けて算出された比の合計値を算出し、次いで、算出された合計値を重み係数の合計で除算して平均値を算出し、算出され平均値に対応付けてホワイトバランス係数を補正するように構成されているので、主被写体領域における一単位毎の照射光量及び環境光量の変化をホワイトバランスの調整に反映できる。

また、本発明のホワイトバランス調整装置及びホワイトバランス調整方法は、複数の一単位の夫々の距離情報を得る際に、一単位毎のフォーカス調整が不要であって、撮影画面全体にマトリクス状に生成された第１、第２輝度に対応付けて、予備発光有無の画像データと特定領域の基準距離に基づいて検出できるので、ホワイトバランス処理の作業を簡素化できる。

本発明の一実施例の、ホワイトバランス調整装置を用いた撮像装置の構成を表したブロック図である。 同実施例のホワイトバランス調整装置における、撮影画面の距離情報の分布を検出する説明図である。 同実施例のホワイトバランス調整装置における、照射光量と環境光量との比の平均値を算出する説明図である。 同実施例のホワイトバランス調整装置における、被写体距離情報生成装置の説明図である。 同実施例のホワイトバランス調整装置における、撮像部から出力されるベイヤ配列の画像データである。 同実施例のホワイトバランス調整装置における、（ａ）が基準光源格納手段に格納されている情報をｘｙ色度座標上に表したグラフ、（ｂ）がブロック積算手段の評価領域分割の説明図、（ｃ）が色補正部の色再現処理の説明図である。 同実施例のホワイトバランス調整装置における、色再現係数算出手段の、ｘｙ色度座標からホワイトバンス係数と色再現係数とを算出する説明図である。 本発明の一実施例の、ホワイトバランス調整方法の手順を表したフローチャートである。 図８のフローチャートにおける、ブロック毎の距離情報算出の手順の詳細を表したフローチャートである。

図１に表したように、撮像装置１は、被写体（撮像信号Ｓ）を撮影してデジタル画像信号（画像データである）を出力する撮像部１００、撮像部１００から入力したデジタル画像信号を用いて距離情報を検出する距離情報検出部２００、デジタル画像信号に基づいてカラー画像を生成する画像処理部３００、距離情報検出部２００で検出された距離情報に基づいてホワイトバランス補正係数を算出するホワイトバランス係数補正手段５０、入射光量及び閃光装置１３の発光量を調節する露出設定部４２、ＣＰＵ４０、ＲＯＭ４１等を備え、ＣＰＵ４０がＲＯＭ４１と協働して撮像装置１の各機能を制御する。なお、本発明におけるホワイトバランス調整装置は、距離情報検出部２００、ホワイトバランス係数補正手段５０、画像処理部３００、ＣＰＵ４０、ＲＯＭ４１等によって、その機能が発現される。

撮像部１００には、被写体光を撮像部１００内に導く前部レンズ２、Ｉｒｉｓ（絞り）３、フォーカスレンズ５、シャッター６、有害な赤外線や反射光などを除去するフィルタ（赤外線除去フィルタや光学フィルタである）７、撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）８、撮像素子８から出力されるアナログ画像信号をデジタル画像信号に変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）９、Ｉｒｉｓ３の駆動を行うＩｒｉｓ駆動部１５、センサ１６ａを介してＩｒｉｓ３の駆動量を検出する検出部１６、フォーカスレンズ５の光軸方向のスライド駆動を行うフォーカス駆動部１７、センサ１８ａを介してフォーカスレンズ５のスライド量を検出する検出部１８、撮像素子８及びＡＦＥ９を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１９、等が備えられている。

また、撮像部１００には、被写体に所定の光量を照射する閃光装置（例えば、ストロボである）１３、撮像領域の特定領域に対応付けて撮像部１００から被写体までの距離を検出する基準距離検出手段１４、等が備えられている。そして、撮像装置１は、被写体を撮影する前に、まず、閃光装置１３を用いて被写体に向けて予備発光し、距離情報検出部２００を介して、被写体までの距離と閃光装置１３の照射光に対する被写体の反射率を測定し、これらの測定結果に基づいて本撮影のときの露光量を設定するように構成されている。

撮像素子８は、複数の光電変換素子がマトリクス状に並設され、夫々の光電変換素子毎に撮像信号Ｓを光電変換してアナログ画像信号を出力するように構成されている。詳しくは、撮像素子８の受光面には、図５に表したように、各画素に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のＢａｙｅｒ配列からなるカラーフィルタを備えられており、各画素から出力する信号には、各色のフィルタを通過した１色分の情報を有する。図５においてＲの横に位置するＧをＧｒ、Ｂの横に位置するＧをＣｂと表している。

ＡＦＥ９は、撮像素子８を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）１０、相関二重サンプリング回路１０で相関二重サンプリングされた画像信号を増幅してＩＳＯ感度（ＳＶ）を可変する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）１１、可変利得増幅器１１を介して入力された撮像素子８からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器１２、等によって構成され、撮像素子８から出力された画像信号を、所定のサンプリング周波数でデジタル画像信号（以下、画素信号ともいう）に変換して、前処理部２０に出力する。

基準距離検出手段１４は、画像領域の特定領域（本実施例では、図４（ａ）中のＢの位置であって画面中央に位置する）において適切な合焦度が得られた際のフォーカスレンズ５の位置情報に対応付けて、フォーカスレンズ５から被写体までの基準距離（所謂、本発明における被写体距離情報の基準値である）ＤＶ_{（ｂａｓｅ）}を検出するように構成されている。本実施例では、ＤＶ_{（ｂａｓｅ）}は、距離１ｍを基準としたＡＰＥＸ値であって、実際の距離Ｌを、ＤＶ_{（ｂａｓｅ）}＝ＬＯＧ_２（距離Ｌ／１ｍ）の演算式を用いてＡＰＥＸ値に変換している。

基準距離検出手段１４は、フォーカスレンズ５の位置情報に代えて、特定領域に対応する被写体からの反射光に基づいて、三角測量の原理等を用い、被写体までの基準距離を検出するように構成してもよい。なお、本実施例では、被写体までの基準距離を検出する際の特定領域を画面中央の位置（図４（ａ）中のＢの位置）として説明するが、例えば、図４（ａ）中のＡの位置やＣの位置など、撮影条件に応じて他の位置を選択できるようにしてもよい。なお、本発明における基準距離取得手段は、基準距離検出手段１４によって、その機能が発現される。

なお、撮像部１００は、撮像素子８、相関二重サンプリング回路１０、可変利得増幅器１１、Ａ／Ｄ変換器１２等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いて構成してもよい。

次に、撮像部１００から出力された画像データは、前処理部２０を介して、距離情報検出部２００及び画像処理部３００に入力される。

前処理部（ＩＦＰ：Ｉｍａｇｅ Ｆｒｏｎｔ Ｐｒｏｓｅｓｓｏｒ）２０は、撮像部１００から出力されたデジタル画像信号の夫々につき、暗電流分のオフセットをおこなう。詳しくは、光量を撮像素子８に入射させないタイミングで、Ａ／Ｄ変換器１２から出力するデジタル画像信号を取得し、この取得したデジタル画像信号を暗電流のオフセット値としている。

また、前処理部２０は、全画素範囲における撮像素子８の有効画素範囲を設定する。詳しくは、全画素領域おいて出力される画像の明暗や歪みの度合いを検出し、許容範囲の領域を有効画素範囲としている。また、この際、有効画素範囲は、表示装置（モニターやテレビジョン受像機）の画面に対応する矩形状にしている。

次に、距離情報検出部２００は、撮像部１００から入力されたデジタル画像信号に基づいて所定の画素数を一単位とする輝度信号を生成する輝度信号生成手段２１、輝度信号生成手段２１で生成された輝度信号を予備発光有無に対応付けて格納する輝度バッファ２２、予備発光有無の輝度信号から閃光装置１３のみの輝度信号を算出するストロボ光輝度算出手段２５、輝度座標毎に被写体距離情報を生成する輝度座標距離情報生成手段２６、輝度座標毎に被写体の反射率を算出する反射率算出手段３２、輝度座標距離情報生成手段２６で生成された輝度座標毎の被写体距離情報及び反射率算出手段３２で算出された輝度座標毎の反射率等を記録する記録手段３３、等によって構成され、ＣＰＵ４０がＲＯＭ４１に格納された制御用プログラムに従って、当該距離情報検出部２００の各処理を制御する。なお、本発明における距離情報検出手段は、距離情報検出部２００、基準距離検出手段１４等によってその機能が発現される。また、本発明における予備発光手段は、閃光装置１３によって、その機能が発現される。

輝度生成手段２１は、ＡＦＥ９から出力されたデジタル画像信号を走査して、水平方向２画素、垂直方向２画素の４つの画素信号を一単位として輝度信号を生成する。これにより、撮像領域において、マトリクス状に複数の輝度信号が生成され、夫々の輝度信号が前記一単位の輝度座標（例えば、４画素の中心座標である）に対応付けられて輝度バッファ２２に格納される。なお、輝度信号を生成する際の一単位については、水平２画素、垂直２画素に限定されるものでなく、撮像領域においてマトリクス状に輝度信号を生成できるように設定すればよい。

輝度バッファ２２は、閃光装置１３の予備発光有無に対応付けられ、輝度座標毎に、予備発光無しに撮影して得られた輝度信号（Ｙａ_{（ｈ，ｖ）}）を格納する第１輝度バッファ２３と、予備発光して撮影して得られた輝度信号（Ｙｃ_{（ｈ，ｖ）}）を格納する第２輝度バッファ２４とによって構成されている。

ストロボ光輝度算出手段２５は、(式１)を用いて、輝度座標毎に、第２輝度バッファ２４に格納された輝度信号（Ｙｃ_{（ｈ，ｖ）}）から第１輝度バッファ２３に格納された輝度信号（Ｙａ_{（ｈ，ｖ）}）を減算して予備発光の際のストロボ光のみの輝度成分（Ｙｂ_{（ｈ，ｖ）}）を算出する。
（式１） Ｙｂ_{（ｈ，ｖ）}＝Ｙｃ_{（ｈ，ｖ）}−Ｙａ_{（ｈ，ｖ）}
なお、（式１）におけるＹａ、Ｙｂ、Ｙｃの添え字_{（ｈ，ｖ）}は、撮像領域の水平方向及び垂直方向における輝度座標を表している。なお、本発明における輝度差算出手段は、ストロボ光輝度算出手段２５によって、その機能が発現される。

次に、輝度座標距離情報生成手段２６には、輝度座標毎に、(式２)を用いて、第１輝度バッファ２３に格納されている輝度信号Ｙａと予め定められた所定の輝度信号Ｙｔとの比に基づいて、第１距離情報を求める際の第１パラメータＭＶａを算出する第１パラメータ算出部２７と、（式３）を用いて、ストロボ光輝度算出部２５で算出されたストロボ光輝度Ｙｂと所定の輝度信号Ｙｔとの比に基づいて、第１距離情報を求める際の第２パラメータＭＶｂを算出する第２パラメータ算出部２８と、が備えられている。
（式２） ＭＶａ_{（ｈ，ｖ）}＝ＬＯＧ_２（Ｙａ_{（ｈ，ｖ）}／Ｙｔ）
（式３） ＭＶｂ_{（ｈ，ｖ）}＝ＬＯＧ_２（Ｙｂ_{（ｈ，ｖ）}／Ｙｔ）
なお、本発明におけるパラメータ生成手段は、第１パラメータ算出部２７及び第２パラメータ算出部２８によって、その機能が発現される。

また、輝度座標距離情報生成手段２６には、輝度座標毎に、第１のパラメータＭＶａ、第２のパラメータＭＶｂ、予備発光の際の露出条件等から、図４（ｂ）に表したように、輝度座標毎に第１の被写体距離情報（ＤＸ_{（ｈ，ｖ）}）を算出する第１距離情報算出部２９、図４（ｃ）に表したように、特定領域Ｂにおいて第１の被写体距離情報に対する被写体距離の基準値（ＤＶ_{（ｂａｓｅ）}）の差分ＯＦＦＳＥＴを算出する補正値算出部３０、図４（ｄ）に表したように、補正値算出部３０で算出された補正値ＯＦＦＳＥＴを用いて第１の被写体距離情報（ＤＸ_{（ｈ，ｖ）}）を補正し、第２の被写体距離情報（ＤＶ_{（ｈ，ｖ）}）を算出する第２距離情報算出部３１、等が備えられている。なお、本発明における第１距離情報生成手段が、第１距離情報算出部２９によってその機能が発現され、本発明における補正値算出手段が補正値算出部３０によってその機能が発現され、本発明における第２距離情報生成手段が、第２距離情報算出部３１によってその機能が発現される。

詳しくは、第１距離情報算出部２９が、(式４)を用いて、輝度座標毎に第１の被写体距離情報（ＤＸ_{（ｈ，ｖ）}）を算出する。
（式４） （ＤＸ_{（ｈ，ｖ）}）＝（ＭＶａ_{（ｈ，ｖ）}−ＭＶｂ_{（ｈ，ｖ）}）／２−（５−ＴＶ−ＧＶ）／２

（式４）において、右辺の項における（５−ＴＶ−ＧＶ）は、予備発光の露出条件を表すパラメータ群であって、ＴＶがシャッター速度のＡＰＥＸ値、ＧＶが閃光装置１３の予備発光のガイドナンバーのＡＰＥＸ値、数値５がガイドナンバーＧＶをＩＳＯ１００基準に補正する数値である。

また、補正値算出部３０が、（式５）を用いて補正値（ＯＦＦＳＥＴ）を算出し、第２距離情報算出部３１が、（式６）を用いて、輝度座標毎に第２の被写体距離情報（ＤＶ_{（ｈ，ｖ）}）を算出する。
（式５） ＯＦＦＳＥＴ＝ＤＸ_{（ｂａｓｅ）}−ＤＶ_{（ｂａｓｅ）}
（式６） （ＤＶ_{（ｈ，ｖ）}）＝ＤＸ_{（ｈ，ｖ）}）−ＯＦＦＳＥＴ

次に、被写体距離情報測定部２００には、輝度座標距離情報生成手段２６で算出された第２パラメータ（ＭＶｂ）、第２の被写体距離情報（ＤＶ_{（ｈ，ｖ）}）、予備発光の露出条件等に基づいて、輝度座標毎に被写体の反射率を算出する反射率算出手段３２、輝度座標距離情報生成手段２６で算出された第２被写体距離情報（ＤＶ_{（ｈ，ｖ）}）や反射率算出手段３２で算出された反射率（ＲＶ_{（ｈ，ｖ）}）等を記録する記録手段３３等が備えられている。

詳しくは、反射率算出手段３２は、（式７）を用いて、図４（ｅ）に表したように、輝度座標毎に被写体の反射率（ＲＶ_{（ｈ，ｖ）}）を算出する。
（式７） （ＲＶ_{（ｈ，ｖ）}）＝ＭＶｂ_{（ｈ，ｖ）}＋２＊ＤＶ_{（ｈ，ｖ）}−（ＧＶ−ＡＶ−５＋ＳＶ）
（式７）において、右辺の項における（ＧＶ−ＡＶ−５＋ＳＶ）は、予備発光の露出条件を表すパラメータ群であって、ＧＶが閃光装置１３の予備発光のガイドナンバーのＡＰＥＸ値、ＡＶがＩｒｉｓ（絞り）３のＦナンバーのＡＰＥＸ値、数値５がガイドナンバーＧＶをＩＳＯ１００に対応付けた補正値、ＳＶがＩＳＯ感度のＡＰＥＸ値である。

また、距離情報検出部２００には、輝度座標距離情報生成手段２６で測定された第２の被写体距離情報ＤＶ_{（ｈ，ｖ）}及び反射率算出手段３２で算出された反射率情報ＲＶ_{（ｈ，ｖ）}を、輝度座標（撮影される画像の座標位置でもある）に対応つけて表示する被写体測定情報表示装置（図示せず）が備えられている。

そして、距離情報検出部２００は、ユーザが、撮影する際に第２の被写体距離情報及ＤＶ_{（ｈ，ｖ）}び反射率ＲＶ_{（ｈ，ｖ）}を参照し、図示しないインタフェースを介して、主たる被写体部を選択できるように構成されている。

次に、露出設定部４２は、被写体距離情報生成手段２６で測定された第２の被写体距離情報ＤＶ_{（ｈ，ｖ）}及び反射率算出手段３２で算出された反射率情報（ＲＶ_{（ｈ，ｖ）}）に応じて、被写体を撮影する際の露光量を制御する露光制御装置の機能を備えている。詳しくは、露出設定部４２は、図示しないプログラム線図に基づいて、閃光装置１３の発光量（ＧＶ）、シャッタースピード（ＴＶ）、絞り値（ＡＶ）等、ＩＳＯ感度（ＳＶ）等を設定する。

次に、ホワイトバランス係数補正手段５０は、図１に表したように、距離分布検出手段５０ａ、距離情報画成手段５０ｂ、主被写体選択手段５０ｃ、照射光比算出手段５０ｄ、補正係数算出手段５０ｅ等によって構成され、距離情報検出部２００で検出された距離情報に基づいて、ホワイトバランス係数と色再現マトリクス係数の補正係数を算出する。なお、本発明におけるホワイトバランス係数補正手段は、ホワイトバランス係数補正手段５０及び後述の補正手段５１ｃ、色再現係数算出手段５１ｆによって、その機能が発現される。また、本発明の距離分布検出手段が距離分布検出手段５０ａに対応し、本発明の距離情報画成手段が距離情報画成手段５０ｂに対応し、本発明の主被写体領域選択手段が主被写体選択手段５０ｃに対応する。

詳しくは、距離分布検出手段５０ａにおいて、図２（ａ）に表したように、第二距離情報算出部３１で算出された輝度座標毎の第２被写体距離情報ＤＶ_{（ｈ，ｖ）}の分布を検出する。図２（ａ）において、横軸が距離の数値、縦軸が検出数である。

距離情報画成手段５０ｂは、図２（ａ）に表した分布図において、検出数が最も多い距離値と、その次に検出数が多い距離値を選択して、両者の分布の谷となる距離値（Ｄｖｄ）を分離点とし、その分離点より近距離側の画像領域と遠距離側の画像領域とに画成する。

主被写体選択手段５０ｃは、距離情報画成手段５０ｂによって画成された画像領域の何れかを、ユーザからの指令信号に基づいて主被写体領域として選択する。本実施例では、分離点（ＤＶｄ）を介して、近距離側を主被写体領域とし遠距離側を背景としている。

照射光比算出手段５０ｄは、距離情報検出部２００で検出された予備発光無しの評価値（輝度値）と予備発光有りの評価値（輝度値）を用い、各輝度と対となる一単位毎にストロボ光と環境光との比を算出し、主被写体領域に重み付けして、ストロボ光と環境光との平均値を算出する。

詳しくは、先ず、撮影画面における一単位毎に、予備発光有りの際の輝度値をＹｐ[ｎ]、予備発光無しの際の輝度値をＹ０[ｎ]と表した際に、予備発光時の環境光の輝度値をＹｐ０[ｎ]と予備発光時のストロボ光の輝度値をＹｐ１[ｎ]を（式８）を用いて算出する。
（式８） Ｙｐ０[ｎ]＝Ｙ０[ｎ]
Ｙｐ１[ｎ]＝Ｙｐ[ｎ]―Ｙｐ０[ｎ]

次いで、（式９）を用いて、目標の輝度信号Ｙｔ[ｎ]との比に基づいて、式８で算出されたＹｐ０[ｎ]及びＹｐ１[ｎ]を、夫々、ＡＰＥＸ値（ＭＶｐ０[ｎ]、ＭＶｐ１[ｎ]）に変換する。
（式９） ＭＶｐ０[ｎ]＝ＬＯＧ_２（Ｙｐ０[ｎ]／Ｙｔ[ｎ]）
ＭＶｐ１[ｎ]＝ＬＯＧ_２（Ｙｐ１[ｎ]／Ｙｔ[ｎ]）

次いで、（式１０）を用いて、撮影画面における一単位毎に、ストロボ光と環境光との比ＰＶ[ｎ]を算出する。
（式１０） ＰＶ[ｎ]＝（ＭＶｐ０[ｎ]−ＭＶｐ１[ｎ]）＋（ＴＶｐ−ＴＶｓ＋ＧＶｐ−ＧＶｓ）
（式１０）において、ＴＶｐが予備発光の際のシャッタースピードのＡＰＥＸ値、ＧＶｐが予備発光の際の閃光装置１３発光のガイドナンバーのＡＰＥＸ値、ＴＶｓが本発光（本撮影）の際のシャッタースピードのＡＰＥＸ値、ＧＶｓが本発光（本撮影）の際の閃光装置１３発光のガイドナンバーのＡＰＥＸ値である。

次いで、（式１１）を用いて、ストロボ光と環境光との比ＰＶ[ｎ]に重み付けして合計し、その合計値を重み係数の合計値ＳＵＭ（Ｗ[ｎ]で除算し、ＰＶ[ｎ]の平均値ＰＶａｖｅ．を算出する。ＳＵＭは、合計値を算出する演算記号である。
（式１１） ＰＶａｖｅ．＝ＳＵＭ（ＰＶ[ｎ]×Ｗ[ｎ]）／ＳＵＭ（Ｗ[ｎ]）

つまり、図３に表したように、撮影画面を主被写体と背景とに画成し、主被写体に重み係数（α＝Ｗ[ｎ]）を設定して、ストロボ光比を合計し、その合計値を重み係数の合計で除算することにより、平均値ＰＶａｖｅ．を算出する。

次に、補正係数算出手段５０ｅは、（式１２）を用いて、ストロボ光と環境光との比ＰＶａｖｅ．を撮影光量に対するストロボ光の占める比Ｒｓに変換する。例えば、環境光が０％であってストロボ光が１００％の際には、Ｒｓが１となる。
（式１２） Ａ＝（Ｙｓ０／Ｙｓ１）＝２＾（ＰＶａｖｅ．）
Ｒｓ＝１−（Ａ／（Ａ＋１））

次に、画像処理部３００は、画素信号に基づいて、ホワイトバランス補正のパラメータ及びカラー色の色再現係数を生成する色再現係数設定手段５１、色再現係数設定手段５１で生成されたホワイトバランス補正のパラメータに基づいて画素信号のホワイトバランス補正を行うホワイトバランス処理部６０、画像データを所定の色合いに合わせる色再現処理部６１、等によって構成され、ＣＰＵ４０がＲＯＭ４１に格納されたプログラムに従って当該画像処理部３００を制御する。なお、本発明におけるホワイトバランス係数算出手段は、色再現係数設定手段５１によって、その機能が発現される。

色再現係数設定手段５１は、ブロック積算手段５１ａ、光源推定手段５１ｂ、補正手段５１ｃ、基準光源選択手段５１ｄ、基準光源データ格納手段５１ｅ、色再現係数算出手段５１ｆ、等によって構成されている。

ブロック積算手段５１ａは、前処理部２０を介して撮像部１００からから供給されたＲＧＢ信号を、図６（ｂ）に表したようにＭ×Ｎの複数のエリアにブロック分割するとともに、ＲＧＢ色毎に累積加算を行ってその積算値ＳＵＭ（Ｒ）、ＳＵＭ（Ｇ）、ＳＵＭ（Ｂ）を光源推定手段５１ｂに送る。

光源推定手段５１ｂは、ブロック演算手段５１ａから入力されたΣＲ、ΣＧ、ΣＢをブロック毎に、三行三列からなるＸＹＺ変換マトリクス演算によりＸＹＺ信号に変換し、得られたＸＹＺ信号を、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）の式に代入してｘｙ色度座標を求め、ＲＧＢ色信号を二次元空間にｘｙ色度座標として変換する。

前述のＸＹＺ変換マトリクス演算に用いる３行３列のマトリクス係数は、基準光源下での無彩色の撮像領域を撮像したときの撮像部１００から供給されるＲＧＢ色信号の値と、無彩色の撮像領域について色彩色度計などの計測機を用いて実測した色度座標に対応付けられるように、予めバッファに格納されている。ＲＧＢ色信号の値とｘｙ色度座標との対応付けは、例えば太陽光、白色蛍光灯、白熱電球等の複数の光源データを元に対応的選択手法を用いて算出する。

また、光源推定手段５１ｂは、ブロック毎にｘｙ色度座標に変換されたデータを、所定の光源マップに対応付けて、ｘｙ色度座標が図６（ａ）に表した光源選択エリア内であるか否かを判定し。光源選択エリア内である際には、太陽光、白色蛍光灯、白熱電球等の光源と判断され、そのｘｙ色度座標を累積加算して平均値（ｘａ，ｙａ）を算出し、補正手段５１ｃに送る。

補正手段５１ｃは、光源推定手段５１ｂから入力された色度座標（ｘａ，ｙａ）をホワイトバランス係数補正手段５０で算出された補正係数Ｒｓと予め設定されているストロボ光の色度座標（ｘｂ，ｙｂ）とを用いて補正し、その補正された色度座標（ｘｃ，ｙｃ）を基準光源選択手段５１ｄ及び色再現係数算出手段５１ｆに送る。ストロボ光の色度座標（ｘｂ，ｙｂ）は、基準光源データ格納手段５１ｅに格納されている。

詳しくは、図７に表したように、ｘ軸及びｙ軸方向に沿って、環境光のみの色度座標におけるＲｓを０、ストロボ光のみの色度座標におけるＲｓを１とした座標軸を生成し、補正係数算出手段５１ｅで算出されたＲｓ値に対応付けて、ストロボ撮影の際の撮影光の色度座標（ｘｃ，ｙｃ）を求める。

基準光源選択手段５１ｄは、基準光源演算用の係数が予め設定されて格納されている基準光源データ格納手段５１ｅを参照して、補正された色度座標（ｘｃ，ｙｃ）のホワイトバランス係数及び色再現係数を算出するため補間基準光源を選択する。この際、補正後の色度座標（ｘｃ，ｙｃ）に対応付けて、その色度座標（ｘｃ，ｙｃ）を囲む少なくとも３つの補間基準光源を選択する。

基準光源データ格納手段５１ｅには、図６（ａ）に表したように、複数の基準光源の夫々に対応させたｘｙ色度座標、ホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）、３行３列からなる色再現マトリクス係数（ａ〜ｉ）が予め作成されて格納されている。図６（ａ）中の×印の座標は、基準光源の色度座標を表している。

基準光源データ格納手段５１ｅに格納されている複数のホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）、３行３列からなる色再現マトリクス係数（ａ〜ｉ）等は、撮像装置１を用いて複数の基準光源下で撮影した実写データをもとに調整された値である。

そして、基準光源選択手段５１ｄは、選択された補間基準光源に対応付けて、補間基準光源毎のホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）及び色再現係数（ａ〜ｉ）を色再現係数算出手段５１ｆに出力する。

色再現係数算出手段５１ｆは、補間基準光源に設定されたホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）及び色再現マトリクス係数（ａ〜ｉ）を用いて、補正手段５１ｃによって算出された色度座標（ｘｃ，ｙｃ）に対応するホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）´と色再現マトリクス係数（ａ〜ｉ）´を補間算出する。これにより、Ｒｓは、ホワイトバランス係数及び色再現係数の補正係数としての機能を発現する。なお、本発明におけるホワイトバランス係数算出手段は、色再現係数算出手段５１ｆによって、その機能が発現される。また、本発明におけるホワイトバランス係数補正手段は、ホワイトバランス補正係数算出手段５０及び補正手段５１ｃによって、その機能が発現される。

次に、ホワイトバランス処理部６０は、本撮影の際に、前処理部２を介して撮像装置１から入力されたＲＧＢデジタル画像信号のレベルを、色再現係数設定手段５１で算出されたホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）´を用いて調整し、白い色が白く視られるように、デジタル画像信号を補正する。つまり、ホワイトバランス処理部６０は、光源の種類に係らず、無彩色の撮像領域を撮像した際に、Ｒ＝Ｇ＝Ｂになるように、ＲＧＢの信号レベルを補正する。

次に、色再現処理部６１は、色補間部６２と、色補正部６３と、γ変換部６４と、ＹＵＶ変換部６５とによって構成されている。

上述したように、撮像素子８が画素に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のＢａｙｅｒ配列からなるカラーフィルタを備え、各画素から出力する信号が各色のフィルタを通過した１色分の情報しかもたないので、色補間部６２において、各画素の信号を補間演算することによって、１画素ごとのＲＧＢ３色の成分を決定し、カラー画像データを生成する（デモザイク処理ともいう）。

色補正部６３は、色再現係数算出手段５１ｆで算出された色再現マトリクス係数（ａ〜ｉ）´を用いてホワイトバランス処理部６０及び色補間部６２を介して入力されたＲＧＢデジタル画像信号を所定の信号レベルに補正する。詳しくは、図６（ｃ）に表した行列式の演算を行い、ＲＧＢのデジタル画像信号をＲ´、Ｇ´、Ｂ´の画像信号に変換してカラー画像を補正する。

次に、γ変換部６４は、撮像部１００から出力されたデジタル画像信号が所定の階調（例えば、２^８＝２５６階調である。）をもたないデータであるので、色補正部６３を介して入力されたデジタル画像信号の階調変換を行う。

この際、画像データについて予め定めた適正露出量を基準とし、階調変換のテーブルが、バッファ（図示せず）に記憶されている。

さらに、γ変換部６４は、階調変換されたデジタル画像信号を、画像データが表示される表示器の色表示特性に対応付けてγ変換を行う。

ＹＵＶ変換部６５は、γ変換部６４から出力された画像信号を、標準的なカラー画像の色空間に変換し、カラー画像の画素毎のＹＵＶのカラー情報を生成する（Ｙは輝度情報、Ｕ、Ｖは色情報である。

以上のように、本実施例のホワイトバランス調整装置は、撮影画面において所定の画素信号を一単位とする複数の輝度をマトリクス状に生成して、この一単位毎に、撮像部１００から被写体までの距離情報を検出する距離情報検出部２６と、距離情報検出部２６で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に主被写体領域を照らす撮影光に含まれる閃光手段の照射光量とこの照射光量を除く環境光量との比を算出し、この算出された比に基づいて、ホワイトバランス係数を補正するホワイトバランス係数補正手段５０及び補正手段５１ｃ、色再現係数算出手段５１ｆを備えているので、閃光撮影において、ホワイトバランスに占める閃光装置１３の照射光（以下、ストロボ光ともいう）の影響度を撮影画面全体にわたって高精度に推定し、撮影された画像のホワイトバランスを精度よく調整できる。

また、本実施例のホワイトバランス調整装置は、距離情報検出部２６で検出された距離情報に基づいて、撮影画面における距離情報の分布を検出する距離分布検出手段５０ａと、距離分布検出手段５０ａで検出された距離情報の分布に対応付けて、画像データを近距離側と遠距離側とに画成する距離情報画成手段５０ｂと、距離情報画成手段５０ｂで画成された近距離側の画像データと遠距離側の画像データの何れかを主被写体領域として選択する主被写体選択手段５０ｃと、照射光比算出手段５０ｄ、補正係数算出手段５０ｅとを備え、主被写体領域に重み付けしてホワイトバランス係数を補正するように構成されているので、距離情報に応じて、ユーザが自由にホワイトバランス合わせの画像領域を設定できて利便性を向上できる。

また、本実施例のホワイトバランス調整装置は、距離情報検出部２６を備えることにより、撮影領域毎の距離を得るための、領域の数に対となるように夫々フォーカス調整が不要であって、特許文献２に記載の技術よりもホワイトバランス処理の作業を簡素化できる。また、被写体距離を分割領域の合焦度によって推定することなく、輝度座標に対応付けて算出できるので、ホワイトバランスにおけるストロボ光の影響度を高精度に算出できてホワイトバランス調整を向上できる。

また、本実施例のホワイトバランス調整装置は、ホワイトバランス係数補正手段５０を介して、一単位毎に照射光量と環境光量との比を算出し、次いで、算出された一単位毎の比に対して、主被写体領域に重みを付けるように重み係数を掛けて、重み係数を掛けて算出された比の合計値を算出し、次いで、算出された合計値を重み係数の合計で除算して平均値を算出し、算出され平均値に対応付けて前記ホワイトバランス係数を補正するように構成されているので、主被写体領域における一単位毎の照射光量及び環境光量の変化をホワイトバランスの調整に反映できる。

次に、図８、図９に基づいて、撮像装置１におけるホワイトバランス調整方法及び画像処理方法の手順を説明する。この手順は、ＣＰＵ４０がＲＯＭ４１に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図８、図９におけるＳは、ステップを表している。

まず、この手順は、ユーザによって撮像装置１に起動信号が入力された際にスタートする。

次いで、図７に表したように、Ｓ１００において、以前に演算された情報を初期化し、その後、Ｓ１１０に移る。

次いで、Ｓ１１０において、撮影条件に応じて、閃光装置１３の予備発光の露出条件を設定し、その後、Ｓ１２０に移る。

次いで、Ｓ１２０において、基準距離検出手段１４を用いて、撮影の際の特定領域の距離情報（ＤＶ_{（ｂａｓｅ）}）を取得し、その後、Ｓ１３０に移る。

次いで、Ｓ１３０において、閃光装置１４の予備発光無しに被写体を撮影し、その後、Ｓ１４０に移る。

次いで、Ｓ１４０において、輝度信号生成手段２１を用いて、隣接する水平２画素及び垂直２画素の４画素を一単位とする第１輝度信号（Ｙａ_{（ｈ，ｖ）}）を生成し、これを４画素の中心に位置する輝度座標に対応付けて第１輝度バッファ２３に保存し、その後、Ｓ１５０に移る。

次いで、Ｓ１５０において、Ｓ１１０で設定された露出条件によって、閃光装置１３を被写体に向けて発光（予備発光）して被写体を撮影し、その後、Ｓ１６０に移る。

次いで、Ｓ１６０において、輝度信号生成手段２１を用いて、隣接する水平２画素及び垂直２画素の４画素を一単位とする第２輝度信号（Ｙｃ_{（ｈ，ｖ）}）を生成し、これを４画素の中心に位置する輝度座標に対応付けて第２輝度バッファ２４に保存し、その後、Ｓ１７０に移る。

次いで、Ｓ１７０において、一単位毎の距離情報を算出する。詳しくは、図９に表したように、Ｓ１７１において、ストロボ光輝度算出手段２５を用いて、一単位毎に、Ｓ１６０で生成した第２輝度信号（Ｙｃ_{（ｈ，ｖ）}）からＳ１４０で生成した第１輝度信号（Ｙａ_{（ｈ，ｖ）}）を減算して、予備発光の際のストロボ光のみの輝度成分（Ｙｂ_{（ｈ，ｖ）}）を算出し、その後、Ｓ１７２に移る。

次いで、Ｓ１７２において、第１パラメータ算出部２７を用いて、第１輝度信号Ｙａを距離情報の第１のパラメータ（ＭＶａ）に変換すると共に、第２パラメータ算出部２８を用いて、ストロボ光のみの輝度成分Ｙｂを距離情報の第２のパラメータ（ＭＶｂ）に変換し、その後、Ｓ１７３に移る。

次いで、Ｓ１７３において、第１距離情報算出部２９を用いて、第１、第２のパラメータ、Ｓ１１０において設定した予備発光の露出値等にもとづき、輝度座標毎に第１の被写体距離情報（ＤＸ_{（ｈ，ｖ）}）を算出し、その後、Ｓ１７４に移る。

次いで、Ｓ１７４において、補正値算出部３０を用いて、Ｓ１２０の特定領域における、距離情報の基準値（ＤＶ_{（ｂａｓｅ）}）と第１の被写体距離情報（ＤＸ_{（ｈ，ｖ）}）との差分（ＯＦＦＳＥＴ）を算出して、第１の被写体距離情報の補正値を求め、その後、Ｓ１７５に移る。

次いで、Ｓ１７５において、第２距離情報算出部３１を用いて、Ｓ１７３で算出した第１の被写体距離情報からＳ１７４で算出した補正値（ＯＦＦＳＥＴ）を減算して、輝度座標毎に第２の被写体距離情報（ＤＶ_{（ｈ，ｖ）}）を算出し、その後、Ｓ１７６に移る。

次いで、Ｓ１７６において、一単位毎に、第２の被写体距離情報（ＤＶ_{（ｈ，ｖ）}）を格納し、その後、図８のＳ１８０に移る。

次いで、Ｓ１８０において、距離分布検出手段５０ａ、離情報画成手段５０ｂ、主被写体選択手段５０ｃを用いて、距離分布を検出して画像領域を画成し、画成された複数の画像領域の中から主被写体領域を選択する。詳しくは、図２（ａ）に表したように、Ｓ１７５で算出された輝度座標毎の第２被写体距離情報ＤＶ_{（ｈ，ｖ）}の分布を検出し、距離情報画成手段５０ｂを用いて、検出数が最も多い距離値と、その次に検出数が多い距離値を選択して、両者の分布の谷となる距離値（Ｄｖｄ）を分離点とし、その分離点より近距離側の画像領域と遠距離側の画像領域とに画成し、主被写体選択手段５０ｃを用いて、画成された画像領域の何れかを、ユーザからの指令信号に基づいて主被写体領域として選択する。

次いで、Ｓ１９０において、Ｓ１８０で選択した主被写体領域に対して、後述のストロボ光比算出のための重み係数（α＝Ｗ[ｎ]）を設定し、その後、Ｓ２００に移る。

次いで、Ｓ２００において、照射光比算出手段５０ｄを用いて、一単位毎にストロボ光と環境光との比ＰＶ（ｎ）を算出し、次いで、Ｓ２１０において、図３に表したように、主被写体領域にＳ１９０で算出した重み付け係数を乗算して、ストロボ光と環境光との平均値ＰＶａｖｅ．を算出する。

次いで、Ｓ２２０において、補正係数算出手段５０ｅを用いて、ストロボ光と環境光との比ＰＶａｖｅ．を撮影光量に対するストロボ光の占める比Ｒｓに変換し、その後、Ｓ２３０に移る。

次いで、Ｓ２３０において、色再現係数設定手段５１を用いて、ストロボ撮影に対応付けた色度座標（ｘｃ，ｙｃ）を算出して、その色度座標に対応付けたホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）´と色再現マトリクス係数（ａ〜ｉ）´を補間算出し、その後、Ｓ２４０に移る。詳しくは、光源推定手段５５から入力された色度座標（ｘａ，ｙａ）をホワイトバランス補正係数算出手段５０で算出された補正係数Ｒｓ及びストロボ光の色度座標（ｘｂ，ｙｂ）を用いて補正して色度座標（ｘｃ，ｙｃ）を算出し、次いで、補正後の色度座標（ｘｃ，ｙｃ）に対応付けて３つの補間基準光源を選択し、この補間基準光源に対応するホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）及び色再現係数（ａ〜ｉ）を用いて、ストロボ撮影の際のホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）´及び色再現係数（ａ〜ｉ）´を補間算出する。

次いで、Ｓ２４０において、本撮影前のプレビュー画面の露出情報に基づいて、現在の明るさ情報のＢＶ座標を取得して、ＢＶ座標に対応付けて、本撮影の際のシャッター速度（ＴＶ）、絞り値（ＡＶ）、ＩＳＯ感度（ＳＶ）、閃光装置１３発光のガイドナンバー等のパラメータ群を設定し、このパラメータ群に基づいてストロボ撮影し、その後、Ｓ２５０に移る。

次いで、Ｓ２５０において、ホワイトバランス処理部６０を用いて、ストロボ撮影（本撮影）して得られた画像データ（ＲＧＢ）に対して、Ｓ２３０で得られたホワイトバランス係数（Ｋｒ、Ｋｇ、Ｋｂ）´を乗算して、ホワイトバランス処理を行う。

次いで、Ｓ２６０において、色補間部６２、色補正部６３、γ変換部６４、ＹＵＶ変換部６５等を用いて、カラー画像データを生成し、本ホワイトバランス調整方法及びカラー画像処理方法の手順を終了する。

上述したように、本実施例のホワイトバランス調整方法は、画像領域においてマトリクス状に生成された一単位毎に、撮像装置から被写体までの距離情報を検出する距離情報検出手順（Ｓ１１０〜Ｓ１７０）と、距離情報検出手順で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に主被写体領域を照らす撮影光に含まれる閃光手段の照射光量とこの照射光量を除く環境光量との比を算出し、この算出された比に基づいて、ホワイトバランス係数を補正するホワイトバランス係数補正手順（Ｓ１８０〜Ｓ２３０）と、を用いているので、閃光（ストロボ）撮影おいて、ホワイトバランスに占める閃光手段（閃光装置１３）の照射光（所謂、ストロボ光である）の影響度を撮影画面全体にわたって高精度に推定し、撮影された画像のホワイトバランスを精度よく調整できる。

また、本実施例のホワイトバランス調整方法は、距離情報検出手順（Ｓ１１０〜Ｓ１７０）を用いることにより、撮影領域毎の距離を得るための、領域の数に対となるように夫々フォーカス調整が不要であって、ホワイトバランス処理の作業を簡素化できる。また、被写体距離を分割領域の合焦度によって推定することなく、輝度座標に対応付けて算出できるので、ホワイトバランスにおけるストロボ光の影響度を高精度に算出できてホワイトバランス調整を向上できる。

また、また、本実施例のホワイトバランス調整方法は、距離情報検出手順（Ｓ１１０〜Ｓ１７０）で検出された距離情報に基づいて、撮影画面における距離情報の分布を検出し、検出された距離情報の分布に対応付けて、画像データを近距離側と遠距離側とに画成して近距離側の画像データと遠距離側の画像データの何れかを主被写体領域として選択する主被写体領域選択手順（Ｓ１８０）を用い、ホワイトバランス係数補正手順（Ｓ１９０〜Ｓ２３０）を介して、主被写体領域に重み付けしてホワイトバランス係数を補正するように構成されているので、画像領域にマトリクス状に生成された一単位毎の距離情報に応じて、ユーザが自由にホワイトバランス合わせの画像領域を設定できて利便性を向上できる。

また、本実施例のホワイトバランス調整方法は、ホワイトバランス係数補正手順（Ｓ１９０〜Ｓ２３０）を介して、画像領域にマトリクス状に生成された一単位毎に、照射光量と環境光量との比を算出して、次いで、算出された一単位毎の比に対して、主被写体領域に重みを付けるように重み係数を掛けて、重み係数を掛けて算出された比の合計値を算出し、次いで、算出された合計値を重み係数の合計で除算して平均値を算出し、算出され平均値に対応付けてホワイトバランス係数を補正するように構成されているので、主被写体領域における一単位毎の照射光量及び環境光量の変化をホワイトバランスの調整に反映できる。

また、本実施例に記載の撮像装置１及び撮像方法は、輝度座標毎の第２の被写体距離情報ＤＶ_{（ｈ，ｖ）}に基づいて画成された画像領域同士の、相対的位置の差分を検出し、第２の被写体距離情報ＤＶ_{（ｈ，ｖ）}によって区分された被写体部同士の相対的位置関係に係る情報に応じたホワイトバランス調整が可能になり、一層、利便性を向上できる。

以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。

本発明に係るホワイトバランス調整装置及び調整方法は、閃光撮影して得られた画像のホワイトバランスを調整する際に利用できる。

１…撮像装置、２…前部レンズ、３…Ｉｒｉｓ（絞り）、５…フォーカスレンズ、６…シャッター、７…フィルタ、８…撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）９…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、１０…相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、１１…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、１２…Ａ／Ｄ変換器、１３…閃光装置（例えば、ストロボである）、１４…基準距離検出手段、１５…Ｉｒｉｓ駆動部、１６…検出部、１６ａ…センサ、１７…フォーカス駆動部、１８…検出部、１８ａ…センサ、１９…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、２０…前処理部、２１…輝度信号生成手段、２２…輝度バッファ、２３…第１輝度バッファ、２４…第２輝度バッファ、２５…ストロボ光輝度算出手段、２６…輝度座標距離情報生成手段、２７…第１パラメータ算出部、２８…第２パラメータ算出部、２９…第１距離情報算出部、３０…補正値算出部、３１…第２距離情報算出部、３２…反射率算出手段、３３…記録手段、４０…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、４１…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、４２…露出設定部、５０…ホワイトバランス係数補正手段、５０ａ…距離分布検出手段、５０ｂ…距離情報画成手段、５０ｃ…主被写体選択手段、５０ｄ…照射光比算出手段、５０ｅ…補正係数算出手段、５１…色再現処理部、５１…色再現係数設定手段、５１ａ…ブロック積算手段、５１ｂ…光源推定手段、５１ｃ…補正手段、５１ｄ…基準光源選択手段、５１ｅ…基準光源データ格納手段、５１ｆ…色再現係数算出手段、６０…ホワイトバランス処理部、６１…色再現処理部、６２…色補間部、６３…色補正部、６４…γ変換部、６５…ＹＵＶ変換部、１００…撮像部、２００…距離情報検出部、３００…画像処理部。

Claims (8)

1. 被写体に所定の光量を照射する閃光手段と、複数の光電変換素子がマトリクス状に配置され、撮影された被写体の光学像を画素毎に光電変換して画像データを出力する撮像手段とを備えた撮像装置における、前記画像データのホワイトバランスを調整するホワイトバランス調整装置であって、
   前記画像データに基づいて、前記被写体を照明する光源の色温度を推定し、該推定された光源の色温度に対応付けて、ホワイトバランス調整のホワイトバランス係数を算出するホワイトバランス係数算出手段と、
   前記光電変換素子の夫々から出力された画像信号を画素信号とした際に、撮影画面において、所定の画素信号の数を一単位とする複数の輝度をマトリクス状に生成し、前記一単位毎に、前記閃光手段からの照射の有無に応じて撮影された２つの画像信号からそれぞれ生成された前記輝度に基づいて、前記被写体を撮影する撮像装置から被写体までの距離情報を検出する距離情報検出手段と、
   前記距離情報検出手段で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に前記主被写体領域を照らす撮影光に含まれる前記閃光手段の照射光量と該照射光量を除く環境光量との比を算出し、該算出された比に基づいて、前記ホワイトバランス係数を補正するホワイトバランス係数補正手段と、
   を備えていることを特徴とするホワイトバランス調整装置。
   
2. 前記距離情報検出手段で検出された一単位毎の距離情報に基づいて、前記撮影画面における距離情報の分布を検出する距離情報分布検出手段と、
   前記距離情報検出手段で検出された距離情報の分布において、検出数が最も多い距離値とその次に検出数が多い距離値との谷となる距離値を分離点とし、前記画像データを前記分離点より近距離側と遠距離側とに画成する距離情報画成手段と、
   前記距離情報画成手段によって画成された近距離側の画像データと遠距離側の画像データとの何れかを前記主被写体領域として選択する主被写体領域選択手段と、
   を備え、
   前記ホワイトバランス係数補正手段が、前記主被写体領域に重み付けして前記ホワイトバランス係数を補正する、
   ことを特徴とする請求項１に記載のホワイトバランス調整装置。
   
3. 前記ホワイトバランス係数補正手段が、
   前記一単位毎に前記照射光量と前記環境光量との比を算出して、
   前記算出された一単位毎の比に対して前記主被写体領域に重みを付けるように重み係数を掛けて、該重み係数を掛けて算出された比の合計値を算出し、
   前記算出された合計値を重み係数の合計で除算して平均値を算出し、
   前記算出され平均値に対応付けて前記ホワイトバランス係数を補正する、
   ことを特徴とする請求項２に記載のホワイトバランス調整装置。
   
4. 本撮影前に予備発光する予備発光手段を備え、
   前記距離情報検出手段が、
   前記撮影画面領域における特定領域に対応する距離情報の基準値を取得する基準距離取得手段と、
   前記予備発光無しに撮影して得られた前記被写体の画像データに基づいて、前記所定の画素信号の数を一単位とする複数の第１輝度を、所定の画像領域にわたってマトリクス状に生成する第１輝度生成手段と、
   前記予備発光して撮影して得られた前記被写体の画像データに基づいて、前記第１輝度と対になるように、前記所定の画素信号の数を一単位とする複数の第２輝度を生成する第２輝度生成手段と、
   前記一単位毎に、前記第２輝度から前記第１輝度を減算して、前記予備発光分の輝度成分を算出する輝度差算出手段と、
   前記一単位毎に、前記第１輝度と、前記輝度差算出手段で算出された予備発光の輝度成分とを、夫々、所定の目標輝度と比較して該目標輝度との比を求め、この比を用いて、第１の被写体距離情報を求める際の第１及び第２のパラメータを生成するパラメータ生成手段と、
   前記第１及び第２のパラメータと、前記第２輝度生成手段における前記予備発光の際の露出値とに基づいて、前記一単位毎に、前記第１の被写体距離情報を生成する第１距離情報生成手段と、
   前記特定領域に位置する前記第１の被写体距離情報と前記被写体距離情報の基準値との差分を算出する補正値算出手段と、
   前記一単位毎に、前記補正値算出手段で生成された差分値を用いて、該差分を打ち消すように前記第１の被写体距離情報を補正し、第２の被写体距離情報を生成する第２距離情報生成手段と、
   を備え、
   前記パラメータ生成手段が、前記第１のパラメータをＭＶａ、前記第２のパラメータをＭＶｂ、前記目標輝度をＹｔ、前記第１輝度をＹａ、前記予備発光の輝度成分をＹｂと表した際に、前記第１のパラメータをＭＶａ＝ＬＯＧ_２（Ｙａ／Ｙｔ）、前記第２のパラメータをＭＶｂ＝ＬＯＧ_２（Ｙｂ／Ｙｔ）、の演算式で算出し、
   前記第１距離情報生成手段が、前記第１の被写体距離情報のアペックス値をＤＸ、前記第１輝度生成手段及び第２輝度生成手段における撮影の際のシャッタースピードのアペックス値をＴＶ、前記閃光装置の予備発光のガイドナンバーのアペックス値をＧＶと表した際に、前記第１の被写体距離情報のアペックス値をＤＸ＝（ＭＶａ−ＭＶｂ）／２−（５−ＴＶ−ＧＶ）／２、の演算式で算出し、
   前記補正値算出手段が、前記補正値をＯＦＦＳＥＴ、前記特定領域における第１の被写体距離情報のアペックス値をＤＸ_{（ｂａｓｅ）}、前記特定領域における被写体距離情報の基準値のアペックス値をＤＶ_{（ｂａｓｅ）}と表した際に、前記補正値をＯＦＦＳＥＴ＝ＤＸ_{（ｂａｓｅ）}−ＤＶ_{（ｂａｓｅ）}、の演算式で算出し、
   前記第２距離情報生成手段が、前記第２の被写体距離情報のアペックス値をＤＶ、前記第１の被写体距離情報のアペックス値をＤＸ、前記補正値をＯＦＦＳＥＴと表した際に、前記第２の被写体距離情報のアペックス値をＤＶ＝ＤＸ−ＯＦＦＳＥＴ、の演算式で算出することにより、前記特定領域の被写体距離情報に基づいて、全画像領域に対して前記一単位毎に前記第２の被写体距離情報を推定演算し、
   前記一単位毎に、前記第２の被写体距離情報を、前記撮像装置から前記被写体までの距離情報として検出する、
   ことを特徴とする請求項１乃至請求項３の何れか記載のホワイトバランス調整装置。
   
5. 被写体に所定の光量を照射する閃光手段と、複数の光電変換素子がマトリクス状に配置され、撮影された被写体の光学像を画素毎に光電変換して画像データを出力する撮像手段とを備えた撮像装置における、前記画像データのホワイトバランスを調整するホワイトバランス調整方法であって、
   前記画像データに基づいて、前記被写体を照明する光源の色温度を推定し、該推定された光源の色温度に対応付けて、ホワイトバランス調整のホワイトバランス係数を算出するホワイトバランス係数算出手順と、
   前記光電変換素子の夫々から出力された画像信号を画素信号とした際に、撮影画面において、所定の画素信号の数を一単位とする複数の輝度をマトリクス状に生成し、前記一単位毎に、前記閃光手段からの照射の有無に応じて撮影された２つの画像信号からそれぞれ生成された前記輝度に基づいて、前記被写体を撮影する撮像装置から被写体までの距離情報を検出する距離情報検出手順と、
   前記距離情報検出手順で検出された距離情報に基づいて主被写体領域を特定し、撮影の際に前記主被写体領域を照らす撮影光に含まれる前記閃光手段の照射光量と該照射光量を除く環境光量との比を算出し、該算出された比に基づいて、前記ホワイトバランス係数を補正するホワイトバランス係数補正手順と、
   を用いることを特徴とするホワイトバランス調整方法。
   
6. 前記距離情報検出手順で検出された一単位毎の距離情報に基づいて、前記撮影画面における距離情報の分布を検出する距離情報分布検出手順と、
   前記距離情報検出手順で検出された距離情報の分布において、検出数が最も多い距離値とその次に検出数が多い距離値との谷となる距離値を分離点とし、前記画像データを前記分離点より近距離側と遠距離側とに画成する距離情報画成手順と、
   前記距離情報画成手順によって画成された近距離側の画像データと遠距離側の画像データとの何れかを前記主被写体領域として選択する主被写体領域選択手順と、
   を用い、
   前記ホワイトバランス係数補正手順が、前記主被写体領域に重み付けして前記ホワイトバランス係数を補正する、
   ことを特徴とする請求項５に記載のホワイトバランス調整方法。
   
7. 前記ホワイトバランス係数補正手順が、
   前記一単位毎に前記照射光量と前記環境光量との比を算出して、
   前記算出された一単位毎の比に対して前記主被写体領域に重みを付けるように重み係数を掛けて、該重み係数を掛けて算出された比の合計値を算出し、
   前記算出された合計値を重み係数の合計で除算して平均値を算出し、
   前記算出され平均値に対応付けて前記ホワイトバランス係数を補正する、
   ことを特徴とする請求項６に記載のホワイトバランス調整方法。
   
8. 本撮影前に予備発光する予備発光手順を備え、
   前記距離情報検出手順が、
   前記撮影画面領域における特定領域に対応する距離情報の基準値を取得する基準距離取得手順と、
   前記予備発光無しに撮影して得られた前記被写体の画像データに基づいて、前記所定の画素信号の数を一単位とする複数の第１輝度を、所定の画像領域にわたってマトリクス状に生成する第１輝度生成手順と、
   前記予備発光して撮影して得られた前記被写体の画像データに基づいて、前記第１輝度と対になるように、前記所定の画素信号の数を一単位とする複数の第２輝度を生成する第２輝度生成手順と、
   前記一単位毎に、前記第２輝度から前記第１輝度を減算して、前記予備発光分の輝度成分を算出する輝度差算出手順と、
   前記一単位毎に、前記第１輝度と、前記輝度差算出手順で算出された予備発光の輝度成分とを、夫々、所定の目標輝度と比較して該目標輝度との比を求め、この比を用いて、第１の被写体距離情報を求める際の第１及び第２のパラメータを生成するパラメータ生成手順と、
   前記第１及び第２のパラメータと、前記第２輝度生成手順における前記予備発光の際の露出値とに基づいて、前記一単位毎に、前記第１の被写体距離情報を生成する第一距離情報生成手順と、
   前記特定領域に位置する前記第１の被写体距離情報と前記被写体距離情報の基準値との差分を算出する補正値算出手順と、
   前記一単位毎に、前記補正値算出手順で生成された差分値を用いて、該差分を打ち消すように前記第１の被写体距離情報を補正し、第２の被写体距離情報を生成する第２距離情報生成手順と、
   を用い、
   前記パラメータ生成手順が、前記第１のパラメータをＭＶａ、前記第２のパラメータをＭＶｂ、前記目標輝度をＹｔ、前記第１輝度をＹａ、前記予備発光の輝度成分をＹｂと表した際に、前記第１のパラメータをＭＶａ＝ＬＯＧ_２（Ｙａ／Ｙｔ）、前記第２のパラメータをＭＶｂ＝ＬＯＧ_２（Ｙｂ／Ｙｔ）、の演算式で算出し、
   前記第１距離情報生成手順が、前記第１の被写体距離情報のアペックス値をＤＸ、前記第１輝度生成手順及び第２輝度生成手順における撮影の際のシャッタースピードのアペックス値をＴＶ、前記閃光装置の予備発光のガイドナンバーのアペックス値をＧＶと表した際に、前記第１の被写体距離情報のアペックス値をＤＸ＝（ＭＶａ−ＭＶｂ）／２−（５−ＴＶ−ＧＶ）／２、の演算式で算出し、
   前記補正値算出手順が、前記補正値をＯＦＦＳＥＴ、前記特定領域における第１の被写体距離情報のアペックス値をＤＸ_{（ｂａｓｅ）}、前記特定領域における被写体距離情報の基準値のアペックス値をＤＶ_{（ｂａｓｅ）}と表した際に、前記補正値をＯＦＦＳＥＴ＝ＤＸ_{（ｂａｓｅ）}−ＤＶ_{（ｂａｓｅ）}、の演算式で算出し、
   前記第２距離情報生成手順が、前記第２の被写体距離情報のアペックス値をＤＶ、前記第１の被写体距離情報のアペックス値をＤＸ、前記補正値をＯＦＦＳＥＴと表した際に、前記第２の被写体距離情報のアペックス値をＤＶ＝ＤＸ−ＯＦＦＳＥＴ、の演算式で算出することにより、前記特定領域の被写体距離情報に基づいて、全画像領域に対して前記一単位毎に前記第２の被写体距離情報を推定演算し、
   前記一単位毎に、前記第２の被写体距離情報を、前記撮像装置から前記被写体までの距離情報として検出する、
   ことを特徴とする請求項５乃至請求項７の何れか記載のホワイトバランス調整方法。
   
   

Images