JP4305200B2 - 撮像装置および方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置および方法、並びにプログラムに関し、特に、好適な露出の画像を得ることができるようにする撮像装置および方法、並びにプログラムに関する。

近年販売されているディジタルスチルカメラやフィルムカメラの多くには自動露出調整機能（AE(Auto Exposure)）が搭載されている。

この自動露出調整は、レンズの近傍に設けられた測光素子で被写体（撮像範囲）の明るさを測光し、その測光結果に基づいて、撮像される画像の明るさが適正なものになるように、撮像時の絞り、シャッタースピード等を自動的に設定することによって行われる。

自動露出調整の方式には、例えば、撮像範囲のある部分の明るさを重点的に測光して適正露出を決定する部分測光方式（いわゆるスポット測光方式）や、撮像範囲を複数のエリアに分割し、それぞれのエリアの明るさを測光して適正露出を決定す多分割測光方式（いわゆるマルチ測光方式）などがある。これらの各方式の自動露出調整により、逆光、順光、過順光などの撮像時の光環境に応じた撮像が行われることになり、ユーザは、絞りやシャッタースピードを自ら調整することなく、撮像した画像がアンダー（暗すぎ）なものになったり、オーバー（明るすぎ）なものになったりすることを防止することができる。

ところで、画面の一部または全体を複数のブロックに分割し、各ブロックにおける輝度の累積値から露出を調整する発明が特許文献１に開示されている。
特開平１１−８７９６号公報

しかしながら、測光の結果に基づいて適正な露出を決定する方法によっては、自動露出調整機能によって決定される理想的な絞りの量やシャッタースピード（メカシャッターのスピード）と、撮像時に実際に制御された絞りの量とシャッタースピードに誤差がある場合、理論的に想定される最適な明るさの画像を得ることができないという課題があった。絞りの調整や、メカシャッターのスピードの調整は、羽などの部品を物理的に駆動させることで行われることから、わずかではあるがその駆動毎に誤差が生ずることがある。

また、測光結果に基づいて絞りの量やシャッタースピード等が決定されたときから、撮像の瞬間までに環境の変化があった場合、それに対処することができず、この場合も同様に、測光結果に基づいて想定される最適な明るさの画像を得ることができないという課題があった。

本発明はこのような状況に鑑みてなされたものであり、好適な露出の画像を得ることができるようにするものである。

本発明の第１の撮像装置は、測光結果に基づいて適正露出を算出し、適正露出の画像が得られるように撮像時の露出を調整する露出調整手段と、露出調整手段による調整に従って撮像を行う撮像手段と、撮像手段により撮像された画像のうちの予め定められた領域の輝度を、撮像手段により撮像された画像のデータに基づいて算出する第１の算出手段と、露出調整手段により算出された適正露出に基づいて、予め定められた領域の輝度を算出する第２の算出手段と、第１の算出手段により算出された輝度と、第２の算出手段により算出された輝度の差に基づいて、撮像手段により撮像された画像を補正する画像補正手段と、画像補正手段が画像を補正する際に算出した補正係数を、画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶手段と、装着されたレンズの識別情報を取得し、取得された識別情報に対応付けて記憶手段により記憶されている補正係数に基づいて、露出調整手段による露出の調整を制御する制御手段とを備えることを特徴とする。

本発明の第１の撮像装置は、撮像手段により撮像された画像の被写体の種別を判定する判定手段をさらに備えるようにすることができる。この場合、画像補正手段は、判定手段により判定された画像の被写体の種別にも基づいて、撮像手段により撮像された画像を補正する。

本発明の撮像方法は、測光結果に基づいて適正露出を算出し、適正露出の画像が得られるように撮像時の露出を調整する露出調整ステップと、露出調整ステップの処理による調整に従って撮像を行う撮像ステップと、撮像ステップの処理により撮像された画像のうちの予め定められた領域の輝度を、撮像ステップの処理により撮像された画像のデータに基づいて算出する第１の算出ステップと、露出調整ステップの処理により算出された適正露出に基づいて、予め定められた領域の輝度を算出する第２の算出ステップと、第１の算出ステップの処理により算出された輝度と、第２の算出ステップの処理により算出された輝度の差に基づいて、撮像ステップの処理により撮像された画像を補正する画像補正ステップと、画像補正ステップの処理により画像を補正する際に算出した補正係数を、画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶制御ステップと、装着されたレンズの識別情報を取得し、取得された識別情報に対応付けて記憶されている補正係数に基づいて、露出調整ステップの処理による露出の調整を制御する制御ステップとを含むことを特徴とする。

本発明のプログラムは、測光結果に基づいて適正露出を算出し、適正露出の画像が得られるように撮像時の露出を調整する露出調整ステップと、露出調整ステップの処理による調整に従って撮像を行う撮像ステップと、撮像ステップの処理により撮像された画像のうちの予め定められた領域の輝度を、撮像ステップの処理により撮像された画像のデータに基づいて算出する第１の算出ステップと、露出調整ステップの処理により算出された適正露出に基づいて、予め定められた領域の輝度を算出する第２の算出ステップと、第１の算出ステップの処理により算出された輝度と、第２の算出ステップの処理により算出された輝度の差に基づいて、撮像ステップの処理により撮像された画像を補正する画像補正ステップと、画像補正ステップの処理により画像を補正する際に算出した補正係数を、画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶制御ステップと、装着されたレンズの識別情報を取得し、取得された識別情報に対応付けて記憶されている補正係数に基づいて、露出調整ステップの処理による露出の調整を制御する制御ステップとを含むことを特徴とする。

本発明の第２の撮像装置は、測光結果に基づいて適正露出を算出し、適正露出の画像が得られるように撮像時の露出を調整する露出調整手段と、露出調整手段による調整に従って撮像を行う撮像手段と、撮像手段により撮像された画像のうちの予め定められた領域の輝度を、撮像手段により撮像された画像のデータに基づいて算出する第１の算出手段と、露出調整手段により算出された適正露出に基づいて、予め定められた領域の輝度を算出する第２の算出手段と、第１の算出手段により算出された輝度と、第２の算出手段により算出された輝度の差から、撮像手段により撮像された画像を補正するために用いる補正係数を算出する第３の算出手段と、撮像手段により撮像された画像のデータと、第３の算出手段により算出された補正係数とを記憶媒体に記憶させる記憶制御手段と、第３の算出手段が画像を補正するために算出した補正係数を、画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶手段と、装着されたレンズの識別情報を取得し、取得された識別情報に対応付けて記憶手段により記憶されている補正係数に基づいて、露出調整手段による露出の調整を制御する制御手段とを備えることを特徴とする。

本発明の第１の撮像装置および方法、並びにプログラムにおいては、測光結果に基づいて適正露出が算出され、適正露出の画像が得られるように撮像時の露出が調整され、その調整に従って撮像が行われる。また、撮像された画像のうちの予め定められた領域の輝度が、撮像された画像のデータに基づいて算出され、適正露出に基づいて、予め定められた領域の輝度が算出される。さらに、撮像された画像のデータに基づいて算出された輝度と、適正露出に基づいて算出された輝度の差に基づいて、撮像された画像が補正される。また、画像を補正する際に算出した補正係数を、画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させておき、装着されたレンズの識別情報を取得し、取得された識別情報に対応付けて記憶されている補正係数に基づいて、露出の調整が制御される。

本発明の第２の撮像装置においては、測光結果に基づいて適正露出が算出され、適正露出の画像が得られるように撮像時の露出が調整され、その調整に従って撮像が行われる。また、撮像された画像のうちの予め定められた領域の輝度が、撮像された画像のデータに基づいて算出され、適正露出に基づいて、予め定められた領域の輝度が算出される。さらに、撮像された画像のデータに基づいて算出された輝度と、適正露出に基づいて算出された輝度の差から、撮像された画像を補正するために用いる補正係数が算出され、撮像された画像のデータと、算出された補正係数とが記憶媒体に記憶される。また、画像を補正するために算出した補正係数を、画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させておき、装着されたレンズの識別情報を取得し、取得された識別情報に対応付けて記憶されている補正係数に基づいて、露出の調整が制御される。

本発明によれば、ユーザは、適正な露出の画像を撮像することができる。

また、本発明によれば、想定するシャッタースピードや絞りの量と、実際の撮像時のシャッタースピードや絞りの量に差が生じた場合でも、適正な露出の画像を撮像することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明によれば、第１の撮像装置が提供される。この第１の撮像装置（例えば、図１のディジタルスチルカメラ１）は、測光結果に基づいて適正露出を算出し、前記適正露出の画像が得られるように撮像時の露出を調整する露出調整手段（例えば、図１の自動露出調整部１２）と、前記露出調整手段による調整に従って撮像を行う撮像手段（例えば、図１の撮像素子１１）と、前記撮像手段により撮像された画像のうちの予め定められた領域（処理対象の領域）の輝度を、前記撮像手段により撮像された前記画像のデータに基づいて算出する第１の算出手段（例えば、図５のステップＳ２３の処理を実行する図２の輝度算出部４２）と、前記露出調整手段により算出された前記適正露出に基づいて、予め定められた前記領域の輝度を算出する第２の算出手段（例えば、図５のステップＳ２４の処理を実行する図２の輝度算出部４２）と、前記第１の算出手段により算出された輝度と、前記第２の算出手段により算出された輝度の差（例えば、偏差）に基づいて、前記撮像手段により撮像された前記画像を補正する画像補正手段（例えば、図１のホワイトバランス調整部１６）と、前記画像補正手段が前記画像を補正する際に算出した補正係数（露出補正係数）を、前記画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶手段（例えば、図６の露出補正係数記憶部７１）と、装着されたレンズの識別情報を取得し、取得された前記識別情報に対応付けて前記記憶手段により記憶されている前記補正係数に基づいて、前記露出調整手段による露出の調整を制御する制御手段（例えば、図６の制御部７２）とを備えることを特徴とする。

第１の撮像装置は、前記撮像手段により撮像された前記画像の被写体の種別（例えば、人物を被写体とした画像、風景を被写体とした画像等の画像の種別）を判定する判定手段（例えば、図１０の被写体判定部８１）をさらに備え、前記画像補正手段は、前記判定手段により判定された前記画像の被写体の種別にも基づいて、前記撮像手段により撮像された前記画像を補正するようにすることができる。

本発明によれば、撮像方法が提供される。この撮像方法は、測光結果に基づいて適正露出を算出し、前記適正露出の画像が得られるように撮像時の露出を調整する露出調整ステップ（例えば、図４のステップＳ１）と、前記露出調整ステップの処理による調整に従って撮像を行う撮像ステップ（例えば、図４のステップＳ２）と、前記撮像ステップの処理により撮像された画像のうちの予め定められた領域の輝度を、前記撮像ステップの処理により撮像された前記画像のデータに基づいて算出する第１の算出ステップ（例えば、図５のステップＳ２３）と、前記露出調整ステップの処理により算出された前記適正露出に基づいて、予め定められた前記領域の輝度を算出する第２の算出ステップ（例えば、図５のステップＳ２４）と、前記第１の算出ステップの処理により算出された輝度と、前記第２の算出ステップの処理により算出された輝度の差（例えば、偏差）に基づいて、前記撮像ステップの処理により撮像された前記画像を補正する画像補正ステップ（例えば、図４のステップＳ８）と、前記画像補正ステップの処理により前記画像を補正する際に算出した補正係数を、前記画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶制御ステップと、装着されたレンズの識別情報を取得し、取得された前記識別情報に対応付けて記憶されている前記補正係数に基づいて、前記露出調整ステップの処理による露出の調整を制御する制御ステップと（例えば、図９のステップＳ６４）を含むことを特徴とする。

本発明のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、本発明の情報処理方法と同様である。

本発明によれば第２の撮像装置が提供される。この第２の撮像装置（画像処理による露出補正を行わずに、露出補正係数をRAWファイルのパラメータの１つとして画像データと共にメモリカード２５に記憶させる図１のディジタルスチルカメラ１）は、測光結果に基づいて適正露出を算出し、前記適正露出の画像が得られるように撮像時の露出を調整する露出調整手段（例えば、図１の自動露出調整部１２）と、前記露出調整手段による調整に従って撮像を行う撮像手段（例えば、図１の撮像素子１１）と、前記撮像手段により撮像された画像のうちの予め定められた領域の輝度を、前記撮像手段により撮像された前記画像のデータに基づいて算出する第１の算出手段（例えば、図５のステップＳ２３の処理を実行する図２の輝度算出部４２）と、前記露出調整手段により算出された前記適正露出に基づいて、予め定められた前記領域の輝度を算出する第２の算出手段（例えば、図５のステップＳ２４の処理を実行する図２の輝度算出部４２）と、前記第１の算出手段により算出された輝度と、前記第２の算出手段により算出された輝度の差（例えば、偏差）から、前記撮像手段により撮像された前記画像を補正するために用いる補正係数を算出する第３の算出手段（例えば、図１の露出補正係数算出部２０）と、前記撮像手段により撮像された前記画像のデータと、前記第３の算出手段により算出された前記補正係数とを記憶媒体に記憶させる記憶制御手段（例えば、図１の記憶制御部２４）と、前記画像補正手段が前記画像を補正する際に算出した補正係数（露出補正係数）を、前記画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶手段（例えば、図６の露出補正係数記憶部７１）と、装着されたレンズの識別情報を取得し、取得された前記識別情報に対応付けて前記記憶手段により記憶されている前記補正係数に基づいて、前記露出調整手段による露出の調整を制御する制御手段（例えば、図６の制御部７２）とを備えることを特徴とする。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明を適用したディジタルスチルカメラ１の構成例を示すブロック図である。

撮像素子１１は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などよりなり、図示せぬレンズを介して入射される光を受光し、光電変換を行う。光電変換により得られた映像信号はAGC(Automatic Gain Control)１４に出力される。なお、撮像時に撮像素子１１に入射される光は、自動露出調整部１２により、シャッタースピードと絞りが制御されることでその量が調整されている。

自動露出調整部１２は、測光素子１３による測光結果から適正露出を算出し、それに基づいて、適正露出の画像が得られるように、撮像時のシャッタースピードや絞りを調整する。シャッタースピードや絞りの調整は、羽部材などを物理的に駆動させることで行われることから、算出した適正露出から定まる、理想的なシャッタースピードや絞りの量と、実際の撮像時のシャッタースピードや絞りの駆動量には、わずかではあるが誤差が生ずることがある。

自動露出調整部１２は、測光素子１３による測光結果に基づいて算出した適正露出の情報や、その適正露出の画像を得るための理想的なシャッタースピードや絞りの量（以下、必要に応じて理想制御量と称する）を表す情報をレベル評価部１９に出力する。なお、露出の調整は、自動露出調整部１２により自動的に（ユーザからの操作によらずに）行われるものであってもよいし、例えば、絞り優先、シャッタースピード優先などの、ユーザの操作に応じて行われるものであってもよい。また、シャッターが電子シャッターである場合、自動露出調整部１２は、絞りとともに、撮像素子１１の露光時間（電子シャッタースピード）を制御することで露出を調整する。

測光素子１３は、撮像素子１１による撮像範囲の明るさを測定し、測定結果（測光結果）を自動露出調整部１２に出力する。測光素子１３は、測光方式が外部式である場合、ディジタルスチルカメラ１の表面に撮像素子１１の撮像範囲を向くように設けられ、内部式（TTL(Through The Lens)方式）である場合、レンズを介して入射される光を受光可能な位置に設けられる。

AGC１４は、撮像素子１１から入力される映像信号のゲインを調整し、ゲインが調整された映像信号をA/D(Analog/Digital)変換部１５に出力する。なお、撮像素子１１により得られた映像信号に対しては、相関二重サンプリング（CDS（Correlated Double Sampling circuit））処理、並びに、Ｒ，Ｇ，Ｂの各色信号への色分離処理なども適宜施される。

A/D変換部１５は、AGC１４から入力されるアナログ信号を所定のサンプリング周波数でディジタルデータに変換し、得られた画像データをホワイトバランス調整部１６、ホワイトバランスゲイン算出部１７、およびレベル評価部１９にそれぞれ出力する。

ホワイトバランス調整部１６は、ホワイトバランスゲイン決定部１８により決定され、入力されるホワイトバランスゲインに基づいて、A/D変換部１５からデータとして入力される画像のホワイトバランス調整を行い、ホワイトバランスが調整された画像データを補間処理部２１に出力する。後述するように、ホワイトバランスゲイン決定部１８により決定されるホワイトバランスゲインは、より最適な露出の画像が得られるように、実際に撮像された画像に基づいて、ホワイトバランスゲイン算出部１７により算出されたホワイトバランスゲインに補正が加えられたものである。

ホワイトバランスゲイン算出部１７は、例えば、A/D変換部１５から入力される画像データのRGBの割合が一定になるように、青みがかかった白に対してはＲのゲインを上げるとともにＢのゲインを下げ、一方、赤みがかかった白に対してはＢのゲインを上げるか、Ｒのゲインを下げるように、ホワイトバランスを調整するためのホワイトバランスゲインを算出し、算出したホワイトバランスゲインをホワイトバランスゲイン決定部１８に出力する。

ホワイトバランスゲイン決定部１８は、ホワイトバランスゲイン算出部１７により算出されたホワイトバランスゲインに対して、例えば、露出補正係数算出部２０により算出され、入力される露出補正係数を乗算し、ホワイトバランス調整部１６が画像データのホワイトバランス調整において用いるホワイトバランスゲインを決定する。ホワイトバランスゲイン決定部１８により決定されたホワイトバランスゲインはホワイトバランス調整部１６に出力される。

レベル評価部１９は、A/D変換部１５からデータとして入力される画像の輝度の評価を行う。例えば、レベル評価部１９は、１つの画像全体のうちの予め定められた所定の範囲（領域）の輝度の平均を、入力されるデータに基づいて算出するとともに、その範囲の理論上の輝度（自動露出調整部１２により算出された適正露出の画像の輝度）を、自動露出調整部１２から供給される適正露出を表す情報と理想制御量等の情報に基づいて算出し、その理論上の輝度に対する、実際に撮像された画像の輝度の差（偏差）を算出する。

レベル評価部１９は、このような偏差の算出を、処理対象とする範囲を順次切り替えることで１つの画像全体について行い、算出したそれぞれの範囲の偏差を露出補正係数算出部２０に出力する。レベル評価部１９の構成については図２を参照して後に詳述する。

露出補正係数算出部２０は、レベル評価部１９から入力される偏差から露出補正係数を算出し、算出した露出補正係数をホワイトバランスゲイン決定部１８に出力する。

補間処理部２１は、ホワイトバランス調整部１６から入力される画像データの補間を行い、補間することで高画素化された画像を階調変換処理部２２に出力する。

階調変換処理部２２は、補間処理部２１により高画素化された画像の各画素を多階調変換し、階調を細分化する。多階調変換が施された画像は圧縮処理部２３に出力される。

圧縮処理部２３は、階調変換処理部２２から供給された画像を、例えば、JPEG(Joint Photographic Expert Group)方式で圧縮し、圧縮した画像のデータを記憶制御部２４に出力する。

記憶制御部２４は、圧縮処理部２３から供給される圧縮済みの画像データを、ディジタルスチルカメラ１に対して着脱可能なメモリカード２５に記憶させる。

なお、ディジタルスチルカメラ１においては、撮像により得られた画像を圧縮することなく、RAWデータとしてメモリカード２５に記憶させることも可能とされる。この場合、A/D変換部１５によりA/D変換された画像データは、ホワイトバランス調整部１６、補間処理部２１、階調変換処理部２２で処理が施されることなく、記憶制御部２４に供給され、そのまま、メモリカード２５に記録される。また、撮像時のシャッタースピード、絞りの量等の各パラメータの他、ホワイトバランスゲイン決定部１８により決定されたホワイトバランスゲインも記憶制御部２４に供給され、非圧縮の画像データと共にメモリカード２５に記憶される。また、JPEG方式などにより圧縮した画像データと、RAWデータの両方を同時にメモリカード２５に記憶させることができるようにしてもよい。

図２は、図１のレベル評価部１９の詳細な構成例を示すブロック図である。

レベル評価部１９は、領域分割部４１、輝度算出部４２、および偏差算出部４３から構成される。領域分割部４１は、A/D変換部１５から入力される、撮像された１つの画像全体を複数の小領域に分割し、分割した各小領域の画像データを輝度算出部４２に順次出力する。

輝度算出部４２は、領域分割部４１から入力される画像データから、１つの画像全体、或いは、１つの画像全体のうちのある範囲の輝度の平均値を算出し、算出した平均値を偏差算出部４３に出力する。以下、実際に撮像された画像のデータから輝度算出部４２により算出されたの輝度の平均値を撮像画像平均値と適宜称する。

また、輝度算出部４２は、自動露出調整部１２から入力される情報に基づいて、撮像画像平均値を算出した範囲と同じ範囲（１つの画像全体、或いは、１つの画像全体のうちのある範囲）の理論上想定される輝度の平均値（以下、理論平均値と適宜称する）を算出する。理想制御量と、実際の撮像時のシャッタースピードや絞りの量に差がある場合、輝度算出部４２により算出される撮像画像平均値と理論平均値には差が生ずる。輝度算出部４２は、算出した理論平均値を偏差算出部４３に出力する。

偏差算出部４３は、輝度算出部４２により算出された撮像画像平均値と理論平均値から、撮像画像平均値と理論平均値の差として、例えば、理論平均値に対する撮像画像平均値の偏差を算出し、算出した偏差を露出補正係数算出部２０に出力する。

露出補正係数算出部２０においては、このようにして算出された偏差に基づいて、露出補正係数が算出される。撮像画像平均値、理論平均値、および偏差の算出は、処理対象とする範囲が順次切り替えられ、１つの画像全体について行われる。

以上においては、撮像された画像のうちの、ある範囲の輝度の平均値と、理論上の輝度の平均値から偏差を算出するものとしたが、その、ある範囲の輝度の合計値と、理論上の輝度の合計値から偏差が算出されるようにしてもよい。すなわち、実際に撮像された画像から得られる輝度と、自動露出調整部１２により適正露出が得られるようにシャッタースピードや絞りが調整された場合に想定される理論上の輝度の差を比較できれば、どのような方法によって輝度が算出されるようにしてもよい。

図３は、露出補正係数の具体的な算出例を示す図である。

例えば、図３の１２×１０（横×縦）の範囲を１つの画像全体とし、そのうちの斜線が付されている３×３の範囲を処理対象の範囲とした場合、この範囲の輝度の平均値である撮像画像平均値AveYと、理論上の輝度の平均値である理論平均値が算出され、理論平均値に対する撮像画像平均値AveYの偏差が算出される。

図３の例においては、撮像画像平均値AveYが５００、理論平均値が６００とされており、理論平均値／撮像画像平均値AveY（６００／５００）から偏差１．２が算出されている。また、この偏差１．２が露出補正係数とされている。

一方、撮像された画像に基づいて、図３の斜線が付されている領域に含まれる画素のホワイトバランス調整で用いるホワイトバランスゲインとして、図３に示されるように、Ｒ＝２，Ｇ＝１，Ｂ＝１．５がホワイトバランスゲイン算出部１７（図１）により算出された場合、ホワイトバランスゲイン決定部１８においては、ホワイトバランスゲイン算出部１７により算出されたホワイトバランスゲインのRGBそれぞれに対して、露出補正係数である１．２が乗算され、白抜き矢印の先に示されるように、Ｒ＝２．４，Ｇ＝１．２，Ｂ＝１．８のようにホワイトバランスゲインが補正され、決定される。

決定されたホワイトバランスゲインは、ホワイトバランス調整部１６に出力され、レベル評価部１９等により処理対象とされた範囲の画素のホワイトバランス調整に用いられる。１つの画像全体の調整が終了するまで処理対象の範囲が順次切り替えられて以上の処理が繰り返し行われる。

このように、自動露出調整部１２により露出が調整されて撮像された画像に対して、さらに、理論上の輝度と、実際に撮像された画像の輝度の差を考慮して決定されたホワイトバランスゲインに基づいてホワイトバランス調整が行われるため、自動露出調整部１２により算出された適正露出を得るための理想的なシャッタースピードや絞りの量と、実際の撮像時のシャッタースピードや絞りの量の差により生じる露出の差を補正することができる。すなわち、理論上想定される最適な露出に、より近い露出の画像が得られる。

次に、図４のフローチャートを参照して、ディジタルスチルカメラ１により実行される撮像処理について説明する。

ステップＳ１において、自動露出調整部１２は、測光素子１３による測光結果に基づいて適正露出を算出し、理想制御量を決定することで撮像時の露出を調整する。また、自動露出調整部１２は、算出した適正露出を表す情報と理想制御量の情報をレベル評価部１９の輝度算出部４２に出力する。

ディジタルスチルカメラ１の表面に設けられるシャッター釦がユーザにより押下されたとき、ステップＳ２において、理想制御量に従ってシャッタースピードや絞りの量が調整され、撮像が行われる。すなわち、撮像素子１１は、入射される光を受光して光電変換を行い、得られた映像信号をAGC１４に出力する。

ステップＳ３において、AGC１４は、撮像素子１１から入力される映像信号のゲインを調整し、ゲインが調整された映像信号をA/D変換部１５に出力する。

ステップＳ４において、A/D変換部１５は、AGC１４から入力されるアナログ信号を所定のサンプリング周波数でディジタルデータに変換し、得られた画像データをホワイトバランス調整部１６、ホワイトバランスゲイン算出部１７、およびレベル評価部１９にそれぞれ出力する。

ステップＳ５において、ホワイトバランスゲイン算出部１７は、A/D変換部１５から入力される画像データに基づいてホワイトバランスゲインを算出し、算出したホワイトバランスゲインをホワイトバランスゲイン決定部１８に出力する。

ステップＳ６において、露出補正係数算出処理が行われる。この露出補正係数算出処理は、上述したように、ある範囲を対象として、理論上の輝度と、実際に撮像された画像の輝度の差から露出補正係数を算出する処理である。露出補正係数算出処理については、図５のフローチャートを参照して後述する。

ステップＳ７において、ホワイトバランスゲイン決定部１８は、ホワイトバランスゲイン算出部１７により算出されたホワイトバランスゲインに対して、露出補正係数算出部２０により算出された露出補正係数を例えば乗算し、ホワイトバランス調整部１６がホワイトバランス調整において用いるホワイトバランスゲインを決定する。

ホワイトバランス調整部１６は、ステップＳ８において、ホワイトバランスゲイン決定部１８により決定され、入力されるホワイトバランスゲインに基づいて、A/D変換部１５から入力される画像のホワイトバランス調整を行い、ホワイトバランスが調整された画像のデータを補間処理部２１に出力する。

ステップＳ９において、補間処理部２１は、ホワイトバランス調整部１６から入力される画像の補間を行い、ステップＳ１０において、階調変換処理部２２は、補間処理部２１により高画素化された画像の各画素を多階調変換し、階調を細分化する。

圧縮処理部２３は、ステップＳ１１において、階調変換処理部２２から入力される画像を、例えば、JPEG方式で圧縮し、圧縮した画像のデータを記憶制御部２４に出力する。記憶制御部２４は、ステップＳ１２において、圧縮処理部２３から供給される圧縮済みの画像データをメモリカード２５に記憶させ、処理を終了させる。

次に、図５のフローチャートを参照して、図４のステップＳ６において実行される露出補正係数算出処理について説明する。

ステップＳ２１において、領域分割部４１は、A/D変換部１５から入力される１つの画像全体を複数の小領域に分割し、分割した各小領域の画像データを輝度算出部４２に順次出力する。

輝度算出部４２は、ステップＳ２２において、小領域毎の輝度を算出し、ステップ２３に進み、小領域毎の輝度から、１つの画像全体、或いは、１つの画像全体のうちの予め定められたある範囲の輝度の平均値である撮像画像平均値を算出する。

輝度算出部４２は、ステップＳ２４において、自動露出調整部１２から供給される情報に基づいて、ステップ２３で撮像画像平均値を算出した範囲と同じ範囲の理論上想定される輝度の平均値である理論平均値を算出する。輝度算出部４２により、ステップＳ２３で算出された撮像画像平均値と、ステップＳ２４で算出された理論平均値は偏差算出部４３に出力される。

偏差算出部４３は、ステップＳ２５において、輝度算出部４２により算出された撮像画像平均値と理論平均値に基づいて、理論平均値に対する撮像画像平均値の偏差を算出する。

ステップＳ２６において、露出補正係数算出部２０は、偏差算出部４３により算出された偏差から露出補正係数を算出し、算出した露出補正係数をホワイトバランスゲイン決定部１８に出力する。その後、上述した図４のステップＳ７以降の処理が行われる。

以上の図４および図５の処理が、撮像が行われる毎に実行され、シャッタースピードや絞りの調整によるものだけでなく、理論上の画像の輝度と、実際に撮像された画像の輝度の差を考慮した画像処理によっても露出が調整されることになる。すなわち、より好適な露出の画像が得られる。

図６は、ディジタルスチルカメラ１の他の構成例を示すブロック図である。

図６において、図１と同一の部分には同一の符号を付してある。重複する説明については適宜省略する。

図６のディジタルスチルカメラ１は、本体（図６のレンズユニット５１以外の構成は、この本体の内部に設けられる）にレンズユニットが着脱可能な構成を有している（レンズの交換が可能とされている）。

図６において、ディジタルスチルカメラ１に装着されるレンズユニット５１には、撮像素子１１に光を集光するレンズ６１の他、レンズ情報記憶部６２を有する。レンズ情報記憶部６２には、レンズユニット５１の識別情報を含むレンズ情報が記憶されており、レンズユニット５１と本体が接する部分に設けられる端子などを介して、本体側に設けられる制御部７２と電気的に接続される。

制御部７２は、レンズユニット５１が装着されたとき、レンズ情報記憶部６２に記憶されている識別情報を読み出し、読み出した識別情報に基づいて、そのとき装着されているレンズユニットを識別する。また、制御部７２は、読み出した識別情報を露出補正係数記憶部７１に出力し、レンズユニット５１が装着されている間に行われる撮像の際に、露出補正係数算出部２０により算出された露出補正係数を識別情報に対応付けて記憶させる。

すなわち、露出補正係数記憶部７１には、例えば、図７に示されるようにレンズと露出補正係数の履歴が記憶される。

図７の例においては、レンズＡとレンズＢが登録されており、レンズＡとレンズＢのそれぞれに、それぞれのレンズで行われた撮像時に算出された露出補正係数が対応付けて記憶されている。

例えば、レンズＡで１回目の撮像時（シーン１）に算出された露出補正係数は１．５であり、２回目の撮像時（シーン２）に算出された露出補正係数も１．５とされている。同様に、レンズＡで３回目の撮像時（シーン３）に算出された露出補正係数は１．４とされ、４回目の撮像時（シーン４）に算出された露出補正係数は１．５とされ、５回目の撮像時（シーン５）に算出された露出補正係数は１．５…とされている。

また、図７の例においては、レンズＢで１回目の撮像時に算出された補正係数は０．８であり、２回目の撮像時に算出された補正係数は１．５とされている。同様に、レンズＢで３回目の撮像時に算出された露出補正係数は２．０とされ、４回目の撮像時に算出された露出補正係数は１．２とされ、５回目の撮像時に算出された露出補正係数は１．０…とされている。

制御部７２は、露出補正係数記憶部７１に記憶されている露出補正係数の履歴を参照し、そのとき装着されているレンズユニットに応じて、測光素子１３による測光結果に基づく露出の調整（自動露出調整部１２による露出の調整）を制御する。

具体的には、制御部７２は、露出補正係数の履歴から、図７のレンズＡのように、シーン毎の補正係数が毎回ほぼ一定であり、露出補正係数がレンズに依存して定まると認識した場合、例えば、露出補正係数の平均値に基づいて自動露出調整部１２による露出の調整を制御する。すなわち、図７のレンズＢのように、シーン毎の露出補正係数にばらつきがあり、露出補正係数がシーンに依存して定まると認識した場合は、制御部７２による露出調整の制御は行われない。

例えば、あるレンズで撮影した画像は、露出がアンダー気味に写る傾向が強く、露出補正係数が平均して比較的大きい場合、上述したようにして、撮像した画像の輝度と、理論上の輝度から、画像処理によってその分の輝度を補正するのではなく、撮像時にその分の輝度を予め得ることができるように、すなわち、画像処理による輝度の補正量を少なくすることができるように、制御部７２は、自動露出調整部１２が算出する理想制御量よりも、シャッタースピードがより遅くなるように、または、絞りがより開放されるように（より輝度を得ることができるように）自動露出調整部１２による露出の調整を制御する。

反対に、あるレンズで撮影した画像は、露出がオーバー気味に写る傾向が強く、露出補正係数が平均して大きい場合、制御部７２は、自動露出調整部１２が算出する理想制御量よりも、シャッタースピードがより早くなるように、または、絞りの量を減らすように自動露出調整部１２による露出の調整を制御する。

図６の自動露出調整部１２は、測光素子１３による測光結果に基づいて適正露出を算出し、それに基づいてシャッタースピードや絞りの理想制御量を決定するとともに、その決定した理想制御量を、制御部７２からの制御に従ってさらに補正し、補正後の制御量に従ってシャッタースピードと絞りを駆動させる。

これにより、レンズ毎に最適な露出の調整が自動露出調整部１２により行われることになる。すなわち、画像処理により補正する前の、撮像される画像自体が、より好適な露出のものになる。

次に、図８のフローチャートを参照して、図６のディジタルスチルカメラ１により行われる露出補正係数算出処理について説明する。

図６のディジタルスチルカメラ１によっても、図４の撮像処理が行われ、そのステップＳ６において図８の処理が実行される。図８の処理は、基本的には図５の処理と同様である。

すなわち、ステップＳ４１において、領域分割部４１は、A/D変換部１５から入力される１つの画像全体を複数の小領域に分割し、分割した各領域の画像データを輝度算出部４２に順次出力する。輝度算出部４２は、ステップＳ４２において、小領域毎の輝度を算出し、ステップＳ４３に進み、算出した小領域毎の輝度から、所定の範囲の輝度の平均値である撮像画像平均値を算出する。また、輝度算出部４２は、ステップＳ４４において、自動露出調整部１２からの出力に基づいて、所定の範囲の輝度の理論上の平均値である理論平均値を算出する。

偏差算出部４３は、ステップＳ４５において、ステップＳ４３で算出した理論平均値に対する撮像画像平均値の偏差を算出する。ステップＳ４６において、露出補正係数算出部２０は、偏差算出部４３により算出された偏差から露出補正係数を算出し、露出補正係数をホワイトバランスゲイン決定部１８に出力する。

また、露出補正係数算出部２０は、ステップＳ４７において、算出した露出補正係数を露出補正係数記憶部７１に出力し、そのとき装着されているレンズの識別情報と対応付けて露出補正係数を記憶させる。以上の処理が撮像毎に繰り返し行われ、図７に示されるような露出補正係数の履歴が露出補正係数記憶部７１に登録される。

次に、図９のフローチャートを参照して、図８の処理が繰り返されることで露出補正係数記憶部７１に登録された露出補正係数の履歴に基づいて、自動露出調整部１２による露出調整を制御する制御部７２の処理について説明する。

レンズユニット５１が装着されたとき、制御部７２は、ステップＳ６１において、レンズユニット５１の識別情報をレンズ情報記憶部６２から読み出し、装着されたレンズを識別する。

ステップＳ６２において、制御部７２は、ステップＳ６１で読み出した識別情報に基づいて、装着されたレンズユニット５１の露出補正係数の履歴を露出補正係数記憶部７１から読み出す。

制御部７２は、ステップＳ６３において、露出補正係数はレンズ依存で定まるか否かを判定し、露出補正係数にばらつきがあることから、レンズ依存で定まらない、すなわち、シーン依存で定まると判定した場合、処理を終了させる。この場合、自動露出調整部１２による露出調整の制御が制御部７２によっては行われず、撮像時には、測光素子１３による測光結果に基づいて、自動露出調整部１２自身の判断で露出調整が行われる。

一方、ステップＳ６３において、制御部７２は、露出補正係数がレンズ依存で定まると判定した場合、ステップＳ６４に進み、自動露出調整部１２による露出調整を、露出補正係数の平均値などに基づいて制御する。

これにより、例えば、自動露出調整部１２による露出調整だけではアンダー気味に写る傾向が強いレンズで行われる撮像時には、図３等を参照して説明した画像処理だけで露出を補正するのではなく、その分の輝度を撮像の段階で予め得ることができるように、シャッタースピードや絞りが制御部７２により制御される。

画像処理により露出を補正する場合、その量によってはノイズが目立つことがあるため、このように、撮像段階の露出を予め調整することにより、画像処理で補正する露出の量を減らすことができ、そのようなノイズを低減させることができる。

また、このようにして撮像段階の露出が調整された上で、さらに、撮像して得られた画像の露出が画像処理により調整されることで、さらに好適な露出の画像を得ることが可能になる。

図１０は、図１のディジタルスチルカメラ１のさらに他の構成例を示すブロック図である。

図１０のディジタルスチルカメラ１は、被写体判定部８１が付加されている点を除いて図１のディジタルスチルカメラ１と同様である。被写体判定部８１は、撮像して得られた画像の内容を判断し、その画像が、人物を被写体として撮像した画像であるのか、或いは、風景を被写体として撮像した画像であるのかなどの画像の種別を、画像中に含まれる肌色の量や緑の量などに基づいて判断する。また、被写体判定部８１は、判定結果に基づいて、ホワイトバランスゲイン決定部１８において決定されるホワイトバランスゲインを補正する。

具体的には、被写体判定部８１は、撮像された画像が、人物を被写体として撮像した画像であると判断した場合、上述したようにしてホワイトバランスゲイン決定部１８により決定されたホワイトバランスゲイン（ホワイトバランスゲイン算出部１７により算出されたホワイトバランスゲインに露出補正係数を乗算することで決定されたホワイトバランスゲイン）を、露出が若干オーバーになるように補正する。また、被写体判定部８１は、撮像された画像が、風景を被写体として撮像した画像であると判断した場合、露出が若干アンダーになるようにホワイトバランスゲイン決定部１８により決定されたホワイトバランスゲインを補正する。

人物を被写体とした画像は、若干露出オーバーの方が人物がきれいに写って見えることから、そのような被写体判定部８１の補正により好適な露出の画像を得ることが可能になる。

以上においては、撮像された画像の輝度と、理論上想定される輝度の差に基づいて露出を補正する上述したような機能を有する機器がディジタルスチルカメラである場合について説明したが、撮像機能を有する機器であれば、どのような機器に搭載されるようにしてもよい。例えば、ディジタルビデオカメラの他、撮像機能を有する携帯電話機、PDA(Personal Digital Assistants)、パーソナルコンピュータなどにも搭載されるようにしてもよい。

なお、撮像された画像の輝度と、理論上想定される輝度の差に基づいて露出を補正する機能は、例えば、その機能を実現するプログラムをディジタルスチルカメラにインストール（ファームウエアをバージョンアップ）することで追加することができるようにしてもよい。この場合、露出補正機能を実現するプログラムは、例えば、インターネットなどを介して所定のサーバからユーザに提供され、着脱可能なメモリカード２５などを介してディジタルスチルカメラにインストールされる。また、露出補正機能を実現するプログラムをダウンロードしたパーソナルコンピュータとディジタルスチルカメラがケーブルなどを介して接続され、パーソナルコンピュータからインストールが行われるようにしてもよい。

本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。 図１の評価部の詳細な構成例を示すブロック図である。 露出補正係数の算出例を示す図である。 ディジタルスチルカメラにより実行される撮像処理について説明するフローチャートである。 図４のステップＳ６において実行される露出補正係数算出処理について説明するフローチャートである。 本発明を適用したディジタルスチルカメラの他の構成例を示すブロック図である。 露出補正係数の履歴の例を示す図である。 図６のディジタルスチルカメラにより実行される露出補正係数算出処理について説明するフローチャートである。 制御部の制御処理について説明するフローチャートである。 本発明を適用したさらに他のディジタルスチルカメラの他の構成例を示すブロック図である。

符号の説明

１ ディジタルスチルカメラ
１１ 撮像素子
１２ 自動露出調整部
１３ 測光素子
１６ ホワイトバランス調整部
１７ ホワイトバランスゲイン算出部
１８ ホワイトバランスゲイン決定部
１９ レベル評価部
２０ 露出補正係数算出部
４１ 領域分割部
４２ 輝度算出部
４３ 偏差算出部
６２ レンズ情報記憶部
７１ 露出補正係数記憶部
７２ 制御部

Claims (5)

1. 測光結果に基づいて適正露出を算出し、前記適正露出の画像が得られるように撮像時の
   露出を調整する露出調整手段と、
   前記露出調整手段による調整に従って撮像を行う撮像手段と、
   前記撮像手段により撮像された画像のうちの予め定められた領域の輝度を、前記撮像手段により撮像された前記画像のデータに基づいて算出する第１の算出手段と、
   前記露出調整手段により算出された前記適正露出に基づいて、予め定められた前記領域の輝度を算出する第２の算出手段と、
   前記第１の算出手段により算出された輝度と、前記第２の算出手段により算出された輝度の差に基づいて、前記撮像手段により撮像された前記画像を補正する画像補正手段と、
   前記画像補正手段が前記画像を補正する際に算出した補正係数を、前記画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶手段と、
   装着されたレンズの識別情報を取得し、取得された前記識別情報に対応付けて前記記憶手段により記憶されている前記補正係数に基づいて、前記露出調整手段による露出の調整を制御する制御手段と
   を備えることを特徴とする撮像装置。
2. 前記撮像手段により撮像された前記画像の被写体の種別を判定する判定手段をさらに備え、
   前記画像補正手段は、前記判定手段により判定された前記画像の被写体の種別にも基づいて、前記撮像手段により撮像された前記画像を補正する
   ことを特徴とする請求項１に記載の撮像装置。
3. 測光結果に基づいて適正露出を算出し、前記適正露出の画像が得られるように撮像時の露出を調整する露出調整ステップと、
   前記露出調整ステップの処理による調整に従って撮像を行う撮像ステップと、
   前記撮像ステップの処理により撮像された画像のうちの予め定められた領域の輝度を、前記撮像ステップの処理により撮像された前記画像のデータに基づいて算出する第１の算出ステップと、
   前記露出調整ステップの処理により算出された前記適正露出に基づいて、予め定められた前記領域の輝度を算出する第２の算出ステップと、
   前記第１の算出ステップの処理により算出された輝度と、前記第２の算出ステップの処理により算出された輝度の差に基づいて、前記撮像ステップの処理により撮像された前記画像を補正する画像補正ステップと、
   前記画像補正ステップの処理により前記画像を補正する際に算出した補正係数を、前記画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶制御ステップと、
   装着されたレンズの識別情報を取得し、取得された前記識別情報に対応付けて記憶されている前記補正係数に基づいて、前記露出調整ステップの処理による露出の調整を制御する制御ステップと
   を含むことを特徴とする撮像方法。
4. 測光結果に基づいて適正露出を算出し、前記適正露出の画像が得られるように撮像時の露出を調整する露出調整ステップと、
   前記露出調整ステップの処理による調整に従って撮像を行う撮像ステップと、
   前記撮像ステップの処理により撮像された画像のうちの予め定められた領域の輝度を、前記撮像ステップの処理により撮像された前記画像のデータに基づいて算出する第１の算出ステップと、
   前記露出調整ステップの処理により算出された前記適正露出に基づいて、予め定められた前記領域の輝度を算出する第２の算出ステップと、
   前記第１の算出ステップの処理により算出された輝度と、前記第２の算出ステップの処理により算出された輝度の差に基づいて、前記撮像ステップの処理により撮像された前記画像を補正する画像補正ステップと、
   前記画像補正ステップの処理により前記画像を補正する際に算出した補正係数を、前記画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶制御ステップと、
   装着されたレンズの識別情報を取得し、取得された前記識別情報に対応付けて記憶されている前記補正係数に基づいて、前記露出調整ステップの処理による露出の調整を制御する制御ステップと
   を含むことを特徴とするプログラム。
5. 測光結果に基づいて適正露出を算出し、前記適正露出の画像が得られるように撮像時の露出を調整する露出調整手段と、
   前記露出調整手段による調整に従って撮像を行う撮像手段と、
   前記撮像手段により撮像された画像のうちの予め定められた領域の輝度を、前記撮像手段により撮像された前記画像のデータに基づいて算出する第１の算出手段と、
   前記露出調整手段により算出された前記適正露出に基づいて、予め定められた前記領域の輝度を算出する第２の算出手段と、
   前記第１の算出手段により算出された輝度と、前記第２の算出手段により算出された輝度の差から、前記撮像手段により撮像された前記画像を補正するために用いる補正係数を算出する第３の算出手段と、
   前記撮像手段により撮像された前記画像のデータと、前記第３の算出手段により算出された前記補正係数とを記憶媒体に記憶させる記憶制御手段と、
   前記第３の算出手段が前記画像を補正するために算出した補正係数を、前記画像の撮像時に装着されているレンズの識別情報に対応付けて記憶させる記憶手段と、
   装着されたレンズの識別情報を取得し、取得された前記識別情報に対応付けて前記記憶手段により記憶されている前記補正係数に基づいて、前記露出調整手段による露出の調整を制御する制御手段と
   を備えることを特徴とする撮像装置。

Images