JP3994721B2

JP3994721B2 - Image capturing apparatus and method

Info

Publication number: JP3994721B2
Application number: JP2001356528A
Authority: JP
Inventors: 朗志賀
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-11-21
Filing date: 2001-11-21
Publication date: 2007-10-24
Anticipated expiration: 2021-11-21
Also published as: JP2003158673A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣ−ＭＯＳイメージセンサ等の光電変換素子を用いて電子的に静止画像等を撮像する画像撮像装置及び画像撮像方法に関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサやＣ−ＭＯＳイメージセンサを光電変換素子として用いたいわゆるデジタルスチルカメラと呼ばれる電子式の画像撮像装置が広く用いられている。
【０００３】
このようなデジタルスチルカメラには、一般的に、自動的に露光量を調整するＡＥ（自動露出）機能が設けられている。デジタルスチルカメラの露出制御は、視野内の光量をセンサなどで測光し、その測光結果に基づき、レンズの開口度、電子シャッタ量及びＣＣＤイメージセンサ等から出力される電気信号の利得を調整することにより行われる。
【０００４】
【発明が解決しようとする課題】
しかしながら、ＣＣＤイメージセンサ等の光電変換素子は、銀塩写真フィルムに比べて、撮影可能な輝度領域のダイナミックレンジが非常に狭い。そのため、視野内に含まれる明るい部分と暗い部分の輝度差が大きい場合には、適正露出の範囲が非常に狭くなり、単純なセンサによる測光結果に基づき露出制御したのでは、最適な露出制御をすることが困難であった。例えば、明るい部分に露出を合わせた場合には、暗い部分は黒つぶれした画像となってしまい、暗い部分に露出を合わせた場合には、明るい部分が白くとんだ画像となってしまう。また、被写体によっては全体的に薄暗い画像（いわゆる眠い画像）となってしまう可能性もある。
【０００５】
このような問題を解決するため、近年、実際に撮像して得られた画像から光量を測定して、撮影時の露出が制御されるようになってきた。実際の撮像画面から光量を測定する方式としては、画面全体の平均の輝度を測定する全面平均測光方式、画面内の中央部分の輝度を重点的に測定する中央部重点測光方式、画面内を分割してそれぞれの領域で平均の輝度を測定する多分割測光方式、画面内の任意の位置の輝度を測定するスポット測光方式等がある。
【０００６】
しかしながら、以上のような実際の撮像画像から光量を測定する方式を用いたとしても、単に平均の輝度量を算出していたり、部分的な輝度測定でしかないので、被写体の特徴に応じて細やかに露出を制御することは困難であった。
【０００７】
本発明は、このような実情を鑑みてなされたものであり、白とびや黒つぶれをすることなく、被写体の特徴に応じた細やかな露出制御を行うことが可能な画像撮像装置及び画像撮像方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明にかかる画像撮像装置は、被写体からの撮像光が入射され、この撮像光を撮像素子により電気信号に変換し、変換した電気信号を画素単位又は画素ブロック単位でデジタル化して撮像信号を生成することによって、被写体画像を撮像するカメラ撮像部と、上記カメラ撮像部を制御する制御部とを備え、上記制御部は、上記カメラ撮像部の露出を任意の露出制御量に制御し、上記任意の露出制御量で撮像された被写体画像から、輝度レベルの範囲を高輝度範囲、中輝度範囲、低輝度範囲の３つの範囲に分割して、該輝度レベルに対する画素の度数を示すヒストグラムを生成し、上記高輝度範囲の画素数をＮ _Ｈ、上記中輝度範囲の画素数をＮ _Ｍ、上記低輝度範囲の画素数をＮ _Ｌとしたときに、下記演算式に基づき第１の比率、第２の比率、第３の比率及び／又は第４の比率を求め、各比率を乗算した総合比率に基づき補正量を算出し、当該補正量に基づき上記任意の露出制御量を補正することにより上記新たな露出制御量を算出し、上記カメラ撮像部の露出を上記新たな露出制御量に制御して被写体画像を撮像することを特徴とする。
第１の比率＝｜Ｎ _Ｈ −Ｎ _Ｌ｜／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
第２の比率＝Ｎ _Ｍ／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
第３の比率＝Ｎ _Ｈ／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
第４の比率＝Ｎ _Ｌ／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
【０００９】
この画像撮像装置では、任意の露出制御量で撮像された被写体画像から輝度レベルに対する画素の度数を示すヒストグラムを生成し、このヒストグラムに基づき上記被写体画像の特徴を検出する。そして、その特徴に応じて任意の露出制御量を補正して新たな露出制御量を算出し、露出を新たな露出制御量に制御して被写体画像を撮像する。
【００１１】
また、本発明にかかる画像撮像方法は、被写体からの撮像光が入射され、この撮像光を撮像素子により電気信号に変換し、変換した電気信号を画素単位又は画素ブロック単位でデジタル化して撮像信号を生成することによって、被写体画像を撮像する画像撮像方法であって、任意の露出制御量に応じた露出で被写体画像を撮像し、上記任意の露出制御量で撮像された被写体画像から、輝度レベルの範囲を高輝度範囲、中輝度範囲、低輝度範囲の３つの範囲に分割して、輝度レベルに対する画素の度数を示すヒストグラムを生成し、上記高輝度範囲の画素数をＮ _Ｈ、上記中輝度範囲の画素数をＮ _Ｍ、上記低輝度範囲の画素数をＮ _Ｌとしたときに、下記演算式に基づき第１の比率、第２の比率、第３の比率及び／又は第４の比率を求め、各比率を乗算した総合比率に基づき補正量を算出し、当該補正量に基づき上記任意の露出制御量を補正することにより上記新たな露出制御量を算出し、露出を新たな露出制御量に制御して被写体画像を撮像することを特徴とする。
第１の比率＝｜Ｎ _Ｈ −Ｎ _Ｌ｜／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
第２の比率＝Ｎ _Ｍ／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
第３の比率＝Ｎ _Ｈ／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
第４の比率＝Ｎ _Ｌ／（Ｎ _Ｈ＋Ｎ _Ｍ＋Ｎ _Ｌ）
【００１２】
この画像撮像方法では、任意の露出制御量で撮像された被写体画像から輝度レベルに対する画素の度数を示すヒストグラムを生成し、このヒストグラムに基づき上記被写体画像の特徴を検出する。そして、その特徴に応じて上記任意の露出制御量を補正して新たな露出制御量を算出し、露出を上記新たな露出制御量に制御して被写体画像を撮像する。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態として、本発明が適用された電子的に静止画像を撮像する撮像装置（デジタルスチルカメラ）について説明をする。図１に、本発明の実施の形態のデジタルスチルカメラ１の構成図を示す。
【００１５】
デジタルスチルカメラ１は、図１に示すように、カメラ部１１と、ＣＣＤ１２と、タイミング信号発生回路（ＴＧ）１３と、Ｓ／Ｈ・ＧＣ（Sampling Hold Gain Control）回路１３と、ＡＤコンバータ１５と、デジタル信号処理回路１６と、ファインダ１７と、記録回路１８と、検波回路１９と、シャッタレリーズボタン２０と、シャッタ判定回路２１と、制御部３０とを備えている。
【００１６】
ＣＣＤ１２は、レンズ部１１介して受光面に結像された被写体の撮像光を、画素毎に電気信号に変換し、画像信号を出力する。ＣＣＤ１２により蓄積された画像信号は、所定のタイミング（画像更新周期）で、Ｓ／Ｈ・ＧＣ回路１４に供給される。
【００１７】
タイミング信号発生回路１３は、ＣＣＤ１２が１画面毎の画像信号の読み出しに必要とする各種の駆動パルス、並びに、ＣＣＤ１２に蓄積される電荷の蓄積時間を制御する電子シャッタパルスを発生する。タイミング信号発生回路１３から発生された各種パルスは、ＣＣＤ１２に供給され、画像信号の撮像処理や出力処理のタイミング信号として用いられる。また、タイミング信号発生回路１３は、電子シャッタのシャッタスピードを、制御部３０からの制御命令に従い制御する。
【００１８】
Ｓ／Ｈ・ＧＣ回路１４は、ＣＣＤ１２から供給された画像信号に対して、サンプリング処理や増幅処理等のアナログ処理を行う。Ｓ／Ｈ・ＧＣ回路１４から出力されたアナログの画像信号は、ＡＤコンバータ１５に供給される。また、ＣＣＤ１２から供給された画像信号の増幅度は、制御部３０により制御される。
【００１９】
ＡＤコンバータ１５は、Ｓ／Ｈ・ＧＣ回路１４から供給されたアナログの画像信号を所定のサンプリングレートでサンプリングして、デジタルの画像信号に変換する。ＡＤコンバータ１５から出力されたデジタル画像信号は、デジタル信号処理回路１６に供給される。
【００２０】
デジタル信号処理回路１６は、ＡＤコンバータ１５から供給されたデジタル画像信号から、例えば、ＮＴＳＣフォーマットや記録メディアに必要なフォーマット等のデジタルの映像信号を生成し、外部に出力する。デジタル信号処理回路１６は、フレーミング時には、デジタル画像信号から表示画像信号を生成し、ファインダ１７に供給する。デジタル信号処理回路１６は、静止画像撮像時には、デジタル画像信号から１枚の静止画像信号を生成し、それを圧縮等した後、記録回路１８に供給する。
【００２１】
ファインダ１７は、例えば液晶パネル等から構成された電子式の表示装置である。ファインダ１７には、フレーミング時に、デジタル信号処理回路１６から表示画像信号が入力され、その画像信号を表示する。
【００２２】
記録回路１８は、静止画像撮像時に、デジタル信号処理回路１６から出力される静止画像信号を、例えばメモリカード等の記憶メディアに記録する。
【００２３】
検波回路１９は、デジタル信号処理回路１６から供給され映像信号から、オートフォーカス（ＡＦ）、自動露出（ＡＥ）等に必要となる各種検波信号を生成する。各種検波信号は、制御部３０により例えば１フレーム毎に読み出される。制御部３０は、読み出した各種検波信号に基づき、適切な画像が撮像できるようにレンズ部１１等を制御する。具体的に、検波回路１９が検出する検波信号としては、例えばオートフォーカスに関する検波信号や自動露出制御に関する検波信号等がある。検波回路１９は、オートフォーカスに関する検波信号として、撮像画像上の所定の位置に設定されたＡＦ検波エリア内における輝度のエッジ成分を検出し、そのエッジ成分を積算して得られるコントラスト値を出力する。また、検波回路１９は、自動露出制御に関する検波信号として、撮像画像から輝度レベルに対する画素の度数を示すヒストグラムを生成し、このヒストグラムに基づき被写体画像の特徴を検出し、その特徴に応じて算出した露出制御量を出力する。なお、この露出制御に関する検波信号の詳細については、後で説明する。
【００２４】
シャッタレリーズボタン２０は、ユーザにより操作されるモーメンタリ型の押圧スイッチである。このシャッタレリーズボタン２０は、スイッチを全く押さない状態（オフ）と、スイッチを押しきった状態（全押し）と、スイッチを半分程度まで押した状態（半押し）との３つの状態を区別してスイッチングする機能が設けられている。このシャッタレリーズボタン２０の３つの押圧状態（オフ、半押し、全押し）は、シャッタ判別回路２０により判別がされ、その判別情報が制御部３０に供給される。
【００２５】
レンズ部１１は、ズームレンズ２２と、フォーカスレンズ２３と、絞り羽根２４と、絞り羽根２４を駆動する絞り羽根駆動部２５とを備えている。また、レンズ部１１は、これらの他に、例えば、入射光の赤外線をカットする赤外カットフィルタ、入射光を遮光するシャッタ羽根等の光学系や、ズームレンズ２２を駆動するズームレンズ駆動部、フォーカスレンズを駆動するフォーカスレンズ駆動部、シャッタ羽根を駆動するシャッタ駆動部等も備えている。
【００２６】
レンズ部１１内のズームレンズ２２は、その光軸が、ＣＣＤ１２の受光面の略中心から延ばした鉛直線と一致する位置に設けられている。ズームレンズ２２は、光軸上を前後に直線移動可能に設けられ、その移動位置に応じてＣＣＤ１２の受光面上の結像画像の撮像倍率を変える。ズームレンズ２２は、その移動位置が、ズームレンズ駆動部を介して制御部３０により制御される。
【００２７】
レンズ部１１内のフォーカスレンズ２３は、その光軸が、ＣＣＤ１２の受光面の略中心から延ばした鉛直線と一致する位置に設けられている。フォーカスレンズ２３は、光軸上を前後に直線移動可能に設けられ、その移動位置に応じてＣＣＤ１２上の受光面上の結像画像の焦点位置を変える。フォーカスレンズ２３は、その移動位置が、絞り羽根駆動部２５を介して制御部３０により制御される。
【００２８】
絞り羽根２４は、ＣＣＤ１２の受光面に結像される撮像光の光の量を調整する。絞り羽根２４は、レンズ部１１の光学系の光軸を中心とした孔を形成し、その孔径を変化させることにより、光の量を制御する。すなわち、この絞り羽根２４は、カメラの絞り値（Ｆ値）を制御する。絞り羽根２４は、その孔径が、絞り駆動部２５を介して制御部３０により制御される。
【００２９】
制御部３０は、デジタルスチルカメラ１の各部の制御を行う。例えば、シャッタレリーズボタン２０の押圧状態に基づき、フレーミング処理制御（オフ）、オートフォーカス処理制御（半押し）、静止画像記録制御（全押し）を行う。
【００３０】
フレーミング処理とは、画面内の被写体の位置や画面の構図を、ユーザが撮影前に確認することができるように、ＣＣＤ１２に撮像されている画像をファインダ１７に表示する処理である。このフレーミング処理時には、一定の画像更新周期毎（例えば１／３０秒毎）にＣＣＤ１２が１画面分の撮像処理を行い、撮像して得られた画像信号が出力される。そのため、ファインダ１７に表示される画像も、一定時間毎（例えば１／３０秒毎）に更新され、ユーザはファインダ１７に表示されている撮像画像を、動画で確認することができる。このフレーミング処理は、デジタルスチルカメラ１自体が撮影可能な状態になっており、且つ、シャッタレリーズボタン２０がオフの状態のとき、つまりユーザがシャッタレリーズボタン２０を押していない状態のときに行われる。
【００３１】
オートフォーカス処理とは、静止画の撮像対象となる被写体画像のフォーカスを、自動的に設定する処理である。つまり、オートフォーカス処理は、自動的にフォーカスレンズ２３の移動位置を調整して、撮像画像のピント調整を行う処理である。デジタルスチルカメラ１は、フレーミング処理を行いながら、シャッタレリーズボタン２０を半押し状態とすると、撮像画像に基づき合焦点位置を検出するオートフォーカス処理を開始する。具体的に、オートフォーカス処理時には、制御部３０は、フォーカスレンズ２３を移動させながら各位置におけるこのコントラスト値を検波回路１９から取得し、フォーカスレンズ２３の各移動位置に対するコントラスト値の増減を判断する。そして、制御部３０は、そのコントラスト値の増減から、フォーカスレンズ２３の移動位置に対する画像のフォーカスの合焦の度合いを判断し、もっともその合焦度合いが高い位置にフォーカスレンズ２３を移動する。
【００３２】
また、このデジタルスチルカメラ１では、このオートフォーカス処理時に、静止画像記録時の絞り羽根の開度や電子シャッタのスピード等の設定、つまり、Ｆ値やシャッタスピードの設定も行うことができる。ただし、オートフォーカス時に特別なＦ値やシャッタスピード等を設定する時には、オートフォーカス処理後に静止画像記録時のＦ値やシャッタスピードの再設定を行う。
【００３３】
静止画像撮影処理とは、被写体画像を１画面分撮像して、その１画面分の被写体画像をメディアに記録する処理である。デジタルスチルカメラ１は、オートフォーカス処理を完了したのちに、シャッタレリーズボタン２０が全押しされると、フォーカスレンズ２３の移動位置、並びに、絞り羽根の開度、電子シャッタ時間及びＳ／Ｈ・ＧＣ１４の利得を設定して、１画面分の静止画像をＣＣＤ１２で取り込む。取り込まれた静止画像は、デジタル信号処理回路１６等により圧縮等の処理がされたのち、メディアに保存される。
【００３４】
つぎに、自動露出制御処理について説明をする。
【００３５】
自動露出制御処理は、フレーミング処理時やオートフォーカス処理時において、撮影した被写体画像が最適な露出となるように、絞り羽根２４の開口度、ＣＣＤ１２の電子シャッタスピード、及び、Ｓ／Ｈ・ＧＣ回路１４の増幅度が設定される。
【００３６】
これらの各設定は、制御部３０の内部メモリ内に格納される露出制御パラメータに応じて、行われる。露出制御パラメータに基づく露出制御は、例えば、露出制御パラメータの各値に対する絞り羽根２４の開口度数、電子シャッタスピード量、画像信号の増幅度数等が示されたテーブルや、露出制御パラメータからこれらのデータを算出する演算数式を用いて行われる。
【００３７】
制御部３０は、露出制御パラメータの値が大きくなれば画像を明るくする方向に露出を制御し、露出制御パラメータの値が小さくなれば画像を暗くする方向に露出を制御する。つまり、制御部３０は、露出制御パラメータが大きくなれば、絞り羽根２４の開口度を大きくする（絞り羽根３４を開く）、電子シャッタスピードを遅くする（ＣＣＤ１２の露光時間を長くする）、ＣＣＤ１２から出力される画像信号の増幅度を大きくする（Ｓ／Ｈ・ＧＣ回路１４の利得を大きくする）といった方向に制御をする。反対に、制御部３０は、露出制御パラメータが小さくなれば、絞り羽根２４の開口度を小さくする（絞り羽根３４を閉じる）、電子シャッタスピードを早くする（ＣＣＤ１２の露光時間を短くする）、ＣＣＤ１２から出力される画像信号の増幅度を小さくする（Ｓ／Ｈ・ＧＣ回路１４の利得を小さくする）といった方向に制御をする。
【００３８】
また、制御部３０の内部メモリに格納される露出制御パラメータは、実際に撮像された画像から検出された輝度レベルや、輝度レベルのヒストグラムに基づき、例えば１フレーム毎に逐次補正がされていく。以下説明をする自動露出制御処理は、輝度レベルのヒストグラムに基づき、露出制御パラメータを補正するものである。
【００３９】
撮像画像の輝度レベルのヒストグラムは、検波回路１９により算出される。具体的にヒストグラムの一例を示すと、図２に示すようになる。すなわち、横軸に画素の輝度レベルが示され、縦軸には、１つの撮像画像内の画素数つまり度数が示される。従って、輝度レベルが高い画素が多く含まれている撮像画像の場合には、図２（ａ）に示すように、高輝度レベル部分がピークとなるヒストグラムとなる。また、輝度レベルが低い画素が多く含まれている撮像画像の場合には、図２（ｂ）に示すように、低輝度レベル部分がピークとなるヒストグラムとなる。
【００４０】
制御部３０は、ある任意の露出制御パラメータにより露出制御がされた状態の被写体画像から、ヒストグラムを検出する。制御部３０は、そのヒストグラムから、上記任意の露出制御パラメータで撮像された画像の特徴を検出する。制御部３０は、その特徴に基づき、露出をどのように補正すれば最適な露出を得ることができるかを判断し、その判断結果から上記任意の露出制御パラメータを補正して、新たな露出制御パラメータを求める。例えば、ヒストグラムから高輝度成分の画素数が非常に少ないといった撮像画像の特徴が得られれば、露出制御パラメータを小さくして、露出が暗くなる方向に制御する。反対に、ヒストグラムから低輝度成分の画素数が非常に少ないといった撮像画像の特徴が得られれば、露出制御パラメータを大きくして、露出が明るくなる方向に制御する。
【００４１】
そして、制御部３０は、その新たな露出制御パラメータで露出制御を行って被写体を撮像し、さらにこの新たな露出制御パラメータで撮像された画像からヒストグラムを検出して、露出制御パラメータの追従補正を行っていく。
【００４２】
従って、本デジタルスチルカメラ１では、常に、被写体の特徴に応じた最適な露出で、被写体を撮像することができる。
【００４３】
つぎに、このデジタルスチルカメラ１に適用される露出制御処理の具体的な処理例について、図３に示すフローチャートを用いて説明をする。
【００４４】
デジタルスチルカメラ１では、電源が投入されてフレーミングモードの動作を開始すると、露出制御処理を以下のステップＳ１から開始する。
【００４５】
まず、制御部３０は、内部メモリ内に保持している露出制御パラメータに基づき露出制御を行い、被写体画像を撮像する（ステップＳ１）。内部メモリ内には、本フロー制御の開始時には、例えば、通常の測光に基づき検出した被写体の反射光量等から算出された露出制御パラメータ、或いは、予めメモリ等にプリセットしておいた露出制御パラメータが格納される。また、本フロー制御が一回以上ループ処理された後には、前ループにおけるステップＳ１１での処理で求められた新たな露出制御パラメータが格納されている。
【００４６】
続いて、検波回路３０は、ステップＳ１で露出制御がされた被写体画像からヒストグラムを求める（ステップＳ２）。
【００４７】
続いて、制御部３０は、ステップＳ２で得られたヒストグラムを、検波回路３０から取得する（ステップＳ３）。
【００４８】
続いて、制御部３０は、取得したヒストグラムの輝度レベルを、高輝度範囲と、中期度範囲と、低輝度範囲の３段階に分割し、各範囲での画素数を算出する（ステップＳ４）。ここでは、高輝度範囲の画素数をＮ_Ｈ、中輝度範囲の画素数をＮ_Ｍ、低輝度範囲の画素数をＮ_Ｌとする。また、高輝度範囲、中輝度範囲、低輝度範囲を分割するスレッショルドは、例えば、図４に示すように、０〜１／４×Ｙｍａｘを低輝度範囲とし、１／４×Ｙｍａｘ〜３／４×Ｙｍａｘを中輝度範囲とし、３／４×Ｙｍａｘ〜Ｙｍａｘを高輝度範囲とする。なお、Ｙｍａｘは、輝度レベルの最大値である。また、輝度レベルを分割する際には、ガンマ補正処理を考慮することが望ましい。もし、ガンマ補正前の輝度データを用いてヒストグラムを生成する場合には、図５に示すように、ガンマ補正後の輝度レベルに対応する値から、スレッショルドを算出するようにする。また、ここでは、輝度レベルを４分割して上位１／４を高輝度範囲とし下位１／４を低輝度範囲としたが、輝度レベルをＮ分割して、上位１／Ｎを高輝度範囲とし、下位１／Ｎを低輝度範囲としてもよい。ただし、この場合、Ｎは３以上の整数とする必要がある。
【００４９】
続いて、制御部３０は、下記演算を行い、第１の補正比率Ｒ_１を算出する（ステップＳ５）。
Ｒ_１＝｜Ｎ_Ｈ−Ｎ_Ｌ｜／（Ｎ_Ｈ＋Ｎ_Ｍ＋Ｎ_Ｌ）
【００５０】
続いて、制御部３０は、下記演算を行い、第２の補正比率Ｒ_２を算出する（ステップＳ６）。
Ｒ_２＝Ｎ_Ｍ／（Ｎ_Ｈ＋Ｎ_Ｍ＋Ｎ_Ｌ）
【００５１】
続いて、制御部３０は、下記演算を行い、第３の補正比率Ｒ_３を算出する（ステップＳ７）。
Ｒ_３＝Ｎ_Ｈ／（Ｎ_Ｈ＋Ｎ_Ｍ＋Ｎ_Ｌ）
【００５２】
続いて、制御部３０は、下記演算を行い、第４の補正比率Ｒ_４を算出する（ステップＳ８）。
Ｒ_４＝Ｎ_Ｌ／（Ｎ_Ｈ＋Ｎ_Ｍ＋Ｎ_Ｌ）
【００５３】
続いて、制御部３０は、第１の補正比率Ｒ_１、第２の補正比率Ｒ_２、第３の補正比率Ｒ_３、第４の補正比率Ｒ_４を乗算し、合計補正比率Ｒを算出する（ステップＳ９）。
【００５４】
続いて、制御部３０は、合計補正比率Ｒに基づき、内部メモリ内に格納されている露出制御パラメータを補正して、新たな露出制御パラメータを求める（ステップＳ１０）。例えば、合計補正比率Ｒと係数ｋとを乗算し、内部メモリ内に格納されている露出制御パラメータからこの乗算結果を加算或いは減算することによって、新たな露出制御パラメータを算出する。
【００５５】
続いて、制御部３０は、新たな露出制御パラメータを内部メモリ内に格納する（ステップＳ１１）。
【００５６】
そして、制御部３０は、ステップＳ１からステップＳ１１までの処理を、例えば１フレーム毎に行い、次のフレームに対する処理を行う際には、再度ステップＳ１から処理を開始する。
【００５７】
なお、ステップＳ５〜Ｓ８において求められた第１の補正比率Ｒ_１、第２の補正比率Ｒ_２、第３の補正比率Ｒ_３、第４の補正比率Ｒ_４は、合計補正比率Ｒに対して、それぞれ以下のような影響を与えることになる。
【００５８】
第１の補正比率Ｒ_１は、高輝度範囲の画素が多く低輝度範囲の画素が少ない場合、或いは、高輝度範囲の画素が少なく高輝度範囲の画素が多い場合に、値が大きくなる。つまり、第１の補正比率Ｒ_１は、画像が白とびしている場合、或いは、画像が黒つぶれしている場合に、値が大きくなる。従って、第１の補正比率Ｒ_１は、例えば、被写体画像が低輝度範囲或いは高輝度範囲の一方に偏り、ＣＣＤの感応レンジ幅を広く活用できていない場合には、合計補正比率が大きくなるように影響を与えることができる。そのため、このような第１の補正比率Ｒ_１に基づき露出制御パラメータを補正することによって、白とび、黒つぶれ、或いは、薄暗い画像（いわゆる眠い画像）のときに、露出補正パラメータに与える補正量を大きくすることが可能となる。
【００５９】
第２の補正比率Ｒ_２は、ヒストグラムの形状が、中輝度範囲の画素数が多い例えば山形のときに値が大きくなり、中輝度範囲の画素数が少ない例えば谷型のときに値が小さくなる。つまり、第２の補正比率Ｒ_２は、高輝度範囲又は低輝度範囲に画素が多く中輝度範囲に画素が少なく、被写体が高輝度側にあるのか低輝度側にあるのかが不明な場合には、値が小さくなる。従って、第２の補正比率Ｒ_２は、誤った補正を行う可能性がある場合には、露出制御パラメータに与える補正量を小さくなるように影響を与えることが可能となる。
【００６０】
第３の補正比率Ｒ_３は、全画素数に対して高輝度範囲の画素が多い場合に値が大きくなる。そのため、第３の補正比率Ｒ_３は、例えば、人物を撮影した場合に、顔が白とびしているような場合、露出制御パラメータに与える補正量を大きくすることが可能となる。
【００６１】
第４の補正比率Ｒ_４は、全画素数に対して低輝度範囲の画素が多い場合に値が大きくなる。そのため、第４の補正比率Ｒ_４は、例えば、黒い車等を撮影したような場合等に生じる、黒い部分の階調がなくなっているような画像に対して、露出制御パラメータに与える補正量を大きくすることが可能となる。
【００６２】
なお、本例では、第１〜第４の補正比率Ｒ_１〜Ｒ_４を全て乗算して、合計補正比率Ｒを求めているが、全ての補正利率を用いることなく、例えばこれら一つの補正比率だけを用いて合計補正比率Ｒを算出してもよいし、これらの組み合わせを用いても良い。
【００６３】
本発明の実施の形態のデジタルスチルカメラ１では、以上のように、任意の露出制御パラメータで撮像された被写体画像から得られるヒストグラムに基づきその被写体画像の特徴を検出し、その特徴から任意の露出制御パラメータを補正して、新たな露出制御パラメータを算出し、露出を新たな露出制御量に制御して被写体画像を撮像する。
【００６４】
このため、本発明の実施の形態のデジタルスチルカメラ１では、白とびや黒つぶれといったことなく被写体の特徴に応じた細やかな露出制御を行うことが可能となる。例えば、図６（Ａ）に示すような低輝度側に偏った画像が撮像された場合であっても、以上の露出制御を行って補正をすることによって、図６（Ｂ）に示すように、低輝度から高輝度までＣＣＤの感応レンジを効率的に用いたダイナミックレンジの広い画像を撮像することができる。
【００６５】
【発明の効果】
本発明にかかる画像撮像装置及び画像撮像方法では、任意の露出制御量で撮像された被写体画像から、輝度レベルの範囲を高輝度範囲、中輝度範囲、低輝度範囲の３つの範囲に分割して、輝度レベルに対する画素の度数を示すヒストグラムを生成し、上記高輝度範囲の画素数をＮ _Ｈ、上記中輝度範囲の画素数をＮ _Ｍ、上記低輝度範囲の画素数をＮ _Ｌとしたときに、第１の比率、第２の比率、第３の比率及び／又は第４の比率を求め、各比率を乗算した総合比率に基づき補正量を算出し、当該補正量に基づき上記任意の露出制御量を補正することにより上記新たな露出制御量を算出し、露出を新たな露出制御量に制御して被写体画像を撮像する。
【００６６】
このため本発明では、白とびや黒つぶれといったことなく被写体の特徴に応じた細やかな露出制御を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態のデジタルスチルカメラのブロック構成図である。
【図２】被写体画像のヒストグラムを示す図である。
【図３】露出制御のタスクを示すフローチャートである。
【図４】被写体画像のヒストグラムの輝度レベルの分割範囲を説明するための図である。
【図５】ガンマ補正カーブを考慮した輝度レベルの分割閾値を説明するための図である。
【図６】本発明の露出補正を行ったのちのヒストグラムを示す図である。
【符号の説明】
１デジタルスチルカメラ、１１カメラ部、１２ＣＣＤイメージセンサ、１３タイミングジェネレータ、１４Ｓ／Ｈ・ＧＣ、１５ＡＤコンバータ、１６デジタル信号処理回路、１７ファインダ、１８記録回路１９検波回路２０シャッタレリーズボタン、２１シャッタ判定回路、２２ズームレンズ、２３フォーカスレンズ、２４絞り羽根、２５絞り駆動部、３０制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image capturing apparatus and an image capturing method for electronically capturing a still image or the like using a photoelectric conversion element such as a CCD (Charge Coupled Device) image sensor or a C-MOS image sensor.
[0002]
[Prior art]
An electronic image pickup device called a so-called digital still camera using a CCD image sensor or a C-MOS image sensor as a photoelectric conversion element is widely used.
[0003]
Such a digital still camera is generally provided with an AE (automatic exposure) function for automatically adjusting an exposure amount. In digital still camera exposure control, the amount of light in the field of view is measured with a sensor, and the aperture of the lens, the amount of electronic shutter, and the gain of the electrical signal output from the CCD image sensor, etc. are adjusted based on the photometric result. Is done.
[0004]
[Problems to be solved by the invention]
However, a photoelectric conversion element such as a CCD image sensor has a very narrow dynamic range of a luminance region that can be photographed, as compared with a silver salt photographic film. For this reason, when the brightness difference between the bright and dark parts included in the field of view is large, the appropriate exposure range becomes very narrow.If exposure control is performed based on the result of light metering by a simple sensor, optimal exposure control is achieved. It was difficult to do. For example, when the exposure is adjusted to the bright part, the dark part is an image that is blacked out, and when the exposure is adjusted to the dark part, the bright part is an image that is whitened. Also, depending on the subject, there is a possibility that the entire image becomes a dim image (so-called sleepy image).
[0005]
In order to solve such a problem, in recent years, the amount of light is measured from an image obtained by actually capturing an image, and exposure at the time of photographing has been controlled. As a method of measuring the light intensity from the actual imaging screen, the whole surface average metering method that measures the average brightness of the entire screen, the center-weighted metering method that focuses on the brightness of the central part of the screen, and the inside of the screen is divided Then, there are a multi-division photometry method for measuring the average luminance in each area, a spot photometry method for measuring the luminance at an arbitrary position in the screen, and the like.
[0006]
However, even if the method of measuring the amount of light from the actual captured image as described above is used, the average luminance amount is simply calculated or only partial luminance measurement is performed. It was difficult to control the exposure.
[0007]
The present invention has been made in view of such circumstances, and an image imaging apparatus and an image imaging method capable of performing fine exposure control according to the characteristics of the subject without overexposure or underexposure. The purpose is to provide.
[0008]
[Means for Solving the Problems]
  The imaging apparatus according to the present invention receives imaging light from a subject, converts the imaging light into an electrical signal by an imaging device, and digitizes the converted electrical signal in pixel units or pixel block units to generate an imaging signal. And a control unit that controls the camera imaging unit. The control unit controls the exposure of the camera imaging unit to an arbitrary exposure control amount. From the subject image captured with the exposure control amount ofThe luminance level range is divided into three ranges, a high luminance range, a medium luminance range, and a low luminance range,Generate a histogram showing the frequency of the pixel against the luminance level,N is the number of pixels in the high luminance range. _H , The number of pixels in the medium luminance range is N _M , The number of pixels in the low luminance range is N _L Then, the first ratio, the second ratio, the third ratio, and / or the fourth ratio are obtained based on the following arithmetic expression, the correction amount is calculated based on the total ratio obtained by multiplying each ratio, The new exposure control amount is calculated by correcting the arbitrary exposure control amount based on the correction amount,A subject image is picked up by controlling the exposure of the camera image pickup unit to the new exposure control amount.
First ratio = | N _H -N _L | / (N _H + N _M + N _L )
Second ratio = N _M / (N _H + N _M + N _L )
Third ratio = N _H / (N _H + N _M + N _L )
Fourth ratio = N _L / (N _H + N _M + N _L )
[0009]
In this image capturing apparatus, a histogram indicating the frequency of a pixel with respect to a luminance level is generated from a subject image captured with an arbitrary exposure control amount, and the feature of the subject image is detected based on the histogram. Then, an arbitrary exposure control amount is corrected according to the feature to calculate a new exposure control amount, and the subject is imaged by controlling the exposure to the new exposure control amount.
[0011]
  In addition, the imaging method according to the present invention receives imaging light from a subject, converts the imaging light into an electrical signal by an imaging device, digitizes the converted electrical signal in pixel units or pixel block units, and captures the imaging signal. The image capturing method for capturing a subject image by generating an image of a subject with an exposure according to an arbitrary exposure control amount, and from the subject image captured with the arbitrary exposure control amount,The brightness level range is divided into three ranges: a high brightness range, a medium brightness range, and a low brightness range.Generate a histogram showing the frequency of the pixel against the luminance level,N is the number of pixels in the high luminance range. _H , The number of pixels in the medium luminance range is N _M , The number of pixels in the low luminance range is N _L Then, the first ratio, the second ratio, the third ratio, and / or the fourth ratio are obtained based on the following arithmetic expression, the correction amount is calculated based on the total ratio obtained by multiplying each ratio, The new exposure control amount is calculated by correcting the arbitrary exposure control amount based on the correction amount,The subject image is captured by controlling the exposure to a new exposure control amount.
First ratio = | N _H -N _L | / (N _H + N _M + N _L )
Second ratio = N _M / (N _H + N _M + N _L )
Third ratio = N _H / (N _H + N _M + N _L )
Fourth ratio = N _L / (N _H + N _M + N _L )
[0012]
In this image capturing method, a histogram indicating the frequency of a pixel with respect to a luminance level is generated from a subject image captured with an arbitrary exposure control amount, and the feature of the subject image is detected based on the histogram. Then, according to the feature, the arbitrary exposure control amount is corrected to calculate a new exposure control amount, and the subject image is captured by controlling the exposure to the new exposure control amount.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, as an embodiment of the present invention, an imaging apparatus (digital still camera) that electronically captures still images to which the present invention is applied will be described. FIG. 1 shows a configuration diagram of a digital still camera 1 according to an embodiment of the present invention.
[0015]
As shown in FIG. 1, the digital still camera 1 includes a camera unit 11, a CCD 12, a timing signal generation circuit (TG) 13, an S / H · GC (Sampling Hold Gain Control) circuit 13, an AD converter 15, , A digital signal processing circuit 16, a finder 17, a recording circuit 18, a detection circuit 19, a shutter release button 20, a shutter determination circuit 21, and a control unit 30.
[0016]
The CCD 12 converts imaging light of the subject imaged on the light receiving surface via the lens unit 11 into an electrical signal for each pixel, and outputs an image signal. The image signal accumulated by the CCD 12 is supplied to the S / H • GC circuit 14 at a predetermined timing (image update cycle).
[0017]
The timing signal generation circuit 13 generates various drive pulses necessary for the CCD 12 to read out image signals for each screen and an electronic shutter pulse for controlling the accumulation time of charges accumulated in the CCD 12. Various pulses generated from the timing signal generation circuit 13 are supplied to the CCD 12 and used as timing signals for image signal imaging processing and output processing. The timing signal generation circuit 13 controls the shutter speed of the electronic shutter according to a control command from the control unit 30.
[0018]
The S / H • GC circuit 14 performs analog processing such as sampling processing and amplification processing on the image signal supplied from the CCD 12. The analog image signal output from the S / H • GC circuit 14 is supplied to the AD converter 15. The amplification degree of the image signal supplied from the CCD 12 is controlled by the control unit 30.
[0019]
The AD converter 15 samples the analog image signal supplied from the S / H • GC circuit 14 at a predetermined sampling rate, and converts it into a digital image signal. The digital image signal output from the AD converter 15 is supplied to the digital signal processing circuit 16.
[0020]
The digital signal processing circuit 16 generates a digital video signal of, for example, an NTSC format or a format necessary for a recording medium from the digital image signal supplied from the AD converter 15 and outputs the digital video signal to the outside. The digital signal processing circuit 16 generates a display image signal from the digital image signal and supplies it to the finder 17 during framing. When capturing a still image, the digital signal processing circuit 16 generates one still image signal from the digital image signal, compresses it, and supplies it to the recording circuit 18.
[0021]
The viewfinder 17 is an electronic display device that includes, for example, a liquid crystal panel. The finder 17 receives a display image signal from the digital signal processing circuit 16 during framing and displays the image signal.
[0022]
The recording circuit 18 records the still image signal output from the digital signal processing circuit 16 on a storage medium such as a memory card at the time of capturing a still image.
[0023]
The detection circuit 19 generates various detection signals necessary for autofocus (AF), automatic exposure (AE), and the like from the video signal supplied from the digital signal processing circuit 16. Various detection signals are read by the control unit 30 for each frame, for example. The control unit 30 controls the lens unit 11 and the like so that an appropriate image can be captured based on the various detected signals that have been read. Specifically, examples of the detection signal detected by the detection circuit 19 include a detection signal related to autofocus and a detection signal related to automatic exposure control. The detection circuit 19 detects a luminance edge component in an AF detection area set at a predetermined position on the captured image as a detection signal related to autofocus, and outputs a contrast value obtained by integrating the edge components. . Further, the detection circuit 19 generates a histogram indicating the frequency of the pixel with respect to the luminance level from the captured image as a detection signal related to automatic exposure control, detects the feature of the subject image based on the histogram, and calculates it according to the feature. Outputs exposure control amount. Details of the detection signal relating to this exposure control will be described later.
[0024]
The shutter release button 20 is a momentary type push switch operated by a user. The shutter release button 20 distinguishes three states: a state where the switch is not pressed at all (off), a state where the switch is fully pressed (full press), and a state where the switch is pressed halfway (half press). A switching function is provided. The three pressed states (off, half-pressed, fully pressed) of the shutter release button 20 are determined by the shutter determination circuit 20 and the determination information is supplied to the control unit 30.
[0025]
The lens unit 11 includes a zoom lens 22, a focus lens 23, an aperture blade 24, and an aperture blade drive unit 25 that drives the aperture blade 24. In addition to these, the lens unit 11 includes, for example, an infrared cut filter that cuts infrared light of incident light, an optical system such as a shutter blade that blocks incident light, a zoom lens driving unit that drives the zoom lens 22, A focus lens driving unit for driving the focus lens, a shutter driving unit for driving the shutter blades, and the like are also provided.
[0026]
The zoom lens 22 in the lens unit 11 is provided at a position where its optical axis coincides with a vertical line extending from the approximate center of the light receiving surface of the CCD 12. The zoom lens 22 is provided so as to be linearly movable back and forth on the optical axis, and changes the imaging magnification of the image formed on the light receiving surface of the CCD 12 according to the movement position. The movement position of the zoom lens 22 is controlled by the control unit 30 via the zoom lens driving unit.
[0027]
The focus lens 23 in the lens unit 11 is provided at a position where its optical axis coincides with a vertical line extending from the approximate center of the light receiving surface of the CCD 12. The focus lens 23 is provided so as to be linearly movable back and forth on the optical axis, and changes the focal position of the image formed on the light receiving surface on the CCD 12 according to the movement position. The movement position of the focus lens 23 is controlled by the control unit 30 via the aperture blade driving unit 25.
[0028]
The diaphragm blade 24 adjusts the amount of imaging light that forms an image on the light receiving surface of the CCD 12. The aperture blade 24 forms a hole centered on the optical axis of the optical system of the lens unit 11, and controls the amount of light by changing the hole diameter. That is, the aperture blade 24 controls the aperture value (F value) of the camera. The aperture diameter of the aperture blade 24 is controlled by the control unit 30 via the aperture drive unit 25.
[0029]
The control unit 30 controls each unit of the digital still camera 1. For example, based on the pressed state of the shutter release button 20, framing process control (off), autofocus process control (half press), and still image recording control (full press) are performed.
[0030]
The framing process is a process for displaying the image captured by the CCD 12 on the finder 17 so that the user can confirm the position of the subject in the screen and the composition of the screen before photographing. During this framing process, the CCD 12 performs an imaging process for one screen at a constant image update period (for example, every 1/30 seconds), and an image signal obtained by imaging is output. Therefore, the image displayed on the finder 17 is also updated at regular intervals (for example, every 1/30 seconds), and the user can check the captured image displayed on the finder 17 with a moving image. This framing process is performed when the digital still camera 1 itself is ready to shoot and the shutter release button 20 is in an off state, that is, when the user is not pressing the shutter release button 20.
[0031]
The autofocus process is a process for automatically setting the focus of a subject image to be captured of a still image. That is, the autofocus process is a process for automatically adjusting the moving position of the focus lens 23 and adjusting the focus of the captured image. When the digital still camera 1 performs the framing process and depresses the shutter release button 20 halfway, the digital still camera 1 starts an autofocus process for detecting the in-focus position based on the captured image. Specifically, at the time of autofocus processing, the control unit 30 acquires the contrast value at each position from the detection circuit 19 while moving the focus lens 23, and determines whether the contrast value increases or decreases with respect to each movement position of the focus lens 23. . Then, the control unit 30 determines the degree of focus of the image with respect to the movement position of the focus lens 23 from the increase / decrease of the contrast value, and moves the focus lens 23 to the position with the highest degree of focus.
[0032]
The digital still camera 1 can also set the aperture of the aperture blade and the speed of the electronic shutter during still image recording, that is, the F value and the shutter speed, during the autofocus process. However, when setting a special F value, shutter speed, or the like during autofocus, the F value or shutter speed during still image recording is reset after autofocus processing.
[0033]
The still image shooting process is a process of capturing a subject image for one screen and recording the subject image for one screen on a medium. When the shutter release button 20 is fully pressed after completing the autofocus process, the digital still camera 1 moves the focus lens 23, the aperture of the aperture blade, the electronic shutter time, and the S / H · GC14. The still image for one screen is captured by the CCD 12. The captured still image is subjected to processing such as compression by the digital signal processing circuit 16 or the like, and then stored in a medium.
[0034]
Next, the automatic exposure control process will be described.
[0035]
In the automatic exposure control process, the aperture of the diaphragm blade 24, the electronic shutter speed of the CCD 12, and the S / H / GC circuit so that the photographed subject image is optimally exposed during the framing process and the autofocus process. An amplification factor of 14 is set.
[0036]
Each of these settings is performed according to an exposure control parameter stored in the internal memory of the control unit 30. The exposure control based on the exposure control parameter is, for example, a table showing the aperture frequency of the diaphragm blade 24, the electronic shutter speed amount, the amplification frequency of the image signal, etc. for each value of the exposure control parameter, and these data from the exposure control parameter. This is performed using an arithmetic expression for calculating.
[0037]
The control unit 30 controls the exposure in the direction of brightening the image when the value of the exposure control parameter increases, and controls the exposure in the direction of darkening the image when the value of the exposure control parameter decreases. That is, when the exposure control parameter increases, the control unit 30 increases the aperture degree of the aperture blade 24 (opens the aperture blade 34), decreases the electronic shutter speed (increases the exposure time of the CCD 12), Control is performed in the direction of increasing the amplification degree of the output image signal (increasing the gain of the S / H • GC circuit 14). On the other hand, when the exposure control parameter decreases, the control unit 30 decreases the aperture of the diaphragm blade 24 (closes the diaphragm blade 34), increases the electronic shutter speed (decreases the exposure time of the CCD 12), and the CCD 12 Is controlled in the direction of decreasing the amplification degree of the image signal output from (reducing the gain of the S / H • GC circuit 14).
[0038]
Further, the exposure control parameters stored in the internal memory of the control unit 30 are sequentially corrected, for example, for each frame based on the luminance level detected from the actually captured image and the luminance level histogram. The automatic exposure control process described below corrects the exposure control parameter based on a histogram of luminance levels.
[0039]
A histogram of the brightness level of the captured image is calculated by the detection circuit 19. A specific example of the histogram is shown in FIG. That is, the horizontal axis indicates the luminance level of the pixel, and the vertical axis indicates the number of pixels in one captured image, that is, the frequency. Therefore, in the case of a captured image including many pixels with a high luminance level, as shown in FIG. 2A, the histogram has a peak at the high luminance level portion. Further, in the case of a captured image including many pixels with a low luminance level, as shown in FIG. 2B, a histogram having a peak at the low luminance level portion is obtained.
[0040]
The control unit 30 detects a histogram from the subject image in a state where exposure control is performed using a certain arbitrary exposure control parameter. The control unit 30 detects the characteristics of the image captured with the arbitrary exposure control parameter from the histogram. Based on the characteristics, the control unit 30 determines how to correct the exposure to obtain the optimum exposure, and corrects the above arbitrary exposure control parameters based on the determination result to obtain a new exposure control. Find the parameters. For example, if the characteristics of the captured image such that the number of pixels of the high luminance component is very small are obtained from the histogram, the exposure control parameter is reduced and the exposure is controlled in a darker direction. On the other hand, if the characteristics of the captured image such that the number of pixels of the low luminance component is very small are obtained from the histogram, the exposure control parameter is increased and the exposure is controlled in a brighter direction.
[0041]
Then, the control unit 30 performs exposure control with the new exposure control parameter to image the subject, further detects a histogram from the image captured with the new exposure control parameter, and performs follow-up correction of the exposure control parameter. Go.
[0042]
Therefore, the digital still camera 1 can always capture an image of an object with an optimal exposure according to the characteristics of the object.
[0043]
Next, a specific processing example of the exposure control processing applied to the digital still camera 1 will be described using the flowchart shown in FIG.
[0044]
In the digital still camera 1, when the power is turned on and the operation of the framing mode is started, the exposure control process is started from the following step S1.
[0045]
First, the control unit 30 performs exposure control based on the exposure control parameter held in the internal memory, and captures a subject image (step S1). In the internal memory, at the start of this flow control, for example, an exposure control parameter calculated from the reflected light amount of the subject detected based on normal photometry, or an exposure control parameter preset in the memory or the like in advance. Stored. Further, after the flow control has been looped one or more times, new exposure control parameters obtained by the processing in step S11 in the previous loop are stored.
[0046]
Subsequently, the detection circuit 30 obtains a histogram from the subject image subjected to exposure control in step S1 (step S2).
[0047]
Subsequently, the control unit 30 acquires the histogram obtained in step S2 from the detection circuit 30 (step S3).
[0048]
Subsequently, the control unit 30 divides the luminance level of the acquired histogram into three stages of a high luminance range, a medium-term range, and a low luminance range, and calculates the number of pixels in each range (step S4). Here, N is the number of pixels in the high luminance range._H, The number of pixels in the middle luminance range is N_M, N for the number of pixels in the low luminance range_LAnd The threshold for dividing the high luminance range, the medium luminance range, and the low luminance range is, for example, as shown in FIG. 4, 0 to 1/4 × Ymax is set to the low luminance range, and 1/4 × Ymax to 3/4. Let xYmax be a medium luminance range, and 3/4 × Ymax to Ymax be a high luminance range. Ymax is the maximum luminance level. In addition, it is desirable to consider gamma correction processing when dividing the luminance level. If a histogram is generated using luminance data before gamma correction, the threshold is calculated from a value corresponding to the luminance level after gamma correction, as shown in FIG. In this example, the luminance level is divided into four, and the upper 1/4 is set as the high luminance range and the lower 1/4 is set as the low luminance range. However, the luminance level is divided into N and the upper 1 / N is set as the high luminance range. The lower 1 / N may be the low luminance range. In this case, however, N must be an integer of 3 or more.
[0049]
Subsequently, the control unit 30 performs the following calculation, and the first correction ratio R₁Is calculated (step S5).
R₁= | N_H-N_L| / (N_H+ N_M+ N_L)
[0050]
Subsequently, the control unit 30 performs the following calculation to obtain the second correction ratio R₂Is calculated (step S6).
R₂= N_M/ (N_H+ N_M+ N_L)
[0051]
Subsequently, the control unit 30 performs the following calculation, and the third correction ratio R₃Is calculated (step S7).
R₃= N_H/ (N_H+ N_M+ N_L)
[0052]
Subsequently, the control unit 30 performs the following calculation to obtain a fourth correction ratio R₄Is calculated (step S8).
R₄= N_L/ (N_H+ N_M+ N_L)
[0053]
Subsequently, the control unit 30 performs the first correction ratio R.₁, Second correction ratio R₂, Third correction ratio R₃, Fourth correction ratio R₄And a total correction ratio R is calculated (step S9).
[0054]
Subsequently, the control unit 30 corrects the exposure control parameter stored in the internal memory based on the total correction ratio R to obtain a new exposure control parameter (step S10). For example, a new exposure control parameter is calculated by multiplying the total correction ratio R and the coefficient k and adding or subtracting the multiplication result from the exposure control parameter stored in the internal memory.
[0055]
Subsequently, the control unit 30 stores a new exposure control parameter in the internal memory (step S11).
[0056]
And the control part 30 performs the process from step S1 to step S11 for every frame, for example, and when performing the process with respect to the following flame | frame, it starts a process again from step S1.
[0057]
The first correction ratio R obtained in steps S5 to S8.₁, Second correction ratio R₂, Third correction ratio R₃, Fourth correction ratio R₄Affects the total correction ratio R as follows.
[0058]
First correction ratio R₁The value increases when there are many pixels in the high luminance range and few pixels in the low luminance range, or when there are few pixels in the high luminance range and many pixels in the high luminance range. That is, the first correction ratio R₁The value increases when the image is blown out or when the image is blown out. Accordingly, the first correction ratio R₁For example, when the subject image is biased to one of the low luminance range and the high luminance range and the sensitivity range width of the CCD cannot be widely used, the total correction ratio can be increased. Therefore, such a first correction ratio R₁By correcting the exposure control parameter based on the above, it is possible to increase the amount of correction given to the exposure correction parameter in the case of overexposure, underexposure, or a dark image (so-called sleepy image).
[0059]
Second correction ratio R₂The value of the histogram is large when the number of pixels in the medium luminance range is large, for example, a mountain shape, and the value is small when the number of pixels in the medium luminance range is small, for example, a valley shape. That is, the second correction ratio R₂The value is small when there are many pixels in the high luminance range or low luminance range and few pixels in the medium luminance range, and it is unclear whether the subject is on the high luminance side or the low luminance side. Therefore, the second correction ratio R₂If there is a possibility of erroneous correction, it is possible to influence the exposure control parameter so as to reduce the correction amount.
[0060]
Third correction ratio R₃Is larger when the number of pixels in the high luminance range is larger than the total number of pixels. Therefore, the third correction ratio R₃For example, when a person is photographed and the face is overexposed, the amount of correction given to the exposure control parameter can be increased.
[0061]
Fourth correction ratio R₄Increases when the number of pixels in the low luminance range is large with respect to the total number of pixels. Therefore, the fourth correction ratio R₄For example, it is possible to increase the amount of correction given to the exposure control parameter for an image in which the gradation of the black portion is lost, for example, when a black car is photographed.
[0062]
In this example, the first to fourth correction ratios R₁~ R₄However, the total correction ratio R may be calculated without using all the correction interest rates, for example, using only one of these correction ratios, or a combination thereof. May be used.
[0063]
In the digital still camera 1 according to the embodiment of the present invention, as described above, the feature of the subject image is detected based on the histogram obtained from the subject image picked up with an arbitrary exposure control parameter, and the arbitrary exposure is determined from the feature. The control parameter is corrected, a new exposure control parameter is calculated, and the subject image is captured by controlling the exposure to a new exposure control amount.
[0064]
For this reason, in the digital still camera 1 according to the embodiment of the present invention, it is possible to perform fine exposure control according to the characteristics of the subject without overexposure or underexposure. For example, even when an image biased to the low luminance side as shown in FIG. 6A is captured, by performing the above exposure control and correcting, as shown in FIG. It is possible to capture an image with a wide dynamic range by efficiently using the sensitive range of the CCD from low luminance to high luminance.
[0065]
【The invention's effect】
  In the image capturing apparatus and the image capturing method according to the present invention, an object image captured with an arbitrary exposure control amount is used.The brightness level range is divided into three ranges, a high brightness range, a medium brightness range, and a low brightness range,Generate a histogram showing the frequency of the pixel against the luminance level,N is the number of pixels in the high luminance range. _H , The number of pixels in the medium luminance range is N _M , The number of pixels in the low luminance range is N _L Then, the first ratio, the second ratio, the third ratio and / or the fourth ratio are obtained, the correction amount is calculated based on the total ratio obtained by multiplying the respective ratios, and the correction amount is calculated based on the correction amount. The new exposure control amount is calculated by correcting an arbitrary exposure control amount,A subject image is captured by controlling the exposure to a new exposure control amount.
[0066]
Therefore, in the present invention, it is possible to perform fine exposure control according to the characteristics of the subject without overexposure or underexposure.
[Brief description of the drawings]
FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a histogram of a subject image.
FIG. 3 is a flowchart showing a task of exposure control.
FIG. 4 is a diagram for explaining a division range of luminance levels of a histogram of a subject image.
FIG. 5 is a diagram for explaining a division threshold of a luminance level in consideration of a gamma correction curve.
FIG. 6 is a diagram showing a histogram after performing exposure correction of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Digital still camera, 11 Camera part, 12 CCD image sensor, 13 Timing generator, 14 S / H * GC, 15 AD converter, 16 Digital signal processing circuit, 17 Finder, 18 Recording circuit 19 Detection circuit 20 Shutter release button, 21 Shutter determination circuit, 22 zoom lens, 23 focus lens, 24 aperture blade, 25 aperture drive unit, 30 control unit

Claims

Imaging light from a subject is incident, the imaging light is converted into an electrical signal by an imaging device, and the converted electrical signal is digitized in pixel units or pixel block units to generate an imaging signal, thereby capturing a subject image. A camera imaging unit;
A control unit for controlling the camera imaging unit,
The control unit
Control the exposure of the camera imaging unit to an arbitrary exposure control amount,
From the captured subject image in the arbitrary amount of exposure control, the high luminance range range of luminance levels, medium luminance range is divided into three ranges of low luminance range, a histogram indicating the frequency of pixels for the luminance level Generate and
The number of pixels in the high luminance range is N _H , The number of pixels above in luminance range N _M , Let N _{L be the} number of pixels in the low luminance range Then, the first ratio, the second ratio, the third ratio, and / or the fourth ratio are obtained based on the following arithmetic expression, the correction amount is calculated based on the total ratio obtained by multiplying each ratio, The new exposure control amount is calculated by correcting the arbitrary exposure control amount based on the correction amount,
An image pickup apparatus for picking up a subject image by controlling exposure of the camera image pickup unit to the new exposure control amount.
First ratio = | N _H -N _L ｜ / (N _H + N _M + N _L )
Second ratio = N _M / (N _H + N _M + N _L )
Third ratio = N _H / (N _H + N _M + N _L )
Fourth ratio = N _L / (N _H + N _M + N _L )

The image pickup apparatus according to claim 1, wherein the controller controls exposure by setting a diaphragm aperture, a shutter speed of the image pickup device, and / or a gain of an electric signal output from the image pickup device. .

The image capturing apparatus according to claim 1, wherein the control unit sets a threshold value for dividing the range of the luminance level of the subject image according to the luminance level after being corrected by the gamma correction curve. .

Imaging light from a subject is incident, the imaging light is converted into an electrical signal by an imaging device, and the converted electrical signal is digitized in pixel units or pixel block units to generate an imaging signal, thereby capturing a subject image. In the image capturing method,
Take a subject image with an exposure according to the desired exposure control amount,
From the captured subject image in the arbitrary amount of exposure control, the high luminance range range of luminance levels, medium luminance range is divided into three ranges of low luminance range, a histogram indicating the frequency of pixels for the luminance level Generate and
The number of pixels in the high luminance range is N _H , The number of pixels above in luminance range N _M When the number of pixels in the low luminance range is N _L , the first ratio, the second ratio, the third ratio, and / or the fourth ratio are obtained based on the following calculation formula, and each ratio is multiplied: Calculating a correction amount based on the overall ratio, calculating the new exposure control amount by correcting the arbitrary exposure control amount based on the correction amount,
An image capturing method comprising capturing a subject image while controlling exposure to the new exposure control amount.
First ratio = | N _H -N _L ｜ / (N _H + N _M + N _L )
Second ratio = N _M / (N _H + N _M + N _L )
Third ratio = N _H / (N _H + N _M + N _L )
Fourth ratio = N _L / (N _H + N _M + N _L )

5. The image capturing method according to claim 4 , wherein the exposure is controlled by changing an aperture of the diaphragm, a shutter speed of the image sensor, and / or a gain of an electric signal output from the image sensor.

5. The image capturing method according to claim 4, wherein a threshold value for dividing the range of the luminance level of the subject image is set according to the luminance level after being corrected by the gamma correction curve.