JP4306750B2 - 撮像装置、撮像方法、露光制御方法、プログラム - Google Patents
撮像装置、撮像方法、露光制御方法、プログラム Download PDFInfo
- Publication number
- JP4306750B2 JP4306750B2 JP2007065230A JP2007065230A JP4306750B2 JP 4306750 B2 JP4306750 B2 JP 4306750B2 JP 2007065230 A JP2007065230 A JP 2007065230A JP 2007065230 A JP2007065230 A JP 2007065230A JP 4306750 B2 JP4306750 B2 JP 4306750B2
- Authority
- JP
- Japan
- Prior art keywords
- exposure
- image signal
- short
- time
- integrated value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は撮像装置、撮像方法、露光制御方法、プログラムに関し、特に長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置の露光補正に関する。
従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮影するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。
しかしながら、明暗の差が大きいシーンの撮影（逆光撮影、屋内外同時撮影）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。
この問題を解決するために、フィールド内で二つの異なる電子シャッタスピードを使用したり、フィールドごとに電子シャッタスピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（上記特許文献１参照）。
これを応用したものとして、ダイナミックレンジの広い画像を撮影可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が上記特許文献２，３に開示されている。
これを応用したものとして、ダイナミックレンジの広い画像を撮影可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が上記特許文献２，３に開示されている。
しかしながら、従来の手法では、２種類の異なる露光量で撮影された画像を合成する方法を改善することによりワイドダイナミックレンジカメラの画質の向上を目指しているが、最終的な合成後の画像で、黒つぶれや白とびが解消されているかを検出して補正する仕組みがなく、必ずしも満足できる画質ではない場合がある。
そこで本発明では、合成後の画像における黒つぶれや白とびの解消を、より有効に実現できる手法を提供することを目的とする。
そこで本発明では、合成後の画像における黒つぶれや白とびの解消を、より有効に実現できる手法を提供することを目的とする。
本発明の撮像装置は、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成する検波部と、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う制御部とを備え、上記制御部は、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記撮像部の上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記撮像部の上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を行う。
上記制御部は、上記長時間露光画像信号に関する露光補正制御として、絞り補正、又は長時間露光時間補正、又は長時間露光画像信号に対するゲイン補正を行う。
また上記制御部は、現在の目標輝度積算値と固定値との演算により新たな目標輝度積算値を設定する。
或いは上記制御部は、目標輝度積算値の収束目標との差分値を算出し、現在の目標輝度積算値と上記差分値との演算により新たな目標輝度積算値を設定する。
また上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、上記制御部は、上記目標輝度積算値の設定に、上記中間レベルの情報を用いる。
また上記制御部は、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定する。
或いは上記制御部は、短時間露光時間の収束目標との差分値を算出し、現在の短時間露光時間と上記差分値との演算により新たな短時間露光時間を設定する。
また上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、上記制御部は、上記短時間露光時間の設定に、上記中間レベルの情報を用いる。
或いは上記制御部は、目標輝度積算値の収束目標との差分値を算出し、現在の目標輝度積算値と上記差分値との演算により新たな目標輝度積算値を設定する。
また上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、上記制御部は、上記目標輝度積算値の設定に、上記中間レベルの情報を用いる。
また上記制御部は、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定する。
或いは上記制御部は、短時間露光時間の収束目標との差分値を算出し、現在の短時間露光時間と上記差分値との演算により新たな短時間露光時間を設定する。
また上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、上記制御部は、上記短時間露光時間の設定に、上記中間レベルの情報を用いる。
本発明の撮像方法は、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力するステップと、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成するステップと、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成するステップと、上記輝度積算値と上記輝度ヒストグラムを用いて露光補正制御を行う露光補正制御ステップとを実行し、上記露光補正制御ステップは、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を行う。
本発明の露光制御方法は、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置の露光補正方法である。そして上記合成画像信号についての輝度積算値と輝度ヒストグラムを取得するステップと、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出するステップと、黒つぶれの検出結果に基づいて目標輝度積算値を設定するステップと、上記輝度ヒストグラムから上記合成画像信号における白とびを検出するステップと、白とびの検出結果に基づいて短時間露光時間を設定するステップと、上記目標輝度積算値及び上記短時間露光時間を用いて露光補正制御を行う露光補正制御ステップとを実行し、上記露光補正制御ステップは、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を行う。
また本発明のプログラムは、このような露光補正のための処理を演算処理装置に実行させるプログラムである。即ち上記合成画像信号についての輝度積算値と輝度ヒストグラムを取得するステップと、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出するステップと、黒つぶれの検出結果に基づいて目標輝度積算値を設定するステップと、上記輝度ヒストグラムから上記合成画像信号における白とびを検出するステップと、白とびの検出結果に基づいて短時間露光時間を設定するステップと、上記目標輝度積算値及び上記短時間露光時間を用いて露光補正制御を行うステップとを演算処理装置に実行させ、上記露光補正制御ステップは、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を演算処理装置に実行させるプログラムである。
また本発明のプログラムは、このような露光補正のための処理を演算処理装置に実行させるプログラムである。即ち上記合成画像信号についての輝度積算値と輝度ヒストグラムを取得するステップと、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出するステップと、黒つぶれの検出結果に基づいて目標輝度積算値を設定するステップと、上記輝度ヒストグラムから上記合成画像信号における白とびを検出するステップと、白とびの検出結果に基づいて短時間露光時間を設定するステップと、上記目標輝度積算値及び上記短時間露光時間を用いて露光補正制御を行うステップとを演算処理装置に実行させ、上記露光補正制御ステップは、上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を演算処理装置に実行させるプログラムである。
以上の本発明では、例えば１フィールド期間などの単位期間に得られる長時間露光画像信号と短時間露光画像信号から合成画像信号を生成するが、その合成画像信号について、輝度積算値や輝度ヒストグラム（頻度分布）を分析する。そしてその結果から自動露光制御（絞り、電子シャッタースピード、ゲインの制御）をフィードバック制御として行うことで、ワイドダイナミックレンジカメラの画質を向上させるものとなる。
本発明によれば、長時間露光画像信号と短時間露光画像信号から生成された合成画像信号について、輝度積算値や輝度ヒストグラム（頻度分布）を分析し、その結果から露光補正を行う。即ち最終的にユーザが視認する画像として出力される画像信号である合成画像信号から黒つぶれや白とびを検出して、露光補正にフィードバックされるため、最終的な出力画像上の黒つぶれや白とびに対して補正処理が有効に機能する。つまり本発明によれば合成画像の画質向上を的確に実現できるものとなる。
また、この露光補正処理は、あくまで合成画像信号に基づくものであり、合成前の長時間露光画像信号と短時間露光画像信号の処理に依存しない。各種のワイドダイナミックレンジカメラシステムにおいては合成までの処理に各種の違いがあるが、そのような各機種での処理の差異にかかわらず、本発明はワイドダイナミックレンジカメラシステムに広く適用できる。
また、この露光補正処理は、あくまで合成画像信号に基づくものであり、合成前の長時間露光画像信号と短時間露光画像信号の処理に依存しない。各種のワイドダイナミックレンジカメラシステムにおいては合成までの処理に各種の違いがあるが、そのような各機種での処理の差異にかかわらず、本発明はワイドダイナミックレンジカメラシステムに広く適用できる。
以下、本発明の実施の形態を次の順序で説明する。
［１．ワイドダイナミックレンジカメラの概要］
［２．撮像装置の構成］
［３．撮像装置の全体動作］
［４．露光補正処理］
［５．露光補正処理の他の例］
［６．黒つぶれ補正の他の例］
［７．白とび補正の他の例］
［８．実施の形態の効果、及びプログラム］
［１．ワイドダイナミックレンジカメラの概要］
［２．撮像装置の構成］
［３．撮像装置の全体動作］
［４．露光補正処理］
［５．露光補正処理の他の例］
［６．黒つぶれ補正の他の例］
［７．白とび補正の他の例］
［８．実施の形態の効果、及びプログラム］
［１．ワイドダイナミックレンジカメラの概要］
本実施の形態の撮像装置１は、ワイドダイナミックレンジカメラとしての撮像装置であり、例えば監視カメラなどとして好適に用いられる。もちろん一般ユーザが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。
ここではまず、ワイドダイナミックレンジカメラについて述べておく。
本実施の形態の撮像装置１は、ワイドダイナミックレンジカメラとしての撮像装置であり、例えば監視カメラなどとして好適に用いられる。もちろん一般ユーザが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。
ここではまず、ワイドダイナミックレンジカメラについて述べておく。
一般的に使用される撮像装置は、被写体における非常に暗い部分と非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。
これに対して本例のワイドダイナミックレンジカメラは、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、白とびや黒つぶれの生じない撮像画像を得るようにしている。
図２は、ＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとしての撮像素子部での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。
本例では、１／６０秒の１フィールド期間において、例えば１／６４秒の長時間露光と、例えば１／２０００秒の短時間露光を行う。なお、長時間露光時間と短時間露光時間は可変制御可能である。
この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成する。
図２は、ＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとしての撮像素子部での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。
本例では、１／６０秒の１フィールド期間において、例えば１／６４秒の長時間露光と、例えば１／２０００秒の短時間露光を行う。なお、長時間露光時間と短時間露光時間は可変制御可能である。
この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成する。
図３は、長時間露光画像信号の入出力輝度特性Ａと、短時間露光画像信号の入出力輝度特性Ｂを示している。
合成処理においては、例えば所定の輝度値を切替ポイントＳＰとする。そして切替ポイントＳＰよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントＳＰよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号に１０を乗算することによりレベルを合わせる。
このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性ｋＢを得る。
結果として、特性Ａ−ｋＢの合成画像を生成する。即ち合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。
合成処理においては、例えば所定の輝度値を切替ポイントＳＰとする。そして切替ポイントＳＰよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントＳＰよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号に１０を乗算することによりレベルを合わせる。
このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性ｋＢを得る。
結果として、特性Ａ−ｋＢの合成画像を生成する。即ち合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。
なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。
例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。
またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。
例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。
またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。
これらの手法を採用したワイドダイナミックレンジカメラは、一般的に用いられるビデオカメラのダイナミックレンジよりも非常に広いダイナミックレンジを有し、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能である。したがって強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。
例えば銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合において撮像することが多いカメラ、特に監視カメラなどに好適となる。
例えば銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合において撮像することが多いカメラ、特に監視カメラなどに好適となる。
［２．撮像装置の構成］
図１に本例の撮像装置の構成を示す。本例の撮像装置は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５，検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部１０を備える。
図１に本例の撮像装置の構成を示す。本例の撮像装置は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５，検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部１０を備える。
撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り１ａ等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。
撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力する。本例の場合、撮像素子部２では１フィールド期間に上述した長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でもよい。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光と短時間露光を行うことは可能である。
前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。
撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力する。本例の場合、撮像素子部２では１フィールド期間に上述した長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でもよい。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光と短時間露光を行うことは可能である。
前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。
信号処理部４は、入力される長時間露光画像信号と短時間露光画像信号について図３で述べた合成処理を行う。即ち時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また信号処理部４は合成画像信号に対するガンマ補正処理やホワイトバランス処理も行う。
信号処理部４は、生成した合成画像信号を出力部５及び検波部６に出力する。
信号処理部４は、生成した合成画像信号を出力部５及び検波部６に出力する。
出力部５は、信号処理部４からの合成画像信号について、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。
検波部６は、信号処理部４からの合成画像信号についての輝度分析処理を行い、輝度積算値と輝度ヒストグラムの情報を生成し、制御部１０に供給する。
検波部６は、信号処理部４からの合成画像信号についての輝度分析処理を行い、輝度積算値と輝度ヒストグラムの情報を生成し、制御部１０に供給する。
制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置の全体の動作を制御する。また特に本例においては、制御部１は撮像時の露光補正処理を行う。制御部１０におけるＲＯＭには、後述する露光補正のため制御処理を実行させるプログラムが格納されており、該プログラムに基づいて、上記の検波部６から供給される輝度積算値や輝度ヒストグラムを用い、必要な演算・制御処理を実行する。
タイミングジェネレータ７は、例えばＣＣＤなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ７により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。
また撮像素子部２の駆動の調整により、図２のような露光時間が相対的に長い長時間露光画像信号と、露光時間が相対的に短い短時間露光画像信号とを出力させることが可能である。また長時間露光画像信号と短時間露光画像信号について、露光時間を可変することも可能である。
光学部品駆動部８は、撮像光学系１における光学部品の駆動を行う。本例に関していえば、少なくとも絞り１ａを駆動し、入射光量を調節するための駆動回路部とされる。
また撮像素子部２の駆動の調整により、図２のような露光時間が相対的に長い長時間露光画像信号と、露光時間が相対的に短い短時間露光画像信号とを出力させることが可能である。また長時間露光画像信号と短時間露光画像信号について、露光時間を可変することも可能である。
光学部品駆動部８は、撮像光学系１における光学部品の駆動を行う。本例に関していえば、少なくとも絞り１ａを駆動し、入射光量を調節するための駆動回路部とされる。
［３．撮像装置の全体動作］
以下、本例の撮像装置で実行される露光補正に関する動作を説明する。まずここでは撮像装置において露光補正を含む全体的な撮像動作を述べる。
図４は撮像動作の流れを示している。
この図４の処理が一定間隔で繰り返されることで、出力される映像信号において黒つぶれ、白とびのない画像に徐々に近づけ、ワイドダイナミックレンジカメラの画質を向上させる。
以下、本例の撮像装置で実行される露光補正に関する動作を説明する。まずここでは撮像装置において露光補正を含む全体的な撮像動作を述べる。
図４は撮像動作の流れを示している。
この図４の処理が一定間隔で繰り返されることで、出力される映像信号において黒つぶれ、白とびのない画像に徐々に近づけ、ワイドダイナミックレンジカメラの画質を向上させる。
・ステップＳＴ１：撮像処理
タイミングジェネレータ７は、異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図２で述べたような長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号（露光時間１／６４秒の長時間露光画像信号と、露光時間１／２０００秒の短時間露光画像信号）が得られる。上記のとおり、長時間露光画像信号と短時間露光画像信号はそれぞれ前処理部３で処理されて信号処理部４に供給される。
タイミングジェネレータ７は、異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図２で述べたような長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号（露光時間１／６４秒の長時間露光画像信号と、露光時間１／２０００秒の短時間露光画像信号）が得られる。上記のとおり、長時間露光画像信号と短時間露光画像信号はそれぞれ前処理部３で処理されて信号処理部４に供給される。
・ステップＳＴ２：合成処理
信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を図３で述べた手法で合成し、ダイナミックレンジを拡大させた合成画像信号を生成する。この合成画像信号は、出力部５から例えばモニタディスプレイでの表示のために出力される。
信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を図３で述べた手法で合成し、ダイナミックレンジを拡大させた合成画像信号を生成する。この合成画像信号は、出力部５から例えばモニタディスプレイでの表示のために出力される。
・ステップＳＴ３：検波処理
合成画像信号は検波部６にも供給される。検波部６は、合成画像信号の輝度積算値と輝度ヒストグラムを生成し、それをフィールド毎に制御部１０に送信する。
図５に検波部６の検波処理を示すが、ステップＳＴ３１で１フィールドの合成画像信号の輝度積算を行う。またステップＳＴ３２で輝度ヒストグラムを生成する。
図６に輝度ヒストグラムの例を示す。この例では、輝度について黒レベルＢから白レベルＷまでを、「Ｂ」「ｍｂ１」「ｍｂ２」「ｍｂ３」「ｍｗ３」「ｍｗ２」「ｍｗ１」「Ｗ」という８段階の輝度に分け、この８段階の各輝度についての１フィールド画像内での割合（％）を示すものとしている。
例えば図６（ａ）は合成画像信号の比較的暗めの画像となったフィールドの輝度ヒストグラムの例であり、図６（ｂ）は比較的明るめの画像となったフィールドの輝度ヒストグラムの例である。
合成画像信号は検波部６にも供給される。検波部６は、合成画像信号の輝度積算値と輝度ヒストグラムを生成し、それをフィールド毎に制御部１０に送信する。
図５に検波部６の検波処理を示すが、ステップＳＴ３１で１フィールドの合成画像信号の輝度積算を行う。またステップＳＴ３２で輝度ヒストグラムを生成する。
図６に輝度ヒストグラムの例を示す。この例では、輝度について黒レベルＢから白レベルＷまでを、「Ｂ」「ｍｂ１」「ｍｂ２」「ｍｂ３」「ｍｗ３」「ｍｗ２」「ｍｗ１」「Ｗ」という８段階の輝度に分け、この８段階の各輝度についての１フィールド画像内での割合（％）を示すものとしている。
例えば図６（ａ）は合成画像信号の比較的暗めの画像となったフィールドの輝度ヒストグラムの例であり、図６（ｂ）は比較的明るめの画像となったフィールドの輝度ヒストグラムの例である。
ステップＳＴ４：露光補正処理
制御部１０は、輝度ヒストグラムを検査し、黒つぶれ、白とびがなくなるような画像になるように、目標輝度積算値および短時間露光時間を決定する。
黒つぶれの補正は、輝度ヒストグラムの黒部分（Ｂ）の比率を検査することで黒つぶれを検出し、黒部分（Ｂ）が一定の割合になる様に、目標輝度積算値を設定する。
白とびの補正は、輝度ヒストグラムの白部分（Ｗ）の比率を検査することで白とびを検出し、白部分（Ｗ）が一定の割合になる様に短時間露光時間を設定する。
制御部１０は、輝度ヒストグラムを検査し、黒つぶれ、白とびがなくなるような画像になるように、目標輝度積算値および短時間露光時間を決定する。
黒つぶれの補正は、輝度ヒストグラムの黒部分（Ｂ）の比率を検査することで黒つぶれを検出し、黒部分（Ｂ）が一定の割合になる様に、目標輝度積算値を設定する。
白とびの補正は、輝度ヒストグラムの白部分（Ｗ）の比率を検査することで白とびを検出し、白部分（Ｗ）が一定の割合になる様に短時間露光時間を設定する。
ステップＳＴ５：露光制御処理
制御部１０は、上記露光補正処理として決定した目標輝度積算値および短時間露光時間を用いて露光制御を行う。
黒つぶれに対応する長時間露光量については、検波部６から受信した現在の輝度積算値と、上記露光補正処理で設定した新たな目標輝度積算値の差分に基づいて、絞り１ａの開口量、撮像素子部２の長時間露光時間、前処理部３のＰＧＡ（プログラマブルゲインアンプ）のゲインについて、それぞれ必要な制御量を計算する。そして光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に長時間露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。なお、これらの３つの制御を全て行う他、これらの内の１つ又は２つの制御を行うようにしても良い。
白とびに対応する短時間露光量については、上記露光補正処理で設定された短時間露光時間をタイミングジェネレータ７に指示し、撮像素子部２の短時間露光時間を変化させることとで、必要な露光量を得る。
なお、絞り１ａの開口量やＰＧＡゲインは、短時間露光量にも影響を与えるが、合成画像としては長時間露光画像信号側が支配的となるため、絞り１ａやＰＧＡゲインについては長時間露光量の補正に用いるようにしている。但し、短時間露光量の調節に絞り１ａやＰＧＡゲインを利用してもよい。
制御部１０は、上記露光補正処理として決定した目標輝度積算値および短時間露光時間を用いて露光制御を行う。
黒つぶれに対応する長時間露光量については、検波部６から受信した現在の輝度積算値と、上記露光補正処理で設定した新たな目標輝度積算値の差分に基づいて、絞り１ａの開口量、撮像素子部２の長時間露光時間、前処理部３のＰＧＡ（プログラマブルゲインアンプ）のゲインについて、それぞれ必要な制御量を計算する。そして光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に長時間露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。なお、これらの３つの制御を全て行う他、これらの内の１つ又は２つの制御を行うようにしても良い。
白とびに対応する短時間露光量については、上記露光補正処理で設定された短時間露光時間をタイミングジェネレータ７に指示し、撮像素子部２の短時間露光時間を変化させることとで、必要な露光量を得る。
なお、絞り１ａの開口量やＰＧＡゲインは、短時間露光量にも影響を与えるが、合成画像としては長時間露光画像信号側が支配的となるため、絞り１ａやＰＧＡゲインについては長時間露光量の補正に用いるようにしている。但し、短時間露光量の調節に絞り１ａやＰＧＡゲインを利用してもよい。
［４．露光補正処理］
上記図４のステップＳＴ４の露光補正処理を、図７，図８，図９に詳細に示す。
ステップＳＴ４の露光補正処理としては、１フィールド期間に図７の処理が行われる。即ち制御部１０はステップＦ１０において輝度ヒストグラムを検査し、黒つぶれを検出する。そしてステップＦ２０で目標輝度積算値Ｙｔを決定する。このステップＦ１０，Ｆ２０が黒つぶれ補正の処理となる。
また制御部１０は、ステップＦ５０で輝度ヒストグラムを検査し、白とびを検出する。そしてステップＦ６０で目標短時間露光時間Ｔｔを決定する。このステップＦ５０，Ｆ６０が白とび補正の処理となる。
上記図４のステップＳＴ４の露光補正処理を、図７，図８，図９に詳細に示す。
ステップＳＴ４の露光補正処理としては、１フィールド期間に図７の処理が行われる。即ち制御部１０はステップＦ１０において輝度ヒストグラムを検査し、黒つぶれを検出する。そしてステップＦ２０で目標輝度積算値Ｙｔを決定する。このステップＦ１０，Ｆ２０が黒つぶれ補正の処理となる。
また制御部１０は、ステップＦ５０で輝度ヒストグラムを検査し、白とびを検出する。そしてステップＦ６０で目標短時間露光時間Ｔｔを決定する。このステップＦ５０，Ｆ６０が白とび補正の処理となる。
ステップＦ１０，Ｆ２０としての黒つぶれ補正の処理を図８に示す。
ステップＦ１０の、輝度ヒストグラムから黒つぶれを検出する処理としてステップＦ１０１，Ｆ１０２が行われ、ステップＦ２０の目標輝度積算値Ｙｔを決定する処理としてステップＦ２０１，Ｆ２０２，Ｆ２０３が行われる。
即ち制御部１０は、まずステップＦ１０１で輝度ヒストグラムの黒部分（Ｂ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において黒つぶれが発生していると判断し、ステップＦ２０１に進んで、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔに固定値Ｃｙを加算した値に更新する。つまり、露光量を多くする方向に更新する。
また、輝度ヒストグラムの黒部分（Ｂ）の比率が１０％未満であった場合は、ステップＦ１０２で、黒部分（Ｂ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＦ２０２に進んで、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔから固定値Ｃｙを減算した値に更新する。つまり露光量を少なくする方向に更新する。
ステップＦ１０２で５％以下ではない、つまり黒部分（Ｂ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＦ２０３に進み、目標輝度積算値Ｙｔを現状のまま維持する。
ステップＦ１０の、輝度ヒストグラムから黒つぶれを検出する処理としてステップＦ１０１，Ｆ１０２が行われ、ステップＦ２０の目標輝度積算値Ｙｔを決定する処理としてステップＦ２０１，Ｆ２０２，Ｆ２０３が行われる。
即ち制御部１０は、まずステップＦ１０１で輝度ヒストグラムの黒部分（Ｂ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において黒つぶれが発生していると判断し、ステップＦ２０１に進んで、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔに固定値Ｃｙを加算した値に更新する。つまり、露光量を多くする方向に更新する。
また、輝度ヒストグラムの黒部分（Ｂ）の比率が１０％未満であった場合は、ステップＦ１０２で、黒部分（Ｂ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＦ２０２に進んで、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔから固定値Ｃｙを減算した値に更新する。つまり露光量を少なくする方向に更新する。
ステップＦ１０２で５％以下ではない、つまり黒部分（Ｂ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＦ２０３に進み、目標輝度積算値Ｙｔを現状のまま維持する。
図７のステップＦ５０，Ｆ６０としての白とび補正の処理は図９のようになる。
ステップＦ５０の、輝度ヒストグラムから白とびを検出する処理としてステップＦ５０１，Ｆ５０２が行われ、ステップＦ６０の短時間露光時間Ｔｔを決定する処理としてステップＦ６０１，Ｆ６０２，Ｆ６０３が行われる。
即ち制御部１０は、まずステップＦ５０１で輝度ヒストグラムの白部分（Ｗ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において白とびが発生していると判断し、ステップＦ６０１に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔから固定値Ｃｔを減算した値に更新する。つまり、露光量を少なくする方向に更新する。
また、輝度ヒストグラムの白部分（Ｗ）の比率が１０％未満であった場合は、ステップＦ５０２で、白部分（Ｗ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＦ６０２に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔに固定値Ｃｔを加算した値に更新する。つまり露光量を多くする方向に更新する。
ステップＦ６０２で５％以下ではない、つまり白部分（Ｗ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＦ６０３に進み、短時間露光時間Ｔｔを現状のまま維持する。
ステップＦ５０の、輝度ヒストグラムから白とびを検出する処理としてステップＦ５０１，Ｆ５０２が行われ、ステップＦ６０の短時間露光時間Ｔｔを決定する処理としてステップＦ６０１，Ｆ６０２，Ｆ６０３が行われる。
即ち制御部１０は、まずステップＦ５０１で輝度ヒストグラムの白部分（Ｗ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において白とびが発生していると判断し、ステップＦ６０１に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔから固定値Ｃｔを減算した値に更新する。つまり、露光量を少なくする方向に更新する。
また、輝度ヒストグラムの白部分（Ｗ）の比率が１０％未満であった場合は、ステップＦ５０２で、白部分（Ｗ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＦ６０２に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔに固定値Ｃｔを加算した値に更新する。つまり露光量を多くする方向に更新する。
ステップＦ６０２で５％以下ではない、つまり白部分（Ｗ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＦ６０３に進み、短時間露光時間Ｔｔを現状のまま維持する。
以上の処理で、目標輝度積算値Ｙｔと短時間露光時間Ｔｔが決定される。そして図４のステップＳＴ５で、上述のように目標輝度積算値Ｙｔと短時間露光時間Ｔｔが用いられて露光制御が行われることになる。
このような露光補正処理（ＳＴ４）、露光制御処理（ＳＴ５）を含む図４の処理がフィールド期間毎に繰り返されることで、合成画像信号において黒つぶれや白とびが発生しない露光状態に収束されていく。
なお、図８，図９に示したように、現在の目標輝度積算値と固定値との演算により新たな目標輝度積算値を設定し、また現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することで、露光量が緩やかにを変化されながら合成画像信号の輝度が調節されることになる。
このような露光補正処理（ＳＴ４）、露光制御処理（ＳＴ５）を含む図４の処理がフィールド期間毎に繰り返されることで、合成画像信号において黒つぶれや白とびが発生しない露光状態に収束されていく。
なお、図８，図９に示したように、現在の目標輝度積算値と固定値との演算により新たな目標輝度積算値を設定し、また現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することで、露光量が緩やかにを変化されながら合成画像信号の輝度が調節されることになる。
［５．露光補正処理の他の例］
ところで上記図７は、各フィールド期間に、黒つぶれと白とびの双方に対応した露光補正制御を行うものとした場合の露光補正処理であるが、各フィールド期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うようにしてもよい。つまり１フィールドの期間に黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御を同時には行わないようにしてもよい。この例を図１０，図１１に示す。
ところで上記図７は、各フィールド期間に、黒つぶれと白とびの双方に対応した露光補正制御を行うものとした場合の露光補正処理であるが、各フィールド期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うようにしてもよい。つまり１フィールドの期間に黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御を同時には行わないようにしてもよい。この例を図１０，図１１に示す。
図１０は、制御部１０が、各フィールド期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を行うようにする場合としての、露光補正処理（図４のステップＳＴ４の処理）を示している。
図４のステップＳＴ４として露光補正処理が開始されると、制御部１０は図１０のステップＦ００として、現在の目標輝度積算値を保存する。即ち、前回のフィールド期間に設定した目標輝度積算値Ｙｔを、前回の目標輝度積算値Ｙｏとして保存する。
そしてステップＦ１０、Ｆ２０で、例えば上記図８の黒つぶれ補正処理を行い、目標輝度積算値Ｙｔを決定する。
図４のステップＳＴ４として露光補正処理が開始されると、制御部１０は図１０のステップＦ００として、現在の目標輝度積算値を保存する。即ち、前回のフィールド期間に設定した目標輝度積算値Ｙｔを、前回の目標輝度積算値Ｙｏとして保存する。
そしてステップＦ１０、Ｆ２０で、例えば上記図８の黒つぶれ補正処理を行い、目標輝度積算値Ｙｔを決定する。
ここでステップＦ３０として、今回決定した目標輝度積算値Ｙｔが、前回の目標輝度積算値Ｙｏと等しいか否かを判別する。例えばステップＦ２０において、図８のステップＦ２０３に進んだ場合、今回決定した目標輝度積算値Ｙｔは前回の目標輝度積算値Ｙｏと等しくなる。一方、ステップＦ２０において、図８のステップＦ２０１又はＦ２０２に進んだ場合、今回決定した目標輝度積算値Ｙｔは、前回の目標輝度積算値Ｙｏとは異なる値となる。
今回の目標輝度積算値Ｙｔが前回の目標輝度積算値Ｙｏとは異なる値となった場合は、ステップＦ３０から露光補正処理を終了する。即ち白とび補正としての処理を行わずに図４のステップＳＴ５の露光制御処理に進むことになる。
この場合制御部１０は、ステップＳＴ５の露光制御処理では、目標輝度積算値Ｙｔと、現在の輝度積算値を用いた、長時間露光量の制御を行い、短時間露光量の制御は行わないようにする。
今回の目標輝度積算値Ｙｔが前回の目標輝度積算値Ｙｏとは異なる値となった場合は、ステップＦ３０から露光補正処理を終了する。即ち白とび補正としての処理を行わずに図４のステップＳＴ５の露光制御処理に進むことになる。
この場合制御部１０は、ステップＳＴ５の露光制御処理では、目標輝度積算値Ｙｔと、現在の輝度積算値を用いた、長時間露光量の制御を行い、短時間露光量の制御は行わないようにする。
また図１０のステップＦ３０で目標輝度積算値Ｙｔが前回の目標輝度積算値Ｙｏと等しいと判別した場合は、制御部１０はステップＦ５０、Ｆ６０として、例えば上記図９の白とび補正処理を行い、短時間露光時間Ｔｔを決定する。
そして図４のステップＳＴ５の露光制御処理に進むことになる。この場合制御部１０は、ステップＳＴ５の露光制御処理では、短時間露光時間Ｔｔを用いた短時間露光量の制御を行い、長時間露光量の制御は行わないようにする。
そして図４のステップＳＴ５の露光制御処理に進むことになる。この場合制御部１０は、ステップＳＴ５の露光制御処理では、短時間露光時間Ｔｔを用いた短時間露光量の制御を行い、長時間露光量の制御は行わないようにする。
このように図４のステップＳＴ４で、図１０の処理が行われるようにすると、まず各フィールド期間毎に長時間露光量の補正が行われていき、長時間露光量が適切な状態となったときに、短時間露光量の補正が行われることになる。また、長時間露光量が不適切な状態になってしまうと、長時間露光量が適正な露光量に収束するまで長時間露光量の補正が行われる。
そしてこの場合、黒つぶれ補正と白とび補正を同時（同一フィールド期間内）に行わないことで、出力映像の輝度変化はより緩やかになる。
そしてこの場合、黒つぶれ補正と白とび補正を同時（同一フィールド期間内）に行わないことで、出力映像の輝度変化はより緩やかになる。
また、この図１０の処理を発展させ、黒とび補正を行った回数をカウンタにより加算することで、Ｎ回に一度は白とび補正を行うようにし、出力映像の収束を早める手法を図１１に示す。
図１１において、ステップＦ００、Ｆ１０、Ｆ２０、Ｆ３０、Ｆ５０、Ｆ６０は図１０と同様であるが、ステップＦ４０，Ｆ４１，Ｆ４２の処理が追加されたものとなる。
即ち制御部１０は、ステップＦ３０で今回の目標輝度積算値Ｙｔが前回の目標輝度積算値Ｙｏとは異なる値であると判別した場合は、ステップＦ４０で内部カウンタをカウントアップする。そしてステップＦ４１で、カウント値が所定値Ｎを越えているか否かを判別し、越えていなければ露光補正処理を終了する。
一方、ステップＦ４１で、カウント値が所定値Ｎを越えていると判断した場合は、ステップＦ４２でカウンタをゼロにリセットした上で、ステップＦ５０，Ｆ６０の白とび補正を行う。
この処理によれば、長時間露光量が安定していなくとも、Ｎフィールドの期間続けて長時間露光量の補正が行われた後は、短時間露光量の補正制御が行われることになる。つまり黒つぶれ補正がなかなか収束しないような場合が生じても、白とび補正が少なくともＮフィールドを経過したタイミングで行われるため、白とび補正がなかなか実行されないような事態を回避できる。
図１１において、ステップＦ００、Ｆ１０、Ｆ２０、Ｆ３０、Ｆ５０、Ｆ６０は図１０と同様であるが、ステップＦ４０，Ｆ４１，Ｆ４２の処理が追加されたものとなる。
即ち制御部１０は、ステップＦ３０で今回の目標輝度積算値Ｙｔが前回の目標輝度積算値Ｙｏとは異なる値であると判別した場合は、ステップＦ４０で内部カウンタをカウントアップする。そしてステップＦ４１で、カウント値が所定値Ｎを越えているか否かを判別し、越えていなければ露光補正処理を終了する。
一方、ステップＦ４１で、カウント値が所定値Ｎを越えていると判断した場合は、ステップＦ４２でカウンタをゼロにリセットした上で、ステップＦ５０，Ｆ６０の白とび補正を行う。
この処理によれば、長時間露光量が安定していなくとも、Ｎフィールドの期間続けて長時間露光量の補正が行われた後は、短時間露光量の補正制御が行われることになる。つまり黒つぶれ補正がなかなか収束しないような場合が生じても、白とび補正が少なくともＮフィールドを経過したタイミングで行われるため、白とび補正がなかなか実行されないような事態を回避できる。
［６．黒つぶれ補正の他の例］
図４のステップＳＴ４の露光補正処理において実行される黒つぶれ補正（図７又は図１０又は図１１のステップＦ１０、Ｆ２０）の処理例として図８の処理を述べたが、この黒つぶれ補正の他の例を図１２，図１３で説明する。
図４のステップＳＴ４の露光補正処理において実行される黒つぶれ補正（図７又は図１０又は図１１のステップＦ１０、Ｆ２０）の処理例として図８の処理を述べたが、この黒つぶれ補正の他の例を図１２，図１３で説明する。
図１２の黒つぶれ補正は、輝度ヒストグラムにおける中間レベル部分も目標輝度積算値Ｙｔの設定に用いる例である。
図１２のステップＦ１００では、制御部１０は、輝度ヒストグラムのＭ１部が４０％以下であるか否かを判別する。
Ｍ１部とは、図６の輝度ヒストグラムにおける、ｍｂ１部、ｍｂ２部、ｍｂ３部（つまり中間輝度の低輝度側）のことであり、ｍｂ１部、ｍｂ２部、ｍｂ３部の合算値が４０％を越えているか否かを判別する。
このＭ１部となる中間部分の輝度が十分に取れている場合は、黒つぶれを解消することにより、新たな白とびを発生させる可能性があるため、補正を行わないようにする。
即ち、Ｍ１部が４０％を越えている場合は、ステップＦ２０３に進み、目標輝度積算値Ｙｔは現状の値を維持する。
Ｍ１部が４０％以下であったら、ステップＦ１０１に進む。ステップＦ１０１，Ｆ１０２、Ｆ２０１，Ｆ２０２，Ｆ２０３の処理は図８と同様である。
このような処理によれば、黒つぶれ補正によって白とびが発生してしまうような事態を避けることができる。
図１２のステップＦ１００では、制御部１０は、輝度ヒストグラムのＭ１部が４０％以下であるか否かを判別する。
Ｍ１部とは、図６の輝度ヒストグラムにおける、ｍｂ１部、ｍｂ２部、ｍｂ３部（つまり中間輝度の低輝度側）のことであり、ｍｂ１部、ｍｂ２部、ｍｂ３部の合算値が４０％を越えているか否かを判別する。
このＭ１部となる中間部分の輝度が十分に取れている場合は、黒つぶれを解消することにより、新たな白とびを発生させる可能性があるため、補正を行わないようにする。
即ち、Ｍ１部が４０％を越えている場合は、ステップＦ２０３に進み、目標輝度積算値Ｙｔは現状の値を維持する。
Ｍ１部が４０％以下であったら、ステップＦ１０１に進む。ステップＦ１０１，Ｆ１０２、Ｆ２０１，Ｆ２０２，Ｆ２０３の処理は図８と同様である。
このような処理によれば、黒つぶれ補正によって白とびが発生してしまうような事態を避けることができる。
図１３にさらに他の黒つぶれ補正の処理例を示す。
この図１３の処理では、制御部１０はまずステップＦ１１０で輝度ヒストグラムにおける黒部分（Ｂ）の割合Ｘ％を取得する。
そしてステップＦ１１１で、黒部分（Ｂ）の割合を７％にするために必要な輝度積算差分値ΔＳを算出する。輝度積算差分値ΔＳは、輝度ヒストグラムの黒部分（Ｂ）の割合を７％にするために必要な目標輝度積算値Ｙｔの補正量としての値であり、これは現在の黒部分（Ｂ）の割合Ｘ％から関数Ｆにより求められることとする。また７％は適正な黒部分（Ｂ）の割合としての設定値の一例である。
そしてステップＦ１１２で、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔに輝度積算差分値ΔＳを加算した値に更新する。
この図１３の処理では、制御部１０はまずステップＦ１１０で輝度ヒストグラムにおける黒部分（Ｂ）の割合Ｘ％を取得する。
そしてステップＦ１１１で、黒部分（Ｂ）の割合を７％にするために必要な輝度積算差分値ΔＳを算出する。輝度積算差分値ΔＳは、輝度ヒストグラムの黒部分（Ｂ）の割合を７％にするために必要な目標輝度積算値Ｙｔの補正量としての値であり、これは現在の黒部分（Ｂ）の割合Ｘ％から関数Ｆにより求められることとする。また７％は適正な黒部分（Ｂ）の割合としての設定値の一例である。
そしてステップＦ１１２で、目標輝度積算値Ｙｔを、現在の目標輝度積算値Ｙｔに輝度積算差分値ΔＳを加算した値に更新する。
このように、目標輝度積算値Ｙｔを収束させるための差分値として輝度積算差分値ΔＳを算出し、現在の目標輝度積算値と輝度積算差分値ΔＳとの演算により新たな目標輝度積算値Ｙｔを設定することで、１回の処理で収束すべき目標輝度積算値Ｙｔを求めるものとなり、黒つぶれ補正の収束を早めることができる。
［７．白とび補正の他の例］
図４のステップＳＴ４の露光補正処理において実行される白とび補正（図７又は図１０又は図１１のステップＦ５０、Ｆ６０）の処理例として図９の処理を述べたが、この白とび補正の他の例を図１４，図１５で説明する。
図４のステップＳＴ４の露光補正処理において実行される白とび補正（図７又は図１０又は図１１のステップＦ５０、Ｆ６０）の処理例として図９の処理を述べたが、この白とび補正の他の例を図１４，図１５で説明する。
図１４の白とび補正は、輝度ヒストグラムにおける中間レベル部分も短時間露光時間Ｔｔの設定に用いる例である。
図１４のステップＦ５００では、制御部１０は、輝度ヒストグラムのＭ２部が４０％以下であるか否かを判別する。
Ｍ２部とは、図６の輝度ヒストグラムにおける、ｍｗ１部、ｍｗ２部、ｍｗ３部（つまり中間輝度の高輝度側）のことであり、ｍｗ１部、ｍｗ２部、ｍｗ３部の合算値が４０％を越えているか否かを判別する。
このＭ２部となる中間部分の輝度が十分に取れている場合は、白とびを解消することにより、新たな黒つぶれを発生させる可能性があるため、補正を行わないようにする。
即ち、Ｍ２部が４０％を越えている場合は、ステップＦ６０３に進み、短時間露光時間Ｔｔは現状の値を維持する。
Ｍ２部が４０％以下であったら、ステップＦ５０１に進む。ステップＦ５０１，Ｆ５０２、Ｆ６０１，Ｆ６０２，Ｆ６０３の処理は図９と同様である。
このような処理によれば、白とび補正によって黒つぶれが発生してしまうような事態を避けることができる。
図１４のステップＦ５００では、制御部１０は、輝度ヒストグラムのＭ２部が４０％以下であるか否かを判別する。
Ｍ２部とは、図６の輝度ヒストグラムにおける、ｍｗ１部、ｍｗ２部、ｍｗ３部（つまり中間輝度の高輝度側）のことであり、ｍｗ１部、ｍｗ２部、ｍｗ３部の合算値が４０％を越えているか否かを判別する。
このＭ２部となる中間部分の輝度が十分に取れている場合は、白とびを解消することにより、新たな黒つぶれを発生させる可能性があるため、補正を行わないようにする。
即ち、Ｍ２部が４０％を越えている場合は、ステップＦ６０３に進み、短時間露光時間Ｔｔは現状の値を維持する。
Ｍ２部が４０％以下であったら、ステップＦ５０１に進む。ステップＦ５０１，Ｆ５０２、Ｆ６０１，Ｆ６０２，Ｆ６０３の処理は図９と同様である。
このような処理によれば、白とび補正によって黒つぶれが発生してしまうような事態を避けることができる。
図１５にさらに他の白とび補正の処理例を示す。
この図１５の処理では、制御部１０はまずステップＦ５１０で輝度ヒストグラムにおける白部分（Ｗ）の割合Ｘ％を取得する。
そしてステップＦ５１１で、白部分（Ｗ）の割合を７％にするために必要な短時間露光時間差分値ΔＴを算出する。短時間露光時間差分値ΔＴは、輝度ヒストグラムの白部分（Ｗ）の割合を７％にするために必要な短時間露光時間Ｔｔの補正量としての値であり、これは現在の白部分（Ｗ）の割合Ｘ％から関数Ｆにより求められることとする。また７％は適正な白部分（Ｗ）の割合としての設定値の一例である。
そしてステップＦ５１２で、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔに短時間露光時間差分値ΔＴを加算した値に更新する。
この図１５の処理では、制御部１０はまずステップＦ５１０で輝度ヒストグラムにおける白部分（Ｗ）の割合Ｘ％を取得する。
そしてステップＦ５１１で、白部分（Ｗ）の割合を７％にするために必要な短時間露光時間差分値ΔＴを算出する。短時間露光時間差分値ΔＴは、輝度ヒストグラムの白部分（Ｗ）の割合を７％にするために必要な短時間露光時間Ｔｔの補正量としての値であり、これは現在の白部分（Ｗ）の割合Ｘ％から関数Ｆにより求められることとする。また７％は適正な白部分（Ｗ）の割合としての設定値の一例である。
そしてステップＦ５１２で、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔに短時間露光時間差分値ΔＴを加算した値に更新する。
このように、短時間露光時間Ｔｔを収束させるための差分値として短時間露光時間差分値ΔＴを算出し、現在の短時間露光時間Ｔｔと短時間露光時間差分値ΔＴとの演算により新たな短時間露光時間Ｔｔを設定することで、１回の処理で収束すべき短時間露光時間Ｔｔを求めるものとなり、白とび補正の収束を早めることができる。
［８．実施の形態の効果、及びプログラム］
以上の実施の形態によれば、合成後の画像の輝度積算値と輝度ヒストグラムから白とびや、黒つぶれがないかを判断し、それらを解消するように自動露光制御することで、合成後の画質を向上させることが可能となる。
これはモニタディスプレイに出力される映像の画質を向上させていることに等しく、モニタディスプレイを見る利用者の観点での画質向上が可能となるものである。
ワイドダイナミックレンジカメラにおいては、ダイナミックレンジといった数値的な観点も重要であるが、利用者は最終映像の仕上がりを重視する面もあり、最終段階での画像を最適化できることの効果は大きい。
以上の実施の形態によれば、合成後の画像の輝度積算値と輝度ヒストグラムから白とびや、黒つぶれがないかを判断し、それらを解消するように自動露光制御することで、合成後の画質を向上させることが可能となる。
これはモニタディスプレイに出力される映像の画質を向上させていることに等しく、モニタディスプレイを見る利用者の観点での画質向上が可能となるものである。
ワイドダイナミックレンジカメラにおいては、ダイナミックレンジといった数値的な観点も重要であるが、利用者は最終映像の仕上がりを重視する面もあり、最終段階での画像を最適化できることの効果は大きい。
また本例の露光補正制御の手法によれば、ワイドダイナミックレンジカメラ装置における合成画像を生成する信号処理部４の合成処理方式に関する依存率が極めて低くいため、種々のタイプの信号処理部に対応できる。
また合成のタイミング（１フィールドもしくは２フィールドで二つの異なる露光量の画像を得るのか）にも影響を受けないため、装置全体に対する依存率が下がり、より多くのワイドダイナミックレンジカメラシステムに適応できる。
また、検波部６は合成画像信号を扱うため、１系統の検波部だけがあればよく、長時間露光画像信号と短時間露光画像信号のそれぞれに対して検波部を設ける必要もないため装置全体を簡素化できる利点がある。
また合成のタイミング（１フィールドもしくは２フィールドで二つの異なる露光量の画像を得るのか）にも影響を受けないため、装置全体に対する依存率が下がり、より多くのワイドダイナミックレンジカメラシステムに適応できる。
また、検波部６は合成画像信号を扱うため、１系統の検波部だけがあればよく、長時間露光画像信号と短時間露光画像信号のそれぞれに対して検波部を設ける必要もないため装置全体を簡素化できる利点がある。
なお、本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。静止画撮像の場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光補正制御を行えばよい。
また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。
もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。
また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。
もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。
実施の形態のプログラムは、上述した制御部１０の処理のプログラムである。即ち図７〜図１５のような各種処理をマイクロコンピュータ（演算処理装置）である制御部１０に実行させるプログラムである。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
１ 撮像光学系、１ａ 絞り、２ 撮像素子部、３ 前処理部、４ 信号処理部、５ 出力部、６ 検波部、７ タイミングジェネレータ、８ 光学部品駆動部、１０ 制御部
Claims (12)
- 被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、
上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、
上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成する検波部と、
上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う制御部と、
を備え、
上記制御部は、
上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記撮像部の上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記撮像部の上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を行う
撮像装置。 - 上記制御部は、黒つぶれに対応した露光補正制御の回数をカウントし、黒つぶれに対応した露光補正制御を所定回数実行した後は、白とびに対応した露光補正制御を行うことを特徴とする請求項１に記載の撮像装置。
- 上記制御部は、上記長時間露光画像信号に関する露光補正制御として、絞り補正、又は長時間露光時間補正、又は長時間露光画像信号に対するゲイン補正を行うことを特徴とする請求項１に記載の撮像装置。
- 上記制御部は、現在の目標輝度積算値と固定値との演算により新たな目標輝度積算値を設定することを特徴とする請求項１に記載の撮像装置。
- 上記制御部は、目標輝度積算値の収束目標との差分値を算出し、現在の目標輝度積算値と上記差分値との演算により新たな目標輝度積算値を設定することを特徴とする請求項１に記載の撮像装置。
- 上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、
上記制御部は、上記目標輝度積算値の設定に、上記中間レベルの情報を用いることを特徴とする請求項１に記載の撮像装置。 - 上記制御部は、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することを特徴とする請求項１に記載の撮像装置。
- 上記制御部は、短時間露光時間の収束目標との差分値を算出し、現在の短時間露光時間と上記差分値との演算により新たな短時間露光時間を設定することを特徴とする請求項１に記載の撮像装置。
- 上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、
上記制御部は、上記短時間露光時間の設定に、上記中間レベルの情報を用いることを特徴とする請求項１に記載の撮像装置。 - 被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力するステップと、
上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成するステップと、
上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成するステップと、
上記輝度積算値と上記輝度ヒストグラムを用いて露光補正制御を行う露光補正制御ステップと、
を実行し、
上記露光補正制御ステップは、
上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を行う
撮像方法。 - 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置の露光補正方法として、
上記合成画像信号についての輝度積算値と輝度ヒストグラムを取得するステップと、
上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出するステップと、
黒つぶれの検出結果に基づいて目標輝度積算値を設定するステップと、
上記輝度ヒストグラムから上記合成画像信号における白とびを検出するステップと、
白とびの検出結果に基づいて短時間露光時間を設定するステップと、
上記目標輝度積算値及び上記短時間露光時間を用いて露光補正制御を行う露光補正制御ステップと、
を実行し、
上記露光補正制御ステップは、
上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御を行う
露光制御方法。 - 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置の露光補正のためのプログラムとして、
上記合成画像信号についての輝度積算値と輝度ヒストグラムを取得するステップと、
上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出するステップと、
黒つぶれの検出結果に基づいて目標輝度積算値を設定するステップと、
上記輝度ヒストグラムから上記合成画像信号における白とびを検出するステップと、
白とびの検出結果に基づいて短時間露光時間を設定するステップと、
上記目標輝度積算値及び上記短時間露光時間を用いて露光補正制御を行う露光補正制御ステップと、
を演算処理装置に実行させ、
上記露光補正制御ステップは、
上記輝度ヒストグラムから上記合成画像信号における黒つぶれを検出し、検出結果に基づいて目標輝度積算値を設定し、該目標輝度積算値を用いて、上記長時間露光画像信号に関する露光補正制御と、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記短時間露光画像信号に関する露光補正制御を行い、画像信号の各単位期間に、黒つぶれに対応した露光補正制御と白とびに対応した露光補正制御の一方を行うとともに、画像信号の各単位期間に、黒つぶれに対応した露光補正動作が安定しているか否かを判別し、安定していなければ黒つぶれに対応した露光補正制御を行い、安定していれば白とびに対応した露光補正制御 を演算処理装置に実行させるるプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007065230A JP4306750B2 (ja) | 2007-03-14 | 2007-03-14 | 撮像装置、撮像方法、露光制御方法、プログラム |
| US12/015,815 US8885093B2 (en) | 2007-03-14 | 2008-01-17 | Image pickup apparatus, image pickup method, exposure control method, and program |
| TW097102233A TWI384869B (zh) | 2007-03-14 | 2008-01-21 | 影像拾取裝置、影像拾取方法、曝光控制方法以及程式 |
| CN2008100832430A CN101267504B (zh) | 2007-03-14 | 2008-03-04 | 图像拾取装置、图像拾取方法、曝光控制方法 |
| EP08152650.1A EP1971137B1 (en) | 2007-03-14 | 2008-03-12 | Image pickup apparatus, image pickup method, exposure control method, and program |
| KR1020080023387A KR101455396B1 (ko) | 2007-03-14 | 2008-03-13 | 촬상 장치, 촬상 방법, 노광 제어 방법 및 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007065230A JP4306750B2 (ja) | 2007-03-14 | 2007-03-14 | 撮像装置、撮像方法、露光制御方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008228058A JP2008228058A (ja) | 2008-09-25 |
| JP4306750B2 true JP4306750B2 (ja) | 2009-08-05 |
Family
ID=39529745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007065230A Expired - Fee Related JP4306750B2 (ja) | 2007-03-14 | 2007-03-14 | 撮像装置、撮像方法、露光制御方法、プログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8885093B2 (ja) |
| EP (1) | EP1971137B1 (ja) |
| JP (1) | JP4306750B2 (ja) |
| KR (1) | KR101455396B1 (ja) |
| CN (1) | CN101267504B (ja) |
| TW (1) | TWI384869B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8576331B2 (en) | 2011-05-24 | 2013-11-05 | Canon Kabushiki Kaisha | Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4341691B2 (ja) * | 2007-04-24 | 2009-10-07 | ソニー株式会社 | 撮像装置、撮像方法、露光制御方法、プログラム |
| US8446503B1 (en) * | 2007-05-22 | 2013-05-21 | Rockwell Collins, Inc. | Imaging system |
| JP4424402B2 (ja) * | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像制御方法、撮像制御プログラム |
| CN101651785B (zh) * | 2008-08-15 | 2012-11-21 | 鸿富锦精密工业（深圳）有限公司 | 成像装置及其成像方法 |
| JP4561912B2 (ja) * | 2008-09-12 | 2010-10-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
| JP4770907B2 (ja) * | 2008-10-21 | 2011-09-14 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
| JP2010219624A (ja) * | 2009-03-13 | 2010-09-30 | Toshiba Corp | 画像信号処理装置及び画像信号処理方法 |
| WO2010118177A1 (en) * | 2009-04-08 | 2010-10-14 | Zoran Corporation | Exposure control for high dynamic range image capture |
| US8570396B2 (en) * | 2009-04-23 | 2013-10-29 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
| US8525900B2 (en) | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
| WO2010123923A1 (en) | 2009-04-23 | 2010-10-28 | Zoran Corporation | Multiple exposure high dynamic range image capture |
| KR101633460B1 (ko) * | 2009-10-21 | 2016-06-24 | 삼성전자주식회사 | 다중 노출 제어 장치 및 그 방법 |
| JP2011097141A (ja) * | 2009-10-27 | 2011-05-12 | Renesas Electronics Corp | 撮像装置、撮像装置の制御方法、及びプログラム |
| JP5487884B2 (ja) * | 2009-11-05 | 2014-05-14 | セイコーエプソン株式会社 | 画像処理装置及び画像処理方法 |
| FR2954034B1 (fr) * | 2009-12-16 | 2012-07-20 | St Microelectronics Grenoble 2 | Commande d'un capteur dynamique d'image |
| CN101867721B (zh) * | 2010-04-15 | 2012-07-04 | 青岛海信网络科技股份有限公司 | 宽动态图像的实现方法、实现装置及成像设备 |
| JP5587084B2 (ja) * | 2010-07-27 | 2014-09-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5856733B2 (ja) * | 2010-11-02 | 2016-02-10 | オリンパス株式会社 | 撮像装置 |
| JP5713643B2 (ja) * | 2010-11-18 | 2015-05-07 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 |
| WO2012073448A1 (ja) * | 2010-11-29 | 2012-06-07 | コニカミノルタオプト株式会社 | 固体撮像装置 |
| US8947555B2 (en) | 2011-04-18 | 2015-02-03 | Qualcomm Incorporated | White balance optimization with high dynamic range images |
| JP2012237680A (ja) * | 2011-05-12 | 2012-12-06 | Ihi Corp | 塗布状態検査装置及び方法並びにプログラム |
| JP5257487B2 (ja) * | 2011-05-30 | 2013-08-07 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
| EP2552099B1 (en) | 2011-07-27 | 2013-08-28 | Axis AB | Method and camera for providing an estimation of a mean signal to noise ratio value for an image |
| CN102523386B (zh) * | 2011-12-16 | 2014-01-29 | 中国科学院西安光学精密机械研究所 | 基于直方图均衡化的自动曝光方法 |
| JP2013223043A (ja) * | 2012-04-13 | 2013-10-28 | Toshiba Corp | 受光装置および伝送システム |
| JP2014086889A (ja) | 2012-10-24 | 2014-05-12 | Toshiba Corp | 固体撮像装置 |
| CN103973988B (zh) | 2013-01-24 | 2018-02-02 | 华为终端（东莞）有限公司 | 场景识别方法及装置 |
| US9019401B2 (en) * | 2013-02-26 | 2015-04-28 | GM Global Technology Operations LLC | System and method for creating an image with a wide dynamic range |
| TWI501639B (zh) | 2013-07-29 | 2015-09-21 | Quanta Comp Inc | 拍攝高動態範圍影片之方法 |
| JP6192416B2 (ja) * | 2013-08-05 | 2017-09-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
| CN104296877B (zh) * | 2013-11-27 | 2017-07-21 | 中国航空工业集团公司洛阳电光设备研究所 | 一种红外探测器的信号处理电路 |
| EP2913993B1 (en) * | 2014-02-26 | 2016-02-17 | Axis AB | Method and control unit for controlling exposure of a camera |
| JP6403461B2 (ja) * | 2014-07-01 | 2018-10-10 | キヤノン株式会社 | 撮像装置及びその駆動方法 |
| KR101592790B1 (ko) * | 2014-11-26 | 2016-02-18 | 현대자동차주식회사 | 카메라 노출 제어 시스템 및 그 방법 |
| WO2016104386A1 (ja) * | 2014-12-26 | 2016-06-30 | オリンパス株式会社 | 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム |
| GB2549642B (en) * | 2015-01-16 | 2021-02-03 | Mitsubishi Electric Corp | Image processing device and method, program, and record medium |
| JP6463190B2 (ja) * | 2015-03-27 | 2019-01-30 | キヤノン株式会社 | 撮像装置及びその制御方法並びにプログラム |
| JPWO2017022324A1 (ja) * | 2015-08-05 | 2017-08-03 | オリンパス株式会社 | 内視鏡システムの信号処理方法および内視鏡システム |
| WO2018048838A1 (en) | 2016-09-06 | 2018-03-15 | Apple Inc. | Still image stabilization/optical image stabilization synchronization in multi-camera image capture |
| JP6740866B2 (ja) * | 2016-11-07 | 2020-08-19 | 株式会社デンソー | 画像出力装置 |
| CN106791470B (zh) * | 2016-12-28 | 2019-08-16 | 上海兴芯微电子科技有限公司 | 基于高动态范围摄像装置的曝光控制方法和装置 |
| CN107395978A (zh) * | 2017-08-14 | 2017-11-24 | 维沃移动通信有限公司 | 一种摄像头模组的控制方法及移动终端 |
| JP6833751B2 (ja) | 2018-03-20 | 2021-02-24 | 株式会社東芝 | 撮像制御装置、撮像装置、及び撮像制御方法 |
| JP7150452B2 (ja) * | 2018-03-29 | 2022-10-11 | キヤノン株式会社 | 撮像装置とその制御方法およびプログラム、記録媒体 |
| JP6757392B2 (ja) * | 2018-11-21 | 2020-09-16 | 株式会社モルフォ | 画像生成装置、画像生成方法及び画像生成プログラム |
| JP7204480B2 (ja) * | 2018-12-27 | 2023-01-16 | キヤノン株式会社 | 撮像装置、撮像システム、移動体及び撮像装置の制御方法 |
| CN111654638B (zh) * | 2020-04-30 | 2021-09-07 | 深圳英飞拓智能技术有限公司 | 摄像机宽动态成像曝光调节方法及装置 |
| WO2022158010A1 (ja) | 2021-01-22 | 2022-07-28 | 株式会社ロジック・アンド・デザイン | 画像処理方法 |
| US11595589B2 (en) * | 2021-07-22 | 2023-02-28 | Arthrex, Inc. | Surgical camera system with high dynamic range |
| US11831996B2 (en) * | 2021-12-10 | 2023-11-28 | Microsoft Technology Licensing, Llc | High dynamic range image acquisition using temporal filtering |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3074967B2 (ja) | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
| US5929908A (en) | 1995-02-03 | 1999-07-27 | Canon Kabushiki Kaisha | Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion |
| JP2951910B2 (ja) | 1997-03-18 | 1999-09-20 | 松下電器産業株式会社 | 撮像装置の階調補正装置及び階調補正方法 |
| JP3805094B2 (ja) * | 1998-01-16 | 2006-08-02 | 松下電器産業株式会社 | 固体撮像装置 |
| JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
| EP1249061B1 (en) * | 2000-04-25 | 2004-08-18 | SP Systems Pte Ltd | Dynamic series voltage compensator and method thereof |
| JP2002084449A (ja) | 2000-09-08 | 2002-03-22 | Sanyo Electric Co Ltd | 固体撮像素子を用いた撮像装置 |
| US7298402B2 (en) * | 2000-10-26 | 2007-11-20 | Olympus Corporation | Image-pickup apparatus with expanded dynamic range capabilities |
| JP3948229B2 (ja) * | 2001-08-01 | 2007-07-25 | ソニー株式会社 | 画像撮像装置及び方法 |
| JP3994721B2 (ja) * | 2001-11-21 | 2007-10-24 | ソニー株式会社 | 画像撮像装置及び方法 |
| JP2003174582A (ja) * | 2001-12-06 | 2003-06-20 | Sony Corp | カメラシステム及び自動露光制御方法 |
| JP4099011B2 (ja) * | 2002-07-10 | 2008-06-11 | 富士重工業株式会社 | 監視装置および監視方法 |
| JP3801126B2 (ja) | 2002-09-25 | 2006-07-26 | ソニー株式会社 | 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム |
| JP4043928B2 (ja) * | 2002-12-02 | 2008-02-06 | 富士フイルム株式会社 | デジタルカメラ |
| US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
| JP2007065230A (ja) | 2005-08-31 | 2007-03-15 | Oki Electric Ind Co Ltd | 電流ドライバ回路及びそれを用いた表示装置 |
-
2007
- 2007-03-14 JP JP2007065230A patent/JP4306750B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-17 US US12/015,815 patent/US8885093B2/en not_active Expired - Fee Related
- 2008-01-21 TW TW097102233A patent/TWI384869B/zh not_active IP Right Cessation
- 2008-03-04 CN CN2008100832430A patent/CN101267504B/zh not_active Expired - Fee Related
- 2008-03-12 EP EP08152650.1A patent/EP1971137B1/en not_active Expired - Fee Related
- 2008-03-13 KR KR1020080023387A patent/KR101455396B1/ko not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8576331B2 (en) | 2011-05-24 | 2013-11-05 | Canon Kabushiki Kaisha | Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium |
| US8780262B2 (en) | 2011-05-24 | 2014-07-15 | Canon Kabushiki Kaisha | Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008228058A (ja) | 2008-09-25 |
| KR20080084685A (ko) | 2008-09-19 |
| CN101267504A (zh) | 2008-09-17 |
| US8885093B2 (en) | 2014-11-11 |
| CN101267504B (zh) | 2010-11-03 |
| EP1971137B1 (en) | 2013-12-04 |
| TWI384869B (zh) | 2013-02-01 |
| EP1971137A2 (en) | 2008-09-17 |
| US20080284872A1 (en) | 2008-11-20 |
| KR101455396B1 (ko) | 2014-10-27 |
| EP1971137A3 (en) | 2011-04-27 |
| TW200838299A (en) | 2008-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4306750B2 (ja) | 撮像装置、撮像方法、露光制御方法、プログラム | |
| JP4341691B2 (ja) | 撮像装置、撮像方法、露光制御方法、プログラム | |
| JP4424402B2 (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
| JP4306752B2 (ja) | 撮像装置、測光方法、輝度算出方法、プログラム | |
| US7483064B2 (en) | Imaging apparatus | |
| JP4770907B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| US8179472B2 (en) | Image pickup apparatus, image pickup method, and program therefor | |
| JP4561912B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| TWI408953B (zh) | 攝像裝置及攝像方法 | |
| US9277135B2 (en) | Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium | |
| JP4893569B2 (ja) | 撮像装置、撮像制御方法及び撮像制御プログラム | |
| JP5257487B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| JP6990988B2 (ja) | 撮像装置及び撮像素子の制御方法 | |
| JP2005295475A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |