JP4196588B2 - Imaging apparatus and method, recording medium, and program - Google Patents
Imaging apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP4196588B2 JP4196588B2 JP2002132307A JP2002132307A JP4196588B2 JP 4196588 B2 JP4196588 B2 JP 4196588B2 JP 2002132307 A JP2002132307 A JP 2002132307A JP 2002132307 A JP2002132307 A JP 2002132307A JP 4196588 B2 JP4196588 B2 JP 4196588B2
- Authority
- JP
- Japan
- Prior art keywords
- dynamic range
- shooting mode
- sensitivity
- subject
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、例えば、広ダイナミックレンジの画像信号を取得するダイナミックレンジ優先撮影モードと、高解像度の画像信号を取得する解像度優先撮影モードを適応的に切り替える場合に用いて好適な撮像装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【背景の技術】
従来、CCD(Charge Coupled Device)、CMOS(Complementary Mental-Oxide Semiconductor)などの固体撮像素子を用いたディジタルスチルカメラによって取得する画像信号のダイナミックレンジを広域化する技術がある。
【０００３】
この技術は、例えば、シャッタ速度および絞りを調整することによって露出を変化させて連続的に撮影する方法、感度が異なる複数の撮像素子を用いる方法、感度モザイク画像（後述）を用いる方法などがある。
【０００４】
感度モザイク画像を用いる方法は、例えば、文献「S. K. Nayar and T. Mitsunaga, “High Dynamic Range Imaging: Spatially Varying Pixel Exposures”, Proc. of Computer Vision and Pattern Recognition 2000, Vol. 1, pp. 472-479, June, 2000」（以下、文献１と記述する）には、開示されている。
【０００５】
文献１に開示されている感度モザイク画像を用いる方法の概要について、図１を参照して説明する。撮像部１は、被写体の光学像を集光するレンズ、光の入射量を制限する絞り、および複数の受光素子からなる撮像素子など（いずれも不図示）から構成される。
【０００６】
図２は、撮像素子の一例を示している。１個の矩形が１個の受光素子に相当する。撮像素子を構成する受光素子のうち、例えば図示するように市松模様状に位置する受光素子３ａは、光の透過を制限するＮＤ(Neutral Density)フィルタ等で覆われている。それに対して、受光素子３ｂは、光の透過を制限するＮＤフィルタ等で覆われていない。
【０００７】
これにより、受光素子３ａは、被写体のダイナミックレンジに対して、主に明るい方の帯域に感度を有することとなり、受光素子３ｂは、被写体のダイナミックレンジに対して、主に暗い方の帯域に感度を有することとなる。
【０００８】
したがって、このような撮像素子からなる撮像部１が出力する画像は、隣接する画素の撮影時の感度が異なるものとなる。以下、このような画像を、感度モザイク画像を記述する。
【０００９】
画像処理部２は、撮像部１によって撮影された感度モザイク画像を、全ての画素の撮影時の感度が均一になるように空間的に補間して広ダイナミックレンジ画像を生成する。
【００１０】
上述した感度モザイク画像を撮影する方法によれば、連続的に露出することなく、１回の露出で広ダイナミックレンジ画像を取得することができる。また、複数の撮像素子を必要とせず、１つの撮像素子を用いるので、装置規模の大型化と製造コストの増加を抑えることが可能である。
【００１１】
【発明が解決しようとしている課題】
しかしながら、上述した感度モザイク画像を撮影する方法では、各受光素子が被写体の異なる輝度帯域を撮像しているので、撮影された感度モザイク画像のうち、日向や照明が当たる明るい方の領域では、高感度の受光素子３ｂに蓄積される電荷が飽和したものとなってしまい、反対に、日陰や照明の当たらない暗い方の領域では、低感度の受光素子３ａに蓄積される電荷はノイズに埋もれたものとなってしまう。
【００１２】
したがって、撮影された感度モザイク画像のうち、明るすぎる領域や暗すぎる領域では、信頼できる信号のサンプリング周波数が低下してしまい、このような感度モザイク画像を補間して得られる広ダイナミックレンジ画像の解像度が劣化してしまうという課題があった。
【００１３】
さらに、上述した感度モザイク画像を撮影する方法では、ダイナミックレンジの拡大を目的としているため、被写体の実際のダイナミックレンジが狭い場合においても、ダイナミックレンジを拡大するように処理してしまうので、それに起因して、最終的に得られる画像の解像度が劣化してしまうことがあった。
【００１４】
ところで、特開２０００−７８４６３号公報には、露出時間が異なる２つの撮像素子を備え、広ダイナミックレンジ優先モード、画質優先モード、および中間モードを手動で切り替えることができる画像取り込み装置が開示されているが、このような２つの撮像素子を備える装置は、単板式撮像素子を用いる装置に比較して、装置の小型化や製造コストの削減が不利である課題があった。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、解像度を優先して補間処理を行う解像度優先モードと、ダイナミックレンジの拡大を優先して補間処理を行うダイナミックレンジ優先モードを設け、被写体のダイナミックレンジに応じてこれらのモードを切り替えて使用することにより、解像度の劣化を引き起こさずに撮影することができるディジタルスチルカメラを実現することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像して、対応する感度モザイク画像を生成する撮像手段と、被写体のダイナミックレンジを測定する測定手段と、複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択手段と、被写体のダイナミックレンジに基づいて、撮像手段の露出を制御する露出制御手段と、撮影モードに従い、撮像手段によって撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理手段とを含み、露出制御手段は、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択手段は、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理手段は、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略することを特徴とする。
【００１７】
本発明の撮像方法は、被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、被写体のダイナミックレンジを測定する測定ステップと、複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、撮影モードに従い、撮像ステップの処理で撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、露出制御ステップは、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択ステップは、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理ステップは、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略することを特徴とする。
【００１８】
本発明の記録媒体は、被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、被写体のダイナミックレンジを測定する測定ステップと、複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、撮影モードに従い、撮像ステップの処理で撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、露出制御ステップは、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択ステップは、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理ステップは、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略する処理を撮像装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００１９】
本発明のプログラムは、被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、被写体のダイナミックレンジを測定する測定ステップと、複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、撮影モードに従い、撮像ステップの処理で撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、露出制御ステップは、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択ステップは、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理ステップは、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略する処理を撮像装置のコンピュータに実行させることを特徴とする。
【００２０】
本発明においては、被写体のダイナミックレンジが測定され、複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードが自動的に選択され、被写体のダイナミックレンジに基づいて、撮像時の露出が制御される。そして、撮影モードに従って、撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像が生成される。
【００２６】
【発明の実施の形態】
以下、本発明を適用したディジタルスチルカメラの構成例について、図を参照して説明する。図３は、本発明を適用したディジタルスチルカメラの外観を示す斜視図である。このディジタルスチルカメラ１１の正面には、レンズ１２が設けられている。ディジタルスチルカメラ１１の上面には、撮影タイミングを指示するためのレリーズボタン１３、撮影モードを設定するための撮影モードスイッチ１４、および露出モードを設定するための露出モードダイヤル１５が設けられている。
【００２７】
図４は、ディジタルスチルカメラ１１の上面図である。レリーズボタン１３は、ユーザが露出制御の開始を指示するときに半押しすることができ、撮影タイミングを指示するときに全押しすることができるようになされている。
【００２８】
撮影モードスイッチ１４は、通常のダイナミックレンジであって解像度劣化が少ない高解像画像を取得できる解像度優先（ＨＲ）撮影モード、通常のダイナミックレンジよりも広いダイナミックレンジの画像信号を取得できるダイナミックレンジ優先（ＷＤＲ）撮影モード、および解像度優先撮影モードまたはダイナミックレンジ優先撮影モードを自動的に選択する自動選択（ＡＵＴＯ）撮影モードのいずれかの撮影モードをユーザが選択できるようになされている。
【００２９】
露出モードダイヤル１５は、予め設定されたシャッタ速度と絞りで露出量が決定されるプログラム（Ｐ）自動露出モード、絞りを優先して露出量が決定される絞り優先（Ａ）自動露出モード、シャッタ速度を優先して露出量が決定されるシャッタ優先（Ｓ）自動露出モード、または撮影度にユーザがシャッタ速度と絞りを決定するマニュアル（Ｍ）露出のいずれかの露出をユーザが選択できるようになされている。
【００３０】
図５は、ディジタルカメラ１１の内部構成例を示している。撮像部２１は、被写体の光学像を集光するレンズ１２、光の入射量を制限する絞り２２、入射光の透過を制限するＮＤフィルタ２３、および複数の受光素子からなる単板式固体撮像素子２４から構成される。なお、ＮＤフィルタ２３の代わりに、光の透過を制限する他のフィルタ等を用いてもよい。
【００３１】
図６は、単板式固体撮像素子２４の構成を示している。１個の矩形が１個の受光素子に相当する。単板式固体撮像素子２４を構成する受光素子のうち、例えば図示するように市松模様状に配置された受光素子４１ａだけが、光の透過を制限するＮＤフィルタ２３で覆われている。それに対して、受光素子４１ｂは、光の透過を制限するＮＤフィルタ２３で覆われていない。
【００３２】
これにより、受光素子４１ａは、被写体のダイナミックレンジに対して、主に明るい方の帯域に感度を有することとなり、受光素子４１ｂは、被写体のダイナミックレンジに対して、主に暗い方の帯域に感度を有することとなる。以下、受光素子４１ａを低感度受光素子４１ａ、受光素子４１ｂを高感度受光素子４１ｂとも記述する。
【００３３】
さらに、単板式固体撮像素子２４の各受光素子は、ＲＧＢ等の各色成分が例えばベイヤ配列をなしている色フィルタ（不図示）に覆われている。
【００３４】
このように構成される撮像部２１は、隣り合う画素の撮影時の感度が異なり、また、隣り合う画素の有する色成分が異なる画像を撮像し、画像処理部２５に供給する。以下、撮像部２１によって画像処理部２５に供給される画像を、感度モザイク画像と記述する。
【００３５】
また、撮像部２１は、例えば、感度モザイク画像の画素を行単位で間引くことにより、逐次、モニタ画像を生成して自動露出制御部２６に出力する。なお、モニタ画像は、高感度で撮影された画素と低感度で撮影された画素の配置や割合、各色成分を有する画素の配置や割合が、感度モザイク画像のそれと同一となるようになされている。
【００３６】
画像処理部２５は、設定される撮影モードに対応し、撮像部２１が生成した感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する。自動露出制御部２６は、撮像部２１が生成したモニタ画像に基づき、設定される撮影モードに対応して撮像部２１の露出を制御する。
【００３７】
制御部２７は、記録媒体２８に記憶されている制御用プログラムと操作部２９から入力される操作信号に基づいて自動露出制御部２６および画像処理部２５を制御する。
【００３８】
レリーズボタン１３乃至露出モードダイヤル１５に相当する操作部２９は、レリーズボタン１３乃至露出モードダイヤル１５に対するユーザの操作に対応する操作信号を制御部２７に出力する。
【００３９】
図７は、単板式固体撮像素子２４を構成する低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの輝度に対する感度帯域を模式的に示している。図示するように、低感度受光素子４１ａと高感度受光素子４１ｂのダイナミックレンジ（すなわち、感度帯域の幅）は同一であり、それぞれの感度帯域の一部が重なるようになされている。この重なり具合は、撮像部２１に設けられるＮＤフィルタ２３の透過率によって決定される。したがって、低感度受光素子４１ａの感度帯域と高感度受光素子４１ｂの感度帯域との相対的な位置関係は、ＮＤフィルタ２３の透過率を変えない限り固定とされている。
【００４０】
なお、低感度受光素子４１ａの感度帯域と高感度受光素子４１ｂの感度帯域は、その相対的な位置関係を崩すことなく、設定される撮影モードに対応して制御される撮像部２１の露出（シャッタ速度および絞り）に応じて、任意の方向にシフトされる。
【００４１】
ここで、撮影モードに対応して制御される低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯域の関係について、図８乃至図１１に示すヒストグラムを参照して説明する。なお、図８乃至図１１において、各横軸は、輝度レベルの対数を示しており、縦軸は、分布の度数を示している。
【００４２】
始めに、ダイナミックレンジ優先撮影モードに対応する低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯域の制御について説明する。ダイナミックレンジ優先撮影モードにおいては、被写体のダイナミックレンジのうち、明るい方の領域を低感度受光素子４１ａが受け持ち、暗い方の領域を高感度受光素子４１ｂが受け持つように自動露出を制御する。具体的には、被写体の輝度ヒストグラムの上限値に、低感度受光素子４１ａの飽和レベルが一致するように撮像素子２１の露出が制御される。
【００４３】
なお、ダイナミックレンジ優先撮影モードにおいて、低感度受光素子４１ａおよび高感度受光素子４１ｂのノイズレベルよりも低い輝度の画素はノイズ成分が支配的であってその値の信頼性が低いので、切り捨てるようになされている。また、それぞれの飽和レベルよりも高い輝度の画素は、その値が被写体の実際の輝度に対応していないので、切り捨てるようになされている。なお、切り捨てられた画素（欠落画素）は、周囲の画素を用いた補間によって復元される。その詳細は後述する。
【００４４】
図８は、被写体の輝度ダイナミックレンジが、低感度受光素子４１ａのダイナミックレンジ（または高感度受光素子４１ｂのダイナミックレンジ）よりも広い場合の例を示している。
【００４５】
図８Ａは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを３つに領域に分割して領域ａ乃至ｃと記述する。
【００４６】
図８Ｂは、低感度受光素子４１ａのダイナミックレンジ（両矢印で示す）と低感度受光素子４１ａに対応する画素（以下、低感度画素と記述する）の輝度ヒストグラムを示している。図示するように、低感度受光素子４１ａでは、被写体の輝度ヒストグラムの暗い方の領域ａの情報が欠落したものとなる。なお、低感度受光素子４１ａのダイナミックレンジの下限側の分布は、被写体の輝度ヒストグラムの暗い方の領域ａの存在に起因して、被写体の輝度ヒストグラムよりも度数が高くなる。
【００４７】
図８Ｃは、高感度受光素子４１ｂのダイナミックレンジ（両矢印で示す）と高感度受光素子４１ｂに対応する画素（以下、高感度画素と記述する）の輝度ヒストグラムを示している。図示するように、高感度受光素子４１ｂでは、被写体の輝度ヒストグラムの明るい方の領域ｃの情報が欠落したものとなる。なお、高感度受光素子４１ｂのダイナミックレンジの上限側の分布は、被写体の輝度ヒストグラムの明るい方の領域ｃの存在に起因して、被写体の輝度ヒストグラムよりも度数が高くなる。
【００４８】
図８の場合、明るい方の領域ｃは、低感度受光素子４１ａによって情報が取得され、暗い方の領域ａは、高感度受光素子４１ｂによって情報が取得されるので、これらの情報を空間的に補間することにより、広ダイナミックレンジ画像を生成することができる。このとき、中間の領域ｂでは、高感度画素および低感度画素の情報があるので解像度の劣化は生じないが、暗い方の領域ａおよび明るい方の領域ｃでは、高感度画素または低感度画素の一方しか情報がないので、解像度の劣化が生じる。
【００４９】
また、図８のように、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、通常の撮像素子で発生するような白とび（飽和）や黒つぶれ（ノイズ）を引き起こさない広ダイナミックレンジ画像を出力することができる。
【００５０】
図９は、被写体の輝度ダイナミックレンジが、低感度受光素子４１ａのダイナミックレンジ（または高感度受光素子４１ｂのダイナミックレンジ）よりも狭い場合の例を示している。
【００５１】
図９Ａは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを２つの領域に分割して領域ｄ，ｅと記述する。
【００５２】
図９Ｂは、低感度受光素子４１ａのダイナミックレンジ（両矢印で示す）と低感度画素の輝度ヒストグラムを示している。図示するように、低感度受光素子４１ａは、被写体の輝度ヒストグラムの全ての領域ｄ，ｅの情報を取得できることになる。
【００５３】
図９Ｃは、高感度受光素子４１ｂのダイナミックレンジ（両矢印で示す）と高感度画素の輝度ヒストグラムを示している。図示するように、高感度受光素子４１ｂでは、被写体の輝度ヒストグラムの明るい方の領域ｅの情報が欠落したものとなる。なお、高感度受光素子４１ｂのダイナミックレンジの上限側の分布は、被写体の輝度ヒストグラムの明るい方の領域ｅの存在に起因して、被写体の輝度ヒストグラムよりも度数が高くなる。
【００５４】
図９の場合、輝度ヒストグラムの全ての領域ｄ，ｅは、低感度受光素子４１ａによって情報が取得され、暗い方の領域ｄは、高感度受光素子４１ｂによって情報が取得されるので、これらの情報を空間的に補間することにより、広ダイナミックレンジ画像を生成することができる。このとき、暗い方の領域ｄでは、高感度画素および低感度画素の情報があるので解像度の劣化は生じないが、明るい方の領域ｅでは、低感度画素の一方しか情報がないので、解像度の劣化が生じる。また、暗い領域ｄでは、高感度画素は信号対雑音比（ＳＮＲ）が大きいため、低感度画素のみで撮像する場合（通常のCCDカメラの露出設定）に比べてＳＮＲが向上する。
【００５５】
次に、解像度優先撮影モードに対応する低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯域の制御について説明する。解像度優先撮影モードは、被写体のダイナミックレンジが、図１０に示すように、低感度受光素子４１ａのダイナミックレンジ（または高感度受光素子４１ｂのダイナミックレンジ）よりも狭い場合に適した撮影モードである。
【００５６】
解像度優先撮影モードにおいては、飽和する画素が発生しないように、具体的には、被写体の輝度ヒストグラムの上限値に、高感度受光素子４１ｂの飽和レベルが一致するように撮像素子２１の露出が制御される。
【００５７】
なお、解像度優先撮影モードにおいて、低感度受光素子４１ａおよび高感度受光素子４１ｂのノイズレベルよりも低い輝度の画素はノイズ成分が支配的ではあるが、欠落画素の補間を行わないので、そのまま保持するようになされている。
【００５８】
図１０Ａは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを２つに領域に分割して領域ｆ，ｇと記述する。
【００５９】
図１０Ｂは、低感度受光素子４１ａのダイナミックレンジ（両矢印で示す）と低感度画素の輝度ヒストグラムを示している。図示するように、低感度受光素子４１ａでは、被写体の輝度ヒストグラムの全ての領域ｆ，ｇの情報を取得することができる。しかしながら、ノイズレベルを下回る領域ｆはノイズ成分が支配的になるために被写体のヒストグラムを正しく保存できていない。
【００６０】
図１０Ｃは、高感度受光素子４１ｂのダイナミックレンジ（両矢印で示す）と高感度画素の輝度ヒストグラムを示している。図示するように、高感度受光素子４１ｂでは、被写体の輝度ヒストグラムの全ての領域ｆ，ｇの情報を取得することができる。
【００６１】
図１０の場合、被写体の輝度ヒストグラムの明るい方の領域ｇでは、画素欠落が発生せず解像度が維持される。一方、暗い方の領域ｆでは、ノイズレベルを下回る輝度の画素ではノイズ成分が支配的になっているが、高感度画素を用いてある程度のノイズ除去を行うことが可能である。また、暗い方の領域ｆでは視覚的にも感受性が低いために輝度の増幅を行わない限りノイズが目立つことはない。
【００６２】
図１１は、被写体のダイナミックレンジが、低感度受光素子４１ａのダイナミックレンジ（または高感度受光素子４１ｂのダイナミックレンジ）よりも広い場合の例を示している。
【００６３】
図１１Ａは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを５つに領域に分割して領域ｈ乃至ｌと記述する。
【００６４】
図１１Ｂは、低感度受光素子４１ａのダイナミックレンジ（両矢印で示す）と低感度画素の輝度ヒストグラムを示している。図示するように、低感度受光素子４１ａでは、被写体の輝度ヒストグラムのうち、領域ｋ，ｌの情報を取得することができる。ただし、ノイズレベルを下回る領域ｋはノイズ成分が支配的となる。また、低感度受光素子４１ａでは、領域ｈ乃至ｊの情報を取得することができない。
【００６５】
図１１Ｃは、高感度受光素子４１ｂのダイナミックレンジ（両矢印で示す）と高感度画素の輝度ヒストグラムを示している。図示するように、高感度受光素子４１ｂでは、被写体の輝度ヒストグラムのうち、領域ｉ乃至ｌの情報を取得することができる。
【００６６】
図１１の場合、明るい方の領域ｌでは低解像度画素と高解像度画素が存在するので解像度が維持されているが、低感度受光素子４１ａのノイズレベル以下の領域ｋではノイズが目立ち、さらに低感度受光素子４１ａのダイナミックレンジよりも暗い領域ｉ，ｊでは解像度劣化が発生する。さらに、高感度受光素子４１ｂのダイナミックレンジよりも暗い領域ｈでは全ての画素の情報が欠落してしまう。したがって、解像度優先モードでは、受光素子のダイナミックレンジよりも広いダイナミックレンジを撮像することはできない。
【００６７】
次に、図１２は、画像処理部２５の構成例を示している。画像処理部２５は、撮影モード選択部６３によって決定される撮影モードに従って動作する。図中において、実線はダイナミックレンジ優先撮影モードにおける画像信号の流れを示し、破線は解像度優先撮影モードにおける画像信号の流れを示している。
【００６８】
ダイナミックレンジ優先撮影モードにおいて、第１クリッピング部５１は、撮像部２１からの感度モザイク画像のうち、低感度受光素子４１ａと高感度受光素子４１ｂのそれぞれの飽和レベルを上回る画素を飽和レベルで置換（クリッピング）し、それぞれのノイズレベルを下回る画素をノイズレベルで置換（クリッピング）する。
【００６９】
ダイナミックレンジ優先撮影モードにおいて、感度均一化部５２は、第１クリッピング部５１から入力されるクリッピングされた感度モザイク画像の各画素に所定のゲインを乗算して、全ての画素の撮影時における感度を均一化する。以下、感度が均一化された画像を、感度均一化画像と記述する。
【００７０】
ダイナミックレンジ優先撮影モードにおいて、欠落画素補間部５４は、感度均一化部５２からの感度均一化画像のうち、第１クリッピング部５１によってクリッピングされた画素（すなわち、正しい値を有していない欠落画素）を、周囲の画素を用いて補間する。
【００７１】
ダイナミックレンジ優先撮影モードにおいて、カラーデモザイク部５５は、欠落画素補間部５４からの各画素が単一の色成分だけを有する画像に色補間処理を施すことにより、各画素が全ての色成分を有している画像、すなわち、広ダイナミック画像を生成する。
【００７２】
解像度優先撮影モードにおいて、感度均一化部５２は、撮像部２１から入力される感度モザイク画像の各画素に所定のゲインを乗算して、全ての画素の撮影時における感度を均一化する。
【００７３】
解像度優先撮影モードにおいて、第２クリッピング部５３は、感度均一化部５２からの感度均一化画像のうち、予め設定された飽和レベルを上回る画素を飽和レベルで置換する。なお、第２クリッピング部５３では、ノイズレベルを下回る画素のクリッピングは行われない。
【００７４】
解像度優先撮影モードにおいて、カラーデモザイク部５５は、第２クリッピング部５３からの各画素が単一の色成分だけを有する画像に色補間処理を施すことにより、各画素が全ての色成分を有している画像、すなわち高解像度画像を生成する。
【００７５】
図１３は、自動露出制御部２６の構成例を示している。感度均一化部６１は、撮像部２１からの高感度画素と低感度画素からなるモニタ画像の各画素に所定のゲインを乗算することによって、全ての画素の撮影時における感度を均一化する。
【００７６】
ヒストグラム検波部６２は、図１４に示すような感度が均一化されたモニタ画像の輝度のヒストグラムを生成し、さらに、図１５に示すような累積ヒストグラムを生成して、被写体のダイナミックレンジの上限値と下限値を検出する。
【００７７】
なお、図１４および図１５において、横軸は、感度が均一化されたモニタ画像の輝度を１で正規化した値を示しており、縦軸は、度数を１で正規化した値を示している。被写体のダイナミックレンジの上限値としては、累積ヒストグラムにおいて予め設定されている上限閾値に対応する輝度を検出する。被写体のダイナミックレンジの下限値としては、累積ヒストグラムにおいて予め設定されている下限閾値に対応する輝度を検出する。
【００７８】
撮影モード選択部６３は、撮影モード選択スイッチ１４が自動選択撮影モードのスイッチングされている場合、ヒストグラム検波部６２によって検出された被写体のダイナミックレンジに基づき、撮影モードを解像度優先撮影モードまたはダイナミックレンジ優先撮影モードに決定する。撮影モード選択部６３によって選択された撮影モード（解像度優先撮影モード、またはダイナミックレンジ優先撮影モード）は、制御部２７を介して画像処理部２５に通知される。
【００７９】
露出量算出部６４は、ユーザまたは撮影モード選択部６３によって決定された撮影モードおよびヒストグラム検波部６２で検出されるダイナミックレンジの上限値に基づき、絞り２２の設定値とシャッタ速度の設定値を決定して、対応する制御信号を撮像部２１に出力する。
【００８０】
なお、自動露出制御部２６を構成する感度均一化部６１乃至露出量算出部６４は、露出制御が目標値になるまで繰り返し動作するようになされている。
【００８１】
次に、自動露出制御部２６による露出制御処理について、図１６のフローチャートを参照して説明する。この露出制御処理は、レリーズボタン１３が半押しされたときに開始される。
【００８２】
ステップＳ１において、感度均一化部６１は、撮像部２１によって逐次生成されるモニタ画像の画素の感度を均一化する。ヒストグラム検波部６２は、感度が均一化されたモニタ画像の輝度のヒストグラムを生成し、さらに累積ヒストグラムを生成して、被写体のダイナミックレンジの上限値と下限値を検出する。
【００８３】
ステップＳ２において、撮影モード選択部６３は、撮影モード選択スイッチ１４が解像度優先撮影モードにスイッチングされているか、あるいは撮影モード選択スイッチ１４が自動選択撮影モードにスイッチングされていて、かつ、後述するステップＳ１０の処理において撮影モードを解像度優先撮影モードに決定したか否かを判定する。撮影モード選択スイッチ１４が解像度優先撮影モードにスイッチングされている、あるいは撮影モード選択スイッチ１４が自動選択撮影モードにスイッチングされていて、かつ、自己が撮影モードを解像度優先撮影モードに決定したと判定された場合、処理はステップＳ３に進む。
【００８４】
ステップＳ３において、露出量算出部６４は、ヒストグラム検波部６２で検出される被写体のダイナミックレンジの上限値に基づき、現在の露出が解像度優先撮影モードの目標とする状態（被写体のダイナミックレンジの上限値と、高感度受光素子４１ｂの飽和レベルが一致した状態）であるか否かを判定する。現在の露出が解像度優先撮影モードの目標とする状態ではないと判定された場合、処理はステップＳ４に進む。
【００８５】
ステップＳ４において、露出量算出部６４は、被写体のダイナミックレンジの上限値と、高感度受光素子４１ｂの飽和レベルが一致するように、絞り２２の設定値とシャッタ速度の設定値を決定して、対応する制御信号を撮像部２１に出力する。処理はステップＳ１に戻り、それ以降の処理が繰り返され、ステップＳ３において、現在の露出が解像度優先撮影モードの目標とする状態であると判定された場合、露出制御処理は終了される。この後、レリーズボタン１３が全押しされれば、適切な露出の高感度画像が生成されることになる。
【００８６】
ステップＳ２において、撮影モード選択スイッチ１４が解像度優先撮影モードにスイッチングされていない、あるいは撮影モード選択スイッチ１４が自動選択撮影モードにスイッチングされていて、かつ、後述するステップ１０の処理において撮影モードが解像度優先撮影モードに決定していないと判定された場合、処理はステップＳ５に進む。
【００８７】
ステップＳ５において、露出量算出部６４は、ヒストグラム検波部６２で検出される被写体のダイナミックレンジの上限値に基づき、現在の露出がダイナミックレンジ優先撮影モードの目標とする状態（被写体のダイナミックレンジの上限値と、低感度受光素子４１ａの飽和レベルが一致した状態）であるか否かを判定する。現在の露出がダイナミックレンジ優先撮影モードの目標とする状態ではない判定された場合、処理はステップＳ６に進む。
【００８８】
ステップＳ６において、露出量算出部６４は、被写体のダイナミックレンジの上限値と、低感度受光素子４１ａの飽和レベルが一致するように、絞り２２の設定値とシャッタ速度の設定値を決定して、対応する制御信号を撮像部２１に出力する。処理はステップＳ１に戻り、それ以降の処理が繰り返され、ステップＳ５において、現在の露出がダイナミックレンジ優先撮影モードの目標とする状態であると判定された場合、処理はステップＳ７に進む。
【００８９】
ステップＳ７において、撮影モード選択部６３は、撮影モード選択スイッチ１４がダイナミックレンジ優先撮影モードにスイッチングされているか否かを判定する。撮影モード選択スイッチ１４がダイナミックレンジ優先撮影モードにスイッチングされていると判定された場合、露出制御処理は終了される。この後、レリーズボタン１３が全押しされれば、適切な露出の高感度画像が生成されることになる。
【００９０】
ステップＳ７において、撮影モード選択部６３は、撮影モード選択スイッチ１４がダイナミックレンジ優先撮影モードにスイッチングされていないと判定された場合、すなわち、撮影モード選択スイッチ１４が自動選択露出モードにスイッチングされていると判定された場合、処理はステップＳ８に進む。ステップＳ８において、ヒストグラム検波部６２は、被写体の累積ヒストグラムに基づき、被写体のダイナミックレンジを算出する。
【００９１】
ステップＳ９において、撮影モード選択部６３は、被写体のダイナミックレンジが、低感度受光素子４１ａ（または高感度受光素子４１ｂ）のダイナミックレンジよりも広いか否かを判定する。被写体のダイナミックレンジが、低感度受光素子４１ａ（または高感度受光素子４１ｂ）のダイナミックレンジよりも広くないと判定された場合、処理はステップＳ１０に進む。ステップＳ１０において、撮影モード選択部６３は、撮影モードをダイナミックレンジ優先撮影モードに決定し、制御部２７を介して画像処理部２５に通知する。露出制御処理は終了される。この後、レリーズボタン１３が全押しされれば、適切な露出の高感度画像が生成されることになる。
【００９２】
ステップＳ９において、被写体のダイナミックレンジが、低感度受光素子４１ａ（または高感度受光素子４１ｂ）のダイナミックレンジよりも広いと判定された場合、処理はステップＳ１１に進む。ステップＳ１１において、撮影モード選択部６３は、撮影モードを解像度優先撮影モードに決定し、制御部２７を介して画像処理部２５に通知する。処理はステップＳ２に戻り、それ以降の処理が繰り返される。以上、自動露出制御部２６による露出制御処理の説明を終了する。
【００９３】
次に、自動露出制御部２６による露出制御処理の一例について、図１７乃至図２０を参照して説明する。なお、図１７乃至図２０は、同一の被写体に対応するモニタ画像であり、横軸は感度が均一化されたモニタ画像の輝度を１で正規化した値を示しており、縦軸は度数を１で正規化した値を示している。
【００９４】
図１７は、自動露出制御処理の過程におけるモニタ画像の累積ヒストグラムのであり、過露出の状態を示している。このような場合、モニタ画像の画素は飽和してしまうものが多いので、累積ヒストグラムの上限値は、輝度の最大値（すなわち、１）に近い値になっている。
【００９５】
図１８は、自動露出制御処理の過程における累積ヒストグラムの他の一例であり、露出不足の状態を示している。このような場合、モニタ画像の画素の輝度は飽和レベルに達しておらず、累積ヒストグラムの上限値は飽和レベルよりも低い値になっている。
【００９６】
図１９は、ダイナミックレンジ優先撮影モードとして露出制御が終了された状態のモニタ画像の累積ヒストグラムを示している。
【００９７】
図１７のような過露出の状態を、図１９のような状態とするためには、露出量をＣＤ０（図１７）だけ減少させて、図１７の上限値が図１９に示す低感度画素４１ａの飽和レベルに一致するように制御する。反対に、図１８のような露出不足の状態を、図１９のような状態とするためには、露出量をＣＤ１（図１８）だけ増加させて、図１８の上限値が図１９に示す低感度画素４１ａの飽和レベルに一致するように制御する。これにより、ダイナミックレンジ優先撮影モードでは、低感度受光素子４１ａおよび高感度受光素子４１ｂからなる単板式固体撮像素子２４が有するダイナミックレンジを最大限に活用することが可能となる。
【００９８】
図２０は、解像度優先撮影モードとして露出制御が終了された状態のモニタ画像の累積ヒストグラムを示している。
【００９９】
図１７のような過露出の状態を、図２０のような状態とするためには、露出量をＣｒ０（図１７）だけ減少させて、図１７の上限値が図２０に示す高感度画素４１ｂの飽和レベルに一致するように制御する。反対に、図１８のような露出不足の状態を、図２０のような状態とするためには、露出量をＣＲ１（図１８）だけ減少させて、図１８の上限値が図２０に示す高感度画素４１ｂの飽和レベルに一致するように制御する。これにより、解像度優先撮影モードでは、低感度受光素子４１ａ（または高感度受光素子４１ｂ）のダイナミックレンジで画像取得することが可能である。
【０１００】
なお、図２０に示した例では、被写体のダイナミックレンジが低感度受光素子４１ａ（または高感度受光素子４１ｂ）のダイナミックレンジよりも広いので、暗い部分はつぶれてしまっている。
【０１０１】
ただし、撮影モード選択スイッチ１４が自動選択撮影モードにスイッチングされていれば、このように被写体のダイナミックレンジが低感度受光素子４１ａ（または高感度受光素子４１ｂ）のダイナミックレンジよりも広い場合には、ダイナミックレンジ優先撮影モードに決定されるので、図１９に示すような結果を得ることができる。
【０１０２】
なお、本発明は、本実施の形態のようなディジタルスチルカメラの他、画像処理を実施するあらゆる機器に適用することが可能である。
【０１０３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、例えば図５の記録媒体２８からインストールされる。
【０１０４】
この記録媒体２５は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【０１０５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０６】
【発明の効果】
以上のように、本発明によれば、解像度を優先して補間処理を行う解像度優先モードと、ダイナミックレンジの拡大を優先して補間処理を行うダイナミックレンジ優先モードを、被写体のダイナミックレンジに応じて切り替えて使用することができ、さらに、画像の解像度の劣化を引き起こすことがないディジタルスチルカメラを実現することが可能となる。
【図面の簡単な説明】
【図１】文献１に開示されている感度モザイク画像を用いる方法の概要を説明するためのブロック図である。
【図２】図１の撮像部１に含まれる撮像素子の一例を示している。
【図３】本発明を適用したディジタルスチルカメラ１１の外観を示す斜視図である。
【図４】ディジタルスチルカメラ１１の上面図である。
【図５】ディジタルカメラ１１の内部構成例を示すブロック図である。
【図６】図５の単板式固体撮像素子２４を構成する低感度受光素子４１ａおよび高感度受光素子４１ｂの配置を示す図である。
【図７】単板式固体撮像素子２４を構成する低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの輝度に対する感度帯域を模式的に示す図である。
【図８】撮影モードに対応して制御される低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯域の関係を説明するための図である。
【図９】撮影モードに対応して制御される低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯域の関係を説明するための図である。
【図１０】撮影モードに対応して制御される低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯域の関係を説明するための図である。
【図１１】撮影モードに対応して制御される低感度受光素子４１ａおよび高感度受光素子４１ｂそれぞれの感度帯域の関係を説明するための図である。
【図１２】図５の画像処理部２５の構成例を示すブロック図である。
【図１３】図５の自動露出制御部２６の構成例を示すブロック図である。
【図１４】ヒストグラム検波部６２が生成する、感度が均一化されたモニタ画像の輝度のヒストグラムの一例を示す図である。
【図１５】ヒストグラム検波部６２が生成する、感度が均一化されたモニタ画像の輝度の累積ヒストグラムの一例を示す図である。
【図１６】自動露出制御部２６による露出制御処理を説明するフローチャートである。
【図１７】自動露出制御部２６による露出制御処理の一例を説明するための図である。
【図１８】自動露出制御部２６による露出制御処理の一例を説明するための図である。
【図１９】自動露出制御部２６による露出制御処理の一例を説明するための図である。
【図２０】自動露出制御部２６による露出制御処理の一例を説明するための図である。
【符号の説明】
１１ ディジタルスチルカメラ， １２ レンズ， １３ レリーズボタン，１４ 撮影モード選択スイッチ， １５ 露出モードダイヤル， ２１ 撮像部， ２２ 絞り， ２３ ＮＤフィルタ， ２４ 単板式固体撮像素子， ２５ 画像処理部， ２６ 自動露出制御部， ２７ 制御部， ２８ 記録媒体， ２９ 操作部， ４１ａ 低感度受光素子， ４１ｂ 高感度受光素子， ５１ 第１クリッピング部， ５２ 感度均一化部， ５３ 第２クリッピング部， ５４ 欠落画素補間部， ５５ カラーデモザイク部， ６１ 感度均一化部， ６２ ヒストグラム検波部， ６３ 撮影モード選択部， ６４ 露出量算出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and method, a recording medium, and a program. For example, a dynamic range priority shooting mode for acquiring a wide dynamic range image signal and a resolution priority priority shooting mode for acquiring a high resolution image signal are adaptively used. The present invention relates to an imaging apparatus and method, a recording medium, and a program suitable for use in switching.
[0002]
[Background technology]
Conventionally, there is a technique for widening the dynamic range of an image signal acquired by a digital still camera using a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Mental-Oxide Semiconductor).
[0003]
This technique includes, for example, a method of continuously photographing by changing the exposure by adjusting the shutter speed and the aperture, a method of using a plurality of image sensors having different sensitivities, and a method of using a sensitivity mosaic image (described later). .
[0004]
A method using a sensitivity mosaic image is described in, for example, the document “SK Nayar and T. Mitsunaga,“ High Dynamic Range Imaging: Spatially Varying Pixel Exposures ”, Proc. Of Computer Vision and Pattern Recognition 2000, Vol. 1, pp. 472-479. , June, 2000 "(hereinafter referred to as Document 1).
[0005]
An outline of the method using the sensitivity mosaic image disclosed in
[0006]
FIG. 2 shows an example of an image sensor. One rectangle corresponds to one light receiving element. Of the light receiving elements constituting the imaging element, for example, the
[0007]
As a result, the
[0008]
Therefore, the image output from the
[0009]
The
[0010]
According to the above-described method for capturing a sensitivity mosaic image, a wide dynamic range image can be acquired with a single exposure without continuously exposing. In addition, since one image sensor is used without requiring a plurality of image sensors, it is possible to suppress an increase in the scale of the apparatus and an increase in manufacturing cost.
[0011]
[Problems to be solved by the invention]
However, in the method for capturing a sensitivity mosaic image described above, each light-receiving element captures a different luminance band of the subject. Therefore, in the captured sensitivity mosaic image, in a brighter area that is exposed to the sun or illumination, a high brightness region is used. The charge accumulated in the sensitive
[0012]
Therefore, in the captured sensitivity mosaic image, in a region that is too bright or too dark, the sampling frequency of the reliable signal is reduced, and the resolution of the wide dynamic range image obtained by interpolating such a sensitivity mosaic image There has been a problem of deterioration.
[0013]
Furthermore, the above-described method of capturing a sensitivity mosaic image aims to expand the dynamic range, and therefore, even when the actual dynamic range of the subject is narrow, processing is performed to expand the dynamic range. As a result, the resolution of the finally obtained image may be deteriorated.
[0014]
By the way, Japanese Patent Application Laid-Open No. 2000-78463 discloses an image capturing device that includes two imaging devices having different exposure times and can manually switch between a wide dynamic range priority mode, an image quality priority mode, and an intermediate mode. However, such an apparatus provided with two image sensors has a problem that it is disadvantageous to reduce the size of the apparatus and reduce the manufacturing cost as compared with an apparatus using a single-plate image sensor.
[0015]
The present invention has been made in view of such circumstances, and is provided with a resolution priority mode in which interpolation processing is performed with priority on resolution and a dynamic range priority mode in which interpolation processing is performed with priority on expansion of the dynamic range. It is an object of the present invention to realize a digital still camera that can shoot without causing degradation of resolution by switching and using these modes in accordance with the dynamic range.
[0016]
[Means for Solving the Problems]
The imaging device of the present invention captures a subject and generates a corresponding sensitivity mosaic image;A measuring means for measuring the dynamic range of the subject, and a plurality ofOne of the shooting modesA selection means that allows the user to select or automatically select a shooting mode based on the dynamic range of the subject, and based on the dynamic range of the subject,Exposure control means for controlling the exposure of the imaging means, and image processing means for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image taken by the imaging means according to the shooting mode,The exposure control means controls the exposure so that the saturation level of the low-sensitivity pixel imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject in the dynamic range priority shooting mode. The exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light-receiving element matches the upper limit of the dynamic range of the subject. If it is wide, the shooting mode is determined as the dynamic range priority shooting mode. If the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority priority shooting mode, and the image processing means takes the dynamic range priority shooting. Interpolate missing pixels in mode and Omitted interpolation of the missing pixels in the shooting modeIt is characterized by that.
[0017]
The imaging method of the present invention uses an imaging step of imaging a subject and generating a corresponding sensitivity mosaic image, a measuring step of measuring the dynamic range of the subject, and one of the plurality of shooting modes. Or a selection step for automatically selecting a shooting mode based on the dynamic range of the subject, an exposure control step for controlling the exposure during imaging based on the dynamic range of the subject, and imaging according to the shooting mode. An image processing step for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image picked up in the processing of the step, and the exposure control step is a low sensitivity light receiving element in the dynamic range priority shooting mode. The saturation level of low-sensitivity pixels captured by the Control the exposure so that it matches the upper limit of When the subject's dynamic range is wider than the light receiving element's dynamic range, the shooting mode is set to the dynamic range priority shooting mode, and the subject's dynamic range is narrower than the light receiving element's dynamic range. The mode is determined to be the resolution priority shooting mode, and the image processing step is characterized in that missing pixels are interpolated in the dynamic range priority shooting mode, and missing pixel interpolation is omitted in the resolution priority shooting mode.
[0018]
The recording medium of the present invention uses an imaging step of imaging a subject and generating a corresponding sensitivity mosaic image, a measurement step of measuring the dynamic range of the subject, and one of the plurality of shooting modes. Or a selection step for automatically selecting a shooting mode based on the dynamic range of the subject, an exposure control step for controlling the exposure during imaging based on the dynamic range of the subject, and imaging according to the shooting mode. An image processing step for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image picked up in the processing of the step, and the exposure control step is a low sensitivity light receiving element in the dynamic range priority shooting mode. The saturation level of low-sensitivity pixels captured by the Control the exposure so that it matches the upper limit of When the subject's dynamic range is wider than the light receiving element's dynamic range, the shooting mode is set to the dynamic range priority shooting mode, and the subject's dynamic range is narrower than the light receiving element's dynamic range. The mode is determined to be the resolution priority shooting mode, and the image processing step is a program that causes the computer of the imaging apparatus to execute a process of interpolating missing pixels in the dynamic range priority shooting mode and omitting missing pixel interpolation in the resolution priority shooting mode. It is recorded.
[0019]
The program of the present invention provides a user with an imaging step of imaging a subject and generating a corresponding sensitivity mosaic image, a measurement step of measuring the dynamic range of the subject, and one of the plurality of shooting modes. A selection step for selecting or automatically selecting a shooting mode based on the dynamic range of the subject, an exposure control step for controlling exposure during imaging based on the dynamic range of the subject, and an imaging step according to the shooting mode And an image processing step for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image picked up in the process of (5), and the exposure control step is performed by the low sensitivity light receiving element in the dynamic range priority shooting mode. The saturation level of the captured low-sensitivity pixels is the dynamic of the subject Control the exposure so that it matches the upper limit of the range, and in the resolution priority shooting mode, adjust the exposure so that the saturation level of the high-sensitivity pixels captured by the high-sensitivity light-receiving element matches the upper limit of the subject's dynamic range. When the subject's dynamic range is wider than the light receiving element's dynamic range, the shooting mode is set to the dynamic range priority shooting mode, and the subject's dynamic range is narrower than the light receiving element's dynamic range. The mode is determined to be the resolution priority shooting mode, and the image processing step causes the computer of the imaging apparatus to execute a process of interpolating missing pixels in the dynamic range priority shooting mode and omitting missing pixel interpolation in the resolution priority shooting mode. Features.
[0020]
In the present invention, the dynamic range of the subject is measured, and the user is allowed to select one of a plurality of shooting modes, or the shooting mode is automatically selected based on the dynamic range of the subject. Based on the dynamic range, exposure at the time of imaging is controlled. Then, according to the shooting mode, a wide dynamic range image or a high resolution image is generated based on the captured sensitivity mosaic image.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a configuration example of a digital still camera to which the present invention is applied will be described with reference to the drawings. FIG. 3 is a perspective view showing the appearance of a digital still camera to which the present invention is applied. A
[0027]
FIG. 4 is a top view of the digital
[0028]
The shooting
[0029]
The
[0030]
FIG. 5 shows an internal configuration example of the
[0031]
FIG. 6 shows the configuration of the single-plate solid-
[0032]
As a result, the
[0033]
Further, each light receiving element of the single-plate solid-
[0034]
The
[0035]
The
[0036]
The
[0037]
The
[0038]
An
[0039]
FIG. 7 schematically shows the sensitivity bands with respect to the luminance of the low-sensitivity light-receiving
[0040]
It should be noted that the sensitivity band of the low-sensitivity
[0041]
Here, the relationship between the sensitivity bands of the low-sensitivity
[0042]
First, control of sensitivity bands of the low sensitivity
[0043]
In the dynamic range priority shooting mode, pixels with luminance lower than the noise level of the low sensitivity
[0044]
FIG. 8 shows an example in which the luminance dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0045]
FIG. 8A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into three regions and described as regions a to c.
[0046]
FIG. 8B shows a dynamic range (indicated by a double arrow) of the low sensitivity
[0047]
FIG. 8C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of a pixel corresponding to the high sensitivity light receiving element 41b (hereinafter referred to as a high sensitivity pixel). As shown in the drawing, in the high sensitivity light receiving element 41b, information on the brighter region c of the luminance histogram of the subject is missing. The distribution on the upper limit side of the dynamic range of the high-sensitivity light receiving element 41b is higher in frequency than the luminance histogram of the subject due to the presence of the brighter region c of the luminance histogram of the subject.
[0048]
In the case of FIG. 8, information is acquired in the bright area c by the low sensitivity
[0049]
Also, as shown in FIG. 8, when the dynamic range of the subject is wider than the dynamic range of the light receiving element, a wide dynamic range image that does not cause overexposure (saturation) or blackout (noise) as occurs in a normal image sensor. Can be output.
[0050]
FIG. 9 shows an example in which the luminance dynamic range of the subject is narrower than the dynamic range of the low sensitivity
[0051]
FIG. 9A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into two regions and described as regions d and e.
[0052]
FIG. 9B shows a dynamic range (indicated by a double arrow) of the low sensitivity
[0053]
FIG. 9C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of the high sensitivity pixel. As shown in the figure, in the high sensitivity light receiving element 41b, information on the brighter region e of the luminance histogram of the subject is lost. The distribution on the upper limit side of the dynamic range of the high sensitivity light receiving element 41b is higher in frequency than the luminance histogram of the subject due to the presence of the brighter region e of the luminance histogram of the subject.
[0054]
In the case of FIG. 9, information is acquired by the low sensitivity
[0055]
Next, control of sensitivity bands of the low sensitivity
[0056]
In the resolution priority photography mode, the exposure of the
[0057]
In the resolution priority imaging mode, pixels having luminance lower than the noise level of the low-sensitivity
[0058]
FIG. 10A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into two regions and described as regions f and g.
[0059]
FIG. 10B shows a dynamic range (indicated by a double arrow) of the low sensitivity
[0060]
FIG. 10C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of the high sensitivity pixel. As shown in the figure, the high-sensitivity light receiving element 41b can acquire information on all the regions f and g of the luminance histogram of the subject.
[0061]
In the case of FIG. 10, in the brighter region g of the luminance histogram of the subject, pixel resolution does not occur and the resolution is maintained. On the other hand, in the darker region f, the noise component is dominant in the pixels with luminance lower than the noise level, but it is possible to remove noise to some extent using high sensitivity pixels. Further, since the darker region f is visually insensitive, noise does not stand out unless the luminance is amplified.
[0062]
FIG. 11 shows an example in which the dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0063]
FIG. 11A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into five regions and described as regions h to l.
[0064]
FIG. 11B shows the dynamic range (indicated by double arrows) of the low sensitivity
[0065]
FIG. 11C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of the high sensitivity pixel. As shown in the figure, the high sensitivity light receiving element 41b can acquire information on the regions i to l in the luminance histogram of the subject.
[0066]
In the case of FIG. 11, the resolution is maintained because there are low-resolution pixels and high-resolution pixels in the brighter region l, but noise is conspicuous in the region k below the noise level of the low-sensitivity
[0067]
Next, FIG. 12 shows a configuration example of the
[0068]
In the dynamic range priority shooting mode, the
[0069]
In the dynamic range priority shooting mode, the
[0070]
In the dynamic range priority shooting mode, the missing
[0071]
In the dynamic range priority shooting mode, the color demosaic unit 55 performs color interpolation processing on an image in which each pixel from the missing
[0072]
In the resolution priority shooting mode, the
[0073]
In the resolution priority imaging mode, the
[0074]
In the resolution priority shooting mode, the color demosaic unit 55 performs color interpolation processing on an image in which each pixel from the
[0075]
FIG. 13 shows a configuration example of the automatic
[0076]
The
[0077]
14 and 15, the horizontal axis indicates a value obtained by normalizing the luminance of the monitor image with uniform sensitivity by 1, and the vertical axis indicates a value obtained by normalizing the frequency by 1. Yes. As the upper limit value of the dynamic range of the subject, the luminance corresponding to the upper limit threshold set in advance in the cumulative histogram is detected. As the lower limit value of the dynamic range of the subject, the brightness corresponding to the lower limit threshold value preset in the cumulative histogram is detected.
[0078]
When the shooting
[0079]
The exposure
[0080]
Note that the sensitivity leveling unit 61 to the exposure
[0081]
Next, exposure control processing by the automatic
[0082]
In step S <b> 1, the sensitivity uniformization unit 61 equalizes the sensitivity of the pixels of the monitor image that is sequentially generated by the
[0083]
In step S2, the shooting
[0084]
In step S3, the exposure
[0085]
In step S4, the exposure
[0086]
In step S2, the shooting
[0087]
In step S5, the exposure
[0088]
In step S6, the exposure
[0089]
In step S7, the shooting
[0090]
If it is determined in step S7 that the shooting
[0091]
In step S9, the shooting
[0092]
If it is determined in step S9 that the dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0093]
Next, an example of exposure control processing by the automatic
[0094]
FIG. 17 is a cumulative histogram of the monitor image in the process of the automatic exposure control process, and shows an overexposure state. In such a case, since many pixels of the monitor image are saturated, the upper limit value of the cumulative histogram is close to the maximum luminance value (ie, 1).
[0095]
FIG. 18 is another example of a cumulative histogram in the process of automatic exposure control processing, and shows a state of underexposure. In such a case, the luminance of the pixel of the monitor image does not reach the saturation level, and the upper limit value of the cumulative histogram is lower than the saturation level.
[0096]
FIG. 19 shows a cumulative histogram of the monitor image in a state where the exposure control is ended as the dynamic range priority shooting mode.
[0097]
In order to change the overexposure state as shown in FIG. 17 to the state as shown in FIG. 19, the exposure amount is decreased by CD0 (FIG. 17), and the upper limit value of FIG. Control to match the saturation level. On the other hand, in order to change the underexposure state as shown in FIG. 18 to the state as shown in FIG. 19, the exposure amount is increased by CD1 (FIG. 18), and the upper limit value of FIG. Control is performed to match the saturation level of the
[0098]
FIG. 20 shows a cumulative histogram of the monitor image in a state where the exposure control is finished as the resolution priority shooting mode.
[0099]
In order to change the overexposure state as shown in FIG. 17 to the state as shown in FIG. 20, the exposure amount is decreased by Cr0 (FIG. 17), and the upper limit value of FIG. Control to match the saturation level. On the other hand, in order to change the underexposure state as shown in FIG. 18 to the state as shown in FIG. 20, the exposure amount is decreased by CR1 (FIG. 18), and the upper limit value of FIG. Control is performed so as to match the saturation level of the sensitivity pixel 41b. Thereby, in the resolution priority imaging mode, it is possible to acquire an image in the dynamic range of the low sensitivity
[0100]
In the example shown in FIG. 20, since the dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0101]
However, if the shooting
[0102]
Note that the present invention can be applied to any device that performs image processing in addition to the digital still camera as in the present embodiment.
[0103]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a
[0104]
The
[0105]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0106]
【The invention's effect】
As described above, according to the present invention, the resolution priority mode in which interpolation processing is performed with priority on resolution and the dynamic range priority mode in which interpolation processing is performed with priority on expansion of the dynamic range are performed according to the dynamic range of the subject. Further, it is possible to realize a digital still camera that can be used by switching and that does not cause deterioration in image resolution.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining an outline of a method using a sensitivity mosaic image disclosed in
2 shows an example of an image sensor included in the
FIG. 3 is a perspective view showing an appearance of a digital
4 is a top view of the digital
FIG. 5 is a block diagram illustrating an internal configuration example of a
6 is a diagram showing an arrangement of a low-sensitivity
FIG. 7 is a diagram schematically showing sensitivity bands with respect to luminance of a low-sensitivity
FIG. 8 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
FIG. 9 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
FIG. 10 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
FIG. 11 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
12 is a block diagram illustrating a configuration example of the
13 is a block diagram showing a configuration example of an automatic
FIG. 14 is a diagram illustrating an example of a brightness histogram of a monitor image with uniform sensitivity generated by a
FIG. 15 is a diagram illustrating an example of a cumulative histogram of luminance of a monitor image with uniform sensitivity generated by a
FIG. 16 is a flowchart for explaining exposure control processing by an automatic exposure control unit;
FIG. 17 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
FIG. 18 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
FIG. 19 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
FIG. 20 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
[Explanation of symbols]
DESCRIPTION OF
Claims (4)
被写体を撮像して、対応する感度モザイク画像を生成する撮像手段と、
被写体のダイナミックレンジを測定する測定手段と、
複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択手段と、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御手段と、
前記撮影モードに従い、撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理手段とを含み、
前記露出制御手段は、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択手段は、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理手段は、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
ことを特徴とする撮像装置。In an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
Imaging means for imaging a subject and generating a corresponding sensitivity mosaic image;
Measuring means for measuring the dynamic range of the subject;
Selection means for allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
Exposure control means for controlling the exposure during imaging based on the dynamic range of the subject;
Image processing means for generating a wide dynamic range image or a high resolution image based on the captured sensitivity mosaic image according to the shooting mode;
The exposure control means includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection means includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing means includes
Interpolate missing pixels in the dynamic range priority shooting mode,
An imaging apparatus characterized in that interpolation of the missing pixels is omitted in the resolution priority imaging mode.
被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、
被写体のダイナミックレンジを測定する測定ステップと、
複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、
前記撮影モードに従い、前記撮像ステップの処理で撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、
前記露出制御ステップは、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択ステップは、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理ステップは、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
ことを特徴とする撮像方法。In an imaging method of an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
An imaging step of imaging a subject and generating a corresponding sensitivity mosaic image;
A measurement step for measuring the dynamic range of the subject;
A selection step of allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
An exposure control step for controlling the exposure during imaging based on the dynamic range of the subject;
An image processing step of generating a wide dynamic range image or a high-resolution image based on the sensitivity mosaic image captured in the processing of the imaging step according to the shooting mode,
The exposure control step includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection step includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing step includes
Interpolate missing pixels in the dynamic range priority shooting mode,
An imaging method, wherein interpolation of the missing pixels is omitted in the resolution priority imaging mode.
被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、
被写体のダイナミックレンジを測定する測定ステップと、
複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、
前記撮影モードに従い、前記撮像ステップの処理で撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、
前記露出制御ステップは、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択ステップは、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理ステップは、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
処理を撮像装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。A program for controlling an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
An imaging step of imaging a subject and generating a corresponding sensitivity mosaic image;
A measurement step for measuring the dynamic range of the subject;
A selection step of allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
An exposure control step for controlling the exposure during imaging based on the dynamic range of the subject;
An image processing step of generating a wide dynamic range image or a high-resolution image based on the sensitivity mosaic image captured in the processing of the imaging step according to the shooting mode,
The exposure control step includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection step includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing step includes
Interpolate missing pixels in the dynamic range priority shooting mode,
A recording medium on which a program for causing a computer of an imaging apparatus to execute processing for omitting interpolation of the missing pixels in the resolution priority imaging mode is recorded.
被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、
被写体のダイナミックレンジを測定する測定ステップと、
複数の撮影モードのうちの１つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、
前記撮影モードに従い、前記撮像ステップの処理で撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、
前記露出制御ステップは、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択ステップは、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理ステップは、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
処理を撮像装置のコンピュータに実行させることを特徴とするプログラム。A program for controlling an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
An imaging step of imaging a subject and generating a corresponding sensitivity mosaic image;
A measurement step for measuring the dynamic range of the subject;
A selection step of allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
An exposure control step for controlling the exposure during imaging based on the dynamic range of the subject;
An image processing step of generating a wide dynamic range image or a high-resolution image based on the sensitivity mosaic image captured in the processing of the imaging step according to the shooting mode,
The exposure control step includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection step includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing step includes
Interpolate missing pixels in the dynamic range priority shooting mode,
A program that causes a computer of an imaging apparatus to execute processing that omits interpolation of the missing pixels in the resolution priority imaging mode.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002132307A JP4196588B2 (en) | 2002-05-08 | 2002-05-08 | Imaging apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002132307A JP4196588B2 (en) | 2002-05-08 | 2002-05-08 | Imaging apparatus and method, recording medium, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003324656A JP2003324656A (en) | 2003-11-14 |
| JP4196588B2 true JP4196588B2 (en) | 2008-12-17 |
Family
ID=29544461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002132307A Expired - Fee Related JP4196588B2 (en) | 2002-05-08 | 2002-05-08 | Imaging apparatus and method, recording medium, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4196588B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10136079B2 (en) | 2013-10-31 | 2018-11-20 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4556722B2 (en) | 2004-05-31 | 2010-10-06 | コニカミノルタホールディングス株式会社 | Imaging device |
| JP5045788B2 (en) * | 2004-05-31 | 2012-10-10 | コニカミノルタホールディングス株式会社 | Imaging device |
| JP2007259344A (en) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | Imaging apparatus and image processing method |
| JP2007288522A (en) * | 2006-04-17 | 2007-11-01 | Fujifilm Corp | Imaging apparatus and solid-state imaging device driving method |
| JP2008104009A (en) * | 2006-10-19 | 2008-05-01 | Sony Corp | Imaging apparatus and method |
| JP5292689B2 (en) * | 2006-10-31 | 2013-09-18 | 日本電気株式会社 | Thermal infrared imaging apparatus and its operation method |
| JP2008187615A (en) | 2007-01-31 | 2008-08-14 | Canon Inc | Imaging device, imaging apparatus, control method, and program |
| JP5188101B2 (en) * | 2007-06-01 | 2013-04-24 | 株式会社キーエンス | Magnification observation apparatus, magnified image photographing method, magnified image photographing program, and computer-readable recording medium |
| JP5347707B2 (en) | 2008-08-20 | 2013-11-20 | 株式会社リコー | Imaging apparatus and imaging method |
| JP5315125B2 (en) * | 2009-05-20 | 2013-10-16 | 株式会社メガチップス | Image processing apparatus, imaging apparatus, and composite image generation method |
| JP5627252B2 (en) * | 2010-03-01 | 2014-11-19 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP2013187572A (en) * | 2012-03-05 | 2013-09-19 | Honda Motor Co Ltd | Image processing apparatus |
| JP5597243B2 (en) * | 2012-12-21 | 2014-10-01 | キヤノン株式会社 | Imaging device |
| KR102023501B1 (en) | 2013-10-02 | 2019-09-20 | 삼성전자주식회사 | System on chip including configurable image processing pipeline, and system including the same |
| JP5791765B2 (en) * | 2014-06-25 | 2015-10-07 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP6338471B2 (en) * | 2014-07-01 | 2018-06-06 | キヤノン株式会社 | Imaging apparatus, control method, and program |
| JP7016712B2 (en) * | 2018-02-02 | 2022-02-07 | キヤノン株式会社 | Image pickup device, control method of image pickup device, and program |
-
2002
- 2002-05-08 JP JP2002132307A patent/JP4196588B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10136079B2 (en) | 2013-10-31 | 2018-11-20 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
| US10419694B2 (en) | 2013-10-31 | 2019-09-17 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003324656A (en) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4196588B2 (en) | Imaging apparatus and method, recording medium, and program | |
| JP4770907B2 (en) | Imaging apparatus, imaging method, and program | |
| US9113086B2 (en) | Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same | |
| JP4773179B2 (en) | Imaging device | |
| US8289441B2 (en) | Imaging apparatus and imaging control method | |
| JP3430994B2 (en) | camera | |
| JP4542058B2 (en) | Imaging apparatus and imaging method | |
| WO2015190156A1 (en) | Image processing device, imaging device equipped with same, image processing method, and image processing program | |
| JP5759190B2 (en) | Imaging apparatus and control method thereof | |
| US7705883B2 (en) | Systems and methods of anti-aliasing with image stabilizing subsystems for cameras | |
| JP5257487B2 (en) | Imaging apparatus, imaging method, and program | |
| KR20090095920A (en) | Apparatus for Photographing Digital Images, Method of Controlling Exposure, Method of Photographing Digital Images, and Computer Readable Recording Medium Storing Program for the Same Method of Photographing | |
| JP5048599B2 (en) | Imaging device | |
| JP2001094882A (en) | Image pickup device and its signal processing method | |
| US8149291B2 (en) | Image capture apparatus, control method thereof, program, and storage medium | |
| JP4672933B2 (en) | Imaging device | |
| JP2007027984A (en) | Photographic apparatus and control method thereof | |
| JP4047000B2 (en) | Imaging apparatus and imaging method | |
| JP4003246B2 (en) | Video camera equipment | |
| JP2006262221A (en) | Imaging apparatus and image processing method | |
| JP2004343177A (en) | Imaging apparatus | |
| JP2015037222A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6900577B2 (en) | Image processing equipment and programs | |
| JP2002116477A (en) | Image pickup device | |
| JPH05115045A (en) | Exposure control circuit for picture input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080909 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080922 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |