JP4196588B2 - Imaging apparatus and method, recording medium, and program - Google Patents
Imaging apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP4196588B2 JP4196588B2 JP2002132307A JP2002132307A JP4196588B2 JP 4196588 B2 JP4196588 B2 JP 4196588B2 JP 2002132307 A JP2002132307 A JP 2002132307A JP 2002132307 A JP2002132307 A JP 2002132307A JP 4196588 B2 JP4196588 B2 JP 4196588B2
- Authority
- JP
- Japan
- Prior art keywords
- dynamic range
- shooting mode
- sensitivity
- subject
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、例えば、広ダイナミックレンジの画像信号を取得するダイナミックレンジ優先撮影モードと、高解像度の画像信号を取得する解像度優先撮影モードを適応的に切り替える場合に用いて好適な撮像装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【背景の技術】
従来、CCD(Charge Coupled Device)、CMOS(Complementary Mental-Oxide Semiconductor)などの固体撮像素子を用いたディジタルスチルカメラによって取得する画像信号のダイナミックレンジを広域化する技術がある。
【0003】
この技術は、例えば、シャッタ速度および絞りを調整することによって露出を変化させて連続的に撮影する方法、感度が異なる複数の撮像素子を用いる方法、感度モザイク画像(後述)を用いる方法などがある。
【0004】
感度モザイク画像を用いる方法は、例えば、文献「S. K. Nayar and T. Mitsunaga, “High Dynamic Range Imaging: Spatially Varying Pixel Exposures”, Proc. of Computer Vision and Pattern Recognition 2000, Vol. 1, pp. 472-479, June, 2000」(以下、文献1と記述する)には、開示されている。
【0005】
文献1に開示されている感度モザイク画像を用いる方法の概要について、図1を参照して説明する。撮像部1は、被写体の光学像を集光するレンズ、光の入射量を制限する絞り、および複数の受光素子からなる撮像素子など(いずれも不図示)から構成される。
【0006】
図2は、撮像素子の一例を示している。1個の矩形が1個の受光素子に相当する。撮像素子を構成する受光素子のうち、例えば図示するように市松模様状に位置する受光素子3aは、光の透過を制限するND(Neutral Density)フィルタ等で覆われている。それに対して、受光素子3bは、光の透過を制限するNDフィルタ等で覆われていない。
【0007】
これにより、受光素子3aは、被写体のダイナミックレンジに対して、主に明るい方の帯域に感度を有することとなり、受光素子3bは、被写体のダイナミックレンジに対して、主に暗い方の帯域に感度を有することとなる。
【0008】
したがって、このような撮像素子からなる撮像部1が出力する画像は、隣接する画素の撮影時の感度が異なるものとなる。以下、このような画像を、感度モザイク画像を記述する。
【0009】
画像処理部2は、撮像部1によって撮影された感度モザイク画像を、全ての画素の撮影時の感度が均一になるように空間的に補間して広ダイナミックレンジ画像を生成する。
【0010】
上述した感度モザイク画像を撮影する方法によれば、連続的に露出することなく、1回の露出で広ダイナミックレンジ画像を取得することができる。また、複数の撮像素子を必要とせず、1つの撮像素子を用いるので、装置規模の大型化と製造コストの増加を抑えることが可能である。
【0011】
【発明が解決しようとしている課題】
しかしながら、上述した感度モザイク画像を撮影する方法では、各受光素子が被写体の異なる輝度帯域を撮像しているので、撮影された感度モザイク画像のうち、日向や照明が当たる明るい方の領域では、高感度の受光素子3bに蓄積される電荷が飽和したものとなってしまい、反対に、日陰や照明の当たらない暗い方の領域では、低感度の受光素子3aに蓄積される電荷はノイズに埋もれたものとなってしまう。
【0012】
したがって、撮影された感度モザイク画像のうち、明るすぎる領域や暗すぎる領域では、信頼できる信号のサンプリング周波数が低下してしまい、このような感度モザイク画像を補間して得られる広ダイナミックレンジ画像の解像度が劣化してしまうという課題があった。
【0013】
さらに、上述した感度モザイク画像を撮影する方法では、ダイナミックレンジの拡大を目的としているため、被写体の実際のダイナミックレンジが狭い場合においても、ダイナミックレンジを拡大するように処理してしまうので、それに起因して、最終的に得られる画像の解像度が劣化してしまうことがあった。
【0014】
ところで、特開2000−78463号公報には、露出時間が異なる2つの撮像素子を備え、広ダイナミックレンジ優先モード、画質優先モード、および中間モードを手動で切り替えることができる画像取り込み装置が開示されているが、このような2つの撮像素子を備える装置は、単板式撮像素子を用いる装置に比較して、装置の小型化や製造コストの削減が不利である課題があった。
【0015】
本発明はこのような状況に鑑みてなされたものであり、解像度を優先して補間処理を行う解像度優先モードと、ダイナミックレンジの拡大を優先して補間処理を行うダイナミックレンジ優先モードを設け、被写体のダイナミックレンジに応じてこれらのモードを切り替えて使用することにより、解像度の劣化を引き起こさずに撮影することができるディジタルスチルカメラを実現することを目的とする。
【0016】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像して、対応する感度モザイク画像を生成する撮像手段と、被写体のダイナミックレンジを測定する測定手段と、複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択手段と、被写体のダイナミックレンジに基づいて、撮像手段の露出を制御する露出制御手段と、撮影モードに従い、撮像手段によって撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理手段とを含み、露出制御手段は、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択手段は、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理手段は、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略することを特徴とする。
【0017】
本発明の撮像方法は、被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、被写体のダイナミックレンジを測定する測定ステップと、複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、撮影モードに従い、撮像ステップの処理で撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、露出制御ステップは、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択ステップは、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理ステップは、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略することを特徴とする。
【0018】
本発明の記録媒体は、被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、被写体のダイナミックレンジを測定する測定ステップと、複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、撮影モードに従い、撮像ステップの処理で撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、露出制御ステップは、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択ステップは、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理ステップは、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略する処理を撮像装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【0019】
本発明のプログラムは、被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、被写体のダイナミックレンジを測定する測定ステップと、複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、撮影モードに従い、撮像ステップの処理で撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、露出制御ステップは、ダイナミックレンジ優先撮影モードにおいて、低感度の受光素子によって撮像された低感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、解像度優先撮影モードにおいて、高感度の受光素子によって撮像された高感度画素の飽和レベルが被写体のダイナミックレンジの上限値に一致するように露出を制御し、選択ステップは、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、撮影モードをダイナミックレンジ優先撮影モードに決定し、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも狭い場合、撮影モードを解像度優先撮影モードに決定し、画像処理ステップは、ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、解像度優先撮影モードにおいて欠落画素の補間を省略する処理を撮像装置のコンピュータに実行させることを特徴とする。
【0020】
本発明においては、被写体のダイナミックレンジが測定され、複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードが自動的に選択され、被写体のダイナミックレンジに基づいて、撮像時の露出が制御される。そして、撮影モードに従って、撮像された感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像が生成される。
【0026】
【発明の実施の形態】
以下、本発明を適用したディジタルスチルカメラの構成例について、図を参照して説明する。図3は、本発明を適用したディジタルスチルカメラの外観を示す斜視図である。このディジタルスチルカメラ11の正面には、レンズ12が設けられている。ディジタルスチルカメラ11の上面には、撮影タイミングを指示するためのレリーズボタン13、撮影モードを設定するための撮影モードスイッチ14、および露出モードを設定するための露出モードダイヤル15が設けられている。
【0027】
図4は、ディジタルスチルカメラ11の上面図である。レリーズボタン13は、ユーザが露出制御の開始を指示するときに半押しすることができ、撮影タイミングを指示するときに全押しすることができるようになされている。
【0028】
撮影モードスイッチ14は、通常のダイナミックレンジであって解像度劣化が少ない高解像画像を取得できる解像度優先(HR)撮影モード、通常のダイナミックレンジよりも広いダイナミックレンジの画像信号を取得できるダイナミックレンジ優先(WDR)撮影モード、および解像度優先撮影モードまたはダイナミックレンジ優先撮影モードを自動的に選択する自動選択(AUTO)撮影モードのいずれかの撮影モードをユーザが選択できるようになされている。
【0029】
露出モードダイヤル15は、予め設定されたシャッタ速度と絞りで露出量が決定されるプログラム(P)自動露出モード、絞りを優先して露出量が決定される絞り優先(A)自動露出モード、シャッタ速度を優先して露出量が決定されるシャッタ優先(S)自動露出モード、または撮影度にユーザがシャッタ速度と絞りを決定するマニュアル(M)露出のいずれかの露出をユーザが選択できるようになされている。
【0030】
図5は、ディジタルカメラ11の内部構成例を示している。撮像部21は、被写体の光学像を集光するレンズ12、光の入射量を制限する絞り22、入射光の透過を制限するNDフィルタ23、および複数の受光素子からなる単板式固体撮像素子24から構成される。なお、NDフィルタ23の代わりに、光の透過を制限する他のフィルタ等を用いてもよい。
【0031】
図6は、単板式固体撮像素子24の構成を示している。1個の矩形が1個の受光素子に相当する。単板式固体撮像素子24を構成する受光素子のうち、例えば図示するように市松模様状に配置された受光素子41aだけが、光の透過を制限するNDフィルタ23で覆われている。それに対して、受光素子41bは、光の透過を制限するNDフィルタ23で覆われていない。
【0032】
これにより、受光素子41aは、被写体のダイナミックレンジに対して、主に明るい方の帯域に感度を有することとなり、受光素子41bは、被写体のダイナミックレンジに対して、主に暗い方の帯域に感度を有することとなる。以下、受光素子41aを低感度受光素子41a、受光素子41bを高感度受光素子41bとも記述する。
【0033】
さらに、単板式固体撮像素子24の各受光素子は、RGB等の各色成分が例えばベイヤ配列をなしている色フィルタ(不図示)に覆われている。
【0034】
このように構成される撮像部21は、隣り合う画素の撮影時の感度が異なり、また、隣り合う画素の有する色成分が異なる画像を撮像し、画像処理部25に供給する。以下、撮像部21によって画像処理部25に供給される画像を、感度モザイク画像と記述する。
【0035】
また、撮像部21は、例えば、感度モザイク画像の画素を行単位で間引くことにより、逐次、モニタ画像を生成して自動露出制御部26に出力する。なお、モニタ画像は、高感度で撮影された画素と低感度で撮影された画素の配置や割合、各色成分を有する画素の配置や割合が、感度モザイク画像のそれと同一となるようになされている。
【0036】
画像処理部25は、設定される撮影モードに対応し、撮像部21が生成した感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する。自動露出制御部26は、撮像部21が生成したモニタ画像に基づき、設定される撮影モードに対応して撮像部21の露出を制御する。
【0037】
制御部27は、記録媒体28に記憶されている制御用プログラムと操作部29から入力される操作信号に基づいて自動露出制御部26および画像処理部25を制御する。
【0038】
レリーズボタン13乃至露出モードダイヤル15に相当する操作部29は、レリーズボタン13乃至露出モードダイヤル15に対するユーザの操作に対応する操作信号を制御部27に出力する。
【0039】
図7は、単板式固体撮像素子24を構成する低感度受光素子41aおよび高感度受光素子41bそれぞれの輝度に対する感度帯域を模式的に示している。図示するように、低感度受光素子41aと高感度受光素子41bのダイナミックレンジ(すなわち、感度帯域の幅)は同一であり、それぞれの感度帯域の一部が重なるようになされている。この重なり具合は、撮像部21に設けられるNDフィルタ23の透過率によって決定される。したがって、低感度受光素子41aの感度帯域と高感度受光素子41bの感度帯域との相対的な位置関係は、NDフィルタ23の透過率を変えない限り固定とされている。
【0040】
なお、低感度受光素子41aの感度帯域と高感度受光素子41bの感度帯域は、その相対的な位置関係を崩すことなく、設定される撮影モードに対応して制御される撮像部21の露出(シャッタ速度および絞り)に応じて、任意の方向にシフトされる。
【0041】
ここで、撮影モードに対応して制御される低感度受光素子41aおよび高感度受光素子41bそれぞれの感度帯域の関係について、図8乃至図11に示すヒストグラムを参照して説明する。なお、図8乃至図11において、各横軸は、輝度レベルの対数を示しており、縦軸は、分布の度数を示している。
【0042】
始めに、ダイナミックレンジ優先撮影モードに対応する低感度受光素子41aおよび高感度受光素子41bそれぞれの感度帯域の制御について説明する。ダイナミックレンジ優先撮影モードにおいては、被写体のダイナミックレンジのうち、明るい方の領域を低感度受光素子41aが受け持ち、暗い方の領域を高感度受光素子41bが受け持つように自動露出を制御する。具体的には、被写体の輝度ヒストグラムの上限値に、低感度受光素子41aの飽和レベルが一致するように撮像素子21の露出が制御される。
【0043】
なお、ダイナミックレンジ優先撮影モードにおいて、低感度受光素子41aおよび高感度受光素子41bのノイズレベルよりも低い輝度の画素はノイズ成分が支配的であってその値の信頼性が低いので、切り捨てるようになされている。また、それぞれの飽和レベルよりも高い輝度の画素は、その値が被写体の実際の輝度に対応していないので、切り捨てるようになされている。なお、切り捨てられた画素(欠落画素)は、周囲の画素を用いた補間によって復元される。その詳細は後述する。
【0044】
図8は、被写体の輝度ダイナミックレンジが、低感度受光素子41aのダイナミックレンジ(または高感度受光素子41bのダイナミックレンジ)よりも広い場合の例を示している。
【0045】
図8Aは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを3つに領域に分割して領域a乃至cと記述する。
【0046】
図8Bは、低感度受光素子41aのダイナミックレンジ(両矢印で示す)と低感度受光素子41aに対応する画素(以下、低感度画素と記述する)の輝度ヒストグラムを示している。図示するように、低感度受光素子41aでは、被写体の輝度ヒストグラムの暗い方の領域aの情報が欠落したものとなる。なお、低感度受光素子41aのダイナミックレンジの下限側の分布は、被写体の輝度ヒストグラムの暗い方の領域aの存在に起因して、被写体の輝度ヒストグラムよりも度数が高くなる。
【0047】
図8Cは、高感度受光素子41bのダイナミックレンジ(両矢印で示す)と高感度受光素子41bに対応する画素(以下、高感度画素と記述する)の輝度ヒストグラムを示している。図示するように、高感度受光素子41bでは、被写体の輝度ヒストグラムの明るい方の領域cの情報が欠落したものとなる。なお、高感度受光素子41bのダイナミックレンジの上限側の分布は、被写体の輝度ヒストグラムの明るい方の領域cの存在に起因して、被写体の輝度ヒストグラムよりも度数が高くなる。
【0048】
図8の場合、明るい方の領域cは、低感度受光素子41aによって情報が取得され、暗い方の領域aは、高感度受光素子41bによって情報が取得されるので、これらの情報を空間的に補間することにより、広ダイナミックレンジ画像を生成することができる。このとき、中間の領域bでは、高感度画素および低感度画素の情報があるので解像度の劣化は生じないが、暗い方の領域aおよび明るい方の領域cでは、高感度画素または低感度画素の一方しか情報がないので、解像度の劣化が生じる。
【0049】
また、図8のように、被写体のダイナミックレンジが受光素子のダイナミックレンジよりも広い場合、通常の撮像素子で発生するような白とび(飽和)や黒つぶれ(ノイズ)を引き起こさない広ダイナミックレンジ画像を出力することができる。
【0050】
図9は、被写体の輝度ダイナミックレンジが、低感度受光素子41aのダイナミックレンジ(または高感度受光素子41bのダイナミックレンジ)よりも狭い場合の例を示している。
【0051】
図9Aは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを2つの領域に分割して領域d,eと記述する。
【0052】
図9Bは、低感度受光素子41aのダイナミックレンジ(両矢印で示す)と低感度画素の輝度ヒストグラムを示している。図示するように、低感度受光素子41aは、被写体の輝度ヒストグラムの全ての領域d,eの情報を取得できることになる。
【0053】
図9Cは、高感度受光素子41bのダイナミックレンジ(両矢印で示す)と高感度画素の輝度ヒストグラムを示している。図示するように、高感度受光素子41bでは、被写体の輝度ヒストグラムの明るい方の領域eの情報が欠落したものとなる。なお、高感度受光素子41bのダイナミックレンジの上限側の分布は、被写体の輝度ヒストグラムの明るい方の領域eの存在に起因して、被写体の輝度ヒストグラムよりも度数が高くなる。
【0054】
図9の場合、輝度ヒストグラムの全ての領域d,eは、低感度受光素子41aによって情報が取得され、暗い方の領域dは、高感度受光素子41bによって情報が取得されるので、これらの情報を空間的に補間することにより、広ダイナミックレンジ画像を生成することができる。このとき、暗い方の領域dでは、高感度画素および低感度画素の情報があるので解像度の劣化は生じないが、明るい方の領域eでは、低感度画素の一方しか情報がないので、解像度の劣化が生じる。また、暗い領域dでは、高感度画素は信号対雑音比(SNR)が大きいため、低感度画素のみで撮像する場合(通常のCCDカメラの露出設定)に比べてSNRが向上する。
【0055】
次に、解像度優先撮影モードに対応する低感度受光素子41aおよび高感度受光素子41bそれぞれの感度帯域の制御について説明する。解像度優先撮影モードは、被写体のダイナミックレンジが、図10に示すように、低感度受光素子41aのダイナミックレンジ(または高感度受光素子41bのダイナミックレンジ)よりも狭い場合に適した撮影モードである。
【0056】
解像度優先撮影モードにおいては、飽和する画素が発生しないように、具体的には、被写体の輝度ヒストグラムの上限値に、高感度受光素子41bの飽和レベルが一致するように撮像素子21の露出が制御される。
【0057】
なお、解像度優先撮影モードにおいて、低感度受光素子41aおよび高感度受光素子41bのノイズレベルよりも低い輝度の画素はノイズ成分が支配的ではあるが、欠落画素の補間を行わないので、そのまま保持するようになされている。
【0058】
図10Aは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを2つに領域に分割して領域f,gと記述する。
【0059】
図10Bは、低感度受光素子41aのダイナミックレンジ(両矢印で示す)と低感度画素の輝度ヒストグラムを示している。図示するように、低感度受光素子41aでは、被写体の輝度ヒストグラムの全ての領域f,gの情報を取得することができる。しかしながら、ノイズレベルを下回る領域fはノイズ成分が支配的になるために被写体のヒストグラムを正しく保存できていない。
【0060】
図10Cは、高感度受光素子41bのダイナミックレンジ(両矢印で示す)と高感度画素の輝度ヒストグラムを示している。図示するように、高感度受光素子41bでは、被写体の輝度ヒストグラムの全ての領域f,gの情報を取得することができる。
【0061】
図10の場合、被写体の輝度ヒストグラムの明るい方の領域gでは、画素欠落が発生せず解像度が維持される。一方、暗い方の領域fでは、ノイズレベルを下回る輝度の画素ではノイズ成分が支配的になっているが、高感度画素を用いてある程度のノイズ除去を行うことが可能である。また、暗い方の領域fでは視覚的にも感受性が低いために輝度の増幅を行わない限りノイズが目立つことはない。
【0062】
図11は、被写体のダイナミックレンジが、低感度受光素子41aのダイナミックレンジ(または高感度受光素子41bのダイナミックレンジ)よりも広い場合の例を示している。
【0063】
図11Aは、被写体の輝度ヒストグラムを示している。以下、被写体の輝度ヒストグラムを5つに領域に分割して領域h乃至lと記述する。
【0064】
図11Bは、低感度受光素子41aのダイナミックレンジ(両矢印で示す)と低感度画素の輝度ヒストグラムを示している。図示するように、低感度受光素子41aでは、被写体の輝度ヒストグラムのうち、領域k,lの情報を取得することができる。ただし、ノイズレベルを下回る領域kはノイズ成分が支配的となる。また、低感度受光素子41aでは、領域h乃至jの情報を取得することができない。
【0065】
図11Cは、高感度受光素子41bのダイナミックレンジ(両矢印で示す)と高感度画素の輝度ヒストグラムを示している。図示するように、高感度受光素子41bでは、被写体の輝度ヒストグラムのうち、領域i乃至lの情報を取得することができる。
【0066】
図11の場合、明るい方の領域lでは低解像度画素と高解像度画素が存在するので解像度が維持されているが、低感度受光素子41aのノイズレベル以下の領域kではノイズが目立ち、さらに低感度受光素子41aのダイナミックレンジよりも暗い領域i,jでは解像度劣化が発生する。さらに、高感度受光素子41bのダイナミックレンジよりも暗い領域hでは全ての画素の情報が欠落してしまう。したがって、解像度優先モードでは、受光素子のダイナミックレンジよりも広いダイナミックレンジを撮像することはできない。
【0067】
次に、図12は、画像処理部25の構成例を示している。画像処理部25は、撮影モード選択部63によって決定される撮影モードに従って動作する。図中において、実線はダイナミックレンジ優先撮影モードにおける画像信号の流れを示し、破線は解像度優先撮影モードにおける画像信号の流れを示している。
【0068】
ダイナミックレンジ優先撮影モードにおいて、第1クリッピング部51は、撮像部21からの感度モザイク画像のうち、低感度受光素子41aと高感度受光素子41bのそれぞれの飽和レベルを上回る画素を飽和レベルで置換(クリッピング)し、それぞれのノイズレベルを下回る画素をノイズレベルで置換(クリッピング)する。
【0069】
ダイナミックレンジ優先撮影モードにおいて、感度均一化部52は、第1クリッピング部51から入力されるクリッピングされた感度モザイク画像の各画素に所定のゲインを乗算して、全ての画素の撮影時における感度を均一化する。以下、感度が均一化された画像を、感度均一化画像と記述する。
【0070】
ダイナミックレンジ優先撮影モードにおいて、欠落画素補間部54は、感度均一化部52からの感度均一化画像のうち、第1クリッピング部51によってクリッピングされた画素(すなわち、正しい値を有していない欠落画素)を、周囲の画素を用いて補間する。
【0071】
ダイナミックレンジ優先撮影モードにおいて、カラーデモザイク部55は、欠落画素補間部54からの各画素が単一の色成分だけを有する画像に色補間処理を施すことにより、各画素が全ての色成分を有している画像、すなわち、広ダイナミック画像を生成する。
【0072】
解像度優先撮影モードにおいて、感度均一化部52は、撮像部21から入力される感度モザイク画像の各画素に所定のゲインを乗算して、全ての画素の撮影時における感度を均一化する。
【0073】
解像度優先撮影モードにおいて、第2クリッピング部53は、感度均一化部52からの感度均一化画像のうち、予め設定された飽和レベルを上回る画素を飽和レベルで置換する。なお、第2クリッピング部53では、ノイズレベルを下回る画素のクリッピングは行われない。
【0074】
解像度優先撮影モードにおいて、カラーデモザイク部55は、第2クリッピング部53からの各画素が単一の色成分だけを有する画像に色補間処理を施すことにより、各画素が全ての色成分を有している画像、すなわち高解像度画像を生成する。
【0075】
図13は、自動露出制御部26の構成例を示している。感度均一化部61は、撮像部21からの高感度画素と低感度画素からなるモニタ画像の各画素に所定のゲインを乗算することによって、全ての画素の撮影時における感度を均一化する。
【0076】
ヒストグラム検波部62は、図14に示すような感度が均一化されたモニタ画像の輝度のヒストグラムを生成し、さらに、図15に示すような累積ヒストグラムを生成して、被写体のダイナミックレンジの上限値と下限値を検出する。
【0077】
なお、図14および図15において、横軸は、感度が均一化されたモニタ画像の輝度を1で正規化した値を示しており、縦軸は、度数を1で正規化した値を示している。被写体のダイナミックレンジの上限値としては、累積ヒストグラムにおいて予め設定されている上限閾値に対応する輝度を検出する。被写体のダイナミックレンジの下限値としては、累積ヒストグラムにおいて予め設定されている下限閾値に対応する輝度を検出する。
【0078】
撮影モード選択部63は、撮影モード選択スイッチ14が自動選択撮影モードのスイッチングされている場合、ヒストグラム検波部62によって検出された被写体のダイナミックレンジに基づき、撮影モードを解像度優先撮影モードまたはダイナミックレンジ優先撮影モードに決定する。撮影モード選択部63によって選択された撮影モード(解像度優先撮影モード、またはダイナミックレンジ優先撮影モード)は、制御部27を介して画像処理部25に通知される。
【0079】
露出量算出部64は、ユーザまたは撮影モード選択部63によって決定された撮影モードおよびヒストグラム検波部62で検出されるダイナミックレンジの上限値に基づき、絞り22の設定値とシャッタ速度の設定値を決定して、対応する制御信号を撮像部21に出力する。
【0080】
なお、自動露出制御部26を構成する感度均一化部61乃至露出量算出部64は、露出制御が目標値になるまで繰り返し動作するようになされている。
【0081】
次に、自動露出制御部26による露出制御処理について、図16のフローチャートを参照して説明する。この露出制御処理は、レリーズボタン13が半押しされたときに開始される。
【0082】
ステップS1において、感度均一化部61は、撮像部21によって逐次生成されるモニタ画像の画素の感度を均一化する。ヒストグラム検波部62は、感度が均一化されたモニタ画像の輝度のヒストグラムを生成し、さらに累積ヒストグラムを生成して、被写体のダイナミックレンジの上限値と下限値を検出する。
【0083】
ステップS2において、撮影モード選択部63は、撮影モード選択スイッチ14が解像度優先撮影モードにスイッチングされているか、あるいは撮影モード選択スイッチ14が自動選択撮影モードにスイッチングされていて、かつ、後述するステップS10の処理において撮影モードを解像度優先撮影モードに決定したか否かを判定する。撮影モード選択スイッチ14が解像度優先撮影モードにスイッチングされている、あるいは撮影モード選択スイッチ14が自動選択撮影モードにスイッチングされていて、かつ、自己が撮影モードを解像度優先撮影モードに決定したと判定された場合、処理はステップS3に進む。
【0084】
ステップS3において、露出量算出部64は、ヒストグラム検波部62で検出される被写体のダイナミックレンジの上限値に基づき、現在の露出が解像度優先撮影モードの目標とする状態(被写体のダイナミックレンジの上限値と、高感度受光素子41bの飽和レベルが一致した状態)であるか否かを判定する。現在の露出が解像度優先撮影モードの目標とする状態ではないと判定された場合、処理はステップS4に進む。
【0085】
ステップS4において、露出量算出部64は、被写体のダイナミックレンジの上限値と、高感度受光素子41bの飽和レベルが一致するように、絞り22の設定値とシャッタ速度の設定値を決定して、対応する制御信号を撮像部21に出力する。処理はステップS1に戻り、それ以降の処理が繰り返され、ステップS3において、現在の露出が解像度優先撮影モードの目標とする状態であると判定された場合、露出制御処理は終了される。この後、レリーズボタン13が全押しされれば、適切な露出の高感度画像が生成されることになる。
【0086】
ステップS2において、撮影モード選択スイッチ14が解像度優先撮影モードにスイッチングされていない、あるいは撮影モード選択スイッチ14が自動選択撮影モードにスイッチングされていて、かつ、後述するステップ10の処理において撮影モードが解像度優先撮影モードに決定していないと判定された場合、処理はステップS5に進む。
【0087】
ステップS5において、露出量算出部64は、ヒストグラム検波部62で検出される被写体のダイナミックレンジの上限値に基づき、現在の露出がダイナミックレンジ優先撮影モードの目標とする状態(被写体のダイナミックレンジの上限値と、低感度受光素子41aの飽和レベルが一致した状態)であるか否かを判定する。現在の露出がダイナミックレンジ優先撮影モードの目標とする状態ではない判定された場合、処理はステップS6に進む。
【0088】
ステップS6において、露出量算出部64は、被写体のダイナミックレンジの上限値と、低感度受光素子41aの飽和レベルが一致するように、絞り22の設定値とシャッタ速度の設定値を決定して、対応する制御信号を撮像部21に出力する。処理はステップS1に戻り、それ以降の処理が繰り返され、ステップS5において、現在の露出がダイナミックレンジ優先撮影モードの目標とする状態であると判定された場合、処理はステップS7に進む。
【0089】
ステップS7において、撮影モード選択部63は、撮影モード選択スイッチ14がダイナミックレンジ優先撮影モードにスイッチングされているか否かを判定する。撮影モード選択スイッチ14がダイナミックレンジ優先撮影モードにスイッチングされていると判定された場合、露出制御処理は終了される。この後、レリーズボタン13が全押しされれば、適切な露出の高感度画像が生成されることになる。
【0090】
ステップS7において、撮影モード選択部63は、撮影モード選択スイッチ14がダイナミックレンジ優先撮影モードにスイッチングされていないと判定された場合、すなわち、撮影モード選択スイッチ14が自動選択露出モードにスイッチングされていると判定された場合、処理はステップS8に進む。ステップS8において、ヒストグラム検波部62は、被写体の累積ヒストグラムに基づき、被写体のダイナミックレンジを算出する。
【0091】
ステップS9において、撮影モード選択部63は、被写体のダイナミックレンジが、低感度受光素子41a(または高感度受光素子41b)のダイナミックレンジよりも広いか否かを判定する。被写体のダイナミックレンジが、低感度受光素子41a(または高感度受光素子41b)のダイナミックレンジよりも広くないと判定された場合、処理はステップS10に進む。ステップS10において、撮影モード選択部63は、撮影モードをダイナミックレンジ優先撮影モードに決定し、制御部27を介して画像処理部25に通知する。露出制御処理は終了される。この後、レリーズボタン13が全押しされれば、適切な露出の高感度画像が生成されることになる。
【0092】
ステップS9において、被写体のダイナミックレンジが、低感度受光素子41a(または高感度受光素子41b)のダイナミックレンジよりも広いと判定された場合、処理はステップS11に進む。ステップS11において、撮影モード選択部63は、撮影モードを解像度優先撮影モードに決定し、制御部27を介して画像処理部25に通知する。処理はステップS2に戻り、それ以降の処理が繰り返される。以上、自動露出制御部26による露出制御処理の説明を終了する。
【0093】
次に、自動露出制御部26による露出制御処理の一例について、図17乃至図20を参照して説明する。なお、図17乃至図20は、同一の被写体に対応するモニタ画像であり、横軸は感度が均一化されたモニタ画像の輝度を1で正規化した値を示しており、縦軸は度数を1で正規化した値を示している。
【0094】
図17は、自動露出制御処理の過程におけるモニタ画像の累積ヒストグラムのであり、過露出の状態を示している。このような場合、モニタ画像の画素は飽和してしまうものが多いので、累積ヒストグラムの上限値は、輝度の最大値(すなわち、1)に近い値になっている。
【0095】
図18は、自動露出制御処理の過程における累積ヒストグラムの他の一例であり、露出不足の状態を示している。このような場合、モニタ画像の画素の輝度は飽和レベルに達しておらず、累積ヒストグラムの上限値は飽和レベルよりも低い値になっている。
【0096】
図19は、ダイナミックレンジ優先撮影モードとして露出制御が終了された状態のモニタ画像の累積ヒストグラムを示している。
【0097】
図17のような過露出の状態を、図19のような状態とするためには、露出量をCD0(図17)だけ減少させて、図17の上限値が図19に示す低感度画素41aの飽和レベルに一致するように制御する。反対に、図18のような露出不足の状態を、図19のような状態とするためには、露出量をCD1(図18)だけ増加させて、図18の上限値が図19に示す低感度画素41aの飽和レベルに一致するように制御する。これにより、ダイナミックレンジ優先撮影モードでは、低感度受光素子41aおよび高感度受光素子41bからなる単板式固体撮像素子24が有するダイナミックレンジを最大限に活用することが可能となる。
【0098】
図20は、解像度優先撮影モードとして露出制御が終了された状態のモニタ画像の累積ヒストグラムを示している。
【0099】
図17のような過露出の状態を、図20のような状態とするためには、露出量をCr0(図17)だけ減少させて、図17の上限値が図20に示す高感度画素41bの飽和レベルに一致するように制御する。反対に、図18のような露出不足の状態を、図20のような状態とするためには、露出量をCR1(図18)だけ減少させて、図18の上限値が図20に示す高感度画素41bの飽和レベルに一致するように制御する。これにより、解像度優先撮影モードでは、低感度受光素子41a(または高感度受光素子41b)のダイナミックレンジで画像取得することが可能である。
【0100】
なお、図20に示した例では、被写体のダイナミックレンジが低感度受光素子41a(または高感度受光素子41b)のダイナミックレンジよりも広いので、暗い部分はつぶれてしまっている。
【0101】
ただし、撮影モード選択スイッチ14が自動選択撮影モードにスイッチングされていれば、このように被写体のダイナミックレンジが低感度受光素子41a(または高感度受光素子41b)のダイナミックレンジよりも広い場合には、ダイナミックレンジ優先撮影モードに決定されるので、図19に示すような結果を得ることができる。
【0102】
なお、本発明は、本実施の形態のようなディジタルスチルカメラの他、画像処理を実施するあらゆる機器に適用することが可能である。
【0103】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、例えば図5の記録媒体28からインストールされる。
【0104】
この記録媒体25は、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【0105】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0106】
【発明の効果】
以上のように、本発明によれば、解像度を優先して補間処理を行う解像度優先モードと、ダイナミックレンジの拡大を優先して補間処理を行うダイナミックレンジ優先モードを、被写体のダイナミックレンジに応じて切り替えて使用することができ、さらに、画像の解像度の劣化を引き起こすことがないディジタルスチルカメラを実現することが可能となる。
【図面の簡単な説明】
【図1】文献1に開示されている感度モザイク画像を用いる方法の概要を説明するためのブロック図である。
【図2】図1の撮像部1に含まれる撮像素子の一例を示している。
【図3】本発明を適用したディジタルスチルカメラ11の外観を示す斜視図である。
【図4】ディジタルスチルカメラ11の上面図である。
【図5】ディジタルカメラ11の内部構成例を示すブロック図である。
【図6】図5の単板式固体撮像素子24を構成する低感度受光素子41aおよび高感度受光素子41bの配置を示す図である。
【図7】単板式固体撮像素子24を構成する低感度受光素子41aおよび高感度受光素子41bそれぞれの輝度に対する感度帯域を模式的に示す図である。
【図8】撮影モードに対応して制御される低感度受光素子41aおよび高感度受光素子41bそれぞれの感度帯域の関係を説明するための図である。
【図9】撮影モードに対応して制御される低感度受光素子41aおよび高感度受光素子41bそれぞれの感度帯域の関係を説明するための図である。
【図10】撮影モードに対応して制御される低感度受光素子41aおよび高感度受光素子41bそれぞれの感度帯域の関係を説明するための図である。
【図11】撮影モードに対応して制御される低感度受光素子41aおよび高感度受光素子41bそれぞれの感度帯域の関係を説明するための図である。
【図12】図5の画像処理部25の構成例を示すブロック図である。
【図13】図5の自動露出制御部26の構成例を示すブロック図である。
【図14】ヒストグラム検波部62が生成する、感度が均一化されたモニタ画像の輝度のヒストグラムの一例を示す図である。
【図15】ヒストグラム検波部62が生成する、感度が均一化されたモニタ画像の輝度の累積ヒストグラムの一例を示す図である。
【図16】自動露出制御部26による露出制御処理を説明するフローチャートである。
【図17】自動露出制御部26による露出制御処理の一例を説明するための図である。
【図18】自動露出制御部26による露出制御処理の一例を説明するための図である。
【図19】自動露出制御部26による露出制御処理の一例を説明するための図である。
【図20】自動露出制御部26による露出制御処理の一例を説明するための図である。
【符号の説明】
11 ディジタルスチルカメラ, 12 レンズ, 13 レリーズボタン,14 撮影モード選択スイッチ, 15 露出モードダイヤル, 21 撮像部, 22 絞り, 23 NDフィルタ, 24 単板式固体撮像素子, 25 画像処理部, 26 自動露出制御部, 27 制御部, 28 記録媒体, 29 操作部, 41a 低感度受光素子, 41b 高感度受光素子, 51 第1クリッピング部, 52 感度均一化部, 53 第2クリッピング部, 54 欠落画素補間部, 55 カラーデモザイク部, 61 感度均一化部, 62 ヒストグラム検波部, 63 撮影モード選択部, 64 露出量算出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and method, a recording medium, and a program. For example, a dynamic range priority shooting mode for acquiring a wide dynamic range image signal and a resolution priority priority shooting mode for acquiring a high resolution image signal are adaptively used. The present invention relates to an imaging apparatus and method, a recording medium, and a program suitable for use in switching.
[0002]
[Background technology]
Conventionally, there is a technique for widening the dynamic range of an image signal acquired by a digital still camera using a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Mental-Oxide Semiconductor).
[0003]
This technique includes, for example, a method of continuously photographing by changing the exposure by adjusting the shutter speed and the aperture, a method of using a plurality of image sensors having different sensitivities, and a method of using a sensitivity mosaic image (described later). .
[0004]
A method using a sensitivity mosaic image is described in, for example, the document “SK Nayar and T. Mitsunaga,“ High Dynamic Range Imaging: Spatially Varying Pixel Exposures ”, Proc. Of Computer Vision and Pattern Recognition 2000, Vol. 1, pp. 472-479. , June, 2000 "(hereinafter referred to as Document 1).
[0005]
An outline of the method using the sensitivity mosaic image disclosed in
[0006]
FIG. 2 shows an example of an image sensor. One rectangle corresponds to one light receiving element. Of the light receiving elements constituting the imaging element, for example, the
[0007]
As a result, the
[0008]
Therefore, the image output from the
[0009]
The
[0010]
According to the above-described method for capturing a sensitivity mosaic image, a wide dynamic range image can be acquired with a single exposure without continuously exposing. In addition, since one image sensor is used without requiring a plurality of image sensors, it is possible to suppress an increase in the scale of the apparatus and an increase in manufacturing cost.
[0011]
[Problems to be solved by the invention]
However, in the method for capturing a sensitivity mosaic image described above, each light-receiving element captures a different luminance band of the subject. Therefore, in the captured sensitivity mosaic image, in a brighter area that is exposed to the sun or illumination, a high brightness region is used. The charge accumulated in the sensitive
[0012]
Therefore, in the captured sensitivity mosaic image, in a region that is too bright or too dark, the sampling frequency of the reliable signal is reduced, and the resolution of the wide dynamic range image obtained by interpolating such a sensitivity mosaic image There has been a problem of deterioration.
[0013]
Furthermore, the above-described method of capturing a sensitivity mosaic image aims to expand the dynamic range, and therefore, even when the actual dynamic range of the subject is narrow, processing is performed to expand the dynamic range. As a result, the resolution of the finally obtained image may be deteriorated.
[0014]
By the way, Japanese Patent Application Laid-Open No. 2000-78463 discloses an image capturing device that includes two imaging devices having different exposure times and can manually switch between a wide dynamic range priority mode, an image quality priority mode, and an intermediate mode. However, such an apparatus provided with two image sensors has a problem that it is disadvantageous to reduce the size of the apparatus and reduce the manufacturing cost as compared with an apparatus using a single-plate image sensor.
[0015]
The present invention has been made in view of such circumstances, and is provided with a resolution priority mode in which interpolation processing is performed with priority on resolution and a dynamic range priority mode in which interpolation processing is performed with priority on expansion of the dynamic range. It is an object of the present invention to realize a digital still camera that can shoot without causing degradation of resolution by switching and using these modes in accordance with the dynamic range.
[0016]
[Means for Solving the Problems]
The imaging device of the present invention captures a subject and generates a corresponding sensitivity mosaic image;A measuring means for measuring the dynamic range of the subject, and a plurality ofOne of the shooting modesA selection means that allows the user to select or automatically select a shooting mode based on the dynamic range of the subject, and based on the dynamic range of the subject,Exposure control means for controlling the exposure of the imaging means, and image processing means for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image taken by the imaging means according to the shooting mode,The exposure control means controls the exposure so that the saturation level of the low-sensitivity pixel imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject in the dynamic range priority shooting mode. The exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light-receiving element matches the upper limit of the dynamic range of the subject. If it is wide, the shooting mode is determined as the dynamic range priority shooting mode. If the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority priority shooting mode, and the image processing means takes the dynamic range priority shooting. Interpolate missing pixels in mode and Omitted interpolation of the missing pixels in the shooting modeIt is characterized by that.
[0017]
The imaging method of the present invention uses an imaging step of imaging a subject and generating a corresponding sensitivity mosaic image, a measuring step of measuring the dynamic range of the subject, and one of the plurality of shooting modes. Or a selection step for automatically selecting a shooting mode based on the dynamic range of the subject, an exposure control step for controlling the exposure during imaging based on the dynamic range of the subject, and imaging according to the shooting mode. An image processing step for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image picked up in the processing of the step, and the exposure control step is a low sensitivity light receiving element in the dynamic range priority shooting mode. The saturation level of low-sensitivity pixels captured by the Control the exposure so that it matches the upper limit of When the subject's dynamic range is wider than the light receiving element's dynamic range, the shooting mode is set to the dynamic range priority shooting mode, and the subject's dynamic range is narrower than the light receiving element's dynamic range. The mode is determined to be the resolution priority shooting mode, and the image processing step is characterized in that missing pixels are interpolated in the dynamic range priority shooting mode, and missing pixel interpolation is omitted in the resolution priority shooting mode.
[0018]
The recording medium of the present invention uses an imaging step of imaging a subject and generating a corresponding sensitivity mosaic image, a measurement step of measuring the dynamic range of the subject, and one of the plurality of shooting modes. Or a selection step for automatically selecting a shooting mode based on the dynamic range of the subject, an exposure control step for controlling the exposure during imaging based on the dynamic range of the subject, and imaging according to the shooting mode. An image processing step for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image picked up in the processing of the step, and the exposure control step is a low sensitivity light receiving element in the dynamic range priority shooting mode. The saturation level of low-sensitivity pixels captured by the Control the exposure so that it matches the upper limit of When the subject's dynamic range is wider than the light receiving element's dynamic range, the shooting mode is set to the dynamic range priority shooting mode, and the subject's dynamic range is narrower than the light receiving element's dynamic range. The mode is determined to be the resolution priority shooting mode, and the image processing step is a program that causes the computer of the imaging apparatus to execute a process of interpolating missing pixels in the dynamic range priority shooting mode and omitting missing pixel interpolation in the resolution priority shooting mode. It is recorded.
[0019]
The program of the present invention provides a user with an imaging step of imaging a subject and generating a corresponding sensitivity mosaic image, a measurement step of measuring the dynamic range of the subject, and one of the plurality of shooting modes. A selection step for selecting or automatically selecting a shooting mode based on the dynamic range of the subject, an exposure control step for controlling exposure during imaging based on the dynamic range of the subject, and an imaging step according to the shooting mode And an image processing step for generating a wide dynamic range image or a high resolution image based on the sensitivity mosaic image picked up in the process of (5), and the exposure control step is performed by the low sensitivity light receiving element in the dynamic range priority shooting mode. The saturation level of the captured low-sensitivity pixels is the dynamic of the subject Control the exposure so that it matches the upper limit of the range, and in the resolution priority shooting mode, adjust the exposure so that the saturation level of the high-sensitivity pixels captured by the high-sensitivity light-receiving element matches the upper limit of the subject's dynamic range. When the subject's dynamic range is wider than the light receiving element's dynamic range, the shooting mode is set to the dynamic range priority shooting mode, and the subject's dynamic range is narrower than the light receiving element's dynamic range. The mode is determined to be the resolution priority shooting mode, and the image processing step causes the computer of the imaging apparatus to execute a process of interpolating missing pixels in the dynamic range priority shooting mode and omitting missing pixel interpolation in the resolution priority shooting mode. Features.
[0020]
In the present invention, the dynamic range of the subject is measured, and the user is allowed to select one of a plurality of shooting modes, or the shooting mode is automatically selected based on the dynamic range of the subject. Based on the dynamic range, exposure at the time of imaging is controlled. Then, according to the shooting mode, a wide dynamic range image or a high resolution image is generated based on the captured sensitivity mosaic image.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a configuration example of a digital still camera to which the present invention is applied will be described with reference to the drawings. FIG. 3 is a perspective view showing the appearance of a digital still camera to which the present invention is applied. A
[0027]
FIG. 4 is a top view of the digital
[0028]
The shooting
[0029]
The
[0030]
FIG. 5 shows an internal configuration example of the
[0031]
FIG. 6 shows the configuration of the single-plate solid-
[0032]
As a result, the
[0033]
Further, each light receiving element of the single-plate solid-
[0034]
The
[0035]
The
[0036]
The
[0037]
The
[0038]
An
[0039]
FIG. 7 schematically shows the sensitivity bands with respect to the luminance of the low-sensitivity light-receiving
[0040]
It should be noted that the sensitivity band of the low-sensitivity
[0041]
Here, the relationship between the sensitivity bands of the low-sensitivity
[0042]
First, control of sensitivity bands of the low sensitivity
[0043]
In the dynamic range priority shooting mode, pixels with luminance lower than the noise level of the low sensitivity
[0044]
FIG. 8 shows an example in which the luminance dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0045]
FIG. 8A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into three regions and described as regions a to c.
[0046]
FIG. 8B shows a dynamic range (indicated by a double arrow) of the low sensitivity
[0047]
FIG. 8C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of a pixel corresponding to the high sensitivity light receiving element 41b (hereinafter referred to as a high sensitivity pixel). As shown in the drawing, in the high sensitivity light receiving element 41b, information on the brighter region c of the luminance histogram of the subject is missing. The distribution on the upper limit side of the dynamic range of the high-sensitivity light receiving element 41b is higher in frequency than the luminance histogram of the subject due to the presence of the brighter region c of the luminance histogram of the subject.
[0048]
In the case of FIG. 8, information is acquired in the bright area c by the low sensitivity
[0049]
Also, as shown in FIG. 8, when the dynamic range of the subject is wider than the dynamic range of the light receiving element, a wide dynamic range image that does not cause overexposure (saturation) or blackout (noise) as occurs in a normal image sensor. Can be output.
[0050]
FIG. 9 shows an example in which the luminance dynamic range of the subject is narrower than the dynamic range of the low sensitivity
[0051]
FIG. 9A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into two regions and described as regions d and e.
[0052]
FIG. 9B shows a dynamic range (indicated by a double arrow) of the low sensitivity
[0053]
FIG. 9C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of the high sensitivity pixel. As shown in the figure, in the high sensitivity light receiving element 41b, information on the brighter region e of the luminance histogram of the subject is lost. The distribution on the upper limit side of the dynamic range of the high sensitivity light receiving element 41b is higher in frequency than the luminance histogram of the subject due to the presence of the brighter region e of the luminance histogram of the subject.
[0054]
In the case of FIG. 9, information is acquired by the low sensitivity
[0055]
Next, control of sensitivity bands of the low sensitivity
[0056]
In the resolution priority photography mode, the exposure of the
[0057]
In the resolution priority imaging mode, pixels having luminance lower than the noise level of the low-sensitivity
[0058]
FIG. 10A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into two regions and described as regions f and g.
[0059]
FIG. 10B shows a dynamic range (indicated by a double arrow) of the low sensitivity
[0060]
FIG. 10C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of the high sensitivity pixel. As shown in the figure, the high-sensitivity light receiving element 41b can acquire information on all the regions f and g of the luminance histogram of the subject.
[0061]
In the case of FIG. 10, in the brighter region g of the luminance histogram of the subject, pixel resolution does not occur and the resolution is maintained. On the other hand, in the darker region f, the noise component is dominant in the pixels with luminance lower than the noise level, but it is possible to remove noise to some extent using high sensitivity pixels. Further, since the darker region f is visually insensitive, noise does not stand out unless the luminance is amplified.
[0062]
FIG. 11 shows an example in which the dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0063]
FIG. 11A shows a luminance histogram of the subject. Hereinafter, the luminance histogram of the subject is divided into five regions and described as regions h to l.
[0064]
FIG. 11B shows the dynamic range (indicated by double arrows) of the low sensitivity
[0065]
FIG. 11C shows a dynamic range (indicated by a double arrow) of the high sensitivity light receiving element 41b and a luminance histogram of the high sensitivity pixel. As shown in the figure, the high sensitivity light receiving element 41b can acquire information on the regions i to l in the luminance histogram of the subject.
[0066]
In the case of FIG. 11, the resolution is maintained because there are low-resolution pixels and high-resolution pixels in the brighter region l, but noise is conspicuous in the region k below the noise level of the low-sensitivity
[0067]
Next, FIG. 12 shows a configuration example of the
[0068]
In the dynamic range priority shooting mode, the
[0069]
In the dynamic range priority shooting mode, the
[0070]
In the dynamic range priority shooting mode, the missing
[0071]
In the dynamic range priority shooting mode, the color demosaic unit 55 performs color interpolation processing on an image in which each pixel from the missing
[0072]
In the resolution priority shooting mode, the
[0073]
In the resolution priority imaging mode, the
[0074]
In the resolution priority shooting mode, the color demosaic unit 55 performs color interpolation processing on an image in which each pixel from the
[0075]
FIG. 13 shows a configuration example of the automatic
[0076]
The
[0077]
14 and 15, the horizontal axis indicates a value obtained by normalizing the luminance of the monitor image with uniform sensitivity by 1, and the vertical axis indicates a value obtained by normalizing the frequency by 1. Yes. As the upper limit value of the dynamic range of the subject, the luminance corresponding to the upper limit threshold set in advance in the cumulative histogram is detected. As the lower limit value of the dynamic range of the subject, the brightness corresponding to the lower limit threshold value preset in the cumulative histogram is detected.
[0078]
When the shooting
[0079]
The exposure
[0080]
Note that the sensitivity leveling unit 61 to the exposure
[0081]
Next, exposure control processing by the automatic
[0082]
In step S <b> 1, the sensitivity uniformization unit 61 equalizes the sensitivity of the pixels of the monitor image that is sequentially generated by the
[0083]
In step S2, the shooting
[0084]
In step S3, the exposure
[0085]
In step S4, the exposure
[0086]
In step S2, the shooting
[0087]
In step S5, the exposure
[0088]
In step S6, the exposure
[0089]
In step S7, the shooting
[0090]
If it is determined in step S7 that the shooting
[0091]
In step S9, the shooting
[0092]
If it is determined in step S9 that the dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0093]
Next, an example of exposure control processing by the automatic
[0094]
FIG. 17 is a cumulative histogram of the monitor image in the process of the automatic exposure control process, and shows an overexposure state. In such a case, since many pixels of the monitor image are saturated, the upper limit value of the cumulative histogram is close to the maximum luminance value (ie, 1).
[0095]
FIG. 18 is another example of a cumulative histogram in the process of automatic exposure control processing, and shows a state of underexposure. In such a case, the luminance of the pixel of the monitor image does not reach the saturation level, and the upper limit value of the cumulative histogram is lower than the saturation level.
[0096]
FIG. 19 shows a cumulative histogram of the monitor image in a state where the exposure control is ended as the dynamic range priority shooting mode.
[0097]
In order to change the overexposure state as shown in FIG. 17 to the state as shown in FIG. 19, the exposure amount is decreased by CD0 (FIG. 17), and the upper limit value of FIG. Control to match the saturation level. On the other hand, in order to change the underexposure state as shown in FIG. 18 to the state as shown in FIG. 19, the exposure amount is increased by CD1 (FIG. 18), and the upper limit value of FIG. Control is performed to match the saturation level of the
[0098]
FIG. 20 shows a cumulative histogram of the monitor image in a state where the exposure control is finished as the resolution priority shooting mode.
[0099]
In order to change the overexposure state as shown in FIG. 17 to the state as shown in FIG. 20, the exposure amount is decreased by Cr0 (FIG. 17), and the upper limit value of FIG. Control to match the saturation level. On the other hand, in order to change the underexposure state as shown in FIG. 18 to the state as shown in FIG. 20, the exposure amount is decreased by CR1 (FIG. 18), and the upper limit value of FIG. Control is performed so as to match the saturation level of the sensitivity pixel 41b. Thereby, in the resolution priority imaging mode, it is possible to acquire an image in the dynamic range of the low sensitivity
[0100]
In the example shown in FIG. 20, since the dynamic range of the subject is wider than the dynamic range of the low sensitivity
[0101]
However, if the shooting
[0102]
Note that the present invention can be applied to any device that performs image processing in addition to the digital still camera as in the present embodiment.
[0103]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a
[0104]
The
[0105]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0106]
【The invention's effect】
As described above, according to the present invention, the resolution priority mode in which interpolation processing is performed with priority on resolution and the dynamic range priority mode in which interpolation processing is performed with priority on expansion of the dynamic range are performed according to the dynamic range of the subject. Further, it is possible to realize a digital still camera that can be used by switching and that does not cause deterioration in image resolution.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining an outline of a method using a sensitivity mosaic image disclosed in
2 shows an example of an image sensor included in the
FIG. 3 is a perspective view showing an appearance of a digital
4 is a top view of the digital
FIG. 5 is a block diagram illustrating an internal configuration example of a
6 is a diagram showing an arrangement of a low-sensitivity
FIG. 7 is a diagram schematically showing sensitivity bands with respect to luminance of a low-sensitivity
FIG. 8 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
FIG. 9 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
FIG. 10 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
FIG. 11 is a diagram for explaining a relationship between sensitivity bands of a low-sensitivity
12 is a block diagram illustrating a configuration example of the
13 is a block diagram showing a configuration example of an automatic
FIG. 14 is a diagram illustrating an example of a brightness histogram of a monitor image with uniform sensitivity generated by a
FIG. 15 is a diagram illustrating an example of a cumulative histogram of luminance of a monitor image with uniform sensitivity generated by a
FIG. 16 is a flowchart for explaining exposure control processing by an automatic exposure control unit;
FIG. 17 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
FIG. 18 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
FIG. 19 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
FIG. 20 is a diagram for explaining an example of exposure control processing by the automatic exposure control unit;
[Explanation of symbols]
DESCRIPTION OF
Claims (4)
被写体を撮像して、対応する感度モザイク画像を生成する撮像手段と、
被写体のダイナミックレンジを測定する測定手段と、
複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択手段と、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御手段と、
前記撮影モードに従い、撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理手段とを含み、
前記露出制御手段は、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択手段は、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理手段は、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
ことを特徴とする撮像装置。In an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
Imaging means for imaging a subject and generating a corresponding sensitivity mosaic image;
Measuring means for measuring the dynamic range of the subject;
Selection means for allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
Exposure control means for controlling the exposure during imaging based on the dynamic range of the subject;
Image processing means for generating a wide dynamic range image or a high resolution image based on the captured sensitivity mosaic image according to the shooting mode;
The exposure control means includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection means includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing means includes
Interpolate missing pixels in the dynamic range priority shooting mode,
An imaging apparatus characterized in that interpolation of the missing pixels is omitted in the resolution priority imaging mode.
被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、
被写体のダイナミックレンジを測定する測定ステップと、
複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、
前記撮影モードに従い、前記撮像ステップの処理で撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、
前記露出制御ステップは、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択ステップは、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理ステップは、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
ことを特徴とする撮像方法。In an imaging method of an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
An imaging step of imaging a subject and generating a corresponding sensitivity mosaic image;
A measurement step for measuring the dynamic range of the subject;
A selection step of allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
An exposure control step for controlling the exposure during imaging based on the dynamic range of the subject;
An image processing step of generating a wide dynamic range image or a high-resolution image based on the sensitivity mosaic image captured in the processing of the imaging step according to the shooting mode,
The exposure control step includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection step includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing step includes
Interpolate missing pixels in the dynamic range priority shooting mode,
An imaging method, wherein interpolation of the missing pixels is omitted in the resolution priority imaging mode.
被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、
被写体のダイナミックレンジを測定する測定ステップと、
複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、
前記撮影モードに従い、前記撮像ステップの処理で撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、
前記露出制御ステップは、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択ステップは、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理ステップは、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
処理を撮像装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。A program for controlling an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
An imaging step of imaging a subject and generating a corresponding sensitivity mosaic image;
A measurement step for measuring the dynamic range of the subject;
A selection step of allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
An exposure control step for controlling the exposure during imaging based on the dynamic range of the subject;
An image processing step of generating a wide dynamic range image or a high-resolution image based on the sensitivity mosaic image captured in the processing of the imaging step according to the shooting mode,
The exposure control step includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection step includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing step includes
Interpolate missing pixels in the dynamic range priority shooting mode,
A recording medium on which a program for causing a computer of an imaging apparatus to execute processing for omitting interpolation of the missing pixels in the resolution priority imaging mode is recorded.
被写体を撮像して、対応する感度モザイク画像を生成する撮像ステップと、
被写体のダイナミックレンジを測定する測定ステップと、
複数の撮影モードのうちの1つの撮影モードを利用者に選択させるか、または被写体のダイナミックレンジに基づいて撮影モードを自動的に選択する選択ステップと、
被写体のダイナミックレンジに基づいて、撮像時の露出を制御する露出制御ステップと、
前記撮影モードに従い、前記撮像ステップの処理で撮像された前記感度モザイク画像を元にして、広ダイナミックレンジ画像または高解像度画像を生成する画像処理ステップとを含み、
前記露出制御ステップは、
ダイナミックレンジ優先撮影モードにおいて、前記低感度の受光素子によって撮像された低感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
解像度優先撮影モードにおいて、前記高感度の受光素子によって撮像された高感度画素の飽和レベルが前記被写体のダイナミックレンジの上限値に一致するように前記露出を制御し、
前記選択ステップは、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも広い場合、前記撮影モードを前記ダイナミックレンジ優先撮影モードに決定し、
前記被写体のダイナミックレンジが前記受光素子のダイナミックレンジよりも狭い場合、前記撮影モードを前記解像度優先撮影モードに決定し、
前記画像処理ステップは、
前記ダイナミックレンジ優先撮影モードにおいて欠落画素を補間し、
前記解像度優先撮影モードにおいて前記欠落画素の補間を省略する
処理を撮像装置のコンピュータに実行させることを特徴とするプログラム。A program for controlling an imaging apparatus including a single-plate solid-state imaging device in which low-sensitivity and high-sensitivity light receiving elements are arranged in a predetermined pattern,
An imaging step of imaging a subject and generating a corresponding sensitivity mosaic image;
A measurement step for measuring the dynamic range of the subject;
A selection step of allowing a user to select one of a plurality of shooting modes or automatically selecting a shooting mode based on a dynamic range of a subject;
An exposure control step for controlling the exposure during imaging based on the dynamic range of the subject;
An image processing step of generating a wide dynamic range image or a high-resolution image based on the sensitivity mosaic image captured in the processing of the imaging step according to the shooting mode,
The exposure control step includes
In the dynamic range priority shooting mode, the exposure is controlled so that the saturation level of the low-sensitivity pixels imaged by the low-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
In the resolution priority shooting mode, the exposure is controlled so that the saturation level of the high-sensitivity pixels imaged by the high-sensitivity light receiving element matches the upper limit value of the dynamic range of the subject,
The selection step includes
When the dynamic range of the subject is wider than the dynamic range of the light receiving element, the shooting mode is determined as the dynamic range priority shooting mode,
When the dynamic range of the subject is narrower than the dynamic range of the light receiving element, the shooting mode is determined as the resolution priority shooting mode,
The image processing step includes
Interpolate missing pixels in the dynamic range priority shooting mode,
A program that causes a computer of an imaging apparatus to execute processing that omits interpolation of the missing pixels in the resolution priority imaging mode.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002132307A JP4196588B2 (en) | 2002-05-08 | 2002-05-08 | Imaging apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002132307A JP4196588B2 (en) | 2002-05-08 | 2002-05-08 | Imaging apparatus and method, recording medium, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003324656A JP2003324656A (en) | 2003-11-14 |
JP4196588B2 true JP4196588B2 (en) | 2008-12-17 |
Family
ID=29544461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002132307A Expired - Fee Related JP4196588B2 (en) | 2002-05-08 | 2002-05-08 | Imaging apparatus and method, recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4196588B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10136079B2 (en) | 2013-10-31 | 2018-11-20 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4556722B2 (en) | 2004-05-31 | 2010-10-06 | コニカミノルタホールディングス株式会社 | Imaging device |
JP5045788B2 (en) * | 2004-05-31 | 2012-10-10 | コニカミノルタホールディングス株式会社 | Imaging device |
JP2007259344A (en) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | Imaging apparatus and image processing method |
JP2007288522A (en) * | 2006-04-17 | 2007-11-01 | Fujifilm Corp | Imaging apparatus and solid-state imaging device driving method |
JP2008104009A (en) * | 2006-10-19 | 2008-05-01 | Sony Corp | Imaging apparatus and method |
JP5292689B2 (en) * | 2006-10-31 | 2013-09-18 | 日本電気株式会社 | Thermal infrared imaging apparatus and its operation method |
JP2008187615A (en) | 2007-01-31 | 2008-08-14 | Canon Inc | Imaging device, imaging apparatus, control method, and program |
JP5188101B2 (en) * | 2007-06-01 | 2013-04-24 | 株式会社キーエンス | Magnification observation apparatus, magnified image photographing method, magnified image photographing program, and computer-readable recording medium |
JP5347707B2 (en) | 2008-08-20 | 2013-11-20 | 株式会社リコー | Imaging apparatus and imaging method |
JP5315125B2 (en) * | 2009-05-20 | 2013-10-16 | 株式会社メガチップス | Image processing apparatus, imaging apparatus, and composite image generation method |
JP5627252B2 (en) * | 2010-03-01 | 2014-11-19 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP2013187572A (en) * | 2012-03-05 | 2013-09-19 | Honda Motor Co Ltd | Image processing apparatus |
JP5597243B2 (en) * | 2012-12-21 | 2014-10-01 | キヤノン株式会社 | Imaging device |
KR102023501B1 (en) | 2013-10-02 | 2019-09-20 | 삼성전자주식회사 | System on chip including configurable image processing pipeline, and system including the same |
JP5791765B2 (en) * | 2014-06-25 | 2015-10-07 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP6338471B2 (en) * | 2014-07-01 | 2018-06-06 | キヤノン株式会社 | Imaging apparatus, control method, and program |
JP7016712B2 (en) * | 2018-02-02 | 2022-02-07 | キヤノン株式会社 | Image pickup device, control method of image pickup device, and program |
-
2002
- 2002-05-08 JP JP2002132307A patent/JP4196588B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10136079B2 (en) | 2013-10-31 | 2018-11-20 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
US10419694B2 (en) | 2013-10-31 | 2019-09-17 | Ricoh Imaging Company, Ltd. | Method and apparatus for imaging an object |
Also Published As
Publication number | Publication date |
---|---|
JP2003324656A (en) | 2003-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4196588B2 (en) | Imaging apparatus and method, recording medium, and program | |
JP4770907B2 (en) | Imaging apparatus, imaging method, and program | |
US9113086B2 (en) | Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same | |
JP4773179B2 (en) | Imaging device | |
US8289441B2 (en) | Imaging apparatus and imaging control method | |
JP3430994B2 (en) | camera | |
JP4542058B2 (en) | Imaging apparatus and imaging method | |
WO2015190156A1 (en) | Image processing device, imaging device equipped with same, image processing method, and image processing program | |
JP5759190B2 (en) | Imaging apparatus and control method thereof | |
US7705883B2 (en) | Systems and methods of anti-aliasing with image stabilizing subsystems for cameras | |
JP5257487B2 (en) | Imaging apparatus, imaging method, and program | |
KR20090095920A (en) | Apparatus for Photographing Digital Images, Method of Controlling Exposure, Method of Photographing Digital Images, and Computer Readable Recording Medium Storing Program for the Same Method of Photographing | |
JP5048599B2 (en) | Imaging device | |
JP2001094882A (en) | Image pickup device and its signal processing method | |
US8149291B2 (en) | Image capture apparatus, control method thereof, program, and storage medium | |
JP4672933B2 (en) | Imaging device | |
JP2007027984A (en) | Photographic apparatus and control method thereof | |
JP4047000B2 (en) | Imaging apparatus and imaging method | |
JP4003246B2 (en) | Video camera equipment | |
JP2006262221A (en) | Imaging apparatus and image processing method | |
JP2004343177A (en) | Imaging apparatus | |
JP2015037222A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP6900577B2 (en) | Image processing equipment and programs | |
JP2002116477A (en) | Image pickup device | |
JPH05115045A (en) | Exposure control circuit for picture input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080909 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080922 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |