JP4282113B2 - 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 - Google Patents
撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4282113B2 JP4282113B2 JP20945098A JP20945098A JP4282113B2 JP 4282113 B2 JP4282113 B2 JP 4282113B2 JP 20945098 A JP20945098 A JP 20945098A JP 20945098 A JP20945098 A JP 20945098A JP 4282113 B2 JP4282113 B2 JP 4282113B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- pixel
- motion vector
- nonconforming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 59
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 239000013598 vector Substances 0.000 claims description 99
- 239000002131 composite material Substances 0.000 claims description 57
- 239000000203 mixture Substances 0.000 claims description 56
- 230000015572 biosynthetic process Effects 0.000 claims description 28
- 238000003786 synthesis reaction Methods 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 14
- 238000002156 mixing Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 239000000872 buffer Substances 0.000 description 11
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、電子スチールカメラやデジタルカメラ等の固体撮像素子を有する撮像装置において、特に固体撮像素子のダイナミックレンジの拡大を図った撮像装置、および撮像方法、並びに、撮像プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
固体撮像素子を有する撮像装置では、固体撮像素子のダイナミックレンジが銀塩フィルムよりも狭いため、例えば比較的明るい背景で被写体を撮影するにあたって、被写体が適正となるように露光時間を合わせると、背景が露光オーバーとなって画像信号が飽和し、逆に背景が適正となるように露光時間を合わせると、被写体がアンダー露光となって暗くなってしまう。そこで、この種の従来の撮像装置として、被写体を露光量を異ならせて撮影し、その露光量の異なる二つの画像信号を加算して合成したり、あるいは露光量の異なる二つの画像信号を部分的に切り換えて合成して、固体撮像素子のダイナミックレンジを拡大するようにしたものが提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者のように、露光量の異なる二つの画像信号を加算して合成するものにあっては、被写体が移動している場合や、手触れによって画像間に相対的な位置ずれが生じると、その相対的な位置ずれを有する部分においてＳ／Ｎが低下するという問題があると共に、カラー画像の場合には偽色や擬似輪郭が生じるという問題がある。
【０００４】
このような問題を解決し得るものとして、例えば特開平２−２８０５８５号公報には、露光量の異なる二つの画像信号の差を検出し、その差の絶対値を補正量として加算した画像信号から減算するようにしたものが提案されている。しかし、この場合には、ずれ相当部分を減算補正によって除去するため、例えば主要被写体が移動する場合には、合成画像における主要被写体の形状が変化して、通常の銀塩フィルムによる写真画像と比較して違和感が残るものになるという問題がある。
【０００５】
このような問題は、後者のように露光量の異なる二つの画像信号を部分的に切り換えて合成する場合にも同様に生じる。すなわち、図１３に示すように、長時間露光における画像Ａの白とびした部分Ｂ（例えば、背景部分）の画像信号を、短時間露光における画像Ｃの対応する部分Ｄのゲインを調整した画像信号に切り換えて合成画像Ｅを得る場合において、主要被写体Ｆが短時間露光と長時間露光との間で、図１３において右から左に移動していると、その移動量に相当する短時間露光における主要被写体部分（合成画像Ｅにおいて部分Ｇ）の画像信号も合成されて、主要被写体Ｆが二重になり、合成画像Ｅとして違和感が残るものになる。
【０００６】
この発明は、このような従来の問題点に着目してなされたもので、露光量の異なる複数の画像信号を部分的に切り換えて合成してダイナミックレンジの広い画像を得るにあたって、常に違和感の無い画像が得られるよう適切に構成した撮像装置を提供することを目的とするものである。
【０００７】
さらに、この発明の目的は、違和感の無いダイナミックレンジの広い画像を得るための撮像方法、並びに、撮像プログラムを記録した記録媒体を提供しようとするものである。
【０００８】
【課題を解決するための手段】
上記目的を達成する請求項１に係る発明は、露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像装置において、
被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像手段と、
この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段と、
この記憶手段から少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段と、
前記異なる露光量で撮像された複数の画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する合成不適合部検出手段と、
この合成不適合部検出手段で検出された合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する合成不適合部補正手段とを有することを特徴とするものである。
【０００９】
このように、画像信号の合成不適合部を検出して、その合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正することで、例えば明るい背景で動いている主要被写体を撮影した場合の画像信号の合成時における影響を最小限に抑えることができ、通常の写真画像と比較して何ら違和感の無いダイナミックレンジの広い画像を得ることが可能となる。しかも、動きベクトルを算出し、その大きさが所定の閾値を超える場合に合成不適合部を検出するので、被写体の移動量および移動方向に応じた補正が必要な合成不適合部をより高精度で検出することが可能となる。
【００１０】
請求項２に係る発明は、請求項１記載の撮像装置において、前記合成不適合部補正手段は、前記動きベクトルの始点を含む合成不適合部の画素信号を、該動きベクトルの終点を含む合成不適合部でない合成画素信号に基づいて補正し、該動きベクトルの終点の画素を含む所定の画素ブロック内の残りの領域の合成不適合部の画素信号を、前記露光量の異なる複数の画像信号のうちの一つの画像信号の対応する領域の画素信号に基づいて補正するよう構成されていることを特徴とするものである。
【００１１】
このようにして、検出された動きベクトルに対応する合成不適合部の画素信号を補正すれば、補正処理を簡単な構成で高速に行うことが可能となる。
【００１２】
請求項３に係る発明は、請求項１記載の撮像装置において、前記合成不適合部補正手段は、前記動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、前記動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号に基づいて補正するよう構成されていることを特徴とするものである。
【００１３】
このようにすれば、画素単位での演算を行うことなく、合成不適合部の画素信号を補正することができるので、構成を簡単にできると共に、処理時間を短縮することが可能となる。
【００１４】
請求項４に係る発明は、請求項１乃至３のいずれかに記載の撮像装置において、前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について前記露光量の異なる複数の画像信号の比較に基づいて動きベクトルを算出するよう構成されていることを特徴とするものである。
【００１５】
このように、露光量の異なる複数の画像信号間の差分の絶対値が所定値以上となる画素領域についてのみ、動きベクトルを算出して合成不適合部を検出するようにすれば、合成不適合部の検出処理速度を短縮することが可能となる。
【００１６】
請求項５に係る発明は、請求項１乃至４のいずれかに記載の撮像装置において、前記記憶手段は、異なる露光量で撮像された二つの画像信号を格納するように構成されていることを特徴とするものである。
【００１７】
請求項６に係る発明は、請求項１乃至４のいずれかに記載の撮像装置において、前記画像合成手段は、異なる露光量で撮像された二つの画像信号を部分的に切り替えながらモザイク状に画像合成を行って合成画像信号を出力するように構成されていることを特徴とするものである。
【００１８】
請求項７に係る発明は、請求項１乃至６のいずれかに記載の撮像装置において、前記合成不適合部補正手段によって補正された画像信号と、前記画像合成手段から出力される合成画像信号とを混合して補正された合成画像として出力する混合手段をさらに備えたことを特徴とするものである。
【００１９】
請求項８に係る発明は、請求項７記載の撮像装置において、前記混合手段は、前記合成不適合部補正手段から出力される合成補正画像信号を、前記画像合成手段から出力される合成画像信号でローパス処理するローパスフィルタを含むことを特徴とするものである。
【００２０】
さらに、上記目的を達成する請求項９に係る撮像方法の発明は、露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像方法において、
被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像ステップと、
この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段から、少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成ステップと、
前記異なる露光量で撮像された複数の画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する合成不適合部検出ステップと、
この合成不適合部検出手段で検出された合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する合成不適合部補正ステップとを有することを特徴とするものである。
【００２２】
さらに、上記目的を達成する請求項１０に係る記録媒体の発明は、固体撮像素子を有する撮像装置の動作を制御するためのコンピュータに、
前記固体撮像素子から被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に得る機能と、
その露光量の異なる画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する機能と、
その検出した合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する機能と、
前記合成不適合部を除いて前記露光量の異なる画像信号を合成する機能と、
その合成不適合部を除く合成画素信号と前記補正した合成不適合部の画素信号とを合成してダイナミックレンジの広い画像信号を生成する機能と、
を実現させるための撮像プログラムを記録したことを特徴とするものである。
【００２３】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態について説明する。
図１は、この発明に係る撮像装置としての電子スチールカメラの基本的構成を示すブロック図である。この電子スチールカメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ撮像素子１を用いるもので、このＣＣＤ撮像素子１には、レンズ２および絞り・シャッタ機構３を経て被写体像が結像され、その被写体像が光電変換されて画像信号として出力される。ＣＣＤ撮像素子１からの被写体像の画像信号は、図示しない相関二重サンプリング回路等でノイズ成分が除去されたのち、アンプ４で増幅され、さらにＡ／Ｄ変換器５でデジタル信号に変換されてカメラ信号処理回路６に供給され、ここで画像データとして処理される。
【００２４】
また、Ａ／Ｄ変換器５の出力は、ＡＦ，ＡＥ，ＡＷＢ検波回路７にも供給され、ここで本来の撮影に先立って、フォーカスを自動的に制御するためのＡＦ情報を取り出すＡＦ検波処理、露出を自動的に制御するためのＡＥ情報を取り出すＡＥ検波処理、およびホワイトバランスを自動的に設定するためのＡＷＢ情報を取り出すＡＷＢ検波処理が行われる。このＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＦ情報、ＡＥ情報およびＡＷＢ情報は、それぞれＣＰＵ８を介してレンズ２、絞り・シャッタ機構３およびカメラ信号処理回路６に供給される。
【００２５】
カメラ信号処理回路６およびＣＰＵ８は、バスライン９に接続され、このバスライン９には、メモリコントローラ１０を介して、画像データの色処理等を行う際に作業用メモリとして用いられるＤＲＡＭ１１が接続されていると共に、カメラ信号処理回路６からの画像データを圧縮処理する圧縮回路（ＪＰＥＧ）１２が接続されている。また、バスライン９には、圧縮回路１２で圧縮処理された画像データをメモリカード１３に記録するために、メモリカードＩ／Ｆ１４が接続されていると共に、メモリカード１３に記録された画像データを読み出して表示したり、撮影状態を表示するために表示回路１５を介して液晶表示素子（ＬＣＤ）１６が接続されている。さらに、バスライン９には、メモリカード１３に記録されている画像データをパソコン（ＰＣ）１７へ転送するためのＰＣＩ／Ｆ１８が接続されている。
【００２６】
また、ＣＰＵ８には、ＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＥ情報に基づいて制御されるストロボ装置１９、および各種撮影モードの設定やトリガスイッチの駆動等を行う入力キー２０がそれぞれ接続されている。なお、ＣＣＤ撮像素子１は、ＣＰＵ８の制御のもとにタイミングジェネレータ（ＴＧ）２１からのタイミングパルスによって駆動されるようになっている。
【００２７】
図１に示す撮像装置では、画像合成を行わない通常撮影モードと、画像合成を行う広ダイナミックレンジ撮影モードとを、入力キー２０の操作により手動的に選択するか、あるいはＣＣＤ撮像素子１からの画像信号の白とびを検出してＣＰＵ８において自動的に選択し、その選択した撮影モードに応じてＣＰＵ８により撮影動作を制御する。すなわち、通常撮影モードが選択された場合には、通常の撮影動作によって一回の撮影でＣＣＤ撮像素子１から一画面分の画像信号を得、広ダイナミックレンジ撮影モードが選択された場合には、ＣＣＤ撮像素子１の電子シャッタ機能、あるいはこの電子シャッタ機能と絞り・シャッタ機構３との組み合わせによる公知の方法で一回の撮影でＣＣＤ撮像素子１から露光量の異なる複数画面分（ここでは、二画面分）の画像信号を得て、カメラ信号処理回路６において撮影モードに応じた画像データ処理を行う。
【００２８】
図２は、図１に示すカメラ信号処理回路６の一例の構成を示すブロック図である。このカメラ信号処理回路６には、入力側切り換えスイッチ２５および出力側切り換えスイッチ２６を設け、入力側切り換えスイッチ２５の一方の切り換え接点をカメラ信号画像処理回路２７を経て出力側切り換えスイッチ２６の一方の切り換え接点に接続する。また、入力側切り換えスイッチ２５の他方の切り換え接点は画像切り換えスイッチ２８に接続し、この画像切り換えスイッチ２８の一方の切り換え接点を画像データバッファ２９、開閉スイッチ３０およびプロセス回路３１を経て画像合成処理回路３２の一方の入力端子に接続し、他方の切り換え接点を画像データバッファ３３、開閉スイッチ３４およびプロセス回路３５を経て画像合成処理回路３２の他方の入力端子に接続する。さらに、画像合成処理回路３２の出力端子は画像圧縮処理回路３６の入力端子に接続し、この画像圧縮処理回路３６の出力端子を出力側切り換えスイッチ２６の他方の切り換え接点に接続する。
【００２９】
入力側切り換えスイッチ２５および出力側切り換えスイッチ２６は、ＣＰＵ８からの撮影モード信号iiに基づいて制御するようにし、画像切り換えスイッチ２８および開閉スイッチ３０，３４は、ＣＰＵ８からの画像合成処理制御信号jjに基づいて切り換え制御回路３７を介して制御するようにする。また、画像合成処理回路３２には、広ダイナミックレンジ撮影モード時に、ＣＰＵ８から露光量の異なる二つの画像信号間の露光量比データ信号mmを供給する。
【００３０】
すなわち、通常撮影モードでは、ＣＰＵ８からの撮影モード信号iiにより、入力側切り換えスイッチ２５および出力側切り換えスイッチ２６をカメラ信号画像処理回路２７側に接続して、図１に示すＡ／Ｄ変換器５からの画像信号aaを、入力側切り換えスイッチ２５を経てカメラ信号画像処理回路２７に供給し、ここでＣＰＵ８からのＡＷＢ情報に基づくＡＷＢ処理、ＣＣＤ撮像素子１の色フィルタ構造に基づく色情報の補間処理、コントラストの強調処理等の通常の画像処理を行って、その通常撮影による画像信号hhを出力側切り換えスイッチ２６を経て最終出力画像信号kkとしてバスライン９に出力する。
【００３１】
これに対し、広ダイナミックレンジ撮影モードでは、ＣＰＵ８からの撮影モード信号iiにより、入力側切り換えスイッチ２５を画像切り換えスイッチ２８側に、出力側切り換えスイッチ２６を画像圧縮処理回路３６側にそれぞれ接続し、画像切り換えスイッチ２８および開閉スイッチ３０，３４をＣＰＵ８からの画像合成処理制御信号jjに基づいて切り換え制御回路３７を介して制御して、露光量の異なる二つの画像信号を画像データバッファ２９および３３に格納する。
【００３２】
すなわち、先ず、開閉スイッチ３０，３４を開放状態として、画像切り換えスイッチ２８を露光量の異なる二つの画像信号の取込みに同期して切り換えて、Ａ／Ｄ変換器５からの露光量の小さい画像信号aaを画像データバッファ２９に、Ａ／Ｄ変換器５からの露光量の大きい画像信号aaを画像データバッファ３３にそれぞれ格納する。その後、開閉スイッチ３０，３４を同時に閉成状態として、画像データバッファ２９から露光量の小さい画像信号bbを、開閉スイッチ３０を経てプロセス回路３１に供給し、それと同期して画像データバッファ３３から露光量の大きい画像信号ccを、開閉スイッチ３４を経てプロセス回路３５に供給する。
【００３３】
プロセス回路３１，３５では、カメラ信号画像処理回路２７と同様の画像処理を行って、プロセス回路３１からの露光量の小さい画像信号ddと、プロセス回路３５からの露光量の大きい画像信号eeとを画像合成処理回路３２に同期して供給し、この画像合成処理回路３２において、ＣＰＵ８からの露光量比データ信号mmを用いて画像信号ddと画像信号eeとを部分的に切り換え合成する。この画像合成処理回路３２で合成した広ダイナミックレンジの合成画像信号ffは、画像圧縮処理回路３６に供給してそのダイナミックレンジを適正露光レベルとなるように圧縮処理を行い、その合成画像圧縮画像信号ggを出力側切り換えスイッチ２６を経て最終出力画像信号kkとしてバスライン９に出力する。
【００３４】
なお、図２では、二組の画像データバッファ２９，３３および開閉スイッチ３０，３４を設けたが、例えば画像データバッファ３３および開閉スイッチ３４を省略し、画像データバッファ２９に露光量の小さい画像信号aaを格納した後、画像切り換えスイッチ２８の切り換えに同期して開閉スイッチ３０を閉成して、画像データバッファ２９からの露光量の小さい画像信号bbと、Ａ／Ｄ変換器５からの露光量の大きい画像信号aaとを対応するプロセス回路３１，３５に同期して供給するようにすることもできる。
【００３５】
この発明とともに開発した参考例では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,ee を合成するにあたって、それらの画像信号間のレベル比を対応する画素毎に算出し、そのレベル比がＣＰＵ８からの露光量比データ信号mmに比べて所定値以上となる画素を合成不適合画素として検出し、その合成不適合画素の画素信号を、該合成不適合画素の近傍に位置し、かつ合成不適合画素として検出されなかった画素の合成画素信号に基づいて補間して補正する。
【００３６】
図３は、上記参考例における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部４１の一方の入力端子に供給すると共に、画像データ比較部４２の一方の入力端子に供給する。また、露光量の小さい画像信号ddは、画像データ比較部４２の他方の入力端子に供給すると共に、乗算器４３に供給する。乗算器４３では、ＣＰＵ８からの露光量比データ信号mmに基づいて、画像信号ddを露光量比分増幅するゲイン調整を行って、そのゲイン調整した露光量の小さい画像信号ppを画像合成部４１の他方の入力端子に供給する。
【００３７】
画像データ比較部４２では、画像信号dd,ee のレベル比を画素単位で、すなわち同一画素位置毎に比較して、その画像データ比較信号nnを比較演算部４４に供給する。比較演算部４４では、画像データ比較信号nnとＣＰＵ８からの露光量比データ信号mmに基づく基準値とを比較して比較結果論理データ信号ooを出力し、この比較結果論理データ信号ooを画像合成部４１および合成不適合画素領域抽出部４５にそれぞれ供給する。ここでは、比較結果論理データ信号ooとして、画像データ比較信号nnの各画素について基準値を越えるときは合成不適合画素として論理「１」を、基準値以下のときは合成適合画素として論理「０」を出力するものとする。
【００３８】
画像合成部４１では、比較結果論理データ信号ooの論理値に基づいて、論理「０」すなわち合成適合画素のときは、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、論理「１」すなわち合成不適合画素のときは、対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部４１から得られる合成不適合画素以外が合成された合成画像信号qqを、補間対象画素検出部４６およびローパスフィルタ（ＬＰＦ）４７にそれぞれ供給する。
【００３９】
一方、合成不適合画素領域抽出部４５では、比較結果論理データ信号ooの論理値に基づいて、すなわち論理「１」が連続する領域に基づいてライン毎（水平方向）に合成不適合画素領域を抽出し、その領域信号rrを補間対象画素検出部４６および合成不適合画素補間部４８にそれぞれ供給する。補間対象画素検出部４６では、画像合成部４１からの合成不適合画素以外が合成された合成画像信号qqと、合成不適合画素領域抽出部４５からの領域信号rrとに基づいて、合成不適合画素領域の画素信号を補間するための補間対象画素（補正基準画素）を検出し、その補正基準画素信号ss（合成画像信号qqの情報を含む）を合成不適合画素補間部４８に供給する。
【００４０】
合成不適合画素補間部４８では、合成不適合画素領域抽出部４５からの領域信号rrに対応する合成不適合画素の画素信号を、補間対象画素検出部４６からの補正基準画素信号ssに基づいて補間して補正し、その補間処理した合成補正画像信号ttをローパスフィルタ４７に供給する。ローパスフィルタ４７では、合成補正画像信号ttを画像合成部４１からの合成画像信号qqを用いて少なくとも垂直方向にローパスフィルタ処理して、合成画像信号ffとして図２に示した画像圧縮処理回路３６に供給するようにする。
【００４１】
図４は、図３に示した合成不適合画素領域抽出部４５、補間対象画素検出部４６、合成不適合画素補間部４８およびローパスフィルタ４７による合成不適合画素の画素信号の補正処理動作を詳細に示すフローチャートである。先ず、合成不適合画素領域抽出部４５において、比較演算部４４からの比較結果論理データ信号ooに基づいて参照画素が合成不適合画素か否かを判定し（ステップＳ１）、合成不適合画素の場合、すなわち論理「１」の場合には、水平方向に連続している合成不適合画素を一つの領域として統合して（ステップＳ２）、その合成不適合画素領域の長さ（Ｓ）を算出する（ステップＳ３）。この長さ分の合成不適合画素を領域信号rrとする。
【００４２】
その後、補間対象画素検出部４６において、合成不適合画素領域の左右両端から、Ｓ×β（ただし、βは任意の調整パラメータ；β＞０）の距離にある画素を補正基準画素（LPx,RPx ）として検出して（ステップＳ４）、その各補正基準画素の輝度信号（Y-LPx,Y-RPx ）を計算し（ステップＳ５）、その大小関係を判定する（ステップＳ６）。ここで、Y-LPx ＝Y-RPx の場合には、各補正基準画素の色差信号（Cr-LPx,Cr-RPx ），（Cb-LPx,Cb-RPx ）を計算し（ステップＳ７）、Y-LPx ＞Y-RPx の場合には、合成不適合画素領域の左端からｄ画素分（ただし、ｄ≦Ｓ×β）補正領域を拡張して（ステップＳ８）からステップＳ７の処理を実行し、Y-LPx ＜Y-RPx の場合には、合成不適合画素領域の右端からｄ画素分補正領域を拡張して（ステップＳ９）からステップＳ７の処理を実行する。
【００４３】
その後、合成不適合画素補間部４８において、補正基準画素の画素信号を用いて補正領域（合成不適合画素領域＋拡張分）の画素信号を輝度、色差別に平滑化して補間し（ステップＳ１０）、全ての補正領域についての補間処理が終了した時点で、ローパスフィルタ４７において、補正領域に対して輝度、色差別にローパスフィルタ処理を行い（ステップＳ１１）、その補間された輝度、色差信号からＲＧＢ信号に変換して（ステップＳ１２）、合成画像信号ffとして出力する。
【００４４】
なお、上記参考例では、水平方向について合成不適合画素領域を算出して、その画素信号を補正するようにしたが、垂直方向についても同様にして合成不適合画素領域を算出し、その画素信号を水平および垂直方向における補正基準画素の画素信号に基づいて補正して、水平および垂直の二次元方向にローパスフィルタ処理を施すようにすることもできる。このようにすれば、周囲および合成画像全体に対して、より違和感の無い合成画像を得ることが可能となる。また、上記参考例では、合成不適合部を画素単位で検出して補正するようにしたが、所定画素数のブロック単位で検出して補正するよう構成することもできる。また、合成不適合部は、露光量の異なる複数の画像信号間のレベル比を算出し、そのレベル比と前記露光量の異なる複数の画像信号を得るときに設定される露光量比との比較に基づいて検出するよう構成することもできる。このようにすれば、露光量の異なる複数の画像信号およびハードウエアからのデータを用いた単純な比較演算により、補正が必要な合成不適合部を検出することができるので、低コストおよび処理速度の短縮を図ることが可能となる。さらに、合成不適合部は、露光量の異なる複数の画像信号間の差分を算出し、その差分に基づいて検出するよう構成することもできる。このようにすれば、上記の場合と同様に、露光量の異なる複数の画像信号およびハードウエアからのデータを用いた単純な比較演算により、補正が必要な合成不適合部を検出することができるので、低コストおよび処理速度の短縮を図ることが可能となる。
【００４５】
この発明の第１実施形態では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,ee を合成するにあたって、それらの画像信号の比較に基づいて動きベクトルを算出し、その動きベクトルの大きさが所定値を越える画素を合成不適合画素として検出し、その動きベクトルの始点の画素信号を、該動きベクトルの終点を含む所定の小ブロック内の合成不適合部でない合成画素信号に基づいて補間して補正し、該動きベクトルの終点を含む残りの領域の合成不適合部の画素信号を、画像信号ddの対応する領域の画素信号に基づいて補間して補正する。
【００４６】
図５は、第１実施形態における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部５１の一方の入力端子に供給し、露光量の小さい画像信号ddは、乗算器５２においてＣＰＵ８からの露光量比データ信号mmに基づいて露光量比分増幅するゲイン調整を行い、そのゲイン調整した露光量の小さい画像信号ppを画像合成部５１の他方の入力端子に供給する。また、画像信号pp,ee は対応するエッジ検出部５３，５４に供給してそれぞれ画像のエッジを検出し、それらのエッジ検出信号uu,vv を対応するブロック設定部５５，５６に供給してそれぞれブロック信号ww,xx を生成して動きベクトル計算部５７に供給し、該動きベクトル計算部５７においてブロック信号ww,xx に基づいて両画像間の動きベクトルを計算して、その動きベクトルデータ信号yyを画像合成部５１、小ブロック設定部５８、小ブロック平均算出部５９およびベクトル画素補間部６０にそれぞれ供給する。
【００４７】
画像合成部５１では、動きベクトルデータ信号yyの大きさと所定の閾値とを比較し、動きベクトルデータ信号yyの大きさが所定の閾値以下のときは、合成適合画素として、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときは、合成不適合画素として対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部５１から得られる合成不適合画素以外が合成された合成画像信号qqを、小ブロック設定部５８およびローパスフィルタ（ＬＰＦ）６１にそれぞれ供給する。
【００４８】
一方、小ブロック設定部５８では、参照画素を始点とする動きベクトルデータ信号yyの大きさと所定の閾値とを比較して、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときのみ、その参照画素を合成不適合画素として、図６（Ａ）に示すように、合成画像信号qqからその動きベクトルの終点を中心とする小ブロック（ここでは、３×３画素ブロック）を設定して、その小ブロック設定信号zz（合成画像信号qqの情報を含む）を小ブロック平均算出部５９に供給し、ここで図６（Ｂ）に示すように小ブロック内に存在する合成画素信号を用いて色信号毎に平均値（Rv,Gv,Bv）を算出し、その小ブロック内平均値信号aaa （合成画像信号qqの情報を含む）をベクトル画素補間部６０に供給する。
【００４９】
ベクトル画素補間部６０には、ゲイン調整した露光量の小さい画像信号ppをも供給し、ここで図６（Ｃ）に示すように、移動被写体を移動前の状態に戻すように、動きベクトルの始点の合成不適合画素の画素信号を、小ブロック内平均値信号aaa で補間し、また、動きベクトルの終点を含む残りの領域の合成不適合部の画素信号は、ゲイン調整した画像信号ppの対応する領域の画素信号で補間し、その補間処理した合成補正画像信号bbb をローパスフィルタ６１に供給する。ローパスフィルタ６１では、合成補正画像信号bbb を、画像合成部５１からの合成不適合画素以外が合成された合成画像信号qqを用いて、上記参考例と同様にローパスフィルタ処理を行って合成画像信号ffを得る。
【００５０】
図７は、図５に示した小ブロック設定部５８、小ブロック平均算出部５９、ベクトル画素補間部６０およびローパスフィルタ６１による合成不適合画素の画素信号の補間処理動作を詳細に示すフローチャートである。先ず、小ブロック設定部５８において、動きベクトル計算部５７からの動きベクトルデータ信号yyに基づいて参照画素を始点とする動きベクトルが所定の閾値Thを越えるか否かを判定し（ステップＳ２１）、越える場合には参照画素を合成不適合画素として画像合成部５１からの合成画像信号qqに基づいて動きベクトルの終点を中心とする３×３画素の小ブロックを設定して（ステップＳ２２）、その小ブロック設定信号zzを小ブロック平均算出部５９に供給する。
【００５１】
小ブロック平均算出部５９では、小ブロック設定信号zzを受けて、色信号の変数（ＲB , ＧB , ＢB ）および加算回数を計数する内部カウンタ（Count ）を初期化して（ステップＳ２３）、設定された小ブロックを走査しながら（ステップＳ２４）、その小ブロック内に合成画素信号（Ｒ，Ｇ，Ｂ）が存在するか否か判定し（ステップＳ２５）、合成画素信号が存在する場合には、その合成画素信号を対応する変数に加算すると共に、そのカウンタをインクリメントする（ステップＳ２６）。その後、小ブロックの走査が終了したら（ステップＳ２７）、Count 値を用いて変数（ＲB , ＧB , ＢB ）の平均値（Rv,Gv,Bv）を算出して（ステップＳ２８）、その平均値を小ブロック内平均値信号aaa としてベクトル画素補間部６０に供給する。
【００５２】
ベクトル画素補間部６０では、移動被写体を移動前の状態に戻すように、動きベクトルの始点の合成不適合画素の画素信号を、小ブロック内平均値信号aaa で補間する（ステップＳ２９）と共に、該動きベクトルの終点を含む残りの領域の合成不適合部の画素信号を、ゲイン調整した画像信号ppの対応する領域の画素信号で補間して（ステップＳ３０）、合成補正画像信号bbb としてローパスフィルタ６１に供給し、ここで合成画像信号qqを用いて補間された動きベクトル上の画素信号に対して各色信号別のローパスフィルタ処理を実行して（ステップＳ３１）、合成画像信号ffを得る。
【００５３】
すなわち、第１実施形態では、広ダイナミックレンジ撮影モードにおいて、プロセス回路３１，３５（図２参照）から、図８（Ａ）に短時間露光画像として示す露光量の小さい画像信号ddと、図８（Ｂ）に長時間露光画像として示す露光量の大きい画像信号eeが得られた場合には、図８（Ｃ）に示すように短時間露光画像のレベルを長時間露光画像のレベルに合わせるようにゲイン調整して、そのゲイン調整した短時間露光画像と長時間露光画像とから動きベクトルを検出しながら、その動きベクトルの大きさが所定の閾値を越える画素を除いて切り換え合成を行って、図８（Ｄ）に示すような合成画像を得る（ただし、この時点では、図８（Ｄ）に示す動きベクトルの始点は置換されていない）。また、動きベクトルに対応する画素については、動きベクトル毎に、その始点の画素の画素信号を、図６で説明したように該動きベクトルの終点を中心とする小ブロック内の合成画素信号の平均値で補間し（この時点で、図８（Ｄ）に示す動きベクトルの始点が置換される）、該動きベクトルの終点を含む残りの領域の画素信号は、図８（Ｃ）に白枠で示すゲイン調整した対応する領域の画素信号で補間して、図８（Ｅ）に示す補正した合成画像を得る。したがって、図９（Ａ）に示す複数の動きベクトルについて上記の処理を行えば、最終的には図９（Ｂ）に示すような補正された合成画像を得ることができる。
【００５４】
なお、以上の説明では、移動被写体の移動前後の境界の画素信号を補正（補間）するようにしたが、背景部について補正（補間）する場合も同様である。この場合には、先ず、上記の移動被写体についての補正と同様に、動きベクトルの終点について設定した小ブロック内の合成画素信号の平均値を算出して、その平均値を動きベクトルの始点の画素信号に補間する。この場合の平均値は、移動被写体の情報が主となる。次に、動きベクトルの始点以外の画素信号を短時間露光画像（露光量の小さい画像信号に相当）の対応する領域の画素信号で補間する。この際、補間する情報は背景部であるから、背景部が白とびにならないように、短時間露光画像を１倍にゲイン調整する。このように補間処理することにより、動きベクトルは、その始点のみが移動被写体を主情報とし、それ以外は背景部の情報に補間されることになる。図１０（Ａ）〜（Ｅ）は、この場合の補間処理の概略を示すものであるが、その詳細は、上記の説明、図８（Ａ）〜（Ｅ）の説明、および図９（Ａ），（Ｂ）の説明から明らかであるので、省略する。
【００５５】
なお、第１実施形態では、動きベクトルの始点の画素信号を、その終点を中心とする小ブロック内の合成画素信号の平均値で置換して補正したが、単に終点の画素信号で置換して補正するようにすることもできる。
【００５６】
この発明の第２実施形態では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,ee を合成するにあたって、それらの画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について動きベクトルを算出し、その動きベクトルの大きさが所定値を越える画素を合成不適合画素として検出して、動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、該動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号で置換し、その置換により失われた画素信号をゲイン調整した露光量の小さい画像信号の対応する領域の画素信号で補正する。
【００５７】
図１１は、第２実施形態における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部７０の一方の入力端子に供給し、露光量の小さい画像信号ddは、乗算器７１においてＣＰＵ８からの露光量比データ信号mmに基づいて露光量比分増幅するゲイン調整を行い、そのゲイン調整した露光量の小さい画像信号ppを画像合成部７０の他方の入力端子に供給する。また、画像信号pp,ee は対応するＡＮＤゲート７２，７３の一方の入力端子にそれぞれ供給すると共に、画像差分演算部７４に供給する。画像差分演算部７４では、画像信号pp,ee の差分を画素単位で、すなわち同一画素位置毎に演算して、その絶対値と所定の閾値とを比較し、差分の絶対値が閾値を越えるときは論理「１」、閾値以下のときは論理「０」の比較結果論理値データ信号ccc をＡＮＤゲート７２，７３の他方の入力端子にそれぞれ供給する。これにより、ＡＮＤゲート７２から、ゲイン調整した画像信号ppのうち、画像信号pp,ee の差分の絶対値が閾値を越える領域の画像信号ddd を出力させ、ＡＮＤゲート７３から、画像信号eeのうち、画像信号pp,ee の差分の絶対値が閾値を越える領域の画像信号eee を出力させる。
【００５８】
ＡＮＤゲート７２，７３からの画像信号ddd,eee は、対応するエッジ検出部７５，７６に供給してそれぞれ画像のエッジを検出し、それらのエッジ検出信号fff,ggg を対応するブロック設定部７７，７８に供給してそれぞれブロック信号ww,xx を生成して動きベクトル計算部７９に供給し、該動きベクトル計算部７９においてブロック信号ww,xx に基づいて両画像間の動きベクトルを計算して、その動きベクトルデータ信号yyを画像合成部７０、被補正ブロック設定部８０、被補正ブロック置換画素決定部８１およびデータ補正部８２にそれぞれ供給する。
【００５９】
画像合成部７０では、第１実施形態と同様に、動きベクトルデータ信号yyの大きさと所定の閾値とを比較し、動きベクトルデータ信号yyの大きさが所定の閾値以下のときは、合成適合画素として、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときは、合成不適合画素として対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部７０から得られる合成不適合画素以外が合成された合成画像信号qqを、被補正ブロック設定部８０およびローパスフィルタ（ＬＰＦ）８３にそれぞれ供給する。
【００６０】
一方、図１２にフローチャートをも示すように、被補正ブロック設定部８０では、参照画素を始点とする動きベクトルデータ信号yyの大きさと所定の閾値Thとを比較して（ステップＳ４１）、動きベクトルデータ信号yyの大きさが所定の閾値Thを越えるときのみ、参照画素を合成不適合画素として、動きベクトルの算出計算と同様の計算により合成画像信号qqから動きベクトルの始点（参照画素）を中心とし、その終点を含む被補正ブロックを設定し（ステップＳ４２）、その被補正ブロック設定信号hhh （合成画像信号qqの情報を含む）を被補正ブロック置換画素決定部８１に供給する。
【００６１】
被補正ブロック置換画素決定部８１では、被補正ブロック設定信号hhh および動きベクトルデータ信号yyに基づいて動きベクトルの終点を中心とする被補正ブロックと同じ大きさの補正ブロックを設定して（ステップＳ４３）、その補正ブロック設定信号iii （合成画像信号qqの情報を含む）をデータ補正部８２に供給する。
【００６２】
データ補正部８２には、ゲイン調整した画像信号ppをも供給し、ここで補正ブロック設定信号iii および動きベクトルデータ信号yyに基づいて、被補正ブロック内の合成不適合画素の画素信号を補正ブロック内の合成画素信号で置換（ステップＳ４４）すると共に、その置換により失われた領域の画素信号をゲイン調整した露光量の小さい画像信号ppの対応する領域の画素信号で補間して補正し（ステップＳ４５）、その補正処理された合成補正画像信号jjj をローパスフィルタ８３に供給する。ローパスフィルタ８３では、合成補正画像信号jjj の補正された被補正ブロックおよびその周囲の画素信号に対して各色信号別にローパスフィルタ処理を実行して（ステップＳ４６）、合成画像信号ffを得る。
【００６３】
なお、第２実施形態では、被補正ブロック内の合成不適合部の画素信号を、補正ブロック内の合成不適合部でない合成画素信号で置換するようにしたが、置換に代えて補間するようにすることもできる。このようにすれば、補正ブロック内で失われる画素信号が無くなるので、その画素信号の補間処理が不要となり、処理が簡単になる。
【００６４】
この発明のさらに他の実施形態では、以上の各実施形態あるいは変形例で説明した広ダイナミックレンジ撮影モードにおける処理動作を実行するためのプログラムを記録媒体に記録しておき、撮像装置には記録媒体のドライバを付設して、記録媒体に記録されているプログラムをドライバを介して撮像装置本体のＣＰＵ８（図１参照）で読み取って実行するようにすることもできる。
【００６５】
【発明の効果】
以上のように、この発明によれば、露光量の異なる複数の画像信号を部分的に切り換えて合成してダイナミックレンジの広い画像信号を生成するにあたって、画像信号の合成不適合部を検出し、その合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正するようにしたので、例えば明るい背景で動いている主要被写体を撮影した場合の画像信号の合成時における影響を最小限に抑えることができ、通常の写真画像と比較して何ら違和感の無いダイナミックレンジの広い画像を得ることができる。しかも、動きベクトルを算出し、その大きさが所定の閾値を超える場合に合成不適合部を検出するので、被写体の移動量および移動方向に応じた補正が必要な合成不適合部をより高精度で検出することが可能となる。
【図面の簡単な説明】
【図１】この発明に係る撮像装置としての電子スチールカメラの基本的構成を示すブロック図である。
【図２】図１に示すカメラ信号処理回路の一例の構成を示すブロック図である。
【図３】この発明とともに開発した参考例における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図４】参考例における要部の動作を説明するためのフローチャートである。
【図５】この発明の第１実施形態における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図６】その動作を説明するための図である。
【図７】同じく、要部の動作を説明するためのフローチャートである。
【図８】同じく、動作を説明するための図である。
【図９】同じく、動作を説明するための図である。
【図１０】同じく、動作を説明するための図である。
【図１１】この発明の第２実施形態における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図１２】その要部の動作を説明するためのフローチャートである。
【図１３】露光量の異なる二つの画像信号を部分的に切り換えてダイナミックレンジの広い画像を得る方法を説明するための図である。
【符号の説明】
１ カラーＣＣＤ撮像素子
２ レンズ
３ 絞り・シャッタ機構
６ カメラ信号処理回路
８ ＣＰＵ
２０ 入力キー
２１ タイミングジェネレータ
３２ 画像合成処理回路
４１ 画像合成部
４２ 画像データ比較部
４３ 乗算器
４４ 比較演算部
４５ 合成不適合画素領域抽出部
４６ 補間対象画素検出部
４７ ローパスフィルタ（ＬＰＦ）
４８ 合成不適合画素補間部
５１ 画像合成部
５２ 乗算器
５３，５４ エッジ検出部
５５，５６ ブロック設定部
５７ 動きベクトル計算部
５８ 小ブロック設定部
５９ 小ブロック平均算出部
６０ ベクトル画素補間部
６１ ローパスフィルタ（ＬＰＦ）
７０ 画像合成部
７１ 乗算器
７２，７３ ＡＮＤゲート
７４ 画像差分演算部
７５，７６ エッジ検出部
７７，７８ ブロック設定部
７９ 動きベクトル計算部
８０ 被補正ブロック設定部
８１ 被補正ブロック置換画素決定部
８２ データ補正部
８３ ローパスフィルタ（ＬＰＦ）
【発明の属する技術分野】
この発明は、電子スチールカメラやデジタルカメラ等の固体撮像素子を有する撮像装置において、特に固体撮像素子のダイナミックレンジの拡大を図った撮像装置、および撮像方法、並びに、撮像プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
固体撮像素子を有する撮像装置では、固体撮像素子のダイナミックレンジが銀塩フィルムよりも狭いため、例えば比較的明るい背景で被写体を撮影するにあたって、被写体が適正となるように露光時間を合わせると、背景が露光オーバーとなって画像信号が飽和し、逆に背景が適正となるように露光時間を合わせると、被写体がアンダー露光となって暗くなってしまう。そこで、この種の従来の撮像装置として、被写体を露光量を異ならせて撮影し、その露光量の異なる二つの画像信号を加算して合成したり、あるいは露光量の異なる二つの画像信号を部分的に切り換えて合成して、固体撮像素子のダイナミックレンジを拡大するようにしたものが提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者のように、露光量の異なる二つの画像信号を加算して合成するものにあっては、被写体が移動している場合や、手触れによって画像間に相対的な位置ずれが生じると、その相対的な位置ずれを有する部分においてＳ／Ｎが低下するという問題があると共に、カラー画像の場合には偽色や擬似輪郭が生じるという問題がある。
【０００４】
このような問題を解決し得るものとして、例えば特開平２−２８０５８５号公報には、露光量の異なる二つの画像信号の差を検出し、その差の絶対値を補正量として加算した画像信号から減算するようにしたものが提案されている。しかし、この場合には、ずれ相当部分を減算補正によって除去するため、例えば主要被写体が移動する場合には、合成画像における主要被写体の形状が変化して、通常の銀塩フィルムによる写真画像と比較して違和感が残るものになるという問題がある。
【０００５】
このような問題は、後者のように露光量の異なる二つの画像信号を部分的に切り換えて合成する場合にも同様に生じる。すなわち、図１３に示すように、長時間露光における画像Ａの白とびした部分Ｂ（例えば、背景部分）の画像信号を、短時間露光における画像Ｃの対応する部分Ｄのゲインを調整した画像信号に切り換えて合成画像Ｅを得る場合において、主要被写体Ｆが短時間露光と長時間露光との間で、図１３において右から左に移動していると、その移動量に相当する短時間露光における主要被写体部分（合成画像Ｅにおいて部分Ｇ）の画像信号も合成されて、主要被写体Ｆが二重になり、合成画像Ｅとして違和感が残るものになる。
【０００６】
この発明は、このような従来の問題点に着目してなされたもので、露光量の異なる複数の画像信号を部分的に切り換えて合成してダイナミックレンジの広い画像を得るにあたって、常に違和感の無い画像が得られるよう適切に構成した撮像装置を提供することを目的とするものである。
【０００７】
さらに、この発明の目的は、違和感の無いダイナミックレンジの広い画像を得るための撮像方法、並びに、撮像プログラムを記録した記録媒体を提供しようとするものである。
【０００８】
【課題を解決するための手段】
上記目的を達成する請求項１に係る発明は、露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像装置において、
被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像手段と、
この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段と、
この記憶手段から少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段と、
前記異なる露光量で撮像された複数の画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する合成不適合部検出手段と、
この合成不適合部検出手段で検出された合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する合成不適合部補正手段とを有することを特徴とするものである。
【０００９】
このように、画像信号の合成不適合部を検出して、その合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正することで、例えば明るい背景で動いている主要被写体を撮影した場合の画像信号の合成時における影響を最小限に抑えることができ、通常の写真画像と比較して何ら違和感の無いダイナミックレンジの広い画像を得ることが可能となる。しかも、動きベクトルを算出し、その大きさが所定の閾値を超える場合に合成不適合部を検出するので、被写体の移動量および移動方向に応じた補正が必要な合成不適合部をより高精度で検出することが可能となる。
【００１０】
請求項２に係る発明は、請求項１記載の撮像装置において、前記合成不適合部補正手段は、前記動きベクトルの始点を含む合成不適合部の画素信号を、該動きベクトルの終点を含む合成不適合部でない合成画素信号に基づいて補正し、該動きベクトルの終点の画素を含む所定の画素ブロック内の残りの領域の合成不適合部の画素信号を、前記露光量の異なる複数の画像信号のうちの一つの画像信号の対応する領域の画素信号に基づいて補正するよう構成されていることを特徴とするものである。
【００１１】
このようにして、検出された動きベクトルに対応する合成不適合部の画素信号を補正すれば、補正処理を簡単な構成で高速に行うことが可能となる。
【００１２】
請求項３に係る発明は、請求項１記載の撮像装置において、前記合成不適合部補正手段は、前記動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、前記動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号に基づいて補正するよう構成されていることを特徴とするものである。
【００１３】
このようにすれば、画素単位での演算を行うことなく、合成不適合部の画素信号を補正することができるので、構成を簡単にできると共に、処理時間を短縮することが可能となる。
【００１４】
請求項４に係る発明は、請求項１乃至３のいずれかに記載の撮像装置において、前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について前記露光量の異なる複数の画像信号の比較に基づいて動きベクトルを算出するよう構成されていることを特徴とするものである。
【００１５】
このように、露光量の異なる複数の画像信号間の差分の絶対値が所定値以上となる画素領域についてのみ、動きベクトルを算出して合成不適合部を検出するようにすれば、合成不適合部の検出処理速度を短縮することが可能となる。
【００１６】
請求項５に係る発明は、請求項１乃至４のいずれかに記載の撮像装置において、前記記憶手段は、異なる露光量で撮像された二つの画像信号を格納するように構成されていることを特徴とするものである。
【００１７】
請求項６に係る発明は、請求項１乃至４のいずれかに記載の撮像装置において、前記画像合成手段は、異なる露光量で撮像された二つの画像信号を部分的に切り替えながらモザイク状に画像合成を行って合成画像信号を出力するように構成されていることを特徴とするものである。
【００１８】
請求項７に係る発明は、請求項１乃至６のいずれかに記載の撮像装置において、前記合成不適合部補正手段によって補正された画像信号と、前記画像合成手段から出力される合成画像信号とを混合して補正された合成画像として出力する混合手段をさらに備えたことを特徴とするものである。
【００１９】
請求項８に係る発明は、請求項７記載の撮像装置において、前記混合手段は、前記合成不適合部補正手段から出力される合成補正画像信号を、前記画像合成手段から出力される合成画像信号でローパス処理するローパスフィルタを含むことを特徴とするものである。
【００２０】
さらに、上記目的を達成する請求項９に係る撮像方法の発明は、露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像方法において、
被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像ステップと、
この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段から、少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成ステップと、
前記異なる露光量で撮像された複数の画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する合成不適合部検出ステップと、
この合成不適合部検出手段で検出された合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する合成不適合部補正ステップとを有することを特徴とするものである。
【００２２】
さらに、上記目的を達成する請求項１０に係る記録媒体の発明は、固体撮像素子を有する撮像装置の動作を制御するためのコンピュータに、
前記固体撮像素子から被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に得る機能と、
その露光量の異なる画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する機能と、
その検出した合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する機能と、
前記合成不適合部を除いて前記露光量の異なる画像信号を合成する機能と、
その合成不適合部を除く合成画素信号と前記補正した合成不適合部の画素信号とを合成してダイナミックレンジの広い画像信号を生成する機能と、
を実現させるための撮像プログラムを記録したことを特徴とするものである。
【００２３】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態について説明する。
図１は、この発明に係る撮像装置としての電子スチールカメラの基本的構成を示すブロック図である。この電子スチールカメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ撮像素子１を用いるもので、このＣＣＤ撮像素子１には、レンズ２および絞り・シャッタ機構３を経て被写体像が結像され、その被写体像が光電変換されて画像信号として出力される。ＣＣＤ撮像素子１からの被写体像の画像信号は、図示しない相関二重サンプリング回路等でノイズ成分が除去されたのち、アンプ４で増幅され、さらにＡ／Ｄ変換器５でデジタル信号に変換されてカメラ信号処理回路６に供給され、ここで画像データとして処理される。
【００２４】
また、Ａ／Ｄ変換器５の出力は、ＡＦ，ＡＥ，ＡＷＢ検波回路７にも供給され、ここで本来の撮影に先立って、フォーカスを自動的に制御するためのＡＦ情報を取り出すＡＦ検波処理、露出を自動的に制御するためのＡＥ情報を取り出すＡＥ検波処理、およびホワイトバランスを自動的に設定するためのＡＷＢ情報を取り出すＡＷＢ検波処理が行われる。このＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＦ情報、ＡＥ情報およびＡＷＢ情報は、それぞれＣＰＵ８を介してレンズ２、絞り・シャッタ機構３およびカメラ信号処理回路６に供給される。
【００２５】
カメラ信号処理回路６およびＣＰＵ８は、バスライン９に接続され、このバスライン９には、メモリコントローラ１０を介して、画像データの色処理等を行う際に作業用メモリとして用いられるＤＲＡＭ１１が接続されていると共に、カメラ信号処理回路６からの画像データを圧縮処理する圧縮回路（ＪＰＥＧ）１２が接続されている。また、バスライン９には、圧縮回路１２で圧縮処理された画像データをメモリカード１３に記録するために、メモリカードＩ／Ｆ１４が接続されていると共に、メモリカード１３に記録された画像データを読み出して表示したり、撮影状態を表示するために表示回路１５を介して液晶表示素子（ＬＣＤ）１６が接続されている。さらに、バスライン９には、メモリカード１３に記録されている画像データをパソコン（ＰＣ）１７へ転送するためのＰＣＩ／Ｆ１８が接続されている。
【００２６】
また、ＣＰＵ８には、ＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＥ情報に基づいて制御されるストロボ装置１９、および各種撮影モードの設定やトリガスイッチの駆動等を行う入力キー２０がそれぞれ接続されている。なお、ＣＣＤ撮像素子１は、ＣＰＵ８の制御のもとにタイミングジェネレータ（ＴＧ）２１からのタイミングパルスによって駆動されるようになっている。
【００２７】
図１に示す撮像装置では、画像合成を行わない通常撮影モードと、画像合成を行う広ダイナミックレンジ撮影モードとを、入力キー２０の操作により手動的に選択するか、あるいはＣＣＤ撮像素子１からの画像信号の白とびを検出してＣＰＵ８において自動的に選択し、その選択した撮影モードに応じてＣＰＵ８により撮影動作を制御する。すなわち、通常撮影モードが選択された場合には、通常の撮影動作によって一回の撮影でＣＣＤ撮像素子１から一画面分の画像信号を得、広ダイナミックレンジ撮影モードが選択された場合には、ＣＣＤ撮像素子１の電子シャッタ機能、あるいはこの電子シャッタ機能と絞り・シャッタ機構３との組み合わせによる公知の方法で一回の撮影でＣＣＤ撮像素子１から露光量の異なる複数画面分（ここでは、二画面分）の画像信号を得て、カメラ信号処理回路６において撮影モードに応じた画像データ処理を行う。
【００２８】
図２は、図１に示すカメラ信号処理回路６の一例の構成を示すブロック図である。このカメラ信号処理回路６には、入力側切り換えスイッチ２５および出力側切り換えスイッチ２６を設け、入力側切り換えスイッチ２５の一方の切り換え接点をカメラ信号画像処理回路２７を経て出力側切り換えスイッチ２６の一方の切り換え接点に接続する。また、入力側切り換えスイッチ２５の他方の切り換え接点は画像切り換えスイッチ２８に接続し、この画像切り換えスイッチ２８の一方の切り換え接点を画像データバッファ２９、開閉スイッチ３０およびプロセス回路３１を経て画像合成処理回路３２の一方の入力端子に接続し、他方の切り換え接点を画像データバッファ３３、開閉スイッチ３４およびプロセス回路３５を経て画像合成処理回路３２の他方の入力端子に接続する。さらに、画像合成処理回路３２の出力端子は画像圧縮処理回路３６の入力端子に接続し、この画像圧縮処理回路３６の出力端子を出力側切り換えスイッチ２６の他方の切り換え接点に接続する。
【００２９】
入力側切り換えスイッチ２５および出力側切り換えスイッチ２６は、ＣＰＵ８からの撮影モード信号iiに基づいて制御するようにし、画像切り換えスイッチ２８および開閉スイッチ３０，３４は、ＣＰＵ８からの画像合成処理制御信号jjに基づいて切り換え制御回路３７を介して制御するようにする。また、画像合成処理回路３２には、広ダイナミックレンジ撮影モード時に、ＣＰＵ８から露光量の異なる二つの画像信号間の露光量比データ信号mmを供給する。
【００３０】
すなわち、通常撮影モードでは、ＣＰＵ８からの撮影モード信号iiにより、入力側切り換えスイッチ２５および出力側切り換えスイッチ２６をカメラ信号画像処理回路２７側に接続して、図１に示すＡ／Ｄ変換器５からの画像信号aaを、入力側切り換えスイッチ２５を経てカメラ信号画像処理回路２７に供給し、ここでＣＰＵ８からのＡＷＢ情報に基づくＡＷＢ処理、ＣＣＤ撮像素子１の色フィルタ構造に基づく色情報の補間処理、コントラストの強調処理等の通常の画像処理を行って、その通常撮影による画像信号hhを出力側切り換えスイッチ２６を経て最終出力画像信号kkとしてバスライン９に出力する。
【００３１】
これに対し、広ダイナミックレンジ撮影モードでは、ＣＰＵ８からの撮影モード信号iiにより、入力側切り換えスイッチ２５を画像切り換えスイッチ２８側に、出力側切り換えスイッチ２６を画像圧縮処理回路３６側にそれぞれ接続し、画像切り換えスイッチ２８および開閉スイッチ３０，３４をＣＰＵ８からの画像合成処理制御信号jjに基づいて切り換え制御回路３７を介して制御して、露光量の異なる二つの画像信号を画像データバッファ２９および３３に格納する。
【００３２】
すなわち、先ず、開閉スイッチ３０，３４を開放状態として、画像切り換えスイッチ２８を露光量の異なる二つの画像信号の取込みに同期して切り換えて、Ａ／Ｄ変換器５からの露光量の小さい画像信号aaを画像データバッファ２９に、Ａ／Ｄ変換器５からの露光量の大きい画像信号aaを画像データバッファ３３にそれぞれ格納する。その後、開閉スイッチ３０，３４を同時に閉成状態として、画像データバッファ２９から露光量の小さい画像信号bbを、開閉スイッチ３０を経てプロセス回路３１に供給し、それと同期して画像データバッファ３３から露光量の大きい画像信号ccを、開閉スイッチ３４を経てプロセス回路３５に供給する。
【００３３】
プロセス回路３１，３５では、カメラ信号画像処理回路２７と同様の画像処理を行って、プロセス回路３１からの露光量の小さい画像信号ddと、プロセス回路３５からの露光量の大きい画像信号eeとを画像合成処理回路３２に同期して供給し、この画像合成処理回路３２において、ＣＰＵ８からの露光量比データ信号mmを用いて画像信号ddと画像信号eeとを部分的に切り換え合成する。この画像合成処理回路３２で合成した広ダイナミックレンジの合成画像信号ffは、画像圧縮処理回路３６に供給してそのダイナミックレンジを適正露光レベルとなるように圧縮処理を行い、その合成画像圧縮画像信号ggを出力側切り換えスイッチ２６を経て最終出力画像信号kkとしてバスライン９に出力する。
【００３４】
なお、図２では、二組の画像データバッファ２９，３３および開閉スイッチ３０，３４を設けたが、例えば画像データバッファ３３および開閉スイッチ３４を省略し、画像データバッファ２９に露光量の小さい画像信号aaを格納した後、画像切り換えスイッチ２８の切り換えに同期して開閉スイッチ３０を閉成して、画像データバッファ２９からの露光量の小さい画像信号bbと、Ａ／Ｄ変換器５からの露光量の大きい画像信号aaとを対応するプロセス回路３１，３５に同期して供給するようにすることもできる。
【００３５】
この発明とともに開発した参考例では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,ee を合成するにあたって、それらの画像信号間のレベル比を対応する画素毎に算出し、そのレベル比がＣＰＵ８からの露光量比データ信号mmに比べて所定値以上となる画素を合成不適合画素として検出し、その合成不適合画素の画素信号を、該合成不適合画素の近傍に位置し、かつ合成不適合画素として検出されなかった画素の合成画素信号に基づいて補間して補正する。
【００３６】
図３は、上記参考例における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部４１の一方の入力端子に供給すると共に、画像データ比較部４２の一方の入力端子に供給する。また、露光量の小さい画像信号ddは、画像データ比較部４２の他方の入力端子に供給すると共に、乗算器４３に供給する。乗算器４３では、ＣＰＵ８からの露光量比データ信号mmに基づいて、画像信号ddを露光量比分増幅するゲイン調整を行って、そのゲイン調整した露光量の小さい画像信号ppを画像合成部４１の他方の入力端子に供給する。
【００３７】
画像データ比較部４２では、画像信号dd,ee のレベル比を画素単位で、すなわち同一画素位置毎に比較して、その画像データ比較信号nnを比較演算部４４に供給する。比較演算部４４では、画像データ比較信号nnとＣＰＵ８からの露光量比データ信号mmに基づく基準値とを比較して比較結果論理データ信号ooを出力し、この比較結果論理データ信号ooを画像合成部４１および合成不適合画素領域抽出部４５にそれぞれ供給する。ここでは、比較結果論理データ信号ooとして、画像データ比較信号nnの各画素について基準値を越えるときは合成不適合画素として論理「１」を、基準値以下のときは合成適合画素として論理「０」を出力するものとする。
【００３８】
画像合成部４１では、比較結果論理データ信号ooの論理値に基づいて、論理「０」すなわち合成適合画素のときは、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、論理「１」すなわち合成不適合画素のときは、対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部４１から得られる合成不適合画素以外が合成された合成画像信号qqを、補間対象画素検出部４６およびローパスフィルタ（ＬＰＦ）４７にそれぞれ供給する。
【００３９】
一方、合成不適合画素領域抽出部４５では、比較結果論理データ信号ooの論理値に基づいて、すなわち論理「１」が連続する領域に基づいてライン毎（水平方向）に合成不適合画素領域を抽出し、その領域信号rrを補間対象画素検出部４６および合成不適合画素補間部４８にそれぞれ供給する。補間対象画素検出部４６では、画像合成部４１からの合成不適合画素以外が合成された合成画像信号qqと、合成不適合画素領域抽出部４５からの領域信号rrとに基づいて、合成不適合画素領域の画素信号を補間するための補間対象画素（補正基準画素）を検出し、その補正基準画素信号ss（合成画像信号qqの情報を含む）を合成不適合画素補間部４８に供給する。
【００４０】
合成不適合画素補間部４８では、合成不適合画素領域抽出部４５からの領域信号rrに対応する合成不適合画素の画素信号を、補間対象画素検出部４６からの補正基準画素信号ssに基づいて補間して補正し、その補間処理した合成補正画像信号ttをローパスフィルタ４７に供給する。ローパスフィルタ４７では、合成補正画像信号ttを画像合成部４１からの合成画像信号qqを用いて少なくとも垂直方向にローパスフィルタ処理して、合成画像信号ffとして図２に示した画像圧縮処理回路３６に供給するようにする。
【００４１】
図４は、図３に示した合成不適合画素領域抽出部４５、補間対象画素検出部４６、合成不適合画素補間部４８およびローパスフィルタ４７による合成不適合画素の画素信号の補正処理動作を詳細に示すフローチャートである。先ず、合成不適合画素領域抽出部４５において、比較演算部４４からの比較結果論理データ信号ooに基づいて参照画素が合成不適合画素か否かを判定し（ステップＳ１）、合成不適合画素の場合、すなわち論理「１」の場合には、水平方向に連続している合成不適合画素を一つの領域として統合して（ステップＳ２）、その合成不適合画素領域の長さ（Ｓ）を算出する（ステップＳ３）。この長さ分の合成不適合画素を領域信号rrとする。
【００４２】
その後、補間対象画素検出部４６において、合成不適合画素領域の左右両端から、Ｓ×β（ただし、βは任意の調整パラメータ；β＞０）の距離にある画素を補正基準画素（LPx,RPx ）として検出して（ステップＳ４）、その各補正基準画素の輝度信号（Y-LPx,Y-RPx ）を計算し（ステップＳ５）、その大小関係を判定する（ステップＳ６）。ここで、Y-LPx ＝Y-RPx の場合には、各補正基準画素の色差信号（Cr-LPx,Cr-RPx ），（Cb-LPx,Cb-RPx ）を計算し（ステップＳ７）、Y-LPx ＞Y-RPx の場合には、合成不適合画素領域の左端からｄ画素分（ただし、ｄ≦Ｓ×β）補正領域を拡張して（ステップＳ８）からステップＳ７の処理を実行し、Y-LPx ＜Y-RPx の場合には、合成不適合画素領域の右端からｄ画素分補正領域を拡張して（ステップＳ９）からステップＳ７の処理を実行する。
【００４３】
その後、合成不適合画素補間部４８において、補正基準画素の画素信号を用いて補正領域（合成不適合画素領域＋拡張分）の画素信号を輝度、色差別に平滑化して補間し（ステップＳ１０）、全ての補正領域についての補間処理が終了した時点で、ローパスフィルタ４７において、補正領域に対して輝度、色差別にローパスフィルタ処理を行い（ステップＳ１１）、その補間された輝度、色差信号からＲＧＢ信号に変換して（ステップＳ１２）、合成画像信号ffとして出力する。
【００４４】
なお、上記参考例では、水平方向について合成不適合画素領域を算出して、その画素信号を補正するようにしたが、垂直方向についても同様にして合成不適合画素領域を算出し、その画素信号を水平および垂直方向における補正基準画素の画素信号に基づいて補正して、水平および垂直の二次元方向にローパスフィルタ処理を施すようにすることもできる。このようにすれば、周囲および合成画像全体に対して、より違和感の無い合成画像を得ることが可能となる。また、上記参考例では、合成不適合部を画素単位で検出して補正するようにしたが、所定画素数のブロック単位で検出して補正するよう構成することもできる。また、合成不適合部は、露光量の異なる複数の画像信号間のレベル比を算出し、そのレベル比と前記露光量の異なる複数の画像信号を得るときに設定される露光量比との比較に基づいて検出するよう構成することもできる。このようにすれば、露光量の異なる複数の画像信号およびハードウエアからのデータを用いた単純な比較演算により、補正が必要な合成不適合部を検出することができるので、低コストおよび処理速度の短縮を図ることが可能となる。さらに、合成不適合部は、露光量の異なる複数の画像信号間の差分を算出し、その差分に基づいて検出するよう構成することもできる。このようにすれば、上記の場合と同様に、露光量の異なる複数の画像信号およびハードウエアからのデータを用いた単純な比較演算により、補正が必要な合成不適合部を検出することができるので、低コストおよび処理速度の短縮を図ることが可能となる。
【００４５】
この発明の第１実施形態では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,ee を合成するにあたって、それらの画像信号の比較に基づいて動きベクトルを算出し、その動きベクトルの大きさが所定値を越える画素を合成不適合画素として検出し、その動きベクトルの始点の画素信号を、該動きベクトルの終点を含む所定の小ブロック内の合成不適合部でない合成画素信号に基づいて補間して補正し、該動きベクトルの終点を含む残りの領域の合成不適合部の画素信号を、画像信号ddの対応する領域の画素信号に基づいて補間して補正する。
【００４６】
図５は、第１実施形態における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部５１の一方の入力端子に供給し、露光量の小さい画像信号ddは、乗算器５２においてＣＰＵ８からの露光量比データ信号mmに基づいて露光量比分増幅するゲイン調整を行い、そのゲイン調整した露光量の小さい画像信号ppを画像合成部５１の他方の入力端子に供給する。また、画像信号pp,ee は対応するエッジ検出部５３，５４に供給してそれぞれ画像のエッジを検出し、それらのエッジ検出信号uu,vv を対応するブロック設定部５５，５６に供給してそれぞれブロック信号ww,xx を生成して動きベクトル計算部５７に供給し、該動きベクトル計算部５７においてブロック信号ww,xx に基づいて両画像間の動きベクトルを計算して、その動きベクトルデータ信号yyを画像合成部５１、小ブロック設定部５８、小ブロック平均算出部５９およびベクトル画素補間部６０にそれぞれ供給する。
【００４７】
画像合成部５１では、動きベクトルデータ信号yyの大きさと所定の閾値とを比較し、動きベクトルデータ信号yyの大きさが所定の閾値以下のときは、合成適合画素として、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときは、合成不適合画素として対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部５１から得られる合成不適合画素以外が合成された合成画像信号qqを、小ブロック設定部５８およびローパスフィルタ（ＬＰＦ）６１にそれぞれ供給する。
【００４８】
一方、小ブロック設定部５８では、参照画素を始点とする動きベクトルデータ信号yyの大きさと所定の閾値とを比較して、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときのみ、その参照画素を合成不適合画素として、図６（Ａ）に示すように、合成画像信号qqからその動きベクトルの終点を中心とする小ブロック（ここでは、３×３画素ブロック）を設定して、その小ブロック設定信号zz（合成画像信号qqの情報を含む）を小ブロック平均算出部５９に供給し、ここで図６（Ｂ）に示すように小ブロック内に存在する合成画素信号を用いて色信号毎に平均値（Rv,Gv,Bv）を算出し、その小ブロック内平均値信号aaa （合成画像信号qqの情報を含む）をベクトル画素補間部６０に供給する。
【００４９】
ベクトル画素補間部６０には、ゲイン調整した露光量の小さい画像信号ppをも供給し、ここで図６（Ｃ）に示すように、移動被写体を移動前の状態に戻すように、動きベクトルの始点の合成不適合画素の画素信号を、小ブロック内平均値信号aaa で補間し、また、動きベクトルの終点を含む残りの領域の合成不適合部の画素信号は、ゲイン調整した画像信号ppの対応する領域の画素信号で補間し、その補間処理した合成補正画像信号bbb をローパスフィルタ６１に供給する。ローパスフィルタ６１では、合成補正画像信号bbb を、画像合成部５１からの合成不適合画素以外が合成された合成画像信号qqを用いて、上記参考例と同様にローパスフィルタ処理を行って合成画像信号ffを得る。
【００５０】
図７は、図５に示した小ブロック設定部５８、小ブロック平均算出部５９、ベクトル画素補間部６０およびローパスフィルタ６１による合成不適合画素の画素信号の補間処理動作を詳細に示すフローチャートである。先ず、小ブロック設定部５８において、動きベクトル計算部５７からの動きベクトルデータ信号yyに基づいて参照画素を始点とする動きベクトルが所定の閾値Thを越えるか否かを判定し（ステップＳ２１）、越える場合には参照画素を合成不適合画素として画像合成部５１からの合成画像信号qqに基づいて動きベクトルの終点を中心とする３×３画素の小ブロックを設定して（ステップＳ２２）、その小ブロック設定信号zzを小ブロック平均算出部５９に供給する。
【００５１】
小ブロック平均算出部５９では、小ブロック設定信号zzを受けて、色信号の変数（ＲB , ＧB , ＢB ）および加算回数を計数する内部カウンタ（Count ）を初期化して（ステップＳ２３）、設定された小ブロックを走査しながら（ステップＳ２４）、その小ブロック内に合成画素信号（Ｒ，Ｇ，Ｂ）が存在するか否か判定し（ステップＳ２５）、合成画素信号が存在する場合には、その合成画素信号を対応する変数に加算すると共に、そのカウンタをインクリメントする（ステップＳ２６）。その後、小ブロックの走査が終了したら（ステップＳ２７）、Count 値を用いて変数（ＲB , ＧB , ＢB ）の平均値（Rv,Gv,Bv）を算出して（ステップＳ２８）、その平均値を小ブロック内平均値信号aaa としてベクトル画素補間部６０に供給する。
【００５２】
ベクトル画素補間部６０では、移動被写体を移動前の状態に戻すように、動きベクトルの始点の合成不適合画素の画素信号を、小ブロック内平均値信号aaa で補間する（ステップＳ２９）と共に、該動きベクトルの終点を含む残りの領域の合成不適合部の画素信号を、ゲイン調整した画像信号ppの対応する領域の画素信号で補間して（ステップＳ３０）、合成補正画像信号bbb としてローパスフィルタ６１に供給し、ここで合成画像信号qqを用いて補間された動きベクトル上の画素信号に対して各色信号別のローパスフィルタ処理を実行して（ステップＳ３１）、合成画像信号ffを得る。
【００５３】
すなわち、第１実施形態では、広ダイナミックレンジ撮影モードにおいて、プロセス回路３１，３５（図２参照）から、図８（Ａ）に短時間露光画像として示す露光量の小さい画像信号ddと、図８（Ｂ）に長時間露光画像として示す露光量の大きい画像信号eeが得られた場合には、図８（Ｃ）に示すように短時間露光画像のレベルを長時間露光画像のレベルに合わせるようにゲイン調整して、そのゲイン調整した短時間露光画像と長時間露光画像とから動きベクトルを検出しながら、その動きベクトルの大きさが所定の閾値を越える画素を除いて切り換え合成を行って、図８（Ｄ）に示すような合成画像を得る（ただし、この時点では、図８（Ｄ）に示す動きベクトルの始点は置換されていない）。また、動きベクトルに対応する画素については、動きベクトル毎に、その始点の画素の画素信号を、図６で説明したように該動きベクトルの終点を中心とする小ブロック内の合成画素信号の平均値で補間し（この時点で、図８（Ｄ）に示す動きベクトルの始点が置換される）、該動きベクトルの終点を含む残りの領域の画素信号は、図８（Ｃ）に白枠で示すゲイン調整した対応する領域の画素信号で補間して、図８（Ｅ）に示す補正した合成画像を得る。したがって、図９（Ａ）に示す複数の動きベクトルについて上記の処理を行えば、最終的には図９（Ｂ）に示すような補正された合成画像を得ることができる。
【００５４】
なお、以上の説明では、移動被写体の移動前後の境界の画素信号を補正（補間）するようにしたが、背景部について補正（補間）する場合も同様である。この場合には、先ず、上記の移動被写体についての補正と同様に、動きベクトルの終点について設定した小ブロック内の合成画素信号の平均値を算出して、その平均値を動きベクトルの始点の画素信号に補間する。この場合の平均値は、移動被写体の情報が主となる。次に、動きベクトルの始点以外の画素信号を短時間露光画像（露光量の小さい画像信号に相当）の対応する領域の画素信号で補間する。この際、補間する情報は背景部であるから、背景部が白とびにならないように、短時間露光画像を１倍にゲイン調整する。このように補間処理することにより、動きベクトルは、その始点のみが移動被写体を主情報とし、それ以外は背景部の情報に補間されることになる。図１０（Ａ）〜（Ｅ）は、この場合の補間処理の概略を示すものであるが、その詳細は、上記の説明、図８（Ａ）〜（Ｅ）の説明、および図９（Ａ），（Ｂ）の説明から明らかであるので、省略する。
【００５５】
なお、第１実施形態では、動きベクトルの始点の画素信号を、その終点を中心とする小ブロック内の合成画素信号の平均値で置換して補正したが、単に終点の画素信号で置換して補正するようにすることもできる。
【００５６】
この発明の第２実施形態では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,ee を合成するにあたって、それらの画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について動きベクトルを算出し、その動きベクトルの大きさが所定値を越える画素を合成不適合画素として検出して、動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、該動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号で置換し、その置換により失われた画素信号をゲイン調整した露光量の小さい画像信号の対応する領域の画素信号で補正する。
【００５７】
図１１は、第２実施形態における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部７０の一方の入力端子に供給し、露光量の小さい画像信号ddは、乗算器７１においてＣＰＵ８からの露光量比データ信号mmに基づいて露光量比分増幅するゲイン調整を行い、そのゲイン調整した露光量の小さい画像信号ppを画像合成部７０の他方の入力端子に供給する。また、画像信号pp,ee は対応するＡＮＤゲート７２，７３の一方の入力端子にそれぞれ供給すると共に、画像差分演算部７４に供給する。画像差分演算部７４では、画像信号pp,ee の差分を画素単位で、すなわち同一画素位置毎に演算して、その絶対値と所定の閾値とを比較し、差分の絶対値が閾値を越えるときは論理「１」、閾値以下のときは論理「０」の比較結果論理値データ信号ccc をＡＮＤゲート７２，７３の他方の入力端子にそれぞれ供給する。これにより、ＡＮＤゲート７２から、ゲイン調整した画像信号ppのうち、画像信号pp,ee の差分の絶対値が閾値を越える領域の画像信号ddd を出力させ、ＡＮＤゲート７３から、画像信号eeのうち、画像信号pp,ee の差分の絶対値が閾値を越える領域の画像信号eee を出力させる。
【００５８】
ＡＮＤゲート７２，７３からの画像信号ddd,eee は、対応するエッジ検出部７５，７６に供給してそれぞれ画像のエッジを検出し、それらのエッジ検出信号fff,ggg を対応するブロック設定部７７，７８に供給してそれぞれブロック信号ww,xx を生成して動きベクトル計算部７９に供給し、該動きベクトル計算部７９においてブロック信号ww,xx に基づいて両画像間の動きベクトルを計算して、その動きベクトルデータ信号yyを画像合成部７０、被補正ブロック設定部８０、被補正ブロック置換画素決定部８１およびデータ補正部８２にそれぞれ供給する。
【００５９】
画像合成部７０では、第１実施形態と同様に、動きベクトルデータ信号yyの大きさと所定の閾値とを比較し、動きベクトルデータ信号yyの大きさが所定の閾値以下のときは、合成適合画素として、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときは、合成不適合画素として対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部７０から得られる合成不適合画素以外が合成された合成画像信号qqを、被補正ブロック設定部８０およびローパスフィルタ（ＬＰＦ）８３にそれぞれ供給する。
【００６０】
一方、図１２にフローチャートをも示すように、被補正ブロック設定部８０では、参照画素を始点とする動きベクトルデータ信号yyの大きさと所定の閾値Thとを比較して（ステップＳ４１）、動きベクトルデータ信号yyの大きさが所定の閾値Thを越えるときのみ、参照画素を合成不適合画素として、動きベクトルの算出計算と同様の計算により合成画像信号qqから動きベクトルの始点（参照画素）を中心とし、その終点を含む被補正ブロックを設定し（ステップＳ４２）、その被補正ブロック設定信号hhh （合成画像信号qqの情報を含む）を被補正ブロック置換画素決定部８１に供給する。
【００６１】
被補正ブロック置換画素決定部８１では、被補正ブロック設定信号hhh および動きベクトルデータ信号yyに基づいて動きベクトルの終点を中心とする被補正ブロックと同じ大きさの補正ブロックを設定して（ステップＳ４３）、その補正ブロック設定信号iii （合成画像信号qqの情報を含む）をデータ補正部８２に供給する。
【００６２】
データ補正部８２には、ゲイン調整した画像信号ppをも供給し、ここで補正ブロック設定信号iii および動きベクトルデータ信号yyに基づいて、被補正ブロック内の合成不適合画素の画素信号を補正ブロック内の合成画素信号で置換（ステップＳ４４）すると共に、その置換により失われた領域の画素信号をゲイン調整した露光量の小さい画像信号ppの対応する領域の画素信号で補間して補正し（ステップＳ４５）、その補正処理された合成補正画像信号jjj をローパスフィルタ８３に供給する。ローパスフィルタ８３では、合成補正画像信号jjj の補正された被補正ブロックおよびその周囲の画素信号に対して各色信号別にローパスフィルタ処理を実行して（ステップＳ４６）、合成画像信号ffを得る。
【００６３】
なお、第２実施形態では、被補正ブロック内の合成不適合部の画素信号を、補正ブロック内の合成不適合部でない合成画素信号で置換するようにしたが、置換に代えて補間するようにすることもできる。このようにすれば、補正ブロック内で失われる画素信号が無くなるので、その画素信号の補間処理が不要となり、処理が簡単になる。
【００６４】
この発明のさらに他の実施形態では、以上の各実施形態あるいは変形例で説明した広ダイナミックレンジ撮影モードにおける処理動作を実行するためのプログラムを記録媒体に記録しておき、撮像装置には記録媒体のドライバを付設して、記録媒体に記録されているプログラムをドライバを介して撮像装置本体のＣＰＵ８（図１参照）で読み取って実行するようにすることもできる。
【００６５】
【発明の効果】
以上のように、この発明によれば、露光量の異なる複数の画像信号を部分的に切り換えて合成してダイナミックレンジの広い画像信号を生成するにあたって、画像信号の合成不適合部を検出し、その合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正するようにしたので、例えば明るい背景で動いている主要被写体を撮影した場合の画像信号の合成時における影響を最小限に抑えることができ、通常の写真画像と比較して何ら違和感の無いダイナミックレンジの広い画像を得ることができる。しかも、動きベクトルを算出し、その大きさが所定の閾値を超える場合に合成不適合部を検出するので、被写体の移動量および移動方向に応じた補正が必要な合成不適合部をより高精度で検出することが可能となる。
【図面の簡単な説明】
【図１】この発明に係る撮像装置としての電子スチールカメラの基本的構成を示すブロック図である。
【図２】図１に示すカメラ信号処理回路の一例の構成を示すブロック図である。
【図３】この発明とともに開発した参考例における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図４】参考例における要部の動作を説明するためのフローチャートである。
【図５】この発明の第１実施形態における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図６】その動作を説明するための図である。
【図７】同じく、要部の動作を説明するためのフローチャートである。
【図８】同じく、動作を説明するための図である。
【図９】同じく、動作を説明するための図である。
【図１０】同じく、動作を説明するための図である。
【図１１】この発明の第２実施形態における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図１２】その要部の動作を説明するためのフローチャートである。
【図１３】露光量の異なる二つの画像信号を部分的に切り換えてダイナミックレンジの広い画像を得る方法を説明するための図である。
【符号の説明】
１ カラーＣＣＤ撮像素子
２ レンズ
３ 絞り・シャッタ機構
６ カメラ信号処理回路
８ ＣＰＵ
２０ 入力キー
２１ タイミングジェネレータ
３２ 画像合成処理回路
４１ 画像合成部
４２ 画像データ比較部
４３ 乗算器
４４ 比較演算部
４５ 合成不適合画素領域抽出部
４６ 補間対象画素検出部
４７ ローパスフィルタ（ＬＰＦ）
４８ 合成不適合画素補間部
５１ 画像合成部
５２ 乗算器
５３，５４ エッジ検出部
５５，５６ ブロック設定部
５７ 動きベクトル計算部
５８ 小ブロック設定部
５９ 小ブロック平均算出部
６０ ベクトル画素補間部
６１ ローパスフィルタ（ＬＰＦ）
７０ 画像合成部
７１ 乗算器
７２，７３ ＡＮＤゲート
７４ 画像差分演算部
７５，７６ エッジ検出部
７７，７８ ブロック設定部
７９ 動きベクトル計算部
８０ 被補正ブロック設定部
８１ 被補正ブロック置換画素決定部
８２ データ補正部
８３ ローパスフィルタ（ＬＰＦ）
Claims (10)
- 露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像装置において、
被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像手段と、
この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段と、
この記憶手段から少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段と、
前記異なる露光量で撮像された複数の画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する合成不適合部検出手段と、
この合成不適合部検出手段で検出された合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する合成不適合部補正手段とを有することを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記合成不適合部補正手段は、前記動きベクトルの始点を含む合成不適合部の画素信号を、該動きベクトルの終点を含む合成不適合部でない合成画素信号に基づいて補正し、該動きベクトルの終点の画素を含む所定の画素ブロック内の残りの領域の合成不適合部の画素信号を、前記露光量の異なる複数の画像信号のうちの一つの画像信号の対応する領域の画素信号に基づいて補正するよう構成されていることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記合成不適合部補正手段は、前記動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、前記動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号に基づいて補正するよう構成されていることを特徴とする撮像装置。 - 請求項１乃至３のいずれかに記載の撮像装置において、
前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について前記露光量の異なる複数の画像信号の比較に基づいて動きベクトルを算出するよう構成されていることを特徴とする撮像装置。 - 請求項１乃至４のいずれかに記載の撮像装置において、
前記記憶手段は、異なる露光量で撮像された二つの画像信号を格納するように構成されていることを特徴とする撮像装置。 - 請求項１乃至４のいずれかに記載の撮像装置において、
前記画像合成手段は、異なる露光量で撮像された二つの画像信号を部分的に切り替えながらモザイク状に画像合成を行って合成画像信号を出力するように構成されていることを特徴とする撮像装置。 - 請求項１乃至６のいずれかに記載の撮像装置において、
前記合成不適合部補正手段によって補正された画像信号と、前記画像合成手段から出力される合成画像信号とを混合して補正された合成画像として出力する混合手段をさらに備えたことを特徴とする撮像装置。 - 請求項７記載の撮像装置において、
前記混合手段は、前記合成不適合部補正手段から出力される合成補正画像信号を、前記画像合成手段から出力される合成画像信号でローパス処理するローパスフィルタを含むことを特徴とする撮像装置。 - 露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像方法において、
被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像ステップと、
この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段から、少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成ステップと、
前記異なる露光量で撮像された複数の画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する合成不適合部検出ステップと、
この合成不適合部検出手段で検出された合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する合成不適合部補正ステップとを有することを特徴とする撮像方法。 - 固体撮像素子を有する撮像装置の動作を制御するためのコンピュータに、
前記固体撮像素子から被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に得る機能と、
その露光量の異なる画像信号の比較に基づいて動きベクトルを算出し、その算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定して、前記合成不適合部を検出する機能と、
その検出した合成不適合部の画素信号を、合成不適合部でない合成画素信号に基づいて補正する機能と、
前記合成不適合部を除いて前記露光量の異なる画像信号を合成する機能と、
その合成不適合部を除く合成画素信号と前記補正した合成不適合部の画素信号とを合成してダイナミックレンジの広い画像信号を生成する機能と、
を実現させるための撮像プログラムを記録した記録媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20945098A JP4282113B2 (ja) | 1998-07-24 | 1998-07-24 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
| US09/358,538 US6801248B1 (en) | 1998-07-24 | 1999-07-22 | Image pick-up device and record medium having recorded thereon computer readable program for controlling the image pick-up device |
| EP99305841A EP0975154A1 (en) | 1998-07-24 | 1999-07-23 | Image pick-up device |
| US10/835,316 US7372487B2 (en) | 1998-07-24 | 2004-04-30 | Image pick-up device and record medium having recorded thereon computer readable program for controlling the image pick-up device |
| US11/678,400 US20070139547A1 (en) | 1998-07-24 | 2007-02-23 | Image pick-up device and record medium having recorded thereon computer readable program for controlling the image pick-up device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20945098A JP4282113B2 (ja) | 1998-07-24 | 1998-07-24 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007140715A Division JP2007251997A (ja) | 2007-05-28 | 2007-05-28 | 撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000050173A JP2000050173A (ja) | 2000-02-18 |
| JP2000050173A5 JP2000050173A5 (ja) | 2005-10-27 |
| JP4282113B2 true JP4282113B2 (ja) | 2009-06-17 |
Family
ID=16573080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20945098A Expired - Fee Related JP4282113B2 (ja) | 1998-07-24 | 1998-07-24 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US6801248B1 (ja) |
| EP (1) | EP0975154A1 (ja) |
| JP (1) | JP4282113B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010272094A (ja) * | 2009-05-25 | 2010-12-02 | Olympus Corp | 画像取得装置、画像合成方法、及び顕微鏡システム |
| US9646397B2 (en) | 2012-04-19 | 2017-05-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4282113B2 (ja) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
| US7428011B1 (en) | 1999-09-02 | 2008-09-23 | Fujifilm Corporation | Wide dynamic range electronic image recording and reproducing system |
| CN1276646C (zh) * | 1999-11-22 | 2006-09-20 | 松下电器产业株式会社 | 固态成象设备 |
| US7050094B2 (en) * | 2000-10-26 | 2006-05-23 | Micron Technology, Inc. | Wide dynamic range operation for CMOS sensor with freeze-frame shutter |
| JP2002218328A (ja) * | 2001-01-19 | 2002-08-02 | Ricoh Co Ltd | 画像入力装置、画像入力方法、およびその方法を実行するためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体 |
| JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
| JP4028694B2 (ja) * | 2001-04-27 | 2007-12-26 | 松下電器産業株式会社 | カメラ装置および当該カメラ装置を具備する電子装置 |
| JP3624859B2 (ja) * | 2001-06-19 | 2005-03-02 | カシオ計算機株式会社 | 撮像装置、ソフトフォーカス画像撮影方法 |
| JP4742453B2 (ja) * | 2001-06-20 | 2011-08-10 | ソニー株式会社 | 撮像方法および装置 |
| DE60225981T2 (de) | 2001-08-20 | 2009-01-15 | Photographic Art Research Laboratory | Verfahren zur Erzeugung eines digitalen Fotos |
| JP4154157B2 (ja) * | 2002-02-25 | 2008-09-24 | 株式会社東芝 | 撮像装置 |
| WO2003083773A2 (en) * | 2002-03-27 | 2003-10-09 | The Trustees Of Columbia University In The City Of New York | Imaging method and system |
| US7508421B2 (en) * | 2002-06-24 | 2009-03-24 | Fujifilm Corporation | Image pickup apparatus and image processing method |
| JP4025207B2 (ja) * | 2003-01-17 | 2007-12-19 | 富士フイルム株式会社 | 固体撮像素子及びデジタルカメラ |
| US7889275B2 (en) * | 2003-01-28 | 2011-02-15 | Microsoft Corp. | System and method for continuous flash |
| CN101431684B (zh) | 2003-06-23 | 2013-10-23 | 索尼株式会社 | 处理图像的方法和设备 |
| JP4392583B2 (ja) * | 2003-06-27 | 2010-01-06 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
| FI20045445A0 (fi) * | 2004-11-18 | 2004-11-18 | Nokia Corp | Menetelmä, laitteisto, ohjelmisto ja järjestely kuvadatan muokkaamiseksi |
| US7616231B2 (en) * | 2005-01-06 | 2009-11-10 | Goodrich Corporation | CMOS active pixel sensor with improved dynamic range and method of operation for object motion detection |
| JP4731953B2 (ja) * | 2005-03-02 | 2011-07-27 | 富士フイルム株式会社 | 撮像装置、撮像方法、及び撮像プログラム |
| JP4687265B2 (ja) * | 2005-06-14 | 2011-05-25 | 富士ゼロックス株式会社 | 画像分析装置 |
| JP2007124609A (ja) * | 2005-09-28 | 2007-05-17 | Nissan Motor Co Ltd | 車両周囲映像提供装置 |
| WO2007077719A1 (ja) * | 2005-12-27 | 2007-07-12 | Kyocera Corporation | 撮像装置およびその画像処理方法 |
| JP4509925B2 (ja) * | 2005-12-27 | 2010-07-21 | 株式会社メガチップス | 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法 |
| JP2007300463A (ja) * | 2006-05-01 | 2007-11-15 | Opt Kk | カメラ装置および画像処理方法 |
| JP5011814B2 (ja) * | 2006-05-15 | 2012-08-29 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| DE102006046720A1 (de) * | 2006-10-02 | 2008-04-03 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Digitale Laufbildkamera |
| TW200820123A (en) * | 2006-10-20 | 2008-05-01 | Primax Electronics Ltd | Method and system of generating high dynamic range image corresponding to specific scene |
| JP4806329B2 (ja) * | 2006-10-23 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
| KR20080037965A (ko) * | 2006-10-27 | 2008-05-02 | 삼성테크윈 주식회사 | 동영상 촬영장치의 제어방법 및 이를 채용한 동영상촬영장치 |
| KR20080076004A (ko) * | 2007-02-14 | 2008-08-20 | 삼성전자주식회사 | 촬상장치 및 그 다이나믹 레인지 확장방법 |
| JP4905187B2 (ja) | 2007-03-09 | 2012-03-28 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP5188101B2 (ja) | 2007-06-01 | 2013-04-24 | 株式会社キーエンス | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
| JP4872830B2 (ja) * | 2007-06-28 | 2012-02-08 | セイコーエプソン株式会社 | 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法 |
| US20090059039A1 (en) * | 2007-08-31 | 2009-03-05 | Micron Technology, Inc. | Method and apparatus for combining multi-exposure image data |
| JP5006835B2 (ja) * | 2008-05-07 | 2012-08-22 | ルネサスエレクトロニクス株式会社 | エラー低減方法及びエラー低減装置 |
| JP5083046B2 (ja) * | 2008-06-03 | 2012-11-28 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US20100091119A1 (en) | 2008-10-10 | 2010-04-15 | Lee Kang-Eui | Method and apparatus for creating high dynamic range image |
| KR101534317B1 (ko) * | 2008-10-10 | 2015-07-06 | 삼성전자주식회사 | 높은 동적 대역(ｈｄｒ) 영상 생성방법 및 장치 |
| WO2010053029A1 (ja) * | 2008-11-04 | 2010-05-14 | コニカミノルタオプト株式会社 | 画像入力装置 |
| US8073246B2 (en) * | 2008-11-07 | 2011-12-06 | Omnivision Technologies, Inc. | Modifying color and panchromatic channel CFA image |
| US20100157079A1 (en) | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | System and method to selectively combine images |
| KR101614914B1 (ko) * | 2009-07-23 | 2016-04-25 | 삼성전자주식회사 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
| JP5589446B2 (ja) * | 2009-09-18 | 2014-09-17 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| JP5458865B2 (ja) * | 2009-09-18 | 2014-04-02 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
| KR101604068B1 (ko) * | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | 고대비 영상 생성 장치 및 방법 |
| JP5493942B2 (ja) | 2009-12-15 | 2014-05-14 | ソニー株式会社 | 撮像装置と撮像方法 |
| KR101643319B1 (ko) * | 2010-01-11 | 2016-07-27 | 삼성전자주식회사 | 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법 |
| JP5617445B2 (ja) * | 2010-08-31 | 2014-11-05 | ソニー株式会社 | 撮像装置、および信号処理方法、並びにプログラム |
| JP5772044B2 (ja) * | 2011-02-17 | 2015-09-02 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
| EP3101387B1 (en) | 2011-05-27 | 2018-09-12 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
| US8965120B2 (en) | 2012-02-02 | 2015-02-24 | Canon Kabushiki Kaisha | Image processing apparatus and method of controlling the same |
| JP6061488B2 (ja) * | 2012-04-26 | 2017-01-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2014039169A (ja) * | 2012-08-16 | 2014-02-27 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP2014050042A (ja) * | 2012-09-03 | 2014-03-17 | Toshiba Corp | 画像処理装置及び固体撮像装置 |
| JP6415037B2 (ja) | 2013-11-12 | 2018-10-31 | キヤノン株式会社 | 撮像装置、クライアント装置、撮像装置の制御方法、クライアント装置の制御方法、及びプログラム |
| EP3091731A4 (en) * | 2014-03-18 | 2017-08-30 | Sony Corporation | Image processing device, image processing method and program |
| TWI558204B (zh) * | 2014-11-25 | 2016-11-11 | Trans Electric Co Ltd | Image capture system |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2804782B2 (ja) | 1989-04-21 | 1998-09-30 | オリンパス光学工業株式会社 | 撮像装置 |
| US5309243A (en) | 1992-06-10 | 1994-05-03 | Eastman Kodak Company | Method and apparatus for extending the dynamic range of an electronic imaging system |
| JP3467047B2 (ja) * | 1992-08-21 | 2003-11-17 | 富士写真フイルム株式会社 | 画像処理装置および方法ならびにビデオ・カメラ |
| US5764287A (en) * | 1992-08-31 | 1998-06-09 | Canon Kabushiki Kaisha | Image pickup apparatus with automatic selection of gamma correction valve |
| JP3386495B2 (ja) * | 1992-09-14 | 2003-03-17 | 富士写真フイルム株式会社 | ディジタル電子スチル・カメラおよびその制御方法 |
| US5365269A (en) * | 1992-10-22 | 1994-11-15 | Santa Barbara Instrument Group, Inc. | Electronic camera with automatic image tracking and multi-frame registration and accumulation |
| JP3074967B2 (ja) * | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
| US6204881B1 (en) * | 1993-10-10 | 2001-03-20 | Canon Kabushiki Kaisha | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range |
| US5929908A (en) * | 1995-02-03 | 1999-07-27 | Canon Kabushiki Kaisha | Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion |
| US6002433A (en) * | 1995-08-29 | 1999-12-14 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
| US6278490B1 (en) * | 1996-05-23 | 2001-08-21 | Olympus Optical Co., Ltd. | Exposure control for an image pickup apparatus that uses an electronic flash |
| JP3817301B2 (ja) | 1996-05-28 | 2006-09-06 | キヤノン株式会社 | 電子カメラ |
| JP3834130B2 (ja) * | 1996-07-19 | 2006-10-18 | 株式会社リコー | デジタルカメラ |
| JPH10126663A (ja) * | 1996-10-14 | 1998-05-15 | Ricoh Co Ltd | 画像入力装置及び画像入力システム |
| JP3974964B2 (ja) * | 1996-11-08 | 2007-09-12 | オリンパス株式会社 | 画像処理装置 |
| US7057653B1 (en) * | 1997-06-19 | 2006-06-06 | Minolta Co., Ltd. | Apparatus capable of image capturing |
| JPH11166279A (ja) | 1997-12-05 | 1999-06-22 | Kokuyo Co Ltd | 間仕切 |
| US6529640B1 (en) * | 1998-06-09 | 2003-03-04 | Nikon Corporation | Image processing apparatus |
| JP4282113B2 (ja) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
| JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
-
1998
- 1998-07-24 JP JP20945098A patent/JP4282113B2/ja not_active Expired - Fee Related
-
1999
- 1999-07-22 US US09/358,538 patent/US6801248B1/en not_active Expired - Fee Related
- 1999-07-23 EP EP99305841A patent/EP0975154A1/en not_active Withdrawn
-
2004
- 2004-04-30 US US10/835,316 patent/US7372487B2/en not_active Expired - Fee Related
-
2007
- 2007-02-23 US US11/678,400 patent/US20070139547A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010272094A (ja) * | 2009-05-25 | 2010-12-02 | Olympus Corp | 画像取得装置、画像合成方法、及び顕微鏡システム |
| US9646397B2 (en) | 2012-04-19 | 2017-05-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040201759A1 (en) | 2004-10-14 |
| US7372487B2 (en) | 2008-05-13 |
| US6801248B1 (en) | 2004-10-05 |
| JP2000050173A (ja) | 2000-02-18 |
| EP0975154A1 (en) | 2000-01-26 |
| US20070139547A1 (en) | 2007-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4282113B2 (ja) | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 | |
| JP4750854B2 (ja) | 画像処理方法および装置とそのプログラム | |
| JP4315971B2 (ja) | 撮像装置 | |
| JP4662880B2 (ja) | 撮像装置，及び撮像方法 | |
| JP3630905B2 (ja) | 撮像方法及び撮像装置 | |
| JP5112104B2 (ja) | 画像処理装置及び画像処理プログラム | |
| US8305465B2 (en) | Image pick-up apparatus with a shake reducing function | |
| US20050093886A1 (en) | Image processing device | |
| JP2006025312A (ja) | 撮像装置、及び画像取得方法 | |
| US20070025718A1 (en) | Digital camera, image capture method, and image capture control program | |
| JP2000050151A (ja) | 撮像装置 | |
| JP6549409B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| CN101076997B (zh) | 照相机和用于照相机的图像处理方法 | |
| JPWO2013032008A1 (ja) | 画像処理装置、プログラム | |
| KR20080023745A (ko) | 촬상 장치 | |
| CN106878624A (zh) | 摄像装置和摄像方法 | |
| JP2008306508A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| US9007479B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
| JP2018037857A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2003158669A (ja) | 撮像装置 | |
| JP7409604B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
| JP4246244B2 (ja) | 撮像装置 | |
| JP2022083147A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| JP2007251997A (ja) | 撮像装置 | |
| JP2021097351A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050721 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060718 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080731 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080731 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081021 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090317 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |