JP4872830B2 - 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本発明は、撮像装置に係り、特に、複数種類の露光時間で被写体を撮像して得られる画素信号を合成して、撮像画像のダイナミックレンジを拡大することができる撮像装置に関する。

従来、監視や防犯を目的としたカメラが様々な場所に設置されている。一般的にカメラのダイナミックレンジは人間のダイナミックレンジよりも狭いため、人間の目であれば確認できるはずの対象物が、カメラ映像では黒つぶれ或いは白とびにより映らない問題があった。そこで広ダイナミックレンジ（ＨＤＲ（High Dynamic Range））映像を得る手段として、多段階露光による画像合成方法が存在する。多段階露光による画像合成方法を用いた撮像装置としては、例えば、特許文献１に記載された撮像装置及び撮像方法がある。

特許文献１に記載の撮像装置及び撮像方法は、多段露光画像を合成してＨＤＲ画像を生成する際に、移動物の有無を画素毎に判定して画像の合成比率を変化させる。例えば移動物がある領域では露光時間の小さい（短い）画像を使用し、移動物がなく飽和していない領域では露光時間の大きい（長い）画像を使用する。
特開２００４−２５４１５１号公報

しかしながら、上記特許文献１の従来技術においては、被写体の状況によって、信号変動判定部に基づく画像選択が適切であるとはいえない場合がある。
ここで、図１３は、従来技術の飽和・信号変動判定に基づく画像選択方法を示す図である。図１３（ａ）においては、大きい露光量（長時間露光）の画像信号Ｓ_Lが飽和するか、または小さい露光量（短時間露光）の画像信号Ｓ_Sを感度比Ｋで乗算したＫＳ_Sが飽和するためＳ_Sが合成画像として選択される。ここで、Ｋは、「大きい露光量（長いシャッタ時間）／小さい露光量（短いシャッタ時間）」から求められる値である。また、図１３（ｂ）や（ｄ）では、Ｓ_SとＳ_Lの比が１：２ではないため、Ｓ_Sが選択される。また、図１３（ｃ）ではＳ_SとＳ_Lの比が１：２であるためＳ／Ｎの良いＳ_Lが選択される。ここで問題となるのが図１３（ｂ）や（ｄ）のケースにおいてＳ_Sが選択されている根拠であり、被写体の状態変化や反射／発光のパターンによっては、Ｓ_Lの方がブレずに長時間露光された信頼性の高いデータである可能性も否定できない。例えば、短時間露光中には移動していた被写体が長時間露光中に停止した場合などには、Ｓ_Lの方が信頼性の高いデータになり得る。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、信頼性の低い画素信号を信頼性の高い画素信号に基づき補正することで、より良好な撮像画像（ＨＤＲ画像）を得ることが可能な撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的としている。

〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置であって、
前記光電変換素子が構成する各画素から、前記光電変換素子がＮ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で露光された時の前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出した前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号の値に基づき、該画素信号に対して被写体の状態変化に伴う変動があったか否かを判定する信号変動判定手段と、
前記信号変動判定手段で変動があったと判定された画素信号の値を補正する補正手段と、
前記補正手段によって補正された画素信号と、前記画素信号読出手段で読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正手段によって補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成手段と、を備えることを特徴とする。

このような構成であれば、被写体の撮像において、例えば、光電変換素子が露光時間Ｔ１〜ＴＮの順にそれぞれ露光されると、各露光時間で光電変換素子に蓄積された電荷量に応じた画素信号がそれぞれ読み出される。この読出処理においては、例えば、Ｔ１〜ＴＮの各露光時間で光電変換素子を露光し、各露光時間で露光された光電変換素子から破壊読み出しによって画素信号を読み出すことが可能である。また、例えば、露光時間ＴＮまでの露光を行い、各露光時間Ｔ１〜ＴＮの時点において、光電変換素子から非破壊読み出しで画素信号を読み出すことも可能である。以下、形態１３に記載の撮像方法において同じである。

露光時間Ｔ１〜ＴＮに対応する画素信号（３つ以上の画素信号）が読み出されると、該読み出された画素信号に基づき、該画素信号に対して被写体の状態変化に伴う変動があったか否かが判定される。
そして、変動があったと判定された画素信号の値が補正される。一方、変動がなかったと判定された画素信号の値に対しては、補正処理が不要となる。ここで、被写体の状態変化とは、被写体の移動、被写体の急な変更（外部飛来物の侵入など）、撮像環境の変化（急な太陽光の入射などの輝度変化）などである。以下、形態１３に記載の撮像方法、形態１４に記載の画像処理装置、形態１５に記載の画像処理プログラム、形態１６に記載の画像処理方法などにおいて同じである。

上記のような被写体の状態変化が生じた場合は、該当する露光時間に対応する画素信号の値が他の露光時間に対して非線形に変化することになり信頼性が低くなる。補正処理においては、この信頼性の低い画素信号の値を、これよりも信頼性が高い値となるように補正する。例えば、補正対象の画素信号の値が理想の値を上まわっている場合は、該画素信号の値を減少させる補正を行い、補正対象の画素信号の値が理想の値を下まわっている場合は、該画素信号の値を増加させる補正を行う。ここで、理想の値とは、例えば、ある露光時間を基準としてその蓄積電荷量が線形に遷移する（蓄積電荷量が一定の増加量で増加する）と仮定したときの各露光時間Ｔ１〜ＴＮにおける画素信号の値である。以下、形態１３に記載の撮像方法、形態１４に記載の画像処理装置、形態１５に記載の画像処理プログラム、形態１６に記載の画像処理方法などにおいて同じである。

補正対象の画素信号に対する補正処理が終了すると、該補正処理を経たＴ１〜ＴＮに対応する画素信号（補正処理対象とならなかったものも含む）を合成して被写体の撮像画像を生成する。合成方法は、例えば、Ｔ１〜ＴＮに対応する画素信号のうち、最も信頼性の高い画素信号の値を選択して合成する方法、Ｔ１〜ＴＮの画素信号の値をＴＮに合わせて正規化してから加算合成する方法など様々な方法がある。以下、形態１３に記載の撮像方法、形態１４に記載の画像処理装置、形態１５に記載の画像処理プログラム、形態１６に記載の画像処理方法などにおいて同じである。

以上より、３種類以上の露光時間に対応した画素信号の値に基づき、該画素信号に対して被写体の状態変化に伴う変動があったか否かを判定することができるので、各露光時間に対応する画素信号の値に対して信頼性の判断精度を向上することができると共に、信頼性の低い画素信号の値を、これより信頼性が高くなるように補正することができるので、信頼性の低い画素信号の値を選択し且つその値をそのまま使用して合成を行うといったことを防ぐことができる。これにより、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

ここで、上記「光電変換部」は、例えば、ＣＣＤ（charge-coupled device）や、ＣＭＯＳ技術などを用いて構成された撮像素子である。例えば、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、形態１３の撮像方法において同じである。

また、上記露光時間を制御する機能とは、例えば、グローバルシャッタ、フォーカルプレーンシャッタ（ローリングシャッタ）等の方式を含む公知の電子シャッタ機能や、撮像装置の有する絞り機構を制御して露光量を変更する機能などが該当する。電子シャッタ機能は、ＣＣＤやＣＭＯＳなどから構成される撮像素子に電圧をかけて、撮像素子に光を電荷として蓄積させる機能を有している。絞り機構は、絞り羽と呼ばれる光を遮る羽根がレンズの中に入っており、この羽を開閉させてレンズに入る光の量を調節する機構である。以下、形態１３の撮像方法において同じである。

また、上記破壊読み出しは、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。
また、上記非破壊読み出しは、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。従って、非破壊読み出しは、多段階露光を容易に実現することができるという利点がある。以下、形態１３に記載の撮像方法において同じである。

〔形態２〕 更に、形態２の撮像装置は、形態１に記載の撮像装置において、
前記信号変動判定手段は、前記露光時間Ｔ１〜ＴＮのいずれか１つである基準の露光時間ＴＲに対応する画素信号の値に基づき、前記露光時間Ｔ１〜ＴＮのうち前記露光時間ＴＲ以外の各露光時間に対応する画素信号に対して被写体の状態変化に伴う変動があったか否かを判定し、
前記補正手段は、前記信号変動判定手段で変動があったと判定された画素信号の値を、前記露光時間ＴＲに対応する画素信号の値に基づき補正することを特徴とする。

このような構成であれば、例えば、Ｔ１〜ＴＮに対応する画素信号のうち、最も信頼性の高い露光時間に対応する画素信号を基準の露光時間ＴＲに対応する画素信号とすることで、これを基準に簡易に他の露光時間に対応する画素信号に対する被写体の信号変動判定を行うことができる。更に、露光時間ＴＲに対応する画素信号の値に基づき、信頼性の低い画素信号の値（変動があったと判定された画素信号の値）を補正することができる。

以上より、露光時間ＴＲ以外の画素信号に対する信号変動判定を簡易に行うことができると共に、比較的信頼性の低い画素信号の値（被写体の状態変化に伴う変動の比較的大きい値）を、比較的信頼性の高い画素信号の値（被写体の状態変化に伴う変動の比較的少ない値又は変動のない値）に基づき補正することができるので、簡易に信頼性の低い値を信頼性が高くなるように補正することができるという効果が得られる。

〔形態３〕 更に、形態３の撮像装置は、形態２に記載の撮像装置において、
前記信号変動判定手段は、前記露光時間ＴＲに対応する画素信号の値に基づき、前記露光時間Ｔ１〜ＴＮのうち前記露光時間ＴＲ以外の各露光時間に対応する画素信号の値を予測する予測部と、該予測部で予測した予測値と前記画素信号読出手段で読み出した前記露光時間ＴＲ以外の各露光時間に対応する画素信号の値との露光時間毎の差分値を算出する差分値算出部と、該差分値算出部で算出した差分値と所定閾値とを比較する比較部とを有し、該比較部の比較結果に基づき前記露光時間ＴＲ以外の各露光時間に対応する画素信号に対して被写体の状態変化に伴う変動があったか否かを判定し、
前記補正手段は、前記信号変動判定手段で変動があったと判定された画素信号の値を、該画素信号に対応する前記予測値に基づき補正することを特徴とする。

このような構成であれば、例えば、Ｔ１〜ＴＮに対応する画素信号のうち、最も信頼性の高い露光時間に対応する画素信号を基準の露光時間ＴＲに対応する画素信号とすることで、例えば、露光時間ＴＲに対応する画素信号の値が線形に遷移（蓄積電荷量が一定の増加量で増加）すると仮定して、露光時間ＴＲに対応する画素信号の値から各露光時間の予測値を求めることができる。

このようにして求めた予測値は比較的信頼性の高い値（比較的変動の少ない値又は変動のない値）となり、信号変動判定手段は、この予測値に対する各露光時間に対応する画素信号の値との差分値を算出し、該差分値と所定閾値とを比較し、該比較結果に基づき、各画素信号に対して被写体の状態変化に伴う変動があったか否かを判定する。つまり、差分値は、基準の値に対する変動の大きさを示すので、この変動の大きさが所定閾値以上であるときに、被写体の状態変化に伴う変動があったと判定する。

また、補正手段は、変動があったと判定された画素信号の値（信頼性の低い画素信号の値（変動が所定閾値以上の値））を、該画素信号に対応する予測値に基づき補正する。
以上より、基準値に対する変動の大きさから信号変動判定を行うことができるので、簡易且つ精度良く信号変動判定を行うことができると共に、比較的信頼性の低い画素信号の値を、比較的信頼性の高い値に基づき補正することができるので、信頼性の低い画素信号の値を選択し且つその値をそのまま使用して合成を行うといったことを防ぐことができる。これにより、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

〔形態４〕 更に、形態４の撮像装置は、形態２又は３に記載の撮像装置において、
前記信号変動判定手段は、前記露光時間Ｔ１〜ＴＮに対応する各画素信号の周波数成分を抽出する周波数成分抽出部と、該周波数成分抽出部で抽出した周波数成分に基づき前記露光時間ＴＲを設定するＴＲ設定部とを有することを特徴とする。
このような構成であれば、抽出した周波数成分から、各露光時間に対応する画素信号の画質を判断することができるので、例えば、画質の最も良い（例えば、ボケた画像とならない又は比較的ボケ具合が軽い）画素信号の露光時間を基準の露光時間ＴＲにすることで、精度良く信号変動判定処理及び補正処理を行うことができるので、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。
ここで、周波数成分の抽出処理は、公知のフーリエ変換によって画素信号の値を空間周波数成分へと変換したり、ラプラシアンフィルタなどの公知のエッジフィルタを用いてエッジ抽出をすることで行われる。以下、形態７に記載の撮像装置において同じである。

〔形態５〕 更に、形態５の撮像装置は、形態４に記載の撮像装置において、
前記周波数成分抽出部は、前記周波数成分として前記露光時間Ｔ１〜ＴＮに対応する各画素信号のエッジ量Ｅ１〜ＥＮを抽出し、
前記ＴＲ設定部は、前記エッジ量Ｅ１〜ＥＮのうち最も大きいエッジ量を有する画素信号に対応する露光時間を前記基準の露光時間ＴＲとして設定することを特徴とする。

このような構成であれば、エッジ量が最大となる画素信号の露光時間を基準の露光時間ＴＲとすることで、ボケの最も少ない（最もシャープな）画像となる画素信号の露光時間を露光時間ＴＲとすることができる。
これにより、精度良く信号変動判定処理及び補正処理を行うことができるので、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

〔形態６〕 更に、形態６の撮像装置は、形態１に記載の撮像装置において、
前記信号変動判定手段は、前記露光時間Ｔ１〜ＴＮに対応する各画素信号の周波数成分を抽出する周波数成分抽出部を有し、該周波数成分抽出部で抽出した周波数成分に基づき、前記各画素信号に対して被写体の状態変化に伴う変動があったか否かを判定し、
前記補正手段は、前記周波数成分抽出部で抽出した周波数成分に基づき、前記露光時間Ｔ１〜ＴＮのいずれか１つを基準の露光時間ＴＲとして設定し、該露光時間ＴＲに対応する画素信号の値に基づき、該露光時間ＴＲ以外の露光時間に対応する画素信号の値を補正することを特徴とする。

このような構成であれば、例えば、特定周波数成分（例えば、高周波成分）量の露光時間Ｔ１〜ＴＮに対する推移の仕方から信号変動判定を行うことができる。被写体の輪郭部など輝度の急激に変化する画像部分には、高周波成分が多く含まれる。この高周波成分は、露光時間に比例して増加する傾向にあるので、所定周波数以上の高周波数成分量の平均値又は積分値などが露光時間に対して線形に推移するか否かで信号変動判定を行うことができる。例えば、線形に推移しない場合は、どこかで急激な輝度変化があったことなるので、このような場合に被写体の状態変化に伴う変動があったと判定することができる。

また、例えば、所定周波数以上の高周波数成分を最も多く含む画像に対応した露光時間を基準の露光時間ＴＲとするなど、抽出した周波数成分情報に基づき露光時間ＴＲを設定することができる。更に、該設定した露光時間ＴＲに対応する画素信号の値に基づき、他の露光時間に対応する画素信号の値を補正することができる。なお、高周波数成分が多く含まれる画像は、エッジ成分を多く含む画像となるため、ボケの少ない画像（シャープな画像）となる。

以上より、各画素信号の周波数成分に基づき信号変動判定を行うのでより適切に判定処理を行うことができると共に、各画素信号の周波数成分に基づき基準の露光時間ＴＲを設定することができるので、精度良く信号変動判定処理及び補正処理を行うことができ、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

〔形態７〕 更に、形態７の撮像装置は、形態６に記載の撮像装置において、
前記周波数抽出部は、前記周波数成分として前記露光時間Ｔ１〜ＴＮに対応する各画素信号のエッジ量Ｅ１〜ＥＮを抽出し、
前記補正手段は、前記エッジ量Ｅ１〜ＥＮのうち最も大きいエッジ量を有する画素信号の露光時間を、前記基準の露光時間ＴＲとすることを特徴とする。

このような構成であれば、エッジ量が最大となる画素信号の露光時間を基準の露光時間ＴＲとすることで、ボケの最も少ない（最もシャープな）画像となる画素信号の露光時間を露光時間ＴＲとすることができる。
これにより、精度良く信号変動判定処理及び補正処理を行うことができるので、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

〔形態８〕 更に、形態８の撮像装置は、形態１乃至７のいずれか１に記載の撮像装置において、
前記補正手段は、前記信号変動判定手段で変動があったと判定された補正対象の画素信号の値に対して、該画素信号の値に対応する画素周辺の所定数の画素の画素信号に対応する信号変動判定結果に基づき、該周辺の所定数の画素に対する被写体の状態変化に伴う変動があったか否かを判定する判定部を有し、該判定部において、前記所定数の画素に対する画素信号に対して被写体の状態変化に伴う変動があったと判定されたときに、前記補正対象の画素信号の値を補正することを特徴とする。

このような構成であれば、周辺画素に対する信号変動判定結果に基づき、補正処理を行うか否かを判断することができるので、例えば、ノイズなどの影響等で変動があると判定された画素に対応する画素信号の値に対して補正処理を行わないようにすることができる。即ち誤補正を防ぐことができる。
これにより、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

〔形態９〕 更に、形態９の撮像装置は、形態２乃至８のいずれか１に記載の撮像装置において、
前記補正手段は、前記補正対象の画素信号の値を、前記露光時間ＴＲに対応する画素信号の値に基づき予測した該露光時間ＴＲ以外の各露光時間に対応する画素信号の予測値へと置換する補正を行うことを特徴とする。

このような構成であれば、比較的信頼性の低い画素信号の値を、比較的信頼性の高い画素信号の値に基づき予測した予測値に置換する補正を行うことができるので、比較的信頼性の低い画素信号の値をそれよりも信頼性の高い値へと変換することができるので、信頼性の低い画素信号の値を選択し且つその値をそのまま使用して合成を行うといったことを防ぐことができる。これにより、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

〔形態１０〕 更に、形態１０の撮像装置は、形態２乃至８のいずれか１に記載の撮像装置において、
前記補正手段は、前記補正対象の画素信号の値を、該画素信号の値と前記露光時間ＴＲに対応する画素信号の値に基づき予測した該露光時間ＴＲ以外の各露光時間に対応する画素信号の予測値とを合成した値へと変換する補正を行うことを特徴とする。

このような構成であれば、比較的信頼性の低い画素信号の値と、比較的信頼性の高い値に基づき予測した予測値とを合成した値に変換する補正を行うことができる。合成の方法としては、例えば、比較的信頼性の低い値と比較的信頼性の高い値との平均値を合成結果とする方法や、比較的信頼性の低い値と比較的信頼性の高い値とに対して、変動の大きさに応じた重み付けを行ってから和を求める合成方法など様々な方法がある。

従って、信頼性の低い画素信号の値を選択し且つその値をそのまま使用して合成を行うといったことを防ぐことができる。これにより、従来に比して、より良好な画質のＨＤＲ画像を得ることができるという効果が得られる。

〔形態１１〕 更に、形態１１の撮像装置は、形態９又は１０に記載の撮像装置において、
前記予測値の最大値を前記光電変換素子の蓄積電荷量が飽和したときの画素信号の値としたことを特徴とする。
このような構成であれば、光電変換素子の性能（蓄積電荷量）に応じた予測値に基づき補正を行うことができるので、適切な信号レベルで合成を行うことができるという効果が得られる。

〔形態１２〕 更に、形態１２の撮像装置は、形態１１に記載の撮像装置において、
前記補正手段は、前記露光時間ＴＲに対応する画素信号の値が前記光電変換素子の蓄積電荷量が飽和したときの値となっているときに、前記露光時間Ｔ１〜ＴＮのうち前記露光時間ＴＲよりも短い露光時間に対応する画素信号の値が、前記予測値を前記閾値以上下まわるものに対してのみ補正処理を行うことを特徴とする。

このような構成であれば、露光時間ＴＲに対応する画素信号の値を基準に、例えば、蓄積電荷量が線形に遷移するとした場合の露光時間ＴＲより短い露光時間における各画素信号の値が予測値を上まわる場合に、該画素信号の値に対しては補正を行わないようにすることができる。つまり、露光時間ＴＲの時点で画素信号の値が飽和値となっているため、露光時間ＴＲより短い露光時間に対応する画素信号に対する予測値が実際の値よりも小さい値となっている可能性がある。言い方を変えると、露光時間ＴＲより短い露光時間に対応する画素信号の値は、少なくとも予測値以上の値となるはずであるので、露光時間ＴＲより短い露光時間に対応する画素信号の値が予測値を上まわっている場合は、その値の方が信頼性が高い可能性がある。一方、露光時間ＴＲより短い露光時間に対応する画素信号の値が予測値を下まわっている場合は、その値を予測値に基づき補正する。
以上より、露光時間ＴＲよりも短い露光時間に対応する画素信号の値に対して、不適切な補正を行うことを防ぐことができるという効果が得られる。

〔形態１３〕 一方、上記目的を達成するために、形態１３の撮像方法は、
受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換素子が構成する各画素から、前記光電変換素子がＮ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で露光された時の前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号を読み出す画素信号読出ステップと、
前記画素信号読出ステップで読み出した前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号の値に基づき、該画素信号に対して被写体の状態変化に伴う変動があったか否かを判定する信号変動判定ステップと、
前記信号変動判定ステップで変動があったと判定された画素信号の値を補正する補正ステップと、
前記補正ステップで補正された画素信号と、前記画素信号読出ステップで読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正ステップで補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成ステップと、を含むことを特徴とする。
これにより、形態１に記載の撮像装置と同等の作用及び効果が得られる。

〔形態１４〕 また、上記目的を達成するために、形態１４の画像処理装置は、
Ｎ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で被写体を撮像して得られる、前記露光時間Ｔ１〜ＴＮにそれぞれ対応した画素信号の値に基づき、該画素信号に対して前記被写体の状態変化に伴う変動があったか否かを判定する信号変動判定手段と、
前記信号変動判定手段で変動があったと判定された画素信号の値を補正する補正手段と、
前記補正手段によって補正された画素信号と、前記画素信号読出手段で読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正手段によって補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成手段と、を備えることを特徴とする。
これにより、形態１に記載の撮像装置と同等の作用及び効果が得られる。

〔形態１５〕 また、上記目的を達成するために、形態１５の画像処理プログラムは、
Ｎ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で被写体を撮像して得られる、前記露光時間Ｔ１〜ＴＮにそれぞれ対応した画素信号の値に基づき、該画素信号に対して前記被写体の状態変化に伴う変動があったか否かを判定する信号変動判定ステップと、
前記信号変動判定ステップで変動があったと判定された画素信号の値を補正する補正ステップと、
前記補正ステップで補正された画素信号と、前記画素信号読出ステップで読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正ステップで補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１に記載の撮像装置と同等の作用及び効果が得られる。

〔形態１６〕 また、上記目的を達成するために、形態１６の画像処理方法は、
Ｎ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で被写体を撮像して得られる、前記露光時間Ｔ１〜ＴＮにそれぞれ対応した画素信号の値に基づき、該画素信号に対して前記被写体の状態変化に伴う変動があったか否かを判定する信号変動判定ステップと、
前記信号変動判定ステップで変動があったと判定された画素信号の値を補正する補正ステップと、
前記補正ステップで補正された画素信号と、前記画素信号読出ステップで読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正ステップで補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成ステップと、を含むことを特徴とする。
これにより、形態１に記載の撮像装置と同等の作用及び効果が得られる。

〔第１の実施の形態〕
以下、本発明の第１の実施の形態を図面に基づき説明する。図１〜図７は、本発明に係る撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態を示す図である。
まず、本発明に係る撮像装置の構成を図１に基づき説明する。図１は、本発明に係る撮像装置１００の構成を示すブロック図である。

撮像装置１００は、図１に示すように、３種類の露光時間Ｔ１〜Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で被写体を撮像する撮像部１０と、撮像部１０から出力される露光時間Ｔ１〜Ｔ３にそれぞれ対応する画素信号の出力先を露光時間の種類毎に切り替えるスイッチ（ＳＷ）１１と、露光時間Ｔ１に対応する画素信号のデータ（以下、第１画素データと称す）を記憶する第１メモリ１２と、露光時間Ｔ２に対応する画素信号のデータ（以下、第２画素データと称す）を記憶する第２メモリ１３と、露光時間Ｔ３に対応する画素信号のデータ（以下、第３画素データと称す）を記憶する第３メモリ１４とを含んで構成される。

撮像部１０は、ＣＣＤ及び受光素子（フォトトランジスタ）を含んで構成されるＣＣＤイメージセンサを備え、レンズを介して被写体からの光を各画素に集光すると共に、電子シャッタ機能により露光時間を制御して、露光時間Ｔ１、Ｔ２、Ｔ３で各画素の受光素子を露光する。そして、露光時間Ｔ１、Ｔ２、Ｔ３でそれぞれ露光された各画素からこれら各露光時間に対応する画素信号（アナログデータ）を読み出し、該読み出したアナログの画素信号を、不図示のＡＦＥ(Analog Front End)においてデジタルの画素信号（画素データ）に変換してからＳＷ１１に出力する。このとき、撮像部１０からは、出力する画素データが露光時間Ｔ１、Ｔ２、Ｔ３のいずれに対応するものなのかを識別する信号も出力する。

ＳＷ１１は、撮像部１０から画素データが入力されると、これと対応して入力された識別信号に基づきスイッチを切り替え、第１〜第３メモリ１２〜１４のうち識別信号が示す露光時間に対応するメモリに、入力された画素データを出力する。
第１〜第３メモリ１２〜１４は、フレームメモリ及びメモリコントローラから構成され、それぞれ自己に対応する露光時間で撮像された１フレーム分の画素データを記憶する。このとき、メモリコントローラによって、不図示のタイミング制御部からのピクセルクロック、垂直同期信号及び水平同期信号に基づき、各画素データの２次元の格納アドレスを生成し、２次元のメモリ空間上のデータとして管理する。

撮像装置１００は、更に、露光時間Ｔ１〜Ｔ３に対応する画素データに基づき、被写体の状態変化に伴う画素データの変動の有無を判定する信号変動判定部１５と、変動があったと判定された画素データを補正すると共に、補正処理を経た画素データを正規化する補正部１６と、正規化後の露光時間Ｔ１〜Ｔ３に対応する画素データを合成して撮像画像データを生成する撮像画像生成部１７と、撮像画像データを保存する画像保存部１８と、撮像画像データに基づき被写体の画像を表示する表示部１９とを含んで構成される。

信号変動判定部１５は、画素毎に、露光時間Ｔ１〜Ｔ３にそれぞれ対応する画素データの周波数成分に基づき、基準となる露光時間ＴＲを設定する。更に、設定した露光時間ＴＲに対応する画素データを基準画素データとして、露光時間ＴＲ以外の露光時間に対応する画素データの基準画素データに対する変動の大きさを求め、該変動の大きさに基づき被写体の状態変化に伴う変動の有無を判定する。なお、ここでいう状態変化とは、被写体の移動、飛来物等の突然の侵入、撮像環境の急激な変化などが対応し、いずれも露光量に急激な変化をもたらす要因となるものである。

補正部１６は、信号変動判定部１５の変動判定結果に基づき、画素毎に、露光時間ＴＲ以外の露光時間に対応する画素データのうち被写体の状態変化に伴う変動があったと判定された画素データを補正する。更に、画素毎に、補正処理を経た露光時間Ｔ１〜Ｔ３に対応する画素データを露光時間Ｔ３に合わせて正規化する。
撮像画像生成部１７は、画素毎に、正規化後の露光時間Ｔ１〜Ｔ３に対応する第１〜第３画素データを合成して、被写体の撮像画像データを生成する。この撮像画像データは、露光時間の異なる３つの画素データを合成して生成されるため、ダイナミックレンジの広い画像データ（ＨＤＲ画像データ）となる。具体的には、画素毎に、補正部１６で正規化後の露光時間Ｔ１〜Ｔ３に対応する画素データの値を単純に足し合わせる。

画像保存部１８は、フラッシュメモリやハードディスク等の記憶媒体及びそのドライブ装置を有し、復元情報付与部で復元情報の付与された復元情報付与合成後画素データを、所定のファイル形式で記憶媒体に保存する。
表示部１９は、ＨＤＲディスプレイ（例えば、コントラスト比が「４００００：１」など）から構成されており、撮像画像生成部１７から入力された撮像画像データ、又は画像保存部１８によって保存された撮像画像データに基づき、被写体の画像を表示する。また、ＨＤＲディスプレイにより、撮像画像生成部１７で生成された撮像画像データの画像をレンジ圧縮せずに表示することができる。

なお、撮像装置１００の上記各構成部の機能は、ハードウェアのみ、ソフトウェアのみ、ハードウェアとソフトウェアとの組み合わせのいずれかで実現される。従って、撮像装置１００は、ソフトウェアを用いて機能を実現する構成部がある場合に、図示していないが、ソフトウェアを実行するためのプロセッサ、ソフトウェアを記憶するためのＲＯＭ等の記憶媒体、ソフトウェアの実行に用いるＲＡＭ等の記憶媒体、各構成部とのデータの授受を行うためのバスなどを備える。

更に、図２に基づき、信号変動判定部１５の詳細な構成を説明する。
ここで、図２は、信号変動判定部１５の詳細構成を示すブロック図である。
信号変動判定部１５は、図２に示すように、周波数成分抽出部１５ａと、基準露光時間設定部１５ｂと、差分値算出部１５ｃと、比較部１５ｄと、変動判定部１５ｅとを含んで構成される。

周波数成分抽出部１５ａは、離散フーリエ変換や公知のエッジ抽出フィルタを用いたエッジ抽出などによって、露光時間Ｔ１〜Ｔ３の画素信号の周波数成分を抽出（算出）する。
本実施の形態においては、後者の方法を用い、公知のラプラシアンフィルタを用いて、エッジ抽出対象の画素とその周辺画素の画素データに対してフィルタ処理を行い、対象画素データに対するエッジ量を求める。

基準露光時間設定部１５ｂは、周波数成分抽出部１５ａで抽出された露光時間Ｔ１〜Ｔ３の画素データにそれぞれ対応したエッジ量に基づき、Ｔ１〜Ｔ３のいずれか１つを基準露光時間ＴＲとして設定する。具体的に、エッジ量が最も多い露光時間を基準露光時間ＴＲとして設定する。エッジ量は、多い方が画質がシャープになり、少なくなるにつれ画像がボケてくる。つまり、エッジ量が少ない画像ほど輪郭部がぼやけて被写体が認識しづらくなり、エッジ量が多いほど輪郭部がはっきりとして被写体が認識しやすくなる。

差分値算出部１５ｃは、画素毎に、基準露光時間設定部１５ｂにおいて設定された基準露光時間ＴＲに対応する画素データ（基準画素データ）に基づき、ＴＲ以外の露光時間に対応する画素データの予測値を算出する。そして、露光時間毎に、該算出した予測値と、ＴＲ以外の露光時間に対応する画素データの値との差分値をそれぞれ算出する。
ここで、予測値は、基準露光時間ＴＲまでの蓄積電荷の増加量を基準に算出する。具体的に、露光時間Ｔｎ（ｎは１以上の自然数）に対応する第ｎ画素データ（IMG_Tn）の予測値（E_IMG_Tn）は、下式（１）に従って算出される。

E_IMG_Tn＝IMG_TR×Tn/TR ・・・（１）

但し、基準露光時間ＴＲに対する予測値は算出できないので、「Ｔｎ≠ＴＲ」のときのみ予測値を算出する。また、予測値の最大値は、画素の飽和値とする。

例えば、露光時間ＴＲがＴ２に設定されたとすると、上式（１）から、第１画素データ（IMG_T1）の予測値（E_IMG_T1）は「E_IMG_T1＝IMG_T2×T1/T2」と算出され、第３画素データ（IMG_T3）の予測値（E_IMG_T3）は「E_IMG_T3＝IMG_T2×T3/T2」と算出される。
比較部１５ｄは、比較回路において、差分値算出部１５ｃで算出された、画素毎且つ露光時間毎の差分値の絶対値と、予め設定された閾値とを比較し、該比較結果を変動判定部１５ｅに出力する。このとき、後段の処理のために、第１〜第３画素データ及びこれらに対応する各差分値を不図示の内部メモリに保持しておく。

変動判定部１５ｅは、比較部１５ｄから入力された比較結果に基づき変動判定データを生成し、内部メモリに保持しておいた対応する各種データと共に、補正部１６に出力する。具体的に、第１〜第３画素データに対応する第１〜第３変動判定データＤＲＴ１〜ＤＲＴ３は、差分値が閾値以上のときに被写体の状態変化に伴う変動があったと判定して値を「１」とし、閾値未満のときに被写体の状態変化に伴う変動はないと判定して値を「０」とする。

更に、図３に基づき、補正部１６の詳細な構成を説明する。ここで、図３は、補正部１６の詳細な構成を示すブロック図である。
補正部１６は、図３に示すように、画素データ補正部１６ａと、正規化部１６ｂとを含んで構成される。
画素データ補正部１６ａは、信号変動判定部１５から入力された変動判定データに基づき、被写体の状態変化に伴う変動があったと判定された画素データを補正する。

具体的に、変動があったと判定された画素データを、基準画素データから予測した画素データへと置換する補正処理を行う。つまり、変動の大きい画素データは画質に悪影響を及ぼす（信頼性の低い）画素データとなるので、この画素データを、これよりも信頼性の高い画素データへと置換する。
但し、本実施の形態においては、基準画素データの値が飽和値であった場合で、且つ基準露光時間ＴＲよりも短い露光時間に対応する画素データの値が予測値を上まわっている場合には、予測値への置換を行わないようにする。つまり、基準値が飽和値である場合は、基準露光時間ＴＲよりも長い露光時間に対応する画素データの値は全て飽和値になるが、ＴＲよりも短い露光時間に対応する画素データの値は、最低でも予測値と同じ値になるため、予測値を上まわっている場合は、その値の方が信頼性が高い可能性があるためである。

正規化部１６ｂは、画素データ補正部１６ａにおいて補正処理を経た画素データを、最も長い露光時間の画素データに合わせて正規化する。正規化後の画素データは、撮像画像生成部１７に出力される。
具体的に、正規化後の第ｎ画素データを「N_IMG_Tn」とし、最長の露光時間を「TM（n＜M)」として、下式（２）に基づき正規化する。

N_IMG_Tn＝IMG_Tn×TM/Tn ・・・（２）

本実施の形態においては、露光時間がＴ１〜Ｔ３の３種類となるので、最も露光時間の長いＴ３に合わせて、露光時間Ｔ１、Ｔ２に対応する第１、第２画素データを正規化する。

従って、第１画素データの正規化後の値は「N_IMG_T1＝IMG_T1×T3/T1」と算出され、第２画素データの正規化後の値は「N_IMG_T2＝IMG_T2×T3/T2」と算出される。なお、実際の算出処理は行わないが、第３画素データの正規化後の値は「N_IMG_T3＝IMG_T3×T3/T3＝IMG_T3」となる。
次に、図４〜図７に基づき、本実施の形態の撮像装置１００の動作を説明する。

ここで、図４は、基準画素データの信号レベルが基準レベルを下まわる場合のシャッター速度（露光時間）と信号レベルとの関係を示す図である。また、図５は、基準画素データの信号レベルが基準レベルを上まわる場合のシャッター速度（露光時間）と信号レベルとの関係を示す図である。また、図６は、基準画素データの信号レベルが飽和値に達している場合のシャッター速度（露光時間）と信号レベルとの関係を示す図である。また、図７は、本発明を適用した場合としない場合の画像合成例を示す図である。

撮像装置１００は、まず、電子シャッタ機能によりシャッタ速度（露光時間）を制御して、露光時間Ｔ１（１５Ｈ）、Ｔ２（１００Ｈ）、Ｔ３（５００Ｈ）の順で、撮像部１０の各画素を露光し、各露光時間における露光量に応じた画素信号を読み出す。ここで、Ｈは、１水平期間の時間（ｓ）を表す。従って、例えば１５Ｈであれば、露光時間は、１５×Ｈ（ｓ）となる。

読み出した画素信号（アナログデータ）は、不図示のラインメモリに一旦蓄えられた後、不図示のＡＦＥを介してデジタルの画素データへと変換され、露光時間Ｔ１〜Ｔ３を識別する識別信号と共にＳＷ１１へと出力される。ＳＷ１１は、画素データ及び識別信号が入力されると、第１〜第３メモリ１２〜１４のうち、識別信号の示す露光時間に対応したメモリへとスイッチを切り替え、該メモリに向けて画素データを出力する。

一方、第１〜第３メモリ１２〜１４は、画素データが入力されると、メモリコントローラによって、不図示のタイミング制御部から入力される垂直同期信号、水平同期信号、ピクセルクロックに基づき、入力された画素データに対する２次元のアドレス（ｘ，ｙ）を生成すると共に、該アドレスに対応する記憶領域に画素データを記憶する。なお、第１〜第３メモリ１２〜１４において、同一画素のアドレス値を共通とする。

このようにして、第１〜第３メモリ１２〜１４に、１フレーム分の露光時間Ｔ１〜Ｔ３に対応する画素データが記憶されると、信号変動判定部１５は、第１〜第３メモリ１２〜１４から、画素毎に、同一アドレスの画素（注目画素）に対する露光時間Ｔ１〜Ｔ３に対応する第１〜第３画素データと、該第１〜第３画素データの画素周辺の画素（４又は８画素）の第１〜第３画素データとを読み出す。

信号変動判定部１５は、読み出した注目画素の第１〜第３画素データは、周波数成分抽出部１５ａ及び差分値算出部１５ｃへとそれぞれ入力し、更に、周辺画素の第１〜第３画素データは、周波数成分抽出部１５ａに入力する。
周波数成分抽出部１５ａは、注目画素及び周辺画素の第１〜第３画素データが入力されると、ラプラシアンフィルタの原理を用いたエッジ抽出回路において、注目画素及び周辺画素（ここでは、注目画素の上下左右に位置する４画素とする）に対してフィルタ処理を実行する。フィルタ処理は、各露光時間に対応した画素データ毎に行われ、ラプラシアンフィルタにおける各画素位置に対応して設定されたフィルタ係数を、乗算器によって該当の画素データの値に乗算し、加算器によって乗算後の全ての画素データの値の総和をとる処理となる。この総和が、注目画素に対するエッジ量（周波数成分）となる。

このようにして、露光時間Ｔ１〜Ｔ３にそれぞれ対応するエッジ量Ｅ１〜Ｅ３が抽出されると、該抽出したエッジ量Ｅ１〜Ｅ３を基準露光時間設定部１５ｂに出力する。
基準露光時間設定部１５ｂは、エッジ量Ｅ１〜Ｅ３が入力されると、各エッジ量を比較し、最も多いエッジ量に対応する露光時間を基準露光時間ＴＲとして設定し、該設定したＴＲの情報を差分値算出部１５ｃに出力する。ここでは、エッジ量Ｅ２が最も多かったとして、露光時間Ｔ２を基準露光時間ＴＲに設定する。

一方、差分値算出部１５ｃは、基準露光時間設定部１５ｂから基準露光時間ＴＲの情報が入力されると、露光時間ＴＲの画素データを基準画素データとして、ＴＲ以外の露光時間の画素データの予測値を算出する。ここでは、露光時間ＴＲはＴ２であるので、Ｔ２に対応する画素データの値に基づき、上式（１）に従って、露光時間Ｔ１及びＴ３の予測値を算出する。

これにより、第１画素データの予測値（以下、第１予測値と称す）は、「E_IMG_T1＝IMG_T2×T1/T2」と算出され、第３画素データの予測値（以下、第３予測値と称す）は、「E_IMG_T3＝IMG_T2×T3/T2」と算出される。
第１及び第３予測値が算出されると、第１及び第３画素データと、第１及び第３予測値との差分値をそれぞれ算出する。第１画素データの差分値（第１差分値（D_IMG_T1））は、「D_IMG_T1＝IMG_T1-E_IMG_T1」と算出され、第３画素データの差分値（第３差分値（D_IMG_T3））は「D_IMG_T3＝IMG_T3-E_IMG_T3」と算出される。

このようにして算出された第１及び第３差分値は、比較部１５ｄに出力される。
比較部１５ｄは、比較回路において、差分値算出部１５ｃから入力された第１及び第３差分値の絶対値と閾値「Th」とを比較し、その比較結果を、変動判定部１５ｅに出力する。
変動判定部１５ｅは、比較部１５ｄから入力された比較結果に基づき、差分値が閾値以上である場合は、変動判定データとして「１」を生成し、差分値が閾値未満である場合は、変動判定データとして「０」を生成する。ここでは、露光時間Ｔ２が基準露光時間ＴＲとなっているので、第１及び第３画素データに対する第１及び第３変動判定データＤＲＴ１及びＤＲＴ３が生成される。

このようにして第１及び第３変動判定データＤＲＴ１及びＤＲＴ３が生成されると、信号変動判定部１５は、これら生成されたＤＲＴ１及びＤＲＴ３を、内部メモリに保持された第１〜第３画素データ、第１差分値及び第１及び第３予測値と共に補正部１６に出力する。
補正部１６は、信号変動判定部１５から第１及び第３変動判定データＤＲＴ１及びＤＲＴ３、第１〜第３画素データ、第１差分値及び第１及び第３予測値が入力されると、まず、変動判定データに基づき、第１及び第３画素データに対する変動の有無を調べ、変動があった画素データに対して補正処理を実行する。

以下、図４〜図６に基づき、具体的な例を挙げて補正処理の動作を説明する。
まず、図４に示す、基準露光時間ＴＲの信号レベルが基準レベル未満のときの動作を説明する。ここで、基準レベルとは、一定の増加量で露光時間０ＨからＴ３（５００Ｈ）まで露光をしたときに、Ｔ３（５００Ｈ）で丁度飽和値に到達する場合の露光時間ＴＲにおける信号レベルである。つまり、被写体に状態変化がなく一定の増加量で増加していった場合（線形に変化した場合）に、露光時間ＴＲの画素データの信号レベルが基準レベル以下の場合は、５００Ｈにおいて飽和しないことになる。一方、露光時間ＴＲの画素データの信号レベルが基準レベルを超える場合は、５００Ｈ以前に飽和することになる。

つまり、図４に示す例では、露光時間ＴＲ（１００Ｈ）の画素データの信号レベル（図４中の灰色の丸）が基準レベルよりも小さくなっており、そのＴ３（５００Ｈ）に対する予測値の信号レベルも飽和値より低くなっている。この場合に、図４中の「○」に示すように、第１及び第３画素データの信号レベルが第１及び第３予測値のレベルをそれぞれ上まわっている場合は、両者とも変動ありと判定されていれば、第１及び第３画素データの値を第１及び第３予測値へと置換する補正処理を実行する。また、図４中の「●」に示すように、第１及び第３画素データの信号レベルが第１及び第３予測値のレベルをそれぞれ下まわっている場合も、両者とも変動ありと判定されていれば、第１及び第３画素データの値を第１及び第３予測値へと置換する補正処理を実行する。一方、変動ありと判定されていない場合は、予測値を上まわっても下回っても、予測値への置換は行わない。

この場合の、補正処理を経た第１〜第３画素データは、第１画素データ「E_IMG_T1」、第２画素データ「IMG_T2」、第３画素データ「E_IMG_T3」となる。
次に、図５に示す、基準露光時間ＴＲの信号レベルが基準レベルを超えている（但し、飽和レベル未満）ときの動作を説明する。
つまり、図５に示す例では、露光時間ＴＲ（１００Ｈ）の画素データの信号レベル（図５中の灰色の丸）が基準レベルよりも大きくなっており、そのＴ３（５００Ｈ）に対する予測値の信号レベルも飽和値となっている。この場合に、図５中の１５Ｈの「○」に示すように、第１画素データの信号レベルが第１予測値のレベルを上まわっている場合は、変動ありと判定されていれば、第１画素データの値を第１予測値へと置換する補正処理を実行する。また、図５中の５００Ｈの「○」に示すように、第３画素データの信号レベルが第３予測値と同じ飽和レベルとなっている場合は、差分値が「０」になるため、変動判定データも「０」となるので、補正処理は行われない。また、図５中の「●」に示すように、第１及び第３画素データの信号レベルが第１及び第３予測値のレベルをそれぞれ下まわっている場合は、両者とも変動ありと判定されていれば、第１及び第３画素データの値を第１及び第３予測値へと置換する補正処理を実行する。一方、変動ありと判定されていない場合（差分値が閾値th未満の場合）は、予測値を上まわっていても下まわっていても、予測値への置換は行われない。

この場合の、補正処理を経た第１〜第３画素データは、第１画素データ「E_IMG_T1」、第２画素データ「IMG_T2」、第３画素データ「IMG_T3」又は「E_IMG_T3」となる。
次に、図６に示す、基準露光時間ＴＲの信号レベルが飽和レベルに達しているときの動作を説明する。
つまり、図６に示す例では、露光時間ＴＲ（１００Ｈ）の画素データの信号レベル（図６中の灰色の丸）が飽和レベルに達しており、それ以降の露光時間に対する信号レベルが全て飽和レベルとなっている。この場合に、図６中の５００Ｈの「○」又は「●」に示すように、第３画素データの信号レベルが第３予測値と同じ飽和レベルとなった場合は、差分値が０になるため、変動判定データは「０」となり、補正処理は行われない。また、図６中の１５Ｈの「●」に示すように、第１画素データの信号レベルが第１予測値のレベルを下まわった場合は、変動ありと判定されていれば、第１画素データの値を第１予測値へと置換する補正処理を実行する。また、図６中の１５Ｈの「○」に示すように、第１画素データの信号レベルが第１予測値のレベルを上まわっている場合は、露光時間ＴＲ（１００Ｈ）の画素データの信号レベルが飽和レベルに達していることから、この場合の第１画素データが予測値よりも信頼性が低いとは限らない（正確な判断ができない）。従って、このような場合に、画素データ補正部１６ａは、第１画素データの予測値への置換を行わない。一方、変動ありと判定されていない場合は、予測値を上まわっても下回っても、予測値への置換は行わない。

この場合の、補正処理を経た第１〜第３画素データは、第１画素データ「E_IMG_T1」又は「IMG_T1」、第２画素データ「IMG_T2」、第３画素データ「IMG_T3」となる。
上記のようにして、補正処理が実行されると、補正処理を経た第１〜第３画素データは、正規化部１６ｂに出力される。
正規化部１６ｂは、露光時間Ｔ３に対応する第３画素データに合わせて、上式（２）に従い、第１及び第２画素データを正規化する。例えば、補正後の画素データが、第１画素データ「E_IMG_T1」、第２画素データ「IMG_T2」、第３画素データ「E_IMG_T3」の場合は、正規化後の第１、第２、第３画素データは、「N_IMG_T1＝E_IMG_T1×T3/T1」、「N_IMG_T2＝IMG_T2×T3/T2」、「N_IMG_T3＝IMG_T3×T3/T3＝IMG_T3」となる。

正規化後の第１〜第３画素データ「N_IMG_T1〜N_IMG_T3」は、撮像画像生成部１７に出力される。
撮像画像生成部１７は、画素データ補正部１６ａから正規化後の第１〜第３画素データ「N_IMG_T1〜N_IMG_T3」が入力されると、これらを単純に加算合成することで、撮像画素データを生成する。具体的に、合成後の撮像画素データを「HDR_IMG（ｘ，ｙ）」とすると、「HDR_IMG（ｘ，ｙ）＝N_IMG_T1＋N_IMG_T2＋N_IMG_T3」と加算合成される。ここで、（ｘ，ｙ）は、合成対象画素のアドレスを示す。

上記一連の処理を、被写体の撮像領域に対応する全画素に対して行うことで、被写体に対する広ダイナミックレンジの撮像画像データが生成される。該生成された撮像画像データは、画像保存部１８によって、所定のファイル形式で保存される。また、リアルタイムで映像を表示する場合は、生成された撮像画像データは、表示部１９に出力される。
表示部１９は、リアルタイムに映像を表示する場合は、撮像画像生成部１７から入力された撮像画像データに基づき、被写体の画像を表示する。一方、リアルタイムに映像を表示しない場合は、表示部１９は、ユーザからの指示に応じて、画像保存部１８によって保存された撮像画像データを読み出し、該読み出した撮像画像データに基づき、被写体の画像を表示する。

以下、図７に基づき、本発明の補正処理を施した場合と施さなかった場合の撮像画像について、両者を比較検討する。図７において、上段側が本発明の補正処理を適用しない場合の撮像画像及び合成画像を示し、下段側が本発明の補正処理を適用した場合の撮像画像及び合成画像を示す。
図７に示すように、露光時間Ｔ１〜Ｔ３で撮像された画像を単純に合成した場合は、露光時間Ｔ３の撮像画像における窓際の人物の腕がブレているため、そのブレた画像部分が合成後の画像にも残ってしまう。

一方、露光時間Ｔ２を基準露光時間ＴＲとして、この撮像画像に基づき、露光時間Ｔ３の画像データに対して上記説明した補正処理を施すことで、露光時間Ｔ３の補正後の画像（図７の下段側の画像）は、補正前の画像（図７の上段側の画像）に比べ、ブレた部分が殆どない状態となっている。そのため、図７に示すように、補正処理を施した場合の合成後の画像は、窓際の人物の腕がブレることなく表示される。

以上、本実施の形態の撮像装置１００は、ＣＣＤイメージセンサの各画素を、３種類の露光時間Ｔ１〜Ｔ３で露光して得られた画素データの周波数成分（エッジ量）に基づき、基準となる露光時間ＴＲを設定し、該ＴＲに対応する画素データを基準画素データとして、ＴＲ以外の露光時間に対する予測値及び差分値を算出することが可能である。
更に、上記算出した差分値及び予め設定された閾値に基づき、被写体の状態変化に伴う変動の有無を判定し、変動があったと判定された画素データを、上記算出した予測値に置換する補正処理を実行することが可能である。

なお更に、上記補正処理を経た画素データを合成して、広ダイナミックレンジの撮像画像データを生成することが可能である。
以上より、信頼性の高い画素データを基準画素データとして設定することができるので、この基準画素データの予測値に対する変動量（差分値）の大きさから、被写体の移動に伴う画素データの変動の有無をより正確に判定することができる。また、この判定結果に基づき、変動のあった画素データ（信頼性の比較的低い画素データ）を、これよりも信頼性の高い画素データ（予測値）に確実に置換する補正処理を行うことができるので、従来に比して、撮像画像の画質を向上することができる。

上記第１の実施の形態において、撮像部１０のＣＣＤイメージセンサは、形態１又は１３に記載の光電変換部に対応し、撮像部１０における各画素から画素信号を読み出す処理は、形態１若しくは３に記載の画素信号読出手段又は形態１３に記載の画素信号読出ステップに対応し、信号変動判定部１５は、形態１、２、３、４及び１４のいずれか１に記載の信号変動判定手段又は形態１３、１５及び１６のいずれか１に記載の信号変動判定ステップに対応し、補正部１６は、形態１、２、３、９、１２及び１４のいずれか１の補正手段又は形態１３、１５及び１６のいずれか１に記載の補正ステップに対応し、撮像画像生成部１７は、形態１若しくは１４に記載の撮像画像生成手段又は形態１３、１５及び１６のいずれか１に記載の撮像画像生成ステップに対応する。

また、上記第１の実施の形態において、撮像装置１００における、信号変動判定部１５、補正部１６及び撮像画像生成部１７から構成されるブロック（画像保存部１８を含んでいても良い）は、形態１４の画像処理装置、形態１５の画像処理プログラム又は形態１６の画像処理方法に対応する。

〔第１の実施の形態の変形例１〕
次に、本発明に係る撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態の変形例１を説明する。
本変形例１は、上記第１の実施の形態において、補正部１６の画素データ補正部１６ａで、変動があったと判定された画素データを、予測値に置換する補正処理を行っているのに対して、変動があったと判定された画素データの値と予測値との両方の値を用いて補正処理を行う点が異なる。従って、以下、上記第１の実施の形態と異なる部分のみ詳細に説明する。

具体的に、本変形例１における画素データ補正部１６ａは、信号変動判定部１５から入力された変動判定データに基づき、変動があったと判定された画素データを、該画素データの値と、該画素データの露光時間に対応する予測値とを合成した値に変換することで補正を行う。
合成方法としては、具体的に、該当画素データの値と予測値との加算平均を算出する方法、該当画素データの値と予測値とに対して、変動（差分値）の大きさに応じた重み付けを行って加算する方法などがある。

具体的に、上記加算平均による補正処理は、補正後の第ｎ画素データを「R_IMG_Tn」とすると、下式（３）に従って行われる。

R_IMG_Tn＝（IMG_Tn＋E_IMG_Tn）／２ ・・・（３）

例えば、第２画素データが基準画素データであり、第１画素データ（IMG_T1）及び第３画素データ（IMG_T3）が変動ありと判定されている場合に、加算平均を用いた補正処理を行うと、補正後の第１画素データは、「R_IMG_T1＝（IMG_T1＋E_IMG_T1）／２」と算出され、補正後の第３画素データは、「R_IMG_T3＝（IMG_T3＋E_IMG_T1）／２」と算出される。

一方、上記重み付けによる加算合成を用いた補正処理は、変動（差分値）の大きさに応じた重みをα（α＜１）とすると、下式（４）に従って行われる。

R_IMG_Tn＝（1−α）×IMG_Tn＋α×E_IMG_Tn ・・・（４）

例えば、第２画素データが基準画素データであり、第１画素データ（IMG_T1）及び第３画素データ（IMG_T3）が変動ありと判定されている場合に、重み付けによる加算合成を用いた補正処理を行うと、補正後の第１画素データは、「R_IMG_T1＝（1−α）×IMG_T1＋α×E_IMG_T1」と算出され、補正後の第３画素データは、「R_IMG_T3＝（1−α）×IMG_T3＋α×E_IMG_T3」と算出される。

本変形例においては、画素データ補正部１６ａの補正処理の方法が異なるだけで、他の処理については、上記第１の実施の形態と同様の処理となるので、本変形例の動作については説明を省略する。
以上、本変形例の撮像装置１００は、被写体の状態変化に伴う変動があったと判定された画素データに対して、該画素データの値と、該画素データに対応する予測値とを合成した値に変換する補正処理を行うことが可能である。

これにより、合成処理において、例えば、被写体の一部が欠けるなどの撮像内容の破綻を生じさせずに合成を行うことができる。
上記変形例１において、補正部１６は、形態１、２、３、１０、１２及び１４のいずれか１の補正手段又は形態１３、１５及び１６のいずれか１に記載の補正ステップに対応する。

〔第１の実施の形態の変形例２〕
次に、図８〜図１０に基づき、本発明に係る撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第１の実施の形態の変形例２を説明する。
本変形例２は、上記第１の実施の形態及び上記変形例１において、補正部１６の画素データ補正部１６ａで、変動があったと判定された画素データに対して補正処理を行っているのに対して、変動があったと判定された画素データに対して、更に、その周辺の画素の画素データの変動の有無を調べ、周辺画素に対しても変動ありと判定されている場合に補正処理を行う点が異なる。従って、同じ機能を有する構成部については同じ符号を付して適宜説明を省略し、上記第１の実施の形態及び変形例１と異なる部分を詳細に説明する。

まず、図８に基づき、本変形例における補正部１６’の詳細な構成を説明する。ここで、図８は、本変形例における補正部１６’の詳細な構成を示すブロック図である。
補正部１６’は、図８に示すように、判定結果保存部１６ｃと、変動真偽判定部１６ｄと、画素データ補正部１６ａと、正規化部１６ｂとを含んで構成される。
判定結果保存部１６ｃは、メモリを有し、露光時間Ｔ１〜Ｔ３に対応する画素データの変動判定データを全画素分、前記メモリに記憶保持する。ここで、全画素分の変動判定データが記憶されたときに、通知信号によって、変動真偽判定部１６ｄに通知する。

変動真偽判定部１６ｄは、判定結果保存部１６ｃからの通知信号によって、全画素分の変動判定データが記憶されたことが通知されると、まず、判定結果保存部１６ｃにおいて記憶保持された、補正処理対象（補正処理が未処理）の画素データに対応する変動判定データを読み出し、該画素データの変動有無を判定する。そして、変動ありと判定されたときに、判定結果保存部１６ｃにおいて記憶保持された、補正処理対象の画素の周辺画素の変動判定データに基づき、補正処理対象の画素データに対する変動の真偽を判定する。

具体的に、変動真偽判定部１６ｄは、補正処理対象の画素データの画素の周辺画素に対する変動判定データ（同じアドレスで且つ同じ露光時間のもの）を判定結果保存部１６ｃのメモリから読み出し、該読み出した変動判定データの判定結果が全て「変動あり（１）」であった場合に、補正処理対象の画素に対応する画素データの変動判定データを「変動あり（１）」に確定する。一方、周辺画素に対応する変動判定結果の中に「変動あり（１）」が１つも無かった場合は、補正処理対象の変動判定データを「変動あり（１）」から「変動なし（０）」に変更する。また、補正処理対象の画素データに対する判定結果が「変動なし（０）」だった場合は、変動判定データを「変動なし（０）」に確定する。この確定後又は変更後の変動判定データは、画素データ補正部１６ａに出力される。

画素データ補正部１６ａは、確定又は変更された変動判定データに基づき、変動があったと判定された画素データに対して、上記第１の実施の形態又は上記変形例１で説明した補正処理を実行する。
次に、図９に基づき、変動真偽判定部１６ｄにおける変動真偽判定処理の流れを説明する。ここで、図９は、変動真偽判定部１６ｄにおける変動真偽判定処理を示すフローチャートである。

変動真偽判定処理は、図９に示すように、まず、ステップＳ１００に移行し、変動真偽判定部１６ｄにおいて、判定結果保存部１６ｃからの通知信号の受信有無によって、全ての画素に対する変動判定データが記憶されたか否かを判定し、記憶されたと判定した場合(Yes)は、ステップＳ１０２に移行し、そうでない場合(No)は、通知信号が入力されるまで待機する。

ステップＳ１０２に移行した場合は、変動真偽判定部１６ｄにおいて、真偽判定が未処理の画素に対する変動判定データを、判定結果保存部１６ｃから読み出して、ステップＳ１０４に移行する。
ステップＳ１０４では、変動真偽判定部１６ｄにおいて、ステップＳ１０２で読み出した変動判定データに基づき、補正処理対象の画素データに対する変動判定結果が「変動あり」か否かを判定し、変動ありと判定した場合(Yes)は、ステップＳ１０６に移行し、そうでない場合(No)は、ステップＳ１１４に移行する。

ステップＳ１０６に移行した場合は、変動真偽判定部１６ｄにおいて、補正処理対象の画素データの画素の周辺画素に対する変動判定データを、判定結果保存部１６ｃから読み出して、ステップＳ１０８に移行する。
ステップＳ１０８では、変動真偽判定部１６ｄにおいて、ステップＳ１０６で読み出した変動判定データに基づき、周辺画素の画素データに対する変動判定結果は、全て「変動なし（０）」か否かを判定し、全て「変動なし（０）」であると判定した場合(Yes)は、ステップＳ１１２に移行し、そうでない場合(No)は、ステップＳ１１０に移行する。

ステップＳ１１０に移行した場合は、変動真偽判定部１６ｄにおいて、補正処理対象の画素データに対する変動判定データを、「変動あり（１）」に確定して、ステップＳ１１４に移行する。
一方、ステップＳ１１２に移行した場合は、変動真偽判定部１６ｄにおいて、補正処理対象の画素データに対する変動判定データを、「変動あり（１）」から「変動なし（０）」に変更且つ確定して、ステップＳ１１４に移行する。

ステップＳ１１４では、変動真偽判定部１６ｄにおいて、確定された変動判定データを画素データ補正部１６ａに出力して、ステップＳ１１６に移行する。
ステップＳ１１６では、変動真偽判定部１６ｄにおいて、ステップＳ１１４で出力された変動判定データは、最終画素のものか否かを判定し、最終画素のものであると判定した場合(Yes)は処理を終了し、そうでない場合(No)は、ステップＳ１０２に移行する。ここで、真偽判定処理は、基準露光時間を抜かした他の露光時間の全ての画素に対して行う。

なお、変動真偽判定部１６ｄの上記フローチャートに示す変動真偽判定処理は、ハードウェアのみで実現する構成としても良いし、プロセッサにより、専用のプログラムを実行して実現する構成としても良い。
次に、図１０に基づき、本変形例の撮像装置１００の動作を説明する。
ここで、図１０（ａ）及び（ｂ）は、補正処理対象の画素とその周辺の画素の変動判定結果の一例を示す図である。

ここで、信号変動判定部１５における変動判定データの生成処理までの動作は、上記第１の実施の形態と同様となるので説明を省略する。
以下、補正部１６’の動作から説明する。
補正部１６’は、信号変動判定部１５から変動判定デーが入力されると、判定結果保存部１６ｃにおいて、該入力された変動判定データをメモリに順次記憶する。これにより、変動判定データが、基準露光時間ＴＲ以外の露光時間に対する変動判定データが全画素分、メモリに記憶されると、判定結果保存部１６ｃは、そのことを通知する通知信号を、変動真偽判定部１６ｄに出力する。

変動真偽判定部１６ｄは、判定結果保存部１６ｃから通知信号を受信すると、これにより、全画素分の変動判定データが記憶されたと判定し（ステップＳ１００の「Ｙｅｓ」の分岐）、真偽判定が未処理の補正処理対象の画素データに対応する変動判定データを、判定結果保存部１６ｃから読み出し（ステップＳ１０２）、変動の有無を判定する（ステップＳ１０４）。

ここで、補正処理対象の画素データが、露光時間Ｔ３（５００Ｈ）の画素データであり、変動ありと判定された（ステップＳ１０４の「Ｙｅｓ」の分岐）とする。
この場合に、変動真偽判定部１６ｄは、補正処理対象の画素データの画素の周辺８画素（上下左右斜めの８画素）に対応する露光時間Ｔ３の変動判定データを、判定結果保存部１６ｃから読み出す（ステップＳ１０６）。

例えば、図１０（ａ）に示すように、上記読み出した周辺８画素の露光時間Ｔ３に対応する変動判定データが、全て「変動なし（０）」である場合（ステップＳ１０８の「Ｙｅｓ」の分岐）は、補正処理対象の画素データの変動判定データを、「変動あり（１）」から「変動なし（０）」に変更する（ステップＳ１１２）。つまり、被写体に移動物を含む場合に、移動物は画素の塊で構成されると考え、補正処理対象の画素の周辺８画素に変動がない場合は、ノイズによる変動である可能性が高いので、この場合は、「変動なし（０）」へと変更することで誤補正を防ぐ。

一方、図１０（ｂ）に示すように、上記読み出した周辺８画素の露光時間Ｔ３に対応する変動判定データに、「変動あり（１）」が１つでもある場合（ステップＳ１０８の「Ｎｏ」の分岐）は、補正処理対象の画素データの変動判定データを、「変動あり（１）」で確定する（ステップＳ１１０）。つまり、この場合は、画素の塊が変動（移動）していると判断できるので、変動ありと確定する。

変動判定データが変更又は確定されると、変動真偽判定部１６ｄは、変更又は確定された変動判定データを、画素データ補正部１６ａに出力する（ステップＳ１１４）。
上記のような変動真偽判定処理を、判定対象の全ての画素に対して行うことで（ステップＳ１１６の「Ｙｅｓ」の分岐）、処理が終了する。
以降の、画素データ補正部１６ａ、正規化部１６ｂ、撮像画像生成部１７、画像保存部１８、表示部１９における各処理は、上記第１の実施の形態又は上記変形例１と同様となるので説明を省略する。

以上、本変形例の撮像装置１００は、被写体の状態変化に伴う変動があったと判定された画素データに対して、更に、その周辺画素の画素データに対応する変動判定データに基づき、変動の真偽を判定し、真に変動した画素データに対してのみ補正処理を行うことが可能である。
これにより、ノイズの影響などによって変動があったと誤判定された画素データに対して補正処理を行わないようにできるので、画素データの誤補正を防ぐことができ信頼性を確保できる。

上記変形例２において、補正部１６’は、形態１、２、３、８、１０、１２及び１４のいずれか１の補正手段又は形態１３、１５及び１６のいずれか１に記載の補正ステップに対応する。
〔第２の実施の形態〕
以下、本発明の第２の実施の形態を図面に基づき説明する。図１１〜図１２は、本発明に係る撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法の第２の実施の形態を示す図である。

上記第１の実施の形態においては、基準露光時間ＴＲに対応する画素データに基づき予測値を算出し、該予測値とＴＲ以外の露光時間に対応する画素データとの差分値を算出し、該差分値に基づき、被写体の状態変化に伴う変動があったか否かを判定していた。これに対して、本実施の形態は、露光時間Ｔ１〜Ｔ３に対応する画素データから周波数成分を抽出し、該抽出した周波数成分に基づき被写体の状態変化に伴う変動があったか否かを判定する点が上記第１の実施の形態と異なる。これにより、本実施の形態においては、上記第１の実施の形態の撮像装置１００において、信号変動判定部１５及び補正部１６が、信号変動判定部１５’及び補正部１６’’となり構成が一部異なる。

以下、上記第１の実施の形態の撮像装置１００と同じ機能を有する構成部については同じ符号を付して適宜説明を省略し、上記第１の実施の形態と異なる部分を詳細に説明する。
まず、図１１に基づき、本発明に係る撮像装置１００’における信号変動判定部１５’の詳細な構成を説明する。ここで、図１１は、信号変動判定部１５’の詳細構成を示すブロック図である。

信号変動判定部１５’は、図１１に示すように、周波数成分抽出部１５ａと、比較部１５ｆと、変動判定部１５ｇとを含んで構成される。
周波数成分抽出部１５ａは、上記第１の実施の形態と同様に、公知のラプラシアンフィルタを用いて、エッジ抽出対象の画素とその周辺画素の画素データに対してフィルタ処理を行い、対象画素データに対するエッジ量を求める。なお、露光時間Ｔ１〜Ｔ３に対応するエッジ量Ｅ１〜Ｅ３は、比較部１５ｆに出力されると共に、補正部１６’’に出力される。

比較部１５ｆは、同一アドレスの画素に対する露光時間Ｔ１〜Ｔ３の画素データに対応するエッジ量Ｅ１〜Ｅ３について、「Ｅ１：Ｅ２：Ｅ３」と「Ｔ１：Ｔ２：Ｔ３」とを比較する。具体的に、両者の比を比較し、それが許容誤差の範囲内にあるか否かを判断する。つまり、両者の比が厳密に同じとならなくても、許容誤差の範囲内であれば一致とする。
この比較結果は、変動判定部１５ｇに出力される。

変動判定部１５ｇは、比較部１５ｆからの比較結果に基づき、「Ｅ１：Ｅ２：Ｅ３＝Ｔ１：Ｔ２：Ｔ３」のときに変動がないと判定し、「「Ｅ１：Ｅ２：Ｅ３≠Ｔ１：Ｔ２：Ｔ３」のときに、露光時間Ｔ１〜Ｔ３に対応する画素データのうちいずれかに変動があると判定する。そして、露光時間Ｔ１〜Ｔ３に対応する画素データのうち、被写体の状態変化に伴う変動があったと判定されたものに対して、変動判定データとして「１」を生成する。一方、被写体の状態変化に伴う変動がないと判定されたものに対して、変動判定データとして「０」を生成する。生成した変動判定データは、第１〜第３画素データと共に補正部１６’’に出力される。

次に、図１２に基づき、補正部１６’’の詳細な構成を説明する。ここで、図１２は、補正部１６’’の詳細構成を示すブロック図である。
補正部１６’’は、図１２に示すように、基準露光時間設定部１６ｅと、画素データ補正部１６ｆと、正規化部１６ｂとを含んで構成される。
基準露光時間設定部１６ｅは、上記第１の実施の形態における、基準露光時間設定部１５ｂと同様の機能を有しており、エッジ量Ｅ１〜Ｅ３のうち、最も多いエッジ量に対応する露光時間を、基準露光時間ＴＲに設定する。設定した基準露光時間ＴＲの情報は、画素データ補正部１６ｆに出力される。

画素データ補正部１６ｆは、基準露光時間設定部１６ｅから入力された基準露光時間ＴＲの情報に基づき、信号変動判定部１５’から入力された第１〜第３画素データのうち基準露光時間ＴＲに対応する画素データを基準画素データとする。そして、この基準画素データから基準露光時間ＴＲ以外の露光時間に対応する画素データの予測値を算出する。予測値の算出は、上記第１の実施の形態と同様に、上式（１）に従って行う。

画素データ補正部１６ｆは、更に、信号変動判定部１５’から入力された変動判定データに基づき、変動があったと判定された画素データを、上記算出した予測値に基づき補正する。ここで、補正処理の方法は、上記第１の実施の形態及び上記変形例１のいずれの方法を用いても良い。また、本実施の形態において、上記変形例２の変動結果の真偽判定処理を行う構成としても良い。

次に、本実施の形態の撮像装置１００’の動作を説明する。
ここで、周波数成分抽出部１５ａのエッジ量の抽出処理までの動作は、上記第１の実施の形態の撮像装置１００と同様となるので、説明を省略する。
以下、エッジ量Ｅ１〜Ｅ３の抽出後の動作から説明する。
周波数成分抽出部１５ａは、エッジ量Ｅ１〜Ｅ３を抽出すると、該抽出したエッジ量Ｅ１〜Ｅ３を、比較部１５ｆに出力すると共に、補正部１６’’に出力する。

比較部１５ｆは、周波数成分抽出部１５ａからエッジ量Ｅ１〜Ｅ２が入力されると、エッジ量の比「Ｅ１：Ｅ２：Ｅ３」と、露光時間の比「Ｔ１：Ｔ２：Ｔ３」とを比較する。例えば、露光時間の比が「３：２０：１００」であり、エッジ量の比が「１０：２１：８０」であったとする。許容誤差を「５」とすると、Ｅ１とＴ１、Ｅ３とＴ３が「５」以上の差があり、許容誤差の範囲外にある。従って、比較結果は、Ｅ１とＴ１との比較結果は「０」、Ｅ２とＴ２との比較結果は「１」、Ｅ３とＴ３との比較結果は「０」となる。この比較結果は、変動判定部１５ｇに入力される。

変動判定部１５ｇは、比較部１５ｆから比較結果が入力されると、Ｅ１とＴ１との比較結果及びＥ３とＴ３との比較結果は「０」となっているので、露光時間Ｔ１、Ｔ３に対応する第１、第２画素データに対して、変動判定データとして、「１（変動あり）」を生成する。一方、Ｅ２とＴ２との比較結果は「１」となっているので、露光時間Ｔ２に対応する画素データに対して、変動判定データとして、「０（変動なし）」を生成する。

つまり、露光時間が長ければ長いほど鮮明な撮像画像が得られることから、エッジ量は露光時間に比例する。従って、一定の露光量で露光されている場合は、露光時間に比例してエッジ量も線形に増加するため、「Ｅ１：Ｅ２：Ｅ３＝Ｔ１：Ｔ２：Ｔ３」の関係が成立する。この関係が崩れる（「Ｅ１：Ｅ２：Ｅ３≠Ｔ１：Ｔ２：Ｔ３」）ということは、露光時間Ｔ１、Ｔ２、Ｔ３のいずれかの撮像において、被写体の状態変化によって、露光量が急激に変化したと考えられる。

一方、補正部１６’’は、周波数成分抽出部１５ａからエッジ量Ｅ１〜Ｅ３が入力されると、基準露光時間設定部１６ｅにおいて、各エッジ量を比較し、最も多いエッジ量に対応する露光時間を基準露光時間ＴＲとして設定し、該設定したＴＲの情報を画素データ補正部１６ｆに出力する。ここでは、エッジ量Ｅ２が最も多かったとして、露光時間Ｔ２を基準露光時間ＴＲに設定する。

画素データ補正部１６ｆは、信号変動判定部１５’から第１〜第３画素データ、変動判定データＤＲＴ１〜ＤＲＴ３が入力され、基準露光時間設定部１６ｅから基準露光時間ＴＲの情報が入力されると、まず、基準露光時間ＴＲ（Ｔ２）に対応する画素データを基準画素データに設定する。そして、第２画素データを用いて、上式（１）から、露光時間Ｔ１及びＴ３に対する第１及び第３予測値を算出する。

次に、画素データ補正部１６ｆは、変動判定データＤＲＴ１及びＤＲＴ３に基づき、第１及び第３画素データに対して、被写体の状態変化に伴う変動があったか否かを調べ、変動があったと判定された画素データに対して補正処理を行う。このとき、上記第２の実施の形態の撮像装置１００のように、変動判定データをメモリに保持し、補正処理対象の画素とその周辺の画素に対する変動判定データを用いて、変動の真偽を判定しても良い。

また、補正処理の方法は、上記第１の実施の形態又は上記変形例１における補正処理方法と同様となる。
以降の、正規化部１６ｂ、撮像画像生成部１７、画像保存部１８、表示部１９における各処理は、上記第１の実施の形態と同様となるので説明を省略する。
以上、本実施の形態の撮像装置１００’は、ＣＣＤイメージセンサの各画素を、３種類の露光時間Ｔ１〜Ｔ３で露光して得られた画素データの周波数成分（エッジ量）に基づき、被写体の状態変化に伴う変動があったか否かを判定することができると共に、基準となる露光時間ＴＲを設定することができる。

これにより、変動の有無を適切に判断できると共に、信頼性の高い画素データを基準画素データとして設定することができるので、変動のあった画素データ（信頼性の比較的低い画素データ）を、これよりも信頼性の高い画素データ（予測値）により確実に置換する補正処理を行うことができるので、従来に比して、撮像画像の画質を向上することができる。

上記第２の実施の形態において、信号変動判定部１５’は、形態１、６、８及び１４のいずれか１に記載の信号変動判定手段又は形態１３、１５及び１６のいずれか１に記載の信号変動判定ステップに対応し、補正部１６’’は、形態１、６、７、８、９、１０、１２及び１４のいずれか１の補正手段又は形態１３、１５及び１６のいずれか１に記載の補正ステップに対応する。

また、上記第２の実施の形態において、撮像装置１００’における、信号変動判定部１５’、補正部１６’’及び撮像画像生成部１７から構成されるブロック（画像保存部１８を含んでいても良い）は、形態１４の画像処理装置、形態１５の画像処理プログラム又は形態１６の画像処理方法に対応する。
なお、上記第１及び第２の実施の形態においては、撮像部１０を、ＣＣＤイメージセンサを有する構成としたが、これに限らず、各画素がＣＭＯＳ素子で構成されるＣＭＯＳイメージセンサを有する構成など他の構成としても良い。ＣＭＯＳイメージセンサを有する構成であれば、各画素から非破壊で画素信号を読み出すことができるので、１フレームの期間において、複数種類の露光時間に対応する画素信号を読み出すことができる。これにより、例えば、ローリングシャッタ方式の電子シャッタ機能を有するものであれば、画像のライン単位で順次露光時間の異なる画素信号を読み出すことができるようになるため、各露光時間の画素データを全画素分取得してから処理を行うのと比較して、上記各処理を高速に行うことができる。また、ライン毎に順次処理を行うことができるので、画素データや変動判定データの保持に必要なメモリの容量を大幅に減らすことができる。

また、上記第１及び第２の実施の形態においては、各画素データの周波数成分として、エッジ量を抽出する構成としたが、これに限らず、ＦＦＴを用いて周波数成分を抽出するのど他の構成としても良い。
また、上記第１及び第２の実施の形態においては、同一画素に対する露光時間の異なる各画素データの周波数成分に基づき、基準露光時間ＴＲを設定する構成としたが、これに限らず、予め基準露光時間ＴＲを決められた露光時間に設定する構成としても良い。

また、上記第１及び第２の実施の形態においては、露光時間Ｔ１、Ｔ２、Ｔ３を、それぞれ１５Ｈ、１００Ｈ、５００Ｈとしたが、これに限らず、Ｔ１＜Ｔ２＜Ｔ３の関係が保たれれば、他の露光時間としても良い。また、この露光時間の設定をユーザが任意に設定できる構成としても良いし、被写体の種類や撮像環境に応じて動的に変化させる構成としても良い。

また、上記第１及び第２の実施の形態においては、露光時間Ｔ１〜Ｔ３の３種類の露光時間に対応した第１〜第３画素データを読み出し該第１〜第３画素データを用いて上記各処理を行う構成としたが、これに限らず、４種類以上の露光時間に対応する画素データを読み出しこれら読み出した画素データを用いて上記各処理を行う構成としても良い。

本発明に係る撮像装置１００の構成を示すブロック図である。 信号変動判定部１５の詳細構成を示すブロック図である。 補正部１６の詳細な構成を示すブロック図である。 基準画素データの信号レベルが基準レベルを下まわる場合のシャッター速度（露光時間）と信号レベルとの関係を示す図である。 基準画素データの信号レベルが基準レベルを上まわる場合のシャッター速度（露光時間）と信号レベルとの関係を示す図である。 基準画素データの信号レベルが飽和値に達している場合のシャッター速度（露光時間）と信号レベルとの関係を示す図である。 本発明を適用した場合としない場合の画像合成例を示す図である。 変形例２における補正部１６’の詳細な構成を示すブロック図である。 変動真偽判定部１６ｄにおける変動真偽判定処理を示すフローチャートである。 （ａ）及び（ｂ）は、補正処理対象の画素とその周辺の画素の変動判定結果の一例を示す図である。 信号変動判定部１５’の詳細構成を示すブロック図である。 補正部１６’’の詳細構成を示すブロック図である。 従来技術の飽和・信号変動判定に基づく画像選択方法を示す図である。

符号の説明

１００，１００’…撮像装置、１０…撮像部、１１…ＳＷ、１２…第１メモリ、１３…第２メモリ、１４…第３メモリ、１５…信号変動判定部、１６…補正部、１７…撮像画像生成部、１８…画像保存部、１９…表示部、１５ａ…周波数成分抽出部、１５ｂ，１６ｅ…基準露光時間設定部、１５ｃ…差分値算出部、１５ｄ，１５ｆ…比較部、１５ｅ，１５ｇ…変動判定部、１６ａ，１６ｆ…画素データ補正部、１６ｂ…正規化部、１６ｃ…判定結果保存部、１６ｄ…変動真偽判定部

Claims (16)

1. 受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置であって、
   前記光電変換素子が構成する各画素から、前記光電変換素子がＮ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で露光された時の前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号を読み出す画素信号読出手段と、
   前記画素信号読出手段で読み出した前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号の値に基づき、該画素信号に対して被写体の状態変化に伴う変動があったか否かを判定する信号変動判定手段と、
   前記信号変動判定手段で変動があったと判定された画素信号の値を補正する補正手段と、
   前記補正手段によって補正された画素信号と、前記画素信号読出手段で読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正手段によって補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成手段と、を備えることを特徴とする撮像装置。
2. 前記信号変動判定手段は、前記露光時間Ｔ１〜ＴＮのいずれか１つである基準の露光時間ＴＲに対応する画素信号の値に基づき、前記露光時間Ｔ１〜ＴＮのうち前記露光時間ＴＲ以外の各露光時間に対応する画素信号に対して被写体の状態変化に伴う変動があったか否かを判定し、
   前記補正手段は、前記信号変動判定手段で変動があったと判定された画素信号の値を、前記露光時間ＴＲに対応する画素信号の値に基づき補正することを特徴とする請求項１に記載の撮像装置。
3. 前記信号変動判定手段は、前記露光時間ＴＲに対応する画素信号の値に基づき、前記露光時間Ｔ１〜ＴＮのうち前記露光時間ＴＲ以外の各露光時間に対応する画素信号の値を予測する予測部と、該予測部で予測した予測値と前記画素信号読出手段で読み出した前記露光時間ＴＲ以外の各露光時間に対応する画素信号の値との露光時間毎の差分値を算出する差分値算出部と、該差分値算出部で算出した差分値と所定閾値とを比較する比較部とを有し、該比較部の比較結果に基づき前記露光時間ＴＲ以外の各露光時間に対応する画素信号に対して被写体の状態変化に伴う変動があったか否かを判定し、
   前記補正手段は、前記信号変動判定手段で変動があったと判定された画素信号の値を、該画素信号に対応する前記予測値に基づき補正することを特徴とする請求項２に記載の撮像装置。
4. 前記信号変動判定手段は、前記露光時間Ｔ１〜ＴＮに対応する各画素信号の周波数成分を抽出する周波数成分抽出部と、該周波数成分抽出部で抽出した周波数成分に基づき前記露光時間ＴＲを設定するＴＲ設定部とを有することを特徴とする請求項２又は請求項３に記載の撮像装置。
5. 前記周波数成分抽出部は、前記周波数成分として前記露光時間Ｔ１〜ＴＮに対応する各画素信号のエッジ量Ｅ１〜ＥＮを抽出し、
   前記ＴＲ設定部は、前記エッジ量Ｅ１〜ＥＮのうち最も大きいエッジ量を有する画素信号に対応する露光時間を前記基準の露光時間ＴＲとして設定することを特徴とする請求項４に記載の撮像装置。
6. 前記信号変動判定手段は、前記露光時間Ｔ１〜ＴＮに対応する各画素信号の周波数成分を抽出する周波数成分抽出部を有し、該周波数成分抽出部で抽出した周波数成分に基づき、前記各画素信号に対して被写体の状態変化に伴う変動があったか否かを判定し、
   前記補正手段は、前記周波数成分抽出部で抽出した周波数成分に基づき、前記露光時間Ｔ１〜ＴＮのいずれか１つを基準の露光時間ＴＲとして設定し、該露光時間ＴＲに対応する画素信号の値に基づき、該露光時間ＴＲ以外の露光時間に対応する画素信号の値を補正することを特徴とする請求項１に記載の撮像装置。
7. 前記周波数抽出部は、前記周波数成分として前記露光時間Ｔ１〜ＴＮに対応する各画素信号のエッジ量Ｅ１〜ＥＮを抽出し、
   前記補正手段は、前記エッジ量Ｅ１〜ＥＮのうち最も大きいエッジ量を有する画素信号の露光時間を、前記基準の露光時間ＴＲとすることを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段は、前記信号変動判定手段で変動があったと判定された補正対象の画素信号の値に対して、該画素信号の値に対応する画素周辺の所定数の画素の画素信号に対応する信号変動判定結果に基づき、該周辺の所定数の画素に対する被写体の状態変化に伴う変動があったか否かを判定する判定部を有し、該判定部において、前記所定数の画素に対する画素信号に対して被写体の状態変化に伴う変動があったと判定されたときに、前記補正対象の画素信号の値を補正することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
9. 前記補正手段は、前記補正対象の画素信号の値を、前記露光時間ＴＲに対応する画素信号の値に基づき予測した該露光時間ＴＲ以外の各露光時間に対応する画素信号の予測値へと置換する補正を行うことを特徴とする請求項２乃至請求項８のいずれか１項に記載の撮像装置。
10. 前記補正手段は、前記補正対象の画素信号の値を、該画素信号の値と前記露光時間ＴＲに対応する画素信号の値に基づき予測した該露光時間ＴＲ以外の各露光時間に対応する画素信号の予測値とを合成した値へと変換する補正を行うことを特徴とする請求項２乃至請求項８のいずれか１項に記載の撮像装置。
11. 前記予測値の最大値を前記光電変換素子の蓄積電荷量が飽和したときの画素信号の値としたことを特徴とする請求項９又は請求項１０に記載の撮像装置。
12. 前記補正手段は、前記露光時間ＴＲに対応する画素信号の値が前記光電変換素子の蓄積電荷量が飽和したときの値となっているときに、前記露光時間Ｔ１〜ＴＮのうち前記露光時間ＴＲよりも短い露光時間に対応する画素信号の値が、前記予測値を下まわるものに対してのみ補正処理を行うことを特徴とする請求項９乃至請求項１１のいずれか１項に記載の撮像装置。
13. 受光した光を電荷に変換して蓄積する複数の光電変換素子をマトリックス状に配列した構成の光電変換部と、前記光電変換素子の露光時間を制御する機能とを備えた撮像装置に用いられる撮像方法であって、
    前記光電変換素子が構成する各画素から、前記光電変換素子がＮ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で露光された時の前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号を読み出す画素信号読出ステップと、
    前記画素信号読出ステップで読み出した前記露光時間Ｔ１〜ＴＮにそれぞれ対応する画素信号の値に基づき、該画素信号に対して被写体の状態変化に伴う変動があったか否かを判定する信号変動判定ステップと、
    前記信号変動判定ステップで変動があったと判定された画素信号の値を補正する補正ステップと、
    前記補正ステップで補正された画素信号と、前記画素信号読出ステップで読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正ステップで補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成ステップと、を含むことを特徴とする撮像方法。
14. Ｎ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で被写体を撮像して得られる、前記露光時間Ｔ１〜ＴＮにそれぞれ対応した画素信号の値に基づき、該画素信号に対して前記被写体の状態変化に伴う変動があったか否かを判定する信号変動判定手段と、
    前記信号変動判定手段で変動があったと判定された画素信号の値を補正する補正手段と、
    前記補正手段によって補正された画素信号と、前記画素信号読出手段で読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正手段によって補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成手段と、を備えることを特徴とする画像処理装置。
15. Ｎ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で被写体を撮像して得られる、前記露光時間Ｔ１〜ＴＮにそれぞれ対応した画素信号の値に基づき、該画素信号に対して前記被写体の状態変化に伴う変動があったか否かを判定する信号変動判定ステップと、
    前記信号変動判定ステップで変動があったと判定された画素信号の値を補正する補正ステップと、
    前記補正ステップで補正された画素信号と、前記画素信号読出ステップで読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正ステップで補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする画像処理プログラム。
16. Ｎ（Ｎは、３以上の自然数）種類の露光時間Ｔ１〜ＴＮ（Ｔ１＜Ｔ２＜・・・＜Ｔ（Ｎ−１）＜ＴＮ）で被写体を撮像して得られる、前記露光時間Ｔ１〜ＴＮにそれぞれ対応した画素信号の値に基づき、該画素信号に対して前記被写体の状態変化に伴う変動があったか否かを判定する信号変動判定ステップと、
    前記信号変動判定ステップで変動があったと判定された画素信号の値を補正する補正ステップと、
    前記補正ステップで補正された画素信号と、前記画素信号読出ステップで読み出した露光時間Ｔ１〜ＴＮに対応する画素信号のうち前記補正ステップで補正された画素信号に対応する露光時間以外の露光時間に対応する画素信号とを合成して前記被写体の撮像画像を生成する撮像画像生成ステップと、を含むことを特徴とする画像処理方法。

Images