JP4163353B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、より詳しくは、異なる露光条件で撮像された複数の画像から一の広ダイナミックレンジ画像を生成する画像処理装置に関する。
【０００２】
【従来の技術】
異なる露光条件で撮像された複数の画像を合成してダイナミックレンジの広い画像を生成する画像処理装置は、従来より種々のものが提案されていて、こうした画像処理装置により合成したダイナミックレンジの広い画像を、モニタやプリンタ等の濃度レンジが比較的狭い表示系によって表示する際には、ダイナミックレンジを圧縮することにより対応していた。
【０００３】
このダイナミックレンジの圧縮は、通常のγ特性に準じた特性（対数特性に類似している）により行われるのが一般的であり、なるべく主要被写体や背景のコントラストを損なうことのないようにしたものとなっている。
【０００４】
このような技術の一例としては、特開平５−３１４２５３号公報に、高輝度域については輝度の対数に比例した特性で圧縮を行い、低輝度域については輝度にほぼ比例した特性で圧縮するものが記載されている。
【０００５】
こうした従来のダイナミックレンジの圧縮手段の例を、図１６を参照して説明する。
【０００６】
例えば、露光量比１：８の短時間露光信号ＳＩＧＳＥと長時間露光信号ＳＩＧＬＥに基づいて、広ダイナミックレンジ画像を作成し、それを圧縮する場合について説明する。
【０００７】
この場合には、長時間露光信号ＳＩＧＬＥの出力レベルが飽和（１００％）に達する入射光量をαとすると、露光量比が１：８となる場合を例にとっているために、短時間露光信号ＳＩＧＳＥの出力レベルが飽和に達する入射光量は８αとなる。
【０００８】
まず、短時間露光信号ＳＩＧＳＥの出力レベルを８倍して、さらにそれを上記長時間露光信号ＳＩＧＬＥと合成することにより、広ダイナミックレンジ信号ＳＩＧＷＤＲを作成する。
【０００９】
次に、この広ダイナミックレンジ信号ＳＩＧＷＤＲを、濃度レンジの狭いモニタやプリンタ等に合わせるために、出力レベルが小さい部分では入射光量に比例するように、出力レベルが大きい部分では入射光量に対して対数的となるように出力レベルを圧縮して、最終的に補正された信号ＳＩＧＬＳＴを得るようにしている。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述したような従来の技術手段による圧縮特性では、低輝度域については広ダイナミックレンジ画像のコントラストはほぼ撮影時の状態に保たれるが、高輝度域になるほど入射光量の変化量に対する出力レベルの変化量が小さくなるために、コントラストが低下してしまうことになる。
【００１１】
実際の撮影においては、主要被写体が必ずしも低輝度域に存在するとは限らず、例えば暗いシーンにいる人物をストロボを使用して撮影すると、人物はシーンの中では比較的高輝度域に存在することになるために、上記従来の圧縮を適用すると、人物のコントラストが損なわれてしまって、いわゆるねむい画像といわれるのっぺりした感じの画像になってしまうことになる。
【００１２】
また、上述した従来の技術では、エッジや輝度分布などの画像の特徴を考慮することなく常に同一の圧縮特性を取っているために、画像によってはあまり見栄えが良くない広ダイナミックレンジ画像が生成されることもある。
【００１３】
本発明は上記事情に鑑みてなされたものであり、濃度レンジの狭い表示系に表示しても低輝度域から高輝度域までコントラストを保持し得る広ダイナミックレンジ画像を生成することができる画像処理装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像処理装置は、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、上記画像群中の各画像毎に階調補正を行う画像補正手段と、この画像補正手段により階調補正された各画像を合成して一の広ダイナミックレンジ画像を生成する画像合成手段と、を具備し、上記画像補正手段は、上記画像群中の各画像毎に該画像信号からフィルタリングにより特徴成分を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴成分に関するヒストグラムを生成する特徴成分ヒストグラム生成手段と、この特徴成分ヒストグラム生成手段により生成された特徴成分ヒストグラムの分布状態から対象画素を選択するための閾値を算出する閾値算出手段と、この閾値算出手段により算出された閾値に基づいて該画像信号から対象画素を選択する対象画素選択手段と、この対象画素選択手段により選択された対象画素からヒストグラムを生成するヒストグラム生成手段と、このヒストグラム生成手段により生成された対象画素のヒストグラムを所定の分布にモデル化する分布モデル化手段と、上記ヒストグラム生成手段により生成された対象画素のヒストグラムと上記分布モデル化手段によりモデル化されたヒストグラムとに基づいて階調補正特性を生成する階調補正特性生成手段と、この階調補正特性生成手段により生成された階調補正特性を用いて該画像信号の階調補正を行う階調補正手段と、を有してなる。
【００１５】
また、第２の発明による画像処理装置は、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、上記画像群中の各画像について所定の画像信号レベルに基づき適正露光領域と不適正露光領域に分割する分割手段と、この分割手段により分割された適正露光領域の階調補正を上記各画像毎に行う画像補正手段と、この画像補正手段により階調補正された各画像毎の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する画像合成手段と、を具備し、上記画像補正手段は、上記画像群中の各画像毎に該画像信号からフィルタリングにより特徴成分を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴成分に関するヒストグラムを生成する特徴成分ヒストグラム生成手段と、この特徴成分ヒストグラム生成手段により生成された特徴成分ヒストグラムの分布状態から対象画素を選択するための閾値を算出する閾値算出手段と、この閾値算出手段により算出された閾値に基づいて該画像信号から対象画素を選択する対象画素選択手段と、この対象画素選択手段により選択された対象画素からヒストグラムを生成するヒストグラム生成手段と、このヒストグラム生成手段により生成された対象画素のヒストグラムを所定の分布にモデル化する分布モデル化手段と、上記ヒストグラム生成手段により生成された対象画素のヒストグラムと上記分布モデル化手段によりモデル化されたヒストグラムとに基づいて階調補正特性を生成する階調補正特性生成手段と、この階調補正特性生成手段により生成された階調補正特性を用いて該画像信号の階調補正を行う階調補正手段と、を有してなる。
【００１６】
さらに、第３の発明による画像処理装置は、上記第１または第２の発明による画像処理装置において、上記画像合成手段は、上記画像補正手段により階調補正された画像信号が同一画素位置について複数存在する場合に、これらの加算平均を計算する加算平均手段と、この加算平均手段により処理された画素に対して平滑化処理を施す平滑化手段と、を有してなる。
【００１７】
第４の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記画像合成手段は、上記画像補正手段により階調補正された上記画像群中の各画像に対して、同一画素位置の画素群中の適正露光に近い画素を広ダイナミックレンジ画像を構成する画素として各画素位置毎に選択する適正露光画素選択手段を有してなる。
【００１８】
第５の発明による画像処理装置は、上記第１または第２の発明による画像処理装置において、上記画像合成手段は、複数の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する際に、上記画像群中の各画像の全てにおいて不適正露光領域となる欠落領域が存在する場合には、該欠落領域が露光オーバーであるときには上記画像群中の最小露光画像の該当領域を用い、一方、該欠落領域が露光アンダーであるときには上記画像群中の最大露光画像の該当領域を用いることにより、上記欠落領域を補填する領域調整手段を有してなる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図９は本発明の第１の実施形態を示したものであり、図１は電子カメラの基本的な構成を示すブロック図である。
【００２５】
この電子カメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ等でなり、被写体像を光電変換して画像信号として出力するための撮像素子１と、この撮像素子１上に被写体像を結像するためのレンズ２と、このレンズ２を通過した光束の通過範囲や通過時間を制御するための絞り・シャッタ機構３と、上記撮像素子１から出力された後に図示しない相関二重サンプリング回路等でノイズ成分の除去が行われた画像信号を増幅するアンプ４と、このアンプ４により増幅されたアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器５と、このＡ／Ｄ変換器５によりデジタル化された信号に後述するような各種の処理を施す画像処理装置たるカメラ信号処理回路６と、上記Ａ／Ｄ変換器５からのデジタル出力を受けて、ＡＦ（オートフォーカス）情報，ＡＥ（オートエクスポージャー）情報，ＡＷＢ（オートホワイトバランス）情報を検出するためのＡＦ，ＡＥ，ＡＷＢ検波回路７と、上記カメラ信号処理回路６からの画像データを圧縮処理する圧縮回路（ＪＰＥＧ）９と、この圧縮回路９により圧縮された画像データを後述するメモリカード１５に記録するための制御を行うメモリカードＩ／Ｆ１４と、このメモリカードＩ／Ｆ１４の制御により画像データを記録するメモリカード１５と、画像データの色処理等を行う際に作業用メモリとして用いられるＤＲＡＭ１１と、このＤＲＡＭ１１の制御を行うメモリコントローラ１０と、上記メモリカード１５に記録されている画像データをパーソナルコンピュータ（ＰＣ）１７等へ転送するためのインターフェースであるＰＣＩ／Ｆ１６と、後述するＬＣＤ１３の制御を行う表示回路１２と、この表示回路１２の制御により上記メモリカード１５に記録された画像データを再生して表示したり、この電子カメラに係る各種の撮影状態等を表示したりするＬＣＤ１３と、被写体を照明するための照明光を発光するストロボ１９と、上記ＣＣＤ１を駆動するためのタイミングパルスを発生するタイミングジェネレータ（ＴＧ）１８と、各種の撮影モードを設定するためのスイッチや撮影動作を指示入力するためのトリガスイッチ等を有してなる入力キー２０と、上記カメラ信号処理回路６，圧縮回路９，メモリコントローラ１０，表示回路１２，メモリカードＩ／Ｆ１４，ＰＣＩ／Ｆ１６とバスラインを介して接続されていて、上記ＡＦ，ＡＥ，ＡＷＢ検波回路７の検出結果や上記入力キー２０による入力、あるいは上記ストロボ１９による発光情報等を受け取るとともに、上記レンズ２，絞り・シャッタ機構３，タイミングジェネレータ１８，カメラ信号処理回路６，ストロボ１９，入力キー２０や上記バスラインに接続された各回路を含むこの電子カメラ全体の制御を行うＣＰＵ８と、を有して構成されている。
【００２６】
この電子カメラでは、一画像を撮影してそれを画像データとする通常撮影モードと、露光の異なる複数画像の撮影を時間的に近接して行い、これらの画像を合成して一の広ダイナミックレンジ画像を得る広ダイナミックレンジ撮影モードと、を上記入力キー２０の操作により手動的に選択するか、あるいは上記撮像素子１からの画像信号の白飛びを検出するなどしてＣＰＵ８が自動的に判断を行って撮影モードの選択を行うようにするかし、その選択した撮影モードに応じてＣＰＵ８により撮影動作を制御するようになっている。
【００２７】
すなわち、通常撮影モードが選択された場合には、撮影動作によって一回の撮影で上記撮像素子１から１画面分の画像信号を取得し、一方、広ダイナミックレンジ撮影モードが選択された場合には、撮像素子１の電子シャッタ機能、あるいはこの電子シャッタ機能と絞り・シャッタ機構３との組み合わせによる公知の手段によって一被写体に対する撮影で撮像素子１からの露光量の異なる複数画面分（例えば２画面分）の画像信号を得て、上記カメラ信号処理回路６において撮影モードに応じた画像データの処理を行うようになっている。
【００２８】
次に、図２は上記カメラ信号処理回路６の構成を示すブロック図である。この図２に示す構成は、一例として短時間露光ＳＥによる画像と長時間露光ＬＥによる画像とに基づいて一の画像を合成するための回路を示しており、さらに、撮影順序としては、まず短時間露光ＳＥを行い、その後に長時間露光ＬＥを行う場合を想定した例となっている。
【００２９】
このカメラ信号処理回路６は、上記ＣＰＵ８から出力されるＡＷＢ情報等を受けて、上記Ａ／Ｄ変換器５から出力される映像信号ａａに種々の処理を施して画像信号の生成を行うカメラ信号処理プロセス回路３１と、このカメラ信号処理プロセス回路３１から出力される画像信号ｂｂの出力先を撮影モードが通常撮影モードであるか広ダイナミックレンジ撮影モードであるかを示すＣＰＵ８からの信号ｊｊに基づいて切り換えるスイッチ３２と、このスイッチ３２により広ダイナミックレンジ撮影モード側に切り換えられた際に、さらにその画像信号が短時間露光ＳＥに係るものであるかあるいは長時間露光ＬＥに係るものであるかに応じてその出力先を切り換えるスイッチ３４と、上記ＣＰＵ８からの画像切換制御信号ｋｋに基づいてこのスイッチ３４の切り換え動作を制御する切り換え制御回路３５と、上記スイッチ３４からの出力が短時間露光ＳＥに係るもの（ｂｂ−ＳＥ）である場合に、その１画面分の短時間露光ＳＥに係る画像データを蓄積しておく画像データバッファ３６と、上記スイッチ３４からの出力が長時間露光ＬＥに係るもの（ｂｂ−ＬＥ）である場合に、該データから後述するように画像領域分割データを演算する分割手段たる画像領域分割回路３７と、上記画像データバッファ３６から読み出した短時間露光ＳＥに係る画像データと、上記スイッチ３４からの長時間露光ＬＥに係る画像データとを入力して、上記画像領域分割回路３７により演算した分割領域情報ｃｃに基づいて各画像データの分割を行い分割画像情報を抽出する同分割手段たる分割領域画像情報抽出回路３８と、この分割領域画像情報抽出回路３８により分割された短時間露光ＳＥに係る分割画像情報ｄｄを階調補正する画像補正手段たる階調補正回路３９と、上記分割領域画像情報抽出回路３８により分割された長時間露光ＬＥに係る分割画像情報ｅｅを階調補正する同画像補正手段たる階調補正回路４０と、上記階調補正回路３９から出力される階調補正後の短時間露光ＳＥに係る分割画像情報ｆｆと上記階調補正回路４０から出力される階調補正後の長時間露光ＬＥに係る分割画像情報ｇｇとを合成して一の広ダイナミックレンジ画像を生成する画像合成手段たる画像合成処理回路４１と、一入力端子がこの画像合成処理回路４１に接続され他の入力端子が上記スイッチ３２に接続されていて上記ＣＰＵ８からの信号ｊｊに基づいて該スイッチ３２に連動して切り換えられることにより通常撮影モードの画像信号または広ダイナミックレンジ撮影モードの画像情報を示す信号ｈｈを出力信号ｉｉとして出力するスイッチ３３と、を有して構成されている。
【００３０】
図３は、広ダイナミックレンジ撮影モード時のカメラ信号処理回路６における処理信号の様子を示す図である。
【００３１】
例えば明るい背景の下で逆光になっている人物を撮影する場合について考える。
【００３２】
まず、短時間露光ＳＥを行うと、明るい背景については比較的適正な露出で撮影されるが、人物は暗くなり黒くつぶれたような画像が得られる（ｂｂ−ＳＥ参照）。
【００３３】
一方、長時間露光ＬＥを行うと、明るい背景については白飛びしてしまうが、人物については比較的適正な露出となる（ｂｂ−ＬＥ参照）。
【００３４】
これらｂｂ−ＳＥとｂｂ−ＬＥの少なくとも一方、ここでは人物を主体とした撮影であるために、ｂｂ−ＬＥを参照して、該長時間露光画像中の適正な露出となる領域と、不適切な露出となる領域とに分割するための分割領域情報ｃｃを上記画像領域分割回路３７において作成する。
【００３５】
この分割領域情報ｃｃは、後述するように、画面全体を構成する各画素について、その画素が、適切な露出であるか、不適切な露出であるか、これらの中間の露出であるかを判別する情報を含むものである。
【００３６】
そして、この分割領域情報ｃｃを参照しながら、上記分割領域画像情報抽出回路３８は、上記短時間露光画像ｂｂ−ＳＥから短時間露光ＳＥに係る分割画像情報ｄｄを作成し、一方で、該分割領域情報ｃｃを参照しながら上記長時間露光画像ｂｂ−ＬＥから長時間露光ＬＥに係る分割画像情報ｅｅを作成する。
【００３７】
このとき、図示の例においては、短時間露光ＳＥに係る分割画像情報ｄｄは背景部分の画像情報が取り出され、一方、長時間露光ＬＥに係る分割画像情報ｅｅは人物部分の画像情報が取り出されている。
【００３８】
さらに、これらの各分割画像情報ｄｄ，ｅｅを、画像の合成を行う前に、各階調補正回路３９，４０によりそれぞれ別個に階調補正して、補正後の分割画像情報ｆｆ，ｇｇを出力し、上記画像合成処理回路４１において背景も人物も共に適正露出となっている広ダイナミックレンジ（ＤＲ）画像情報ｈｈを作成する。
【００３９】
次に、図４は上記画像領域分割回路３７における処理を示すフローチャートである。
【００４０】
この図４においては、長時間露光ＬＥに係る画像情報に基づいて分割領域情報ｃｃを生成する例について説明するが、短時間露光ＳＥに係る画像情報に基づいて生成しても良いし、長時間露光ＬＥと短時間露光ＳＥの双方の画像情報に基づいて生成しても構わないし、さらに、３つ以上の画像により広ダイナミックレンジ画像を生成する場合には、それらの内の一以上の画像情報に基づいて分割領域情報ｃｃを生成すれば良い。
【００４１】
この処理が開始されると、まず、上記撮像素子１により撮像され上記各回路を経て入力された長時間露光ＬＥに係る画像の全色信号ＬＥ（ｘ，ｙ）を読み込む（ステップＳ１）。
【００４２】
この全色信号ＬＥ（ｘ，ｙ）は、例えばｒ（赤），ｇ（緑），ｂ（青）の各色の信号ＬＥｒ（ｘ，ｙ），ＬＥｇ（ｘ，ｙ），ＬＥｂ（ｘ，ｙ）として出力されるようになっていて、ここに、ｘ，ｙは２次元状をなして配列されている各画素の、配列に係る座標を示しており、整数値をとるようになっている。以下では、（ｘ，ｙ）座標の特定位置を指し示すのに、整数ｉ，ｊを用いて（ｉ，ｊ）などと記載する。
【００４３】
次に、分割領域情報を格納するための２次元配列Ｓｅｇ（ｘ，ｙ）を初期化する（ステップＳ２）。
【００４４】
そして、ＬＥ画像の走査を行う（ステップＳ３）。具体的には、上記ｉ，ｊをインクリメントしながら上記画像信号ＬＥ（ｉ，ｊ）を順次読み込んで行くことになる。
【００４５】
読み込んだ参照画素ＬＥ（ｉ，ｊ）の各色信号ＬＥｒ（ｉ，ｊ），ＬＥｇ（ｉ，ｊ），ＬＥｂ（ｉ，ｊ）の内の最大値を検出して、その値を変数ＣＳに格納する（ステップＳ４）。このステップＳ４により、当該画像領域分割回路３７が最大色信号検出手段としての機能を果たしている。
【００４６】
この変数ＣＳに格納された値が適正露出の上限を示す所定の閾値Ｔｈ１以上であるか否かを判断して（ステップＳ５）、閾値Ｔｈ１に達していない場合には、座標（ｉ，ｊ）の画素のデータとして長時間露光ＬＥのデータを使用する旨の情報を示す値ＬＥＤａｔａを分割領域情報Ｓｅｇ（ｉ，ｊ）に格納する（ステップＳ７）。
【００４７】
また、上記変数ＣＳの値が閾値Ｔｈ１以上である場合には、さらに、不適正露出の下限を示す所定の閾値Ｔｈ２（ここに、Ｔｈ１＜Ｔｈ２である。）未満であるか否かを判断し（ステップＳ６）、この閾値Ｔｈ２以上である場合には、座標（ｉ，ｊ）の画素のデータとして短時間露光ＳＥのデータを使用する旨の情報を示す値ＳＥＤａｔａを分割領域情報Ｓｅｇ（ｉ，ｊ）に格納する（ステップＳ９）。
【００４８】
一方、上記ステップＳ６において、変数ＣＳの値が閾値Ｔｈ２に達していない場合には、適正露出と不適正露出の中間であるとして、座標（ｉ，ｊ）の画素のデータとして長時間露光ＬＥのデータと短時間露光ＳＥのデータとの両方を使用する旨の情報を示す値ＭＩＸＤａｔａを分割領域情報Ｓｅｇ（ｉ，ｊ）に格納する（ステップＳ８）。
【００４９】
これらステップＳ５からステップＳ９により、画像領域分割回路３７が最大色信号比較手段としての機能を果たしている。
【００５０】
上記ステップＳ７，Ｓ８，Ｓ９の何れかが終了したら、画面全体の走査が終了したか否かを判断し（ステップＳ１０）、終了していない場合には、上記ステップＳ３に戻って次の画素の走査を行い、一方、終了した場合には、分割領域情報Ｓｅｇ（ｘ，ｙ）を出力して（ステップＳ１１）、終了する。なお、出力される分割領域情報Ｓｅｇ（ｘ，ｙ）は、ブロック図（図２）中でｃｃと記載された信号になる。
【００５１】
続いて、図５は上記分割領域画像情報抽出回路３８における処理を示すフローチャートである。
【００５２】
この処理が開始されると、上記画像データバッファ３６から読み出した短時間露光ＳＥの全色の画像信号ＳＥ（ｘ，ｙ）と、上記スイッチ３４を介して送られる長時間露光ＬＥの全色の画像信号ＬＥ（ｘ，ｙ）と、上記画像領域分割回路３７から出力される上記分割領域情報Ｓｅｇ（ｘ，ｙ）とを読み込む（ステップＳ２１）。
【００５３】
そして、分割画像情報を格納する領域ＳｅｇＳＥ（ｘ，ｙ）とＳｅｇＬＥ（ｘ，ｙ）とを初期化する（ステップＳ２２）。
【００５４】
次に、上記ステップＳ２１で読み込んだ分割領域情報の走査を行い（ステップＳ２３）、まず、分割領域情報Ｓｅｇ（ｉ，ｊ）がＬＥＤａｔａであるか否かを判断する（ステップＳ２４）。
【００５５】
ここで、ＬＥＤａｔａである場合には、ｒ，ｇ，ｂの各色について、ＳｅｇＬＥ（ｉ，ｊ）にＬＥ（ｉ，ｊ）の値を格納する（ステップＳ２６）。
【００５６】
また、上記ステップＳ２４において、ＬＥＤａｔａでない場合には、次に分割領域情報Ｓｅｇ（ｉ，ｊ）がＳＥＤａｔａであるか否かを判断し（ステップＳ２５）、ＳＥＤａｔａである場合には、ｒ，ｇ，ｂの各色について、ＳｅｇＳＥ（ｉ，ｊ）にＳＥ（ｉ，ｊ）の値を格納する（ステップＳ２７）。
【００５７】
さらに、上記ステップＳ２５において、ＳＥＤａｔａでない場合には、上記ＭＩＸＤａｔａであることになるために、ｒ，ｇ，ｂの各色について、ＳｅｇＬＥ（ｉ，ｊ）にＬＥ（ｉ，ｊ）の値を格納するとともに、ＳｅｇＳＥ（ｉ，ｊ）にＳＥ（ｉ，ｊ）の値を格納する（ステップＳ２８）。
【００５８】
こうして、上記ステップＳ２６，Ｓ２７，Ｓ２８の何れかが終了したら、分割領域情報全体の走査が終了したか否かを判断し（ステップＳ２９）、終了していない場合には、上記ステップＳ２３に戻って次の分割領域情報の走査を行い、一方、終了した場合には、分割画像情報ＳｅｇＳＥ（ｘ，ｙ）およびＳｅｇＬＥ（ｘ，ｙ）を出力して（ステップＳ３０）、終了する。
【００５９】
なお、上記ステップＳ３０において出力される分割画像情報ＳｅｇＳＥ（ｘ，ｙ）はブロック図（図２）中でｄｄと記載された信号に、分割画像情報ＳｅｇＬＥ（ｘ，ｙ）はブロック図（図２）中でｅｅと記載された信号にそれぞれなる。
【００６０】
次に、図６は上記階調補正回路３９，４０の構成を示すブロック図である。
【００６１】
この階調補正回路３９，４０は、上記分割領域画像情報抽出回路３８から出力される分割画像情報ｄｄ，ｅｅから輝度信号（Ｙ信号）を検出するＹ信号検出回路５１と、このＹ信号検出回路５１から出力される輝度信号ｍｍから画像内の各画素について該画素がエッジを構成する画素であるか否かを検出する特徴抽出手段たるエッジ検出回路５２と、このエッジ検出回路５２のエッジ検出信号ｎｎと上記輝度信号ｍｍとに基づいて、エッジを構成する画素やその近傍画素について、輝度レベルに対する出現頻度を示すエッジヒストグラムを算出するヒストグラム生成手段たるエッジヒストグラム計算回路５３と、このエッジヒストグラム計算回路５３から出力される累積エッジヒストグラム信号ｏｏに基づいて階調補正特性となるトーンカーブを算出する階調補正特性生成手段たるトーンカーブ設定回路５４と、このトーンカーブ設定回路５４から出力されるトーンカーブ特性信号ｐｐと上記輝度信号ｍｍと上記分割領域情報ｃｃとに基づいて上記分割画像情報ｄｄ，ｅｅの階調補正を行い補正後の分割画像情報ｆｆ，ｇｇを出力する階調補正手段たる分割領域画像信号補正回路５５とを有して構成されている。
【００６２】
なお、上記エッジ検出回路５２は、例えばＳｏｂｅｌ等の一般的なエッジ検出オペレータによりフィルタリングを行う回路でなり、このエッジオペレータによる強度が所定の閾値（例えば上記Ａ／Ｄ変換器５のレンジにおける最大値）以上であれば、参照位置にはエッジが存在するとして、エッジ情報を「ＥＧ」とし、そうでなければエッジ情報を「０」とする２値情報を出力するものである。
【００６３】
こうして図６に示したような回路により階調補正を行うことで、ヒストグラムの平坦化がなされるために、特に原画像のヒストグラムが特定の値域に集中するものである場合などには、画像のコントラストを改善することができる。このような階調補正は、後で画像合成処理回路４１により生成しようとする広ダイナミックレンジ画像の濃度レンジの中央部付近で画像合成を行うことができるようにする階調補正となっている。
【００６４】
また、図７は上記エッジヒストグラム計算回路５３において、累積エッジヒストグラムを計算する際に、画像中の画素位置に応じて重みを変化させる例を示す図である。
【００６５】
まず、図７（Ａ）は、中央部だけを考慮した重み付けを行う例であり、例えば周辺部分にエッジが存在する場合には該画素を１としてカウントするのに対して、中央部分にエッジが存在する場合には該画素を例えば１６としてカウントするようになっている。
【００６６】
一方、図７（Ｂ）は、中央部分を中心として周辺部に向かってなだらかな重み付けを行う例であり、例えば四辺の角部の画素がエッジである場合に該画素を１とカウントするのに対して、中央部分の画素がエッジである場合には該画素を例えば６４としてカウントし、それらの中間の画素については中央部に近いほど高いカウントを行い、周辺部に行くに従ってカウント数を減らすようになっている。
【００６７】
なお、これら図７（Ａ），図７（Ｂ）の何れの例においても、演算を容易にするために、２のべき乗の重み付けが行われているが、もちろん、これに限定されるものではない。
【００６８】
ここで、図８を参照して、上記画像合成処理回路４１により生成しようとする広ダイナミックレンジ画像の濃度レンジの中央部付近で画像合成できるように階調補正を行う例について説明する。
【００６９】
図８（Ａ）は、被写体の輝度が比較的明るい輝度と比較的暗い輝度に分かれて集中するときの輝度信号のヒストグラムである。
【００７０】
例えば、窓のある比較的暗い室内に主要被写体が存在し、窓の外には晴天等の比較的明るい外景が広がっているときに、室内の被写体と窓の外の背景の両方を画像として再現したい場合を考える。
【００７１】
このときには、それぞれの画像における輝度信号のヒストグラムは、例えばこの図８（Ａ）に示すようになり、被写体の部分（ＬＥ−Ｉｍａｇｅ）は比較的暗い方に偏って幅の狭いピークを形成し、背景の部分（ＳＥ−Ｉｍａｇｅ）は比較的明るい方に偏って同様に幅の狭いピークを形成している。
【００７２】
そこで、上記図６に示したような階調補正回路３９，４０において、生成しようとする広ダイナミックレンジ画像の濃度レンジの中央部（ＹＭＡＸ／２）付近で画像合成できるように階調補正の処理を行う。
【００７３】
図８（Ｂ）は、上記図８（Ａ）の被写体を濃度レンジの中央部付近で画像合成ができるように階調補正を行ったときの輝度信号のヒストグラムであり、合成画像のダイナミックレンジが実質的に拡大して、明るいところから暗いところまでそれぞれの画像情報を適切に再現することができるようになっている。
【００７４】
こうして、限られたダイナミックレンジの中で多くの画像情報を再現することができ、結果的に、濃度レンジを有効に用いて見易い広ダイナミックレンジ画像を生成することができる。
【００７５】
次に、図９は、上記画像合成処理回路４１における処理を示すフローチャートである。
【００７６】
この処理が開始されると、まず、上記階調補正回路３９，４０から出力される階調補正された分割画像情報ＳｅｇＳＥ（ｘ，ｙ），ＳｅｇＬＥ（ｘ，ｙ）と、上記画像領域分割回路３７から出力される分割領域情報Ｓｅｇ（ｘ，ｙ）を読み込む（ステップＳ４１）。
【００７７】
その後、広ダイナミックレンジ画像情報を格納する領域ＷＤＲ（ｘ，ｙ）の初期化を行って（ステップＳ４２）、分割領域情報を走査する（ステップＳ４３）。
【００７８】
そして、分割領域情報Ｓｅｇ（ｉ，ｊ）がＬＥＤａｔａであるか否かを判断し（ステップＳ４４）、ＬＥＤａｔａである場合には、各ｒ，ｇ，ｂに関してＳｅｇＬＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，ｊ）に格納する（ステップＳ４９）。
【００７９】
一方、上記ステップＳ４４において、ＬＥＤａｔａでない場合には、次に、分割領域情報Ｓｅｇ（ｉ，ｊ）がＳＥＤａｔａであるか否かを判断し（ステップＳ４５）、ＳＥＤａｔａである場合には、各ｒ，ｇ，ｂに関してＳｅｇＳＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，ｊ）に格納する（ステップＳ５０）。
【００８０】
また、上記ステップＳ４５において、ＳＥＤａｔａでない場合には、ＳｅｇＬＥ（ｉ，ｊ）の各色成分、ＳｅｇＬＥｒ，ＳｅｇＬＥｇ，ＳｅｇＬＥｂの内の最大値ＣＳを検出して（ステップＳ４６）、次に乱数Ｒを発生させて取得し、その乱数ＲおよびＣＳの大きさに応じて、選択特性値ＳＴを０または１に設定する（ステップＳ４７）。
【００８１】
ここに、この選択特性値ＳＴの設定方法としては、例えば色信号最大値ＣＳについて、分割領域情報がＭＩＸＤａｔａとなり得る範囲（図４における閾値Ｔｈ１および閾値Ｔｈ２の範囲）において、ＣＳがどの程度の大きさであるかを示す関数Ｃｓｔ（ＣＳ）を数式１のように定義する。
【００８２】
【数１】

【００８３】
この関数Ｃｓｔ（ＣＳ）は、定義域（Ｔｈ１≦ＣＳ＜Ｔｈ２）内において０から１に単調増加するために、ＣＳの大きさに合わせて分割画像情報（ＳｅｇＬＥ（ｉ，ｊ），ＳｅｇＳＥ（ｉ，ｊ））を選択する割合を変化させることができる。
【００８４】
次に、乱数Ｒを取得したところで、上記関数Ｃｓｔ（ＣＳ）に乱数Ｒの最大値ＲＭＡＸを乗じることで、ＣＳの大きさを考慮しながら、どちらの分割画像情報を選択するかの判断をランダムに行うことができる。この判断によって選択特性値ＳＴを決定する。こうして選択特性値ＳＴは、数式２のように表される。
【００８５】
【数２】

【００８６】
この数式２では、色信号最大値ＣＳの大きさに依存した形で、選択特性値ＳＴの設定を行う。すなわち、関数Ｃｓｔ（ＣＳ）が小さい（参照している分割画像情報ＳｅｇＬＥ（ｉ，ｊ）に関して白飛びの度合いが比較的弱く、長時間露光ＬＥ画像の特性が残っている）場合にはＳＴは１となる傾向が強くなり、反対に関数Ｃｓｔ（ＣＳ）が大きい（参照している分割画像情報ＳｅｇＬＥ（ｉ，ｊ）に関して白飛びの度合いが比較的強く、長時間露光ＬＥ画像の特性が残っていない）場合にはＳＴは０となる傾向が強くなる。
【００８７】
そして、その選択特性値ＳＴが１であるか否かを判断し（ステップＳ４８）、１である場合には上記ステップＳ４９へ行って、各ｒ，ｇ，ｂに関してＳｅｇＬＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，ｊ）に格納し、一方、０である場合には上記ステップＳ５０へ行って、ＳｅｇＳＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，ｊ）に格納する。
【００８８】
上述したようなステップＳ４４からステップＳ５０の処理により、画像合成処理回路４１が画像合成手段としての機能を果たしている。
【００８９】
上記ステップＳ４９またはステップＳ５０が終了したら、分割領域情報全体の走査が終了したか否かを判断し（ステップＳ５１）、終了していない場合には、上記ステップＳ４３に戻って次の分割領域情報の走査を行い、一方、終了した場合には、広ダイナミックレンジ画像情報ＷＤＲ（ｘ，ｙ）を出力して（ステップＳ５２）、終了する。
【００９０】
このように色信号最大値の大きさを考慮して分割画像情報を選択することにより、分割領域情報がＭＩＸＤａｔａである領域は、ディザ処理を施した状態と同様に表示される効果があり、長時間露光ＬＥおよび短時間露光ＳＥに対する違和感を抑制することができる。
【００９１】
なお、上述では長時間露光画像と短時間露光画像の２つの画像でなる画像群を用いて広ダイナミックレンジ画像を得る場合について説明したが、より多数の異なる露光条件の画像を用いても、同様に広ダイナミックレンジ画像を得ることができるのはいうまでもない。
【００９２】
また、ここでは画像処理装置を電子カメラに適用した例、より詳しくは電子カメラのカメラ信号処理回路に適用した例について説明したが、もちろんこれに限るものではなく、画像処理を行う各種の装置に広く適用することができる。
【００９３】
このような第１の実施形態によれば、同一被写体に対して異なる露光条件で撮像した画像群の各画像について、画像信号に基づいて適正露光領域と不適正露光領域に分割し、適正露光領域のみに関して階調補正を行うために、適正露光領域のコントラストを改善することができる。
【００９４】
また、階調補正後の各画像の適正露光領域を合成することにより、暗い部分から明るい部分まで広範囲に渡ってコントラストが保持された状態で広ダイナミックレンジ画像を得ることができる。
【００９５】
さらに、生成しようとする広ダイナミックレンジ画像の濃度レンジの中央部付近で画像合成を行うことができるように階調補正を行っているために、濃度レンジを有効に用いて見易い画像とすることが可能となる。
【００９６】
そして、階調補正回路において、フィルタリングにより抽出したエッジ成分の近傍画素からヒストグラムを生成することにより、画像の特徴を考慮したヒストグラムが生成される。
【００９７】
また、このヒストグラムに基づいて階調補正特性を生成し、これを画像信号の階調補正に用いることにより、画像の特徴を考慮した階調補正を行うことができる。従って、特徴成分の近傍画素に関するコントラストを改善することができる。さらに、ヒストグラムという簡単な処理を利用することによって、処理全体の構成を簡単にすることができる。
【００９８】
加えて、画像中の画素位置に応じてヒストグラムを生成する際の重み付けを変化させるようにしたために、主要被写体の位置などを考慮したより適切な階調補正を行うことが可能となる。
【００９９】
また、画像領域分割回路において、画像群中の各画像について画像信号を構成する複数の色信号の内の最大値を検出し、この色信号の最大値を所定の画像信号レベルと比較することにより、適正露光領域（中間露光領域を含む）と不適正露光領域の分別を行って、全ての色信号のレベルが適正である領域を適正露光領域とすることができる。これにより、画像領域分割回路によって分割される適正露光領域の精度を向上することができる。
【０１００】
図１０から図１５は本発明の第２の実施形態を示したものである。この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１０１】
この第２の実施形態の電子カメラの構成は、上述した第１の実施形態の図１に示したものとほぼ同様である。
【０１０２】
次に、図１０はカメラ信号処理回路の構成を示すブロック図である。
【０１０３】
この実施形態のカメラ信号処理回路においては、上記スイッチ３４からの画像信号は、短時間露光ＳＥに係る画像信号がＹ／Ｃ分離回路６１に入力され、一方の長時間露光ＬＥに係る画像信号がＹ／Ｃ分離回路６２に入力されるようになっている。
【０１０４】
これらのＹ／Ｃ分離回路６１，６２では、入力画像信号のｒ，ｇ，ｂ成分（Ｒ，Ｇ，Ｂ）に基づいて、輝度信号Ｙ（図１２（Ａ）参照）と色差信号Ｃｂ，Ｃｒとに数式３に示すように分離する。
【０１０５】
【数３】
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１４４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【０１０６】
こうして分離された内の短時間露光ＳＥに係る輝度信号ｍｍ−ＳＥが画像補正手段の一部である特徴抽出手段たるエッジ検出回路６３に、長時間露光ＬＥに係る輝度信号ｍｍ−ＬＥが同特徴抽出手段たるエッジ検出回路６４に、それぞれ入力されてラプラシアン等の公知の２次微分フィルタによりエッジ成分が抽出される（図１２（Ｂ）参照）。なお、ここでは、２次微分フィルタを用いているために、正の検出結果と負の検出結果（後述する図１２（Ｃ）参照）とが出力されることになる。
【０１０７】
こうして検出されたエッジ情報信号ｎｎ−ＳＥ，ｎｎ−ＬＥと、上記Ｙ／Ｃ分離回路６１，６２からの輝度信号ｍｍ−ＳＥ，ｍｍ−ＬＥおよび色差信号ｑｑ−ＳＥ，ｑｑ−ＬＥとに基づいて、画像補正手段たる階調補正回路６５，６６では短時間露光ＳＥに係る画像と長時間露光ＬＥに係る画像とにそれぞれ階調補正を施す。
【０１０８】
図１１は、この階調補正回路６５，６６の構成を示すブロック図である。なお、この図１１においては、説明を簡単にするために、主として長時間露光ＬＥに係る階調補正回路６６についての説明を行う。
【０１０９】
階調補正回路６６においては、輝度信号に基づくエッジ情報信号ｎｎ−ＬＥが特徴成分ヒストグラム生成手段たるエッジヒストグラム作成部７１に入力されて、エッジ情報信号ｎｎ−ＬＥのレベルに対する出現頻度を示すエッジヒストグラムが作成される。なお、ここで作成されるエッジヒストグラムは、上記第１の実施形態におけるエッジヒストグラムと異なり、輝度信号のエッジ成分そのもののヒストグラムである。
【０１１０】
一般的な自然画像においては、上記エッジヒストグラムはガウシアン分布でモデル化できることが知られており、例えば図１２（Ｃ）に示すようなエッジヒストグラムが作成される。
【０１１１】
こうしてエッジヒストグラム作成部７１で作成したエッジヒストグラムは、閾値算出手段たる閾値算出部７２に入力されて、そこでエッジヒストグラムの標準偏差σが算出され、例えばこの標準偏差σの２倍を閾値とすることにより、±２σの２つの閾値が設定される。
【０１１２】
この閾値算出部７２から出力される閾値と上記輝度信号のエッジ情報信号ｎｎ−ＬＥ、および輝度信号ｍｍ−ＬＥに基づいて、対象画素選択手段たる輝度信号選択部７３は、輝度信号のエッジ成分の内で上記閾値＋２σよりも大きいエッジ成分または閾値−２σよりも小さいエッジ成分に該当する画素の輝度信号を抽出する。
【０１１３】
このようにエッジヒストグラムの標準偏差σに基づいて閾値を定めることにより、露光条件に依存することなく安定的に有効なエッジ成分のみを抽出することができる。
【０１１４】
こうして抽出された有効なエッジ成分の輝度信号に基づいて、ヒストグラム生成手段たる輝度ヒストグラム作成部７４では、例えば図１２（Ｄ）に示すような輝度ヒストグラムを作成する。
【０１１５】
この輝度ヒストグラム作成部７４で作成された輝度ヒストグラムに基づいて、分布モデル化手段たる目標ヒストグラム作成部７５では、高コントラスト画像を生成するために、上記輝度ヒストグラムをガウシアン状に変換する処理を行う。
【０１１６】
つまり、上述した第１の実施形態においては、ヒストグラムを平坦化することにより高コントラスト画像を生成する方法を用いたが、本実施形態ではガウシアン状に変換することで、より高コントラストな画像を得るようにしたものである。
【０１１７】
ただし、どの程度のガウシアン状のヒストグラムを設定するかは画像毎に異なるために、最適な設定は適応的に行う必要がある。
【０１１８】
ここでは、輝度ヒストグラムをガウシアンカーネルを用いてコンボリューションすることにより、目標となるヒストグラムを適用的に得る手段を用いる。
【０１１９】
すなわち、輝度ヒストグラムをＯ（Ｌ）、これをガウシアン状に変換したヒストグラムをＴ（Ｌ）とすると、Ｏ（Ｌ）からＴ（Ｌ）に変換するための演算は、数式４に示すようになる。
【０１２０】
【数４】

【０１２１】
ここに、記号「＊」はコンボリューションを表し、Ｌは輝度信号のレベルを意味している。また、ｋはどの程度までガウシアン状に変換するかの調整用パラメータとなり、この実施形態においては、例えば輝度ヒストグラムＯ（Ｌ）の標準偏差の１〜２倍程度を用いる。
【０１２２】
こうして、この例では、図１２（Ｅ）に示すような目標ヒストグラムが作成される。
【０１２３】
このように、入力される画像毎に、目標となるヒストグラムを適用的に生成するために、多様な画像に対しても柔軟に対応することができる。
【０１２４】
こうして得られた目標ヒストグラムと上記輝度ヒストグラムとにより、階調補正特性生成手段たる変換曲線作成部７６において、輝度ヒストグラムを目標ヒストグラムに変換する階調変換曲線を図１２（Ｆ）に示すように生成し、この階調変換曲線に基づいて階調補正手段たる輝度信号変換部７７により、輝度信号の変換を行う。
【０１２５】
そして、上記輝度信号変換部７７からの変換後の輝度信号と色差信号ｑｑ−ＬＥとに基づき、輝度色差合成部７９において次の数式５に示すようにＲＧＢ信号に変換して画像合成手段たる画像合成処理回路６７へ出力する。
【０１２６】
【数５】
Ｒ ＝ Ｙ＋１．４０２００Ｃｒ
Ｇ ＝ Ｙ−０．３４４１４Ｃｂ−０．７１４１７Ｃｒ
Ｂ ＝ Ｙ＋１．７７２００Ｃｂ
【０１２７】
一方で、上記輝度信号変換部７７からの変換後の輝度信号の最大値（ＬＥ−ＹＭＡＸ）および最小値（ＬＥ−ＹＭＩＮ）の検出を、最大最小値検出部７８において行い、その検出結果（図１０におけるｒｒ−ＬＥとなる。また、短時間露光の場合には、図１０におけるｒｒ−ＳＥである。）を上記画像合成処理回路６７へ出力する。
【０１２８】
次に、図１３および図１４は上記画像合成処理回路６７における処理を示すフローチャートである。なお、これら図１３および図１４は、画像合成処理回路６７による一連の動作を、記載の都合上２つの図面に分割したものである。
【０１２９】
この処理が開始されると、まず、上記階調補正回路６５，６６から出力される階調補正された各画像情報ＳＥ（ｘ，ｙ），ＬＥ（ｘ，ｙ）および上記輝度信号選択部７３にて選択され階調変換された輝度信号からなる適正露光領域輝度の最大値および最小値情報（ＳＥ−ＹＭＡＸ，ＳＥ−ＹＭＩＮ），（ＬＥ−ＹＭＡＸ，ＬＥ−ＹＭＩＮ）を読み込む（ステップＳ６１）。
【０１３０】
その後、広ダイナミックレンジ画像情報を格納する領域ＷＤＲ（ｘ，ｙ）および後段で平滑化処理を行うか否かを判別するための平滑化領域情報を格納する領域ＳＡ（ｘ，ｙ）の初期化を行い（ステップＳ６２）、ＬＥ画像情報を走査する（ステップＳ６３）。
【０１３１】
そして、読み出したｒ，ｇ，ｂに係るＬＥｒ（ｉ，ｊ），ＬＥｇ（ｉ，ｊ），ＬＥｂ（ｉ，ｊ）に基づいて、数式６に示すように輝度信号を作成する（ステップＳ６４）。
【数６】
ＬＥy＝０．３ＬＥr(i,j)＋０．５９ＬＥg(i,j)＋０．１１ＬＥb(i,j)
【０１３２】
そして、このＬＥｙがＬＥ−ＹＭＡＸ以下であり、かつＳＥ−ＹＭＩＮよりも小さいか否かを判断し（ステップＳ６５）、双方の条件が満たされている場合には、各ｒ，ｇ，ｂに関してＬＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，ｊ）に格納する（ステップＳ６７）。
【０１３３】
一方、上記ステップＳ６５において、少なくとも一方の条件が満たされていない場合には、次に、ＬＥｙがＬＥ−ＹＭＡＸよりも大きく、かつＳＥ−ＹＭＩＮ以上であるか否かを判断し（ステップＳ６６）、双方の条件が満たされている場合には、各ｒ，ｇ，ｂに関してＳＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，ｊ）に格納する（ステップＳ６８）。
【０１３４】
これらステップＳ６５からステップＳ６８において、画像合成処理回路６７が適正露光画素選択手段としての機能を果たしている。
【０１３５】
また、上記ステップＳ６６において、少なくとも一方の条件が満たされていない場合には、各ｒ，ｇ，ｂに関してＬＥ（ｉ，ｊ）のデータとＳＥ（ｉ，ｊ）のデータとの平均値を上記領域ＷＤＲ（ｉ，ｊ）に格納するとともに、後述するローパスフィルタ処理を行うか否かを判定する平滑化領域情報ＳＡ（ｉ，ｊ）に１を格納する（ステップＳ６９）。このステップＳ６９において、画像合成処理回路６７が加算平均手段としての機能を果たしている。
【０１３６】
そして、画面全体の走査が終了したか否かを判断し（ステップＳ７０）、終了していない場合には、上記ステップＳ６３に戻って次の画素の走査を行い、一方、終了した場合には、各画素についての平滑化領域情報を走査する（ステップＳ７１）。
【０１３７】
そして、平滑化領域情報ＳＡ（ｉ，ｊ）が１であるか否かを判断して（ステップＳ７２）、１である場合には、ＷＤＲ（ｉ，ｊ）を中心とした例えば５×５画素について輝度信号と色差信号別にローパスフィルタ処理を行う（ステップＳ７３）。このステップＳ７３において、該画像合成処理回路６７が平滑化手段としての機能を果たしている。
【０１３８】
一方、上記ステップＳ７２において、平滑化領域情報ＳＡ（ｉ，ｊ）が１でないと判断された場合には、このステップＳ７３の動作をスキップする。
【０１３９】
そして、全画素についての走査が終了したか否かを判断して（ステップＳ７４）、終了していない場合には、上記ステップＳ７１に戻って再び走査を行い、終了している場合には、広ダイナミックレンジ画像情報ＷＤＲ（ｘ，ｙ）を出力して（ステップＳ７５）、終了する。
【０１４０】
このような処理を行うことにより、図１５に示すように、画素輝度値がＳＥ−ＹＭＩＮとＬＥ−ＹＭＡＸに挟まれた領域（図１５（Ａ）のように両方の適正露光領域に属する中輝度域や図１５（Ｂ）のようにどちらの適正露光領域にも属さない中輝度域など）については長時間露光ＬＥのデータと短時間露光ＳＥのデータとの平均値を用いる情報の混合（Ｍｉｘｔｕｒｅ）を行うことになり、ＳＥ−ＹＭＩＮとＬＥ−ＹＭＡＸの何れか輝度が低い方よりも暗い画素については長時間露光のイメージ（ＬＥ−ｉｍａｇｅ）を用い、ＳＥ−ＹＭＩＮとＬＥ−ＹＭＡＸの何れか輝度が高い方よりも明るい画素については短時間露光のイメージ（ＳＥ−ｉｍａｇｅ）を用いることになる。
【０１４１】
この場合には、ＬＥ−ＹＭＩＮよりも暗い画素については長時間露光のイメージ（ＬＥ−ｉｍａｇｅ）を用いることになり、ＳＥ−ＹＭＡＸよりも明るい画素については短時間露光のイメージ（ＳＥ−ｉｍａｇｅ）を用いることになるために、画素が適正露光範囲内にない場合には、より適切に近いものが選択されることになる。
【０１４２】
こうして、複数の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する際に、長時間露光画像と短時間露光画像とでなる画像群中の各画像の全てにおいて不適正露光領域となる欠落領域が存在する場合には、該欠落領域が露光オーバーであるときには上記画像群中の最小露光画像の該当領域を用い、一方、該欠落領域が露光アンダーであるときには上記画像群中の最大露光画像の該当領域を用いることになり、上記欠落領域を補填する領域調整手段の役割を果たしている。
【０１４３】
図１０に再び戻って、画像合成処理回路６７において上述したような合成処理が行われた後は、合成された広ダイナミックレンジ画像のデータがスイッチ３３を介して出力されるのは上述した第１の実施形態と同様である。
【０１４４】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、同一被写体に対して異なる露光条件で撮像した画像群の各画像について階調補正を行うことにより、各画像のコントラストを改善することができる。
【０１４５】
また、広ダイナミックレンジ画像を生成するために階調補正された各画像を合成することにより、暗い部分から明るい部分まで広範囲に渡ってコントラストが保持された状態で広ダイナミックレンジ画像を得ることができる。
【０１４６】
さらに、階調補正回路において、フィルタリングによるエッジ成分に関するヒストグラムを生成し、その分布状態から階調補正特性の生成に利用する対象画素を選択することにより、特徴成分ヒストグラムの分布から適正露光である特徴が顕著な画素を選択することができる。
【０１４７】
そして、対象画素のヒストグラムを生成してこれを所定の分布にモデル化するための変換を階調補正特性とすることにより、各画像において重要な部分のコントラストを改善することができる。
【０１４８】
加えて、画像合成処理回路において、同一画素について階調補正された画像信号が複数存在する場合は、各画像信号の加算平均をとることにより、それぞれの画像信号を均等に取り扱うことができる。さらに、加算平均された画素に平滑化を施すことにより、加算平均していない画像信号との間に生じる違和感を最小限に抑制することができる。
【０１４９】
また、画像合成処理回路において、階調補正を行った各画像を画素位置毎に調べて画素群中の適正露光に近い画素を選択することにより、不適正露光の信号を排除してより適正露光に近い信号のみを広ダイナミックレンジ画像に利用することができる。
【０１５０】
さらに、画像合成処理回路において、適正露光領域を合成して広ダイナミックレンジ画像を生成する際に欠落領域が存在する場合には、欠落領域が露光オーバーであるときには画像群中の最小露光画像の該当領域を、欠落領域が露光アンダーであるときには画像群中の最大露光画像の該当領域を、用いて欠落領域を補填することにより、欠落領域を画像群中の最適な情報で補正することができるために、欠落領域における違和感を最小限に抑制することができる。
【０１５１】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１５２】
【発明の効果】
以上説明したように本発明の画像処理装置によれば、画像毎の階調補正を行った後にこれらを合成して一の広ダイナミックレンジ画像を生成するために、低輝度域から高輝度域までコントラストが保持された広ダイナミックレンジ画像を得ることができる。
【０１５３】
また、本発明の画像処理装置によれば、分割された適正露光領域の階調補正を画像毎に行った後にこれらを合成して一の広ダイナミックレンジ画像を生成するために、低輝度域から高輝度域までコントラストが保持された広ダイナミックレンジ画像を得ることができる。
【０１５４】
さらに、本発明の画像処理装置によれば、生成しようとする広ダイナミックレンジ画像の濃度レンジの中央部付近で画像合成を行うことができるように階調補正を行うために、濃度レンジを有効に用いて見易い画像とすることが可能となる。
【０１５５】
本発明の画像処理装置によれば、画像補正手段において、フィルタリングによる特徴成分の近傍画素からヒストグラムを生成することにより、画像の特徴を考慮したヒストグラムを生成することができる。また、ヒストグラムに基づいて階調補正特性を生成し、これを画像信号の階調補正に用いることにより、画像の特徴を考慮した階調補正を行うことができる。従って、特徴成分の近傍画素に関するコントラストを改善することが可能となる。さらに、ヒストグラムという簡単な処理を利用することによって、処理全体の構成を簡単にすることができる。
【０１５６】
本発明の画像処理装置によれば、画像中の画素位置に応じてヒストグラムを生成する際の重み付けを変化させるようにしたために、主要被写体の位置などを考慮したより適切な階調補正を行うことが可能となる。
【０１５７】
本発明の画像処理装置によれば、画像補正手段において、フィルタリングによる特徴成分に関するヒストグラムを生成し、その分布状態から階調補正特性の生成に利用する対象画素を選択することにより、適正露光領域が存在する場合にはその中で特徴が顕著な画素を選択することができ、一方、適正露光領域が存在しない場合には特徴成分ヒストグラムの分布から適正露光である特徴が顕著な画素を選択することができる。また、対象画素のヒストグラムを生成してこれを所定の分布にモデル化するための変換を階調補正特性とすることにより、各画像において重要な部分のコントラストを改善することが可能となる。さらに、ヒストグラムという簡単な処理を利用することによって、処理全体の構成を簡単にすることができる。
【０１５８】
本発明の画像処理装置によれば、同一画素位置について階調補正された画像信号が複数存在する場合は、各画像信号の加算平均をとることにより、それぞれの画像信号を均等に取り扱うことができる。また、加算平均された画素に平滑化を施すことにより、加算平均していない画像信号との間に生じる違和感を最小限に抑制することができる。
【０１５９】
本発明の画像処理装置によれば、画像合成手段において、階調補正を行った各画像を画素位置毎に調べて画素群中の適正露光に近い画素を選択することにより、不適正露光の信号を排除してより適正露光に近い信号のみを広ダイナミックレンジ画像に利用することができる。
【０１６０】
本発明の画像処理装置によれば、画像合成手段において、適正露光領域を合成して広ダイナミックレンジ画像を生成する際に欠落領域が存在する場合には、欠落領域が露光オーバーであるときには画像群中の最小露光画像の該当領域を、欠落領域が露光アンダーであるときには画像群中の最大露光画像の該当領域を、用いて欠落領域を補填することにより、欠落領域を画像群中の最適な情報で補正することができるために、欠落領域における違和感を最小限に抑制することができる。
【０１６１】
本発明の画像処理装置によれば、画像群中の各画像について最大色信号検出手段により複数の色信号の内の最大値を検出し、この色信号の最大値を所定の画像信号レベルと比較することにより、適正露光領域と不適正露光領域の分別を行って、全ての色信号のレベルが適正である領域を適正露光領域とすることができる。これにより、分割手段によって分割される適正露光領域の精度を向上することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の電子カメラの基本的な構成を示すブロック図。
【図２】上記第１の実施形態におけるカメラ信号処理回路の構成を示すブロック図。
【図３】上記第１の実施形態のカメラ信号処理回路における処理信号の様子を示す図。
【図４】上記第１の実施形態の画像領域分割回路における処理を示すフローチャート。
【図５】上記第１の実施形態の分割領域画像情報抽出回路における処理を示すフローチャート。
【図６】上記第１の実施形態における階調補正回路の構成を示すブロック図。
【図７】上記第１の実施形態のエッジヒストグラム計算回路において、累積エッジヒストグラムを計算する際に、画像中の画素位置に応じて重みを変化させる例を示す図。
【図８】上記第１の実施形態において、被写体の輝度が比較的明るい輝度と比較的暗い輝度に分かれて集中するときの輝度信号のヒストグラムと、その被写体を濃度レンジの中央部付近で画像合成ができるように階調補正を行ったときの輝度信号のヒストグラム。
【図９】上記第１の実施形態の画像合成処理回路における処理を示すフローチャート。
【図１０】本発明の第２の実施形態におけるカメラ信号処理回路の構成を示すブロック図。
【図１１】上記第２の実施形態における階調補正回路の構成を示すブロック図。
【図１２】上記第２の実施形態において、輝度信号のエッジから輝度ヒストグラムや目標ヒストグラム、変換曲線を作成するときの過程におけるグラフ等を示す図。
【図１３】上記第２の実施形態の画像合成処理回路における処理の一部を示すフローチャート。
【図１４】上記第２の実施形態の画像合成処理回路における処理の他の一部を示すフローチャート。
【図１５】上記第２の実施形態において、中輝度域が両方の適正露光領域に属する場合とどちらの適正露光領域にも属さない場合の画像合成モデルの様子を示す図。
【図１６】従来の、広ダイナミックレンジ画像信号を作成してそれを圧縮する処理の様子を示す線図。
【符号の説明】
６…カメラ信号処理回路（画像処理装置）
３７…画像領域分割回路（分割手段、最大色信号検出手段、最大色信号比較手段）
３８…分割領域画像情報抽出回路（分割手段）
３９，４０，６５，６６…階調補正回路（画像補正手段）
４１，６７…画像合成処理回路（画像合成手段、加算平均手段、平滑化手段、適正露光画素選択手段、領域調整手段）
５１…Ｙ信号検出回路
５２，６３，６４…エッジ検出回路（特徴抽出手段）
５３…エッジヒストグラム計算回路（ヒストグラム生成手段）
５４…トーンカーブ設定回路（階調補正特性生成手段）
５５…分割領域画像信号補正回路（階調補正手段）
６１，６２…Ｙ／Ｃ分離回路
７１…エッジヒストグラム作成部（特徴成分ヒストグラム生成手段）
７２…閾値算出部（閾値算出手段）
７３…輝度信号選択部（対象画素選択手段）
７４…輝度ヒストグラム作成部（ヒストグラム生成手段）
７５…目標ヒストグラム作成部（分布モデル化手段）
７６…変換曲線作成部（階調補正特性生成手段）
７７…輝度信号変換部（階調補正手段）
７８…最大最小値検出部
７９…輝度色差合成部

Claims (5)

1. 同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、
   上記画像群中の各画像毎に階調補正を行う画像補正手段と、
   この画像補正手段により階調補正された各画像を合成して一の広ダイナミックレンジ画像を生成する画像合成手段と、
   を具備し、
   上記画像補正手段は、
   上記画像群中の各画像毎に該画像信号からフィルタリングにより特徴成分を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴成分に関するヒストグラムを生成する特徴成分ヒストグラム生成手段と、
   この特徴成分ヒストグラム生成手段により生成された特徴成分ヒストグラムの分布状態から対象画素を選択するための閾値を算出する閾値算出手段と、
   この閾値算出手段により算出された閾値に基づいて該画像信号から対象画素を選択する対象画素選択手段と、
   この対象画素選択手段により選択された対象画素からヒストグラムを生成するヒストグラム生成手段と、
   このヒストグラム生成手段により生成された対象画素のヒストグラムを所定の分布にモデル化する分布モデル化手段と、
   上記ヒストグラム生成手段により生成された対象画素のヒストグラムと上記分布モデル化手段によりモデル化されたヒストグラムとに基づいて階調補正特性を生成する階調補正特性生成手段と、
   この階調補正特性生成手段により生成された階調補正特性を用いて該画像信号の階調補正を行う階調補正手段と、
   を有してなることを特徴とする画像処理装置。
2. 同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、
   上記画像群中の各画像について所定の画像信号レベルに基づき適正露光領域と不適正露光領域に分割する分割手段と、
   この分割手段により分割された適正露光領域の階調補正を上記各画像毎に行う画像補正手段と、
   この画像補正手段により階調補正された各画像毎の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する画像合成手段と、
   を具備し、
   上記画像補正手段は、
   上記画像群中の各画像毎に該画像信号からフィルタリングにより特徴成分を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴成分に関するヒストグラムを生成する特徴成分ヒストグラム生成手段と、
   この特徴成分ヒストグラム生成手段により生成された特徴成分ヒストグラムの分布状態から対象画素を選択するための閾値を算出する閾値算出手段と、
   この閾値算出手段により算出された閾値に基づいて該画像信号から対象画素を選択する対象画素選択手段と、
   この対象画素選択手段により選択された対象画素からヒストグラムを生成するヒストグラム生成手段と、
   このヒストグラム生成手段により生成された対象画素のヒストグラムを所定の分布にモデル化する分布モデル化手段と、
   上記ヒストグラム生成手段により生成された対象画素のヒストグラムと上記分布モデル化手段によりモデル化されたヒストグラムとに基づいて階調補正特性を生成する階調補正特性生成手段と、
   この階調補正特性生成手段により生成された階調補正特性を用いて該画像信号の階調補正を行う階調補正手段と、
   を有してなることを特徴とする画像処理装置。
3. 上記画像合成手段は、
   上記画像補正手段により階調補正された画像信号が同一画素位置について複数存在する場合に、これらの加算平均を計算する加算平均手段と、
   この加算平均手段により処理された画素に対して平滑化処理を施す平滑化手段と、
   を有してなることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 上記画像合成手段は、上記画像補正手段により階調補正された上記画像群中の各画像に対して、同一画素位置の画素群中の適正露光に近い画素を広ダイナミックレンジ画像を構成する画素として各画素位置毎に選択する適正露光画素選択手段を有してなることを特徴とする請求項１に記載の画像処理装置。
5. 上記画像合成手段は、複数の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する際に、上記画像群中の各画像の全てにおいて不適正露光領域となる欠落領域が存在する場合には、該欠落領域が露光オーバーであるときには上記画像群中の最小露光画像の該当領域を用い、一方、該欠落領域が露光アンダーであるときには上記画像群中の最大露光画像の該当領域を用いることにより、上記欠落領域を補填する領域調整手段を有してなることを特徴とする請求項１または請求項２に記載の画像処理装置。

Images