JP4197821B2

JP4197821B2 - 画像処理装置

Info

Publication number: JP4197821B2
Application number: JP2000050073A
Authority: JP
Inventors: 建夫鶴岡; 一仁堀内
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-02-25
Filing date: 2000-02-25
Publication date: 2008-12-17
Anticipated expiration: 2020-02-25
Also published as: JP2001245129A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、より詳しくは、異なる露光条件で撮像された複数の画像から一の広ダイナミックレンジ画像を生成する画像処理装置に関する。
【０００２】
【従来の技術】
従来より、異なる露光条件で撮像された複数の画像を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が提案されている。
【０００３】
このようなものの一例として、特願平１１−３３８５５１号には、各画像を適正露光領域と不適正露光領域に分割して、各適正露光領域毎に階調補正を行い、階調補正された各画像毎の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が記載されており、さらに、この画像処理装置を適用した機器の例として、被写体をより広いダイナミックレンジで撮像することができるスーパーラチチュードデジタルカメラが記載されている。
【０００４】
このようなデジタルカメラにおいては、より詳しくは、次のような処理を基本的に行うようになっている。
【０００５】
まず、例えばＲＧＢのカラーフィルタがベイヤー（Bayer）配列になされた単板ＣＣＤ（本発明の実施形態を示す図４（Ａ）参照）を使用して撮像を行い、その撮像信号中のＲ画素に係る信号を補間処理することにより１画面分のＲ画像を作成し、同様にＧ画素に係る信号を補間処理し、Ｂ画素に係る信号を補間処理することにより、各１画面分のＧ画像とＢ画像を作成する、いわゆる３板化の処理を行う。
【０００６】
次に、これらのＲＧＢ信号に基づき、画素毎に次の演算を行って、輝度信号Ｙと輝度差信号Ｃｂ，Ｃｒを算出する。
【０００７】
Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１４４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
その後に、これらの内の輝度信号Ｙに例えばラプラシアン等のフィルタをかけることにより画面内のエッジ成分を抽出し、さらに所定の閾値と比較する２値化処理を行ってエッジを検出する。
【０００８】
その後、輝度に対するエッジの出現頻度をヒストグラムとして作成して、さらに累積ヒストグラム等に変換し、ヒストグラム平坦化に基づいて階調変換曲線を求める処理を行っている。
【０００９】
このヒストグラム平坦化は、主要被写体はエッジが多く、背景などの非主要部はエッジが少ないことを前提とした技術である。
【００１０】
【発明が解決しようとする課題】
上述したような一般的な処理では、階調変換特性を算出するために、単板信号から作成したＲＧＢ各３画面分の画像メモリと、これらＲＧＢ３板信号から作成した輝度信号Ｙを記憶する１画面分のメモリと、さらに、この輝度信号Ｙから抽出したエッジ成分を記憶する１画面分のメモリと、の５画面分の画像メモリが必要となってしまっている。
【００１１】
また、階調変換特性を算出する際に必要な演算は、次のようになっている。まず、単板信号から３板ＲＧＢ信号を算出する際には、
Ｒ信号：（加算１，除算１）×画素数×３／４
Ｇ信号：（加算３，除算１）×画素数／２
Ｂ信号：（加算１，除算１）×画素数×３／４
だけの演算が必要である。
【００１２】
次に、これらのＲＧＢ信号から輝度信号Ｙを算出する際には、上記輝度信号Ｙの演算式から、
Ｙ信号：（加算２，乗算３）×画素数
だけの演算が必要である。
【００１３】
さらに、輝度信号からエッジ成分を算出する際には、
エッジ成分：（加算１０，減算２，乗算４，論理４）×画素数
だけの演算が必要となる。
【００１４】
そして、抽出したエッジ成分を２値化処理する際には、
２値化：（論理１）×画素数
だけの演算が必要となる。
【００１５】
加えて、２値化して検出したエッジからヒストグラムを算出する際には、
ヒストグラム：（加算１，減算２，除算２，論理１）×画素数
だけの演算が必要である。
【００１６】
こうして、トータルとして、ヒストグラムが算出されるまでに、
（加算１６，減算４，乗算７，除算４，論理６）×画素数
の演算が必要となる。
【００１７】
また、補色系のカラーフィルタを備えたＣＣＤ（本発明の実施形態を示す図５（Ａ）参照）の場合には、同様に、ヒストグラムが算出されるまでに、
（加算１６，減算４，乗算７，除算５，論理７）×画素数
の演算と、６画面分のメモリが必要となっている。
【００１８】
このように、従来からの一般的な処理を行うと、大きな作業用メモリが必要になると共に、多数の演算が必要となって、コストや処理時間を要することになってしまっている。さらに、こうした処理回路をＩＣ化することを考えた場合には、大容量メモリがネックとなって、１チップ化するのに適しているとはいえなかった。
【００１９】
本発明は上記事情に鑑みてなされたものであり、より少ない演算回数とより少ないメモリで階調変換特性を求めることが可能な画像処理装置を提供することを目的としている。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像処理装置は、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して
一の広ダイナミックレンジ画像を生成する画像処理装置であって、
上記画像群中の各画像毎に整数座標外の画素位置を中心として所定サイズの局所領域を抽出する局所領域抽出手段と、
上記局所領域内の画素情報から、一の整数座標外の画素位置における輝度信号に相当する信号である第１の輝度相当信号と、上記一の整数座標外の画素位置から縦方向または横方向に１画素分離れた位置に存在する他の整数座標外の画素位置における輝度信号に相当する信号である第２の輝度相当信号と、を画像の特徴量として求めるとともに、その求めた第１の輝度相当信号と第２の輝度相当信号との差分として示される微分フィルタを用い、上記一の整数座標外の画素位置におけるエッジ成分を画像の特徴量として算出するエッジ算出手段と、
上記エッジ算出手段により得られた上記輝度相当信号各々を所定値と比較することで、上記整数座標外の画素位置に対応した画素が適正露光であるか否かを判別して、その適正露光であると判別した画素の集合からなる長時間露光画像における適正露光域を抽出する適正露光抽出手段と、
上記特徴量に基づき上記適正露光域の階調補正を行う階調補正手段と、
この階調補正手段により階調補正された適正露光域を合成して３板状態に補間することにより一の広ダイナミックレンジ画像を生成する合成手段と、を備えたものである。
【００２１】
また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記階調補正手段は、上記適正露光域を構成する各画素について、その画素に対応した画素位置における上記エッジ成分と所定値との比較結果に基づいてエッジを抽出することで、その抽出したエッジを有する画素の輝度信号とその輝度信号を有する画素の出現頻度との対応関係を示すヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、上記階調変換曲線を用いて階調変換を行う変換手段と、を具備したものである。
【００２２】
さらに、第３の発明による画像処理装置は、上記第１または第２の発明による画像処理装置において、上記複数の画像は、単板の撮像素子を用いて得られた画像である。
第４の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記複数の画像は、原色ベイヤー配列のフィルタを有する単板の撮像素子を用いて得られた画像であり、上記整数座標外の画素位置は、上記画像群中の各画像毎に水平方向及び垂直方向にそれぞれ１／２画素ずれた位置であり、上記エッジ算出手段は、上記得られた画像に含まれる局所領域内の画素情報から、上記１／２画素ずれた位置である上記一の整数座標外の画素位置としての一の注目格子点における上記第１の輝度相当信号と、上記一の注目格子点から縦方向または横方向に１画素分離れた位置に存在する格子点である上記他の整数座標外の画素位置としての隣接格子点における上記第２の輝度相当信号とを求め、その求めた第１の輝度相当信号と第２の輝度相当信号をもとに、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出する。
第５の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記エッジ算出手段は、上記一の注目格子点を共有する二つのＧ成分の画素情報を用いて、上記一の注目格子点における上記第１の輝度相当信号を求める。
第６の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記エッジ算出手段は、上記隣接格子点を共有する二つのＧ成分の画素情報を用いて、上記隣接格子点における上記第２の輝度相当信号を求める。
第７の発明による画像処理装置は、上記第５または第６の発明による画像処理装置において、上記二つのＧ成分の画素のそれぞれは、互いに斜め方向に隣接して配置される。
第８の発明による画像処理装置は、上記第５から第７のいずれかの発明による画像処理装置において、上記エッジ算出手段は、上記二つのＧ成分の画素情報を加算することで、上記第１の輝度相当信号または上記第２の輝度相当信号を求める。
第９の発明による画像処理装置は、上記第４から第８のいずれかの発明による画像処理装置において、上記隣接格子点は、上記一の注目格子点に対して４つ存在し、上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、上記一の注目格子点に対応する各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出する。
第１０の発明による画像処理装置は、上記第８の発明による画像処理装置において、上記隣接格子点は、上記一の注目格子点に対して４つ存在し、上記一の注目格子点は、上記局所領域における中央の画素を構成する４つの格子点のうちのいずれかであり、上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、上記一の注目格子点に対応する各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出する。
第１１の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記複数の画像は、補色系のフィルタを有する単板の撮像素子を用いて得られた画像であり、上記整数座標外の画素位置は、上記画像群中の各画像毎に水平方向及び垂直方向にそれぞれ１／２画素ずれた位置であり、上記エッジ算出手段は、上記得られた画像に含まれる局所領域内の画素情報から、上記１／２画素ずれた位置である上記一の整数座標外の画素位置としての一の注目格子点における上記第１の輝度相当信号と、上記一の注目格子点から縦方向または横方向に１画素分離れた位置に存在する格子点である上記他の整数座標外の画素位置としての隣接格子点における上記第２の輝度相当信号とを求め、その求めた第１の輝度相当信号と第２の輝度相当信号をもとに、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出する。
第１２の発明による画像処理装置は、上記第１１の発明による画像処理装置において、上記エッジ算出手段は、上記一の注目格子点を共有する四つの画素情報を用いて、上記一の注目格子点における上記第１の輝度相当信号を求める。
第１３の発明による画像処理装置は、上記第１１の発明による画像処理装置において、上記エッジ算出手段は、上記隣接格子点を共有する四つの画素情報を用いて、上記隣接格子点における上記第２の輝度相当信号を求める。
第１４の発明による画像処理装置は、上記第１２または第１３の発明による画像処理装置において、上記エッジ算出手段は、上記四つの画素のそれぞれの画素情報を加算することで、上記第１の輝度相当信号または上記第２の輝度相当信号を求める。
第１５の発明による画像処理装置は、上記第１１から第１４のいずれかの発明による画像処理装置において、上記隣接格子点は、上記一の注目格子点に対して４つ存在し、上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出する。
第１６の発明による画像処理装置は、上記第１４の発明による画像処理装置において、上記隣接格子点は、上記一の注目格子点に対して４つ存在し、上記一の注目格子点は、上記局所領域における中央の画素を構成する４つの格子点のうちのいずれかであり、上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、上記一の注目格子点に対応する各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出する。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図６は本発明の一実施形態を示したものであり、図１は電子カメラの基本的な構成を示すブロック図である。
【００２４】
本実施形態は、本発明の画像処理装置を電子カメラに適用したものであり、簡単のために短時間露光による画像と長時間露光による画像との２画像を合成して一の広ダイナミックレンジ画像を得る場合について説明するが、もちろんより多数の画像を合成する場合に適用することも可能である。
【００２５】
この電子カメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ等でなり、被写体像を光電変換して画像信号として出力するためのＣＣＤ４と、このＣＣＤ４上に被写体像を結像するためのレンズ系１と、このレンズ系１を通過した光束の通過範囲を制御するための絞り２と、この絞り２を通過した光束から不要な高周波成分を除去するための光学フィルタでなるローパスフィルタ３と、上記ＣＣＤ４から出力された後に図示しない相関二重サンプリング回路等でノイズ成分の除去が行われその後に増幅等がなされたアナログの画像信号をデジタル信号に変換するためのＡ／Ｄ変換器５と、このＡ／Ｄ変換器５によりデジタル化された一画面分の画像データを各蓄積するものであり長時間露光による画像と短時間露光による画像とをそれぞれ記憶する第１画像用バッファ６ａおよび第２画像用バッファ６ｂと、これらの内の測光用および焦点検出用のデータを蓄積するのにも用いられる第１画像用バッファ６ａから画像データを読み出して輝度分布を求め撮像時に適正露光となるように上記絞り２の開口径や上記ＣＣＤ４の電子シャッタを制御する測光評価部７と、上記第１画像用バッファ６ａから画像データを読み出して合焦位置の検出を行いその検出結果に基づいて後述するＡＦモータ９を制御する合焦点検出部８と、この合焦点検出部８に制御されて上記レンズ系１のＡＦ用レンズを駆動し上記ＣＣＤ４上に被写体像を結像させるようにするＡＦモータ９と、上記第１，第２画像用バッファ６ａ，６ｂから読み出された画像データから特徴量であるエッジ成分を抽出する特徴量算出手段たる特徴量算出部１０と、この特徴量算出部１０から出力される長時間露光に係る輝度信号に相当する信号に基づいて、画面全体を構成する各画素について、その画素が適切な露出であるか否かを信号レベルにより判別し、その結果に基づき分割画像情報を抽出して出力する適正露光抽出手段たる適正露光抽出部１１と、上記特徴量算出部１０から出力されるエッジ成分に基づき階調変換曲線を作成して上記適正露光抽出部１１から出力される適正露光域の階調変換を行う階調補正手段たる階調補正部１２と、この階調補正部１２から出力される階調変換後の長時間露光に係る適正露光域および短時間露光に係る適正露光域を合成して３板状態に補間することにより一の広ダイナミックレンジ画像を生成する合成手段たる画像合成補間部１３と、この画像合成補間部１３により合成された広ダイナミックレンジ画像を例えば記録媒体や表示装置などに出力する出力部１４と、上記測光評価部７や合焦点検出部８の検出結果を受け取るとともに、上記特徴量算出部１０、階調補正部１２、画像合成補間部１３、出力部１４を含むこの電子カメラ全体の制御を行う制御部１５と、を有して構成されている。
【００２６】
次に、図２は上記特徴量算出部１０の詳細な構成を示すブロック図である。
【００２７】
この特徴量算出部１０は、長時間露光画像を記憶している上記第１画像用バッファ６ａから画像データを読み出して、輝度信号に相当する信号を生成し上記適正露光抽出部１１に出力すると共に、長時間露光画像と短時間露光画像の特徴量であるエッジ成分を順に算出して上記階調補正部１２に出力するものであり、例えば５×５画素でなる局所領域を抽出する局所領域抽出手段たる局所領域抽出部２０と、抽出された局所領域の画像データを記憶する作業用バッファ２１と、輝度信号に相当する第１信号を抽出するエッジ算出手段たる第１信号抽出部２２と、特徴量であるエッジ成分としての第２信号を抽出する同エッジ算出手段たる第２信号抽出部２３と、を有して構成されている。
【００２８】
また、図３は、上記階調補正部１２の詳細な構成を示すブロック図である。
【００２９】
この階調補正部１２は、長時間露光画像と短時間露光画像を、後段の画像合成補間部１３で合成して広ダイナミックレンジ画像とするのに適するように階調補正するものであり、上記適正露光抽出部１１により抽出された適正露光領域について上記特徴量算出部１０から出力されるエッジ成分からエッジを判別してエッジヒストグラムを作成するヒストグラム作成手段たるヒストグラム作成部３０と、このエッジヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段たる変換曲線算出部３１と、算出された階調変換曲線に基づき上記特徴量算出部１０から出力される画像データの階調補正を行う変換手段たる変換部３２とを有して構成されている。
【００３０】
次に、図６は、階調変換特性の算出処理を示すフローチャートであり、図４は、ベイヤー配列の原色系フィルタＣＣＤにおけるエッジ成分を算出する手段を示す図である。
【００３１】
まず、単板でなる上記ＣＣＤ４が、図４（Ａ）に示すような原色ベイヤー配列のカラーフィルタアレイを備えたものである場合について説明する。
【００３２】
このＣＣＤ４に結像された被写体像は、異なる露光条件で複数回撮像されるようになっており、上述したように、例えば長時間露光による撮像と短時間露光による撮像とがこの順に行われて、順次画像信号として出力される。
【００３３】
これらの画像信号は、Ａ／Ｄ変換器５によってデジタル信号に変換された後に、第１画像用バッファ６ａと第２画像用バッファ６ｂにそれぞれ記憶される。
【００３４】
上記測光評価部７と合焦点検出部８は、これらの内の一方の第１画像用バッファ６ａに蓄積された長時間露光の画像データに基づいて、ＡＥ情報とＡＦ情報を制御部１７にそれぞれ出力する。
【００３５】
一方、特徴量算出部１０は、上記第１画像用バッファ６ａおよび第２画像用バッファ６ｂに記憶されている画像データを、画素配列に沿う所定方向に順次読み込むことにより（ステップＳ１）、映像信号の走査を行う（ステップＳ２）。
【００３６】
そして、局所領域抽出部２０において、図４（Ａ）に示すような例えば５×５画素でなる局所領域の信号を抽出して（ステップＳ３）、この局所領域の信号を後段の階調補正部１２で使用するために出力する（ステップＳ４）とともに、作業用バッファ２１に一旦記憶させておく。
【００３７】
第１信号抽出部２２は、この作業用バッファ２１に記憶されている図４（Ａ）に示すような局所領域のデータから、輝度信号に相当する第１信号を抽出する（ステップＳ５）。
【００３８】
すなわち、この第１信号抽出部２２においては、縦横に配列された画素同士の間の格子点となる位置、つまり、縦方向および横方向に各０．５画素分ずらした画素位置における輝度信号を、Ｇ信号で代用して補間演算し抽出するようになっている。
【００３９】
具体的には、図４（Ｂ）に示すように、画素Ｇ1 と画素Ｇ3 との間の格子点の相対的な輝度相当信号をＧ1 ＋Ｇ3 として算出し、同様に、画素Ｇ1 と画素Ｇ4 との間の格子点の相対的な輝度相当信号をＧ1 ＋Ｇ4 、画素Ｇ3 と画素Ｇ6 との間の格子点の相対的な輝度相当信号をＧ3 ＋Ｇ6 、画素Ｇ4 と画素Ｇ6 との間の格子点の相対的な輝度相当信号をＧ4 ＋Ｇ6 、などととして算出する。
【００４０】
このＧ信号で代用した輝度相当信号は、本来ならば２で除算して平均値をとるべきであるが、後段の適正露光抽出部１１において適正露光域を抽出するためには、相対的な信号でも事足りるために、２で除算するのを省くことにより、演算回数を減少させている。
【００４１】
こうして第１信号である輝度相当信号が算出されたら、第１信号抽出部２２から適正露光抽出部１１に出力する（ステップＳ６）。
【００４２】
次に、第２信号抽出部２３は、上記作業用バッファ２１に記憶されている図４（Ａ）に示すような局所領域のデータから、特徴量であるエッジ成分（第２信号）を抽出する（ステップＳ７）。
【００４３】
すなわち、この第２信号抽出部２３においては、例えばラプラシアン等の２次微分フィルタをかけることにより、第２信号であるエッジ成分を取り出すようになっている。２次元のラプラシアンは、良く知られているように、ｘ方向の２階微分とｙ方向の２階微分との線形結合でなる。従って、図４（Ｃ）に示すような格子点の内の符号ｃで示す点におけるエッジ成分をラプラシアンにより求める際には、点ｃを中心としてｘ方向およびｙ方向にそれぞれ２階差分をとって線形結合することにより行われる。
【００４４】
まず、ｘ方向についての２階差分は、
（ｃ−ｂ）−（ｄ−ｃ）＝２ｃ−ｂ−ｄ
であり、ｙ方向についての２階差分は、
（ｃ−ａ）−（ｅ−ｃ）＝２ｃ−ａ−ｅ
となるために、結局、
ｃのエッジ＝｜４ｃ−ａ−ｂ−ｄ−ｅ｜
を算出すればよいことになる。
【００４５】
図４（Ａ）の点Ｉ1 を点ｃとしたときには、ａ，ｂ，ｃ，ｄ，ｅの各格子点における輝度相当信号は、
ａ＝（Ｇ1 ＋Ｇ4 ）
ｂ＝（Ｇ3 ＋Ｇ6 ）
ｃ＝（Ｇ4 ＋Ｇ6 ）
ｄ＝（Ｇ4 ＋Ｇ7 ）
ｅ＝（Ｇ6 ＋Ｇ9 ）
となるために、これらを代入すれば、点Ｉ1 のエッジ成分は、
Ｉ1 ＝｜２（Ｇ4 ＋Ｇ6 ）−Ｇ1 −Ｇ3 −Ｇ7 −Ｇ9 ｜
として求められることが分かる。
【００４６】
図４（Ａ）に示したような５×５画素でなる局所領域においては、さらに、点Ｉ2 ，Ｉ3 ，Ｉ4 のエッジ成分も求めることができ、それぞれ、
Ｉ2 ＝｜２（Ｇ4 ＋Ｇ7 ）−Ｇ2 −Ｇ5 −Ｇ6 −Ｇ9 ｜
Ｉ3 ＝｜２（Ｇ6 ＋Ｇ9 ）−Ｇ4 −Ｇ7 −Ｇ8 −Ｇ11｜
Ｉ4 ＝｜２（Ｇ7 ＋Ｇ9 ）−Ｇ4 −Ｇ6 −Ｇ10−Ｇ12｜
となる。
【００４７】
このような５×５画素単位の処理を２画素間隔で繰り返して行うことにより、画面周辺の２行２列を除いた全画面のエッジ成分を算出することができる。
【００４８】
上記点Ｉ1 ，Ｉ2 ，Ｉ3 ，Ｉ4 のエッジ成分を算出する式を見れば分かるように、係数２が乗算されている（）内の量は、各点Ｉ1 ，Ｉ2 ，Ｉ3 ，Ｉ4 における輝度相当信号となっている。すなわち、輝度相当信号である第１信号は、特徴量であるエッジ成分を算出する過程で得られるようになっている。
【００４９】
このような処理における演算回数は、一格子点毎に、輝度相当信号である第１信号を算出する際に加算を１回行い、さらにエッジ成分を続けて算出する過程で、減算を４回、乗算を１回、絶対値をとる論理演算を１回うだけで済むようになっている。
【００５０】
また、この処理は、単板データを３板データに補間処理するときのような画素位置に応じた分岐処理が不要となるために、近年の複数段のパイプライン処理を行うことができるプロセッサ等を有効に用いて、深い段数での処理を行うことが可能となり、処理速度を向上させることができる。
【００５１】
この第２信号抽出部２３から出力される第２信号は、上記階調補正部１２に入力される。
【００５２】
階調補正部１２のヒストグラム作成部３０は、上記制御部１５の指令により、上記第２信号抽出部２３から出力されたエッジ成分と、上記適正露光抽出部１１から出力される適正露光領域情報とに基づいて、エッジヒストグラムを算出する（ステップＳ８）。
【００５３】
ここに、上記適正露光抽出部１１は、上記第１画像用バッファ６ａから読み出した長時間露光の画像データから得られる輝度相当信号である第１信号に基づいて、長時間露光に係る適正露光域を判断し、それ以外の部分を短時間露光に係る適正露光域とするようになっている。
【００５４】
つまり、適正露光抽出部１１において、上述したようにＧ信号を補間して作成された格子点における輝度相当信号の信号レベルを、所定値と比較することにより、その画素が、適切な露光であるか否かを判別し、適正露光と判断された画素の集合を長時間露光画像における適正露光域として、その結果を上記ヒストグラム作成部３０に出力する。
【００５５】
こうして、ヒストグラム作成部３０において、適正露光領域内のエッジ成分と所定の閾値とを比較することにより、エッジを抽出する。このときの閾値との比較による２値化処理では、論理演算１回を画素数分だけ行うことになる。
【００５６】
さらに、ヒストグラム作成部３０は、エッジを構成する画素の輝度レベルに対する出現頻度を示すエッジヒストグラムを作成する。このエッジヒストグラムの算出においては、例えば、加算１，減算２，除算２，論理１の各演算が画素数分だけ行われることになる。
【００５７】
こうしてヒストグラム作成部３０は、適正露光領域内の全ての画素について走査をし終えてエッジヒストグラムを作成したところで（ステップＳ９）、そのエッジヒストグラムを変換曲線算出部３１に出力する。
【００５８】
変換曲線算出部３１では、エッジヒストグラムをガウシアンカーネル等を用いてコンボリューションすることにより目標ヒストグラムを生成し、この目標ヒストグラムと上記ヒストグラム作成部３０から出力されたエッジヒストグラムとを各積分して累積ヒストグラムに変換し、これらに基づいて階調補正特性となるトーンカーブを算出する（ステップＳ１０）。
【００５９】
変換部３２は、上記制御部１５の指令により、上記局所領域抽出部２０から出力される画像データに、この変換曲線算出部３１から得られるトーンカーブに基づいた階調補正を行い、階調補正後の画像データを上記画像合成補間部１３に出力する。
【００６０】
画像合成補間部１３では、上述したように、階調補正された長時間露光の適正露光域に係る画像データと、階調補正された短時間露光の適正露光域に係る画像データとを受け取って合成して３板状態に補間することにより、一の広ダイナミックレンジ画像を生成するようになっている。
【００６１】
生成された広ダイナミックレンジ画像は、その後、出力部１４から出力される。
【００６２】
こうして、原色単板のＣＣＤ４の場合には、画像データからエッジヒストグラムを算出するまでに、合計で、
（加算２，減算６，乗算１，除算２，論理３）×画素数
だけの演算が行われることになり、上述したような従来における演算回数、
（加算１６，減算４，乗算７，除算４，論理６）×画素数
に比してかなり演算回数を減少させることができるために、処理回路の負荷を軽減して処理時間を短縮することが可能となる。
【００６３】
さらに、演算途中のデータを記憶するメモリも、算出したエッジ成分を記憶する１画面分のメモリだけで済むために、上述した従来例においては５画面分のメモリが必要であったのに比べて大幅に減少させることができ、回路規模を縮小させて基板面積を小さくすることができるために、処理回路を１チップのＩＣ化する際に大きな利点となる。
【００６４】
また、上述したような処理は、原色系のカラーフィルタアレイを備えた単板ＣＣＤにのみ適用されるものではなく、図５（Ａ）に示すような補色系のカラーフィルタアレイを備えたものについても同様に適用することができる。図５は、補色系フィルタＣＣＤにおけるエッジ成分を算出する手段を示す図である。
【００６５】
すなわち、局所領域抽出部２０において、図５（Ａ）に示すような５×５画素でなる局所領域を抽出し、縦横に配列された画素同士の間の格子点となる位置、つまり、縦横に各０．５画素分ずらした画素位置における輝度相当信号を、図５（Ｂ）に示すような補間演算を用いて算出する。
【００６６】
すなわち、各格子点の周りの４つの画素データを加算することにより、図５（Ｂ）における４つの格子点に関する輝度相当信号を、（Ｍ1 ＋Ｙ1 ＋Ｇ1 ＋Ｃ1 ）、（Ｙ1 ＋Ｍ2 ＋Ｃ1 ＋Ｇ2 ）、（Ｇ1 ＋Ｃ1 ＋Ｍ4 ＋Ｙ4 ）、（Ｃ1 ＋Ｇ2 ＋Ｙ4 ＋Ｍ5 ）などととして算出する。
【００６７】
そして、ラプラシアンを用いた場合には、格子点ｃにおけるエッジは、上記図４（Ｃ）と同様の図５（Ｃ）に示すように、
ｃのエッジ＝｜４ｃ−ａ−ｂ−ｄ−ｅ｜
として算出されるために、図４（Ａ）の点Ｉ1 ，Ｉ2 ，Ｉ3 ，Ｉ4 のエッジ成分は、

となる。
【００６８】
その後に、この輝度相当信号を２値化処理して、ヒストグラムを作成するのは、上述と同様である。
【００６９】
こうして、補色単板のＣＣＤ４の場合には、画像データからエッジヒストグラムを算出するまでに、合計で、
（加算４，減算１０，乗算１，除算２，論理３）×画素数
だけの演算が行われることになり、上述したような従来における演算回数、
（加算１６，減算４，乗算７，除算５，論理７）×画素数
に比してかなり演算回数を減少させることができるために、処理回路の負荷を軽減して処理時間を短縮することが可能となる。
【００７０】
さらに、演算途中のデータを記憶するメモリとしても、算出したエッジ成分を記憶する１画面分のメモリで済むために、上述した従来例においては６画面分のメモリが必要であったのに比べて大幅に減少させることができ、回路規模を縮小させて基板面積を小さくすることができるために、処理回路を１チップのＩＣ化する際に大きな利点となる。
【００７１】
このような実施形態によれば、より少ない演算回数で階調補正を行うことができるために、処理回路の負荷を軽減して処理時間を短縮することが可能となる。さらに、演算途中のデータを記憶するメモリが１画面分のもので済むために、必要なメモリ量を大幅に減少させることができて、回路規模を縮小させて基板面積を小さくすることが可能となるために、処理回路を１チップのＩＣ化する際に大きな利点となる。
【００７２】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【００７３】
【発明の効果】
以上説明したように本発明の画像処理装置によれば、整数座標外の画素位置における特徴量を算出して、その過程で得られた画像信号に基づき適正露光域を抽出し、上記特徴量に基づき階調補正を行うようにしたために、階調補正を行うまでの演算回数やメモリ量を減少させることが可能となる。
【００７４】
また、本発明の画像処理装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、特徴量を算出する画素位置を水平方向及び垂直方向にそれぞれ１／２画素ずれた画素位置とすることにより、輝度信号に相当する信号及び輝度信号に相当する信号のエッジ成分をより簡略に算出することが可能となる。
【００７５】
さらに、本発明の画像処理装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、特徴量に基づいてヒストグラムを作成し階調変換曲線を算出しているために、より効果的な階調変換を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態の電子カメラの基本的な構成を示すブロック図。
【図２】上記実施形態の特徴量算出部の詳細な構成を示すブロック図。
【図３】上記実施形態の階調補正部の詳細な構成を示すブロック図。
【図４】上記実施形態において、ベイヤー配列の原色系フィルタＣＣＤにおけるエッジ成分を算出する手段を示す図。
【図５】上記実施形態において、補色系フィルタＣＣＤにおけるエッジ成分を算出する手段を示す図。
【図６】上記実施形態における階調変換特性の算出処理を示すフローチャート。
【符号の説明】
４…ＣＣＤ
６ａ…第１画像用バッファ
６ｂ…第２画像用バッファ
１０…特徴量算出部（特徴量算出手段）
１１…適正露光抽出部（適正露光抽出手段）
１２…階調補正部（階調補正手段）
１３…画像合成補間部（合成手段）
１４…出力部
１５…制御部
２０…局所領域抽出部（局所領域抽出手段）
２１…作業用バッファ
２２…第１信号抽出部（エッジ算出手段）
２３…第２信号抽出部（エッジ算出手段）
３０…ヒストグラム作成部（ヒストグラム作成手段）
３１…変換曲線算出部（階調変換曲線算出手段）
３２…変換部（変換手段）

Claims

同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、
上記画像群中の各画像毎に整数座標外の画素位置を中心として所定サイズの局所領域を抽出する局所領域抽出手段と、
上記局所領域内の画素情報から、一の整数座標外の画素位置における輝度信号に相当する信号である第１の輝度相当信号と、上記一の整数座標外の画素位置から縦方向または横方向に１画素分離れた位置に存在する他の整数座標外の画素位置における輝度信号に相当する信号である第２の輝度相当信号と、を画像の特徴量として求めるとともに、その求めた第１の輝度相当信号と第２の輝度相当信号との差分として示される微分フィルタを用い、上記一の整数座標外の画素位置におけるエッジ成分を画像の特徴量として算出するエッジ算出手段と、
上記エッジ算出手段により得られた上記輝度相当信号各々を所定値と比較することで、上記整数座標外の画素位置に対応した画素が適正露光であるか否かを判別して、その適正露光であると判別した画素の集合からなる長時間露光画像における適正露光域を抽出する適正露光抽出手段と、
上記特徴量に基づき上記適正露光域の階調補正を行う階調補正手段と、
この階調補正手段により階調補正された適正露光域を合成して３板状態に補間することにより一の広ダイナミックレンジ画像を生成する合成手段と、
を具備したことを特徴とする画像処理装置。
上記階調補正手段は、
上記適正露光域を構成する各画素について、その画素に対応した画素位置における上記エッジ成分と所定値との比較結果に基づいてエッジを抽出することで、その抽出したエッジを有する画素の輝度信号とその輝度信号を有する画素の出現頻度との対応関係を示すヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、
上記階調変換曲線を用いて階調変換を行う変換手段と、
を具備したことを特徴とする請求項１に記載の画像処理装置。
上記複数の画像は、単板の撮像素子を用いて得られた画像であることを特徴とする請求項１または２に記載の画像処理装置。
上記複数の画像は、原色ベイヤー配列のフィルタを有する単板の撮像素子を用いて得られた画像であり、
上記整数座標外の画素位置は、上記画像群中の各画像毎に水平方向及び垂直方向にそれぞれ１／２画素ずれた位置であり、
上記エッジ算出手段は、上記得られた画像に含まれる局所領域内の画素情報から、上記１／２画素ずれた位置である上記一の整数座標外の画素位置としての一の注目格子点における上記第１の輝度相当信号と、上記一の注目格子点から縦方向または横方向に１画素分離れた位置に存在する格子点である上記他の整数座標外の画素位置としての隣接格子点における上記第２の輝度相当信号とを求め、その求めた第１の輝度相当信号と第２の輝度相当信号をもとに、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出することを特徴とする請求項３に記載の画像処理装置。
上記エッジ算出手段は、上記一の注目格子点を共有する二つのＧ成分の画素情報を用いて、上記一の注目格子点における上記第１の輝度相当信号を求めることを特徴とする請求項４に記載の画像処理装置。
上記エッジ算出手段は、上記隣接格子点を共有する二つのＧ成分の画素情報を用いて、上記隣接格子点における上記第２の輝度相当信号を求めることを特徴とする請求項４に記載の画像処理装置。
上記二つのＧ成分の画素のそれぞれは、互いに斜め方向に隣接して配置されることを特徴とする請求項５または６に記載の画像処理装置。
上記エッジ算出手段は、上記二つのＧ成分の画素情報を加算することで、上記第１の輝度相当信号または上記第２の輝度相当信号を求めることを特徴とする請求項５から７のいずれかに記載の画像処理装置。
上記隣接格子点は、上記一の注目格子点に対して４つ存在し、
上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、上記一の注目格子点に対応する各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出することを特徴とする請求項４から８のいずれかに記載の画像処理装置。
上記隣接格子点は、上記一の注目格子点に対して４つ存在し、
上記一の注目格子点は、上記局所領域における中央の画素を構成する４つの格子点のうちのいずれかであり、
上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、上記一の注目格子点に対応する各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出することを特徴とする請求項８に記載の画像処理装置。
上記複数の画像は、補色系のフィルタを有する単板の撮像素子を用いて得られた画像であり、
上記整数座標外の画素位置は、上記画像群中の各画像毎に水平方向及び垂直方向にそれぞれ１／２画素ずれた位置であり、
上記エッジ算出手段は、上記得られた画像に含まれる局所領域内の画素情報から、上記１／２画素ずれた位置である上記一の整数座標外の画素位置としての一の注目格子点における上記第１の輝度相当信号と、上記一の注目格子点から縦方向または横方向に１画素分離れた位置に存在する格子点である上記他の整数座標外の画素位置としての隣接格子点における上記第２の輝度相当信号とを求め、その求めた第１の輝度相当信号と第２の輝度相当信号をもとに、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出することを特徴とする請求項３に記載の画像処理装置。
上記エッジ算出手段は、上記一の注目格子点を共有する四つの画素情報を用いて、上記一の注目格子点における上記第１の輝度相当信号を求めることを特徴とする請求項１１に記載の画像処理装置。
上記エッジ算出手段は、上記隣接格子点を共有する四つの画素情報を用いて、上記隣接格子点における上記第２の輝度相当信号を求めることを特徴とする請求項１１に記載の画像処理装置。
上記エッジ算出手段は、上記四つの画素のそれぞれの画素情報を加算することで、上記第１の輝度相当信号または上記第２の輝度相当信号を求めることを特徴とする請求項１２または１３に記載の画像処理装置。
上記隣接格子点は、上記一の注目格子点に対して４つ存在し、
上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出することを特徴とする請求項１１から１４のいずれかに記載の画像処理装置。
上記隣接格子点は、上記一の注目格子点に対して４つ存在し、
上記一の注目格子点は、上記局所領域における中央の画素を構成する４つの格子点のうちのいずれかであり、
上記エッジ算出手段は、上記一の注目格子点における上記第１の輝度相当信号をｃとして算出し、上記一の注目格子点に対応する各隣接格子点における上記第２の輝度相当信号を夫々ａ、ｂ、ｄ及びｅとして算出した後、算出結果を、上記第１の輝度相当信号と上記第２の輝度相当信号との差分に応じて上記一の整数座標外の画素位置におけるエッジ成分が定まる数式｜４ｃ−ａ−ｂ−ｄ−ｅ｜に代入することにより、上記一の整数座標外の画素位置としての上記一の注目格子点におけるエッジ成分を算出することを特徴とする請求項１４に記載の画像処理装置。