JP5814610B2 - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、ＨＤＲ画像を生成する画像処理装置及びその制御方法、並びにプログラムに関する。

近年、テレビジョンカメラ、電子スチルカメラ等の画像の取り込み手段として、ＣＣＤ撮像素子、ＣＭＯＳ撮像素子等の固体撮像素子が多く使用されている。ところが、この固体撮像素子のダイナミックレンジは銀塩カメラのフィルムのダイナミックレンジに比べると狭く、ダイナミックレンジの拡大が望まれていた。

そこで、固体撮像素子のダイナミックレンジを拡大する方法として、同一シーンにおける露出の異なる複数枚の画像を撮影し、この複数の画像データを何らかの演算で合成してダイナミックレンジが拡大された画像を得る手法が提案されている。以下、このような手法でダイナミックレンジが拡大された合成画像をＨＤＲ（High Dynamic Range）画像と呼ぶ。

また、一般的な画像処理として、エッジ強調処理が知られている。エッジ強調処理は、画像のエッジ（輪郭部）を強調するように画像処理を施し、画像にメリハリをつけることで画質を向上させる画像処理である。ＨＤＲ画像に対してエッジ強調処理を行う場合、露出が低い画像と露出が高い画像のエッジに対して同じ様にエッジを強調すると、露出の違いによりＳ／Ｎ比が異なるため、露出が低い画像におけるノイズが目立ってしまう。

これに対して、ＨＤＲ画像のエッジ強調処理の先行技術として、感度が低い画像と感度が高い画像を合成したＨＤＲ画像に対して、エッジ強調処理を行う方法が開示されている。この際、感度が高い画像の割合が、感度が低い画像の割合より大きくなるほど、エッジ信号のＧａｉｎを小さくすることで、エッジ強調処理のノイズを目立たなくさせている（例えば、特許文献１参照）。

また、階調補正後に最適な彩度のＨＤＲ画像を得ることを主目的としているがエッジ強調処理についても考慮している技術も開示されている。この技術では、エッジのヒストグラムを作成して、エッジ信号に重み付けしたエッジ強調処理を行ったＨＤＲ画像を生成する。この手法を用いると露出が低い画像が合成画像の主要成分となっている領域に対して、露出が低い画像のエッジ信号のＧａｉｎが小さくなる。Ｇａｉｎ乗算によるノイズ量が減少し、エッジ強調処理のノイズが目立たなくなる（例えば、特許文献２参照）。

特許第３９５８２１９号公報 特開２００９−０２２０４４号公報

上記特許文献１と特許文献２に開示された技術は、合成画像に対してエッジ強調処理を行っている。そして、感度が高い画像又は露出が低い画像が主要な領域となっている領域の重みを小さくしてエッジ強調処理を行うことで、エッジ強調処理のノイズを目立たなくさせている。

しかしながら、感度が高い画像または露出が低い画像が主要な領域となっている領域に対しては、エッジ強調処理の効果が低減してしまう。

本発明の目的は、エッジ強調処理が有効に作用し、さらにノイズを低減させたＨＤＲ画像を生成可能な画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、請求項１の画像処理装置は、異なる露出により撮像されることで得られた複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像の各々を格納する画像格納手段と、前記取得手段により取得された複数の画像ごとにエッジを抽出する抽出手段と、前記抽出手段により抽出されたエッジを示すエッジ画像を複数の画像ごとに格納するエッジ格納手段と、前記エッジ格納手段に格納された複数のエッジ画像が示すエッジの特徴点を比較することにより、前記複数の画像及び前記複数のエッジ画像の位置合わせを実行する位置合わせ手段と、前記位置合わせ手段により位置合わせされた複数の画像の各々に対するゲインを調整する第１調整手段と、前記位置合わせ手段により位置合わせされたエッジ画像の各々に対し、画像の照度が低い領域ほど露出が高い画像のゲインが大きくなるように調整する第２調整手段と、前記第１調整手段により調整された複数の画像、及び前記第２調整手段により調整された複数のエッジ画像を１つの画像に合成する合成手段とを備えたことを特徴とする。

本発明によれば、エッジ強調処理が有効に作用し、さらにノイズを低減させたＨＤＲ画像を生成可能な画像処理装置及びその制御方法、並びにプログラムを提供することを抑制することができる。

本発明の第１の実施の形態に係る撮像装置の信号処理の流れを示すブロック図である。 原色市松フィルタを示す図である。 図１におけるエッジ抽出回路の構成を示す図である。 露出が異なる３つの画像データの一例を示す図である。 画像データのハッチング部分を消して、画像を重ねた図である。 図１における位置合わせ回路により、画像データの位置合わせを実行した結果を示す図である。 照度と撮像素子の出力との関係を示す図である。 図７に示す照度と撮像素子の出力の関係に対する照度と画像データのＧａｉｎの関係を示す図である。 図７に示す照度と撮像素子の出力の関係に対する照度と画像データのＧａｉｎの関係を示す図である。 図７に示す照度と撮像素子の出力の関係に対する照度と画像データのＧａｉｎの関係を示す図である。 図４に示される画像データの各々に対するＧａｉｎを示す図である。 図４に示される画像データの各々のエッジ信号に対するＧａｉｎを示した画像データを示す図である。 図１１の画像データに示されるＧａｉｎで調整した後の画像データと、図１２の画像データに示されるＧａｉｎで調整されたエッジ信号とを加算して生成されたＨＤＲ画像を示す図である。 本発明の第２の実施の形態に係る撮像装置の信号処理の流れを示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら詳述する。

なお、本実施の形態では、本発明に係る画像処理装置を、撮像装置に適用した例を用いて説明する。また、画像データが示す画像も画像データとして統一して表現する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置１の信号処理の流れを示すブロック図である。

本実施の形態では、同一感度かつ同一の開放値でシャッター速度を変えることで露出が異なる３枚の画像データを合成してＨＤＲ画像データを得る構成とし、適応補間後の緑信号からエッジ成分を抽出する。

また、本実施の形態では、ホワイトバランス調整やアパチャー補正など一般的に行われている処理は明記しないが、本発明はこの構成に限定されるものではない。

図１において、撮像素子１００は、図２に示すような赤、緑、青（ＲＧＢ）がベイヤー配列された原色市松フィルタを備えており、これにより赤、緑、青の各信号を取得する。この撮像素子１００は、異なる露出により撮像されることで得られた複数の画像データを取得する取得手段に対応する。なお、本明細書では、赤、緑、青の各信号をそれぞれＲ、Ｇ、Ｂ信号というように略して表記する。

撮像素子１００が取得した信号は、適応補間回路１０１で各色信号毎に全ての画素位置に信号が存在するよう適応的な補間処理が実施される。

適応補間回路１０１は、補間対象画素の上下左右の信号相関を検出することにより縦縞か横縞かを判別し、縦縞と判別された場合は上下の信号から補間を行ない、横縞と判別された場合は左右の信号から補間する構成をとる。なお、このような適応補間は公知であり、その詳細な説明は省略する。

適応補間回路１０１により出力される信号は、色変換回路１０２とエッジ抽出回路１０３に入力される。このように、適応補間実施後に画像データとは別にエッジ信号を抽出しておく。このような構成とすることで、後述するＧａｉｎ調整回路１１１で各画像データ毎と各エッジ信号毎にＧａｉｎ調整を行うことが可能となり、Ｓ／Ｎ比が大きい（良い）エッジ信号の重みを大きくしたエッジ強調処理を行ったＨＤＲ画像データが生成可能となる。

適応補間回路１０１により出力されるＲＧＢ信号は、色変換回路１０２によりＹＵＶ信号に変換される。色変換回路１０２の出力は、露出に応じてデータの格納先が変わる。色変換回路１０２は、露出が高い画像データを画像メモリ１０４に格納し、標準露出画像データを画像メモリ１０５に格納し、露出が低い画像データを画像メモリ１０６に格納する。

適応補間回路１０１により出力されるＧ信号は、エッジ抽出回路１０３に入力されエッジ信号が抽出される。図２のような原色市松フィルタを搭載する撮像装置の場合、ＲＢ信号の周波数帯域はＧ信号の帯域に比べ半分しかない。このため、エッジ強調処理に用いるエッジ信号（高周波信号）の検出にはＧ信号のみが使用されるのが一般的であり、本実施の形態においてもＧ信号のみを使用する。

色変換回路１０２から出力された信号は、取得された複数の画像データの各々を格納する画像メモリ１０４〜１０６へ出力さる。また、複数の画像データごとにエッジを抽出するエッジ抽出回路１０３（エッジ抽出手段）から出力された信号は、エッジを示すエッジ画像データを複数の画像データごとに格納するエッジ信号メモリ１０７〜１０９に出力される。そして、位置合わせ回路１１０（位置合わせ手段）は、画像メモリ１０４〜１０６、及びエッジ信号メモリ１０７〜１０９に格納された各々の信号を用いて位置合わせを行う。上記画像メモリ１０４〜１０６は、複数の画像データの各々を格納する画像格納手段に対応する。また、エッジ信号メモリ１０７〜１０９は、抽出されたエッジを示すエッジ画像データを複数の画像データごとに格納するエッジ格納手段に対応する。

位置合わせ回路１１０で位置合わせされた信号は、ゲイン調整回路に出力される。より具体的には、画像メモリ１０４〜１０６の各々から出力された信号に対応する信号は、それぞれＧａｉｎ１１２〜１１４へ出力される。また、エッジ信号メモリ１０７〜１０９の各々から出力された信号に対応する信号は、それぞれＧａｉｎ１１５〜１１７へ出力される。

Ｇａｉｎ調整回路１１１により調整された信号は、画像合成回路１１８により合成される。合成された信号はγ補正回路１１９によりγ補正され、色変換回路１２０に出力される。色変換回路１２０は、ＹＵＶから再びＲＧＢに変換し、不揮発性メモリ１２１に出力されることでＨＤＲ画像データとして記憶されることとなる。

図３は、図１におけるエッジ抽出回路１０３の構成を示す図である。

図３において、適応補間回路１０１において適応補間されたＧ信号は、バンドパスフィルタ回路１３０〜１３２に供給される。水平方向（ＨＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路１３０は、Ｇ信号から水平方向のエッジを検出し、エッジ信号として出力する。エッジ信号はＰＰＧａｉｎ（Peak to Peak Correct Gain Circuit）回路１３３にて振幅調整が施され、ＢＣ（Base Clip）回路１３６によってノイズ成分を減少させる。

垂直方向（ＶＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路１３１は、Ｇ信号から垂直方向のエッジを検出し、エッジ信号として出力する。エッジ信号はＰＰＧａｉｎ回路１３４にて振幅調整が施され、ＢＣ回路１３７によってノイズ成分を減少させる。

斜め方向（ＤＢＰＦ）の高周波成分を検出するバンドパスフィルタ回路１３２は、Ｇ信号から斜め方向のエッジを検出し、エッジ信号として出力する。エッジ信号はＰＰＧａｉｎ回路１３５にて振幅調整が施され、ＢＣ回路１３８によってノイズ成分を減少させる。

そして、ＢＣ回路１３７及びＢＣ回路１３８から出力されたエッジ信号は加算器１３９で加算され、ＢＣ回路１３６及び加算器１３９から出力されたエッジ信号は、加算器１４０にて加算されてエッジ信号メモリ１０７〜１０９のいずれかに出力される。

エッジ抽出回路１０３の出力は、上述したように露出に応じて信号の格納先が変わる。露出が高い画像データのエッジ信号をエッジ信号メモリ１０７に格納し、標準露出画像データのエッジ信号をエッジ信号メモリ１０８に格納し、露出が低いデータのエッジ信号をエッジ信号メモリ１０９に格納する。

図４は、露出が異なる３つの画像データの一例を示す図である。

図４において、画像データ１５０〜１５２での斜線ハッチングは暗い画像領域とし、網点ハッチングは明るい画像領域としている。

画像データ１５０と画像データ１５１と画像データ１５２のように露出が異なる画像データを取得した場合、画像データの位置が完全には一致せず、ずれが発生することがある。

図５は、画像データ１５０〜１５２のハッチング部分を消して、画像データを重ねた図である。

図５において、画像データのずれ量を検出するために、エッジ信号の特徴点を比較する。具体的には、まず基準とする画像データを決めて、比較する画像データとのずれ量を算出することで複数の画像データの位置合わせを実施する。

例えば、画像データ１５１を基準とすると、画像データ１５１と画像データ１５０のずれ量の検出と、画像データ１５１と画像データ１５２のずれ量の検出を行うことで、３枚の画像データの位置合わせを行う。

基準とする画像データと比較する画像データとのずれ量の算出は、複数のエッジ信号の特徴点の情報を基に特徴点のずれ量の平均演算などを行い、画像データ同士のずれ量を算出する。すなわち、位置合わせ回路１１０は、複数のエッジ画像データが示すエッジの特徴点を比較することにより、複数の画像データ及び複数のエッジ画像データの位置合わせを実行する。

画像データのずれ量演算の精度を向上させるために、黒つぶれや白飛びしている領域は位置合わせの演算に使用しない、又は露出が低い画像データの明るい領域や露出が高い画像データの暗い領域に重みを付ける、などの処理を加えても良い。

図６は、図１における位置合わせ回路１１０により、画像データ１５０〜１５２の位置合わせを実行した結果を示す図である。

Ｇａｉｎ調整回路１１１は、このようにして位置合わせ回路１１０により位置合わせされた各画像データを示す信号、及び各エッジ信号のＧａｉｎを調整する。図１におけるＧａｉｎ１１２〜１１４は、それぞれ画像メモリ１０４〜１０６に格納され位置合わせされた画像データを示す信号のＧａｉｎを調整する。すなわち、Ｇａｉｎ調整回路１１１のＧａｉｎ１１２〜１１４は、位置合わせ回路１１０により位置合わせされた複数の画像データの各々に対するゲインを調整する第１調整手段に対応する。また、Ｇａｉｎ調整回路１１１のＧａｉｎ１１５〜１１７は、位置合わせ回路１１０により位置合わせされたエッジ画像データの各々に対し、露出が高い画像データほどゲインが大きくなるように調整する第２調整手段に対応する。

具体的に、Ｇａｉｎ１１５〜１１７は、それぞれエッジ信号メモリ１０７〜１０９に格納され位置合わせされたエッジ信号データのＧａｉｎを調整する。

図７は、照度と撮像素子１００の出力との関係を示す図である。

図７において、（イ）、（ロ）、（ハ）は、それぞれ露出が高い画像データ、標準露出画像データ、露出が低い画像データにおける照度と撮像素子１００の出力の関係を示している。

図８は、図７に示す照度と撮像素子１００の出力の関係に対する照度と画像データのＧａｉｎの関係を示す図である。

図８において、（イ）、（ロ）、（ハ）は、それぞれ露出が高い画像データ、標準露出画像データ、露出が低い画像データの照度とＧａｉｎの関係を示している。

白飛びしている領域に対しては、露出が高い画像データのＧａｉｎを調整するＧａｉｎ１１２でのＧａｉｎを小さくし、露出が低い画像データのＧａｉｎを調整するＧａｉｎ１１４でのＧａｉｎが大きくなるようにする。

黒つぶれしている領域に対しては、露出が高い画像データのＧａｉｎを調整するＧａｉｎ１１２でのＧａｉｎを大きくし、露出が低い画像データのＧａｉｎを調整するＧａｉｎ１１４でのＧａｉｎが小さくなるようにする。この場合、Ｇａｉｎ１１２〜１１４にリミッターを設け、露出に応じてリミッターを可変とする構成としても良い。すなわち、Ｇａｉｎ調整回路１１１は、調整するゲインを、画像データが撮像された際の露出に応じて可変な範囲内にて調整するようにしてもよい。

一方、Ｇａｉｎ１１５〜１１７は、演算や参照テーブルなどを用いてＧａｉｎを調整する。ただし、露出が低い画像データのエッジ信号はＳ／Ｎ比が小さい（悪い）ため、エッジ信号のノイズを強調させないようにＧａｉｎ１１７は小さい値となるようにする。例えばＧａｉｎ１１７は０としても良い。Ｇａｉｎ１１５〜１１７にリミッターを設け、露出に応じてリミッターを可変とする構成としても良い。

Ｇａｉｎ１１５〜１１７でのＧａｉｎの具体例を図９、図１０を用いて説明する。

図９及び図１０は、図７に示す照度と撮像素子１００の出力の関係に対する照度と画像データのＧａｉｎの関係を示す図である。

図９及び図１０において、（イ）、（ロ）、（ハ）は、それぞれ露出が高い画像データ、標準露出画像データ、露出が低い画像データの照度とエッジ成分のＧａｉｎの関係を示している。

図９（イ）、（ロ）のようにＳ／Ｎ比が大きい（良い）信号のＧａｉｎを大きくし、図９（ハ）のようにＳ／Ｎ比が小さい（悪い）信号のＧａｉｎを小さくする。

また、図１０（イ）、（ロ）のようにＳ／Ｎ比が大きい（良い）信号のＧａｉｎを大きくし、図１０（ハ）のようにＳ／Ｎ比が小さい（悪い）信号のＧａｉｎを０としても良い。

画像合成回路１１８は、Ｇａｉｎ調整回路１１１でＧａｉｎを調整された画像データを加算することで１つの画像データに合成し、これによりＨＤＲ画像データを生成する。このような構成で合成することで、良好なエッジ強調処理の効果が得られるＨＤＲ画像データを生成することができる。

図１１は、図４に示される画像データ１５０〜１５２の各々に対するＧａｉｎを示す図である。

図１１において、画像データ１５３は、画像データ１５０に対するＧａｉｎを示す画像データである。また、画像データ１５４は、画像データ１５１に対するＧａｉｎを示す画像データである。また、画像データ１５５は、画像データ１５２に対するＧａｉｎを示す画像データである。

なお、図１１における画像データ１５３〜１５５は、それぞれＧａｉｎ１１２〜１１４でのＧａｉｎを２値の塗りつぶしで示した概念図である。具体的に、グレーの塗りつぶしは大きいＧａｉｎにより調整された領域を示し、白の塗りつぶしは小さいＧａｉｎにより調整された領域を示している。図１１では説明簡略化のためＧａｉｎを２値で示しているが、実際は多値で設定する。また、図１１では位置合わせした後の画像データの共通領域のみ切り出している。

図１２は、図４に示される画像データ１５０〜１５２の各々のエッジ信号に対するＧａｉｎを示した画像データ１５６〜１５８を示す図である。

図１２において、画像データ１５６は、画像データ１５０のエッジ信号に対するＧａｉｎを示した画像データである。また、画像データ１５７は、画像データ１５１のエッジ信号に対するＧａｉｎを示した画像データである。また、画像データ１５８は、画像データ１５２のエッジ信号に対するＧａｉｎを示した画像データである。

なお、図１２における画像データ１５６〜１５８は、それぞれＧａｉｎ１１５〜１１７でのＧａｉｎを線で示した概念図である。

図１２における太実線はＧａｉｎが大きいことを示し、細点線はＧａｉｎが小さいことを示す。図１２では、画像データ１５８に示されるように、露出が小さい画像データのエッジ信号のＧａｉｎは０とした。図１２では説明簡略化のためＧａｉｎを２値で示しているが、実際は多値で設定する。図１２では位置合わせした後の画像データの共通領域のみ切り出している。

図１３は、図１１の画像データに示されるＧａｉｎで調整した後の画像データと、図１２の画像データに示されるＧａｉｎで調整されたエッジ信号とを加算して生成されたＨＤＲ画像データを示す図である。

図１３に示されるような、画像合成回路１１８で生成したＨＤＲ画像データを、上述したようにγ補正回路１１９でγ補正する。そしてγ補正回路１１９でγ補正したＨＤＲ画像データを色変換回路１２０でＹＵＶからＲＧＢに色変換する。色変換回路１２０で色変換したＨＤＲ画像データを、所定の画像データ記録フォーマットで不揮発性メモリ１２１に記録する。

上述した第１の実施の形態によれば、撮像装置１は、異なる露出により撮像されることで得られた複数の画像データの各々を格納する画像メモリ１０４〜１０６と、複数の画像データごとにエッジを抽出するエッジ抽出回路１０３を備えている。また、抽出されたエッジを示すエッジ画像データを複数の画像データごとに格納するエッジ信号メモリ１０７〜１０９と、複数の画像データ及び複数のエッジ画像データの位置合わせを実行する位置合わせ回路１１０とを備えている。さらに、位置合わせされた複数の画像データの各々に対するゲインを調整し、位置合わせされたエッジ画像データの各々に対し、露出が高い画像データほどゲインが大きくなるように調整するＧａｉｎ調整回路１１１を備えている。そして、調整された複数の画像データ、及び複数のエッジ画像データを１つの画像データに合成する画像合成回路１１８を備えているので、エッジ強調処理が有効に作用し、さらにノイズを低減させたＨＤＲ画像データが生成可能となっている。

［第２の実施の形態］
図１４は、本発明の第２の実施の形態に係る撮像装置２の信号処理の流れを示すブロック図である。第１の実施の形態と同様に、本実施の形態では、同一シャッター速度かつ同一の開放値で感度設定を変更して３枚の画像データを合成してＨＤＲ画像データを得る構成とし、ＹＵＶ変換後のＹ信号からエッジ成分を抽出する。

本実施の形態では、ホワイトバランス調整やアパチャー補正など一般的に行われている処理は明記しないが、本発明はこの構成に限定されるものではない。

撮像素子２００が取得した信号は、適応補間回路２０１で各色信号毎に全ての画素位置に信号が存在するよう適応的な補間処理が実施される。適応補間回路２０１により出力されるＲＧＢ信号は、色変換回路２０２によりＹＵＶ信号に変換される。

色変換回路２０２により出力される信号は、画像メモリ２０４〜２０６に入力される。また色変換回路２０２により出力される信号は、Ｙ信号選択回路２２２に入力された後にエッジ成分が抽出される。

このように、ＹＵＶ変換実施後のＹ信号を使用して画像データとは別にエッジ信号を抽出しておく。このような構成とすることで、後述するＧａｉｎ調整回路２１１で各画像データ毎と各エッジ信号毎にＧａｉｎ調整を行うことが可能となり、Ｓ／Ｎ比が大きい（良い）エッジ信号の重みを大きくしたエッジ強調処理を行ったＨＤＲ画像データが生成可能となる。

色変換回路２０２から画像メモリ２０４〜２０６の各々へ入力される画像データは、感度に応じてデータの格納先を変える。感度が低い画像データを画像メモリ２０４に格納し、標準感度の画像データを画像メモリ２０５に格納し、感度が高い画像データを画像メモリ２０６に格納する。

Ｙ信号選択回路２２２は、色変換回路２０２により出力される全てのＹ信号が入力され、入力されたＹ信号を選択してエッジ抽出回路２０３に出力する。人間の視覚は、Ｙ信号に対しての感度は高いが、Ｕ信号とＶ信号に対しては比較的鈍感であるという特性を持つ。

このため、エッジ強調処理に用いるエッジ信号（高周波信号）の検出にはＹ信号のみが使用されるのが一般的であり、本実施の形態でもＹ信号のみを使用する。

エッジ抽出回路２０３で抽出されたエッジ信号の出力は、感度に応じてデータの格納先が変わる。色変換回路２０２は、感度が低い画像データのエッジ信号をエッジ信号メモリ２０７に格納し、標準感度の画像データのエッジ信号をエッジ信号メモリ２０８に格納し、感度が高い画像データのエッジ信号をエッジ信号メモリ２０９に格納する。

上記画像メモリ２０４〜２０６は、複数の画像データの各々を格納する画像格納手段に対応する。また、エッジ信号メモリ２０７〜２０９は、抽出されたエッジを示すエッジ画像データを複数の画像データごとに格納するエッジ格納手段に対応する。

画像メモリ２０４〜２０６とエッジ信号メモリ２０７〜２０９に格納された信号が位置合わせ回路２１０に入力され、位置合わせが行われ、Ｇａｉｎ調整回路２１１に出力される。

Ｇａｉｎ調整回路２１１は、位置合わせ回路２１０で位置合わせした各画像データと各エッジ信号のＧａｉｎを調整する。Ｇａｉｎ２１２〜２１４は、それぞれ画像メモリ２０４〜２０６に格納され位置合わせされた画像データのＧａｉｎを調整する。Ｇａｉｎ２１５〜２１７は、それぞれエッジ信号メモリ２０７〜２０９に格納され位置合わせされたエッジ信号データのＧａｉｎを調整する。

Ｇａｉｎ２１２〜２１４は、演算や参照テーブルなどを用いてＧａｉｎを調整する。白飛びしている領域に対しては、感度が低い画像データのＧａｉｎを調整するＧａｉｎ２１２でのＧａｉｎを大きくし、感度が高い画像データのＧａｉｎを調整するＧａｉｎ２１４でのＧａｉｎを小さくなるようにする。

黒つぶれしている領域に対しては、感度が低い画像データのＧａｉｎを調整するＧａｉｎ２１２でのＧａｉｎを小さくし、感度が高い画像データのＧａｉｎを調整するＧａｉｎ２１４でのＧａｉｎを大きくなるようにする。この場合、Ｇａｉｎ２１２〜２１４にリミッターを設け、感度に応じてリミッターを可変とする構成としても良い。

Ｇａｉｎ２１５〜２１７は、演算や参照テーブルなどを用いてＧａｉｎを調整する。ただし、感度が高い画像データのエッジ信号はＳ／Ｎ比が小さい（悪い）ため、エッジ信号のノイズを強調させないようにＧａｉｎ２１７でのＧａｉｎは小さい値となるようにする。Ｇａｉｎ２１７でのＧａｉｎは０としても良い。Ｇａｉｎ２１５〜２１７にリミッターを設け、感度に応じてリミッターを可変とする構成としても良い。

画像合成回路２１８は、Ｇａｉｎ調整回路２１１でＧａｉｎを調整された信号を加算して合成し、ＨＤＲ画像データを生成する。このような構成で合成することで、エッジ信号のノイズを目立たなくさせた上で、エッジ強調処理の効果が得られるＨＤＲ画像データを生成することができる。

画像合成回路２１８で生成したＨＤＲ画像データをγ補正回路２１９で、γ補正する。そしてγ補正回路２１９でγ補正したＨＤＲ画像データを色変換回路２２０でＹＵＶからＲＧＢに色変換する。色変換回路２２０で色変換したＨＤＲ画像データを、所定の画像データ記録フォーマットで不揮発性メモリ２２１に記録する。

上述した第２の実施の形態において、第１の実施の形態と異なる大きな点は、まずＹ信号を用いてエッジを抽出することである。また、撮像素子２００は、異なる感度により撮像されることで得られた複数の画像データを取得する取得手段に対応することである。さらに、第２調整手段に対応するＧａｉｎ調整回路２１１のＧａｉｎ２１５〜２１７が、位置合わせされたエッジ画像データの各々に対し、感度が低い画像データほどゲインが大きくなるように調整することである。なお、Ｇａｉｎ調整回路２１１は、調整するゲインを、画像データが撮像された際の感度に応じて可変な範囲内にて調整することは第１の実施の形態と同様である。

上述した第２の実施の形態によれば、撮像装置２は、異なる感度により撮像されることで得られた複数の画像データの各々を格納する画像メモリ２０４〜２０６と、複数の画像データごとにエッジを抽出するエッジ抽出回路２０３を備えている。また、抽出されたエッジを示すエッジ画像データを複数の画像データごとに格納するエッジ信号メモリ２０７〜２０９と、複数の画像データ及び複数のエッジ画像データの位置合わせを実行する位置合わせ回路２１０とを備えている。さらに、位置合わせされた複数の画像データの各々に対するゲインを調整し、位置合わせされたエッジ画像データの各々に対し、感度が低い画像データほどゲインが大きくなるように調整するＧａｉｎ調整回路２１１を備えている。そして、調整された複数の画像データ、及び複数のエッジ画像データを１つの画像データに合成する画像合成回路２１８を備えているので、エッジ強調処理が有効に作用し、さらにノイズを低減させたＨＤＲ画像データが生成可能となっている。

また、第１の実施の形態、及び第２の実施の形態において、適応補間回路１０１，２０１、エッジ抽出回路１０３，２０３、位置合わせ回路１１０，２１０、Ｇａｉｎ調整回路１１１，２１１、画像合成回路１１８，２１８は、ソフトウェアでも実現可能である。すなわち、撮像素子１００，２００を用いて画像データを取得する。そして、上記各回路に対応する機能と画像メモリ１０４，１０５，１０６，２０４，２０５，２０６及びエッジ信号メモリ１０７，１０８，１０９，２０７，２０８，２０９に格納するステップとを組み合わせることで本実施の形態を実現できる。

（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１，２ 撮像装置
１００，２００ 撮像素子
１０１，２０１ 適応補完回路
１０２，２０２，１２０，２２０ 色変換回路
１０３，２０３ エッジ抽出回路
１０４，１０５，１０６，２０４，２０５，２０６ 画像メモリ
１０７，１０８，１０９，２０７，２０８，２０９ エッジ信号メモリ
１１０，２１０ 位置合わせ回路
１１１，２１１ Ｇａｉｎ調整回路
１１２，１１３，１１４，１１５，１１６，１１７，２１２，２１３，２１４，２１５，２１６，２１７ Ｇａｉｎ
１１８，２１８ 画像合成回路
１１９，２１９ γ補正回路
１２１，２２１ 不揮発性メモリ
１３０ ＨＢＰＦ
１３１ ＶＢＰＦ
１３２ ＤＢＰＦ
１３３，１３４，１３５ ＰＰＧａｉｎ
１３６，１３７，１３８ ＢＣ

Claims (8)

1. 異なる露出により撮像されることで得られた複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像の各々を格納する画像格納手段と、
   前記取得手段により取得された複数の画像ごとにエッジを抽出する抽出手段と、
   前記抽出手段により抽出されたエッジを示すエッジ画像を複数の画像ごとに格納するエッジ格納手段と、
   前記エッジ格納手段に格納された複数のエッジ画像が示すエッジの特徴点を比較することにより、前記複数の画像及び前記複数のエッジ画像の位置合わせを実行する位置合わせ手段と、
   前記位置合わせ手段により位置合わせされた複数の画像の各々に対するゲインを調整する第１調整手段と、
   前記位置合わせ手段により位置合わせされたエッジ画像の各々に対し、画像の照度が低い領域ほど露出が高い画像のゲインが大きくなるように調整する第２調整手段と、
   前記第１調整手段により調整された複数の画像、及び前記第２調整手段により調整された複数のエッジ画像を１つの画像に合成する合成手段と
   を備えたことを特徴とする画像処理装置。
2. 前記第１調整手段及び第２調整手段は、調整するゲインを、画像が撮像された際の露出に応じて可変な範囲内にて調整することを特徴とする請求項１記載の画像処理装置。
3. 異なる感度により撮像されることで得られた複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像の各々を格納する画像格納手段と、
   前記取得手段により取得された複数の画像ごとにエッジを抽出する抽出手段と、
   前記抽出手段により抽出されたエッジを示すエッジ画像を複数の画像ごとに格納するエッジ格納手段と、
   前記エッジ格納手段に格納された複数のエッジ画像が示すエッジの特徴点を比較することにより、前記複数の画像及び前記複数のエッジ画像の位置合わせを実行する位置合わせ手段と、
   前記位置合わせ手段により位置合わせされた複数の画像の各々に対するゲインを調整する第１調整手段と、
   前記位置合わせ手段により位置合わせされたエッジ画像の各々に対し、画像の照度が低い領域ほど感度が低い画像のゲインが大きくなるように調整する第２調整手段と、
   前記第１調整手段により調整された複数の画像、及び前記第２調整手段により調整された複数のエッジ画像を１つの画像に合成する合成手段と
   を備えたことを特徴とする画像処理装置。
4. 前記第１調整手段及び第２調整手段は、調整するゲインを、画像が撮像された際の感度に応じて可変な範囲内にて調整することを特徴とする請求項３記載の画像処理装置。
5. 異なる露出により撮像されることで得られた複数の画像を取得する取得ステップと、
   前記取得ステップにより取得された複数の画像の各々を格納する画像格納ステップと、
   前記取得ステップにより取得された複数の画像ごとにエッジを抽出する抽出ステップと、
   前記抽出ステップにより抽出されたエッジを示すエッジ画像を複数の画像ごとに格納するエッジ格納ステップと、
   前記エッジ格納ステップに格納された複数のエッジ画像が示すエッジの特徴点を比較することにより、前記複数の画像及び前記複数のエッジ画像の位置合わせを実行する位置合わせステップと、
   前記位置合わせステップにより位置合わせされた複数の画像の各々に対するゲインを調整する第１調整ステップと、
   前記位置合わせステップにより位置合わせされたエッジ画像の各々に対し、画像の照度が低い領域ほど露出が高い画像のゲインが大きくなるように調整する第２調整ステップと、
   前記第１調整ステップにより調整された複数の画像、及び前記第２調整ステップにより調整された複数のエッジ画像を１つの画像に合成する合成ステップと
   を備えたことを特徴とする画像処理装置の制御方法。
6. 異なる感度により撮像されることで得られた複数の画像を取得する取得ステップと、
   前記取得ステップにより取得された複数の画像の各々を格納する画像格納ステップと、
   前記取得ステップにより取得された複数の画像ごとにエッジを抽出する抽出ステップと、
   前記抽出ステップにより抽出されたエッジを示すエッジ画像を複数の画像ごとに格納するエッジ格納ステップと、
   前記エッジ格納ステップに格納された複数のエッジ画像が示すエッジの特徴点を比較することにより、前記複数の画像及び前記複数のエッジ画像の位置合わせを実行する位置合わせステップと、
   前記位置合わせステップにより位置合わせされた複数の画像の各々に対するゲインを調整する第１調整ステップと、
   前記位置合わせステップにより位置合わせされたエッジ画像の各々に対し、画像の照度が低い領域ほど感度が低い画像のゲインが大きくなるように調整する第２調整ステップと、
   前記第１調整ステップにより調整された複数の画像、及び前記第２調整ステップにより調整された複数のエッジ画像を１つの画像に合成する合成ステップと
   を備えたことを特徴とする画像処理装置の制御方法。
7. 画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記制御方法は、
   異なる露出により撮像されることで得られた複数の画像を取得する取得ステップと、
   前記取得ステップにより取得された複数の画像の各々を格納する画像格納ステップと、
   前記取得ステップにより取得された複数の画像ごとにエッジを抽出する抽出ステップと、
   前記抽出ステップにより抽出されたエッジを示すエッジ画像を複数の画像ごとに格納するエッジ格納ステップと、
   前記エッジ格納ステップに格納された複数のエッジ画像が示すエッジの特徴点を比較することにより、前記複数の画像及び前記複数のエッジ画像の位置合わせを実行する位置合わせステップと、
   前記位置合わせステップにより位置合わせされた複数の画像の各々に対するゲインを調整する第１調整ステップと、
   前記位置合わせステップにより位置合わせされたエッジ画像の各々に対し、画像の照度が低い領域ほど露出が高い画像のゲインが大きくなるように調整する第２調整ステップと、
   前記第１調整ステップにより調整された複数の画像、及び前記第２調整ステップにより調整された複数のエッジ画像を１つの画像に合成する合成ステップと
   を備えたことを特徴とするプログラム。
8. 画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記制御方法は、
   異なる感度により撮像されることで得られた複数の画像を取得する取得ステップと、
   前記取得ステップにより取得された複数の画像の各々を格納する画像格納ステップと、
   前記取得ステップにより取得された複数の画像ごとにエッジを抽出する抽出ステップと、
   前記抽出ステップにより抽出されたエッジを示すエッジ画像を複数の画像ごとに格納するエッジ格納ステップと、
   前記エッジ格納ステップに格納された複数のエッジ画像が示すエッジの特徴点を比較することにより、前記複数の画像及び前記複数のエッジ画像の位置合わせを実行する位置合わせステップと、
   前記位置合わせステップにより位置合わせされた複数の画像の各々に対するゲインを調整する第１調整ステップと、
   前記位置合わせステップにより位置合わせされたエッジ画像の各々に対し、画像の照度が低い領域ほど感度が低い画像のゲインが大きくなるように調整する第２調整ステップと、
   前記第１調整ステップにより調整された複数の画像、及び前記第２調整ステップにより調整された複数のエッジ画像を１つの画像に合成する合成ステップと
   を備えたことを特徴とするプログラム。

Images