JP5975642B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、画像処理技術に関し、特にディジタルカメラで撮像されたディジタル画像を処理する技術に関するものである。

一般に、ディジタルスチルカメラやビデオカメラなどのディジタルカメラは、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサなどの固体撮像素子を搭載している。固体撮像素子のダイナミックレンジには物理的限界があるので、撮影対象物における明暗の差（照度差）が固体撮像素子のダイナミックレンジの能力を超えた場合には、撮像されたディジタル画像中の高輝度領域の画素値が飽和する現象（いわゆる白とび状態）やその低輝度領域の画像情報が消失する現象（いわゆる黒つぶれ現象）が生じるという問題がある。そこで、異なる露光条件で撮像された複数枚の画像を合成してダイナミックレンジ（最も高い画素値と最も低い画素値との間の幅）の広い画像を生成する画像処理技術が存在する。この種の技術は、たとえば、特開２００９−７１４０８号公報（特許文献１）に開示されている。

特許文献１に開示されている画像処理装置は、高い露出値で撮像された高露出値画像と低い露出値で撮像された低露出値画像とを入力とし、これら高露出値画像と低露出値画像のそれぞれの輝度を算出し、その輝度の値に応じて高露出値画像の階調を拡大する処理を実行する。また画像処理装置は、階調が拡大された高露出値画像の輝度と低露出値画像の輝度とを加算し、その加算結果に基づいて入力画像（高露出値画像と低露出値画像）の合成比率を決定する。そして、画像処理装置は、合成比率を用いて高露出値画像と低露出値画像とを合成した後、その結果得られた合成画像の階調を元の階調に戻す処理を実行する。これにより、ダイナミックレンジの広い画像を生成することができる。

特開２００９−７１４０８号公報（図１，段落００１２〜００１６など）

しかしながら、特許文献１には、高露出値画像及び低露出値画像の撮像時に露光条件（露光時間やレンズの絞り値など）を調整する方法が具体的に記載されていない。高露出値画像の撮像に適した露光条件（露光時間やレンズの絞り値など）と低露出値画像の撮像に適した露光条件とは互いに異なるので、高露出値画像と低露出値画像との一方の撮像に適した露光条件から他方の撮像に適した露光条件への切り替えに長時間を要し、合成画像の画質が低下するという問題がある。

たとえば、固体撮像素子の出力を利用する露光制御では、撮像画像の主要な参照領域内の輝度値の指標値（たとえば、数点の輝度値の平均値）を算出し、この指標値が目標値に近づくように露光時間やレンズ絞り値などの露光条件を調整し、その調整後に再び画像を撮影するという作業が繰り返し行われる。ビデオカメラによって高露出値画像と低露出値画像とが連続的に撮像されるときには、それぞれの画像の撮像時に指標値が目標値とほぼ一致するまで露光制御を行うことが望ましい。しかしながら、露光条件を被写体条件（たとえば、被写体照度）に追従させるために数フレームから数十フレームもの調整時間を要することがあり、特に、被写体条件の急激な変動に対して露光条件を即時に追従させることが難しいという問題がある。

上記に鑑みて本発明の目的は、画像合成のために露光条件の異なる複数枚の画像を撮像する際に露光条件を短時間で調整することができ、良好な画質の合成画像を生成することもできる画像処理装置、撮像装置及び画像処理方法を提供することである。

本発明の第１の態様による画像処理装置は、撮像部で撮像された画像を表す画像信号を処理する画像処理装置であって、前記画像信号の輝度ヒストグラムを計測する露光制御用ヒストグラム計測部と、前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムとの間の対応関係が予め記憶されている露光条件テーブルと、前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成する画像合成部と、入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性を有し、該階調変換特性に基づいて、入力された前記合成画像信号の階調数を圧縮する階調圧縮部と、前記合成画像信号の平均輝度値を制御パラメータとして算出するパラメータ算出部と、前記撮像部の露光条件を制御する撮像制御部とを備え、前記露光制御用ヒストグラム計測部は、前記低露光画像の第１の輝度ヒストグラムと前記高露光画像の第２の輝度ヒストグラムとを計測し、前記撮像制御部は、前記露光条件テーブルを参照して前記複数の露光条件の候補の中から前記露光制御用ヒストグラム計測部で計測された当該輝度ヒストグラムに対応する露光条件を選択するとともに、当該選択された露光条件を前記撮像部に設定し、前記階調圧縮部は、前記第１及び第２の輝度ヒストグラムに基づいて前記合成画像信号で表される合成画像の実効ダイナミックレンジを検出し、前記実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように前記階調変換特性を変化させることを特徴とする。

本発明の第２の態様による撮像装置は、撮像部と、上記第１の態様による画像処理装置とを備えることを特徴とする。

本発明の第３の態様による画像処理方法は、撮像部で撮像された画像を表す画像信号を処理する画像処理方法であって、前記画像信号の輝度ヒストグラムを計測するステップと、前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成するステップと、前記合成画像信号を入力とし、入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性に基づいて前記合成画像信号の階調数を圧縮するステップと、前記合成画像信号の平均輝度値を制御パラメータとして算出するステップと、前記低露光画像の第１の輝度ヒストグラムと前記高露光画像の第２の輝度ヒストグラムとを計測するステップと、前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムの複数の頻度分布との間の対応関係が記憶されている露光条件テーブルを参照して、前記複数の露光条件の候補の中から前記計測された前記画像信号の前記輝度ヒストグラムに対応する露光条件を選択するステップと、当該選択された露光条件を前記撮像部に設定するステップと、前記第１及び第２の輝度ヒストグラムに基づいて前記合成画像信号で表される合成画像の実効ダイナミックレンジを検出し、前記実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように前記階調変換特性を変化させるステップとを備えることを特徴とする。

本発明の態様によれば、露光条件テーブルを参照することで複数の露光条件の候補の中から一の露光条件を短時間で選択し、選択された露光条件を撮像部に設定することができる。このため、露光条件の切り替えを素早く行うことができる。これにより被写体条件の変動に対して撮像部の露光条件を高速に追従させることが可能である。また、合成画像の明るさを特徴付ける制御パラメータに基づいて、露光条件の切り替えによる合成画像の明るさの変化を補償するように階調変換特性が変化させられる。このため、画質の良好な広ダイナミックレンジ画像を生成することができる。

本発明に係る実施の形態１の撮像装置の構成を概略的に示す機能ブロック図である。 実施の形態１の撮像部の構成を概略的に示す図である。 動画撮像モード時に撮像された低露光画像と高露光画像とを概略的に示す図である。 低露光画像の輝度ヒストグラムの一例を示す図である。 高露光画像の輝度ヒストグラムの一例を示す図である。 露光条件の候補となる基本パターンの例を示す図である。 図６の露光条件の基本パターンと輝度ヒストグラムとの対応関係を規定する参照テーブルの一例を示す図である。 実施の形態１の画像合成部の構成例を概略的に示す機能ブロック図である。 実施の形態１の合成比率算出用ＬＵＴへの入力値と合成比率との対応関係の一例を示すグラフである。 合成画像の輝度ヒストグラムを例示するグラフである。 （Ａ），（Ｂ）は、実施の形態１の階調圧縮部の階調変換特性の例を示すグラフである。 （Ａ），（Ｂ）は、実施の形態１の階調圧縮部の階調変換特性の他の例を示すグラフである。 本発明に係る実施の形態２の撮像装置の構成を概略的に示す機能ブロック図である。 低露光画像の輝度ヒストグラムの例を示すグラフである。 高露光画像の輝度ヒストグラムの例を示すグラフである。 （Ａ），（Ｂ）は、実施の形態２の階調圧縮部の階調変換特性の例を示すグラフである。 （Ａ），（Ｂ）は、実施の形態２の階調圧縮部の階調変換特性の他の例を示すグラフである。 本発明に係る実施の形態３の撮像装置の構成を概略的に示す機能ブロック図である。 複数の領域画像に分割されたフレーム画像を示す図である。 実施の形態３に係る制御パラメータ制限処理の手順を示すフローチャートである。 （Ａ），（Ｂ）は、実施の形態４の階調圧縮部の階調変換特性の例を示すグラフである。

以下、本発明に係る種々の実施の形態について図面を参照しつつ説明する。

実施の形態１．
図１は、本発明に係る実施の形態１の撮像装置１の構成を概略的に示す機能ブロック図である。この撮像装置１は、撮像部１０と画像処理部（画像処理装置）２０とで構成されている。

図２は、撮像部１０の構成を概略的に示す図である。図２に示されるように、撮像部１０は、撮像光学系１２、固体撮像素子１３、フロントエンド部１４及び駆動回路１５を有している。撮像光学系１１は、前側レンズ１２１、絞り機構１２２及び後側レンズ１２３を有する。本実施の形態の固体撮像素子１３は、ベイヤ配列などの色フィルタ配列を有する単板式のＣＣＤ画像センサで構成されるが、これに限定されるものではない。ＣＣＤ画像センサに代えてＣＭＯＳ画像センサなどの他の固体撮像素子を使用してもよい。駆動回路１５は、制御信号ＥＣｓに応じて固体撮像素子１３を駆動する駆動信号を発生する。

撮像光学系１２は、入射光１１を固体撮像素子１３の撮像面上に結像して光学像を形成する。固体撮像素子１３は、この光学像を光電変換して撮像信号を生成し、フロントエンド部１４に供給する。フロントエンド部１４は、撮像信号に対して、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理やプログラマブル利得増幅（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｃａｔｉｏｎ）を実行してアナログ信号を生成する。ここで、ＣＤＳ処理は、固体撮像素子１３から出力される撮像信号からノイズなどの不要な成分を除去する処理である。フロントエンド部１４は、さらに、そのアナログ信号をＡ／Ｄ変換してＲＡＷ形式のディジタル画像信号Ｒｄを生成する。

図１を参照すると、画像処理部２０は、信号処理部２１、フレームバッファ２２、ヒストグラム計測部２３、撮像制御部２４及びデータ記憶部２５を有している。これら構成要素２１〜２４は、バス（信号伝達路）２８を介して相互に接続されている。

信号処理部２１は、撮像部１０から入力されたディジタル画像信号Ｒｄに、色同時化処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理及び色空間変換などを施して輝度成分と色差成分とからなるカラー画像信号を生成する。このカラー画像信号は、バス２８に出力される。なお、ＲＡＷ形式のディジタル画像では、１つの画素は、固体撮像素子１３の色フィルタ配列のうちの１つの色フィルタに対応する１色成分しか持たない。色同時化処理は、カラー画像を構成するために各画素に不足している色成分を補間する処理である。たとえば色フィルタ配列が原色系のベイヤ配列の場合には、ＲＡＷ形式のディジタル画像の各画素は、赤、緑及び青のうちの一色の成分しか持たないので、各画素に不足している２色の色成分が周辺画素の色成分から補間される。

バス２８は、信号処理部２１から出力されたカラー画像信号をフレームバッファ２２に転送する。フレームバッファ２２は、バス２８により転送されたカラー画像信号の複数フレーム分を一時的に記憶（バッファリング）する機能を有する。

ヒストグラム計測部２３は、フレームバッファ２２から読み出されたカラー画像信号の輝度成分の輝度ヒストグラムをフレーム画像単位で計測する機能を有する。撮像制御部２４は、ヒストグラム計測部２３で計測された輝度ヒストグラムとデータ記憶部２５に予め格納されている露光条件テーブル２５Ｔとを用いて、制御信号群ＥＣを撮像部１０に供給して撮像部１０の露光条件を制御することができる。図２に示されるように、制御信号群ＥＣは、絞り機構１２２に供給される制御信号ＥＣａと、駆動回路１５に供給される駆動信号ＥＣｓと、フロントエンド部１４に供給される制御信号ＥＣｇとからなる。撮像制御部２４は、輝度ヒストグラムと露光条件テーブル２５Ｔとを用いて、絞り機構１２２の開口度を表す絞り値と、固体撮像素子１３の露光時間（電荷蓄積時間）と、フロントエンド部１４内の増幅器のゲイン（増幅率）とを個別に制御することが可能である。

本実施の形態の撮像装置１は、静止画撮像モードと動画撮像モードという２種類の動作モードを有している。静止画撮像モードでは、撮像制御部２４は、撮像部１０の動作を制御して露光条件の異なる２種類のカラー画像をフレーム画像単位で連続的に撮像させる。ここで、カラー画像は、ＲＡＷ形式の画像ではなく、信号処理部２１の出力画像を意味するものとする。これら２種類のカラー画像のうち一方の画像（以下、高露光画像と呼ぶ。）は、他方の画像（以下、低露光画像と呼ぶ。）よりも、固体撮像素子１３の撮像面への露光量が多い画像である。一方、動画撮像モードでは、撮像制御部２４は、撮像部１０の動作を制御して高露光画像と低露光画像とをフレーム画像単位で交互に撮像させる。図３は、動画撮像モード時に撮像された低露光画像Ｆｓ（１），Ｆｓ（２），…と高露光画像Ｆｔ（１），Ｆｔ（２），…とを概略的に示す図である。

ヒストグラム計測部２３は、フレームバッファ２２から低露光画像及び高露光画像のデータを撮像順で読み出し、低露光画像の輝度ヒストグラムを計測してその計測データＨｓｄを撮像制御部２４に出力し、高露光画像の輝度ヒストグラムを計測してその計測データＨｔｄを撮像制御部２４に出力する。図４は、８ビット階調（２５６階調）の低露光画像の輝度ヒストグラムの一例を示す図であり、図５は、８ビット階調の高露光画像の輝度ヒストグラムの一例を示す図である。図４及び図５のグラフにおいて、横軸は、０〜２５５の範囲の階調レベルを示し、縦軸は、各階調レベルの輝度値を有する画素の個数を示している。

低露光画像の撮像の際には、撮像制御部２４は、直近に撮像された低露光画像の輝度ヒストグラムを用いて撮像部１０の露光条件を設定する。一方、高露光画像の撮像の際には、撮像制御部２４は、直近に撮像された高露光画像の輝度ヒストグラムを用いて撮像部１０の露光条件を設定する。たとえば、動画撮像モードでは、図３の低露光画像Ｆｓ（３）の撮像のための露光条件は、２フレーム前に撮像された低露光画像Ｆｓ（２）の輝度ヒストグラムの計測データに基づいて行われる。また、図３の高露光画像Ｆｔ（３）の撮像のための露光条件は、２フレーム前に撮像された高露光画像Ｆｔ（２）の輝度ヒストグラムの計測データに基づいて行われる。

撮像制御部２４は、ヒストグラム計測部２３による計測結果に基づき、露光条件テーブル２５Ｔを参照して撮像部１０の露光条件をフレーム画像毎に切り替える。露光条件テーブル２５Ｔは、複数の露光条件の候補と輝度ヒストグラムとの対応関係が予め記憶されているテーブルである。この露光条件テーブル２５Ｔには、低露光画像撮像用及び高露光画像撮像用の２種類の露光条件を定める値が予め記憶されている。

図６は、露光条件の候補となる基本パターンＰ１，Ｐ２，Ｐ３，Ｐ４の例を示す図である。図６の例では、高露光画像撮像用の露光時間（長時間露光期間）は、基本パターンＰ１〜Ｐ４の全てにおいて３２ミリ秒（ｍｓｅｃ．）に設定されている。また、低露光画像撮像用の露光時間（短時間露光期間）は、図６に示されるように、基本パターンＰ１で２ミリ秒、基本パターンＰ２で４ミリ秒、基本パターンＰ３で８ミリ秒、基本パターンＰ４で１６ミリ秒である。

また、図７は、図６の露光条件の基本パターンＰ１〜Ｐ４と輝度ヒストグラムとの対応関係を規定する参照テーブルの一例を示す図である。図７の参照テーブルでは、直近の低露光画像撮像時に選択された露光条件の基本パターンＰ１，Ｐ２，Ｐ３，Ｐ４（遷移元パターン）と、現在選択されるべき基本パターンの候補Ｐ１，Ｐ２，Ｐ３，Ｐ４（遷移先パターン）との組み合わせの条件が規定されている。その組み合わせの条件は、直近に撮像された低露光画像の輝度ヒストグラムの特徴を表す４種類のパラメータＹｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５を用いて規定される。

ここで、Ｙｏ_２００は、２００以上の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータであり、Ｙｕ_１００は、０〜１００の範囲内の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータであり、Ｙｕ_５０は、０〜５０の範囲内の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータであり、Ｙｕ_２５は、０〜２５の範囲内の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータである。たとえば、遷移元パターンＰ１と遷移先パターンＰ２との組み合わせの条件は、Ｙｕ_１００が９０％以上であることであり、遷移元パターンＰ２と遷移先パターンＰ１との組み合わせの条件は、Ｙｏ_２００が５０％以上であることである。

撮像制御部２４は、直近に撮像された低露光画像の輝度ヒストグラムの計測データＨｓｄからパラメータＹｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５を算出し、これらパラメータＹｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５の値を、露光条件の候補Ｐ１〜Ｐ４の中から一の露光条件を選択するための指標値として用いる。

なお、図６及び図７の例では、高露光画像撮像時の露光時間は一定の３２ミリ秒に設定されているが、これに限定されるものではない。高露光画像撮像の場合も、低露光画像撮像の場合と同様に、露光条件の遷移元パターンと遷移先パターンとの組み合わせの条件を規定する参照テーブルを予め用意しておき、この参照テーブルを用いて高露光画像撮像時の露光条件を設定してもよい。

また、露光条件を定める値は、露光時間に限らず、絞り機構１２２の絞り値やフロントエンド部１４内の増幅器のゲインも露光条件を定める値として設定することが可能である。

次に、画像合成処理と階調圧縮処理について説明する。図１に示されるように、画像処理部２０は、画像合成部３１、パラメータ算出部３３、ヒストグラム計測部３４及び階調圧縮部３５を有している。

画像合成部３１は、バス２８と接続されており、このバス２８を介してフレームバッファ２２から読み出され転送された時間的に連続する低露光画像信号と高露光画像信号とを合成して合成画像信号Ｆｃを生成する機能を有する。合成画像信号Ｆｃは、低露光画像信号及び高露光画像信号の階調数よりも高い階調数を有している。図８は、実施の形態１の画像合成部３１の構成例を概略的に示す機能ブロック図である。図８に示されるように、画像合成部３１は、係数乗算部３１１、加算部３１２、合成比率算出用ＬＵＴ（ルックアップテーブル）３１３、合成比率乗算部３１４ｓ，３１４ｔ及び合成処理部３１５を有する。

係数乗算部３１１は、図８に示されるように、低輝度画像Ｆｓ（ｋ）の輝度成分Ｙｓ（ｋ）に重み係数αを画素単位で乗算する乗算器３１１ｓと、高輝度画像Ｆｔ（ｋ）の輝度成分Ｙｔ（ｋ）に重み係数βを画素単位で乗算する乗算器３１１ｔとを含む。重み係数α，βは、撮像制御部２４によって与えられる。本実施の形態では、β＝１、α＝ｎ（ｎ＞１）に設定されている。ｎの値は、たとえば、低露光画像Ｆｓ（ｋ）の撮像時の露光時間ｔ_αに対する高露光画像Ｆｔ（ｋ）の撮像時の露光時間ｔ_βの比率（＝ｔ_β／ｔ_α）とすることができる。

加算部３１２は、乗算器３１１ｓの出力と乗算器３１１ｔの出力とを画素単位で加算する。合成比率算出用ＬＵＴ３１３は、加算部３１２の出力信号に応じて、低露光画像Ｆｓ（ｋ）及び高露光画像Ｆｔ（ｋ）にそれぞれ割り当てるべき合成比率Ｋｓ，Ｋｔを決定する機能を有する。合成比率算出用ＬＵＴ３１３は、合成比率Ｋｓ，Ｋｔの複数の値が予め記憶されたメモリを有しており、加算部３１２の出力信号をアドレス入力とし、このアドレス入力に対応する一対の記憶値Ｋｓ，Ｋｔをメモリから読み出して出力することができる。

合成比率乗算部３１４ｓは、低露光画像Ｆｓ（ｋ）の輝度成分Ｙｓ（ｋ）に合成比率Ｋｓ×α（＝Ｋｓ×ｎ）を乗算するとともに色差成分Ｃｂｓ（ｋ），Ｃｒｓ（ｋ）に合成比率Ｋｓを乗算し、これらの乗算結果を合成処理部３１５に出力する。他方、合成比率乗算部３１４ｔは、高露光画像Ｆｔ（ｋ）の輝度成分Ｙｔ（ｋ）に合成比率Ｋｔ×β（＝Ｋｔ×１）を乗算するとともに色差成分Ｃｂｔ（ｋ），Ｃｒｔ（ｋ）に合成比率Ｋｔを乗算し、これらの乗算結果を合成処理部３１５に出力する。合成処理部３１５は、合成比率乗算部３１４ｓの出力と合成比率乗算部３１４ｔの出力とを加算して合成画像信号Ｆｃを生成する。すなわち、合成処理部３１５は、合成比率乗算部３１４ｓの出力輝度成分Ｆｓ（ｋ）×Ｋｓ×αと合成比率乗算部３１４ｔの出力輝度成分Ｆｔ（ｋ）×Ｋｔ×βとを加算して合成画像信号Ｆｃの輝度成分を生成する。同時に、合成処理部３１５は、合成比率乗算部３１４ｓの出力色差成分Ｃｂｓ（ｋ）×Ｋｓと合成比率乗算部３１４ｔの出力輝度成分Ｃｂｔ（ｋ）×Ｋｔとを加算するとともに、合成比率乗算部３１４ｓの出力色差成分Ｃｂｓ（ｋ）×Ｋｓと合成比率乗算部３１４ｔの出力輝度成分Ｃｒｔ（ｋ）×Ｋｔとを加算することで合成画像信号Ｆｃの色差成分を生成する。

図９は、合成比率算出用ＬＵＴ３１３への入力値と合成比率Ｋｓ，Ｋｔとの対応関係の一例を示すグラフである。図９のグラフにおいて、横軸は、入力信号（輝度成分）の階調レベルを示し、右方縦軸は、合成比率Ｋｔの値を示し、左方縦軸は、合成比率Ｋｓの値を示している。図９のグラフでは、輝度値が閾値（＝２５５×２）よりも大きい場合は、低露光画像Ｆｓ（ｋ）に対する合成比率Ｋｓの値が大きくなり、輝度値が閾値よりも小さい場合は、高露光画像Ｆｔ（ｋ）に対する合成比率Ｋｔの値が大きくなる。また、図９のグラフは、輝度値が閾値（＝２５５×２）となる付近で合成比率Ｋｓの値が０から１へ（あるいは１から０へ）切り替わるとともに合成比率Ｋｔの値が１から０へ（あるいは０から１へ）切り替わるように構成されている。よって、合成比率Ｋｓ，Ｋｔは、閾値に関して互いに相補的な関係にある。なお、図９の例では、係数乗算部３１１での低露光画像Ｆｓ（ｋ）の輝度成分Ｙｓ（ｋ）に対する倍率αをｎ倍とし、高露光画像Ｆｔ（ｋ）の輝度成分Ｙｔ（ｋ）に対する倍率を１倍としているため、輝度成分α×Ｙｓ（ｋ），β×Ｙｔ（ｋ）の加算結果は、０〜２５５×（ｎ＋１）の範囲の階調レベルを有することとなる。なお、高露光画像Ｆｔ（ｋ）の輝度が飽和レベルに達する値（＝２５５）のとき、高露光画像の輝度値は、２５５／ｎ程度になっていると考えられるため、上記閾値は２５５×２とされている。

次に、ヒストグラム計測部３４は、画像合成部３１から入力された合成画像信号Ｆｃの輝度ヒストグラムをフレーム画像単位で計測し、その計測データＣＨｄを階調圧縮部３５に供給する。図１０は、合成画像信号Ｆｃの輝度ヒストグラムの一例を示す図である。

一方、パラメータ算出部３３は、画像合成部３１から入力された合成画像信号Ｆｃに基づいて合成画像の平均輝度値Ｙａｖｇを算出し、この平均輝度値Ｙａｖｇを階調圧縮部３５に供給する。平均輝度値Ｙａｖｇは、合成画像の明るさを特徴付ける制御パラメータである。平均輝度値Ｙａｖｇは、たとえば、合成画像の１フレーム分の全有効画素の輝度成分を加算し、その加算結果を全有効画素数で除算することで算出することができる。

階調圧縮部３５は、入力された合成画像信号Ｆｃの輝度成分の階調レベルを変換するための階調変換特性（階調圧縮特性）を有し、この階調変換特性に従って合成画像信号Ｆｃの輝度成分の階調レベルを変換する。この階調変換特性は、入力階調レベルと出力階調レベルの対応関係を定めるものである。また、この階調変換特性では、入力階調レベルの範囲よりも出力階調レベルの範囲の方が狭いので、階調圧縮部３５は、合成画像の階調数を圧縮（正規化）することができる。

また、階調圧縮部３５は、制御パラメータである平均輝度値Ｙａｖｇに基づいて、撮像部１０の露光条件の切り替えによる合成画像の明るさの変化を補償するように階調変換特性を動的に変化させる機能を有する。具体的には、階調圧縮部３５は、撮像部１０の露光条件の切り替えに応じて合成画像の明るさが低減したときは、階調変換特性の出力階調レベルを増大させることができ、逆に、撮像部１０の露光条件の切り替えに応じて合成画像の明るさが増大したときは、階調変換特性の出力階調レベルを低下させることができる。これにより、露光条件の切り替えによる合成画像の明るさの変化を補償することができる。

図１１（Ａ），（Ｂ）は、階調圧縮部３５の階調変換特性を例示するグラフである。図１１（Ａ）は、制御パラメータＹａｖｇの値が比較的高いときの変換曲線を示すグラフであり、図１１（Ｂ）は、制御パラメータＹａｖｇの値が比較的低いときの変換曲線を示すグラフである。変換曲線は、主に、点（０，０）と点（Ｙａｖｇ，Ｂｔ）とを結ぶ直線と、点（Ｙａｖｇ，Ｂｔ）と点（Ｙｍａｘ，２５５）とを結ぶ直線とで構成されている。Ｙａｖｇの値に対する出力階調レベル値Ｂｔは常に一定値（たとえば、１００）に固定されるので、制御パラメータＹａｖｇの値が高くなるほど、出力階調レベルが全体的に低下するように変換曲線は変化し、制御パラメータＹａｖｇの値が低くなるほど、出力階調レベルが全体的に増大するように変換曲線は変化する。

さらに、階調圧縮部３５は、合成画像の輝度ヒストグラムの計測データＣＨｄに基づいて合成画像の実効的なダイナミックレンジ（以下、実効ダイナミックレンジと呼ぶ。）を検出し、この実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように階調変換特性を動的に変化させる機能を有する。具体的には、合成画像の輝度ヒストグラムの頻度値Ｉ（ｘ）（ｘは、入力階調レベル）を最小階調レベル（＝０）から最大階調レベル（＝２５５×ｎ）の方向へ積算することで頻度積算値を算出するとき、この頻度積算値の全有効画素数Ｎ_ｐに対する割合が所定割合（たとえば、９９％）以下となる条件を満たす積算区間［０，Ｌｕ］を定めることができる。階調圧縮部３５は、その積算区間［０，Ｌｕ］の上端値Ｌｕの最大値Ｙｍａｘを実効ダイナミックレンジの上限値として算出することができる。よって、所定割合を９９％とするとき、以下の式（１）が成立する。

合成画像の実効ダイナミックレンジの上限値Ｙｍａｘは、たとえば、図１０に概略的に示されるような値となる。階調圧縮部３５は、図１１（Ａ），（Ｂ）に示されるように、０〜Ｙｍａｘの入力階調レベル範囲を実効ダイナミックレンジとし、上限値Ｙｍａｘ以上の入力階調レベルを全て２５５の値の出力階調レベルに変換する。これにより、合成画像の実効ダイナミックレンジに対応する出力階調レベル範囲を拡大することができる。よって、出力画像のダイナミックレンジを広くすることが可能である。

また、階調圧縮部３５は、合成画像の実効ダイナミックレンジの下限値Ｙｍｉｎを検出することもできる。具体的には、合成画像の輝度ヒストグラムの頻度値Ｉ（ｘ）を最大階調レベル（＝２５５×ｎ）から最小階調レベル（＝０）の方向へ積算することで頻度積算値を算出するとき、この頻度積算値の全有効画素数Ｎ_ｐに対する割合が所定割合（たとえば、９９％）以下となる条件を満たす積算区間［Ｌｗ，２５５×ｎ］を定めることができる。階調圧縮部３５は、その積算区間［Ｌｗ，２５５×ｎ］の下端値Ｌｗの最小値Ｙｍｉｎを実効ダイナミックレンジの下限値として算出することができる。よって、所定割合を９９％とするとき、以下の式（２）が成立する。

合成画像の実効ダイナミックレンジの下限値Ｙｍｉｎは、たとえば、図１０に概略的に示されるような値となる。階調圧縮部３５は、図１２（Ａ），（Ｂ）に示されるように、Ｙｍｉｎ〜Ｙｍａｘの入力階調レベル範囲を実効ダイナミックレンジとし、上限値Ｙｍａｘ以上の入力階調レベルを全て２５５の値の出力階調レベルに変換し、下限値Ｙｍｉｎ以下の入力階調レベルを全て０の値の出力階調レベルに変換することで、合成画像の実効ダイナミックレンジに対応する出力階調レベル範囲を拡大することができる。よって、出力画像のダイナミックレンジをさらに広くすることが可能である。

以上に説明したように実施の形態１の画像処理部２０では、撮像制御部２４は、露光条件テーブル２５Ｔを参照することで複数の露光条件の候補の中から一の露光条件を短時間で選択することができ、当該選択された露光条件を撮像部１０に設定することができる。このため、露光条件の切り替えを素早く行うことができるので、被写体条件の変動に対して撮像部１０の露光条件を高速に追従させることができる。また、階調圧縮部３５は、合成画像の明るさを特徴付ける制御パラメータＹａｖｇに基づいて、露光条件の切り替えによる合成画像の明るさの変化を補償するように階調変換特性を動的に変化させる。このため、階調圧縮部３５は、画質の良好な広ダイナミックレンジ画像を出力することができる。したがって、被写体条件の変動に対する露光条件の追従の高速化とフレーム間での出力画像の明るさの滑らかな変動とを両立させることができる。

さらに、階調圧縮部３５は、合成画像の実効ダイナミックレンジに応じて、この実効ダイナミックレンジに対応する出力階調レベル範囲を動的に拡大するので、出力画像のダイナミックレンジを広くすることができる。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。図１３は、実施の形態２の撮像装置２の構成を概略的に示す機能ブロック図である。本実施の形態の撮像装置２の構成は、画像処理部２０Ｂの構成の一部を除いて実施の形態１の撮像装置１の構成と同じである。

図１３に示されるように、本実施の形態の画像処理部２０Ｂは、実施の形態１の画像処理部２０の構成要素２１〜２５，３１，３３と同じ構成要素を有するが、ヒストグラム計測部３４を有していない。階調圧縮部３５Ｂは、ヒストグラム計測部２３で計測されたデータＨｓｄ，Ｈｔｄを用いて階調圧縮処理を実行する。これにより、実施の形態１の構成と比べて回路規模を削減することができる。

階調圧縮部３５Ｂは、実施の形態１の階調圧縮部３５と同様に、制御パラメータである平均輝度値Ｙａｖｇに基づいて、撮像部１０の露光条件の切り替えによる合成画像の明るさの変化を補償するように階調変換特性を動的に変化させる機能を有する。

また、階調圧縮部３５Ｂは、ヒストグラム計測部２３から供給された輝度ヒストグラムの計測データＨｓｄ，Ｈｔｄに基づいて合成画像の実効ダイナミックレンジを検出し、この実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように階調変換特性を動的に変化させる機能を有する。

具体的には、合成画像を構成する低露光画像の輝度ヒストグラムの頻度値Ｉｓ（ｘ）（ｘは、入力階調レベル）を最小階調レベル（＝０）から最大階調レベル（＝２５５）の方向へ積算することで頻度積算値を算出するとき、この頻度積算値の全有効画素数Ｎ_ｐに対する割合が所定割合（たとえば、９９％）以下となる条件を満たす積算区間［０，Ｌｓｕ］を定めることができる。階調圧縮部３５は、その積算区間［０，Ｌｓｕ］の上端値Ｌｓｕの最大値ＹＳｍａｘを低露光画像の実効ダイナミックレンジの上限値として算出することができる。よって、所定割合を９９％とするとき、以下の式（３）が成立する。

図１４は、低露光画像の輝度ヒストグラムの例を示すグラフである。低露光画像の実効ダイナミックレンジの上限値ＹＳｍａｘは、たとえば、図１４に示されるような値となる。

一方、合成画像を構成する高露光画像の輝度ヒストグラムの頻度値Ｉｔ（ｘ）（ｘは、入力階調レベル）を最小階調レベル（＝０）から最大階調レベル（＝２５５）の方向へ積算することで頻度積算値を算出するとき、この頻度積算値の全有効画素数Ｎ_ｐに対する割合が所定割合（たとえば、９９％）以下となる条件を満たす積算区間［０，Ｌｔｕ］を定めることができる。階調圧縮部３５は、その積算区間［０，Ｌｔｕ］の上端値Ｌｔｕの最大値ＹＬｍａｘを高露光画像の実効ダイナミックレンジの上限値として算出することができる。よって、所定割合を９９％とするとき、以下の式（４）が成立する。

図１５は、高露光画像の輝度ヒストグラムの例を示すグラフである。高露光画像の実効ダイナミックレンジの上限値ＹＬｍａｘは、たとえば、図１５に示されるような値となる。

本実施の形態の階調圧縮部３５Ｂは、上記した上限値ＹＳｍａｘ，ＹＬｍａｘの重み付き平均値＜Ｙｍａｘ＞を合成画像の実効ダイナミックレンジの上限値として算出することができる。すなわち、次式（５）に従って合成画像の実効ダイナミックレンジの上限値＜Ｙｍａｘ＞を算出することができる。
＜Ｙｍａｘ＞＝（ＹＳｍａｘ×α＋ＹＬｍａｘ×β）／２ ・・・（５）

階調圧縮部３５Ｂは、図１６（Ａ），（Ｂ）に示されるように、０〜＜Ｙｍａｘ＞の入力階調レベル範囲を合成画像の実効ダイナミックレンジとし、上限値＜Ｙｍａｘ＞以上の入力階調レベルを全て２５５の値の出力階調レベルに変換する。これにより、合成画像の実効ダイナミックレンジに対応する出力階調レベル範囲を拡大することができる。よって、出力画像のダイナミックレンジを広くすることが可能である。

また、階調圧縮部３５Ｂは、合成画像の実効ダイナミックレンジの下限値＜Ｙｍｉｎ＞を検出することもできる。具体的には、低露光画像の輝度ヒストグラムの頻度値Ｉｓ（ｘ）を最大階調レベル（＝２５５）から最小階調レベル（＝０）の方向へ積算することで頻度積算値を算出するとき、この頻度積算値の全有効画素数Ｎ_ｐに対する割合が所定割合（たとえば、９９％）以下となる条件を満たす積算区間［Ｌｓｗ，５１０］を定めることができる。階調圧縮部３５Ｂは、その積算区間［Ｌｓｗ，５１０］の下端値Ｌｓｗの最小値ＹＳｍｉｎを低露光画像の実効ダイナミックレンジの下限値として算出することができる。よって、所定割合を９９％とするとき、以下の式（６）が成立する。

低露光画像の実効ダイナミックレンジの下限値ＹＳｍｉｎは、たとえば、図１４に概略的に示されるような値となる。

一方、高露光画像の輝度ヒストグラムの頻度値Ｉｔ（ｘ）を最大階調レベル（＝２５５）から最小階調レベル（＝０）の方向へ積算することで頻度積算値を算出するとき、この頻度積算値の全有効画素数Ｎ_ｐに対する割合が所定割合（たとえば、９９％）以下となる条件を満たす積算区間［Ｌｔｗ，５１０］を定めることができる。階調圧縮部３５Ｂは、その積算区間［Ｌｔｗ，５１０］の下端値Ｌｔｗの最小値ＹＬｍｉｎを高露光画像の実効ダイナミックレンジの下限値として算出することができる。よって、所定割合を９９％とするとき、以下の式（７）が成立する。

高露光画像の実効ダイナミックレンジの下限値ＹＬｍｉｎは、たとえば、図１５に概略的に示されるような値となる。

本実施の形態の階調圧縮部３５Ｂは、上記した下限値ＹＳｍｉｎ，ＹＬｍｉｎの重み付き平均値＜Ｙｍｉｎ＞を合成画像の実効ダイナミックレンジの下限値として算出することができる。すなわち、次式（８）に従って合成画像の実効ダイナミックレンジの下限値＜Ｙｍｉｎ＞を算出することができる。
＜Ｙｍｉｎ＞＝（ＹＳｍｉｎ×α＋ＹＬｍｉｎ×β）／２ ・・・（８）

階調圧縮部３５Ｂは、図１７（Ａ），（Ｂ）に示されるように、＜Ｙｍｉｎ＞〜＜Ｙｍａｘ＞の入力階調レベル範囲を合成画像の実効ダイナミックレンジとし、上限値＜Ｙｍａｘ＞以上の入力階調レベルを全て２５５の値の出力階調レベルに変換し、下限値＜Ｙｍｉｎ＞以下の入力階調レベルを全て０の値の出力階調レベルに変換することで、合成画像の実効ダイナミックレンジに対応する出力階調レベル範囲を拡大することができる。よって、出力画像のダイナミックレンジをさらに広くすることが可能である。

以上に説明したように実施の形態２の階調圧縮部３５Ｂは、ヒストグラム計測部２３で計測されたデータＨｓｄ，Ｈｔｄを用いて階調圧縮処理を実行するので、実施の形態１の構成と比べて回路規模を削減することができる。しかも、実施の形態１と同様に、露光条件の切り替えを素早く行うことができるので、被写体照度などの被写体条件の変動に対して撮像部１０の露光条件を高速に追従させることができる。また、階調圧縮部３５Ｂは、合成画像の明るさを特徴付ける制御パラメータＹａｖｇに基づいて、露光条件の切り替えによる合成画像の明るさの変化を補償するように階調変換特性を動的に変化させる。このため、階調圧縮部３５は、画質の良好な広ダイナミックレンジ画像を出力することができる。

実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１８は、実施の形態３の撮像装置３の構成を概略的に示す機能ブロック図である。本実施の形態の画像処理部２０Ｃの構成は、ヒストグラム計測部２３Ｃと撮像制御部２４Ｃと度数分布合成部３６とを除いて、上記実施の形態２の画像処理部２０Ｂの構成と同じである。

本実施の形態のヒストグラム計測部２３Ｃは、フレームバッファ２２から読み出され転送された入力画像Ｆｄの１フレーム分を、図１９に示すようにＮ×Ｍ個（Ｎ，Ｍは２以上の整数）の領域画像Ａ（０，０）〜Ａ（Ｎ−１，Ｍ−１）に分割する。ヒストグラム計測部２３Ｃは、これら領域画像Ａ（０，０）〜Ａ（Ｎ−１，Ｍ−１）それぞれの輝度ヒストグラムの計測データＨｄ（０，０）〜Ｈｄ（Ｎ−１，Ｍ−１）を算出する機能を有する。

撮像制御部２４Ｃは、ヒストグラム計測部２３Ｃで計測された各輝度ヒストグラムの計測データＨｄ（ｉ，ｊ）（ｉは０〜Ｎ−１の整数；ｊは０〜Ｍ−１の整数）の特徴を表すパラメータＹｏ_２００（ｉ，ｊ），Ｙｕ_１００（ｉ，ｊ），Ｙｕ_５０（ｉ，ｊ），Ｙｕ_２５（ｉ，ｊ）を領域画像毎に算出する。

ここで、Ｙｏ_２００（ｉ，ｊ）は、領域画像Ａ（ｉ，ｊ）における２００以上の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータであり、Ｙｕ_１００（ｉ，ｊ）は、領域画像Ａ（ｉ，ｊ）における０〜１００の範囲内の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータであり、Ｙｕ_５０（ｉ，ｊ）は、領域画像Ａ（ｉ，ｊ）における０〜５０の範囲内の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータであり、Ｙｕ_２５（ｉ，ｊ）は、領域画像Ａ（ｉ，ｊ）における０〜２５の範囲内の画素値（輝度値）を有する画素の全有効画素数に対する割合（単位：パーセント）を示すパラメータである。

撮像制御部２４Ｃは、上記パラメータ群に基づいて、露光条件テーブル２５Ｔにおける露光条件の候補Ｐ１〜Ｐ４の中から一の露光条件を選択するための指標値Ｙｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５を算出する。具体的には、次式に従って指標値Ｙｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５を算出することができる。

Ｙｏ_２００＝ＭＡＸ｛Ｙｏ_２００（ｉ，ｊ）｝（ｉ＝０〜Ｎ−１，ｊ＝０〜Ｍ−１）
Ｙｕ_１００＝ＭＡＸ｛Ｙｕ_１００（ｉ，ｊ）｝（ｉ＝０〜Ｎ−１，ｊ＝０〜Ｍ−１）
Ｙｕ_５０＝ＭＡＸ｛Ｙｕ_５０（ｉ，ｊ）｝（ｉ＝０〜Ｎ−１，ｊ＝０〜Ｍ−１）
Ｙｕ_２５＝ＭＡＸ｛Ｙｕ_２５（ｉ，ｊ）｝（ｉ＝０〜Ｎ−１，ｊ＝０〜Ｍ−１）

ここで、ＭＡＸ｛Ｘ（ｉ，ｊ）｝は、Ｎ×Ｍ個の値Ｘ（０，０）〜Ｘ（Ｎ−１，Ｍ−１）のうちの最大値を出力する関数である。

これら指標値Ｙｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５は、実施の形態１のパラメータＹｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５と同様に使用される。よって、階調圧縮部３５Ｂは、実施の形態１の階調圧縮部３５と同様に、指標値Ｙｏ_２００，Ｙｕ_１００，Ｙｕ_５０，Ｙｕ_２５を用いて露光条件テーブル２５Ｔを参照することで一の露光条件を決定することができる。

度数分布合成部３６は、ヒストグラム計測部２３Ｃから供給されたＮ×Ｍ個の輝度ヒストグラムの計測データＨｄ（０，０）〜Ｈｄ（Ｎ−１，Ｍ−１）を全て加算して１フレーム画像Ｆｄの輝度ヒストグラムの計測データを生成する。この計測データは、階調圧縮部３５Ｂに供給される。このため、階調圧縮部３５Ｂは、上記実施の形態２と同様の階調圧縮処理を行うことができる。

以上に説明したように実施の形態３によれば、撮像制御部２４Ｃは、複数の領域画像Ａ（０，０）〜Ａ（Ｎ−１，Ｍ−１）それぞれの輝度ヒストグラムの計測データＨｄ（０，０）〜Ｈｄ（Ｎ−１，Ｍ−１）を用いて露光制御を行うことができる。このため、撮像制御部２４Ｃは、フレーム画像Ｆｄの特定の局所領域で輝度値が飽和している場合のように輝度値の面内分布に偏りがある場合には、輝度値が飽和する画素の割合が最も高い領域に着目して露光条件の切り替え制御を行うことができる。したがって、高露光画像及び低露光画像の撮像時に適正な露光条件を素早く選択することができる。

実施の形態４．
次に、本発明に係る実施の形態４について説明する。本実施の形態の撮像装置の構成は、階調圧縮部の構成の一部を除いて、実施の形態１の撮像装置の構成と同じである。このため、図１を参照しつつ本実施の形態の階調圧縮処理について説明する。

画像処理部２０が動画撮像モードで動作するとき、図３に示されるように低露光画像と高露光画像とが交互に撮像される。このとき、階調圧縮部３５は、制御パラメータの現在値Ｙａｖｇ（ｐ）をその前回値Ｙａｖｇ（ｐ−１）から一定範囲内に制限する機能を有する。ここで、ｐは、合成画像Ｆｃの番号を表す整数である。

図２０は、制御パラメータ制限処理の手順を示すフローチャートである。図２０に示されるように、階調圧縮部３５は、制御パラメータの現在値Ｙａｖｇ（ｐ）が前回値Ｙａｖｇ（ｐ−１）から一定範囲内の上限値ＵＬ（＝Ｙａｖｇ（ｐ−１）＋Δ）を超えているかどうかを判定する（ステップＳ１１）。現在値Ｙａｖｇ（ｐ）が上限値ＵＬを超えていない場合は（ステップＳ１１のＮＯ）、階調圧縮部３５は、さらに現在値Ｙａｖｇ（ｐ）が前回値Ｙａｖｇ（ｐ−１）から一定範囲内の下限値ＬＬ（＝Ｙａｖｇ（ｐ−１）−Δ）未満かどうかを判定する（ステップＳ１２）。現在値Ｙａｖｇ（ｐ）が下限値ＬＬ未満ではない場合には（ステップＳ１２のＮＯ）、階調圧縮部３５は、現在値Ｙａｖｇ（ｐ）をそのまま使用して階調レベル変換の特性曲線を決定する（ステップＳ１３）。

一方、現在値Ｙａｖｇ（ｐ）が上限値ＵＬを超えている場合は（ステップＳ１１のＹＥＳ）、階調圧縮部３５は、現在値Ｙａｖｇ（ｐ）を上限値ＵＬに置き換え（ステップＳ１４）、その後、特性曲線を決定する（ステップＳ１３）。他方、現在値Ｙａｖｇ（ｐ）が下限値ＬＬ未満の場合は（ステップＳ１２のＹＥＳ）、階調圧縮部３５は、現在値Ｙａｖｇ（ｐ）を下限値ＬＬに置き換え（ステップＳ１５）、その後、特性曲線を決定する（ステップＳ１３）。

図２１（Ａ）は、制御パラメータの前回値Ｙａｖｇ（ｐ−１）に対する特性曲線を例示するグラフであり、図２１（Ｂ）は、制御パラメータの３種類の現在値Ｙａｖｇ^（０）（ｐ），Ｙａｖｇ^（１）（ｐ），Ｙａｖｇ^（２）（ｐ）に対する特性曲線ＣＬ０，ＣＬ１，ＣＬ２を例示するグラフである。現在値Ｙａｖｇ^（０）（ｐ）は、前回値Ｙａｖｇ（ｐ−１）を中心とする一定範囲内にあるので、図２１（Ｂ）に示されるような特性曲線ＣＬ０が生成される。現在値Ｙａｖｇ^（１）（ｐ）は、前回値Ｙａｖｇ（ｐ−１）を中心とする一定範囲の上限値ＵＬ（＝Ｙａｖｇ（ｐ−１）＋Δ）を超えているので、図２１（Ｂ）に示されるような特性曲線ＣＬ１が生成される。また、現在値Ｙａｖｇ^（２）（ｐ）は、前回値Ｙａｖｇ（ｐ−１）を中心とする一定範囲の下限値ＬＬ（＝Ｙａｖｇ（ｐ−１）−Δ）を下回っているので、図２１（Ｂ）に示されるような特性曲線ＣＬ２が生成される。

以上に説明したように本実施の形態の制御パラメータ制限処理により、制御パラメータの変動幅を一定範囲内に抑えることができるので、被写体条件や露光条件の急激な変動に対する階調圧縮処理の過敏な反応を抑えて処理を安定化させることができる。

実施の形態１〜４の変形例．
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、上記実施の形態１〜４は、２枚のディジタル画像（高露光画像と低露光画像）を用いて合成画像を生成するものであったが、これに限定されるものではない。３枚以上のＮ枚（Ｎは３以上の整数）のディジタル画像から合成画像を生成するように構成を適宜変更することも可能である。

また、上記実施の形態１のヒストグラム計測部２３及び撮像制御部２４を、実施の形態３のヒストグラム計測部２３Ｃ及び撮像制御部２４Ｃに置き換えることで構成される形態もあり得る。

また、上記画像処理部２０，２０Ｂ，２０Ｃの機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。上記画像処理部２０，２０Ｂ，２０Ｃの機能の一部がコンピュータプログラムで実現される場合、マイクロプロセッサは、不揮発性メモリなどのコンピュータ読み取り可能な記録媒体からコンピュータプログラムをロードし実行することによって画像処理部２０，２０Ｂ，２０Ｃの機能を実現することができる。

また、画像監視装置、画像表示装置あるいは画像記録装置といった電子機器に上記撮像装置１〜３を組み込むことが可能である。

１〜３ 撮像装置、 １０ 撮像部、 １２ 撮像光学系、 １３ 固体撮像素子、 １４ フロントエンド部、 ２０，２０Ｂ，２０Ｃ 画像処理部、 ２１ 信号処理部、 ２２ フレームバッファ、 ２３，２３Ｃ ヒストグラム計測部、 ２４，２４Ｃ 撮像制御部、 ２５Ｔ 露光条件テーブル、 ３１ 画像合成部、 ３１１ 係数乗算部、 ３１１ｓ，３１１ｔ 乗算器、 ３１２ 加算部、 ３１３ 合成比率算出用ＬＵＴ（ルックアップテーブル）、 ３１４ｓ，３１４ｔ 合成比率乗算部、 ３１５ 合成処理部、 ３３ 平均値算出部、 ３４ ヒストグラム計測部、 ３５，３５Ｂ 階調圧縮部、 ３６ 度数分布合成部。

Claims (8)

1. 撮像部で撮像された画像を表す画像信号を処理する画像処理装置であって、
   前記画像信号の輝度ヒストグラムを計測する露光制御用ヒストグラム計測部と、
   前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムとの間の対応関係が予め記憶されている露光条件テーブルと、
   前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成する画像合成部と、
   入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性を有し、該階調変換特性に基づいて、入力された前記合成画像信号の階調数を圧縮する階調圧縮部と、
   前記合成画像信号の平均輝度値を制御パラメータとして算出するパラメータ算出部と、
   前記撮像部の露光条件を制御する撮像制御部と
   を備え、
   前記露光制御用ヒストグラム計測部は、前記低露光画像の第１の輝度ヒストグラムと前記高露光画像の第２の輝度ヒストグラムとを計測し、
   前記撮像制御部は、前記露光条件テーブルを参照して前記複数の露光条件の候補の中から前記露光制御用ヒストグラム計測部で計測された当該輝度ヒストグラムに対応する露光条件を選択するとともに、当該選択された露光条件を前記撮像部に設定し、
   前記階調圧縮部は、前記第１及び第２の輝度ヒストグラムに基づいて前記合成画像信号で表される合成画像の実効ダイナミックレンジを検出し、前記実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように前記階調変換特性を変化させる
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、前記階調圧縮部は、前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが低減したときは、前記階調変換特性の出力階調レベルを増大させ、前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが増大したときは、前記階調変換特性の出力階調レベルを低下させることを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記階調圧縮部は、前記第１の輝度ヒストグラムに基づいて前記低露光画像の実効ダイナミックレンジを検出するとともに前記第２の輝度ヒストグラムに基づいて前記高露光画像の実効ダイナミックレンジを検出し、前記低露光画像の実効ダイナミックレンジに対応する階調レベル範囲の上限値と前記高露光画像の実効ダイナミックレンジに対応する階調レベル範囲の上限値との平均値を前記合成画像の実効ダイナミックレンジの上限値とすることを特徴とする画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置であって、
   前記画像合成部は、
   前記低露光画像信号及び前記高露光画像信号の輝度成分にそれぞれ重み係数を乗算して第１及び第２の重み付き輝度成分を生成する重み係数乗算部と、
   前記第１及び第２の重み付き輝度成分を加算する加算部と、
   前記加算部の出力信号に応じて前記低露光画像信号及び前記高露光画像信号にそれぞれ割り当てるべき第１及び第２の合成比率を決定する合成比率算出部と、
   前記低露光画像信号及び前記高露光画像信号に前記第１及び第２の合成比率をそれぞれ乗算して第１及び第２の乗算信号を生成する合成比率乗算部と、
   前記第１及び第２の乗算信号を加算して前記合成画像信号を生成する合成処理部と
   を含むことを特徴とする画像処理装置。
5. 請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
   前記露光制御用ヒストグラム計測部は、前記画像信号で表される入力画像の１フレーム分を複数の領域画像に分割し、前記複数の領域画像それぞれの複数の輝度ヒストグラムを前記画像信号の輝度ヒストグラムとして計測し、
   前記撮像制御部は、前記露光制御用ヒストグラム計測部で計測された当該複数の輝度ヒストグラムの特徴を表すパラメータを前記領域画像毎に算出し、前記パラメータに基づいて、前記複数の露光条件の候補の中から一の露光条件を選択するための指標値を算出する
   ことを特徴とする画像処理装置。
6. 請求項１から５のうちのいずれか１項に記載の画像処理装置であって、
   前記撮像制御部は、前記高露光画像と前記低露光画像とを前記撮像部に交互に撮像させ、
   前記画像合成部は、前記高露光画像と前記低露光画像との組が撮像される度に前記合成画像信号を生成し、
   前記階調圧縮部は、前記制御パラメータの現在値を前記制御パラメータの前回値から一定範囲内に制限する
   ことを特徴とする画像処理装置。
7. 撮像部と、
   前記撮像部で撮像された画像を表す画像信号の輝度ヒストグラムを計測する露光制御用ヒストグラム計測部と、
   前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムの複数の頻度分布との間の対応関係が記憶されている露光条件テーブルと、
   前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成する画像合成部と、
   入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性を有し、該階調変換特性に基づいて、入力された前記合成画像信号の階調数を圧縮する階調圧縮部と、
   前記合成画像信号の平均輝度値を制御パラメータとして算出するパラメータ算出部と、
   前記撮像部の露光条件を制御する撮像制御部と
   を備え、
   前記露光制御用ヒストグラム計測部は、前記低露光画像の第１の輝度ヒストグラムと前記高露光画像の第２の輝度ヒストグラムとを計測し、
   前記撮像制御部は、前記露光条件テーブルを参照して前記複数の露光条件の候補の中から前記露光制御用ヒストグラム計測部で計測された当該輝度ヒストグラムに対応する露光条件を選択するとともに、当該選択された露光条件を前記撮像部に設定し、
   前記階調圧縮部は、前記第１及び第２の輝度ヒストグラムに基づいて前記合成画像信号で表される合成画像の実効ダイナミックレンジを検出し、前記実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように前記階調変換特性を変化させる
   ことを特徴とする撮像装置。
8. 撮像部で撮像された画像を表す画像信号を処理する画像処理方法であって、
   前記画像信号の輝度ヒストグラムを計測するステップと、
   前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成するステップと、
   前記合成画像信号を入力とし、入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性に基づいて前記合成画像信号の階調数を圧縮するステップと、
   前記合成画像信号の平均輝度値を制御パラメータとして算出するステップと、
   前記低露光画像の第１の輝度ヒストグラムと前記高露光画像の第２の輝度ヒストグラムとを計測するステップと、
   前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムの複数の頻度分布との間の対応関係が記憶されている露光条件テーブルを参照して、前記複数の露光条件の候補の中から前記計測された前記画像信号の前記輝度ヒストグラムに対応する露光条件を選択するステップと、
   当該選択された露光条件を前記撮像部に設定するステップと、
   前記第１及び第２の輝度ヒストグラムに基づいて前記合成画像信号で表される合成画像の実効ダイナミックレンジを検出し、前記実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように前記階調変換特性を変化させるステップと
   を備えることを特徴とする画像処理方法。

Images