JP4835593B2 - 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関し、特に、ユーザにとって認識しやすい広ダイナミックレンジの画像を得ることができる、画像処理装置および画像処理方法、プログラム、並びに、記録媒体に関する。

従来、ＣＣＤ（Charge Coupled Device）撮像素子（電荷結合撮像素子または固体撮像素子とも称する）などの撮像素子を用いたカメラでは、電荷の蓄積容量の限界と、その特性とのために、カメラへの入射光量は、絞りやシャッタスピードなどで制御することにより、ある範囲内に抑えられていた。したがって、屋外などでの撮像時には、被写体の輝度範囲のすべてを撮像可能にすることはできなかった。このため、電子シャッタ機能を用いて、高速と低速の異なったシャッタ時間で被写体の撮像を行い、その２種類の画像信号を信号処理して、各画像間で主要被写体の位置ずれがほとんどない良好な画像合成をすることにより、ダイナミックレンジの広い画像を得ることができるようになされてきた（例えば、特許文献１参照）。

特開２０００−３２３０３号公報

図１は、ＣＣＤにより撮像された異なるシャッタ時間の画像の合成により、ダイナミックレンジの広い画像を得ることができる、従来の広ダイナミックレンジカメラの構成を示すブロック図である。

固体撮像素子１１は、制御部１４の露光制御部２１の制御に基づいて、高速シャッタ画像および低速シャッタ画像を撮像する。低速シャッタ画像は、例えば、シャッタ速度が１／６０の画像であり、高速シャッタ画像は、例えば、シャッタ速度が１／２０００の画像である。

固体撮像素子１１で得られた映像信号、すなわち、低速シャッタ画像／高速シャッタ画像は、Ａ／Ｄ変換器１２でアナログ／ディジタル変換され、ディジタル処理部１３のフレームメモリ３１−１または３１−２に交互に書き込まれる。フレームメモリ３１−１または３１−２から読み出された信号は合成処理回路３２に供給され、そこで合成された後、プロセス回路３３を介して出力される。

制御部１４は、ＣＰＵ２２と露光制御部２１とで構成されている。ＣＰＵ２２は、ディジタル処理部１３から供給される測光データを用いて演算を行い、その結果を、固体撮像素子１１のシャッタ速度や絞りを制御する露光制御部２１に供給するとともに、その結果を基に、ディジタル処理部１３を制御する。

図１に示されるような、広ダイナミックレンジカメラにおいては、低速シャッタで被写体の輝度の低い部分（輝度の高い部分は飽和してしまう）を撮像し、高速シャッタで被写体の輝度の高い部分（輝度の低い部分は暗くて撮像不可能）を撮像する。そして、両方の画像を合成することにより、１画面で被写体の輝度の低い部分から輝度の高い部分までが表現されている画像を得ることが可能となる。

ＣＣＤなど、人の目よりダイナミックレンジが狭い撮像素子を用いた撮像装置では、入射光の照度がＣＣＤ撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタスピードなどを調整する必要がある。

したがって、被写体の光の照度の範囲がＣＣＤ撮像素子のダイナミックレンジを超える場合、被写体の明るい領域の画素の画素値がＣＣＤ撮像素子が出力可能な画素値の最大値に制限されたり、被写体の暗い領域の画素の画素値がＣＣＤ撮像素子が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生するので、上述したように、広ダイナミックレンジの画像を得るためには、複雑な画像合成処理が必要になる。

上述したような、ダイナミックレンジの狭い撮像素子を用いて構成される広ダイナミックレンジカメラにおいては、ダイナミックレンジの広い画像を得るためには複雑な画像合成処理が必要となるばかりでなく、低速シャッタ画像および高速シャッタ画像の２枚の画像を用いて１フレームの広ダイナミックレンジ画像を得ることができるようになされているため、フレームレートをあげることが非常に困難となる。

本発明はこのような状況に鑑みてなされたものであり、複雑な処理を行うことなく、ユーザにとって認識しやすい広ダイナミックレンジの画像を得ることができるようにするものである。

本発明の第１の画像処理装置は、画像信号を取得する取得手段と、取得手段により取得された画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定手段であって、取得手段により取得された画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出手段と、第1の平均値算出手段により算出された輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定手段と、第1の輝度範囲設定手段により設定された第1の輝度範囲と異なる輝度範囲であり、かつ、第1の輝度範囲より高輝度の画素の輝度値の平均を算出し、算出した平均値を基に、第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定手段とを備える輝度範囲設定手段と、輝度範囲設定手段により設定された輝度範囲と輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、取得手段により取得された画像信号に含まれる画素の輝度を変換する変換手段とを備えることを特徴とする。
これにより、画像信号の主な輝度領域と、その輝度と乖離した他の輝度領域とに、多くの階調を割り当てるようにすることができるので、表示または印刷出力される画像において、白とびや黒つぶれを防ぐことができる。
特に、画像信号の主な輝度領域と、その輝度と乖離した高輝度領域とに、多くの階調を割り当てるようにすることができるので、表示または印刷出力される画像において、白とびを防ぐことができる。
本発明の第２の画像処理装置は、画像信号を取得する取得手段と、取得手段により取得された画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定手段であって、取得手段により取得された画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出手段と、第1の平均値算出手段により算出された輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定手段と、第1の輝度範囲設定手段により設定された第1の輝度範囲と異なる輝度範囲であり、かつ、第1の輝度範囲より低輝度の画素の輝度値の平均を算出し、算出した平均値を基に、第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定手段とを備える輝度範囲設定手段と、輝度範囲設定手段により設定された輝度範囲と輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、取得手段により取得された画像信号に含まれる画素の輝度を変換する変換手段とを備えることを特徴とする。
これにより、画像信号の主な輝度領域と、その輝度と乖離した他の輝度領域とに、多くの階調を割り当てるようにすることができるので、表示または印刷出力される画像において、白とびや黒つぶれを防ぐことができる。
特に、画像信号の主な輝度領域と、その輝度と乖離した低輝度領域とに、多くの階調を割り当てるようにすることができるので、表示または印刷出力される画像において、黒つぶれを防ぐことができる。

取得手段、輝度範囲設定手段、または、変換手段は、専用のハードウェアにより構成されるか、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは、例えば、ＣＰＵ（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。

階調ステップ数とは、輝度の階調の分割数のことである。

変換手段には、輝度範囲に、輝度範囲以外よりも多くの階調が割り当てられるように、取得手段により取得された画像信号に含まれる画素の輝度を変換させるようにすることができる。

輝度範囲設定手段には、第１の輝度範囲設定手段により設定された第１の輝度範囲、および、第２の輝度範囲設定手段により設定された第２の輝度範囲と異なる範囲において、第３の輝度範囲を決定する第３の輝度範囲決定手段を更に備えさせるようにすることができる。

更に、輝度範囲設定手段には、それぞれ輝度範囲の異なる３つ以上の輝度範囲を決定させるようにすることができる。

また、輝度範囲設定手段には、取得手段により取得された画素値のうち、画像信号の所定の画像領域に含まれる画素を抽出する抽出手段と、抽出手段により抽出された画像信号の所定の画像領域に含まれる画素の輝度値の平均値を算出する第１の平均値算出手段と、第１の平均値算出手段により算出された輝度値の平均値を基に、第１の輝度範囲を設定する第１の輝度範囲設定手段と、第１の輝度範囲設定手段により設定された第１の輝度範囲と異なる範囲において、第２の輝度範囲を決定する第２の輝度範囲決定手段とを備えさせるようにすることができる。

所定の画像領域を、例えば、画像信号内で定常的に同一の被写体が撮像されていると思われる画像部分や、画像の主な部分を占めると思われる被写体（例えば、路面など）が撮像されていると思われる画像部分とすることにより、特に動画を撮像して表示させるような場合に、画面のちらつきを防ぐようにすることができる。

第２の輝度範囲決定手段には、第１の輝度範囲設定手段により設定された第１の輝度範囲と異なる輝度範囲であり、かつ、第１の輝度範囲より高輝度の画素の輝度値の平均を算出する第２の平均値算出手段を更に備えさせるようにすることができ、第２の平均値算出手段により算出された平均値を基に、第２の輝度範囲を決定させるようにすることができる。

これにより、画像信号の主な輝度領域と、その輝度と乖離した高輝度領域とに、多くの階調を割り当てるようにすることができるので、表示または印刷出力される画像において、白とびを防ぐことができる。

第２の輝度範囲決定手段には、第１の輝度範囲設定手段により設定された第１の輝度範囲と異なる輝度範囲であり、かつ、第１の輝度範囲より低輝度の画素の輝度値の平均を算出する第２の平均値算出手段を更に備えさせるようにすることができ、第２の平均値算出手段により算出された平均値を基に、第２の輝度範囲を決定させるようにすることができる。

これにより、画像信号の主な輝度領域と、その輝度と乖離した低輝度領域とに、多くの階調を割り当てるようにすることができるので、表示または印刷出力される画像において、黒つぶれを防ぐことができる。

輝度範囲設定手段には、第１の輝度範囲設定手段により設定された第１の輝度範囲、および、第２の輝度範囲設定手段により設定された第２の輝度範囲と異なる範囲において、第３の輝度範囲を決定する第３の輝度範囲決定手段を更に備えさせるようにすることができる。

更に、輝度範囲設定手段には、それぞれ輝度範囲の異なる３つ以上の輝度範囲を決定させるようにすることができる。

輝度範囲設定手段には、取得手段により取得された画像信号に含まれる画素の輝度値の分布を表すヒストグラムを求めるヒストグラム検出手段と、ヒストグラム検出手段により検出されたヒストグラムを基に、それぞれの輝度値に分布されている画素数を所定の閾値と比較する比較手段とを備えさせるようにすることができ、比較手段による比較結果を基に、複数の輝度範囲を設定させるようにすることができる。

閾値は、例えば、実験的または経験的に求められる値であっても良いし、ユーザにより設定可能な値であっても良い。

ユーザの操作入力を受ける操作入力手段を更に備えさせるようにすることができ、輝度範囲設定手段は、操作入力手段により入力されるユーザの操作入力に基づいて、複数の輝度範囲を設定させるようにすることができる。

これにより、例えば、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっている場合には、処理を簡単にしたり、装置のコストを下げることが可能となる。

ユーザの操作入力を受ける操作入力手段を更に備えさせるようにすることができ、輝度範囲設定手段には、操作入力手段により入力されるユーザの操作入力に基づいて、複数の輝度範囲設定可能領域を設定する輝度範囲設定可能領域設定手段と、輝度範囲設定可能領域設定手段により設定された輝度範囲設定可能領域に含まれる画素の輝度値の分布を表すヒストグラムを求めるヒストグラム検出手段と、ヒストグラム検出手段により検出されたヒストグラムを基に、それぞれの輝度値に分布されている画素数を所定の閾値と比較する比較手段とを備えさせるようにすることができ、比較手段による比較結果を基に、複数の輝度範囲を設定させるようにすることができる。

これにより、例えば、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているが、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、例示すれば、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していない場合であっても、ユーザにとって必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。

画像信号は、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることができる。

撮像素子は、人の目より広いダイナミックレンジで被写体を撮像することができるものとすると好適である。

変換手段には、輝度範囲設定手段により設定された輝度範囲以外には、階調ステップ数が割り当てられないように、変換特性を設定させるようにすることができる。

これによって、設定された輝度範囲に、多くの階調ステップ数を割り当てることができる。

変換手段には、輝度範囲設定手段により設定された輝度範囲の境界付近に中間領域を設定し、輝度範囲設定手段により設定された輝度範囲のうち中間領域を除いた部分の階調ステップ数が最も多く割り当てられ、中間領域の階調ステップ数が２番目に多く割り当てられ、輝度範囲設定手段により設定された輝度範囲以外であり、かつ、中間領域ではない部分の階調ステップ数が最も少なくなるように、変換特性を設定させるようにすることができる。

この中間領域は、輝度範囲設定手段により設定された輝度範囲の境界を中心とした所定の輝度範囲であってもよいし、輝度範囲の境界に対応する画素近辺の輝度値を有する所定数の画素に対応する輝度範囲であっても良い。

また、この中間領域は、輝度範囲設定手段により設定された輝度範囲の境界をまたぐように設定されていてもよいし、輝度範囲設定手段により設定された輝度範囲の最も境界よりに設定されていてもよいし、更に、輝度範囲設定手段により設定された輝度範囲外であって、設定された輝度範囲に最も近い領域に設定されるようにしても良い。

変換手段には、輝度範囲設定手段により設定された輝度範囲以外であり、かつ、中間領域ではない部分に、階調ステップ数が割り当てられないように、変換特性を設定させるようにすることができる。

中間領域を設定することにより、割り当てられる輝度の階調ステップ数をなだらかに変化させることができる。

本発明の第１の画像処理方法は、画像信号を処理する画像処理装置の画像処理方法であって、画像信号を取得する取得ステップと、取得ステップの処理により取得された画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定ステップであって、取得ステップの処理により取得された画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出ステップと、第1の平均値算出ステップの処理により算出された輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定ステップと、第1の輝度範囲設定ステップの処理により設定された第1の輝度範囲と異なる輝度範囲であり、かつ、第1の輝度範囲より高輝度の画素の輝度値の平均を算出し、算出した平均値を基に、第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定ステップとを含む輝度範囲設定ステップと、輝度範囲設定ステップの処理により設定された輝度範囲と輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、取得ステップの処理により取得された画像信号に含まれる画素の輝度を変換する変換ステップとを含むことを特徴とする。
本発明の第２の画像処理方法は、画像信号を処理する画像処理装置の画像処理方法であって、画像信号を取得する取得ステップと、取得ステップの処理により取得された画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定ステップであって、取得ステップの処理により取得された画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出ステップと、第1の平均値算出ステップの処理により算出された輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定ステップと、第1の輝度範囲設定ステップの処理により設定された第1の輝度範囲と異なる輝度範囲であり、かつ、第1の輝度範囲より低輝度の画素の輝度値の平均を算出し、算出した平均値を基に、第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定ステップとを含む輝度範囲設定ステップと、輝度範囲設定ステップの処理により設定された輝度範囲と輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、取得ステップの処理により取得された画像信号に含まれる画素の輝度を変換する変換ステップとを含むことを特徴とする。

画像信号は、例えば、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることができる。

撮像素子は、例えば、ＨＤＲＣ（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））であるものとすることができる。

このような撮像素子は、人の目より広いダイナミックレンジで被写体を撮像することができる。

輝度範囲設定ステップには、取得手段により取得された画素値のうち、画像信号の所定の画像領域に含まれる画素を抽出する抽出ステップを更に含ませ、第１の平均値算出ステップにおいて、抽出ステップの処理により抽出された画像信号の所定の画像領域に含まれる画素の輝度値の平均値を算出させるようにすることができる。
輝度範囲設定ステップには、第1の輝度範囲設定手段により設定された第1の輝度範囲、および、第2の輝度範囲設定手段により設定された第2の輝度範囲と異なる範囲において、第3の輝度範囲を決定する第3の輝度範囲決定ステップを更に含ませるようにすることができる。
この画像信号は、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることができる。
本発明のプログラムおよび記録媒体に記録されているプロクラムは、以上のいずれかの画像処理方法の処理をコンピュータに実行させる。

本発明の画像処理装置および画像処理方法、並びに、プログラムにおいては、入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像信号の輝度範囲のうち、複数の輝度範囲が設定され、この輝度範囲に、輝度範囲以外とは異なる階調が割り当てられるように、画像信号に含まれる画素の輝度が変換される。

設定される輝度範囲は、例えば、
撮像された画像信号において、平均輝度を含む輝度範囲、
平均輝度を含む範囲よりも高輝度または低輝度の範囲内の平均の輝度を含む輝度範囲、
画像信号内で定常的に同一の被写体が撮像されていると思われる画像部分や、画像の主な部分を占めると思われる被写体が撮像されていると思われる画像部分を基に定められる輝度範囲、
撮像された画像内で一定以上の画素数を有する輝度を含む輝度範囲、
ユーザによって予め定められた輝度範囲、
などであり、これらは、ユーザにとって必要な、例えば、表示されたときや印刷出力されたときに認識しやすい状態で表示または印刷されるように、多くの階調を割り当てるべき輝度領域である。

したがって、複雑な処理を行うことなく、ユーザにとって認識しやすい広ダイナミックレンジの画像を得ることができることができる。

本発明によれば、撮像された画像信号を表示または出力のために処理することができ、特に、複雑な処理を行うことなく、ユーザにとって認識しやすい広ダイナミックレンジの画像を得ることができる。

従来の広ダイナミックレンジカメラの動作原理を示す図である。 本発明の画像処理システムの一実施の形態を示すブロック図である。 図２の撮像装置の一実施の形態を示すブロック図である。 対数変換型撮像素子などの感度特性を示すグラフである。 画像生成部の第１の構成例を示すブロック図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 画像表示処理１について説明するためのフローチャートである。 表示画像の差異について説明するための図である。 表示画像の差異について説明するための図である。 表示画像の差異について説明するための図である。 表示画像について説明するための図である。 画像生成部の第２の構成例を示すブロック図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 画像表示処理２について説明するためのフローチャートである。 表示画像について説明するための図である。 表示画像について説明するための図である。 画像生成部の第３の構成例を示すブロック図である。 画像生成部の第４の構成例を示すブロック図である。 切り出し領域について説明するための図である。 画像表示処理３について説明するためのフローチャートである。 画像生成部の第５の構成例を示すブロック図である。 画像表示処理４について説明するためのフローチャートである。 画像生成部の第６の構成例を示すブロック図である。 画像生成部の第７の構成例を示すブロック図である。 ヒストグラムの解析と輝度範囲の設定について説明するための図である。 画像表示処理５について説明するためのフローチャートである。 画像生成部の第８の構成例を示すブロック図である。 画像表示処理６について説明するためのフローチャートである。 画像生成部の第９の構成例を示すブロック図である。 ヒストグラムの解析と輝度範囲の設定について説明するための図である。 画像表示処理７について説明するためのフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

８１ 画像処理装置
９１ 撮像部
９３ 画像生成部
９４ 表示制御部
１０２ 対数変換型撮像素子
１３１ 平均輝度算出部
１３２ 主要領域輝度範囲設定部
１３３ 第２の輝度領域輝度平均値算出部
１３４ 第２の輝度領域輝度範囲設定部
１３５ 出力レベル変換処理部
２０１ 主要領域切り出し部
２０２ 主要領域輝度平均値算出部
２２１ 領域
２５１ ヒストグラム解析部
２５２ 閾値比較処理部
２５３ 複数段階輝度範囲設定部

以下、図を参照して、本発明の実施の形態について説明する。

図２は、画像処理装置８１の一実施の形態を示すブロック図である。

撮像部９１は、操作入力部９２から供給されるユーザの操作入力に基づいて、被写体を撮像し、得られた画像信号を画像生成部９３に供給する。撮像部９１の詳細については、図３を用いて後述する。

操作入力部９２は、例えば、リレーズボタンなどのボタン、操作キー、タッチパネルなどの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮像部９１に供給する。ユーザの操作入力は、例えば、撮像タイミングの指令（リレーズボタンの押下など）のみならず、例えば、動画像の撮像（換言すれば、連続したフレームの撮像）の開始または終了の指令である場合などもあり、更に、撮像開始または終了の時刻の設定などである場合もある。また、操作入力部９２は、ユーザにより、画像生成部９３の処理に用いられる所定の設定値の入力を受けた場合、その設定値を画像生成部９３に供給する。

画像生成部９３は、撮像部９１から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行し、表示制御部９４または出力制御部９５に供給する。また、画像生成部９３は、操作入力部９２から、必要に応じて、処理に必要な設定値の入力を受け、これを基に、撮像部９１から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行する。

表示制御部９４は、画像生成部９３から供給された処理済の画像信号を、ディスプレイ８２の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ８２に供給する。

出力制御部９５は、画像生成部９３から供給された処理済の画像信号を、例えば、プリンタなど、出力先の機器が処理可能な解像度や階調数に変換する処理を行い、処理済の信号を、図示しないプリンタなどの外部機器に出力する。

ディスプレイ８２は、例えば、表示制御部９４から供給された表示画像信号の入力を受け、画像（静止画像または、複数フレームよりなる動画像）を表示する。

図３は、図２の画像処理装置８１の撮像部９１の更に詳細な構成例を示すブロック図である。撮像部９１は、レンズ１０１、および対数変換型撮像素子１０２を含むように構成される。対数変換型撮像素子１０２は、例えば、ＨＤＲＣ（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１１１、対数変換部１１２、Ａ／Ｄ変換部１１３、および撮像タイミング制御部１１４を含むように構成される。

撮像部９１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１０１に入射し、対数変換型撮像素子１０２の光検出部１１１の図示せぬ光検出面に結像する。

光検出部１１１は、例えば、複数のフォトダイオードなどからなる受光素子などにより構成される。光検出部１１１は、レンズ１０１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。

対数変換部１１２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１１２は、生成したアナログの電気信号をＡ／Ｄ変換部１１３に供給する。

Ａ／Ｄ変換部１１３は、撮像タイミング制御部１１４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにＡ／Ｄ変換する。例えば、２４bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２24−１の範囲の値をとる。Ａ／Ｄ変換部１１３は、変換したデジタルの画像データを画像処理装置９２に供給する。

このように、撮像部９１は、光検出部１１１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。

なお、対数変換型撮像素子１０２の光検出部１１１においては、変換した電荷を蓄積せずに、そのまま対数変換部１１２に供給させるようにすることも可能である。

図４は、対数変換型撮像素子１０２、ＣＣＤ（Charge Coupled Device）撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図４の横軸は、入射する光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線１２１は対数変換型撮像素子１０２の感度特性を示し、線１２２はＣＣＤ撮像素子の感度特性を示し、線１２３は銀塩フィルムの感度特性を示し、線１２４は人の目の感度特性を示している。

対数変換型撮像素子１０２は、上述したように、入射光量の対数にほぼ比例した輝度値（あるいは画素値）からなる画像データを出力するので、入射光量が大きくなった場合でも、対数変換型撮像素子１０２を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値（あるいは画素値）を得ることができる。すなわち、CCD撮像素子、銀塩フィルム、および、人の目より広い、例えば、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで、被写体からの入射光量の強さをほぼ正確に反映した輝度値（あるいは画素値）からなる画像を撮像することができる。なお、撮像部９１に用いる対数変換型撮像素子１０２のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。

対数変換型撮像素子１０２は、上述したように、入射光量の対数にほぼ比例した値の画素値からなる画像データを出力することにより、対数変換型撮像素子１０２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、ＣＣＤ撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００ｋルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。

従って、対数変換型撮像素子１０２を用いた撮像部９１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタスピードなどを調整して入射光量を調整する必要がない。すなわち、撮像部９１は、入射光量を調整しなくても、被写体の詳細な輝度の変化を忠実に撮像することができる。

例えば、撮像部９１は、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、入射光量を調整せずに、太陽と前方の道路の状態を忠実に再現した画像を撮像することができる。また、撮像部９１は、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、入射光量を調整せずに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない部分までを忠実に再現した画像を撮像することができる。

また、ＣＣＤ撮像素子および銀塩フィルムが、線１２２および線１２３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子１０２では、感度特性が、入射光の照度の対数にほぼ比例する。

このように、対数変換型撮像素子１０２を用いた撮像部９１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像部９１により撮像された画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。

また、撮像部９１から出力される画像データの画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像データと２回目の画像データとの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log₁₀10）となる。一方、画像データの画素値が入射光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。

また、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log₁₀1.05）となる。一方、画像データの画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。

ところで、図４を用いて説明したように、対数変換型撮像素子１０２は、人の目の感度（図４の線１２４に示される特性）、ＣＣＤ撮像素子の感度（図４の線１２２に示される特性）、および、銀塩フィルムの感度（図４の線１２３に示される特性）と比較して、その輝度範囲が非常に広い。このため、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データの全階調を、ディスプレイ８２に対応した階調に変換して表示させた場合、人の目に見える像や、従来のＣＣＤ撮像素子または銀塩フィルムを用いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像になってしまう。

すなわち、対数変換型撮像素子１０２を用いた撮像部９１を用いることにより、非常に暗い部分も、非常に明るい部分も忠実に撮像されるのであるが、撮像された画像データを、ディスプレイ８２が表示可能な階調数を基に階調変換して表示させた場合、撮像されている非常に暗い部分も非常に明るい部分も、表示される画像を参照するユーザからは識別不可能になってしまい、更に、ユーザから識別可能な全体の階調の中央部分は、濃淡の差が少なくなった状態で表示されてしまう。同様に、プリンタなどの階調数にも限りがあるため、撮像された画像データを、出力先の機器が処理可能な階調数に変換してしまっては、印刷出力される画像は、同様に、人の目に見える像や、従来のＣＣＤ撮像素子または銀塩フィルムを用いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像になってしまう。

また、例えば、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像の輝度範囲の全体をディスプレイ８２が表示可能な階調に変換するのではなく、得られる輝度範囲のうち、得られた画像に含まれる画素の輝度値の最高値と最低値を抽出し、その間の輝度範囲をディスプレイ８２が表示可能な階調に変換するようにした場合、一枚の画像に含まれる輝度範囲が比較的狭いときに表示される画像の画質は明らかに向上する。しかしながら、１枚の撮像画像中に明るい部分と暗い部分が混在するような場合、やはり、撮像されている非常に暗い部分も非常に明るい部分も、表示される画像を参照するユーザからは識別不可能であり、ユーザから識別可能な全体の階調の中央部分の濃淡の差が少ない表示画像となってしまう。

そこで、画像生成部９３においては、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データの供給を受けて、ディスプレイ８２に対応した階調で表示させた場合、または、出力先の外部機器に対応した階調で出力させた場合であっても、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができるような画像処理が実行される。

図５は、図２の画像生成部９３の構成の第１の例である画像生成部９３−１の構成を示すブロック図である。

平均輝度算出部１３１は、撮像部９１から供給された画像信号を取得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部１３２に供給する。

主要領域輝度範囲設定部１３２は、平均輝度算出部１３１から供給された画像信号の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１３５、および、第２の輝度領域輝度平均値算出部１３３に供給する。

主要領域輝度範囲設定部１３２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。

第２の輝度領域輝度平均値算出部１３３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、第２の輝度領域輝度範囲設定部１３４に供給する。

第２の輝度領域輝度範囲設定部１３４は、第２の輝度領域輝度平均値算出部１３３から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１３５に供給する。

第２の輝度領域輝度範囲設定部１３４は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

出力レベル変換処理部１３５は、撮像部９１から供給された画像信号を取得して、主要領域輝度範囲設定部１３２、および、第２の輝度領域輝度平均値算出部１３３から供給された、主要領域の輝度範囲、および、第２の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。

具体的には、出力レベル変換処理部１３５は、入力される輝度信号のレベルに対して、所定のステップ数の出力レベル信号（輝度を所定の階調ステップ数で分割した場合のそれぞれの輝度階調レベルの信号）を割り当てて、割り当てられた出力レベルの信号を出力するようになされている。このとき、出力レベル変換処理部１８７は、出力レベル信号の輝度階調レベルの割り当てを、主要領域および第２の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、出力レベル変換処理部１８７は、主要領域および第２の輝度領域として設定されている輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の画素の階調数が多くなるような変換処理を実行する。このようにすることにより、表示または印刷出力される画像のうち、主要領域および第２の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるようになる。

出力レベル変換処理部１３５は、例えば、主要領域の輝度範囲と第２の輝度領域の輝度範囲に含まれる入力信号に対して、全ての階調ステップ数を分割して割り当て、それ以外の範囲、すなわち、主要領域より低輝度の範囲、主要領域と第２の輝度領域の間の輝度範囲、および、第２の輝度領域よりも高輝度となる範囲に対しては、出力レベルのステップ数を割り当てないようにすることができる。

このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、図６Ａに示されるように、主要領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは０（すなわち、真っ黒）となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域の輝度範囲に割り当てられた出力レベルの最大値で出力される。第２の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域の輝度範囲に割り当てられた出力レベルの最大値から、全体の出力レベルの最大値までの間の階調の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第２の輝度領域に割り当てられた出力レベルの最大値、すなわち、全体の出力レベルの最大値が割り当てられる。

また、出力レベル変換処理部１３５は、例えば、主要領域と第２の輝度領域に対して、出力レベルのうちの所定のステップ数を割り当てるとともに、主要領域と第２の輝度領域の間の輝度範囲に対しては、主要領域や第２の輝度領域に割り当てられたステップ数よりも少ないステップ数（換言すれば、主要領域や第２の輝度範囲よりも狭い階調幅）を割り当て、主要領域より低輝度の範囲、および、第２の輝度領域よりも高輝度の範囲に対しては、出力レベルのステップ数を割り当てないようにすることができる。

このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、例えば、図６Ｂに示されるように、主要領域の輝度範囲より低い輝度を有する画素の出力値は０となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素においては、主要領域の輝度範囲に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。第２の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域と第２の輝度領域の間の輝度範囲に割り当てられた出力レベルの最大値から全体の最大値となる階調までの間の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわらず、第２の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出力レベルが割り当てられる。

また、出力レベル変換処理部１３５は、例えば、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとし、主要領域または第２の輝度領域のうち、区間αまたは区間β以外の画素に対して、出力レベルのうちの所定のステップ数を割り当て、区間αまたは区間βに、主要領域および第２の輝度領域の区間αまたは区間β以外の部分に割り当てられたステップ数よりも少ないステップ数を割り当て、主要領域よりも低輝度および第２の輝度領域よりも高輝度の画素に対しては、出力レベルのステップ数を割り当てないようにすることができる。なお、このとき、主要領域と第２の輝度領域の間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素に対しては、区間αまたは区間βに割り当てられた出力レベルのステップ数よりも少ないステップ数を割り当てるようにしたり、ステップ数を割り当てないようにすることができる。

このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、例えば、図６Ｃに示されるように、主要領域の輝度範囲より低い輝度を有する画素の出力値は０となる。そして、主要領域の輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた出力レベルの最大値が割り当てられるようになされる。

また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における出力レベルの最大値より大きな所定の階調の出力レベルが、区間αと同一または略同等のステップ数で割り当てられる。そして、第２の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から全体の最大出力レベルまでの階調の出力レベルが割り当てられる。換言すれば、第２の輝度領域の輝度範囲内で区間β以外の画素には、主要領域のうちの区間α以外の部分と同一か略同じステップ数、すなわち、区間αおよび区間βよりも多くのステップ数の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわらず、第２の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出力レベルが割り当てられる。

なお、図６Ｃにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域の輝度範囲内の上限側の所定区間を区間α、第２の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域の輝度範囲の上限よりも高輝度の所定の区間を区間α、第２の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

また、図６においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて出力０（真っ黒）であるものとし、第２の輝度領域の輝度範囲以上の輝度を有する範囲の画素は、すべて、第２の輝度領域の輝度範囲の最高の輝度と同一の出力レベル（最大出力レベル）としたが、主要領域の輝度範囲以下、および、第２の輝度領域の輝度範囲以上のそれぞれの輝度範囲においても、ある程度の出力レベルのステップ数を割り当てることができるようにしても良い。

すなわち、出力レベル変換処理部１３５は、例えば、図７Ａに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域に割り当てられた出力レベルの最大値で出力される。第２の輝度領域内の画素には、入力レベルに応じて、主要領域に割り当てられた出力レベルの最大値から、所定の階調の出力レベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域や第２の輝度領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。

また、出力レベル変換処理部１３５は、例えば、図７Ｂに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素においては、主要領域に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。第２の輝度領域内の画素には、入力レベルに応じて、主要領域と第２の輝度領域の間の輝度範囲に割り当てられた出力レベルの最大値から所定の階調の出力レベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。

また、出力レベル変換処理部１３５は、例えば、図７Ｃに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた出力レベルの最大値が割り当てられるようになされる。

また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。そして、第２の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から所定の階調の出力レベルが、主要領域の区間α以外の輝度範囲と同一、または、略同等のステップ数で割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。

なお、図７Ｃにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域輝度範囲内の上限側の所定区間を区間α、第２の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域輝度範囲の上限よりも高輝度の所定の区間を区間α、第２の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

更に、出力レベル変換処理部１３５は、例えば、主要領域、および、第２の輝度領域における入力レベルに対する出力レベルの比率（直線の傾き）よりも、それらの輝度領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。

以上説明した様に、画像生成部９３−１において設定される主要領域と第２の輝度領域は、予め定められた輝度範囲ではなく、撮像された画像を基に設定されるものである。すなわち、画像生成部９３−１によって生成される画像は、撮像された画像全体のうち、例えば、画面の多くを占める被写体など、ユーザが画像を認識するために最も重要である輝度範囲と、その輝度範囲よりも高輝度の範囲の中で、特に多くを占めている輝度範囲において、限られた階調数のうちの多くを割り当てるようになされているものである。

図８を用いて、入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、表示される信号の輝度レベルについて説明する。

図８Ａは、図６Ａを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、表示または印刷などのために出力される信号の輝度レベルを示す図である。図８Ａに示される場合、離散した輝度範囲である主要領域と第２の輝度領域の信号において、それぞれの輝度階調幅（領域内の階調の最大値と最小値の間のステップ数）が充分与えられている状態で、連続した輝度階調に変換される。主要領域と第２の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。具体的には、例えば、ディスプレイ８２が、２５６階調で画像を表示することができるようになされている場合、表示制御部９４は、画像生成部９３−１から供給された信号、すなわち、出力レベル変換処理部１３５による階調変換後の信号を、２５６階調の信号に変換する。

図８Ｂは、図６Ｂを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、表示または印刷などのために出力される信号の輝度レベルを示す図である。図８Ｂに示される場合、主要領域と第２の輝度領域の間の領域には、主要領域と第２の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、主要領域と第２の輝度領域の間の領域のステップ数が少ない分、入力信号よりも輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域と第２の輝度領域の信号には、充分な輝度階調幅が与えられている。そして、変換後の信号が、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

図８Ｃは、図６Ｃを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、表示または印刷などのために出力される信号の輝度レベルを示す図である。図８Ｃに示される場合、主要領域と第２の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間αおよび区間βによってなだらかに変化させるように、すなわち、区間αおよび区間βにおいては、主要領域と第２の輝度領域よりも少ないステップ数の階調が与えられるようになされている。そのため、変換後の信号においては、主要領域と第２の輝度領域には、充分な輝度階調幅が与えられている状態で、入力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

次に、図９のフローチャートを参照して、図５を用いて説明した画像生成部９３−１が用いられている画像処理装置８１において実行される画像表示処理１について説明する。

ステップＳ１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−１に供給する。画像生成部９３−１は、撮像された画像信号を取得する。

ステップＳ２において、画像生成部９３−１の平均輝度算出部１３１は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ３において、主要領域輝度範囲設定部１３２は、平均輝度算出部１３１から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１３５、および、第２の輝度領域輝度平均値算出部１３３に供給する。

主要領域輝度範囲設定部１３２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。

ステップＳ４において、第２の輝度領域輝度平均値算出部１３３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第２の輝度領域輝度範囲設定部１３４に供給する。

ステップＳ５において、第２の輝度領域輝度範囲設定部１３４は、第２の輝度領域輝度平均値算出部１３３から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１３５に供給する。

第２の輝度領域輝度範囲設定部１３４は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

ステップＳ６において、出力レベル変換処理部１３５は、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲、および、第２の輝度領域輝度平均値算出部１３３により設定された第２の輝度領域の輝度範囲を基に、例えば、図６または図７を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ７において、出力レベル変換処理部１３５は、撮像部９１から供給された撮像画像の階調を、ステップＳ６において決定された変換特性に基づいて変換し、表示制御部９４に供給する。

ステップＳ８において、表示制御部９４は、供給された画像信号を、図８を用いて説明したように、表示素子に適合した階調に変換する。

ステップＳ９において、表示制御部９４は、表示素子に適した階調に変換された画像信号をディスプレイ８２に供給し、画像の表示を制御して、処理が終了される。

なお、ここでは、生成された画像をディスプレイ８２に表示させる処理について説明したが、生成された画像を出力制御部９５を介して図示しない外部の機器に出力させる場合には、ステップＳ１乃至ステップＳ７において基本的に同様の処理が実行され、画像信号が出力制御部９５に供給されて、出力先の機器において処理可能な階調に変換されて出力が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データをディスプレイ８２に対応した階調で表示させた場合、または、出力先の外部機器に対応した階調で出力させた場合であっても、広い輝度範囲に散らばって存在するユーザが必要とする画像情報を、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができる。

例えば、トンネル内のトンネル出口付近を走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示することができるようになされている場合、
（１）対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理せずに、そのままの階調特性で表示出力させる
（２）従来のＣＣＤカメラを有して通常の露光制御において撮像された画像を、合成等の処理を行うことなく表示出力させる
（３）対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理した後、表示出力させる
以上のそれぞれの条件において、図１０乃至図１２を参照して、表示画像の差異について説明する。

まず、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理しない場合の表示画像の例を図１０に示す。対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像は、白とび、または、黒つぶれを起こさないが、非常に広いダイナミクスレンジを、表示装置が処理可能な階調に変換するため、濃淡の差がない（シャープさのない）画像が表示されてしまう。

対数変換型撮像素子１０２により撮像される輝度幅が広いものであっても、一般的な表示デバイスにより表示可能な画像の階調数は、それらを忠実に表示することが可能なほど広いものではない。具体的には、例えば、路面の明るさを基準として露光されたＣＣＤで撮像された画像において異なる階調として表示される画素が、図１０における場合では、同一の階調、または、ＣＣＤを用いた場合よりも少ない階調数で表示されてしまう。

なお、対数変換型撮像素子１０２により撮像可能なダイナミクスレンジのうち、得られた撮像画像の輝度の最大値と最小値の間で階調変換を行うようになされていたとしても、１画面中の輝度の差が大きい場合（例えば、図１０の場合、トンネル内の路面と、トンネルの外のそれぞれの部分の輝度の差は非常に大きい）には、同様に、濃淡の差がない画像が表示されてしまう。

次に、従来のＣＣＤカメラにより通常の露光制御によって撮像された画像が表示される場合の表示画像の例を図１１に示す。例えば、ＣＣＤカメラの露光が、撮像される画像の多くの部分を占める、トンネル内の路面の明るさを基にして設定されたとき、図１１に示されるように、得られる画像のうち、トンネル内の路面よりも極端に明るいトンネルの外の画像は、白とびを起こしてしまう。なお、露光時間が非常に短く設定された場合、トンネル外の部分は、図１１に示されるように白とびを起こすことはないが、トンネル外の部分と比較して、輝度が大幅に低いトンネル内の部分に、黒つぶれが発生してしまい、表示画像の対応する部分の識別が困難となってしまう。

そして、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理した場合の表示画像の例を図１２に示す。このように、トンネル内のトンネル出口付近を走行している車の前面の画像が撮像された場合、車の前面の道路部分の輝度周辺が、主要領域の輝度範囲として設定される。そして、主要領域よりも高輝度の画素のうちの主な部分として、トンネル外の部分が、第２の輝度領域として設定される。すなわち、画像生成部９３−１を有する画像処理装置８１を用いた画像変換においては、撮像された画像のうち、トンネル内に対応する輝度範囲とトンネル外に対応する輝度範囲において、ユーザに認識しやすいような階調ステップ数が割り当てられる。したがって、画像生成部９３−１を有する画像処理装置８１を用いて処理した場合の表示画像は、図１０または図１１を用いて説明した場合よりも、撮像された画像のうちの主な部分（ここでは、車の全面の道路部分）と、それとは離散した輝度範囲のうちの主な部分（ここでは、トンネルの外の部分）が、ユーザにより認識しやすいように表示される。

このようにすることにより、広ダイナミックイレンジで撮像された画像のうち、ユーザが必要とする情報が、ユーザにより認識しやすいように、すなわち、充分な階調ステップ数が割り当てられて表示されるように変換される。

また、対数変換型撮像素子１０２を用いた場合、１回の撮像で、広ダイナミクスレンジの画像を得ることができる。したがって、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理した場合、従来のＣＣＤを用いて異なるシャッタ時間で撮像された画像を合成することなどにより広ダイナミクスレンジの画像を得るようになされている場合と比較して、特に、動画像のフレームレートを容易に高くすることができる。

また、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理することにより、例えば、図１３に示されるように、夜の街中を走行する車の前面の画像を撮像して、撮像された画像がディスプレイに表示されるようになされている場合においても、他の車のヘッドライトやテールランプ、または、街灯など、画面上の多くの部分の輝度値とは離散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起こすことなく、更に、ユーザが必要としている画像情報が、ヘッドライトやテールランプ、または、街灯などの高輝度の画素のために認識しにくくなることなく、充分な階調を割り当てられて表示されるようになされる。

以上説明した画像生成部９３−１は、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第２の輝度領域の輝度範囲の２つではない場合について説明する。

次に、図１４は、図２の画像生成部９３の構成の第２の例である画像生成部９３−２の構成を示すブロック図である。画像生成部９３−２は、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

なお、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図１４の画像生成部９３−２は、図５を用いて説明した画像生成部９３−１と基本的に同様の平均輝度算出部１３１、および、主要領域輝度範囲設定部１３２を有し、画像生成部９３−１の第２の輝度領域輝度平均値算出部１３３および第２の輝度領域輝度範囲設定部１３４が省略され、高輝度領域輝度平均値算出部１６１、高輝度領域輝度範囲設定部１６２、低輝度領域輝度平均値算出部１６３、および、低輝度領域輝度範囲設定部１６４が新たに設けられ、出力レベル変換処理部１３５に代わって、出力レベル変換処理部１６５が設けられている。

高輝度領域輝度平均値算出部１６１は、撮像部９１から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、高輝度領域輝度範囲設定部１６２に供給する。

高輝度領域輝度範囲設定部１６２は、高輝度領域輝度平均値算出部１６１から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域より高輝度である第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

高輝度領域輝度範囲設定部１６２は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

低輝度領域輝度平均値算出部１６３は、撮像部９１から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果を、低輝度領域輝度範囲設定部１６４に供給する。

低輝度領域輝度範囲設定部１６４は、低輝度領域輝度平均値算出部１６３から供給された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域より低輝度である第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

低輝度領域輝度範囲設定部１６４は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第３の域輝度範囲としても良い。

出力レベル変換処理部１６５は、撮像部９１から供給された画像信号を取得して、主要領域輝度範囲設定部１３２、高輝度領域輝度範囲設定部１６２、および、低輝度領域輝度範囲設定部１６４から供給された、主要領域の輝度範囲、第２の輝度領域の輝度範囲、および、第３の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。

具体的には、出力レベル変換処理部１６５は、例えば、図１５Ａに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、第３の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは０（すなわち、真っ黒）とされる。そして、第３の輝度領域内、主要領域内、および、第２の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、第３の輝度領域と主要領域の間の輝度範囲、および、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その範囲の直前に割り当てられた出力レベルで出力される。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。

また、出力レベル変換処理部１６５は、例えば、図１５Ｂに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、第３の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは０（すなわち、真っ黒）とされる。そして、第３の輝度領域内、主要領域内、および、第２の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、第３の輝度領域と主要領域の間の輝度範囲、および、主要領域と第２の輝度領域の間の輝度範囲の画素は、主要領域などに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。

また、出力レベル変換処理部１６５は、例えば、図１５Ｃに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、出力レベル変換処理部１６５は、例えば、第３の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとする。そして、第３の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは０（すなわち、真っ黒）とされる。第３の輝度領域内であり、区間α以外の画素、主要領域輝度の範囲内であり、区間βまたは区間γ以外の画素、および、第２の輝度領域の範囲内であり、区間δ以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間α、区間β、区間γ、および、区間δの画素には、主要領域輝度範囲などであって、区間α乃至区間δ以外の部分に割り当てられたステップ数よりも少ないステップ数の所定の階調の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。

なお、図１５Ｃにおいては、第３の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとしたが、例えば、第３の輝度領域内の上限側の所定の輝度範囲を区間α、主要領域内の下限側の所定の輝度範囲を区間β、主要領域内の上限側の所定の輝度範囲を区間γ、第２の輝度領域内の下限側の所定の輝度範囲を区間δとしたり、第３の輝度領域の上限よりも高輝度の所定の輝度範囲を区間α、主要領域の下限よりも低輝度の所定の輝度範囲を区間β、主要領域の上限よりも高輝度の所定の輝度範囲を区間γ、第２の輝度領域の下限よりも低輝度の所定の輝度範囲を区間δとするようにしても良い。更に、第３の輝度領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間α乃至区間δと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

また、図１５においては、第３の輝度領域よりも低輝度、および、第２の輝度領域よりも高輝度の範囲において、出力レベルのステップ数（階調のステップ数）を割り当てない場合について説明した。これに対して、出力レベル変換処理部１６５は、例えば、図７を用いて説明した場合と同様に、第３の輝度領域よりも低輝度、および、第２の輝度領域よりも高輝度の範囲においても、主要領域、第２の輝度領域、および、第３の輝度領域よりも少ないステップ数を割り当てるようにしてもよい。

更に、出力レベル変換処理部１６５は、例えば、主要領域、第２の輝度領域、および、第３の輝度領域における入力レベルに対する出力レベルの比率（直線の傾き）よりも、これらの領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。

次に、図１６を用いて、入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、表示される信号の輝度レベルについて説明する。

図１６Ａは、図１５Ａを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、表示または印刷などのために出力される信号の輝度レベルを示す図である。図１６Ａに示される場合、離散した輝度範囲である主要領域、第２の輝度領域、および第３の輝度領域の信号の輝度階調幅が充分与えられている状態で、連続した輝度階調に変換される。第３の輝度領域と主要領域の間の輝度範囲の画素は、全て、第３の輝度領域の最大出力レベルで出力され、主要領域と第２の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

図１６Ｂは、図１５Ｂを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、表示または印刷などのために出力される信号の輝度レベルを示す図である。図１６Ｂに示される場合、第３の輝度領域と主要領域の間、および、主要領域と第２の輝度領域の間の領域には、主要領域、第２の輝度領域、および第３の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、第３の輝度領域と主要領域の間、および、主要領域と第２の輝度領域の間の領域のステップ数が少ない分、入力信号よりも輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域、第２の輝度領域、および第３の輝度領域の信号の輝度階調幅は充分に与えられている。そして、変換後の信号が、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

図１６Ｃは、図１５Ｃを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、表示または印刷などのために出力される信号の輝度レベルを示す図である。図１６Ｃに示される場合、主要領域、第２の輝度領域、および第３の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間α乃至区間δによってなだらかに変化させるように、すなわち、区間α乃至区間δにおいては、主要領域、第２の輝度領域、および第３の輝度領域の区間α乃至区間δ以外の部分よりも少ないステップ数の階調が与えられるようになされている。そのため、変換後の信号においては、主要領域、第２の輝度領域、および第３の輝度領域に充分な輝度階調幅が与えられている状態で、入力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

次に、図１７のフローチャートを参照して、図１４の画像生成部９３−２を含む画像処理装置８１において実行される画像表示処理２について説明する。

ステップＳ３１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−２に供給する。画像生成部９３−２は、撮像された画像信号を取得する。

ステップＳ３２において、画像生成部９３−２の平均輝度算出部１３１は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ３３において、主要領域輝度範囲設定部１３２は、平均輝度算出部１３１から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１６５、高輝度領域輝度平均値算出部１６１、および、低輝度領域輝度平均値算出部１６３に供給する。

主要領域輝度範囲設定部１３２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。

ステップＳ３４において、高輝度領域輝度平均値算出部１６１は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝度範囲設定部１６２に供給する。

ステップＳ３５において、高輝度領域輝度範囲設定部１６２は、高輝度領域輝度平均値算出部１６１から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

高輝度領域輝度範囲設定部１６２は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

ステップＳ３６において、低輝度領域輝度平均値算出部１６３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度範囲設定部１６４に供給する。

ステップＳ３７において、低輝度領域輝度範囲設定部１６４は、低輝度領域輝度平均値算出部１６３から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

低輝度領域輝度範囲設定部１６４は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第３の域輝度範囲としても良い。

ステップＳ３８において、出力レベル変換処理部１６５は、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部１６２により設定された第２の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部１６４により設定された第３の輝度領域の輝度範囲を基に、例えば、図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ３９において、出力レベル変換処理部１６５は、撮像部９１から供給された撮像された画像の階調を、ステップＳ３９において決定された変換特性に基づいて変換し、表示制御部９４に供給する。

ステップＳ４０において、表示制御部９４は、供給された画像信号を、図１６を用いて説明したように、表示素子に適合した階調に変換する。

ステップＳ４１において、表示制御部９４は、表示素子に適した階調に変換された画像信号をディスプレイ８２に供給し、画像の表示を制御して、処理が終了される。

なお、ここでは、生成された画像をディスプレイ８２に表示させる処理について説明したが、生成された画像を出力制御部９５を介して図示しない外部の機器に出力させる場合には、ステップＳ３１乃至ステップＳ３９において基本的に同様の処理が実行され、画像信号が出力制御部９５に供給されて、出力先の機器において処理可能な階調に変換されて出力が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲に、特に、主な輝度範囲から離散した高輝度と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ８２に対応した階調で表示させたり、または、出力先の外部機器に対応した階調で出力させたときに、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができる。

図１４の画像生成部９３−２を含む画像処理装置８１により表示される画像は、具体的には、例えば、図１８に示されるように、撮像される画像のほとんどの部分が路面であり、その路面の輝度より非常に高輝度である空の部分が画角に含まれており、更に、路面の輝度より非常に低輝度である黒いスーツを着た人が画角に含まれている場合であっても、路面、空、黒いスーツを着た人のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。したがって、図１４の画像生成部９３−２を含む画像処理装置８１を用いることにより、空の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、黒いスーツを着た人がユーザから判別できないように黒くつぶれて表示されてしまうようなことを防ぐことが可能となる。

更に、同様にして、図１４の画像生成部９３−２を含む画像処理装置８１により表示される画像は、具体的には、例えば、図１９に示されるように、撮像される画像のほとんどの部分がトンネル内の暗い路面であり、その路面の輝度よりやや高輝度であるトンネル内の白い壁や、非常に高輝度であるトンネル外の部分が画角に含まれており、更に、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が画角に含まれている場合であっても、トンネル内の路面、トンネルの壁やトンネルの外、そして、トンネル内の黒い車のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。図１４の画像生成部９３−２を含む画像処理装置８１を用いることにより、トンネルの外の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、トンネル内の黒い車がユーザから判別できないように黒くつぶれて表示されてしまうようなことを防ぐことが可能となる。

更に、画像生成部９３においては、３つ以上の領域を設定して、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができるようにしても良い。

次に、図２０は、図２の画像生成部９３の構成の第３の例である画像生成部９３−３の構成を示すブロック図である。画像生成部９３−３は、主要領域の輝度範囲以外に、複数の輝度領域とそれらの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定されていない輝度範囲よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２０の画像生成部９３−３は、図５を用いて説明した画像生成部９３−１と基本的に同様の平均輝度算出部１３１、および、主要領域輝度範囲設定部１３２を有し、画像生成部９３−１の第２の輝度領域輝度平均値算出部１３３および第２の輝度領域輝度範囲設定部１３４が省略され、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、および、第４の輝度領域輝度範囲設定部１８６が新たに設けられ、出力レベル変換処理部１３５に代わって、出力レベル変換処理部１８７が設けられている。

第２の輝度領域輝度平均値算出部１８１は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より高輝度の範囲を更に２分割し、その最も高輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第２の輝度領域輝度範囲設定部１８２に供給する。

第２の輝度領域輝度範囲設定部１８２は、第２の輝度領域輝度平均値算出部１８１から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１８７に供給する。

第２の輝度領域輝度範囲設定部１８２は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

第３の輝度領域輝度平均値算出部１８３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より高輝度の範囲を更に２分割し、２分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第３の輝度領域輝度範囲設定部１８４に供給する。

第３の輝度領域輝度範囲設定部１８４は、第３の輝度領域輝度平均値算出部１８３から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１８７に供給する。

第３の輝度領域輝度範囲設定部１８４は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第３の域輝度範囲としても良い。

第４の輝度領域輝度平均値算出部１８５は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より低輝度の範囲を更に２分割し、２分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第４の輝度領域輝度範囲設定部１８６に供給する。

第４の輝度領域輝度範囲設定部１８６は、第４の輝度領域輝度平均値算出部１８５から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第４の輝度領域の輝度範囲を設定し、設定した第４の輝度領域の輝度範囲を出力レベル変換処理部１８７に供給する。

第４の輝度領域輝度範囲設定部１８６は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第４の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第４の域輝度範囲としても良い。

出力レベル変換処理部１８７は、撮像部９１から供給された画像信号を取得して、主要領域輝度範囲設定部１３２、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度範囲設定部１８４、および、第４の輝度領域輝度範囲設定部１８６から供給された、主要領域の輝度範囲、第２の輝度領域の輝度範囲、第３の輝度領域の輝度範囲および、第４の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。

出力レベル変換処理部１８７は、入力される輝度信号のレベルに対して、所定のステップ数の出力レベル信号（輝度を所定の階調ステップ数で分割した場合のそれぞれの輝度階調レベルの信号）を割り当てて、割り当てられた出力レベルの信号を出力するようになされている。出力レベル変換処理部１８７は、出力レベル信号の輝度階調レベルの割り当てを、例えば、図６、図７、または、図１５を用いて説明した場合と同様に、主要領域および他の領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、出力レベル変換処理部１８７は、主要領域および他の領域として設定されている輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できるような変換処理を実行する。

なお、図２０には、主要領域以外に、第２乃至第４の輝度領域を設定するための、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、および、第４の輝度領域輝度範囲設定部１８６が図示されているが、画像生成部９３−３には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。

また、図２０の画像生成部９３−３が実行する処理は、図１７を用いて説明した画像表示処理２の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。

以上説明した画像生成部９３−１乃至画像生成部９３−３は、撮像された画像の全体の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像のうち、予め定められた領域に含まれる画素の輝度の平均値を基に、主要領域を設定するようにしても良い。

図２１は、図２の画像生成部９３の構成の第４の例である画像生成部９３−４の構成を示すブロック図である。画像生成部９３−４は、撮像された画像のうち、予め定められた領域に含まれる画素を切り出し、切り出された領域の輝度の平均値を基に、主要領域を設定するようになされている。

なお、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２１の画像生成部９３−４は、平均輝度算出部１３１に代わって、主要領域切り出し部２０１および主要領域輝度平均値算出部２０２が設けられている以外は、基本的に、図５の画像生成部９３−１と同様の構成を有している。

主要領域切り出し部２０１は、撮像部９１から供給された画像信号を取得し、取得された画像信号のうち、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部２０２に供給する。

例えば、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、走行中に撮像されて表示される画像は常に変化する。上述したように、走行している車において撮像された画像全体の平均値を用いて主要領域を設定した場合、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、表示される画像全体の明るさが変更されてしまう。これにより、表示画面の主な部分を占める路面などの明るさが頻繁に変更され、運転者が感じる表示画像の明るさがちらついてしまう可能性がある。

そこで、主要領域切り出し部２０１により切り出される画像の領域を、図２２に示されるように、定常的に路面が撮像されると思われる、例えば、画面中央やや左よりの下部の領域２２１とする。切り出される領域を、定常的に同じものが撮像されると思われる領域とすることにより、表示される画像のうちの主な部分を占める路面の表示の明るさを、略一定にすることができるので、運転者が感じる表示画像の明るさが頻繁にちらつくことを防止することができる。

主要領域輝度平均値算出部２０２は、主要領域切り出し部２０１から供給された、切り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部１３２に供給する。

そして、図２１の画像生成部９３−４においては、主要領域輝度平均値算出部２０２により算出された、切り出された領域の平均輝度を基に、主要領域の輝度範囲が設定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の範囲の第２の輝度領域の輝度範囲が設定される。そして、出力レベル変換処理部１３５により、主要領域および第２の輝度領域として設定されている輝度範囲により多くの出力レベルのステップが割り当てられ、図６乃至図８を用いて説明した場合と同様に、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できるような変換処理が実行される。

次に、図２３のフローチャートを参照して、図２１の画像生成部９３−４が用いられている画像処理装置８１において実行される画像表示処理３について説明する。

ステップＳ７１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−４に供給する。画像生成部９３−４は、撮像された画像信号を取得する。

ステップＳ７２において、画像生成部９３−４の主要領域切り出し部２０１は、撮像部９１から供給された画像信号のうち、例えば、図２２を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部２０２に供給する。

ステップＳ７３において、主要領域輝度平均値算出部２０２は、主要領域切り出し部２０１から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ７４において、主要領域輝度範囲設定部１３２は、主要領域輝度平均値算出部２０２から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、第２の輝度領域輝度平均値算出部１３３および出力レベル変換処理部１３５に供給する。

そして、ステップＳ７５乃至ステップＳ８０において、図９のステップＳ２乃至ステップＳ９と基本的に同等の処理が実行される。

すなわち、第２の輝度領域輝度平均値算出部１３３は、撮像部９１から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第２の輝度領域輝度範囲設定部１３４は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定する。

そして、出力レベル変換処理部１３５は、主要領域輝度範囲、および、第２の輝度領域の輝度範囲を基に、例えば、図６または図７を用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部９１から供給された撮像画像の階調を、変換特性に基づいて変換し、表示制御部９４に供給する。表示制御部９４は、供給された画像信号を、図８を用いて説明したように、表示素子に適合した階調に変換し、変換された画像信号をディスプレイ８２に供給し、画像の表示を制御して、処理が終了される。

なお、ここでは、生成された画像をディスプレイ８２に表示させる処理について説明したが、生成された画像を出力制御部９５を介して図示しない外部の機器に出力させる場合には、ステップＳ７１乃至ステップＳ７８において基本的に同様の処理が実行され、画像信号が出力制御部９５に供給されて、出力先の機器において処理可能な階調に変換されて出力が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データをディスプレイ８２に対応した階調で表示させたい場合、または、出力先の外部機器に対応した階調で出力させたい場合であっても、広い輝度範囲に散らばって存在するユーザが必要とする画像情報を、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができる。更に、所定の領域を基準として、多くの階調が割り当てられる輝度範囲が設定されるので、特に、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止することができる。

以上説明した画像生成部９３−４は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第２の輝度領域の輝度範囲の２つではない場合について説明する。

次に、図２４は、図２の画像生成部９３の構成の第５の例である画像生成部９３−５の構成を示すブロック図である。画像生成部９３−５は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

なお、図１４または図２１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２４の画像生成部９３−５は、図２１を用いて説明した場合と同様の主要領域切り出し部２０１および主要領域輝度平均値算出部２０２を備えるとともに、図１４を用いて説明した場合と同様の、主要領域輝度範囲設定部１３２、高輝度領域輝度平均値算出部１６１、高輝度領域輝度範囲設定部１６２、低輝度領域輝度平均値算出部１６３、低輝度領域輝度範囲設定部１６４、および、出力レベル変換処理部１６５が設けられている。

図２４の画像生成部９３−５は、図２１を用いて説明した画像生成部９３−４と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図１４を用いて説明した画像生成部９３−２と同様にして、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、広ダイナミックレンジで撮像された撮像画像信号から、夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることにより、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しやすい状態で表示させるようにすることが可能となる。

図２５のフローチャートを参照して、図２４の画像生成部９３−５を含む画像処理装置８１において実行される画像表示処理４について説明する。

ステップＳ１０１乃至ステップＳ１０３において、図２３のステップＳ７１乃至ステップＳ７３と基本的に同様の処理が実行される。

すなわち、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−５に供給する。画像生成部９３−５は、撮像された画像信号を取得する。画像生成部９３−５の主要領域切り出し部２０１は、撮像部９１から供給された画像信号のうち、例えば、図２２を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部２０２に供給する。主要領域輝度平均値算出部２０２は、主要領域切り出し部２０１から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ１０４において、主要領域輝度範囲設定部１３２は、主要領域輝度平均値算出部２０２から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１６５、高輝度領域輝度平均値算出部１６１および、低輝度領域輝度平均値算出部１６３に供給する。

そして、ステップＳ１０５乃至ステップＳ１１２において、図１７のステップＳ３４乃至ステップＳ４１と基本的に同等の処理が実行される。

すなわち、高輝度領域輝度平均値算出部１６１は、撮像部９１から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度領域輝度範囲設定部１６２は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

そして、低輝度領域輝度平均値算出部１６３は、撮像部９１から供給された画像信号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域輝度範囲設定部１６４は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

そして、出力レベル変換処理部１６５は、設定された主要領域の輝度範囲、第２の輝度領域の輝度範囲、および、第３の輝度領域の輝度範囲を基に、例えば、図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部９１から供給された撮像された画像の階調を、決定された変換特性に基づいて変換し、表示制御部９４に供給する。表示制御部９４は、供給された画像信号を、図１６を用いて説明したように、表示素子に適合した階調に変換し、表示素子に適した階調に変換された画像信号をディスプレイ８２に供給し、画像の表示を制御して、処理が終了される。

なお、ここでも、生成された画像をディスプレイ８２に表示させる処理について説明したが、生成された画像を出力制御部９５を介して図示しない外部の機器に出力させる場合には、ステップＳ１０１乃至ステップＳ１１０において基本的に同様の処理が実行され、画像信号が出力制御部９５に供給されて、出力先の機器において処理可能な階調に変換されて出力が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲に、特に、主な輝度範囲から離散した高輝度と低輝度の領域のいずれも、ユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ８２に対応した階調で表示させたり、または、出力先の外部機器に対応した階調で出力させたときに、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができる。更に、所定の領域を基準として、多くの階調が割り当てられる３つの輝度領域が設定されるので、特に、動画像が表示される場合に表示画像の明るさが頻繁にちらつくことを防止することができる。

更に、画像生成部９３においては、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に、３つ以上の領域を設定するようにしても良い。そして、画像生成部９３は、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができる。

次に、図２６は、図２の画像生成部９３の構成の第６の例である画像生成部９３−６の構成を示すブロック図である。画像生成部９３−６は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、複数の輝度領域の対応する輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図２０または図２１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２６の画像生成部９３−６は、図２１を用いて説明した場合と同様の主要領域切り出し部２０１および主要領域輝度平均値算出部２０２が設けられているとともに、図２０を用いて説明した場合と同様の、主要領域輝度範囲設定部１３２、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、第４の輝度領域輝度範囲設定部１８６、および、出力レベル変換処理部１８７が設けられている。

図２６の画像生成部９３−６は、図２１を用いて説明した画像生成部９３−４と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図２０を用いて説明した画像生成部９３−３と同様にして、主要領域の輝度範囲以外に、複数の輝度領域のそれぞれの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図２６には、主要領域以外に、第２乃至第４の輝度領域を設定するための、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、および、第４の輝度領域輝度範囲設定部１８６が図示されているが、画像生成部９３−３には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。

また、図２６の画像生成部９３−６が実行する処理は、図２５を用いて説明した画像表示処理４の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。

以上説明した画像生成部９３−１乃至画像生成部９３−６は、撮像された画像の全体、または、所定の部分の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを作成し、これを解析することにより、複数の輝度範囲を設定して、設定された輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようにしても良い。

図２７は、図２の画像生成部９３の構成の第７の例である画像生成部９３−７の構成を示すブロック図である。画像生成部９３−７は、撮像された画像の各画素の輝度値のヒストグラムを解析し、解析結果を基に、複数の輝度範囲を設定するようになされている。

画像生成部９３−７は、ヒストグラム解析部２５１、閾値比較処理部２５２、複数段階輝度範囲設定部２５３、および、出力レベル変換処理部２５４により構成されている。

ヒストグラム解析部２５１は、撮像部９１から供給された画像信号を取得し、取得された画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部２５２に供給する。

閾値比較処理部２５２は、ヒストグラム解析部２５１から供給されたヒストグラムの解析結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比較する。換言すれば、閾値比較処理部２５２は、撮像された画像の輝度範囲のうち、一定数以上の画素数を持つものを抽出する。閾値比較処理部２５２は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部２５３に供給する。

ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ユーザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎてしまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図１０を用いて説明した、対数変換型撮像素子１０２を用いて撮像された広ダイナミクスレンジの画像を画像処理装置８１を用いて処理しない場合の表示画像のように、濃淡の差がない（シャープさのない）画像となってしまう。一方、閾値が高く設定されすぎてしまった場合、情報の取りこぼしが多くなってしまい、一部の輝度範囲のみが鮮明に表示されている画像となってしまう可能性がある。

複数段階輝度範囲設定部２５３は、閾値比較処理部２５２から供給される、画素数が閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理部２５４に供給する。複数段階輝度範囲設定部２５３により設定される輝度範囲の数は、閾値比較処理部２５２から供給される比較結果によって決まるが、例えば、その数の上限を予め定めておくようにしても良い。

出力レベル変換処理部２５４は、撮像部９１から供給された画像信号を取得して、複数段階輝度範囲設定部２５３から供給された、設定された輝度範囲の情報を基に、例えば、図６、図７、または、図１５を用いて説明した場合と基本的に同様にして、設定された輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、それ以外の輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数よりも多くなるようにして、取得した画像信号の出力レベルを変換する。

具体的には、画像生成部９３−７においては、図２８に示されるように、ヒストグラム解析部２５１により、撮像された画像の各画素の輝度値の分布を示すヒストグラムが解析されて、閾値比較処理部２５２において閾値と比較され、同一画像内（１フレーム内）に閾値以上の画素数を有する輝度が抽出される。そして、抽出された輝度を基に、複数段階輝度範囲設定部２５３において、複数の輝度範囲が設定されて、出力レベル変換処理部２５４において、その範囲内に階調ステップ数が優先的に割り当てられるように入力レベルに対する出力レベルの変換特性が求められるので、設定された輝度範囲それぞれの輝度階調幅が充分与えられるようになされている。そして、変換後の信号が、表示制御部９４または出力制御部９５において、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）され、表示、または、印刷などのために出力されるようになされている。

次に、図２９のフローチャートを参照して、図２７の画像生成部９３−７が用いられている画像処理装置８１において実行される画像表示処理５について説明する。

ステップＳ１４１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−７に供給する。画像生成部９３−７は、撮像された画像信号を取得する。

ステップＳ１４２において、画像生成部９３−７のヒストグラム解析部２５１は、撮像部９１から供給された画像信号を基に、撮像された画像の各画素の輝度の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部２５２に供給する。

ステップＳ１４３において、閾値比較処理部２５２は、ヒストグラム解析部２５１から供給されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部２５２は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部２５３に供給する。

ステップＳ１４４において、複数段階輝度範囲設定部２５３は、閾値比較処理部２５２から供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理部２５４に供給する

ステップＳ１４５において、出力レベル変換処理部２５４は、複数段階輝度範囲設定部２５３から供給された、設定された輝度範囲の情報を基に、例えば、図６、図７、または、図１５を用いて説明した場合と基本的に同様にして、入力レベルと出力レベルの変換特性を決定する。

ステップＳ１４６において、出力レベル変換処理部２５４は、入力レベルと出力レベルの変換特性を基に、設定された複数の輝度範囲に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、それ以外の輝度範囲に割り当てられる出力レベル信号の輝度階調レベルのステップ数よりも多くなるようにして、撮像部９１から供給された画像信号の出力レベルを変換し、表示制御部９４に供給する。

ステップＳ１４７において、表示制御部９４は、供給された画像信号を、図２８を用いて説明したように、表示素子に適合した階調に変換する。

ステップＳ１４８において、表示制御部９４は、表示素子に適した階調に変換された画像信号をディスプレイ８２に供給し、画像の表示を制御して、処理が終了される。

なお、ここでも、生成された画像をディスプレイ８２に表示させる処理について説明したが、生成された画像を出力制御部９５を介して図示しない外部の機器に出力させる場合には、ステップＳ１４１乃至ステップＳ１４６において基本的に同様の処理が実行され、画像信号が出力制御部９５に供給されて、出力先の機器において処理可能な階調に変換されて出力が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情報が存在するような場合であっても、図２７の画像生成部９３−７が用いられている画像処理装置８１を用いて画像を処理することにより、処理済の画像を、ディスプレイ８２に対応した階調で表示させたり、または、出力先の外部機器に対応した階調で出力させても、ユーザから識別可能な状態に表示または印刷出力させることができる。

以上説明した画像生成部９３−１乃至画像生成部９３−７においては、撮像された画像を基に、多くの階調ステップ数が割り当てられる輝度領域が設定されていた。これに対して、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくようにしても良い。例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっている場合、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことができる。これにより、処理を簡単にすることができ、装置のコストを下げることが可能となる。

図３０は、図２の画像生成部９３の構成の第８の例である画像生成部９３−８の構成を示すブロック図である。画像生成部９３−８は、多くの階調ステップ数が割り当てられる輝度領域が予め定められている場合に用いられる。

第１の輝度領域輝度範囲設定部２８１は、操作入力部９２から、第１の輝度領域の輝度範囲の設定値の入力を受け、第１の輝度範囲の設定値を、出力レベル変換処理部１８７に供給する。

第２の輝度領域輝度範囲設定部２８２は、操作入力部９２から、第２の輝度領域の輝度範囲の設定値の入力を受け、第２の輝度領域の輝度範囲の設定値を、出力レベル変換処理部１８７に供給する。

第３の輝度領域輝度範囲設定部２８３は、操作入力部９２から、第３の輝度領域の輝度範囲の設定値の入力を受け、第３の輝度領域の輝度範囲の設定値を、出力レベル変換処理部１８７に供給する。

出力レベル変換処理部１８７は、図２０の画像生成部９３−３における場合と基本的に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、撮像部９１から供給された画像信号を取得してその出力レベルを変換する。すなわち、出力レベル変換処理部１８７は、第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３から供給された、第１の輝度範囲、第２の輝度領域の輝度範囲、および第３の輝度領域の輝度範囲の情報を基に、撮像部９１から供給された画像信号の出力レベルを変換する。

なお、図３０には、第１乃至第３の輝度領域の輝度範囲を設定するための、第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３が図示されているが、画像生成部９３−８には、更に、多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度領域輝度範囲設定部を設けるようにしても良い。

次に、図３１のフローチャートを参照して、図３０の画像生成部９３−８が用いられている画像処理装置８１において実行される画像表示処理６について説明する。

ステップＳ１７１において、操作入力部９２は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、画像生成部９３−８に供給する。

ステップＳ１７２において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−８に供給する。画像生成部９３−８は、撮像された画像信号を取得する。

ステップＳ１７３において、画像生成部９３−８の第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３は、操作入力部９２から供給された複数の輝度範囲の設定値を取得し、出力レベル変換処理部１８７に供給する。

ステップＳ１７４において、出力レベル変換処理部１８７は、第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３から供給された複数の輝度範囲の設定値を基に、例えば、図６、図７、または図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ１７５において、出力レベル変換処理部１８７は、撮像部９１から供給された撮像画像の階調を、ステップＳ１７４において決定された変換特性に基づいて変換し、表示制御部９４に供給する。

ステップＳ１７６において、表示制御部９４は、供給された画像信号を、例えば、図８や図１６を用いて説明したように、表示素子に適合した階調に変換する。

ステップＳ１７７において、表示制御部９４は、表示素子に適した階調に変換された画像信号をディスプレイ８２に供給し、画像の表示を制御して、処理が終了される。

なお、ここでも、生成された画像をディスプレイ８２に表示させる処理について説明したが、生成された画像を出力制御部９５を介して図示しない外部の機器に出力させる場合には、ステップＳ１７１乃至ステップＳ１７５において基本的に同様の処理が実行され、画像信号が出力制御部９５に供給されて、出力先の機器において処理可能な階調に変換されて出力が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データをディスプレイ８２に対応した階調で表示させたい場合、または、出力先の外部機器に対応した階調で出力させたい場合であっても、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているのであれば、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことにより、簡単な処理で、ユーザが必要とする画像情報を、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができ、更に、装置のコストを下げることが可能となる。

また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めることができるようにしても良い。

図３２は、図２の画像生成部９３の構成の第９の例である画像生成部９３−９の構成を示すブロック図である。画像生成部９３−９は、予め定められた輝度領域の中で、ヒストグラム解析により一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めるようになされている。

なお、図２７または図３０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図３２の画像生成部９３−９は、図３０を用いて説明した画像生成部９３−８の第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３、並びに、出力レベル変換処理部１８７を備えている。更に、画像生成部９３−９には、それぞれから出力される輝度範囲の設定値を基に、ヒストグラムを解析して所定の閾値と比較するために、図２７を用いて説明した画像生成部９３−７に備えられていたヒストグラム解析部２５１および閾値比較処理部２５２と同様の処理を実行することができる、ヒストグラム解析部２５１−１乃至２５１−３および閾値比較処理部２５２−１乃至２５２−３が設けられている。

具体的には、画像生成部９３−９においては、図３３に示されるように、第１の輝度領域輝度範囲設定部２８１により設定される第１の範囲、第２の輝度領域輝度範囲設定部２８２により設定される第２の範囲、および、第３の輝度領域輝度範囲設定部２８３により設定される第３の範囲内のそれぞれにおいて、ヒストグラム解析部２５１−１乃至２５１−３により、撮像された画像の各画素の輝度値のヒストグラムが解析されて、閾値比較処理部２５２−１乃至２５２−３において閾値と比較され、所定の閾値以上の画素数を有する輝度が抽出される。

すなわち、第１の範囲、第２の範囲、および、第３の範囲以外の輝度範囲において、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優先的に割り当てられる輝度範囲には設定されない。

そして、抽出された輝度を基に、出力レベル変換処理部１８７において、その範囲内の画素に階調ステップ数が優先的に割り当てられて、設定された輝度範囲それぞれの輝度階調幅が充分与えられている状態で、連続した輝度階調に変換されるようになされている。そして、変換後の信号が、表示制御部９４または出力制御部９５において、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）され、表示、または、印刷などのために出力されるようになされている。

例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているが、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していないことがある。

このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。

次に、図３４のフローチャートを参照して、図３２の画像生成部９３−９が用いられている画像処理装置８１において実行される画像表示処理７について説明する。

ステップＳ２０１において、操作入力部９２は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、画像生成部９３−９に供給する。画像生成部９３−９は、撮像された画像信号を取得する。

ステップＳ２０２において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−９に供給する。

ステップＳ２０３において、画像生成部９３−９の第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３は、操作入力部９２から供給された複数の輝度範囲の設定値を取得し、ヒストグラム解析部２５１−１乃至２５１−３にそれぞれ供給する。

ステップＳ２０４において、ヒストグラム解析部２５１−１乃至２５１−３は、撮像部９１から供給された画像信号を基に、図３３を用いて説明したように、撮像された画像の第１乃至第３の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析し、解析結果を閾値比較処理部２５２−１乃至２５２−３に供給する。

ステップＳ２０５において、閾値比較処理部２５２−１乃至２５２−３は、ヒストグラム解析部２５１−１乃至２５１−３から供給された第１乃至第３の範囲内のヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部２５２−１乃至２５２−３は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を、出力レベル変換処理部１８７に供給する。

ステップＳ２０６において、出力レベル変換処理部１８７は、閾値比較処理部２５２−１乃至２５２−３から供給された輝度値を基に、多くの階調ステップ数が割り当てられる輝度範囲を設定する。

ステップＳ２０７において、出力レベル変換処理部１８７は、例えば、図６、図７、または図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ２０８において、出力レベル変換処理部１８７は、撮像部９１から供給された撮像画像の階調を、ステップＳ７４において決定された変換特性に基づいて変換し、表示制御部９４に供給する。

ステップＳ２０９において、表示制御部９４は、供給された画像信号を、例えば、図３３を用いて説明したように、表示素子に適合した階調に変換する。

ステップＳ２１０において、表示制御部９４は、表示素子に適した階調に変換された画像信号をディスプレイ８２に供給し、画像の表示を制御して、処理が終了される。

なお、ここでも、生成された画像をディスプレイ８２に表示させる処理について説明したが、生成された画像を出力制御部９５を介して図示しない外部の機器に出力させる場合には、ステップＳ２０１乃至ステップＳ２０８において基本的に同様の処理が実行され、画像信号が出力制御部９５に供給されて、出力先の機器において処理可能な階調に変換されて出力が制御される。

このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していない場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定しても、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。

以上説明したように、画像生成部９３−１乃至９３−９が用いられている画像処理装置８１においては、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲にユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ８２に対応した階調で表示させたり、または、出力先の外部機器に対応した階調で出力させたときに、ユーザが必要とする情報（例えば、暗い中の黒い物体や、暗いものと同一の画各内に存在する明るい部分など）を識別可能な状態に表示または印刷出力させることができるような画像データを生成することができる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２を用いて説明した画像処理装置８１のすべて、または、一部（例えば、画像生成部９３および表示制御部９４）は、図３５に示されるようなパーソナルコンピュータ３０１により構成される。

図３５において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、１つの装置が実行する処理が、複数の装置によって実現される場合であっても、本発明は適用可能であることは言うまでもない。

Claims (16)

1. 画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定手段であって、
   前記取得手段により取得された前記画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出手段と、
   前記第1の平均値算出手段により算出された前記輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定手段と、
   前記第1の輝度範囲設定手段により設定された前記第1の輝度範囲と異なる輝度範囲であり、かつ、前記第1の輝度範囲より高輝度の画素の輝度値の平均を算出し、算出した平均値を基に、前記第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定手段と
   を備える輝度範囲設定手段と、
   前記輝度範囲設定手段により設定された前記輝度範囲と前記輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、前記取得手段により取得された前記画像信号に含まれる画素の輝度を変換する変換手段と
   を備えることを特徴とする画像処理装置。
2. 画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定手段であって、
   前記取得手段により取得された前記画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出手段と、
   前記第1の平均値算出手段により算出された前記輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定手段と、
   前記第1の輝度範囲設定手段により設定された前記第1の輝度範囲と異なる輝度範囲であり、かつ、前記第1の輝度範囲より低輝度の画素の輝度値の平均を算出し、算出した平均値を基に、前記第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定手段と
   を備える輝度範囲設定手段と、
   前記輝度範囲設定手段により設定された前記輝度範囲と前記輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、前記取得手段により取得された前記画像信号に含まれる画素の輝度を変換する変換手段と
   を備えることを特徴とする画像処理装置。
3. 前記輝度範囲設定手段は、
   前記取得手段により取得された画素値のうち、前記画像信号の所定の画像領域に含まれる画素を抽出する抽出手段を
   更に備え、
   前記第１の平均値算出手段は、前記抽出手段により抽出された前記画像信号の前記所定の画像領域に含まれる画素の輝度値の平均値を算出する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記輝度範囲設定手段は、
   前記第1の輝度範囲設定手段により設定された前記第1の輝度範囲、および、前記第2の輝度範囲設定手段により設定された前記第2の輝度範囲と異なる範囲において、第3の輝度範囲を決定する第3の輝度範囲決定手段を
   更に備えることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記変換手段は、前記輝度範囲に、前記輝度範囲以外よりも多くの階調が割り当てられるように、前記取得手段により取得された前記画像信号に含まれる画素の輝度を変換する
   ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
6. 前記画像信号は、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものである
   ことを特徴とする請求項1または２に記載の画像処理装置。
7. 前記変換手段は、前記輝度範囲設定手段により設定された前記輝度範囲以外には、階調ステップ数が割り当てられないように、変換特性を設定する
   ことを特徴とする請求項1または２に記載の画像処理装置。
8. 前記変換手段は、
   前記輝度範囲設定手段により設定された前記輝度範囲の境界付近に中間領域を設定し、
   前記輝度範囲設定手段により設定された前記輝度範囲のうち前記中間領域を除いた部分の階調ステップ数が最も多く割り当てられ、
   前記中間領域の階調ステップ数が2番目に多く割り当てられ、
   前記輝度範囲設定手段により設定された前記輝度範囲以外であり、かつ、前記中間領域ではない部分の階調ステップ数が最も少なくなるように、変換特性を設定する
   ことを特徴とする請求項1または２に記載の画像処理装置。
9. 前記変換手段は、前記輝度範囲設定手段により設定された前記輝度範囲以外であり、かつ、前記中間領域ではない部分に、階調ステップ数が割り当てられないように、変換特性を設定する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 画像信号を処理する画像処理装置の画像処理方法において、
    前記画像信号を取得する取得ステップと、
    前記取得ステップの処理により取得された前記画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定ステップであって、
    前記取得ステップの処理により取得された前記画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出ステップと、
    前記第1の平均値算出ステップの処理により算出された前記輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定ステップと、
    前記第1の輝度範囲設定ステップの処理により設定された前記第1の輝度範囲と異なる輝度範囲であり、かつ、前記第1の輝度範囲より高輝度の画素の輝度値の平均を算出し、算出した平均値を基に、前記第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定ステップと
    を含む輝度範囲設定ステップと、
    前記輝度範囲設定ステップの処理により設定された前記輝度範囲と前記輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、前記取得ステップの処理により取得された前記画像信号に含まれる画素の輝度を変換する変換ステップと
    を含むことを特徴とする画像処理方法。
11. 画像信号を処理する画像処理装置の画像処理方法において、
    前記画像信号を取得する取得ステップと、
    前記取得ステップの処理により取得された前記画像信号の輝度範囲のうち、複数の輝度範囲を設定する輝度範囲設定ステップであって、
    前記取得ステップの処理により取得された前記画像信号に含まれる画素の輝度値の平均を算出する第1の平均値算出ステップと、
    前記第1の平均値算出ステップの処理により算出された前記輝度値の平均値を基に、第1の輝度範囲を設定する第1の輝度範囲設定ステップと、
    前記第1の輝度範囲設定ステップの処理により設定された前記第1の輝度範囲と異なる輝度範囲であり、かつ、前記第1の輝度範囲より低輝度の画素の輝度値の平均を算出し、算出した平均値を基に、前記第1の輝度範囲と異なる範囲において、第2の輝度範囲を決定する第2の輝度範囲決定ステップと
    を含む輝度範囲設定ステップと、
    前記輝度範囲設定ステップの処理により設定された前記輝度範囲と前記輝度範囲以外とで、輝度の階調ステップ数の割り当てが異なるように、前記取得ステップの処理により取得された前記画像信号に含まれる画素の輝度を変換する変換ステップと
    を含むことを特徴とする画像処理方法。
12. 前記輝度範囲設定ステップは、
    前記取得手段により取得された画素値のうち、前記画像信号の所定の画像領域に含まれる画素を抽出する抽出ステップを
    更に含み、
    前記第１の平均値算出ステップにおいて、前記抽出ステップの処理により抽出された前記画像信号の前記所定の画像領域に含まれる画素の輝度値の平均値を算出する
    ことを特徴とする請求項１０または１１に記載の画像処理方法。
13. 前記輝度範囲設定ステップは、
    前記第1の輝度範囲設定手段により設定された前記第1の輝度範囲、および、前記第2の輝度範囲設定手段により設定された前記第2の輝度範囲と異なる範囲において、第3の輝度範囲を決定する第3の輝度範囲決定ステップを
    更に含むことを特徴とする請求項１０乃至１２のいずれかに記載の画像処理方法。
14. 前記画像信号は、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものである
    ことを特徴とする請求項１０乃至１３のいずれかに記載の画像処理方法。
15. 請求項１０乃至１４のいずれかに記載の画像処理方法の処理をコンピュータに実行させるためのプログラム。
16. 請求項１５に記載のプログラムを記録した記録媒体。

Images