JP4736792B2 - 撮像装置及びそれに用いる画像処理方法 - Google Patents

Description

本発明は、入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性などの複数の異なる領域を有する、より詳しくは、高輝度領域における入射光量に対する変化の度合いが低輝度領域のそれよりも小さい光電変換特性を有する撮像センサを用いた撮像装置であり、特に、当該撮像センサの撮像により得られた画像に対する画像処理方法、及びこの画像処理方法を適用する撮像装置に関するものである。

近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲（明るさの範囲）、すなわちダイナミックレンジを拡大させることが１つの大きなテーマとなっている。このダイナミックレンジの拡大に関し、例えば、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、ＭＯＳＦＥＴ等を備えた対数変換回路を付加し、ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が線形的に変換される領域と対数的に変換される領域とを有する撮像センサ、すなわち、線形特性領域及び対数特性領域をもつ光電変換特性を有する撮像センサが知られている（この撮像センサのことを「ＬＮ／ＬＯＧセンサ」ともいう。このＬＮ／ＬＯＧセンサから得られる線形特性領域及び対数特性領域を有した画像のことを線形／対数画像と表現する）。このＬＮ／ＬＯＧセンサは、上述のように入射光量に対して自然対数的に変換された出力が得られることから、線形特性領域だけの光電変換特性を有する撮像センサと比べてより広いダイナミックレンジが確保されるようになっている。ただし、当該広ダイナミックレンジ化が図られる反面、画像信号が対数圧縮されることで、特に対数特性領域でのコントラスト（階調）の低下を招いてしまうという不都合もある。

ところで、上記ＬＮ／ＬＯＧセンサのように撮像系の広ダイナミックレンジ化が進む一方、現状では表示系（例えばディスプレイ、モニタ）の広ダイナミックレンジ化は撮像系ほど進んでおらず、たとえ入力される画像のダイナミックレンジが拡大されたとしても、表示においてその効果を充分に反映できない可能性がある。また、広いダイナミックレンジをもつ画像（広ダイナミックレンジ画像）には、これまでよりも多くの情報量が含まれることになるが、この画像を従来と同様の方法で取り扱おうとすれば（伝送や蓄積をしようとすれば）、必然的にコストの増加を招いてしまう。したがって、この多くの情報量を含んだ画像のデータを有効に活用するためには、すなわち、広ダイナミックレンジ化が進んだ撮像系によって得られた画像を、広ダイナミックレンジ化が進んでいない表示系で（コスト増を抑えつつ）より高画質に表示させるためには、広ダイナミックレンジ画像における有益な情報を保持しつつ、全体のダイナミックレンジを圧縮させる必要がある。

このような背景において、例えば非特許文献１には、人間の視覚特性（明るさに対する色恒常性）に着目したＲｅｔｉｎｅｘ理論に基づいて考案された、入力画像から照明光強度に起因する成分（以降、照明成分という）を取り出し、この照明成分を圧縮することによって局所的なコントラストを保存したまま全体のダイナミックレンジを圧縮するという、ダイナミックレンジ圧縮（以降、ＤＲ圧縮という）技術（Multi-scale Retinex）が開示されている。

なお、上記色恒常性とは、各種物体から反射される光は、物体表面の反射率とそれを照射する照明光との積によって得られるが、実際に知覚される物体の色や明るさは、網膜上に投影される光の特性よりも表面反射率に大きく依存する、つまり人間の視覚系には、網膜上の画像から照明光の影響を差し引くメカニズムがあり、例えば太陽光下と白熱電球光下とにおける物体のスペクトルの変化は、照明光の変化によるものであって物体そのものの色の変化ではないというように知覚するものである。Ｒｅｔｉｎｅｘ理論は、この色恒常性の考えに基づいて、入力画像から照明成分を抽出してこれを減衰させ、視覚系が注目する表面反射率に起因する成分（以降、反射率成分という）を極力保存することでコントラスト性の高い画像再現を行うものである。
画像のダイナミックレンジ圧縮技術 画像ラボ（２００４．６）２４〜２８頁

ところで、上記非特許文献１に示すようなＤＲ圧縮技術を線形／対数画像に対して適用することで、ＬＮ／ＬＯＧセンサにより得られた広ダイナミックレンジ画像に対してコントラストが改善（向上）されるようにＤＲ圧縮を行い、線形／対数画像の表示系における画質改善（高画質化）を図り得る可能性がある。ただし、このＤＲ圧縮技術は、線形特性で光電変換された画像（線形特性画像）に対するものであり、ＬＮ／ＬＯＧセンサを用いた場合に得られる線形／対数画像に対しては何ら開示されていない。

このＤＲ圧縮技術を線形／対数画像に適用する場合、例えば以下（１）、（２）について考慮する必要がある。（１）：線形／対数画像に対して上記ＤＲ圧縮技術をそのまま適用すると、例えば図２３に示すように、光電変換特性９０１が光電変換特性９０２へと変化するように単に全体に亘って圧縮されてしまうことになり、対数特性部のコントラストはやや改善されるものの（線形特性部のコントラストはさらに強調されてしまう）、光電変換特性全体で見た場合の各特性領域のコントラストは（ＤＲ圧縮に依らず変化させた光電変換特性９０３と比べて）殆ど変化せず、対数特性領域における所望のコントラスト向上はなされていない。

（２）：図２４（ａ）に示すように、線形／対数画像における対数特性（画像）を一旦線形特性に変換して上記ＤＲ圧縮を適用する場合には、当該線形特性への変換に際して整数演算が行われ（例えば「４０．２」が「４０」となるように値の小数点以下が切り捨てられ）、変換後の線形特性９１１のコントラストが失われてしまうことになる。また、図２４（ｂ）に示すように、上述の線形特性でのコントラスト低下を招かないよう処理するべく対数特性９１２を線形特性に一旦変換する場合では、画像処理部におけるビット幅を、図２４（ａ）に示す線形／対数画像の場合よりも大きくする必要があり、その結果、装置のコスト増を招くことになる。

よって本発明は、線形／対数画像における線形特性領域など、入射光量に対する変化の度合いが異なる複数の領域を有する光電変換特性における、入射光量に対する変化の度合いが大きい領域でのコントラストを維持しつつ（コントラストが強調され過ぎたり失われてしまうことなく）対数特性領域など、入射光量に対する変化の度合いが小さい領域でのコントラストを改善（向上）することができ、ひいては撮影画像のディスプレイ系等に対する高画質表示（高画質化）を図ることが可能な撮像装置及びそれに用いる画像処理方法を提供することを目的とする。

本発明の請求項１に係る撮像装置は、所定の画像に対するダイナミックレンジ圧縮を行うことが可能に構成された撮像装置であって、入射光量に応じた電気信号を発生するとともに、入射光量に対して所定の割合で変化する電気信号が出力される第１領域と、入射光量に対する変化が前記第１領域よりも小さい電気信号が出力される第２領域とを含む光電変換特性を有する撮像センサと、前記撮像センサによる撮影画像である基画像から被写体表面に照射される照明成分を抽出する照明成分抽出手段と、前記基画像と前記照明成分とに基づいて被写体表面の反射率成分を決定する反射率成分決定手段と、前記照明成分に対するダイナミックレンジ圧縮を行う圧縮手段と、前記圧縮手段によりダイナミックレンジ圧縮が行われた照明成分と前記反射率成分決定手段により決定された反射率成分とに基づいて前記基画像に対する新たな画像を生成する画像生成手段とを備え、前記圧縮手段は、基画像における少なくとも前記第２領域の照明成分をダイナミックレンジ圧縮し、前記照明成分抽出手段は、前記第２領域の照明成分抽出時に該第２領域近傍の第１領域の画像情報を用いることを特徴とする。

上記構成によれば、照明成分抽出手段によって、第１領域及び第２領域とを含む光電変換特性を有する撮像センサによって得られる撮影画像である基画像から照明成分が抽出され、反射率成分決定手段によって基画像と照明成分とに基づいて反射率成分が決定される。そして、圧縮手段によって基画像における少なくとも第２領域の照明成分に対するダイナミックレンジ圧縮が行われ、画像生成手段によって、当該ダイナミックレンジ圧縮が行われた照明成分と反射率成分とに基づいて基画像に対する新たな画像が生成されるため、撮像センサ（ＬＮ／ＬＯＧセンサ）により得られる撮影画像（線形／対数画像）における少なくとも第２領域の画像（照明成分）に対してはＤＲ圧縮が行われることになり、よって、この撮影画像における第１領域でのコントラストを維持しつつ（即ち第１領域に対してはＤＲ圧縮を施さず、或いはＤＲ圧縮を施したとしても所定の方法でコントラストを維持し、第１領域でのコントラストが強調され過ぎたり失われてしまわないようにして）、第２領域におけるコントラストを改善（向上）することが可能となり、ひいては撮影画像のディスプレイ系等に対する高画質表示（高画質化；画質改善）が可能となる。

また、請求項１に係る撮像装置は、前記照明成分抽出手段は、前記第２領域の照明成分抽出時に該第２領域近傍の第１領域の画像情報を用いることを特徴とする。このように、照明成分抽出手段による第２領域の照明成分抽出時に、該第２領域近傍の第１領域の画像情報が用いられるため、撮影画像（線形／対数画像）に対するＤＲ圧縮処理を行うに際して、この第１領域の画像情報を利用して第１領域と第２領域との境界に発生する擬似輪郭を緩和する（或いは擬似輪郭の発生を防止する）ための処理を行うことが容易となる。

請求項２に係る撮像装置は、請求項１において、前記照明成分抽出手段は、第２領域と、第１領域の一部分である部分第１領域との照明成分を抽出し、前記圧縮手段は、当該第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮を行い、前記画像生成手段は、前記第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮が施された圧縮画像と前記基画像とに基づいて、該圧縮画像と基画像との第１領域における重複部分に所定の合成処理が施されてなる新たな画像を生成することを特徴とする。この構成によれば、照明成分抽出手段により抽出された第２領域及び部分第１領域の照明成分に対するＤＲ圧縮が圧縮手段によって行われるため、すなわち第１領域の一部も第２領域と一緒にＤＲ圧縮されるため、ＤＲ圧縮時の第２領域と第１領域との境界に発生する擬似輪郭を緩和（防止）することができる。また、当該圧縮画像と基画像とから新たな画像を生成（合成）するに際して、基画像の圧縮画像に対する部分だけそのまま単に入れ替えるというのではなく、当該重複部分を設定してこの部分で所定の合成処理を行い、基画像（第１領域部）と圧縮画像（第２領域部）とを好適に（例えば滑らかに）接続することができる。

請求項３に係る撮像装置は、請求項２において、前記重複部分における合成処理は、所定の重み付け平均処理であることを特徴とする。この構成によれば、所定の重み付け平均処理によって重複部分の合成処理が行われるため、簡易な方法でかつ精度良く（滑らかに）この重複部分の画像同士（基画像及び圧縮画像）を接続することができる。

請求項４に係る画像処理方法は、所定の画像に対するダイナミックレンジ圧縮を行うことが可能とされた画像処理方法であって、入射光量に応じた電気信号を発生するとともに、その光電変換特性が入射光量に対して所定の割合で変化する電気信号が出力される第１領域と、入射光量に対する変化が前記第１領域よりも小さい電気信号が出力される第２領域とを備える撮像センサによる撮影画像である基画像から、被写体表面に照射される照明成分を抽出する第１の工程と、前記基画像と前記照明成分とに基づいて被写体表面の反射率成分を決定する第２の工程と、前記照明成分に対するダイナミックレンジ圧縮を行う第３の工程と、前記ダイナミックレンジ圧縮が行われた照明成分と前記決定された反射率成分とに基づいて、前記基画像に対する新たな画像を生成する第４の工程とを有し、前記第３の工程は、前記基画像における少なくとも第２領域の照明成分をダイナミックレンジ圧縮する工程であり、前記第１の工程において、前記第２領域の照明成分抽出時に該第２領域近傍の第１領域の画像情報を用いることを特徴とする。

上記構成によれば、第１の工程において、第１領域及び第２領域からなる光電変換特性を有する撮像センサによって得られる撮影画像である基画像から照明成分が抽出され、第２の工程において、基画像と照明成分とに基づいて反射率成分が決定される。そして、第３の工程において、基画像における少なくとも第２領域の照明成分に対するダイナミックレンジ圧縮が行われ、第４の工程において、当該ダイナミックレンジ圧縮が行われた照明成分と反射率成分とに基づいて基画像に対する新たな画像が生成されるため、撮像センサ（ＬＮ／ＬＯＧセンサ）により得られる撮影画像（線形／対数画像）における少なくとも第２領域の画像（照明成分）に対してはＤＲ圧縮が行われることになり、よって、この撮影画像における第１領域でのコントラストを維持しつつ（即ち第１領域に対してはＤＲ圧縮を施さず、或いはＤＲ圧縮を施したとしても所定の方法でコントラストを維持し、第１領域でのコントラストが強調され過ぎたり失われてしまわないようにして）、第２領域におけるコントラストを改善（向上）することが可能となり、ひいては撮影画像のディスプレイ系等に対する高画質表示（高画質化；画質改善）が可能となる。

また、請求項４に係る画像処理方法は、前記第１の工程において、前記第２領域の照明成分抽出時に該第２領域近傍の第１領域の画像情報を用いることを特徴とする。この構成によれば、第２領域の照明成分抽出時に、該第２領域近傍の第１領域の画像情報が用いられるため、撮影画像（線形／対数画像）に対するＤＲ圧縮処理を行うに際して、この第１領域の画像情報を利用して、第１領域と第２領域との境界に発生する擬似輪郭を緩和する（或いは擬似輪郭の発生を防止する）ための処理を行うことが容易となる。

請求項５に係る画像処理方法は、請求項４において、前記第１の工程において、前記第２領域と第１領域の一部分である部分第１領域との照明成分を抽出し、前記第３の工程において、前記第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮を行い、前記第４の工程において、前記第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮が施された圧縮画像と前記基画像とに基づいて、該圧縮画像と基画像との第１領域における重複部分に所定の合成処理が施されてなる新たな画像を生成することを特徴とする。この構成によれば、抽出された第２領域及び部分第１領域の照明成分に対するＤＲ圧縮が行われるため、すなわち第１領域の一部も第２領域と一緒にＤＲ圧縮されるため、ＤＲ圧縮時の第２領域と第１領域との境界に発生する擬似輪郭を緩和（防止）することができる。また、圧縮画像と基画像とから新たな画像を生成（合成）するに際して、基画像の圧縮画像に対する部分だけそのまま単に入れ替えるというのではなく、当該重複部分を設定してこの部分で所定の合成処理を行い、基画像（第１領域部）と圧縮画像（第１領域部）とを好適に（例えば滑らかに）接続することができる。

請求項１に係る撮像装置によれば、撮像センサにより得られる撮影画像（線形／対数画像）における少なくとも第２領域の画像（照明成分）に対してＤＲ圧縮が行われるため、この撮影画像における第１領域でのコントラストを維持しつつ第２領域におけるコントラストを改善（向上）することが可能となり、ひいては撮影画像のディスプレイ系等に対する高画質表示（高画質化；画質改善）が可能となる。

また、請求項１に係る撮像装置によれば、照明成分抽出手段による第２領域の照明成分抽出時に、該第２領域近傍の第１領域の画像情報が用いられるため、撮影画像（線形／対数画像）に対するＤＲ圧縮処理を行うに際して、この第１領域の画像情報を利用して第１領域と第２領域との境界に発生する擬似輪郭を緩和する（或いは擬似輪郭の発生を防止する）ための処理を行うことが容易となる。

請求項２に係る撮像装置によれば、第１領域の一部も第２領域と一緒にＤＲ圧縮されるため、ＤＲ圧縮時の第２領域と第１領域との境界に発生する擬似輪郭を緩和（防止）することができる。また、当該圧縮画像と基画像とから新たな画像を生成（合成）するに際して、基画像の圧縮画像に対する部分だけそのまま単に入れ替えるというのではなく、当該重複部分を設定してこの部分で所定の合成処理を行い、基画像（第１領域部）と圧縮画像（第２領域部）とを好適に（例えば滑らかに）接続することができる。

請求項３に係る撮像装置によれば、所定の重み付け平均処理によって重複部分の合成処理が行われるため、簡易な方法でかつ精度良く（滑らかに）この重複部分の画像同士（基画像及び圧縮画像）を接続することができる。

請求項４に係る画像処理方法によれば、撮像センサにより得られる撮影画像（線形／対数画像）における少なくとも第２領域の画像（照明成分）に対してＤＲ圧縮が行われるため、この撮影画像における第１領域でのコントラストを維持しつつ第２領域におけるコントラストを改善（向上）することが可能となり、ひいては撮影画像のディスプレイ系等に対する高画質表示（高画質化；画質改善）が可能となる。

また、請求項４に係る画像処理方法によれば、第２領域の照明成分抽出時に、該第２領域近傍の第１領域の画像情報が用いられるため、撮影画像（線形／対数画像）に対するＤＲ圧縮処理を行うに際して、この第１領域の画像情報を利用して、第１領域と第２領域との境界に発生する擬似輪郭を緩和する（或いは擬似輪郭の発生を防止する）ための処理を行うことが容易となる。

請求項５に係る画像処理方法によれば、第１領域の一部も第２領域と一緒にＤＲ圧縮されるため、ＤＲ圧縮時の第２領域と第１領域との境界に発生する擬似輪郭を緩和（防止）することができる。また、圧縮画像と基画像とから新たな画像を生成（合成）するに際して、基画像の圧縮画像に対する部分だけそのまま単に入れ替えるというのではなく、当該重複部分を設定してこの部分で所定の合成処理を行い、基画像（第１領域部）と圧縮画像（第１領域部）とを好適に（例えば滑らかに）接続することができる。

以下、図面に基づいて、本発明の実施形態につき説明する。
（実施形態１）
（撮像装置の外観構造の説明）
図１は、本発明の実施形態１に係る撮像装置が好適に適用される小型のデジタルカメラ１の外観を示す図であり、（ａ）はその上面図、（ｂ）は正面図、（ｃ）は背面図をそれぞれ示している。このデジタルカメラ１は、カメラ本体ボディ１０の頂面に電源スイッチ１０１及びレリーズスイッチ１０２等が、正面側にフラッシュ発光部１０３及び撮影レンズ窓１０４等が、また背面側にモード設定スイッチ１０５、選択決定スイッチ１０６などの各種の操作ボタンや液晶モニター（ＬＣＤ）からなるＬＣＤ表示部１０７等が配置されている。本体ボディ１０の内部には、各種本体機器のほか、屈曲型の鏡胴２０が配置されている。

電源スイッチ１０１は、カメラ１の電源をＯＮ（起動）、ＯＦＦ（起動停止）するための押下スイッチであり、押下動作によりカメラ電源のＯＮ、ＯＦＦが順次繰り返される。またモード設定スイッチ１０５は、静止画を撮影する静止画撮影モードと、動画を撮影する動画撮影モードとの２つのモードを設定するためのものである。

レリーズスイッチ１０２は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。例えば前記静止画撮影モードにおいて、レリーズスイッチ１０２が半押しされると、被写体の静止画を撮影するための準備動作（自動露出制御や自動焦点制御等の準備動作）が実行され、レリーズスイッチ１０２が全押しされると、撮影動作（後述する撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作）が実行される。また、動画撮影モードにおいて、レリーズスイッチ１０２が全押しされると所定の動画撮影動作が実行され、再度レリーズスイッチ１０２が全押しされると動画撮影動作が終了される。

ところで、上記に露出制御という言葉を用いたが、ここで、本発明で言う露出制御（以下、適宜「ＡＥ制御」という）の概念に関する定義について、図２２を用いて説明しておく。いわゆる銀塩カメラと異なり、デジタルカメラやデジタルムービィ等の撮像装置においては、ＡＥ制御のための制御要素としては、撮像センサの光電変換特性に関連づけて（光電変換特性を作為的に変化させて）制御する方法と、撮像センサの撮像面に届く光の総量と光電変換後の光電変換電流の積分時間を調整する方法とがある。本明細書では、前者を「ダイナミックレンジ制御」と呼び、後者を「露光量制御」と呼ぶものとする。なお、前記「ダイナミックレンジ制御」は、例えば撮像センサの線形特性領域と対数特性領域との切り替わり点（以下、変曲点という）を制御することで実行される。また、前記「露光量制御」は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサに対するリセット動作の制御による電荷の積分時間制御により実行される。

選択決定スイッチ１０６は、例えば円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とがそれぞれ検出されるようになっている。選択決定スイッチ１０６は多機能化されており、例えばＬＣＤ表示部１０６に表示される撮影シーン設定のためのメニュー画面において選択された項目を変更するための、具体的には複数のサムネイル画像が配列表示されるインデックス画面において選択された再生対象のコマを変更するための操作スイッチとして機能する。また、選択決定スイッチ１０６は、撮影画像の画像処理（画質調整）に関する設定、ここでは後述の階調変換部４０９における画像分割抽出処理に関する分割パラメータθの設定（変更）を行うスイッチとしての機能も備えている。さらに選択決定スイッチ１０６は、後述のズームレンズの焦点距離を変更するためのズームスイッチとして機能させることもできる。

フラッシュ発光部１０３は、例えばレリーズスイッチ１０２が半押しされている状態（静止画撮影モード）において、被写体像が暗い場合に発光して被写体を照明する。撮影レンズ窓１０４は、被写体の光学像を本体ボディ１０の内部に配置された屈曲型鏡胴２０へ取り入れるための開口部である。またＬＣＤ表示部１０７は、内蔵する記録媒体に記録された記録画像を再生表示させたり、撮影待機中や動画撮影モードにおいてビデオ撮影された被写体のスルー画像（ライブビュー画像）を表示させたりするものである。

屈曲型の鏡胴２０は、撮影レンズ窓１０４を通して被写体像を取り入れ、本体ボディ１０の内部に配置されている撮像センサ３０へ導く撮影レンズ系を構成するものである。この鏡胴２０は、ズーミングやフォーカシング駆動時においてもその長さの変動しない、つまり本体ボディ１０から外部に突出することのない鏡胴である。この鏡胴２０の内部には、光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロックからなる撮影光学系を構成するレンズ群２１（図２参照）と、このレンズ群２１の適所に配置される絞り２２とが備えられている。さらにレンズ群２１の適所にはシャッタ２３が配置されており、該シャッタ２３の開閉動作により撮影光学系の光路が遮光若しくは通光されるようになっている。すなわち、絞り２２の開口面積設定度合い及びシャッタ２３の開閉動作制御等により、撮像センサ３０の露光量が制御されるものである。

（撮像装置の電気的構成の全体的な説明）
図２は、上記デジタルカメラ１における撮像処理ブロック図である。デジタルカメラ１は、操作部１００、上述した鏡胴２０、撮像センサ３０、信号処理部４０、全体制御部５０、及び駆動部６０などを備えている。なお、操作部１００は、上記のレリーズスイッチ１０２、モード設定スイッチ１０５及び選択決定スイッチ１０６等からなる。

撮像センサ３０は、鏡胴２０内のレンズ群２１により結像された被写体光像の光量に応じ、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各成分の画像信号に光電変換して信号処理部４０へ出力するものである。本実施形態１では、この撮像センサ３０として、入射光量に対して出力画素信号（光電変換により発生する出力電気信号）が線形的ではなく対数的に変換されて出力される特性を有する対数変換型固体撮像素子が用いられる。ただし、撮像センサ３０は、入射光量が少ない場合に出力画素信号が線形的に変換されて出力される特性も有しており、したがって、撮像センサ３０は、その光電変換特性が線形的である領域（線形特性領域＝暗時）と対数的である領域（対数特性領域＝明時）とを含む光電変換特性（高輝度領域における入射光量に対する変化の度合いが低輝度領域のそれよりも小さい光電変換特性）を備えるものとなっている。当該線形特性領域と対数特性領域との切り替り点（変曲点）は、特定の制御信号（ダイナミックレンジ制御信号）により任意に制御可能とされている。この撮像センサ３０の構成、動作等の詳細については後述する。なお、ここでは、撮像センサとして、上述のように線形特性領域と対数特性領域とを含む光電変換特性を有するものを採用しているが、これに限らず、入射光量に対して所定の割合で変化する電気信号が出力される第１領域、及び入射光量に対する変化の割合が第１領域よりも小さい電気信号が出力される第２領域といった、入射光量に対する出力の変化の度合いが異なる複数種類の光電変換特性からなる光電変換特性を有するものであればいずれの撮像センサでもよい。

タイミング生成回路（タイミングジェネレータ）３１は、撮像センサ３０による撮影動作（露光に基づく電荷蓄積や蓄積電荷の読出し等）を制御するものである。タイミング生成回路３１は、全体制御部５０からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等）を生成して撮像センサ３０に出力する。具体的には、動画撮影モード時に例えば１／３０（秒）毎にフレーム画像を取り込み、順次、信号処理部４０に出力させたり、静止画撮影モード時の露光中に撮像センサ３０の露光動作に連動して電荷を蓄積させ、その蓄積電荷を信号処理部４０に出力させる。さらにタイミング生成回路３１は、後述のＡ／Ｄ変換器４０２において用いられるＡ／Ｄ変換用のクロックも生成する。

信号処理部４０は、撮像センサ３０から送出される画像信号に所定のアナログ信号処理及びデジタル信号処理を施すもので、前記画像信号の信号処理は、該画像信号を構成するそれぞれの画素信号ごとに行われる。この信号処理部４０は、アナログ信号処理部４１、Ａ／Ｄ変換器４０２、黒基準補正部４０３、ＦＰＮ補正部４０４、評価値検出部４０５、ホワイトバランス（ＷＢ）制御部４０６、色補間部４０７、３×３色補正部４０８、階調変換部４０９、ノイズキャンセル部４１０及び画像メモリ４１１等を備えている。

アナログ信号処理部４１は、撮像センサ３０から出力される画像信号（各画素のアナログ信号群）に所定のアナログ信号処理を施すもので、アナログ画像信号に含まれるリセット雑音を低減するＣＤＳ回路（相関二重サンプリング回路）と、アナログ画像信号のレベルを補正するＡＧＣ回路（オートゲインコントロール回路）等を備えている。なお、ＡＧＣ回路は、適正露出が得られなかった場合等に、後段のＡ／Ｄ変換器４０２の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。

Ａ／Ｄ変換器４０２は、アナログ信号処理部４１から出力されるアナログ画像信号を、例えば１２ビットのデジタル画像信号（画像データ）に変換する役目を果たす。このＡ／Ｄ変換器４０２は、タイミング生成回路３１から入力されるＡ／Ｄ変換用のクロックに基づいて、アナログ画像信号をデジタル画像信号に変換する。

黒基準補正部４０３は、Ａ／Ｄ変換器４０２から入力されるデジタル画像信号の黒レベル（暗黒時の画像信号レベル）を基準の値（例えば、Ａ／Ｄ変換後のデジタル信号レベルで０；ゼロ）に補正するためものである。かかる黒基準補正は、全体制御部５０から入力される撮像センサ３０の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、実施形態１に係るデジタルカメラ１においては、撮像センサ３０の光電変換特性が制御可能とされており、従ってＡ／Ｄ変換器４０２から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ３０の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正を行うものである。

ＦＰＮ（Fixed Pattern Noise）補正部４０４は、黒基準補正部４０３から入力される画像信号のＦＰＮ（固定パターンノイズ）を除去するためのものである。固定パターンノイズとは、撮像センサ３０の各画素回路が備えるＦＥＴの閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。

評価値検出部４０５は、撮像センサ３０で実際に撮影された画像信号から、自動露出制御（ＡＥ）、自動焦点制御（ＡＦ；オートフォーカス）、或いはホワイトバランス制御（ＷＢ制御）等を行うに際してのベース値となる評価値、すなわちＡＥ評価値、ＡＦ評価値、ホワイトバランス評価値（以降、ＷＢ評価値という）等を検出する。例えばＡＥ制御を行う場合、
（１）撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
（２）その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
（３）前記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部４０５においては、ステップ（１）の役目を担うべく、撮像センサ３０で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがＡＥ評価値として全体制御部５０へ出力され、後段ステップにおけるＡＥ制御動作用に供される。

またＡＦ制御の場合は、例えばフォーカスレンズ（レンズ群２１）の光軸方向の駆動と撮像センサ３０による撮像動作とを交互に行いながら、その撮像動作により得た画像のコントラストが最大となるフォーカスレンズの位置が求められ（所謂山登り検出方式）、これがＡＦ評価値として全体制御部５０へ出力され、後段ステップにおけるＡＥ制御動作の用に供される。さらにホワイトバランス制御は、出力画像の色を被写体の光源色に適したものに補正することを目的とするもので、この場合、前段のＦＰＮ補正部４０４から入力される画像信号に基づいてＲ、Ｇ、Ｂ各色の輝度比及び輝度差が評価値検出部４０５で算出され、これがＷＢ評価値として全体制御部５０へ出力される。

なお、評価値検出部４０５は、ＡＥ評価値等の各評価値を得るべく、被写体に対する分割測光（マルチパターン測光）方式による測光を行う分割測光機能や、当該測光により得られた被写体輝度情報に基づくヒストグラムを算出し、所定の輝度データの「足切り」を行ったり、平均輝度、最大／最小輝度、或いは輝度範囲を求めたりするヒストグラム演算機能を備えている。ただし、前記分割測光においては、撮像領域（測光範囲）を、例えば大別的に中央領域（主被写体領域）とその周辺部である周辺領域（周辺被写体領域）とで構成した各領域を所定数の検出ブロック（検出区画）に分割し、当該各検出ブロックにおける各画素に対応する輝度情報を撮影画像データから検出するようにしている。さらに評価値検出部４０５は、輝度ヒストグラムに基づいて、ＡＥ（ＡＦ、ＷＢ）評価値検出時に撮像センサ３０の出力が飽和しているか否かを判別する飽和判別機能等を備えている。

ホワイトバランス制御部４０６は、全体制御部５０から与えられるダイナミックレンジ情報やＷＢ評価値に基づいて、画像信号の色バランスが所定の色バランスになるよう各色成分Ｒ、Ｇ、Ｂの各画素データのレベルを変換する補正を行う。

色補間部４０７は、ホワイトバランス制御部４０６から入力される画像信号の各色成分Ｒ、Ｇ、Ｂごとに、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、本実施形態１で用いられる対数変換型の撮像センサ３０のカラーフィルタ構造は、例えばＧが市松状でＲ、Ｂが線順次配列された所謂ベイヤー方式が採用されており、この関係上、色情報が不足していることから、色補間部４０７は実在する複数の画素データを用いて実在しない画素位置の画素データを補間するものである。

３×３色補正部４０８は、色補間部４０７から入力される色成分Ｒ、Ｇ、Ｂの画像信号の彩度を補正（色合いを補正）するものである。３×３色補正部４０８は、色成分Ｒ、Ｇ、Ｂの画像信号のレベル比を変換する３種類の変換係数を有し、撮影シーンに応じた変換係数で前記レベル比を変換して画像データの彩度を補正する。

階調変換部４０９は、３×３色補正部４０８から入力される色成分Ｒ、Ｇ、Ｂの画像信号が適切な出力レベルになるよう、画像信号のレベルを色成分毎に所定の変換特性（例えば画像変換テーブル）を用いて変換するとともにオフセット調整を行う。すなわち階調変換部４０９は、基本動作としてホワイトバランス調整及び色補正がなされた画像信号の階調特性を、ＬＣＤ表示部１０７や外部出力されるモニターテレビ等の表示系の階調特性に補正する動作を行う。この階調変換部４０９においては、全体制御部５０から入力されるダイナミックレンジ情報（後述の変曲点情報）、評価値検出部４０５で検出されたＡＥ評価値等に基づいて、画像信号の階調特性を変化させる。

また、階調変換部４０９は、前記表示系の階調特性への補正に際し、撮像センサ３０により得られた線形／対数画像に対して特に対数特性領域のコントラスト改善を図るべくＤＲ圧縮処理を行う機能を備えている。階調変換部４０９は、このＤＲ圧縮に関し、該階調変換部４０９に入力された画像を、対数特性領域を含む領域とそうでない領域（線形特性領域）との画像データに分割（分割抽出処理）し、対数特性領域を含む領域側の画像データにおける照明成分に対する圧縮を行った後（後述の実施形態２においては、線形特性領域の画像データに対しても照明成分に対する圧縮を行う）、この分割した画像データを合成するといった機能を備えている。階調変換部４０９におけるこの機能に関する具体的構成、動作等については後に詳述する。

ノイズキャンセル部４１０は、階調変換部４０９から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを良好な状態に補正するものである。ノイズキャンセル部４１０は、全体制御部５０から入力されるダイナミックレンジ情報に基づいて、コアリング係数（画像信号のノイズ成分のみを除去し、エッジ成分を抽出する係数及び強調する係数）を変化させることで、適正な補正を行う。

画像メモリ４１１は、ＲＯＭやＲＡＭ等のメモリからなる、信号処理部４０での信号処理を終えるなどした画像データを一時的に保存するものであり、例えば１フレーム分の画像データを記憶し得る容量を有している。

メモリカードＩ／Ｆ部４１２は、信号処理部４０で生成されたメモリカード記録用画像データを、メモリカード１０８に記録させるべく出力するためのインターフェイスである。またメモリカード１０８は、静止画像や動画像などの画像データを記録して保存しておくためのメモリであって、デジタルカメラ１に対して取り外し自在とされており、外部の記録媒体との画像データ交換を可能とするものである。ＬＣＤ表示Ｉ／Ｆ部４１３は、信号処理部４０で生成されたＬＣＤ表示用画像データを、例えばＮＴＳＣ方式若しくはＰＡＬ方式の画像信号に変換してＬＣＤ表示部１０７に出力するためのインターフェイスである。

全体制御部５０は、ＣＰＵ（中央演算処理装置）等からなり、デジタルカメラ１の撮影動作（画像処理動作）を集中制御するものである。すなわち全体制御部５０は、前記信号処理部４０の各部から送られてくる情報（前述のＡＥ評価値、ＡＦ評価値、ＷＢ評価値等）と、本デジタルカメラ１の動作モード等に基づき、信号処理部４０の各部が必要とするパラメータ等の動作情報を算出して送信することで、各処理部の動作を制御する。このような各処理部の動作制御につき、全体制御部５０は、前記ＤＲ圧縮処理の実行に関する階調変換部４０９に対する制御を行う。このほか、撮影動作のためのタイミング生成回路３１の制御、レンズ群２１のズーミングやフォーカシング駆動、並びに絞り２２及びシャッタ２３の駆動のための駆動部６０の制御、画像信号の出力制御などを行う。

図３は、全体制御部５０の機能を説明するための機能ブロック図である。全体制御部５０は、情報受信部５０１及び情報送信部５０２、メモリ部５１５を具備する演算部５１０、制御信号発生部５２０、入出力部５３０及び分割設定部５４０を備えている。

情報受信部５０１は、信号処理部４０の評価値検出部４０５にて検出されるＡＥ評価値、ＡＦ評価値及びＷＢ評価値を取得し、これらを演算部５１０が備える各パラメータ算出部へ振り分けて送信する。一方、情報送信部５０２は、信号処理部４０において必要とされる情報（光電変換特性情報やコアリング係数等）をメモリ部５１５から適宜取り出し、信号処理部４０の各処理部に適時振り分けて送信する。

演算部５１０は、前記情報受信部５０１から与えられる評価値に基づいて制御パラメータを算出する動作を為すもので、露光量制御パラメータ算出部５１１及びダイナミックレンジ制御パラメータ算出部５１２からなるＡＥ制御パラメータ算出部５１１０、ＡＦ制御パラメータ算出部５１３、ホワイトバランス（ＷＢ）制御パラメータ算出部５１４及びメモリ部５１５を備えている。

メモリ部５１５はＲＯＭやＲＡＭ等からなり、撮像センサ３０の光電変換特性の情報（撮影に際しての所望の光電変換特性を得るための情報）、すなわち、後述する露光時間設定値や絞り設定値、或いは光電変換特性設定値（該光電変換特性に対応するダイナミックレンジ情報）を記憶する光電変換特性情報記憶部５１６、ノイズキャンセル部４１０において用いられるコアリング係数の設置位置を記憶するコアリング係数記憶部５１７、撮像センサ３０の線形特性領域と対数特性領域とで得られたデータに対するデータ変換（相互変換）を行うための変換情報、すなわちＬＵＴ（Look Up Table）等を記憶するＬＵＴ記憶部５１８等から構成されている。

なお、光電変換特性情報記憶部５１６には、光電変換特性そのもの（後述する図７に示すような光電変換特性曲線）が記憶される構成であってもよい。また、ＬＵＴ記憶部５１８は、上記ＬＵＴの他に、露光時間や絞りの開口面積の値と露光時間設定値や絞り設定値とのデータ変換を行うＬＵＴ、光電変換特性の変曲点の値（出力レベル）と光電変換特性設定値とのデータ変換を行うＬＵＴ等、種々のデータ変換用のＬＵＴを記憶している。また、上述したとおり、光電変換特性情報記憶部５１６、コアリング係数記憶部５１７及びＬＵＴ記憶部５１８に記憶されているデータ値は、適宜、情報送信部５０２から信号処理部４０の適所へ送信されるようになっている。

ＡＥ制御パラメータ算出部５１１０は、被写体の輝度に応じた露出制御（ＡＥ制御）を行うべく、撮影の際の最適な露光量と撮像センサ３０の光電変換特性とに設定するための制御パラメータを算出する。すなわち、ＡＥ制御パラメータ算出部５１１０の露光量制御パラメータ算出部５１１は、露光時間や絞りを最適化するための制御パラメータを算出するものであり、露光量制御パラメータ算出部５１１は、評価値検出部４０５にて検出されるＡＥ評価値と、前記光電変換特性情報記憶部５１６に記憶されている前記ＡＥ評価値取得時点における撮像センサ３０の光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値を算出する。

またダイナミックレンジ制御パラメータ算出部５１２は、被写体輝度に応じ撮像センサ３０の光電変換特性を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部５１２は、例えばダイナミックレンジ設定用の被写体輝度が、撮像センサ３０における所望の飽和出力レベルになるような光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部５１６に記憶されている前記ＡＥ評価値取得時点における撮像センサ３０の光電変換特性情報が参照される。

ＡＦ制御パラメータ算出部５１３は、評価値検出部４０５にて検出されるＡＦ評価値に基づいて、被写体の撮影にあたり最適な焦点距離に設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、参照するＡＦ評価値を、撮像センサ３０の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域の特徴を活用して粗測距（対数特性領域から得たＡＦ評価値）用、詳測距（線形特性領域から得たＡＦ評価値）用の制御パラメータを算出するよう構成することが好ましい。

ホワイトバランス制御パラメータ算出部５１４は、評価値検出部４０５にて検出されるＷＢ評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、同様に参照するＡＦ評価値を、撮像センサ３０の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域に応じた制御パラメータを算出するよう構成することが好ましい。

制御信号発生部５２０は、前記演算部５１０で算出された各種の制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するもので、該制御信号発生部５２０は、ダイナミックレンジ制御信号発生部５２１、センサ露光時間制御信号発生部５２２、シャッタ制御信号発生部５２３、ズーム／フォーカス制御信号発生部５２４及び絞り制御信号発生部５２５を備えて構成されている。

ダイナミックレンジ制御信号発生部５２１は、前記ダイナミックレンジ制御パラメータ算出部５１２において算出された撮像センサ３０の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替える出力レベルポイント（変曲点）を調整する撮像センサ３０の駆動信号を生成し、これをタイミング生成回路３１へ送信する。タイミング生成回路３１は、入力された駆動信号に応じて、撮像センサ３０のダイナミックレンジを制御するタイミング信号を生成して撮像センサ３０を駆動させる。具体的には、後述するように撮像センサ３０の光電変換特性は、当該撮像センサ３０に対する信号φＶＰＳ（φＶＰＳにおける電圧ＶＰＨの高さ、或いは時間ΔＴの長さ）を制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部５２１は、光電変換特性設定値に応じて、前記信号φＶＰＳを制御するためのタイミング生成回路３１に対する駆動信号を制御することで、撮像センサ３０のダイナミックレンジを被写体の輝度に適するよう制御する。

センサ露光時間制御信号発生部５２２は、撮像センサ３０の露光時間（積分時間）を、絞り２２やシャッタ２３等のメカ操作に依らず、電子回路的な制御動作により制御するための制御信号を発生するものである。センサ露光時間制御信号発生部５２２は、前記露光量制御パラメータ算出部５１１にて算出された最適な露光量に基づいて、所期の露光時間が確保されるよう撮像センサ３０の駆動信号（具体的には、後述するように撮像センサ３０に対する信号φＶＰＳが中電位Ｍとなる時間ΔＳを制御する信号）を生成し、これをタイミング生成回路３１へ送信する。タイミング生成回路３１は、入力された駆動信号に応じて、撮像センサ３０の露光時間を制御するタイミング信号を生成して撮像センサ３０を駆動させる。

シャッタ制御信号発生部５２３は、同様に露光量制御パラメータ算出部５１１にて算出された最適な露光量に基づいて、シャッタ２３のシャッタスピード（シャッタ開放時間）を露光時間に合わせて設定する制御信号を生成する。またズーム／フォーカス制御信号発生部５２４は、前記ＡＦ制御パラメータ算出部５１３にて算出された最適な焦点距離に基づいて、レンズ群２１を駆動させるための制御信号を生成する。さらに絞り制御信号発生部５２５は、前記露光量制御パラメータ算出部５１１にて算出された最適な露光量に基づいて、絞り２２の開口面積を設定する制御信号を生成する。これらシャッタ制御信号発生部５２３、ズーム／フォーカス制御信号発生部５２４及び絞り制御信号発生部５２５にて生成された制御信号は、駆動部６０の対応箇所へそれぞれ送信される。

入出力部５３０は、メモリカードＩ／Ｆ部４１２及びＬＣＤ表示Ｉ／Ｆ部４１３と接続され、操作部１００からの指示信号等に対応して、撮影画像に対して所定の画像処理を行った後、その撮影画像信号をメモリカード１０７に記録させたり、ＬＣＤ表示部１０６に表示させたり、或いは逆にメモリカード１０７から画像信号を取り入れたりする出入力作用を為す。

分割設定部５４０は、操作部１００（選択決定スイッチ１０６）からの指示信号に基づいて、階調変換部４０９のＤＲ圧縮処理における線形／対数画像の領域分割位置を設定するものである。具体的には、分割パラメータθの位置を、θ＝Ｙｔｈの位置とするか、或いはθ＜Ｙｔｈにおける何れの位置とするかの設定を行う。ただし、θ＜Ｙｔｈの位置においては、予め所定の下限値まで段階的に設定された所定数の位置情報の中からユーザが選択して設定する構成としてもよいし、θ＜Ｙｔｈとなる所定位置に１つ設定され、θ＝Ｙｔｈが選択されなかった場合に自動的にこの位置が設定される構成であってもよい。もちろんθ≦Ｙｔｈの位置に固定値として１つ設定しておき、例えばユーザにより操作部１００でコントラスト改善モードが指定されるのに応じてこれが自動的に設定される構成であってもよい。

図２に戻って、駆動部６０は、前記制御信号発生部５２０で生成された制御信号に基づいて、実際に当該デジタルカメラ１が具備するメカ駆動部を動作させるもので、シャッタ駆動部６１、ズーム／フォーカス駆動部６２及び絞り駆動部６３を備えている。シャッタ駆動部６１は、前記シャッタ制御信号発生部５２３から与えられる制御信号に応じて、シャッタ２３が所定時間開放されるようシャッタ２３を開閉駆動する。ズーム／フォーカス駆動部６２は、ズーム／フォーカス制御信号発生部５２４から与えられる制御信号に応じて、レンズ群２１のズームレンズブロックまたはフォーカスレンズブロックを動作させるモータ等を動作させ、前記レンズブロックを焦点位置に移動させる。さらに絞り駆動部６３は、絞り制御信号発生部５２５から与えられる制御信号に応じ、絞り２２を駆動し、所定の開口量に絞りを設定するものである。

（本実施形態で用いる撮像センサの基本的特性について）
ところで、本実施形態においては、その光電変換特性として入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ３０を用いることが前提とされている関係上、先ずこの撮像センサ３０の基本的特性について、その具体的な一例を詳述する。

図４は、撮像センサ３０の一例である二次元のＭＯＳ型固体撮像装置の概略構成図である。同図において、Ｇ１１〜Ｇｍｎは、行列（マトリクス）配列された画素を示している。この画素Ｇ１１〜Ｇｍｎからなる画素部の外周縁部近傍には、垂直走査回路３０１と水平走査回路３０２とが配設されている。垂直走査回路３０１は、行のライン（信号線）３０４−１、３０４−２、・・・３０４−ｎ（これらを纏めて行ライン３０４という）を順次走査する。水平走査回路３０２は、各画素から出力信号線３０６−１、３０６−２、・・・３０６−ｍ（これらを纏めて出力信号線３０６という）に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン３０５により電力供給がなされている。各画素には、前記各ラインや出力信号線だけでなく、他のライン（例えばクロックライン）も接続されているが、図４では図示を省略している。

出力信号線３０６−１、３０６−２、・・・３０６−ｍには、それぞれ、後述のトランジスタＴ５と対になって増幅回路を構成する定電流源３０７−１、３０７−２、・・・３０７−ｍ（これらを纏めて定電流源３０７という）が設けられている。ただし、この増幅回路として、定電流源３０７に代えて抵抗やトランジスタ（ＭＯＳトランジスタ）を設けてもよい。この出力信号線３０６を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路（サンプルホールド回路）３０８−１、３０８−２、・・・３０８−ｍ（これらを纏めて選択回路３０８という）に出力される。この選択回路３０８に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路３０９に出力され、補正回路３０９において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路３０９から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。

図５は、図４に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。同図に示すように、画素は、フォトダイオードＰＤ、ＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）としてのトランジスタＴ１〜Ｔ６、及び積分用のコンデンサとしてのキャパシタＣから構成されている。トランジスタＴ１〜Ｔ６は、ここではＰチャンネルＭＯＳＦＥＴが採用されている（ＮチャンネルＭＯＳＦＥを採用してもよい）。φＶＤ、φＶ、φＶＰＳ、φＲＳＴ、φＳ及びＲＳＢは、各トランジスタやキャパシタＣに対する信号（電圧）を示し、ＧＮＤは接地を示している。

フォトダイオードＰＤは、感光部（光電変換部）であり、被写体からの入射光量に応じた電気信号（光電流ＩＰＤ）を出力する。トランジスタＴ５は、図４に示す定電流源３０７と対になってソースフォロワ増幅用の増幅回路（ソースフォロワアンプ）を構成するものであり、後述する電圧ＶＯＵＴに対する増幅（電流増幅）を行う。トランジスタＴ６は、ゲートに印加する電圧に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。すなわち、トランジスタＴ６のソースは、図４に示す出力信号線３０６に接続されており、オンした場合、トランジスタＴ５で増幅された電流を出力電流として出力信号線３０６へ導出する。

トランジスタＴ２は、同トランジスタのゲートに、光電流ＩＰＤに対して線形変換又は対数変換した電圧を発生させる。ところで、ＭＯＳＦＥＴでは、ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れるが、トランジスタＴ２はこのサブスレッショルド特性を利用して前記線形変換又は対数変換を行う。

具体的には、撮像する被写体の輝度が低い（被写体が暗い）場合、すなわち、フォトダイオードＰＤに入射される入射光量が少ない場合には、トランジスタＴ２のゲート電位が同トランジスタのソース電位より高くなっており、トランジスタＴ２が所謂カットオフ状態でありトランジスタＴ２にサブスレッショルド電流が流れず（トランジスタＴ２がサブスレッショルド領域で動作せず）、フォトダイオードＰＤで発生する光電流がフォトダイオードＰＤの寄生容量に流れて電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときＴ１はオンされているので、上記の寄生容量に蓄積された電荷の量に応じた電圧が、電圧ＶＧとしてトランジスタＴ２、Ｔ３のゲートに発生する。この電圧ＶＧにより、トランジスタＴ３に電流が流れ、この電圧ＶＧに比例した量の電荷がキャパシタＣに蓄積される（トランジスタＴ３とキャパシタＣとで積分回路を構成している）。そして、トランジスタＴ３とキャパシタＣとの接続ノードａ、すなわち出力ＶＯＵＴには、光電流ＩＰＤの積分値に対して線形的に比例した電圧が現れる。このときトランジスタＴ４はオフ状態である。そして、トランジスタＴ６がオンされると、キャパシタＣに蓄積された電荷がトランジスタＴ５を介して出力電流として出力信号線３０６に導出される。この出力電流は、光電流ＩＰＤの積分値を線形的に変換した値となっている。これが撮像センサ３０の線形特性領域における動作である。

一方、撮像する被写体の輝度が高く（被写体が明るく）、フォトダイオードＰＤに入射される入射光量が多い場合には、トランジスタＴ２のゲート電位が同トランジスタのソース電位以下となり、トランジスタＴ２にサブスレッショルド電流が流れ（トランジスタＴ２がサブスレッショルド領域で動作し）、光電流ＩＰＤを自然対数的に変換した値の電圧ＶＧがトランジスタＴ２、Ｔ３のゲートに発生する。そして、この電圧ＶＧにより、トランジスタＴ３に電流が流れ、キャパシタＣに、光電流ＩＰＤの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタＣとトランジスタＴ３との接続ノードａ（出力ＶＯＵＴ）には、光電流ＩＰＤの積分値を自然対数的に変換した値に比例した電圧が生じる。このときトランジスタＴ４はオフ状態である。そして、トランジスタＴ６がオンされると、キャパシタＣに蓄積された電荷がトランジスタＴ５を介して出力電流として出力信号線３０６に導出される。この出力電流は、光電流ＩＰＤの積分値を自然対数的に変換した値となっている。これが当該撮像センサ３０の、対数特性領域における動作である。以上のように、各画素によって、入射光量（被写体輝度）に応じて線形的又は自然対数的に比例した電圧が出力される。

トランジスタＴ１は、リセット時のノイズデータ（トランジスタＴ２の製造バラツキに起因して発生するノイズ信号）を取り出す際に用いるスイッチである。トランジスタＴ１は、リセット時以外にはオン状態とされており、トランジスタＴ２（のドレイン）及びフォトダイオードＰＤ間に光電流ＩＰＤが流れるようになっている。リセット時には、オフ状態となりフォトダイオードＰＤの光電流ＩＰＤが遮断され、前記のバラツキ分だけが取り出される。この取り出されたバラツキ分（ノイズ信号）は、後述の映像信号から減算される。トランジスタＴ４は、該トランジスタＴ４のゲートに印加される電圧に応じてオン、オフされるスイッチとして動作する、キャパシタＣをリセットするためのトランジスタである。トランジスタＴ４がオンされるとリセット電圧（前記信号ＲＳＢの電圧）が印加され、キャパシタＣに蓄積されていた電荷（電荷量）が元の状態、すなわち積分開始前の状態に戻される。

図６は、撮像センサ３０（画素）の撮像動作に関するタイミングチャートの一例である。ここではＰチャンネルＭＯＳＦＥＴの極性上、以下のようにＨｉ（ハイ）でオフ、Ｌｏｗ（ロー）でオンとなる。先ず、信号φＶが符号３１１に示す位置でＬｏｗとなり、トランジスタＴ６がオンされ、映像信号が読み出される、すなわちキャパシタＣに蓄積されている電荷が出力電流（映像信号）として出力信号線３０６に導出される。次に信号φＳが符号３１２に示す位置でＨｉとなり、トランジスタＴ１がオフされてフォトダイオードＰＤが切り離される。次に信号φＶＰＳが符号３１３に示す位置でＨｉとなり、トランジスタＴ２のリセットが行われる。また、トランジスタＴ２がリセットされるのと同時に、信号φＲＳＴが符号３１４に示す位置でＬｏｗとなり、トランジスタＴ４がオンされ、キャパシタＣ（接続ノードａ）に信号ＲＳＢによるリセット電圧が印加されて（接続ノードａの電位がＲＳＢの電位（ＶＲＳＢ）となり）、キャパシタＣの（電荷の）リセットが行われる。このようにトランジスタＴ２及びキャパシタＣがリセットされた後、符号３１５に示す位置で信号φＶが再度ＬｏｗとなってトランジスタＴ６がオンされ、出力信号線３０６にノイズ信号が導出される。

次に、信号φＳが符号３１６に示す位置でＬｏｗになり（トランジスタＴ１がオンされ）、フォトダイオードＰＤの切り離しが解除される。そして、信号φＶＰＳが符号３１８に示す位置で中電位Ｍとなって、残像低減のためにフォトダイオードＰＤの寄生容量のリセットを行う。また、次フレームの積分開始電圧を一定にするために、信号φＲＳＴが符号３１７に示す位置で再度ＬｏｗとなってトランジスタＴ４がオンされ、キャパシタＣのリセットが再度行われる。

その後、信号φＶＰＳが符号３１９に示す位置でＭからＬｏｗになり、フォトダイオードＰＤの寄生容量のリセットが終了する。併せて、信号φＲＳＴもＬｏｗからＨｉとなりキャパシタＣのリセット動作も終了される。このときの時刻ｔ１からキャパシタＣの積分が開始され、信号φＶがＨｉからＬｏｗとなる符号３１１に示す位置、すなわち次フレームにおける映像信号の読み出しが開始される時刻ｔ２までの間、当該積分が継続される。この時刻ｔ１、ｔ２間の時間がキャパシタＣの積分時間、すなわち撮像における露光時間となる。この露光時間は、前記中電位Ｍとなる信号φＶＰＳを与える時間ΔＳ（長さ）を制御することで制御される。この時間ΔＳは、タイミング生成回路３１を介したセンサ露光時間制御信号発生部５２２によって制御される。信号φＶＤは、前記増幅回路（ソースフォロワアンプ）の動作範囲に合わせ込むべく、或いは映像信号やノイズ信号に発生するオフセットの調整を行うべく電位操作を行うものである。信号φＶＤのＶｈ、Ｖｍ及びＶｌは、それぞれ高電位、中電位及び低電位を示している。

撮像センサ３０は、上述のように被写体の輝度に応じて線形変換又は対数変換した出力信号を得ることが可能であり、図７に示すような光電変換特性３２０を有している。同図に示すように、光電変換特性３２０は、変曲点３２１を境にして線形特性領域と対数特性領域とに分かれている。この変曲点３２１は、線形特性領域から対数特性領域へ切り替わる点であり、この変曲点３２１のセンサ出力の値をＶｔｈで示している。一般的に、線形特性領域では、幅広い輝度範囲の被写体の撮像は不可能であるものの（ダイナミックレンジが狭い）、画像全体の階調性を高くすることができ（高いコントラストを得ることができ）、暗い被写体（例えば曇天時や日陰での被写体）であっても階調性豊かな高品位な画像を得ることができる。一方、対数特性領域では、高輝度での階調性は乏しくなるが、幅広い輝度範囲の被写体の撮像が可能であり（ダイナミックレンジが広い）、明るい被写体（例えば直射日光が照射されていたり、直射日光が背後に存在たりする被写体）であっても、暗い部分も含め、奥行きのある高品位な画像を得ることができる。

ところで、この光電変換特性３２０（変曲点３２１）は、トランジスタＴ２のソースに入力されている信号φＶＰＳの、Ｈｉ及びＬｏｗの電圧の差を変化させることにより変化（移動）させることができる。すなわち、当該Ｈｉ時の電圧をＶＰＨとし、Ｌｏｗ時の電圧をＶＰＬとすると、電圧の差ΔＶＰＳ（＝ＶＰＨ−ＶＰＬ）（図９参照）を変化させることにより、図１１に示すように、光電変換特性３２０（変曲点３２１）から、光電変換特性３２２（変曲点３２４）や光電変換特性３２３（変曲点３２５）へ任意に変化させることができる。このように光電変換特性が変化することにより、線形特性領域と対数特性領域との比率が変化し、光電変換特性３２２に示すように線形特性領域の割合が大きな光電変換特性、或いは光電変換特性３２３に示すように対数特性領域の割合が大きな光電変換特性を得ることができる。この場合、光電変換特性の全てが線形特性領域又は対数特性領域となるように変化させてもよい。

本実施形態では、電圧ＶＰＨを変化させることによりΔＶＰＳを変化させ、撮像センサ３０の光電変換特性を変化させている。図８では、ＶＰＨが高くなるほど（ΔＶＰＳが大きくなるほど）、線形特性領域の割合が増えて光電変換特性３２２側へ変化し、ＶＰＨが低くなるほど（ΔＶＰＳが小さくなるほど）、対数特性領域の割合が増えて光電変換特性３２３側へ変化する。この電圧ＶＰＨは、タイミング生成回路３１を介したダイナミックレンジ制御信号発生部５２１によって制御される。なお、光電変換特性を上述のように変化させるために、電圧ＶＰＨとなる信号φＶＰＳを与える時間ΔＴを変化させてもよい。この場合、時間ΔＴを長いほど線形特性領域の割合が大きくなり、短いほど対数特性領域の割合が大きくなるように光電変換特性が変化する。図８では、前記時間ΔＴが長い場合が光電変換特性３２２に、時間ΔＴが短い場合が光電変換特性３２３に相当する。

このようにして撮像センサ３０により撮像されて得られた線形／対数画像は、信号処理部４０に送られ、各処理ブロック（アナログ信号処理部４０１、Ａ／Ｄ変換器４０２…）において所定の信号処理がなされた後、階調変換部４０９に入力される。そして階調変換部４０９において、本発明に係る線形／対数画像に対するＤＲ圧縮処理が実行される。以下、このＤＲ圧縮処理について詳述する。

図９は、図２に示す階調変換部４０９の機能を説明するための機能ブロック図である。図９に示すように階調変換部４０９は、領域分割抽出部４０９１、照明成分抽出部４０９２、照明成分圧縮部４０９３及び画像合成部４０９４を備えている。領域分割抽出部４０９１は、階調変換部４０９に入力された線形／対数画像（基画像Ｉとする）に対し、対数特性領域を含む部分（対数特性領域全体からなる部分、或いは対数特性領域全体と線形特性領域の一部とからなる部分）と、残りの線形特性領域の部分との２つの領域に分割し、この基画像Ｉから当該分割してなる各領域の画像データ（それぞれ画像Ｉ１、Ｉ２とする）を抽出するものである。

照明成分抽出部４０９２は、前記分割抽出された画像（画像Ｉ１）から照明成分を抽出するものである。照明成分圧縮部４０９３は、照明成分抽出部４０９２により抽出された照明成分画像に対する圧縮処理を行うものである。画像合成部４０９４は、領域分割抽出部４０９１で分割抽出された各画像Ｉ１、Ｉ２及び基画像Ｉに基づいて合成画像を作成するものである。これら各部の動作（演算処理）について以下に詳述する。

図９において、先ず、階調変換部４０９に入力される基画像Ｉは、例えば図１０に示す光電変換特性６００を有しており、この光電変換特性６００は、入力輝度ｘ（対数値ではない）に対する画素値ｙとして以下の(1-1)、(1-2)式で表される。同図に示す座標Ｘｔｈ及びＹｔｈは、光電変換特性６００における対数特性領域６０１と線形特性領域６０２ととが切り替わる点すなわち変曲点６０３の各（ｘ、ｙ）座標の値である。ただし、同図の「入力輝度」及び「画素値」はそれぞれ上記図７、８に示す「センサ入射輝度」及び「センサ出力」に相当する。
ｙ＝ａ＊ｘ＋ｂ（０≦ｘ≦Ｘｔｈ） …(1-1)
ｙ＝α＊ｌｏｇ（ｘ）＋β（Ｘｔｈ≦ｘ）…(1-2) （＊：乗算、以降も同じ）
（式(1-1)は線形特性領域６０２を、式(1-2)は対数特性領域６０１を表している）

領域分割抽出部４０９１では、以下の条件式(2-1)〜(2-4)に示すように、基画像Ｉ（ここでは２次元画像であることを示すべく画像Ｉ（ｘ、ｙ）と表現している）を構成する各画素に対し、画素値が所定の値「θ」以上の領域と「θ」未満の領域とに分割する（θによって基画像Ｉを各特性領域の上限、下限位置で所謂クリップする）。この「θ」のことを以降、適宜、分割パラメータと称する。ただし、分割パラメータθの値は、本実施形態における対数特性領域でのコントラスト改善という目的において、少なくとも対数特性領域６０１を含むよう設定されることになるＹｔｈ以下の任意の値とする。
ｉｆ（Ｉ（ｘ、ｙ）≧θ）
ｔｈｅｎ
Ｉ１（ｘ、ｙ）＝Ｉ（ｘ、ｙ） …(2-1)
Ｉ２（ｘ、ｙ）＝０（ゼロ） …(2-2)
ｅｌｓｅ
Ｉ１（ｘ、ｙ）＝０（ゼロ） …(2-3)
Ｉ２（ｘ、ｙ）＝Ｉ（ｘ、ｙ） …(2-4)
ｅｎｄｉｆ
これはつまり、画像Ｉ（ｘ、ｙ）において画素値がθ以上となる領域の画像が画像Ｉ１（画像Ｉ１（ｘ、ｙ））であり、画素値がθより小さい（θ未満）となる領域の画像が画像Ｉ２（画像Ｉ２（ｘ、ｙ））となることを示している。

領域分割抽出部４０９１は、このような基画像Ｉが入力されると、操作決定スイッチ１０６の指示情報等に基づき分割設定部５４０に設定された境界パラメータθの値に応じて、すなわち以下の「場合１：θ＝Ｙｔｈ」及び「場合２：θ＜Ｙｔｈ」の各場合となるθの値を分割の境目として、基画像Ｉから画像Ｉ１と画像Ｉ２との分割抽出処理を行う。なお、この境界パラメータθの設定情報は、階調変換部４０９（例えば領域分割抽出部４０９１）に記憶されていてもよい。

ところで上記背景技術で説明したＲｅｔｉｎｅｘ理論において、基画像Ｉは、該基画像Ｉにおける照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の(3-1)式で表される。
Ｉ＝Ｌ＊Ｒ …(3-1)
ただし、(3-1)式は、線形特性領域画像としての基画像Ｉに対するものであり、対数特性領域画像としての基画像Ｉに対しては、上記(3-1)式は以下の(4-1)式に示す変形式で表される。
Ｌｏｇ（Ｉ）＝Ｌｏｇ（Ｌ）＋Ｌｏｇ（Ｒ） …(4-1)

（場合１：θ＝Ｙｔｈ）
図１０に示すように、分割パラメータθの値がＹｔｈとなる場合、基画像Ｉにおいて画素値がθ（＝Ｙｔｈ）以上となる画像Ｉ１は、領域６０４における上記(1-2)式に相当する対数特性領域６０１の画像であることを示しており、以下(5-1)式で表される。なお、画像Ｉ２は、領域６０５における上記(1-1)式に相当する線形特性領域６０２の画像となる。
Ｉ１＝α＊ｌｏｇ（ｘ）＋β …(5-1)

対数変換前の画素値、つまり画像Ｉ１の１つの画素を「ｉ１」と表すと、
前記(4-1)式の左辺はＬｏｇ（ｉ１）となり、このＬｏｇ（ｉ１）は(5-1)式の変形から、以下(6-1)式で表されることになる。
ｌｏｇ（ｉ１）＝（Ｉ１−β）／α …(6-1)

照明成分抽出部４０９２は、画素値がθ（変曲点Ｙｔｈ）以上の上記画像Ｉ１中の照明成分としてのＬｏｇ（Ｌ１）（すなわち画像Ｉ１の照明成分Ｌ１の対数値）を抽出する。この照明成分は画像の低周波成分で近似できるので、以下(7-1)式と表される。
Ｌｏｇ（Ｌ１）＝Ｆ（ｌｏｇ（ｉ１）） …(7-1)

この“Ｆ”に示す変換は、ガウシンア或いは平均化に関する線形のローパスフィルタ（ＬＰＦ）を示している。このようにフィルタが線形の場合、(7-1)式は、上記(6-1)式を代入することで以下(8-1)式と表される（“線形フィルタ”であるため、“Ｆ”が（Ｉ１）の項のみに係る式で表される）。(8-1)式は、照明成分Ｌｏｇ（Ｌ１）が、ＬＰＦを用いた(8-1)式の右辺によって画像Ｉ１から求められることを示している。
Ｌｏｇ（Ｌ１）＝（Ｆ（Ｉ１）−β）／α …(8-1)
ただし、上記線形フィルタに限定されず、要は、所謂“ぼかした画像”が得られるのであれば、例えばメディアンフィルタ等の非線形フィルタを用いてもよい。この場合、上非線形フィルタを適用したとしても大きく値が変わらないため当該処理に使用可能となる。

なお、照明成分を求める際、画像Ｉ１の代わりに基画像Ｉを用いて同様に演算を行うと、画像Ｉ１を用いた場合よりも、線形／対数画像における線形特性領域と対数特性領域との境界（変曲点６０３）における擬似輪郭を緩和することができる。この擬似輪郭とは、当該線形特性と対数特性との切り替わり位置（変曲点位置）における段差に起因する所謂階調反転を示す。

次に、照明成分圧縮部４０９３では、照明成分抽出部４０９２において抽出された上記 照明成分Ｌｏｇ（Ｌ１）に対する所定の圧縮処理を行い、当該照明成分Ｌ１を圧縮してなる照明成分Ｌ１’の対数値Ｌｏｇ（Ｌ１’）として出力する。ＤＲ圧縮における圧縮率（ＤＲ圧縮率）を「ｒ」とすると、照明成分圧縮部４０９３から出力されるＬｏｇ（Ｌ１’）は、以下の(9-1)式で示されるものとなる。
Ｌｏｇ（Ｌ１’）＝Ｌｏｇ（Ｌ１）×ｒ …(9-1)

画像Ｉ１に対するＤＲ圧縮後の画像を画像Ｉ１’とし、画像Ｉ１における反射率成分をＲ１とすると、上記(4-1)式は以下(10-1)式と表されるので、
Ｌｏｇ（Ｉ１’）＝Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１） …(10-1)
画像Ｉ１’は、以下(11-1)式で表される。
Ｉ１’＝ｅｘｐ（Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１）） …(11-1)

ただし、図９に示すように、上記Ｌｏｇ（Ｒ１）は、符号４０９５に示す減算部（減算部４０９５）によって、ルートＡを送信されてくる画像Ｉ１からルートＢを送信されてくる照明成分Ｌｏｇ（Ｌ１）を減算することで得られる。また、画像Ｉ１’は、符号４０９６に示す加算部（加算部４０９６）によって、照明成分圧縮部４０９３からの圧縮照明成分Ｌｏｇ（Ｌ１’）と前記減算部４０９５からの反射率成分Ｌｏｇ（Ｒ１）とを加算することで得られる。なお上述では、画像がルートを“送信”されると表現しているが、実際の動作としては画像データ信号（映像信号）が該当するルート全体に印加された状態となっている。

画像合成部４０９４は、このようにして得られた画像Ｉ’、ルートＣを送信されてきた画像Ｉ２、及びルートＤを送信されてきた基画像Ｉに基づいて合成画像Ｏを作成する。ただし、実際の処理においては、画像Ｉ２を用いず、画像Ｉ’と基画像Ｉとから合成画像Ｏを作成する。この場合、基画像Ｉにおける画素値がθ以上となる領域を画像Ｉ１’と入れ替える処理（書換え処理）を行うことで合成画像Ｏを作成する。

なお、上記態様では、画像Ｉ２を使用せずに基画像Ｉを使用して画像Ｉ１’との合成画像Ｏを作成する構成（回路構成）としているが、ルートＤの回路を設けず、ルートＣの回路を送信される画像Ｉ２を当該画像Ｉ２を内包する基画像Ｉとし（つまり画像Ｉ２を基画像Ｉに置き換える）、この画像Ｉ２（＝基画像Ｉ）と画像Ｉ１’とを合成して合成画像Ｏを作成する構成としてもよい。

（場合２：θ＜Ｙｔｈ）
図１１に示すように、分割パラメータθの値がＹｔｈより小さい場合、基画像Ｉにおいて画素値がθ（＝Ｙｔｈ）以上となる画像Ｉ１は、対数特性領域６０１の画像（領域６０４）と線形特性領域６０２の画像の一部（領域６０６）とからなる領域６０７に示す画像となる。画像Ｉ２は領域６０８での画像となる。ここでは、領域分割抽出部４０９１は、このようにして基画像Ｉから画像Ｉ１（及び画像Ｉ２）の分割抽出を行う。ただし、当該線形特性領域画像の一部を併せもつ画像Ｉ１のことを、適宜、部分線形対数画像Ｂ１と表現する。

ところで、θ＜Ｙｔｈとなる分割パラメータθは、線形特性領域における変曲点近傍位置つまり数特性領域との隣接位置に設定されることが好ましい。これは、実際の撮影動作においては、線形特性領域は既に上述のＡＥ制御によって最適な状態（例えば最適な露光量、コントラストが得られる状態）に調整されているため、この線形特性領域側をなるべくそのままの状態で維持しつつ対数特性領域側のコントラストを高めようということであって、線形特性領域と対数特性領域との境界（特性線のつなぎ目）に発生する擬似輪郭を緩和するための画像処理を容易に実施可能とするべく、後述の基画像Ｉとの重複部分が得られる位置にθを設定するものである。

照明成分抽出部４０９２は、上記の部分線形対数画像Ｂ１から照明成分を抽出する。この照明成分には対数特性領域及び線形特性領域それぞれの照明成分が含まれている。当該部分線形対数画像Ｂ１における対数特性領域画像及び線形特性領域画像の照明成分をそれぞれＬｏｇ（Ｌａ）、Ｌｂとすると（反射率成分はそれぞれＬｏｇ（Ｒａ）、Ｒｂとする）、照明成分圧縮部４０９３は、これら照明成分に対し、つまりＬｏｇ（Ｌａ）に対しては、上記(9-1)式と同様にして以下(12-1)式に示すようにＤＲ圧縮を行い、
Ｌｏｇ（Ｌａ’）＝Ｌｏｇ（Ｌａ）×ｒ …(12-1)
Ｌｂに対しては、以下(12-2)式に示すようにＤＲ圧縮を行う。
Ｌｂ’＝ｅｘｐ（Ｌｏｇ（Ｌｂ）×ｃ） …(12-2)
ただし、上記「ｃ」は線形特性領域部でのＤＲ圧縮率

なお、照明成分Ｌｏｇ（Ｌａ’）、Ｌｂ’は、これら纏めて図９に示すＬｏｇ（Ｌ１’）に相当し（Ｌｏｇ（Ｌａ）、Ｌｂは纏めてＬｏｇ（Ｌ１）に相当する）、反射率成分Ｌｏｇ（Ｒａ）、Ｒｂは同じく纏めてＬｏｇ（Ｒ１）に相当する。すなわち、このθ＜Ｙｔｈの場合における図９の画像Ｉ１は、線形特性領域画像及び対数特性領域画像を含むものとしての画像Ｉ１であり、よってこの照明成分Ｌｏｇ（Ｌ１）やこれを圧縮したＬｏｇ（Ｌ１’）、及び反射率成分Ｌｏｇ（Ｒ１）も線形特性領域画像及び対数特性領域画像を含むものとして扱うこととする。(12-2)式に示すＤＲ圧縮については後述の実施形態２の場合と同様であり、ここでの説明を省略する。

このようにして、照明成分圧縮部４０９３により、画像Ｉ１（部分線形対数画像Ｂ１）における領域６０４での対数特性画像とともに、領域６０６での線形特性画像がＤＲ圧縮される。なお、上述においては、説明の便宜上、対数特性領域及び線形特性領域の照明成分を、Ｌｏｇ（Ｌａ’）、Ｌｂ’として区別して扱っているが、実際のＤＲ圧縮処理においては、これらＬｏｇ（Ｌａ’）、Ｌｂ’が合成されてなる１つのＬｏｇ（Ｌ１）として扱われ、このＬｏｇ（Ｌ１）に対してＤＲ圧縮処理が施されるものである。したがって、対数特性領域が線形特性領域の一部と一緒にＤＲ圧縮されるため、ＤＲ圧縮時の対数特性領域と線形特性領域との境界に発生する擬似輪郭を緩和（防止）することが可能となる。

画像合成部４０９４は、上記場合１と同様、当該画像Ｉ１がＤＲ圧縮処理されてなる画像Ｉ１’（図９に示す画像Ｉ１’に相当）、画像Ｉ２、及び基画像Ｉ（図９に示すルートＤの基画像Ｉに相当）に基づいて合成画像Ｏが作成される（実際の動作においては、画像Ｉ２を使用せずに画像Ｉ１’と基画像Ｉとを用いて合成画像Ｏを作成する。この場合も上記場合１と同様、ルートＤを削除して画像Ｉ２を基画像Ｉとして扱ってもよい）。

ただし、場合２では、図１２に示すように、画像Ｉ１’（領域６０７で示す画像Ｉ１）と基画像Ｉ（領域６０９）とに基づく合成画像Ｏの作成において、画像Ｉ１’の線形特性領域と基画像Ｉの線形特性領域（符号６１０に示す線形特性画像Ｉ_ＬＩＮ）とに重複部分Ｗが存在することになる。この「重複部分」とは、空間的に重複した部分、輝度レベルで重複した部分という２つの意味があるが、ここでの重複部分Ｗは、輝度レベルで重複した部分を示している。したがって、画像合成部４０９４は、基画像Ｉにおける分割パラメータθ以上の領域に対し、画像Ｉ１’における対数特性領域の部分はそのまま基画像Ｉと入れ替え、重複部分Ｗでは以下のように基画像Ｉとの合成処理をしてなる画像と入れ替える処理を行うことで合成画像Ｏを作成する。

上記重複部分Ｗにおける基画像Ｉと画像Ｉ１’との合成は、例えば平均化処理、すなわち以下(13-1)式で示す加算平均処理によってなされる。ただし、画像Ｉｗは、合成画像Ｏの重複部分Ｗにおける画像データを示す。
Ｉｗ＝（Ｉ１’＋Ｉ_ＬＩＮ）／２ …(13-1)

なお、上記画像Ｉ１’と基画像Ｉとの合成処理（重複部分Ｗにおける画像Ｉｗの算出）においては、平均化処理に限らず、例えば重み付け平均処理を用いてもよい。この重み付け平均処理は、例えば図１３に示すように、画素値が「θ」となるときには画像Ｉ_ＬＩＮを１００％使用し（Ｉ_ＬＩＮの重み＝１．０／Ｉ１’の重み＝０）、画素値がＹｔｈに近づくにしたがって画像Ｉ１’の重みを増加させるとともに画像Ｉ_ＬＩＮの重みを減少させ、最終的に、画素値が「Ｙｔｈ」となるときに画像Ｉ１’を１００％使用する（Ｉ_ＬＩＮの重み＝０／Ｉ１’の重み＝１．０）といったように、画素値θからＹｔｈの各位置に応じた画像Ｉ_ＬＩＮ及び画像Ｉ１’に対する重み付けを行う処理である。なお、図１３に示す重複部分Ｗでの重みの変化グラフは、要は、画素値がθの位置でＩ_ＬＩＮに対する重みが１００％、Ｙｔｈの位置でＩ１’に対する重みが１００％となればよく、符号６１１、６１２に示すような直線形でなく所定の曲線形であってもよい。この場合、Ｉ_ＬＩＮに対する重みの変化に対応させて画像Ｉ１’に対する重みを変化させる必要はない（個別に重みを設定してもよい）。

本実施形態１では、以上のようにＤＲ圧縮処理（階調変換処理）を行うことで、例えば図１４に示すように、ＤＲ圧縮処理実施前の光電変換特性６００が例えば変換特性６２０へと変化する。ただし図１４は上記重複部分を重み付け平均した場合であり、符号６２３に示すように当該重複部分が所謂立った状態のグラフ形状となっている。この変化により、対数特性領域の画素値幅が幅６２１から幅６２２へと増大し、これにより、線形特性領域６０２をそのまま維持しつつ（線形特性グラフの傾きや形状を保ちつつ）、すなわち線形特性領域６０２のコントラストが強調され過ぎたり失われないようにして、光電変換特性全体で見たときの対数特性領域の画素値幅の割合をより大きくすることで、対数特性領域におけるコントラスト改善（向上）を図ることができる。そして、対数特性領域のコントラストが改善されるようＤＲ圧縮処理された画像データを扱うことができるため、例えばディスプレイ系への表示における画像の高画質化を図ることが可能となる。

図１５は、デジタルカメラ１の階調変換部４０９におけるＤＲ圧縮処理の一例を示すフローチャートである。先ず撮像センサ３０による撮像によって線形／対数画像が得られる（ステップＳ１）。この線形／対数画像データが信号処理部４０に送信され、信号処理部４０におけるアナログ信号処理部４０１等の各処理ブロックで所定の信号処理が行われた後、階調変換部４０９に入力される（ステップＳ２）。次に、領域分割抽出部４０９１によって、階調変換部４０９に入力された線形／対数画像（基画像Ｉ）が分割パラメータθを境として対数特性領域の画像Ｉ１（又は線形特性領域の一部を含む画像Ｉ１（＝画像Ｂ１））と線形特性領域での画像Ｉ２とに分割され、この各画像Ｉ１、Ｉ２が基画像Ｉから抽出される（ステップＳ３）。分割パラメータθの値が変曲点位置のＹｔｈである場合には（ステップＳ４のＹＥＳ）、照明成分抽出部４０９２によって対数特性領域の画像Ｉ１に対する照明成分Ｌｏｇ（Ｌ１）の抽出処理が行われ（この抽出された照明成分Ｌｏｇ（Ｌ１）が減算部４０９５によって画像Ｉ１から減算されて反射率成分Ｌｏｇ（Ｒ１）が得られ）（ステップＳ５）、さらに、照明成分圧縮部４０９３によってステップＳ５で抽出処理された照明成分Ｌｏｇ（Ｌ１）が圧縮処理されて照明成分Ｌｏｇ（Ｌ１’）とされ（この圧縮された分照明成分Ｌｏｇ（Ｌ１’）と上記反射率成分Ｌｏｇ（Ｒ１）とが加算部４０９６によって加算され）、画像Ｉ１’が求められる（ステップＳ６）。そして、画像合成部４０９４によって画像Ｉ１’、Ｉ２及び基画像Ｉに基づいて合成画像Ｏが作成される（ここでは基画像Ｉにおける画素値がθ以上となる領域を画像Ｉ１’と入れ替える処理が行われる）（ステップＳ７）。

一方、分割パラメータθの値が変曲点位置のＹｔｈより小さい場合には（ステップＳ４のＮＯ）、照明成分抽出部４０９２によって対数特性領域と線形特性領域の位置とからなる画像Ｉ１（画像Ｂ１）に対する各領域の照明成分Ｌｏｇ（Ｌａ）、Ｌｂ（これらは纏めてＬｏｇ（Ｌ１’）に相当する）の抽出処理が行われ（この抽出された照明成分Ｌｏｇ（Ｌａ）、Ｌｂが減算部４０９５によって画像Ｉ１から減算され反射率成分Ｌｏｇ（Ｒａ）、Ｒｂが得られ）（ステップＳ８）、さらに、照明成分圧縮部４０９３によってステップＳ８で抽出処理された照明成分Ｌｏｇ（Ｌａ）、Ｌｂが圧縮処理されて照明成分Ｌｏｇ（Ｌａ’）、Ｌｂ’とされ（この圧縮された照明成分Ｌｏｇ（Ｌａ’）、Ｌｂ’と上記反射率成分Ｌｏｇ（Ｒａ）、Ｒｂとが各特性領域毎に加算部４０９６によって加算され）、画像Ｉ１’が求められる（ステップＳ９）。そして画像合成部４０９４によって画像Ｉ１’、Ｉ２及び基画像Ｉに基づいて合成画像Ｏが作成され（ここでは、基画像Ｉと画像Ｉ１’とから合成画像Ｏが作成され、当該画像合成処理において各画像の重複部分Ｗで平均化処理や重み付け平均処理がなされる）（ステップＳ１０）、当該合成画像Ｏが階調変換部４０９から画像メモリや４１１やＬＣＤ表示部１０７に出力される（ステップＳ１１）。

（実施形態２）
図１６は、本発明の実施形態２に係るデジタルカメラ１ａの階調変換部４０９ａを説明するための機能ブロック図である。図１６に示すように階調変換部４０９ａは、概略的にいうと、図９に示す階調変換部４０９において、画像Ｉ２に対する対照明成分抽出及び照明成分圧縮を行うための回路（処理ブロック）が備えられている点が異なる。その他同符号である各部の構成は、図９に示す階調変換部４０９のものと同じであり、その説明を省略する。ただし、説明の便宜上、画像Ｉ１に対する照明成分抽出部４０９２を第１照明成分抽出部４０９２、照明成分圧縮部４０９３を第１照明成分圧縮部４０９３と表す。

階調変換部４０９ａは、領域分割抽出部４０９１ａ、第２照明成分抽出部７０１、第２照明成分圧縮部７０２、及び画像合成部４０９４ａを備えている。領域分割抽出部４０９１ａは、領域分割抽出部４０９１と同様、階調変換部４０９ａに入力された基画像Ｉに対し、分割パラメータθによって対数特性領域と残りの線形特性領域の部分との２つの領域に分割し、この基画像Ｉから当該分割してなる画像Ｉ１、Ｉ２を抽出する。ただし、実施形態２では、線形特性領域側の画像Ｉ２に対しても照明成分の抽出・圧縮処理がなされる構成であり、実施形態１のようにθ＜Ｙｔｈの場合（重複部分）を考慮せずとも、自ずと線形特性領域と対数特性領域とは（滑らかに）接続されるので、分割パラメータθをＹｔｈの値のみに固定して設定し、実施形態１と同様にして、基画像Ｉから当該θ（＝Ｙｔｈ；変曲点）の位置を境とする上記図１０に示す領域６０４の画像Ｉ１と領域６０５の画像Ｉ２との分割抽出処理を行う。

なお、領域分割抽出部４０９１ａにより抽出された画像Ｉ１は、実施形態１と同様に、第１照明成分抽出部４０９２及び第１照明成分圧縮部４０９３（並びに減算部４０９５、加算部４０９６）によってＤＲ圧縮が施され、その結果、画像Ｉ１’が得られて画像合成部４０９４ａに入力される。一方、画像Ｉ２は、第２照明成分抽出部７０１及び第２照明成分圧縮部７０２による下記の方法でＤＲ圧縮が施され、画像Ｉ２’として画像合成部４０９４ａに入力される。

第２照明成分抽出部７０１は、同図に示すように、領域分割抽出部４０９１ａにより抽出された画像Ｉ２から照明成分Ｌ２を抽出する。この画像Ｉ２からの照明成分Ｌ２の抽出処理は以下(14-1)式で示される。
Ｌ２＝Ｆ（Ｉ２） …(14-1)
ここで、上記“Ｆ”は実施形態１と同様、ガウシアン或いは平均化に関する線形のローパスフィルタを示している。このフィルタはメディアンフィルタ等の非線形フィルタであってもよい。一方、画像Ｉ２の反射率成分Ｒ２は、Ｒ２＝Ｉ２／Ｌ２で求められる（(3-1)式参照）。

第２照明成分圧縮部７０２は、第２照明成分抽出部７０１により得られた照明成分Ｌ２に対する所定の圧縮処理を行い、当該照明成分を圧縮してなる照明成分Ｌ２’を出力する。ＤＲ圧縮率を「ｃ」で表すと、この圧縮照明成分Ｌ２’は以下(15-1)式で与えられる。
Ｌ２’＝ｅｘｐ（Ｌｏｇ（Ｌ２）＊ｃ） …(15-1)

第２照明成分圧縮部７０２により得られた圧縮照明成分Ｌ２’は、符号７０４に示す乗算部（乗算部７０４）によって反射率成分Ｒ２と乗算され、その結果、画像Ｉ２に対するＤＲ圧縮後の画像Ｉ２’が得られる。反射率成分Ｒ２は、符号７０３に示す除算部（除算部７０３）によって、ルートＥを送信されてくる画像Ｉ２からルートＦを送信されてくる照明成分Ｌ２を除算することで得られる。

画像合成部４０９４ａは、上記画像Ｉ１に対するＤＲ圧縮により得られた画像Ｉ１’と当該画像Ｉ２’と、（ルートＧで送信されてくる）基画Ｉとに基づいて合成画像Ｏを作成する。この場合、先ず画像Ｉ１’と画像Ｉ２’とからこれらを合成してなる画像Ｉ’を作成する。この画像Ｉ’は以下の条件式（(16-1)、(16-2)式）によって与えられる。
ｉｆ（Ｉ（ｘ、ｙ）≧Ｙｔｈ）
ｔｈｅｎ
Ｉ’（ｘ、ｙ）＝Ｉ１’（ｘ、ｙ） …(16-1)
ｅｌｓｅ
Ｉ’（ｘ、ｙ）＝Ｉ２’（ｘ、ｙ） …(16-2)
ｅｎｄｉｆ

続いて、画像Ｉ’と基画像Ｉとから合成画像Ｏを作成する。この画像Ｉ’及び画像Ｉに基づく合成画像Ｏの作成は、例えば以下（ａ）〜（ｃ）の方法で行われる。
＜（ａ）の方法＞
図１７に示すように符号８０１に示す光電変換特性（光電変換特性８０１）を基画像Ｉ、符号８０２に示す変換特性（変換特性８０２）を画像Ｉ’とすると、合成画像Ｏを、以下(17-1）式に示すように画像Ｉと画像Ｉ’とを平均化（中間値；加算平均値）したものとする。この場合、合成画像Ｏは例えば符号８０３の光電変換特性で示される。
Ｏ＝（Ｉ（ｘ、ｙ）＋Ｉ’（ｘ、ｙ））／２ …(17-1)

なお、上記(17-1)式に示すように単純な加算平均ではなく、画像Ｉと画像Ｉ’とを所定の比率で平均する、具体的には例えば以下(17-1)’式によって平均してもよい。
Ｏ＝（１＊Ｉ（ｘ、ｙ）＋２＊Ｉ’（ｘ、ｙ））／３ …(17-1)’

＜（ｂ）の方法＞
図１８に示すように、光電変換特性８０１を基画像Ｉ、変換特性８０２を画像Ｉ’とすると、合成画像Ｏを以下の条件式（(18-1)、(18-2)式）で与えられるものとする。
ｉｆ（Ｉ（ｘ、ｙ）≧Ｘｔｈ）
ｔｈｅｎ
Ｏ＝（Ｉ（ｘ、ｙ）＋Ｉ’（ｘ、ｙ））／２ …(18-1)
ｅｌｓｅ（即ちＩ（ｘ、ｙ）＜Ｘｔｈ）
Ｏ＝Ｉ …(18-2)
ｅｎｄｉｆ

図１８では、上記(18-2)式に相当する光電変換特性８０１（基画像Ｉ）における符号８０１１に示す線形特性領域（線形特性８０１１）の部分と、上記(18-1)に相当する変換特性８０４（図１７の光電変換特性８０３の対数特性領域側の部分に相当）とで示されるものが合成画像Ｏとなる。ただしこの場合、線形特性８０１１と変換特性８０４との繋ぎ目（端点８０１２及び端点８０４１）に段差が生じることになるが、この段差は、図１９（ａ）に示すように、実施形態１の図１２、１３で説明した重み付け平均処理と同様、重複部分Ｔにおける線形特性８０１１の画像と変換特性８０４の画像とに対する重み付け平均処理を行うことによって（接続部分８０５の特性グラフに示すように）滑らかに接続される。

なお、基画像Ｉ及び画像Ｉ’に基づく合成画像Ｏは、以下の条件式（(19-1)、(19-2)式）で与えられてもよい。
ｉｆ（Ｉ（ｘ、ｙ）≧Ｙｔｈ）
ｔｈｅｎ
Ｏ＝（Ｉ（ｘ、ｙ）＋Ｉ’（ｘ、ｙ））／２ …(19-1)
ｅｌｓｅ（即ちＩ（ｘ、ｙ）＜Ｙｔｈ）
Ｏ＝Ｉ …(19-2)
ｅｎｄｉｆ
この場合の線形特性８０１１と変換特性８０４とのつなぎ目（端点８０１２及び端点８０４２）は、図１９（ｂ）に示すように、所定の係数（重み付け係数）等を用いて、接続部分８０６の特性グラフに示すように滑らかに接続されてもよい。

この場合も上記(19-1)式のように単純な加算平均でなく、画像Ｉと画像Ｉ’とを所定の比率で平均する、具体的には例えば以下(19-1)’式によって平均してもよい。
Ｏ＝（１＊Ｉ（ｘ、ｙ）＋２＊Ｉ’（ｘ、ｙ））／３ …(19-1)’

＜（ｃ）の方法＞
図２０に示すように、光電変換特性８０１を有する画像を基画像Ｉ、変換特性８０２を有する画像を画像Ｉ’とすると、合成画像Ｏを以下の条件式（(20-1)、(20-2)式）で与えられるものとする。
ｉｆ（Ｉ’（ｘ、ｙ）／Ｉ（ｘ、ｙ）＞ｅ）
ｔｈｅｎ
Ｏ（ｘ、ｙ）＝Ｉ（ｘ、ｙ） …(20-1)
ｅｌｓｅ
Ｏ（ｘ、ｙ）＝Ｉ’（ｘ、ｙ） …(20-2)
ｅｎｄｉｆ

ただし、上記「ｅ」は、強調率（ゲイン）を示しており、「０」以上の値をとる。ここでのＤＲ圧縮においては、通常、上記Ｉ’（ｘ、ｙ）／Ｉ（ｘ、ｙ）の値は１．０以上の値となる。ここでは、増幅率ｅの値を例えば「１．０」に設定すると、上記条件式により、画像Ｉ’のゲインが基画像Ｉのゲインよりも大きくなる場合はゲインの小さい画像Ｉ’の方を採用し、そうでない場合には画像Ｉの方を採用するというようにして合成画像Ｏに用いる特性（画像Ｉ’又は基画像Ｉ）を選択する。この結果、合成画像Oは、光電変換特性８０１における符号８１２に示す線形特性領域の部分と、変換特性８０２における符号８１１に示す特性領域との合成により得られるものとなる。

ところで、上記（ｃ）の方法は、ＤＲ圧縮を行ったとしても基画像Ｉの線形特性領域の部分はそのまま維持したい（特にコントラストが増加する方向には特性グラフを持ち上げたくない）という目的を満たしつつ合成画像を作成することにある。ＤＲ圧縮によってＩ’（ｘ、ｙ）／Ｉ（ｘ、ｙ）＞１．０（＝ｅ）となる領域は、図２０に示すように一般的に変曲点（Ｙｔｈ）より小さい範囲（領域）となる。したがって、上記条件式を用いて「ｅ」を例えば１．０と設定した場合、合成画像Ｏにおける線形特性領域部分は、符号８１３に示す特性部分での画像Ｉ’ではなく、符号８１２に示す特性部分の基画像Ｉが採用されることになり、線形特性領域側を維持したいという目的は自ずと満たされる。このように、上記条件式でｅ＝１．０の場合、線形特性領域では、ＤＲ圧縮によりゲインアップが行われないため、出力画像（合成画像Ｏ）のＳ／Ｎ比は基画像Ｉを下回らないものとなり、したがって、線形特性領域において特性グラフが持ち上がり、コントラストが強調され過ぎてしまうといったことなく現状を維持しつつ、対数特性領域に対する画素値幅を幅８１４から幅８１５に拡大させてコントラストを向上（改善）させることができる。

ただし、ＤＲ圧縮において線形特性領域部分はそのまま維持するということを明確にした条件式とするべく、上記ｉｆ（Ｉ’（ｘ、ｙ）／Ｉ（ｘ、ｙ）＞ｅ）の式の前に例えばｉｆ（Ｉ（ｘ、ｙ）＜Ｙｔｈ）、ｔｈｅｎ、という条件式を置いたものとしてもよい。この場合、Ｉ（ｘ、ｙ）≧Ｙｔｈとなる範囲での合成画像Ｏに用いる画像Ｉ’又は基画像Ｉの選択に関しては、例えば固定値として予め設定された画像Ｉ’の方を採用するようにしてもよいし、同様に、Ｉ’（ｘ、ｙ）／Ｉ（ｘ、ｙ）＞ｅの条件式に基づいていずれかの画像を採用するようにしてもよい。

図２１は、実施形態２に係るデジタルカメラ１ａの階調変換部４０９ａにおけるＤＲ圧縮処理の一例を示すフローチャートである。先ず撮像センサ３０による撮像によって線形／対数画像が得られる（ステップ２１）。この線形／対数画像データが信号処理部４０に送信され、信号処理部４０におけるアナログ信号処理部４０１等の各処理ブロックで所定の信号処理が行われた後、階調変換部４０９ａに入力される（ステップＳ２２）。次に、領域分割抽出部４０９１ａによって、階調変換部４０９ａに入力された線形／対数画像（基画像Ｉ）が分割パラメータθ（＝Ｙｔｈ）を境として対数特性領域の画像Ｉ１と線形特性領域での画像Ｉ２とに分割され、この各画像Ｉ１、Ｉ２が基画像Ｉから抽出される（ステップＳ２３）。次に、第１照明成分抽出部４０９２によって対数特性領域の画像Ｉ１に対する照明成分Ｌｏｇ（Ｌ１）の抽出処理が行われる（この抽出された照明成分Ｌｏｇ（Ｌ１）が減算部４０９５によって画像Ｉ１から減算され反射率成分Ｌｏｇ（Ｒ１）が得られ）（ステップＳ２４）。そして、第１照明成分圧縮部４０９３によって上記ステップＳ２４で抽出処理された照明成分Ｌｏｇ（Ｌ１）が圧縮処理されてＬｏｇ（Ｌ１’）とされて（この圧縮された照明成分Ｌｏｇ（Ｌ１’）と上記反射率成分Ｌｏｇ（Ｒ１）とが加算部４０９６によって加算され）、画像Ｉ１’が求められる（ステップＳ２５）。

一方、第２照明成分抽出部７０１によって線形特性領域の画像Ｉ２に対する照明成分Ｌ２の抽出処理が行われる（この抽出された照明成分Ｌ２が除算部７０３によって画像Ｉ２から除算されて反射率成分Ｒ２が得られる）（ステップＳ２６）。そして、第２照明成分圧縮部７０２によって上記ステップＳ２４で抽出処理された照明成分Ｌ２の圧縮処理が行われて照明成分Ｌ２’とされ（この圧縮された照明成分Ｌ２’と上記反射率成分Ｒ２とが乗算部７０４によって乗算され）、画像Ｉ２’が求められる（ステップＳ２７）。そして画像合成部４０９４ａによって先ず画像Ｉ１’及び画像Ｉ２’との合成画像Ｉ’が作成され、さらにこの画像Ｉ’及び基画像Ｉに基づいて（上記（ａ）〜（ｃ）の各場合等の合成処理方法によって）合成画像Ｏが作成され（ステップＳ２８）、当該作成された合成画像Ｏが、階調変換部４０９ａから画像メモリや４１１やＬＣＤ表示部１０７に出力される（ステップＳ２９）。

以上のように、本実施形態の撮像装置（デジタルカメラ１、１ａ）によれば、照明成分抽出部４０９２（第１照明成分抽出部４０９２、第２照明成分抽出部７０１）によって、線形特性領域（入射光量に対して所定の割合で変化する電気信号が出力される第１領域）及び対数特性領域（入射光量に対する変化の割合が上記第１領域よりも小さい電気信号が出力される第２領域）を含む光電変換特性を有する撮像センサ３０によって得られる撮影画像である基画像Ｉから照明成分（Ｌｏｇ（Ｌ１）、Ｌ２）が抽出され、減算部４０９５（除算部７０３）（反射率成分決定手段）によって基画像Ｉと照明成分とに基づいて反射率成分（Ｌｏｇ（Ｒ１）、Ｒ２）が決定される。そして、照明成分圧縮部４０９３（第１照明成分圧縮部４０９３、第２照明成分圧縮部７０２）（圧縮手段）によって基画像Ｉにおける少なくとも対数特性領域の照明成分（Ｌｏｇ（Ｌ１））に対するＤＲ圧縮が行われ、画像合成部４０９４（４０９４ａ）によって、当該ＤＲ圧縮が行われた照明成分と反射率成分とに基づいて基画像Ｉに対する新たな画像（合成画像Ｏ）が生成されるため、撮像センサ３０（ＬＮ／ＬＯＧセンサ）により得られる線形／対数画像における少なくとも対数特性領域の画像（照明成分）に対してはＤＲ圧縮が行われることになり、よって、線形／対数画像における線形特性領域でのコントラストを維持しつつ（即ち線形特性領域に対してはＤＲ圧縮を施さず、或いはＤＲ圧縮を施したとしても所定の方法でコントラストを維持し、線形特性領域でのコントラストが強調され過ぎたり失われてしまわないようにして）、対数特性領域におけるコントラストを改善（向上）することが可能となり、ひいては撮影画像のディスプレイ系等に対する高画質表示（高画質化；画質改善）が可能となる。

また、上記照明成分抽出手段による対数特性領域の照明成分抽出時に、該対数特性領域近傍の線形特性領域の画像情報が用いられるため、線形／対数画像に対するＤＲ圧縮処理を行うに際して、この線形特性領域の画像情報を利用して線形特性領域と対数特性領域との境界に発生する擬似輪郭を緩和する（或いは擬似輪郭の発生を防止する）ための処理を行うことが容易となる。

また、上記照明成分抽出手段により抽出された対数特性領域及び部分線形特性領域の照明成分（Ｌｏｇ（Ｌａ）、Ｌｂ）に対するＤＲ圧縮が上記圧縮手段によって行われるため、すなわち線形特性領域の一部も対数特性領域と一緒にＤＲ圧縮されるため、ＤＲ圧縮時の対数特性領域と線形特性領域との境界に発生する擬似輪郭を緩和（防止）することができる。また、画像Ｉ１’（圧縮画像）と基画像Ｉとから合成画像Ｏを生成（合成）するに際して、基画像Ｉの画像Ｉ１’に対する部分だけそのまま単に入れ替えるというのではなく、重複部分Ｗを設定してこの部分で所定の合成処理を行い、基画像Ｉ（基画像Ｉの線形特性領域部；画像Ｉ_ＬＩＮ）と画像Ｉ１’（像Ｉ１’の線形特性領域部）とを好適に（例えば滑らかに）接続することができる。

また、所定の重み付け平均処理（図１３参照）によって重複部分Ｗの合成処理が行われるため、簡易な方法でかつ精度良く（滑らかに）この重複部分Ｗの基画像Ｉ及び画像Ｉ１’同士を接続することができる。

また、基画像Ｉにおける線形特性領域及び対数特性領域それぞれについてＤＲ圧縮が行われるため、対数特性領域におけるコントラストの改善（向上）だけでなく、これと同時に線形特性領域におけるコントラストの調整を図ることが可能となる。

また、線形特性領域及び対数特性領域つまり光電変換特性全体にＤＲ圧縮が施されてなる全域圧縮画像と、基画像Ｉとが所定の平均処理（加算平均処理や所定比率での平均処理）されて合成画像Ｏが生成されるため、簡易な合成方法によって全域圧縮画像（図１７、１８、２０の変換特性８０２に示す画像Ｉ’）と基画像Ｉとからこの合成画像Ｏを得ることができる。

また、変曲点位置（Ｘｔｈ又はＹｔｈ；図１８、１９参照）を境とした対数特性領域側における画像Ｉ’（全域圧縮画像）と基画像Ｉとの所定の平均処理により得られる平均画像（変換特性８０４）と、線形特性領域側における基画像Ｉ（線形特性８０１１）とが合成されて合成画像Ｏが得られるため、線形特性領域と対数特性領域とにＤＲ圧縮を行う方法で対数特性領域のコントラスト改善を図るに際して、線形特性領域側のコントラストをそのまま維持した状態で、対数特性領域側のコントラストを向上（変化）させることが容易に行えるようになる。

また、基画像Ｉと画像Ｉ’との平均処理により得られる対数特性領域側の変換特性８０４と、基画像Ｉの線形特性領域側の線形特性８０１１との繋ぎ目部分の合成に際して所定の重み付け平均処理が行われるため（図１９参照）、簡易な方法でかつ精度良く（例えば滑らかに）この繋ぎ目部分の画像同士（線形特性８０１１及び変換特性８０４同士）を接続することができる。

また、画像合成部４０９４ａにより生成される合成画像Ｏは、少なくとも線形特性領域において、画像Ｉ’（全域圧縮画像）のゲインが基画像Ｉのゲインよりも大きくなる部分ではゲインが小さい基画像Ｉの方が選択（採用）されるため（図２０参照）、画像Ｉ’と基画像Ｉとから生成されるこの合成画像Ｏにおける、線形特性領域でのＤＲ圧縮によるゲインアップを防ぐことができ、換言すれば、線形特性領域における出力画像（合成画像Ｏ）のＳ／Ｎ比の低下を抑えることができ、ひいてはより好適にコントラスト調整、ここでは対数特性領域でのコントラスト改善がなされた画像を得ることが可能となる。

また、以上のように、本実施形態の画像処理方法（ＤＲ圧縮方法；階調変換方法）によれば、第１の工程において、照明成分抽出部４０９２（第１照明成分抽出部４０９２、第２照明成分抽出部７０１）により、線形特性領域及び対数特性領域からなる光電変換特性を有する撮像センサ３０によって得られる撮影画像である基画像Ｉから照明成分（Ｌｏｇ（Ｌ１）、Ｌ２）が抽出され、第２の工程において、減算部４０９５（除算部７０３）（反射率成分決定手段）により基画像Ｉと照明成分とに基づいて反射率成分（Ｌｏｇ（Ｒ１）、Ｒ２）が決定される。そして、第３の工程において、照明成分圧縮部４０９３（第１照明成分圧縮部４０９３、第２照明成分圧縮部７０２）（圧縮手段）により基画像Ｉにおける少なくとも対数特性領域の照明成分（Ｌｏｇ（Ｌ１））に対するＤＲ圧縮が行われ、第４の工程において、画像合成部４０９４（４０９４ａ）により、当該ＤＲ圧縮が行われた照明成分と反射率成分とに基づいて基画像Ｉに対する新たな画像（合成画像Ｏ）が生成されるため、撮像センサ３０（ＬＮ／ＬＯＧセンサ）により得られる線形／対数画像における少なくとも対数特性領域の画像（照明成分）に対してはＤＲ圧縮が行われることになり、よって、線形／対数画像における線形特性領域でのコントラストを維持しつつ（即ち線形特性領域に対してはＤＲ圧縮を施さず、或いはＤＲ圧縮を施したとしても所定の方法でコントラストを維持し、線形特性領域でのコントラストが強調され過ぎたり失われてしまわないようにして）、対数特性領域におけるコントラストを改善（向上）することが可能となり、ひいては撮影画像のディスプレイ系等に対する高画質表示（高画質化；画質改善）が可能となる。

また、上記実施形態においては、上述のように入射光量に対して所定の割合で変化する電気信号が出力される第１領域が線形特性領域であり、入射光量に対する変化が第１領域よりも小さい電気信号が出力される第２領域が対数特性領域である、複数種類の特性領域からなる光電変換特性として撮像センサ３０が採用されているが、このように撮像センサとしてＬＮ／ＬＯＧセンサを用いることで、当該第１領域及び第２領域を含む光電変換特性を有する撮像センサを容易に得ることができる。

なお、本発明は、以下の態様をとることができる。
（Ａ）上記実施形態においては、分割パラメータθがθ＝Ｙｔｈ、及びθ＜Ｙｔｈとなる場合について（これらの一方がユーザに選択されて）画像Ｉ１、Ｉ２の分割抽出処理を行う構成となっているが、この分割パラメータθの値を、θ＝Ｙｔｈ、又はθ＜Ｙｔｈのいずれか一方を予め固定値として設定しておき、当該ＤＲ圧縮処理の際には当該一方の場合のみで分割抽出処理を行う構成としてもよい。

（Ｂ）上記実施形態においては、撮像センサ３０による撮影画像（基画像Ｉ）に対するＤＲ圧縮処理をデジタルカメラ１（１ａ）内の処理によって、すなわち階調変換部４０９（４０９ａ）において実行する構成となっているが、これに限らず当該ＤＲ圧縮処理をカメラ外で実行する構成としてもよい。具体的には、例えばデジタルカメラ１（１ａ）とＵＳＢ等による直接接続又は無線ＬＡＮ等によるネットワーク接続がなされた、或いはストレージメディア（メモリカード１０８）等を用いて情報伝達可能に構成された、ユーザーインターフェイス（ＵＩ）を備える所定のホスト（例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant；個人向け携帯情報端末）においてこのＤＲ圧縮処理が実行される。

この場合、ホストは、デジタルカメラ１（１ａ）で得られた光電変換特性の変曲点に関する情報とともに、ＤＲ圧縮処理（階調変換処理）前の状態であって例えば画像メモリ４１１に記憶された画像信号が全体制御部５０において圧縮処理された静止画像や動画像、すなわちＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ等も含む）画像やＭＰＥＧ画像、或いはそのままのＲＡＷフォーマット画像を受け取り、この画像情報（変曲点位置情報）をホストのモニタ表示部に所定のアプリケーションソフト（ビューワソフト）等を用いて表示させる。そして、このアプリケーションソフトによって、ユーザによる指示入力（操作）に応じて上記実施形態１又は実施形態２のＤＲ圧縮処理方法（例えば図１２に示す重複部分Ｗの合成処理方法や、図１７、１８、２０に示す画像Ｉと画像Ｉ’との合成処理方法）が選択され、これに基づいて例えばＤＲ圧縮処理（画像変換処理）用のＬＵＴが作成されるなどして当該ＤＲ圧縮処理が実行されるという構成であってもよい。なお、上記光電変換特性の変曲点情報等は、一般的にデジタルカメラの画像ファイルが有している当該カメラの内部情報が記憶されるＥｘｉｆヘッダ等に記述されていてもよいし、変曲点情報専用の情報ファイルに別途記述されたものとしてもよい。

本発明の実施形態１に係る撮像装置が好適に適用される小型のデジタルカメラの外観を示す図であり、（ａ）はその上面図、（ｂ）は正面図、（ｃ）は背面図である。 上記デジタルカメラにおける撮像処理ブロック図である。 上記デジタルカメラが備える全体制御部の機能を説明するための機能ブロック図である。 撮像センサの一例である二次元のＭＯＳ型固体撮像装置の概略構成図である。 図４に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。 撮像センサの撮像動作に関するタイミングチャートの一例を示す図である。 撮像センサの光電変換特性の一例を示す図である。 上記光電変換特性の変化動作を説明するためのグラフ図である。 図２に示す階調変換部の機能を説明するための機能ブロック図である。 基画像（光電変換特性）に対する分割パラメータθを境とするの画像Ｉ１、Ｉ２の分割抽出について説明するためのグラフ図である。 基画像（光電変換特性）に対する分割パラメータθを境とするの画像Ｉ１、Ｉ２の分割抽出について説明するためのグラフ図である。 画像Ｉ１’と基画像Ｉとに基づく合成画像Ｏの作成について説明するためのグラフ図である。 図１２に示す重複部分の重み付け平均処理について説明するためのグラフ図である。 実施形態１におけるＤＲ圧縮処理を行うことによる光電変換特性の変化の様子を説明するためのグラフ図である。 上記デジタルカメラの階調変換部におけるＤＲ圧縮処理の一例を示すフローチャートである。 本発明の実施形態２に係るデジタルカメラの階調変換部を説明するための機能ブロック図である。 画像Ｉ１’と基画像Ｉとに基づく合成画像Ｏの作成について説明するためのグラフ図である。 画像Ｉ１’と基画像Ｉとに基づく合成画像Ｏの作成について説明するためのグラフ図である。 図１８に示す変曲点位置での画像の繋ぎ目における画像接続方法について説明するためのグラフ図である。 画像Ｉ１’と基画像Ｉとに基づく合成画像Ｏの作成について説明するためのグラフ図である。 実施形態２に係るデジタルカメラの階調変換部におけるＤＲ圧縮処理の一例を示すフローチャートである。 露出制御に関する用語の定義を説明するための表形式の図である。 従来におけるＤＲ圧縮処理を行うことによる光電変換特性の変化の様子を説明するためのグラフ図である。 従来におけるＤＲ圧縮処理を行うことによる光電変換特性の変化の様子を説明するためのグラフ図である。

符号の説明

１、１ａ デジタルカメラ（撮像装置）
３０ 撮像センサ
４０ 信号処理部
５０ 全体制御部
４０９、４０９ａ 階調変換部
４０９１、４０９１ａ 領域分割抽出部
４０９２ 照明成分抽出部、第１照明成分抽出部（照明成分抽出手段）
４０９３ 照明成分圧縮部、第１照明成分圧縮部（圧縮手段）
４０９４、４０９４ａ 画像合成部（画像生成手段）
４０９５ 減算部（反射率成分決定手段）
４０９６ 加算部
４１１ 画像メモリ
５４０ 分割設定部
６００ 光電変換特性（基画像）
６０１ 対数特性領域（第２領域）
６０２ 線形特性領域（第１領域）
６０３ 変曲点
６２０ 変換特性
７０１ 照明成分抽出部
７０２ 照明成分圧縮部
７０３ 除算部（反射率成分決定手段）
７０４ 乗算部
８０１ 光電変換特性（基画像）
８０２ 変換特性（全域圧縮画像）
８０４ 変換特性
８０５、８０６ 接続部分
８０１１ 線形特性

Claims (5)

1. 所定の画像に対するダイナミックレンジ圧縮を行うことが可能に構成された撮像装置であって、
   入射光量に応じた電気信号を発生するとともに、入射光量に対して所定の割合で変化する電気信号が出力される第１領域と、入射光量に対する変化が前記第１領域よりも小さい電気信号が出力される第２領域とを含む光電変換特性を有する撮像センサと、
   前記撮像センサによる撮影画像である基画像から被写体表面に照射される照明成分を抽出する照明成分抽出手段と、
   前記基画像と前記照明成分とに基づいて被写体表面の反射率成分を決定する反射率成分決定手段と、
   前記照明成分に対するダイナミックレンジ圧縮を行う圧縮手段と、
   前記圧縮手段によりダイナミックレンジ圧縮が行われた照明成分と前記反射率成分決定手段により決定された反射率成分とに基づいて前記基画像に対する新たな画像を生成する画像生成手段とを備え、
   前記圧縮手段は、基画像における少なくとも前記第２領域の照明成分をダイナミックレンジ圧縮し、
   前記照明成分抽出手段は、前記第２領域の照明成分抽出時に該第２領域近傍の第１領域の画像情報を用いることを特徴とする撮像装置。
2. 前記照明成分抽出手段は、第２領域と、第１領域の一部分である部分第１領域との照明成分を抽出し、
   前記圧縮手段は、当該第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮を行い、
   前記画像生成手段は、前記第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮が施された圧縮画像と前記基画像とに基づいて、該圧縮画像と基画像との第１領域における重複部分に所定の合成処理が施されてなる新たな画像を生成することを特徴とする請求項１記載の撮像装置。
3. 前記重複部分における合成処理は、所定の重み付け平均処理であることを特徴とする請求項２記載の撮像装置。
4. 所定の画像に対するダイナミックレンジ圧縮を行うことが可能とされた画像処理方法であって、
   入射光量に応じた電気信号を発生するとともに、その光電変換特性が入射光量に対して所定の割合で変化する電気信号が出力される第１領域と、入射光量に対する変化が前記第１領域よりも小さい電気信号が出力される第２領域とを備える撮像センサによる撮影画像である基画像から、被写体表面に照射される照明成分を抽出する第１の工程と、
   前記基画像と前記照明成分とに基づいて被写体表面の反射率成分を決定する第２の工程と、
   前記照明成分に対するダイナミックレンジ圧縮を行う第３の工程と、
   前記ダイナミックレンジ圧縮が行われた照明成分と前記決定された反射率成分とに基づいて、前記基画像に対する新たな画像を生成する第４の工程とを有し、
   前記第３の工程は、前記基画像における少なくとも第２領域の照明成分をダイナミックレンジ圧縮する工程であり、
   前記第１の工程において、前記第２領域の照明成分抽出時に該第２領域近傍の第１領域の画像情報を用いることを特徴とする画像処理方法。
5. 前記第１の工程において、前記第２領域と第１領域の一部分である部分第１領域との照明成分を抽出し、
   前記第３の工程において、前記第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮を行い、
   前記第４の工程において、前記第２領域及び部分第１領域の照明成分に対するダイナミックレンジ圧縮が施された圧縮画像と前記基画像とに基づいて、該圧縮画像と基画像との第１領域における重複部分に所定の合成処理が施されてなる新たな画像を生成することを特徴とする請求項４記載の画像処理方法。

Images