JP4986914B2 - 画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法 - Google Patents

Description

本発明は、画像信号を階調変換し得る画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法に関する。

現在のデジタルスチルカメラやビデオカメラなどでは、取得した映像信号に対して、表示系の特性や人間の視覚特性を考慮した階調変換処理が行われている。

さらに、画像信号に対して適用する階調変換特性を決定するに当たっては、画像信号自体の情報等を用いて、基本となる階調変換特性を修正する技術も開発されている。

例えば、特開２００４-２８２２８２号公報には、イメージセンサから得られた画像データに基づいてダイナミックレンジの圧縮カーブを修正する技術が記載されている。

また、特開２００３-１７９８０９号公報には、固体撮像素子から得られた画像の輝度分布の状態に基づいて、輝度分布の補正が必要であるか否かを判断する技術が記載されている。

そして、上述したような階調変換処理を画像信号に対して行うことにより、画像中の白飛びや黒つぶれをある程度改善することが可能となっている。
特開２００４-２８２２８２号公報 特開２００３-１７９８０９号公報

しかしながら、被写体のダイナミックレンジが撮像装置のダイナミックレンジと大きく異なるときには、階調変換処理を行ったとしても画質を十分に改善することは困難であるどころか、場合によってはかえって画質を劣化させてしまうことになりかねない。

また、人物等の主要被写体が存在する画像信号に対して同一の階調変換処理を行う場合であっても、その主要被写体の状態に応じて画質の改善効果が異なる場合がある。

本発明は上記事情に鑑みてなされたものであり、画像信号に対する階調変換処理を、被写体のダイナミックレンジに応じてより適切に行うことができる画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法を提供することを目的としている。

上記の目的を達成するために、本発明の第１の態様に係る画像信号処理装置は、画像信号を階調変換し得る画像信号処理装置であって、略同一の被写体に係る入射光量が異なる２枚以上の画像を含む画像群を取得する画像群取得部と、上記画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出部と、上記２つ以上の局所領域に基づいて上記画像として撮像された被写体の輝度範囲の広さを推定する推定部と、上記画像群の中から処理対象の画像信号を選択する選択部と、上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、上記推定部により推定された被写体の輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように該階調変換特性を補正する補正部と、上記補正部により補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換部と、を具備したものである。

また、本発明の第２の態様に係る撮像システムは、画像信号を階調変換し得る撮像システムであって、被写体を撮像して画像信号を出力するものであり入射光量を制御可能な撮像部と、上記撮像部を制御して略同一の被写体に係る入射光量が異なる２枚以上の画像を含む画像群を取得する画像群取得部と、上記画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出部と、上記２つ以上の局所領域に基づいて上記画像として撮像された被写体の輝度範囲の広さを推定する推定部と、上記画像群の中から処理対象の画像信号を選択する選択部と、上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、上記推定部により推定された被写体の輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように該階調変換特性を補正する補正部と、上記補正部により補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換部と、を具備したものである。

さらに、本発明の第３の態様に係る画像信号処理プログラムは、コンピュータに画像信号を階調変換させるための画像信号処理プログラムであって、コンピュータに、画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出ステップと、上記２つ以上の局所領域に基づいて上記画像として撮像された被写体の輝度範囲の広さを推定する推定ステップと、上記画像群の中から処理対象の画像信号を選択する選択ステップと、上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、上記推定ステップにより推定された被写体の輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように該階調変換特性を補正する補正ステップと、上記補正ステップにより補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換ステップと、を実行させるためのプログラムである。

そして、本発明の第４の態様に係る画像信号処理方法は、画像信号を階調変換するための画像信号処理方法であって、画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出ステップと、上記２つ以上の局所領域に基づいて上記画像として撮像された被写体の輝度範囲の広さを推定する推定ステップと、上記画像群の中から処理対象の画像信号を選択する選択ステップと、上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、上記推定ステップにより推定された被写体の輝度範囲の広さに基づいて該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように該階調変換特性を補正する補正ステップと、上記補正ステップにより補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換ステップと、を含む方法である。

本発明の画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法によれば、画像信号に対する階調変換処理を、被写体のダイナミックレンジに応じてより適切に行うことが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１４は本発明の実施形態１を示したものであり、図１は画像信号処理装置が適用される撮像システムの構成を示すブロック図、図２は補正部の構成を示すブロック図、図３は補正前の階調変換特性を示す線図、図４は基準階調変換特性を示す線図、図５は補正後の階調変換特性を示す線図、図６は画像を閾値と比較して得られる画素の領域を示す図、図７は図６の画素領域にオープニング処理を施し構造要素以上の領域である特徴領域のみを残した様子を示す図、図８はクリップ処理前のヒストグラムおよびクリップ値を示す線図、図９はクリップ処理後のヒストグラムを示す線図、図１０は図８と図９のヒストグラムをそれぞれ累積して算出した階調変換特性の様子を示す線図、図１１は適正露光の画像信号に対するヒストグラムの例を示す線図、図１２は適正露光よりも暗めの画像信号に対するヒストグラムの例を示す線図、図１３は適正露光よりも明るめの画像信号に対するヒストグラムの例を示す線図、図１４は画像信号処理プログラムによる処理の流れを示すフローチャートである。

図１に示すように、この撮像システムは、例えばデジタルカメラ等として構成されていて、レンズ系１００と、絞り１０１と、ＡＦモータ１０２と、カラーフィルタ１０３と、ＣＣＤ１０４と、Ａ／Ｄ変換部１０５と、バッファ１０６と、撮影制御部１０７と、信号処理部１０８と、抽出部１０９と、推定部１１０と、特徴量抽出部１１１と、選択部１１２と、階調変換特性算出部１１３と、補正部１１４と、階調変換部１１５と、圧縮部１１６と、出力部１１７と、制御部１１８と、外部Ｉ／Ｆ部１１９と、を備えている。ここで、抽出部１０９と、推定部１１０と、選択部１１２と、階調変換特性算出部１１３と、補正部１１４と、階調変換部１１５と、を含んだユニットを画像信号処理装置と適宜呼ぶ。

レンズ系１００は、被写体光像をＣＣＤ１０４の撮像面上に結像するものである。

絞り１０１は、レンズ系１００からの光束の通過範囲を規定することにより、ＣＣＤ１０４の撮像面上に結像される被写体光像の明るさを調節する（撮像面への入射光量を調節する）ものである。

ＡＦモータ１０２は、レンズ系１００を駆動してオートフォーカスを行うための駆動源である。

カラーフィルタ１０３は、例えばベイヤー配列のＲＧＢ原色系カラーフィルタとして構成されたものである（すなわち、本実施形態では単板カラーＣＣＤを想定している）。

ＣＣＤ１０４は、結像された被写体光像を光電変換して、アナログの画像信号として出力するものである。このＣＣＤ１０４は、露光時間を調節することにより、撮像面への入射光量を調節することができるように構成されている。なお、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、ＣＣＤ１０４、Ａ／Ｄ変換部１０５は、撮像部を構成している。

このＣＣＤ１０４は、Ａ／Ｄ変換部１０５、バッファ１０６、信号処理部１０８、選択部１１２、階調変換部１１５、圧縮部１１６を順に介して、出力部１１７へ接続されている。バッファ１０６は、撮影制御部１０７へ接続されている。撮影制御部１０７は、絞り１０１、ＡＦモータ１０２、およびＣＣＤ１０４へ接続されている。信号処理部１０８は、抽出部１０９を介して推定部１１０へも接続されている。選択部１１２は、特徴量抽出部１１１および階調変換特性算出部１１３へ接続されている。推定部１１０、特徴量抽出部１１１、および階調変換特性算出部１１３は、補正部１１４へ接続されている。補正部１１４は、階調変換部１１５へ接続されている。

制御部１１８は、撮影制御部１０７、信号処理部１０８、抽出部１０９、推定部１１０、特徴量抽出部１１１、選択部１１２、階調変換特性算出部１１３、補正部１１４、階調変換部１１５、圧縮部１１６、外部Ｉ／Ｆ部１１９と双方向に接続されていて、これらを制御するようになっている。ここに、制御部１１８は、マイクロコンピュータなどを含んで構成されたものである。

また、外部Ｉ／Ｆ部１１９は、この撮像システムの電源をオン／オフするための電源スイッチ、撮像動作を指示入力するための２段式押圧ボタンでなるシャッタボタン、撮影時に各種のモード（シャッタ速度や絞り値等の露出条件、あるいはＩＳＯ感度等を含む）を切り替えるためのモード切替スイッチ等を備えたインタフェースである。

次に、この図１に示したような構成の撮像システムの作用について、信号の流れに沿って説明する。

外部Ｉ／Ｆ部１１９を介してＩＳＯ感度や露出などの撮影条件が設定された後に、外部Ｉ／Ｆ部１１９のシャッタボタンが半押しにされると、この撮像システムがプリ撮影モードに入る。

すると、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影された画像信号は、Ａ／Ｄ変換部１０５によってデジタル信号へ変換されて、バッファ１０６へ転送され一時的に記憶される。

このバッファ１０６内の画像信号は、撮影制御部１０７へ転送される。

撮影制御部１０７は、画像群取得部であって、画像信号中のＡＦエリア内のコントラスト情報を検出して、このコントラスト情報が最大となるようにＡＦモータ１０２を制御する。そして、コントラスト情報が最大となるように制御が行われたら、撮影制御部１０７は、ＡＦモータ１０２の駆動状態に基づいて合焦した被写体までの距離情報（合焦条件の情報）を取得し、合焦が行われた旨を示す合焦信号と取得した距離情報とを制御部１１８へ送信する。なお、ここではコントラストＡＦ（いわゆる山登りＡＦ）により合焦を行っているが、もちろんこれに限るものではなく、例えば赤外発光ダイオードや赤外線センサ等を用いて主要被写体までの距離を測定し、測定した距離に応じてＡＦモータ１０２を制御して合焦を行うようにしても構わない。

撮影制御部１０７は、さらに、画像信号中の輝度レベルに基づいて、ＣＣＤ１０４に到達する入射光量を調整するために絞り１０１を制御したり、あるいはＣＣＤ１０４の電子シャッタ速度を制御したりする。そして、撮影制御部１０７は、制御に用いた露出条件の情報を制御部１１８へ送信する。

なお、本実施形態においては露出条件が異なる複数枚の画像（画像群）を取得するようになっているが、この撮影制御部１０７によるＡＦ制御や露出制御は、本撮影により画像を取得しようとする毎に（つまり、本撮影により取得される画像の枚数である撮影回数と同じ回数だけ）行われる。

このようなプリ撮影モードの動作が行われたところで、次に、外部Ｉ／Ｆ部１１９のシャッタボタンが全押しにされると、この撮像システムが本撮影モードに入って、以下に説明するような本撮影の動作が行われる。

この本撮影時には、撮影制御部１０７によって求められた撮影時の情報（合焦条件および露出条件の情報）が制御部１１８へ転送されている。そして、本撮影は、これらの撮影時の情報を用いて制御部１１８がこの撮像システムを制御することにより行われる。

具体例として、本撮影における撮影回数が３回である場合を挙げて説明する。このときには、制御部１１８は、適正露光の画像と、適正露光よりも例えば１段露出アンダーの画像と、適正露光よりも例えば１段露出オーバーの画像と、をこの順に取得するように制御する。ここに、入射光量が適正な画像信号をＳ１とし、この画像信号Ｓ１に対して入射光量が半分（１段露出アンダー）の画像信号をＳ２とし、画像信号Ｓ１に対して入射光量が２倍（１段露出オーバー）の画像信号をＳ３とする。なお、本撮影における撮影回数は３回に限るものではないが、これ以降では簡単のために、撮影される画像信号がＳ１〜Ｓ３の３枚であるものとして説明する。このような３回の撮影が行われると、各々の撮影時の情報が制御部１１８へ転送される。

なお、本撮影の際に自動的に露出条件を変更しながら複数枚の撮影を行う代わりに、撮影者が本撮影のたびに絞り１０１の絞り値およびＣＣＤ１０４の電子シャッタ速度等を手動で変更しながら撮影するようにしても構わない。

このようにして、露出条件を異ならせて取得された３枚の画像信号Ｓ１〜Ｓ３は、Ａ／Ｄ変換部１０５によってそれぞれデジタル信号に変換されて、バッファ１０６へ転送され格納される。

このバッファ１０６内の画像信号は、信号処理部１０８へ転送される。

信号処理部１０８は、制御部１１８の制御に基づいて、バッファ１０６から単板状態の画像信号を読み込んで、公知の補間処理やホワイトバランス処理などを行うことにより、各画素についてＲＧＢの３原色の信号が揃った三板状態の画像信号を生成する。

なお、信号処理部１０８は、生成した三板状態の画像信号をそのまま出力しても構わないが、さらに、次の数式１に示すように、ＲＧＢ信号をＹＣｂＣｒ信号に変換してから出力しても良い。
［数１］

こうして信号処理部１０８により処理された画像信号Ｓ１〜Ｓ３は、抽出部１０９と選択部１１２とへ転送される。

なお、ここでは、３枚の画像を取得する例を挙げたが、取得する画像の枚数はこれに限られるものではない。すなわち、信号処理部１０８は、入射光量がそれぞれ異なる２枚の画像を少なくとも含む画像群を取得すれば良い。ただし、入射光量がそれぞれ異なる２枚以上の画像は、基本的に、同一の被写体に係るものとなる。なぜならば、入射光量がそれぞれ異なる２枚以上の画像を取得するのは、後述するように、被写体の輝度範囲の広さを正確に推定するためであるので、入射光量が異なっていたとしても異なる被写体に係るものでは意味がないからである。

抽出部１０９は、信号処理部１０８から転送されてきた画像信号から、注目画素を中心とする局所領域を抽出する。画像信号が上述したようなＳ１〜Ｓ３である例においては、抽出部１０９は、入射光量が画像信号Ｓ１の半分である画像信号Ｓ２における画素値が最大値をとる画素と、入射光量が画像信号Ｓ１の２倍である画像信号Ｓ３における画素値が最小値をとる画素と、を注目画素とする。なお、画像群に含まれる画像信号が４枚以上である場合には、例えば最も暗い画像（最も入射光量が少ない画像）における最も明るい部分（画素値が最大値をとる注目画素を中心とする局所領域）と、最も明るい画像（最も入射光量が多い画像）における最も暗い部分（画素値が最小値をとる注目画素を中心とする局所領域）と、を抽出する例が挙げられる（ただし、白飛び部分がない場合には最も入射光量が少ない画像である必要はなく、黒つぶれ部分がない場合には最も入射光量が多い画像である必要はない。従って、このときにはそれぞれ、相対的に入射光量が少ない画像、相対的に入射光量が多い画像であれば良い）。このようにして抽出部１０９により抽出された注目画素を中心とする各局所領域は、推定部１１０へ転送される。なお、具体的な局所領域として、例えば、３×３画素の領域、５×５画素の領域のほか、その注目画素しか含まない１×１画素の領域などが挙げられる（なお、注目画素を中心とする局所領域を抽出する理由は、注目画素が孤立点である場合（その注目画素の値だけが他の画素の値に比べて突出して異なっているような場合）に該注目画素の値に基づいて推定した被写体の輝度範囲の広さが不正確になってしまうのを軽減するためである。従って、局所領域は、複数画素を含む方が望ましい。また、局所領域としては、正方領域に限られるものでもない）。さらに、どのようなサイズの局所領域を用いるかを、ユーザが予め指定するように構成しても良い。

また、抽出部１０９は、上述のように、注目画素として、画素値が最大値である画素と最小値である画素とを抽出したが、それに限られない。すなわち、画素値が最大値近傍である画素や、最小値近傍である画素を注目画素としても良い。この最大値近傍である画素として、最大値をとる画素の画素値の近傍、例えば最大画素値の９０％以上の画素値を満たす画素が挙げられる。一方、最小値付近である画素として、最小値をとる画素の画素値の近傍、例えば最小画素値の１１０％以下の画素値に該当する画素が挙げられる。もちろん、この「９０％」や「１１０％」の値自体もこれに限られず、実験などにより定められた値を適宜用いても良い。

推定部１１０は、抽出部１０９から転送されてきた局所領域の信号を用いて、撮影された被写体の輝度範囲の広さ、すなわちダイナミックレンジを次に説明するように推定する。

まず、推定部１１０は、局所領域の画像信号の内のＧ信号（信号処理部１０８が三板状態の画像信号を出力する場合）またはＹ信号（信号処理部１０８がＹＣｂＣｒ信号を出力する場合）を用いて、局所領域の信号の平均値を算出する。推定部１１０が、画像信号Ｓ２の局所領域に対して算出したＧ信号またはＹ信号の平均値をＶ~2（後述する数式４の右辺第２項に記載された量であるが、表記の都合上、このように記載する）、画像信号Ｓ３の局所領域に対して算出したＧ信号またはＹ信号の平均値をＶ~3（同様に、後述する数式５の右辺第２項に記載された量である）、とする。

そして、推定部１１０は、被写体の輝度範囲の広さを測定するために、次の数式２のように定義されるＥＶ値（いわゆるアペックスシステムとして知られるＥＶ値）を用いる。
［数２］

ここに、Ｆは画像が取得されたときの絞り１０１の絞り値、Ｔは画像が取得されたときの露光時間（秒）を示している。従って、推定部１１０は、各々の画像信号に対して制御部１１８から転送される絞りや露光時間の情報を用いてＥＶ値を算出することになる。

なお、ＩＳＯ感度も考慮する場合には、上述した数式２に代えて、次の数式３を用いることができる。
［数３］

ここに、ＩＳＯは画像が取得されたときに設定されていたＩＳＯ感度を表し、左辺のＥＶISO（表記の都合上、このように記載する）は設定されているＩＳＯにおけるＥＶ値を表している。

上述した画像信号Ｓ２の局所領域におけるＧ信号またはＹ信号の平均値Ｖ~2と、画像信号Ｓ２を取得したときの絞り値Ｆ２および露光時間Ｔ２とを用いると、この局所領域の光量ＥＶISO_S2（数式４の左辺に記載された量であるが、表記の都合上、このように記載する）は、次の数式４のように推定される。
［数４］

ここに、ｂｉｔはＡ／Ｄ変換部１０５がアナログ信号をデジタル信号に変換する際のビット精度（すなわち、デジタル信号のビット幅であり、例えば１０ビットのデジタル信号であればｂｉｔ＝１０となる）であり、ｊおよびｋは画像信号をＥＶ値に変換する際の補正係数である。これらの補正係数ｊ，ｋは、撮像部の機種毎に、あるいは撮像部の個体毎に、異なる値を設定することになる。すなわち、撮像部の機種毎に、あるいは撮像部の個体毎に、画素値とＥＶ値との対応関係が異なるために、この機種間差あるいは個体差を補正するためにこれらの補正係数ｊ，ｋが設定される。

なお、入射光量に対するＣＣＤ１０４の出力特性は既知であって、入射光量と出力との関係が線形になるように予め補正されているものとする。

推定部１１０は、数式４と同様にして、画像信号Ｓ３の局所領域における光量ＥＶISO_S3を次の数式５に示すように推定する。
［数５］

そして、推定部１１０は、次の数式６に示すように、ダイナミックレンジに相当する輝度範囲の広さΔＥＶを算出する。
［数６］

この数式６の左辺のΔＥＶにＩＳＯ感度の添え字がないのは、画像信号Ｓ２と画像信号Ｓ３とを同じＩＳＯ感度で撮影した場合には、数式４の右辺第３項と数式５の右辺第３項とが数式６の差分によって相殺され、ＩＳＯ感度に依存しなくなるためである。

このようにして推定部１１０により推定された被写体の輝度範囲の広さΔＥＶは、補正部１１４へ転送される。

次に、選択部１１２は、信号処理部１０８から転送されてきた複数枚の画像信号の中から処理対象の画像信号を選択して、選択した処理対象の画像信号を階調変換部１１５、特徴量抽出部１１１、および階調変換特性算出部１１３へ転送する。この選択部１１２が選択する画像は、適正露光の画像信号Ｓ１であっても良いし、高輝度部の白飛びを抑制するために適正露光よりも暗めの画像信号Ｓ２であっても構わないし、低輝度部の黒つぶれを抑制するために適正露光よりも明るめの画像信号Ｓ３であっても良い。

また、選択部１１２は、図１１〜図１３に示すような画像信号のヒストグラムを用いて、処理対象の画像信号を選択するようにしても良い。ここに、図１１〜図１３は入射光量が異なる複数枚の画像信号に対するヒストグラムを表し、例えば、画像信号Ｓ１が図１１に、画像信号Ｓ２が図１２に、画像信号Ｓ３が図１３に、それぞれ相当する。これら図１１〜図１３に示す各ヒストグラムを比較すると、図１１のヒストグラムに比べて図１２のヒストグラムおよび図１３のヒストグラムは分散が小さく、かつ図１２のヒストグラムは暗部の頻度が高く、図１３のヒストグラムは明部の頻度が高い。従ってこの場合には、選択部１１２は、ヒストグラムが図１１に示すようになる画像信号を選択する。

さらにまた、選択部１１２は、複数枚の画像信号の中から、ヒストグラムのエントロピーの値が最も大きい画像信号を選択するようにしても構わない。ここに、ヒストグラムのエントロピーＥは、次の数式７に示すように算出される。
［数７］

ここに、ｉは画像信号の画素値、ｆ（ｉ）は画素値ｉにおける頻度を表している。ただし、頻度ｆ（ｉ）は、頻度の合計が１になるように正規化されているものとする。

なお、選択部１１２が画像信号のヒストグラムを用いて処理対象の画像信号を選択する場合には、該選択部１１２は、画像群に含まれる各画像信号に対してヒストグラムをそれぞれ算出するヒストグラム算出部と、算出したヒストグラムに基づき該ヒストグラムの分布状態に係る判定情報（上述した分散、あるいはエントロピーなど）を算出する判定情報算出部と、算出された判定情報に基づき上記画像群に含まれる画像信号の内の一つを選択する画像選択部と、を有して構成されることになる。

ここで、信号処理部１０８から転送されてきた複数枚の画像信号は、時間的に連続に撮像されたもの（例えば連写等により撮像されたもの）であっても良いし、時間的に不連続に撮像されたもの（例えば、ある枚数目の画像信号と他の枚数目の画像信号が所定の時間以上の時間だけ離れて撮像されたもの）であっても構わない。すなわち、転送対象となる複数枚の画像信号は、それぞれが撮像されたときのタイミングを問われるものではない。

特徴量抽出部１１１は、選択部１１２から転送されてきた画像信号に対して特徴量の抽出を行い、抽出した特徴量を補正部１１４へ選択する。この特徴量抽出部１１１による特徴量の抽出について、図６および図７を参照して説明する。

特徴量抽出部１１１は、まず、画像信号に対して画素値の範囲、具体例としては肌色や緑色等の特定色の範囲を設定して（範囲設定部）、画素値がこの設定した範囲内となる画素により構成される空間的に連続な領域を例えば図６に示すように抽出する（領域抽出部）。

次に、特徴量抽出部１１１は、図７に示すようにオープニング処理を行うことにより、予め定められた構造要素よりも小さな領域を取り除く。

そして、特徴量抽出部１１１は、オープニング処理後に残った各領域（特徴領域と言うことにする）の面積を算出して（面積算出部）、算出した面積に関する情報を特徴量として補正部１１４へ転送する。ここに、特徴量抽出部１１１が特徴量として転送する面積に関する情報は、抽出された領域が複数である場合には、これら複数の領域の面積を加算したものであっても良いし、あるいは複数の領域の内の最も面積が大きい領域の面積であっても構わない。

なお、特徴量抽出部１１１による領域の抽出方法は、上述した例に限るものではなく、例えば特徴量抽出部１１１を顔領域抽出部および面積算出部を含むように構成して、この顔領域抽出部により公知の顔検出技術を用いて特徴領域としての顔領域を抽出し、抽出した顔領域の面積を面積算出部により算出する方法であっても構わない。

一方、階調変換特性算出部１１３は、選択部１１２から転送されてきた画像信号に対する階調変換特性を算出する。この階調変換特性算出部１１３は、階調変換特性を算出する際に、所定の階調変換特性を用いるようにしても良いし、あるいは転送されてきた画像信号から直接算出された階調変換特性を用いるようにしても構わない。

この階調変換特性算出部１１３によるヒストグラムに基づいた階調変換特性の算出について、図８〜図１０を参照して説明する。

階調変換特性算出部１１３は、まず、選択部１１２から転送されてきた画像信号に基づいて、ヒストグラムを算出する（ヒストグラム算出部）。このヒストグラムは、例えば図８に示すようなものであったとする。続いて、階調変換特性算出部１１３は、このヒストグラムを、図８に示すクリップ値でクリップ処理する（クリップ部）。すると、クリップ処理後のヒストグラムは、図９に示すようになる。そして、階調変換特性算出部１１３は、図８に示したクリップ処理前のヒストグラムを累積処理して図１０の実線に示すような階調変換特性を算出するか、または、図９に示したクリップ処理後のヒストグラムを累積処理して図１０の点線に示すような階調変換特性を算出する（累積値算出部）。ここに、階調変換特性算出部１１３は、図１０の点線に示す階調変換特性、または図１０の実線に示す階調変換特性の何れかを算出して、算出した階調変換特性を補正部１１４へ転送するようになっている。

次に、図２を参照して、補正部１１４の構成の一例について説明する。

この補正部１１４は、ＲＯＭ２００と、基準階調変換特性設定部２０１と、重付加算平均部２０２と、を備えている。

ＲＯＭ２００は、基準階調変換特性設定部２０１に接続されている。基準階調変換特性設定部２０１、推定部１１０、特徴量抽出部１１１、および階調変換特性算出部１１３は、重付加算平均部２０２に接続されている。重付加算平均部２０２は、階調変換部１１５に接続されている。制御部１１８は、重付加算平均部２０２と双方向に接続されていて、これを制御するようになっている。

ＲＯＭ２００は、基準となる階調変換特性（例えば、図４に示すような基準階調変換特性。ここに、図４に示す基準階調変換特性は、入力と出力とがリニアに同じ関係（入力輝度値のビット幅と出力輝度値のビット幅が同じである場合には、出力輝度値＝入力輝度）となる階調変換特性である。）を不揮発に記憶するものである。ここに、基準階調変換特性は、被写体の輝度範囲の広さが大きいときに目標となる階調変換特性のことである。あるいは、基準階調変換特性は、被写体の輝度範囲の広さが大きい極限に至ったときの階調変換特性である、ということもできる。

基準階調変換特性設定部２０１は、ＲＯＭ２００から基準となる階調変換特性を読み込んで、読み込んだ階調変換特性を重付加算平均部２０２へ転送する。

一方、階調変換特性算出部１１３からは、例えば図３に示すような階調変換特性が重付加算平均部２０２へ転送される。

重付加算平均部２０２は、これら図３に示すような階調変換特性と図４に示すような基準階調変換特性とを用いて、図５の点線に示すような補正された階調変換特性を、例えば次の数式８に示すように算出する。
［数８］

ここに、Ｔ’（ｉ）は補正された階調変換特性、Ｔ（ｉ）は階調変換特性算出部１１３から転送されてきた階調変換特性（図３参照）、Ｂ（ｉ）は基準階調変換特性（図４参照）、をそれぞれ表している。

また、数式８の右辺に現れるαは０≦α≦１を満たす重み付け係数であり、特徴量抽出部１１１から転送されてきた領域の面積Ｓと、推定部１１０から転送されてきた被写体の輝度範囲の広さΔＥＶと、に基づいて、例えば次の数式９に示すように算出される。
［数９］

ここに、ａは所定の係数を表している。

数式８および数式９を見れば分かるように、被写体の輝度範囲の広さΔＥＶが大きい場合には重み付け係数αが小さくなるために補正される階調変換特性Ｔ’（ｉ）は基準階調変換特性Ｂ（ｉ）に近くなり、また、特徴量抽出部１１１により抽出された領域の面積Ｓが大きい場合には重み付け係数αが１に近付くために補正される階調変換特性Ｔ’（ｉ）は階調変換特性算出部１１３から転送されてきた階調変換特性Ｔ（ｉ）に近くなる。

すなわち、被写体の輝度範囲の広さΔＥＶが大きい場合には、選択部１１２から転送されてきた画像信号には黒つぶれや白飛びが多いと推定することができるために、入力と出力とを大きく変化させる階調変換処理をもし行うと、暗部のノイズを増幅してしまうなどの副作用が大きくなると考えられる。従って、この場合には、入力に対する出力の変化が大きくない階調変換特性を適用するのが好ましく、基準階調変換特性Ｂ（ｉ）に近い階調変換特性Ｔ’（ｉ）が上述したように算出され、後段の階調変換部１１５において適用されることになる。

一方、被写体の輝度範囲の広さΔＥＶが小さい場合には、選択部１１２から転送されてきた画像信号には黒つぶれや白飛びが比較的少ない（あるいはない）と推定することができるために、入力に対する出力の変化が大きい階調変換を行ったとしても問題はない。そこで、階調変換特性算出部１１３から転送されてきた階調変換特性Ｔ（ｉ）に近い階調変換特性Ｔ’（ｉ）を後段の階調変換部１１５において適用することにより、画質改善の大きな効果を得るようにしている。

また、画像信号から抽出された特徴領域の面積Ｓが大きい場合には、この特徴領域がヒストグラムの累積によって得られる階調変換特性に大きく寄与していると考えられる。従って、この特徴領域の階調を良好に保つためには、ヒストグラムの累積によって得られた階調変換特性をある程度保持していることが望ましい。そこで、補正された階調変換特性Ｔ’（ｉ）が、階調変換特性算出部１１３から転送されてきた階調変換特性Ｔ（ｉ）に近づくようにしている。

一方、画像信号から抽出された特徴領域の面積Ｓが小さい場合には、この特徴領域はヒストグラムの累積によって得られる階調変換特性にはあまり寄与していないと考えられる。従って、ヒストグラムの累積によって得られた階調変換特性を特に保持する必要はなく、補正された階調変換特性Ｔ’（ｉ）として、被写体の輝度範囲の広さΔＥＶに応じた適宜のものが算出されることになる。

なお、数式９に現れる係数ａは、特徴量抽出部１１１がどのような領域を抽出するかに応じて値を異ならせても構わない。例えば、特徴量抽出部１１１が抽出する領域が顔領域である場合には、領域の面積Ｓの寄与を大きくするためにこの係数ａの値を大きくすることなどが考えられる。

このように補正部１１４によって補正された階調変換特性Ｔ’（ｉ）は、階調変換部１１５へ転送される。

階調変換部１１５は、選択部１１２から転送されてきた処理対象の画像信号に対して、補正部１１４から転送されてきた階調変換特性Ｔ’（ｉ）を用いて階調変換処理を行う。また、階調変換部１１５は、ディスプレイ等の表示系を考慮したガンマ変換も行うようになっている。こうして階調変換部１１５により階調変換処理された画像信号は、圧縮部１１６へ転送される。

圧縮部１１６は、階調変換部１１５から転送されてきた画像信号に対して公知のＪＰＥＧ等の圧縮処理を行い、圧縮された画像信号を出力部１１７へ転送する。

出力部１１７は、圧縮部１１６から転送されてきた圧縮された画像信号を、メモリカード等の記録媒体へ記録して保存する。あるいは、出力部１１７は、外部表示ディスプレイ等に表示するために、非圧縮の画像信号を表示用の映像信号に変換して出力しても良い。

なお、上述では、ハードウェアによる処理を前提としていたが、これに限定される必要はない。例えば、Ａ／Ｄ変換部１０５を介して得られるＣＣＤ１０４からの画像信号（露出条件が異なる複数枚の画像信号）を未処理のままのＲａｗデータとして、このＲａｗデータに各画像信号に係る絞り値や露光時間、ＩＳＯ感度情報、映像信号サイズなどの情報をヘッダ情報として付加して出力する。そして、このデータをコンピュータに入力して、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて処理することも可能である。なお、さらにあるいは、撮像システム、画像信号処理装置、または画像信号処理プログラムに限らず、同様の処理を行う画像信号処理方法であっても構わない。

図１４を参照して、画像信号処理プログラムによる処理の流れについて説明する。この図１４に示す処理の流れは、図１における処理の流れにほぼ対応するものとなっているために、図１に示す構成における対応する部分を適宜記載して、詳細な流れの説明を省略する。

この処理を開始すると、まず、ヘッダ情報を読み込むとともに（ステップＳ１）、画像信号を入力する（ステップＳ２）。

次に、信号処理部１０８に相当する所定の信号処理を行い（ステップＳ３）、選択部１１２に相当する複数枚の画像信号の内の一枚を選択する処理を行う（ステップＳ４）。

続いて、階調変換特性算出部１１３に相当する階調変換特性の算出処理を行う一方で（ステップＳ５）、特徴量抽出部１１１に相当する画像信号から特徴領域を抽出する処理も行う（ステップＳ６）。

さらにこれらステップＳ５やステップＳ６の処理を行う一方で、抽出部１０９に相当する画像信号の抽出処理を行い（ステップＳ７）、推定部１１０に相当する被写体の輝度範囲の広さの推定の処理を行う（ステップＳ８）。

そして、補正部１１４に相当する階調変換特性の補正処理を行い（ステップＳ９）、階調変換部１１５に相当する階調変換処理を行う（ステップＳ１０）。

その後、全ての注目画素に対する処理が終了したか否かを判定して（ステップＳ１１）、終了していないと判定した場合にはステップＳ１０の処理へ戻り、一方、終了したと判定した場合にはこの画像信号処理プログラムによる処理を終了する。

このような実施形態１によれば、被写体のダイナミックレンジを推定して、推定結果に応じて階調変換特性を補正するようにしたために、被写体のダイナミックレンジに応じた適応的な階調変換処理を行うことができ、より高品位な映像信号を得ることが可能となる。

そして、露出条件の異なる（入射光量の異なる）複数枚の画像信号に応じて被写体のダイナミックレンジを推定するようにしたために、より正確な推定を行うことが可能となる。

さらに、画像信号に含まれる特徴量（上述においては例えば特定色の領域の面積）に応じて階調変換特性の補正量を異ならせるようにしたために、画像中に例えば顔領域等の特徴的な領域が含まれている場合に、この特徴的な領域の階調をなるべく保持した階調変換を行うことが可能となる。

［実施形態２］
図１５、図１６は本発明の実施形態２を示したものであり、図１５は画像信号処理装置が適用される撮像システムの構成を示すブロック図、図１６は画像信号処理プログラムによる処理の流れを示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の撮像システムは、上述した実施形態１の図１に示したような撮像システムにおける、補正部１１４を停止部１０００（この停止部１０００も広い意味での補正部の一種である）に置換した構成になっている。そして、推定部１１０、特徴量抽出部１１１、および階調変換特性算出部１１３は、停止部１０００に接続されている。停止部１０００は、階調変換部１１５に接続されている。また、制御部１１８は、停止部１０００とも双方向に接続されていて、これを制御するようになっている。

次に、本実施形態の撮像システムの作用の内の、上述した実施形態１の撮像システムの作用と異なる部分について、図１５における信号の流れに沿って説明する。

推定部１１０により推定された被写体の輝度範囲の広さΔＥＶ、特徴量抽出部１１１によって抽出された特徴領域の面積Ｓ、および階調変換特性算出部１１３によって算出された階調変換特性Ｔ（ｉ）は、停止部１０００へ転送される。

停止部１０００は、転送されてきたΔＥＶ，Ｓを用いて、次の数式１０に示すようなβを算出する。
［数１０］

ここに、ｂは所定の係数を表している。

そして、停止部１０００は、算出したβに基づいて、階調変換特性Ｔ（ｉ）に基づく階調変換処理を行うか否かを判定する。すなわち、停止部１０００は、算出したβを閾値ｔｈと比較して、β≦ｔｈである場合（これは、面積Ｓを固定して考えると、推定された被写体の輝度範囲の広さが所定の閾値以上である場合になる。）には階調変換処理を停止すると判定し、β＞ｔｈである場合（同様に、面積Ｓを固定して考えると、推定された被写体の輝度範囲の広さが所定の閾値未満である場合になる。）には階調変換特性Ｔ（ｉ）に基づく階調変換処理を実行すると判定して、この判定結果を示す情報を階調変換部１１５へ転送するとともに、判定結果が階調変換処理を実行する結果である場合には階調変換特性Ｔ（ｉ）も階調変換部１１５へ転送する。

なお、ここでは、停止部１０００は、階調変換処理を行うか否かを判定するに当たって数式１０に示したように算出されるβを用いたが、このβを用いる代わりに、上述した実施形態１の数式９に示したようなαを用いても良い。この場合にも、停止部１０００は、αを適宜の閾値と比較して判定を行うことになる。

階調変換部１１５は、停止部から転送されてきた判定結果が階調変換を行うものである場合には、階調変換特性Ｔ（ｉ）を用いて、選択部１１２から転送されてきた処理対象の画像信号に対して階調変換処理を行う。一方、階調変換部１１５は、停止部から転送されてきた判定結果が階調変換を行わないものである場合には、選択部１１２から転送されてきた処理対象の画像信号に対する階調変換処理は行わない。ただし、判定結果が何れである場合にも、階調変換部１１５は、ディスプレイ等の表示系を考慮したガンマ変換等は行う。

なお、上述では、ハードウェアによる処理を前提としていたが、これに限定される必要はなく、上述した実施形態１と同様に、画像信号処理プログラムをコンピュータに実行させて処理することも可能であるし、同様の処理を行う画像信号処理方法であっても構わない。

図１６を参照して、画像信号処理プログラムによる処理の流れについて説明する。この図１６に示す処理の流れは、図１５における処理の流れにほぼ対応するものとなっているために、図１５に示す構成における対応する部分を適宜記載して、詳細な流れの説明を省略する。また、実施形態１の図１４に示した処理と同様である部分についても説明を省略する。

ステップＳ６およびステップＳ８の処理が行われたところで（なお、ステップＳ５の処理はこの時点で既に行われている必要はなく、後段のステップＳ１０を行う前に終了していれば足りる）、停止部１０００に相当する、階調変換処理を停止するか否かの判定処理を行う（ステップＳ２０）。

そして、この判定処理において、階調変換処理を行うと判定した場合には、ステップＳ５によって算出された階調変換特性Ｔ（ｉ）を用いた階調変換部１１５に相当するステップＳ１０の階調変換処理を、ステップＳ１１において全ての注目画素に対する処理が終了したと判定されるまで行い、一方、階調変換処理を行わないと判定した場合には、これらステップＳ１０およびステップＳ１１の処理をスキップしてそのまま終了する。その他の処理は図１４と同様である。

このような実施形態２によれば、被写体のダイナミックレンジを推定して、推定結果に応じて階調変換を行うか否かを決定するようにしたために、階調変換処理を行っても画像信号に対する画質の改善効果をほとんど得られないと推定される場合に、階調変換処理を省略することができるために、処理の高速化を図ることが可能となる。

さらに、画像信号に含まれる特徴量に基づいて階調変換を行うか否かを判定するようにしたために、特徴量に応じた適切な判定を行うことが可能となる。

その他、この実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏することができる。

なお、上述した実施形態においては、画像群の中から１枚の画像信号を処理対象の画像信号として選択し、選択した画像信号に対して階調変換処理を行っていた。このような処理を複数回行うこと、つまり、複数の画像を選択して複数の画像に対する階調変換処理を行うことが可能であるために、処理対象の画像信号は複数であっても構わない。

また、階調変換特性算出部１１３は、階調変換特性を画像のヒストグラムに基づいて算出するために、画像が全く異なる画像であっても、ヒストグラムが同じであれば同じ階調変換特性が算出されることになる。従って、別途の不揮発性メモリ等を設けて、この不揮発性メモリにヒストグラムと階調変換特性とを対応付けて記憶させておけば、選択部１１２により選択された画像のヒストグラムが同一であるときには、階調変換特性を新たに算出することなく、既に記憶されている階調変換特性を検索して出力すれば足りる。

加えて、輝度範囲の広さとヒストグラムと階調変換特性とを対応付けて不揮発性メモリに記憶させておけば、既に記憶されている階調変換特性と同一の輝度範囲の広さおよびヒストグラムの画像信号が選択部１１２により選択されたときに、補正部１１４による補正も省略することが可能となる場合もあり得る（例えば、特徴量による補正を省略する場合など）。

さらに加えて、輝度範囲の広さと特徴量とヒストグラムと階調変換特性とを対応付けて不揮発性メモリに記憶させておけば、既に記憶されている階調変換特性と同一の輝度範囲の広さ、特徴量、およびヒストグラムの画像信号が選択部１１２により選択されたときに、補正部１１４による補正も省略することが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１における画像信号処理装置が適用される撮像システムの構成を示すブロック図。 上記実施形態１における補正部の構成を示すブロック図。 上記実施形態１における補正前の階調変換特性を示す線図。 上記実施形態１における基準階調変換特性を示す線図。 上記実施形態１における補正後の階調変換特性を示す線図。 上記実施形態１において、画像を閾値と比較して得られる画素の領域を示す図。 上記実施形態１において、図６の画素領域にオープニング処理を施し構造要素以上の領域である特徴領域のみを残した様子を示す図。 上記実施形態１において、クリップ処理前のヒストグラムおよびクリップ値を示す線図。 上記実施形態１におけるクリップ処理後のヒストグラムを示す線図。 上記実施形態１において、図８と図９のヒストグラムをそれぞれ累積して算出した階調変換特性の様子を示す線図。 上記実施形態１において、適正露光の画像信号に対するヒストグラムの例を示す線図。 上記実施形態１において、適正露光よりも暗めの画像信号に対するヒストグラムの例を示す線図。 上記実施形態１において、適正露光よりも明るめの画像信号に対するヒストグラムの例を示す線図。 上記実施形態１における画像信号処理プログラムによる処理の流れを示すフローチャート。 本発明の実施形態２における画像信号処理装置が適用される撮像システムの構成を示すブロック図。 上記実施形態２における画像信号処理プログラムによる処理の流れを示すフローチャート。

符号の説明

１００…レンズ系（撮像部）
１０１…絞り（撮像部）
１０２…ＡＦモータ（撮像部）
１０３…カラーフィルタ（撮像部）
１０４…ＣＣＤ（撮像部）
１０５…Ａ／Ｄ変換部（撮像部）
１０６…バッファ
１０７…撮影制御部（画像群取得部）
１０８…信号処理部
１０９…抽出部
１１０…推定部
１１１…特徴量抽出部
１１２…選択部
１１３…階調変換特性算出部
１１４…補正部
１１５…階調変換部
１１６…圧縮部
１１７…出力部
１１８…制御部
１１９…外部Ｉ／Ｆ部
２００…ＲＯＭ
２０１…基準階調変換特性設定部
２０２…重付加算平均部
１０００…停止部

Claims (14)

1. 画像信号を階調変換し得る画像信号処理装置であって、
   略同一の被写体に係る入射光量が異なる２枚以上の画像を含む画像群を取得する画像群取得部と、
   上記画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出部と、
   上記２つ以上の局所領域に基づいて、上記画像として撮像された被写体の輝度範囲の広さを推定する推定部と、
   上記画像群の中から処理対象の画像信号を選択する選択部と、
   上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、
   上記推定部により推定された被写体の輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように、該階調変換特性を補正する補正部と、
   上記補正部により補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換部と、
   を具備したことを特徴とする画像信号処理装置。
2. 上記抽出部は、上記画像群に含まれる複数枚の画像の内の、相対的に入射光量が少ない画像における略最大の画素値の画素を含む領域と、相対的に入射光量が多い画像における略最小の画素値の画素を含む領域と、を上記局所領域として抽出するものであることを特徴とする請求項１に記載の画像信号処理装置。
3. 上記補正部は、
   基準階調変換特性を設定する基準階調変換特性設定部と、
   上記推定された被写体の輝度範囲の広さが、相対的に小さい場合には上記階調変換特性算出部により算出された階調変換特性に近付き、相対的に大きい場合には上記基準階調変換特性に近付くように、上記階調変換特性と上記基準階調変換特性とを重み付け加算平均することにより補正された階調変換特性を算出する重付加算平均部と、
   を有して構成されたものであることを特徴とする請求項１または請求項２に記載の画像信号処理装置。
4. 上記基準階調変換特性は、入力画素値と出力画素値とがリニアな関係にある階調変換特性であることを特徴とする請求項３に記載の画像信号処理装置。
5. 上記補正部は、上記推定された被写体の輝度範囲の広さが所定の閾値以上である場合に上記階調変換部による階調変換処理を停止する停止部を有して構成され、
   上記推定された被写体の輝度範囲の広さが所定の閾値未満である場合にのみ、上記階調変換特性算出部により算出された階調変換特性に基づく上記階調変換部による階調変換処理を許容するものであることを特徴とする請求項１または請求項２に記載の画像信号処理装置。
6. 上記選択部は、
   上記画像群に含まれる各画像信号に対してヒストグラムをそれぞれ算出するヒストグラム算出部と、
   上記ヒストグラムに基づき、該ヒストグラムの分布状態に係る判定情報を各画像信号について算出する判定情報算出部と、
   上記各画像信号について算出された判定情報に基づいて、上記画像群に含まれる画像信号の内の一つを上記処理対象の画像信号として選択する画像選択部と、
   を有して構成されたものであることを特徴とする請求項１から請求項５の何れか一項に記載の画像信号処理装置。
7. 上記階調変換特性算出部は、
   上記処理対象の画像信号からヒストグラムを算出するヒストグラム算出部と、
   上記ヒストグラムに対してクリップ処理を行うクリップ部と、
   上記クリップ処理が行われたヒストグラムの累積値を算出することにより上記階調変換特性を算出する累積値算出部と、
   を有して構成されたものであることを特徴とする請求項１から請求項６の何れか一項に記載の画像信号処理装置。
8. 上記選択部により選択された上記処理対象の画像信号の特徴量を抽出する特徴量抽出部をさらに具備し、
   上記補正部は、上記輝度範囲の広さに加えて上記特徴量に基づいて、上記階調変換特性を補正するものである、
   ことを特徴とする請求項１から請求項７の何れか一項に記載の画像信号処理装置。
9. 上記特徴量抽出部は、
   上記処理対象の画像信号における特徴領域を抽出する領域抽出部と、
   上記特徴領域の面積を上記特徴量として算出する面積算出部と、
   を有して構成されたものであることを特徴とする請求項８に記載の画像信号処理装置。
10. 上記特徴量抽出部は、画素値の範囲を設定する範囲設定部をさらに有して構成され、
    上記領域抽出部は、上記範囲設定部により設定された範囲内の画素値を有する画素が占める領域であって空間的に連続なものを上記特徴領域として抽出するものであることを特徴とする請求項９に記載の画像信号処理装置。
11. 上記補正部は、
    基準階調変換特性を設定する基準階調変換特性設定部と、
    上記推定された被写体の輝度範囲の広さが、相対的に小さい場合には上記階調変換特性算出部により算出された階調変換特性に近付き、相対的に大きい場合には上記基準階調変換特性に近付くように、かつ、上記特徴領域の面積が、相対的に大きい場合には上記階調変換特性算出部により算出された階調変換特性に近付き、相対的に小さい場合には上記基準階調変換特性に近付くように、上記階調変換特性と上記基準階調変換特性とを重み付け加算平均することにより補正された階調変換特性を算出する重付加算平均部と、
    を有して構成されたものであることを特徴とする請求項９または請求項１０に記載の画像信号処理装置。
12. 画像信号を階調変換し得る撮像システムであって、
    被写体を撮像して画像信号を出力するものであり、入射光量を制御可能な撮像部と、
    上記撮像部を制御して略同一の被写体に係る入射光量が異なる２枚以上の画像を含む画像群を取得する画像群取得部と、
    上記画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出部と、
    上記２つ以上の局所領域に基づいて、上記画像として撮像された被写体の輝度範囲の広さを推定する推定部と、
    上記画像群の中から処理対象の画像信号を選択する選択部と、
    上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出部と、
    上記推定部により推定された被写体の輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出部により算出された階調変換特性に近付くように、該階調変換特性を補正する補正部と、
    上記補正部により補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換部と、
    を具備したことを特徴とする撮像システム。
13. コンピュータに画像信号を階調変換させるための画像信号処理プログラムであって、コンピュータに、
    画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出ステップと、
    上記２つ以上の局所領域に基づいて、上記画像として撮像された被写体の輝度範囲の広さを推定する推定ステップと、
    上記画像群の中から処理対象の画像信号を選択する選択ステップと、
    上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、
    上記推定ステップにより推定された被写体の輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように、該階調変換特性を補正する補正ステップと、
    上記補正ステップにより補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換ステップと、
    を実行させるための画像信号処理プログラム。
14. 画像信号を階調変換するための画像信号処理方法であって、
    画像群に含まれる略同一の被写体に係る入射光量が異なる２枚以上の画像から２つ以上の局所領域を抽出する抽出ステップと、
    上記２つ以上の局所領域に基づいて、上記画像として撮像された被写体の輝度範囲の広さを推定する推定ステップと、
    上記画像群の中から処理対象の画像信号を選択する選択ステップと、
    上記処理対象の画像信号に含まれる画素の画素値に基づいて階調変換特性を算出する階調変換特性算出ステップと、
    上記推定ステップにより推定された被写体の輝度範囲の広さに基づいて、該輝度範囲の広さが相対的に小さい場合には相対的に大きい場合よりも上記階調変換特性算出ステップにより算出された階調変換特性に近付くように、該階調変換特性を補正する補正ステップと、
    上記補正ステップにより補正された階調変換特性を用いて上記処理対象の画像信号を階調変換する階調変換ステップと、
    を含むことを特徴とする画像信号処理方法。

Images