JP5360504B2 - 信号処理装置 - Google Patents

Description

本発明は、映像・画像信号の処理を行なう信号処理装置に係り、特に、見かけ上のダイナミックレンジを広げるために標準輝度信号と高輝度信号とを合成する際に、高輝度信号部分の黒浮きを低減する技術に関する。

ビデオカメラ、監視カメラ、スチールカメラ等に代表される映像・画像信号の処理を行なう信号処理装置では、標準的な明るさの領域と極めて明るい領域とが混在した被写体を撮像する場合に、標準輝度領域が適正レベルで得られる標準輝度露光時間で撮像を行なうと、明るい領域で白飛びが生じ、高輝度領域が適正レベルで得られる短時間の高輝度露光時間で撮像を行なうと、暗い領域で黒つぶれが生じて、良好な映像信号を得ることができなかった。

そこで、輝度差の大きな被写体を撮像する場合に、標準輝度露光時間によって標準的な明るさの領域が適正レベルで得られた標準輝度信号と、高輝度露光時間によって極めて明るい領域が適正レベルで得られた高輝度信号とを合成することで、白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得ることができる信号処理装置が開発されている。

例えば、図１３（ａ）に示すように、被写体からの標準的な光量領域の標準輝度領域から得られる信号を標準輝度信号とし、高い光量領域の高輝度領域から得られる信号を高輝度信号とした場合に、図１３（ｂ）に示すように、所定の合成割合に従って標準輝度信号、高輝度信号を圧縮して加算することで、図１３（ｃ）に示すような、出力信号の最大値である１００％以内に収めた映像信号を得ることができる。ここで、標準輝度信号の合成割合をＴＨ（％）とすると、高輝度信号の合成割合は１００−ＴＨ（％）となる。

特開２００１−９４８７０号公報

標準輝度信号と高輝度信号とを合成することにより、輝度差の大きな被写体であっても白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得ることができるが、輝度差が極めて大きな被写体を撮像したとき等に、高輝度部分の比較的暗い部分が白っぽく浮いたように見える現象、いわゆる黒浮きが発生する場合がある。ここで、「黒浮き」とは、高輝度信号部分における比較的暗い低輝度の部分の輝度が上がって浮いて見え、輝度が見た目の印象より高く浮いた状態になる現象である。

例えば、図１４（ａ）に示すような暗めの室内と極めて明るい室外とが被写体に含まれる場合、標準輝度信号は、図１４（ｂ）に示すように室内領域が適正レベルで撮像され、室外領域は白飛びが生じた画像の信号となる。一方、高輝度信号は、図１４（ｃ）に示すように室外領域が適正レベルで撮像され、室内領域は黒つぶれが生じた画像の信号となる。

これらの標準輝度信号と高輝度信号とを合成すると、図１４（ｄ）に示すように、白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得ることができる。しかしながら、合成画像の極めて明るい室外領域において比較的暗い部分である黒っぽい建物や濃い色の樹木の輝度が見た目より高く浮いた状態になる黒浮きが発生し、人間の視覚的印象と異なって不自然に感じる場合がある。

これは、図１３（ｃ）に示すように高輝度信号が合成割合ＴＨの値でオフセットされるため、高輝度信号内の比較的暗い部分も十分高い輝度で表現されることに起因するものであり、一般に、この黒浮きによる不自然さは撮像対象の輝度差が大きいほど顕著となる。

そこで本発明は、標準輝度信号と高輝度信号とを合成して見かけ上のダイナミックレンジが広がった映像信号を得る信号処理装置において、高輝度信号で表現される部分の黒浮きの発生を低減することを目的とする。

上記課題を解決するため、本発明の第１の態様である信号処理装置は、第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを合成する信号処理装置であって、前記第２露光時間に基づいて、前記標準輝度映像信号の合成割合である第１合成割合と、前記高輝度映像信号の合成割合である第２合成割合とを設定する合成割合設定部と、前記標準輝度信号を前記第１合成割合に圧縮し、圧縮後の値が前記第１合成割合に相当する値に等しい画素について、被写体の輝度状態を評価することによって設定した減算値を減算するとともに、前記高輝度信号を前記第２合成割合に基づく割合に圧縮した値を加算する画像合成処理部と、を備えたことを特徴とする。

ここで、前記第２合成割合に基づく割合は、前記第２合成割合と前記減算値とを加算した値とすることができる。

また、前記画像合成処理部は、前記第１露光時間と前記第２露光時間との比を用いて前記被写体の輝度状態の評価を行ない、前記比が大きいほど値が大きくなるように前記減算値を設定することができる。

上記課題を解決するため、本発明の第２の態様である信号処理装置は、第１露光時間によって得られた標準輝度映像信号と、第１露光時間より短い第２露光時間によって得られた高輝度映像信号と、第１露光時間より長く第２露光時間より短い露光時間によって得られた少なくとも１つの映像信号とを合成する信号処理装置であって、前記第２露光時間に基づいて、前記高輝度映像信号以外の信号の合成割合である第１合成割合と、前記高輝度映像信号の合成割合である第２合成割合とを設定する合成割合設定部と、前記高輝度映像信号以外の信号の合成結果が前記第１合成割合になるようにそれぞれの信号を圧縮し加算することで合成し、合成後の値が前記第１合成割合に相当する値に等しい画素について、被写体の輝度状態を評価することによって設定した減算値を減算するとともに、前記高輝度信号を前記第２合成割合に基づく割合に圧縮した値を加算する画像合成処理部と、を備えたことを特徴とする。

本発明によれば、標準輝度信号と高輝度信号とを合成して見かけ上のダイナミックレンジが広がった映像信号を得る信号処理装置において、高輝度信号で表現される部分の黒浮きの発生を低減することができる。

本実施形態に係る撮像装置の機能構成を示すブロック図である。 標準輝度信号と高輝度信号について説明する図である。 エンハンス処理について説明する図である。 高輝度露光時間設定部が行なう高輝度露光時間の設定方法について説明する図である。 高輝度露光時間に対する合成割合の設定例を示す図である。 画像合成処理部の詳細な構成を示すブロック図である。 高輝度露光時間と標準輝度露光時間との比に対応した減算値の設定例を示した図である。 本実施形態の撮像装置の処理動作について説明するフローチャートである。 圧縮・加算処理の詳細な手順について説明するフローチャートである。 本実施形態の圧縮・加算処理の具体例について説明する図である。 本実施形態の圧縮・加算処理の具体例について説明する図である。 ３つの信号を合成する場合について説明する図である。 従来の標準輝度信号と高輝度信号を合成する手法を説明する図である。 黒浮きの発生を説明するための図である。

本発明の実施の形態について図面を参照して詳細に説明する。本実施形態では本発明の信号処理装置を撮像装置に適用した場合について説明する。ただし、本発明の信号処理装置は、撮像装置のみならず、画像処理装置、情報処理装置、表示装置等の映像・画像信号を扱う種々の装置に適用することができる。

図１は、本実施形態に係る撮像装置の機能構成を示すブロック図である。本図に示すように撮像装置１０は、レンズ・絞り等を含む光学系１１０、ＣＣＤ等の撮像素子１２０、アナログ／ディジタル変換等を行なうアナログ・フロント・エンド（ＡＦＥ）１３０、信号スイッチ（ＳＷ）１４０、露出制御部１５０、標準輝度信号画像処理部１６０、高輝度信号画像処理部１７０、合成割合設定部１８０、画像合成処理部１９０、映像出力部２００、ユーザから各種設定を受け付ける設定受付部２１０を備えている。

撮像装置１０は、輝度差の大きな被写体を撮像する場合に、図２に示すように、１フィールドの期間を標準輝度露光時間と、露光時間の短い高輝度露光時間とに区分し、標準輝度露光時間によって標準的な明るさの領域が適正レベルで得られた標準輝度信号と、高輝度露光時間によって極めて明るい領域が適正レベルで得られた高輝度信号とを合成することで、白飛びや黒つぶれのない見かけ上のダイナミックレンジが広がった映像信号を得るようにしている。このとき、高輝度信号の最高輝度値が、設定されたダイナミックレンジである１００％の出力レベルとなるように高輝度露光時間を調整することにより、階調表現に優れた良好な映像信号を得ることができる。

本実施形態において、撮像素子１２０の露光時間（シャッタ速度）は、電子シャッタ方式により任意の値を設定できるようになっている。ただし、露光時間が離散的に設定される方式であってもよい。光学系１１０を通過した被写体からの光は、撮像素子１２０でアナログ電気信号に変換され、ＡＦＥ１３０で標準輝度信号と高輝度信号とを含んだディジタル映像信号に変換される。

標準輝度信号と高輝度信号とを含んだディジタル映像信号は、ＳＷ１４０において標準輝度信号と高輝度信号とに分離され、標準輝度信号は標準輝度信号画像処理部１６０に入力され、高輝度信号は高輝度信号画像処理部１７０に入力される。また、標準輝度信号および高輝度信号は、露出を設定するための露出設定用信号として露出制御部１５０に入力される。

標準輝度信号画像処理部１６０は、標準輝度信号に対してフィルタ処理、ガンマ処理、ホワイトバランス調整、ゲイン調整等の画像処理を行ない、高輝度信号画像処理部１７０は、高輝度信号に対してフィルタ処理、ガンマ処理、ホワイトバランス調整、ゲイン調整等の画像処理を行なう。

また、標準輝度信号画像処理部１６０および高輝度信号画像処理部１７０は、それぞれ、標準輝度信号に対してエンハンス処理を行なうＬエンハンス処理部１６１、高輝度信号に対してエンハンス処理を行なうＳエンハンス処理部１７１を備えている。ここで、エンハンス処理は、画像の輪郭を強調補正するための処理で、画像全体の解像感を向上させるための処理である。

エンハンス処理は、例えば、図３に示す手順で行なうことができる。すなわち、図３（ａ）に示す元映像信号Ｓ０に対して、図３（ｂ）に示すようなｔ遅延信号Ｓｔと、図３（ｃ）に示すような２ｔ遅延信号Ｓ２ｔを生成する。ここで、図３（ａ）に示す元映像信号Ｓ０の立ち上がり部分と、立ち下がり部分は、それぞれ画像のエッジ部分に相当する。そして、図３（ｄ）に示すように、（Ｓ０＋Ｓ２ｔ）／２を算出し、ｔ遅延信号Ｓｔから引くことにより、図３（ｅ）に示すようなエンハンス信号が得られる。この信号を元映像信号Ｓｔに加えることで、図３（ｆ）に示すようなエッジが強調された映像信号を得ることができる。ただし、エンハンス処理は、上述の手順に限られず、ハイパスフィルタその他の手法を用いて行なうようにしてもよい。また、標準輝度信号および高輝度信号が後に圧縮して加算されることを考慮して、圧縮量に応じてエンハンス信号を増幅するようにしてもよい。これにより、圧縮・加算後もエンハンス効果を保持することができる。

図１の説明に戻って、画像処理を施された標準輝度信号と高輝度信号とは合成割合設定部１８０によって設定された合成割合に従って画像合成処理部１９０で圧縮・加算され、見かけ上のダイナミックレンジが広がった映像信号となる。この映像信号は、映像出力部２００によりエンコードされ外部に出力される。画像合成処理部１９０は、圧縮部１９１、減算値設定部１９２、加算部１９３を備えているが、これらのブロックの処理の詳細については後述する。

露出制御部１５０は、露出設定信号に基づいて露出の設定を行なう。このため、露出制御部１５０は、露光時間を設定する露光時間設定部１５１と、光学系１１０の絞り値を設定する絞り設定部１５３とを備えている。

露出制御部１５０は、例えば、露出設定信号によって得られる画像の輝度分布に基づいて露出を設定することができ、標準的な明るさの領域が適正レベルで得られる露出値を算出する。そして、算出された露出値に基づいて、絞り設定部１５３が、標準的な明るさの領域が適正レベルで得られるための絞り値を設定し、露光時間設定部１５１が、標準的な明るさの領域が適正レベルで得られるための標準輝度露光時間を設定する。

本実施形態において、露出制御部１５０は、高輝度露光時間を設定する高輝度露光時間設定部１５２を備えている。すなわち、本実施形態では、良好な映像信号を得るために高輝度露光時間を被写体の最高輝度に応じて変化させるようにする。なお、制御を複雑化させないため高輝度露光時間において絞り値は変化させないものとする。

図４は、高輝度露光時間設定部１５２が行なう高輝度露光時間の設定方法について説明する図である。図４（ａ）に示すように被写体の輝度がＬ０からＨａに分布している場合、標準的な輝度部分については標準輝度信号領域がカバーする。そして、標準輝度信号領域がカバーしきれない高輝度部分については、高輝度信号領域がカバーする。このとき、高輝度露光時間設定部１５２は、被写体の最高輝度部分について、高輝度信号の出力レベルが１００％となるように高輝度露光時間：Ａを設定する。

ここで、標準輝度露光時間と高輝度露光時間との比に応じて、標準輝度信号と高輝度信号とが重なる部分（図４の破線部分）が生じるが、高輝度信号を用いる高輝度信号領域は、重なった部分を除いた領域とする。以下では、高輝度信号は、重なる部分を除いた信号のレンジで０から１００％までのレベルを有するものとする。

なお、重なる部分の大きさは、標準輝度露光時間と高輝度露光時間との比で求められるものとする。例えば、高輝度露光時間が標準輝度露光時間の１／５倍であれば、元の高輝度信号の低輝度側の１／５＝２０％部分が重なることになる。したがって、高輝度信号は、元の高輝度信号の低輝度側の２０％をカットした信号に０から１００％までのレベルを割り当てるようにする。ただし、高輝度露光時間が標準輝度露光時間に比べて極めて短い場合には、重なり部分は無視することができる。

被写体の最高輝度部分の取得は、画像処理後の画像合成処理部１９０への入力信号から取得するようにしてもよい。また、１フィールド内の最高輝度値を使用すると、ノイズ等の影響を受ける場合があるため、１フィールドを複数のエリアに分割し、各エリアの平均輝度値に基づいて最高輝度部分を取得するようにしてもよい。また、設定可能な高輝度露光時間が離散的で高輝度信号の出力レベルが１００％となる高輝度露光時間が設定できない場合には、出力レベルが１００％を超えない範囲で最も１００％に近くなる高輝度露光時間を設定するものとする。

このような処理を行なうため、図４（ｂ）に示すように、被写体輝度分布がＬ０からＨｂであって、図４（ａ）に示した輝度分布より広い場合に設定される高輝度露光時間：Ｂは、高輝度露光時間：Ａよりも短い値となり、高輝度信号領域も広がることになる。一方、図４（ｃ）に示すように、被写体輝度分布がＬ０からＨｃであって、図４（ａ）に示した輝度分布より狭い場合に設定される高輝度露光時間：Ｃは、高輝度露光時間：Ａよりも長い値となり、高輝度信号領域も狭まることになる。このように高輝度露光時間を設定することにより、高輝度信号において白飛びを防ぐとともに、十分な階調を得ることができるようになる。

次に、合成割合設定部１８０が行なう合成割合ＴＨの設定について説明する。合成割合は、固定値としたり、設定受付部２１０を介して受け付けたユーザからの指示に基づいて定めるようにしてもよいが、本実施形態では、設定された高輝度露光時間と連動して定めるものとする。具体的には、図５に示すように、高輝度露光時間が短くなるにつれて、合成割合ＴＨが減少し、その後増加するように設定する。ここで、合成割合ＴＨは、標準輝度信号の合成割合をパーセントで示す値であるため、高輝度信号の合成割合は（１００−ＴＨ）で得られる。

ただし、合成割合の設定は本例に限られない。例えば、図４に示したように、高輝度露光時間が短いほど、高輝度信号領域がカバーする範囲が広くなるため、高輝度露光時間が短いほど高輝度信号の合成割合が高くなるように合成割合ＴＨを設定するようにしてもよい。

次に、画像合成処理部１９０が行なう画像合成処理について説明する。図６は、画像合成処理部１９０の詳細な構成を示すブロック図である。上述のように、画像合成処理部１９０は、圧縮部１９１、減算値設定部１９２、加算部１９３を備えている。

減算値設定部１９２は、被写体の輝度状態を評価して減算値を設定する。ここで、減算値は、高輝度信号の比較的暗い部分が黒浮きしてしまうのを抑制するために、高輝度信号を加算する標準輝度信号からあらかじめ減算しておく値である。

本実施形態では、被写体の輝度差が大きいほど高輝度信号で表現される部分の黒浮きが発生しやすいことから、被写体の輝度状態として輝度差を評価するものとする。輝度差の評価方法は、高輝度露光時間と標準輝度露光時間との比を算出するものとする。すなわち、高輝度部分の輝度が高いほど高輝度露光時間が短くなり、標準輝度部分の輝度が低いほど標準露光時間が長くなることから、高輝度露光時間と標準輝度露光時間との比が大きいほど被写体の輝度差が大きいものと見なすようにする。ただし、被写体の輝度差の評価は、高輝度露光時間と標準輝度露光時間との比に限られず、例えば、高輝度信号と標準輝度信号のヒストグラムを用いて行なうようにしてもよい。

そして、減算値設定部１９２は、高輝度露光時間と標準輝度露光時間との比が大きいほど、減算値を大きく設定する。これは、上述のように被写体の輝度差が大きいほど黒浮きが発生しやすいことから、高輝度信号のオフセットとなる標準輝度信号を下げておくためである。なお、高輝度露光時間と標準輝度露光時間との比が大きくない場合には、減算値は０として、従来の合成と同様の処理を行なうようにする。図７は、高輝度露光時間と標準輝度露光時間との比に対応した減算値の設定例を示した図である。

圧縮部１９１は、標準輝度信号を合成割合ＴＨで圧縮し、高輝度信号を（（１００−ＴＨ）＋減算値）に圧縮する。これは、高輝度信号が加算される画素について標準輝度信号が減算値分下げられるのに対応して、その分高輝度信号の割合を高めておくためである。ただし、減算値を考慮せずに高輝度信号を（１００−ＴＨ）に圧縮するようにしてもよい。

加算部１９３は、減算器１９４、比較器１９５、スイッチ１９６、加算器１９７を備えている。減算器１９４は、圧縮後の標準輝度信号から減算値を減算する。比較器１９５は、圧縮後の標準輝度信号の値が合成割合ＴＨに等しいかどうかを判定する。ここで、標準輝度信号の値は、出力レンジに対するパーセントで表わされ、圧縮後の標準輝度信号が合成割合ＴＨに等しい画素は、標準輝度信号が飽和している画素である。そして、比較器１９５は、圧縮後の標準輝度信号が合成割合ＴＨに等しくない画素については、圧縮後標準輝度信号を出力し、圧縮後の標準輝度信号が合成割合ＴＨに等しい画素については、圧縮後標準輝度信号に代えて減算値が減算された圧縮後の標準輝度信号を出力するようにＳＷ１９６を操作する。加算器１９７は、圧縮後高輝度信号とＳＷ１９６の出力値とを加算する。

次に、本実施形態の撮像装置１０の処理動作について図８のフローチャートを参照して説明する。まず、露出制御部１５０が露出を設定するための露出設定用信号を取得し（Ｓ１０１）、絞り値と標準輝度露光時間を設定する（Ｓ１０２）。ここで、絞り値と標準輝度露光時間は、露出設定用信号に含まれる標準輝度信号が適正なレベルで撮像されるように設定する。

また、高輝度露光時間設定部１５２が、高輝度露光時間を設定する（Ｓ１０３）。ここで、高輝度露光時間は、設定された絞り値において、露出設定用信号に含まれる高輝度信号が適正なレベルで撮像されるように設定する。

高輝度露光時間が設定されると、設定された高輝度露光時間に基づいて、合成割合設定部１８０が合成割合ＴＨを設定する。ここでは、高輝度露光時間が短くなるにつれて、合成割合ＴＨが減少し、その後増加するように設定する。

そして、設定された絞り値、標準輝度露光時間、高輝度露光時間に従って被写体の撮像を行ない（Ｓ１０５）、得られた標準輝度信号、高輝度信号を設定された合成割合ＴＨに基づいて圧縮し加算することで合成する（Ｓ１０６）。以上の動作を、必要に応じて繰り返すことにより、動画像を得ることができる。

次に、標準輝度信号と高輝度信号の合成処理（Ｓ１０６）の詳細な手順について図９のフローチャートを参照して説明する。まず、被写体の輝度差を評価するために、減算値設定部１９２は、高輝度露光時間と標準輝度露光時間の比を算出する（Ｓ１０６１）。ただし、上述のように被写体の輝度差は、ヒストグラム等を用いて評価するようにしてもよい。

そして、減算値設定部１９２は、高輝度露光時間と標準輝度露光時間の比に基づいて減算値を設定する（Ｓ１０６２）。ここでは、図７のように、露光時間比が大きいほど、すなわち、被写体の輝度差が大きいほど減算値が大きくなるように設定する。

合成割合ＴＨおよび減算値が設定されると、圧縮部１９１が、標準輝度信号を合成割合ＴＨに圧縮する（Ｓ１０６３）。これにより、標準輝度信号が１００％で飽和している画素の出力はＴＨ％となる。

また、合成割合ＴＨと減算値と基づいて高輝度信号を圧縮する（Ｓ１０６４）。具体的には、高輝度信号を（（１００−ＴＨ）＋減算値）に圧縮する。

以下の処理は各画素に対して行なう。すなわち、対象画素を設定し（Ｓ１０６５）、その画素の圧縮後の標準輝度信号値が、合成割合と等しいかどうかを判定する（Ｓ１０６６）。すなわち、圧縮前の標準輝度信号値が飽和しているかどうかを判定する。

そして、合成割合と等しい値でない場合は（Ｓ１０６６：Ｎｏ）、圧縮後の標準輝度信号値をそのまま合成画像の信号値とする（Ｓ１０６７）。このとき処理対象となっている画素は、標準輝度信号が飽和しておらず、高輝度信号を加える必要がないからである。

一方、合成割合と等しい値の場合は（Ｓ１０６６：Ｙｅｓ）、圧縮後の標準輝度信号値から減算値を減算した値と圧縮後の高輝度信号値とを加算した値を合成画像の信号値とする（Ｓ１０６８）。これにより、高輝度信号のオフセット値が下げられるため、高輝度信号の比較的暗い部分の黒浮きを軽減することができる。

以上の（Ｓ１０６６）以降の処理を、全画素に対して行なうまで、対象画素を換えながら繰り返す（Ｓ１０６９）。

次に、本実施形態の圧縮・合成処理の具体例について説明する。図１０に示した例は、標準露光時間が１／１２０［ｓ］で、高輝度露光時間が１／１２００［ｓ］の場合である。この場合、高輝度露光時間が１／１２００［ｓ］であるから、合成割合ＴＨ、すなわち標準輝度割合は、９０％と設定される。したがって、高輝度割合は、１００−ＴＨ＝１０％となる。また、露光時間比は、１０となるため、減算値は５と設定される。

したがって、高輝度信号は、高輝度割合１０％と減算値５とを加算した１５％に圧縮される。また、標準輝度信号は、標準輝度割合の９０％に圧縮され、さらに、圧縮後の値が９０％に相当する値については、減算値５が減算された８５％に置き換えられる。

そして、圧縮前の標準輝度信号が飽和している値、すなわち、減算値が減算された値について圧縮後の高輝度信号を加算することで合成が行なわれる。

図１１に示した例は、標準露光時間が１／２．４［ｓ］で、高輝度露光時間が１／１２０００［ｓ］であり、図１０に示した例に比較して輝度差が極めて大きい場合である。この場合、高輝度露光時間が１／１２０００［ｓ］であるから、合成割合ＴＨ、すなわち標準輝度割合は、８０％と設定される。したがって、高輝度割合は、１００−ＴＨ＝２０％となる。また、露光時間比は、５０００となるため、減算値は５０と設定される。

したがって、高輝度信号は、高輝度割合２０％と減算値５０とを加算した７０％に圧縮される。また、標準輝度信号は、標準輝度割合の８０％に圧縮され、さらに、圧縮後の値が８０％に相当する値については、減算値５０が減算された３０％に置き換えられる。

そして、圧縮前の標準輝度信号が飽和している値、すなわち、減算値が減算された値について圧縮後の高輝度信号を加算することで合成が行なわれる。

なお、上記の例では、標準輝度信号と高輝度信号との２つの信号を重ね合わせる場合について説明したが、本発明は、３つ以上の信号を重ね合わせる場合にも適用することができる。例えば、それぞれ露光時間の異なる標準輝度信号、中高輝度信号、高輝度信号の３つの信号を重ね合わせる場合について図１２を参照して説明する。この場合、図１２（ａ）に示すように、重複部をカットして標準輝度領域、中高輝度領域、高輝度領域に分けることができ、図１２（ｂ）、図１２（ｃ）に示すように、それぞれ、０から１００％のレベルが割り当てられる。

本図の例では、標準輝度露光時間を１／１２０［ｓ］とし、中高輝度露光時間を１／６００［ｓ］とする。この場合、高輝度露光時間は１／６００［ｓ］よりも短くなるように制御し、例えば、１／３００００［ｓ］であるとする。そして、このときの合成割合ＴＨは６０％であるとする。中高輝度信号の合成割合は、あらかじめ決めておくことができ、ここでは、２０％であるとする。もちろん、露光時間に応じて定めるようにしてもよい。また、減算値についても、輝度差の評価、例えば、高輝度露光時間と標準輝度露光時間との比、あるいは、高輝度露光時間と中高輝度露光時間との比、高輝度露光時間等に基づいて定められるものとする。

標準輝度信号と中高輝度信号との合成は、図１２（ｄ）に示すように、標準輝度信号をＴＨに圧縮し、中高輝度信号を２０％に圧縮して加算する。そして、加算後の値が、ＴＨ＋２０、すなわち、中高輝度信号が飽和して、高輝度信号が加算される値について、（ＴＨ＋２０−減算値）に置き換える。

また、高輝度信号については（１００−（ＴＨ＋２０）＋減算値）に圧縮する。そして、標準輝度信号と中高輝度信号との合成結果と、圧縮後の高輝度信号とを加算することで、図１２（ｅ）に示すような合成結果を得ることができる。この場合も、高輝度信号を加算する画素について、標準輝度信号と中高輝度信号との合成値から減算値を減算しているため、高輝度領域の比較的暗い部分の黒浮きの発生を低減することができる。

以上説明したように、本実施形態の撮像装置１０は、輝度差が所定の条件を満たす場合には、標準輝度信号を減算して高輝度信号を合成することにより、高輝度領域の比較的暗い部分の黒浮きの発生を低減させ、より見た目に近い自然な映像信号を出力することができるようになる。

１０…撮像装置、１１０…光学系、１２０…撮像素子、１３０…ＡＦＥ、１４０…ＳＷ、１５０…露出制御部、１５１…露光時間設定部、１５２…高輝度露光時間設定部、１５３…絞り設定部、１６０…標準輝度信号画像処理部、１６１…Ｌエンハンス処理部、１７０…高輝度信号画像処理部、１７１…Ｓエンハンス処理部、１８０…合成割合設定部、１９０…画像合成処理部、１９１…圧縮部、１９２…減算値設定部、１９３…加算部、１９４…減算器、１９５…比較器、１９６…スイッチ、１９７…加算器、２００…映像出力部、２１０…設定受付部

Claims (4)

1. 第１露光時間によって得られた標準輝度映像信号と、前記第１露光時間より短い第２露光時間によって得られた高輝度映像信号とを合成する信号処理装置であって、
   前記第２露光時間に基づいて、前記標準輝度映像信号の合成割合である第１合成割合と、前記高輝度映像信号の合成割合である第２合成割合とを設定する合成割合設定部と、
   前記標準輝度映像信号を前記第１合成割合に圧縮し、圧縮後の値が前記第１合成割合に相当する値に等しい画素について、被写体の輝度状態を評価することによって設定した減算値を減算するとともに、前記高輝度映像信号を前記第２合成割合に基づく割合に圧縮した値を加算する画像合成処理部と、
   を備えたことを特徴とする信号処理装置。
2. 前記第２合成割合に基づく割合は、前記第２合成割合と前記減算値とを加算した値であることを特徴とする請求項１に記載の信号処理装置。
3. 前記画像合成処理部は、
   前記第１露光時間と前記第２露光時間との比を用いて前記被写体の輝度状態の評価を行ない、前記比が大きいほど値が大きくなるように前記減算値を設定することを特徴とする請求項１または２に記載の信号処理装置。
4. 第１露光時間によって得られた標準輝度映像信号と、前記第１露光時間より短い第２露光時間によって得られた高輝度映像信号と、前記第１露光時間より長く前記第２露光時間より短い露光時間によって得られた少なくとも１つの映像信号とを合成する信号処理装置であって、
   前記第２露光時間に基づいて、前記高輝度映像信号以外の信号の合成割合である第１合成割合と、前記高輝度映像信号の合成割合である第２合成割合とを設定する合成割合設定部と、
   前記高輝度映像信号以外の信号の合成結果が前記第１合成割合になるようにそれぞれの信号を圧縮し加算することで合成し、合成後の値が前記第１合成割合に相当する値に等しい画素について、被写体の輝度状態を評価することによって設定した減算値を減算するとともに、前記高輝度映像信号を前記第２合成割合に基づく割合に圧縮した値を加算する画像合成処理部と、
   を備えたことを特徴とする信号処理装置。