JP4119290B2 - 映像処理装置および撮像システム - Google Patents
映像処理装置および撮像システム Download PDFInfo
- Publication number
- JP4119290B2 JP4119290B2 JP2003090633A JP2003090633A JP4119290B2 JP 4119290 B2 JP4119290 B2 JP 4119290B2 JP 2003090633 A JP2003090633 A JP 2003090633A JP 2003090633 A JP2003090633 A JP 2003090633A JP 4119290 B2 JP4119290 B2 JP 4119290B2
- Authority
- JP
- Japan
- Prior art keywords
- level
- signal
- exposure
- video
- gradation correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号を処理する技術に関し、特に、異なる露光時間での撮像により得られた複数の映像信号を用いて、被写体の輝度分布を再現する映像信号を生成する映像処理装置に関する。
【０００２】
【従来の技術】
従来より、階調補正装置を備えた撮像システムが知られている。この階調補正装置は、被写体の輝度分布範囲が撮像素子のダイナミックレンジよりも広い場合に、そのような被写体を撮像することにより得られた映像信号を用いて、被写体の輝度分布に対応する輝度分布をもつ映像信号を生成する（以下、この処理をダイナミックレンジ拡大処理という）。撮像システムがこのような階調補正装置を備えることによって、ダイナミックレンジの狭い撮像素子を活用して輝度分布範囲の広い被写体を適切に表す画像を生成できる。
【０００３】
従来のダイナミックレンジ拡大処理では、互いに異なる露光時間での撮像により得られた２つの映像信号を用いて、被写体の輝度分布に対応する輝度分布をもつ映像信号が生成される。具体的には、撮像システムは、まず、同一の被写体を長い露光時間および短い露光時間で連続して撮像することにより、２つの映像信号を生成する。以下、長い露光時間での撮影により得られた映像信号をＬＯＮＧ信号といい、短い露光時間での撮像により得られた映像信号をＳＨＯＲＴ信号という。
【０００４】
撮像システムに備えられた階調補正装置は、ＬＯＮＧ信号に対しては高輝度成分を圧縮して、ＳＨＯＲＴ信号に対してはオフセット成分を追加した後に、両信号を所定の合成レベル（合成点）でレベル合成してレベル合成映像信号を生成する。そして、階調補正装置は、レベル合成映像信号により表される画像をそのレベル合成映像信号の輝度分布に応じて縦方向および横方向に複数の領域に分割して、分割された領域ごとの複数の階調補正データを算出する。さらに、階調補正装置は、これらの複数の階調補正データの各々を用いてレベル合成映像信号を階調補正することにより、各階調補正データにて階調補正された複数のレベル合成映像信号を生成する。そして、階調補正装置は、階調補正データを求めた際の分割領域に対応する領域ごとにこれらの複数のレベル合成映像信号を領域合成する。このようなダイナミック拡大処理によって、被写体の輝度分布が撮像システムのダイナミックレンジ内に納められた映像信号が生成される。
【０００５】
上記のようなダイナミック拡大処理を実行する撮像システムは、例えば特許文献１に記載されている。また、特許文献２には、本発明に関連する技術が記載されている。
【０００６】
【特許文献１】
特開平１０−２６１００７号公報（第３−５頁、第１図）
【特許文献２】
特開２０００−２２８７４７号公報（第４−９頁、第２図）
【０００７】
【発明が解決しようとする課題】
上記の従来の階調補正装置では、レベル合成画像の輝度レベルに応じて縦方向および横方向に領域を分割するので、例えば、被写体の高輝度部分と低輝度部分が縦横の領域分割によって分けられない場合や被写体の高輝度部分と低輝度部分のパターン数が領域分割数よりも多い場合などには、分割された一領域内に被写体の高輝度部分と低輝度部分が混在することがある。このような場合には、従来の階調補正装置では効果的なダイナミック拡大処理ができず、メリハリのない画像が生成されてしまうという問題がある。
【０００８】
本発明は、このような問題を解決するためになされたもので、被写体の高輝度部分および低輝度部分がどのように分布しているかにかかわらず、効果的なダイナミック拡大処理を実現するための技術を提供するものである。
【０００９】
【課題を解決するための手段】
本発明の映像処理装置は、互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、前記第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、前記第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、前記第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成部と、前記第１および第２の重み付け処理関数に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段とを備える。
【００１０】
この構成により、第１および第２の映像信号の適正露光領域を表す第１および第２の適正露光信号の各々に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成映像信号を上記の第１および第２の適正露光信号に基づいて領域合成する。これにより、分割された一領域内に被写体の高輝度部分と低輝度部分が混在することを回避できるので、被写体の高輝度部分および低輝度部分に対して適切な階調補正を施して、被写体の輝度分布を適当なレンジ内の輝度分布で表現する適切な映像信号が得られる。
本発明によれば、第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成部が設けられており、第１および第２の重み付け処理関数に基づいて、第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成するので、第１の階調補正手段および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を自然に合成することができる。
【００１１】
また、本発明の映像処理装置は、さらに、前記第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成手段のレベル合成の基準となる合成レベルを変更する合成レベル変更手段を備える。
【００１２】
この構成により、適正露光領域に基づいてレベル合成処理の合成レベルを変更するので、適切なレベル合成信号が得られ、階調補正および領域合成の結果も良好に得られる。
【００１３】
本発明の他の態様の映像処理装置は、互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、前記適正露光検出手段により得られた第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、前記適正露光検出手段により得られた第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、前記第１および第２の適正露光信号の一方の適正露光領域の中に所定の閾値以下の面積の小適正露光領域が存在する場合、前記小適正露光領域が他方の適正露光信号の適正露光領域となるように前記第１および第２の適正露光信号を変更する適正露光信号変更手段と、前記適正露光信号変更手段により変更された第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段とを備える。
【００１４】
この構成により、上記と同様に、被写体の輝度分布を適当なレンジ内で表現する適切な映像信号が得られる。さらに、一方の適正露光信号の適正露光領域の中に所定の閾値以下の面積の小適正露光領域があるときに、その小適正露光領域が他方の適正露光信号の適正露光領域として扱われる。これにより、上記の小適正露光領域に階調補正と領域合成を施すことによる上記小適正露光領域のぼけを防止できる。
【００１５】
なお、本発明の範囲内で、もちろん、第１の適正露光信号の適正露光領域のうちの小適正露光領域に対して本発明が適用されてもよく、第２の適正露光信号の適正露光領域のうちの小適正露光領域に対して本発明が適用されてもよく、両者に本発明が適用されてもよい。
【００１６】
また、本発明の映像処理装置は、さらに、前記適正露光信号変更手段により変更された第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して前記レベル合成の基準となる合成レベルを変更する合成レベル変更手段を備える。
【００１７】
この構成により、適正露光領域に基づいてレベル合成処理の合成レベルを変更するので、適切なレベル合成映像信号が得られ、階調補正および領域合成の結果も良好に得られる。
【００１８】
また、本発明の映像処理装置では、前記合成レベル変更手段は、前記第１および第２の映像信号のうちの短い露光時間での撮像により得られた方の映像信号の低輝度部分に相当する被写体部分が、前記第１および第２の映像信号のうちの長い露光時間での撮像により得られた方の映像信号を用いてレベル合成されるように、前記合成レベルを変更する。
【００１９】
この構成により、短い露光時間での撮像により得られた映像信号の低輝度部分の信号に起因するレベル合成映像信号の画質劣化を防ぐとともに、その映像信号のうちのダイナミックレンジの拡大に貢献する部分の信号を有効に用いて、被写体の輝度分布を表現する適切な映像信号を生成できる。
【００２０】
また、本発明の撮像システムは、上記のいずれかに記載の映像処理装置と、前記第1および第２の映像信号を生成する撮像手段とを備える。
【００２１】
この構成により、撮像手段のダイナミックレンジを越える輝度分布範囲をもつ被写体を撮像して、その被写体の輝度分布に対応した輝度分布をもつ映像信号を生成できる。
【００２２】
なお、上記の本発明の映像処理装置は、２つの映像信号のみを処理する構成に限定されないことは勿論である。すなわち、例えば、第１および第２のいずれの映像信号とも露光時間が異なる第３、第４、・・・の映像信号を第１および第２の映像信号と同様に扱って、被写体の輝度分布に対応した輝度分布をもつ映像信号を生成する装置も本発明に含まれる。
【００２３】
本発明は、上述したような装置の態様に限定されない。本発明の別の態様は、映像処理方法、映像処理方法をコンピュータに実行させるプログラム、およびそのプログラムを格納した記録媒体である。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２５】
（第1の実施の形態）
図１は、第１の実施の形態の映像処理装置を備えた撮像システム１０の構成を示すブロック図である。撮像システム１０は、撮像部３１、前処理部３２、Ａ／Ｄ変換部３３、時間軸変換部３４およびレベル合成部３５を備えている。
【００２６】
撮像部３１は、平面状に配置された複数の画素からなるＣＣＤを含んでいる。撮像部３１は、図示しない制御部からの指示に従って、露光時間が長時間の映像信号（ＬＯＮＧ信号）と露光時間が短時間の映像信号（ＳＨＯＲＴ信号）とを生成する。このとき、撮像部３１は、ＣＣＤの水平転送速度を通常の２倍の速度にして水平ラインごとにＬＯＮＧ信号およびＳＨＯＲＴ信号を交互に出力することにより、通常の撮像にて１フィールド分の映像信号を出力する期間内に、ＬＯＮＧ信号およびＳＨＯＲＴ信号をそれぞれ１フィールド分出力する。
【００２７】
前処理部３２は、ノイズ除去処理を行なうＣＤＳ回路とゲイン制御処理を行なうＡＧＣ回路を含み、撮像部３１から出力された信号に対してノイズ除去およびゲイン制御などの前処理を施す。Ａ／Ｄ変換部３３は、前処理部３２にて前処理された映像信号をアナログ信号からデジタル信号に変換する。
【００２８】
時間軸変換部３４は、撮像部３１にて連続的に生成されたＬＯＮＧ信号とＳＨＯＲＴ信号の時間軸を変換することにより、両信号をそれぞれ標準の速度でかつ同一のタイミングにする。この時間軸変換部３４によって撮像部３１にて生成された映像信号は、ＬＯＮＧ信号とＳＨＯＲＴ信号とに分離され、それぞれ独立して取り扱うことができる。ＬＯＮＧ信号およびＳＨＯＲＴ信号は、それぞれレベル合成部３５に入力される。レベル合成部３５は、ＬＯＮＧ信号とＳＨＯＲＴ信号とをレベル合成する。
【００２９】
図２は、レベル合成部３５のレベル合成処理を説明する図である。図２（ａ）〜（ｅ）はいずれも、横軸が被写体の明るさであり、縦軸が画像の輝度レベルである座標を示している。ＬＯＮＧ信号は、図２（ａ）に示すように、被写体の明るさが増すに連れて画像の輝度レベルも増すが、露光時間を長く取っているために、被写体の明るさが所定のレベル以上になると、画像の輝度レベルが飽和して、被写体の明るさに係わらず画像の輝度レベルは一定となる。レベル合成部３５は、図２（ｃ）に示すように、画像の輝度レベルが飽和点に達しているＬＯＮＧ信号を圧縮する。
【００３０】
一方、ＳＨＯＲＴ信号は、図２（ｂ）に示すように、被写体の明るさに対する画像の輝度レベルの増加率がＬＯＮＧ信号よりも緩やかである。レベル合成部３５は、このようなＳＨＯＲＴ信号に対して、図２（ｄ）に示すように、オフセット成分を足し込む。このとき、ＳＨＯＲＴ信号は、ＬＯＮＧ信号の輝度レベルが飽和点に達するときの被写体の明るさでＳＨＯＲＴ信号もその飽和点の輝度レベルになるように、オフセットされる。
【００３１】
レベル合成部３５は、さらに、ＬＯＮＧ信号の飽和点を合成点（本発明の合成レベル）として、図２（ｅ）に示すように、圧縮されたＬＯＮＧ信号とオフセットされたＳＨＯＲＴ信号を合成する。このとき、レベル合成部３５は、合成点以下の輝度レベルではＬＯＮＧ信号を用いて、合成点以上の輝度レベルではＳＨＯＲＴ信号を用いて、両信号を合成し、レベル合成映像信号を生成する。なお、このレベル合成部３５が、本発明のレベル合成手段を構成する。
【００３２】
撮像システム１０は、さらに、ＬＯＮＧ適正露光検出部３６、ＳＨＯＲＴ適正露光検出部３７、ＬＯＮＧヒストグラムデータ検波部３８、ＳＨＯＲＴヒストグラム検波部３９、ＬＯＮＧ階調補正データ算出部４０、ＳＨＯＲＴ階調補正データ算出部４１、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３を備えている。以下、順に各部を説明していく。
【００３３】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７は、それぞれ時間軸変換部３４にて分離されて出力されたＬＯＮＧ信号およびＳＨＯＲＴ信号を取り込んで、それぞれの信号中の適正露光部分を検出する。
【００３４】
図３は、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７の適正露光検出処理を説明する図である。ここでは、撮像部３１にて図３（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に比較的大きな楕円状の明るい領域ＬＡを有するものである。この被写体を長時間露光および短時間露光でそれぞれ撮像すると、時間軸変換部３４では、この被写体を示すＬＯＮＧ信号およびＳＨＯＲＴ信号が得られる。図３（ｂ）および図３（ｃ）は、図３（ａ）に示される被写体のＡＢ線上の映像に対応するＬＯＮＧ信号およびＳＨＯＲＴ信号の輝度レベルを示す図である。
【００３５】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７には、それぞれ所定の輝度レベル閾値が記憶されている。ＬＯＮＧ適正露光検出部３６は、ＬＯＮＧ信号を取り込むと、そのＬＯＮＧ信号中で輝度レベルが閾値以下である領域をＬＯＮＧ信号の適正露光領域（以下、ＬＯＮＧ適正露光領域という）として検出し、その領域を示すＬＯＮＧ適正露光信号を生成する。本例では、被写体中の暗い領域ＤＡがＬＯＮＧ適正露光領域として検出される。したがって、ＬＯＮＧ適正露光信号のＡＢ線上に対応する部分は、図３（ｄ）に示すように、閾値以下の輝度レベルを有する暗い領域が１であり、閾値以上の輝度レベルを有する明るい領域が０である。
【００３６】
ＳＨＯＲＴ適正露光検出部３７は、図３（ａ）に示させる被写体のＳＨＯＲＴ信号を取り込むと、そのＳＨＯＲＴ信号中で輝度レベルが閾値以上である領域をＳＨＯＲＴ信号の適正露光領域（以下、ＳＨＯＲＴ適正露光領域）として検出し、その領域を示すＳＨＯＲＴ適正露光信号を生成する。本例では、被写体中の明るい領域ＬＡがＳＨＯＲＴ適正露光領域として検出される。したがって、ＳＨＯＲＴ適正露光信号のＡＢ線上に対応する部分は、図３（ｅ）に示すように、閾値以上の輝度レベルを有する明るい領域が１であり、閾値以下の輝度レベルを有する暗い領域が０である。
【００３７】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７は、それぞれ上述のようにして生成したＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を出力する。なお、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７が、本発明の適正露光検出手段を構成する。
【００３８】
ＬＯＮＧヒストグラムデータ検波部３８は、まず、時間軸変換部３４より出力されたＬＯＮＧ信号とＬＯＮＧ適正露光検出部３６より出力されたＬＯＮＧ適正露光信号を取り込み、それらの信号を用いて適正露光領域のＬＯＮＧ信号のヒストグラムを生成する。
【００３９】
図４は、ＬＯＮＧヒストグラムデータ検波部３８にてＬＯＮＧ適正信号のヒストグラムを生成する処理を説明する図である。図４（ａ）は、ＬＯＮＧ信号のＡＢ線上の輝度レベルを示す図である。このＬＯＮＧ信号が時間軸変換部３４からＬＯＮＧヒストグラムデータ検波部３８に入力される。図４（ｂ）は、ＬＯＮＧ適正露光信号のＡＢ線上に対応する部分を示す図である。このＬＯＮＧ適正露光信号がＬＯＮＧ適正露光検出部３６からＬＯＮＧヒストグラム検波部３８に入力される。ＬＯＮＧヒストグラムデータ検波部３８は、ＬＯＮＧ信号とＬＯＮＧ適正露光信号とを掛け合わせることにより、ＬＯＮＧ適正露光領域のＬＯＮＧ信号を示すＬＯＮＧ適正信号を生成する。本例では、被写体のＡＢ線上では、図４（ａ）に示されるＬＯＮＧ信号と図４（ｂ）に示されるＬＯＮＧ適正露光信号とが掛け合わされることにより、図４（ｃ）に示されるＬＯＮＧ適正信号が生成される。
【００４０】
ＬＯＮＧヒストグラムデータ検波部３８は、こうして得られたＬＯＮＧ適正信号の輝度ヒストグラムを示すＬＯＮＧヒストグラムデータを生成する。図４（ｄ）は、ＬＯＮＧ適正信号の輝度分布を示すヒストグラムデータである。ＬＯＮＧ適正信号は、ＬＯＮＧ信号の適正露光領域を表す信号、すなわち被写体中の暗い領域の映像を表す信号なので、図４（ｄ）に示すようにその輝度分布は低輝度側に偏っている。
【００４１】
図５は、ＳＨＯＲＴヒストグラムデータ検波部３９にてＳＨＯＲＴ適正信号のヒストグラムを生成する処理を説明する図である。ＳＨＯＲＴヒストグラムデータ検波部３９も、ＬＯＮＧヒストグラムデータ検波部３８と同様にして、まず、ＳＨＯＲＴ信号とＳＨＯＲＴ適正露光信号とを掛け合わせることにより、ＳＨＯＲＴ適正信号を生成する。図５に示すように、ＡＢ線上では、図５（ａ）に示されるＳＨＯＲＴ信号と図５（ｂ）に示されるＳＨＯＲＴ適正露光信号とが掛け合わされて、図５（ｃ）に示されるＳＨＯＲＴ適正信号が生成される。
【００４２】
ＳＨＯＲＴヒストグラムデータ検波部３９は、こうして得られたＳＨＯＲＴ適正信号の輝度ヒストグラムを示すＳＨＯＲＴヒストグラムデータを生成する。図５（ｄ）は、ＳＨＯＲＴ適正信号の輝度分布を示すヒストグラムデータである。ＳＨＯＲＴ適正信号は、ＳＨＯＲＴ信号の適正露光領域を表す信号、すなわち被写体中の明るい領域の映像を表す信号なので、図５（ｄ）に示すようにその輝度分布は高輝度側に偏っている。
【００４３】
ＬＯＮＧ階調補正データ算出部４０およびＳＨＯＲＴ階調補正データ算出部４１は、それぞれＬＯＮＧヒストグラムデータ検波部３８およびＳＨＯＲＴヒストグラムデータ検波部３９で生成されたヒストグラムデータを取り込んで、このヒストグラムデータに基づいて、それぞれＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを算出する。
【００４４】
図６は、ＬＯＮＧ階調補正データ算出部４０における処理を説明する図である。ＬＯＮＧ階調補正データは、ＬＯＮＧヒストグラムデータ検波部３８にて生成された図６（ａ）に示されるＬＯＮＧヒストグラムデータを取得して、図６（ｂ）に示されるＬＯＮＧ階調補正データを算出する。上述のように、ＬＯＮＧ適正信号のヒストグラムは低輝度側に偏っているので、ＬＯＮＧ階調補正データ算出部４０は、図６（ｂ）に示すように、ＬＯＮＧ適正信号の低輝度部分を持ち上げる補正データを算出する。
【００４５】
図７は、ＳＨＯＲＴ階調補正データ算出部４１の処理を説明する図である。ＳＨＯＲＴ階調補正データ算出部４１は、ＬＯＮＧ階調補正データ算出部４０と同様に、図７（ａ）に示されるＳＨＯＲＴヒストグラムデータに基づいて、図７（ｂ）に示されるＳＨＯＲＴ階調補正データを算出する。ここで、ＳＨＯＲＴ適正信号のヒストグラムは、ＬＯＮＧ適正信号のヒストグラムとは逆に、高輝度側に偏っているので、ＳＨＯＲＴ階調補正データ算出部４１は、図７（ｂ）に示すように、ＳＨＯＲＴ適正信号の高輝度部分を持ち上げる補正データを算出する。
【００４６】
図１に戻って、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３は、それぞれＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを用いてレベル合成部３５で生成されたレベル合成映像信号を階調補正する。ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３が、本発明の第１および第２の階調補正手段を構成する。
【００４７】
図８は、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３の処理を説明する図である。レベル合成映像信号に対してＬＯＮＧ階調補正データを適用することによりレベル合成映像信号中の低輝度部分が強調される。また、レベル信号に対してＳＨＯＲＴ階調補正データを適用することによりレベル合成映像信号中の高輝度部分が強調される。図８は、ＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを用いてレベル合成映像信号を階調補正した場合のレベル合成映像信号中のＡＢ線上の部分の変化を示している。
【００４８】
図８（ａ）に示すレベル合成映像信号のＡＢ線上の部分は、図８（ｂ）に示すＬＯＮＧ階調補正データを用いて階調補正されることにより、図８（ｃ）に示す信号となる。この階調補正によって、レベル合成映像信号は、低輝度部分すなわち信号レベルの低い部分のレベルが持ち上げられ、高輝度部分すなわち信号レベルの高い部分のレベルは抑えられる。また、図８（ｄ）に示すＳＨＯＲＴ階調補正データを用いて図８（ａ）のレベル合成映像信号を階調補正すると、図８（ｅ）に示すように、レベル合成映像信号の低輝度部分のレベルは抑えられ、高輝度部分のレベルが持ち上げられる。以下、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３にて階調補正されたレベル合成映像信号をそれぞれＬＯＮＧ階調補正信号およびＳＨＯＲＴ階調補正信号という。
【００４９】
撮像システム１０は、さらに、合成波形生成部４４、領域合成部４５およびメイン信号処理部４６を備えている。
【００５０】
ＬＯＮＧ適正露光検出部３６から得られたＬＯＮＧ適正露光信号は、上述のように、ＬＯＮＧヒストグラムデータ検波部３８にてＬＯＮＧ適正露光領域のヒストグラムを作成するために用いられるほか、合成波形生成部４４での処理にも用いられる。ＳＨＯＲＴ適正露光信号もＬＯＮＧ適正露光信号と同様に、合成波形生成部４４での処理に用いられる。合成波形生成部４４は、ＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を取得して、ＬＯＮＧ信号およびＳＨＯＲＴ信号の適正露光領域の境界を検出する。
【００５１】
そして、合成波形生成部４４は、ＬＯＮＧ階調補正信号に対しては、ＬＯＮＧ適正露光信号が示す適正露光領域において１でありその他の領域において０であるＬＯＮＧ重み付け処理関数を生成する。また、合成波形生成部４４は、ＳＨＯＲＴ階調補正信号に対して、ＳＨＯＲＴ適正露光信号が示す適正露光領域にて１でありその他の領域にて０であるＳＨＯＲＴ重み付け処理関数を生成する。
【００５２】
ここで、後述する領域合成の際にＬＯＮＧ適正領域とＳＨＯＲＴ適正領域とを滑らかにつなぐために、ＬＯＮＧ重み付け処理関数およびＳＨＯＲＴ重み付け処理関数は、０から１または１から０へなだらかに変化する関数とされる。また、本実施の形態では、ＬＯＮＧ重み付け関数とＳＨＯＲＴ重み付け関数は、両者の和が常に１になる相補関係にある。
【００５３】
図９および図１０は、合成波形生成部４４の処理を説明する図である。図９は、ＡＢ線上のＬＯＮＧ階調補正信号とＬＯＮＧ重み付け処理関数（１−Ｋ）を示している。また、図１０は、ＡＢ線上のＳＨＯＲＴ階調補正信号とＳＨＯＲＴ重み付け処理関数（Ｋ）を示している。上述のように、ＬＯＮＧ重み付け処理関数およびＳＨＯＲＴ重み付け処理関数は、１と０との境界周辺で重み付け係数が徐々に増加または減少して０から１または１から０に変化する関数である。なお、図９および図１０では、ＡＢ線上すなわち水平方向の重み付け関数の変化を示しているが、垂直方向にも０から１または１から０の境界では重み付け係数が徐々に増加または減少する。以上のようにして生成されたＬＯＮＧ重み付け関数およびＳＨＯＲＴ重み付け関数は、領域合成部４５に出力される。
【００５４】
領域合成部４５は、ＬＯＮＧ重み付け処理関数を用いてＬＯＮＧ階調補正信号の適正露光部分を抽出し、ＳＨＯＲＴ重み付け処理関数を用いてＳＨＯＲＴ階調補正信号の適正露光部分を抽出し、両者を合成して領域合成信号を生成する。
【００５５】
図１１は、領域合成部４５の構成を示すブロック図である。領域合成部４５は、ＬＯＮＧ乗算器４５１、ＳＨＯＲＴ乗算器４５２および加算器４５３を備えている。ＬＯＮＧ乗算器４５１は、ＬＯＮＧ階調補正信号とＬＯＮＧ重み付け処理関数を乗算する。これによってＬＯＮＧ適正露光領域のみが有効な値を持つ映像信号が生成される。また、ＳＨＯＲＴ乗算器４５２は、ＳＨＯＲＴ階調補正信号とＳＨＯＲＴ重み付け処理関数を乗算する。これによって、ＳＨＯＲＴ適正露光領域のみが有効な値を持つ映像信号が生成される。加算器４５３は、ＬＯＮＧ乗算器４５１の出力とＳＨＯＲＴ乗算器４５２の出力とを加算する。これによって、ＬＯＮＧ適正露光領域ではＬＯＮＧ階調補正信号が採用され、ＳＨＯＲＴ適正露光領域ではＳＨＯＲＴ階調補正信号が採用された領域合成信号が生成される。なお、この領域合成部４５が、本発明の領域合成手段を構成する。
【００５６】
図１２は、領域合成部４５にて生成された領域合成信号によって表される画像を示す図である。上記で説明した階調補正処理により、被写体の明るい領域から暗い領域までのコントラストが撮像システム１０のダイナミックレンジの範囲内で表現されており、白くとんだ部分や黒くつぶれた部分を生じることなく被写体輝度分布が適切に表現されている。
【００５７】
なお、図９および図１０を用いて説明したように、ＬＯＮＧ重み付け処理関数とＳＨＯＲＴ重み付け処理関数を滑らかに変化するように設定したので、明るい領域と周囲の暗い領域の境界部ＭＡでは、ＬＯＮＧ階調補正信号とＳＨＯＲＴ階調補正信号が自然に合成されている。
【００５８】
図１に戻って、メイン信号処理部４６は、領域合成信号に対して、圧縮符号化処理を含むメイン部分の信号処理を行ない、外部の装置に信号を出力する。
【００５９】
以上説明したように、本実施の形態の撮像システム１０は、露光時間が互いに異なるＬＯＮＧ信号およびＳＨＯＲＴ信号から各々の適正露光領域を表すＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域を検出する。そして、そのようにして検出されたＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成信号をＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に基づいて領域合成する。これにより、被写体の高輝度部分および低輝度部分に対して適切な階調補正を施して、被写体の輝度分布を撮像システム１０のダイナミックレンジ内の輝度分布で表現する適切な映像信号が得られる。
【００６０】
また、本実施の形態の撮像システム１０は、撮像部３１から１フィールド期間内に交互に出力された２つの映像信号を時間軸変換部３４にて時間軸を揃えて出力するので、露光時間の異なる２つの信号を一時的に記憶するためのフィールドメモリが不要となる。これによって、撮像システム１０の回路規模を縮小できる。
【００６１】
（第２の実施の形態）
図１３は、第２の実施の形態の映像処理装置を備えた撮像システム２０の構成を示すブロック図である。撮像システム２０の構成は、適正露光領域変換部４７を備えていることを除いて、第１の実施の形態の撮像システム１０の構成と同様である。図１３および以下の説明では、撮像システム２０の構成要素のうち撮像システム１０と同じ構成要素については撮像システム１０と同一の符号を付して、その説明を省略する。
【００６２】
既に本発明の第１の実施の形態として説明した通り、図１に示す撮像システム１０によって、被写体の輝度分布を撮像システム１０のダイナミックレンジ内の輝度分布で表現する適切な映像信号が得られる。そして、明るい領域と周囲の暗い領域の境界部ＭＡでは、ＬＯＮＧ階調補正信号とＳＨＯＲＴ階調補正信号が自然に合成されて、領域合成による違和感がない画像が得られる。ただし、ＬＯＮＧ適正露光領域またはＳＨＯＲＴ適正露光領域の面積が極端に小さいときには、境界部分で画像がぼけてしまい、領域合成によってその小さな適正露光領域に相当する部分がしみのように表れることがある。
【００６３】
そこで、領域合成画像に上記のようなしみ状の部分が表れることを防止するために、本実施の形態の撮像システム２０では、図１３に示すように、合成波形生成部４４の前に適正露光領域変換部４７を設ける。
【００６４】
図１４は、適正露光信号変換部４７の構成を示すブロック図である。適正露光信号変換部４７は、ＳＨＯＲＴ適正露光信号を取得して数ライン分一時記憶する画像データバッファ４７１を備えている。画像データバッファ４７１は数ラインごとにＳＨＯＲＴ適正露光信号を出力する。ＳＨＯＲＴ領域変換部４７２は、所定の画素数の閾値を記憶している。ＳＨＯＲＴ領域変換部４７２は、数ライン分のＳＨＯＲＴ適正信号を取得して、そのＳＨＯＲＴ適正露光信号中に面積が上記の閾値に満たないＳＨＯＲＴ適正露光領域（以下、小適正露光領域という）をキャンセルするフィルタ処理を行なう。すなわち、ＳＨＯＲＴ領域変換部４７２は、ＳＨＯＲＴ適正露光領域中の小適正露光領域がＳＨＯＲＴ適正露光領域ではなくなるように、ＳＨＯＲＴ適正露光信号を変換する。上記の閾値は、好ましくは、極端に面積の小さいＳＨＯＲＴ適正露光領域をキャンセルできるように設定される。
【００６５】
ＬＯＮＧ領域変換部４７３は、上記のように変換されたＳＨＯＲＴ適正露光信号を用いて、ＬＯＮＧ適正露光信号がそのＳＨＯＲＴ適正露光信号と相補的な関係になるように、ＬＯＮＧ適正露光信号を変換する。このようにして、適正露光信号変換部４７では、ＳＨＯＲＴ適正露光信号およびＬＯＮＧ適正露光信号のいずれもが変換され、出力される。
【００６６】
図１５は、適正露光信号変換部４７の処理を説明する図である。ここでは、撮像部３１にて図１５（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に比較的面積の大きな明るい領域Ｌ１と面積の小さな明るい領域Ｌ２およびＬ３を有する。この被写体のＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号は、例えばＡＢ線上では、それぞれ図１５（ｂ）および図１５（ｃ）に示す信号となる。
【００６７】
図１５（ｂ）に示すように、ＳＨＯＲＴ適正露光検出部３７の処理では、被写体中の明るい領域Ｌ１〜Ｌ３の３つの領域がＳＨＯＲＴ適正露光領域となる。しかし、明るい領域Ｌ２および明るい領域Ｌ３は、閾値よりも面積の小さい領域であるので、ＳＨＯＲＴ領域変換部４７２によって、図１５（ｄ）に示すように、明るい領域Ｌ２および明るい領域Ｌ３は０に変換される。また、ＬＯＮＧ適正露光信号も、図１５（ｄ）のＳＨＯＲＴ適正露光信号と相補的な関係になるように、ＬＯＮＧ領域変換部４７３にて図１５（ｅ）に示すように変換される。なお、この適正露光信号変換部４７が、本発明の適正露光信号変更手段に相当する。
【００６８】
図１３に戻って、本実施の形態の撮像システム２０では、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７にてそれぞれ生成されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号が、上記のように適正露光信号変換部４７にて変換された上で合成波形生成部４６に入力される。
【００６９】
なお、上記の例では、ＳＨＯＲＴ適正露光領域中の小適正露光領域を検出してその領域をキャンセルする処理を行なったが、ＬＯＮＧ適正露光領域中の小適正露光領域を検出してその領域をキャンセルする処理を行なってもよいし、ＳＨＯＲＴ適正露光領域およびＬＯＮＧ適正露光領域の両方からそれぞれ小さい領域を検出してもよい。さらに、上記の例では、ＳＨＯＲＴ適正露光信号から小適正露光領域を検出したが、小適正露光領域を検出するために、ＬＯＮＧ適正露光信号を調べてもよい。
【００７０】
以上説明したように、第２の実施の形態の撮像システム２０は、ＳＨＯＲＴ適正露光領域またはＬＯＮＧ適正露光領域に小適正露光領域が存在する場合に、それらの領域が他方の適正露光領域になるようにＳＨＯＲＴ適正露光信号またはＬＯＮＧ適正露光信号を変換する。これによって、第１の実施の形態の撮像システム１０の効果に加えて、小適正露光領域に相当する部分が領域合成処理によってぼけて違和感のある画像が生成されるという不都合を解消できる。
【００７１】
（第３の実施の形態）
図１６は、第３の実施の形態の映像処理装置を備えた撮像システム３０の構成を示すブロック図である。撮像システム３０の構成は、第２の実施の形態の撮像システム２０の構成に、さらに合成レベル信号生成部４８を追加したものである。図１６および以下の説明では、撮像システム３０の構成要素のうち撮像システム２０と同じ構成要素については撮像システム２０と同一の符号を付して、その説明を省略する。
【００７２】
図１７は、合成レベル信号生成部４８の処理を説明する図である。ここでは、撮像部３１にて図１７（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に領域Ｘと明るい領域ＬＡを有する。領域Ｘは、明るい領域Ｌ１よりは輝度が低く、暗い領域ＤＡよりは輝度が高い領域である。
【００７３】
ここで、明るい領域ＬＡは、ＬＯＮＧ信号では白く飛んでしまっている領域であるので、レベル合成部３５でのレベル合成処理ではＳＨＯＲＴ信号を採用するべき領域である。また、暗い領域ＤＡは、ＳＨＯＲＴ信号では黒くつぶれている領域であるので、レベル合成処理ではＬＯＮＧ信号を用いるべき領域である。これに対して、領域Ｘは、ＳＨＯＲＴ信号では低輝度の領域となり、ＬＯＮＧ信号では高輝度の領域となる。
【００７４】
この領域Ｘについては、レベル合成処理にて、輝度の低いＳＨＯＲＴ信号を用いるよりも、輝度の高いＬＯＮＧ信号を用いる方がダイナミックレンジ拡大処理の効果がより顕著になる。また、この領域ＸでＳＨＯＲＴ信号を用いてレベル合成映像信号を生成すると、その領域に対応する部分でノイズが発生して画質劣化の要因となる。したがって、図１７に明るい領域ＬＡのようにダイナミックレンジ拡大処理による効果が顕著な領域のＳＨＯＲＴ信号のみをレベル合成に使用して、領域ＸのようなＳＨＯＲＴ信号中の輝度レベルの低い領域はレベル合成に使用しないようにすれば、ダイナミックレンジ拡大処理による効果が大きく、かつノイズによる画質劣化の少ないレベル合成映像信号が得られる。
【００７５】
ここで、上述したように、領域Ｘは、ＳＨＯＲＴ信号では低輝度の領域であり、ＬＯＮＧ信号では高輝度の領域である。したがって、領域Ｘは、ＳＨＯＲＴ信号中では適正露光領域とはならず、ＬＯＮＧ信号中の適正露光領域として検出される。そこで、合成レベル信号生成部４８は、ＳＨＯＲＴ適正信号またはＬＯＮＧ適正信号を用いることにより、ＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に応じて、合成レベルを領域ごとに可変にする。
【００７６】
具体的には、合成レベル信号生成部４８は、ＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号に従って、ＬＯＮＧ適正露光領域では、レベル合成にてＳＨＯＲＴ信号の低輝度部分が使用されるように高い合成レベル（合成レベル２）を示し、ＳＨＯＲＴ適正露光領域では、レベル合成にてＳＨＯＲＴ信号の高輝度部分が使用されるように低い合成レベル（合成レベル１）を示す合成レベル信号を生成する。図１７（ｄ）は、このようにして生成された合成レベル信号である。図１７（ｄ）において、縦方向は合成レベルの値を示している。ただし、図１７（ｄ）では、合成レベルの高低を逆に示している。
【００７７】
図１６に戻って、合成レベル信号生成部４８は、合成レベル信号をレベル合成部３５に出力し、レベル合成部３５は、レベル合成信号に従って、少なくとも一部の領域の合成レベルを可変に設定する。
【００７８】
図１８は、合成レベル１および合成レベル２のそれぞれの合成レベルでのレベル合成波形を示す図である。図１８（ａ）は、ＳＨＯＲＴ適正露光領域に適用されるレベル合成波形であり合成レベル１を合成点とするものである。図１８（ｂ）は、ＬＯＮＧ適正露光領域に適用されるレベル合成波形であり、合成レベル２を合成点とするものである。図１８（ａ）に示されるように、被写体中の領域Ｘは、仮に合成レベル１でレベル合成を行なったとすると、ＳＨＯＲＴ信号が採用されることになる。しかし、本実施の形態では、領域Ｘでは、図１８（ｂ）に示されるレベル合成波形でレベル合成されるので、同図に示されるように、ＬＯＮＧ信号が採用される。本実施の形態において、合成レベル信号を生成する合成レベル信号生成部４８および合成レベル信号に基づいて合成レベルを可変に設定するレベル合成部３５によって、本発明の合成レベル変更手段が実現される。
【００７９】
なお、図１６の例では、合成レベル信号生成部４８は、適正露光領域変換部４７にて変換されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を用いて合成レベル信号を生成したが、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７から出力されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を用いて合成レベル信号が生成されてもよい。
【００８０】
以上説明したように、本実施の形態の撮像システム３０によれば、ＳＨＯＲＴ信号中の高輝度領域およびＬＯＮＧ信号中の低輝度領域を用いてレベル合成映像信号を生成するので、第１および第２の実施の形態の撮像システムと同様の処理の効果が得られる。撮像システム３０では、さらに、ＳＨＯＲＴ信号の低輝度領域に相当する部分についてはＬＯＮＧ信号を用いてレベル合成されるように、合成レベルが領域に応じて変更される。これによって、ダイナミックレンジ拡大処理の効果が顕著な領域のＳＨＯＲＴ信号のみがレベル合成に使用されるので、ダイナミックレンジ拡大処理による効果が大きく、かつノイズによる画質劣化の少ないレベル合成映像信号が得られる。
【００８１】
なお、上記の第１ないし第３の実施の形態では、撮像部３１が２種類の異なる露光時間にて被写体を撮像することにより、露光時間の異なる２つの映像信号を生成し、それらを用いて階調補正された映像信号を生成したが、３種類以上の映像信号を生成して、上記と同様にして階調補正された映像信号を生成してもよい。
【００８２】
上記第１ないし第３の実施の形態の撮像システムでは、ＬＯＮＧ階調補正データ算出部４０およびＳＨＯＲＴ階調補正データ算出部４１はソフトウェアによって構成されるが、他の部分についても可能な部分はソフトウェアによって構成されてよい。これらの場合には、各部分の機能は所定のプログラムに従ってコンピュータがデータを処理することにより実現される。
【００８３】
【発明の効果】
以上説明したように、本発明は、互いに露光時間の異なる２つの映像信号の各々の適正露光領域に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成映像信号を上記の適正露光領域に基づいて領域合成するので、効果的なダイナミック拡大処理を実行できるというすぐれた効果を有する映像信号処理装置を提供することができる。
本発明によれば、第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成部が設けられており、第１および第２の重み付け処理関数に基づいて、第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成するので、第１の階調補正手段および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を自然に合成することができる。
【図面の簡単な説明】
【図１】第１の実施の形態の撮像システムの構成を示すブロック図
【図２】第１の実施の形態のレベル合成部のレベル合成処理を説明する図
【図３】第1の実施の形態の適正露光検出処理を説明する図
【図４】第１の実施の形態のＬＯＮＧ適正信号のヒストグラムを生成する処理を説明する図
【図５】第１の実施の形態のＳＨＯＲＴ適正信号のヒストグラムを生成する処理を説明する図
【図６】第１の実施の形態のＬＯＮＧ階調補正データ算出部における処理を説明する図
【図７】第１の実施の形態のＳＨＯＲＴ階調補正データ算出部における処理を説明する図
【図８】第１の実施の形態のＬＯＮＧ領域階調補正部およびＳＨＯＲＴ領域階調補正部の処理を説明する図
【図９】第１の実施の形態の合成波形生成部の処理を説明する図
【図１０】第１の実施の形態の合成波形生成部の処理を説明する図
【図１１】第１の実施の形態の領域合成部の構成を示すブロック図
【図１２】第１の実施の形態の領域合成部にて生成された領域合成信号によって表される画像を示す図
【図１３】第２の実施の形態の撮像システムの構成を示すブロック図
【図１４】第２の実施の形態の適正露光信号変換部の構成を示すブロック図
【図１５】第２の実施の形態の適正露光信号変換部の処理を説明する図
【図１６】第３の実施の形態の撮像システムの構成を示すブロック図
【図１７】第３の実施の形態の合成レベル信号生成部の処理を説明する図
【図１８】第３の実施の形態のそれぞれの合成レベルでのレベル合成波形を示す図
【符号の説明】
１０、２０、３０ 撮像システム
３４ 時間軸変換部
３５ レベル合成部
３６ ＬＯＮＧ適正露光検出部
３７ ＳＨＯＲＴ適正露光検出部
４０ ＬＯＮＧ階調補正データ算出部
４１ ＳＨＯＲＴ階調補正データ算出部
４２ ＬＯＮＧ領域階調補正部
４３ ＳＨＯＲＴ領域階調補正部
４４ 合成波形生成部
４５ 領域合成部
４７ 適正露光領域変換部
４８ 合成レベル信号生成部
【発明の属する技術分野】
本発明は、映像信号を処理する技術に関し、特に、異なる露光時間での撮像により得られた複数の映像信号を用いて、被写体の輝度分布を再現する映像信号を生成する映像処理装置に関する。
【０００２】
【従来の技術】
従来より、階調補正装置を備えた撮像システムが知られている。この階調補正装置は、被写体の輝度分布範囲が撮像素子のダイナミックレンジよりも広い場合に、そのような被写体を撮像することにより得られた映像信号を用いて、被写体の輝度分布に対応する輝度分布をもつ映像信号を生成する（以下、この処理をダイナミックレンジ拡大処理という）。撮像システムがこのような階調補正装置を備えることによって、ダイナミックレンジの狭い撮像素子を活用して輝度分布範囲の広い被写体を適切に表す画像を生成できる。
【０００３】
従来のダイナミックレンジ拡大処理では、互いに異なる露光時間での撮像により得られた２つの映像信号を用いて、被写体の輝度分布に対応する輝度分布をもつ映像信号が生成される。具体的には、撮像システムは、まず、同一の被写体を長い露光時間および短い露光時間で連続して撮像することにより、２つの映像信号を生成する。以下、長い露光時間での撮影により得られた映像信号をＬＯＮＧ信号といい、短い露光時間での撮像により得られた映像信号をＳＨＯＲＴ信号という。
【０００４】
撮像システムに備えられた階調補正装置は、ＬＯＮＧ信号に対しては高輝度成分を圧縮して、ＳＨＯＲＴ信号に対してはオフセット成分を追加した後に、両信号を所定の合成レベル（合成点）でレベル合成してレベル合成映像信号を生成する。そして、階調補正装置は、レベル合成映像信号により表される画像をそのレベル合成映像信号の輝度分布に応じて縦方向および横方向に複数の領域に分割して、分割された領域ごとの複数の階調補正データを算出する。さらに、階調補正装置は、これらの複数の階調補正データの各々を用いてレベル合成映像信号を階調補正することにより、各階調補正データにて階調補正された複数のレベル合成映像信号を生成する。そして、階調補正装置は、階調補正データを求めた際の分割領域に対応する領域ごとにこれらの複数のレベル合成映像信号を領域合成する。このようなダイナミック拡大処理によって、被写体の輝度分布が撮像システムのダイナミックレンジ内に納められた映像信号が生成される。
【０００５】
上記のようなダイナミック拡大処理を実行する撮像システムは、例えば特許文献１に記載されている。また、特許文献２には、本発明に関連する技術が記載されている。
【０００６】
【特許文献１】
特開平１０−２６１００７号公報（第３−５頁、第１図）
【特許文献２】
特開２０００−２２８７４７号公報（第４−９頁、第２図）
【０００７】
【発明が解決しようとする課題】
上記の従来の階調補正装置では、レベル合成画像の輝度レベルに応じて縦方向および横方向に領域を分割するので、例えば、被写体の高輝度部分と低輝度部分が縦横の領域分割によって分けられない場合や被写体の高輝度部分と低輝度部分のパターン数が領域分割数よりも多い場合などには、分割された一領域内に被写体の高輝度部分と低輝度部分が混在することがある。このような場合には、従来の階調補正装置では効果的なダイナミック拡大処理ができず、メリハリのない画像が生成されてしまうという問題がある。
【０００８】
本発明は、このような問題を解決するためになされたもので、被写体の高輝度部分および低輝度部分がどのように分布しているかにかかわらず、効果的なダイナミック拡大処理を実現するための技術を提供するものである。
【０００９】
【課題を解決するための手段】
本発明の映像処理装置は、互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、前記第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、前記第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、前記第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成部と、前記第１および第２の重み付け処理関数に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段とを備える。
【００１０】
この構成により、第１および第２の映像信号の適正露光領域を表す第１および第２の適正露光信号の各々に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成映像信号を上記の第１および第２の適正露光信号に基づいて領域合成する。これにより、分割された一領域内に被写体の高輝度部分と低輝度部分が混在することを回避できるので、被写体の高輝度部分および低輝度部分に対して適切な階調補正を施して、被写体の輝度分布を適当なレンジ内の輝度分布で表現する適切な映像信号が得られる。
本発明によれば、第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成部が設けられており、第１および第２の重み付け処理関数に基づいて、第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成するので、第１の階調補正手段および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を自然に合成することができる。
【００１１】
また、本発明の映像処理装置は、さらに、前記第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成手段のレベル合成の基準となる合成レベルを変更する合成レベル変更手段を備える。
【００１２】
この構成により、適正露光領域に基づいてレベル合成処理の合成レベルを変更するので、適切なレベル合成信号が得られ、階調補正および領域合成の結果も良好に得られる。
【００１３】
本発明の他の態様の映像処理装置は、互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、前記適正露光検出手段により得られた第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、前記適正露光検出手段により得られた第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、前記第１および第２の適正露光信号の一方の適正露光領域の中に所定の閾値以下の面積の小適正露光領域が存在する場合、前記小適正露光領域が他方の適正露光信号の適正露光領域となるように前記第１および第２の適正露光信号を変更する適正露光信号変更手段と、前記適正露光信号変更手段により変更された第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段とを備える。
【００１４】
この構成により、上記と同様に、被写体の輝度分布を適当なレンジ内で表現する適切な映像信号が得られる。さらに、一方の適正露光信号の適正露光領域の中に所定の閾値以下の面積の小適正露光領域があるときに、その小適正露光領域が他方の適正露光信号の適正露光領域として扱われる。これにより、上記の小適正露光領域に階調補正と領域合成を施すことによる上記小適正露光領域のぼけを防止できる。
【００１５】
なお、本発明の範囲内で、もちろん、第１の適正露光信号の適正露光領域のうちの小適正露光領域に対して本発明が適用されてもよく、第２の適正露光信号の適正露光領域のうちの小適正露光領域に対して本発明が適用されてもよく、両者に本発明が適用されてもよい。
【００１６】
また、本発明の映像処理装置は、さらに、前記適正露光信号変更手段により変更された第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して前記レベル合成の基準となる合成レベルを変更する合成レベル変更手段を備える。
【００１７】
この構成により、適正露光領域に基づいてレベル合成処理の合成レベルを変更するので、適切なレベル合成映像信号が得られ、階調補正および領域合成の結果も良好に得られる。
【００１８】
また、本発明の映像処理装置では、前記合成レベル変更手段は、前記第１および第２の映像信号のうちの短い露光時間での撮像により得られた方の映像信号の低輝度部分に相当する被写体部分が、前記第１および第２の映像信号のうちの長い露光時間での撮像により得られた方の映像信号を用いてレベル合成されるように、前記合成レベルを変更する。
【００１９】
この構成により、短い露光時間での撮像により得られた映像信号の低輝度部分の信号に起因するレベル合成映像信号の画質劣化を防ぐとともに、その映像信号のうちのダイナミックレンジの拡大に貢献する部分の信号を有効に用いて、被写体の輝度分布を表現する適切な映像信号を生成できる。
【００２０】
また、本発明の撮像システムは、上記のいずれかに記載の映像処理装置と、前記第1および第２の映像信号を生成する撮像手段とを備える。
【００２１】
この構成により、撮像手段のダイナミックレンジを越える輝度分布範囲をもつ被写体を撮像して、その被写体の輝度分布に対応した輝度分布をもつ映像信号を生成できる。
【００２２】
なお、上記の本発明の映像処理装置は、２つの映像信号のみを処理する構成に限定されないことは勿論である。すなわち、例えば、第１および第２のいずれの映像信号とも露光時間が異なる第３、第４、・・・の映像信号を第１および第２の映像信号と同様に扱って、被写体の輝度分布に対応した輝度分布をもつ映像信号を生成する装置も本発明に含まれる。
【００２３】
本発明は、上述したような装置の態様に限定されない。本発明の別の態様は、映像処理方法、映像処理方法をコンピュータに実行させるプログラム、およびそのプログラムを格納した記録媒体である。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２５】
（第1の実施の形態）
図１は、第１の実施の形態の映像処理装置を備えた撮像システム１０の構成を示すブロック図である。撮像システム１０は、撮像部３１、前処理部３２、Ａ／Ｄ変換部３３、時間軸変換部３４およびレベル合成部３５を備えている。
【００２６】
撮像部３１は、平面状に配置された複数の画素からなるＣＣＤを含んでいる。撮像部３１は、図示しない制御部からの指示に従って、露光時間が長時間の映像信号（ＬＯＮＧ信号）と露光時間が短時間の映像信号（ＳＨＯＲＴ信号）とを生成する。このとき、撮像部３１は、ＣＣＤの水平転送速度を通常の２倍の速度にして水平ラインごとにＬＯＮＧ信号およびＳＨＯＲＴ信号を交互に出力することにより、通常の撮像にて１フィールド分の映像信号を出力する期間内に、ＬＯＮＧ信号およびＳＨＯＲＴ信号をそれぞれ１フィールド分出力する。
【００２７】
前処理部３２は、ノイズ除去処理を行なうＣＤＳ回路とゲイン制御処理を行なうＡＧＣ回路を含み、撮像部３１から出力された信号に対してノイズ除去およびゲイン制御などの前処理を施す。Ａ／Ｄ変換部３３は、前処理部３２にて前処理された映像信号をアナログ信号からデジタル信号に変換する。
【００２８】
時間軸変換部３４は、撮像部３１にて連続的に生成されたＬＯＮＧ信号とＳＨＯＲＴ信号の時間軸を変換することにより、両信号をそれぞれ標準の速度でかつ同一のタイミングにする。この時間軸変換部３４によって撮像部３１にて生成された映像信号は、ＬＯＮＧ信号とＳＨＯＲＴ信号とに分離され、それぞれ独立して取り扱うことができる。ＬＯＮＧ信号およびＳＨＯＲＴ信号は、それぞれレベル合成部３５に入力される。レベル合成部３５は、ＬＯＮＧ信号とＳＨＯＲＴ信号とをレベル合成する。
【００２９】
図２は、レベル合成部３５のレベル合成処理を説明する図である。図２（ａ）〜（ｅ）はいずれも、横軸が被写体の明るさであり、縦軸が画像の輝度レベルである座標を示している。ＬＯＮＧ信号は、図２（ａ）に示すように、被写体の明るさが増すに連れて画像の輝度レベルも増すが、露光時間を長く取っているために、被写体の明るさが所定のレベル以上になると、画像の輝度レベルが飽和して、被写体の明るさに係わらず画像の輝度レベルは一定となる。レベル合成部３５は、図２（ｃ）に示すように、画像の輝度レベルが飽和点に達しているＬＯＮＧ信号を圧縮する。
【００３０】
一方、ＳＨＯＲＴ信号は、図２（ｂ）に示すように、被写体の明るさに対する画像の輝度レベルの増加率がＬＯＮＧ信号よりも緩やかである。レベル合成部３５は、このようなＳＨＯＲＴ信号に対して、図２（ｄ）に示すように、オフセット成分を足し込む。このとき、ＳＨＯＲＴ信号は、ＬＯＮＧ信号の輝度レベルが飽和点に達するときの被写体の明るさでＳＨＯＲＴ信号もその飽和点の輝度レベルになるように、オフセットされる。
【００３１】
レベル合成部３５は、さらに、ＬＯＮＧ信号の飽和点を合成点（本発明の合成レベル）として、図２（ｅ）に示すように、圧縮されたＬＯＮＧ信号とオフセットされたＳＨＯＲＴ信号を合成する。このとき、レベル合成部３５は、合成点以下の輝度レベルではＬＯＮＧ信号を用いて、合成点以上の輝度レベルではＳＨＯＲＴ信号を用いて、両信号を合成し、レベル合成映像信号を生成する。なお、このレベル合成部３５が、本発明のレベル合成手段を構成する。
【００３２】
撮像システム１０は、さらに、ＬＯＮＧ適正露光検出部３６、ＳＨＯＲＴ適正露光検出部３７、ＬＯＮＧヒストグラムデータ検波部３８、ＳＨＯＲＴヒストグラム検波部３９、ＬＯＮＧ階調補正データ算出部４０、ＳＨＯＲＴ階調補正データ算出部４１、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３を備えている。以下、順に各部を説明していく。
【００３３】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７は、それぞれ時間軸変換部３４にて分離されて出力されたＬＯＮＧ信号およびＳＨＯＲＴ信号を取り込んで、それぞれの信号中の適正露光部分を検出する。
【００３４】
図３は、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７の適正露光検出処理を説明する図である。ここでは、撮像部３１にて図３（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に比較的大きな楕円状の明るい領域ＬＡを有するものである。この被写体を長時間露光および短時間露光でそれぞれ撮像すると、時間軸変換部３４では、この被写体を示すＬＯＮＧ信号およびＳＨＯＲＴ信号が得られる。図３（ｂ）および図３（ｃ）は、図３（ａ）に示される被写体のＡＢ線上の映像に対応するＬＯＮＧ信号およびＳＨＯＲＴ信号の輝度レベルを示す図である。
【００３５】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７には、それぞれ所定の輝度レベル閾値が記憶されている。ＬＯＮＧ適正露光検出部３６は、ＬＯＮＧ信号を取り込むと、そのＬＯＮＧ信号中で輝度レベルが閾値以下である領域をＬＯＮＧ信号の適正露光領域（以下、ＬＯＮＧ適正露光領域という）として検出し、その領域を示すＬＯＮＧ適正露光信号を生成する。本例では、被写体中の暗い領域ＤＡがＬＯＮＧ適正露光領域として検出される。したがって、ＬＯＮＧ適正露光信号のＡＢ線上に対応する部分は、図３（ｄ）に示すように、閾値以下の輝度レベルを有する暗い領域が１であり、閾値以上の輝度レベルを有する明るい領域が０である。
【００３６】
ＳＨＯＲＴ適正露光検出部３７は、図３（ａ）に示させる被写体のＳＨＯＲＴ信号を取り込むと、そのＳＨＯＲＴ信号中で輝度レベルが閾値以上である領域をＳＨＯＲＴ信号の適正露光領域（以下、ＳＨＯＲＴ適正露光領域）として検出し、その領域を示すＳＨＯＲＴ適正露光信号を生成する。本例では、被写体中の明るい領域ＬＡがＳＨＯＲＴ適正露光領域として検出される。したがって、ＳＨＯＲＴ適正露光信号のＡＢ線上に対応する部分は、図３（ｅ）に示すように、閾値以上の輝度レベルを有する明るい領域が１であり、閾値以下の輝度レベルを有する暗い領域が０である。
【００３７】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７は、それぞれ上述のようにして生成したＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を出力する。なお、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７が、本発明の適正露光検出手段を構成する。
【００３８】
ＬＯＮＧヒストグラムデータ検波部３８は、まず、時間軸変換部３４より出力されたＬＯＮＧ信号とＬＯＮＧ適正露光検出部３６より出力されたＬＯＮＧ適正露光信号を取り込み、それらの信号を用いて適正露光領域のＬＯＮＧ信号のヒストグラムを生成する。
【００３９】
図４は、ＬＯＮＧヒストグラムデータ検波部３８にてＬＯＮＧ適正信号のヒストグラムを生成する処理を説明する図である。図４（ａ）は、ＬＯＮＧ信号のＡＢ線上の輝度レベルを示す図である。このＬＯＮＧ信号が時間軸変換部３４からＬＯＮＧヒストグラムデータ検波部３８に入力される。図４（ｂ）は、ＬＯＮＧ適正露光信号のＡＢ線上に対応する部分を示す図である。このＬＯＮＧ適正露光信号がＬＯＮＧ適正露光検出部３６からＬＯＮＧヒストグラム検波部３８に入力される。ＬＯＮＧヒストグラムデータ検波部３８は、ＬＯＮＧ信号とＬＯＮＧ適正露光信号とを掛け合わせることにより、ＬＯＮＧ適正露光領域のＬＯＮＧ信号を示すＬＯＮＧ適正信号を生成する。本例では、被写体のＡＢ線上では、図４（ａ）に示されるＬＯＮＧ信号と図４（ｂ）に示されるＬＯＮＧ適正露光信号とが掛け合わされることにより、図４（ｃ）に示されるＬＯＮＧ適正信号が生成される。
【００４０】
ＬＯＮＧヒストグラムデータ検波部３８は、こうして得られたＬＯＮＧ適正信号の輝度ヒストグラムを示すＬＯＮＧヒストグラムデータを生成する。図４（ｄ）は、ＬＯＮＧ適正信号の輝度分布を示すヒストグラムデータである。ＬＯＮＧ適正信号は、ＬＯＮＧ信号の適正露光領域を表す信号、すなわち被写体中の暗い領域の映像を表す信号なので、図４（ｄ）に示すようにその輝度分布は低輝度側に偏っている。
【００４１】
図５は、ＳＨＯＲＴヒストグラムデータ検波部３９にてＳＨＯＲＴ適正信号のヒストグラムを生成する処理を説明する図である。ＳＨＯＲＴヒストグラムデータ検波部３９も、ＬＯＮＧヒストグラムデータ検波部３８と同様にして、まず、ＳＨＯＲＴ信号とＳＨＯＲＴ適正露光信号とを掛け合わせることにより、ＳＨＯＲＴ適正信号を生成する。図５に示すように、ＡＢ線上では、図５（ａ）に示されるＳＨＯＲＴ信号と図５（ｂ）に示されるＳＨＯＲＴ適正露光信号とが掛け合わされて、図５（ｃ）に示されるＳＨＯＲＴ適正信号が生成される。
【００４２】
ＳＨＯＲＴヒストグラムデータ検波部３９は、こうして得られたＳＨＯＲＴ適正信号の輝度ヒストグラムを示すＳＨＯＲＴヒストグラムデータを生成する。図５（ｄ）は、ＳＨＯＲＴ適正信号の輝度分布を示すヒストグラムデータである。ＳＨＯＲＴ適正信号は、ＳＨＯＲＴ信号の適正露光領域を表す信号、すなわち被写体中の明るい領域の映像を表す信号なので、図５（ｄ）に示すようにその輝度分布は高輝度側に偏っている。
【００４３】
ＬＯＮＧ階調補正データ算出部４０およびＳＨＯＲＴ階調補正データ算出部４１は、それぞれＬＯＮＧヒストグラムデータ検波部３８およびＳＨＯＲＴヒストグラムデータ検波部３９で生成されたヒストグラムデータを取り込んで、このヒストグラムデータに基づいて、それぞれＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを算出する。
【００４４】
図６は、ＬＯＮＧ階調補正データ算出部４０における処理を説明する図である。ＬＯＮＧ階調補正データは、ＬＯＮＧヒストグラムデータ検波部３８にて生成された図６（ａ）に示されるＬＯＮＧヒストグラムデータを取得して、図６（ｂ）に示されるＬＯＮＧ階調補正データを算出する。上述のように、ＬＯＮＧ適正信号のヒストグラムは低輝度側に偏っているので、ＬＯＮＧ階調補正データ算出部４０は、図６（ｂ）に示すように、ＬＯＮＧ適正信号の低輝度部分を持ち上げる補正データを算出する。
【００４５】
図７は、ＳＨＯＲＴ階調補正データ算出部４１の処理を説明する図である。ＳＨＯＲＴ階調補正データ算出部４１は、ＬＯＮＧ階調補正データ算出部４０と同様に、図７（ａ）に示されるＳＨＯＲＴヒストグラムデータに基づいて、図７（ｂ）に示されるＳＨＯＲＴ階調補正データを算出する。ここで、ＳＨＯＲＴ適正信号のヒストグラムは、ＬＯＮＧ適正信号のヒストグラムとは逆に、高輝度側に偏っているので、ＳＨＯＲＴ階調補正データ算出部４１は、図７（ｂ）に示すように、ＳＨＯＲＴ適正信号の高輝度部分を持ち上げる補正データを算出する。
【００４６】
図１に戻って、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３は、それぞれＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを用いてレベル合成部３５で生成されたレベル合成映像信号を階調補正する。ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３が、本発明の第１および第２の階調補正手段を構成する。
【００４７】
図８は、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３の処理を説明する図である。レベル合成映像信号に対してＬＯＮＧ階調補正データを適用することによりレベル合成映像信号中の低輝度部分が強調される。また、レベル信号に対してＳＨＯＲＴ階調補正データを適用することによりレベル合成映像信号中の高輝度部分が強調される。図８は、ＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを用いてレベル合成映像信号を階調補正した場合のレベル合成映像信号中のＡＢ線上の部分の変化を示している。
【００４８】
図８（ａ）に示すレベル合成映像信号のＡＢ線上の部分は、図８（ｂ）に示すＬＯＮＧ階調補正データを用いて階調補正されることにより、図８（ｃ）に示す信号となる。この階調補正によって、レベル合成映像信号は、低輝度部分すなわち信号レベルの低い部分のレベルが持ち上げられ、高輝度部分すなわち信号レベルの高い部分のレベルは抑えられる。また、図８（ｄ）に示すＳＨＯＲＴ階調補正データを用いて図８（ａ）のレベル合成映像信号を階調補正すると、図８（ｅ）に示すように、レベル合成映像信号の低輝度部分のレベルは抑えられ、高輝度部分のレベルが持ち上げられる。以下、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３にて階調補正されたレベル合成映像信号をそれぞれＬＯＮＧ階調補正信号およびＳＨＯＲＴ階調補正信号という。
【００４９】
撮像システム１０は、さらに、合成波形生成部４４、領域合成部４５およびメイン信号処理部４６を備えている。
【００５０】
ＬＯＮＧ適正露光検出部３６から得られたＬＯＮＧ適正露光信号は、上述のように、ＬＯＮＧヒストグラムデータ検波部３８にてＬＯＮＧ適正露光領域のヒストグラムを作成するために用いられるほか、合成波形生成部４４での処理にも用いられる。ＳＨＯＲＴ適正露光信号もＬＯＮＧ適正露光信号と同様に、合成波形生成部４４での処理に用いられる。合成波形生成部４４は、ＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を取得して、ＬＯＮＧ信号およびＳＨＯＲＴ信号の適正露光領域の境界を検出する。
【００５１】
そして、合成波形生成部４４は、ＬＯＮＧ階調補正信号に対しては、ＬＯＮＧ適正露光信号が示す適正露光領域において１でありその他の領域において０であるＬＯＮＧ重み付け処理関数を生成する。また、合成波形生成部４４は、ＳＨＯＲＴ階調補正信号に対して、ＳＨＯＲＴ適正露光信号が示す適正露光領域にて１でありその他の領域にて０であるＳＨＯＲＴ重み付け処理関数を生成する。
【００５２】
ここで、後述する領域合成の際にＬＯＮＧ適正領域とＳＨＯＲＴ適正領域とを滑らかにつなぐために、ＬＯＮＧ重み付け処理関数およびＳＨＯＲＴ重み付け処理関数は、０から１または１から０へなだらかに変化する関数とされる。また、本実施の形態では、ＬＯＮＧ重み付け関数とＳＨＯＲＴ重み付け関数は、両者の和が常に１になる相補関係にある。
【００５３】
図９および図１０は、合成波形生成部４４の処理を説明する図である。図９は、ＡＢ線上のＬＯＮＧ階調補正信号とＬＯＮＧ重み付け処理関数（１−Ｋ）を示している。また、図１０は、ＡＢ線上のＳＨＯＲＴ階調補正信号とＳＨＯＲＴ重み付け処理関数（Ｋ）を示している。上述のように、ＬＯＮＧ重み付け処理関数およびＳＨＯＲＴ重み付け処理関数は、１と０との境界周辺で重み付け係数が徐々に増加または減少して０から１または１から０に変化する関数である。なお、図９および図１０では、ＡＢ線上すなわち水平方向の重み付け関数の変化を示しているが、垂直方向にも０から１または１から０の境界では重み付け係数が徐々に増加または減少する。以上のようにして生成されたＬＯＮＧ重み付け関数およびＳＨＯＲＴ重み付け関数は、領域合成部４５に出力される。
【００５４】
領域合成部４５は、ＬＯＮＧ重み付け処理関数を用いてＬＯＮＧ階調補正信号の適正露光部分を抽出し、ＳＨＯＲＴ重み付け処理関数を用いてＳＨＯＲＴ階調補正信号の適正露光部分を抽出し、両者を合成して領域合成信号を生成する。
【００５５】
図１１は、領域合成部４５の構成を示すブロック図である。領域合成部４５は、ＬＯＮＧ乗算器４５１、ＳＨＯＲＴ乗算器４５２および加算器４５３を備えている。ＬＯＮＧ乗算器４５１は、ＬＯＮＧ階調補正信号とＬＯＮＧ重み付け処理関数を乗算する。これによってＬＯＮＧ適正露光領域のみが有効な値を持つ映像信号が生成される。また、ＳＨＯＲＴ乗算器４５２は、ＳＨＯＲＴ階調補正信号とＳＨＯＲＴ重み付け処理関数を乗算する。これによって、ＳＨＯＲＴ適正露光領域のみが有効な値を持つ映像信号が生成される。加算器４５３は、ＬＯＮＧ乗算器４５１の出力とＳＨＯＲＴ乗算器４５２の出力とを加算する。これによって、ＬＯＮＧ適正露光領域ではＬＯＮＧ階調補正信号が採用され、ＳＨＯＲＴ適正露光領域ではＳＨＯＲＴ階調補正信号が採用された領域合成信号が生成される。なお、この領域合成部４５が、本発明の領域合成手段を構成する。
【００５６】
図１２は、領域合成部４５にて生成された領域合成信号によって表される画像を示す図である。上記で説明した階調補正処理により、被写体の明るい領域から暗い領域までのコントラストが撮像システム１０のダイナミックレンジの範囲内で表現されており、白くとんだ部分や黒くつぶれた部分を生じることなく被写体輝度分布が適切に表現されている。
【００５７】
なお、図９および図１０を用いて説明したように、ＬＯＮＧ重み付け処理関数とＳＨＯＲＴ重み付け処理関数を滑らかに変化するように設定したので、明るい領域と周囲の暗い領域の境界部ＭＡでは、ＬＯＮＧ階調補正信号とＳＨＯＲＴ階調補正信号が自然に合成されている。
【００５８】
図１に戻って、メイン信号処理部４６は、領域合成信号に対して、圧縮符号化処理を含むメイン部分の信号処理を行ない、外部の装置に信号を出力する。
【００５９】
以上説明したように、本実施の形態の撮像システム１０は、露光時間が互いに異なるＬＯＮＧ信号およびＳＨＯＲＴ信号から各々の適正露光領域を表すＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域を検出する。そして、そのようにして検出されたＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成信号をＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に基づいて領域合成する。これにより、被写体の高輝度部分および低輝度部分に対して適切な階調補正を施して、被写体の輝度分布を撮像システム１０のダイナミックレンジ内の輝度分布で表現する適切な映像信号が得られる。
【００６０】
また、本実施の形態の撮像システム１０は、撮像部３１から１フィールド期間内に交互に出力された２つの映像信号を時間軸変換部３４にて時間軸を揃えて出力するので、露光時間の異なる２つの信号を一時的に記憶するためのフィールドメモリが不要となる。これによって、撮像システム１０の回路規模を縮小できる。
【００６１】
（第２の実施の形態）
図１３は、第２の実施の形態の映像処理装置を備えた撮像システム２０の構成を示すブロック図である。撮像システム２０の構成は、適正露光領域変換部４７を備えていることを除いて、第１の実施の形態の撮像システム１０の構成と同様である。図１３および以下の説明では、撮像システム２０の構成要素のうち撮像システム１０と同じ構成要素については撮像システム１０と同一の符号を付して、その説明を省略する。
【００６２】
既に本発明の第１の実施の形態として説明した通り、図１に示す撮像システム１０によって、被写体の輝度分布を撮像システム１０のダイナミックレンジ内の輝度分布で表現する適切な映像信号が得られる。そして、明るい領域と周囲の暗い領域の境界部ＭＡでは、ＬＯＮＧ階調補正信号とＳＨＯＲＴ階調補正信号が自然に合成されて、領域合成による違和感がない画像が得られる。ただし、ＬＯＮＧ適正露光領域またはＳＨＯＲＴ適正露光領域の面積が極端に小さいときには、境界部分で画像がぼけてしまい、領域合成によってその小さな適正露光領域に相当する部分がしみのように表れることがある。
【００６３】
そこで、領域合成画像に上記のようなしみ状の部分が表れることを防止するために、本実施の形態の撮像システム２０では、図１３に示すように、合成波形生成部４４の前に適正露光領域変換部４７を設ける。
【００６４】
図１４は、適正露光信号変換部４７の構成を示すブロック図である。適正露光信号変換部４７は、ＳＨＯＲＴ適正露光信号を取得して数ライン分一時記憶する画像データバッファ４７１を備えている。画像データバッファ４７１は数ラインごとにＳＨＯＲＴ適正露光信号を出力する。ＳＨＯＲＴ領域変換部４７２は、所定の画素数の閾値を記憶している。ＳＨＯＲＴ領域変換部４７２は、数ライン分のＳＨＯＲＴ適正信号を取得して、そのＳＨＯＲＴ適正露光信号中に面積が上記の閾値に満たないＳＨＯＲＴ適正露光領域（以下、小適正露光領域という）をキャンセルするフィルタ処理を行なう。すなわち、ＳＨＯＲＴ領域変換部４７２は、ＳＨＯＲＴ適正露光領域中の小適正露光領域がＳＨＯＲＴ適正露光領域ではなくなるように、ＳＨＯＲＴ適正露光信号を変換する。上記の閾値は、好ましくは、極端に面積の小さいＳＨＯＲＴ適正露光領域をキャンセルできるように設定される。
【００６５】
ＬＯＮＧ領域変換部４７３は、上記のように変換されたＳＨＯＲＴ適正露光信号を用いて、ＬＯＮＧ適正露光信号がそのＳＨＯＲＴ適正露光信号と相補的な関係になるように、ＬＯＮＧ適正露光信号を変換する。このようにして、適正露光信号変換部４７では、ＳＨＯＲＴ適正露光信号およびＬＯＮＧ適正露光信号のいずれもが変換され、出力される。
【００６６】
図１５は、適正露光信号変換部４７の処理を説明する図である。ここでは、撮像部３１にて図１５（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に比較的面積の大きな明るい領域Ｌ１と面積の小さな明るい領域Ｌ２およびＬ３を有する。この被写体のＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号は、例えばＡＢ線上では、それぞれ図１５（ｂ）および図１５（ｃ）に示す信号となる。
【００６７】
図１５（ｂ）に示すように、ＳＨＯＲＴ適正露光検出部３７の処理では、被写体中の明るい領域Ｌ１〜Ｌ３の３つの領域がＳＨＯＲＴ適正露光領域となる。しかし、明るい領域Ｌ２および明るい領域Ｌ３は、閾値よりも面積の小さい領域であるので、ＳＨＯＲＴ領域変換部４７２によって、図１５（ｄ）に示すように、明るい領域Ｌ２および明るい領域Ｌ３は０に変換される。また、ＬＯＮＧ適正露光信号も、図１５（ｄ）のＳＨＯＲＴ適正露光信号と相補的な関係になるように、ＬＯＮＧ領域変換部４７３にて図１５（ｅ）に示すように変換される。なお、この適正露光信号変換部４７が、本発明の適正露光信号変更手段に相当する。
【００６８】
図１３に戻って、本実施の形態の撮像システム２０では、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７にてそれぞれ生成されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号が、上記のように適正露光信号変換部４７にて変換された上で合成波形生成部４６に入力される。
【００６９】
なお、上記の例では、ＳＨＯＲＴ適正露光領域中の小適正露光領域を検出してその領域をキャンセルする処理を行なったが、ＬＯＮＧ適正露光領域中の小適正露光領域を検出してその領域をキャンセルする処理を行なってもよいし、ＳＨＯＲＴ適正露光領域およびＬＯＮＧ適正露光領域の両方からそれぞれ小さい領域を検出してもよい。さらに、上記の例では、ＳＨＯＲＴ適正露光信号から小適正露光領域を検出したが、小適正露光領域を検出するために、ＬＯＮＧ適正露光信号を調べてもよい。
【００７０】
以上説明したように、第２の実施の形態の撮像システム２０は、ＳＨＯＲＴ適正露光領域またはＬＯＮＧ適正露光領域に小適正露光領域が存在する場合に、それらの領域が他方の適正露光領域になるようにＳＨＯＲＴ適正露光信号またはＬＯＮＧ適正露光信号を変換する。これによって、第１の実施の形態の撮像システム１０の効果に加えて、小適正露光領域に相当する部分が領域合成処理によってぼけて違和感のある画像が生成されるという不都合を解消できる。
【００７１】
（第３の実施の形態）
図１６は、第３の実施の形態の映像処理装置を備えた撮像システム３０の構成を示すブロック図である。撮像システム３０の構成は、第２の実施の形態の撮像システム２０の構成に、さらに合成レベル信号生成部４８を追加したものである。図１６および以下の説明では、撮像システム３０の構成要素のうち撮像システム２０と同じ構成要素については撮像システム２０と同一の符号を付して、その説明を省略する。
【００７２】
図１７は、合成レベル信号生成部４８の処理を説明する図である。ここでは、撮像部３１にて図１７（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に領域Ｘと明るい領域ＬＡを有する。領域Ｘは、明るい領域Ｌ１よりは輝度が低く、暗い領域ＤＡよりは輝度が高い領域である。
【００７３】
ここで、明るい領域ＬＡは、ＬＯＮＧ信号では白く飛んでしまっている領域であるので、レベル合成部３５でのレベル合成処理ではＳＨＯＲＴ信号を採用するべき領域である。また、暗い領域ＤＡは、ＳＨＯＲＴ信号では黒くつぶれている領域であるので、レベル合成処理ではＬＯＮＧ信号を用いるべき領域である。これに対して、領域Ｘは、ＳＨＯＲＴ信号では低輝度の領域となり、ＬＯＮＧ信号では高輝度の領域となる。
【００７４】
この領域Ｘについては、レベル合成処理にて、輝度の低いＳＨＯＲＴ信号を用いるよりも、輝度の高いＬＯＮＧ信号を用いる方がダイナミックレンジ拡大処理の効果がより顕著になる。また、この領域ＸでＳＨＯＲＴ信号を用いてレベル合成映像信号を生成すると、その領域に対応する部分でノイズが発生して画質劣化の要因となる。したがって、図１７に明るい領域ＬＡのようにダイナミックレンジ拡大処理による効果が顕著な領域のＳＨＯＲＴ信号のみをレベル合成に使用して、領域ＸのようなＳＨＯＲＴ信号中の輝度レベルの低い領域はレベル合成に使用しないようにすれば、ダイナミックレンジ拡大処理による効果が大きく、かつノイズによる画質劣化の少ないレベル合成映像信号が得られる。
【００７５】
ここで、上述したように、領域Ｘは、ＳＨＯＲＴ信号では低輝度の領域であり、ＬＯＮＧ信号では高輝度の領域である。したがって、領域Ｘは、ＳＨＯＲＴ信号中では適正露光領域とはならず、ＬＯＮＧ信号中の適正露光領域として検出される。そこで、合成レベル信号生成部４８は、ＳＨＯＲＴ適正信号またはＬＯＮＧ適正信号を用いることにより、ＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に応じて、合成レベルを領域ごとに可変にする。
【００７６】
具体的には、合成レベル信号生成部４８は、ＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号に従って、ＬＯＮＧ適正露光領域では、レベル合成にてＳＨＯＲＴ信号の低輝度部分が使用されるように高い合成レベル（合成レベル２）を示し、ＳＨＯＲＴ適正露光領域では、レベル合成にてＳＨＯＲＴ信号の高輝度部分が使用されるように低い合成レベル（合成レベル１）を示す合成レベル信号を生成する。図１７（ｄ）は、このようにして生成された合成レベル信号である。図１７（ｄ）において、縦方向は合成レベルの値を示している。ただし、図１７（ｄ）では、合成レベルの高低を逆に示している。
【００７７】
図１６に戻って、合成レベル信号生成部４８は、合成レベル信号をレベル合成部３５に出力し、レベル合成部３５は、レベル合成信号に従って、少なくとも一部の領域の合成レベルを可変に設定する。
【００７８】
図１８は、合成レベル１および合成レベル２のそれぞれの合成レベルでのレベル合成波形を示す図である。図１８（ａ）は、ＳＨＯＲＴ適正露光領域に適用されるレベル合成波形であり合成レベル１を合成点とするものである。図１８（ｂ）は、ＬＯＮＧ適正露光領域に適用されるレベル合成波形であり、合成レベル２を合成点とするものである。図１８（ａ）に示されるように、被写体中の領域Ｘは、仮に合成レベル１でレベル合成を行なったとすると、ＳＨＯＲＴ信号が採用されることになる。しかし、本実施の形態では、領域Ｘでは、図１８（ｂ）に示されるレベル合成波形でレベル合成されるので、同図に示されるように、ＬＯＮＧ信号が採用される。本実施の形態において、合成レベル信号を生成する合成レベル信号生成部４８および合成レベル信号に基づいて合成レベルを可変に設定するレベル合成部３５によって、本発明の合成レベル変更手段が実現される。
【００７９】
なお、図１６の例では、合成レベル信号生成部４８は、適正露光領域変換部４７にて変換されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を用いて合成レベル信号を生成したが、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７から出力されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を用いて合成レベル信号が生成されてもよい。
【００８０】
以上説明したように、本実施の形態の撮像システム３０によれば、ＳＨＯＲＴ信号中の高輝度領域およびＬＯＮＧ信号中の低輝度領域を用いてレベル合成映像信号を生成するので、第１および第２の実施の形態の撮像システムと同様の処理の効果が得られる。撮像システム３０では、さらに、ＳＨＯＲＴ信号の低輝度領域に相当する部分についてはＬＯＮＧ信号を用いてレベル合成されるように、合成レベルが領域に応じて変更される。これによって、ダイナミックレンジ拡大処理の効果が顕著な領域のＳＨＯＲＴ信号のみがレベル合成に使用されるので、ダイナミックレンジ拡大処理による効果が大きく、かつノイズによる画質劣化の少ないレベル合成映像信号が得られる。
【００８１】
なお、上記の第１ないし第３の実施の形態では、撮像部３１が２種類の異なる露光時間にて被写体を撮像することにより、露光時間の異なる２つの映像信号を生成し、それらを用いて階調補正された映像信号を生成したが、３種類以上の映像信号を生成して、上記と同様にして階調補正された映像信号を生成してもよい。
【００８２】
上記第１ないし第３の実施の形態の撮像システムでは、ＬＯＮＧ階調補正データ算出部４０およびＳＨＯＲＴ階調補正データ算出部４１はソフトウェアによって構成されるが、他の部分についても可能な部分はソフトウェアによって構成されてよい。これらの場合には、各部分の機能は所定のプログラムに従ってコンピュータがデータを処理することにより実現される。
【００８３】
【発明の効果】
以上説明したように、本発明は、互いに露光時間の異なる２つの映像信号の各々の適正露光領域に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成映像信号を上記の適正露光領域に基づいて領域合成するので、効果的なダイナミック拡大処理を実行できるというすぐれた効果を有する映像信号処理装置を提供することができる。
本発明によれば、第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成部が設けられており、第１および第２の重み付け処理関数に基づいて、第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成するので、第１の階調補正手段および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を自然に合成することができる。
【図面の簡単な説明】
【図１】第１の実施の形態の撮像システムの構成を示すブロック図
【図２】第１の実施の形態のレベル合成部のレベル合成処理を説明する図
【図３】第1の実施の形態の適正露光検出処理を説明する図
【図４】第１の実施の形態のＬＯＮＧ適正信号のヒストグラムを生成する処理を説明する図
【図５】第１の実施の形態のＳＨＯＲＴ適正信号のヒストグラムを生成する処理を説明する図
【図６】第１の実施の形態のＬＯＮＧ階調補正データ算出部における処理を説明する図
【図７】第１の実施の形態のＳＨＯＲＴ階調補正データ算出部における処理を説明する図
【図８】第１の実施の形態のＬＯＮＧ領域階調補正部およびＳＨＯＲＴ領域階調補正部の処理を説明する図
【図９】第１の実施の形態の合成波形生成部の処理を説明する図
【図１０】第１の実施の形態の合成波形生成部の処理を説明する図
【図１１】第１の実施の形態の領域合成部の構成を示すブロック図
【図１２】第１の実施の形態の領域合成部にて生成された領域合成信号によって表される画像を示す図
【図１３】第２の実施の形態の撮像システムの構成を示すブロック図
【図１４】第２の実施の形態の適正露光信号変換部の構成を示すブロック図
【図１５】第２の実施の形態の適正露光信号変換部の処理を説明する図
【図１６】第３の実施の形態の撮像システムの構成を示すブロック図
【図１７】第３の実施の形態の合成レベル信号生成部の処理を説明する図
【図１８】第３の実施の形態のそれぞれの合成レベルでのレベル合成波形を示す図
【符号の説明】
１０、２０、３０ 撮像システム
３４ 時間軸変換部
３５ レベル合成部
３６ ＬＯＮＧ適正露光検出部
３７ ＳＨＯＲＴ適正露光検出部
４０ ＬＯＮＧ階調補正データ算出部
４１ ＳＨＯＲＴ階調補正データ算出部
４２ ＬＯＮＧ領域階調補正部
４３ ＳＨＯＲＴ領域階調補正部
４４ 合成波形生成部
４５ 領域合成部
４７ 適正露光領域変換部
４８ 合成レベル信号生成部
Claims (11)
- 互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、
前記第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、
前記第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、
前記第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成部と、
前記第１および第２の重み付け処理関数に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段と、
を備えることを特徴とする映像処理装置。 - 前記第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成手段のレベル合成の基準となる合成レベルを変更する合成レベル変更手段を備えたことを特徴とする請求項１に記載の映像処理装置。
- 互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、
前記適正露光検出手段により得られた第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、
前記適正露光検出手段により得られた第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、
前記第１および第２の適正露光信号の一方の適正露光領域の中に所定の閾値以下の面積の小適正露光領域が存在する場合、前記小適正露光領域が他方の適正露光信号の適正露光領域となるように前記第１および第２の適正露光信号を変更する適正露光信号変更手段と、
前記適正露光信号変更手段により変更された第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段と、
を備えることを特徴とする映像処理装置。 - 前記適正露光信号変更手段により変更された第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して前記レベル合成の基準となる合成レベルを変更する合成レベル変更手段を備えることを特徴とする請求項３に記載の映像処理装置。
- 前記合成レベル変更手段は、前記第１および第２の映像信号のうちの短い露光時間での撮像により得られた方の映像信号の低輝度部分に相当する被写体部分が、前記第１および第２の映像信号のうちの長い露光時間での撮像により得られた方の映像信号を用いてレベル合成されるように、前記合成レベルを変更することを特徴とする請求項２または４に記載の映像処理装置。
- 請求項１〜５のいずれかに記載の映像処理装置と、
前記第１および第２の映像信号を生成する撮像手段とを備えたことを特徴とする撮像システム。 - 互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成ステップと、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出ステップと、
前記第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正ステップと、
前記第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正ステップと、
前記第１および第２の映像信号の適正露光領域の境界周辺で増加あるいは減少する第１および第２の重み付け処理関数を生成する合成波形生成ステップと、
前記第１および第２の重み付け処理関数に基づいて、前記第１および第２の階調補正ステップにてそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成ステップと、
を有することを特徴とする映像処理方法。 - 前記第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成ステップにおけるレベル合成の基準となる合成レベルを変更する合成レベル変更ステップをさらに有することを特徴とする請求項７に記載の映像処理方法。
- 互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成ステップと、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出ステップと、
前記適正露光検出ステップにて生成された第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正ステップと、
前記適正露光検出ステップにて生成された第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正ステップと、
前記第１および第２の適正露光信号の少なくとも一方の適正露光領域の中に所定の閾値以下の面積の小適正露光領域が存在する場合、前記小適正露光領域が他方の適正露光信号の適正露光領域となるように前記第１および第２の適正露光信号を変更する適正露光信号変更ステップと、
前記適正露光信号変更ステップにて変更された第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正ステップにてそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成ステップと、
を有することを特徴とする映像処理方法。 - 前記適正露光信号変更ステップにて変更された第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成ステップにおけるレベル合成の基準となる合成レベルを変更する合成レベル変更ステップをさらに有することを特徴とする請求項９に記載の映像処理方法。
- 請求項７〜１０のいずれかに記載の映像処理方法をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003090633A JP4119290B2 (ja) | 2003-03-28 | 2003-03-28 | 映像処理装置および撮像システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003090633A JP4119290B2 (ja) | 2003-03-28 | 2003-03-28 | 映像処理装置および撮像システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297701A JP2004297701A (ja) | 2004-10-21 |
| JP4119290B2 true JP4119290B2 (ja) | 2008-07-16 |
Family
ID=33404211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003090633A Expired - Fee Related JP4119290B2 (ja) | 2003-03-28 | 2003-03-28 | 映像処理装置および撮像システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4119290B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006129070A (ja) * | 2004-10-28 | 2006-05-18 | Matsushita Electric Ind Co Ltd | 映像処理装置および映像処理方法 |
| JP2006157450A (ja) | 2004-11-29 | 2006-06-15 | Sony Corp | 撮像装置及び画像処理方法 |
| JP4595660B2 (ja) * | 2005-05-06 | 2010-12-08 | カシオ計算機株式会社 | 撮影装置、撮影画像処理方法及びプログラム |
| JP2007036714A (ja) * | 2005-07-27 | 2007-02-08 | Hitachi Ltd | 撮像装置 |
| JP4987355B2 (ja) * | 2005-10-14 | 2012-07-25 | 京セラ株式会社 | 撮像装置および撮像方法 |
| JP2010028596A (ja) * | 2008-07-23 | 2010-02-04 | Hitachi Ltd | 撮像装置 |
| JP4818393B2 (ja) | 2009-05-07 | 2011-11-16 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP5214538B2 (ja) * | 2009-05-25 | 2013-06-19 | オリンパス株式会社 | 画像取得装置、画像合成方法、及び顕微鏡システム |
| KR101575803B1 (ko) | 2010-01-15 | 2015-12-09 | 삼성전자 주식회사 | 저조도 환경에서의 고감도 영상 생성 방법 및 그 장치 |
| JP5147912B2 (ja) * | 2010-09-08 | 2013-02-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
| KR101857294B1 (ko) | 2011-12-09 | 2018-05-11 | 엘지이노텍 주식회사 | 하이 다이나믹 레인지 이미지 획득 장치 및 방법 |
| JP6543787B2 (ja) * | 2014-09-09 | 2019-07-17 | ハンファテクウィン株式会社 | 画像処理装置および画像処理方法 |
| JP6376339B2 (ja) * | 2014-09-09 | 2018-08-22 | ハンファエアロスペース株式会社Ｈａｎｗｈａ Ａｅｒｏｓｐａｃｅ Ｃｏ．，Ｌｔｄ． | 画像処理装置および画像処理方法 |
| CN111028779B (zh) * | 2020-01-02 | 2021-07-16 | 昆山国显光电有限公司 | 显示面板的补偿方法、装置以及显示面板 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2670372B2 (ja) * | 1989-12-19 | 1997-10-29 | 株式会社東芝 | ２値化方式 |
| JP4163353B2 (ja) * | 1998-12-03 | 2008-10-08 | オリンパス株式会社 | 画像処理装置 |
-
2003
- 2003-03-28 JP JP2003090633A patent/JP4119290B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004297701A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2951909B2 (ja) | 撮像装置の階調補正装置及び階調補正方法 | |
| JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
| JP4119290B2 (ja) | 映像処理装置および撮像システム | |
| US8170362B2 (en) | Edge-enhancement device and edge-enhancement method | |
| JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
| JP3134784B2 (ja) | 画像合成回路 | |
| JP2009049547A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| WO2006051936A2 (ja) | 撮像装置 | |
| JP4479527B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ | |
| JPH10261078A (ja) | 撮像装置の階調補正方法 | |
| JP4810473B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4066803B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| JP4775230B2 (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
| JPH10210323A (ja) | 階調補正装置ならびにそれを用いた映像信号処理装置 | |
| JP5188312B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
| JP2007306083A (ja) | 撮像装置および信号処理装置 | |
| JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
| JP3424576B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3233114B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5146500B2 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
| JP2009194728A (ja) | 撮像システム及び画像処理方法並びに画像処理プログラム | |
| JP2004046329A (ja) | 画像輪郭強調装置 | |
| JP2017223823A (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
| JP2021129144A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080424 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |