JP3560322B2 - 信号処理方法およびその装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ダイナミックレンジの広い映像信号を得ることのできる信号処理方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来、テレビジョンカメラ装置では、撮像素子の電荷蓄積容量による制限から約４倍のダイナミックレンジが限界であった。 従って、室内から室外を撮影する時など、極めて明るい（高輝度）被写体と比較的暗い（低輝度）被写体が混在するような場面を撮像する場合、高輝度被写体か低輝度被写体の何れかが適正レベルで得られるよう露光時間等を制御していたため、低輝度部分を適正レベルとすると高輝度部分が白とびし、高輝度部分を適正レベルとすると低輝度部分が黒つぶれしてしまうことになる。
近年、上記問題を解決するために、図９に示すような、垂直映像期間に通常の露光時間で電荷を蓄積する動作と、垂直ブランキング期間に短い露光時間で電荷を蓄積する動作を行うことで、通常露光によって標準的な明るさの被写体が適正レベルで得られる標準輝度映像信号Ｖ１と、短露光により極めて明るい被写体が適正レベルで得られる高輝度映像信号Ｖ２を取出すことが可能な広ダイナミックレンジ撮像素子が開発されている。 また、図１０に示す様な、撮像素子８から得られる映像信号Ｃを、増幅率の異なる増幅回路９，１０で、それぞれ増幅することによって、標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２を取り出すデュアル増幅方式などが開発されている。
図１１に示す様に、これら広ダイナミックレンジ撮像素子やデュアル増幅方式により取り出された標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２に、後述の加算割合Ｒに基づいて、乗算係数演算回路４’で算出した固定の乗算係数Ｌ，Ｓを、それぞれ乗算回路５’，６’で乗算した後、加算回路７’で加算することにより、ダイナミックレンジ約６４倍の広ダイナミックレンジ映像信号Ｗが得られるテレビジョンカメラ装置が開発されている。
【０００３】
【発明が解決しようとする課題】
ここで、得られた広ダイナミックレンジ映像信号Ｗにおいて、高輝度映像信号Ｖ２が占める最大の割合である加算割合ＲをＲ％、標準輝度映像信号Ｖ１の乗算係数をＬ、高輝度映像信号Ｖ２の乗算係数をＳとすると、乗算係数Ｌ，Ｓは下記式のような係数となる。
Ｌ＝（１００％−Ｒ％）／１００％
Ｓ＝Ｒ％／１００％
上記式から分かるようにＬ＋Ｓ＝１である。 これは標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２が、それぞれ最大の入力レベルである１００％レベルが入力された場合でも、加算後の信号レベルが１００％×Ｌ＋１００％×Ｓ＝１００％となり、広ダイナミックレンジ映像信号Ｗが１００％レベル以内に収まるようにするためである。
つまり、加算後の信号レベルが１００％を越えると、カメラ装置の最終出力が１００％に規制されており、１００％以上の信号成分は、１００％に圧縮されてしまい白つぶれとなり、広いダイナミックレンジの映像信号が取り出せなくなるからである。
ここで、加算割合Ｒ＝５０とし、標準輝度映像信号Ｖ１と高輝度映像信号Ｖ２が、５０％：５０％で加算される、即ち、Ｌ＝０．５、Ｓ＝０．５の場合を考えると、図１２から分かるように、標準的な明るさの被写体が適正レベルで得られる標準輝度映像信号Ｖ１が、１００％レベルから５０％レベルに圧縮されてしまいコントラストの低い映像となる問題がある。
本発明はこれらの問題点を除去し、標準輝度映像信号と高輝度映像信号の加算後の広ダイナミックレンジ映像信号を損失無く、かつ最適なレベルで得ることのできる広ダイナミックレンジ撮像装置の実現を目的とするものである。
【０００４】
【課題を解決するための手段】
本発明は上記の目的を達成するため、異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のヒストグラムから算出した上記標準輝度映像信号と上記高輝度映像信号の加算割合、上記高輝度映像信号のピーク値および上記標準輝度映像信号のニー処理の割合に基づき、上記標準輝度映像信号のニーポイントとニー係数および上記高輝度映像信号の乗算係数を算出し、上記標準輝度映像信号をニー処理し、上記高輝度映像信号に上記乗算係数を乗算した後に加算することにより、広ダイナミックレンジ映像信号を得るようにしたものである。
また、上記広ダイナミックレンジ映像信号に上記標準輝度映像信号のニーポイント以上のレベルが占めるニー割合をＱ％、上記広ダイナミックレンジ映像信号に上記高輝度映像信号が占める最大の割合をＲ％、上記高輝度映像信号のピーク値をＰ％、上記標準輝度映像信号のニーポイントをＫ、上記標準輝度映像信号のニー係数をＬ、上記高輝度映像信号の乗算係数をＳとした場合に、上記ニーポイントＫ、上記ニー係数Ｌ、上記乗算係数を、
１００％−Ｒ％≧Ｐ％の場合、
Ｋ＝１００％−Ｐ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝０）
Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝１ とし、
１００％−Ｒ％＜Ｐ％の場合、
Ｋ＝１００％−Ｒ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝０）
Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝Ｒ％／Ｐ％
とし、広ダイナミックレンジな映像信号のレベル分布が最適になるようにしたものである。
その結果、標準輝度被写体と高輝度被写体を加算して得られる映像信号を損失無く、かつ最適なレベル分布で得ることができ、ダイナミックレンジの広い映像信号が取り出し可能になる。
【０００５】
【発明の実施の形態】
以下、本発明の一実施例として、通常露光等によって標準的な明るさの被写体が適正レベルで得られるように制御された標準輝度映像信号と、短露光等により極めて明るい被写体が適正レベルで得られるように制御された高輝度映像信号を加算処理し、広ダイナミックレンジ映像信号を得るテレビジョンカメラ装置における加算処理部分の構成及び動作を図１を用い説明する。
１は高輝度の被写体が適正レベルとなる露光条件等により取り出された高輝度映像信号Ｖ２からヒストグラム信号Ｈを検出する回路、２はヒストグラム信号Ｈから広ダイナミックレンジ映像信号Ｗにおいて高輝度映像信号Ｖ２が占める最大の割合を決定する加算割合Ｒを演算する加算割合演算回路、３は高輝度映像信号Ｖ２の例えば１フィールド期間におけるピーク値Ｐを検出するピーク値検出回路である。 ４は上記加算割合Ｒ、ピーク値Ｐ及び広ダイナミックレンジ映像信号Ｗ中に標準輝度映像信号Ｖ１のニーポイントＫ以上のレベルが占める割合を制御するニー割合Ｑに基づき、標準輝度映像信号Ｖ１のニーポイントＫ、ニー係数Ｌおよび高輝度映像信号Ｖ２の乗算係数Ｓとを演算する乗算係数演算回路である。５は標準輝度映像信号Ｖ１をニーポイントＫとニー係数Ｌでニー処理し標準輝度映像信号Ｏ１を出力するニー回路、６は高輝度映像信号Ｖ２に乗算係数Ｓを乗算して高輝度映像信号Ｏ２を出力する乗算回路。 ７は標準輝度映像信号Ｏ１と高輝度映像信号Ｏ２を加算し広ダイナミックレンジ映像信号Ｗを出力する加算回路である。
【０００６】
以下、この動作について説明する。
まず、高輝度映像信号Ｖ２は、ヒストグラム検出回路１に入力され、高輝度映像信号Ｖ２のヒストグラム値Ｈが出力される。 ここで、ヒストグラム値Ｈとは、図２に示すように、１フィールドの高輝度映像信号Ｖ２中において、例えば信号レベルが１０〜４０％レベルの信号がどのぐらいの割合で含まれているか、即ち１０〜４０％レベルの画素が、いくつあるかを表すものである。 なお、ここでは、ニー処理で重要となる１０％〜４０％レベルのヒストグラム値を検出したが、このレベル範囲に限定されるものではない。 また、ここでは特定の範囲からヒストグラムを得る方法を例にしているが、これに限定されず、細かいヒストグラムの相関からも取得できる。
ヒストグラム検出回路１で検出されたヒストグラム値Ｈは加算割合演算回路２に入力され、ここで、図３に示す様に、ヒストグラム値Ｈが所定値Ｘより大きい場合は加算割合Ｒを５０％とし、所定値Ｘより小さい場合は加算割合Ｒを３０％として出力する。 即ち、特定のレベル範囲の信号部分（総画素数）が所定値より多くなると、加算割合Ｒが大きくなるように制御される。 つまり、１画面中に多く存在する信号レベルの部分のレベル配分が多くなるよう、加算割合Ｒが制御される。 なお本説明では、加算割合Ｒを、３０％と５０％の２種類としたが、これに限定されず、多種類から選択できるように、テーブル選択としても同様の処理となる。
また、高輝度映像信号Ｖ２はピーク値検出回路３に入力され、高輝度映像信号Ｖ２のピーク値Ｐが出力される。 そして、加算割合Ｒとピーク値Ｐおよびニー割合Ｑは、乗算係数演算回路４に入力される。
【０００７】
乗算係数演算回路４では、図４に示す様に、映像信号の最大振幅１００％から加算割合Ｒを引いた値とピーク値Ｐを比較し、１００％−Ｒ％≧Ｐ％ ならば、ニーポイントＫを １００％−Ｐ％−Ｑ％（Ｋがマイナスの場合はＫ＝０）とし、ニー係数Ｌを Ｑ％／（１００％−Ｋ％）とし、乗算係数Ｓを１とする。 また、１００％−Ｒ％＜Ｐ％ の場合には、ニーポイントＫを １００％−Ｒ％−Ｑ％（Ｋがマイナスの場合はＫ＝０）とし、乗算係数Ｌを Ｑ％／（１００％−Ｋ％）とし、乗算係数Ｓを Ｒ％／Ｐ％ として出力する。
乗算係数演算回路４で演算されたニーポイントＫとニー係数Ｌは、ニー回路５へ入力され、ニー回路５で標準輝度映像信号Ｖ１に、ニーポイントＫ、ニー係数Ｌによるニー処理が施され、標準輝度映像信号Ｏ１が出力される。 なお、乗算係数Ｓは乗算回路６へ入力され、ここで高輝度映像信号Ｖ２と乗算係数Ｓが乗算され、高輝度映像信号Ｏ２が出力される。
ここで上記のニー処理は、１００％−Ｒ％≧Ｐ％の場合は、図５に示すように演算され、１００％−Ｒ％＜Ｐ％の場合は、図６に示すように演算される。
即ち、ニーポイントＫより低いレベルの標準輝度映像信号Ｏ１は、階調を圧縮せず、ニーポイントＫ以上のレベルの標準輝度映像信号Ｏ１は、高輝度映像信号Ｖ２にどのようなレベルの信号が入力されても、一定のニー係数Ｌになるように処理される。
そして、これらの標準輝度映像信号Ｏ１と高輝度映像信号Ｏ２は加算回路７で加算され、広ダイナミックレンジ映像信号Ｗが出力される。
【０００８】
以上述べたごとく、図４，７に示すように、ピーク値Ｐが１００％−Ｒ％より小さい場合は、高輝度映像信号Ｖ２が減衰しないように、乗算係数Ｓを１とし、広ダイナミックレンジ映像信号Ｗ中で高輝度映像信号Ｏ２が占める割合をＰ％とし、残りの１００％−Ｐ％に標準輝度映像信号Ｏ１が割り当てられるようにし、さらに、ニーポイントＫより低いレベルの標準輝度映像信号Ｏ１は階調を圧縮しないように、ニー係数Ｌを Ｑ％／（１００％−Ｋ％）とすることにより、広ダイナミックレンジ映像信号Ｗを常に１００％の振幅とすることができる。
一方、ピーク値Ｐが１００％−Ｒ％より大きい場合も、図４，８に示す様に、ニーポイントＫより低いレベルの標準輝度映像信号Ｖ１は階調を圧縮しないように、ニー係数Ｌを Ｑ％／（１００％−Ｋ％）とすることで、広ダイナミックレンジ映像Ｗ中で標準輝度映像信号Ｏ１が占める割合を １００％−Ｒ％ に固定し、残りのＲ％に高輝度映像信号Ｏ２が割り当てられるように、乗算係数ＳをＲ％／Ｐ％とすることにより、広ダイナミックレンジ映像信号Ｗを常に１００％の振幅とすることができる。
以上のように、高輝度映像信号がどのような振幅レベルの信号であっても、広ダイナミックレンジ映像信号を常に１００％振幅の出力とすることができ、かつニーポイント以下の階調を圧縮していないため、標準輝度映像信号と高輝度映像信号を最適なレベル配分で加算した広ダイナミックレンジ映像信号を得ることができる。
【０００９】
【発明の効果】
本発明によれば、映像信号の所定レベル範囲のヒストグラム、ピーク値に応じ、標準輝度映像信号と高輝度映像信号を最適なレベル配分で加算しているため、得られる広ダイナミックレンジ映像信号を損失無く、かつ最適なレベルで得ることができ、ダイナミックレンジの広い映像信号を取り出すことができる。
【図面の簡単な説明】
【図１】本発明の広ダイナミックレンジ撮像装置の加算処理構成を示すブロック図
【図２】本発明のヒストグラム検出回路１の動作を説明する図
【図３】本発明の加算割合演算回路２の動作を示すフローチャート
【図４】本発明の乗算係数演算回路４の動作を示すフローチャート
【図５】本発明のニー回路５の動作を示す模式図
【図６】本発明のニー回路５の動作を示す模式図
【図７】本発明の広ダイナミックレンジ撮像装置の加算処理動作を示す模式図
【図８】本発明の広ダイナミックレンジ撮像装置の加算処理動作を示す模式図
【図９】従来の広ダイナミックレンジ撮像装置の動作を示す模式図
【図１０】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図
【図１１】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図
【図１２】従来の広ダイナミックレンジ撮像装置の動作を示す模式図
【符号の説明】
１：ヒストグラム検出回路、２：加算割合演算回路、３：ピーク値検出回路、４：乗算係数演算回路、５：ニー回路、６：乗算回路、７：加算回路、Ｖ１：標準輝度映像信号、Ｖ２：高輝度映像信号、Ｏ１：標準輝度映像信号、Ｏ２：高輝度映像信号、Ｑ：ニー割合、Ｈ：ヒストグラム信号、Ｒ：加算割合、Ｐ：ピーク値、Ｋ：ニーポイント、Ｌ：ニー係数、Ｓ：乗算係数、Ｗ：広ダイナミックレンジ映像信号。

Claims (4)

1. 異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のヒストグラムから算出した上記標準輝度映像信号と上記高輝度映像信号の加算割合、上記高輝度映像信号のピーク値および上記標準輝度映像信号のニー処理の割合に基づき、上記標準輝度映像信号のニーポイントとニー係数および上記高輝度映像信号の乗算係数を算出し、上記標準輝度映像信号をニー処理し、上記高輝度映像信号に上記乗算係数を乗算した後に加算することにより、広ダイナミックレンジ映像信号を得ることを特徴とする信号処理方法。
2. 異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のヒストグラムから上記標準輝度映像信号と上記高輝度映像信号の加算割合を演算する手段と、当該算出した加算割合と上記高輝度映像信号のピーク値及び上記標準輝度映像信号のニー処理の割合に基づき上記標準輝度映像信号のニーポイントとニー係数および上記高輝度映像信号の乗算係数を演算する手段と、上記標準輝度映像信号をニー処理する手段と、上記高輝度映像信号に上記乗算係数を乗算処理する手段と、当該処理されたそれぞれの映像信号を加算する手段とを有し、広ダイナミックレンジ映像信号を得ることを特徴とする信号処理装置。
3. 請求項２において、上記広ダイナミックレンジ映像信号に上記標準輝度映像信号のニーポイント以上のレベルが占めるニー割合をＱ％、上記広ダイナミックレンジ映像信号に上記高輝度映像信号が占める最大の割合をＲ％、上記高輝度映像信号のピーク値をＰ％、上記標準輝度映像信号のニーポイントをＫ、上記標準輝度映像信号のニー係数をＬ、上記高輝度映像信号の乗算係数をＳとした場合に、上記ニーポイントＫ、上記ニー係数Ｌ、上記乗算係数を、
   １００％−Ｒ％≧Ｐ％の場合、
   Ｋ＝１００％−Ｐ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝０）
   Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝１ とし、
   １００％−Ｒ％＜Ｐ％の場合、
   Ｋ＝１００％−Ｒ％−Ｑ％（但し、Ｋ＜０の場合、Ｋ＝０）
   Ｌ＝Ｑ％／（１００％−Ｋ％）、 Ｓ＝Ｒ％／Ｐ％
   としたことを特徴とする信号処理装置。
4. 請求項２または３において、当該信号処理装置をテレビジョンカメラシステムに適用したことを特徴とする信号処理装置。

Images