JP5794670B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は撮像装置及び撮像方法に関し、特に、クランプ機能を有する撮像装置に用いて好適な技術に関する。

以下、従来の技術について説明する。
従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号をＡＤ変換後、種々の信号処理を施すことにより所定の画像信号を得る信号処理手段とを有している。さらに従来の撮像装置は、ＡＤ変換処理後の映像信号の黒レベルを補償するために、クランプ処理部を有する。クランプ処理部は、撮像素子の、遮光された光学的黒領域の映像信号を用いてクランプ処理を実施する。

クランプ処理部にはダイナミックレンジが存在する。ある信号レベル以上、または信号レベル以下の信号がクランプ処理部に入力された場合、その値はクランプ処理可能レンジをオーバーしてしまうため、クランプ処理部はクランプ処理を適切に行うことができない。例えば、撮像素子の温度が高く、暗電流ショットノイズが大きいため、クランプ処理部の前段の増幅回路で信号レベルが増幅されると、クランプ処理部の入力前に映像信号がダイナミックレンジをオーバーする場合がある。この場合には、撮像装置は、クランプ処理部の前段で映像信号をオフセットし、映像信号がクランプ処理部のダイナミックレンジ内に収める処理をすればよい。撮像装置のクランプ処理に関する技術は、例えば、特許文献１で開示されている。

特開２０００−３５８１７０号公報

特許文献１に記載の撮像装置は、撮像信号中の撮像素子のオプティカルブラック部の信号レベルの平均値に基づいて、撮像信号の信号レベルを補正する。そして、撮像装置は、クランプ処理前に映像信号を減算し、クランプ処理部のダイナミックレンジに収まるような処理を実施する。

しかし、このように、撮像装置が、平均値（補正量）を求める際、センサ出力映像信号の４色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）混合で一意の補正量を算出し、同補正量で映像信号全体を減算した場合、以下の問題が発生する。クランプ処理部は巡回型フィルタ回路で構成されており、ある時定数をもっている。巡回処理は、参照信号である光学的黒領域の映像信号でもって画面全体をクランプするのに、時定数に応じた時間を必要とする。

映像信号が上記のような一意の補正量減算されると、減算後の各色毎の映像信号差が大きくなる場合があり、この映像信号がクランプ処理部に入った場合、クランプするためには、巡回型フィルタの時定数に応じた時間を要する。このため、クランプ処理部は、映像信号をペデスタルレベルに瞬時に引き込めず、引き込み損ねた画面の一部がちらつきとして発生するという問題がある。

このような現象は、高温、低照度でクランプ処理部の前段の増幅器の増幅率が大きい場合等の、特に４色ごとの段差が発生しやすい条件で発生する。ちなみに、前述の問題の対策のためにクランプ処理の巡回型フィルタの時定数を短くすると、逆に暗電流及びショットノイズ等に起因する誤クランプの弊害が生じる。
本発明は前述の問題点に鑑み、クランプ処理部の巡回フィルタの時定数を短くすることなく、クランプ処理のダイナミックレンジをオーバーする映像信号が入力された場合においても、適切なクランプ処理を可能にすることを目的とする。

本発明の撮像装置は、有効画素領域と光学的黒領域とを有し、入力された光信号を電気信号へと変換して出力する撮像素子と、前記電気信号を映像信号に変換するＡＤ変換手段と、前記電気信号から変換された映像信号を黒レベルにクランプ処理するクランプ処理手段と、前記撮像素子の光学的黒領域の一部または全ての領域から出力された信号に基づいて、前記有効画素領域の映像信号の補正量を演算し、前記補正量に応じて、前記クランプ処理手段によって前記クランプ処理が実行される前の前記映像信号に対する補正処理を実行する信号補正手段とを有し、前記信号補正手段は、前記映像信号のそれぞれの色に対して独立して前記補正量を演算し、前記映像信号のそれぞれの色に対して独立して前記補正処理を実行することを特徴とする。

本発明によれば、クランプ処理のダイナミックレンジをオーバーする映像信号がクランプ処理部に入力されるような条件下においても、適切なクランプ処理をすることが可能となる。

色毎に補正処理を行う撮像装置の概略構成の一例を説明する図である。 第１の実施形態を示し、デジタル撮像装置の構成例を示すブロック図である。 映像信号補正部の詳細な構成例を示すブロック図である。 映像信号補正量を演算するための参照領域信号の説明図である。 色毎に映像信号補正量を演算して補正処理を行う概念を示す図である。 第２の実施形態を示し、デジタル撮像装置の構成例を示すブロック図である。 映像信号補正部の詳細な構成の他の例を示すブロック図である。 領域算出面積の大きさを決定する例を示すフローチャートである。 映像信号補正量を４色の混合で補正処理を行う概念を示す図である。

（第１の実施形態）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
先ず、図１を参照しながら、色毎にクランプ処理を実施する本実施形態の撮像装置の概略を説明する。
撮像素子１０１は、入力された光信号を電気信号へと変換して出力するためのものである。本実施形態においては、ベイヤ配列の４色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の色フィルタが撮像素子のフォトトランジスタ上に構成されている。これにより、撮像素子１０１からは、Ｒ、Ｇｒ、Ｂ、Ｇｂの色毎の合計４ｃｈで映像信号が出力される。映像信号補正部１０２は、撮像素子１０１から出力される４ｃｈの色毎に補正処理を行うために、合計４ｃｈ分の映像信号補正回路１０２ａ〜１０２ｄが配設されている。各補正回路は、それぞれ独立して色毎の映像信号補正処理を実施する。映像信号補正部１０２において、色毎に映像信号補正処理が施された後、映像信号はクランプ処理部１０３に入力され、色毎にクランプ処理が実施される。

クランプ処理部１０３は、それぞれ独立に色毎クランプ処理を実施することを可能にするために、巡回型フィルタで構成された４ｃｈ分のＯＢクランプ部１０３ａ〜１０３ｄが配設されている。ＯＢ領域４０２（図４を参照）の画素信号は、クランプ処理部１０３に入力される。そして、クランプ処理部１０３は、有効画素領域４０４（図４を参照）の映像信号を同回路のセンサ出力映像信号の水平ラインごとに更新される出力値で減算する。

図２は、本発明に係るデジタル撮像装置の概略構成を示すブロック図である。図２において、２０１は被写体の光学像を結像するための光学レンズ、２０２はレンズを透過した光量を調整する絞り機構、２０３は被写体の像を電気信号に変換する撮像素子、２０４は映像信号を増幅する増幅器である。

２０５は撮像装置出力信号をデジタル変換するＡＤ変換部、２０６は映像信号補正部、２０７は信号の黒レベルを固定するためのクランプ処理部である。本実施形態のクランプ処理部２０７は、後述するように、デジタル変換された後の有効画素領域または光学的黒領域の撮像信号を、光学的黒領域の信号との差分をとることで黒レベルにクランプするクランプ処理する。２０８は現像処理やＷＢ処理などの映像信号に対する画像処理を施す映像信号処理部である。２０９は映像信号出力部であり、映像信号処理部２０８からの出力をビデオ信号などの形式で映像信号を外部へ出力する。

クランプ処理部２０７にはダイナミックレンジが存在し、ダイナミックレンジをオーバーした信号が入力された場合、適切なクランプ処理が行えない。たとえば、撮像素子２０３の温度が高く、暗電流及びショットノイズが大きい場合や、低照度被写体が撮影されており、増幅器２０４で映像信号が増幅された場合である。映像信号補正部２０６は、映像信号がクランプ処理部２０７のダイナミックレンジに収まるように、１画面周期で、ある値で画面全体を減算させる。この処理により、撮像装置は、映像信号をクランプ処理部２０７のダイナミックレンジ内に収め、適切なクランプ処理を実施するようにしている。

図３は、映像信号補正部２０６の詳細な構成を示す。積分器３０２は、撮像素子の特定の参照領域の参照領域信号３０１を入力して信号情報の積分値を求め、映像信号補正量３０３を出力する。次に、減算器３０４は、入力映像信号から映像信号補正量３０３を減算して補正映像信号３０５を生成し、補正映像信号３０５をクランプ処理部２０７へ出力する。

積分器３０２は、参照領域から入力された画素単位毎の映像信号の加算値を、参照領域画素総数で除算することで、映像信号補正量３０３を演算する機能を有している。１式に積分器３０２の内部で行われる演算処理を表す。
Ｏｆｆｓｅｔ＝ΣＧｉ／Ｎ・・・（１式）
（１式）において、Ｇｉは参照領域の映像信号毎の画素信号、Ｎは参照領域の全画素総数を示し、同演算式で映像信号補正量Offsetを演算する。

図４は、図３で示した、映像信号補正量３０３を演算するための参照領域信号の説明図である。映像信号補正量算出参照領域４０１は、センサ全構成画素領域４０３中の、センサフォトトランジスタが金属等で遮光された、オプティカルブラック領域（ＯＢ領域：光学的黒領域４０２）の一部である。映像信号補正部２０６は、ＯＢ領域４０２の映像信号を、映像信号補正量３０３を算出するために使用することで、撮影物に関わらず、最適なオフセット補正量を演算することができる。映像信号補正量算出参照領域４０１のサイズ（面積）は、センサ画素欠陥、暗電流及びショットノイズ等の影響を低減できるほど十分大きな領域サイズを確保する必要があり、且つ、演算量、演算回路規模を縮小するために、最低限の領域サイズにする必要がある。領域サイズは撮像装置システム、撮像装置の使用環境を想定して決定する必要がある。

以下に、一般的なクランプ処理と、本実施形態で行うクランプ処理との違いを詳細に説明する。
図９に、一般的に行われている映像信号補正処理の概念図を示す。この概念図は、映像信号補正量を４色の色を混合で実施した場合の例を示す図である。映像信号補正部９０１に配設されている映像信号補正量演算部９０２で４色の平均値Ａｖｅ９０３が算出され、各色信号は減算部９０５において一律で平均値Ａｖｅで減算される。よって、図９のように、センサの構造上等の理由や、温度等の理由で色毎の段差がある場合、ある色成分（例えば、Ｒ成分）９０４のみを減算しすぎた状態で映像信号がクランプ処理部９０６に入力される。

クランプ処理部９０６は巡回型フィルタで構成されており、クランプ量が大きすぎる場合、瞬時にクランプすることができずにクランプ残りが画面の一部に発生する。このクランプ残りの映像信号が、画面の上部のちらつきとして発生する。このような不都合を防止するために、巡回フィルタの時定数が短く設定されれば、同現象は低減されるが、短くしすぎると、ＯＢ領域のランダムノイズにクランプ処理部９０６が反応してしまい、正常なクランプ処理が行えない場合がある。

図５は、色毎に映像信号補正量を演算し、映像信号で減算を実施するようにした本実施形態で行うクランプ処理の概念を示す図である。
映像信号補正量演算部５０１は、色毎に補正量を演算する。そして、減算部５０２は、色毎に演算した補正量を、映像信号に対して色毎に減算するようにしている。これにより、減算後の映像信号は、図９で説明したように１色だけレベルが飛ぶという現象が起こらないようにすることができる。よって、クランプ処理部５０３は、時定数が多少大きい状態でも、画面全体をクランプレベルに高速に引き込むことができる。

本実施形態においては、前述のようにして、色毎にクランプ処理を行う。これにより、高温時のショットノイズで映像信号全体が白浮きした場合でも、撮像装置は、正常な映像信号の光学的黒レベル（ペデスタルレベル）を確実に確保し、映像が白浮きするなどの現象を防ぐことができる。

また、ＯＢ領域４０２の信号レベルが暗電流及びショットノイズ等の原因で同レンジをオーバーする場合でも、撮像装置は、高温時、高ゲイン時でもダイナミックレンジを超えることなく、クランプ処理を適切に行うことができる。

（第２の実施形態）
以下、本発明に係る第２の実施形態を説明する。
図６は、第２の実施形態の概要を示す構成図である。本実施形態においては、映像信号補正部２０６の前段に、参照領域の画素欠陥補正処理を実施する参照領域画素欠陥補正部６０１を設けている。図６において、参照領域画素欠陥補正部６０１以外の構成は、図２で説明した構成と同じブロックには、同一の符号を付して詳細な説明を省略する。

撮像素子２０３の温度が高く、暗電流及びショットノイズが大きい場合、低照度被写体を撮影しており、増幅器２０４で映像信号が増幅された場合などで参照領域の画素欠陥が増加する。画素欠陥の中には変動性の画素欠陥も存在し、その場合、映像信号補正部２０６での映像信号補正量演算結果が変動する場合があり、精度のよいクランプ処理ができない場合がある。本実施形態では、映像信号補正部２０６の前段に参照領域画素欠陥補正部６０１を設け、参照領域の画素欠陥補正処理を実施する。これにより、画素欠陥がない状態で、映像信号補正部２０６は映像信号補正量を演算することが可能となる。

（第３の実施形態）
以下、本発明に係る第３の実施形態を説明する。本実施形態の撮像装置の構成は、図２で説明した撮像装置と同様であるため、構成例を示すブロック図を省略する。
映像信号補正量を演算するためのＯＢ領域４０２は、撮像素子２０３の温度が高く、暗電流ショットノイズが大きい場合、低照度被写体を撮影しており、増幅器２０４で映像信号が増幅された場合などはより参照領域を広い領域を使用する必要がある。しかしながら、そうでない場合は、広い領域を取る必要がない。

そのため、図７に示すように、本実施形態においては、図３で説明した映像信号補正部２０６に領域面積算出回路７０１を設けている。領域面積算出回路７０１は、映像信号補正量の値に応じて最適な参照領域面積を算出する回路である。映像信号補正量の値が大きいほど、参照領域の変動性の画素欠陥やノイズ成分を平均化するために面積を大きくする。

また、図８に示すフローチャートのように、映像信号補正量のある値でスレッショルド（閾値Ｘ）を設け、参照領域面積を変更してもよい。
図８の例では、Ｓ８１で補正量の大きさを判断し、映像信号補正量が閾値Ｘ以上の場合は、Ｓ８２に進んで領域算出面積をＡにする。また、映像信号補正量が閾値Ｘより小さい場合は、Ｓ８３に進んで領域算出面積をＢにする。ＡとＢの関係は、２式に示す。
Ａ＞Ｂ・・・（２式）
（２式）から明らかなように、Ａの方がＢより大きい。

領域面積算出回路７０１で算出された領域面積情報は積分器３０２に入力され、同情報をもとに、領域内の信号のみ積分処理を実施する。前述した構成により、状況に応じて最適な積分処理を行うことが可能となり、不要な計算が削減され、省電力につながるメリットもある。

また、このような構成を採用することで、採用する映像処理装置の持つクランプ機能のダイナミックレンジより、撮像素子２０３が出力するＯＢ部の映像信号のダイナミックレンジが大きい場合でも、容易に接続することができるというメリットもある。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮像素子、１０２ 映像信号補正部、１０３ クランプ処理部、１０４ 映像信号処理部

Claims (9)

1. 有効画素領域と光学的黒領域とを有し、入力された光信号を電気信号へと変換して出力する撮像素子と、
   前記電気信号を映像信号に変換するＡＤ変換手段と、
   前記電気信号から変換された映像信号を黒レベルにクランプ処理するクランプ処理手段と、
   前記撮像素子の光学的黒領域の一部または全ての領域から出力された信号に基づいて、
   前記有効画素領域の映像信号の補正量を演算し、前記補正量に応じて、前記クランプ処理手段によって前記クランプ処理が実行される前の前記映像信号に対する補正処理を実行する信号補正手段とを有し、
   前記信号補正手段は、前記映像信号のそれぞれの色に対して独立して前記補正量を演算し、前記映像信号のそれぞれの色に対して独立して前記補正処理を実行することを特徴とする撮像装置。
2. 前記補正量は、前記光学的黒領域の一部または全ての領域から出力された信号の積分値であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子と前記信号補正手段の間に、画素欠陥の補正処理を実行する欠陥補正手段を設けたことを特徴とする請求項１に記載の撮像装置。
4. 前記補正量に応じて、前記補正量を演算するための領域の面積を算出する領域面積算出手段を有することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記信号補正手段は、前記クランプ処理手段によって前記クランプ処理が実行される前の前記映像信号から、前記補正量を演算することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記クランプ処理手段は、巡回型フィルタで構成されることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 有効画素領域と光学的黒領域とを有する撮像素子によって出力された電気信号を映像信号に変換するＡＤ変換工程と、
   前記電気信号から変換された映像信号を黒レベルにクランプ処理するクランプ処理工程と、
   前記撮像素子の光学的黒領域の一部または全ての領域から出力された信号に基づいて、前記有効画素領域の映像信号の補正量を演算する演算工程と、
   前記補正量に応じて、前記クランプ処理工程において前記クランプ処理が実行される前の前記映像信号に対する補正処理を実行する信号補正工程とを有し、
   前記信号補正工程では、前記映像信号のそれぞれの色に対して独立して前記補正量を演算し、前記映像信号のそれぞれの色に対して独立して前記補正処理を実行することを特徴とする撮像方法。
8. 有効画素領域と光学的黒領域とを有する撮像素子によって出力された電気信号を映像信号に変換するＡＤ変換工程と、
   前記電気信号から変換された映像信号を黒レベルにクランプ処理するクランプ処理工程と、
   前記撮像素子の光学的黒領域の一部または全ての領域から出力された信号に基づいて、前記有効画素領域の映像信号の補正量を演算する演算工程と、
   前記補正量に応じて、前記クランプ処理工程において前記クランプ処理が実行される前の前記映像信号に対する補正処理を実行する信号補正工程とをコンピュータに実行させ、
   前記信号補正工程では、前記映像信号のそれぞれの色に対して独立して前記補正量を演算し、前記映像信号のそれぞれの色に対して独立して前記補正処理を実行するようにコンピュータを実行させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images