JP6581412B2

JP6581412B2 - 撮像装置

Info

Publication number: JP6581412B2
Application number: JP2015141305A
Authority: JP
Inventors: 真吾磯部
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-07-15
Filing date: 2015-07-15
Publication date: 2019-09-25
Anticipated expiration: 2035-07-15
Also published as: US20170019609A1; US9900520B2; JP2017022683A

Description

本発明は撮像装置に関し、特に撮像装置のスミア現象の対策と撮像装置の高感度化を実現する撮像装置に関するものである。

従来から撮像装置には固体撮像素子が用いられ、固体撮像素子としてはＣＣＤセンサやＣＭＯＳセンサが広く用いられている。ＣＣＤセンサを使用した場合には、撮像素子における列方向（縦方向）に明るい筋状のノイズが入るスミア現象が知られている。ＣＣＤセンサにおけるスミア現象は、例えば画面内に高輝度被写体が存在する場合に、撮像素子の垂直転送中に露光することによって不要電荷が蓄積し、垂直転送路を転送されている信号電荷に混入することにより発生する。ＣＭＯＳセンサを使用した場合は、構造上ＣＣＤで問題となる高輝度被写体時の列方向のスミアは発生しないが、高輝度被写体が存在する領域の行方向（横方向）に横筋、横帯状のレベル変動が生じる横スミア現象が起こる場合がある。

ＣＭＯＳセンサにおけるスミア現象は、電源やＧＮＤ等の配線レイアウトに起因していると考えられている。画面内の特定部に高輝度被写体が結像すると、高輝度被写体領域に多くの電荷が生じる。このとき、画素部、垂直出力線、列アンプ部等の出力が大きく変動し、同一行内で共有している電源の変動が生じる場合がある。その結果、同一行にわたってレベル変動が生じる、すなわち横スミア現象が発生する。

特許文献１および特許文献２では、撮像素子の有効画素部の外の領域に設けられた遮光画素部の出力信号に基づき、有効画素部の出力信号を補正している。これらによれば、ＣＣＤセンサおよびＣＭＯＳセンサを用いた撮像装置で発生するスミア現象を低減できるとしている。

特許文献３では、センサ列回路に係わる電源線において、電源電圧に対する電源トランジスタが飽和領域で動作している際のゲート電圧をサンプリングして保持している。前記ゲート電圧をサンプリングされた電圧となるように制御することで、電源電圧の変動を抑制しており、この結果、スミア現象を抑制している。

特開２０１０−０９３３８９号公報特開２０１４−１６５６７６号公報特開２０１３−０８５１１０号公報

上述の従来技術において、昼間から夜間までの様々な撮影シーンに対応することが困難となる。例えば、特許文献１および２では、スミア現象を抑制する効果が得られるが補正し切れない場合があり、画質を劣化させる要因となっていた。

特許文献３では、電源の変動を抑えることで、スミア現象を抑制させることが可能であるが、本来撮像素子が持つ飽和電子数よりも低い電子数で飽和することとなる。すなわち、得られる撮像信号のダイナミックレンジを狭くしてしまう問題がある。

また、夜間の撮影では感度を上げるためにゲインを上げた場合、補正しきれなかったスミア成分が増幅され、更なる画質の低下を招く恐れがあり醜い撮影映像となってしまうため、あらかじめゲインに上限が設けられていることが一般的である。

そこで、本発明の目的は、固定撮像素子を備える撮像装置において、様々な撮影条件において、上述のスミア現象を低減しつつ、かつ低照度撮影環境においては広ダイナミックレンジ化と高感度撮影ができる撮像装置を提供することを目的とする。

本発明の撮像装置は、２次元的に配列された複数の画素で光電変換された光信号に基づき画像信号を出力する撮像装置であって、前記光信号に基づく前記画像信号の出力電圧を制限するクリップ手段と、前記光信号に適用するゲインの上限を設定するゲイン上限設定手段と、撮像された画像にスミアが発生する条件であるか否かを判定する判定手段と、前記判定手段によりスミアが発生する条件であると判定された場合は、前記クリップ手段により前記光信号の出力電圧を制限するとともに前記ゲイン上限設定手段によりゲインの上限を設定し、前記判定手段によりスミアが発生しない条件であると判定された場合は、前記クリップ手段による前記光信号の出力への制限を無効にするとともに前記ゲイン上限設定手段によるゲインの上限を無効とするように制御する制御手段と、を有することを特徴とする。

本発明によれば、低照度時の高輝度被写体の撮影においてスミア現象を低減しつつ、低照度撮影時におけるダイナミックレンジの拡大と感度の向上が可能な撮像装置を提供することができる。

実施例１における構成図実施例１におけるイメージセンサの構造図１実施例１におけるイメージセンサの構造図２実施例１における撮影イメージ実施例１におけるフローチャート実施例１におけるステップＳ１２０のサブルーチン実施例１におけるステップＳ１３０のサブルーチン実施例１におけるステップＳ１３１のサブルーチン実施例１におけるステップＳ１３２のサブルーチン実施例１におけるステップＳ１３４のサブルーチン実施例１におけるステップＳ１３６のサブルーチン実施例１におけるステップＳ１４０のサブルーチン実施例１におけるステップＳ１５０のサブルーチン実施例２におけるフローチャート実施例２におけるステップＳ２１０のサブルーチン実施例２におけるステップＳ２１１のサブルーチン

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる構成図である。

図１に本発明の第１の実施例の撮像装置の構成図を示す。撮像装置１００は、イメージセンサ（撮像素子）１０１を含む撮像系を有し、撮像制御部１０２およびＡＤＣ１０３によって撮像処理を行う。

レンズ２００は、撮像装置１００の外部に構成され、レンズ２００を通った光束は、撮像装置１００のイメージセンサ１０１に集光する。レンズ２００は、撮像装置１００に着脱可能に装着され、不図示の絞り機構、変倍レンズ群、フォーカスレンズ群などの要素から構成される。また、レンズ２００に構成される変倍レンズ群は、焦点距離が可変でも固定でも良い。

撮像制御部１０２は、イメージセンサ１０１の蓄積動作や読出動作の制御を行う。撮像制御部１０２は、イメージセンサ１０１とＡＤＣ１０３とを駆動するためのタイミングジェネレータを含む。イメージセンサ１０１を撮像制御すると、イメージセンサ１０１からは撮像信号が出力される。ＡＤＣ１０３は、イメージセンサ１０１の読み出し動作に同期して撮像信号をＡＤ変換する。また、撮像制御部１０２はフレーム同期信号や垂直同期信号、水平同期信号などの同期信号を生成して出力することに加え、後述のクリップ電圧Ｖｃｌｌｉｐ１およびクリップイネーブル信号ＥＮｃｌｉｐ１をイメージセンサ１０１に入力する。

撮像制御部１０２およびＡＤＣ１０３の後段には画像処理部１０４が構成されている。画像処理部１０４には、撮像制御部１０２で生成された前述の同期信号とともにＡＤＣ１０３でＡＤ変換された撮像信号が入力される。画像処理部１０４では、入力された撮像信号に対する公知の補正処理に加え、現像処理や露出制御、本発明におけるスミア領域の検出処理、デジタルゲイン処理などを行う。スミア領域の検出処理の詳細については後述するが、スミア領域の検出により、撮像制御部１０２を通じてイメージセンサ１０１へ与えるクリップ電圧Ｖｃｌｌｉｐ１およびクリップイネーブル信号ＥＮｃｌｉｐ１を制御する。

画像処理部１０４からの出力信号（画像信号）は出力部１０６を通じて撮像装置１００外部へと出力される。出力部１０６では、例えばＨＤＭＩ（登録商標）信号やＨＤ−ＳＤＩ信号などの映像信号に変換される。

パラメータ設定手段３００は、撮像装置１００の外部から撮像装置の各種パラメータを選択するための信号を入力する。例えば、パラメータ設定手段３００の例としてボタンやスイッチなどを使用する。また、ＣＣＵ（通信制御装置）やリモコンを用いてモードを設定しても良いし、外部モニタ上にＧＵＩを表示するなどしてモードを設定しても良い。また、ＰＣなどからモードを設定しても良い。

パラメータ設定手段３００からの入力信号はモード制御部１０５へと入力される。モード制御部１０５は、パラメータ設定手段３００で選択されたパラメータに応じて、撮像制御部１０２、画像処理部１０４、出力部１０６、レンズ制御部１０７などの動作を制御する。モード制御部１０５は、画像処理部１０４で検出されたスミア領域の有無、スミア量などに基づいて、画像処理部１０４で設定可能なデジタルゲインの制限や撮像制御部１０２へのクリップ電圧およびクリップイネーブル信号の指示などを行う。

レンズ制御部１０７は、不図示の通信手段を介してレンズ２００と通信し、モード制御部１０５からの指令を受けてレンズ２００の制御を行う。レンズ２００に構成される前述の絞り機構、変倍群、フォーカスレンズ群などの駆動制御を行う。例えば、前述の露出制御処理においては、レンズ制御部１０７によってレンズ２００の絞り機構を制御する。

図２にイメージセンサ１０１の構造図を示す。図２のＩｍｇは、２次元的に配列された複数の画素からなる撮像素子群を示している。図２中の１１から３３までは、撮像素子群Ｉｍｇに構成される画素配列の一部を示している。撮像素子群Ｉｍｇ中の各画素は、水平信号線Ｖ１、Ｖ２、Ｖ３…および垂直信号線Ｈ１、Ｈ２、Ｈ３…を通じて、垂直回路１０１１および水平回路１０１２に接続されている。各垂直信号線には、列アンプＡｍｐ１、Ａｍｐ２、Ａｍｐ３…が接続され、各画素で光電変換されて生成された撮像信号（光信号）を増幅する。各列アンプには、列アンプ選択線ＡｇａｉｎＳｅｌが接続されており、各列アンプ内に構成された倍率を回路的に選択することが可能である。選択可能な倍率の例として、１倍、２倍、４倍、８倍、１６倍などがあるが、構成される列アンプ回路の倍率はイメージセンサによって様々であるため、任意の倍率で良い。また、後述する列アンプＡｍｐの電源としてＶａｍｐが与えられている。Ｖａｍｐは各列アンプに共通して接続されている。

図２の垂直回路１０１１へは不図示のリセットパルスや選択行シフトなどの御線が接続されている。これらの制御線は、図１の撮像制御部１０２と接続されており、イメージセンサ１０１を駆動制御するための前述のタイミング信号が伝搬される。また、図２の水平回路１０１２へは、後述の転送パルスおよび読み出しパルスの２つの制御線が接続されている。これらの制御線は、上述の垂直回路１０１１で説明した制御線と同様に、図１の撮像制御部１０２に接続されている。

イメージセンサ１０１に構成される撮像素子をより詳細に表した図を図３に示す。イメージセンサ１０１の１つの画素は、光を電荷信号に変換して蓄積する光電変換部ＰＤである。リセットスイッチＲＥＳにはリセット電圧Ｖｒｅｓが接続されている。リセットスイッチＲＥＳをＯＮとすると回路内の図３中のＦＤで示す領域であるフローティングディフュージョン（以下、ＦＤと記載する）の電位はＶｒｅｓにリセットされる。なお、ＦＤは所定の容量を持ち、電荷信号を蓄積することができる。

図３においてリセットスイッチＲＥＳがＯＮからＯＦＦに切り替わると、ＦＤにはＮ信号としての電荷が保持されることとなる。図３に示す垂直信号線ＳＬは、図２で説明したＨ１、Ｈ２、Ｈ３に該当する。本発明におけるイメージセンサ１０１は、リセットスイッチＲＥＳによるリセット後、ＦＤのＮ信号としての電荷がＳＬに出力される。このとき、通常の被写体光がイメージセンサ１０１に入射している場合は撮像信号のノイズレベルとして得られる。

図３の転送スイッチＰＴをＯＮとすると、光電変換部ＰＤに蓄積された電荷信号がＦＤに転送される。ここで、リセットスイッチＲＥＳをＯＮからＯＦＦとしてから転送スイッチＰＴをＯＮとするまでが光電変換部ＰＤの蓄積時間となり、蓄積時間に応じて電荷信号が増減する。転送された電荷信号は、その後ＳＬに出力される。

図３のＳＬへ転送された電荷信号は、図２で説明したように列アンプＡｍｐにて増幅され、Ｖｏｕｔから電圧値として出力される。列アンプＡｍｐには列アンプ電圧Ｖａｍｐが電源として与えられる。また、列アンプには列アンプゲイン選択線ＡｇａｉｎＳｅｌが接続され増幅倍率を選択することができる。

通常の撮影すなわちイメージセンサ１０１に入光する光量が所定の範囲内である撮影では、列アンプＡｍｐで増幅される撮像信号は、列アンプ電圧Ｖａｍｐよりも十分低い電圧で出力される。しかしながら、光電変換部ＰＤに非常に高輝度の光が入射した場合、列アンプＡｍｐで増幅した信号の電圧レベルは、列アンプ電圧Ｖａｍｐとほぼ等しいレベルにまでなることがある。このため、高輝度時は列アンプＡｍｐへ流れ込む電流値（列アンプでの消費電流）が減少する。列アンプでの消費電流が減少すると、列アンプ電圧Ｖａｍｐは図２で説明したように各列アンプへ接続されているため、全ての列アンプＡｍｐ部の電圧が上昇する（低下が抑制される）。これによって、全ての列アンプＡｍｐ部の出力に変動が生じることとなる。この現象は、列アンプＡｍｐで列アンプ電圧Ｖａｍｐを共有しているので、行方向に影響が出るため、高輝度領域周辺の水平方向にオフセットあるいはゲイン性のレベル浮きが生じる。

図３の列アンプＡｍｐの出力段には、クリップ電圧Ｖｃｌｉｐ１とクリップイネーブル信号ＥＮｃｌｉｐ１が接続されている。クリップイネーブル信号ＥＮｃｌｉｐ１がＯＮである間は、列アンプＡｍｐから出力される電圧の上限値はＶｃｌｉｐ１に制限される。クリップ電圧Ｖｃｌｉｐ１をＶａｍｐよりも低い電圧とすることで、高輝度時においてもＶｏｕｔの出力電圧を一定値以下とできるため、列アンプ部の出力変動を抑えることができ、スミア現象を低減させることができる。

一方、図３のクリップ電圧Ｖｃｌｉｐ１を下げるほど、出力端子Ｖｏｕｔからの少ない光量で飽和することとなる。すなわち、ダイナミックレンジが狭くなってしまう。

本実施例では、上述のようにスミア現象を低減しつつ、スミア現象が発生しないような撮影シーンではダイナミックレンジを広くするような例について示す。

図４に示す撮影シーンを例に、高輝度光の被写体がある条件において、スミア現象を低減させる撮影モードとし、高輝度光の被写体がない条件においては、ダイナミックレンジを優先させる撮影モードに切り替える例について説明する。

図４（ａ）では、高輝度の被写体が撮影されているシーンを示しており、高輝度領域の水平方向にスミア現象が発生している様子を示している。本来であれば、図４（ｂ）で示すように、高輝度領域の水平方向の暗部はレベル浮きがない状態が望ましい。また、図４（ｃ）のように、画面中央部が飽和していない場合は、前述の露出制御によってデジタルゲインなどで露出補正しても良い。ただし、スミア成分が若干含まれている場合は、ゲインアップによって図４（ａ）で示すように、スミア成分が可視化してくる可能性もある。ゲインアップによってスミア現象が可視化する場合は、後述するようにゲインリミットを適用することによって現象が発生しないようにすることが望ましい。

以下、詳細について説明する。本実施例における撮像装置１００が実行する処理のフローチャートを図５に示す。撮像装置１００に電源が投入されると、図５のステップＳ１１０から順番に処理が実行される。

図５のステップＳ１１０では、図１のパラメータ設定手段３００からの設定により、モード制御部１０５によって撮影モードが設定される。設定されるパラメータは、シャッター、ゲイン、絞りなどの露出パラメータを含む設定値である。露出パラメータとして自動露出設定とし、シャッター、ゲイン、絞りなどが最適露出となるように自動制御しても良い。露出パラメータ以外のパラメータとして、出力部１０６から出力する映像フォーマットを含めても良い。映像フォーマットは、ＨＤであれば１０８０／６０ｐや６０ｉなどが挙げられるが、本発明では映像フォーマットには任意のモードで良い。モード制御部１０５は、設定されたパラメータに基づき、撮像制御部１０２、画像処理部１０４、出力部１０６、レンズ制御部１０７へ情報を渡す。例えば、前述のシャッター設定値は、撮像制御部１０２へと渡される。前述のゲイン設定値は、イメージセンサ１０１の列アンプＡｍｐ設定値あるいはデジタルゲイン設定値として、撮像制御部１０２あるいは画像処理部１０４へと渡される。出力フォーマット設定値は、出力部１０６へと渡される。絞り設定値は、レンズ制御部１０７へと渡される。

次に図５のステップＳ１２０へと進むと、通常撮影が行われる。ステップＳ１２０の撮影制御サブルーチンを図６に示す。

撮影制御サブルーチンのステップＳ１２１では蓄積前設定が行われる。ここでは、通常撮影における撮像処理の前処理として、図５のステップＳ１１０で設定されたパラメータ設定が反映される。撮像制御部１０２ではモード制御部１０５から渡されたシャッター設定値を設定する。また、レンズ制御部１０７ではモード制御部１０５から渡された絞り設定値を設定する。ここで、ステップＳ１２１で設定されるシャッター設定値については、出力部１０６により出力される映像フォーマットに応じて設定しても良いし、前述の自動露出制御により決定されたシャッター設定値を設定しても良い。絞り設定値についても同様である。

ステップＳ１２１が実行されるとステップＳ１２２へと進み蓄積処理が行われる。ステップＳ１２１によって設定されたシャッター設定値に従い、撮像制御部１０２によってイメージセンサ１０１の蓄積処理が行われる。シャッター設定値に従った蓄積時間分、イメージセンサ１０１が露光されると、ステップＳ１２３へと進む。

ステップＳ１２３では、撮像制御部１０２によって、イメージセンサ１０１に蓄積された撮像信号の読み出しが行われる。そして、ＡＤＣ１０３によってＡＤ変換された撮像信号が画像処理部１０４に入力される。このとき、イメージセンサ１０１の露光後における撮像信号は図３および図４で説明したように列アンプＡｍｐで増幅され、イメージセンサ１０１の外部に出力される。

次に、ステップＳ１２４では、図１の画像処理部１０４によって画像処理が行われる。例えば、公知のオプティカルブラックによる補正処理や傷補正処理などが行われる。また、ステップＳ１２３で読み出された撮像信号に対し、後述のステップＳ１４０で設定されたデジタルゲイン設定値に応じて、撮像信号が増幅される。

次に、ステップＳ１２５では、ステップＳ１２４で処理された画像が不図示のメモリに記憶される。なお、記憶される画像のイメージ図としては、前述の図４の（ａ）から（ｄ）のいずれかが該当する。

ステップＳ１２５が実行されると、図６に示したサブルーチンを終了し、ステップＳ１３０へと進む。ステップＳ１３０では、画像処理部１０４（判定手段）において、スミア条件の判定処理が行われる。ステップＳ１３０のスミア条件判定サブルーチンを図７に示す。

ステップＳ１３１では、画像処理部１０４（輝度検出手段）において、撮像された画像信号から高輝度エリアの検出処理が行われる。ステップＳ１３１のサブルーチンを図８に示す。

ステップＳ１３１１では、１行あたりの高輝度画素数を格納するための変数ｐｘを０に設定し、ライン参照カウンタ変数ｌｉｎｅＮｏを１に設定する。次のステップＳ１３１２からステップＳ１３１６では、全行数をサーチして高輝度の画素数が所定の画素数以上存在するか否かを判定することで、スミア領域の有無を判定している。

ステップＳ１３１２が真、すなわちｌｉｎｅＮｏが全行数以下の場合は、ステップＳ１３１３へと進む。

ステップＳ１３１３では、上述の変数ｌｉｎｅＮｏによって参照される行の高輝度画素数をカウントし、高輝度カウント数Ｔｅｍｐへ格納する。ここでは高輝度である画素数をカウントしていくために、例えば飽和レベルの９０％を閾値とし、閾値以上の輝度値をカウントしていく。この閾値は任意の値で良い。スミアが発生し始めるレベルをあらかじめ実験などで測定しておき、測定した値に基づいて閾値をプログラムなどに埋め込むなどして設定しても良い。ステップＳ１３１３が実行されると、次にステップＳ１３１４へと進む。

ステップＳ１３１４では、ステップＳ１３１３で算出されたｌｉｎｅＮｏ行の高輝度カウント数Ｔｅｍｐを変数ｐｘと比較する。変数ｐｘとは、高輝度カウント数の最大値を格納するための変数である。高輝度カウント数Ｔｅｍｐが変数ｐｘよりも大きい場合すなわち真である場合は、ステップＳ１３１５へと進む。ステップＳ１３１４にて、高輝度カウント数Ｔｅｍｐが変数ｐｘ以下である場合すなわち偽である場合は、ステップＳ１３１６へと進む。

ステップＳ１３１５では、高輝度カウント数Ｔｅｍｐの値を変数ｐｘへ代入することで、高輝度カウント数の最大値を更新する。ステップＳ１３１５が実行されるとステップＳ１３１６へと進む。ステップＳ１３１６では、変数ｌｉｎｅＮｏをインクリメントすることで、現在参照中の行を１行分進める。ステップＳ１３１６が実行されると、ステップＳ１３１２へと戻る。

ステップＳ１３１２からステップＳ１３１６を実行する過程で、変数ｐｘにはその時の高輝度カウント数の最大値が更新されていく。前述の通り、全行分の高輝度画素数を算出し、１行あたりの高輝度画素数の最大値が求まると、ステップＳ１３１２において偽判定となり、図８のサブルーチンを終了する。

ステップＳ１３２では高輝度判定処理が行われる。ステップＳ１３２のサブルーチンを図９に示す。ステップＳ１３２１では、図８で説明した変数ｐｘが閾値αよりも大きいか否かを判定する。閾値αは任意の値で良い。ここでは、変数ｐｘすなわち１行あたりの高輝度画素数が最も多かった行の高輝度画素数が閾値αよりも大きい、すなわち真であれば、ステップＳ１３２２へと進む。ステップＳ１３２１が偽である場合は、ステップＳ１３２３へと進む。ステップＳ１３２２では図９のサブルーチンの戻り値を真としている。ステップＳ１３２３では偽としている。ステップＳ１３２が実行されるとステップＳ１３３へと進む。

ステップＳ１３３では、高輝度判定処理で設定されたフラグＳｆｌａｇ１の真偽（高輝度エリアが検出されたか否か）を判断し、真（高輝度エリア有り）の場合はステップＳ１３４へ、偽（高輝度エリア無し）の場合はステップＳ１３９へ進む。

ステップＳ１３４では、列アンプ判定処理が行われる。ステップＳ１３４のサブルーチンを図１０に示す。ステップＳ１３４１では、現在設定されているイメージセンサ１０１の列アンプゲインＡｇａｉｎが閾値βより大きいか否かを判定する。ステップＳ１３４１が真すなわち、列アンプゲインＡｇｅｉｎがβよりも大きい場合はステップＳ１３４２へと進む。ステップＳ１３４１が偽すなわち、列アンプゲインＡｇａｉｎがβ以下の場合はステップＳ１３４３へと進む。ステップＳ１３４２では、図１０のサブルーチンの戻り値を真としており、ステップＳ１３４３では、図１０のサブルーチンの戻り値を偽としている。なお、閾値βは任意の値で良い。図１０のサブルーチンが終了すると、ステップＳ１３５へと進む。

ステップＳ１３５では、列アンプ判定処理で設定されたフラグＳｆｌａｇ２の真偽（列アンプゲインの所定の閾値に対する大小）を判断し、真（列アンプゲイン大）の場合はステップＳ１３８へ、偽（列アンプゲイン小）の場合はステップＳ１３６へ進む。

一方、ステップＳ１３６では絞り判定処理が行われる。ステップＳ１３６のサブルーチンを図１１に示す。ステップＳ１３６１では、不図示の通信手段を介してレンズ２００から取得した絞り値すなわちＦｎｏが閾値γよりも小さいか否かを判定する。ステップＳ１３６１が真すなわち、レンズ２００のＦｎｏが閾値γよりも小さい場合はステップＳ１３６２へと進む。ステップＳ１３６１が偽すなわち、レンズ２００のＦｎｏが閾値γよりも大きい場合はステップＳ１３６３へと進む。図１１のサブルーチンが終了すると、ステップＳ１３７に進む。

ステップＳ１３７では、絞り判定処理で設定されたフラグＳｆｌａｇ３の真偽（絞り値すなわちＦｎｏの所定の閾値に対する大小）を判断し、真（Ｆｎｏ＜γ）の場合はステップＳ１３８へ、偽（Ｆｎｏ≧γ）の場合はステップＳ１３９へ進む。

ステップＳ１３８では、スミア条件の判定結果を格納するための変数Ｓｆｌａｇに真（スミアが発生し得る条件）を設定して、スミア条件判定サブルーチンを終了する。

ステップＳ１３９では、スミア条件の判定結果を格納するための変数Ｓｆｌａｇに偽（スミアが発生しない条件）を設定して、スミア条件判定サブルーチンを終了する。

図５のフローチャートの説明に戻る。ステップＳ１４０では、撮像制御部１０２（ゲイン上限設定手段）において、ゲインの上限値を更新する。ステップＳ１４０のサブルーチンを図１２に示す。ステップＳ１４１では、ステップＳ１３０で設定されたＳｆｌａｇを参照する。Ｓｆｌａｇが真である場合すなわちスミア条件である場合は、ステップＳ１４２へと進む。一方で、ステップＳ１４１が偽すなわちスミア条件とならない場合は、ステップＳ１４３へと進む。ステップＳ１４２では、変数ＤｇａｉｎＬｉｍｉｔにＬｉｍｉｔＡを設定する。ステップＳ１４３では、変数ＤｇａｉｎＬｉｍｉｔにＬｉｍｉｔＢを設定する。ステップＳ１４２あるいはステップＳ１４３を実行すると、図１２のサブルーチンを終了する。

なお、図１２の変数ＤｇａｉｎＬｉｍｉｔは設定可能なゲインの上限値である。なお、ＬｉｍｉｔＡは、ＬｉｍｉｔＢよりも小さな値となる。スミア条件である場合は、スミアが発生する可能性があると判断できるため、ゲインの上限値（小）であるＬｉｍｉｔＡを設定することで、スミアが発生しない範囲で各種パラメータの運用を行う。一方で、スミア条件ではない場合は、ゲインを上げてもスミア発生の可能性が低いと判断できるため、ＬｉｍｉｔＡよりも高いゲインの上限値（大）であるＬｉｍｉｔＢにゲイン上限値を設けることで、より感度を上げた撮影が可能となる。

図１２のサブルーチンを終了すると、図５のステップＳ１５０へと進む。ステップＳ１５０のサブルーチンを図１３に示す。ステップＳ１５１では、ステップＳ１４１と同様にＳｆｌａｇの判定を行う。Ｓｆｌａｇが真である場合はステップＳ１５２へと進む。ステップＳ１５２では、前述のＶｃｌｉｐ１の設定を有効化する。Ｖｃｌｉｐ１の設定が有効化されると、図３で示したＥＮｃｌｉｐ１もＯＮとなる。ステップＳ１５１が偽である場合は、ステップＳ１５３へと進む。ステップＳ１５３では、ステップＳ１５２とは対照的にＶｃｌｉｐ１の設定を無効化する。すなわち、図３で示したＥＮｃｌｉｐ１がＯＦＦとなる。スミア発生条件ではない被写体の場合は、前述の列アンプが飽和する可能性が低いと考えられる。特に、低照度でかつ高輝度の被写体が無い場合は、デジタルゲインを上げてもスミアが発生する可能性は低いと考えることができる。ステップＳ１５２あるいはステップＳ１５３が終了すると、図１３のサブルーチンを終了し、図５のステップＳ１６０へと進む。

図５のステップＳ１６０では、図１の出力部１０６から画像が出力される。ステップＳ１６０が実行されると、再びステップＳ１１０から処理を実行する。

このように、本実施例では、入力されたモードに基づき撮影を行い、スミア条件であるかを判定することによって、撮影シーンに応じたクリップ電圧を制御することができ、かつゲインに上限を設定することが可能となる。

本実施例で説明した撮影シーンの一例として、夜間撮影が挙げられる。夜間撮影では感度を上げるためゲインを上げて撮影することが多いと考えられるが、従来のようにスミアを対策するための撮影制御を行っていては、高感度撮影したい場合でもゲインに上限がかかり、上限値以上に感度を上げることができない。本実施例で述べたようなゲイン上限値の解除を行うことによって、夜間ではより感度を向上させることができる。さらには、Ｖｃｌｉｐを無効化することによって、従来は抑制されていた飽和レベルを解除することとなるため、よりダイナミックレンジの広い撮影が可能となる。

実施例１では、撮影により得られた１フレームの画像からスミア領域の検出を行い、スミア条件である場合は、クリップ電圧の設定を有効とし、かつゲインに上限を設けることでスミア発生を抑えた。また、スミア条件ではない場合は、よりダイナミックレンジを広げて高感度撮影が可能となるように、クリップ電圧の設定を無効とし、ゲインの上限を上げる例について示した。

本実施例では、１フレームの画像の中でも特にスミア発生のある行とない行を識別し、クリップ電圧の制御有無を行ごとに切り替える例について示す。スミア領域ではない行については、クリップ電圧を無効とすることで、より暗部のダイナミックレンジが拡張される。

本実施例における撮像装置の構成は実施例１と同様であるため、説明を割愛する。本実施例において撮像装置１００が実行する処理のフローチャートを図１４に示す。撮像装置１００に電源が投入されると、図１４のステップＳ１１０から順番に処理が実行される。

ステップＳ１１０では、実施例１と同様に図１のパラメータ設定手段３００からの設定により撮影モードが設定される。ステップＳ１１０が実行された後、ステップＳ２１０へと進む。

ステップＳ２１０では、撮影制御が行われる。ステップＳ２１０のサブルーチンを図１５に示す。ステップＳ１２１およびステップＳ１２２では、図６のステップＳ１２１およびステップＳ１２２と同様に蓄積前設定処理および蓄積処理を行う。ステップＳ１２２が実行されたあとはステップＳ２１１へと進み、読み出し処理を行う。

図１５のステップＳ２１１の読み出し処理サブルーチンを図１６に示す。まず、ステップＳ２１１１では、配列Ｓｌｉｎｅを初期化し、実施例１同様に変数ｌｉｎｅＮｏを１に初期化する。配列Ｓｌｉｎｅとは、行ごとにスミアが発生していることを示すフラグを格納する変数配列であり、行単位で判断されるため配列Ｓｌｉｎｅの要素数はイメージセンサの全行数と等しい。ステップＳ２１１１が実行されると、ステップＳ２１１２へと進む。

ステップＳ２１１２では、変数ｌｉｎｅＮｏが全行数以下であるか否かを判定する。ステップＳ２１１２が真すなわち変数ｌｉｎｅＮｏが全行数以下である場合は、ステップＳ２１１３へと進み、偽すなわち変数ｌｉｎｅＮｏが全行数よりも大きい場合は、図１６の読み出し処理サブルーチンを終了する。

ステップＳ２１１３では、変数ｌｉｎｅＮｏが参照する行の撮像信号を読み出すが、ここでは不図示のイメージセンサＯＢ領域（オプティカルブラック領域）の撮像信号を読み出す。ＯＢ領域については公知であるため、説明を省略する。ステップＳ２１１３が実行された後はステップＳ２１１４へと進む。

ステップＳ２１１４では、ステップＳ２１１３で読み出したＯＢ領域のレベル（輝度情報）が異常であるか正常であるかを判定する。ステップＳ２１１３が真すなわちＯＢ領域のレベルが異常である場合はステップＳ２１１５へと進み、偽すなわちＯＢ領域のレベルが正常である場合はステップＳ２１１７へと進む。

イメージセンサ１０１のＯＢ領域は通常遮光された領域のため、ある一定値以下の値となるのが正常である。一方、同一行内でスミアが発生している場合は、前述の通りＯＢ領域の読み出し時にも撮像信号レベルが所定の値以上の値となる。つまり、ステップＳ２１１４が真である場合は、同一行内でスミアが発生していると判断することができる。

図１６の説明に戻る。ステップＳ２１１５では、配列ＳｌｉｎｅのｌｉｎｅＮｏが示すインデックスの格納場所へ、スミアが発生していることを示すｔｒｕｅを代入する。ステップＳ２１１５が実行されるとステップＳ２１１６へと進む。ステップＳ２１１６では、クリップ電圧Ｖｃｌｉｐ１を有効にするためにＥＮｃｌｉｐ１を有効化する。Ｖｃｌｉｐ１が有効となることで、スミア現象を低減させることができる。

ステップＳ２１１７では、配列ＳｌｉｎｅのｌｉｎｅＮｏが示すインデックスの格納場所へ、スミアが発生していないことを示すｆａｌｓｅを代入する。ステップＳ２１１７が実行されると、ステップＳ２１１８へと進む。ステップＳ２１１８では、ステップＳ２１１６とは対照的に、ＥＮｃｌｉｐ１を無効化する。スミアが発生していないと判断できる行では、クリップ電圧Ｖｃｌｉｐ１を無効とすることで、撮像信号のダイナミックレンジを広げることができる。

ステップＳ２１１６およびステップＳ２１１８が実行されると、ステップＳ２１１９へと進む。ステップＳ２１１９では、変数ｌｉｎｅＮｏが参照する行の撮像信号を読み出す。ステップＳ２１１３ではＯＢ領域のみを読み出すが、ステップＳ２１１９では残りの有効画素を含む領域を読み出す。

ステップＳ２１１９が実行されると、ステップＳ２１２０へと進む。ステップＳ２１２０では、変数ｌｉｎｅＮｏをインクリメントし、ステップＳ２１１１へと戻る。以降、変数ｌｉｎｅＮｏが全行数を超えるまで、すなわちイメージセンサの全行の読み出し処理を行う。

図１６の読み出し処理サブルーチンが実行されると、図１５のステップＳ１２４へ進む。ステップＳ１２４およびステップＳ１２５は、実施例１と同様に画像処理が行われ、画像が不図示のメモリに保持される。図１５のステップＳ１２５が実行されると、図１５のサブルーチンを終了し、図１４のステップＳ１３０へと進む。

図１４のステップＳ１３０からステップＳ１６０までは実施例１と同様の処理が行われるため、説明を割愛する。

このように実施例２では、イメージセンサ１０１の読み出し処理において、行単位でＯＢ領域の異常を検知することにより、該当の行でスミアが発生しているか否かを検出している。そして、読み出し対象行にスミアが存在していると判断されれば、クリップ電圧によるスミア低減のための対策を行単位で実施することが可能となる。すなわち、スミアが存在する行と存在しない行を区別し、スミアが発生している行のみ対策を実施し、スミアが存在していない行はダイナミックレンジを確保することが可能となる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。また、本稿で述べた実施例を組み合わせて実施しても良い。

例えば、実施例１では、図７のステップＳ１３２にて高輝度エリア検出を行ったが、実施例２の図１５のステップＳ２１１で示したように、高輝度エリア検出をイメージセンサ１０１からの信号読み出し時に高輝度エリア検出を行っても良い。

また、本発明では図１の出力部１０６の出力フォーマットはＨＤ−ＳＤＩやＨＤＭＩ（登録商標）に限定せず、様々な出力フォーマットを用いても本発明を適用させることができる。ＡＤＣ１０３の内部にタイミングジェネレータを構成したＡＦＥと呼ばれるものがあるが、ＡＤＣ１０３の変わりにＡＦＥで構成しても良い。

１００撮像装置
１０１イメージセンサ（撮像素子、クリップ手段）
１０２撮像制御部（制御手段、ゲイン上限設定手段）
１０４画像処理部（判定手段）

Claims

２次元的に配列された複数の画素を備える撮像素子によって光電変換された光信号に基づき画像信号を出力する撮像装置であって、
前記光信号に基づく前記画像信号の出力電圧を制限するクリップ手段と、
前記光信号に適用するゲインの上限を設定するゲイン上限設定手段と、
撮像された画像にスミアが発生する条件であるか否かを判定する判定手段と、
前記判定手段によりスミアが発生する条件であると判定された場合は、前記クリップ手段により前記光信号の出力電圧を制限するとともに前記ゲイン上限設定手段によりゲインの上限を設定し、前記判定手段によりスミアが発生しない条件であると判定された場合は、前記クリップ手段による前記光信号の出力への制限を無効にするとともに前記ゲイン上限設定手段によるゲインの上限を無効とするように制御する制御手段と、
を有することを特徴とする撮像装置。
前記光信号に基づき前記複数の画素それぞれの輝度を検出する輝度検出手段を有し、
前記判定手段は、前記輝度検出手段により検出された輝度に基づき、スミアが発生する条件を判定する、
ことを特徴とする請求項１に記載の撮像装置。
前記判定手段は、設定されている前記光信号に適用するゲインに基づき、スミアが発生する条件を判定すること、を特徴とする請求項１又は２に記載の撮像装置。
前記撮像装置に着脱可能で絞り機構を有するレンズ装置との通信手段を有し、
前記判定手段は、前記通信手段から取得した前記レンズ装置の絞り値に基づき、スミアが発生する条件を判定する、
ことを特徴とする請求項１又は２に記載の撮像装置。
前記判定手段は、前記輝度検出手段によって検出された前記光信号の１行あたりの高輝度の画素数に基づき、スミアが発生する条件を判定することを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記判定手段によりスミアの発生する条件を満たす行として判定された行から光信号の読み出す時に、前記クリップ手段による前記光信号の出力電圧への制限を有効とする、ことを特徴とする請求項５に記載の撮像装置。
前記輝度検出手段は、前記撮像素子のうちオプティカルブラック領域からの輝度情報を検出し、
前記判定手段は、前記オプティカルブラック領域の輝度情報に基づき、スミアが発生する条件か否かを判定する、
ことを特徴とする請求項５又は６に記載の撮像装置。