JP6624580B2 - 撮像装置及びカメラ - Google Patents

Description

画像を撮像する撮像装置及びカメラに関する。

従来、イメージセンサを用いて画像を撮像する撮像装置が知られている（例えば、特許文献１参照）。

特許文献２には、グローバルシャッタ駆動が可能なＭＯＳ型イメージセンサとして、フォトダイオードで発生した電荷を不揮発性メモリトランジスタに書き込む構成が開示されており、データを非破壊で読み出すことが可能なイメージセンサが開示されている。

非破壊読み出し可能なイメージセンサとしては、フローティングゲートアンプ（ＦＧＡ）をＣＣＤイメージセンサに応用した例がある。同様に、ＣＭＯＳイメージセンサに応用した例が、特許文献３に記載されている。

特許文献４には、非破壊読み出しが可能な有機ＣＭＯＳイメージセンサが開示されている。

特開２００８−０４２１８０号公報 特開２００２−２８０５３７号公報 特開２００４−０１５２９１号公報 国際公開第２０１５／０４５８２８号

一般的な撮像装置において、低照度環境下での撮影では十分な光量が得られないため、電気的に信号を増幅（以下、ゲインアップ）する必要がある。

この増幅の際にはアナログ回路によるゲインアップ（以下、アナログゲインの乗算）が望ましいが、アナログ回路ゲインが最大値に達してもなおゲインが不足する場合には、デジタル回路によるゲインアップ（以下、デジタルゲインの乗算）が必要になる。しかし、デジタルゲインの乗算は映像信号のビット精度の劣化と、これに伴う量子化ノイズの増大を招くため、必要以上にノイズが発生するという課題が生じる。

そこで、本開示は乗算するデジタルゲイン値を極力小さく抑え、従来よりもノイズの発生を抑圧し得る撮像装置及びカメラを提供することを目的とする。

本開示の一態様に係る撮像装置は、画像信号を非破壊で出力可能な撮像素子と、撮像素子により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、画像処理部を制御するコントローラと、を備え、画像処理部は、コントローラの制御により、一回の露光期間内に撮像素子から画像信号を複数回読み出し、一回の露光期間における最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算して画像データを生成する。

本開示の一態様に係るカメラは、上記撮像装置と、撮像素子に外部の光を集光する少なくとも一つの光学素子を有する光学系とを備える。

上記本開示に係る撮像装置及びカメラによると、従来よりもノイズを抑制した画像を撮像することができる。

図１は、実施の形態に係るカメラの構成を示すブロック図である。 図２は、実施の形態に係る画像信号の読み出しタイミングを示す説明図である。 図３は、変形例１に係る画像信号の読み出しタイミングを示す説明図である。 図４は、変形例２に係る画像信号の読み出しタイミングを示す説明図である。 図５は、動く被写体の一例として、全面グレーの背景の前を移動する白い矩形の被写体を示す模式図である。 図６は、実施の形態２に係る画像信号の読み出しタイミングを示す説明図である。 図７は、実施の形態２に係る時刻０〜時刻０．５Ｔまでの期間の撮像結果を示す説明図である。 図８は、実施の形態２に係る時刻０〜時刻Ｔまでの期間の撮像結果を示す説明図である。 図９は、実施の形態２に係る信号Ａと信号Ｂとを加算した場合の結果を示す説明図である。 図１０は、実施の形態２に係る信号Ｂから信号Ａを減算して得られた信号Ｃを示す説明図である。 図１１は、実施の形態２に係る信号Ａから信号Ｃを減算して得られた信号Ｄを示す説明図である。 図１２は、実施の形態２に係る信号Ｄに０．５倍のゲインを乗算し、信号（Ａ＋Ｂ）から減算した減算結果を示す説明図である。 図１３は、暗部での閃光撮影時における画像信号の読み出しタイミングを示す説明図である。

本開示の一態様に係る撮像装置は、画像信号を非破壊で出力可能な撮像素子と、撮像素子により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、画像処理部を制御するコントローラと、を備え、画像処理部は、コントローラの制御により、一回の露光期間内に撮像素子から画像信号を複数回読み出し、一回の露光期間における最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算して画像データを生成する。

これによれば、一回の露光期間内に読み出された複数の画像信号を加算した加算信号に対して目標ゲイン値が乗算されているので、一つの画像信号に対して目標ゲイン値を乗算した場合と比べても、ビット精度劣化を抑えることができる。ビット精度の劣化が大きいと画像にノイズが発生しやすくなるが、このビット精度劣化が抑えられることで、ノイズを抑制した画像を撮像することができる。

また、本開示の一態様に係るカメラは、上記撮像装置と、撮像素子に外部の光を集光するレンズとを備える。

これによれば、上記した撮像装置と同等の効果を発揮できるカメラを提供することが可能である。

以下、実施の形態について詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態１）
以下、実施の形態１における撮像装置の構成及び動作について説明する。

［１．構成］
図１は、実施の形態１に係るカメラ１００の構成を示すブロック図である。

カメラ１００は、光学系１１０と、レンズ駆動部１２０と、撮像装置１とを備えている。

光学系１１０は、撮像装置１の撮像素子１０に外部の光を集光する１以上のレンズから構成されている。具体的には、光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ａに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸１１０Ａに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ａに垂直な面内で移動可能である。カメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、カメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸１１０Ａ上に位置する開口部１１４Ａを有し、使用者の設定に応じて若しくは自動で開口部１１４Ａの大きさを調整し、透過する光の量を調整する。

レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、補正レンズ１１２を駆動する手ブレ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。そして、レンズ駆動部１２０は、上記のズームアクチュエータや、フォーカスアクチュエータや、手ブレ補正アクチュエータや、絞りアクチュエータを制御する。

撮像装置１は、撮像素子１０と、Ａ／Ｄコンバータ１５０と、処理部３００と、と、カードスロット１９０と、内部メモリ２４０と、操作部材２１０と、表示モニタ２２０とを備えている。

撮像素子１０は、例えば、有機ＭＯＳイメージセンサなどの、画像信号を非破壊で出力可能な撮像素子である。撮像素子１０は、光学系１１０で形成された被写体像を撮像してアナログ信号であるアナログ画像信号を生成する。撮像素子１０は、露光、転送、電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、撮像素子１０で生成されたアナログ画像信号に対してアナログゲインアップを行い、デジタル信号であるデジタル画像信号に変換する。

処理部３００は、撮像素子１０で生成された画像信号に対する処理と、カメラ１００全体に対する制御処理とを実行する。具体的には、処理部３００は、画像処理部１６０と制御部２０とメモリ１７０とを備えている。

画像処理部１６０は、撮像素子１０で生成された画像信号に対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、撮像素子１０で生成された画像信号に対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理や、後述する目標レベルと目標ゲイン値に応じたデジタルゲインアップを行う。また、画像処理部１６０は、撮像素子１０で生成された画像信号を、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。

制御部２０は、カメラ１００全体を制御するコントローラである。つまり、制御部２０は、画像処理部１６０を制御するコントローラである。制御部２０は半導体素子などで実現できる。制御部２０はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２０は、マイコンなどで実現できる。なお、制御部２０を、画像処理部１６０として機能させることも可能である。

メモリ１７０は、画像処理部１６０及び制御部２０のワークメモリとして機能する。メモリ１７０は、例えば、ＤＲＡＭ、ＳＲＡＭ、強誘電体メモリなどで実現できる。メモリ１７０は、処理部３００の外部に電気的に接続されるものでも良い。

カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、カメラ１００全体を制御するための制御プログラム等を記憶する。

操作部材２１０は使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。

表示モニタ２２０は、撮像素子１０で生成された画像信号に基づく画像データや、メモリカード２００から読み出された画像データが示す画像データを表示できる画面２２０Ａを有する。また、表示モニタ２２０は、カメラ１００の各種設定を行うための各種メニュー画面等も画面２２０Ａに表示できる。表示モニタ２２０の画面２２０Ａ上にはタッチパネル２２０Ｂが配置されている。タッチパネル２２０Ｂはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル２２０Ｂに対するタッチ操作が示す指示は制御部２０に通知され各種処理が行われる。

［２．動作］
以上のような構成を有するデジタルカメラ１００の動作を説明する。撮像素子１０は、非破壊出力機能を有する。非破壊出力機能とは、露光期間内に画像信号を非破壊で出力可能な機能である。以下、撮像素子１０の非破壊出力機能を用いたデジタルカメラ１００の動作について説明する。

画像処理部１６０は、制御部２０の制御により、撮像素子１０における一回の露光期間内に、画像信号を複数回読み出す。具体的には、画像処理部１６０は、撮像素子１０の読み出しタイミングを制御することで、一回の露光期間内に複数回画像信号が読み出されるようにする。

図２は、実施の形態１に係る画像信号の読み出しタイミングを示す説明図である。ここでは、一度の露光期間Ｌ内に画像信号を二回読み出す場合を示す。露光期間Ｌとしては、例えば１／６０秒である。本実施の形態では、説明を簡略化するため撮像素子１０の受光量が露光期間Ｌ内において一定（変化しない）被写体光を受光するものとして説明する。図２に示すように、画像処理部１６０は、一回の露光期間Ｌ内において撮像素子１０から、二回画像信号を読み出す。読み出しタイミングは、露光期間Ｌの時点（時刻Ｔ）と、当該露光期間Ｌを均等に二分割し、その分割点（時刻０．５Ｔ）としている。このとき、撮像素子１０における各画素の蓄積電荷は、時間に比例して増加しているので、二回目に読み出された画像信号の信号レベルをＳとすると、一回目に読み出された画像信号の信号レベルは、０．５Ｓとなる。一方、画像信号のビット長は、一回目、二回目ともに同じ値（ｎ）である。

画像処理部１６０は、撮像素子１０から取得した一回の露光期間Ｌ内における二回分の画像信号を、各回毎にメモリ１７０に一時的に記憶する。その後、画像処理部１６０は、二回目に読み出した信号レベルより算出される目標レベルと、二回読み出したそれぞれの画像信号を加算した加算信号とから、目標ゲイン値を算出する。画像処理部１６０は、加算信号に対して目標ゲイン値を乗算して画像データを生成する。この処理はノイズ抑制処理であり、生成された画像データからはノイズが低減されている。

ここで、目標レベルとは、最終的に表現したい画像データの信号レベルであり、目標ゲイン値は、目標レベルと、二回読み出したそれぞれの画像信号を加算した加算信号の信号レベルとの比により、求められる。

目標レベルの決め方の一例としては、反射率約９０％の白い被写体を撮像した場合のカメラ１００の出力輝度信号振幅が８ビットで２１９となるように、デジタルゲイン乗算後のｎビット信号の目標レベルを２１９×２^ｎ−８に定めるという方法がある。

ここで、目標レベルを２倍とした場合を例にして、デジタルゲインの乗算により画像信号の加算の有無でビット精度がどのように変化するか説明する。まず、一回の露光期間Ｌで画像信号を一度だけ読み出し、２倍のアナログゲインを乗算した場合に対して、２倍のデジタルゲインを乗算した場合のビット精度劣化は、式（１）で求められる。

ｌｏｇ_２（２^ｎ＋１）−ｌｏｇ_２（２^ｎ）＝（ｎ＋１）−ｎ＝１・・・（１）

ここで、ｌｏｇ_２（２^ｎ＋１）は、２倍のアナログゲインを乗算した場合のビット精度を示し、ｌｏｇ_２（２^ｎ）は２倍のデジタルゲイン乗算後のビット精度を示している（デジタルゲイン乗算前のビット精度と変わらない）。式（１）に示すように、この場合においてはビット精度劣化が１ｂｉｔとなる。

次に、図２に示すように、一回の露光期間Ｌで同じ露光開始時刻で露光時間の異なる画像信号を二回読み出した場合のビット精度劣化は、式（２）で求められる。

ｌｏｇ_２（２^ｎ＋１）−ｌｏｇ_２（１．５×２^ｎ）＝（ｎ＋１）−（ｎ＋０．５８）＝０．４２・・・（２）

ここで、二回目に読み出された画像信号の信号レベルをＳとすると、一回目に読み出された画像信号の信号レベルは、０．５Ｓであるので、加算信号の信号レベルは、１．５Ｓとなる。このため、式（２）においてｌｏｇ_２（２^ｎ＋１）は、２倍のアナログゲインを乗算した場合のビット精度を示し、ｌｏｇ_２（１．５×２^ｎ）が２÷１．５＝４／３倍のデジタルゲイン乗算後のビット精度を示している。式（２）に示すように、この場合においてはビット精度劣化が０．４２ｂｉｔとなる。ビット精度劣化は、小さいほど画像に発生するノイズが低減されることが知られている。このため、一度の露光期間Ｌ内に複数回画像信号を読み出して加算した方が、ノイズが低減されることとなる。

［３．効果等］
上述したように、上記実施の形態１に係る撮像装置１によれば、画像信号を非破壊で出力可能な撮像素子１０と、撮像素子１０により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部１６０と、画像処理部１６０を制御する制御部２０（コントローラ）と、を備え、画像処理部１６０は、制御部２０の制御により、一回の露光期間内に撮像素子１０から画像信号を複数回読み出し、一回の露光期間Ｌにおける最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算して画像データを生成する。

これによれば、一回の露光期間Ｌ内に読み出された複数の画像信号を加算した加算信号に対して目標ゲイン値が乗算されているので、一つの画像信号に対して目標ゲイン値を乗算した場合と比べても、ビット精度劣化を抑えることができる。ビット精度の劣化が大きいと画像にノイズが発生しやすくなるが、このビット精度劣化が抑えられることで、ノイズを抑制した画像を撮像することができる。

また、画像処理部１６０は、一回の露光期間Ｌを均等となるように分割したタイミングで、それぞれの画像信号を読み出している。

これによれば、露光期間Ｌを均等に分割したタイミングで複数の画像信号が読み出されているので、全ての読み出し時において、画像信号の一回あたりの読み出し時間Ｔｒを容易に確保することができる。

［変形例１］
上記実施の形態１では、一回の露光期間Ｌ内に画像信号を二回読み出す場合を例示した。しかし、一回の露光期間Ｌ内における画像信号の読み出し回数は三回以上であっても構わない。いずれの場合においても、画像処理部１６０は、一回の露光期間Ｌ内に撮像素子１０から画像信号を複数回読み出し、一回の露光期間Ｌにおける最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算する。

この変形例１では、一回の露光期間Ｌ内における画像信号の読み出し回数を四回とした場合について例示する。

図３は、変形例１に係る画像信号の読み出しタイミングを示す説明図である。図３に示すように、画像処理部１６０は、一回の露光期間Ｌ内において撮像素子１０から、四回画像信号を読み出す。読み出しタイミングは、露光期間Ｌの時点（時刻Ｔ）と、当該露光期間Ｌを均等に四分割し、その分割点（時間０．２５Ｔ、時間０．５Ｔ、時間０．７５Ｔ）としている。つまり、この場合においても、各回の画像信号は、同じ露光開始時刻であるものの露光時間が異なることになる。また、本変形例では、説明を簡略化するためセンサの受光量が露光期間Ｌ内において一定（変化しない）被写体光を受光するものとして説明する。

画像処理部１６０は、撮像素子１０から取得した一回の露光期間Ｌ内における四回分の画像信号を、各回毎にメモリに一時的に記憶する。その後、画像処理部１６０は、四回目に読み出した信号レベルより算出される目標レベルと、四回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出する。画像処理部１６０は、求めた目標ゲイン値を加算信号に対して乗算することで、加算信号の信号レベルを増幅する。目標レベルを４倍とした場合のビット精度劣化は式（３）のように求められる。

ｌｏｇ_２（２^ｎ＋２）−ｌｏｇ_２（２．５×２^ｎ）＝（ｎ＋２）−（ｎ＋１．３２）＝０．６８・・・（３）

このように、一回の露光期間Ｌ内に四回読み出したそれぞれの画像信号が加算されているので、ビット精度劣化を抑えることができる。一回の露光期間Ｌ内における読み出し回数を増加させれば、それだけビット精度劣化を抑えることが可能であるが、不規則に増加させてしまうと、隣り合う読み出しタイミングの間隔が、画像信号の一回あたりの読み出し時間Ｔｒよりも短くなってしまうおそれがある。しかしながら、一回の露光期間Ｌを均等となるように分割したタイミングでそれぞれの画像信号を読み出しているので、全ての読み出し時において、画像信号の一回あたりの読み出し時間Ｔｒを容易に確保することができる。言い換えると、一回の露光期間Ｌを均等に分割する際においては、隣り合う読み出しタイミングの間隔が読み出し時間Ｔｒよりも小さくならないように、読み出し回数を決定することが求められる。

［変形例２］
上記実施の形態１では、一回の露光期間Ｌを均等に分割し、その分割点で画像信号を読み出す場合について説明した。しかし、一回の露光期間Ｌ内で複数回画像信号を読み出すのであれば、その読み出しタイミングは如何様でもよい。この変形例２では、露光期間Ｌを均等に分割せずに、複数回画像信号を読み出す場合について説明する。

図４は、変形例２に係る画像信号の読み出しタイミングを示す説明図である。

図４に示すように、画像処理部１６０は、一回の露光期間Ｌ内で画像信号を二回読み出している。具体的には、画像処理部１６０は、一回の露光期間Ｌ内の画像信号の読み出し回数のうち、最後の回での読み出しタイミングを露光期間の最終時点とし、当該最後の回以外の回での読み出しタイミングを、当該露光期間のＬ／２以上、Ｌ−Ｔｒ未満の期間Ｌ１内にしている。例えば、読み出し時間Ｔｒが時間０．１Ｔとした場合には、一回目の読み出しタイミングを露光期間Ｌ内におけるＬ−Ｔｒ時点（時刻０．９Ｔ）とし、二回目の読み出しタイミングを露光期間の最終時点（時刻Ｔ）としている。

このように、一回の露光期間Ｌでの読み出し回数のうち、最後の回での読み出しタイミングを露光期間の最終時点とし、当該最後の回以外の回での読み出しタイミングを、当該露光期間Ｌの半分以上（Ｌ／２以上）、露光期間Ｌと一回の読み出し時間Ｔｒとの差分以下（Ｌ−Ｔｒ未満）の期間Ｌ１内に収めることで、最後の回の直前の回の読み出し時間Ｔｒを確保することができる。したがって、画像信号の読み出しの安定性を高めることができる。

また、画像処理部１６０は、一回の露光期間Ｌのうち、当該露光期間Ｌの半分以上（Ｌ／２以上）の期間Ｌ１内に画像信号を複数回読み出している。

そして、一回目の読み出しタイミングは、一回の露光期間Ｌの最終時点に近ければよりよい。例えば、図４に示すように、一回目の読み出しタイミングが時刻０．９Ｔで、二回目の読み出しタイミングがＴである場合のビット精度劣化は、式（４）で求められる。

ｌｏｇ_２（２^ｎ＋１）−ｌｏｇ_２（１．９×２^ｎ）＝（ｎ＋１）−（ｎ＋０．９３）＝０．０７・・・（４）

ここで、二回目に読み出された画像信号の信号レベルをＳとすると、一回目に読み出された画像信号の信号レベルは、０．９Ｓであるので、加算後の画像信号の信号レベルは、１．９Ｓとなる。このため、式（４）においてｌｏｇ_２（２^ｎ＋１）は、２倍のアナログゲインを乗算した場合のビット精度を示し、ｌｏｇ_２（１．９×２^ｎ）が２÷１．９＝２０／１９倍のデジタルゲイン乗算後のビット精度を示している。式（４）に示すように、この場合においてはビット精度劣化が０．０７ｂｉｔとなる。このように、式（２）の場合と比べてもビット精度劣化を抑えることが可能である。したがって、ビット精度劣化を大幅に抑えることができ、結果的によりノイズを抑制した画像を撮像することができる。

なお、画像処理部１６０は、期間Ｌ１内においても複数回画像信号を読み出してもよい。この場合においても、読み出し時間Ｔｒを考慮して、各読み出しタイミングを決定することが望まれる。

また、画像処理部１６０は、過去に算出した目標ゲイン値に基づいて、今回の露光期間Ｌ内における画像信号の読み出し回数を決定してもよい。これによれば、画像処理部１６０が、過去に算出した目標ゲイン値に基づいて、今回の露光期間Ｌ内における画像信号の読み出し回数を決定しているので、目標ゲイン値に対して適切な読み出し回数を設定することが可能である。

過去に算出した目標ゲイン値においては、直前の露光期間Ｌで求められた目標ゲイン値であってもよいし、それよりも前の段階の露光期間Ｌで求められた目標ゲイン値であってもよい。さらに、露光期間Ｌとは異なるタイミング（例えば静止画像撮影時にオートフォーカス時など）で求められた目標ゲイン値を用いてもよい。

（実施の形態２）
上記実施の形態１では、静止した被写体を撮影する際に十分なノイズ低減効果が得られるが、その反面、動く被写体を撮像した場合には課題が発生する。以下、この課題について説明する。

図５は、動く被写体の一例として、全面グレー（図５ではドットのハッチングで図示）の背景Ｇの前を移動する白い矩形の被写体Ｈを示す模式図である。被写体Ｈは、背景Ｇの前を時刻０〜時刻Ｔの期間に等速で移動するものとする。

図６は、実施の形態２に係る画像信号の読み出しタイミングを示す説明図である。図６に示すように、実施の形態２での撮像素子１０の駆動方法は、時刻０．５Ｔ及び時刻Ｔで撮像結果の画像信号を読み出すものとし、時刻０．５Ｔ及び時刻Ｔにおいて読み出された画像信号をそれぞれ信号Ａ、信号Ｂとする。

図７は、実施の形態２に係る時刻０〜時刻０．５Ｔまでの期間の撮像結果を示す説明図である。具体的には図７の（ａ）は、撮像された画像を示す模式図であり、図７の（ｂ）は、撮像された画像におけるＶＩＩｂ−ＶＩＩｂ切断面での信号レベルの波形を示す波形図である。図７の（ａ）に示すように、時刻０〜時刻０．５Ｔまでの撮像結果では、静止した背景Ｇと、被写体Ｈの移動軌跡ｈ１とを含んだ画像信号（信号Ａ）が得られる。

図８は、実施の形態２に係る時刻０〜時刻Ｔまでの期間の撮像結果を示す説明図である。具体的には図８の（ａ）は、撮像された画像を示す模式図であり、図８の（ｂ）は、撮像された画像におけるＶＩＩＩｂ−ＶＩＩＩｂ切断面での信号レベルの波形を示す波形図である。図８の（ａ）に示すように、時刻０〜時刻Ｔまでの撮像結果では、静止した背景Ｇと、被写体Ｈの移動軌跡ｈ２とを含んだ画像信号（信号Ｂ）が得られる。

図９は、実施の形態２に係る信号Ａと信号Ｂとを加算した場合の結果を示す説明図である。具体的には図９の（ａ）は、加算結果に基づく画像を示す模式図であり、図９の（ｂ）は、加算結果に基づく画像におけるＩＸｂ−ＩＸｂ切断面での信号レベルの波形を示す波形図である。

ここで信号Ａと信号Ｂを加算した信号（Ａ＋Ｂ）では、時刻０〜時刻Ｔまでの被写体軌跡ｈ３のうち、信号Ａ、Ｂで共通となる領域（共通領域ｈ４）の信号レベルと、信号Ｂだけに存在する非共通領域ｈ５の信号レベルに差が生じ、図９に示すように被写体軌跡ｈ３の信号レベルが不連続となる課題が発生する。

そこで、この課題を解決するために画像処理部１６０が行う処理に以下の処理を追加する。

図１０は、実施の形態２に係る信号Ｂから信号Ａを減算して得られた信号Ｃを示す説明図である。具体的には図１０の（ａ）は、信号Ｃに基づく画像を示す模式図であり、図１０の（ｂ）は、信号Ｃに基づく画像におけるＸｂ−Ｘｂ切断面での信号レベルの波形を示す波形図である。信号Ｂから信号Ａを減算したことにより得られた信号Ｃは図６において（Ｃ）と記載した斜線のハッチング部分の蓄積電荷出力に相当し、言い換えれば時刻０．５Ｔ〜時刻Ｔの期間の撮像結果である。

図１１は、実施の形態２に係る信号Ａから信号Ｃを減算して得られた信号Ｄを示す説明図である。具体的には図１１の（ａ）は、信号Ｄに基づく画像を示す模式図であり、図１１の（ｂ）は、信号Ｄに基づく画像におけるＸＩｂ−ＸＩｂ切断面での信号レベルの波形を示す波形図である。

信号Ａ及び信号Ｃはともに０．５Ｔ間の露光期間の撮像結果であることを考えると、静止している被写体を示す領域である静止被写体領域ｈ１０の信号レベルは、信号Ａと信号Ｃとで等しくなるため、信号Ａから信号Ｃを減算した信号Ｄでは、静止被写体領域ｈ１０はキャンセルされて０となる。また、０でない領域は被写体の動きがあった領域を示す信号、すなわち動き検出信号となる。動き検出信号は、動作している被写体を示す領域である動体領域ｈ２０を示す。これらのことから、背景Ｇが静止被写体領域ｈ１０となり、時刻０〜時刻Ｔまでの被写体軌跡ｈ３が動体領域ｈ２０となる。動体領域ｈ２０以外の領域は静止被写体領域ｈ１０である。

このように、画像処理部１６０は、一回の露光期間Ｌにおける最後の読み出し画像信号（信号Ｂ）から、当該画像信号よりも前に読み出された画像信号である基準画像信号（信号Ａ）を減算し、当該減算結果（信号Ｃ）を、基準画像信号（信号Ａ）から減算することで得られた信号Ｄに基づいて、動体領域ｈ２０と静止被写体領域ｈ１０とのいずれか一方を検出する。

なお、一度の露光期間Ｌ内において画像信号をＮ回以上読み出す場合には、ｋ回目（ｋ＝２〜Ｎ）に読み出された画像信号を信号Ｂ、ｋ−１回目に読み出された画像信号を信号Ａとして、ｋ＝２〜Ｎに対して逐次同様の処理を繰り返す。

ここで、信号Ｄには、動体領域ｈ２０以外に、画像に重畳されたノイズも含まれることになる。信号Ｄを純粋な動き検出信号とするためには、信号Ｄに対して適当な閾値を設けてレベルが０に近いデータの値を強制的に０とすることでノイズを抑制する必要がある。以下では、信号Ｄは上記ノイズ抑制処理を施した後の信号であるとして説明する。

図１２は、実施の形態２に係る信号Ｄに０．５倍のゲインを乗算し、信号（Ａ＋Ｂ）から減算した減算結果を示す説明図である。具体的には図１２の（ａ）は、当該減算結果に基づく画像を示す模式図であり、図１２の（ｂ）は、当該減算結果に基づく画像におけるＸＩＩｂ−ＸＩＩｂ切断面での信号レベルの波形を示す波形図である。

上記のようにして得られた信号Ｄに０．５倍のゲインを乗算し、信号（Ａ＋Ｂ）から減算すると、静止被写体領域ｈ１０ではＤ＝０なので、以下の式（５）が成り立つ。

Ａ＋Ｂ−０．５Ｄ＝Ａ＋Ｂ・・・（５）

さらに、動体領域ｈ２０では以下の式（６）が成り立つ。

Ａ＋Ｂ−０．５Ｄ＝Ａ＋Ｂ−０．５（Ａ−Ｃ）＝Ａ＋Ｂ−０．５（Ａ−Ｂ＋Ａ）＝Ａ＋Ｂ−Ａ＋０．５Ｂ＝１．５Ｂ・・・（６）

動体領域ｈ２０だけは信号Ｂに１．５倍のゲインを乗算したものに置き換わる。この結果、図１２に示すように動体領域ｈ２０の信号レベルの不連続は無くなり、自然な撮像結果が得られる。

上記で説明した処理によって得られる画像は、静止被写体領域ｈ１０に対してはノイズ抑制処理が施されている。この場合の加算信号は、静止被写体領域ｈ１０に対して、複数回読み出したそれぞれの画像信号を加算したものとなる。一方、動体領域ｈ２０に関しては１．５倍のゲインが乗算されるだけになる。このため、動体領域ｈ２０においては従来の撮像装置と比べてＳ／Ｎの向上は期待できないが、静止被写体領域ｈ１０は実施の形態１と同様にＳ／Ｎが改善された画像となる。このように、画像処理部１６０は、画像信号内における動体領域ｈ２０と、静止被写体領域ｈ１０とを区別し、静止被写体領域ｈ１０に対してノイズ抑制処理を施している。

つまり、動体領域ｈ２０と静止被写体領域ｈ１０とでＳ／Ｎに差のある画像が得られることになるが、動画における一般的な３次元ノイズリダクション処理においても動体領域ｈ２０と静止被写体領域ｈ１０のＳ／Ｎに差のある画像が得られるため、あまり違和感は無いと考えられる。

なお、上記では被写体Ｈが等速で移動する場合を例に説明したが、加減速を伴う移動の場合でも、動き検出信号の値が正から負に変化する位置が変わるだけで、同様に成立する。

また、前記変形例１及び２の場合でも同様の考え方が成立する。

また、動体領域ｈ２０のＳ／Ｎを静止被写体領域ｈ１０のＳ／Ｎに近づけるために、動体領域ｈ２０、すなわち上記説明における信号Ｄが０でない領域に限定してＬＰＦなどの２次元ノイズリダクション処理を局所的に行っても良い。

また、動体領域ｈ２０と静止被写体領域ｈ１０とを判別するための方法は、上記した信号Ａ、信号Ｂに対する加減算に限定されるものではない。その他の判別方法としては、動きベクトルを用いて判別する方法などが挙げられる。

（補足）
以上のように、本出願において開示する技術の例示として、実施の形態について説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。

（Ａ）本開示には、実施の形態１、２における撮像装置１が内蔵された電子機器も含まれるのは言うまでもない。

図１に示されるように、カメラ１００は、撮像装置１と、光学系１１０と、とを含んで構成される。

光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４、などの光学素子からなり、撮像素子１０に外部の光を集光する。

使用者からの操作を受け付けると、画像処理部１６０は、撮像素子１０からの出力信号に対して、各種信号処理を施し、カードスロット１９０に挿入されたメモリカード２００に、画像データを記録する。

（Ｂ）撮像装置１における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＤＳＰ（Digital Signal Processor）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。

（Ｃ）実施の形態１、２において、撮像素子１０は有機ＭＯＳイメージセンサを一例として説明したが、グローバルシャッタ駆動が可能なＭＯＳ型イメージセンサとして、フォトダイオードで発生した電荷を不揮発性メモリトランジスタに書き込む構成を有し、データを非破壊で読み出すことが可能なイメージセンサであってもよく、フローティングゲートアンプ（ＦＧＡ）を応用したＣＣＤイメージセンサやＣＭＯＳイメージセンサであってもよい。露光中に画像信号を非破壊で出力可能な撮像素子であればよい。

また、撮像素子１０は、Ａ／Ｄコンバータ１５０と一体に構成されていても良い。

（Ｄ）実施の形態１において、目標レベルを２倍とした場合を例にして、ビット精度劣化について説明したが、ゲインは２倍に限定されない。実施の形態１において、ゲインを２^ｍ倍（ｍ＞０）とすれば、ビット精度劣化は、式（７）で求められ、ビット精度劣化はｍｂｉｔとなる。

ｌｏｇ_２（２^ｎ＋ｍ）−ｌｏｇ_２（２^ｎ）＝（ｎ＋ｍ）−ｎ＝ｍ・・・（７）

これに対して、一回の露光期間Ｌで同じ露光開始時刻で露光時間の異なる画像信号を二回読み出した場合のビット精度劣化は、式（８）で求められる。

ｌｏｇ_２（２^ｎ＋ｍ）−ｌｏｇ_２（１．５×２^ｎ）＝（ｎ＋ｍ）−（ｎ＋０．５８）
＝ｍ−０．５８・・・（８）

したがって、ビット精度劣化は、ｍｂｉｔより０．５８だけ小さく抑えられる。このため、ノイズが低減できる。

さらに、一回の露光期間Ｌで露光期間を均等に分割し、画像信号を２^ｃ回(ｃ＞１)読み出し、目標レベルを２^ｃ倍とした場合のビット精度劣化は、式（９）で求められる。

ｌｏｇ_２（２^ｎ＋ｃ）−ｌｏｇ_２（（２^ｃ＋１）／２×２^ｎ）
＝ｌｏｇ_２（２^ｎ＋ｃ）−ｌｏｇ_２（（２^ｃ＋１）×２^ｎ−１）
＝（ｎ＋ｃ）−（ｎ−１）−ｌｏｇ_２（２^ｃ＋１）
＝ｃ−（ｌｏｇ_２（２^ｃ＋１）−１） ・・・（９）

したがって、ビット精度劣化は、ｃｂｉｔよりｌｏｇ_２（２^ｃ＋１）−１だけ小さく抑えられる。このため、ノイズが低減できる。

（Ｅ）実施の形態１において、説明を簡略化するためセンサの受光量が露光期間Ｌ内において一定（変化しない）の被写体光を受光するものとして説明したが、これに限定されない。例えば、閃光撮影時や、暗いトンネルから出た場合等で急激に露光量が変化する場合でもノイズは低減できる。

図１３は、暗部での閃光撮影時における画像信号の読み出しタイミングを示す説明図である。露光期間Ｌにおいて暗部での露光期間が０から０．５Ｔでの信号レベルが０．１Ｓであり、時刻０．５Ｔから時刻０．７５Ｔの露光期間に閃光が行われ、露光０．７５Ｔから再び暗くなる場合の時間と蓄積電荷に関するグラフである。目標ゲイン値を２倍とすると、ビット精度劣化は、式（１０）で求められる。

ｌｏｇ_２（２^ｎ＋１）−ｌｏｇ_２（１．１×２^ｎ）＝（ｎ＋１）−（ｎ＋０．１４）＝０．８６・・・（１０）

したがって、ビット精度劣化は、０．１４だけ小さく抑えられる。

露光期間Ｌ内の一部で蓄積電荷が全く変わらない様な特殊な露光期間で非破壊読み出ししない限り、蓄積電荷は蓄積スピードこそ異なるが、ｑ１、ｑ２、ｑ３に示すように時間と共に増加するため、露光期間Ｌに画像信号を複数回非破壊読み出しすることで、１回だけ読み出した画像信号に比べて、ビット精度劣化を小さくできる。

なお、露光期間Ｌ内の一部または全てにおいて蓄積電荷量が全く変わらない特殊な露光状態であっても、複数回読み出した画像信号を加算した加算信号は、最後に読み出した画像信号のレベルより大きくなるため、ビット精度劣化を小さくする効果は同様に成立する。

また、上述した実施の形態１、２で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。

以上のように、本開示における技術の例示として、実施の形態１、２を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態１、２は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、静止画または動画を撮影できる撮像装置に対して適用可能である。具体的には、レンズ交換式デジタルカメラ、コンパクトデジタルカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ、監視カメラ等の静止画または動画が撮影できる種々の撮像装置に対して適用することができる。

１ 撮像装置
１０ 撮像素子
２０ 制御部（コントローラ）
１００ カメラ
１１０ 光学系
１１０Ａ 光軸
１１１ ズームレンズ
１１２ 補正レンズ
１１３ フォーカスレンズ
１１４Ａ 開口部
１２０ レンズ駆動部
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ メモリ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２２０Ａ 画面
２２０Ｂ タッチパネル
２４０ 内部メモリ
３００ 処理部
Ｇ 背景
Ｈ 被写体
ｈ１、ｈ２ 移動軌跡
ｈ３ 被写体軌跡
ｈ４ 共通領域
ｈ５ 非共通領域
ｈ１０ 静止被写体領域（動体領域以外の領域）
ｈ２０ 動体領域
Ｌ 露光期間
Ｌ１ 期間
Ｔｒ 読み出し時間
Ｔ 時刻

Claims (9)

1. 画像信号を非破壊で出力可能な撮像素子と、
   前記撮像素子により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、
   前記画像処理部を制御するコントローラと、を備え、
   前記画像処理部は、前記コントローラの制御により、一回の露光期間内に前記撮像素子から画像信号を複数回読み出し、前記一回の露光期間における最後の読み出し画像信号の信号レベルから算出される目標レベルと、前記複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、前記加算信号に対して前記目標ゲイン値を乗算して前記画像データを生成する、
   撮像装置。
2. 前記画像処理部は、前記コントローラの制御により、前記一回の露光期間内に前記撮像素子から前記画像信号を非破壊で複数回読み出す、
   請求項１に記載の撮像装置。
3. 前記画像処理部は、前記一回の露光期間を均等となるように分割したタイミングで前記それぞれの画像信号を読み出す、
   請求項１または２に記載の撮像装置。
4. 前記一回の露光期間をＬとすると、
   前記画像処理部は、前記一回の露光期間のうち、Ｌ／２以上の期間で前記画像信号を複数回読み出す、
   請求項１または２に記載の撮像装置。
5. 前記画像信号の一回あたりの読み出し時間をＴｒとすると、
   前記画像処理部は、前記一回の露光期間内での前記画像信号の読み出し回数のうち、最後の回での読み出しタイミングを露光期間の最終時点とし、当該最後の回以外の回での読み出しタイミングを、当該露光期間のＬ／２以上、Ｌ−Ｔｒ未満の期間内に収める、
   請求項４に記載の撮像装置。
6. 前記画像処理部は、過去に算出した前記目標ゲイン値に基づいて、今回の露光期間内における前記画像信号の読み出し回数を決定する、
   請求項１〜５のいずれか一項に記載の撮像装置。
7. 前記画像処理部は、前記画像信号内における、動体領域または前記動体領域以外の領域のいずれか一方を検出し、前記加算信号は、前記動体領域以外の領域に対して前記複数回読み出したそれぞれの画像信号を加算したものである、
   請求項１〜６のいずれか一項に記載の撮像装置。
8. 前記画像処理部は、前記一回の露光期間における最後の読み出し画像信号から、当該画像信号よりも前に読み出された画像信号である基準画像信号を減算し、当該減算結果を、前記基準画像信号から減算することで、前記動体領域または前記動体領域以外の領域のいずれか一方を検出する、
   請求項７に記載の撮像装置。
9. 請求項１〜８のいずれか一項に記載の撮像装置と、
   前記撮像素子に外部の光を集光する少なくとも一つの光学素子を有する光学系とを備える、
   カメラ。

Images