JP5664010B2

JP5664010B2 - 撮像装置

Info

Publication number: JP5664010B2
Application number: JP2010179998A
Authority: JP
Inventors: 義弘橋野; 卓有井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-08-11
Filing date: 2010-08-11
Publication date: 2015-02-04
Anticipated expiration: 2030-08-11
Also published as: JP2012039536A

Description

本発明は、撮像装置に関するものである。

ＣＭＯＳ型やＣＣＤ型の固体撮像素子などの撮像素子を有する撮像装置では、前記撮像素子の出力に含まれるノイズ成分（固定パターンノイズ（ＦＰＮ）成分など）を除去するために、少なくとも１画面分の遮光データを前記撮像素子から読み出してフレームメモリに格納し、露光データからフレームメモリ内の遮光データを減算することで、露光データを補正することが提案されている。

しかし、この撮像装置では、少なくとも１画面分の遮光データを用いて補正処理を行う必要があり、その処理量が増大する。このため、ノイズ成分除去の補正の処理に長時間を要し、その分だけ最終的な補正後の撮像データを得るまでの時間も長くなってしまう。したがって、連写等の撮影速度を速くすることができない。また、単写時においては、レリーズのタイムラグが長くなってしまうという問題が発生する。

そこで、下記特許文献１では、撮像素子が遮光された状態で、撮像素子から全行ではなく一部の複数行の画素から信号を読み出し、これを補正用データとして用いることが提案されている。この場合、補正用データのデータ量が少ないので、ノイズ成分除去の補正の処理量が少なくなり、その補正の時間が短縮され、ひいては、連写等の撮影速度を速くすることができるとともに、単写時のレリーズのタイムラグを短縮することができる。

特開２００６−２８７３７８号公報

しかしながら、本発明者の研究の結果、撮像素子が遮光された状態で、撮像素子から全行ではなく画像の列方向中央部の領域に相当する連続した複数行の画素から信号を読み出し、これを補正用データとして用いると、ノイズ成分除去の補正の精度が低下してしまう場合があることが、判明した。

本発明は、このような事情に鑑みてなされたもので、ノイズ成分除去の補正の精度を高めることができる撮像装置を提供することを目的とする。

前記課題を解決するための手段として、以下の各態様を提示する。第１の態様による撮像装置は、光量に応じた画素信号を出力する複数の画素が２次元行列状に配置された画素アレイと、前記画素アレイが遮光された状態で、前記画素信号を列方向に間引いて読み出す第１の読み出し制御と、前記画素アレイが露光された状態で、前記画素信号を読み出す第２の読み出し制御とを、切り替えて行う読み出し制御手段と、前記第１の読み出し制御により読み出された画素信号を前記画素アレイの列毎に平均処理を施して１行分の補正データを生成し、前記補正データに基づいて前記第２の読み出し制御により読み出された画素信号を補正する補正手段と、を備え、前記補正手段は、前記画素アレイを列方向に分割した、前記画素アレイの中央位置に形成された領域を含む第１領域及び前記画素アレイの前記第１領域の周辺位置に形成された第２領域毎に前記補正データを生成し、前記第１領域及び前記第２領域毎に生成された前記補正データに基づいて前記第２の読み出し制御により読み出された画素信号を前記第１領域及び前記第２領域毎に補正するものである。

第２の態様による撮像装置は、前記第１の態様において、前記補正手段で生成された前記第１領域及び前記第２領域毎の前記補正データを格納する格納手段を更に備えるものである。

第３の態様による撮像装置は、前記第１又は第２の態様において、前記第１の読み出し制御は、指令信号に応じて、前記間引きの間引き率を可変に設置するものである。

本発明によれば、ノイズ成分除去の補正の精度を高めることができる撮像装置を提供することができる。

本発明の一実施の形態による撮像装置を示す概略ブロック図である。図１中の固体撮像素子を示す概略構成図である。図２中の１つの画素を示す回路図である。図１に示す撮像装置における固体撮像素子の読み出し行及び比較例による撮像装置における固体撮像素子の読み出し行を模式的に示す図である。図２中の垂直走査回路の一部の回路を示す回路図である。図５に示す回路の、補正用データを取得する場合の動作を示すタイミングチャートである。図５に示す回路の、被補正用データを取得する場合の動作を示すタイミングチャートである。

以下、本発明による撮像装置装置について、図面を参照して説明する。

図１は、本発明の一実施の形態による撮像装置１示す概略ブロック図である。本実施の形態による撮像装置１は、電子カメラとして構成されている。

図１は、本実施の形態による撮像装置１には、撮影レンズ２が装着される。この撮影レンズ２は、レンズ制御部２ａによってフォーカスや絞りが駆動される。この撮影レンズ２の像空間には、固体撮像素子３の撮像面が配置される。

固体撮像素子３は、撮像制御部４から出力される制御信号によって駆動され、信号を出力する。固体撮像素子３から出力される信号は、信号処理部５、及びＡ／Ｄ変換部６を介して処理された後、メモリ７に一旦蓄積される。メモリ７は、バス８に接続される。バス８には、レンズ制御部２ａ、撮像制御部４、マイクロプロセッサ９、焦点演算部１０、記録部１１、画像圧縮部１２及び画像処理部１３なども接続される。マイクロプロセッサ９には、レリーズ釦などの操作部９ａが接続される。また、上記の記録部１１には記録媒体１１ａが着脱自在に装着される。

図２は、図１中の固体撮像素子３の概略構成を示す回路図である。この固体撮像素子３は、ＣＭＯＳ型固体撮像素子として構成されている。

図２に示すように、この固体撮像素子３は、一般的なＣＭＯＳ型固体撮像素子と同様に、垂直走査回路２２と、水平走査回路２３と、２次元行列状に配置され光量に応じた画素信号を出力する複数の画素２４と、周知のＣＤＳ回路等を含む読み出し回路２５と、出力アンプ２６とを有している。各画素２４のフォトダイオードＰＤ（図２では図示せず。図３参照）が出力する電気信号が、撮像制御部４による制御を受けた垂直走査回路２２によって読み出し回路２５に行単位で取り出され、撮像制御部４による制御を受けた水平走査回路２３によって列単位で出力アンプ２６を介して出力端子２７に画像信号として出力されるようになっている。このように、垂直走査回路２２及び水平走査回路２３は、画素２４を駆動する回路を構成している。画素２４が２次元行列状に配置された領域が画素アレイ４０である。この固体撮像素子３では、垂直走査回路２２、水平走査回路２３、読み出し回路２５及び出力アンプ２６が周辺回路を構成している。

図３は、図２中の１つの画素２４を示す回路図である。各画素２４は、図３に示すように、入射光に応じた電荷を生成し蓄積する光電変換部としてのフォトダイオードＰＤと、前記電荷を受け取って電位に変換するフローティング容量部ＦＤと、フォトダイオードＰＤからフローティング容量部ＦＤに電荷を転送する転送部としての転送トランジスタＴＸと、フローティング容量部ＦＤの電位をリセットするリセットトランジスタＲＳＴと、フローティング容量部ＦＤの電位に応じた信号を出力する増幅部としての増幅トランジスタＡＭＰと、読み出し行を選択する選択部としての選択トランジスタＳＥＬとを有している。本実施の形態では、画素２４のトランジスタＡＭＰ，ＴＸ，ＲＳＴ，ＳＥＬは、全てｎＭＯＳトランジスタである。図３において、ＶＤＤは電源電位である。

転送トランジスタＴＸのゲートは行毎に転送線３２に共通に接続され、そこには、転送トランジスタＴＸを制御する制御信号φＴＸが垂直走査回路２２から供給される。リセットトランジスタＲＳＴのゲートは行毎にリセット線３１に共通に接続され、そこには、リセットトランジスタＲＳＴを制御する制御信号φＲＳＴが垂直走査回路２２から供給される。選択トランジスタＳＥＬのゲートは行毎に行選択線３０に共通に接続され、そこには、選択トランジスタＳＥＬを制御する制御信号（行選択信号）φＳＥＬが垂直走査回路２２から供給される。画素２４の選択トランジスタＳＥＬのソースは、列毎に垂直信号線３３に共通に接続されている。行選択線３０、リセット線３１及び転送線３２は、垂直走査回路３２に接続されている。垂直信号線３３は、読み出し回路２５に接続されている。

本実施の形態では、撮像制御部４、垂直走査回路２２、水平走査回路２３及び水平読み出し回路２５は、固体撮像素子３（ひいては、画素アレイ４０）が遮光された状態で、画素アレイ４０から画素信号を列方向に間引いて読み出す第１の読み出し制御を行う。本実施の形態では、この第１の読み出し制御は、読み出される画素２４の行が画素アレイ４０の列方向のほぼ全体に渡って分布するように行われる。

図４（ａ）は、この間引き読み出しにより読み出される画素２４の行５０の例を模式的に示している。図４（ａ）に示す例では、読み出し行は、連続するｋ行（ｋは２以上の整数）に１行の割合で、（ｋ−１）行置きの１行ずつとなっている。もっとも、この間引き読み出し時の読み出し行は、例えば、ｈ行（ｈは３以上の整数）に２行の割合で、（ｈ−２）行置きの連続する２行ずつとしてもよい。図４（ｂ）は、比較例における読み出し行を模式的に示す図である。この比較例では、画素アレイ４０の列方向中央部の領域に相当する連続した複数行を読み出し行として、残りの行（上下の領域の行）からは信号を読み出ださない。

また、本実施の形態では、撮像制御部４、垂直走査回路２２、水平走査回路２３及び水平読み出し回路２５は、前記第１の読み出し制御と、固体撮像素子３（ひいては、画素アレイ４０）が露光された状態で、画素アレイ４０から画素信号を読み出す第２の読み出し制御とを、切り替えて行う読み出し制御手段としての機能を担うようになっている。。

さらに、本実施の形態では、前記第１の読み出し制御により読み出された画素信号に基づいて、前記第２の読み出し制御により読み出された画素信号を補正する補正手段としての機能を、画像処理部１３が担うようになっている。

図５は、図２中の垂直走査回路２２の一部の回路（読み出し行の選択に関連する回路、すなわち、行選択信号φＳＥＬを生成する回路）を示す回路図である。本実施の形態では、垂直走査回路２２は、画素２４の行に対してそれぞれ１対１に設けられたＤ型フリッププロップ６１及びアンドゲート６２を有している。各段のＤ型フリッププロップ６１の出力端子ｃが次段のＤ型フリッププロップ６１のデータ入力端子ｂに接続され、１段目のＤ型フリッププロップ６１のデータ入力端子ｂに垂直スタートパルスφＶＳＴＲが入力され、各段のＤ型フリッププロップ６１のクロック入力端子ａは共通に接続されてそこにはクロック信号φＣＬＫが入力されている。これにより、これらのＤ型フリッププロップ６１によってシフトレジスタが構成されている。各アンドゲート６２の一方の入力端子は、対応するＤ型フリッププロップ６１の出力端子ｃに接続され、各アンドゲート６２の他方の入力端子は共通に接続されてそこには制御信号φＲＤが入力されている。これにより、各アンドゲート６２は、対応する段のデータ入力端子ｂの出力と制御信号φＲＤとの論理積の信号を、各行の行選択信号φＳＥＬとして出力する。前記各信号φＶＳＴＲ，φＣＬＫ，φＲＤは、撮像制御部４から垂直走査回路２２へ供給される。

垂直スタートパルスφＶＳＴＲがハイレベルの期間中でのクロック信号φＣＬＫの立ち上がりエッジで、Ｄ型フリッププロップ６１からなるシフトレジスタが動作を開始し、その後、クロック信号φＣＬＫに同期して各段のＤ型フリッププロップ６１の出力信号において順次パルスがシフトしていく。そして、各段のデータ入力端子ｂの出力と制御信号φＲＤとの論理積の信号が、その行の行選択信号φＳＥＬとして出力される。

図６は、２行置きの１行ずつを読み出し行とする場合の、各信号φＶＳＴＲ，φＣＬＫ，φＲＤ、第１段〜第４段のＤ型フリッププロップ６１の出力信号（１）〜（４）を示すタイミングチャートである。図６では、アンドゲート６２のゲート信号となる制御信号φＲＤのハイレベルのパターンが、１行目、４行目、７行目・・・と、２つ置きの１行ずつに対応しているので、これらの行の行選択信号φＳＥＬ（１）、φＳＥＬ（４）、φＳＥＬ（７）・・・が順次ハイレベルとなる一方で、間の行に対応する行選択信号φＳＥＬ（２）、φＳＥＬ（３）、φＳＥＬ（５）、φＳＥＬ（６）・・・は、ローレベルのままとされ、２行置きの１行ずつが読み出し行として選択される。制御信号φＲＤのハイレベルのパターンを適宜設定することで、任意の間引き率に設定してその間引き率に応じた行を読み出し行とすることができる。

図７は、１行ずつ全行を読み出し行とする場合の、各信号φＶＳＴＲ，φＣＬＫ，φＲＤ、第１段〜第４段のＤ型フリッププロップ６１の出力信号（１）〜（４）を示すタイミングチャートである。図７では、アンドゲート６２のゲート信号となる制御信号φＲＤのハイレベルのパターンが、１行ずつ全行に対応しているので、これらの行の行選択信号φＳＥＬ（１）、φＳＥＬ（２）、φＳＥＬ（３）、φＳＥＬ（４）・・・が順次ハイレベルとなる。よって、全行が１行ずつ読み出し行として選択される。

なお、撮像制御部４による制御下で、垂直走査回路２２は、行選択信号φＳＥＬに応じて前記制御信号φＴＸ、φＲＥＳが出力され、さらに、それらの状況に応じて水平走査期間において水平走査が行われるように、撮像制御部４が水平走査回路２３及び読み出し回路２５に制御信号を供給してそれらを制御するが、これらの点については公知であるので、その説明を省略する。

本実施の形態による撮像装置１では、例えば、操作部９ａにより撮像開始が指令されると、マイクロプロセッサ９による統括制御の下で、補正用データの取得の後、被補正用データ（本撮影データ等）の取得が行われ、その後、被補正用データが補正用データに基づいて補正処理される。

前記補正用データの取得は、次のように行われる。すなわち、レンズ制御部２ａによりメカニカルシャッタが閉じられて固体撮像素子３が遮光された状態で、撮像制御部４が例えば図６に示す制御信号φＲＤ，φＶＳＴＲ，φＣＬＫを固体撮像素子３の垂直走査回路２２に供給するなどによって、画素アレイ４０の画素２４の信号が列方向に間引いて読み出され、かつ、読み出される画素２４の行５０が図４に示すように画素アレイ４０の列方向のほぼ全体に渡って分布するように、固体撮像素子３の読み出し制御を行う。これにより読み出された信号は、信号処理部５及びＡ／Ｄ変換部６を経て補正用データとしてメモリ７に格納される。

その被補正用データ（本撮影データ等）の取得は、例えば、次のようにして行われる。レンズ制御部２ａによりメカニカルシャッタが所望の露光期間だけ開かれた後に閉じられ、これにより固体撮像素子３が露光された状態で、撮像制御部４が例えば図７に示す制御信号φＲＤ，φＶＳＴＲ，φＣＬＫを固体撮像素子３の垂直走査回路２２に供給するなどによって、画素アレイ４０の画素２４の信号が全行に渡って読み出されるように、固体撮像素子３の読み出し制御を行う。これにより読み出された信号は、信号処理部５及びＡ／Ｄ変換部６を経て被補正用データとしてメモリ７に格納される。

その後の補正処理は、メモリ７に格納された前記補正用データに基づいて、メモリに格納された前記被補正用データを補正することによって行う。

その補正処理の第１の具体例では、前記補正用データに対して画素２４の列毎に平均処理を施すことにより、１行分の補正データにまとめ、前記被補正用データの各信号から、前記１行分の補正データのうちの当該信号の列と同じ列のデータを減算する。これにより、補正後の画像データを得る。

前記補正処理の第２の具体例では、メモリ７に格納された前記被補正用データを、画素アレイ４０を列方向に複数に分割（例えば、３分割）してなる各部分領域（例えば、図４（ａ）中の上側領域、中央領域、下側領域）毎に、メモリ７に格納された前記補正用データに基づいて、補正する。より具体的には、例えば、前記補正用データに対して図４（ａ）中の上側領域、中央領域及び下側領域毎に、画素２４の列毎に平均処理を施すことにより、上側領域の補正用データからまとめた１行分の補正データ、中央領域の補正用データからまとめた１行分の補正データ、下側領域の補正用データからまとめた１行分の補正データを得る。そして、前記被補正用データの上側領域の各信号から、上側領域の補正用データからまとめた１行分の補正データのうちの当該信号の列と同じ列のデータを減算する。前記被補正用データの中央領域の各信号から、中央領域の補正用データからまとめた１行分の補正データのうちの当該信号の列と同じ列のデータを減算する。前記被補正用データの下側領域の各信号から、下側領域の補正用データからまとめた１行分の補正データのうちの当該信号の列と同じ列のデータを減算する。これらにより、各領域に関する減算後の信号の集合として、補正後の画像データを得る。

なお、補正用データの取得時の読み出し時の間引き率は、固定しておいてもよいし、可変に設定できるようにしておいてもよい。後者の場合、例えば、操作部９ａにより速度優先モードか画質優先モードかを選択した信号に応じた指令に従って、撮像制御部４は前記間引き率を可変に設定（具体的には、制御信号φＲＤのハイレベルのパターンを設定）してもよい。間引き率を可変に設定できるようにする場合、間引き率をゼロ（すなわち、全行読み出し）にも可変に設定できるようにしてもよい。

前述した図４（ｂ）に示す比較例のように、画素アレイ４０の列方向中央部の領域に相当する連続した複数行のみから読み出した信号を補正用データとして用いて、被補正用データ（本撮影データ等）の補正を行う場合には、画像の周辺部（画像の列方向の両側の領域）に中央部の領域とは異なるような大きなノイズ発生要因が存在すると、前記補正にそのノイズ発生要因が全く反映されず、ひいてはノイズ除去の補正の精度が低下して、補正後の画像の画質が劣化してしまう。

これに対し、本実施の形態では、図４（ａ）に示すように、画素アレイ４０の列方向のほぼ全体に渡って分布する行から読み出した信号を補正用データとして用いて、被補正用データ（本撮影データ等）の補正を行うので、画像の周辺部（画像の列方向の両側の領域）に中央部の領域とは異なるような大きなノイズ発生要因が存在しても、前記補正にそのノイズ発生要因が反映される。よって、本実施の形態によれば、ノイズ除去の補正の精度が高まって、補正後の画像の画質が向上する。

以上、本発明の実施の形態について説明したが、本発明はその実施の形態に限定されるものではない。例えば、前記垂直走査回路２２としては、シフトレジスタ方式の垂直走査回路のみならず、デコーダ方式の垂直走査回路を用いてもよい。

１撮像装置
３固体撮像素子
４撮像制御部
２２垂直走査回路
２３水平走査回路
２５読み出し回路

Claims

光量に応じた画素信号を出力する複数の画素が２次元行列状に配置された画素アレイと、
前記画素アレイが遮光された状態で、前記画素信号を列方向に間引いて読み出す第１の読み出し制御と、前記画素アレイが露光された状態で、前記画素信号を読み出す第２の読み出し制御とを、切り替えて行う読み出し制御手段と、
前記第１の読み出し制御により読み出された画素信号を前記画素アレイの列毎に平均処理を施して１行分の補正データを生成し、前記補正データに基づいて前記第２の読み出し制御により読み出された画素信号を補正する補正手段と、を備え、
前記補正手段は、前記画素アレイを列方向に分割した、前記画素アレイの中央位置に形成された領域を含む第１領域及び前記画素アレイの前記第１領域の周辺位置に形成された第２領域毎に前記補正データを生成し、前記第１領域及び前記第２領域毎に生成された前記補正データに基づいて前記第２の読み出し制御により読み出された画素信号を前記第１領域及び前記第２領域毎に補正する
ことを特徴とする撮像装置。
前記補正手段で生成された前記第１領域及び前記第２領域毎の前記補正データを格納する格納手段を更に備えることを特徴とする請求項１記載の撮像装置。
前記第１の読み出し制御は、指令信号に応じて、前記間引きの間引き率を可変に設置することを特徴とする請求項１又は請求項２記載の撮像装置。