JP7277242B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

ＣＭＯＳ型イメージセンサでは、各画素からの信号の読み出し方法としてラインごとにリセット動作と信号出力動作を繰り返すローリングシャッタが採用されている。ローリングシャッタではラインごとに露光のタイミングがそれぞれ時間的に異なるため、例えば動体を撮影した際に、画像に歪みが生じる、所謂ローリングシャッタ歪みが生じる。そのため、ローリングシャッタによる歪みの軽減が求められている。特許文献１は、各画素に電荷保持部を設け、全画素同時に光電変換部で露光および蓄積を開始し、光電変換部で発生した電荷を全画素同時に電荷保持部へ転送し、共通の出力線から順次読み出すことで全画素の蓄積期間を同時刻にするグローバルシャッタの技術を開示している。

一方、特許文献２は、画素毎に１ｂｉｔ型ＡＤ変換部とカウンタを有する撮像素子を開示している。受光素子の信号に対して画素毎にＡＤ変換が行われるので、列毎にＡＤ変換を行う撮像素子の持つ走査線数と読み出し速度とのトレードオフを解消可能である。この方式では、受光素子に一定の電荷が蓄積されるたびにリセットが行われるので、光電変換素子の出力が飽和することがない。検出可能な光量は、蓄積容量の電圧が基準電圧と一致したときに出力されるパルスの回数を数えるカウンタの上限により定まる。

特開２０１４－０２９９８４号公報 特開２０１５－１７３４３２号公報

しかしながら、特許文献２の撮像素子において、特許文献１の撮像素子のようにローリングシャッタ歪みを軽減するために電荷保持部を画素ごとに設けると、撮像素子上の規模が増大してしまう。

本発明は、間引き読み出しを行う際に回路規模を抑えつつもローリングシャッタ歪みを軽減することが可能な撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、２次元に配列された複数の光電変換部と、前記複数の光電変換部の出力に基づく信号を計数して保持する複数の計数手段と、前記複数の光電変換部のうち、第１の光電変換部の信号を出力し、第２の光電変換部の信号を出力しないモードにおいて、前記第１の光電変換部の出力に基づく信号を第１の計数手段で計数し、前記第１の計数手段により計数された計数値を前記第２の光電変換部の出力に基づく信号を計数するための第２の計数手段によって保持するように制御する制御手段と、を備えることを特徴とする。

本発明によれば、間引き読み出しを行う際に回路規模を抑えつつもローリングシャッタ歪みを軽減することが可能な撮像装置を提供することができる。

第１実施形態に係る単位画素の構成を示す図である。 第１実施形態に係る単位画素が有するカウンタの構成を説明する図である。 第１実施形態に係る撮像素子の構成を示す図である。 第１実施形態に係る撮像素子の駆動を説明するタイミングチャートである。 撮像装置の構成を説明する図である。 第２実施形態に係る単位画素の構成を示す図である。 第２実施形態に係る単位画素が有するカウンタの構成を説明する図である。 第２実施形態に係る撮像素子の構成を示す図である。 第２実施形態に係る撮像素子の駆動を説明するタイミングチャートである。

（第１実施形態）
図１を参照して、本実施形態に係る撮像素子が有する画素部である単位画素１００について説明する。図１は単位画素１００の構成を示す図である。単位画素１００は、アバランシェフォトダイオード（以下、ＡＰＤとする）１０１、クエンチ抵抗１０２、波形整形回路１０３、カウンタ１０４を備える。

続いて、各構成要素について詳細に説明する。光電変換素子としてのＡＰＤ１０１はアバランシェ効果を利用した半導体素子である。ＡＰＤ１０１のカソードは、クエンチ抵抗１０２を介して逆バイアス電圧Ｖ_ＡＰＤの電圧源と接続されている。ＡＰＤ１０１のアノードは、接地されている。ＡＰＤ１０１は、光子の入射によりアバランシェ増倍による電荷を発生させる。発生した電荷は、クエンチ抵抗１０２を介して排出される。

波形整形回路１０３は、入力端子がＡＰＤ１０１のカソードに接続されており、光子の入射に応じた電荷の生成・排出による電位の変化に対し、増幅とエッジ検出を行うことにより、電圧パルスを生成する。このようにＡＰＤ１０１、クエンチ抵抗１０２、波形整形回路１０３は、光子の入射の有無を電圧パルスに変換することにより、１ｂｉｔ型ＡＤ変換部（受光部）として機能する。

カウンタ１０４は、波形整形回路１０３が出力する電圧パルスの数を計数して計数結果（計数値）を出力する計数手段である。これにより、露光期間中の画素値を多ビットで出力することが可能である。カウンタ１０４は、単位画素１００に入力されるカウンタ１０４へのイネーブル信号ＣＮＴ＿ＥＮ、制御信号ＬＯＡＤ＿ＥＮおよびデータ信号ＬＯＡＤ＿ＤＡＴＡの各信号に基づいて、後述のフリップフロップ２００（図２）にデータを設定する。

図２を参照して、カウンタ１０４の具体的な構成および動作について説明する。図２は、カウンタ１０４の構成を説明する図である。カウンタ１０４は、フリップフロップ２００、加算部２０１、カウンタ選択部２０２、ＡＮＤ素子２０３を備える。イネーブル信号ＣＮＴ＿ＥＮと波形整形回路１０３が出力する電圧パルスＰＬＳはＡＮＤ素子２０３に入力され、論理積演算が行われる。イネーブル信号ＣＮＴ＿ＥＮは、電圧パルスＰＬＳを計数するかどうかを決定する制御信号である。カウンタ１０４はイネーブル信号ＣＮＴ＿ＥＮに基づいて電圧パルスＰＬＳのカウントを行う。

加算部２０１は、ＡＮＤ素子２０３の出力とフリップフロップ２００の出力とを加算してカウンタ選択部２０２に出力する。カウンタ選択部２０２には、加算部２０１の出力とデータ信号ＬＯＡＤ＿ＤＡＴＡが入力される。カウンタ選択部２０２は、制御信号ＬＯＡＤ＿ＥＮに基づいて、データ信号ＬＯＡＤ＿ＤＡＴＡに設定するか、または加算部２０１の出力に設定するかを決定する。

フリップフロップ２００はカウンタ選択部２０２により決定された出力信号を保持し、保持した信号に対応するカウンタ値（計数値）を出力する。フリップフロップ２００は非同期リセット信号によってクロックに非同期で初期値ゼロに初期化される。なお、本実施形態にてクロックおよび非同期リセット信号は、撮像素子の撮像部全体で共通の信号である。

図３を参照して、本実施形態に係る撮像素子３００の構成を説明する。撮像素子３００は、複数の単位画素１００を２次元に配列した構成である。図３では便宜上、画素アレイにおける３列×４行の画素群のみを示す。図３の上から１行目および３行目の単位画素１００には、ゼロに対応するデータ信号ＬＯＡＤ＿ＤＡＴＡが設定されている。また、図３の上から２行目および４行目の単位画素１００には、同列の１行目および３行目の単位画素１００のカウンタ値に相当するデータ信号ＬＯＡＤ＿ＤＡＴＡが入力される。つまり、自然数の変数ｉ，ｊを用いると、第２×ｉ行第ｊ列の単位画素には、第２×ｉ－１行第ｊ列の単位画素１００のカウンタ値に相当するデータ信号ＬＯＡＤ＿ＤＡＴＡが入力される。

各単位画素１００の出力については、図３の左から右に向かう方向を基準方向として以下のように定義する。なお、行は図３の上から順に１行目、２行目、３行目、４行目とする。
・１行目においてＣＮＴ００、ＣＮＴ０１、ＣＮＴ０２。
・２行目においてＣＮＴ１０、ＣＮＴ１１、ＣＮＴ１２。
・３行目においてＣＮＴ２０、ＣＮＴ２１、ＣＮＴ２２。
・４行目においてＣＮＴ３０、ＣＮＴ３１、ＣＮＴ３２。
本実施形態では、間引き読み出しを行う際の垂直方向における間引き率を１／２とし、２行目および４行目の画素値（ＡＰＤ１０１の出力）を間引いて読み出す処理が行われるものとする。

撮像素子３００は、複数のスイッチ素子３０１、水平選択回路３０２、複数のスイッチ素子３０３、タイミングジェネレータ（以下、ＴＧとも記す）３０４、制御部３０５、垂直選択回路３０６を備える。信号線３０８は、全ての単位画素１００に制御信号ＬＯＡＤ＿ＥＮを供給する。制御信号ＬＯＡＤ＿ＥＮは制御部３０５から信号線３０８に出力され、１行目と２行目、３行目と４行目の同列の単位画素１００は２つ単位でシフトレジスタのように動作する。制御信号ＬＯＡＤ＿ＥＮの出力に係る制御は、制御部３０５が内部に備える不図示のスイッチ素子を用いて行われる。

信号線３１０および信号線３１１は、各単位画素１００のカウンタ１０４での計数を行うかどうかを制御するイネーブル信号ＣＮＴ＿ＥＮを供給する。信号線３１０は、１行目および３行目の各単位画素１００のカウンタ１０４を制御するイネーブル信号ＣＮＴ＿ＥＮを供給する。信号線３１１は、２行目および４行目の各単位画素１００のカウンタ１０４を制御するイネーブル信号ＣＮＴ＿ＥＮを供給する。撮像素子３００の間引き読み出し動作を行うモード時には、蓄積動作中に信号線３１０のイネーブル信号ＣＮＴ＿ＥＮのみがハイ（Ｈ）レベルとなるように制御される。また全画素読み出し動作を行うモード時には、蓄積動作中に信号線３１０および信号線３１１の各イネーブル信号ＣＮＴ＿ＥＮが同じタイミングでＨレベルの期間となるように制御される。

ＴＧ３０４は不図示のカウンタに基づいて、撮像期間や転送期間等のタイミングの通知用信号を生成して垂直選択回路３０６、水平選択回路３０２に出力する。
制御部３０５は、ＴＧ３０４によって通知された撮像期間およびフレームのカウントに基づいて、単位画素１００に信号線３０８を介して供給される制御信号ＬＯＡＤ＿ＥＮ、信号線３１０、信号線３１１を介して供給されるイネーブル信号ＣＮＴ＿ＥＮの制御を行う。

水平選択回路３０２は、ＴＧ３０４によって通知されたタイミングに基づいて水平伝送路に対する、複数のスイッチ素子３０３のＯＮ／ＯＦＦを制御する。スイッチ素子３０３がＯＮになったときに、垂直伝送路の出力が水平伝送路へ順次に伝送される。

垂直選択回路３０６は、ＴＧ３０４によって通知されたタイミングに基づいて、垂直伝送路に対する、複数のスイッチ素子３０１のＯＮ／ＯＦＦを制御する。スイッチ素子３０１がＯＮになったときに、当該スイッチ素子３０１に対応する垂直伝送路へ単位画素１００の計数結果が伝送される。

次に、図４のタイミングチャートを参照して、撮像素子３００の間引き読み動作について説明する。図４は、本実施形態の撮像素子３００の駆動を説明するタイミングチャートである。図４は単位画素１００における撮像駆動を示しており、当該撮像駆動を複数の単位画素１００にて並列して行うことにより、光学像がデジタル信号に変換される。本実施形態では、間引き読み出しとして、偶数行の各単位画素１００から信号を出力しないように間引き、奇数行の各単位画素１００の露光の結果を取得する垂直１／２間引きを例に説明する。

出力ＣＮＴ００に対応する単位画素１００が備えるＡＰＤ１０１およびクエンチ抵抗１０２により生成される波形をＡＰＤ００と表記し、波形整形回路１０３から出力される電圧パルスをＰＬＳ００と表記する。また、水平伝送路の出力をＲＥＡＤ＿ＤＡＴＡと表記する。単位画素１００の計数結果は、スイッチ素子３０１およびスイッチ素子３０３の制御によって垂直伝送路および水平伝送路を介して順次出力される。なお、信号線３０８に出力される制御信号ＬＯＡＤ＿ＥＮ、信号線３１０および信号線３１１に出力されるイネーブル信号ＣＮＴ＿ＥＮ、出力ＣＮＴ００から出力ＣＮＴ３２については図３で説明済みである。図４において、信号線３０８に出力される制御信号ＬＯＡＤ＿ＥＮをＬＯＡＤ＿ＥＮ３０８と記載し、信号線３１０および信号線３１１に出力されるＣＮＴ＿ＥＮをそれぞれＣＮＴ＿ＥＮ３１０およびＣＮＴ＿ＥＮ３１１と記載する。

図４に示す時刻ｔ４００から時刻ｔ４１０は、単位画素１００の駆動に関する各種のタイミングを表している。時刻ｔ４００から時刻ｔ４０３までの期間は初期化期間であり、時刻ｔ４０３から時刻ｔ４０４までの期間は第１の撮像期間である（第１フレーム）。時刻ｔ４０４から時刻ｔ４０６までの期間は初期化期間である。時刻ｔ４０６から時刻ｔ４０８までの期間は第２の撮像期間である（第２フレーム）。時刻ｔ４０８から時刻ｔ４１０までの期間は初期化期間である。時刻ｔ４１０以降の所定期間は第３の撮像期間である（第３フレーム）。

時刻ｔ４００は、単位画素１００のフリップフロップ２００の値の初期化を開始するタイミングを表し、この時点で制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルがＨとなる。このとき、出力ＣＮＴ００～ＣＮＴ３２の値は不定（Ｘと表記する）である。

時刻ｔ４０１で、では、不図示のクロックに同期して、１行目の出力ＣＮＴ００～ＣＮＴ０２に対応する単位画素および３行目の出力ＣＮＴ２０～ＣＮＴ２２に対応する単位画素１００にそれぞれ、ゼロがロードされる。また、２行目の出力ＣＮＴ１０～ＣＮＴ１２に対応する単位画素１００および４行目の出力ＣＮＴ３０～３２に対応する単位画素１００にそれぞれ、１行目および３行目における同列の単位画素１００のカウンタ出力がロードされる。時刻ｔ４０１では、時刻ｔ４００での１行目および３行目の各単位画素１００の計数出力がＸであるため、２行目および４行目の各単位画素１００にＸがロードされる。

時刻ｔ４０２で、２行目の出力ＣＮＴ１０～ＣＮＴ１２に対応する単位画素および４行目の出力ＣＮＴ３０～ＣＮＴ３２に対応する単位画素にはそれぞれ、１行目および３行目の同列の単位画素の出力値であるゼロがロードされて初期化が行われる。また、同じタイミング（時刻ｔ４０２）で、制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルはＬとなる。

時刻ｔ４０３で、イネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＨとなり、露光期間が開始する（第１の撮像期間の開始）。ＡＰＤ１０１に光が入射され、電圧パルスＰＬＳ００の信号が立ち上がることで、略同一のタイミングで出力ＣＮＴ００の値は初期値に対して１を加算した値に変化する。１行目の出力ＣＮＴ０１と出力ＣＮＴ０２、および３行目の出力ＣＮＴ２０から出力ＣＮＴ２２においても、それぞれ対応する単位画素のＡＰＤ１０１の変化によって同様の処理が行われる。

時刻ｔ４０４で、イネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＬとなり、露光期間が完了する（第１の撮像期間の終了）。露光期間が完了した際、出力ＣＮＴ００～ＣＮＴ０２の計数結果（計数値）はそれぞれＣ００～Ｃ０２であり、出力ＣＮＴ２０～ＣＮＴ２２の計数結果はそれぞれＣ２０～Ｃ２２である。また、同じタイミング（時刻ｔ４０４）で、制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルがＨとなり、１行目と３行目で初期化期間が開始される。

時刻ｔ４０５で、１行目の出力ＣＮＴ００から出力ＣＮＴ０２に対応する単位画素１００および３行目の出力ＣＮＴ２０から出力ＣＮＴ２２に対応する単位画素１００にそれぞれ、ゼロがロードされ、初期化が行われる。また、２行目の出力ＣＮＴ１０から出力ＣＮＴ１２に対応する単位画素１００にはＣ００からＣ０２がロードされ、４行目の出力ＣＮＴ３０～ＣＮＴ３２に対応する単位画素１００にはＣ２０からＣ２２がロードされる。このように、第１フレーム（現フレーム）での計数結果を、間引き対象の行即ち第２フレーム（次フレーム）で計数を行わない２行目および４行目に転送することで、第２フレームにおいても計数を行う１行目のおよび３行目を利用できる状態とすることができる。また、同じタイミング（時刻ｔ４０５）で制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルがＬとなる。

さらに、時刻ｔ４０５で、２行目および４行目の各単位画素１００のフリップフロップ２００から画素データの読み出しが開始される。具体的には、２行目のスイッチ素子３０１が有効となると、各列の垂直伝送路に２行目の出力ＣＮＴ１０から出力ＣＮＴ１２に対応する単位画素１００にロードされたＣ００からＣ０２の値が出力される。そして、１列目のスイッチ３０３から３列目のスイッチ３０３が順次有効となることで２行目の画素データを水平伝送路から出力する。４行目においても同様の処理を行う。４行目のスイッチ素子３０１が有効となると、各列の垂直伝送路に４行目の出力ＣＮＴ３０から出力ＣＮＴ３２に対応する単位画素１００にロードされたＣ２０からＣ２２の値が出力される。そして、１列目のスイッチ３０３から３列目のスイッチ３０３が順次有効となることで４行目の画素データを水平伝送路から出力する。このように、本実施形態では、１行目および３行目の単位画素１００で受光した画素値に対応した画素データの読み出しを、２行目および４行目のフリップフロップ２００から行う。

時刻ｔ４０６で、イネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＨとなり、時刻ｔ４０３と同様に露光期間が開始される（第２の撮像期間の開始）。１行目の出力ＣＮＴ０１と出力ＣＮＴ０２、および３行目の出力ＣＮＴ２０から出力ＣＮＴ２２において、それぞれ対応する単位画素１００のＡＰＤ１０１の変化に応じた信号を計数する処理が行われる。

時刻ｔ４０６において、２行目および４行目の各単位画素１００のフリップフロップ２００からの読み出しは完了していない。即ち、第１フレームの読み出し期間の一部が、第２フレームの露光期間に重なっている。本実施形態では、読み出しを行うフリップフロップ２００と露光による積分を行うフリップフロップ２００を、間引き対象となる単位画素１００と読み出し対象となる単位画素１００に行単位で振り分けることで、同一期間の読み出しと露光を実現する。
時刻ｔ４０７で、４行目の出力ＣＮＴ３０から出力ＣＮＴ３２に対応する単位画素１００にロードされたＣ２０からＣ２２の値の読み出しが完了する。

時刻ｔ４０８で、時刻ｔ４０４と同様に、イネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＬとなり、露光期間が完了する（第２の撮像期間の終了）。露光期間が完了した際、出力ＣＮＴ００～ＣＮＴ０２の計数結果はそれぞれＣ１００～Ｃ１０２であり、出力ＣＮＴ２０～ＣＮＴ２２の計数結果は、それぞれＣ１２０～Ｃ１２２である。また、同じタイミング（時刻ｔ４０８）で、制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルがＨとなり、１行目と３行目で初期化期間が開始される。

時刻ｔ４０９で、時刻ｔ４０５と同様に、１行目の出力ＣＮＴ００から出力ＣＮＴ０２に対応する単位画素１００および３行目の出力ＣＮＴ２０から出力ＣＮＴ２２に対応する単位画素１００にそれぞれ、ゼロがロードされる。また、２行目の出力ＣＮＴ１０から出力ＣＮＴ１２に対応する単位画素１００にはＣ１００からＣ１０２がロードされ、４行目の出力ＣＮＴ３０～ＣＮＴ３２に対応する単位画素１００にはＣ１２０からＣ１２２がロードされる。また、同じタイミング（時刻ｔ４０９）で制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルがＬとなる。

さらに、時刻ｔ４０５で、２行目および４行目の各単位画素１００のフリップフロップ２００から画素データの読み出しが開始される。具体的には、２行目のスイッチ素子３０１が有効となると、各列の垂直伝送路に２行目の出力ＣＮＴ１０から出力ＣＮＴ１２に対応する単位画素１００にロードされたＣ１００からＣ１０２の値が出力される。そして、１列目のスイッチ３０３から３列目のスイッチ３０３が順次有効となることで２行目の画素データを水平伝送路から出力する。４行目においても同様の処理を行う。４行目のスイッチ素子３０１が有効となると、各列の垂直伝送路に４行目の出力ＣＮＴ３０から出力ＣＮＴ３２に対応する単位画素１００にロードされたＣ１２０からＣ１２２の値が出力される。そして、１列目のスイッチ３０３から３列目のスイッチ３０３が順次有効となることで４行目の画素データを水平伝送路から出力する。

時刻ｔ４１０で、イネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＨとなり、時刻ｔ４０６と同様に露光期間が開始される（第３の撮像期間の開始）。１行目の出力ＣＮＴ０１と出力ＣＮＴ０２、および３行目の出力ＣＮＴ２０から出力ＣＮＴ２２において、それぞれ対応する単位画素１００のＡＰＤ１０１の変化応じた信号を計数する処理が行われる。このように時刻ｔ４１０以降、時刻ｔ４０６から時刻ｔ４１０の動作を繰り返す。

なお、本実施形態では垂直１／２間引きにおける例を説明したが、垂直の間引き率が１／２間引きに限定されるものではなく、１／２間引き以上の間引き率であればよい。また、本実施形態では垂直方向の間引きについての例を説明したが、垂直方向の間引きだけではなく、例えば水平方向の間引きに適用してもよい。即ち、間引かれる単位画素１００および画像の取得に用いられる単位画素は、行方向または列方向にて周期的に配列される複数の単位画素１００に対応していればよい。

また、本実施形態では、読み出しを行うフリップフロップ２００と露光による積分を行うフリップフロップ２００を、間引き対象となる単位画素１００と読み出し対象となる単位画素１００に行単位で振り分ける例を説明したがこれに限られるものではない。例えば、機能画素を埋め込んだ撮像素子において、各機能画素に割り当てられる複数のカウンタを露光用と読み出し用に切り替えて活用してもよい。機能画素とは、例えば１つのマイクロレンズの下に複数の副画素を有するような画素などである。

続いて、図５を参照して、撮像素子３００を用いた撮像装置６００の構成の概要について説明する。撮像装置６００は、光学系ユニット６０１、撮像素子３００、信号整形部５０２、画像処理部５０３、記録部５０４、表示部５０５、システム制御部５０６を備える。なお、本実施形態では、レンズとカメラ本体とが一体となった撮像装置を例に説明するが、これに限られるものではなく、レンズが着脱可能なレンズ交換式の撮像装置であってもよい。

光学系ユニット５０１は、焦点調節を行うためのフォーカスレンズや、撮像光学系を構成する可動レンズ（シフトレンズ等）、固定レンズ、シャッタ、絞り、レンズ制御部等で構成される。光学系ユニット５０１は撮像素子３００上に光学像を結像する。撮像素子３００は、光学系ユニット５０１によって結像された被写体像を光電変換してパルス信号をカウンタ１０４で計数し、出力信号（カウンタ出力）を信号整形部５０２に出力する。

信号整形部５０２は、撮像素子３００から出力される出力信号を所定の手順に従って整形し、撮像信号を生成する。画像処理部５０３は、信号整形部５０２で生成された画像信号に対し、例えば、ホワイトバランス等の画像処理を行う。画像処理部７０５で各種画像処理が行われた画像信号は、不図示の圧縮部にて圧縮符号化され、記録部５０４に記録される。

記録部５０４は、撮像装置に対して着脱可能な記録媒体であってもよいし、撮像装置に内蔵されたメモリであってもよい。表示部５０５は液晶ディスプレイ等の表示デバイスを備え、画像処理部５０３から出力された画像データにしたがって画像を画面上に表示する。システム制御部５０６は、各種演算を行い、撮像装置５００全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

以上説明したように、本実施形態によると、間引き読み出しモードにおいて使用しないカウンタのフリップフロップに別行の同列のカウンタの出力を所定のタイミングでロードする。これにより、電荷保持用の回路を別途設けることなく、各単位画素１００の露光期間を同一期間に設定することが可能となる。そのため、間引き読みを行うことが可能な１ｂｉｔ型ＡＤ変換部とカウンタを有する撮像素子において、電荷保持用の回路の規模を抑えつつもローリングシャッタ歪みを軽減することが可能となる。

（第２実施形態）
第１実施形態では、間引き読みのモードにおいて使用しないカウンタのフリップフロップに別行の同列のカウンタの出力を所定のタイミングでロードすることによって、読み出しタイミングによらない同一の露光期間を実現できる構成について説明を行った。本実施形態では、波形整形回路１０３からの出力パルスの計数先のカウンタを切り替えることによって、第１実施形態と同様の効果が得られる撮像素子について説明を行う。

図６を参照して、本実施形態に係る撮像素子を構成する画素アレイの構成要素である単位画素６００について説明する。図６は、第２実施形態の単位画素６００の構成を示す図である。単位画素６００は、第１実施形態と異なり、単位画素６００は、複数のＡＰＤ１０１、複数のクエンチ抵抗１０２、複数の波形整形回路１０３、複数のカウンタ７００および出力切替部６０１、ＡＮＤ素子６０２、ＯＲ素子６０３を備える。

具体的には、図６の上側に示す第１の画素構成部は第１のＡＰＤ１０１ａ、第１のクエンチ抵抗１０２ａ、第１の波形整形回路１０３ａ、出力切替部６０１、第１のカウンタ７００ａを有する。第１の画素構成部は、第１実施形態の常時読み出される画素に対応している。一方、図６の下側に示す第２の画素構成部は第２のＡＰＤ１０１ｂ、第２のクエンチ抵抗１０２ｂ、第２の波形整形回路１０３ｂ、ＡＮＤ素子６０２、ＯＲ素子６０３、第２のカウンタ７００ｂを有する。第２の画素構成部は、第１実施形態の間引き対象の単位画素に対応している。

第１のカウンタ７００ａにはイネーブル信号ＣＮＴ＿ＥＮと、リセット信号ＳＲＥＳＥＴ０と、出力切替部６０１の出力信号が入力される。第１のカウンタ７００ａには、リセット信号ＳＲＥＳＥＴ０によりゼロがロードされる。出力切替部６０１は、選択信号ＣＮＴ＿ＳＥＬに基づいて、波形整形回路１０３の出力先を切り替えて、第１のカウンタ７００ａまたはＯＲ素子６０３に信号を出力する。

また、第２のカウンタ７００ｂにはイネーブル信号ＣＮＴ＿ＥＮと、リセット信号ＳＲＥＳＥＴ１と、ＯＲ素子６０３の出力信号が入力される。第２のカウンタ７００ｂには、リセット信号ＳＲＥＳＥＴ１によりゼロがロードされる。ＡＮＤ素子６０２は、間引き読み出しモードかどうかに応じた制御を行うための論理素子である。ＯＲ素子６０３は、出力切替部６０１の出力とＡＮＤ素子６０２の出力との論理和演算を行う論理素子である。

各部の動作について説明する。第１の画素構成部の出力切替部６０１は、制御部３０５の出力である選択信号ＣＮＴ＿ＳＥＬに基づいて、第１の波形整形回路１０３の出力をカウンタ７００ａまたはカウンタ７００ｂのどちらに入力するかを切り替える。出力切替部６０１は、選択信号ＣＮＴ＿ＳＥＬの信号レベルがＬであるときに、第１のカウンタ７００ａに第１の波形整形回路１０３ａの出力パルスを入力する。また出力切替部６０１は、選択信号ＣＮＴ＿ＳＥＬの信号レベルがＨのときに、ＯＲ素子６０３を介して第２のカウンタ７００ｂに第１の波形整形回路１０３ａの出力パルスを入力する。

ＡＮＤ素子６０２には、間引きモードであることを示す間引き信号ＭＡＢＩＫＩ＿ＥＮと、第２の波形整形回路１０３ｂの出力が入力される。ＡＮＤ素子６０２は、間引き信号ＭＡＢＩＫＩ＿ＥＮの信号レベルがＨのときに、間引き対象のＡＰＤ１０１ｂに対応した第２の波形整形回路１０３ｂの出力をマスクする。またＡＮＤ素子６０２は、間引き信号ＭＡＢＩＫＩ＿ＥＮの信号レベルがＬのときに、第２の波形整形回路１０３ｂの出力をそのまま通過させてＯＲ素子６０３に入力する。

ＯＲ素子６０３には、出力切替部６０１の出力と、ＡＮＤ素子６０２の出力とが入力される。ＯＲ素子６０３は、選択信号ＣＮＴ＿ＳＥＬに基づいて動作する出力切替部６０１の出力と、第２の波形整形回路１０３ｂに基づくパルスとの論理和演算の結果を表す信号を、第２のカウンタ７００ｂに出力する。

図７を参照して、カウンタ７００ａ，７００ｂの具体的な構成および動作について説明する。図７は、カウンタ７００ａ，７００ｂの構成を説明する図である。第１のカウンタ７００ａおよび第２のカウンタ７００ｂは同じ構成であるため、まとめて説明する。図２に示す構成との主な相違点は、第１実施形態で説明したカウンタ選択部２０２が、カウンタ選択部７０１に変更されている点である。

カウンタ選択部７０１には、加算部２０１の出力と、データ０が入力され、リセット信号ＳＲＥＳＥＴ（ＳＲＥＳＥＴ０またはＳＲＥＳＥＴ１）に応じて選択される信号をフリップフロップ２００に出力する。カウンタ選択部７０１は、リセット信号ＳＲＥＳＥＴが入力されると、不図示のクロックに同期してデータ０を選択する。それにより、フリップフロップ２００に保持されている値をゼロに設定する制御が行われる。またカウンタ選択部７０１は、リセット信号ＳＲＥＳＥＴが入力されないときには、加算部２０１の出力を選択してフリップフロップ２００に出力する。

次に、図８を参照して撮像素子６００の構成について説明する。図８は、第２実施形態における撮像素子８００の構成を説明する図である。第１実施形態で説明した撮像素子３００との相違点は、奇数行と偶数行の画素をそれぞれ、列単位に配置される第１および第２の画素構成部を有する単位画素６００で構成している点である。例えば、図８に示す６個の単位画素６００のうち、上側の左端に示す単位画素６００は、図３に示す１２個の単位画素１００のうち、第１行および第２行の左端に示す２個の単位画素に対応している。制御部３０５は、間引き信号ＭＡＢＩＫＩ＿ＥＮ、選択信号ＣＮＴ＿ＳＥＬ、リセット信号ＳＲＥＳＥＴ０、リセット信号ＳＲＥＳＥＴ１の各信号を単位画素６００にそれぞれ出力する。

次に、図９のタイミングチャートを参照して、撮像素子８００の間引き読み出し動作を説明する。図９は、第２実施形態の撮像素子８００の駆動を説明するタイミングチャートである。図９は、１つの単位画素６００における撮像駆動を示しており、撮像駆動を複数の単位画素６００に並行して行うことにより光学像がデジタル信号に変換される。図９に示す記号については、図４で使用した表記法を踏襲する。

図９に示す時刻ｔ９００から時刻ｔ９０９は、単位画素６００の駆動に関する各種のタイミングを表している。時刻ｔ９００から時刻ｔ９０２までの期間は、初期化期間である。時刻ｔ９０２から時刻ｔ９０３までの期間は、第１の撮像期間である（第１フレーム）。時刻ｔ９０３から時刻ｔ９０６までの期間は、初期化期間である。時刻ｔ９０６から時刻ｔ９０７までの期間は、第２の撮像期間である（第２フレーム）。時刻ｔ９０７から時刻ｔ９０９までの期間は、初期化期間である。

時刻ｔ９００は、単位画素６００におけるフリップフロップ２００の値を初期化するタイミングであって、奇数行の同期リセットを行うリセット信号ＳＲＥＳＥＴ０の信号レベルがＨとなる。このとき、出力ＣＮＴ００～ＣＮＴ３２の値はＸ（不定）である。また、間引き読み出しモードの設定として、間引き信号ＭＡＢＩＫＩ＿ＥＮの信号レベルが時刻ｔ９００からＨに設定される。

時刻ｔ９０１において、不図示のクロックに同期して１行目の出力ＣＮＴ００～ＣＮＴ０２および３行目の出力ＣＮＴ２０～ＣＮＴ２２を出力しているカウンタのフリップフロップ２００にはゼロがロードされ、リセット信号ＳＲＥＳＥＴ０の信号レベルがＬとなる。

時刻ｔ９０２では初期化期間が完了し、イネーブル信号ＣＮＴ＿ＥＮの信号レベルがＨとなり、露光期間が開始する。ＡＰＤ１０１に光が入射され、電圧パルスＰＬＳ００の信号が立ち上がることで、略同一のタイミングで出力ＣＮＴ００の値は初期値に対して１を加算した値に変化する。１行目の出力ＣＮＴ０１、出力ＣＮＴ０２および３行目の出力ＣＮＴ２０から出力ＣＮＴ２２においても対応する画素構成部のＡＰＤ１０１の変化によって同様の処理が行われる。

時刻ｔ９０３ではイネーブル信号ＣＮＴ＿ＥＮの信号レベルがＬとなり、露光期間が完了する。出力ＣＮＴ００～ＣＮＴ０２の計数結果はＣ００～Ｃ０２として、また出力ＣＮＴ２０～ＣＮＴ２２の計数結果はＣ２０～Ｃ２２として読み出しが開始される。１行目のスイッチ素子３０１が有効（ＯＮ）となると、各列の垂直伝送路に出力ＣＮＴ００～ＣＮＴ０２の値が出力される。以降、１列目のスイッチ素子３０３から３列目のスイッチ素子３０３が順次に有効（ＯＮ）になることで１行目の画素データが水平伝送路に出力される。次に、３行目についても同様の動作が行われる。

時刻ｔ９０４ではリセット信号ＳＲＥＳＥＴ１の信号レベルがＨとなり、偶数行の初期化が開始される。また、選択信号ＣＮＴ＿ＳＥＬの信号レベルがＨに設定されることで、計数先が間引かれる第２のＡＰＤ１０１ｂ（第２の画素構成部）に対応した第２のカウンタのフリップフロップ２００に変更される。
時刻ｔ９０５において、不図示のクロックに同期して２行目の出力ＣＮＴ１０～ＣＮＴ１２および４行目の出力ＣＮＴ３０～ＣＮＴ３２を出力しているカウンタ７００のフリップフロップ２００にはゼロがロードされ、リセット信号ＳＲＥＳＥＴ１の信号レベルがＬとなる。

時刻ｔ９０６では、時刻ｔ９０２と同様にイネーブル信号ＣＮＴ＿ＥＮの信号レベルがＨとなり、露光期間が開始する。ＡＰＤ１０１に光が入射されて電圧パルスＰＬＳ００の信号が立ち上がることで、略同一のタイミングで出力ＣＮＴ１０の値は初期値に対して１を加算した値に変化する。２行目の出力ＣＮＴ１１、出力ＣＮＴ１２および４行目の出力ＣＮＴ３０～ＣＮＴ３２においても対応する第２の画素構成部のＡＰＤ１０１の変化によって同様に処理が行われる。このとき、１行目および３行目の読み出しはまだ完了していない。つまり、読み出しの完了に関係なく露光期間の開始が可能となる。

時刻ｔ９０７で露光期間が完了し、イネーブル信号ＣＮＴ＿ＥＮの信号レベルがＬとなり、読み出しが開始される。時刻ｔ９０３では１行目と３行目のカウンタ７００のフリップフロップ２００の出力について順次転送が行われたが、２フレーム目では２行目と４行目の順番で読み出す制御が行われる。

時刻ｔ９０８では選択信号ＣＮＴ＿ＳＥＬの信号レベルがＬとなり、またリセット信号ＳＲＥＳＥＴ０の信号レベルがＨとなり、初期化が開始される。時刻ｔ９０９では、時刻５７０１と同様に、１行目および３行目の各カウンタのフリップフロップ２００にゼロが設定され、リセット信号ＳＲＥＳＥＴ０の信号レベルがＬとなる。以降、説明を行った時刻ｔ９０２から時刻ｔ９０９での動作制御が繰り返し行われる。

以上説明したように、本実施形態では、計数先であるカウンタをフレーム単位で切り替える制御を行う。これにより、間引き読み出しモードにおいて、フレームメモリを有することなく、各単位画素１００の露光期間を同一期間に設定することが可能となる。そのため、間引き読みを行うことが可能な１ｂｉｔ型ＡＤ変換とカウンタを有する撮像素子において、電荷保持用の回路の規模を抑えつつもローリングシャッタ歪みを抑制することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 単位画素
１０１ アバランシェフォトダイオード
１０４ カウンタ
３００ 撮像素子
３０５ 制御部

Claims (10)

1. ２次元に配列された複数の光電変換部と、
   前記複数の光電変換部の出力に基づく信号を計数して保持する複数の計数手段と、
   複数の前記光電変換部のうち、第１の光電変換部の信号を出力し、第２の光電変換部の信号を出力しないモードにおいて、前記第１の光電変換部の出力に基づく信号を第１の計数手段で計数し、前記第１の計数手段により計数された計数値を前記第２の光電変換部の出力に基づく信号を計数するための第２の計数手段によって保持するように制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の計数手段は、現フレームでの前記第１の光電変換部の出力に基づく信号を計数し、前記第２の計数手段は、次フレームでの計数を行わないことを特徴とする請求項１に記載の撮像装置。
3. 前記現フレームでの前記計数値を出力する期間の一部は、次フレームでの計数値を計数する期間と重なることを特徴とする請求項２に記載の撮像装置。
4. 前記第１の光電変換部における露光は、複数の前記第１の光電変換部のすべてで同時に行われることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記計数値を計数した第１の計数手段を初期化するタイミングで、前記計数値を第２の計数手段に転送する制御を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の光電変換部および前記第２の光電変換部は、行方向または列方向にて周期的に配列されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記光電変換部から出力される信号を複数の前記計数手段のいずれかに出力する切替手段を備え、
   前記制御手段は、前記第１の光電変換部からの信号を、前記第１の計数手段へ出力するか前記第２の計数手段へ出力するか、前記切替手段を制御することによって制御する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第１の光電変換部からの信号の出力先となる前記計数手段を、フレームごとに切り替える制御を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記光電変換部はアバランシェ効果を用いた光電変換素子を有し、複数の前記光電変換素子の出力信号からそれぞれ生成されるパルスを前記複数の計数手段により計数することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. ２次元に配列された複数の光電変換部と、前記複数の光電変換部の出力に基づく信号を計数する複数の計数手段とを備える撮像装置の制御方法であって、
    複数の前記光電変換部のうち、第１の光電変換部の信号を出力し、第２の光電変換部の信号を出力しないモードにおいて、
    前記第１の光電変換部の出力に基づく信号を第１の計数手段で計数する工程と、
    前記第１の計数手段により計数された計数値を前記第２の光電変換部の出力に基づく信号を計数するための第２の計数手段によって保持する工程と、を有する
    ことを特徴とする撮像装置の制御方法。

Images