JP6650715B2 - 撮像素子及びその制御方法、及び撮像装置 - Google Patents

撮像素子及びその制御方法、及び撮像装置 Download PDF

Info

Publication number
JP6650715B2
JP6650715B2 JP2015192217A JP2015192217A JP6650715B2 JP 6650715 B2 JP6650715 B2 JP 6650715B2 JP 2015192217 A JP2015192217 A JP 2015192217A JP 2015192217 A JP2015192217 A JP 2015192217A JP 6650715 B2 JP6650715 B2 JP 6650715B2
Authority
JP
Japan
Prior art keywords
signal
photoelectric conversion
unit
output
holding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015192217A
Other languages
English (en)
Other versions
JP2017069724A (ja
Inventor
敏和 柳井
敏和 柳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015192217A priority Critical patent/JP6650715B2/ja
Publication of JP2017069724A publication Critical patent/JP2017069724A/ja
Application granted granted Critical
Publication of JP6650715B2 publication Critical patent/JP6650715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像素子及び該撮像素子を備えた撮像装置、及び該撮像素子の制御方法に関する。
近年、複数の光電変換部による画素内瞳分割機能を有する画素を備えた撮像素子を用いた、所謂、撮像面位相差検出方式の焦点検出を行う焦点検出方法が提案されている。このような焦点検出方法に利用可能な信号を出力する撮像素子の一例として、2次元に配列したマイクロレンズアレイのマイクロレンズ毎に、1対の光電変換部を設けた画素を有するものがある。
特許文献1では、上述したような撮像素子を用いた次のような制御が開示されている。まず、マイクロレンズにより瞳分割された光電変換部Aと光電変換部Bを有する画素から、光電変換部Aの出力信号であるA像信号と光電変換部Aと光電変換部Bの加算信号であるA+B像信号を読み出す。そして、(A+B像信号)−(A像信号)によりB像信号を計算し、得られたA像信号とB像信号を用いて位相差検出方式の焦点検出を実施するとともに、A+B像信号を用いて被写体画像を作成する。しかしながら、A像信号とA+B像信号を読み出すと、読み出し時間が2倍かかるためフレームレートが低下するという問題がある。
そこで、特許文献2には、1本の垂直信号線に対して2系統のAD変換処理部を設け、A像信号とA+B像信号を並列にAD変換する方法が提案されている。
また、特許文献3では、焦点検出領域を含まない行からはA+B像信号のみを読み出すようにすることで、フレームレートを改善することが開示されている。
特開2013−106194号公報 特開2013−183279号公報 特開2013−211833号公報
しかしながら、特許文献2に記載された方法では、フレームレートが高いまま2つのAD変換処理部を同時に動作させると、消費電力が高くなるという問題が生じる。
また、特許文献3に記載された方法では、A像信号とA+B像信号の両方を読み出す行の水平同期期間とA+B像信号のみを読み出す行の水平同期期間の長さが異なってしまう。この状態で、露光時間制御のために電子シャッタを用いると、A像信号とA+B像信号の両方を読み出す水平同期期間に同期して実施される露光時間と、A+B像信号のみを読み出す水平同期期間に同期して実施される露光時間とのずれ量が、画面内で異なるという問題が生じる。そのため、焦点検出領域を含む行と、焦点検出領域を含まない行とで、露光期間のずれ量が異なるので、焦点検出領域の境界で、ローリングシャッタにより移動被写体に生じるローリング歪が不自然に曲がってしまう。
このように、撮像面位相差検出方式の焦点検出を実施するとともに、A+B像信号を用いて被写体画像を作成するためには、フレームレートの維持と消費電力削減、露光時間の均一化とローリング歪の曲がりを解消するという課題がある。
本発明は上記問題点を鑑みてなされたものであり、画素内瞳分割機能を有する画素から、焦点検出に用いる信号と画像生成に用いる信号とを読み出す際の消費電力を削減すると共に、一定のレートで高速に読み出せるようにすることを目的とする。
上記目的を達成するために、本発明の撮像素子は、行列状に配列された複数のマイクロレンズそれぞれに対して設けられた第1から第4の光電変換部と、前記第1からの光電変換部から転送された信号を一時的に保持する保持手段と、を備える画素領域と、複数の読み出し動作のうちのいずれかを行って前記保持手段から信号を読み出す駆動手段と、を有し、前記複数の読み出し動作は、前記第1の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1及び第2の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1から第4の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力する第1の読み出し動作と、前記第1の光電変換部から前記保持手段へ信号転送、及び、前記第1及び第2の光電変換部から前記保持手段への信号を転送を順次、行い、前記保持手段に保持された信号を前記画素領域の外に出力せずに、前記第1からの光電変換部から前記保持手段へ信号を転送し、前記保持手段に保持された信号を前記画素領域の外に出力する第2の読み出し動作と、を含み、前記第1の読み出し動作と前記第2の読み出し動作において、前記保持手段への信号の転送を同じタイミングで行い、前記駆動手段は、焦点検出領域を含まない行から信号を読み出す場合に、前記第2の読み出し動作を行う。
本発明によれば、画素内瞳分割機能を有する画素から、焦点検出に用いる信号と画像生成に用いる信号とを読み出す際の消費電力を削減すると共に、一定のレートで高速に読み出すことができる。
本発明の実施形態に係る撮像装置の構成を示すブロック図。 第1の実施形態に係る撮像素子の概略構成を示す図。 第1の実施形態に係る画素の構成を示す等価回路図。 第1の実施形態に係る画素の概略構成を示す図。 第1の実施形態に係る列信号処理部の回路構成を示す図。 第1の実施形態に係る撮像素子の第1の読み出し動作を説明するタイミング図。 第1の実施形態に係る撮像素子の第2の読み出し動作を説明するタイミング図。 第1の実施形態に係る撮像素子の第3の読み出し動作を説明するタイミング図。 第1及び第2の実施形態に係る焦点検出領域の配置例を示す図。 第2の実施形態に係る画素の構成を示す等価回路図。 第2の実施形態に係る画素の概略構成を示す図。 第2の実施形態に係る列信号処理部の回路構成を示す図。 第2の実施形態に係る撮像素子の第4の読み出し動作を説明するタイミング図。 第2の実施形態に係る撮像素子の第5の読み出し動作を説明するタイミング図。 第2の実施形態に係る撮像素子の第6の読み出し動作を説明するタイミング図。 第3の実施形態に係る撮像素子の第7の読み出し動作を説明するタイミング図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
<第1の実施形態>
本発明の第1の実施形態について説明する。図1は、第1の実施形態に係る撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。
図1に示す撮像装置は、光学鏡筒11、撮像素子12、信号処理部13、圧縮伸張部14、同期制御部15、操作部16、画像表示部17及び画像記録部18を備えている。
光学鏡筒11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部15からの制御信号に基づいて駆動される。
撮像素子12は、例えばXYアドレス方式のCMOSセンサである。撮像素子12は、CDS(Correlated Double Sampling)回路、AGC(Auto Gain Control)回路、AD(Analog Digital)変換器等を備え、同期制御部15からの制御信号により制御される。CMOSセンサは、同期制御部15からの制御信号に応じて撮像(露光や信号読み出し、リセットなどの撮像動作)を実行し、画像信号を出力する。そして、CDS回路によるノイズ除去、AGC回路による利得制御、及び、AD変換器によるアナログデジタル変換を経て、デジタル化された画像信号を出力する。
信号処理部13は、同期制御部15の制御の下で、撮像素子12から入力されるデジタル化された画像信号に対して、ホワイトバランス調整処理や色補正処理、AF(Auto Focus)処理、AE(Auto Exposure)処理等の信号処理を実行する。圧縮伸張部14は、同期制御部15の制御の下で動作し、信号処理部13からの画像信号に対して、JPEG(Joint Photographic Coding Experts Group)方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、同期制御部15から供給された静止画像の符号化データを伸張復号化処理する。さらに、MPEG(Moving Picture Experts Group)方式などにより、動画像の圧縮符号化/伸張復号化処理を実行可能なようにしてもよい。
同期制御部15は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラである。そして、ROMなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。
操作部16は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を同期制御部15に出力する。画像表示部17は、LCD(Liquid Crystal Display)などの表示デバイスや、これに対するインタフェース回路などからなる。そして、同期制御部15から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
画像記録部18は、例えば、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)、磁気テープなどとして実現され、圧縮伸張部14により符号化された画像データファイルを同期制御部15から受け取って記憶する。また、同期制御部15からの制御信号を基に指定されたデータを読み出し、同期制御部15に出力する。
次に、上記構成を有する撮像装置における基本的な動作について説明する。静止画像の撮像前には、撮像素子12から出力された画像信号が信号処理部13に順次供給される。信号処理部13は、撮像素子12からのデジタル画像信号に対して画質補正処理を施し、表示画像用の信号として、同期制御部15を通じて画像表示部17に供給する。これにより、表示用画像が表示され、ユーザは表示された画像を見て画角合わせ等を行うことが可能となる。また、この時に出力された画像信号から、位相差検出方式の焦点検出や、必要であれば、コントラスト検出方式の焦点検出を行い、被写体のピント合わせを行うAF処理を実施する。
この状態で、操作部16のシャッタレリーズボタンが押下されると、同期制御部15の制御により、撮像素子12からの1フレーム分の画像信号が信号処理部13に取り込まれる。信号処理部13は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部14に供給する。圧縮伸張部14は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部15を通じて画像記録部18に供給する。これにより、撮像された静止画像のデータファイルが画像記録部18に記録される。
一方、画像記録部18に記録された静止画像のデータファイルを再生する場合には、同期制御部15は、操作部16からの操作入力に応じて、選択されたデータファイルを画像記録部18から読み込み、圧縮伸張部14に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部15を介して画像表示部17に供給され、これにより静止画像が再生表示される。
また、動画像を記録する場合には、信号処理部13で順次処理された画像信号に圧縮伸張部14で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部18に転送して記録する。また、画像記録部18に記録された動画像を再生する場合には、画像記録部18から動画像の符号化データを順次読み出して圧縮伸張部14に供給し、伸張復号化処理させて画像表示部17に供給することで、動画像が再生表示される。
図2は、第1の実施形態に係る撮像素子12の概略構成を示す図である。図2に示す撮像素子12は、上述したようにXYアドレス方式のCMOSセンサである。撮像素子12において、画素領域201は、不図示の光電変換部とトランジスタからなる複数のCMOSセンサの単位画素200で構成され、水平方向・垂直方向に行列状に配列されている。なお、図2では、行をr、列をcとして、単位画素200をPrc(P11〜P46)として表している。以下の説明では、特定の単位画素200を示す場合に、画素Prcと記載する。また、図2においては4×6配列(4行6列)の例を示しているが、画素領域201における画素配列は、この数に限定されるものではない。
また、複数の単位画素200には、奇数行がR(赤)フィルタとG(緑)フィルタの繰り返し、偶数行がG(緑)フィルタとB(青)フィルタの繰り返しとなる2×2配列の色フィルタが配置されているものとする。
垂直走査部202は、画素領域201の単位画素200を1行ずつ選択し、選択した行の画素のリセット動作や読み出し動作を駆動制御する。画素制御信号221は、行毎に共通に接続され、垂直走査部202による行単位の駆動制御信号を伝達する。
奇数列信号線231は列毎に共通に接続され、画素制御信号221により選択された行の奇数列の画素の信号が、それぞれ対応する奇数列信号線231に読み出される。同様に、偶数列信号線232は列毎に共通に接続され、画素制御信号221により選択された行の偶数列の画素の信号が、それぞれ対応する偶数列信号線232に読み出される。
奇数列信号処理部203は、各奇数列信号線231に対応して、また、偶数列信号処理部204は、各偶数列信号線232に対応して設けられる。そして、奇数列信号線231及び偶数列信号線232を通して送られてくる行単位の画素の信号に対して、デジタル化を含む後述する信号処理を実施する。
奇数列ランプ波発生部205及び偶数列ランプ波発生部206は、奇数列信号処理部203及び偶数列信号処理部204が信号処理で用いるランプ波信号を、TG(Timing Generator)211から供給される制御信号とクロック信号を基に作成する。奇数列参照信号線241及び偶数列参照信号線242は、奇数列ランプ波発生部205及び偶数列ランプ波発生部206が発生したランプ波信号を、それぞれ対応する奇数列信号処理部203及び偶数列信号処理部204に供給する。
奇数列水平走査部207は、奇数列選択線251を介して奇数列信号処理部203を列毎に選択し、デジタル化された画素信号を奇数列出力線261を介して奇数列出力部209に転送するように制御する。同様に、偶数列水平走査部208は、偶数列選択線252を介して偶数列信号処理部204を列毎に選択し、デジタル化された画素信号を偶数列出力線262を介して偶数列出力部210に転送するように制御する。奇数列出力部209及び偶数列出力部210は、デジタル化された行単位の画素信号を信号処理部13へ出力する。
TG211は、同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力する。
なお、垂直走査部202、奇数列信号処理部203、偶数列信号処理部204、奇数列水平走査部207及び偶数列水平走査部208にも、TG211からクロック信号及び制御信号が入力される。
図3は、第1の実施形態に係る撮像素子12の単位画素200の構成を示す等価回路図である。点線で囲われた画素200は、画素領域201を構成する画素の1つを代表して示している。また、単位画素200は、画素制御信号221及び奇数列信号線231(または偶数列信号線232)により他の回路と接続される。図3に示す例では、単位画素200は、図2に示す配列における画素Pr1等の奇数列画素とし、奇数列信号線231に接続しているものとして説明する。なお、画素Pr2等の偶数列画素も、偶数列信号線232に接続する以外は奇数列画素と同様であるので、説明を省略する。
奇数列信号線231は、負荷回路及び奇数列信号処理部203に接続すると共に、垂直方向に配列された1列の奇数列画素に共通して接続され、各画素の信号を出力するために用いられる。同様に、偶数列信号線232は、負荷回路及び偶数列信号処理部204に接続すると共に、垂直方向に配列された1列の偶数列画素に共通して接続され、各画素の信号を出力するために用いられる。
画素制御信号221は、リセット制御信号pR、転送制御信号pTa,pTb、垂直選択線pSELをまとめて示したものである。各画素制御信号221は、垂直走査部202に接続すると共に、水平方向に配列された1行の画素に共通して接続され、垂直走査部202は、水平1行の画素を同時に制御することで、リセットや信号読み出しが可能になっている。
光電変換素子D1a,D1bは、光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードであり、PN接合のP側が接地され、N側がそれぞれ転送トランジスタ(転送スイッチ)T1a,T1bのソースに接続されている。
転送トランジスタT1a,T1bは、ゲートがそれぞれ転送制御信号pTa,pTbに、ドレインがフローティングデフュージョン(FD)容量Cfdに接続し、光電変換素子D1a,D1bからFD容量Cfdへの電荷の転送を制御する。FD容量Cfdは、一方が接地され、光電変換素子D1a,D1bから転送された電荷を電圧に変換する際に電荷を一時的に蓄積する。すなわち、光電変換素子D1a,D1bの信号を一時的に保持する。以下、転送トランジスタT1a,T1bのドレインと、FD容量Cfdの他方の接続点を、FDノード301と呼ぶ。
リセットトランジスタ(リセットスイッチ)T2は、ゲートがリセット制御信号pRに接続し、ドレインが電源電圧Vddに接続し、ソースがFD容量Cfdに接続し、FDノード301の電位を電源電圧Vddにリセットする。
駆動トランジスタ(増幅部)Tdrvは、画素内アンプを構成するトランジスタで、ゲートがFD容量Cfdに接続し、ドレインが電源電圧Vddに接続し、ソースが選択トランジスタ(選択スイッチ)T3のドレインに接続する。そして、FD容量Cfdの電圧に応じた電圧を出力する。
選択トランジスタT3は、ゲートが垂直選択線pSELに接続し、ソースが奇数列信号線231に接続し、駆動トランジスタTdrvの出力を単位画素200の出力信号として、奇数列信号線231に出力する。
負荷回路の負荷トランジスタTlodは、奇数列信号線231及び偶数列信号線232のそれぞれに設けられ、ソースとゲートが接地し、ドレインが奇数列信号線231及び偶数列信号線232にそれぞれ接続している。そして、対応する奇数列信号線231または偶数列信号線232に接続されている列の単位画素200の駆動トランジスタTdrvと共に、画素内アンプとなるソースフォロア回路を構成している。通常、単位画素200の信号を出力する時は、負荷トランジスタTlodをゲート接地の定電流源として動作させる。
なお、本実施形態の記載において、駆動トランジスタTdrv及び負荷トランジスタTlod以外のトランジスタは、スイッチとして働き、ゲートに接続されている制御信号がHighの時に導通し(ON)、Lowの時に遮断する(OFF)こととする。
図4は、第1の実施形態に係る撮像素子12の単位画素200の概略構成を示す図である。図4(a)は、2×2に配列した単位画素200の平面図を示し、図4(b)は、図4(a)のx−x’の断面図を示す。
401a,401bは、それぞれ光電変換素子D1a,D1bのPN接合のN側に対応し、基板がP側に対応する。402は、図3に示す画素200の回路構成のうち、その他の回路部分を示す。なお、画素制御信号221、奇数列信号線231及び偶数列信号線232は、図示していない。
また、単位画素毎にマイクロレンズ403が設けられている。第1の実施形態の場合、マイクロレンズ403は、光電変換素子D1a,D1bの両方を均等に覆うように、各画素200の中心から、図の下方向にずれて配置されている。
更に、上述したように、画素毎に、R(赤)、G(緑)、B(青)のいずれかの色の色フィルタ404が設けられ、光電変換素子D1a,D1bの両方を均等に覆う構成となっている。
図4に示すように、1つのマイクロレンズ403を2つの光電変換素子D1a及びD1bが共有している。そのため、光電変換素子D1aから得られる画像と光電変換素子D1bから得られる画像を基にした、公知の位相差検出方式の焦点検出が可能となっている。
図5は、第1の実施形態に係る撮像素子12の奇数列信号処理部203の回路構成を示す図である。ここでは、奇数列画素に対応した奇数列信号処理部203を例にして説明するが、偶数列画素に対応した偶数列信号処理部204も、奇数列信号処理部203と同様の構成を有するため、説明は省略する。
保持容量C1,C4は、一方が接地され、それぞれ奇数列信号線231からの信号を受け取り、保持する。選択スイッチSw1,Sw4は、それぞれ選択制御信号pS1,pS2により導通/遮断が制御され、奇数列信号線231から受け取った信号を、対応する保持容量C1,C4に転送する。
比較器Comp1,Comp2は、2つの入力を比較し、比較結果を出力する。例えば、入力される2つの信号の大小関係が逆転した時に、HighからLowに出力信号が変化することで、比較結果を出力する。結合容量C2,C5は、一方がそれぞれ対応する保持容量C1,C2に接続され、他方がそれぞれ対応する比較器Comp1,Comp2の一方の入力に接続される。結合容量C2,C5は、さらに、相関二重サンプリング(CDS)を行うためのクランプ容量としても機能する。
結合容量C3,C6は、一方をそれぞれ対応するランプ信号Vrmp1,Vrmp2に接続し、他方をそれぞれ対応する比較器Comp1,Compの他方の入力に接続する。
初期化スイッチSw2,Sw3,Sw5,Sw6は,初期化制御信号pCr1により導通/遮断が制御され、比較器Comp1,Comp2の入力を初期化電圧Vrfにすることで、比較器Comp1,Comp2を初期化する。
カウンタ回路511,521は、カウンタ制御信号pCNTのクロックを基にカウンタを動作させると共に、対応する比較器Comp1,Comp2からの比較結果の信号を受けて、その時のカウント値を出力する。また、カウンタ回路511,521は、カウンタ制御信号pCNTにより、ダウンカウントとアップカウントの切り換えが可能となっており、これを用いて、ノイズ低減を実現している。この時のカウント値が、奇数列信号線231を介して受け取った画素信号をデジタル化した信号となっている。
ラッチ回路512,522は、ラッチ制御信号pLTCにより制御され、対応するカウンタ回路511,521が出力するカウント値を一時的に保持するとともに、ラッチ制御信号pLTCを介した制御により保持しているカウント値を出力する。
メモリ回路513,523は、メモリ制御信号pMEMに接続し、メモリ制御信号pMEMを介した制御により対応するラッチ回路512,522が出力するカウント値を画素のデジタル信号として記憶する。また、メモリ回路513,523は、対応するメモリ選択制御信号pH1,pH2により、記憶している画素のデジタル信号を、対応するデジタル出力線DSig1,DSig2に出力する。
ここで、選択制御信号pS1,pS2、初期化制御信号pCr1、カウンタ制御信号pCNT、ラッチ制御信号pLTC及びメモリ制御信号pMEMが、図2に示すTG211から制御線281に出力される。また、ランプ信号Vrmp1,Vrmp2は、図2に示す奇数列ランプ波発生部205から奇数列参照信号線241に出力され、メモリ選択制御信号pH1,pH2は、図2に示す奇数列水平走査部207から奇数列選択線251に出力される。更に、デジタル出力線DSig1,DSig2は、図2に示す奇数列出力部209に接続する奇数列出力線261に対応する。
上述した通り、偶数列信号処理部204は奇数列信号処理部203と同様の構成を有している。従って、図2に示すTG211からの制御線282は、制御線281と同様の制御信号を出力する。また、図2に示す偶数列ランプ波発生部206からの偶数列参照信号線242は、奇数列参照信号線241と同様のランプ信号を出力する。更に、図2に示す偶数列水平走査部208からの偶数列選択線252は、奇数列選択線251と同様の制御信号を出力し、図2に示す偶数列出力部210に接続する偶数列出力線262は、奇数列出力線261と同様の制御信号を出力する。
なお、図5に示すスイッチSw1〜Sw6は、制御信号がHighの時に導通し(ON)、Lowの時に遮断する(OFF)こととする。
次に、第1の実施形態における撮像素子12の駆動方法について、図6〜図8を参照して説明する。なお、図6〜図8に示す各制御信号により、奇数列信号処理部203及び偶数列信号処理部204の各回路が駆動される。以下の説明において、奇数列用の構成と偶数列用の構成が同じ処理を行う場合、「奇数列」「偶数列」の記載を省略する。
●第1の読み出し動作
図6は、第1の実施形態に係る撮像素子12の第1の読み出し動作を説明するタイミング図である。ここでは、画素領域201に配列された画素200の内のいずれか1画素(例えば、1行目の画素P1c)を読み出す場合を例にして説明する。
水平同期信号HDは、画素領域201に配列された画素200を行毎に読み出す際の同期信号である。画素制御線221に出力されるリセット制御信号pR、転送制御信号pTa,pTb、垂直選択線pSELは、画素P1cを含む1行目の制御パルスである。
選択制御信号pS1,pS2、初期化制御信号pCr1は、列信号線231,232に読み出された信号を、対応する信号処理部203,204が処理する際の制御パルスである。水平走査制御信号pHrは信号線285,286に出力され、水平走査部207,208は、メモリ選択線pH1,pH2を介して水平走査制御信号pHrを出力し、信号処理部203,204のメモリ回路513,523を制御する。画素P1cの信号Vsigが、列信号線231,232に読み出される。ランプ信号Vrmp1,Vrmp2は、信号処理部203,204の比較器Comp1,Comp2に入力される。
第1の読み出し動作では、まず、FDノード301をリセットした信号(N信号)を読み出す。その後、FDノード301に光電変換素子D1aの電荷に対応した信号(A信号)を読み出す。そして、FDノード301に光電変換素子D1aの電荷を読み出した後に光電変換素子D1bの電荷を読み出すことで、光電変換素子D1aとD1bの電荷を加算した信号(A+B信号)の読み出しを行う。この時に、A信号が焦点検出用信号の基となる信号となり、A+B信号が画像取得用信号の基となる信号となる。
以下の説明において、N信号、A信号、A+B信号の振幅を、それぞれVn、Va、Vabと表し、N信号を含むA信号、A+B信号の振幅は、それぞれVna、Vnabと表す。
図6において、時刻t01〜t05は、電子シャッタ動作としての1行目の画素P1cのリセット動作のタイミングを示す。時刻t01において、電子シャッタ動作を行う水平同期期間が始まると、まず、時刻t02において、リセット制御信号pRをHighにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。
次に、時刻t03において、転送制御信号pTa,pTbをHighにして転送トランジスタT1a,T1bをONにして、光電変換素子D1a,D1bに蓄積されている電荷をFDノード301に転送することで、光電変換素子D1a,D1bをリセットする。続いて、時刻t04において、転送制御信号pTa,pTbをLowにして転送トランジスタT1a,T1bをOFFすることで、光電変換素子D1a,D1bにおける電荷蓄積が開始される。
そして、時刻t05において、リセット制御信号pRをLowにしてリセットトランジスタT2をOFFする。この時、信号処理部203,204では、画素P1c以外の画素の信号を処理しているため、選択制御信号pS1,pS2、初期化制御信号pCr1、水平走査制御信号pHr、信号Vsig、ランプ信号Vrmp1,Vrmp2は、点線で表現している。
時刻t06は、設定された露光時間経過後の水平同期期間の始まりを示す。時刻t06〜t23までの1水平同期期間において、1行分の画素P1cの信号が出力される。
まず、時刻t07において、リセット制御信号pRをHighにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。同時に、垂直選択線pSELをHighにして選択トランジスタT3をONすることで、ソースフォロア回路を動作させ、FDノード301の電位に対応する電圧を列信号線231,232に出力する。
また、同時に、選択制御信号pS1,pS2をHighにして選択スイッチSw1,Sw4をONすることで、列信号線231,232に出力された信号を保持容量C1,C4に伝達する。更に、同時に、初期化制御信号pCr1をHighにして初期化スイッチSw2,Sw3,Sw5,Sw6をONすることで、比較器Comp1,Comp2の入力を初期化電圧Vrfに設定する。
次に、時刻t08において、リセット制御信号pRをLowにしてリセットトランジスタT2をOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この時に画素P1cから出力される信号Vsigが、FDノード301をリセットした信号となるN信号Vnである。
そして、列信号線231,232に出力されたN信号Vnが安定した時刻t09において、選択制御信号pS1,pS2をLowにして選択スイッチSw1,Sw4をOFFすることで、保持容量C1,C4に伝達されたN信号Vnを保持する。同時に、初期化制御信号pCr1をLowにして初期化スイッチSw2,Sw3,Sw5,Sw6をOFFすることで、比較器Comp1,Comp2の入力電位を初期化電圧Vrfに設定する。
この時、結合容量C2,C5は、初期化電圧VrfとN信号Vnの差分に相当する電位差を保持していることになる。また、結合容量C3,C6は、初期化電圧Vrfとランプ信号が発生する前の電圧との差分に相当する電位差をそれぞれ保持していることになる。
この時の時刻t07から時刻t09までをN信号Vnの保持動作期間Tnとする。そして、時刻t09以降において、N信号VnのAD変換を実施する。まず、TG211の制御により、ランプ波発生部205,206はランプ信号Vrmp1,Vrmp2として、同じ波形のランプ波を出力する。この時、結合容量C3,C6は、初期化電圧Vrfとランプ信号が発生する前の電圧との差分に相当する電位差をそれぞれ保持している。そのため、ランプ波形のみが、結合容量C3,C6を通して、初期化電圧Vrfに対する変化分として、比較器Comp1,Comp2に入力される。そして、すでに入力されているN信号Vnに対応する比較器Comp1,Comp2の入力と比較される。
この時、N信号Vnに対応する比較器Comp1,Comp2の入力は、初期化電圧Vrfに初期化されているため、理想的には差分となる信号は存在しないはずである。しかしながら、選択スイッチSw1,Sw4のスイッチングノイズによる変動や、比較器Comp1,Comp2の持つバラツキによるノイズ信号を合算してN信号としてデジタル化する。なお、初期化スイッチSw2,Sw3,Sw5,Sw6のスイッチングノイズによる変動は、比較器Comp1,Comp2の2つ入力それぞれに均等に発生すると仮定できるため、比較においてキャンセルされるのでここでは考えなくてよい。
さらに、ランプ信号Vrmp1,Vrmp2の出力と同時に、カウンタ制御信号pCNTを介したTG211の制御により、カウンタ回路511,521が、ダウンカウントするように設定し、カウントを開始する。そして、時刻t10において、ランプ信号Vrmp1,Vrmp2の出力が終了する。なお、ランプ波の振幅は、N信号Vnに対応する比較器Comp1,Comp2のN信号入力に相当する振幅に対して十分な余裕があればよいので、予め測定しておき、ランプ波発生部205,206で作成できるように設定しておく。
時刻t09から時刻t10までのどこかで、ランプ信号と比較器Comp1,Comp2へ入力されたN信号Vnがそれぞれ一致するが、比較器Comp1,Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波と比較器Comp1,Comp2に入力されるN信号がそれぞれ一致した時点で、比較器Comp1,Comp2から比較結果信号をカウンタ回路511,521に出力する。比較結果信号を受けたカウンタ回路511,521は、それぞれの時点でカウンタを停止させるとともに、カウンタの状態を保ってカウント値を保持する。この時の時刻t09から時刻t10までを、N信号VnのAD変換期間TAnとする。この期間は、同時に、N信号Vnを保持容量C1,C4に保持しておかなければならない保持期間でもある。
次に、時刻t11において、転送制御信号pTaをHighにして転送トランジスタT1aをONすることで、光電変換素子D1aに蓄積された電荷をFDノード301に転送し、光電変換素子D1aの信号として列信号線231,232に出力する。また、同時に、選択制御信号pS1をHighにして選択スイッチSw1をONすることで、列信号線231,232に出力された光電変換素子D1aの信号を保持容量C1に伝達する。
続いて、時刻t12において、転送制御信号pTaをLowにして転送トランジスタT1aをOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この際に画素P1cから出力される信号Vsigが、N信号Vnに光電変換素子D1aの電荷を読み出した信号Vaが加わったA信号Vnaである。
そして、列信号線231,232に出力されたA信号Vnaが安定した時刻t13において、選択制御信号pS1をLowにして選択スイッチSw1をOFFすることで、保持容量C1に伝達されたA信号Vnaを保持する。この時の時刻t11から時刻t13までをA信号Vnaの保持動作期間Taとする。
同時に、A信号Vnaが結合容量C2を介して比較器Comp1に入力される。このとき、結合容量C2は、初期化電圧VrfとN信号Vnの差分に相当する電位差を保持しているので、VnaとVnとの差分であるVa信号が、光電変換素子D1aの電荷に対応した信号に相当するA信号として入力される。これにより、結合容量C2をクランプ動作に利用したCDSを実現していることになる。
そして、時刻t13以降において、比較器Comp1に入力したA信号VaのAD変換を実施する。まず、TG211の制御によりランプ波発生部205,206からランプ信号Vrmp1を出力する。この際発生させるランプ波は、N信号VnのAD変換を実施した際と同じ傾きを持つが、A信号Vaに相当する振幅に対して十分余裕がある振幅でなければならないので、予め測定しておき、ランプ波発生部205,206で作成できるように設定しておく。
また、N信号VnのAD変換時と同様に、ランプ波形のみが、結合容量C3を介して、初期化電圧Vrfに対する変化分として、比較器Comp1に入力される。この時、結合容量C2を介して比較器Comp1に入力されるA信号Vaにも、N信号VnのAD変換時と同様に、選択スイッチSw1のスイッチングノイズによる変動や、比較器Comp1の持つバラツキによるノイズ信号を合算したN信号が加わることになる。
更に、ランプ信号Vrmp1の出力と同時に、カウンタ制御信号pCNTを介したTG211の制御により、カウンタ回路511がアップカウントするように設定するとともに、N信号VnのAD変換時に停止したカウント値からスタートさせる。そして、時刻t17において、ランプ信号Vrmp1の出力が終了する。
時刻t13から時刻t17までのどこかで、ランプ信号Vrmp1と比較器Comp1の入力A信号Vaが一致する。ランプ信号と比較器Comp1に入力されたA信号Vaが一致した時点で、比較器Comp1から比較結果信号をカウンタ回路511に出力する。比較結果信号を受けたカウンタ回路511は、その時点でのカウント値とラッチ信号をラッチ回路512に出力する。
この際、カウンタ回路511は、予めダウンカウントしておいた比較器Comp1の入力N信号のカウント値からスタートして、比較器Comp1のN信号を含んだA信号Vaをアップカウントしている。そのため、N信号がキャンセルされたA信号Vaのみがカウントされる。ラッチ信号を受けたラッチ回路512は、その時点でのカウント値を一時的に保持する。
また、時刻t17におけるランプ信号Vrmp1へのランプ波出力の終了に伴って、ラッチ制御信号pLTC及びメモリ制御信号pMEMを介したTG211の制御により、ラッチ回路512が保持するカウント値をメモリ回路513に転送する。そして、画素P1cのデジタルA信号Daとして記憶する。この時の時刻t13から時刻t17までを、A信号VnaのAD変換期間TAaとする。この期間は、同時に、A信号Vnaを保持容量C1に保持しておかなければならない保持期間でもある。
次に、A信号VnaをAD変換している途中の時刻t14において、転送制御信号pTa,pTbをHighにして転送トランジスタT1a,T1bをONする。これにより、光電変換素子D1a,D1bに蓄積された電荷をFDノード301に転送し、光電変換素子D1aとD1bの加算信号として列信号線231,232に出力する。
また、同時に、信号選択制御信号pS2をHighにして選択スイッチSw4をONすることで、列信号線231,232に出力された光電変換素子D1aとD1bの加算信号を保持容量C4に伝達する。
続いて、時刻t15において、転送制御信号pTa,pTbをLowにして転送トランジスタT1a,T1bをOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この時に画素P11から出力される信号Vsigが、A信号Vnaに光電変換素子D1bの電荷を読み出した信号Vbが加わったA+B信号Vnabである。
なお、時刻t14においては、光電変換素子D1bに蓄積している電荷の読み出しと同時に、光電変換素子D1aに蓄積している電荷の読み出しも行っている。これは、時刻t03において、電子シャッタ動作として転送制御信号pTa,pTbをHighにすることで、光電変換素子D1a,D1bに蓄積している電荷をリセットして露光をスタートさせたことにより、露光時間を揃える必要が生じたためである。
従って、時刻t03における光電変換素子D1bのリセット時刻を、時刻t11から時刻t14までの読み出し時刻の差だけ後ろにずらして実施することができれば、時刻t14の光電変換素子D1aの読み出しは不要となる。また、時刻t11から時刻t14までの光電変換素子D1aの読み出し時刻の差が、設定される露光時間より十分に短ければ、時刻t14における光電変換素子D1aの読み出しを省略してもよい。
そして、列信号線231,232に出力されたA+B信号Vnabが安定した時刻t16において、信号選択制御信号pS2をLowにして選択スイッチSw4をOFFすることで、保持容量C4に伝達されたA+B信号Vnabを保持する。この時の時刻t14から時刻t16までをA+B信号Vnabの保持動作期間Tabとする。
同時に、A+B信号Vnabが結合容量C5を介して比較器Comp2に入力される。このとき、結合容量C5は、初期化電圧VrfとN信号Vnの差分に相当する電位差を保持しているので、VnabとVnとの差分であるVab信号が、光電変換素子D1aとD1bの電荷を加算した信号に相当するA+B信号として入力される。これにより、結合容量C5をクランプ動作に利用したCDSを実現していることになる。
そして、時刻t16以降において、比較器Comp2に入力したA+B信号VabのAD変換を実施する。まず、TG211の制御によりランプ波発生部205,206からランプ信号Vrmp2を出力する。この際発生させるランプ信号は、N信号VnのAD変換を実施した際と同じ傾きを持つ。ただし、A+B信号Vabに相当する振幅に対して十分余裕がある振幅でなければならないので、予め測定しておき、ランプ波発生部205,206で作成できるように設定しておく。第1の実施形態においては、比較器Comp1に入力したA信号VaのAD変換を実施した時と同じ振幅となるように設定している。
また、N信号VnのAD変換時と同様に、ランプ波形のみが、結合容量C6を介して、初期化電圧Vrfに対する変化分として、比較器Comp2に入力される。この時、結合容量C5を介して比較器Comp2に入力されるA+B信号Vabにも、選択スイッチSw4のスイッチングノイズによる変動や、比較器Comp2の持つバラツキによるノイズ信号を合算したN信号が加わることになる。
更に、ランプ信号Vrmp2の出力と同時に、カウンタ制御信号pCNTを介したTG211の制御により、カウンタ回路521が、アップカウントするように設定すると共に、N信号VnのAD変換時に停止したカウント値からスタートさせる。そして、時刻t18において、ランプ信号Vrmp2の出力が終了する。
時刻t16から時刻t18までのどこかで、ランプ信号Vrmp2と比較器Comp2に入力されるA+B信号Vabが一致する。ランプ波と比較器Comp2に入力されたA+B信号Vabが一致した時点で、比較器Comp2から比較結果信号をカウンタ回路521に出力する。比較結果信号を受けたカウンタ回路521は、その時点でのカウント値とラッチ信号をラッチ回路522に出力する。
この時、カウンタ回路521は、予めダウンカウントしておいた比較器Comp2の入力N信号のカウント値からスタートして、比較器Comp2のN信号を含んだA+B信号Vabをアップカウントしている。そのため、N信号がキャンセルされたA+B信号Vabのみがカウントされる。ラッチ信号を受けたラッチ回路522は、その時点でのカウント値を一時的に保持する。
また、時刻t18におけるランプ信号Vrmp2出力の終了に伴って、ラッチ制御信号pLTC及びメモリ制御信号pMEMを介したTG211の制御により、ラッチ回路522が保持するカウント値をメモリ回路523に転送する。そして、画素P1cのデジタルA+B信号Dabとして記憶する。この時の時刻t16から時刻t18までをA+B信号VnabのAD変換期間TAabとする。この期間は、同時に、A+B信号Vnabを保持容量C4に保持しておかなければならない保持期間でもある。
次に、時刻t19において、リセット制御信号pRをHighにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。これにより、信号線231,232の信号Vsigもリセットされる。そして、FDノード301の電位が十分にリセットされた時刻t20において、リセット制御信号pRをLowにしてリセットトランジスタT2をOFFする。
続いて、時刻t21において、選択制御信号pSELをLowにして選択トランジスタT3をOFFすることで、画素P1cと列信号線231,232とを電気的に切り離す。ここまでで、1行目の画素P1cの信号が、それぞれ対応する信号処理部203,204に読み出されて、AD変換後、メモリ回路513,523にデジタル信号として記憶される。
次に、時刻t22から時刻t23において、TG211が信号線285,286に対応する制御信号pHrを介して水平走査部207,208に制御パルスを送る。この時、水平走査部207,208は、制御信号pHrに出力された制御パルスに同期して、メモリ選択制御信号pH1,pH2により信号処理部203,204を所定の順番に選択する。
第1の読み出し動作では、メモリ選択制御信号pH1,pH2が、それぞれ対応するメモリ回路513,523を同時に選択する。そして、選択されたメモリ回路513,523が記憶しているデジタル化された画素信号であるデジタルA信号Da、デジタルA+B信号Dabを、それぞれ対応する出力線261,262であるデジタル出力線DSig1,DSig2に出力する。
このようにして、信号処理部203,204から、所定の順番で選択された1行分の画素のデジタルA信号Da、デジタルA+B信号Dabが出力され、デジタル出力線DSig1,DSig2を介して出力部209,110から並列に出力される。これにより、1行分の画素の信号の出力が完了する。
ここまでが、FDノード301をリセットしたN信号、光電変換素子D1aの電荷を読み出したA信号、及び、光電変換素子D1aとD1bの電荷を加算したA+B信号の読み出しを行う第1の読み出し動作になる。
この第1の読み出し動作においては、A信号VnaをAD変換している途中の時刻t14において、光電変換素子D1aとD1bの加算信号を信号線231,232に出力している。つまり、期間Tc1が、A信号Vnaの保持期間でもあるAD変換期間TAaとA+B信号Vnabの保持動作期間Tabとの共通期間となる。
また、A信号VnaをAD変換している途中の時刻t16において、A+B信号VnabのAD変換を開始している。つまり、期間Tc2が、A信号Vnaの保持期間でもあるAD変換期間TAaとA+B信号Vnabの保持期間でもあるAD変換期間TAabとの共通期間となる。
このように、N信号Vnの読み出しとAD変換、A信号Vnaの読み出しとAD変換及びA+B信号Vnabの読み出しとAD変換を順番に実施する場合に比べて、第1の読み出し動作では、水平同期期間を短縮することができる。従って、フレームレートを向上することができる。
1行分の画素信号の出力が完了した後、時刻t23の水平同期信号により、次の行の読み出し動作が開始される。ここでは、次の行の信号処理部203,204の初期化動作のみ説明する。
まず、時刻t24において、選択制御信号pS1,pS2をHighにして選択スイッチSw1、Sw4をONすることで、信号線231,232に出力された次の行のN信号Vnを保持容量C1,C4に伝達する。同時に、初期化制御信号pCr1をHighにして初期化スイッチSw2,Sw3,Sw5,Sw6をONすることで、比較器Comp1,Comp2の入力を初期化電圧Vrfに設定する。
次に、時刻t25において、選択制御信号pS1,pS2をLowにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1,C4に伝達された次の行のN信号Vnを保持する。
同時に、初期化制御信号pCr1をLowにして初期化スイッチSw2,Sw3,Sw5,Sw6をOFFすることで、比較器Comp1,Comp2の入力電位を初期化電圧Vrfに設定する。これにより、次の行のために、信号処理部203,204が初期化されたことになる。
そして、行毎に1水平同期期間t06〜t23の制御を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は1行毎にずれていくことになる。
●第2の読み出し動作
図7は、第1の実施形態に係る撮像素子12の第2の読み出し動作を説明するタイミング図である。図7においては、リセット制御信号pR、転送制御信号pTa,pTb、選択信号pSELの動作タイミングは、図6と同じであって、画素200の動作自体は変わらない。従って、列信号線231,232に出力される画素の信号Vsigも変わっていない。また、選択制御信号pS2、初期化制御信号pCr1、制御信号pHrの動作タイミング及びランプ信号Vrmp2も、図6と同じとなっている。図6と図7の違いは、選択制御信号pS1及びランプ信号Vrmp1を出力しないことだけである。
第2の読み出し動作でも、FDノード301をリセットした信号(N信号)、及び、FDノード301に光電変換素子D1aの電荷を読み出した後に、光電変換素子D1bの電荷を読み出す。これにより、光電変換素子D1aとD1bの電荷を加算した信号(A+B信号)の読み出しを行うところは、第1の読み出し動作と同じである。しかしながら、選択制御信号pS1及びランプ信号Vrmp1の信号を出力しないことで、FDノード301に光電変換素子D1aの電荷を読み出した信号(A信号)をAD変換しないところが、第1の読み出し動作と異なる。
具体的には、時刻t07からt09において、選択制御信号pS1に制御パルスを出さないことで、比較器Comp1へのN信号Vnの入力を止める。更に、時刻t09からt10において、ランプ信号Vrmp1を出さないことで、比較器Comp1へのランプ信号の入力を止める。
一方、比較器Comp2へのN信号Vn及びランプ信号の入力、及び、比較器Comp2とカウンタ回路521を用いたN信号VnのAD変換は実施する。
同様に、時刻t11からt13において、選択制御信号pS1に制御パルスを出さないことで、比較器Comp1へのA信号Vnaの入力を止める。そして、時刻t13からt17において、ランプ信号Vrmp1を出さないことで、比較器Comp1へのランプ波の入力を止める。
一方、比較器Comp2へのA+B信号Vnab及びランプ波の入力、及び、比較器Comp2とカウンタ回路521を用いたA+B信号VnabのAD変換は実施する。
ここまでが、FDノード301をリセットしたN信号、及び、光電変換素子D1aとD1bの電荷を加算したA+B信号の読み出しを行う第2の読み出し動作になる。
第2の読み出し動作においては、A信号の出力に関するN信号VnのAD変換及びA信号VnaのAD変換が実施されなくなる。従って、比較器Comp1、カウンタ回路511、ラッチ回路512、メモリ回路513及び、ランプ信号Vrmp1へのランプ波形を発生させていたランプ波発生部205,206の一部を停止させることができる。
また、デジタル出力線DSig1に信号が送られないため、出力部209,110の一部も停止させてよい。更に、メモリ選択制御信号pH1も停止させることができる。
このように、信号処理部203,204やランプ波発生部205,206の内のA信号の出力に関する部分の回路を停止させることにより、第2の読み出し動作の消費電力削減が実現する。
1行分の画素信号の出力が完了した後、時刻t23の水平同期信号により、次の行の読み出し動作が開始される。そして、行毎に1水平同期期間t06〜t23を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は1行毎にずれていくことになる。また、第2の読み出し動作における1水平同期期間は、第1の読み出し動作における1水平同期期間と同じ長さとなる。
●第3の読み出し動作
図8は、第1の実施形態に係る撮像素子12の第3の読み出し動作を説明するタイミング図である。図8においては、図7の時刻t11からt14までが省略されたタイミングになっている。そのため、1水平同期期間t06からt39が、第1及び第2の読み出し動作における1水平同期期間よりも短くなっているが、それ以外は、図7と同じタイミングである。
図8に示す画素200の動作においては、時刻t07からt08でFDノード301のリセットを実施した後に、光電変換素子D1a及びD1bの電荷を同時に読み出している。これにより、第3の読み出し動作では、FDノード301をリセットした信号(N信号)、及び、FDノード301において光電変換素子D1aの電荷と光電変換素子D1bの電荷とを加算した信号(A+B信号)の読み出しを行う。そのため、図8の時刻t31において、図7の時刻t11の代わりに時刻t14における信号制御を実施する。
具体的には、時刻t31において転送制御信号pTa,pTbをHighにして転送トランジスタT1a,T1bを同時にONする。これにより、光電変換素子D1a,D1bに蓄積している電荷をFDノード301に転送し、光電変換素子D1aとD1bの加算信号として列信号線231,232に出力する。同時に、信号選択制御信号pS2をHighにして選択スイッチSw4をONすることで、列信号線231,232に出力された光電変換素子D1aとD1bの加算信号を保持容量C4に伝達する。
続いて、時刻t32において、転送制御信号pTa,pTbをLowにして転送トランジスタT1a,T1bをOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この時に画素P11から出力される信号Vsigは、N信号Vnに光電変換素子D1aとD1bの電荷を読み出して加算した信号Vabが加わったA+B信号Vnabである。
そして、列信号線231,232に出力されたA+B信号Vnabが安定した時刻t33において、選択制御信号pS2をLowにして選択スイッチSw4をOFFすることで、保持容量C4に伝達されたA+B信号Vnabを保持する。
時刻t33以降のA+B信号VnabのAD変換、画素のリセット、及び、デジタル出力線DSig2を介したデジタルA+B信号Dabの出力は、図7の時刻t16以降と同じ動作であるので説明は省略する。
ここまでが、FDノード301をリセットしたN信号、及び、光電変換素子D1aとD1bの電荷を加算したA+B信号の読み出しを行う第3の読み出し動作になる。
また、水平同期期間の始まりの時刻t06から、図7においてA+B信号VnabのAD変換が終了した時刻t18までにかかる時間は、図8における時刻t38までの時間に対応している。すなわち、図8においてA+B信号VnabのAD変換が終了した時刻t34から時刻t38までが、第1及び第2の読み出し動作と比較した場合の短縮期間ΔTAabとなる。
更に、図7と同様に、信号処理部203,204やランプ波発生部205,206の内のA信号の出力に関する部分の回路を停止させることにより、第2の読み出し動作と同じく消費電力の削減が可能となっている。
1行分の画素信号の出力が完了した後、時刻t39の水平同期信号により、次の行の読み出し動作が開始される。そして、行毎に1水平同期期間t06〜t39を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は1行毎にずれていくことになる。
これにより、各画素200の信号を、それぞれ出力部209,210から並列に出力させることが可能となる。従って、第1の読み出し動作、第2の読み出し動作、第3の読み出し動作すべてにおいて、フレームレートの向上が図られることになる。
●焦点検出領域と第1及び第2の読み出し動作との関係
図9は、第1の実施形態に係る撮像素子12の画素領域201における焦点検出領域の配置例を示す図である。図2では、6×4(4行6列)分の画素配列を示したが、図9においては、640×480配列(480行、640列)あるいは1920×1080配列(1080行、1920列)などの動画フォーマットの画像を出力できる画素数があるものとして説明する。また、画素領域201が、焦点検出領域601と非焦点検出領域602とに分けられている。
図9(a)に示す配置例の場合、上部にある非焦点検出領域602では、図7に示す第2の読み出し動作を実施し、その下にある焦点検出領域601では、図6に示す第1の読み出し動作を実施する。そして、下部にある非焦点検出領域602では、再び図7に示す第2の読み出し動作を実施する。第1の実施形態では、第1の読み出し動作の水平同期期間と第2の読み出し動作の水平同期期間が同じ時刻t06からt23であるため、すべての行で露光時間を同じにすることが可能で、且つ、露光期間の行毎のずれも均一にすることができる。これにより、露光時間の均一化とローリング歪の曲がりを解消することができる。
そして、焦点検出領域601では、第1の読み出し動作により出力されるデジタルA信号Daと、デジタルA+B信号DabからデジタルA信号Daを減算して求めたデジタルB信号Dbとを用いて、位相差検出方式の焦点検出を実施することができる。更に、画素領域201全体から出力されるデジタルA+B信号Dabを用いて、撮影画像を作成することができる。
これをフレーム毎に繰り返すことで、常に被写体にピントがあった動画を撮影することが可能となる。
以上のように、第1の実施形態によれば、第1の読み出し動作の水平同期期間と第2の読み出し動作の水平同期期間が等しいため、すべての行で露光時間を同じにすることができ、且つ、露光期間の行毎のずれもフレーム内で均一に保つことができる。これにより、露光時間の均一化とローリング歪の曲がり解消が実現できる。
また、第2の読み出し動作において、列信号処理部やランプ波発生部の内のA信号の出力に関する部分の回路を停止させることにより、消費電力を削減することができる。
なお、上述した特許文献3に関して説明したように、図8に示す第3の読み出し動作を第1の読み出し動作と交互に行うと、露光時間が同じにならず、且つ、露光期間の行毎のずれも不均一になってしまうことになる。従って、第3の読み出し動作は、焦点検出をせずに全画面に渡ってA+B信号を出力するのに適している。
なお、上述した例では、焦点検出領域601の行を全て第1の読み出し動作で読み出す場合について説明したが、第1の読み出し動作で読み出す行を、複数行毎、あるいは、複数行中の連続する2行毎にしてもよい。
例えば、10行毎(偶数行毎)に第1の読み出し動作で読み出し、その間の9行を第2の読み出し動作で読み出すことで、常に同じ色配列の行を第1の読み出し動作で読み出してもよい。また、9行毎(奇数行毎)に第1の読み出し動作で読み出し、その間の8行を第2の読み出し動作で読み出すことで、異なる色配列の行を第1の読み出し動作で交互に読み出してもよい。
また、8行毎に1行目と2行目を第1の読み出し動作で読み出し、その間の6行を第2の読み出し動作で読み出すことで、連続する異なる色配列の行を第1の読み出し動作で読み出してもよい。このように第2の読み出し動作で読み出す画素を増やすことで、更に、消費電力を削減することができる。
<変形例1>
図9(b)は、第1の実施形態の変形例1に係る撮像素子12の焦点検出領域の配置例を示す図である。図9(b)に示す例の場合、各行が、左から非焦点検出領域602、焦点検出領域601、非焦点検出領域602で構成されている。そして、焦点検出領域601では第1の読み出し動作を実施し、非焦点検出領域602では第2の読み出し動作を実施する。
画素200を駆動するためのリセット制御信号pR、転送制御信号pTa,pTb、選択制御信号pSELの動作タイミングは、図6に示す第1の読み出し動作も図7に示す第2の読み出し動作も変わらない。即ち、焦点検出領域601、非焦点検出領域602に関わらず、画素200の動作自体は同じであって、列信号線231,232には、信号Vsigに示すようにN信号Vn、A信号Vna、A+B信号Vnabが順番に出力される。
一方、焦点検出領域601の列では、対応する信号処理部203,204の選択制御信号pS1,pS2、初期化制御信号pCr1の動作タイミング及びランプ信号Vrmp1,Vrmp2を、図6に示すように駆動する。このため、焦点検出領域601の列の信号処理部203,204の動作は、第1の読み出し動作となる。
すなわち、焦点検出領域601の列の信号処理部203,204においては、A信号Vna、A+B信号Vnabの両方に対してCDS及びAD変換が実施される。そして、AD変換されたデジタルA信号Da、デジタルA+B信号Dabが、それぞれ対応するメモリ回路513,523に記憶される。
また、非焦点検出領域602の列では、対応する信号処理部203,204の選択制御信号pS1,pS2、初期化制御信号pCr1の動作タイミング及びランプ信号Vrmp1,Vrmp2を、図7に示すように駆動する。従って、非焦点検出領域602の列の信号処理部203,204の動作は、第2の読み出し動作となる。このために、非焦点検出領域602では、選択制御信号pS1、ランプ信号Vrmp1を無効にする制御を加える。例えば、選択スイッチSw1、比較器Comp1と選択制御信号pS1、ランプ信号Vrmp1の各信号出力線との間にそれぞれスイッチを設け、焦点検出領域601に指定された列以外の信号処理部203,204のスイッチをオフにするようにしても良い。または、焦点検出領域601が予め決められた列の領域である場合、非焦点検出領域602の列の信号処理部203,204におけるA信号Vnaを読み出すための回路を省略してもよい。
すなわち、焦点検出領域601の列の信号処理部203,204においては、A+B信号Vnabに対してのみCDS及びAD変換が実施され、AD変換されたデジタルA+B信号Dabが、対応するメモリ回路523に記憶される。
そして、水平走査部207,208が制御信号pHr上に同期して、それぞれ接続する信号処理部203,204のメモリ回路513,523を所定の順番に選択する。この時、メモリ選択線pH1,pH2は、焦点検出領域601の列の信号処理部203,204のメモリ回路513,523を同時に選択するが、非焦点検出領域602の列の信号処理部203,204においては、メモリ回路523のみを選択する。
そして、行毎に1水平同期期間t06〜t23を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。
上記の通り変形例1によれば、すべての行で露光時間を同じにすることができ、且つ、露光期間の行毎のずれもフレーム内で均一に保つことができる。これにより、露光時間の均一化とローリング歪の曲がり解消が実現できる。
また、第2の読み出し動作において、列信号処理部やランプ波発生部の内のA信号の出力に関する部分の回路を停止させることにより、消費電力削減を実現している。
なお、第1の実施形態と同様に、焦点検出領域601で第1の読み出し動作で読み出す行を、複数行毎、あるいは、複数行中の連続する2行毎にし、その他の行を第2の読み出し動作で読み出すようにしてもよい。このように第2の読み出し動作で読み出す画素を増やすことで、更に、消費電力を削減することができる。
<変形例2>
図9(c)は、第1の実施形態の変形例2に係る撮像素子12の焦点検出領域の他の配置例を示す図である。図9(c)に示す例の場合、上から、非焦点検出領域602、次に、焦点検出領域601と非焦点検出領域602とを含む領域603、そして、非焦点検出領域602となっている。そして、画素領域の上下にある非焦点検出領域602では第2の読み出し動作を実施し、領域603では、上述した変形例1で図9(b)を参照して説明した読み出し動作を実施する。
変形例2では、変形例1よりも第2の読み出し動作を行う領域が広いため、変形例1と同様の効果に加え、更に消費電力を削減することができる。
また、変形例2においても、第1の実施形態と同様に、焦点検出領域601で第1の読み出し動作で読み出す行を、複数行毎、あるいは、複数行中の連続する2行毎にし、その他の行を第2の読み出し動作で読み出すようにしてもよい。このように第2の読み出し動作で読み出す画素を増やすことで、更に、消費電力を削減することができる。
なお、領域603を、第1の読み出し動作により読み出すようにしても良く、その場合、撮像素子の構成及び制御の簡便化をはかることができる。
<第2の実施形態>
次に、図1、図2及び図9、及び、図10から図15を参照して、本発明の第2の実施形態について説明する。なお、第2の実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第1の実施形態と同様であるので、図及び符号を流用して説明する。
第1の実施形態における画素は、水平方向(行方向)に2つの光電変換素子を備えているため、水平方向の位相差を検出することができる。これに対し、第2の実施形態における画素は、水平垂直方向に配置された4つの光電変換素子を備える。この構成を利用して、水平方向だけでなく、垂直方向(列方向)の位相差も検出することを可能にする読み出し方法について説明する。
図10は、第2の実施形態に係る撮像素子12の単位画素200の構成を示す等価回路図である。点線で囲われた単位画素200は、画素領域201を構成する画素の1つを代表して示している。また、単位画素200は、画素制御信号221及び奇数列信号線231、偶数列信号線232により他の回路と接続される。図10に示す例では、単位画素200は、図2に示す配列における画素Pr1等の奇数列画素とし、奇数列信号線231に接続しているものとして説明する。なお、画素Pr2等の偶数列画素も、偶数列信号線232に接続する以外は奇数列画素と同様であるので、説明を省略する。
奇数列信号線231は、負荷回路及び奇数列信号処理部203に接続すると共に、垂直方向に配列された1列の奇数列画素に共通して接続され、各画素の信号を出力するために用いられる。同様に、偶数列信号線232は、負荷回路及び偶数列信号処理部204に接続すると共に、垂直方向に配列された1列の偶数列画素に共通して接続され、各画素の信号を出力するために用いられる。
第2の実施形態では、画素制御信号線221には、リセット制御信号pR、転送制御信号pTa’,pTb’,pTc’,pTd’、選択制御信号pSELが出力される。画素制御信号線221は、垂直走査部202に接続すると共に、水平方向に配列された1行の画素に共通して接続され、垂直走査部202は、水平1行の画素を同時に制御することで、リセットや信号読み出しが可能になっている。
光電変換素子D1a’,D1b’,D1c’,D1d’は、光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードである。そして、PN接合のP側が接地され、N側がそれぞれ転送トランジスタ(転送スイッチ)T1a’,T1b’,T1c’,T1d’のソースに接続されている。
転送トランジスタT1a’,T1b’,T1c’,T1d’は、ゲートにそれぞれ転送制御信号pTa’,pTb’,pTc’,pTd’が入力され、ドレインがフローティングデフュージョン(FD)容量Cfdに接続している。そして、光電変換素子D1a’,D1b’,D1c’,D1d’からFD容量Cfdへの電荷の転送を制御する。FD容量Cfdは、一方が接地され、光電変換素子D1a’,D1b’,D1c’,D1d’から転送された電荷を電圧に変換する際に電荷を蓄積する。以下、転送トランジスタT1a’,T1b’,T1c’,T1d’のドレインと、FD容量Cfdの他方の接続点を、FDノード301’と呼ぶ。
リセットトランジスタ(リセットスイッチ)T2は、ゲートにリセット制御信号pRが入力され、ドレインが電源電圧Vddに接続され、ソースがFD容量Cfdに接続され、FDノード301’の電位を電源電圧Vddにリセットする。
駆動トランジスタ(増幅部)Tdrvは、画素内アンプを構成するトランジスタで、ゲートがFD容量Cfdに接続され、ドレインが電源電圧Vddに接続され、ソースが選択トランジスタ(選択スイッチ)T3のドレインに接続される。そして、FD容量Cfdの電圧に応じた電圧を出力する。
選択トランジスタT3は、ゲートに選択制御信号pSELが入力され、ソースが奇数列信号線231に接続され、駆動トランジスタTdrvの出力を単位画素200の出力信号として、奇数列信号線231に出力する。
負荷回路の負荷トランジスタTlodは、奇数列信号線231及び偶数列信号線232のそれぞれに設けられ、ソースとゲートが接地し、ドレインが奇数列信号線231及び偶数列信号線232にそれぞれ接続されている。そして、対応する奇数列信号線231または偶数列信号線232に接続されている列の単位画素200の駆動トランジスタTdrvと共に、画素内アンプとなるソースフォロア回路を構成している。通常、画素200の信号を出力する時は、負荷トランジスタTlodをゲート接地の定電流源として動作させる。
なお、本実施形態の記載において、駆動トランジスタTdrv及び負荷トランジスタTlod以外のトランジスタは、スイッチとして働き、ゲートに入力される制御信号がHighの場合に導通し(ON)、Lowの場合に遮断する(OFF)こととする。
図11は、第2の実施形態に係る撮像素子12の単位画素200の概略構成を示す図である。図11(a)は、2×2に配列した単位画素200の平面図を示し、図11(b)は、図11(a)のx−x’の断面図を示す。
701a、701b、701c、701dは、それぞれ光電変換素子D1a’,D1b’,D1c’,D1d’のPN接合のN側に対応し、基板がP側に対応する。702は、図10に示す単位画素200の回路構成のうち、その他の回路部分を示す。なお、画素制御信号線221、奇数列信号線231及び偶数列信号線232は、図示していない。また、4つの光電変換素子D1a’,D1b’,D1c’,D1d’が、水平垂直に配置されているため、その他の回路部分702は、それらの中心に配置されている。
また、画素毎にマイクロレンズ703が設けられている。更に、画素毎に、画素毎に、R(赤)、G(緑)、B(青)のいずれかの色の色フィルタ704が設けられ、4つの光電変換素子D1a’,D1b’,D1c’,D1d’を均等に覆っている。
図11に示すように、1つのマイクロレンズ703を4つの光電変換素子D1a’,D1b’,D1c’,D1d’が共有するため、異なる光電変換素子から得られる複数の画像を基にした、公知の位相差検出方式の焦点検出が可能となっている。
図12は、第2の実施形態に係る撮像素子12の奇数列信号処理部203の回路構成を示す図である。ここでは、奇数列画素に対応した奇数列信号処理部203を例にして説明するが、偶数列画素に対応した偶数列信号処理部204も、奇数列信号処理部203と同様の構成を有するため、説明は省略する。
オペアンプAMPは、入力容量C0、帰還容量Cfbと共に反転増幅回路を構成している。入力容量C0は、奇数列信号線231とオペアンプAMPの反転入力端子に接続し、画素200が出力する画素信号をオペアンプAMPに入力する。入力容量C0は、さらに、相関二重サンプリング(CDS)を行うためのクランプ容量としても機能する。帰還容量Cfbは、オペアンプAMPの反転入力端子と信号出力端子に接続し、帰還容量と入力容量の比Cfb/C0がオペアンプAMPの反転ゲインとなる。オペアンプAMPの非反転入力端子には、基準電圧Vrfaが入力される。また、オペアンプAMPの出力信号をVampとする。
図12では帰還容量Cfbを1つとして示しているが、反転ゲインを複数設定できるように、複数の異なる容量を並列に配置して、使用する帰還容量を複数の中から選択できる構成であっても良い。
選択スイッチSw10は、オペアンプAMPの反転入力端子と信号出力端子に接続し、初期化制御信号pCr2により導通/遮断が制御され、反転増幅回路を初期化する初期化スイッチである。
オペアンプAMP以降の回路は、図5に示す回路と同様に、保持容量、結合容量、スイッチ、比較器、カウンタ回路、ラッチ回路、メモリ回路から構成されている。ただし、図5が2系統の回路構成となっているのに対して、図12では、3系統の回路構成となっているだけなので、詳細説明は省略する。
また、TG211からの制御信号線281には、初期化制御信号pCr2及び選択スイッチSw7の信号選択制御信号pS3が追加で入力される。また、奇数列ランプ波発生部205からの奇数列参照信号線241には、ランプ信号Vrmp3が追加で入力されて、奇数列水平走査部207からの奇数列選択信号線251には、メモリ選択制御信号pH3が追加で入力される。更に、奇数列出力部209に接続する奇数列出力線261には、デジタル出力線DSig3が追加されている。
上述した通り、偶数列信号処理部204は奇数列信号処理部203と同様の構成を有している。従って、図2に示すTG211からの制御信号線282は、制御信号線281と同様の制御信号が入力される。また、図2に示す偶数列ランプ波発生部206からの偶数列参照信号線242には、奇数列参照信号線241と同様の信号が入力される。更に、図2に示す偶数列水平走査部208からの偶数列選択線252には、奇数列選択線251と同様の信号が入力され、図2に示す偶数列出力部210に接続する偶数列出力線262は、奇数列出力線261と同様の出力線を有する。
なお、図10に示すスイッチSw1〜Sw10は、入力される制御信号がHighの時に導通し(ON)、Lowの時に遮断する(OFF)こととする。
次に、第2の実施形態における撮像素子12の駆動方法について、図13〜図15を参照して説明する。なお、図13〜図15に示す各制御信号及び信号線の駆動により、奇数列信号処理部203及び偶数列信号処理部204の各回路が駆動される。以下の説明において、奇数列用の構成と偶数列用の構成が同じ処理を行う場合、「奇数列」「偶数列」の記載を省略する。
●第4の読み出し動作
図13は、第2の実施形態に係る撮像素子12の第4の読み出し動作を説明するタイミング図である。ここでは、画素領域201に配列された画素200の内のいずれか1画素(例えばP1cで示す画素)を読み出す場合を例にして説明する。
水平同期信号HDは、画素領域201に配列された画素200を行毎に読み出す際の同期信号である。画素制御信号線221には、リセット制御信号pR、転送制御信号pTa’,pTb’,pTc’,pTd’、選択制御信号pSELの各々を画素P1cを含む1行目に供給する。
選択制御信号pS1,pS2,pS3、初期化制御信号pCr1,pCr2は、列信号線231,232に読み出された信号を対応する信号処理部203,204が信号処理する際の制御パルスである。水平走査制御信号pHrは制御信号線285,286に出力される。水平走査部207,208は、信号処理部203,204のメモリ回路513,523,533を制御する水平走査制御信号pHrをメモリ選択線pH1,pH2,pH3に発生させる。
信号Vampは、列信号線231,232に読み出された画素P1cの信号を、オペアンプAMPで増幅した出力信号を示す。なお、信号Vampは、画素P1cの信号を反転増幅した信号であるので、図6の信号Vsigとは逆の極性を持つ。
ランプ信号Vrmp1,Vrmp2,Vrmp3は、信号処理部203,204の比較器Comp1,Comp2,Comp3に入力される。なお、上述したように、ランプ信号Vampが図6の信号Vsigとは逆極性の信号となっているため、ランプ信号Vrmp1,Vrmp2,Vrmp3も、図6のランプ信号とは逆の極性を有する信号となっている。
第4の読み出し動作では、まず、FDノード301’をリセットした信号(N信号)を読み出す。その後、FDノード301に光電変換素子D1a’の電荷を読み出した信号(A信号)、FDノード301’に光電変換素子D1a’の電荷を読み出した後に光電変換素子D1b’の電荷を読み出して加算した信号(A+B信号)を読み出す。更に、FDノード301’に光電変換素子D1a’及びD1b’の電荷を読み出した後に、光電変換素子D1c’及びD1d’の電荷を読み出して加算した信号(A+B+C+D信号)の読み出しを行う。この時に、A信号、A+B信号が焦点検出用信号の基となる信号となり、A+B+C+D信号が画像取得用信号の基となる信号となる。
以下の説明において、N信号、A信号、A+B信号、A+B+C+D信号をそれぞれNp信号、Ap信号、(A+B)p信号、(A+B+C+D)p信号と表す。また、オペアンプAMPの信号出力端子から出力されたN信号、A信号、A+B信号、A+B+C+D信号は、それぞれNa信号、Aa信号、(A+B)a信号、(A+B+C+D)a信号と表す。そして、N信号、A信号、A+B信号、A+B+C+D信号の振幅を、それぞれVn、Va、Vab、Vallと表現し、N信号を含むA信号、A+B信号、A+B+C+D信号の振幅は、それぞれVna、Vnab、Vnallと表す。
まず、図13において、時刻t101〜t105は、電子シャッタ動作として1行目の画素P1cのリセット動作のタイミングを示す。時刻t101において、電子シャッタ動作を行う水平同期期間が始まると、まず、時刻t102において、リセット制御信号pRをHighにしてリセットトランジスタT2をONすることで、FDノード301’の電位を電源電圧Vddにリセットする。
時刻t103からt104において、転送制御信号pTa’,pTb’,pTc’,pTd’をHighにして転送トランジスタT1a’,T1b’,T1c’,T1d’をONにする。これにより、光電変換素子D1a’,D1b’,D1c’,D1d’に蓄積されている電荷をFDノード301’に転送することで、光電変換素子D1a’,D1b’,D1c’,D1d’をリセットする。なお、これ以外のリセット動作は、図6と同じなので、説明は省略する。
時刻t106は、設定された露光時間経過後の水平同期期間の始まりを示す。時刻t106〜t169までの1水平同期期間において、1行分の画素P1cの信号が出力される。
まず、時刻t107において、リセット制御信号pRをHighにしてリセットトランジスタT2をONすることで、FDノード301’の電位を電源電圧Vddにリセットする。同時に、選択制御信号pSELをHighにして選択トランジスタT3をONすることで、ソースフォロア回路を動作させ、FDノード301’の電位に対応する電圧を列信号線231,232に出力する。
また、同時に、選択制御信号pS1,pS2,pS3をHighにして選択スイッチSw1、Sw4、Sw7をONすることで、オペアンプAMPの出力信号Vampを保持容量C1,C4,C7に伝達する。更に、同時に、初期化制御信号pCr1をHighにして初期化スイッチSw2,Sw3,Sw5,Sw6,Sw8,Sw9をONすることで、比較器Comp1,Comp2,Comp3の入力を初期化電圧Vrfに設定する。更に、同時に、初期化制御信号pCr2をHighにして初期化スイッチSw10をONすることで、オペアンプAMPの反転入力端子と信号出力端子を短絡して、反転増幅回路を初期化する。
次に、時刻t108において、リセット制御信号pRをLowにしてリセットトランジスタT2をOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この際に画素P1cから出力される信号が、FDノード301’をリセットした信号となるNp信号である。
そして、信号線231,232に出力されたNp信号が安定した時刻t151において、初期化制御信号pCr2をLowにして選択スイッチSw10をOFFすることで、オペアンプAMPを動作状態に設定する。この時、入力容量C0は、基準電圧Vrfaと列信号線231,232に出力されたNp信号の差分に相当する電位差を保持していることになる。
Np信号に対応するオペアンプAMPの反転入力端子は、基準電圧Vrfaに初期化されている。そのため、理想的には信号出力端子に差分となる信号は出力しないはずであるが、初期化スイッチSw10のスイッチングノイズによる変動や、オペアンプAMPの持つバラツキによるノイズ信号が合算されたNa信号が信号出力端子から出力する。
その後、オペアンプAMPの信号出力端子に出力された信号Vampが安定するのを待つ。この時、出力されるVamp信号が、Na信号Vnである。
そして、オペアンプAMPの信号出力端子に出力されたNa信号Vnが安定した時刻t152において、選択制御信号pS1,pS2,pS3をLowにして選択スイッチSw1,Sw4,Sw7をOFFする。これにより、保持容量C1,C4,C7に伝達されたNa信号Vnを保持する。同時に、初期化制御信号pCr1をLowにして初期化スイッチSw2,Sw3,Sw5,Sw6,Sw8,Sw9をOFFすることで、比較器Comp1,Comp2,Comp3の入力電位を初期化電圧Vrfに設定する。
この時、結合容量C2,C5,C8は、初期化電圧VrfとNa信号Vnの差分に相当する電位差を保持していることになる。また、結合容量C3,C6,C9は、初期化電圧Vrfとランプ波が発生する前のランプ信号の電圧との差分に相当する電位差をそれぞれ保持していることになる。
この時の時刻t107から時刻t152までをN信号Vnの保持動作期間Tnとする。そして、時刻t152以降において、Na信号VnのAD変換を実施する。時刻t152からt153までが、N信号VnのAD変換期間TAnとなる。なお、AD変換を実施する回路構成が3系統になったことと、Vampとランプ波が逆の極性となったこと以外は、図6と同じようにダウンカウントの動作をさせればよいので、ここでは説明は省略する。この期間は、同時に、N信号Vnを保持容量C1,C4,C7に保持しておかなければならない保持期間でもある。
N信号VnのAD変換においては、カウンタ回路511,521,531が、比較器Comp1,Comp2,Comp3の比較結果信号を受けて、それぞれの時点でカウンタを停止させる。更に、時刻t153の時点で、カウンタの状態を保ってカウント値を保持している。
次に、時刻t154において、転送制御信号pTaをHighにして転送トランジスタT1aをONすることで、光電変換素子D1a’に蓄積された電荷をFDノード301’に転送し、光電変換素子D1a’の信号として信号線231,232に出力する。また、同時に、選択制御信号pS1をHighにして選択スイッチSw1をONすることで、オペアンプAMPの出力信号Vampを保持容量C1に伝達する。
続いて、時刻t155において、転送制御信号pTa’をLowにして転送トランジスタT1a’をOFFする。その後、信号線231,232に出力された信号が安定するのを待つ。この時に信号線231,232に出力される信号が、Np信号に光電変換素子D1a’の電荷を読み出した信号が加わったAp信号である。
同時に、Ap信号は、入力容量C0を介してオペアンプAMPに入力されるが、入力容量C0は、基準電圧Vrfaと列信号線231,232に出力されたNp信号の差分に相当する電位差を保持しているので、画素のNp信号が差し引かれる。これにより、光電変換素子D1a’の信号に相当するAp信号Vaとして入力される。これは、入力容量C0をクランプ動作に利用したCDSを実現していることになる。そして、反転増幅回路により、反転ゲインがかけられたAa信号が出力信号Vampとして出力される。この時のAa信号は、オペアンプAMPのNa信号Vnが含まれたVnaとなる。
次に、オペアンプAMPの信号出力端子に出力されたAa信号Vnaが安定した時刻t156において、選択制御信号pS1をLowにして選択スイッチSw1をOFFすることで、保持容量C1に伝達されたAa信号Vnaを保持する。この時の時刻t154からt156までをA信号Vnaの保持動作期間Taとする。そして、時刻t156以降において、Aa信号VnaのAD変換を実施する。
時刻t156からt160までが、A信号VnaのAD変換期間TAaとなるが、AD変換を実施する回路構成において、Vampとランプ波が逆の極性となったこと以外は、図6と同じ動作をさせればよいので説明は省略する。この期間は、同時に、A信号Vnaを保持容量C1に保持しておかなければならない保持期間でもある。
A信号VnaのAD変換においては、比較器Comp1の比較結果信号を受けたカウンタ回路511のカウント値をラッチ回路512で一時的に保持するとともに、t160の時点で、デジタルA信号Daとしてメモリ回路513に記憶させる。
次に、A信号VnaをAD変換している途中の時刻t157において、転送制御信号pTa’,pTb’をHighにして転送トランジスタT1a’,T1b’をONする。これにより、光電変換素子D1a’,D1b’に蓄積している電荷をFDノード301’に転送し、光電変換素子D1a’とD1b’の加算信号として列信号線231,232に出力する。
また、同時に、信号選択制御信号pS2をHighにして選択スイッチSw4をONすることで、オペアンプAMPの出力信号Vampを保持容量C4に伝達する。
続いて、時刻t158において、転送制御信号pTa’,pTb’をLowにして転送トランジスタT1a’,T1b’をOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この時に列信号線231,232に出力される信号が、Ap信号に光電変換素子D1bの電荷を読み出した信号が加わった(A+B)p信号である。
時刻t157においては、光電変換素子D1b’に蓄積している電荷の読み出しと同時に、光電変換素子D1a’に蓄積している電荷の読み出しも行っている。同時に、(A+B)p信号は、入力容量C0を介してオペアンプAMPに入力される。ここで、入力容量C0は、基準電圧Vrfaと列信号線231,232に出力されたNp信号の差分に相当する電位差を保持しているので、Np信号が差し引かれ、光電変換素子D1a’とD1b’の加算信号に相当する(A+B)p信号Vabとして入力される。これにより、入力容量C0をクランプ動作に利用したCDSを実現していることになる。そして、反転増幅回路により、反転ゲインがかけられた(A+B)a信号が出力信号Vampとして出力される。この時の(A+B)a信号は、オペアンプAMPのNa信号Vnが含まれたVnabとなる。
次に、オペアンプAMPの信号出力端子に出力された(A+B)a信号Vnabが安定した時刻t159において、信号選択制御信号pS2をLowにして選択スイッチSw4をOFFすることで、保持容量C4に伝達された(A+B)a信号Vnabを保持する。この時の時刻t157からt159までをA+B信号Vnabの保持動作期間Tabとする。
そして、時刻t159以降において、(A+B)a信号VnabのAD変換を実施する。時刻t159からt163までが、A+B信号VnabのAD変換期間TAabとなるが、AD変換を実施する回路構成において、Vampとランプ波が逆の極性となったこと以外は、図6と同じ動作をさせればよいので説明は省略する。
この期間は、同時に、A+B信号Vnabを保持容量C4に保持しておかなければならない保持期間でもある。A+B信号VnabのAD変換においては、比較器Comp2の比較結果信号を受けたカウンタ回路521のカウント値をラッチ回路522で一時的に保持するとともに、t163の時点で、デジタルA+B信号Dabとしてメモリ回路523に記憶させる。
次に、A+B信号VnabをAD変換している途中の時刻t160において、転送制御信号pTa’,pTb’,pTc’,pTd’をHighにして転送トランジスタT1a’,T1b’,T1c’,T1d’をONする。これにより、光電変換素子D1a’,D1b’,D1c’,D1d’に蓄積している電荷をFDノード301’に転送し、光電変換素子D1a’,D1b’,D1c’,D1d’の加算信号として列信号線231,232に出力する。また、同時に、信号選択制御信号pS3をHighにして選択スイッチSw7をONすることで、オペアンプAMPの出力信号Vampを保持容量C7に伝達する。
続いて、時刻t161において、転送制御信号pTa’,pTb’,pTc’,pTd’をLowにして転送トランジスタT1a’,T1b’,T1c’,T1d’をOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この時に列信号線231,232に出力される信号が、(A+B)p信号に光電変換素子D1c’,D1d’の電荷を読み出した信号が加わった(A+B+C+D)p信号である。
時刻t160においては、光電変換素子D1c’,D1d’に蓄積している電荷の読み出しと同時に、光電変換素子D1a’,D1b’に蓄積している電荷の読み出しも行っている。これは、時刻t103において、電子シャッタ動作として転送制御信号pTa’,pTb’,pTc’,pTd’をHighにすることで、光電変換素子D1a’,D1b’,D1c’,D1d’に蓄積している電荷を同時にリセットして露光をスタートさせたことによる。そのために、露光時間をそろえる必要が生じたためである。
従って、時刻t103における光電変換素子D1b’のリセット時刻を、時刻t154からt157までの光電変換素子D1a’と光電変換素子D1b’の読み出し時刻の差だけ後ろにずらして実施し、光電変換素子D1c’、D1d’のリセット時刻を、時刻t154からt160までの光電変換素子D1a’と光電変換素子D1c’、D1d’の読み出し時刻の差だけ後ろにずらして実施することができれば、時刻t157の光電変換素子D1a’の読み出し及びt160の光電変換素子D1a’,D1b’の読み出しは不要となる。
また、時刻t154からt160までの光電変換素子D1a’の読み出し時刻の差が、設定される露光時間より十分に短ければ、時刻t157及び時刻t160における光電変換素子D1a’の読み出しを省略してもよい。また、時刻t154からt160までの光電変換素子D1b’の読み出し時刻の差が、設定される露光時間より十分に短ければ、時刻t160における光電変換素子D1b’の読み出しを省略してもよい。
同時に、(A+B+C+D)p信号は、入力容量C0を介してオペアンプAMPに入力される。入力容量C0は、基準電圧Vrfaと列信号線231,232に出力されたNp信号の差分に相当する電位差を保持している。そのため、画素のNp信号が差し引かれ、光電変換素子D1a’,D1b’,D1c’,D1d’の加算信号に相当する(A+B+C+D)p信号として入力される。これにより、入力容量C0をクランプ動作に利用したCDSを実現していることになる。そして、反転増幅回路により、反転ゲインがかけられた(A+B+C+D)a信号が出力信号Vampとして出力される。この時の(A+B+C+D)a信号は、オペアンプAMPのNa信号Vnが含まれたVnallとなる。
次に、オペアンプAMPの信号出力端子に出力された(A+B+C+D)a信号Vnallが安定した時刻t162において、選択制御信号pS3をLowにして選択スイッチSw7をOFFする。これにより、保持容量C7に伝達された(A+B+C+D)a信号Vnallを保持する。この時の時刻t160からt162までをA+B+C+D信号Vnallの保持動作期間Tallとする。
そして、時刻t162以降において、(A+B+C+D)a信号VnallのAD変換を実施する。時刻t162からt164までが、A+B+C+D信号VnallのAD変換期間TAallとなるが、AD変換を実施する3系統目の回路構成において、Vampとランプ波が逆の極性となったこと以外は、図6と同じ動作をさせればよいので説明は省略する。この期間は、同時に、A+B+C+D信号Vnallを保持容量C7に保持しておかなければならない保持期間でもある。
A+B+C+D信号VnallのAD変換においては、まず、比較器Comp3の比較結果信号を受けたカウンタ回路531のカウント値をラッチ回路532で一時的に保持する。更に、時刻t164の時点で、デジタルA+B+C+D信号Dallとしてメモリ回路533に記憶させる。
次に、時刻t165において、リセット制御信号pRをHighにしてリセットトランジスタT2をONすることで、FDノード301’の電位を電源電圧Vddにリセットする。これにより、列信号線231,232の信号がリセットされ、オペアンプAMPの出力信号Vampもリセットされる。
そして、FDノード301’の電位が十分にリセットされた時刻t166において、リセット制御信号pRをLowにしてリセットトランジスタT2をOFFする。続いて、時刻t167において、選択制御信号pSELをLowにして選択トランジスタT3をOFFすることで、画素P1cと列信号線231,232を電気的に切り離す。ここまでで、1行目の画素P1cの信号が、それぞれ対応する信号処理部203,204に読み出されて、AD変換後、メモリ回路513,523,533にデジタル信号として記憶される。
次に、時刻t168からt169において、TG211が信号線285を介して制御パルスpHrを水平走査部207,208に送る。この時、水平走査部207,208は、制御パルスpHrに同期して、メモリ選択線pH1,pH2,pH3を介して信号処理部203,204を所定の順番に選択する。
第4の読み出し動作では、メモリ選択線pH1,pH2,pH3が、それぞれ対応するメモリ回路513,523,533を同時に選択する。そして、選択されたメモリ回路513,523,533が記憶しているデジタル化された画素信号であるデジタルA信号Da、デジタルA+B信号Dab、デジタルA+B+C+D信号Dallを、それぞれ対応する出力線261,262であるデジタル出力線DSig1,DSig2,DSig3に出力する。
このようにして、信号処理部203,204から、所定の順番で選択された1行分の画素のデジタルA信号Da、デジタルA+B信号Dab、デジタルA+B+C+D信号Dallが出力される。また、デジタル出力線DSig1,DSig2,DSig3を介して出力部209,210から並列に出力される。これにより、1行分の画素の信号の出力が完了する。
ここまでが、FDノード301’をリセットしたN信号、光電変換素子D1a’の電荷を読み出したA信号、光電変換素子D1a’とD1b’の電荷を加算したA+B信号、及び、光電変換素子D1a’,D1b’,D1c’,D1d’の電荷を加算したA+B+C+D信号の読み出しを行う第4の読み出し動作になる。
この第4の読み出し動作においては、A信号VnaをAD変換している途中の時刻t157において、光電変換素子D1a’とD1b’の加算信号を列信号線231,232に出力している。つまり、期間Tc1が、A信号Vnaの保持期間でもあるAD変換期間TAaとA+B信号Vnabの保持動作期間Tabとの共通期間となる。
また、A信号VnaをAD変換している途中の時刻t159において、A+B信号VnabのAD変換を開始している。つまり、期間Tc2が、A信号Vnaの保持期間でもあるAD変換期間TAaとA+B信号Vnabの保持期間でもあるAD変換期間TAabとの共通期間となる。
そして、A+B信号VnabをAD変換している途中の時刻t160において、光電変換素子D1a’,D1b’,D1c’,D1d’の加算信号を列信号線231,232に出力している。つまり、期間Tc3が、A+B信号Vnabの保持期間でもあるAD変換期間TAabとA+B+C+D信号Vnallの保持動作期間Tallとの共通期間となる。
また、A+B信号VnabをAD変換している途中の時刻t162において、A+B+C+D信号VnallのAD変換を開始している。つまり、期間Tc4が、A+B信号Vnabの保持期間でもあるAD変換期間TAabとA+B+C+D信号Vnallの保持期間でもあるAD変換期間TAallとの共通期間となる。
このように、N信号Vnの読み出しとAD変換、A信号Vnaの読み出しとAD変換、A+B信号Vnabの読み出しとAD変換及びA+B+C+D信号Vnallの読み出しとAD変換を順番に実施する場合に比べて、水平同期期間の短縮が可能となる。これにより、第4の読み出し動作におけるフレームレートを向上することができる。
1行分の画素信号の出力が完了した後、時刻t169の水平同期信号により、次の行の読み出し動作が開始される。次の行の信号処理部203,204の初期化動作については、AD変換を実施する回路構成が3系統になったこと以外は、図6と同じ動作をさせればよいので説明は省略する。そして、行毎に1水平同期期間t106〜t169を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は1行毎にずれていくことになる。
●第5の読み出し動作
図14は、第2の実施形態に係る撮像素子12の第5の読み出し動作を説明するタイミング図である。図14においては、リセット制御信号pR、転送制御信号pTa’,pTb’,pTc’,pTd’、垂直選択線pSELの動作タイミングは、図13と同じであって、画素の動作自体は変わらない。つまり、光電変換素子D1c’、D1d’は、同じ動作で読み出すので、図14では、転送制御信号pTc’、pTd’をpTcd’と表している。また、信号選択制御信号pS3、初期化制御信号pCr1,pCr2、制御信号pHrの動作タイミング及びランプ信号Vrmp3も、図13と同じとなっている。このため、オペアンプAMPの信号出力端子に出力される信号Vampも変わらない。図13と図14の違いは、選択制御信号pS1,pS2及びランプ信号Vrmp1,Vrmp2を出力しないことだけである。図14では、選択制御信号pS1,pS2をpS12と表し、ランプ信号Vrmp1,Vrmp2をVrmp12と表す。
第5の読み出し動作でも、FDノード301’をリセットした信号(N信号)、及び、FDノード301’に光電変換素子D1a’の電荷を読み出した後に光電変換素子D1b’の電荷を読み出す。更に、その後、光電変換素子D1c、D1dの電荷を読み出すことで、光電変換素子D1a’,D1b’,D1c’,D1d’の電荷を加算した信号(A+B+C+D信号)の読み出しを行う。しかしながらFDノード301’に光電変換素子D1aの電荷を読み出した信号(A信号)、及び、FDノード301’に光電変換素子D1aの電荷を読み出した後に光電変換素子D1bの電荷を読み出した信号(A+B信号)をAD変換しない。これら以外は、第4の読み出し動作と同じである。
具体的には、時刻t107からt152において、選択制御信号pS1,pS2を出さないことで、比較器Comp1,Comp2へのNa信号Vnの入力を止める。そして、時刻t152からt153において、ランプ信号Vrmp1,Vrmp2を出さないことで、比較器Comp1,Comp2へのランプ波の入力を止める。
一方、比較器Comp3へのNa信号Vn及びランプ波の入力、及び、比較器Comp3とカウンタ回路531を用いたNa信号VnのAD変換は実施する。
同様に、時刻t154からt156において、選択制御信号pS1を出さないことで、比較器Comp1へのAa信号Vnaの入力を止める。そして、時刻t156からt160において、ランプ信号Vrmp1を出さないことで、比較器Comp1へのランプ波の入力を止める。同じく、時刻t157からt159において、信号選択制御信号pS2を出さないことで、比較器Comp2への(A+B)a信号Vnabの入力を止める。更に、時刻t159からt163において、ランプ信号Vrmp2を出さないことで、比較器Comp2へのランプ波の入力を止める。
一方、比較器Comp3への(A+B+C+D)a信号Vnall及びランプ波の入力、及び、比較器Comp3とカウンタ回路531を用いた(A+B+C+D)a信号VnallのAD変換は実施する。
ここまでが、FDノード301’をリセットしたN信号、及び、光電変換素子D1a’,D1b’,D1c’,D1d’の電荷を加算したA+B+C+D信号の読み出しを行う第5の読み出し動作になる。
第5の読み出し動作においては、A信号の出力に関するN信号VnのAD変換及びA信号VnaのAD変換が実施されなくなる。従って、比較器Comp1、カウンタ回路511、ラッチ回路512、メモリ回路513及びVrmp1を発生させていたランプ波発生部205,206の一部を停止させることができる。
同様に、A+B信号の出力に関するN信号VnのAD変換及びA+B信号VnabのAD変換が実施されなくなる。従って、比較器Comp2、カウンタ回路521、ラッチ回路522、メモリ回路523及びVrmp2を発生させていたランプ波発生部205,206の一部を停止させることができる。
また、デジタル出力線DSig1,DSig2に信号が送られないため、出力部209,210の一部も停止させてよい。更に、メモリ選択線pH1,pH2の制御信号も停止させることができる。
このように、信号処理部203,204やランプ波発生部205,206の内のA信号の出力及びA+B信号の出力に関する部分の回路を停止させることにより、第5の読み出し動作の消費電力削減が実現する。
1行分の画素信号の出力が完了した後、時刻t169の水平同期信号により、次の行の読み出し動作が開始される。そして、行毎に1水平同期期間t106〜t169を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は1行毎にずれていくことになる。また、第5の読み出し動作における1水平同期期間は、第4の読み出し動作における1水平同期期間と同じ長さとなる。
●第6の読み出し動作
図15は、第2の実施形態に係る撮像素子12の第6の読み出し動作を説明するタイミング図である。図15においては、図14の時刻t154からt160までが省略されたタイミングになっている。そのため、1水平同期期間t106からt190が、第4及び第5の読み出し動作における1水平同期期間よりも短くなっているが、それ以外は、図14と同じタイミングである。
図15に示す画素200の動作においては、時刻t07からt08でFDノード301’のリセットを実施した後に、光電変換素子D1a’,D1b’,D1c’,D1d’の電荷を同時に読み出している。この時、光電変換素子D1a’,D1b’,D1c’,D1d’は、同じ動作で読み出すので、図15では転送制御信号pTa’,pTb’,pTc’,pTd’をpTallと表す。これにより、第6の読み出し動作では、FDノード301’をリセットした信号(N信号)、及び、FDノード301’において光電変換素子D1a’,D1b’,D1c’,D1d’の電荷を加算した信号(A+B+C+D信号)の読み出しを行う。そのため、図15の時刻t181において、図14の時刻t154の代わりに時刻t160における信号制御を実施する。
具体的には、時刻t181において転送制御信号pTa’,pTb’,pTc’,pTd’をHighにして転送トランジスタT1a’,T1b’,T1c’,T1d’を同時にONする。これにより、光電変換素子D1a’,D1b’,D1c’,D1d’に蓄積している電荷をFDノード301’に転送し、光電変換素子D1a’,D1b’,D1c’,D1d’の加算信号として列信号線231,232に出力する。同時に、信号選択制御信号pS3をHighにして選択スイッチSw7をONすることで、オペアンプAMPの出力信号Vampを保持容量C7に伝達する。
続いて、時刻t182において、転送制御信号pTa’,pTb’,pTc’,pTd’をLowにして転送トランジスタT1a’,T1b’,T1c’,T1d’をOFFする。その後、列信号線231,232に出力された信号が安定するのを待つ。この時に列信号線231,232に出力される信号が、Np信号に光電変換素子D1a’,D1b’,D1c’,D1d’の電荷を読み出して加算した信号が加わった(A+B+C+D)p信号である。
同時に、(A+B+C+D)p信号は、入力容量C0を介してオペアンプAMPに入力される。入力容量C0は、基準電圧Vrfaと列信号線231,232に出力されたNp信号の差分に相当する電位差を保持しているので、画素のNp信号が差し引かれる。これにより、光電変換素子D1a’,D1b’,D1c’,D1d’の加算信号に相当する(A+B+C+D)p信号として入力される。従って、入力容量C0をクランプ動作に利用したCDSを実現していることになる。
そして、反転増幅回路により、反転ゲインがかけられた(A+B+C+D)a信号が出力信号Vampとして出力される。この時の(A+B+C+D)a信号は、オペアンプAMPのNa信号Vnが含まれたVnallとなる。
次に、オペアンプAMPの信号出力端子に出力された(A+B+C+D)a信号Vnallが安定した時刻t183において、選択制御信号pS3をLowにして選択スイッチSw7をOFFする。これにより、保持容量C7に伝達された(A+B+C+D)a信号Vnallを保持する。
そして、時刻t183以降のA+B+C+D信号VnallのAD変換、画素のリセット、及び、デジタル出力線DSig3を介したデジタルA+B+C+D信号Dallの出力は、図14と同じ動作であるので説明は省略する。
ここまでが、FDノード301’をリセットしたN信号、及び、光電変換素子D1a’,D1b’,D1c’,D1d’の電荷を加算したA+B+C+D信号の読み出しを行う第6の読み出し動作になる。
また、水平同期期間の始まりの時刻t106から、図14においてA+B+C+D信号VnallのAD変換が終了した時刻t164までに係る時間は、図15における時刻t189までの時間に対応している。即ち、図15においてA+B+C+D信号VnallのAD変換が終了した時刻t184から時刻t189までが、第4及び第5の読み出し動作と比較した場合の短縮期間ΔTAallとなる。
更に、図14と同様に、信号処理部203,204やランプ波発生部205,206の内のA信号の出力及びA+B信号の出力に関する部分の回路を停止させることにより、第4の読み出し動作と同じく消費電力の削減が可能となっている。
1行分の画素信号の出力が完了した後、時刻t190の水平同期信号により、次の行の読み出し動作が開始される。そして、行毎に1水平同期期間t106〜t190を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は1行毎にずれていくことになる。
これにより、各画素の信号200の信号をそれぞれ出力部209,210から並列に出力させることが可能となる。従って、第4の読み出し動作、第5の読み出し動作、第6の読み出し動作すべてにおいて、フレームレートの向上が図られることになる。
●焦点検出領域と第4及び第5の読み出し動作との関係
次に、図9を参照して、焦点検出領域と第2の実施形態における読み出し動作のとの関係について説明する。
図9(a)に示す例の場合、上部にある非焦点検出領域602では、図14に示す第5の読み出し動作を実施し、その下にある焦点検出領域601では、図13に示す第4の読み出し動作を実施する。そして、下部にある非焦点検出領域602では、再び図14に示す第5の読み出し動作を実施する。第2の実施形態では、第4の読み出し動作の水平同期期間と第5の読み出し動作の水平同期期間が同じ時刻t106からt169であるため、すべての行で露光時間を同じにすることが可能で、且つ、露光期間の行毎のずれも均一にすることができる。これにより、露光時間の均一化とローリング歪の曲がりを解消することができる。
そして、焦点検出領域601では、第4の読み出し動作により出力されるデジタルA信号Daと、デジタルA+B信号DabからデジタルA信号Daを減算して求めたデジタルB信号Dbとを用いて、水平方向に位走査検出方式の焦点検出を実施することができる。また、デジタルA+B信号Dabと、デジタルA+B+C+D信号DallからデジタルA+B信号Dabを減算して求めたデジタルC+D信号Dcdとを用いて、垂直方向に位走査検出方式の焦点検出を実施することができる。更に、画素領域201全体から出力されるデジタルA+B+C+D信号Dallを用いて、撮影画像を作成することができる。
これをフレーム毎に繰り返すことで、常に被写体にピントがあった動画を撮影することが可能となる。
以上のように、第2の実施形態によれば、第4の読み出し動作の水平同期期間と第5の読み出し動作の水平同期期間が等しいため、すべての行で露光時間を同じにすることができ、且つ、露光期間の行毎のずれもフレーム内で均一に保つことができる。これにより、露光時間の均一化とローリング歪の曲がり解消が実現できる。
また、第5の読み出し動作において、列信号処理部やランプ波発生部の内のA信号の出力及びA+B信号の出力に関する部分の回路を停止させることにより、消費電力削減を実現している。
さらに、4つの光電変換素子D1a’,D1b’,D1c’,D1d’を水平垂直に配置しているので、水平垂直両方向の焦点検出を実施することが可能となる。
なお、上述した特許文献3に関して説明したように、図15に示す第6の読み出し動作を第1の読み出し動作と交互に行うと、露光時間が同じにならず、且つ、露光期間の行毎のずれも不均一になってしまうことになる。従って、第3の読み出し動作は、焦点検出をせずに全画面に渡ってA+B+C+D信号を出力するのに適している。
なお、第1の実施形態と同様に、焦点検出領域601で第4の読み出し動作で読み出す行を、複数行毎、あるいは、複数行中の連続する2行毎にし、その他の行を第5の読み出し動作で読み出すようにしてもよい。このように第5の読み出し動作で読み出す画素を増やすことで、更に、消費電力を削減することができる。
<変形例3>
図9(b)は、第2の実施形態の変形例3に係る撮像素子12の焦点検出領域の配置例を示す図である。図9(b)に示す例の場合、各行が、左から非焦点検出領域602、焦点検出領域601、非焦点検出領域602で構成されている。そして、焦点検出領域601では第4の読み出し動作を実施し、非焦点検出領域602では第5の読み出し動作を実施する。
画素200を駆動するためのリセット制御信号pR、転送制御信号pTa’,pTb’,pTc’,pTd’、選択制御信号pSEL及びオペアンプAMPの初期化制御信号pCr2の動作タイミングは、第4の読み出し動作でも第5の読み出し動作でも変わらない。即ち、焦点検出領域601、非焦点検出領域602に関わらず、画素200及びオペアンプAMPの動作自体は同じであって、オペアンプAMPの出力信号には、N信号Vn、A信号Vna、A+B信号Vnab、A+B+C+D信号Vnallが順番に出力される。
一方、焦点検出領域601の列では、対応する信号処理部203,204の選択制御信号pS1,pS2,pS3、初期化制御信号pCr1の動作タイミング及びランプ信号Vrmp1,Vrmp2,Vrmp3を、図13に示すように駆動する。このため、焦点検出領域601の列の信号処理部203,204の動作は、第4の読み出し動作となる。
すなわち、焦点検出領域601の列の信号処理部203,204においては、A信号Vna、A+B信号Vnab、A+B+C+D信号Vnallに対してCDS及びAD変換が実施される。そして、AD変換されたデジタルA信号Da、デジタルA+B信号Dab、デジタルA+B+C+D信号Dallが、それぞれ対応するメモリ回路513,523,533に記憶される。
また、非焦点検出領域602の列では、対応する信号処理部203,204の選択制御信号pS1,pS2,pS3、初期化制御信号pCr1及びランプ信号Vrmp1,Vrmp2,Vrmp3を、図14に示すように駆動する。従って、非焦点検出領域602の列の信号処理部203,204の動作は、第5の読み出し動作となる。このために、非焦点検出領域602では、選択制御信号pS1,pS2,ランプ信号Vrmp1,Vrmp2を無効にする制御を加える。例えば、選択スイッチSw1、比較器Comp1と選択制御信号pS1、ランプ信号Vrmp1を出力する制御信号線との間にそれぞれスイッチを設け、焦点検出領域601に指定された列以外の信号処理部203,204のスイッチをオフにするようにしても良い。または、焦点検出領域601が予め決められた列の領域である場合、非焦点検出領域602の列の信号処理部203,204におけるA信号Vnaを読み出すための回路を省略してもよい。
すなわち、焦点検出領域601の列の信号処理部203,204においては、A+B+C+D信号Vnallに対してのみCDS及びAD変換が実施され、AD変換されたデジタルA+B+C+D信号Dallが、対応するメモリ回路533に記憶される。
そして、水平走査部207.208が制御信号pHr上に同期して、それぞれ接続する信号処理部203,204のメモリ回路513,523,533を所定の順番に選択する。この時、メモリ選択線pH1,pH2,pH3は、焦点検出領域601の列の信号処理部203,204のメモリ回路513,523,533を同時に選択する。一方、非焦点検出領域602の列の信号処理部203,204においては、メモリ回路533のみを選択する。
そして、行毎に1水平同期期間t106〜t169を繰り返すことで、画素領域201の画素を行毎に読み出すことができる。
以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。
上記の通り変形例3によれば、すべての行で露光時間を同じにすることができ、且つ、露光期間の行毎のずれもフレーム内で均一に保つことができる。これにより、露光時間の均一化とローリング歪の曲がり解消が実現できる。
また、第5の読み出し動作において、列信号処理部やランプ波発生部の内のA信号及びA+B信号の出力に関する部分の回路を停止させることにより、消費電力削減を実現している。
更に、4つの光電変換素子D1a’,D1b’,D1c’,D1d’を水平垂直に配置しているので、水平垂直両方向の焦点検出を実施することが可能となっている。
なお、変形例3においても、第2の実施形態と同様に、焦点検出領域601で第4の読み出し動作で読み出す行を、複数行毎、あるいは、複数行中の連続する2行毎にし、その他の行を第5の読み出し動作で読み出すようにしてもよい。このように第5の読み出し動作で読み出す画素を増やすことで、更に、消費電力を削減することができる。
<変形例4>
図9(c)は、第2の実施形態の変形例4に係る撮像素子12の焦点検出領域の他の配置例を示す図である。図9(c)に示す例の場合、上から、非焦点検出領域602、次に、焦点検出領域601と非焦点検出領域602とを含む領域603、そして、非焦点検出領域602となっている。そして、画素領域の上下にある非焦点検出領域602では第5の読み出し動作を実施し、領域603では、上述した変形例3で図9(b)を参照して説明した読み出し動作を実施する。
変形例4では、変形例3よりも第2の読み出し動作を行う領域が広いため、変形例3と同様の効果に加え、更に消費電力を削減することができる。
なお、変形例3においても、第2の実施形態と同様に、焦点検出領域601で第4の読み出し動作で読み出す行を、複数行毎、あるいは、複数行中の連続する2行毎にし、その他の行を第5の読み出し動作で読み出すようにしてもよい。このように第5の読み出し動作で読み出す画素を増やすことで、更に、消費電力を削減することができる。
なお、領域603を、第4の読み出し動作により読み出すようにしても良く、その場合、撮像素子の構成及び制御の簡便化をはかることができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。第3の実施形態は、第2の実施形態と比較して、第4の読み出し動作が図13に示すものと異なる。それ以外は、第2の実施形態と同様であるため、説明を省略する。以下、第2の実施形態との相違点のみを説明する。
図16は、第3の実施形態における第7の読み出し動作を示すタイミング図であり、第2の実施形態における第4の読み出し動作の代わりに行われる。図13と比較して、時刻t157からt158において、転送制御信号pTb’をHighにする代わりに、転送制御信号pTc’をHighにするところが異なる。これにより、転送トランジスタT1b’の代わりに、転送トランジスタT1c’がONとなる。そして、光電変換素子D1a’に水平方向に隣接する光電変換素子D1b’の代わりに、光電変換素子D1a’に垂直方向に隣接する光電変換素子D1c’に蓄積された電荷が、光電変換素子D1a’に蓄積された電荷と共にFDノード301’に転送される。そして、光電変換素子D1a’とD1c’の加算信号として列信号線231,232に出力される。
このように、第3の実施形態においては、FDノード301’をリセットしたN信号、FDノード301’に光電変換素子D1a’の電荷を読み出したA信号、FDノード301’に光電変換素子D1a’の電荷を読み出した後に光電変換素子D1c’の電荷を読み出して加算したA+C信号の読み出しを行う。更に、FDノード301’に光電変換素子D1a’及びD1c’の電荷を読み出した後に光電変換素子D1b’及びD1d’の電荷を読み出して加算したA+B+C+D信号の読み出しを行う。
そして、第7の読み出し動作により出力されるデジタルA信号Daと、デジタルA+C信号DacからデジタルA信号Daを減算して求めたデジタルC信号Dcとを用いて、水平方向に位走査検出方式の焦点検出を実施することができる。また、デジタルA+C信号Dacと、デジタルA+B+C+D信号DallからデジタルA+C信号Dacを減算して求めたデジタルB+D信号Dbdとを用いて、垂直方向に位走査検出方式の焦点検出を実施することができる。更に、画素領域201全体から出力されるデジタルA+B+C+D信号Dallを用いて、撮影画像を作成することができる。
第2の実施形態では、水平方向は、デジタルA信号Da及びデジタルB信号Dbを用いて焦点検出を実施しているのに対して、垂直方向は、デジタルA+B信号Dab及びデジタルC+D信号Dcdを用いて焦点検出を実施していた。そのため、垂直方向の焦点検出には、画素内すべての光電変換素子を利用していることになる。これにより、垂直方向の焦点検出の方が、感度が高くなっているのに加え、マイクロレンズの形状に対してより広く対称になっているので、効率よく位相差情報を取り込むことができる。
これに対し、第3の実施形態においては、光電変換素子D1a’とD1c’の信号からなるA+C信号、及び、光電変換素子D1b’とD1d’の信号からなるB+D信号を用いて水平方向の焦点検出を実施している。そのため、水平方向の焦点検出の方が、感度が高くなっているのに加え、マイクロレンズの形状に対してより広く対称になっているので、効率よく位相差情報を取り込むことができる。
以上のように、第3の実施形態においても、第7の読み出し動作におけるフレームレート維持、第5の読み出し動作における消費電力削減、さらに、露光時間の均一化とローリング歪の曲がりを解消することができる。
また、第3の実施形態は、第1の実施形態、第2の実施形態と同様に図9に適応可能であることも明らかである。
なお、第3の実施形態に係る焦点検出の変形例として、次のように制御しても良い。すなわち、焦点検出領域601内に、水平方向の焦点検出領域と垂直方向の焦点検出領域を設け、水平方向の焦点検出領域では、第7の読み出し動作を実施し、垂直方向の焦点検出領域では、第4の読み出し動作を実施する。これにより、撮像する被写体に応じて、最適な焦点検出方向を選択することが可能となる。この時、第7の読み出し動作で読み出す行で水平方向の焦点検出を実施し、第4の読み出し動作で読み出す列で垂直方向の焦点検出を実施することで、感度が高く、且つ、効率的な焦点検出方向を選択することが可能となる。
さらに、変形例として、第1の実施形態と同様に、焦点検出領域601で第1の読み出し動作で読み出す行を、複数行毎、あるいは、複数行中の連続する2行毎にし、その他の行を第2の読み出し動作で読み出すようにしてもよい。このように第5の読み出し動作で読み出す画素を増やすことで、更に、消費電力を削減することができる。
12:撮像素子、13:信号処理部、15;同期制御部、200:画素、201:画素領域、202:垂直走査部、203:奇数列信号処理部、204:光電変換素子D1a’に水平方向、231:奇数列信号線、232:偶数列信号線、D1a,D1b,D1a’,D1b’,D1c’,D1d’:光電変換素子、601:焦点検出領域、602:非焦点検出領域

Claims (9)

  1. 行列状に配列された複数のマイクロレンズそれぞれに対して設けられた第1から第4の光電変換部と、前記第1から第4の光電変換部から転送された信号を一時的に保持する保持手段と、を備える画素領域と、
    複数の読み出し動作のうちのいずれかを行って前記保持手段から信号を読み出す駆動手段と、を有し、
    前記複数の読み出し動作は、
    前記第1の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1及び第2の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1から第4の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力する第1の読み出し動作と、
    前記第1の光電変換部から前記保持手段への信号の転送、及び、前記第1及び第2の光電変換部から前記保持手段への信号を転送を順次、行い、前記保持手段に保持された信号を前記画素領域の外に出力せずに、前記第1から第4の光電変換部から前記保持手段へ信号を転送し、前記保持手段に保持された信号を前記画素領域の外に出力する第2の読み出し動作と、を含み、
    前記第1の読み出し動作と前記第2の読み出し動作において、前記保持手段への信号の転送を同じタイミングで行い、
    前記駆動手段は、焦点検出領域を含まない行から信号を読み出す場合に、前記第2の読み出し動作を行うことを特徴とする撮像素子。
  2. 前記第1の光電変換部の信号を処理する第1の信号処理手段と、前記第1及び第2の光電変換部の信号を処理する第2の信号処理手段と、前記第1から第4の光電変換部の信号を処理する第3の信号処理手段と、を含む複数の信号処理手段を更に有し、
    前記第2の読み出し動作では、前記第1の信号処理手段と、前記第2の信号処理手段の動作を停止することを特徴とする請求項に記載の撮像素子。
  3. 前記第1の読み出し動作において、前記第1の信号処理手段により前記第1の光電変換部の信号を処理している間に、前記第1及び第2の光電変換部の信号を前記保持手段に転送して読み出し、前記第2の信号処理手段による処理を開始し、前記第2の信号処理手段により前記第1及び第2の光電変換部の信号を処理している間に、前記第1から第4の光電変換部の信号を前記保持手段に転送して読み出し、前記第3の信号処理手段による処理を開始することを特徴とする請求項に記載の撮像素子。
  4. 前記第1及び第2の光電変換部は、水平方向に隣接していることを特徴とする請求項乃至のいずれか1項に記載の撮像素子。
  5. 前記第1及び第2の光電変換部は、垂直方向に隣接していることを特徴とする請求項乃至のいずれか1項に記載の撮像素子。
  6. 請求項乃至のいずれか1項に記載の撮像素子と、
    前記第1の読み出し動作により、前記第1の光電変換部から読み出された信号と、前記第1及び第2の光電変換部から読み出された信号から、前記第1の光電変換部から読み出された信号を差し引いて得られた信号とを用いて、第1の方向に位相差検出方式の焦点検出を行い、前記第1及び第2の光電変換部から読み出された信号と、前記第1から第4の光電変換部から読み出された信号から、前記第1及び第2の光電変換部から読み出された信号を差し引いて得られた信号とを用いて、第2の方向に位相差検出方式の焦点検出を行う焦点検出手段と
    を有することを特徴とする撮像装置。
  7. 前記第1及び第2の読み出し動作により、前記第1から第4の光電変換部から読み出された信号に基づいて、画像を生成することを特徴とする請求項に記載の撮像装置。
  8. 行列状に配列された複数のマイクロレンズそれぞれに対して設けられた第1から第4の光電変換部と、前記第1から第4の光電変換部から転送された信号を一時的に保持する保持手段と、を備える画素領域を有する撮像素子の制御方法であって、
    駆動手段が、前記画素領域のうち、焦点検出領域から第1の読み出し動作により読み出す工程と、
    前記駆動手段が、前記画素領域のうち、非焦点検出領域から第2の読み出し動作により読み出す工程と、を含み、
    前記第1の読み出し動作では、前記第1の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1及び第2の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1から第4の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、
    前記第2の読み出し動作では、前記第1の光電変換部から前記保持手段への信号の転送、及び、前記第1及び第2の光電変換部から前記保持手段への信号を転送を順次、行い、前記保持手段に保持された信号を前記画素領域の外に出力せずに、前記第1から第4の光電変換部から前記保持手段へ信号を転送し、前記保持手段に保持された信号を前記画素領域の外に出力し、
    前記第1の読み出し動作と前記第2の読み出し動作において、前記保持手段への信号の転送を同じタイミングで行うことを特徴とする撮像素子の制御方法。
  9. 行列状に配列された複数のマイクロレンズそれぞれに対して設けられた第1から第4の光電変換部と、前記第1から第4の光電変換部から転送された信号を一時的に保持する保持手段と、を備える画素領域を有する撮像素子の制御方法であって、
    駆動手段が、前記画素領域のうち、焦点検出領域を含む行から第1の読み出し動作により読み出す工程と、
    前記駆動手段が、前記画素領域のうち、焦点検出領域を含まない行から第2の読み出し動作により読み出す工程と、を含み、
    前記第1の読み出し動作では、前記第1の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1及び第2の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、前記第1から第4の光電変換部から前記保持手段へ信号を転送した後に、前記保持手段に保持された信号を前記画素領域の外に出力し、
    前記第2の読み出し動作では、前記第1の光電変換部から前記保持手段への信号の転送、及び、前記第1及び第2の光電変換部から前記保持手段への信号を転送を順次、行い、前記保持手段に保持された信号を前記画素領域の外に出力せずに、前記第1から第4の光電変換部から前記保持手段へ信号を転送し、前記保持手段に保持された信号を前記画素領域の外に出力し、
    前記第1の読み出し動作と前記第2の読み出し動作において、前記保持手段への信号の転送を同じタイミングで行うことを特徴とする撮像素子の制御方法。
JP2015192217A 2015-09-29 2015-09-29 撮像素子及びその制御方法、及び撮像装置 Active JP6650715B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015192217A JP6650715B2 (ja) 2015-09-29 2015-09-29 撮像素子及びその制御方法、及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015192217A JP6650715B2 (ja) 2015-09-29 2015-09-29 撮像素子及びその制御方法、及び撮像装置

Publications (2)

Publication Number Publication Date
JP2017069724A JP2017069724A (ja) 2017-04-06
JP6650715B2 true JP6650715B2 (ja) 2020-02-19

Family

ID=58492896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015192217A Active JP6650715B2 (ja) 2015-09-29 2015-09-29 撮像素子及びその制御方法、及び撮像装置

Country Status (1)

Country Link
JP (1) JP6650715B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6643291B2 (ja) * 2017-09-22 2020-02-12 キヤノン株式会社 撮像装置及びその駆動方法
JP6929750B2 (ja) * 2017-09-29 2021-09-01 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7067907B2 (ja) 2017-12-01 2022-05-16 キヤノン株式会社 固体撮像装置及び信号処理装置
EP4270934A4 (en) * 2021-02-10 2024-06-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE WITH IMAGE SENSOR AND METHOD OF OPERATING THE SAME
JP7403506B2 (ja) * 2021-08-05 2023-12-22 キヤノン株式会社 光電変換装置、撮像装置、機器及び光電変換装置の駆動方法

Also Published As

Publication number Publication date
JP2017069724A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6650715B2 (ja) 撮像素子及びその制御方法、及び撮像装置
US8411157B2 (en) Solid-state image pickup device and image pickup device
JP6579771B2 (ja) 撮像装置
JP5609358B2 (ja) 撮像装置、制御装置及び撮像装置の制御方法
WO2016129408A1 (ja) イメージセンサ、読み出し制御方法、および電子機器
JP2014182237A (ja) 撮像装置及びその制御方法
JP5105843B2 (ja) 撮像装置及び判定方法
JP2013034179A (ja) 撮像素子及び撮像装置
US20150015756A1 (en) Image pickup apparatus, control method therefor and image pickup system
JP6305169B2 (ja) 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
JP2017204737A (ja) 撮像装置及び撮像装置の制御方法
JP2012004819A (ja) 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
US9407822B2 (en) Image capturing apparatus capable of reducing time taken to display image on display and method of controlling the same
JP2016187071A (ja) 撮像素子、データ出力方法、および電子機器
JP6448219B2 (ja) 撮像装置、及びその制御方法
JP2008011179A (ja) 固体撮像素子及びこれを用いた撮像装置
JP2003234960A (ja) 撮像装置
JP2013021616A (ja) 撮像装置
JP2011182321A (ja) 固体撮像装置、駆動方法、および撮像装置
JP5624804B2 (ja) 読出し制御装置、読出し制御方法、プログラム、撮像装置および固体撮像装置
JP2016103701A (ja) 撮像素子及びその制御方法
JP2012044536A (ja) 読出し制御装置、読出し制御方法、プログラム、撮像装置および固体撮像装置
JP2014075644A (ja) 撮像素子及びその駆動方法
JP2018133600A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP2006350017A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200121

R151 Written notification of patent or utility model registration

Ref document number: 6650715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151