JP6992877B2 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JP6992877B2
JP6992877B2 JP2020509363A JP2020509363A JP6992877B2 JP 6992877 B2 JP6992877 B2 JP 6992877B2 JP 2020509363 A JP2020509363 A JP 2020509363A JP 2020509363 A JP2020509363 A JP 2020509363A JP 6992877 B2 JP6992877 B2 JP 6992877B2
Authority
JP
Japan
Prior art keywords
pixel
unit
signal
pixels
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020509363A
Other languages
English (en)
Other versions
JPWO2019189893A1 (ja
Inventor
英明 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2019189893A1 publication Critical patent/JPWO2019189893A1/ja
Application granted granted Critical
Publication of JP6992877B2 publication Critical patent/JP6992877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、撮像素子および撮像装置に関する。
ローリングシャッタ方式でシャッタ動作を行う撮像素子が知られている(例えば特許文献1)。特許文献1には、画像のノイズを抑制するためにダミー画素を設け、ダミー画素のシャッタ動作を行うことが記載されている。しかし、ダミー画素を設けると、撮像素子の面積が大きくなってしまう。
日本国特開2014-57367号公報
発明の第1の態様によると、撮像素子は、光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷を蓄積する蓄積部と、所定の電圧を供給する供給部と前記蓄積部との接続および切断を切り替える切替部と、前記蓄積部に蓄積された電荷に基づく信号を出力する出力部とをそれぞれ有する複数の画素と、複数の前記画素のうち第1画素の前記蓄積部に蓄積された電荷に基づく信号を前記出力部から出力させている間、複数の前記画素のうち第2画素の前記切替部に前記供給部と前記蓄積部とを接続させる制御をする制御部と、を備える。
発明の第2の態様によると、撮像装置は、第1の態様による撮像素子と、前記出力部から出力された信号に基づいて画像データを生成する生成部と、を備える。
第1の実施の形態に係る撮像装置の構成を示すブロック図である。 第1の実施の形態に係る撮像素子の画素部の構成例を示す図である。 第1の実施の形態に係る撮像素子の構成例を示す図である。 第1の実施の形態に係る撮像素子の画素の構成例を示す図である。 第1の実施の形態に係る画素の動作の一例を示す図である。 第1の実施の形態に係る画素の動作の別の例を示す図である。 第1の実施の形態に係る撮像素子の一部の構成例を示す図である。 第1の実施の形態に係る撮像素子の動作例を示すタイミングチャートである。 第1の実施の形態に係る撮像素子の別の動作例を示すタイミングチャートである。 第1の実施の形態に係る撮像素子の別の動作例を示すタイミングチャートである。 第1の実施の形態に係る撮像素子の動作の一例を示す図である。 第1の実施の形態に係る撮像素子の動作の一例を示す図である。
(第1の実施の形態)
図1は、第1の実施の形態に係る撮像装置の構成を示すブロック図である。図1では、第1の実施の形態に係る撮像装置の一例であるカメラ1の構成例を示す。カメラ1は、撮像光学系(結像光学系)2、撮像素子3、制御部4、メモリ5、表示部6、及び操作部7を備える。撮像光学系2は、焦点調節レンズ(フォーカスレンズ)を含む複数のレンズ及び開口絞りを有し、撮像素子3に被写体像を結像する。なお、撮像光学系2は、カメラ1から着脱可能にしてもよい。
撮像素子3は、例えばCMOSイメージセンサである。撮像素子3は、撮像光学系2の射出瞳を通過した光束を受光して、被写体像を撮像する。撮像素子3には、光電変換部を有する複数の画素が二次元状(例えば行方向及び列方向)に配置される。光電変換部は、例えばフォトダイオード(PD)によって構成される。撮像素子3は、受光した光を光電変換して信号を生成し、生成した信号を制御部4に出力する。
撮像素子3は、撮像画素とAF画素(焦点検出画素)とを有する。撮像画素は、画像生成に用いる信号(撮像信号)を出力する。AF画素は、焦点検出に用いる信号(焦点検出信号)を出力する。後述するが、AF画素は、撮像画素の一部に置換して配置され、撮像素子3の撮像面のほぼ全面に分散して配置される。なお、以下の説明では、単に画素と称する場合は、撮像画素およびAF画素のいずれか一方または両方を指す。
メモリ5は、例えば、メモリカード等の記録媒体である。メモリ5には、画像データ等が記録される。メモリ5へのデータの書き込みや、メモリ5からのデータの読み出しは、制御部4によって行われる。表示部6は、画像データに基づく画像、シャッター速度や絞り値等の撮影に関する情報、及びメニュー画面等を表示する。操作部7は、レリーズボタン、電源スイッチなどの各種設定スイッチ等を含み、それぞれの操作に応じた操作信号を制御部4へ出力する。
制御部4は、CPUやFPGA、ASIC等のプロセッサ、及びROMやRAM等のメモリによって構成され、制御プログラムに基づいてカメラ1の各部を制御する。制御部4は、撮像制御部4aと、画像データ生成部4bと、焦点検出部4cとを有する。
撮像制御部4aは、撮像素子3に制御信号を供給して、撮像素子3の動作を制御する。撮像制御部4aは、表示部6に被写体のスルー画像(ライブビュー画像)を表示する場合や、動画撮影を行う場合に、撮像素子3に所定周期のフレーム毎に繰り返し被写体像を撮像させて、撮像信号や焦点検出信号を出力させる。例えば、撮像制御部4aは、撮像素子3の画素を行単位で順次選択して、選択した画素から信号を読み出す、いわゆるローリングシャッタ方式の読み出し制御を行う。
撮像制御部4aは、撮像素子3を制御して、AF画素が配置された画素の行(以下、AF画素行と称する)からの信号の読み出しと、AF画素が配置されていない画素の行(以下、撮像画素行と称する)からの信号の読み出しとを分けて行う処理を行う。また、撮像制御部4aは、AF画素行の信号読み出しと撮像画素行の信号読み出しとを分けて行わずに、画素行を順次選択して、各画素の信号を読み出す処理も行う。
例えば、撮像制御部4aは、表示部6にスルー画像を表示する場合や動画撮影を行う場合に、AF画素行の各画素の信号の読み出しと撮像画素行の各画素の信号の読み出しとを分けて行う。また、撮像制御部4aは、高解像度の静止画撮影を行う場合には、AF画素行の各画素の信号の読み出しと撮像画素行の各画素の信号の読み出しとを分けて行わずに、画素行を順次選択して信号を読み出す処理を行う。
画像データ生成部4bは、撮像素子3から出力される撮像信号に各種の画像処理を行って画像データを生成する。画像処理には、例えば、階調変換処理、色補間処理、輪郭強調処理等の公知の画像処理が含まれる。
焦点検出部4cは、公知の位相差検出方式により、撮像光学系2の自動焦点調節(AF)に必要な焦点検出処理を行う。具体的には、焦点検出部4cは、撮像光学系2による像が撮像素子3の撮像面上に合焦するためのフォーカスレンズの合焦位置を検出する。焦点検出部4cは、撮像素子3から出力される一対の焦点検出信号に基づき、第1及び第2の像の像ズレ量を検出する。焦点検出部4cは、検出した像ズレ量に基づいて、フォーカスレンズの現在の位置と合焦位置とのずれ量(デフォーカス量)を算出する。フォーカスレンズがデフォーカス量に応じて駆動されることにより、焦点調節が自動で行われる。
図2は、第1の実施の形態に係る撮像素子の画素部の構成例を示す図である。撮像素子3は、画素が二次元状(行方向及び列方向)に配置される画素部100を有する。画素部100は、有効画素領域91と、オプティカルブラック(OB)画素領域92とを有する。有効画素領域91は、被写体からの光を受光する撮像画素及び焦点検出画素が配置されている。有効画素領域91は、外からの光が撮像画素及び焦点検出画素に入射する領域である。OB画素領域92は、例えば、撮像画素から読み出される撮像信号の補正に用いられる補正信号を出力する画素が配置される。OB画素領域92は、外からの光が配置される画素に入射しない領域である。そのため、OB画素領域92は配置される全ての画素を覆うように遮光膜が設けられる。OB画素領域92に配置される画素は、外から光が入射しないように遮光された状態の画素(OB画素)となる。OB画素領域92は、光電変換部が有るOB画素が配置されるPD有りOB画素領域93と、光電変換部が無いOB画素が配置されるPD無しOB画素領域94とを有する。PD有りOB画素は、撮像画素から出力される信号の暗電流成分の検出などに用いられる。PD無しOB画素は、撮像画素から出力される信号のオフセット成分の検出などに用いられる。
制御部4の画像データ生成部4bは、有効画素領域91の撮像画素から読み出される撮像信号に基づいて、画像データを生成する。OB画素は、暗電流成分とオフセット成分との検出などに用いられる。画像データ生成部4bは、撮像信号から暗電流成分とオフセット成分とを減算することによって、撮像信号から暗電流によるノイズ成分を除去する。
図3は、第1の実施の形態に係る撮像素子の構成例を示す図である。撮像素子3は、画素部100と、垂直制御部30と、供給部35と、画素部100の上下に配置される複数の読み出し部40(第1の読み出し部40a、第2の読み出し部40b)とを有する。なお、画素部100の有効画素領域91に配置される画素の数及び配置は、図示した例に限られない。有効画素領域91には、例えば、数百万~数億、又はそれ以上の画素が設けられる。
画素部100の有効画素領域91には、複数の撮像画素10とAF画素13(13a、13b)とが配置される。図3においては、左上隅の画素を第1行第1列の撮像画素10(1,1)とし、右下隅の撮像画素を第19行第10列の撮像画素10(19,10)として、撮像画素10(1,1)から撮像画素10(19,10)までの190個の画素を図示している。なお、図3に示した行方向10画素×列方向19画素の190個の画素は、有効画素領域91の任意の領域に配置された画素群を表すものであり、図3の第1列~第10列及び第1行~第19行の名称も190個の画素に対して付したものである。従って、撮像素子3では、図3の第10列目の画素の右側及び第19行目の画素の下側は勿論のこと、第1列目の画素の左側及び第1行目の画素の上側にも画素が存在しうる。
撮像画素10には、例えばR(赤)、G(緑)、B(青)の異なる分光特性を有する3つのカラーフィルタ(色フィルタ)41のいずれかが設けられる。Rのカラーフィルタ41は主に赤色の波長域の光を透過し、Gのカラーフィルタ41は主に緑色の波長域の光を透過し、Bのカラーフィルタ41は主に青色の波長域の光を透過する。画素は、配置されたカラーフィルタ41によって異なる分光特性を有する。これにより、撮像画素10には、赤(R)の分光特性を有する画素(以下、R画素と称する)と、緑(G)の分光特性を有する画素(以下、G画素と称する)と、青(B)の分光特性を有す画素(以下、B画素と称する)とがある。R画素とG画素とB画素とは、ベイヤー配列に従って配置されている。
第1及び第2のAF画素13a、13bは、上述のようにベイヤー配列されたR、G、Bの撮像画素10の一部に置換して配置される。第1及び第2のAF画素13a、13bには、カラーフィルタ41及び遮光膜43が設けられる。例えば、第1及び第2のAF画素13a、13bには、カラーフィルタ41として、Gのカラーフィルタが配置される。第1のAF画素13aと第2のAF画素13bとは、その遮光部43の位置が異なる。これにより、第1のAF画素13aの光電変換部は、撮像光学系2の射出瞳の第1及び第2の領域のうちの第1の領域を通過した光束を受光する。また、第2のAF画素13bの光電変換部は、撮影光学系2の射出瞳の第1及び第2の領域のうちの第2の領域を通過した光束を受光する。
撮像素子3は、図3に示すように、R画素10rとG画素10gとが左右方向、即ち行方向に交互に配置される第1の撮像画素行401と、G画素10gとB画素10bとが行方向に交互に配置される第2の撮像画素行402とを有する。また、撮像素子3は、G画素10gと第1のAF画素13aとが行方向に交互に配置される第1のAF画素行403aと、G画素10gと第2のAF画素13bとが行方向に交互に配置される第2のAF画素行403bとを有する。
垂直制御部30は、カメラ1の撮像制御部4aによって制御され、制御信号を各画素に供給して、各画素の動作を制御する。供給部35は、撮像制御部4aによって制御され、各画素に所定の電圧(電位)を供給する。後述するが、供給部35は、電源電圧VDDを各画素の切替部および増幅部に供給する。第1の読み出し部40a及び第2の読み出し部40bは、それぞれアナログ/デジタル変換部(AD変換部)を含んで構成される。
各画素の信号は、その画素に接続された第1の垂直信号線VoutAまたは第2の垂直信号線VoutBに出力される。第1の垂直信号線VoutAに出力された画素の信号は、第1の読み出し部40aによりデジタル信号に変換された後に、制御部4に出力される。また、第2の垂直信号線VoutBに出力された画素の信号は、第2の読み出し部40bによりデジタル信号に変換された後に、制御部4に出力される。
図4は、第1の実施の形態に係る撮像素子の画素の構成例を示す図である。各画素(図4においては画素10a、10b)は、それぞれ光電変換部11と転送部12とを含んで構成される。画素10aは、光電変換部11aと転送部12aを有し、画素10bは、光電変換部11bと転送部12bを有する。光電変換部11は、フォトダイオードPDであり、入射した光を電荷に変換し、光電変換された電荷を蓄積する。
本実施の形態に係る撮像素子3は、図4において破線20で示すように、隣り合う2つの画素がフローティングディフュージョン(FD)15と、切替部16と、増幅部17と、第1の選択部18と、第2の選択部19とを共有する構成となる。切替部16は、接続スイッチ部16a及びリセット部16bを有し、電源電圧VDDを供給する供給部35とFD15との接続および切断を切り替える。
画素10aの転送部12aは、信号TX0により制御されるトランジスタM1から構成される。転送部12aは、接続スイッチ部16aのトランジスタM4aがオフの場合は、光電変換部11aで光電変換された電荷をFD15に転送する。即ち、転送部12aは、光電変換部11a及びFD15の間に電荷転送路を形成する。接続スイッチ部16aのトランジスタM4aがオンの場合には、転送部12aは、光電変換部11aで光電変換された電荷をFD15及び領域16cに転送する。
画素10bの転送部12bは、信号TX1により制御されるトランジスタM2から構成される。転送部12bは、接続スイッチ部16aのトランジスタM4aがオフの場合は、光電変換部11bで光電変換された電荷をFD15に転送する。即ち、転送部12bは、光電変換部11b及びFD15の間に電荷転送路を形成する。接続スイッチ部16aのトランジスタM4aがオンの場合には、転送部12bは、光電変換部11bで光電変換された電荷をFD15及び領域16cに転送する。トランジスタM1、M2は、それぞれ転送トランジスタである。
FD15の容量Cは、FD15に転送された電荷を蓄積(保持)して、容量値で除算した電圧に変換する。
増幅部17は、光電変換部11から転送された電荷による信号を増幅して出力する。増幅部17は、ドレイン(端子)、及びゲート(端子)がそれぞれ、電源電圧VDDを供給する供給部35、FD15に接続されるトランジスタM5により構成される。また、トランジスタM5のソース(端子)は、第1の選択部18を介して第1の垂直信号線VoutAに接続され、第2の選択部19を介して第2の垂直信号線VoutBに接続される。増幅部17は、後述する電流源(図7の第1の電流源25a、第2の電流源25b)を負荷電流源として、ソースフォロワ回路の一部として機能する。トランジスタM5は、増幅トランジスタである。増幅部17と第1の選択部18と第2の選択部19とは、光電変換部11により生成された電荷に基づく信号を生成し出力する出力部を構成する。
接続スイッチ部16aは、信号GCにより制御されるトランジスタM4aにより構成され、FD15と領域16cとを電気的に接続(結合)する。領域16cは、領域16cに接続される各トランジスタの容量(寄生容量)や配線容量の容量を有する。領域16cは、領域16cに転送された電荷を蓄積して、容量値で除算した電圧に変換する。
リセット部16bは、信号RSTにより制御されるトランジスタM4bから構成され、領域16cとFD15に蓄積された電荷を排出し、領域16cとFD15の電圧をリセットする。トランジスタM4bは、リセットトランジスタである。換言すると、リセット部16bは、排出部16bであり、領域16c及びFD15に蓄積された電荷を供給部35に排出する。
接続スイッチ部16aは、リセット部16bのトランジスタM4bがオンの場合には、FD15に蓄積された電荷を排出し、FD15の電圧をリセットするリセット部として機能する。即ち、接続スイッチ部16aは、FD15に蓄積された電荷を供給部35に排出する排出部16aでもある。
接続スイッチ部16aのトランジスタM4aがオンの場合には、FD15と領域16cとは電気的に接続される。これにより、光電変換部11から転送された電荷が、FD15及び領域16cに蓄積される。このため、光電変換部11から電荷が転送される領域の容量が大きくなる。この結果、高輝度な被写体からの光を光電変換することで、光電変換部により生成された大量の電荷を蓄積できる。一方、接続スイッチ部16aのトランジスタM4aがオフの場合には、領域16cとFD15とは電気的に切断される。このため、光電変換部11から電荷が転送される領域の容量が小さくなる。この結果、電荷を電圧に変換する際の変換ゲインを大きくできる。垂直制御部30は、信号GCを接続スイッチ部16aに供給して、接続スイッチ部16aをオンオフ制御することによって、変換ゲインを変更できる。
第1の選択部18は、信号SELAにより制御されるトランジスタM6から構成され、増幅部17と第1の垂直信号線VoutAとを電気的に接続又は切断する。第1の選択部18のトランジスタM6は、オン状態の場合に、増幅部17からの信号を第1の垂直信号線VoutAに出力する。第2の選択部19は、信号SELBにより制御されるトランジスタM7から構成され、増幅部17と第2の垂直信号線VoutBとを電気的に接続又は切断する。第2の選択部19のトランジスタM7は、オン状態の場合に、増幅部17からの信号を第2の垂直信号線VoutBに出力する。トランジスタM6は、第1の選択トランジスタであり、トランジスタM7は、第2の選択トランジスタである。
上述のように、光電変換部11から転送された電荷に応じた信号(画素信号)が、第1の垂直信号線VoutAまたは第2の垂直信号線VoutBに出力される。画素信号は、光電変換部11によって光電変換された電荷に基づいて生成されるアナログ信号である。撮像画素10から出力される画素信号は、読み出し部40による信号処理が施された後に、撮像信号として制御部4に出力される。
なお、本実施の形態にあっては、第1のAF画素13a及び第2のAF画素13bの回路構成は、撮像画素10の回路構成とそれぞれ同一である。第1のAF画素13a及び第2のAF画素13bから出力される画素信号は、読み出し部40による信号処理が施された後に、一対の焦点検出信号として制御部4に出力される。
本実施の形態では、垂直制御部30は、ローリングシャッタ方式の読み出し制御を行う。即ち、撮像素子3の撮像画素行やAF画素行は、垂直制御部30によって順次選択される。具体的には、撮像素子3では、画素に蓄積された電荷の排出(リセット動作)と画素から信号を読み出す読み出し動作とが、例えば最上行から最下行に向かって1行または複数行毎に走査しながら行われる。
一般的に、ローリングシャッタ方式では、最上行の読み出し動作の開始から最下行の読み出し動作の終了までの読み出し期間の途中で全ての画素行のリセット動作が終了すると、同時刻にリセット動作が行われる画素行の数が変化する。この読み出し期間の途中で画素に蓄積された電荷を排出するための信号の供給が終了することで、電源の負荷が変化することになる。このため、電源電圧が変動し、電源電圧の変動に起因するノイズが画素信号に混入するおそれがある。例えば、読み出し動作中に他の画素行のリセット動作が行われる画素行と、読み出し動作中に他の画素行のリセット動作が行われない画素行とで、画素信号に電源電圧の変動に起因する差異が生じてしまう。この場合、画素信号を用いて生成される画像には、例えば横線状のパターン(電子シャッタ傷)が生じることになる。
そこで、本実施の形態に係る撮像素子3は、読み出し対象となる画素から信号を順次読み出す間に、非読み出し対象の画素、即ち読み出し動作を行わない画素に対してリセット動作を行うことによって、同じタイミングでリセット動作が行われる画素行の数を制御する。本実施の形態では、後述するが、垂直制御部30は、有効画素領域91の全画素のうち読み出し対象となる画素行の画素から信号を読み出す間に、有効画素領域91の全画素のうち読み飛ばし行となる画素行の画素に対してリセット動作を行う。
また、垂直制御部30は、リセット動作が行われる読み出し対象の画素行の数の変化に応じて、非読み出し対象の画素行に対するリセット動作を行う。これにより、読み出し対象の各画素行の読み出し動作が行われる期間において、リセット動作が行われる画素行の数を一定にできる。このため、電源電圧が変動することを抑制でき、画素信号にノイズが混入することを抑制できる。この結果、画素信号を用いて生成される画像に、電子シャッタ傷が生じることを防ぐことができる。以下では、リセット動作が行われる画素行の数を調整するために行われるリセット動作を、ダミーリセット動作と称する場合がある。
複数の垂直信号線を用いて複数の画素行の信号の同時読み出しを行う場合や、複数の撮像画素行の信号を加算して読み出す加算読み出しを行う場合には、例えば複数行の画素に同時にリセット動作を行った後に読み出し動作を行うため、同時にリセット動作が行われる画素行が増加する。また、撮像画素行に対するリセット動作と、AF画素行に対するリセット動作とが並行して行われる場合もあり、この場合には同時にリセット動作が行われる画素行が更に増加する。そこで、垂直制御部30は、同じタイミングでリセット動作が行われる読み出し対象の画素行の最大数を算出し、ダミーリセット動作を行う非読み出し対象の画素行の数を決定する。そして、垂直制御部30は、各画素行の読み出し動作の期間に、これと並行してリセット動作が行われる画素行の数が一定となるように、非読み出し対象の画素行にダミーリセット動作を行う。このため、画素信号の読み出し方法が変更された場合であっても、電源電圧の変動を抑制して、画素信号にノイズが混入することを防ぐことができる。
また、OB画素領域92の画素(OB画素)にダミーリセット動作を行ってリセット動作が行われる画素行の数を調整することも考えられるが、上述したように同時にリセット動作が行われる行数が大きくなると、OB画素領域92の画素行では足りないおそれがある。これに対して、本実施の形態では、有効画素領域91内の非読み出し対象の画素にダミーリセット動作を行うため、リセット行数を調整するための画素行が足りなくなることを防ぐことができる。また、ダミーリセット動作を行うための画素を別途配置する必要がないので、撮像素子の面積が増大することを防ぐことができる。更に、ダミーリセット動作を行うための画素を別途配置する必要がないので、撮像素子の面積が増大して製造コストが増大することを回避できる。
以下では、本実施の形態に係る画素の制御の一例として、画素10aに対するリセット動作と画素10aからの信号の読み出し動作について、図5及び図6を参照して説明する。
図5は、第1の実施の形態に係る画素の動作の一例を示す図である。図5に示すタイミングチャートにおいて、横軸は時刻を示しており、撮像素子3の画素に入力される制御信号を示している。また、図5において、制御信号がハイレベル(例えば電源電圧)の場合に制御信号が入力されるトランジスタがオン状態となり、制御信号がローレベル(例えば接地電圧)の場合に制御信号が入力されるトランジスタがオフ状態となる。なお、図5は、高輝度の被写体を撮影するときの画素の動作の一例を示す図でもある。そのため、図5に示す例では、信号GCはハイレベルにされ、FD15と領域16cとが電気的に接続されている。
図5に示す時刻t1では、信号RSTがハイレベルになることで、リセット部16bのトランジスタM4bがオンになる。信号RST及び信号GCが共にハイレベルであるため、切替部16は、供給部35(電源VDD)と領域16c及びFD15とを電気的に接続する。これにより、FD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
時刻t2において、信号TX0がハイレベルになることで、転送部12aのトランジスタM1がオンになり、光電変換部11aとFD15及び領域16cとが電気的に接続される。これにより、光電変換部11aに蓄積された電荷がFD15及び領域16cに転送され、光電変換部11a、FD15、及び領域16cの電圧が平均化される。即ち、光電変換部11aの電荷が排出され、光電変換部11aの電圧がリセットされるともいえる。このように、図5の時刻t1から時刻t3までの期間において、FD15、領域16c、及び光電変換部11aの電荷を排出するリセット動作が1回行われる。
時刻t4~時刻t6では、時刻t1から時刻t3までの期間における第1回目のリセット動作の場合と同様にして、第2回目のリセット動作が行われる。時刻t7~時刻t9、時刻t10~時刻t12、時刻t13~時刻t15では、それぞれ、第3回目、第4回目、第5回目のリセット動作が行われる。このように、リセット動作を複数回行うことで、光電変換部11aの電荷を確実に排出できる。
時刻t16では、信号RSTがハイレベルになることで、リセット部16bのトランジスタM4bがオンになる。これにより、FD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。また、時刻t16において、信号SELAがハイレベルになることで、リセット電圧に基づく信号が、増幅部17及び第1の選択部18により第1の垂直信号線VoutAに出力される。即ち、FD15及び領域16cの電圧をリセット電圧にリセットしたときの信号(ノイズ信号)が、第1の垂直信号線VoutAに出力される。
時刻t17では、信号TX0がハイレベルになることで、転送部12aのトランジスタM1aがオンになり、光電変換部11aで光電変換された電荷が、FD15及び領域16cに転送される。また、時刻t17では、信号SELAがハイレベルであるため、光電変換部11aで生成された電荷に基づく信号が、増幅部17及び第1の選択部18によって第1の垂直信号線VoutAに出力される。
図6は、第1の実施の形態に係る画素の動作の別の例を示す図である。図6に示す例では、信号RSTはハイレベルとなっており、接続スイッチ部16aがリセット部として機能する。
図6に示す時刻t1では、信号GCがハイレベルになることで、接続スイッチ部16aのトランジスタM4aがオンになる。信号RST及び信号GCが共にハイレベルであるため、切替部16は、供給部35(電源VDD)と領域16cとFD15とを電気的に接続する。これにより、FD15の電荷が排出され、FD15の電圧がリセット電圧になる。
時刻t2において、信号TX0がハイレベルになることで、転送部12aのトランジスタM1がオンになり、光電変換部11aとFD15とが電気的に接続される。これにより、光電変換部11aに蓄積された電荷がFD15に転送され、光電変換部11a及びFD15の電圧が平均化される。即ち、光電変換部11aの電荷が排出され、光電変換部11aの電圧がリセットされる。このように、図6の時刻t1から時刻t3までの期間では、FD15及び光電変換部11aの電荷を排出するリセット動作が1回行われる。
時刻t4~時刻t6では、時刻t7~時刻t9、時刻t10~時刻t12、時刻t13~時刻t15では、それぞれ、第2回目、第3回目、第4回目、第5回目のリセット動作が行われる。
時刻t16では、信号GCがハイレベルになることで、接続スイッチ部16aのトランジスタM4aがオンになる。これにより、FD15の電荷が排出され、FD15の電圧がリセット電圧になる。また、時刻t16において、信号SELAがハイレベルになることで、リセット電圧に基づく信号が、増幅部17及び第1の選択部18により第1の垂直信号線VoutAに出力される。
時刻t17では、信号TX0がハイレベルになることで、転送部12aのトランジスタM1aがオンになり、光電変換部11aで光電変換された電荷が、FD15に転送される。また、時刻t17では、信号SELAがハイレベルであるため、光電変換部11aで生成された電荷に基づく信号が、増幅部17及び第1の選択部18によって第1の垂直信号線VoutAに出力される。
なお、上記では、画素10aの信号を第1の垂直信号線VoutAに出力する例について説明したが、第1の選択部18をオフ状態、第2の選択部19をオン状態とした場合は、第2の垂直信号線VoutBに画素10aから信号を出力できる。
また、画素10aのリセット動作と画素10aの信号の読み出し動作について説明したが、図5、図6において転送部12aをオン状態とする代わりに、転送部12bをオン状態とした場合は、画素10bのリセット動作や画素10bの信号の読み出し動作が行われる。
図7は、第1の実施の形態に係る撮像素子の一部の構成例を示す図である。図7では、第1方向である列方向(垂直方向)及び第1方向に交差する第2方向である行方向(水平方向)に配置された複数の画素のうち、列方向に配置された複数の画素列の一つの画素列の一部を示している。他の画素列の構成も、図7の画素列の構成と同様である。なお、垂直制御部30及び供給部35は、複数の画素列に対して共通に設けられる。
撮像素子3には、列方向、即ち垂直方向に並んだ複数の画素の列である画素列に対して、第1の垂直信号線VoutA及び第2の垂直信号線VoutBが設けられる。また、第1の垂直信号線VoutAに対して第1の電流源25a及び第1の読み出し部40aが設けられ、第2の垂直信号線VoutBに対して第2の電流源25b及び第2の読み出し部40bが設けられる。なお、図7に示す例では、説明を簡略化するために、行方向1画素×列方向6画素のみ図示している。図7では、図3に示す複数の画素のうち、第1行第1列のG画素10g(1,1)と、第2行第1列のR画素10r(2,1)と、第3行第1列のG画素10g(3,1)と、第4行第1列のR画素10r(4,1)と、第5行第1列のG画素10g(5,1)と、第6行第1列のR画素10r(6,1)とを図示している。
第1の電流源25aは、第1の垂直信号線VoutAを介して各画素に接続され、第2の電流源25bは、第2の垂直信号線VoutBを介して各画素に接続される。第1の電流源25a及び第2の電流源25bは、各画素から信号を読み出すための電流を生成する。第1の電流源25aは、生成した電流を第1の垂直信号線VoutAと各画素の第1の選択部18及び増幅部17とに供給する。同様に、第2の電流源25bは、生成した電流を第2の垂直信号線VoutBと各画素の第2の選択部19及び増幅部17とに供給する。
第1の読み出し部40aは、AD変換部を含んで構成され、各画素から第1の垂直信号線VoutAを介して入力されるアナログ信号をデジタル信号に変換する。第2の読み出し部40bは、AD変換部を含んで構成され、各画素から第2の垂直信号線VoutBを介して入力されるアナログ信号をデジタル信号に変換する。
垂直制御部30は、信号TX0、信号TX1、信号GC、信号RST、信号SELA、信号SELBを各画素に供給して、各画素の動作を制御する。具体的には、垂直制御部30は、画素の各トランジスタのゲートに信号を供給して、トランジスタをオン状態(接続状態、導通状態、短絡状態)又はオフ状態(切断状態、非導通状態、開放状態、遮断状態)とする。
垂直制御部30は、全ての撮像画素行を順次選択して各画素の信号を個別に読み出す処理(第1の読み出し処理)と、全ての撮像画素のうち一部の画素(以下、選択画素)を順次選択して各画素の信号を個別に読み出す処理(第2の読み出し処理)とを行う。また、垂直制御部30は、複数の撮像画素の信号を加算(混合)して読み出す処理(第3の読み出し処理)も行う。
カメラ1の撮像制御部4aは、垂直制御部30を制御して、画素信号の読み出し方法を切り替える。撮像制御部4aは、撮像画素行(図3の第1の撮像画素行401、第2の撮像画素行402)から信号の読み出しを行う場合、垂直制御部30に第1、第2又は第3の読み出し処理を行わせる。また、撮像制御部4aは、AF画素行(図3の第1のAF画素行403a、第2のAF画素行403b)から信号の読み出しを行う場合、垂直制御部30にAF画素行を1行又は複数行ずつ選択して画素信号を読み出す処理を行わせる。
以下では、第1の読み出し処理、第2の読み出し処理、及び第3の読み出し処理について、それぞれ説明する。
第1の読み出し処理は、撮像画素行の1行毎に信号を読み出す1行読み出し方式と、2行同時に信号を読み出す2行同時読み出し方式とを有する。1行読み出し方式では、撮像素子3は、画素の信号を例えば第1の垂直信号線VoutAに出力する。以下、1行読み出し方式について、図7を参照して説明する。
垂直制御部30は、第1行目の画素であるG画素10g(1,1)の第1の選択部18、即ち、第1行目のG画素10g(1,1)及び第2行目のR画素10r(2,1)で共有される第1の選択部18をオン状態とする。また、垂直制御部30は、G画素10g(1,1)の第2の選択部19、即ち、G画素10g(1,1)及びR画素10r(2,1)で共有される第2の選択部19をオフ状態とする。垂直制御部30は、第1行目及び第2行目とは異なる他の行の画素の第1の選択部18及び第2の選択部19を、それぞれオフ状態とする。これにより、第1行目のG画素10g(1,1)の光電変換部11aで生成された電荷に基づく画素信号は、G画素10g(1,1)の第1の選択部18を介して第1の垂直信号線VoutAに出力される。
第1行目の各画素からの画素信号の読み出し後に、垂直制御部30は、第2行目の画素であるR画素10r(2,1)の第1の選択部18、即ち、第1行目のG画素10g(1,1)及び第2行目のR画素10r(2,1)で共有される第1の選択部18をオン状態とする。垂直制御部30は、R画素10r(2,1)の第2の選択部19をオフ状態とする。また、垂直制御部30は、第1行目及び第2行目とは異なる他の行の画素の第1の選択部18及び第2の選択部19を、それぞれオフ状態とする。これにより、第2行目のR画素10r(2,1)の画素信号は、R画素10r(2,1)の第1の選択部18を介して第1の垂直信号線VoutAに出力される。
第2行目の各画素からの画素信号の読み出し後に、垂直制御部30は、第3行目の画素であるG画素10g(3,1)の第1の選択部18、即ち、第3行目のG画素10g(3,1)及び第4行目のR画素10r(4,1)で共有される第1の選択部18をオン状態とする。垂直制御部30は、G画素10g(3,1)の第2の選択部19をオフ状態とする。また、垂直制御部30は、第3行目及び第4行目とは異なる他の行の画素の第1の選択部18及び第2の選択部19を、それぞれオフ状態とする。これにより、第3行目のG画素10g(3,1)の画素信号は、G画素10g(3,1)の第1の選択部18を介して第1の垂直信号線VoutAに出力される。
同様に、第4行目以降も撮像画素行が1行ずつ順次選択され、画素信号の読み出しが行われる。垂直制御部30は、全ての撮像画素行を順次選択して、全ての撮像画素行の各画素から画素信号を読み出す。
なお、撮像画素の画素信号を第1の垂直信号線VoutAに出力する例について説明したが、第1の選択部18をオフ状態、第2の選択部19をオン状態とした場合は、撮像画素から画素信号を第2の垂直信号線VoutBに出力できる。
このように、第1の読み出し処理の1行読み出し方式の場合は、撮像素子3では、撮像画素行が1行ずつ選択されて、撮像画素行の各撮像画素から第1の垂直信号線VoutA(又は第2の垂直信号線VoutB)に画素信号が出力される。次に、2行同時読み出し方式について、図7を参照して説明する。
2行同時読み出し方式は、二つの行の画素について、一方の行の画素からは画素信号を第1の垂直信号線VoutAに出力し、これと同時に他方の行の画素からは画素信号を第2の垂直信号線VoutBに出力する。以下では、R画素10r(2,1)とG画素10g(3,1)の各々の画素信号を同時に読み出す場合を例にして、2行同時読み出し方式について説明する。
垂直制御部30は、R画素10r(2,1)の第1の選択部18をオン状態とし、R画素10r(2,1)の第2の選択部19をオフ状態とする。また、垂直制御部30は、G画素10g(3,1)の第2の選択部19をオン状態とし、G画素10g(3,1)の第1の選択部18をオフ状態とする。更に、垂直制御部30は、第1行目、第2行目、第3行目、及び第4行目とは異なる他の行の画素の第1の選択部18及び第2の選択部19を、それぞれオフ状態とする。
R画素10r(2,1)の光電変換部11bで生成された電荷に基づく画素信号は、R画素10r(2,1)の第1の選択部18を介して第1の垂直信号線VoutAに出力される。また、G画素10g(3,1)の光電変換部11aで生成された電荷に基づく画素信号は、G画素10g(3,1)の第2の選択部19を介して第2の垂直信号線VoutBに出力される。このように、一方の行の画素の画素信号を第1の垂直信号線VoutAに出力し、これと同時に他方の行の画素の画素信号を第2の垂直信号線VoutBに出力することで、2つの行の各画素の画素信号の読み出しを同時に行うことができる。
なお、互いに隣り合う画素の信号を同時に読み出す例について説明したが、互いに離れた行の画素(例えば第1行目および第3行目の各画素)を同時に読み出す場合も同様に行うことができる。
このように、第1の読み出し処理の2行同時読み出し方式の場合は、撮像素子3では、撮像画素行が2行ずつ選択されて、一方の行の画素から第1の垂直信号線VoutAに画素信号が出力され、これと同時に他方の行の画素から第2の垂直信号線VoutBに画素信号が出力さる。このため、撮像素子3に配置された各撮像画素から高速に信号を読み出すことができる。即ち、撮像素子3は、撮像画素の信号の読み出し時間を短縮できる。
また、第1の垂直信号線VoutAに順次出力される画素信号は、第1の読み出し部40aに入力され、第2の垂直信号線VoutBに順次出力される画素信号は、第2の読み出し部40bに入力される。このため、第1の垂直信号線VoutAに出力される画素信号と、第2の垂直信号線VoutBに出力される画素信号とを同時に(並列に)信号処理できる。各撮像画素10から出力された画素信号は、読み出し部40によりデジタル信号に変換された後に、撮像信号として制御部4に出力される。
次に、全ての撮像画素のうちの一部の画素である選択画素から画素信号を読み出す第2の読み出し処理について説明する。垂直制御部30は、全撮像画素の中から、画素信号を読み出すべき画素を指定する。具体的には、垂直制御部30は、全撮像画素のうちの特定の行や列の画素を間引いて選択画素を選択し、選択画素から画素信号を読み出す。即ち、垂直制御部30は、間引き読み出しを行うことによって、特定の行や列の画素を読み飛ばし、第1の読み出し処理の場合よりも高速に画素信号を読み出す制御を行う。
また、第2の読み出し処理は、第1の読み出し処理の場合と同様に、1行読み出し方式と2行同時読み出し方式とを有する。1行読み出し方式では、垂直制御部30は、選択画素を1行毎に選択して、選択画素の信号を第1の垂直信号線VoutAまたは第2の垂直信号線VoutBに出力する。2行読み出し方式では、選択画素が2行毎に選択されて、一方の行の選択画素から第1の垂直信号線VoutAに画素信号が出力されると共に、他方の行の選択画素から第2の垂直信号線VoutBに画素信号が出力される。
次に、複数の撮像画素の信号を加算(混合)して読み出す第3の読み出し処理について説明する。例えば、垂直制御部30は、全撮像画素のうちから選択画素を決定し、同一列内の同色のカラーフィルタ41が配置された2つの選択画素の各々の画素信号を加算する。即ち、垂直制御部30は、列方向の2画素ずつ、同色画素の信号を加算して読み出す。図7に示す例では、撮像素子3は、例えば第1行目のG画素10g(1,1)及び第3行目のG画素10g(3,1)を選択画素として選択して各々の画素信号を加算し、この加算された画素信号を制御部4に出力する。以下、画素信号の加算処理の一例について説明する。
垂直制御部30は、第1行目及び第3行目のG画素10g(1,1)、(3,1)の、第1の選択部18をオン状態とし、第2の選択部19をオフ状態とする。G画素10g(1,1)及びG画素10g(3,1)の各々の第1の選択部18がオン状態となることで、G画素10g(1,1)及びG画素10g(3,1)の各々の増幅部17のソース端子が、第1の垂直信号線VoutAに電気的に接続される。第1の垂直信号線VoutAに接続された第1の電流源25aの電流は、G画素10g(1,1)とG画素10g(3,1)とに分流(分配)される。第1の垂直信号線VoutAでは、G画素10g(1,1)の画素信号及びG画素10g(3,1)の画素信号が加算され、加算画素信号となる。
G画素10g(1,1)とG画素10g(3,1)の各々のFD15の電圧の差が小さい場合には、第1の電流源25aは、G画素10g(1,1)とG画素10g(3,1)とに略同じ大きさの電流を供給する。これにより、第1の垂直信号線VoutAに出力される加算画素信号は、G画素10g(1,1)及びG画素10g(3,1)の各々のFD15の電圧の平均(値)に対応する信号レベル(電圧)の信号となる。
上述した読み出し方法によって、第1行目及び第3行目の2行分の選択画素からの加算画素信号の読み出しが行われる。垂直制御部70は、第1行目及び第3行目の選択画素からの加算画素信号の読み出し後に、次の2行分の選択画素(例えば第4行目及び第6行目の選択画素)からの加算画素信号の読み出しを行う。このように、第3の読み出し処理では、複数行毎に加算画素信号の読み出しが順次行われる。列方向の複数の選択画素の信号が加算された加算画素信号は、読み出し部40によって信号処理が施された後に、制御部4に出力される。制御部4の画像データ生成部4bは、撮像素子3から出力された加算画素信号を用いて、画像データ(例えば動画像データ)を生成する。なお、列方向の2つの画素の画素信号を加算処理する例について説明したが、加算対象となる画素の数は任意の数としてよい。
図8は、第1の実施の形態に係る撮像素子3のリセット動作の一例を示すタイミングチャートである。図8に示すタイミングチャートにおいて、横軸は時刻を示しており、図7の撮像素子3の各部に入力される制御信号を示している。なお、図8に示す例では、信号GC<0>、GC<1>、GC<2>はハイレベルにされ、FD15と領域16cとが電気的に接続されている。
図8に示す時刻t1では、信号RST<0>及び信号RST<1>がハイレベルになる。信号RST<0>がハイレベルになることで、第1行目のG画素10g(1,1)及び第2行目のR画素10r(2,1)で共有されるリセット部16bのトランジスタM4bがオンになる。これにより、G画素10g(1,1)及びR画素10r(2,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
また、信号RST<1>がハイレベルになることで、第3行目のG画素10g(3,1)及び第4行目のR画素10r(4,1)で共有されるリセット部16bのトランジスタM4bがオンになる。これにより、G画素10g(3,1)及びR画素10r(4,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
時刻t2では、信号TX1<0>及び信号TX0<1>がハイレベルになる。信号TX1<0>がハイレベルになることで、R画素10r(2,1)において、転送部12bのトランジスタM2がオンになり、光電変換部11bとFD15及び領域16cとが電気的に接続される。これにより、光電変換部11bの電荷が排出され、光電変換部11bの電圧がリセットされる。
また、信号TX0<1>がハイレベルになることで、G画素10g(3,1)において、転送部12aのトランジスタM1がオンになり、光電変換部11aとFD15及び領域16cとが電気的に接続される。これにより、光電変換部11aの電荷が排出され、光電変換部11aの電圧がリセットされる。
このように、第2行目及び第3行目の画素において、FD15、領域16c、及び光電変換部11の電荷を排出するリセット動作が1回行われる。
時刻t3において、信号RST<1>及び信号RST<2>がハイレベルになる。信号RST<1>がハイレベルになることで、G画素10g(3,1)及びR画素10r(4,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
また、信号RST<2>がハイレベルになることで、G画素10g(5,1)及びR画素10r(6,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
時刻t4では、信号TX1<1>及び信号TX0<2>がハイレベルになる。信号TX1<1>がハイレベルになることで、R画素10r(4,1)において、転送部12bのトランジスタM2がオンになり、光電変換部11bとFD15及び領域16cとが電気的に接続される。これにより、光電変換部11bの電荷が排出され、光電変換部11bの電圧がリセットされる。
また、信号TX0<2>がハイレベルになることで、G画素10g(5,1)において、転送部12aのトランジスタM1がオンになり、光電変換部11aとFD15及び領域16cとが電気的に接続される。これにより、光電変換部11aの電荷が排出され、光電変換部11aの電圧がリセットされる。
このように、第4行目及び第5行目の画素において、FD15、領域16c、及び光電変換部11の電荷を排出するリセット動作が1回行われる。
次に、読み出し動作の一例について、図7及び図9を参照して説明する。図9は、第1の実施の形態に係る撮像素子3の読み出し動作の一例を示すタイミングチャートである。
図9に示す時刻t11では、信号RST<0>及び信号RST<1>がハイレベルになる。信号RST<0>がハイレベルになることで、G画素10g(1,1)及びR画素10r(2,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
また、信号RST<1>がハイレベルになることで、G画素10g(3,1)及びR画素10r(4,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
また、時刻t11では、信号SELA<0>及び信号SELB<1>がハイレベルになる。信号SELA<0>がハイレベルになることで、R画素10r(2,1)のリセット電圧に基づく信号が、R画素10r(2,1)の増幅部17及び第1の選択部18により第1の垂直信号線VoutAに出力される。即ち、R画素10r(2,1)のFD15の電荷を排出した後の信号(リセット信号)が、第1の垂直信号線VoutAに出力される。
また、信号SELB<1>がハイレベルになることで、G画素10g(3,1)のリセット信号が、G画素10g(3,1)の増幅部17及び第2の選択部19により第2の垂直信号線VoutBに出力される。
このようにして、第1の垂直信号線VoutA及び第2の垂直信号線VoutBには、それぞれ第2行目のR画素10r(2,1)、第3行目のG画素10g(3,1)からリセット信号が同時に出力される。第1の垂直信号線VoutA及び第2の垂直信号線VoutBにそれぞれ出力されたリセット信号は、それぞれ第1の読み出し部40a、第2の読み出し部40bに入力されてデジタル信号に変換される。
時刻t12では、信号TX1<0>及び信号TX0<1>がハイレベルになる。信号TX1<0>がハイレベルになることで、R画素10r(2,1)において、転送部12bのトランジスタM2がオンになり、光電変換部11bで光電変換された電荷がFD15に転送される。また、信号TX0<1>がハイレベルになることで、G画素10g(3,1)において、転送部12aのトランジスタM1がオンになり、光電変換部11aで光電変換された電荷がFD15に転送される。
また、時刻t12では、信号SELA<0>がハイレベルであるため、R画素10r(2,1)の光電変換部11bで生成された電荷に基づく画素信号が、増幅部17及び第1の選択部18によって第1の垂直信号線VoutAに出力される。また、信号SELB<1>がハイレベルであるため、G画素10g(3,1)の画素信号が、増幅部17及び第2の選択部19により第2の垂直信号線VoutBに出力される。
このようにして、第1の垂直信号線VoutA及び第2の垂直信号線VoutBには、それぞれ第2行目のR画素10r(2,1)、第3行目のG画素10g(3,1)から画素信号が同時に出力される。第1の垂直信号線VoutA及び第2の垂直信号線VoutBにそれぞれ出力された画素信号は、それぞれ第1の読み出し部40a、第2の読み出し部40bに入力されてデジタル信号に変換される。デジタル信号に変換されたリセット信号と画素信号とは、不図示の信号処理部に入力される。信号処理部は、リセット信号と画素信号との差分処理を行う相関二重サンプリング等の信号処理を行った後に、処理後の画素信号を制御部4に出力する。
なお、時刻t13から時刻t15までの期間では、時刻t11から時刻t13までの期間の場合と同様に、図7においては第4行目の画素が選択されて、リセット信号の読み出しと、画素信号の読み出しとが行われる。
次に、ダミーリセット動作の一例について、図7及び図10を参照して説明する。図10は、第1の実施の形態に係る撮像素子3のダミーリセット動作の一例を示すタイミングチャートである。以下では、R画素10r(2,1)、G画素10g(3,1)、R画素10r(4,1)に対してダミーリセット動作を行う場合を例にして、ダミーリセット動作について説明する。なお、図10に示す例では、信号GCはハイレベルにされ、FD15と領域16cとが電気的に接続されている。
図10に示す時刻t21では、信号RST<0>及び信号RST<1>がハイレベルになる。信号RST<0>がハイレベルになることで、G画素10g(1,1)及びR画素10r(2,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
また、信号RST<1>がハイレベルになることで、G画素10g(3,1)及びR画素10r(4,1)で共有されるFD15及び領域16cの電荷が排出され、FD15及び領域16cの電圧がリセット電圧になる。
時刻t22では、信号TX1<0>、信号TX0<1>、及び信号TX1<1>がハイレベルになる。信号TX1<0>がハイレベルになることで、R画素10r(2,1)において、光電変換部11bの電荷が排出され、光電変換部11bの電圧がリセットされる。
また、信号TX0<1>及び信号TX1<1>がハイレベルになることで、G画素10g(3,1)の光電変換部11aと、R画素10r(4,1)の光電変換部11bと、FD15及び領域16cとが電気的に接続される。これにより、光電変換部11a、11bの電荷が排出され、光電変換部11a、11bの電圧がリセットされる。
このように、第2行目、第3行目、及び第4行目の画素において、FD15、領域16c、及び光電変換部11の電荷を排出するダミーリセット動作が1回行われる。
なお、時刻t23から時刻t25では、時刻t21から時刻t23までの期間における第1回目のダミーリセット動作の場合と同様にして、第2行目、第3行目、及び第4行目の画素において、第2回目のダミーリセット動作が行われる。
図11は、第1の実施の形態に係る撮像素子による画素信号の読み出し処理とダミーリセット処理を模式的に示す図である。図11では、撮像画素行から読み出される加算画素信号と、AF画素行から読み出される画素信号とを模式的に示している。
垂直制御部30は、全ての撮像画素10のうち、例えば図11に太線で囲まれた撮像画素10、即ち第4行目、第6行目、第7行目、第9行目、第10行目、第12行目、第13行目、第15行目、第16行目、及び第18行目の撮像画素10を、選択画素として決定する。垂直制御部30は、撮像画素行から信号の読み出しを行う場合に、上述した第3の読み出し処理を行って、列方向に配置された2つの同色の選択画素の信号を加算して読み出す。
第1列目においては、例えば、R画素10r(4,1)とR画素10r(6,1)の2つのR画素の画素信号が加算されて加算画素信号が生成され、G画素10g(7,1)とG画素10g(9,1)の2つのG画素の画素信号が加算されて加算画素信号が生成される。また、第2列目においては、例えば、G画素10g(4,2)とG画素10g(6,2)の2つのG画素の画素信号が加算されて加算画素信号が生成され、B画素10b(7,2)とB画素10b(9,2)の2つのB画素の画素信号が加算されて加算画素信号が生成される。
同様に、第10行目及び第12行目、第13行目及び第15行目、第16行目及び第18行目においても、列方向の2つの同色画素の画素信号が加算されて加算画素信号が生成される。このように選択画素の信号を加算することにより、生成される加算画素信号もベイヤー配列に対応する信号となる。
垂直制御部30は、AF画素行から信号の読み出しを行う場合には、第5行目の第1のAF画素行403a、第17行目の第2のAF画素行403bを選択して、画素信号を読み出す。
図11に示す例の場合、第8行目、第11行目、第14行目の撮像画素行は、撮像画素行からの信号の読み出し及びAF画素行からの信号の読み出しのいずれの場合にも、画素信号を出力しない画素の行、即ち、読み飛ばし行となる。上述したように、垂直制御部30は、読み出し対象となる各画素行を順次選択して画素信号の読み出しを行うとともに、各画素行の読み出し動作の間に、読み飛ばし行となる画素行のうちの任意の画素行に対してダミーリセット動作を行う。これにより、リセット動作が行われる画素行の数が変動することを抑制し、電源電圧の変動に起因するノイズが画素信号に混入することを防ぐことができる。
図12は、第1の実施の形態に係る撮像素子の動作例を示す図であり、図11に示すように第3の読み出し処理を行って撮像画素行から信号を読み出す場合の動作例を示している。縦軸は、画素行を示し、横軸は、各画素行のリセット動作及び読み出し動作が行われるタイミング(時刻t)を示す。図12では、リセット動作及び読み出し動作が行われる画素行の遷移を模式的に示している。また、図12に示す例では、読み出し対象の画素(選択画素)に対して5回のリセット動作が行われた後に、画素から画素信号が読み出される。
第4行目、第6行目、第7行目、及び第9行目の画素行では、時刻t1から時刻t2までの期間、時刻t3から時刻t4までの期間、時刻t5から時刻t6までの期間、時刻t7から時刻t8までの期間、時刻t9から時刻t10までの期間において、それぞれ第1回目、第2回目、第3回目、第4回目、第5回目のリセット動作R1~R5が行われる。
第10行目、第12行目、第13行目、及び第15行目の画素行では、時刻t2から時刻t3までの期間、時刻t4から時刻t5までの期間、時刻t6から時刻t7までの期間、時刻t8から時刻t9までの期間、時刻t10から時刻t11までの期間において、それぞれ第1回目、第2回目、第3回目、第4回目、第5回目のリセット動作R1~R5が行われる。
第16行目、第18行目、第19行目、及び第21行目の画素行では、時刻t3から時刻t4までの期間、時刻t5から時刻t6までの期間、時刻t7から時刻t8までの期間、時刻t9から時刻t10までの期間、時刻t11から時刻t12までの期間において、それぞれ第1回目、第2回目、第3回目、第4回目、第5回目のリセット動作R1~R5が行われる。
時刻t20から時刻t21までの期間では、垂直制御部30は、読み出し対象となる第4行目、第6行目、第7行目、第9行目の読み出し動作T1を行うと共に、読み飛ばし行のうちの一部の画素行に対してダミーリセット動作を行う。
第4行目及び第6行目の各撮像画素の信号を加算した加算画素信号は、例えばこれらの撮像画素に接続された第1の垂直信号線VoutAに出力され、第7行目及び第9行目の各撮像画素の信号を加算した加算画素信号は、これらの撮像画素に接続された第2の垂直信号線VoutBに出力される。
時刻t21から時刻t22までの期間において、垂直制御部30は、読み出し対象となる第10行目、第12行目、第13行目、第15行目の読み出し動作T2を行うと共に、読み飛ばし行のうちの一部の画素行に対してダミーリセット動作を行う。
第10行目及び第12行目の各撮像画素の信号を加算した加算画素信号は、例えばこれらの撮像画素に接続された第1の垂直信号線VoutAに出力され、第13行目及び第15行目の各撮像画素の信号を加算した加算画素信号は、これらの撮像画素に接続された第2の垂直信号線VoutBに出力される。
時刻t22から時刻t23までの期間では、垂直制御部30は、読み出し対象となる第16行目、第18行目、第19行目、第21行目の読み出し動作T3を行うと共に、読み飛ばし行のうちの一部の画素行に対してダミーリセット動作を行う。
第16行目及び第18行目の各撮像画素の信号を加算した加算画素信号は、例えばこれらの撮像画素に接続された第1の垂直信号線VoutAに出力され、第19行目及び第21行目の各撮像画素の信号を加算した加算画素信号は、これらの撮像画素に接続された第2の垂直信号線VoutBに出力される。
時刻t20からt21の期間、時刻t21からt22の期間、及び時刻t22からt23の期間のそれぞれにおいてダミーリセット動作が行われる読み飛ばし行の数は、最初の行の読み出し動作の開始から最終行の読み出し動作の終了までの読み出し期間において、同時にリセット動作が行われる最大行数に基づいて決定される。これにより、各画素行の読み出し動作の期間において、同じタイミングでリセット動作が実施される行数が同数となる。このため、電源電圧が変動することを抑制し、画素信号にノイズが混入することを防ぐことができる。
上記では、電源電圧の変動を抑制するために、リセット動作が行われる画素行の数を同数とする例について説明した。しかし、同時刻に読み出し動作が行われる画素行の数が変化した場合にも、電源の負荷が変化して、電源電圧の変動が生じ得る。そこで、読み出し動作が行われる画素行の数に基づいて、ダミーリセット動作を行うようにしてもよい。この場合、垂直制御部30は、例えば、画素信号の読み出し期間において、読み出し動作が行われる画素行の数と、ダミーリセット動作が行われる画素行の数とが同数となるように、非読み出し対象の画素行にダミーリセット動作を行うようにする。
上述した実施の形態によれば、次の作用効果が得られる。
(1)撮像素子3は、光を光電変換して電荷を生成する光電変換部11と、光電変換部11で生成された電荷を蓄積する蓄積部(FD15)と、所定の電圧を供給する供給部35と蓄積部との接続および切断を切り替える切替部16と、蓄積部に蓄積された電荷に基づく信号を出力する出力部(増幅部17、第1の選択部18、第2の選択部19)とをそれぞれ有する複数の画素と、複数の画素のうち第1画素の出力部から信号を出力させ、複数の画素のうち第2画素の出力部から信号を出力させず、第2画素の切替部16に供給部35と蓄積部とを接続させる制御をする制御部(垂直制御部30)と、を備える。本実施の形態では、垂直制御部30は、読み出し対象の画素の出力部から画素信号を読み出すとともに、非読み出し対象の画素のダミーリセット動作を行って、非読み出し対象の画素の切替部16に供給部35とFD15とを接続させる。このため、画素信号の読み出しを行う期間において、リセット動作が行われる画素数を制御でき、電源電圧の変動を抑制できる。この結果、ダミー画素を別途配置する必要がないので、撮像素子の面積が増大することを防ぐことができる。画素信号にノイズが混入することを抑制し、画素信号を用いて生成される画像の画質の低下を抑制できる。
(2)撮像素子3は、光を光電変換して電荷を生成する光電変換部11と、光電変換部11で生成された電荷を蓄積する蓄積部(FD15)と、所定の電圧を供給する供給部35と蓄積部との接続と切断とを切り替える切替部16と、蓄積部に蓄積された電荷に基づく信号を出力する出力部(増幅部17、第1の選択部18、第2の選択部19)とをそれぞれ有する複数の画素と、複数の画素のうち第1画素の出力部から信号を出力させ、複数の画素のうち第2画素の切替部16に供給部35と蓄積部とを接続させ、第2画素の数を変える制御部(垂直制御部30)と、を備える。本実施の形態では、垂直制御部30は、読み出し対象の画素から画素信号の読み出しを行うとともに、ダミーリセット動作を行う非読み出し対象の画素の数を制御する。このため、同じタイミングでリセット動作が行われる画素数を調整でき、電源電圧の変動を抑制できる。この結果、画像の画質の低下を抑制できる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
上述した実施の形態では、垂直信号線は、第1の垂直信号線VoutAと第2の垂直信号線VoutBとを配置する例について説明したが、これに限定されない。例えば、垂直信号線は3本以上配置してもよい。垂直信号線が3本以上になれば、3本以上の垂直信号線を用いて3行以上の画素行の信号の同時読み出しや、複数の撮像画素行の信号を加算して読み出す加算読み出しが可能になる。その場合、3行以上の画素に同時にリセット動作を行った後に読み出し動作を行うため、同時にリセット動作が行われる画素行が更に増加する。しかし、本実施の形態では、非読み出し対象の画素にダミーリセット動作を行うため、リセット行数を調整するための画素行が足りなくなることを防ぐことができる。また、ダミーリセット動作を行うための画素を別途配置する必要がないので、撮像素子の更なる面積の増大、製造コストの更なる増大を防ぐことができる。
(変形例2)
上述した第1の実施の形態では、隣り合う2つの画素がFD15等を共有する構成とする例について説明したが、画素の構成はこれに限らない。例えば、撮像素子3に設けられる複数の画素の各々が、FD15、切替部16、増幅部17、第1の選択部18、及び第2の選択部19を有する構成としてもよい。
(変形例3)
上述した実施の形態では、AF画素13には、Gのカラーフィルタ41を配置する例について説明したが、これに限定されない。例えば、AF画素13には、カラーフィルタ41として、W(白)のカラーフィルタを配置してもよいし、Bのカラーフィルタを配置してもよい。
(変形例4)
上述した実施の形態では、撮像素子3に、原色系(RGB)のカラーフィルタを用いる場合について説明したが、補色系(CMY)のカラーフィルタを用いるようにしてもよい。
(変形例5)
上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜を用いるようにしてもよい。
(変形例6)
上述の実施の形態および変形例で説明した撮像素子3は、カメラ、スマートフォン、タブレット、PCに内蔵のカメラ、車載カメラ、無人航空機(ドローン、ラジコン機等)に搭載されるカメラ等に適用されてもよい。
(変形例7)
上述した実施の形態および変形例で説明した撮像素子を、複数の基板(例えば、複数の半導体基板)を積層して構成される積層センサ(積層型の撮像素子)に適用してもよい。例えば、画素部100は1層目の基板に配置し、垂直制御部30と読み出し部40とは2層目の基板に配置し、垂直信号線Voutは、1層目の基板と2層目の基板との間に配置する。画素部100と垂直制御部30とは1層目の基板に配置し、読み出し部40は2層目の基板に配置してもよい。また、積層センサは3層以上にしてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2018年第70012号(2018年3月30日出願)
3 撮像素子、4 制御部、4a 撮像制御部、4b 画像データ生成部、4c 焦点検出部、10 撮像画素、11 光電変換部、13a 第1のAF画素、13b 第2のAF画素、15 FD、17 増幅部、18 第1の選択部、19 第2の選択部、30 垂直制御部、35 供給部

Claims (18)

  1. 光を光電変換して電荷を生成する光電変換部と、前記光電変換部で生成された電荷を蓄積する蓄積部と、所定の電圧を供給する供給部と前記蓄積部との接続および切断を切り替える切替部と、前記蓄積部に蓄積された電荷に基づく信号を出力する出力部とをそれぞれ有する複数の画素と、
    複数の前記画素のうち第1画素の前記蓄積部に蓄積された電荷に基づく信号を前記出力部から出力させている間、複数の前記画素のうち第2画素の前記切替部に前記供給部と前記蓄積部とを接続させる制御をする制御部と、
    を備える撮像素子。
  2. 請求項1に記載の撮像素子において、
    前記制御部は、前記第1画素の前記出力部から信号を出力させている間、前記第2画素の前記出力部から信号を出力させず、前記第2画素の前記切替部に前記供給部と前記蓄積部とを接続させる制御をする撮像素子。
  3. 請求項1または請求項2に記載の撮像素子において、
    前記制御部は、前記第1画素の前記出力部から信号を出力させている間、前記供給部と前記蓄積部とを接続させる前記第2画素の数を変える撮像素子。
  4. 請求項1から請求項3のいずれか一項に記載の撮像素子において、
    前記第1画素と前記第2画素とは第1方向に複数設けられ、
    前記制御部は、前記第1方向へ順に、複数の前記第1画素の前記出力部から信号をそれぞれ出力させ、前記出力部から信号を出力させる前記第1画素の数に基づいて、前記供給部と前記蓄積部とを接続させる前記第2画素の数を変える撮像素子。
  5. 請求項1から請求項4のいずれか一項に記載の撮像素子において、
    前記制御部は、前記出力部から信号を出力する前記第1画素の数に基づいて、前記供給部と前記蓄積部とを接続させる前記第2画素の数を変える撮像素子。
  6. 請求項1から請求項5のいずれか一項に記載の撮像素子において、
    前記制御部は、前記出力部から信号を出力する前記第1画素の数が変わると、前記供給部と前記蓄積部とを接続させる前記第2画素の数を変える撮像素子。
  7. 請求項1から請求項6のいずれか一項に記載の撮像素子において、
    前記制御部は、前記出力部から信号を出力させている前記第1画素の数が減ると、前記切替部に前記供給部と前記蓄積部とを接続させる前記第2画素の数を増やす撮像素子。
  8. 請求項1から請求項7のいずれか一項に記載の撮像素子において、
    前記制御部は、前記出力部から信号を出力させる前記第1画素と、前記供給部と前記蓄積部とを接続させる前記第2画素との総数が一定になるよう、前記第2画素の数を変える撮像素子。
  9. 請求項1から請求項8のいずれか一項に記載の撮像素子において、
    前記制御部は、前記第1画素の出力部から画像生成に用いる信号を出力させ、前記第2画素の出力部から画像生成に用いる信号を出力させない撮像素子。
  10. 請求項1から請求項9のいずれか一項に記載の撮像素子において、
    前記制御部は、複数の前記第1画素の前記出力部から信号を同時に出力させるとき、前記第2画素の前記切替部に前記供給部と前記蓄積部とを接続させる撮像素子。
  11. 請求項1から請求項10のいずれか一項に記載の撮像素子において、
    前記制御部は、前記第1画素の前記出力部から信号を出力させる前に、前記第1画素の前記切替部に前記供給部と前記蓄積部とを接続させ、前記供給部と前記蓄積部とを接続させる前記第1画素の数に基づいて、前記供給部と前記蓄積部とを接続させる前記第2画素の数を変える撮像素子。
  12. 請求項11に記載の撮像素子において、
    前記制御部は、前記供給部と前記蓄積部とが接続される前記第1画素の数が変わると、前記供給部と前記蓄積部とを接続させる前記第1画素の数を変える撮像素子。
  13. 請求項11または請求項12に記載の撮像素子において、
    前記制御部は、前記供給部と前記蓄積部とを接続させる前記第1画素と前記第2画素との総数が一定になるよう、前記第2画素の数を変える撮像素子。
  14. 請求項1から請求項13のいずれか一項に記載の撮像素子において、
    前記制御部は、複数の前記画素のうち一部の前記画素の前記出力部に画像生成に用いる信号を出力させる第1制御と、複数の前記画素の出力部に画像生成に用いる信号を出力させる第2制御を行い、
    前記第1画素は、前記第1制御において、前記出力部から画像生成に用いる信号を出力する画素であり、
    前記第2画素は、前記第1制御において、前記出力部から画像生成に用いる信号を出力しない画素である撮像素子。
  15. 請求項1から請求項14のいずれか一項に記載の撮像素子において、
    前記制御部は、複数の前記第1画素の前記出力部から信号を同時に出力させる第3制御と、複数の前記第1画素の前記出力部から信号を順に出力させる第4制御を行い、
    前記制御部は、前記第3制御において、前記第2画素の前記切替部に前記供給部と前記蓄積部とを接続させる撮像素子。
  16. 請求項1から請求項15のいずれか一項に記載の撮像素子において、
    前記第1画素と前記第2画素とは、外から光が入射する領域にある撮像素子。
  17. 請求項1から請求項16のいずれか一項に記載の撮像素子において、
    前記切替部は、前記蓄積部に蓄積された電荷を前記供給部に排出する排出部である撮像素子。
  18. 請求項1から請求項17のいずれか一項に記載の撮像素子と、
    前記出力部から出力された信号に基づいて画像データを生成する生成部と、
    を備える撮像装置。
JP2020509363A 2018-03-30 2019-03-29 撮像素子および撮像装置 Active JP6992877B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018070012 2018-03-30
JP2018070012 2018-03-30
PCT/JP2019/014351 WO2019189893A1 (ja) 2018-03-30 2019-03-29 撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JPWO2019189893A1 JPWO2019189893A1 (ja) 2021-03-25
JP6992877B2 true JP6992877B2 (ja) 2022-01-13

Family

ID=68060230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509363A Active JP6992877B2 (ja) 2018-03-30 2019-03-29 撮像素子および撮像装置

Country Status (2)

Country Link
JP (1) JP6992877B2 (ja)
WO (1) WO2019189893A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4345261B2 (ja) 2001-06-28 2009-10-14 住友化学株式会社 ポリアゾ化合物又はその塩、及びそれらを含有する染料系偏光膜
JP2012231397A (ja) 2011-04-27 2012-11-22 Nikon Corp 撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04345261A (ja) * 1991-05-23 1992-12-01 Matsushita Electric Ind Co Ltd リニアイメージセンサ
JP6003291B2 (ja) * 2011-08-22 2016-10-05 ソニー株式会社 固体撮像装置及び電子機器
JP5672363B2 (ja) * 2013-12-12 2015-02-18 ソニー株式会社 固体撮像素子およびカメラシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4345261B2 (ja) 2001-06-28 2009-10-14 住友化学株式会社 ポリアゾ化合物又はその塩、及びそれらを含有する染料系偏光膜
JP2012231397A (ja) 2011-04-27 2012-11-22 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
WO2019189893A1 (ja) 2019-10-03
JPWO2019189893A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
KR101469400B1 (ko) 화상 센서 및 화상 촬상 장치
CN107911633B (zh) 固体成像元件及摄像装置
US20140022614A1 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP4747154B2 (ja) 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
US11290648B2 (en) Image capture apparatus and control method thereof
US20240089629A1 (en) Image sensor and imaging device
JP7400863B2 (ja) 撮像素子及び撮像装置
JP6992877B2 (ja) 撮像素子および撮像装置
JP6825675B2 (ja) 撮像素子及び撮像装置
JP2013197613A (ja) 撮像装置、画像処理装置及び画像処理プログラム
WO2018062561A1 (ja) 撮像素子およびカメラ
WO2020203799A1 (ja) 撮像素子、及び、撮像装置
JP2022096535A (ja) 撮像素子、及び、撮像装置
JP2022102594A (ja) 撮像素子、及び、撮像装置
JP6375613B2 (ja) 固体撮像素子及び撮像装置
JP2022181308A (ja) 撮像素子、及び、撮像装置
JP6798532B2 (ja) 撮像素子及び撮像装置
JP6760907B2 (ja) 撮像素子及び撮像装置
JP2017208651A (ja) 撮像装置
JP6642521B2 (ja) 撮像素子および撮像装置
JP2022176568A (ja) 撮像素子、及び、撮像装置
JP2022127306A (ja) 撮像装置
JP2022176482A (ja) 撮像素子、及び、撮像装置
JP6375614B2 (ja) 固体撮像素子及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6992877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150