JP7047822B2 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JP7047822B2
JP7047822B2 JP2019136632A JP2019136632A JP7047822B2 JP 7047822 B2 JP7047822 B2 JP 7047822B2 JP 2019136632 A JP2019136632 A JP 2019136632A JP 2019136632 A JP2019136632 A JP 2019136632A JP 7047822 B2 JP7047822 B2 JP 7047822B2
Authority
JP
Japan
Prior art keywords
light receiving
unit
pixel
receiving unit
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019136632A
Other languages
English (en)
Other versions
JP2019205194A (ja
Inventor
寛信 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2019205194A publication Critical patent/JP2019205194A/ja
Priority to JP2022044741A priority Critical patent/JP7435648B2/ja
Application granted granted Critical
Publication of JP7047822B2 publication Critical patent/JP7047822B2/ja
Priority to JP2024016730A priority patent/JP2024050824A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14641Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1464Back illuminated imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Description

本発明は、撮像素子および撮像装置に関する。
撮像素子の一部に配置された複数の焦点検出専用の画素からの出力信号に基づいて、瞳分割型位相差方式による焦点検出を行う撮像装置が知られている(例えば、特許文献1参照)。
特許文献1 特開2011-77770号公報
従来は、焦点検出用画素が離散配置されているので、焦点検出用画素を連続配置した場合と比べて焦点検出精度が低くなってしまう。一方、特定の色のカラーフィルタに対応する焦点検出用画素を連続配置すると、画素配列がベイヤー配列等の所定の配列とは異なってしまう。従来技術では、補間処理等によりベイヤー配列等の所定の配列に変換しようとすると、演算が複雑になってしまう。
本発明の第1の態様においては、第1方向に配置された第1の色の光を検出する複数の受光領域を有し、第1方向に配列された複数の第1受光部と、第1方向と異なる第2方向に配置された第2の色の光を検出する複数の受光領域を有し、第1方向において複数の第1受光部とは異なる位置に配置され、第1方向に配列された複数の第2受光部と、を備える撮像素子を提供する。
本発明の第2の態様においては、第1方向に配置された第1の色の光を検出する複数の受光領域を有し、第1方向に配置された複数の第1受光部と、第1方向と異なる第2方向に配置された第2の色の光を検出する複数の受光領域を有し、第2方向に配列され、二つの第1受光部の間で複数の第1受光部と交差する複数の第2受光部と、を備える撮像素子を提供する。
本発明の第3の態様においては、第1の色の光を検出する複数の光電変換部を有する第1受光部と、第1受光部の第1方向に配置され、第2の色の光を検出する複数の光電変換部を有する第2受光部と、第1受光部の第2方向に配置され、第2の色の光を検出する複数の光電変換部を有する第3受光部と、第2受光部の第2方向に配置され、第1の色の光を検出する複数の光電変換部を有する第四受光部とを有し、第1受光部の複数の光電変換部と第四受光部の複数の光電変換部は、第1受光部から第四受光部の方向に配置され、第2受光部の複数の光電変換部と第3受光部の複数の光電変換部は、第2受光部から第3受光部の方向に配置されている撮像素子を提供する。
本発明には下記の態様も含まれ得る。
[項目1]
第1方向に連続して配置され、第1の色の光を検出する2つの第1画素と、
前記第1方向に交差する第2方向に連続して配置され、前記2つの第1画素に隣接し、第2の色の光を検出する2つの第2画素と、
前記第1画素に配置され、前記第1の色の光を受光する前記第1方向に分割された複数の第1受光領域と、
前記第2画素に配置され、前記第2の色の光を受光する前記第2方向に分割された複数の第2受光領域と、
を備える撮像素子。
[項目2]
前記第1方向と前記第2方向とは直交している、
項目1に記載の撮像素子。
[項目3]
前記第1画素からの出力信号と、前記第2画素からの出力信号とにより、焦点状態を検出する焦点検出部を更に備える、
項目1または2に記載の撮像素子。
[項目4]
前記第1画素と前記第2画素とが配置された撮像部と、
前記撮像部と積層され、前記撮像部からの信号を処理する信号処理部と、
を有する項目1から3のいずれか一項に記載の撮像素子。
[項目5]
前記第1画素を複数有し、
前記第1方向に交差する第3方向に連続して配置され、前記複数の第1画素のうちの2つの第1画素に隣接し、第3の色の光を検出する2つの第3画素と、
前記第3画素に配置され、前記第3方向に分割された前記第3の色の光を受光する複数の第3受光領域と、
を備える項目1から4の何れか一項に記載の撮像素子。
[項目6]
前記第2方向と前記第3方向とは平行である、
項目5に記載の撮像素子。
[項目7]
第1方向および第2方向に沿って配列され、第1の色に対応する複数の第1画素と、
近接する4つの第1画素に囲まれるそれぞれの領域に設けられ、前記第1の色とは異なる色に対応する複数の他の画素と、
を備え、
前記複数の第1画素および前記複数の他の画素のうち、少なくとも一部の画素は、分離された2つの受光領域を有する撮像素子。
[項目8]
前記2つの受光領域を有する画素の各受光領域からの出力信号に基づいて、前記撮像素子の焦点状態を検出する焦点検出部を更に備える、
項目7に記載の撮像素子。
[項目9]
前記複数の他の画素は、
前記第2方向に沿って配列され、第2の色に対応する複数の第2画素と、
前記第2方向に沿って配列され、第3の色に対応する複数の第3画素と、
を含み、
第2画素の列および第3画素の列は、第1方向において交互に配置され、
前記第1方向において隣接する2つの前記第1画素の画素信号を加算して第1変換画素信号を生成し、前記第2方向において隣接する2つの前記第2画素の画素信号を加算して第2変換画素信号を生成し、前記第2方向において隣接する2つの前記第3画素の画素信号を加算して第3変換画素信号を生成する配列変換部を更に備える、
項目7または8に記載の撮像素子。
[項目10]
前記第1画素の少なくとも一部の画素は、前記第1方向に並んで配列される第1受光領域および第2受光領域を有し、
前記第2画素および前記第3画素の少なくとも一部の画素は、前記第2方向に並んで配列される第1受光領域および第2受光領域を有する、
項目9に記載の撮像素子。
[項目11]
全ての前記画素が前記2つの受光領域を有する、
項目10に記載の撮像素子。
[項目12]
前記配列変換部は、それぞれの前記画素について、
当該画素の前記第1受光領域の出力信号と、前記第2受光領域の出力信号とを加算した第1画素信号を生成し、
当該画素の前記第1受光領域の出力信号と、当該画素の前記第1受光領域に隣接する画素の前記第2受光領域の出力信号とを加算した第2画素信号を生成する、
項目11に記載の撮像素子。
[項目13]
それぞれの画素について、前記2つの受光領域のうち、第1受光領域が蓄積した電荷をリセットするリセットタイミングに対して、第2受光領域のリセットタイミングを遅らせて、且つ、前記第1受光領域および前記第2受光領域が蓄積した電荷量に応じた出力信号を同時に読み出し、前記第1受光領域の前記出力信号の値から、前記第2受光領域の前記出力信号の値を減算して当該画素の画素信号を生成する、グローバルシャッタ処理部を更に備える、
項目7から12のいずれか一項に記載の撮像素子。
[項目14]
それぞれの画素について、前記2つの受光領域のそれぞれが蓄積した電荷量に応じた出力信号を同時に、且つ、受光領域毎に独立して読み出す読出部を更に備える、
項目7から12のいずれか一項に記載の撮像素子。
[項目15]
それぞれの前記画素の平面形状が四角形であり、
前記画素の各辺が前記第1方向および前記第2方向に対して45度傾いている、
項目7から14のいずれか一項に記載の撮像素子。
[項目16]
前記撮像素子に入射する光が通過したレンズの特性を示すレンズデータに基づいて、前記2つの受光領域のそれぞれが出力する出力信号の値を補正する補正部を更に備える、
項目7から15のいずれか一項に記載の撮像素子。
[項目17]
それぞれの前記画素が形成される撮像チップと、
前記撮像チップと積層され、前記撮像チップからの信号を処理する信号処理チップと、
を有する項目7から16のいずれか一項に記載の撮像素子。
[項目18]
項目1から17のいずれか一項に記載の撮像素子を備える撮像装置。
本発明の第4の態様においては、第1から第3のいずれかの態様の撮像素子を備える撮像装置を提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
一つの実施形態に係る撮像素子100の概要を示す図である。 第1画素202-1の一例を示す図である。 第2画素202-2および第3画素202-3の一例を示す図である。 受光部200の一例を示す図である。 信号処理部210における配列変換処理の一例を示す図である。 第1変換画素203-1の配列例を示す図である。 信号処理部210における配列変換処理の一例を示す図である。 第2変換画素203-2および第3変換画素203-3の配列例を示す図である。 第1変換画素203-1、第2変換画素203-2および第3変換画素203-3の配列例を示す図である。 受光部200の他の例を示す図である。 第1変換画素信号G1を生成する例を示す図である。 第2変換画素信号G2を生成する例を示す図である。 第3変換画素信号G3を生成する例を示す図である。 第4変換画素信号G4を生成する例を示す図である。 マイクロレンズ101の斜視図である。 マイクロレンズ101の平面形状を示す図である。 信号処理部210の他の処理例を示す図である。 受光部200の構成例を示す図である。 受光部200の他の構成例を示す図である。 図14に示した例における、転送トランジスタTXのおよび電荷検出部の配置例を示す図である。 撮像素子100の断面の一例を示す図である。 信号処理部210の機能の一部を示すブロック図である。 レンズ特性と、出力信号との関係を説明する図である。 一つの実施形態に係る撮像装置500の構成例を示すブロック図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一つの実施形態に係る撮像素子100の概要を示す図である。撮像素子100は、複数の画素202が配列される受光部200と、受光部200からの信号を処理する信号処理部210とを備える。複数の画素202は、それぞれフォトダイオード等の受光素子を有しており、受光量に応じて電荷を蓄積する。本例の信号処理部210は、各画素202が蓄積した電荷量に応じた信号を読み出し、予め定められた処理を行う。
本例における複数の画素202は、行列状に配列される。つまり、複数の画素202が複数の行および複数の列に沿って配置される。本明細書では、行方向をx軸方向とし、列方向をy軸方向として図示している。行方向は第1方向の一例であり、列方向は第2方向の一例である。
複数の画素202は、複数の第1画素202-1、複数の第2画素202-2および複数の第3画素202-3を含む。第1画素202-1は、第1の色のカラーフィルタに対応する画素であり、第2画素202-2は、第2の色のカラーフィルタに対応する画素であり、第3画素202-3は、第3の色のカラーフィルタに対応する画素である。本例において第1の色は緑色であり、第2の色は青色であり、第3の色は赤色である。本例において、それぞれの画素202の平面形状は四角形であり、画素202の各辺が第1方向および第2方向に対して45度傾いている。より具体的な例では、それぞれの画素202の平面形状は正方形である。
複数の第1画素202-1は、行方向および列方向の両方向に沿って配列される。本例では、第1画素202-1の各頂点が互いに隣接するように配置される。このような配置により、近接して配置される4つの第1画素202-1に囲まれる領域が生じる。第2画素202-2および第3画素202-3は、4つの第1画素202-1に囲まれる領域に設けられる。本例において、それぞれの画素202の形状は同一である。
第2画素202-2は、列方向に沿って配列される。また、第3画素202-3も、列方向に沿って配列される。第2画素202-2の列および第3画素202-3の列は、行方向において交互に配置される。また、第2画素202-2の列および第3画素202-3の列は、第1画素202-1の列に対して、列方向において半画素分ずれて配列される。
図2Aは、第1画素202-1の一例を示す図である。第1画素202-1のうちの少なくとも一部は、分離された2つの受光領域214を有する。第1画素202-1の第1受光領域214aおよび第2受光領域214bは、行方向に並んで配列される。本例では、第1画素202-1の領域を、列方向に伸びる直線で2等分することで、2つの受光領域214が規定される。本例において当該直線は、第1画素202-1の対角線である。入射光に応じて生成された電荷が受光領域214間で移動しないように、受光領域214間には素子分離部が設けられる。なお、図2Aにおいては、第1画素202-1に対応して設けられるマイクロレンズ101を点線で示す。本例の2つの受光領域214は、共通のマイクロレンズ101に対して、行方向において異なる位置に設けられる。
受光部200において、2つの受光領域214を有する複数の第1画素202-1が、行方向に隣接して配列される。信号処理部210は、行方向に隣接して配列された第1画素202-1の第1受光領域214aからの信号と、第2受光領域214bからの信号との行方向における像面位相差を検出することで、焦点状態を検出する焦点検出部として機能する。像面位相差検出用の第1画素202-1が、行方向に隣接して配列されるので、行方向における像面位相差を精度よく検出することができる。また、遮光を用いて像面位相差を検出する方式に比べ、光の利用効率を向上させることができる。
図2Bは、第2画素202-2および第3画素202-3の一例を示す図である。第2画素202-2および第3画素202-3のうちの少なくとも一部は、分離された2つの受光領域214を有する。第2画素202-2および第3画素202-3の第1受光領域214aおよび第2受光領域214bは、列方向に並んで配列される。本例では、第2画素202-2または第3画素202-3の領域を、行方向に伸びる直線で2等分することで、2つの受光領域214が規定される。第2画素202-2および第3画素202-3の2つの受光領域214は、共通のマイクロレンズ101に対して、列方向において異なる位置に設けられる。
受光部200において、2つの受光領域214を有する複数の第2画素202-2または第3画素202-3が、列方向に隣接して配列される。信号処理部210は、列方向に隣接して配列された第2画素202-2または第3画素202-3の第1受光領域214aからの信号と、第2受光領域214bからの信号との列方向における像面位相差を検出することで、焦点状態を検出する焦点検出部として機能する。像面位相差検出用の第2画素202-2または第3画素202-3が、列方向に隣接して配列されるので、列方向における像面位相差を精度よく検出することができる。また、遮光を用いて像面位相差を検出する方式に比べ、光の利用効率を向上させることができる。
図3は、受光部200の一例を示す図である。本例の受光部200においては、全ての画素202が2つの受光領域214を有する。図3においては、各画素202における受光領域214の境界を点線で示している。本例では、全ての画素202の出力を用いて画像データを生成するとともに、少なくとも一部の画素202の出力を像面位相差検出用に用いる。信号処理部210は、任意の位置の画素202を像面位相差検出用の画素202として用いることができる。
信号処理部210は、像面位相差検出用に用いる画素202を随時変更してよい。例えば信号処理部210は、特定の被写体の画像を撮像している画素202を像面位相差検出用の画素202としてよい。当該被写体の画像を撮像している画素202の位置が時間に応じて変化する場合、信号処理部210は当該変化に追従して、像面位相差検出用の画素202を選択してよい。また、全ての画素202を、画像信号生成用として用いつつ、像面位相差検出用としても用いてよい。本例では、像面位相差検出に遮光を用いないので、全ての画素202を像面位相差検出用として用いることができるような構造にしても、入射光の利用効率が低下しない。
また、信号処理部210は、受光部200からの各画素信号に基づく画像データを、ベイヤー配列等の所定の画素配列の画像データに変換する配列変換部としても機能する。配列変換する場合、信号処理部210は、各画素202の2つの受光領域214からの信号を加算して、各画素202からの画素信号とする。
図4は、信号処理部210における配列変換処理の一例を示す図である。図4においては、複数の画素202の各列の番号をm、m+1、m+2、・・・、m+k、・・・とし、各行の番号をn、n+1、n+2、・・・、n+l、・・・とする。ただし、k、lは整数とする。図4においては、第1画素202-1の画素信号から、配列変換後の第1変換画素203-1の変換画素信号を生成する処理を説明する。本例の第1画素202-1は、kが0または偶数の列と、lが0または偶数の行に配列される。
なお、複数の第1画素202-1には、第1方向に連続して配置された3以上の第1画素202-1が含まれる。例えば、(m、n+2)、(m+2、n+2)、(m+4、n+2)の位置に3つの第1画素202-1が配置される。また、複数の第2画素202-2(図4では「B」の画素に対応する)には、第1方向に交差する第2方向に連続して配置され、それぞれが上述した3つの第1画素202-1のうちの2つの第1画素202-1に隣接する2つの第2画素202-2が含まれる。例えば、(m+3、n+1)、(m+3、n+3)の位置に配置された第2画素202-2のそれぞれは、(m+2、n+2)、(m+4、n+2)の位置に配置された2つの第1画素202-1に交差して且つ隣接して配置される。
また、複数の第3画素202-3には、第1方向に交差する第3方向に連続して配置され、それぞれが上述した3つの第1画素202-1のうちの2つの第1画素202-1に隣接する2つの第3画素202-3が含まれる。なお、第2方向および第3方向は平行な方向であり、且つ、異なる場所における方向を指す。例えば第2方向は、(m+3、n+1)の位置から(m+3、n+3)の位置に向かう方向であり、第3方向は、(m+1、n+1)の位置から(m+1、n+3)の位置に向かう方向である。また、当該2つの第3画素202-3が隣接する2つの第1画素202-1は、上述した2つの第2画素202-2が隣接する2つの第1画素202-1とは、少なくとも一方の第1画素202-1が異なる。例えば、(m+1、n+1)、(m+1、n+3)の位置に配置された2つの第3画素202-3のそれぞれは、(m、n+2)、(m+2、n+2)の位置に配置された2つの第1画素202-1に交差して且つ隣接して配置される。
信号処理部210は、行方向において隣接する2つの第1画素202-1の画素信号を加算して、当該2つの第1画素202-1の間に仮想的に配置される第1変換画素203-1の変換画素信号を生成する。図4においては、画素信号を加算する2つの第1画素202-1を両矢印で結合している。
より具体的には、信号処理部210は、各行の第1画素202-1が、それぞれ隣接する2つの第1画素202-1のペアとなるようにグルーピングする。信号処理部210は、ペアとなった2つの第1画素202-1の画素信号を加算して、第1変換画素203-1の変換画素信号を生成する。このとき、第1変換画素203-1の行方向の位置が、第1画素202-1の行毎に交互に異なるように、各行の第1画素202-1をグルーピングする。例えば、第n+s(但し、sは0、4、8、・・・)行においては、(m、m+2)、(m+4、m+6)、(m+8、m+10)の列位置の第1画素202-1がグルーピングされる。これに対して、第n+s+2行においては、(m+2、m+4)、(m+6、m+8)、(m+10、m+12)の列位置の第1画素202-1がグルーピングされる。
図5は、第1変換画素203-1の配列例を示す図である。図4に説明した変換処理により、第1変換画素203-1は図5のように配列される。つまり、第1変換画素203-1の行方向の位置が、第1変換画素203-1の行毎に交互に異なるように配列される。具体的には、第n+s行においては、m+1、m+5、m+9の列位置に第1変換画素203-1が配置される。また、第n+s+2行においては、m+3、m+7、m+11の列位置に第1変換画素203-1が配置される。
図6は、信号処理部210における配列変換処理の一例を示す図である。図6においては、第2画素202-2および第3画素202-3の画素信号から、配列変換後の第2変換画素203-2および第3変換画素203-3の変換画素信号を生成する処理を説明する。本例の第2画素202-2および第3画素202-3は、kが奇数の列に配列される。本例では、第2画素202-2は、m+3、m+7、m+11、・・・の列に配列される。また、第3画素202-3は、m+1、m+5、m+9、・・・の列に配列される。
信号処理部210は、列方向において隣接する2つの第2画素202-2の画素信号を加算して、当該2つの第2画素202-2の間に仮想的に配置される第2変換画素203-2の変換画素信号を生成する。また、信号処理部210は、列方向において隣接する2つの第3画素202-3の画素信号を加算して、当該2つの第3画素202-3の間に仮想的に配置される第3変換画素203-3の変換画素信号を生成する。図6においては、画素信号を加算する2つの画素202を両矢印で結合している。
なお、図4において説明した2つの第1画素202-1を結ぶ両矢印と、図6において説明した2つの第2画素202-2を結ぶ両矢印、および、2つの第3画素202-3を結ぶ両矢印とが重ならないように、画素信号を加算する第2画素202-2のペアおよび第3画素202-3のペアが選択される。つまり、第1変換画素203-1、第2変換画素203-2、第3変換画素203-3の位置が重ならないように、画素信号を加算する第2画素202-2のペアおよび第3画素202-3のペアが選択される。
より具体的には、第2画素202-2は、(n+3、n+5)、(n+7、n+9)、(n+11、n+13)の行位置の第2画素202-2がグルーピングされる。これに対して、第3画素202-3は、(n+1、n+3)、(n+5、n+7)、(n+9、n+11)の列位置の第3画素202-3がグルーピングされる。
図7は、第2変換画素203-2および第3変換画素203-3の配列例を示す図である。図6に説明した変換処理により、第2変換画素203-2および第3変換画素203-3は図7のように配列される。具体的には、m+3、m+7、m+11列においては、n+4、n+8、n+12の行位置に第2変換画素203-2が配置される。また、m+1、m+5、m+9行においては、n+2、n+6、n+10の行位置に第3変換画素203-3が配置される。
図8は、第1変換画素203-1、第2変換画素203-2および第3変換画素203-3の配列例を示す図である。図8に示す配列は、図5および図7に示した各変換画素203の配列を重ねた配列である。図4から図7において説明した処理により、信号処理部210は、図8に示すような、ベイヤー配列の画像データを取得することができる。
以上説明した撮像素子100によれば、像面位相差検出用の画素を、行方向および列方向において連続して配置できるので、像面位相差の検出精度を向上させることができる。そして、隣接する画素202の画素信号を加算するという簡単な演算で、ベイヤー配列の画像データを取得することができる。また、像面位相差検出に遮光を用いないので、光の利用効率を向上させることができる。
図9は、受光部200の他の例を示す図である。本例の受光部200においては、一部の第1画素202-1、一部の第2画素202-2、一部の第3画素202-3が、それぞれ2つの受光領域214を有する。ただし、2つの受光領域214を有する第1画素202-1は、行方向において連続して配置される。また、2つの受光領域214を有する第2画素202-2は、列方向において連続して配置される。また、2つの受光領域214を有する第3画素202-3は、列方向において連続して配置される。他の構成は、図1から図8において説明した受光部200と同一である。
このような構成によっても、像面位相差検出用の画素を、行方向および列方向において連続して配置できるので、像面位相差の検出精度を向上させることができる。そして、隣接する画素202の画素信号を加算するだけで、ベイヤー配列の画像データを取得することができる。また、像面位相差検出に遮光を用いないので、光の利用効率を向上させることができる。
図10Aから図10Dは、信号処理部210の他の処理例を説明する図である。本例の信号処理部210は、第1画素202-1に対する変換画素信号として、行方向における位置がずれた第1から第4変換画素信号を生成する。図10Aは、第1変換画素信号G1を生成する例を示す図である。本例の処理は、図4において説明した処理と同一である。つまり、信号処理部210は、それぞれの第1画素202-1について、画素内の第1受光領域214aおよび第2受光領域214bの出力信号を加算して、第1画素信号S1を生成する。そして、隣接する2つの第1画素202-1の第1画素信号S1を加算して、第1変換画素信号G1を生成する。本例において、第1変換画素信号G1は、m+1、m+5、・・・の位置における仮想的な変換画素の信号である。
図10Bは、第2変換画素信号G2を生成する例を示す図である。本例において、第2変換画素信号G2は、第1変換画素信号G1とは異なる位置における変換画素の信号である。本例では、それぞれの第1画素202-1について、当該画素の第1受光領域214aの出力信号と、当該画素の第1受光領域に隣接する第1画素202-1の第2受光領域214bの出力信号とを加算して、第2画素信号S2を生成する。そして、信号処理部210は、隣接する第2画素信号S2を加算して、第2変換画素信号G2を生成する。本例において、第2変換画素信号G2は、m+2、m+6、・・・の位置における仮想的な変換画素の信号である。
図10Cは、第3変換画素信号G3を生成する例を示す図である。本例において、第3変換画素信号G3は、第1変換画素信号G1および第2変換画素信号G2とは異なる位置における変換画素の信号である。まず、第1画素信号S1と同一の処理で、第3画素信号S3を生成する。そして、信号処理部210は、隣接する第3画素信号S3を加算して、第3変換画素信号G3を生成する。本例において、第3変換画素信号G3は、m+3、m+7、・・・の位置における仮想的な変換画素の信号である。
図10Dは、第4変換画素信号G4を生成する例を示す図である。本例において、第4変換画素信号G4は、第1変換画素信号G1、第2変換画素信号G2および第3変換画素信号G3とは異なる位置における変換画素の信号である。まず、第2画素信号S2と同一の処理で、第4画素信号S4を生成する。そして、信号処理部210は、隣接する第4画素信号S4を加算して、第4変換画素信号G4を生成する。本例において、第4変換画素信号G4は、m、m+4、・・・の位置における仮想的な変換画素の信号である。
このような処理により、信号処理部210は、位置が異なる複数種類の変換画素信号G1~G4を生成することができる。信号処理部210は、複数種類の変換画素信号を、一つのフレームの画像データとして用いてよく、異なるフレームの画像データとして用いてもよい。つまり、複数種類の変換画素信号による画像は、略同時に表示されてよく、異なるフレームのタイミングで表示されてもよい。また、信号処理部210は、略同時に撮像した画素信号から、上述した複数種類の変換画素信号を生成してよく、異なる撮像タイミングで取得した画素信号から複数種類の変換画素信号を生成してもよい。このような処理により、画像データの空間分解能を向上させることができる。なお、図10AからDにおいては、第1画素202-1を例として説明したが、第2画素202-2および第3画素202-3についても、同様な処理で複数種類の変換画素信号を生成することができる。
図11Aおよび図11Bは、マイクロレンズ101の構造例を示す図である。図11Aは、マイクロレンズ101の斜視図である。ただし、曲線のグリッド線は曲面を示しており、直線のグリッド線は平面を示している。図11Bは、マイクロレンズ101の平面形状を示す図である。図11A、図11Bに示すように、マイクロレンズ101は、球面レンズの4辺を切り落としたような形状を有する。これにより、直径の大きい球面レンズを用いることができ、マイクロレンズ101の実質開口を上げることができる。また、マイクロレンズ101の4辺の位置を、画素202の4辺の位置と一致させることで、マイクロレンズ101を効率よく敷き詰めることができる。
図12は、信号処理部210の他の処理例を示す図である。本例の信号処理部210は、受光領域214の出力信号を読み出す画素202を行単位で選択する。信号処理部210は、選択した行に属する画素202の出力信号を同時に読み出す。この場合、出力信号の読み出しタイミングが行毎に相違し、電荷蓄積時間が行毎に相違してしまう。本例の信号処理部210は、各画素202の第2受光領域214bの出力信号を用いて、第1受光領域214aの出力信号を補正することで、電荷蓄積時間の相違を補償する。なお、本例の受光部200は、全ての画素202が2つの受光領域214を有する。
図12では、第1行に属する画素202の第1受光領域214aの電荷蓄積時間をa1で示し、第2受光領域214bの電荷蓄積時間をb1で示す。また、第2行に属する画素202の第1受光領域214aの電荷蓄積時間をa2で示し、第2受光領域214bの電荷蓄積時間をb2で示す。他の行についても同様である。また、図12におけるADCは、それぞれの受光領域214の出力信号をデジタル変換する時間を示している。
図12に示すように信号処理部210は、それぞれの画素202について、第1受光領域214aが蓄積した電荷をリセットするリセットタイミングAに対して、第2受光領域214bのリセットタイミングBを遅らせる。このため、受光部200は、それぞれの画素202の第1受光領域214aおよび第2受光領域214bのリセットタイミングを独立に制御するリセット線を有する。リセットタイミングAおよびリセットタイミングBは、全ての画素202において共通である。
そして、信号処理部210は、それぞれの画素202について、第1受光領域214aおよび第2受光領域214bが蓄積した電荷量に応じた出力信号を同時に読み出す。このため、受光部200は、それぞれの画素202の第1受光領域214aおよび第2受光領域214bの出力信号を並列に伝送する読み出し線を有する。また、信号処理部210は、それぞれの画素202の第1受光領域214aおよび第2受光領域214bの出力信号を並列に処理する処理回路を有する。
信号処理部210は、それぞれの画素202について、第1受光領域214aの出力信号の値から、第2受光領域214bの出力信号の値を減算して、各画素202の画素信号を生成する。これにより、全ての画素202において、リセットタイミングAからリセットタイミングBまでの電荷蓄積時間に応じた画素信号を生成することができる。このような処理により、ローリング読み出しで読み出した出力信号から、グローバルシャッタによる画素信号を擬似的に生成することができる。信号処理部210は、図12において説明した処理を行うグローバルシャッタ処理部としても機能する。
図13は、受光部200の構成例を示す図である。図13では、一つの画素202に関する構成だけを示すが、受光部200は、全ての画素202について同様の構成を有する。上述したように、受光部200は、第1受光領域214aのリセットタイミングを制御するリセット線221-1と、第2受光領域214bのリセットタイミングを制御するリセット線221-2とを有する。リセット線221-1およびリセット線221-2は、画素202の行毎に設けられる。同一の行に含まれる画素202は、共通のリセット線221-1およびリセット線221-2に接続される。
また、受光部200は、第1受光領域214aの出力信号を読み出す読み出し線224-1と、第2受光領域214bの出力信号を読み出す読み出し線224-2とを有する。読み出し線224-1および読み出し線224-2は、画素202の列毎に設けられる。同一の列に含まれる画素202は、共通の読み出し線224-1および読み出し線224-2に接続される。読み出し線224は、それぞれの出力信号を信号処理部210に伝送する。
なお、信号処理部210は、行選択信号SELにより、出力信号を読み出す行を選択する。また、信号処理部210は、出力信号を転送すべき受光領域214を、転送信号Tx1、Tx2により選択する。
このような構成により、信号処理部210は、それぞれの画素202について、第1受光領域214aおよび第2受光領域214bが蓄積した電荷量に応じた出力信号を同時に、且つ、受光領域毎に独立して読み出す読出部として機能する。更に、信号処理部210は、ローリング読み出しで読み出した出力信号から、グローバルシャッタによる画素信号を擬似的に生成することができる。なお、信号処理部210は、図1から図10Dにおいて説明した画素信号に変えて、図11A,Bおよび図12において説明した画素信号を用いて、配列変換処理を行ってよい。つまり、信号処理部210は、第1受光領域214aおよび第2受光領域214bの出力信号を加算せずに、第1受光領域214aの出力信号から第2受光領域214bの出力信号を減算することで、画素信号を生成してよい。
図14は、受光部200の他の構成例を示す図である。本例の構成においては、図12および図13において説明したグローバルシャッタ処理は行わない。本例において、それぞれの各受光領域214はフォトダイオードである。本例の受光部200においては、4つのフォトダイオードに対して、リセットトランジスタR、ソースフォロワトランジスタSFおよび選択トランジスタSが共通に設けられる。例えば、領域240に含まれる4つのフォトダイオードに対して、リセットトランジスタR等が共通に設けられる。
また、それぞれのフォトダイオードに対して転送トランジスタTXが設けられる。また、当該4つのフォトダイオードは、それぞれ異なる画素202に含まれる。例えば、リセットトランジスタR等を共有する4つのフォトダイオードは、2つの第1画素202-1および2つの第2画素202-2に含まれる。
なお、転送トランジスタTXは、フォトダイオードが蓄積した電荷を、電荷検出部に転送するか否かを切り替える。電荷検出部は、例えば配線と基準電位間に接続された容量である(図示しない)。当該電荷検出部も、4つのフォトダイオードに共有される。
リセットトランジスタRは、電荷検出部に転送された電荷をリセットするか否かを切り替える。ソースフォロワトランジスタSFは、電荷検出部に蓄積された電荷に応じた出力信号を出力する。選択トランジスタSは、出力信号を読み出し線224に出力するか否かを切り替える。
図15は、図14に示した例における、転送トランジスタTXのおよび電荷検出部の配置例を示す図である。本例では、画素202と、トランジスタとは異なる層に設けられる。このため、画素202と、トランジスタを重ねて配置することができる。上述したように、4つのフォトダイオードPDにより、電荷検出部およびリセットトランジスタR等が共有される。それぞれのフォトダイオードPDには、転送トランジスタTXが設けられる。図15においては、転送トランジスタTXのゲート電極を斜線部で示している。
4つのフォトダイオードは、2つの第1画素202-1、および、2つの第2画素202-2または第3画素202-3に含まれる。第1画素202-1と、第2画素202-2および第3画素202-3とは、画素が分割される方向が異なるので、4つの転送トランジスタTXで囲まれる領域が生じる。当該領域が電荷検出部として機能する。なお、図15においては、リセットトランジスタR等を省略しているが、図14に示したように、リセットトランジスタR等も、4つのフォトダイオードにより共有される。
図16は、撮像素子100の断面の一例を示す図である。本例では、裏面照射型の撮像素子100を示すが、撮像素子100は裏面照射型に限定されない。本例の撮像素子100は、入射光に対応した信号を出力する撮像チップ113と、撮像チップ113からの信号を処理する信号処理チップ111と、信号処理チップ111が処理した画像データを記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示す方向へ入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。撮像チップ113は、受光部200に対応する。PD(フォトダイオード)層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD部104、および、PD部104に対応して設けられたトランジスタ105を有する。一つの画素202に、一つのPD部104が設けられる。つまり、PD部104は、第1受光領域214aおよび第2受光領域214bを有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD部104のそれぞれに対応して特定の配列を有している。カラーフィルタ102、PD部104および複数のトランジスタ105の組が一つの画素を形成する。複数のトランジスタ105のオンオフを制御することで、各受光領域214の読み出しタイミング、受光開始タイミング(リセットタイミング)等を制御する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD部104へ向けて入射光を集光する。
配線層108は、PD層106からの信号を信号処理チップ111に伝送する配線107を有する。配線107は、例えば図12に示した読み出し線224に対応する。また、配線層108には、図13および図14に示した各トランジスタのゲート電極が形成されてよい。また、図13および図14に示した各トランジスタは、信号処理チップ111に形成されてもよい。この場合、配線107は、PD層106と、各トランジスタとを接続する配線に対応する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。本例の信号処理チップ111は、信号処理部210を含む。
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、後述する一つの単位ブロックに対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD部104のピッチよりも大きくてもよい。また、画素が配列された撮像領域以外の周辺領域において、撮像領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
図17は、信号処理部210の機能の一部を示すブロック図である。本例の信号処理部210は、補正部260と、ルックアップテーブル270とを有する。図1から図16において説明したように、信号処理部210は、それぞれの画素202における2つの受光領域214の出力信号を加算または減算する。しかし、2つの受光領域214の出力信号は、撮像素子に入射する光が通過したレンズの特性に応じて変動する場合がある。
例えば、レンズのEPD値、F値に応じて、それぞれの画素202における第1受光領域214aの出力値と、第2受光領域214bの出力値との比が変動する。EPD値は、像面(撮像素子100の表面)から、レンズの射出瞳までの距離を示す値である。また、F値は、レンズの焦点距離を有効口径で除算した値である。ルックアップテーブル270は、EPD値およびF値等のレンズの特性値に対して、各受光領域214の出力値を補正するための補正値を対応付けたテーブルを記憶する。レンズの特性値と、補正値とのテーブルは、画素202の位置毎に設定されてよい。
補正部260は、撮像素子に入射する光が通過したレンズのレンズデータを撮像装置から受け取り、出力信号を受光部200から受け取る。例えば撮像装置は、使用されているレンズユニットの識別情報から、レンズ特性を検出してよい。また、撮像装置は、使用者等による撮像装置の操作に基づいて、レンズ特性を検出してもよい。また、補正部260は、当該出力信号の画素202の位置を示す情報を更に受け取る。当該位置情報は、行選択信号SEL等に基づいて、信号処理部210が生成してよい。
補正部260は、レンズデータに対応する補正値を、ルックアップテーブル270から抽出する。当該補正値は、受光領域214毎に異なってよい。補正部260は、抽出した補正値を用いて、2つの受光領域214の出力信号を補正した補正信号を生成する。信号処理部210は、当該補正信号を用いて画素信号を生成する。
図18は、レンズ特性と、出力信号との関係を説明する図である。図18において横軸は、光軸に対する画素202の距離を示し、縦軸は、各画素202における受光領域214の出力信号の大きさを示す。図18において、2つの受光領域214の出力信号を、実線および点線で示す。
通常、撮像素子100におけるマイクロレンズ101は、光軸に対する画素202の位置に応じて、画素202に対してずらして配置される。このように設計することで、ある特定のEPD値のレンズに対して、どの位置の画素202であっても、画素202の中心に光のスポットが配置される。このように、どの位置の画素202であっても、画素202の中心に光スポットがくるEPD値を、EPDジャストと称する。
これに対して、EPDジャストのレンズよりも、EPDが短くなるレンズ、または、EPDが長くなるレンズでは、画素202の位置に応じて、光のスポットが画素202の中心からずれてしまう。画素202は、中心線で2つの受光領域214に分割されるので、光のスポットが画素202の中心からずれると、2つの受光領域214で、出力信号の大きさに差が生じてしまう。例えば、光軸から離れた位置では、光のスポットの大部分が、一方の受光領域214に含まれてしまい、当該受光領域214の出力信号が非常に大きくなるのに対して、他方の受光領域214の出力信号が非常に小さくなる。
また、F値が変動すると、像面における光のスポット径が変化する。例えば、F値が小さいとスポット径が大きくなる。この場合、2つの受光領域214の出力信号の大きさの差は小さくなる。一方、光軸から離れた位置では、光のスポットが、画素202の領域外にはみ出してしまい、画素202全体での出力信号の大きさが減少する。
このように、EPD値、F値等のレンズ特性に応じて、2つの受光領域214の出力信号の大きさは変動する。本例の信号処理部210には、当該変動を補正する補正値と、レンズ特性値とを対応付けたテーブルが予め与えられる。当該テーブルは、レンズ特性を変化させて、出力信号を実際に検出することで作成することができる。このような構成により、より精度よく画素信号を生成することができる。
図19は、一つの実施形態に係る撮像装置500の構成例を示すブロック図である。撮像装置500は、撮影光学系としての撮影レンズ520を備え、撮影レンズ520は、光軸OAに沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ520は、撮像装置500に対して着脱できる交換式レンズであっても構わない。撮像装置500は、撮像素子100、システム制御部501、駆動部502、測光部503、ワークメモリ504、記録部505、表示部506および駆動部514を主に備える。
撮影レンズ520は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図19では瞳近傍に配置された仮想的な1枚のレンズで当該撮影レンズ520を代表して表している。
駆動部514は撮影レンズ520を駆動する。より具体的には駆動部514は撮影レンズ520の光学レンズ群を移動させて合焦位置を変更し、また、撮影レンズ520内の虹彩絞りを駆動して撮像素子100へ入射する被写体光束の光量を制御する。
駆動部502は、システム制御部501からの指示に従って撮像素子100のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。駆動部502は、撮像素子100の受光部200および信号処理部210を、図1から図18に関連して説明したように動作させる。また、操作部508はレリーズボタン等により撮像者からの指示を受け付ける。
撮像素子100は、図1から図18に関連して説明した撮像素子100と同一である。撮像素子100は、画素信号をシステム制御部501の画像処理部511へ引き渡す。画像処理部511は、ワークメモリ504をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。画像処理部511は、信号処理部210を有してよい。この場合、撮像素子100は、信号処理部210を有さずともよい。生成された画像データは、記録部505に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部506に表示される。
測光部503は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部503は、例えば100万画素程度のAEセンサを含む。システム制御部501の演算部512は、測光部503の出力を受けてシーンの領域ごとの輝度を算出する。演算部512は、算出した輝度分布に従ってシャッタ速度、絞り値、ISO感度を決定する。測光部503は撮像素子100で兼用してもよい。なお、演算部512は、撮像装置500を動作させるための各種演算も実行する。駆動部502は、一部または全部が撮像素子100の信号処理チップ111に搭載されてよい。システム制御部501の一部が撮像素子100の信号処理チップ111に搭載されてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
[項目1-1]
第1方向に配置された第1の色の光を検出する複数の受光領域を有する第1画素であって、上記第1方向に配置された複数の上記第1画素と、
上記第1方向と異なる第2方向に配置された第2の色の光を検出する複数の受光領域を有する第2画素であって、上記第1方向において上記複数の第1画素とは異なる位置に配置され、上記第1方向に配置された複数の上記第2画素と、
を備える撮像素子。
[項目1-2]
上記第2方向に配置された第2の色の光を検出する複数の受光領域を有する第3画素であって、上記第1方向において上記複数の第1画素とは異なる位置に配置され、上記第1方向に配列された複数の上記第3画素を備え、
上記複数の第1画素は、上記複数の第2画素と上記複数の第3画素との間に配列された項目1-1に記載の撮像素子。
[項目1-3]
上記第1方向に配置された第3の色の光を検出する複数の受光領域を有する第4画素であって、上記第1方向に配列された複数の上記第4画素を備え、
上記複数の第3画素は、上記複数の第1画素と上記複数の第4画素との間に配列された項目1-2に記載の撮像素子。
[項目1-4]
上記複数の第3画素は、上記第1方向において上記複数の第2画素と同じ位置に配置されている項目1-2に記載の撮像素子。
[項目1-5]
上記複数の第4画素は、上記第1方向において上記複数の第1画素と同じ位置に配置されている項目1-3に記載の撮像素子。
[項目1-6]
上記第2画素からの出力信号と、上記第3画素からの出力信号とにより、光学系の合焦状態を検出する焦点検出部を備える項目1-4に記載の撮像素子。
[項目1-7]
上記複数の第1画素からの出力信号により、光学系の合焦状態を検出する焦点検出部を備える項目1-1から1-6のいずれか一項に記載の撮像素子。
[項目1-8]
上記複数の第1画素と上記複数の第2画素と上記複数の第3画素と上記複数の第4画素とが配置された撮像部と、
上記撮像部と積層され、上記撮像部からの信号を処理する信号処理部と、
を有する項目1-3に記載の撮像素子。
[項目1-9]
上記信号処理部は、上記第1方向に順に配列された二つの上記第1画素からの出力信号を加算して第1画素信号を生成し、上記第1方向において同じ位置に配置されている上記第2画素と上記第3画素からの出力信号を加算して第2画素信号を生成し、上記第1方向に順に配列された二つの上記第4画素からの出力信号を加算して第3画素信号を生成する項目1-8に記載の撮像素子。
[項目2-1]
第1方向に並んで配列され、第1の色の光を受光して電荷を蓄積する第1受光部と第2受光部と、
上記第1受光部の電荷および上記第2受光部の電荷を蓄積する第1蓄積部と、
上記第1受光部の電荷を上記第1蓄積部に転送する第1転送部と、
上記第2受光部の電荷を上記第1蓄積部に転送する第2転送部と、
上記第1転送部を制御する第1制御線と、
上記第2転送部を制御する第2制御線と、
を備える撮像素子。
[項目2-2]
上記第1制御線および上記第2制御線は、上記第1方向に配線される項目2-1に記載の撮像素子。
[項目2-3]
上記第1蓄積部は、上記第1受光部と上記第2受光部とで共有される項目2-1または2-2に記載の撮像素子。
[項目2-4]
上記第1蓄積部に蓄積された電荷に基づく信号を出力する第1出力部を備える項目2-1から2-3のいずれか1項に記載の撮像素子。
[項目2-5]
上記第1出力部は、上記第1受光部と上記第2受光部とで共有される項目2-4に記載の撮像素子。
[項目2-6]
上記第1方向と交差する第2方向に並んで配列され、第2の色の光を受光して電荷を蓄積する第3受光部と第4受光部と、
上記第3受光部の電荷および上記第4受光部の電荷を蓄積する第2蓄積部と、
上記第3受光部の電荷を上記第2蓄積部に転送する第3転送部と、
上記第4受光部の電荷を上記第2蓄積部に転送する第4転送部と、
上記第3転送部を制御する第3制御線と、
上記第4転送部を制御する第4制御線と、
を備える項目2-4または2-5に記載の撮像素子。
[項目2-7]
上記第3制御線および上記第4制御線は、上記第1方向に配線される項目2-6に記載の撮像素子。
[項目2-8]
上記第2蓄積部は、上記第3受光部と上記第4受光部とで共有される項目2-6または2-7に記載の撮像素子。
[項目2-9]
上記第2蓄積部に蓄積された電荷に基づく信号を出力する第2出力部を備える項目2-6から2-8のいずれか1項に記載の撮像素子。
[項目2-10]
上記第2出力部は、上記第3受光部と上記第4受光部とで共有される項目2-9に記載の撮像素子。
[項目2-11]
上記第1出力部に接続され、上記第2方向に配線される読み出し線を備える項目2-6から2-10のいずれか1項に記載の撮像素子。
[項目2-12]
上記第1出力部および上記第2出力部に接続され、上記第2方向に配線される読み出し線を備える項目2-9または2-10に記載の撮像素子。
[項目2-13]
上記第2方向に並んで配列され、第3の色の光を受光して電荷を蓄積する第5受光部と第6受光部と、
上記第5受光部の電荷および上記第6受光部の電荷を蓄積する第3蓄積部と、
上記第5受光部の電荷を上記第2蓄積部に転送する第5転送部と、
上記第6受光部の電荷を上記第2蓄積部に転送する第6転送部と、
上記第5転送部を制御する第5制御線と、
上記第6転送部を制御する第6制御線と、
を備える項目2-9から2-12のいずれか1項に記載の撮像素子。
[項目2-14]
上記第5制御線および上記第6制御線は、上記第1方向に配線される項目2-13に記載の撮像素子。
[項目2-15]
上記第3蓄積部は、上記第5受光部と上記第6受光部とで共有される項目2-13または2-14に記載の撮像素子。
[項目2-16]
上記第3蓄積部に蓄積された電荷に基づく信号を出力する第3出力部を備える項目2-13から2-15のいずれか1項に記載の撮像素子。
[項目2-17]
上記第3出力部は、上記第5受光部と上記第6受光部とで共有される項目2-16に記載の撮像素子。
[項目2-18]
上記第1受光部の電荷に基づく信号および上記第2受光部の電荷に基づく信号、または上記第3受光部の電荷に基づく信号および上記第4受光部の電荷に基づく信号、または上記第5受光部の電荷に基づく信号および上記第6受光部の電荷に基づく信号は、光学系の焦点検出に用いられる項目2-13から2-17のいずれか1項に記載の撮像素子。
[項目2-19]
上記第1受光部の電荷に基づく信号および上記第2受光部の電荷に基づく信号を加算した第1加算信号、または上記第3受光部の電荷に基づく信号および上記第4受光部の電荷に基づく信号を加算した第2加算信号、または上記第5受光部の電荷に基づく信号および上記第6受光部の電荷に基づく信号を加算した第3加算信号は、画像データの生成に用いられる項目2-13から2-18のいずれか1項に記載の撮像素子。
[項目2-20]
上記第1加算信号は、上記第2加算信号および第3加算信号で補正される項目2-19に記載の撮像素子。
[項目2-21]
上記第1受光部を有する第1画素、上記第2受光部を有する第2画素、上記第3受光部を有する第3画素、および、上記第4受光部を有する第4画素が配置された撮像部と、
上記第1受光部および上記第2受光部および上記第3受光部および上記第4受光部および上記第5受光部および上記第6受光部と、上記第1転送部および上記第2転送部および上記第3転送部および上記第4転送部および上記第5転送部および上記第6転送部とを有する第1層と、
上記第1層と積層され、上記撮像部からの信号を処理する信号処理部を有する第2層と、
を備える項目2-13から2-20のいずれか1項に記載の撮像素子。
[項目2-22]
項目2-1から2-21のいずれか一項に記載の撮像素子を備える撮像装置。

100 撮像素子、101 マイクロレンズ、102 カラーフィルタ、103 パッシベーション膜、104 PD部、105 トランジスタ、106 PD層、107 配線、108 配線層、109 バンプ、110 TSV、111 信号処理チップ、112 メモリチップ、113 撮像チップ、200 受光部、202 画素、203 変換画素、210 信号処理部、214 受光領域、214a 第1受光領域、214b 第2受光領域、222-1、222-2 リセット線、224 読み出し線、260 補正部、270 ルックアップテーブル、500 撮像装置、501 システム制御部、502 駆動部、503 測光部、504 ワークメモリ、505 記録部、506 表示部、508 操作部、511 画像処理部、512 演算部、514 駆動部、520 撮影レンズ

Claims (15)

  1. 第1方向に並んで配列され、第1の色の光を受光して電荷を蓄積する第1受光部と第2受光部と、
    前記第1方向と交差する第2方向に並んで配列され、第2の色の光を受光して電荷を蓄積する第3受光部と第4受光部と、
    前記第1受光部の電荷および前記第2受光部の電荷および前記第3受光部の電荷および前記第4受光部の電荷を蓄積する第1蓄積部と、
    前記第1蓄積部に蓄積された電荷に基づく信号を出力する第1出力部と、
    前記第1受光部の電荷を前記第1蓄積部に転送する第1転送部と、
    前記第2受光部の電荷を前記第1蓄積部に転送する第2転送部と、
    前記第3受光部の電荷を前記第1蓄積部に転送する第3転送部と、
    前記第4受光部の電荷を前記第1蓄積部に転送する第4転送部と、
    前記第1転送部を制御する第1制御線と、
    前記第2転送部を制御する第2制御線と、
    前記第3転送部を制御する第3制御線と、
    前記第4転送部を制御する第4制御線と、
    を備える撮像素子。
  2. 前記第1制御線および前記第2制御線は、前記第1方向に配線される請求項1に記載の撮像素子。
  3. 前記第1蓄積部は、前記第1受光部と前記第2受光部と前記第3受光部と前記第4受光部とで共有される請求項1または2に記載の撮像素子。
  4. 前記第1出力部は、前記第1受光部と前記第2受光部と前記第3受光部と前記第4受光部とで共有される請求項1から3のいずれか1項に記載の撮像素子。
  5. 前記第3制御線および前記第4制御線は、前記第1方向に配線される請求項1から4のいずれか1項に記載の撮像素子。
  6. 前記第1出力部に接続され、前記第2方向に配線される読み出し線を備える請求項からのいずれか1項に記載の撮像素子。
  7. 前記第2方向に並んで配列され、第3の色の光を受光して電荷を蓄積する第5受光部と第6受光部と、
    前記第5受光部の電荷および前記第6受光部の電荷を蓄積する第蓄積部と、
    前記第5受光部の電荷を前記第蓄積部に転送する第5転送部と、
    前記第6受光部の電荷を前記第蓄積部に転送する第6転送部と、
    前記第5転送部を制御する第5制御線と、
    前記第6転送部を制御する第6制御線と、
    を備える請求項からのいずれか1項に記載の撮像素子。
  8. 前記第5制御線および前記第6制御線は、前記第1方向に配線される請求項に記載の撮像素子。
  9. 前記第蓄積部は、前記第5受光部と前記第6受光部とで共有される請求項またはに記載の撮像素子。
  10. 前記第蓄積部に蓄積された電荷に基づく信号を出力する第3出力部を備える請求項からのいずれか1項に記載の撮像素子。
  11. 前記第3出力部は、前記第5受光部と前記第6受光部とで共有される請求項10に記載の撮像素子。
  12. 前記第1受光部の電荷に基づく信号および前記第2受光部の電荷に基づく信号、または前記第3受光部の電荷に基づく信号および前記第4受光部の電荷に基づく信号、または前記第5受光部の電荷に基づく信号および前記第6受光部の電荷に基づく信号は、光学系の焦点検出に用いられる請求項から11のいずれか1項に記載の撮像素子。
  13. 前記第1受光部の電荷に基づく信号および前記第2受光部の電荷に基づく信号を加算した第1加算信号、または前記第3受光部の電荷に基づく信号および前記第4受光部の電荷に基づく信号を加算した第2加算信号、または前記第5受光部の電荷に基づく信号および前記第6受光部の電荷に基づく信号を加算した第3加算信号は、画像データの生成に用いられる請求項から11のいずれか1項に記載の撮像素子。
  14. 記第1受光部および前記第2受光部および前記第3受光部および前記第4受光部と、前記第1転送部および前記第2転送部および前記第3転送部および前記第4転送部とを有する撮像部を有する第1層と、
    前記第1層と積層され、前記撮像部からの信号を処理する信号処理部を有する第2層と、
    を備える請求項から13のいずれか1項に記載の撮像素子。
  15. 請求項1から14のいずれか一項に記載の撮像素子を備える撮像装置。
JP2019136632A 2013-09-26 2019-07-25 撮像素子および撮像装置 Active JP7047822B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022044741A JP7435648B2 (ja) 2013-09-26 2022-03-18 撮像素子および撮像装置
JP2024016730A JP2024050824A (ja) 2013-09-26 2024-02-06 撮像素子および撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013199712 2013-09-26
JP2013199712 2013-09-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015538908A Division JP6561836B2 (ja) 2013-09-26 2014-09-24 撮像素子および撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022044741A Division JP7435648B2 (ja) 2013-09-26 2022-03-18 撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP2019205194A JP2019205194A (ja) 2019-11-28
JP7047822B2 true JP7047822B2 (ja) 2022-04-05

Family

ID=52742547

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015538908A Active JP6561836B2 (ja) 2013-09-26 2014-09-24 撮像素子および撮像装置
JP2019136632A Active JP7047822B2 (ja) 2013-09-26 2019-07-25 撮像素子および撮像装置
JP2022044741A Active JP7435648B2 (ja) 2013-09-26 2022-03-18 撮像素子および撮像装置
JP2024016730A Pending JP2024050824A (ja) 2013-09-26 2024-02-06 撮像素子および撮像装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015538908A Active JP6561836B2 (ja) 2013-09-26 2014-09-24 撮像素子および撮像装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022044741A Active JP7435648B2 (ja) 2013-09-26 2022-03-18 撮像素子および撮像装置
JP2024016730A Pending JP2024050824A (ja) 2013-09-26 2024-02-06 撮像素子および撮像装置

Country Status (5)

Country Link
US (2) US20160286104A1 (ja)
EP (1) EP3051811A4 (ja)
JP (4) JP6561836B2 (ja)
CN (3) CN105684436B (ja)
WO (1) WO2015045375A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105684436B (zh) * 2013-09-26 2020-05-01 株式会社尼康 摄像元件以及摄像装置
JP6537838B2 (ja) * 2015-01-30 2019-07-03 ルネサスエレクトロニクス株式会社 撮像素子
CN112714252B (zh) 2015-09-30 2023-04-07 株式会社尼康 摄像装置
JPWO2017057280A1 (ja) * 2015-09-30 2018-08-16 株式会社ニコン 撮像装置、および被写体検出装置
JP6733159B2 (ja) * 2015-12-01 2020-07-29 株式会社ニコン 撮像素子、及び撮像装置
CN106385573A (zh) * 2016-09-06 2017-02-08 努比亚技术有限公司 一种图片处理方法及终端
JP7247975B2 (ja) * 2020-07-06 2023-03-29 株式会社ニコン 撮像素子及び撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006049361A (ja) 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びmos型固体撮像装置
JP2006121650A (ja) 2004-09-24 2006-05-11 Fuji Photo Film Co Ltd 固体撮像装置
JP2007065330A (ja) 2005-08-31 2007-03-15 Canon Inc カメラ
JP6561836B2 (ja) 2013-09-26 2019-08-21 株式会社ニコン 撮像素子および撮像装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774597B2 (ja) * 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
JP4691930B2 (ja) 2004-09-10 2011-06-01 ソニー株式会社 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP4771092B2 (ja) * 2005-06-03 2011-09-14 コニカミノルタホールディングス株式会社 撮像装置
JP4599258B2 (ja) 2005-09-16 2010-12-15 富士フイルム株式会社 固体撮像素子
JP4808557B2 (ja) * 2006-07-04 2011-11-02 浜松ホトニクス株式会社 固体撮像装置
JP5176959B2 (ja) * 2006-09-14 2013-04-03 株式会社ニコン 撮像素子および撮像装置
JP5000413B2 (ja) * 2007-07-30 2012-08-15 オリンパス株式会社 撮像システム及び画像信号処理プログラム
JP5106092B2 (ja) * 2007-12-26 2012-12-26 パナソニック株式会社 固体撮像装置およびカメラ
JP5026951B2 (ja) * 2007-12-26 2012-09-19 オリンパスイメージング株式会社 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
JP5552214B2 (ja) * 2008-03-11 2014-07-16 キヤノン株式会社 焦点検出装置
JP5276374B2 (ja) * 2008-07-25 2013-08-28 キヤノン株式会社 焦点検出装置
JP5149143B2 (ja) * 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5029624B2 (ja) 2009-01-15 2012-09-19 ソニー株式会社 固体撮像装置及び電子機器
JP5215262B2 (ja) * 2009-02-03 2013-06-19 オリンパスイメージング株式会社 撮像装置
JP2010219437A (ja) 2009-03-18 2010-09-30 Canon Inc 固体撮像装置
JP5332822B2 (ja) * 2009-03-31 2013-11-06 ソニー株式会社 固体撮像素子、撮像装置
JP5517514B2 (ja) * 2009-07-16 2014-06-11 キヤノン株式会社 撮像装置及びその制御方法
JP5476832B2 (ja) * 2009-07-23 2014-04-23 ソニー株式会社 固体撮像装置及びカメラ
JP2011077770A (ja) 2009-09-30 2011-04-14 Fujifilm Corp 固体電子撮像装置の制御装置およびその動作制御方法
JP5232118B2 (ja) * 2009-09-30 2013-07-10 富士フイルム株式会社 撮像デバイスおよび電子カメラ
JP4547462B1 (ja) * 2009-11-16 2010-09-22 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
JP5644177B2 (ja) * 2010-05-07 2014-12-24 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
JP5764884B2 (ja) * 2010-08-16 2015-08-19 ソニー株式会社 撮像素子および撮像装置
JP5803095B2 (ja) * 2010-12-10 2015-11-04 ソニー株式会社 撮像素子および撮像装置
JP5664270B2 (ja) * 2011-01-21 2015-02-04 ソニー株式会社 撮像素子および撮像装置
CN103621078B (zh) * 2011-04-14 2016-01-13 株式会社尼康 图像处理装置和图像处理程序
JP5907668B2 (ja) * 2011-04-27 2016-04-26 オリンパス株式会社 撮像装置及び撮像素子
CN102809877B (zh) * 2011-05-31 2016-05-25 株式会社尼康 镜头镜筒及相机机身
JP2014158062A (ja) * 2011-06-06 2014-08-28 Fujifilm Corp 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
JP5791571B2 (ja) * 2011-08-02 2015-10-07 キヤノン株式会社 撮像素子及び撮像装置
JP5907595B2 (ja) * 2011-09-27 2016-04-26 キヤノン株式会社 撮像装置
WO2013047160A1 (ja) * 2011-09-28 2013-04-04 富士フイルム株式会社 固体撮像素子、撮像装置、及び合焦制御方法
JP2013143729A (ja) 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法
JP2013145779A (ja) * 2012-01-13 2013-07-25 Sony Corp 固体撮像装置及び電子機器
JP2013157883A (ja) 2012-01-31 2013-08-15 Sony Corp 固体撮像素子およびカメラシステム
JP5860168B2 (ja) * 2012-12-21 2016-02-16 富士フイルム株式会社 固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006049361A (ja) 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びmos型固体撮像装置
JP2006121650A (ja) 2004-09-24 2006-05-11 Fuji Photo Film Co Ltd 固体撮像装置
JP2007065330A (ja) 2005-08-31 2007-03-15 Canon Inc カメラ
JP6561836B2 (ja) 2013-09-26 2019-08-21 株式会社ニコン 撮像素子および撮像装置

Also Published As

Publication number Publication date
JP7435648B2 (ja) 2024-02-21
JP2024050824A (ja) 2024-04-10
CN111479066A (zh) 2020-07-31
JPWO2015045375A1 (ja) 2017-03-09
JP6561836B2 (ja) 2019-08-21
US20160286104A1 (en) 2016-09-29
CN111479066B (zh) 2022-11-18
US20210335876A1 (en) 2021-10-28
JP2019205194A (ja) 2019-11-28
CN105684436A (zh) 2016-06-15
EP3051811A1 (en) 2016-08-03
WO2015045375A1 (ja) 2015-04-02
JP2022078354A (ja) 2022-05-24
CN105684436B (zh) 2020-05-01
EP3051811A4 (en) 2017-03-22
CN111479067A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
JP7047822B2 (ja) 撮像素子および撮像装置
JP6977756B2 (ja) 撮像素子および撮像装置
JP6343870B2 (ja) 撮像素子および撮像装置
WO2015080163A1 (ja) 電子機器、撮像装置、および、撮像素子
JP6368999B2 (ja) 撮像素子および撮像装置
JP6136103B2 (ja) 撮像装置、撮像素子および読出方法。
JP6056572B2 (ja) 撮像装置
JP6680310B2 (ja) 撮像装置
JP2015041838A (ja) 撮像素子および撮像装置
JP6767336B2 (ja) 撮像素子および撮像装置
JP2017108281A (ja) 撮像素子および撮像装置
JP2020102879A (ja) 撮像装置
JP6825665B2 (ja) 撮像素子および撮像装置
JP7294379B2 (ja) 撮像素子および撮像装置
WO2022050134A1 (ja) 固体撮像装置及び電子機器
JP6998693B2 (ja) 撮像素子及び撮像装置
JP7070528B2 (ja) 撮像装置および撮像素子
JP6767306B2 (ja) 撮像装置
JP6610648B2 (ja) 撮像装置
JP2018201207A (ja) 撮像素子および撮像装置
JP2023104965A (ja) 撮像素子および撮像装置
JP6268782B2 (ja) 撮像素子および撮像装置
JP2022088475A (ja) 撮像素子
JP2017225172A (ja) 撮像装置
JP2014200055A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20200915

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7047822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150