JP6440844B2 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
JP6440844B2
JP6440844B2 JP2017528048A JP2017528048A JP6440844B2 JP 6440844 B2 JP6440844 B2 JP 6440844B2 JP 2017528048 A JP2017528048 A JP 2017528048A JP 2017528048 A JP2017528048 A JP 2017528048A JP 6440844 B2 JP6440844 B2 JP 6440844B2
Authority
JP
Japan
Prior art keywords
pixel
semiconductor substrate
solid
photoelectric conversion
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017528048A
Other languages
English (en)
Other versions
JPWO2017009944A1 (ja
Inventor
亨 近藤
亨 近藤
公成 田宮
公成 田宮
渡辺 伸之
伸之 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017009944A1 publication Critical patent/JPWO2017009944A1/ja
Application granted granted Critical
Publication of JP6440844B2 publication Critical patent/JP6440844B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607Geometry of the photosensitive area
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14634Assemblies, i.e. Hybrid structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707Pixels for event detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14636Interconnect structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、固体撮像装置に関する。
従来から、被写体の動きを検出する動き検出の技術がある。従来の動き検出では、予め定めたフレームの間隔で撮影したそれぞれの画像の差分をとることによって、動いている被写体を捕らえている。このため、従来の動き検出では、被写体の動きをフレームの間隔でしか検出することができない。つまり、被写体の動きを逐次検出することができない。
そこで、近年では、例えば、非特許文献1に開示されたように、被写体の動きに応じた信号の変化を検出することによって、被写体の動きを逐次検出する動き検出と、通常の撮影とを両立する固体撮像装置の技術が提案されている。非特許文献1に提案された固体撮像装置では、それぞれの画素に、入射した光を光電変換する1個の光電変換素子(フォトダイオード)を備え、通常の撮影による電荷信号を読み出すAPS(Active Pixel Sensor)読み出しと、動き検出のための電荷信号を読み出すAER(Address Event Representation)読み出しとを非同期に行うことができる。
非特許文献1に提案された固体撮像装置では、動き検出の際に、フォトダイオードが光電変換している電荷信号の時間的な変化を検出し、電荷信号の大きさが予め定めた閾値を超えた画素からのみ、電荷信号が変化した方向、つまり、電荷信号の大きさの増減を表すパルス信号をAER読み出しで出力している。このとき、AER読み出しによって出力されるパルス信号には、パルス信号を出力する画素、つまり、被写体の動きを検出した画素の位置を表すアドレス情報も付加されている。
これにより、非特許文献1に提案された固体撮像装置では、被写体の動きを検出した画素の位置を、通常の撮影において電荷信号を読み出すフレームのタイミングとは関係しない非同期のタイミングで抽出することができる。このことにより、非特許文献1に提案された固体撮像装置では、通常の撮影におけるフレームレートよりも高速に、動いている被写体を捕らえることができる。
"A 240×180 10mW 12us latency sparse−output vision sensor for mobile applications", VLSI Circuits (VLSIC), 2013 Symposium on, Publication Year: 2013, Page(s): C186 − C187
しかしながら、非特許文献1に提案された固体撮像装置では、電荷信号が変化した方向を検出する論理回路や、パルス信号にアドレス情報を付加するための論理回路を、それぞれの画素に備える必要がある。このため、非特許文献1に提案された固体撮像装置では、画素への論理回路の追加に伴って、フォトダイオードの面積を小さくすることが必要になってしまう。これにより、非特許文献1に提案された固体撮像装置では、フォトダイオードが入射した光を光電変換する電荷信号のレベルが低下してしまう。このため、非特許文献1に提案された固体撮像装置では、APS読み出しによって読み出す通常の撮影で得る電荷信号のレベルの低下によって、撮影した通常の画像の画質が低下してしまう。
また、電荷信号が変化した方向を検出する論理回路や、パルス信号にアドレス情報を付加するための論理回路をそれぞれの画素に備えるということは、フォトダイオードの面積を小さくして画素数を増加することも困難になるため、固体撮像装置の高画素化を阻害する要因にもなる。
また、フォトダイオードが光電変換する電荷信号のレベルが低下するということは、動き検出において時間的な変化を検出するための電荷信号のレベルも低下するということであり、動き検出の精度が低下してしまうことにもつながる。そこで、動き検出の精度の低下を抑えるために、パルス信号を増幅して出力する増幅回路(アンプ)をさらに設けることも考えられるが、この場合、さらに設けたアンプも論理回路に含まれるため、フォトダイオードの面積をさらに小さくすることが必要となり、上述したような、通常の撮影おける画質の低下や、固体撮像装置の高画素化の問題がより顕著になってしまう。
本発明は、上記の課題に基づいてなされたものであり、被写体の動きを逐次検出する動き検出と通常の撮影とを両立する固体撮像装置において、動き検出の精度を低下させることなく、通常の撮影おける画質を向上させることができる固体撮像装置を提供することを目的としている。
本発明の第1の態様によれば、固体撮像装置は、光が入射する第1の半導体基板と、前記第1の半導体基板に光が入射する側の面と反対側の面に積層される第2の半導体基板と、前記第1の半導体基板に周期的に配置され、入射した光を光電変換した第1の電荷信号を発生するn個の第1の光電変換素子と、前記第1の半導体基板に、前記n個の第1の光電変換素子のそれぞれに対応して配置され、対応する1個の前記第1の光電変換素子が発生した前記第1の電荷信号を蓄積し、蓄積した前記第1の電荷信号に応じた信号電圧を第1の画素信号として出力するn個の第1の読み出し回路と、前記n個の第1の読み出し回路のそれぞれを順次駆動して前記第1の画素信号のそれぞれを出力させる駆動回路と、前記第1の半導体基板および前記第2の半導体基板のいずれか一方に周期的に配置され、入射した光を光電変換した第2の電荷信号を発生するm個の第2の光電変換素子と、前記m個の第2の光電変換素子の内、対応する1個の前記第2の光電変換素子が発生した前記第2の電荷信号の変化を表す第2の画素信号を逐次出力するm個の第2の読み出し回路と、を有し、前記m個の第2の読み出し回路のそれぞれは、対応する1個の前記第2の光電変換素子が発生した前記第2の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、変化した方向を表すイベント信号を出力する検出回路と、前記第2の半導体基板に配置され、前記イベント信号に、対応する1個の前記第2の光電変換素子が配置された位置を表すアドレス情報を付加した前記第2の画素信号を出力する画素信号生成回路と、を有し、前記nは2以上の自然数であり、前記mは2以上の自然数である。
本発明の第2の態様によれば、上記第1の態様の固体撮像装置において、前記m個の第2の読み出し回路のそれぞれは、前記第2の半導体基板に配置され、対応する1個の前記第2の光電変換素子が発生した前記第2の電荷信号を増幅するアンプ回路、をさらに有し、前記検出回路は、前記アンプ回路によって増幅された後の前記第2の電荷信号の変化を検出してもよい。
本発明の第3の態様によれば、上記第1の態様の固体撮像装置において、前記mは前記nよりも小さく、前記m個の第2の光電変換素子のそれぞれが光を受光する面積は、前記n個の第1の光電変換素子のそれぞれが光を受光する面積よりも大きくてもよい。
本発明の第4の態様によれば、上記第1の態様の固体撮像装置において、前記m個の第2の光電変換素子のそれぞれは、前記第2の半導体基板に配置され、前記n個の第1の光電変換素子の内、対応するp個の前記第1の光電変換素子を透過した光を光電変換した第2の電荷信号を発生し、前記pは1以上の自然数であってもよい。
本発明の第5の態様によれば、上記第1の態様の固体撮像装置において、前記第1の半導体基板と前記第2の半導体基板との間に形成され、前記第1の半導体基板の回路要素と前記第2の半導体基板の回路要素とを電気的に接続する接続部、をさらに有し、前記mは前記nよりも小さく、前記m個の第2の光電変換素子のそれぞれは、前記第1の半導体基板に配置され、前記接続部は、前記m個の第2の読み出し回路のそれぞれが有する前記検出回路と、対応する1個の前記第2の光電変換素子とを電気的に接続してもよい。
本発明の第6の態様によれば、上記第1の態様の固体撮像装置において、前記第1の半導体基板と前記第2の半導体基板との間に形成され、前記第1の半導体基板の回路要素と前記第2の半導体基板の回路要素とを電気的に接続する接続部、をさらに有し、前記第2の光電変換素子は、前記第1の光電変換素子であり、前記m個の第2の読み出し回路のそれぞれは、前記n個の第1の光電変換素子の内、対応するs個の前記第1の光電変換素子が発生した前記第1の電荷信号の変化を表す前記第2の画素信号を逐次出力し、前記m個の第2の読み出し回路のそれぞれが有する前記検出回路は、対応するs個の前記第1の光電変換素子が発生した前記第1の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、前記イベント信号を出力し、前記接続部は、前記m個の第2の読み出し回路のそれぞれが有する前記検出回路と、対応するs個の前記第1の光電変換素子とを電気的に接続し、前記sは1以上の自然数であってもよい。
本発明の第7の態様によれば、上記第6の態様の固体撮像装置において、前記mは前記nよりも小さく、前記sは2以上の自然数であり、前記m個の第2の読み出し回路のそれぞれは、対応するs個の前記第1の光電変換素子が発生したそれぞれの前記第1の電荷信号を加算する加算回路、をさらに有し、前記検出回路は、前記加算回路によって加算された後の前記第1の電荷信号の変化を検出してもよい。
本発明の第8の態様によれば、上記第7の態様の固体撮像装置において、前記m個の第2の読み出し回路のそれぞれは、前記第2の半導体基板に配置され、前記加算回路によって加算された後の前記第1の電荷信号を増幅するアンプ回路、をさらに有し、前記検出回路は、前記アンプ回路によって増幅された後の前記第1の電荷信号の変化を検出してもよい。
本発明の第9の態様によれば、上記第7の態様の固体撮像装置において、前記加算回路は、前記第1の半導体基板に配置され、前記接続部は、前記m個の第2の読み出し回路のそれぞれが有する前記検出回路と、対応する前記加算回路とを電気的に接続してもよい。
上記各態様によれば、被写体の動きを逐次検出する動き検出と通常の撮影とを両立する固体撮像装置において、動き検出の精度を低下させることなく、通常の撮影おける画質を向上させることができる固体撮像装置を提供することができる。
本発明の第1の実施形態における固体撮像装置の概略構成を示した概観図である。 本発明の第1の実施形態における固体撮像装置の概略構成を示したブロック図である。 本発明の第1の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第1の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第1の実施形態の固体撮像装置における画素の配置の一例を模式的に示した図である。 本発明の第1の実施形態の固体撮像装置の構造の一例を示した断面図である。 本発明の第1の実施形態の固体撮像装置における画素の配置の別の一例を模式的に示した図である。 本発明の第1の実施形態の固体撮像装置の別の構造の一例を示した断面図である。 本発明の第2の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第2の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第2の実施形態の固体撮像装置における画素の配置の一例を模式的に示した図である。 本発明の第2の実施形態の固体撮像装置における画素の配置の別の一例を模式的に示した図である。 本発明の第2の実施形態の固体撮像装置の構造の一例を示した断面図である。 本発明の第3の実施形態の固体撮像装置における画素の構成の一例を示した回路図である。 本発明の第3の実施形態の固体撮像装置において画素を駆動するタイミングの一例を示したタイミングチャートである。 本発明の第3の実施形態の固体撮像装置における画素の構成の別の一例を示した回路図である。 本発明の第3の実施形態の固体撮像装置の別の構造の一例を示した断面図である。 本発明の第3の実施形態の固体撮像装置における画素の構成のさらに別の一例を示した回路図である。 本発明の第3の実施形態の固体撮像装置における画素の構成のさらに別の一例を示した回路図である。
(第1の実施形態)
以下、本発明の実施形態について、図面を参照して説明する。図1は、本発明の第1の実施形態における固体撮像装置の概略構成を示した概観図である。第1の実施形態の固体撮像装置1は、複数の半導体基板を積層(接合)して構成する。図1において、固体撮像装置1は、第1の半導体基板11と、第2の半導体基板12とを、チップ接続部13によって接合している。
固体撮像装置1は、固体撮像装置1の機能を実現するための回路を、第1の半導体基板11または第2の半導体基板12のいずれか一方の半導体基板上に形成する。固体撮像装置1の機能を実現するための回路は、入射してきた光(光線)を光電変換するフォトダイオードなどの光電変換素子、および光電変換素子が発生した電荷信号を読み出す読み出し回路を含む画素が二次元の行列状に複数配置された画素アレイ部、画素アレイ部内の画素を駆動するための駆動回路などがある。
なお、固体撮像装置1の機能を実現するためのそれぞれの回路は、第1の半導体基板11または第2の半導体基板12のいずれか一方の半導体基板上に形成する構成のみではなく、第1の半導体基板11および第2の半導体基板12の両方の半導体基板上に形成する構成であってもよい。
それぞれの半導体基板上に形成された固体撮像装置1の機能を実現するためのそれぞれの回路は、チップ接続部13によって電気的に接続する。そして、第1の半導体基板11に形成した回路と第2の半導体基板12に形成した回路とは、チップ接続部13を介して信号の送受信を行う。
チップ接続部13は、例えば、蒸着法、めっき法で作製されるマイクロバンプなどを用いる。なお、それぞれの半導体基板上に形成された固体撮像装置1の機能を実現するためのそれぞれの回路を接続する方法は、マイクロバンプを用いた方法に限定されるものではなく、例えば、シリコン貫通電極(TSV:Through−Silicon−Via)を用いた方法であってもよい。
次に、第1の実施形態の固体撮像装置1の構成の一例について説明する。図2は、本発明の第1の実施形態における固体撮像装置1の概略構成を示したブロック図である。図2において、固体撮像装置1は、制御回路10と、垂直走査回路20と、水平走査回路30と、複数の画素50が配置された画素アレイ部40とを備えている。なお、図1に示した固体撮像装置1では、複数の画素50が、7行8列に2次元的に配置された画素アレイ部40の例を示している。
制御回路10は、垂直走査回路20、水平走査回路30を制御する。
垂直走査回路20は、制御回路10からの制御に応じて、画素アレイ部40内のそれぞれの画素50を制御し、それぞれの画素50の画素信号を垂直信号線60に出力させる駆動回路である。垂直走査回路20は、画素50を駆動するための制御信号を、画素アレイ部40に備えた画素50の行ごとに出力する。
水平走査回路30は、画素アレイ部40に備えたそれぞれの画素50から行ごとに出力された画素信号を順次、固体撮像装置1の外部に出力させる駆動回路である。
画素アレイ部40内に配置されたそれぞれの画素50は、入射してきた光(光線)を光電変換した電荷信号を発生させる。画素アレイ部40内に配置された画素50には、通常の撮影による電荷信号を発生させる構成の画素50と、動き検出のための電荷信号を発生させる構成の画素50とがある。
通常の撮影による電荷信号を発生させる構成の画素50は、垂直走査回路20から入力された制御信号に応じたAPS(Active Pixel Sensor)読み出し(以下、「通常読み出し」という)によって、発生させた電荷信号に応じた画素信号を行ごとに、垂直信号線60に出力する。そして、垂直信号線60に出力されたそれぞれの行の画素信号は、水平走査回路30による制御に応じて、固体撮像装置1の外部に出力される。すなわち、通常の撮影による電荷信号を発生させる構成の画素50の画素信号は、通常の撮影におけるフレームごとに、固体撮像装置1の外部に出力される。なお、以下の説明においては、通常の撮影による電荷信号を発生させる構成の画素50、つまり、通常の撮影の画素信号を出力する画素50を「通常画素51」という。
また、動き検出のための電荷信号を発生させる構成の画素50は、AER(Address Event Representation)読み出し(以下、「動き検出読み出し」という)によって、電荷信号の時間的な変化および変化した方向を表すパルス信号を、垂直走査回路20による通常画素51の駆動とは同期せずに、つまり、非同期で出力する。このとき、動き検出のための電荷信号を発生させる構成の画素50は、画素50自身の位置を表すアドレス情報をパルス信号に付加し、画素信号として出力する。なお、以下の説明においては、動き検出のための電荷信号を発生させる構成の画素50、つまり、動き検出の画素信号を出力する画素50を「動き検出画素52」という。
通常画素51および動き検出画素52のそれぞれを構成する回路要素は、第1の半導体基板11または第2の半導体基板12のいずれか一方または両方の半導体基板に形成し、チップ接続部13によって画素アレイ部40内で接続する。
次に、第1の実施形態の固体撮像装置1において画素アレイ部40内に配置する通常画素51および動き検出画素52の構成について説明する。図3Aおよび図3Bは、本発明の第1の実施形態の固体撮像装置1における画素50(通常画素51および動き検出画素52)の構成の一例を示した回路図である。図3Aには、固体撮像装置1の画素アレイ部40内に配置する通常画素51の構成の一例を示し、図3Bには、固体撮像装置1の画素アレイ部40内に配置する動き検出画素52の構成の一例を示している。
まず、図3Aを用いて、通常画素51の構成を説明する。図3Aにおいて、通常画素51は、光電変換素子PD1と、電荷転送トランジスタ511、画素リセットトランジスタ512、増幅トランジスタ513、および選択トランジスタ514とを備えている。なお、図3Aにおいては、通常画素51に備えた増幅トランジスタ513のゲート端子に接続されたノードに付随する容量であるノード容量FD1を、通常画素51の回路要素としてキャパシタの記号で示している。
通常画素51においては、電荷転送トランジスタ511、画素リセットトランジスタ512、増幅トランジスタ513、および選択トランジスタ514と、ノード容量FD1とで、光電変換素子PD1が発生させた電荷信号に応じた画素信号を読み出す読み出し回路を構成している。固体撮像装置1では、光電変換素子PD1と読み出し回路とを、第1の半導体基板11に形成する。
光電変換素子PD1は、入射してきた光(光線)を光電変換して電荷信号を発生させ、発生させた電荷信号を蓄積するフォトダイオードである。
電荷転送トランジスタ511は、垂直走査回路20から入力された制御信号TXに応じて、光電変換素子PD1が発生して蓄積した電荷信号を、増幅トランジスタ513のゲート端子に転送する。これにより、電荷転送トランジスタ511によって転送された電荷信号が、ノード容量FD1に蓄積される。
増幅トランジスタ513は、ゲート端子に転送された電荷信号、すなわち、ノード容量FD1に蓄積された電荷信号に応じた信号電圧を、選択トランジスタ514に出力する。
画素リセットトランジスタ512は、垂直走査回路20から入力された制御信号RSTに応じて、通常画素51内の電荷信号を、電源電圧VDDにリセットする。
選択トランジスタ514は、垂直走査回路20から入力された制御信号SELに応じて、増幅トランジスタ513から出力される信号電圧を、通常画素51の画素信号として垂直信号線60に出力する。これにより、通常画素51に備えた光電変換素子PD1が発生した電荷信号に応じた画素信号が、垂直信号線60に読み出される。
このような構成によって、通常画素51では、光電変換素子PD1が入射した光を光電変換した電荷信号に応じたそれぞれの信号電圧を、画素信号として垂直信号線60に読み出す。
続いて、図3Bを用いて、動き検出画素52の構成を説明する。図3Bにおいて、動き検出画素52は、光電変換素子PD2と、アンプ521と、バイアストランジスタ522と、スイッチトキャパシタアンプ回路523と、スレッショルドアンプ524およびスレッショルドアンプ525と、AER回路526とを備えている。また、スイッチトキャパシタアンプ回路523は、キャパシタ5231と、アンプ5232と、キャパシタ5233と、スイッチ5234とを備えている。
動き検出画素52においては、アンプ521およびバイアストランジスタ522で、光電変換素子PD2が発生させた電荷信号を出力する出力回路を構成している。また、動き検出画素52においては、スイッチトキャパシタアンプ回路523、スレッショルドアンプ524、スレッショルドアンプ525、およびAER回路526で、光電変換素子PD2が発生させた電荷信号を読み出す読み出し回路を構成している。固体撮像装置1では、光電変換素子PD2および出力回路を第1の半導体基板11に形成し、読み出し回路を第2の半導体基板12に形成する。
光電変換素子PD2は、通常画素51に備えた光電変換素子PD1と同様に、入射してきた光(光線)を光電変換して電荷信号を発生させ、発生させた電荷信号を蓄積するフォトダイオードである。光電変換素子PD2は、発生させた電荷信号を逐次、アンプ521に出力する。
アンプ521は、光電変換素子PD2が発生して出力した電荷信号を、増幅する。アンプ521は、増幅した電荷信号を、チップ接続部13を介してスイッチトキャパシタアンプ回路523に出力する。これにより、光電変換素子PD2が発生する電荷信号の変化が、スイッチトキャパシタアンプ回路523に入力される。また、アンプ521は、増幅した電荷信号を、バイアストランジスタ522のゲート端子に転送する。
バイアストランジスタ522は、ゲート端子に転送された電荷信号に応じて光電変換素子PD2に流れる電流が一定の電流になるように制御する。これにより、光電変換素子PD2が発生する電荷信号が変化した場合、電荷信号の大きさが逐次、変化した後の大きさで安定する。つまり、光電変換素子PD2の出力がクリップされる。
スイッチトキャパシタアンプ回路523は、アンプ521からチップ接続部13を介して入力された電荷信号の変化、つまり、光電変換素子PD2が発生する電荷信号の増減を、予め定めた電圧の範囲の電圧信号に変換し、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれに出力する。また、スイッチトキャパシタアンプ回路523の動作は、AER回路526によってリセットされる。
より具体的には、アンプ521からチップ接続部13を介して入力された電荷信号は、キャパシタ5231の第1の端子に入力されて蓄積される。これにより、キャパシタ5231の第2の端子から、蓄積した電荷信号に応じた電圧の電圧信号が出力されてアンプ5232に出力される。
アンプ5232は、入力された電圧信号の電圧を増幅し、増幅した電圧信号を、スイッチトキャパシタアンプ回路523の出力としてスレッショルドアンプ524およびスレッショルドアンプ525のそれぞれにて出力する。また、アンプ5232が出力した電圧信号は、キャパシタ5233の第1の端子に入力されて蓄積される。これにより、キャパシタ5233の第2の端子から、蓄積した電圧信号に応じた電圧の信号が、フィードバック信号としてアンプ5232に出力される。そして、アンプ5232は、フィードバック信号の電圧に応じた一定の電圧の電圧信号を出力し続ける。つまり、アンプ5232は、アンプ521からチップ接続部13を介してスイッチトキャパシタアンプ回路523に入力された電荷信号に応じた電圧の電圧信号を、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれに出力し続ける。ここで、アンプ5232がスレッショルドアンプ524およびスレッショルドアンプ525のそれぞれに出力する電圧信号は、光電変換素子PD2が発生する電荷信号が増減した大きさを表す電圧の信号である。
また、アンプ5232の出力端子(キャパシタ5233の第1の端子でもある)は、スイッチ5234の第1の端子に接続し、アンプ5232の入力端子(キャパシタ5233の第2の端子でもある)は、スイッチ5234の第2の端子に接続している。そして、スイッチ5234は、AER回路526から出力され、制御端子に入力されるリセット信号によって短絡と開放とが制御される。スイッチ5234は、AER回路526から出力されたリセット信号によって短絡するように制御されると、第1の端子と第2の端子とを短絡する。これにより、キャパシタ5233の両方の端子が短絡されて、キャパシタ5233の両方の端子の電圧が同じ電圧なってリセットされると共に、アンプ5232による電圧信号の増幅動作もリセットされる。
なお、図3Bには、キャパシタ5231、アンプ5232、キャパシタ5233、およびスイッチ5234によって構成したスイッチトキャパシタアンプ回路523を示したが、スイッチトキャパシタアンプ回路523の構成は、図3Bに示した構成に限定されるものではない。
スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれは、スイッチトキャパシタアンプ回路523内のアンプ5232から入力された電圧信号の電圧の変化と、変化した方向とを検出する。
より具体的には、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれは、スイッチトキャパシタアンプ回路523内のアンプ5232から入力された電圧信号の電圧と、予め定めた閾値電圧(スレッショルド電圧)とを比較する。そして、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれは、入力された電圧信号の電圧がスレッショルド電圧を超えた場合に、スレッショルド電圧を超えた変化があることを表すイベント信号を、AER回路526に出力する。
なお、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれには、予め定めた正方向の電圧または負方向の電圧のいずれか一方の電圧が、スレッショルド電圧として設定されている。図3Bに示した構成では、スレッショルドアンプ524に、予め定めた電圧値の正方向の電圧がスレッショルド電圧として設定され、スレッショルドアンプ525に、予め定めた電圧値の負方向の電圧がスレッショルド電圧として設定されている。このため、スレッショルドアンプ524は、アンプ5232から入力された電圧信号の電圧が、正方向のスレッショルド電圧よりも多く正方向(増加する方向)に変化したか否かを検出する。また、スレッショルドアンプ525は、アンプ5232から入力された電圧信号の電圧が、負方向のスレッショルド電圧よりも多く負方向(減少する方向)に変化したか否かを検出する。
このように、スレッショルドアンプ524とスレッショルドアンプ525との構成によって、スイッチトキャパシタアンプ回路523によって予め定めた電圧の範囲に変換された電圧信号のスレッショルド電圧を超える変化および変化した方向とを検出する。これは、光電変換素子PD2が発生した電荷信号の予め定めた閾値を超えた変化および変化した方向を検出することに相当する。そして、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれがAER回路526に出力するイベント信号が、光電変換素子PD2が発生した電荷信号の変化と変化した方向(正方向または負方向)とを表している。つまり、スレッショルドアンプ524がイベント信号を出力した場合には、光電変換素子PD2が発生した電荷信号に、正方向の予め定めた閾値を超える変化があったことを表し、スレッショルドアンプ525がイベント信号を出力した場合には、光電変換素子PD2が発生した電荷信号に、負方向の予め定めた閾値を超える変化があったことを表している。
なお、図3Bに示した構成では、スイッチトキャパシタアンプ回路523と、スレッショルドアンプ524およびスレッショルドアンプ525との構成によって、光電変換素子PD2が発生した電荷信号の時間的な変化を検出している。しかし、光電変換素子PD2が発生した電荷信号の時間的な変化を検出する構成は、図3Bに示した構成に限定されるものではない。例えば、スレッショルドアンプ524とスレッショルドアンプ525とによって、光電変換素子PD2が発生した電荷信号の時間的な変化を検出する構成にしてもよい。
AER回路526は、スレッショルドアンプ524とスレッショルドアンプ525とのそれぞれから入力されたイベント信号に基づいて、光電変換素子PD2が発生させた電荷信号が正方向または負方向のいずれの方向に変化したか、つまり、電荷信号の大きさの増減を判定する。そして、AER回路526は、判定した結果を表すパルス信号を生成する。例えば、光電変換素子PD2が発生させた電荷信号が正方向(増加する方向)に変化した場合に正方向のパルス信号を生成し、光電変換素子PD2が発生させた電荷信号が負方向(減少する方向)に変化した場合に負方向のパルス信号を生成する。そして、AER回路526は、生成したパルス信号に、動き検出画素52自身の位置を表すアドレス情報を付加し、画素信号として出力する。なお、以下の説明においては、通常画素51が出力する画素信号と区別するため、AER回路526、すなわち、動き検出画素52が出力する画素信号を、「イベント画素信号」という。
このような構成によって、動き検出画素52では、光電変換素子PD2が入射した光を光電変換した電荷信号の変化とその変化した方向とを検出し、検出した情報と、動き検出画素52の位置を表すアドレス情報とを、動き検出画素52ごとに出力する。
なお、動き検出画素52が出力するイベント画素信号は、上述したように、それぞれの動き検出画素52ごとに出力する構成であってもよいが、それぞれの動き検出画素52がイベント画素信号を出力する構成は限定しない。例えば、それぞれの動き検出画素52が、水平走査回路30を介してイベント画素信号を出力する構成であってもよい。また、画素アレイ部40内の予め定めた範囲ごとにまとめた形式でイベント画素信号を出力する構成であってもよい。
また、動き検出画素52では、AER回路526が、生成したパルス信号にアドレス情報を付加することによって、イベント画素信号として出力する構成を示したが、パルス信号にアドレス情報を付加する構成は、AER回路526に限定されるものではない。例えば、固体撮像装置1に備えた不図示の構成要素が、それぞれの動き検出画素52に備えたAER回路526が出力したパルス信号に、パルス信号を出力した動き検出画素52の位置を表すアドレス情報を付加し、イベント画素信号として出力する構成であってもよい。
また、動き検出画素52では、スイッチトキャパシタアンプ回路523によって、光電変換素子PD2が発生した電荷信号を増幅してから予め定めた電圧の範囲の電圧信号に変換する構成を示した。しかし、動き検出画素52において、光電変換素子PD2が発生した電荷信号を予め定めた電圧の範囲の電圧信号に変換する構成は、スイッチトキャパシタアンプ回路523による構成に限定しない。例えば、動き検出画素52を、スイッチトキャパシタアンプ回路523に備えたアンプ5232を備えない構成、いわゆる、スイッチトキャパシタ回路によって、光電変換素子PD2が発生した電荷信号を予め定めた電圧の範囲の電圧信号に変換する構成にしてもよい。この場合、動き検出画素52は、スイッチトキャパシタ回路と、スレッショルドアンプ524およびスレッショルドアンプ525との構成によって、光電変換素子PD2が発生した電荷信号の時間的な変化を検出してもよい。
(第1の配置例)
次に、第1の実施形態の固体撮像装置1における画素アレイ部40内の通常画素51および動き検出画素52の配置の一例について説明する。図4は、本発明の第1の実施形態の固体撮像装置1における画素50(通常画素51および動き検出画素52)の配置の一例(第1の配置例)を模式的に示した図である。図4には、固体撮像装置1を構成するそれぞれの半導体基板に形成する画素アレイ部40内の通常画素51および動き検出画素52の配置の一例を示している。
固体撮像装置1における画素の第1の配置例では、画素50、つまり、通常画素51と動き検出画素52とを平面状に配置する。このとき、固体撮像装置1では、上述したように、通常画素51を第1の半導体基板11に形成し、動き検出画素52を第1の半導体基板11と第2の半導体基板12とに分けて形成する。図4の(a)には、固体撮像装置1を構成する第1の半導体基板11の画素アレイ部40の領域内に画素50(通常画素51および動き検出画素52)を配置した一例を示している。また、図4の(b)には、固体撮像装置1を構成する第2の半導体基板12の画素アレイ部40の領域内に動き検出画素52を配置した一例を示している。
より具体的には、図4の(a)に示したように、第1の半導体基板11の画素アレイ部40の平面の領域には、通常画素51と動き検出画素52の光電変換素子PD2および出力回路とを、行方向および列方向に周期的に配置する。このとき、通常画素51は、図4の(a)に示したように、動き検出画素52よりも多く配置する。なお、図4の(a)では、通常画素51と動き検出画素52の光電変換素子PD2および出力回路とを、交互に配置している。
また、図4の(b)に示したように、第2の半導体基板12の画素アレイ部40の平面の領域には、第1の半導体基板11に配置した動き検出画素52の光電変換素子PD2および出力回路に対応する動き検出画素52の読み出し回路を配置する。このとき、動き検出画素52の読み出し回路は、図4の(b)に示したように、第1の半導体基板11に配置した通常画素51に対応する第2の半導体基板12の画素アレイ部40の平面の領域を含めて形成する。つまり、固体撮像装置1では、通常画素51よりも多くの回路要素から構成されるため形成する際に多くの領域を必要とする動き検出画素52を、通常画素51を形成するために使用していない第2の半導体基板12の領域を利用して形成する。より具体的には、通常画素51に光が入射する側の面と反対側の面に積層された第2の半導体基板12において、第1の半導体基板11に形成された通常画素51の領域と重複している領域を含めて動き検出画素52の読み出し回路を形成する。そして、図4の(a)および図4の(b)に示したように、第1の半導体基板11に形成した出力回路と、第2の半導体基板12に形成した読み出し回路とを、チップ接続部13によって電気的に接続する。
ここで、第1の実施形態の固体撮像装置1の構造について説明する。図5は、本発明の第1の実施形態の固体撮像装置1の構造の一例を示した断面図である。図5には、固体撮像装置1において通常画素51と動き検出画素52とが第1の配置例のように配置されている場合における画素アレイ部40の一部の縦構造を示している。より具体的には、第1の半導体基板11に形成された3個の通常画素51と、第1の半導体基板11および第2の半導体基板12に形成された1個の動き検出画素52との縦構造を示している。
上述したように、固体撮像装置1では、動き検出画素52の読み出し回路を、第1の半導体基板11に形成された通常画素51の領域と重複している領域を含めた第2の半導体基板12の領域に形成する。図5には、第2の半導体基板12内に形成する動き検出画素52の読み出し回路に備えたスイッチトキャパシタアンプ回路523と、AER回路526とを形成している状態を示している。
そして、上述したように、固体撮像装置1では、動き検出画素52の出力回路と、対応する動き検出画素52の読み出し回路とを、第1の半導体基板11と第2の半導体基板12との間に形成するチップ接続部13によって電気的に接続する。
なお、図5に示した固体撮像装置1の縦構造には、通常画素51と動き検出画素52とのそれぞれに光が入射する側に、カラーフィルタ(色フィルタ)CFを貼付している固体撮像装置1の構成を示している。すなわち、通常の撮影においてカラーの画像を生成するための画素信号を出力する固体撮像装置1の構成を示している。なお、通常画素51が配置された位置に貼付するカラーフィルタCFは、例えば、ベイヤー配列のカラーフィルタと同様なそれぞれの色、つまり、赤色(R)、緑色(G)、青色(B)の波長帯域の光に対応するカラーフィルタである。このとき、動き検出画素52が配置された位置に貼付するカラーフィルタCFは、例えば、白色(W)の波長帯域の光に対応するカラーフィルタであることが望ましい。これにより、動き検出画素52は、特定の波長帯域の光によってではなく、被写体の動きを検出することができる。しかし、本発明においては、固体撮像装置1に貼付するカラーフィルタCFの色や配列に関しては、特に規定しない。
また、例えば、動き検出画素52が配置された位置に貼付するカラーフィルタCFを近赤外の波長帯域の光を透過するカラーフィルタCFにすることによって、動き検出画素52は、近赤外の波長帯域の光によっても、被写体の動きを検出することができるようにしてもよい。なお、動き検出画素52に近赤外の波長帯域の光が入射するようにする方法は、カラーフィルタCFの特性を用いた方法に限定されるものではなく、例えば、動き検出画素52の位置にのみ、近赤外の波長帯域の光を除去する赤外カットフィルタを配置しない構成にする方法であってもよい。
このように、固体撮像装置1では、通常の撮影による画素信号の出力に特化した通常画素51と、動き検出によるイベント画素信号の出力に特化した動き検出画素52とのそれぞれを画素アレイ部40内に配置することによって、被写体の動きを逐次検出する動き検出と通常の撮影とを両立することができる。このとき、固体撮像装置1では、通常画素51による通常の撮影における画素信号を、通常読み出しによってフレーム単位で順次読み出す。また、固体撮像装置1では、動き検出において被写体の動きを検出した際に、動き検出読み出しによって、通常の撮影においてフレーム単位で画素信号を読み出す通常読み出しとは関係しない非同期のタイミングで、逐次イベント画素信号を出力する。従って、固体撮像装置1では、通常読み出しと動き検出読み出しとを同時に行うことができる。
また、固体撮像装置1では、上述した第1の配置例のように、画素アレイ部40内に配置する通常画素51の数を、動き検出画素52よりも多くしている。言い換えれば、固体撮像装置1では、画素アレイ部40内に配置する動き検出画素52を、第1の半導体基板11と第2の半導体基板12とに分けて形成することによって、画素アレイ部40内に配置する通常画素51の数を多くすることができる。これにより、固体撮像装置1では、通常の撮影において生成する画像の画質の低下を抑えることができる。なお、固体撮像装置1から出力された通常の撮影における画素信号に基づいて画像を生成する画像処理部は、それぞれの画素信号に基づいた画像を生成する際に、固体撮像装置1において動き検出画素52が配置されている位置の画素信号、つまり、欠けている画素の画素信号を補間することによって、全ての画素の画素信号が含まれた画像を生成する。
より具体的には、通常画素51から通常読み出しによって読み出した画素信号から画像を生成する場合、動き検出画素52が配置されている位置に対応する通常画素51の画素信号を、周辺の通常画素51の画素信号に基づいて補間する。なお、本発明においては、画像処理部が、動き検出画素52が配置されている位置に対応するそれぞれの通常画素51の画素信号を補間する方法(画素の補間演算の方法)に関しては、特に規定しない。
また、固体撮像装置1では、上述したように、画素アレイ部40内に配置する動き検出画素52を、第1の半導体基板11と第2の半導体基板12とに分けて形成する。これにより、固体撮像装置1では、動き検出画素52に備える光電変換素子PD2の面積を小さくすることなく形成することができる。このことにより、固体撮像装置1では、動き検出画素52に備えた光電変換素子PD2が、被写体の動きに応じたより大きな電荷信号を発生させることができる。これにより、固体撮像装置1では、動き検出の精度の低下を抑えることができる。
なお、上述した通常画素51と動き検出画素52との第1の配置例では、画素アレイ部40内に配置する動き検出画素52の数が、通常画素51の数よりも少ない。しかし、被写体の動きの検出では、通常の撮影において生成する画像ほど高い解像度、つまり、高画質は要求されない。むしろ、被写体の動きを逐次検出する動き検出では、動き検出画素52の光電変換素子PD2が、短い時間であってもより多くの電荷信号を発生し、動き検出の精度の低下を抑えることが望ましい。つまり、光電変換素子PD2の面積を大きくすることによって、動き検出の速度を向上することができる方が望ましい。
一方、通常の撮影においては、画素アレイ部40に備える通常画素51の数を増加させることによって、高画素化を実現することが望ましい。第1の実施形態の固体撮像装置1では、画素アレイ部40内に配置する通常画素51の数をさらに多くすることによって、通常の撮影において生成する画像の画質を向上させる、つまり、高精細な出力を得る構成にすることもできる。
(第2の配置例)
ここで、第1の実施形態の固体撮像装置1における画素アレイ部40内の通常画素51および動き検出画素52の配置の別の一例について説明する。図6は、本発明の第1の実施形態の固体撮像装置1における画素50(通常画素51および動き検出画素52)の配置の別の一例(第2の配置例)を模式的に示した図である。図6には、図4に示した通常画素51および動き検出画素52の第1の配置例と同様に、固体撮像装置1を構成するそれぞれの半導体基板に形成する画素アレイ部40内の通常画素51および動き検出画素52の配置の一例を示している。
図6に示した固体撮像装置1における通常画素51および動き検出画素52の第2の配置例でも、図4に示した通常画素51および動き検出画素52の第1の配置例と同様に、通常画素51と動き検出画素52とを平面状に(行方向および列方向に周期的に)配置する。そして、図6に示した通常画素51および動き検出画素52の第2の配置例でも、図4に示した通常画素51および動き検出画素52の第1の配置例と同様に、通常画素51を第1の半導体基板11に形成し、動き検出画素52を第1の半導体基板11と第2の半導体基板12とに分けて形成する。図6の(a)には、固体撮像装置1を構成する第1の半導体基板11の画素アレイ部40の領域内に、高精細化した通常画素51と動き検出画素52とを配置した一例を示している。また、図6の(b)には、固体撮像装置1を構成する第2の半導体基板12の画素アレイ部40の領域内に動き検出画素52を配置した一例を示している。
通常画素51を高精細化することにより、図6の(a)に示したように、1個の通常画素51を配置するために要する領域が小さくなり、第1の半導体基板11の画素アレイ部40の平面の領域に、より多くの通常画素51を配置することができる。
なお、動き検出画素52を配置するために要する領域は、図4に示した通常画素51および動き検出画素52の配置における動き検出画素52と同じ大きさである。従って、図6の(a)および図6の(b)に示したように、動き検出画素52は、より多くの通常画素51が配置されている領域を利用して形成することになる。
より具体的には、図4に示した通常画素51および動き検出画素52の第1の配置例では、第1の半導体基板11において、動き検出画素52の光電変換素子PD2および出力回路を、通常画素51と同じ大きさの平面の領域を利用して形成(図4の(a)参照)し、第2の半導体基板12において、動き検出画素52の読み出し回路を、通常画素51の4個分の大きさの平面の領域を利用して形成(図4の(b)参照)していた。
これに対して、図6に示した通常画素51および動き検出画素52の第2の配置例では、図6の(a)に示したように、第1の半導体基板11の画素アレイ部40に、動き検出画素52の光電変換素子PD2および出力回路を、通常画素51の4個分の大きさの平面の領域を利用して形成する。また、図6に示した通常画素51および動き検出画素52の第2の配置例では、図6の(b)に示したように、第2の半導体基板12の画素アレイ部40に、動き検出画素52の読み出し回路を、通常画素51の16個分の大きさの平面の領域を利用して形成する。そして、図4に示した通常画素51および動き検出画素52の第1の配置例と同様に、第1の半導体基板11に形成した出力回路と、第2の半導体基板12に形成した読み出し回路とを、チップ接続部13によって電気的に接続する(図6の(a)および図6の(b)参照)。
ここで、図6に示した第2の配置例における第1の実施形態の固体撮像装置1の構造について説明する。図7は、本発明の第1の実施形態の固体撮像装置1の別の構造の一例を示した断面図である。図7には、図5に示した固体撮像装置1の縦構造の一例と同様に、固体撮像装置1において通常画素51と動き検出画素52とが第2の配置例のように配置されている場合における画素アレイ部40の一部の縦構造を示している。より具体的には、第1の半導体基板11に形成された6個の通常画素51と、第1の半導体基板11および第2の半導体基板12に形成された1個の動き検出画素52との縦構造を示している。
上述したように、図6に示した固体撮像装置1における第2の配置例では、第1の半導体基板11に高精細化した通常画素51を配置する。このため、図7に示したように、第1の半導体基板11に形成された通常画素51の光電変換素子PD1の面積は、動き検出画素52の光電変換素子PD2の面積よりも小さくなっている。また、図6に示した固体撮像装置1における第2の配置例でも、動き検出画素52の読み出し回路は、第1の半導体基板11に形成された通常画素51の領域と重複している領域を含めた第2の半導体基板12の領域に形成する。図7には、図5に示した固体撮像装置1の縦構造の一例と同様に、第2の半導体基板12内に形成する動き検出画素52の読み出し回路に備えたスイッチトキャパシタアンプ回路523と、AER回路526とを形成している状態を示している。また、図7には、図5に示した固体撮像装置1の縦構造の一例と同様に、動き検出画素52の出力回路と、対応する動き検出画素52の読み出し回路とを、第1の半導体基板11と第2の半導体基板12との間に形成したチップ接続部13によって電気的に接続している状態を示している。
なお、図7に示した固体撮像装置1の縦構造には、動き検出画素52の光が入射する側に、通常画素51と同じ大きさのマイクロレンズを形成している固体撮像装置1の構成を示している。すなわち、動き検出画素52の光電変換素子PD2には、2つのマイクロレンズのそれぞれから光が入射する固体撮像装置1の構成を示している。しかし、本発明においては、固体撮像装置1に配置された動き検出画素52の光が入射する側に形成するマイクロレンズの形状に関しては、特に規定しない。従って、例えば、動き検出画素52の光が入射する側に、通常画素51のそれぞれに対応するマイクロレンズと異なる大きさのマイクロレンズ、すなわち、動き検出画素52に対応した大きさのマイクロレンズを形成する構成であってもよい。
また、図7に示した固体撮像装置1の縦構造においても、通常画素51と動き検出画素52とのそれぞれに光が入射する側に、カラーフィルタCFを貼付している固体撮像装置1の構成を示しているが、上述したように、本発明においては、固体撮像装置1に貼付するカラーフィルタCFの色や配列に関しては、特に規定しない。例えば、図4の(b)に示したように、動き検出画素52の読み出し回路を通常画素51の4個分の大きさの平面の領域を利用して形成した場合、動き検出画素52が配置された位置に貼付するカラーフィルタCFを、上述した白色(W)の波長帯域の光に対応するカラーフィルタにするのみではなく、赤色(R)、2つの緑色(G)、青色(B)の波長帯域の光に対応するそれぞれのカラーフィルタにしてもよい。また、動き検出画素52が配置された位置に貼付するカラーフィルタCFを、赤色(R)、緑色(G)、青色(B)、および白色(W)の波長帯域の光に対応するカラーフィルタにしてもよい。また、動き検出画素52が配置された位置に貼付するカラーフィルタCFを、赤色(R)、緑色(G)、青色(B)、および近赤外(Ir)の波長帯域の光に対応するカラーフィルタにしてもよい。
このように、固体撮像装置1における第2の配置例では、高精細化した通常画素51および動き検出画素52のそれぞれを画素アレイ部40内に配置することによって、被写体の動きを逐次検出する動き検出と通常の撮影とを両立すると共に、通常の撮影において生成する画像を高画素化して画質を向上させる。
第1の実施形態によれば、光が入射する第1の半導体基板(第1の半導体基板11)と、第1の半導体基板11に光が入射する側の面と反対側の面に積層される第2の半導体基板(第2の半導体基板12)と、第1の半導体基板11に周期的に配置され、入射した光を光電変換した第1の電荷信号を発生するn個の第1の光電変換素子(光電変換素子PD1)と、第1の半導体基板11に、n個の光電変換素子PD1のそれぞれに対応して配置され、対応する1個の光電変換素子PD1が発生した第1の電荷信号を蓄積し、蓄積した第1の電荷信号に応じた信号電圧を第1の画素信号(通常画素51が出力する画素信号)として出力するn個の第1の読み出し回路(通常画素51の読み出し回路:電荷転送トランジスタ511、画素リセットトランジスタ512、増幅トランジスタ513、選択トランジスタ514、およびノード容量FD1)と、n個の通常画素51の読み出し回路のそれぞれを順次駆動して第1の画素信号のそれぞれを出力させる駆動回路(垂直走査回路20および水平走査回路30)と、第1の半導体基板11および第2の半導体基板12のいずれか一方に周期的に配置され、入射した光を光電変換した第2の電荷信号を発生するm個の第2の光電変換素子(光電変換素子PD2)と、m個の光電変換素子PD2の内、対応する1個の光電変換素子PD2が発生した第2の電荷信号の変化を表す第2の画素信号(イベント画素信号)を逐次出力するm個の第2の読み出し回路(動き検出画素52の読み出し回路)と、を有し、m個の動き検出画素52の読み出し回路のそれぞれは、対応する1個の光電変換素子PD2が発生した第2の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、変化した方向を表すイベント信号を出力する検出回路(スレッショルドアンプ524およびスレッショルドアンプ525)と、第2の半導体基板12に配置され、イベント信号に、対応する1個の光電変換素子PD2が配置された位置を表すアドレス情報を付加したイベント画素信号を出力する画素信号生成回路(AER回路526)と、を有し、nは2以上の自然数であり、mは2以上の自然数である、固体撮像装置(固体撮像装置1)が構成される。
また、第1の実施形態によれば、m個の動き検出画素52の読み出し回路のそれぞれは、第2の半導体基板12に配置され、対応する1個の光電変換素子PD2が発生した第2の電荷信号を増幅するアンプ回路(スイッチトキャパシタアンプ回路523)、をさらに有し、スレッショルドアンプ524およびスレッショルドアンプ525は、スイッチトキャパシタアンプ回路523によって増幅された後の第2の電荷信号の変化を検出する、固体撮像装置1が構成される。
また、第1の実施形態によれば、mはnよりも小さく、m個の光電変換素子PD2のそれぞれが光を受光する面積は、n個の光電変換素子PD1のそれぞれが光を受光する面積よりも大きい、固体撮像装置1が構成される。
また、第1の実施形態によれば、第1の半導体基板11と第2の半導体基板12との間に形成され、第1の半導体基板11の回路要素と第2の半導体基板12の回路要素とを電気的に接続する接続部(チップ接続部13)、をさらに有し、mはnよりも小さく、m個の光電変換素子PD2のそれぞれは、第1の半導体基板11に配置され、チップ接続部13は、m個の動き検出画素52の読み出し回路のそれぞれが有するスレッショルドアンプ524およびスレッショルドアンプ525と、対応する1個の光電変換素子PD2とを電気的に接続する、固体撮像装置1が構成される。
上記に述べたように、第1の実施形態の固体撮像装置1では、通常の撮影による画素信号の出力に特化した通常画素51と、動き検出によるイベント画素信号の出力に特化した動き検出画素52とのそれぞれを、画素アレイ部40における行方向および列方向に周期的に(平面状に)配置する。このとき、第1の実施形態の固体撮像装置1では、通常画素51を第1の半導体基板11に形成し、動き検出画素52を第1の半導体基板11と第2の半導体基板12とに分けて形成する。より具体的には、動き検出画素52の光電変換素子PD2および出力回路を第1の半導体基板11に形成し、読み出し回路を第2の半導体基板12において第1の半導体基板11に形成された通常画素51の領域と重複している領域を含めて形成する。これにより、第1の実施形態の固体撮像装置1では、画素アレイ部40内に配置する通常画素51の数を、動き検出画素52よりも多くすることができ、通常の撮影において生成する画像の画質を向上させることができる。また、第1の実施形態の固体撮像装置1では、画素アレイ部40内に配置する動き検出画素52の光電変換素子PD2を大きくすることができ、被写体の動きに応じたより大きな電荷信号を発生させて、動き検出の精度の低下を抑えることができる。
また、第1の実施形態の固体撮像装置1では、通常の撮影による画素信号の出力に特化した通常画素51と、動き検出によるイベント画素信号の出力に特化した動き検出画素52とのそれぞれを形成することによって、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。そして、第1の実施形態の固体撮像装置1では、通常読み出しによるフレーム単位での通常画素51からの通常の撮影の画素信号の読み出しと、動き検出読み出しによる非同期のタイミングでの動き検出画素52からの動き検出の画素信号の読み出しとを同時に行うことができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。なお、本発明の第2の実施形態における固体撮像装置(以下、「固体撮像装置2」という)の概観や概略構成は、図1および図2に示した第1の実施形態における固体撮像装置1の概観および概略構成を同様である。従って、以下の説明においては、固体撮像装置2の構成要素において、第1の実施形態の固体撮像装置1の構成要素と同様の構成要素には、同一の符号を用い、それぞれの構成要素や動作に関する詳細な説明は省略する。
ここで、第2の実施形態の固体撮像装置2において画素アレイ部40内に配置する通常画素51および動き検出画素52の構成について説明する。固体撮像装置2では、通常画素51を第1の半導体基板11に形成し、動き検出画素52を第2の半導体基板12に形成する。図8Aおよび図8Bは、本発明の第2の実施形態の固体撮像装置2における画素50(通常画素51および動き検出画素52)の構成の一例を示した回路図である。図8Aには、固体撮像装置2の画素アレイ部40内に配置する通常画素51の構成の一例を示し、図8Bには、固体撮像装置2の画素アレイ部40内に配置する動き検出画素52の構成の一例を示している。
通常画素51の構成は、図8Aに示したように、図3Aに示した第1の実施形態の固体撮像装置1における通常画素51と同様の構成である。従って、通常画素51の構成や動作に関する詳細な説明は省略する。
また、動き検出画素52の構成は、図8Bに示したように、図3Bに示した第1の実施形態の固体撮像装置1における動き検出画素52と同様の構成である。ただし、固体撮像装置2では、上述したように、動き検出画素52を第2の半導体基板12に形成する。つまり、固体撮像装置2では、第1の実施形態の固体撮像装置1のように動き検出画素52を第1の半導体基板11と第2の半導体基板12とに分けて形成するのではなく、第2の半導体基板12のみに形成する。このため、固体撮像装置2における動き検出画素52には、チップ接続部13が含まれていない。なお、動き検出画素52に備えるその他の回路要素は、図3Bに示した第1の実施形態の固体撮像装置1における動き検出画素52と同様である。従って、動き検出画素52の構成や動作に関する詳細な説明は省略する。
(第3の配置例)
次に、第2の実施形態の固体撮像装置2における画素アレイ部40内の通常画素51および動き検出画素52の配置の一例について説明する。図9は、本発明の第2の実施形態の固体撮像装置2における画素50(通常画素51および動き検出画素52)の配置の一例(第3の配置例)を模式的に示した図である。図9には、図4に示した第1の実施形態の固体撮像装置1における画素50の第1の配置例と同様に、固体撮像装置2を構成するそれぞれの半導体基板に形成する画素アレイ部40内の通常画素51および動き検出画素52の配置の一例を示している。
固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、通常画素51と動き検出画素52とを平面状に配置する。しかし、上述したように、固体撮像装置2では、通常画素51を第1の半導体基板11に形成し、動き検出画素52を第2の半導体基板12に形成する。つまり、固体撮像装置2では、動き検出画素52を、通常画素51に光が入射する側の面と反対側の面に積層するように配置する。言い換えれば、固体撮像装置2では、動き検出画素52を、通常画素51の裏側に配置する。そして、固体撮像装置2では、通常画素51を透過した光(光線)が動き検出画素52に入射される。図9の(a)には、固体撮像装置2を構成する第1の半導体基板11の画素アレイ部40の領域内に通常画素51を配置した一例を示している。また、図9の(b)には、固体撮像装置2を構成する第2の半導体基板12の画素アレイ部40の領域内に動き検出画素52を配置した一例を示している。
より具体的には、図9の(a)に示したように、第1の半導体基板11の画素アレイ部40の平面の領域に、通常画素51を行方向および列方向に配置する。また、図9の(b)に示したように、第2の半導体基板12の画素アレイ部40の平面の領域には、第2の半導体基板12の画素アレイ部40の平面の領域に、動き検出画素52を行方向および列方向に配置する。このとき、第2の半導体基板12の画素アレイ部40の平面の領域には、図9の(b)に示したように、動き検出画素52の光電変換素子PD2を、第1の半導体基板11の画素アレイ部40の平面の領域に配置した通常画素51と、行方向および列方向に周期的に重複するように配置する。そして、動き検出画素52の出力回路および読み出し回路を、動き検出画素52の光電変換素子PD2を重複して配置していない複数の通常画素51の領域を含めて形成する。つまり、固体撮像装置2では、通常画素51よりも多くの回路要素から構成されるため形成する際に多くの領域を必要とする動き検出画素52を、第1の半導体基板11に形成された複数の通常画素51の領域と重複した第2の半導体基板12の領域を利用して形成する。
図9の(b)では、第1の実施形態の固体撮像装置1において第1の半導体基板11に動き検出画素52の光電変換素子PD2および出力回路を配置した位置に対応する第2の半導体基板12の画素アレイ部40の平面の領域に、動き検出画素52の光電変換素子PD2を周期的に配置している。なお、第2の半導体基板12に光電変換素子PD2を配置する領域には、第1の実施形態の固体撮像装置1と同様に、動き検出画素52の出力回路を含めて形成してもよい。
そして、第2の半導体基板12に配置されたそれぞれの動き検出画素52の光電変換素子PD2は、第1の半導体基板11に配置された通常画素51の光電変換素子PD1の領域を透過してきた光(光線)を光電変換した電荷信号を発生させる。これにより、固体撮像装置2では、第2の半導体基板12に配置されたそれぞれの動き検出画素52が、第1の実施形態の固体撮像装置1において第1の半導体基板11に配置された動き検出画素52と同様の位置で被写体の動きを検出したイベント画素信号を出力する。
このように、固体撮像装置2では、通常の撮影による画素信号の出力に特化した通常画素51を第1の半導体基板11の画素アレイ部40内に配置し、動き検出によるイベント画素信号の出力に特化した動き検出画素52を第2の半導体基板12の画素アレイ部40内に配置することによって、第1の実施形態の固体撮像装置1と同様に、被写体の動きを逐次検出する動き検出と通常の撮影とを両立することができる。そして、固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、通常読み出しと動き検出読み出しとを同時に行うことができる。このことにより、固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様の効果を得ることができる。つまり、固体撮像装置2でも、通常の撮影において生成する画像の画質の低下を抑えると共に、動き検出の精度の低下を抑えることができる。
しかも、固体撮像装置2では、上述した第3の配置例のように、通常画素51を第1の半導体基板11に配置し、動き検出画素52を第2の半導体基板12に配置しているため、通常の撮影における画素信号を出力することができない通常画素51、つまり、欠けている画素の画素信号がない。このため、固体撮像装置2から出力された通常の撮影における画素信号に基づいて画像を生成する画像処理部は、それぞれの画素信号に基づいた画像を生成する際に、欠けている画素の画素信号を補間する演算を行う必要がない。
なお、固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、画素アレイ部40内に配置する通常画素51の数をさらに多くすることによって、通常の撮影において生成する画像の画質を向上させる、つまり、高画素化を実現する構成にすることもできる。
(第4の配置例)
ここで、第2の実施形態の固体撮像装置2において通常の撮影において生成する画像の画質を向上させた構成の一例について説明する。図10は、本発明の第2の実施形態の固体撮像装置2における画素50(通常画素51および動き検出画素52)の配置の別の一例(第4の配置例)を模式的に示した図である。図10には、図9に示した通常画素51および動き検出画素52の第3の配置例と同様に、固体撮像装置2を構成するそれぞれの半導体基板に形成する画素アレイ部40内の通常画素51および動き検出画素52の配置の一例を示している。
図10に示した固体撮像装置2における通常画素51および動き検出画素52の第4の配置例でも、図9に示した通常画素51および動き検出画素52の第3の配置例と同様に、通常画素51を第1の半導体基板11に形成し、動き検出画素52を第2の半導体基板12に形成する。そして、通常画素51を形成した第1の半導体基板11と、動き検出画素52を形成した第2の半導体基板12を積層する。図10の(a)には、固体撮像装置2を構成する第1の半導体基板11の画素アレイ部40の領域内に、高精細化した通常画素51を行方向および列方向に配置した一例を示している。また、図10の(b)には、固体撮像装置2を構成する第2の半導体基板12の画素アレイ部40の領域内に動き検出画素52を行方向および列方向に配置した一例を示している。
通常画素51を高精細化することにより、固体撮像装置2でも、図10の(a)に示したように、1個の通常画素51を配置するために要する領域が小さくなり、第1の半導体基板11の画素アレイ部40の平面の領域に、より多くの通常画素51を配置することができる。
なお、第2の半導体基板12において動き検出画素52を配置するために要する領域は、図9の(b)に示した動き検出画素52を配置するために要する領域と同じ大きさである。従って、図10の(a)および図10の(b)に示したように、動き検出画素52は、より多くの通常画素51が配置されている領域を利用して形成することになる。
より具体的には、図9に示した通常画素51および動き検出画素52の第3の配置例では、第1の半導体基板11に形成した4個分の通常画素51の領域と同じ大きさの第2の半導体基板12の領域に1個の動き検出画素52を形成していた。これに対して、図10に示した通常画素51および動き検出画素52の第4の配置例では、第1の半導体基板11に形成した16個分の通常画素51の領域と同じ大きさの第2の半導体基板12の領域に1個の動き検出画素52を形成している。
そして、図10に示した通常画素51および動き検出画素52の第4の配置例では、第2の半導体基板12に配置されたそれぞれの動き検出画素52の光電変換素子PD2は、第1の半導体基板11に配置された4個分の通常画素51の光電変換素子PD1の領域を透過してきた光(光線)を光電変換した電荷信号を発生させる。これにより、図10に示した第4の配置例のように通常画素51および動き検出画素52が配置された固体撮像装置2では、第2の半導体基板12に配置されたそれぞれの動き検出画素52が、第1の実施形態の固体撮像装置1における通常画素51および動き検出画素52の第2の配置例と同様に、第1の半導体基板11に配置された動き検出画素52と同様の位置で被写体の動きを検出したイベント画素信号を出力する。
このように、固体撮像装置2における第4の配置例でも、第1の実施形態の固体撮像装置1における第2の配置例と同様に、第1の半導体基板11の画素アレイ部40内に配置する通常画素51を高精細化することによって、通常の撮影において生成する画像を高画素化して画質を向上させることができる。
ここで、第2の実施形態の固体撮像装置2の構造について説明する。図11は、本発明の第2の実施形態の固体撮像装置2の構造の一例を示した断面図である。図11には、固体撮像装置2において通常画素51と動き検出画素52とが第3の配置例のように配置されている場合における画素アレイ部40の一部の縦構造を示している。より具体的には、第1の半導体基板11に4個の通常画素51が形成され、第2の半導体基板12に1個の動き検出画素52が形成された図9に示した通常画素51と動き検出画素52との第3の配置例における縦構造を示している。なお、図10に示した第4の配置例の固体撮像装置2の構造は、図11に示した第3の配置例におけるそれぞれの画素の数が異なるのみで、同様に考えることができる。
上述したように、図9に示した固体撮像装置2における第3の配置例では、第1の半導体基板11に通常画素51を配置し、通常画素51の領域と重複している第2の半導体基板12の領域に形成する。より具体的には、通常画素51に光が入射する側(通常画素51の表側)の面と反対側(通常画素51の裏側)の面に積層された第2の半導体基板12に、第1の半導体基板11に形成された通常画素51の領域と重複している領域を含めて動き検出画素52を形成する。なお、図11には、第2の半導体基板12内に形成する動き検出画素52の光電変換素子PD2と、動き検出画素52の読み出し回路に備えたスイッチトキャパシタアンプ回路523およびAER回路526を形成している状態を示している。なお、固体撮像装置2では、第1の半導体基板11と第2の半導体基板12とを電気的に接続しないため、チップ接続部13は形成しない。
また、上述したように、固体撮像装置2では、第2の半導体基板12に配置されたそれぞれの動き検出画素52の光電変換素子PD2が、第1の半導体基板11に配置された通常画素51の光電変換素子PD1の領域を透過してきた光(光線)を光電変換した電荷信号を発生させる。このため、光電変換素子PD2は、第1の半導体基板11をより多く透過する波長が長い光ほど、より大きな電荷信号を発生させる。
なお、図11に示した固体撮像装置2の縦構造には、通常画素51のそれぞれに光が入射する側に、カラーフィルタCFを貼付している固体撮像装置2の構成を示している。すなわち、通常の撮影においてカラーの画像を生成するための画素信号を出力する固体撮像装置2の構成を示している。このため、動き検出画素52の光電変換素子PD2には、光が入射する側に積層された第1の半導体基板11に配置された通常画素51に貼付されたカラーフィルタCFおよび通常画素51を透過した光が入射する。
本発明においては、固体撮像装置2に貼付するカラーフィルタCFの色や配列に関しては、特に規定しない。しかし、上述したように、固体撮像装置2では、第2の半導体基板12に形成した光電変換素子PD2が、波長が長い光ほどより大きな電荷信号を発生させる。このため、固体撮像装置2では、第2の半導体基板12に形成する光電変換素子PD2を、例えば、波長が長いため通常画素51をより多く透過する赤色(R)の波長帯域の光に対応するカラーフィルタCFが貼付された通常画素51に対応する位置に形成することが望ましい。この場合、例えば、固体撮像装置2を搭載した撮像システムに赤外光を発光する光源を備え、被写体の動きを検出する際に赤外光を照射することによって、動き検出の精度を向上させる構成にすることもできる。
なお、固体撮像装置2においても、第1の実施形態の固体撮像装置1と同様に、特定の波長帯域の光によってではなく、被写体の動きを検出することができることが望ましい。このため、図11において第2の半導体基板12に形成された光電変換素子PD2に第1の半導体基板11を透過して入射する光は、特定の波長帯域の光でないことが望ましい。例えば、固体撮像装置2において第1の半導体基板11に配置された通常画素51のそれぞれに赤色(R)、緑色(G)、青色(B)、および白色(W)の波長帯域の光に対応するいずれかのカラーフィルタCFが貼付されている場合には、第2の半導体基板12に形成する光電変換素子PD2を、白色(W)の波長帯域の光に対応するカラーフィルタCFが貼付された通常画素51に対応する位置に形成してもよい。また、第2の半導体基板12に形成する光電変換素子PD2を、例えば、緑色(G)の波長帯域の光に対応するカラーフィルタCFが貼付された通常画素51に対応する位置に形成してもよい。これにより、動き検出画素52は、通常の撮影で生成する画像において輝度を表すと考えることができる緑色(G)の波長帯域の光によって被写体の動きを検出することができる。
しかし、例えば、近赤外の波長帯域の光によって被写体の動きを検出するために赤外カットフィルタを配置しない構成である場合には、通常画素51に貼付されたカラーフィルタCFの色は関係しなくなる。また、例えば、図10の(b)に示したように、動き検出画素52の光電変換素子PD2を、複数(図10の(b)では4個)の通常画素51の大きさの平面の領域を利用して形成した場合には、通常画素51に貼付された全ての色を含む位置に形成することによって、通常画素51に貼付されたカラーフィルタCFの色は関係しなくなる。
また、図11に示した固体撮像装置2の縦構造には、通常画素51のそれぞれに光が入射する側にマイクロレンズを形成している固体撮像装置2の構成を示している。このため、図10の(b)に示したように、動き検出画素52の光電変換素子PD2を通常画素51の4個分の大きさの平面の領域を利用して形成した場合には、4つのマイクロレンズのそれぞれから入射した光が、それぞれのマイクロレンズに対応する通常画素51を透過して、動き検出画素52の光電変換素子PD2に入射する。例えば、動き検出画素52の光電変換素子PD2には、赤色(R)、緑色(G)、青色(B)、および白色(W)の波長帯域の光に対応する通常画素51を透過した光が入射する。
第2の実施形態によれば、m個の第2の光電変換素子(光電変換素子PD2)のそれぞれは、第2の半導体基板(第2の半導体基板12)に配置され、n個の第1の光電変換素子(光電変換素子PD1)の内、対応するp個の光電変換素子PD1を透過した光を光電変換した第2の電荷信号を発生し、pは1以上の自然数である、固体撮像装置(固体撮像装置2)が構成される。
上記に述べたように、第2の実施形態の固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、通常の撮影による画素信号の出力に特化した通常画素51と、動き検出によるイベント画素信号の出力に特化した動き検出画素52とのそれぞれを、画素アレイ部40における行方向および列方向に周期的に(平面状に)配置する。このとき、第2の実施形態の固体撮像装置2では、通常画素51を第1の半導体基板11に形成し、動き検出画素52を第2の半導体基板12に形成する。つまり、第2の実施形態の固体撮像装置2では、動き検出画素52を、通常画素51に光が入射する側(通常画素51の表側)の面と反対側(通常画素51の裏側)の面に配置する。これにより、第2の実施形態の固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、画素アレイ部40内に配置する通常画素51の数を、動き検出画素52よりも多くすることができ、通常の撮影において生成する画像の画質を向上させることができる。また、第2の実施形態の固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、画素アレイ部40内に配置する動き検出画素52の光電変換素子PD2を大きくすることができ、被写体の動きに応じたより大きな電荷信号を発生させて、動き検出の精度の低下を抑えることができる。
また、第2の実施形態の固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、通常の撮影による画素信号の出力に特化した通常画素51と、動き検出によるイベント画素信号の出力に特化した動き検出画素52とのそれぞれを形成することによって、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。そして、第2の実施形態の固体撮像装置2でも、第1の実施形態の固体撮像装置1と同様に、通常読み出しによるフレーム単位での通常画素51からの通常の撮影の画素信号の読み出しと、動き検出読み出しによる非同期のタイミングでの動き検出画素52からの動き検出の画素信号の読み出しとを同時に行うことができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。なお、本発明の第3の実施形態における固体撮像装置(以下、「固体撮像装置3」という)の概観や概略構成は、図1および図2に示した第1の実施形態における固体撮像装置1の概観および概略構成を同様である。従って、以下の説明においては、固体撮像装置3の構成要素において、第1の実施形態の固体撮像装置1の構成要素と同様の構成要素には、同一の符号を用い、それぞれの構成要素や動作に関する詳細な説明は省略する。
(第1の構成例)
ここで、第3の実施形態の固体撮像装置3において画素アレイ部40内に配置する画素50の構成について説明する。固体撮像装置3において画素アレイ部40内に配置する画素50も、第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2と同様に、通常読み出しによる通常の撮影の画素信号と、動き検出読み出しによる動き検出のイベント画素信号とを出力する。ただし、固体撮像装置3において画素アレイ部40内に配置する画素50は、通常の撮影の画素信号とイベント画素信号とを、同じ光電変換素子が発生した電荷信号から得る。つまり、固体撮像装置3の画素アレイ部40内に配置する画素50に備える光電変換素子は、第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2において画素アレイ部40内に配置する通常画素51に備えた光電変換素子PD1と動き検出画素52に備えた光電変換素子PD2とを兼用している。なお、以下の説明においては、固体撮像装置3の画素アレイ部40内に配置する、通常読み出しによる通常の撮影の画素信号の出力と、動き検出読み出しによる動き検出のイベント画素信号の出力とを行う画素50を「兼用画素53」という。
図12は、本発明の第3の実施形態の固体撮像装置3における兼用画素53の構成の一例(第1の構成例)を示した回路図である。なお、兼用画素53を構成する回路要素には、第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2において配置する通常画素51または動き検出画素52を構成する回路要素と同様の回路要素を含んでいる。従って、以下の説明においては、兼用画素53を構成する回路要素において、通常画素51または動き検出画素52を構成する回路要素と同様の回路要素には同一の符号を付与し、詳細な説明は省略する。
図12において、兼用画素53は、光電変換素子PD12と、電荷転送トランジスタ511と、画素リセットトランジスタ512と、増幅トランジスタ513と、選択トランジスタ514と、アンプ521と、バイアストランジスタ522と、スイッチトキャパシタアンプ回路523と、スレッショルドアンプ524およびスレッショルドアンプ525と、AER回路526とを備えている。また、スイッチトキャパシタアンプ回路523は、キャパシタ5231と、アンプ5232と、キャパシタ5233と、スイッチ5234とを備えている。なお、図12においては、兼用画素53に備えた増幅トランジスタ513のゲート端子に接続されたノードに付随する容量であるノード容量FD1を、兼用画素53の回路要素としてキャパシタの記号で示している。
兼用画素53では、光電変換素子PD12と、電荷転送トランジスタ511と、画素リセットトランジスタ512と、増幅トランジスタ513と、選択トランジスタ514と、ノード容量FD1との構成によって、通常の撮影による電荷信号を発生させる画素、つまり、第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2における通常画素51と同様の画素を構成する。なお、以下の説明においては、通常の撮影による電荷信号を発生させる兼用画素53を「通常兼用画素531」という。通常兼用画素531においては、電荷転送トランジスタ511、画素リセットトランジスタ512、増幅トランジスタ513、および選択トランジスタ514と、ノード容量FD1とで、通常の撮影において光電変換素子PD12が発生させた電荷信号に応じた画素信号を読み出す読み出し回路を構成している。
また、兼用画素53では、光電変換素子PD12と、アンプ521と、バイアストランジスタ522と、スイッチトキャパシタアンプ回路523と、スレッショルドアンプ524およびスレッショルドアンプ525と、AER回路526との構成によって、動き検出のための電荷信号を発生させる画素、つまり、第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2における動き検出画素52と同様の画素を構成する。なお、以下の説明においては、動き検出のための電荷信号を発生させる兼用画素53を「動き検出兼用画素532」という。動き検出兼用画素532においては、アンプ521およびバイアストランジスタ522で、動き検出のために光電変換素子PD12が発生させた電荷信号を出力する出力回路を構成し、スイッチトキャパシタアンプ回路523、スレッショルドアンプ524、スレッショルドアンプ525、およびAER回路526で、動き検出のために光電変換素子PD12が発生させた電荷信号を読み出す読み出し回路を構成している。
固体撮像装置3では、兼用画素53を、画素アレイ部40の平面の領域全体に均一に配置する。このとき、固体撮像装置3では、光電変換素子PD12と、通常兼用画素531の読み出し回路と、動き検出兼用画素532の出力回路とを、第1の半導体基板11に形成する。また、固体撮像装置3では、動き検出兼用画素532の読み出し回路を第2の半導体基板12に形成する。
光電変換素子PD12は、第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2において、通常画素51に備えた光電変換素子PD1および動き検出画素52に備えた光電変換素子PD2と同様に、入射してきた光(光線)を光電変換して電荷信号を発生させ、発生させた電荷信号を蓄積するフォトダイオードである。光電変換素子PD12は、発生させた電荷信号を逐次、アンプ521に出力する。
兼用画素53は、通常の撮影による画素信号を出力する画素として動作する場合、つまり、通常読み出しによって通常兼用画素531から画素信号を垂直信号線60に出力する場合、アンプ521は、バイアスの制御に応じて、バイアストランジスタ522が常にON状態になるようにする電圧の電圧信号Vpを、バイアストランジスタ522のゲート端子に出力する。すなわち、兼用画素53において通常の撮影による画素信号を出力する場合には、バイアストランジスタ522によって、光電変換素子PD12が発生した電荷信号を、電荷転送トランジスタ511にそのまま伝送させる。これにより、電荷転送トランジスタ511は、垂直走査回路20から入力された制御信号TXに応じて、光電変換素子PD12が発生して蓄積し、バイアストランジスタ522を介して入力された電荷信号を、増幅トランジスタ513のゲート端子に転送する。これにより、電荷転送トランジスタ511によって転送された電荷信号が、ノード容量FD1に蓄積される。
このような動作によって、兼用画素53(通常兼用画素531)では、光電変換素子PD12が入射した光を光電変換した電荷信号に応じたそれぞれの信号電圧を、画素信号として垂直信号線60に読み出す。
一方、兼用画素53は、動き検出のための電荷信号を発生させる画素として動作する場合、つまり、動き検出読み出しによって動き検出兼用画素532から動き検出のイベント画素信号とを出力する場合、垂直走査回路20は、画素リセットトランジスタ512が常にON状態になるように制御信号RSTを制御する。また、垂直走査回路20は、制御信号TXを固定のバイアス電圧に制御する。これにより、画素リセットトランジスタ512と電荷転送トランジスタ511とによって、バイアストランジスタ522に、固定のバイアス電圧に応じた固定の電圧が供給される。
このような動作によって、兼用画素53(動き検出兼用画素532)では、光電変換素子PD12が、被写体の動きに応じた大きさの電荷信号を発生させて、電荷信号の変化とその変化した方向に応じたイベント画素信号を出力する。
上述したように、兼用画素53では、通常兼用画素531と動き検出兼用画素532とで光電変換素子PD12を兼用している。このため、固体撮像装置3では、通常読み出しによるフレーム単位での通常兼用画素531からの通常の撮影の画素信号の読み出しと、動き検出読み出しによる非同期のタイミングでの動き検出兼用画素532からの動き検出の画素信号の読み出しとを排他的に行う。
ここで、第3の実施形態の固体撮像装置3における兼用画素53の駆動タイミングについて説明する。図13は、本発明の第3の実施形態の固体撮像装置3において兼用画素53を駆動するタイミングの一例を示したタイミングチャートである。図13に示したタイミングチャートは、通常の撮影によって得た画素信号を垂直信号線60に出力した後、動き検出のための露光を行うように第1の構成例の兼用画素53を制御する、垂直走査回路20の制御タイミングを示している。
通常の撮影を行う場合、まず、時刻t1において、画素アレイ部40内の全ての兼用画素53をリセットする。より具体的には、時刻t1において、垂直走査回路20は、制御信号RSTと制御信号TXとを、同時に“High”レベルにして、画素リセットトランジスタ512と電荷転送トランジスタ511とをON状態にする。これにより、画素アレイ部40内の全ての兼用画素53に備えた光電変換素子PD12とノード容量FD1とがリセットされる。
その後、垂直走査回路20は、制御信号RSTと制御信号TXとを、同時に“Low”レベルにして、画素リセットトランジスタ512と電荷転送トランジスタ511とをOFF状態にし、画素アレイ部40内の全ての兼用画素53のリセットを解除する。これにより、画素アレイ部40内の全ての兼用画素53が同時に露光を開始する。すなわち、画素アレイ部40内の全ての兼用画素53に備えた光電変換素子PD12が、入射した光を光電変換した電荷信号の発生と蓄積とを開始する。
続いて、一定の期間が経過した後、すなわち、通常の撮影における任意の露光時間が経過した後、時刻t2から、画素アレイ部40内のそれぞれの兼用画素53からの画素信号の通常読み出しを行う。
より具体的には、通常読み出しでは、時刻t2において、垂直走査回路20は、制御信号SELを“High”レベルにして、選択トランジスタ514をON状態にし、増幅トランジスタ513を垂直信号線60に接続した状態にする。これにより、増幅トランジスタ513から出力されて信号電圧が、選択トランジスタ514を介して垂直信号線60に出力される状態になる。
続いて、時刻t3において、垂直走査回路20は、制御信号RSTを“High”レベルにして、画素リセットトランジスタ512をON状態にし、ノード容量FD1をリセットする。これにより、増幅トランジスタ513から光電変換素子PD12のリセットレベルの信号電圧が、選択トランジスタ514によって垂直信号線60に出力される。その後、垂直走査回路20は、制御信号RSTを“Low”レベルにして、画素リセットトランジスタ512をOFF状態にし、ノード容量FD1のリセットを解除する。
続いて、時刻t4において、垂直走査回路20は、制御信号TXを“High”レベルにして、電荷転送トランジスタ511をON状態にし、光電変換素子PD12に蓄積された電荷信号を、増幅トランジスタ513のゲート端子に転送する。このとき、電荷転送トランジスタ511によって転送された電荷信号は、ノード容量FD1に蓄積される。これにより、増幅トランジスタ513から光電変換素子PD12が発生した電荷信号、すなわち、ノード容量FD1に蓄積された電荷信号に応じた信号電圧が、選択トランジスタ514を介して垂直信号線60に出力される。
なお、固体撮像装置3を搭載した撮像システムでは、時刻t3において出力されたリセットレベルの信号電圧と、時刻t4において出力された光電変換素子PD12が発生した電荷信号に応じた信号電圧との差分を取って、画素信号に対するノイズ除去の処理を行ってもよい。
その後、垂直走査回路20は、制御信号TXを“Low”レベルにして、電荷転送トランジスタ511をOFF状態にし、光電変換素子PD12に蓄積された電荷信号の増幅トランジスタ513のゲート端子への転送を停止し、時刻t5において、制御信号SELを“Low”レベルにして、選択トランジスタ514をOFF状態にし、増幅トランジスタ513を垂直信号線60から切り離した状態にする。
このような制御によって、画素アレイ部40内の全ての兼用画素53に備えた光電変換素子PD12が発生した電荷信号に応じた画素信号が、通常読み出しによって読み出される。
なお、図13には、1個の兼用画素53に対する垂直走査回路20の制御タイミングを示しているが、通常読み出しでは、垂直走査回路20が固体撮像装置3の画素アレイ部40内に配置する全ての兼用画素53に対して同様の制御を行うことによって、フレーム単位での兼用画素53からの通常の撮影の画素信号の読み出しを行う。より具体的には、垂直走査回路20が、時刻t2〜時刻t5までの通常読み出しの制御を画素アレイ部40内に配置された兼用画素53の行ごとに順次行うことによって、それぞれの行の画素信号を垂直信号線60に順次出力させる。その後、水平走査回路30が、それぞれの列の垂直信号線60に出力されたそれぞれの行の画素信号を列ごとに順次出力することによって、1つのフレームの全ての画素信号を、固体撮像装置3の外部に出力する。
そして、通常の撮影における1つのフレームの画素信号の通常読み出しが終了すると、時刻t6から、画素アレイ部40内のそれぞれの兼用画素53による動き検出、つまり、動き検出読み出しを行うことができるようになる。
より具体的には、動き検出読み出しでは、時刻t6において、垂直走査回路20は、制御信号RSTを“High”レベルにして、画素リセットトランジスタ512をON状態にする。また、垂直走査回路20は、制御信号TXを固定のバイアス電圧にする。これにより、バイアストランジスタ522に電荷転送トランジスタ511から固定のバイアス電圧に応じた固定の電圧が供給される。そして、兼用画素53は、光電変換素子PD12が発生させた電荷信号に応じたパルス信号に基づいたイベント画素信号を逐次出力する。
なお、動き検出読み出しを行っている状態のときに通常の撮影を行う場合、垂直走査回路20は、最初に時刻t1以前の状態にしてから、上述した時刻t1〜時刻t5までの通常読み出しの制御を行う。より具体的には、垂直走査回路20は、制御信号RSTと制御信号TXとのそれぞれを“Low”レベルにして、画素リセットトランジスタ512と電荷転送トランジスタ511とのそれぞれ一旦OFF状態にしてから、時刻t1〜時刻t5において説明したそれぞれの制御を行う。
このような駆動タイミングによって、固体撮像装置3の画素アレイ部40内に配置されたそれぞれの兼用画素53は、通常読み出しによるフレーム単位での通常の撮影の画素信号の読み出しと、動き検出読み出しによる非同期のタイミングでの動き検出の画素信号の読み出しとを排他的に行う。
このように、固体撮像装置3では、通常の撮影による画素信号の出力と、動き検出によるイベント画素信号の出力とを行う兼用画素53を画素アレイ部40内に均一に配置することによって、第1の実施形態の固体撮像装置1や第2の実施形態の固体撮像装置2と同様に、被写体の動きを逐次検出する動き検出と通常の撮影とを両立することができる。
なお、固体撮像装置3では、上述したように、兼用画素53を、画素アレイ部40の平面の領域全体に均一に配置している。このため、固体撮像装置3では、兼用画素53内に構成される動き検出兼用画素532の出力回路と読み出し回路とを第1の半導体基板11と第2の半導体基板12とに分けて形成しているが、兼用画素53内に構成される通常兼用画素531を高精細化することができる、つまり、画素アレイ部40内に配置する通常兼用画素531の数を多くすることができるのは、動き検出兼用画素532の読み出し回路を形成するために必要な領域を確保することができる範囲までとなってしまう。しかしながら、上述したように、固体撮像装置3においても、より多くの通常兼用画素531を配置することによって通常の撮影において生成する画像の画質を向上させると共に、動き検出兼用画素532がより大きな電荷信号に基づいて被写体の動きを検出することによって動き検出の精度の低下を抑えることが望ましい。
このため、固体撮像装置3でも、第1の実施形態の固体撮像装置1における画素50の第1の配置例や第2の配置例と同様の考え方(図4〜図7参照)に基づいて、兼用画素53を配置することも考えられる。より具体的には、第1の実施形態の固体撮像装置1において画素アレイ部40に配置した動き検出画素52の代わりに兼用画素53を配置することも考えられる。しかし、固体撮像装置3では、兼用画素53の構成を変更することによっても、通常の撮影において生成する画像の画質を向上させる、つまり、高画素化を実現する構成にすると共に、動き検出の精度の低下を抑えることができる。
(第2の構成例)
次に、第3の実施形態の固体撮像装置3において画素アレイ部40内に配置する画素50の別の構成の一例(第2の構成例)について説明する。第2の構成例の画素50(以下、「兼用画素54」という)は、通常の撮影による電荷信号を発生させる通常兼用画素531を高精細化して通常の撮影において生成する画像の画質を向上させると共に、動き検出のための電荷信号を発生させる動き検出兼用画素532が兼用する光電変換素子PD12の数を多くすることによって動き検出の精度の低下を抑える構成の画素である。
図14は、本発明の第3の実施形態の固体撮像装置3における画素50の構成の別の一例(第2の構成例)を示した回路図である。図14には、2個の高精細化した通常兼用画素531と1個の動き検出兼用画素542とを備えた構成の兼用画素54を示している。なお、兼用画素54を構成する回路要素には、第1の構成例の兼用画素53を構成する回路要素と同様の回路要素を含んでいる。従って、以下の説明においては、兼用画素54を構成する回路要素において、第1の構成例の兼用画素53を構成する回路要素と同様の回路要素には同一の符号を付与し、詳細な説明は省略する。
兼用画素54に備えた2個の通常兼用画素531のそれぞれは、第1の構成例の兼用画素53内に構成される通常兼用画素531と同様の構成である。図14においては、2個の通常兼用画素531のそれぞれを、通常兼用画素531aおよび通常兼用画素531bとして区別している。そして、図14では、それぞれの通常兼用画素531内の回路要素を区別するため、それぞれの回路要素の符号に続いて、通常兼用画素531のそれぞれを区別するために付与した符号、すなわち、「a」または「b」を付与している。
より具体的には、通常兼用画素531aは、光電変換素子PD12aと、電荷転送トランジスタ511aと、画素リセットトランジスタ512aと、増幅トランジスタ513aと、選択トランジスタ514aと、ノード容量FD1aとによって構成されている。また、通常兼用画素531bは、光電変換素子PD12bと、電荷転送トランジスタ511bと、画素リセットトランジスタ512bと、増幅トランジスタ513bと、選択トランジスタ514bと、ノード容量FD1bとによって構成されている。
なお、通常兼用画素531aおよび通常兼用画素531bの動作や、垂直走査回路20による制御タイミングは、第1の構成例の兼用画素53内に構成される通常兼用画素531と同様であるため、詳細な説明は省略する。
また、兼用画素54に備えた1個の動き検出兼用画素542は、第1の構成例の兼用画素53内に構成される動き検出兼用画素532と同様の構成である。ただし、動き検出兼用画素542では、1個の動き検出兼用画素542が、複数の通常兼用画素531と光電変換素子PD12を兼用する。図14には、1個の動き検出兼用画素542が、高精細化した通常兼用画素531aおよび通常兼用画素531bのそれぞれと光電変換素子PD12を兼用する。つまり、動き検出兼用画素542は、複数の光電変換素子PD12が発生した電荷信号に基づいて被写体の動きを検出する。このため、動き検出兼用画素542では、それぞれの光電変換素子PD12に対応する回路要素の構成が変更されている。
より具体的には、動き検出兼用画素542は、第1の構成例における動き検出兼用画素532に備えたアンプ521、バイアストランジスタ522、およびスイッチトキャパシタアンプ回路523に備えたキャパシタ5231のそれぞれが、兼用するそれぞれの光電変換素子PD12に対応した構成になっている。
なお、図14においては、動き検出兼用画素542内の回路要素においていずれかの1つの光電変換素子PD12に対応する回路要素には、光電変換素子PD12に付与された符号(「a」または「b」)をそれぞれの回路要素の符号に続いて付与することによって、それぞれの回路要素が対応する光電変換素子PD12を区別している。
より具体的には、動き検出兼用画素542は、アンプ521aおよびアンプ521bと、バイアストランジスタ522aおよびバイアストランジスタ522bと、スイッチトキャパシタアンプ回路543と、スレッショルドアンプ524およびスレッショルドアンプ525と、AER回路526とによって構成されている。また、スイッチトキャパシタアンプ回路543は、キャパシタ5231aおよびキャパシタ5231bと、アンプ5232と、キャパシタ5233と、スイッチ5234とによって構成されている。
アンプ521aは、対応する光電変換素子PD12aが発生して出力した電荷信号を増幅し、増幅した電荷信号を、チップ接続部13aを介してスイッチトキャパシタアンプ回路543内のキャパシタ5231aに出力する。また、アンプ521aは、増幅した電荷信号を、バイアストランジスタ522aのゲート端子に、電圧信号Vpaとして転送する。
アンプ521bは、対応する光電変換素子PD12bが発生して出力した電荷信号を増幅し、増幅した電荷信号を、チップ接続部13bを介してスイッチトキャパシタアンプ回路543内のキャパシタ5231bに出力する。また、アンプ521bは、増幅した電荷信号を、バイアストランジスタ522bのゲート端子に、電圧信号Vpbとして転送する。
バイアストランジスタ522aは、ゲート端子に転送された電圧信号Vpaに応じて光電変換素子PD12aに流れる電流が一定の電流になるように、つまり、光電変換素子PD12aが発生する電荷信号が変化した場合でも、電荷信号の大きさが変化した後の大きさで逐次安定するように制御する。つまり、光電変換素子PD12aの出力をクリップする。
バイアストランジスタ522bは、ゲート端子に転送された電圧信号Vpbに応じて光電変換素子PD12bに流れる電流が一定の電流になるように、つまり、光電変換素子PD12bが発生する電荷信号が変化した場合でも、電荷信号の大きさが変化した後の大きさで逐次安定するように制御する。つまり、光電変換素子PD12bの出力をクリップする。
スイッチトキャパシタアンプ回路543は、アンプ521aおよびアンプ521bのそれぞれから対応するチップ接続部13aまたはチップ接続部13bを介して入力された電荷信号を加算する。より具体的には、キャパシタ5231aは、対応するアンプ521aから第1の端子に入力された電荷信号を蓄積し、蓄積した電荷信号に応じた電圧の電圧信号を第2の端子から出力する。また、キャパシタ5231bは、対応するアンプ521bから第1の端子に入力された電荷信号を蓄積し、蓄積した電荷信号に応じた電圧の電圧信号を第2の端子から出力する。このとき、図14に示したようにキャパシタ5231aの第2の端子とキャパシタ5231bの第2の端子とが接続されているため、キャパシタ5231aの第2の端子から出力する電圧信号と、キャパシタ5231bの第2の端子から出力する電圧信号とは加算されて、アンプ5232に出力される。そして、スイッチトキャパシタアンプ回路543は、第1の構成例の兼用画素53に備えたスイッチトキャパシタアンプ回路523と同様に、加算した電荷信号の変化、つまり、光電変換素子PD12aおよび光電変換素子PD12bのそれぞれが発生する電荷信号を加算した電荷信号の増減を、予め定めた電圧の範囲の電圧信号に変換し、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれに出力する。
このような構成によって、動き検出兼用画素542では、通常兼用画素531の高精細化に伴ってそれぞれの通常兼用画素531に備えた光電変換素子PD12の面積が小さくなった場合でも、複数の光電変換素子PD12が発生した電荷信号を加算することによって、より大きな電荷信号に基づいて被写体の動きを検出することができる。このため、動き検出兼用画素542では、動き検出の精度の低下を抑えることができる。
なお、動き検出兼用画素542の動作や、垂直走査回路20による制御タイミングは、動き検出兼用画素542が、加算した電荷信号に基づいて動作すること以外は、第1の構成例の兼用画素53内に構成される動き検出兼用画素532と同様であるため、詳細な説明は省略する。
このような構成によって、兼用画素54では、高精細化した通常兼用画素531によって通常の撮影において生成する画像の画質を向上させると共に、動き検出兼用画素542が兼用する光電変換素子PD12の数を多くすることによって動き検出の精度の低下を抑えることができる。
そして、固体撮像装置3では、兼用画素54を、画素アレイ部40の平面の領域全体に均一に配置する。このとき、固体撮像装置3では、第1の構成例の兼用画素53を画素アレイ部40内に配置するときと同様に、それぞれの光電変換素子PD12と、それぞれの通常兼用画素531の読み出し回路と、動き検出兼用画素542の出力回路とを第1の半導体基板11に形成し、動き検出兼用画素542の読み出し回路を第2の半導体基板12に形成する。
ここで、第3の実施形態の固体撮像装置3の構造について説明する。図15は、本発明の第3の実施形態の固体撮像装置3の別の構造の一例を示した断面図である。図15には、固体撮像装置3において第2の構成例の兼用画素54が配置されている場合における画素アレイ部40の一部の縦構造を示している。より具体的には、2個の兼用画素54が配置された画素アレイ部40の一部の縦構造を示している。さらに具体的には、第1の半導体基板11に形成された4個の通常兼用画素531と、第1の半導体基板11および第2の半導体基板12に形成された2個の動き検出兼用画素542との縦構造を示している。
上述したように、固体撮像装置3では、それぞれの光電変換素子PD12と、通常兼用画素531の読み出し回路と、動き検出兼用画素542の出力回路とを、第1の半導体基板11に形成し、動き検出兼用画素542の読み出し回路を第2の半導体基板12に形成する。図15には、第2の半導体基板12内に形成する動き検出兼用画素542の読み出し回路に備えたスイッチトキャパシタアンプ回路543と、AER回路526とを形成している状態を示している。
そして、上述したように、固体撮像装置3では、動き検出兼用画素542が兼用するそれぞれの光電変換素子PD12に対応する出力回路と、動き検出兼用画素542の読み出し回路に備えたスイッチトキャパシタアンプ回路543とを、第1の半導体基板11と第2の半導体基板12との間に形成するそれぞれのチップ接続部13によって電気的に接続する。図15には、第1の半導体基板11に形成した通常兼用画素531aに備えた光電変換素子PD12aに対応する出力回路と、第2の半導体基板12に形成したスイッチトキャパシタアンプ回路543内のキャパシタ5231aとを、チップ接続部13aによって接続している状態を示している。また、図15には、第1の半導体基板11に形成した通常兼用画素531bに備えた光電変換素子PD12bに対応する出力回路と、第2の半導体基板12に形成したスイッチトキャパシタアンプ回路543内のキャパシタ5231bとを、チップ接続部13bによって接続している状態を示している。
なお、図15に示した固体撮像装置3の縦構造においても、それぞれの兼用画素54に光が入射する側に、カラーフィルタCFを貼付している固体撮像装置3の構成を示しているが、上述したように、本発明においては、固体撮像装置1に貼付するカラーフィルタCFの色や配列に関しては、特に規定しない。つまり、固体撮像装置3においても、カラーフィルタCFに関しては、第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2と同様である。
このように、第2の構成例の兼用画素54を配置した固体撮像装置3でも、第1の構成例の兼用画素53を配置した固体撮像装置3と同様に、被写体の動きを逐次検出する動き検出と通常の撮影とを両立することができる。さらに、第2の構成例の兼用画素54を配置した固体撮像装置3では、高精細化した通常兼用画素531によって通常の撮影において生成する画像の画質を向上させると共に、動き検出兼用画素542が複数の光電変換素子PD12を兼用することによって動き検出の精度の低下を抑えることができる。
なお、図14に示した第2の構成例の兼用画素54の構成では、1個の動き検出兼用画素542が、2個の通常兼用画素531(通常兼用画素531aおよび通常兼用画素531b)と光電変換素子PD12(光電変換素子PD12aおよび光電変換素子PD12b)を兼用する構成を示した。しかし、第2の構成例の兼用画素54の構成は、図14に示した構成に限定されるものではない。つまり、第2の構成例の兼用画素54において1個の動き検出兼用画素542が兼用する光電変換素子PD12の数は、図14に示した2個に限定されるものではない。例えば、第2の構成例の兼用画素54において、1個の動き検出兼用画素542が、4個の通常兼用画素531と光電変換素子PD12を兼用する構成、すなわち、動き検出兼用画素542が4個の光電変換素子PD12が発生した電荷信号を加算した電荷信号に基づいて被写体の動きを検出する構成にしてもよい。
なお、固体撮像装置3では、上述したように、動き検出兼用画素542が兼用するそれぞれの光電変換素子PD12に対応する出力回路と、動き検出兼用画素532の読み出し回路とを、チップ接続部13よって接続する。そして、固体撮像装置3では、上述したように、それぞれの光電変換素子PD12は、高精細化した通常兼用画素531を構成する回路要素である。そして、それぞれの光電変換素子PD12の面積は、通常兼用画素531の高精細化に伴ってさらに小さくなることが考えられる。このため、動き検出兼用画素542の読み出し回路を形成するために必要な領域においてチップ接続部13よって接続する出力回路の数、つまり、兼用する光電変換素子PD12の数が増大することが考えられる。そして、チップ接続部13を形成する際の制限によって、固体撮像装置3の高画素化を実現に対して制限が発生してしまうことが考えられる。
そこで、固体撮像装置3では、それぞれの半導体基板に形成する兼用画素54の回路要素の形成方法を変更することによって、チップ接続部13の数を削減する構成にすることもできる。
(第3の構成例)
次に、第3の実施形態の固体撮像装置3において画素アレイ部40内に配置する画素50のさらに別の構成の一例(第3の構成例)について説明する。第3の構成例の画素50(以下、「兼用画素55」という)は、通常の撮影による電荷信号を発生させる通常兼用画素531を高精細化した第2の構成例の兼用画素54において必要なチップ接続部13の数を削減した構成の画素である。なお、兼用画素55も、第2の構成例の兼用画素54と同様に、通常の撮影において生成する画像の画質を向上させると共に、動き検出の精度の低下を抑える構成の画素である。
図16は、本発明の第3の実施形態の固体撮像装置3における画素50の構成のさらに別の一例(第3の構成例)を示した回路図である。図16には、第2の構成例の兼用画素54と同様に、2個の高精細化した通常兼用画素531と1個の動き検出兼用画素542(第3の構成例では、「動き検出兼用画素552」という)とを備えた構成の兼用画素55を示している。なお、兼用画素55を構成する回路要素には、第2の構成例の兼用画素54を構成する回路要素と同様の回路要素を含んでいる。従って、以下の説明においては、兼用画素55を構成する回路要素において、第2の構成例の兼用画素54を構成する回路要素と同様の回路要素には同一の符号を付与し、詳細な説明は省略する。
兼用画素55に備えた2個の通常兼用画素531のそれぞれは、第2の構成例の兼用画素54内に構成される通常兼用画素531と同様である。従って、通常兼用画素531に関する詳細な説明は省略する。
また、兼用画素55に備えた1個の動き検出兼用画素552は、第2の構成例の兼用画素54内に構成される動き検出兼用画素542と同様の構成である。従って、図16において動き検出兼用画素552に付与した符号も第2の構成例の兼用画素54と同様である。ただし、動き検出兼用画素552では、チップ接続部13の数を削減するため、第2の構成例の兼用画素54内に構成される動き検出兼用画素542に備えた回路要素の構成が変更されている。
より具体的には、動き検出兼用画素552は、アンプ521aおよびアンプ521bと、バイアストランジスタ522aおよびバイアストランジスタ522bと、スイッチトキャパシタアンプ回路553と、スレッショルドアンプ524およびスレッショルドアンプ525と、AER回路526とによって構成されている。また、スイッチトキャパシタアンプ回路553は、キャパシタ5231aおよびキャパシタ5231bと、アンプ5232と、キャパシタ5233と、スイッチ5234とによって構成されている。動き検出兼用画素552では、第2の構成例の兼用画素54内に構成される動き検出兼用画素542に備えたスイッチトキャパシタアンプ回路543が、スイッチトキャパシタアンプ回路553に変更されている。
スイッチトキャパシタアンプ回路553は、第2の構成例の兼用画素54内に構成される動き検出兼用画素542に備えたスイッチトキャパシタアンプ回路543と同様に、アンプ521aおよびアンプ521bのそれぞれから入力された電荷信号を加算し、加算した電荷信号の変化を、予め定めた電圧の範囲の電圧信号に変換し、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれに出力する。つまり、スイッチトキャパシタアンプ回路553も、光電変換素子PD12aおよび光電変換素子PD12bのそれぞれが発生する電荷信号を加算した電荷信号の増減に応じた電圧信号を、スレッショルドアンプ524およびスレッショルドアンプ525のそれぞれに出力する。ただし、スイッチトキャパシタアンプ回路553は、第1の半導体基板11と第2の半導体基板12とに分けて形成する。
より具体的には、スイッチトキャパシタアンプ回路553に備えるキャパシタ5231aとキャパシタ5231bとのそれぞれを第1の半導体基板11に形成し、スイッチトキャパシタアンプ回路553に備えるアンプ5232と、キャパシタ5233と、スイッチ5234とのそれぞれを第2の半導体基板12に形成する。これにより、第1の半導体基板11と第2の半導体基板12との間に形成するチップ接続部13によって伝送される信号は、アンプ521aおよびアンプ521bのそれぞれから入力された電荷信号を加算した、1つの電荷信号に応じた電圧の電圧信号となる。すなわち、第2の構成例の兼用画素54内に構成される動き検出兼用画素542では、アンプ521aおよびアンプ521bから出力されたそれぞれの電荷信号を対応するチップ接続部13で伝送していたため、チップ接続部13は2つであった。これに対して、スイッチトキャパシタアンプ回路553では、1つの電圧信号を伝送するための1つのチップ接続部13のみに削減される。
このような構成によって、動き検出兼用画素552では、通常兼用画素531の高精細化に伴ってそれぞれの通常兼用画素531に備えた光電変換素子PD12の面積がさらに小さくなった場合でも、複数の光電変換素子PD12が発生した電荷信号を加算することによって、より大きな電荷信号に基づいて被写体の動きを検出し、動き検出の精度の低下を抑えることができる。
なお、動き検出兼用画素552の動作や、垂直走査回路20による制御タイミングは、第2の構成例の兼用画素54、つまり、第1の構成例の兼用画素53内に構成される動き検出兼用画素532と同様であるため、詳細な説明は省略する。
このような構成によって、兼用画素55では、第2の構成例の兼用画素54と同様に、通常の撮影において生成する画像の画質を向上させると共に、動き検出の精度の低下を抑えた上で、第1の半導体基板11と第2の半導体基板12との間に形成するチップ接続部13の数を削減することができる。
そして、固体撮像装置3では、兼用画素55を、画素アレイ部40の平面の領域全体に均一に配置する。このとき、固体撮像装置3では、第2の構成例の兼用画素54を画素アレイ部40内に配置するときと同様に、それぞれの光電変換素子PD12と、それぞれの通常兼用画素531の読み出し回路と、動き検出兼用画素552の出力回路と、動き検出兼用画素552の読み出し回路の一部の回路要素(スイッチトキャパシタアンプ回路553に備えるキャパシタ5231aおよびキャパシタ5231b)を第1の半導体基板11に形成する。また、固体撮像装置3では、第2の構成例の兼用画素54を画素アレイ部40内に配置するときと同様に、動き検出兼用画素552の読み出し回路の残りの回路要素を第2の半導体基板12に形成する。
このように、第3の構成例の兼用画素55を画素アレイ部40内に配置することにより、固体撮像装置3では、第2の構成例の兼用画素54を画素アレイ部40内に配置した場合よりも、第1の半導体基板11と第2の半導体基板12との間に形成するチップ接続部13の数を削減することができる。このことにより、固体撮像装置3では、通常兼用画素531をさらに高精細化して高画素化を実現する場合でも、チップ接続部13を形成する際の制限による固体撮像装置3の高画素化の実現に対する制限の発生を抑えることができる。つまり、第3の構成例の兼用画素55を画素アレイ部40内に配置した固体撮像装置3の製造が容易になる。
なお、第3の構成例の兼用画素55が配置されている場合の固体撮像装置3の構造は、図15に示した第2の構成例の兼用画素54が配置されている場合の固体撮像装置3の構造と同様に考えることができるため、詳細な説明は省略する。
なお、図16に示した第3の構成例の兼用画素55の構成でも、1個の動き検出兼用画素552が、2個の通常兼用画素531(通常兼用画素531aおよび通常兼用画素531b)と光電変換素子PD12(光電変換素子PD12aおよび光電変換素子PD12b)を兼用する構成を示した。しかし、第3の構成例の兼用画素55の構成も、第2の構成例の兼用画素54と同様に、1個の動き検出兼用画素552が兼用する数は限定されるものではない。
なお、第3の構成例の兼用画素55では、第2の構成例の兼用画素54において必要なチップ接続部13の数を削減しているが、兼用画素55内に構成される通常兼用画素531を高精細化することができる、つまり、画素アレイ部40内に配置する通常兼用画素531の数を多くすることができるのは、動き検出兼用画素552の読み出し回路を形成するために必要な領域を確保することができる範囲までである。これは、第3の構成例の兼用画素55でも、第2の構成例の兼用画素54と同様に、第1の構成例の兼用画素53よりも通常兼用画素531を高精細化することを実現しているものの、通常兼用画素531のさらなる高精細化を行う場合には、動き検出兼用画素542や動き検出兼用画素552の読み出し回路を形成するための領域の大きさが、再び、高精細化を実現する際の問題になってしまうことを表している。なお、このことは、第3の構成例の兼用画素55に限らず、第2の構成例の兼用画素54であっても同様である。
そこで、固体撮像装置3では、それぞれの半導体基板に形成する兼用画素の回路要素の形成方法を変更することによって、動き検出兼用画素の読み出し回路を形成するために必要な領域を小さくする構成にすることもできる。言い換えれば、兼用画素に光が入射する側から見た場合における動き検出兼用画素の読み出し回路を形成する領域の投影面積を小さくする構成にすることもできる。
(第4の構成例)
次に、第3の実施形態の固体撮像装置3において画素アレイ部40内に配置する画素50のさらに別の構成の一例(第4の構成例)について説明する。以下の説明においては、第4の構成例の考え方を、第2の構成例の兼用画素54に対して適用する場合について説明する。なお、第3の構成例の兼用画素55に対して第4の構成例の考え方を適用する場合も同様に考えることができる。
図17は、本発明の第3の実施形態の固体撮像装置3における画素50の構成のさらに別の一例(第4の構成例)を示した回路図である。第4の構成例の画素50(以下、「兼用画素56」という)は、通常の撮影による電荷信号を発生させる通常兼用画素531を高精細化した第2の構成例の兼用画素54において、動き検出兼用画素542の読み出し回路を形成するために必要な領域の投影面積を小さくした構成の画素である。なお、兼用画素56も、第2の構成例の兼用画素54と同様に、通常の撮影において生成する画像の画質を向上させると共に、動き検出の精度の低下を抑える構成の画素である。
図17には、第2の構成例の兼用画素54と同様に、2個の高精細化した通常兼用画素531と1個の動き検出兼用画素562とを備えた構成の兼用画素56を示している。なお、兼用画素56を構成する回路要素には、第2の構成例の兼用画素54を構成する回路要素と同様の回路要素を含んでいる。従って、以下の説明においては、兼用画素56を構成する回路要素において、第2の構成例の兼用画素54を構成する回路要素と同様の回路要素には同一の符号を付与し、詳細な説明は省略する。
兼用画素56に備えた2個の通常兼用画素531のそれぞれは、第2の構成例の兼用画素54内に構成される通常兼用画素531と同様である。従って、通常兼用画素531に関する詳細な説明は省略する。
また、兼用画素56に備えた1個の動き検出兼用画素562は、第2の構成例の兼用画素54内に構成される動き検出兼用画素542と同様の構成である。従って、図17において動き検出兼用画素562に付与した符号も第2の構成例の兼用画素54と同様である。ただし、第4の構成例の兼用画素56では、兼用画素56に光が入射する側から見た場合における動き検出兼用画素562の投影面積を小さくするため、動き検出兼用画素562の読み出し回路の回路要素をさらに別の半導体基板にも分けて形成する。
より具体的には、兼用画素56内に構成される動き検出兼用画素562の出力回路を、第2の構成例の兼用画素54内に構成される動き検出兼用画素542の出力回路と同様に、第1の半導体基板11に形成する。また、兼用画素56では、兼用画素56内に構成される動き検出兼用画素562の読み出し回路に備えたスイッチトキャパシタアンプ回路543を第2の半導体基板12に形成し、動き検出兼用画素562の読み出し回路に備えたスレッショルドアンプ524、スレッショルドアンプ525、およびAER回路526を第3の半導体基板14に形成する。
そして、兼用画素56では、第2の半導体基板12に形成したスイッチトキャパシタアンプ回路543と、第3の半導体基板14に形成したスレッショルドアンプ524、スレッショルドアンプ525、およびAER回路526のそれぞれとを、第2の半導体基板12と第3の半導体基板14との間に形成するチップ接続部15によって電気的に接続する。
これにより、多くの回路要素から構成される動き検出兼用画素562における兼用画素56に光が入射する側から見た場合の投影面積を小さくすることができる。つまり、兼用画素56の全体の投影面積を小さくすることができる。
なお、第4の構成例の兼用画素56においても、それぞれの光電変換素子PD12と、兼用画素56内に構成されるそれぞれの通常兼用画素531の読み出し回路とは、第2の構成例の兼用画素54を画素アレイ部40内に配置するときと同様に、第1の半導体基板11に形成する。
従って、第4の構成例の兼用画素56を画素アレイ部40内に配置した固体撮像装置3は、第1の半導体基板11と、第2の半導体基板12と、第3の半導体基板14とを、この順番で積層(接合)した構成になる。より具体的には、第4の構成例の兼用画素56を画素アレイ部40内に配置した固体撮像装置3は、光電変換素子PD12と、兼用画素56内に構成される通常兼用画素531の読み出し回路と、兼用画素56内に構成される動き検出兼用画素562の出力回路を形成した第1の半導体基板11に光が入射する側の面と反対側の面に第2の半導体基板12を積層する。さらに、第4の構成例の兼用画素56を画素アレイ部40内に配置した固体撮像装置3は、第2の半導体基板12において第1の半導体基板11を積層した側の面と反対側の面に第3の半導体基板14を積層する。
このような構成によって、動き検出兼用画素562では、通常兼用画素531のさらなる高精細化に伴ってそれぞれの通常兼用画素531に備えた光電変換素子PD12の面積がさらに小さくなった場合でも、第2の構成例の兼用画素54内に構成される動き検出兼用画素542と同様に、より大きな電荷信号に基づいて被写体の動きを検出し、動き検出の精度の低下を抑えることができる。
なお、動き検出兼用画素562の動作や、垂直走査回路20による制御タイミングは、第2の構成例の兼用画素54、つまり、第1の構成例の兼用画素53内に構成される動き検出兼用画素532と同様であるため、詳細な説明は省略する。
このような構成によって、兼用画素56では、第2の構成例の兼用画素54と同様に、通常の撮影において生成する画像の画質を向上させると共に、兼用画素56に光が入射する側から見た場合における兼用画素56の全体の投影面積を小さくすることができる。
そして、固体撮像装置3では、兼用画素56を、画素アレイ部40の平面の領域全体に均一に配置する。このとき、固体撮像装置3では、画素アレイ部40内に配置する動き検出兼用画素562を、第1の半導体基板11と、第2の半導体基板12と、第3の半導体基板14とに分けて形成する。
このように、第4の構成例の兼用画素56を画素アレイ部40内に配置することにより、固体撮像装置3では、第2の構成例の兼用画素54を画素アレイ部40内に配置した場合と同様に、被写体の動きを逐次検出する動き検出と通常の撮影とを両立することができる。そして、固体撮像装置3では、第2の構成例の兼用画素54を画素アレイ部40内に配置した場合と同様に、高精細化した通常兼用画素531によって通常の撮影において生成する画像の画質を向上させると共に、動き検出兼用画素562が複数の光電変換素子PD12を兼用することによって動き検出の精度の低下を抑えることができる。さらに、第4の構成例の兼用画素56を配置した固体撮像装置3では、通常兼用画素531のさらなる高精細化と、固体撮像装置3の小型化を容易に実現することができる。
なお、第4の構成例の兼用画素56が配置されている場合の固体撮像装置3の構造は、図15に示した第2の構成例の兼用画素54が配置されている場合の固体撮像装置3の構造にさらに第3の半導体基板14を積層(接合)した構造である。しかし、第4の構成例の兼用画素56が配置されている場合の固体撮像装置3の構造は、図15に示した第2の構成例の兼用画素54が配置されている場合の固体撮像装置3の構造と同様に考えることができるため、詳細な説明は省略する。
なお、図17に示した第4の構成例の兼用画素56の構成でも、1個の動き検出兼用画素562が、2個の通常兼用画素531(通常兼用画素531aおよび通常兼用画素531b)と光電変換素子PD12(光電変換素子PD12aおよび光電変換素子PD12b)を兼用する構成を示した。しかし、第4の構成例の兼用画素56の構成も、第2の構成例の兼用画素54や第3の構成例の兼用画素55と同様に、1個の動き検出兼用画素562が兼用する数は限定されるものではない。
また、図17に示した第4の構成例の兼用画素56の構成では、動き検出兼用画素562を、第1の半導体基板11、と第2の半導体基板12と、第3の半導体基板14とのそれぞれに分けて形成する構成を示した。しかし、動き検出兼用画素562のそれぞれの半導体基板への分け方は、図17に示した方法に限定されるものではない。つまり、第4の構成例の兼用画素56内に構成される動き検出兼用画素562を3つの半導体基板に分ける構成に限定されるものではなく、さらに多くの半導体基板に分け構成にしてもよい。例えば、動き検出兼用画素562を4つの半導体基板に分けて形成してもよい。この場合、例えば、動き検出兼用画素562の出力回路を第1の半導体基板11に、動き検出兼用画素562の読み出し回路に備えたスイッチトキャパシタアンプ回路543を第2の半導体基板12に、スレッショルドアンプ524およびスレッショルドアンプ525を第3の半導体基板14に、AER回路526を第4の半導体基板に、それぞれ形成してもよい。
第3の実施形態によれば、第1の半導体基板(第1の半導体基板11)と第2の半導体基板(第2の半導体基板12)との間に形成され、第1の半導体基板11の回路要素と第2の半導体基板12の回路要素とを電気的に接続する接続部(チップ接続部13)、をさらに有し、第2の光電変換素子(第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2において動き検出画素52に備えた光電変換素子PD2)は、第1の光電変換素子(第1の実施形態の固体撮像装置1および第2の実施形態の固体撮像装置2において通常画素51に備えた光電変換素子PD1:光電変換素子PD12)であり、m個の第2の読み出し回路(動き検出兼用画素の読み出し回路)のそれぞれは、n個の光電変換素子PD12の内、対応するs個の光電変換素子PD12が発生した第1の電荷信号の変化を表す第2の画素信号(イベント画素信号)を逐次出力し、m個の動き検出兼用画素の読み出し回路のそれぞれが有する検出回路(スレッショルドアンプ524およびスレッショルドアンプ525)は、対応するs個の光電変換素子PD12が発生した第1の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、イベント信号を出力し、チップ接続部13は、m個の動き検出兼用画素の読み出し回路のそれぞれが有するスレッショルドアンプ524およびスレッショルドアンプ525と、対応するs個の光電変換素子PD12とを電気的に接続し、sは1以上の自然数である、固体撮像装置(固体撮像装置3)が構成される。
また、第3の実施形態によれば、mはnよりも小さく、sは2以上の自然数であり、m個の動き検出兼用画素の読み出し回路のそれぞれは、対応するs個の光電変換素子PD12が発生したそれぞれの第1の電荷信号を加算する加算回路(キャパシタ5231aおよびキャパシタ5231b)、をさらに有し、スレッショルドアンプ524およびスレッショルドアンプ525は、キャパシタ5231aおよびキャパシタ5231bによって加算された後の第1の電荷信号の変化を検出する、固体撮像装置3が構成される。
また、第3の実施形態によれば、m個の動き検出兼用画素の読み出し回路のそれぞれは、第2の半導体基板12に配置され、キャパシタ5231aおよびキャパシタ5231bによって加算された後の第1の電荷信号を増幅するアンプ回路(スイッチトキャパシタアンプ回路)、をさらに有し、スレッショルドアンプ524およびスレッショルドアンプ525は、スイッチトキャパシタアンプ回路によって増幅された後の第1の電荷信号の変化を検出する、固体撮像装置3が構成される。
また、第3の実施形態によれば、キャパシタ5231aおよびキャパシタ5231bは、第1の半導体基板11に配置され、チップ接続部13は、m個の動き検出兼用画素の読み出し回路のそれぞれが有するスレッショルドアンプ524およびスレッショルドアンプ525と、対応するキャパシタ5231aおよびキャパシタ5231bとを電気的に接続する、固体撮像装置3が構成される。
上記に述べたように、第3の実施形態の固体撮像装置3では、通常の撮影による画素信号の出力と、動き検出によるイベント画素信号の出力とを、同じ光電変換素子PD12が発生した電荷信号に基づいて行う兼用画素を、画素アレイ部40の平面の領域全体に均一に配置する。このとき、第3の実施形態の固体撮像装置3では、第1の実施形態の固体撮像装置1や第2の実施形態の固体撮像装置2と同様に、通常の撮影による画素信号を出力するために兼用画素内に構成される通常兼用画素を第1の半導体基板11に形成し、動き検出によるイベント画素信号を出力するために兼用画素内に構成される動き検出兼用画素を第2の半導体基板12に形成する。これにより、第3の実施形態の固体撮像装置3でも、第1の実施形態の固体撮像装置1や第2の実施形態の固体撮像装置2と同様に、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。
また、第3の実施形態の固体撮像装置3では、動き検出兼用画素を、複数の通常兼用画素と光電変換素子PD12を兼用し、複数の光電変換素子PD12が発生した電荷信号を加算することによって、より大きな電荷信号に基づいて被写体の動きを検出することができる。これにより、第3の実施形態の固体撮像装置3でも、第1の実施形態の固体撮像装置1や第2の実施形態の固体撮像装置2と同様に、画素アレイ部40内に配置する動き検出兼用画素は、動き検出の精度の低下を抑えることができる。また、この場合、第3の実施形態の固体撮像装置3でも、第1の実施形態の固体撮像装置1や第2の実施形態の固体撮像装置2と同様に、画素アレイ部40内に配置する通常兼用画素の数を、動き検出兼用画素よりも多くすることができ、通常の撮影において生成する画像の画質を向上させることができる。
上記に述べたように、本発明の各実施形態によれば、固体撮像装置に備える画素として、通常の撮影の画素信号を出力する画素と、動き検出のイベント画素信号を出力する画素とを、画素アレイ部に配置する。これにより、本発明の各実施形態では、通常の撮影と被写体の動きを逐次検出する動き検出とを両立することができる。
また、本発明の各実施形態では、画素アレイ部に配置する通常の撮影の画素信号を出力する画素の数を、動き検出のイベント画素信号を出力する画素よりも多くする。これにより、本発明の各実施形態では、通常の撮影において生成する画像の画質を向上させることができる。
また、本発明の各実施形態では、動き検出のイベント画素信号を出力する画素に備えた光電変換素子が発生する電荷信号が、より大きくなるようにする。これにより、本発明の各実施形態では、被写体の動きを検出する動き検出の精度の低下を抑えることができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
また、本発明の各実施形態に係る固体撮像装置は、2枚の半導体基板がチップ接続部により接続されていてもよいし、3枚以上の半導体基板がチップ接続部で接続されていてもよい。3枚以上の半導体基板がチップ接続部で接続される固体撮像装置の場合、そのうちの2枚の半導体基板が請求項に係る第1の半導体基板と第2の半導体基板に相当する。
上記各実施形態によれば、被写体の動きを逐次検出する動き検出と通常の撮影とを両立する固体撮像装置において、動き検出の精度を低下させることなく、通常の撮影おける画質を向上させることができる。
1,2,3 固体撮像装置
11 第1の半導体基板
12 第2の半導体基板
13,13a,13b チップ接続部(接続部)
10 制御回路(駆動回路)
20 垂直走査回路(駆動回路)
30 水平走査回路(駆動回路)
40 画素アレイ部
50 画素
51 通常画素
PD1 光電変換素子(第1の光電変換素子)
511,511a,511b 電荷転送トランジスタ(第1の読み出し回路)
512,512a,512b 画素リセットトランジスタ(第1の読み出し回路)
513,513a,513b 増幅トランジスタ(第1の読み出し回路)
514,514a,514b 選択トランジスタ(第1の読み出し回路)
FD1,FD1a,FD1b ノード容量(第1の読み出し回路)
52 動き検出画素
PD2 光電変換素子(第2の光電変換素子)
521,521a,521b アンプ
522,522a,522b バイアストランジスタ
523,543,553 スイッチトキャパシタアンプ回路(第2の読み出し回路,アンプ回路)
5231 キャパシタ(第2の読み出し回路,アンプ回路)
5232 アンプ(第2の読み出し回路,アンプ回路)
5233 キャパシタ(第2の読み出し回路,アンプ回路)
5231a,5231b キャパシタ(第2の読み出し回路,加算回路,アンプ回路)
5234 スイッチ(第2の読み出し回路,アンプ回路)
524 スレッショルドアンプ(第2の読み出し回路,検出回路)
525 スレッショルドアンプ(第2の読み出し回路,検出回路)
526 AER回路(第2の読み出し回路,画素信号生成回路)
53,54,55,56 兼用画素
531,531a,531b 通常兼用画素
532,542,552,562 動き検出兼用画素
PD12,PD12a,PD12b 光電変換素子(第1の光電変換素子)
60 垂直信号線
14 第3の半導体基板
15 チップ接続部
CF カラーフィルタ

Claims (9)

  1. 光が入射する第1の半導体基板と、
    前記第1の半導体基板に光が入射する側の面と反対側の面に積層される第2の半導体基板と、
    前記第1の半導体基板に周期的に配置され、入射した光を光電変換した第1の電荷信号を発生するn個の第1の光電変換素子と、
    前記第1の半導体基板に、前記n個の第1の光電変換素子のそれぞれに対応して配置され、対応する1個の前記第1の光電変換素子が発生した前記第1の電荷信号を蓄積し、蓄積した前記第1の電荷信号に応じた信号電圧を第1の画素信号として出力するn個の第1の読み出し回路と、
    前記n個の第1の読み出し回路のそれぞれを順次駆動して前記第1の画素信号のそれぞれを出力させる駆動回路と、
    前記第1の半導体基板および前記第2の半導体基板のいずれか一方に周期的に配置され、入射した光を光電変換した第2の電荷信号を発生するm個の第2の光電変換素子と、
    前記m個の第2の光電変換素子の内、対応する1個の前記第2の光電変換素子が発生した前記第2の電荷信号の変化を表す第2の画素信号を逐次出力するm個の第2の読み出し回路と、
    を有し、
    前記m個の第2の読み出し回路のそれぞれは、
    対応する1個の前記第2の光電変換素子が発生した前記第2の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、変化した方向を表すイベント信号を出力する検出回路と、
    前記第2の半導体基板に配置され、前記イベント信号に、対応する1個の前記第2の光電変換素子が配置された位置を表すアドレス情報を付加した前記第2の画素信号を出力する画素信号生成回路と、
    を有し、
    前記nは2以上の自然数であり、
    前記mは2以上の自然数である、
    固体撮像装置。
  2. 前記m個の第2の読み出し回路のそれぞれは、
    前記第2の半導体基板に配置され、対応する1個の前記第2の光電変換素子が発生した前記第2の電荷信号を増幅するアンプ回路、
    をさらに有し、
    前記検出回路は、
    前記アンプ回路によって増幅された後の前記第2の電荷信号の変化を検出する、
    請求項1に記載の固体撮像装置。
  3. 前記mは前記nよりも小さく、
    前記m個の第2の光電変換素子のそれぞれが光を受光する面積は、
    前記n個の第1の光電変換素子のそれぞれが光を受光する面積よりも大きい、
    請求項1に記載の固体撮像装置。
  4. 前記m個の第2の光電変換素子のそれぞれは、
    前記第2の半導体基板に配置され、
    前記n個の第1の光電変換素子の内、対応するp個の前記第1の光電変換素子を透過した光を光電変換した第2の電荷信号を発生し、
    前記pは1以上の自然数である、
    請求項1に記載の固体撮像装置。
  5. 前記第1の半導体基板と前記第2の半導体基板との間に形成され、前記第1の半導体基板の回路要素と前記第2の半導体基板の回路要素とを電気的に接続する接続部、
    をさらに有し、
    前記mは前記nよりも小さく、
    前記m個の第2の光電変換素子のそれぞれは、
    前記第1の半導体基板に配置され、
    前記接続部は、
    前記m個の第2の読み出し回路のそれぞれが有する前記検出回路と、対応する1個の前記第2の光電変換素子とを電気的に接続する、
    請求項1に記載の固体撮像装置。
  6. 前記第1の半導体基板と前記第2の半導体基板との間に形成され、前記第1の半導体基板の回路要素と前記第2の半導体基板の回路要素とを電気的に接続する接続部、
    をさらに有し、
    前記第2の光電変換素子は、
    前記第1の光電変換素子であり、
    前記m個の第2の読み出し回路のそれぞれは、
    前記n個の第1の光電変換素子の内、対応するs個の前記第1の光電変換素子が発生した前記第1の電荷信号の変化を表す前記第2の画素信号を逐次出力し、
    前記m個の第2の読み出し回路のそれぞれが有する前記検出回路は、
    対応するs個の前記第1の光電変換素子が発生した前記第1の電荷信号の時間的な変化を検出し、予め定めた閾値を超える変化を検出したときに、前記イベント信号を出力し、
    前記接続部は、
    前記m個の第2の読み出し回路のそれぞれが有する前記検出回路と、対応するs個の前記第1の光電変換素子とを電気的に接続し、
    前記sは1以上の自然数である、
    請求項1に記載の固体撮像装置。
  7. 前記mは前記nよりも小さく、
    前記sは2以上の自然数であり、
    前記m個の第2の読み出し回路のそれぞれは、
    対応するs個の前記第1の光電変換素子が発生したそれぞれの前記第1の電荷信号を加算する加算回路、
    をさらに有し、
    前記検出回路は、
    前記加算回路によって加算された後の前記第1の電荷信号の変化を検出する、
    請求項6に記載の固体撮像装置。
  8. 前記m個の第2の読み出し回路のそれぞれは、
    前記第2の半導体基板に配置され、前記加算回路によって加算された後の前記第1の電荷信号を増幅するアンプ回路、
    をさらに有し、
    前記検出回路は、
    前記アンプ回路によって増幅された後の前記第1の電荷信号の変化を検出する、
    請求項7に記載の固体撮像装置。
  9. 前記加算回路は、
    前記第1の半導体基板に配置され、
    前記接続部は、
    前記m個の第2の読み出し回路のそれぞれが有する前記検出回路と、対応する前記加算回路とを電気的に接続する、
    請求項7に記載の固体撮像装置。
JP2017528048A 2015-07-14 2015-07-14 固体撮像装置 Active JP6440844B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/070129 WO2017009944A1 (ja) 2015-07-14 2015-07-14 固体撮像装置

Publications (2)

Publication Number Publication Date
JPWO2017009944A1 JPWO2017009944A1 (ja) 2017-12-14
JP6440844B2 true JP6440844B2 (ja) 2018-12-19

Family

ID=57757114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528048A Active JP6440844B2 (ja) 2015-07-14 2015-07-14 固体撮像装置

Country Status (3)

Country Link
US (1) US10218922B2 (ja)
JP (1) JP6440844B2 (ja)
WO (1) WO2017009944A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818777B2 (en) 2015-11-12 2017-11-14 Stmicroelectronics (Research & Development) Limited Hybrid analog-digital pixel implemented in a stacked configuration
KR102554664B1 (ko) * 2017-05-26 2023-07-11 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치 및 전자 기기
DE112018005710T5 (de) * 2017-10-30 2020-07-16 Sony Semiconductor Solutions Corporation Festkörperbildaufnahmeelement
US11082656B2 (en) 2017-10-30 2021-08-03 Sony Semiconductor Solutions Corporation Solid-state imaging device
JP7102159B2 (ja) * 2018-02-09 2022-07-19 キヤノン株式会社 光電変換装置、撮像システム、および、移動体
US10535695B2 (en) * 2018-03-13 2020-01-14 Stmicroelectronics (Research & Development) Limited Stacked wafer arrangement for global shutter pixels utilizing capacitive deep trench isolations
KR20230170980A (ko) 2018-03-14 2023-12-19 소니 어드밴스드 비주얼 센싱 아게 3d-ic 기술로 제조된 이벤트-기반 비전 센서
EP3627830A1 (en) * 2018-09-18 2020-03-25 IniVation AG Image sensor and sensor device for imaging temporal and spatial contrast
US11917317B2 (en) 2018-11-21 2024-02-27 Sony Semiconductor Solutions Corporation Solid-state imaging element and imaging device that detects address event
JP7175730B2 (ja) * 2018-12-05 2022-11-21 株式会社ソニー・インタラクティブエンタテインメント 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
JP2020096225A (ja) * 2018-12-10 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
ES2981443T3 (es) * 2019-04-25 2024-10-08 Beijing Ruisizhixin Tech Co Ltd Sensor de visión delta
US11483506B2 (en) 2019-05-29 2022-10-25 Raytheon Company Continuously integrating digital pixel imager
CN114270808A (zh) * 2019-07-26 2022-04-01 苹果公司 具有共享光电检测器的光强度和对比度变化检测能力的像素读出电路
US11062679B2 (en) * 2019-09-06 2021-07-13 Sony Semiconductor Solutions Corporations Imaging devices and imaging apparatuses, and methods for the same
JP7506468B2 (ja) 2019-11-21 2024-06-26 キヤノン株式会社 撮像装置、撮像装置の制御方法
US11330211B2 (en) 2019-12-02 2022-05-10 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
WO2021157386A1 (ja) * 2020-02-03 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置
JPWO2021161791A1 (ja) * 2020-02-13 2021-08-19
JP2021129265A (ja) * 2020-02-17 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 センサ装置、読み出し方法
JP2021164017A (ja) * 2020-03-31 2021-10-11 株式会社村田製作所 高周波モジュール及び通信装置
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
KR20230026999A (ko) * 2020-06-19 2023-02-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
JP7562306B2 (ja) * 2020-06-23 2024-10-07 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
EP3930312B8 (en) 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage
WO2022018561A1 (ja) 2020-07-24 2022-01-27 株式会社半導体エネルギー研究所 撮像装置および電子機器
RS64457B1 (sr) 2020-08-14 2023-09-29 Alpsentek Gmbh Senzor slike sa konfigurabilnim piksel kolom i postupak
JP6923240B1 (ja) * 2021-02-12 2021-08-18 株式会社SensAI 固体撮像装置、及び固体撮像装置の駆動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088860B2 (en) * 2001-03-28 2006-08-08 Canon Kabushiki Kaisha Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus
MX2007002073A (es) * 2004-08-23 2007-04-24 Sony Corp Dispositivo de captacion de imagen, metodo de procesamiento de resultado de captacion de imagen y circuito integrado.
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8526500B2 (en) * 2009-08-11 2013-09-03 Seiko Epson Corporation System and method for global inter-frame motion detection in video sequences
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
JP6320272B2 (ja) * 2013-11-29 2018-05-09 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
EP3164683B1 (en) * 2014-07-02 2023-02-22 The John Hopkins University Photodetection circuit
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备

Also Published As

Publication number Publication date
US20180152644A1 (en) 2018-05-31
US10218922B2 (en) 2019-02-26
JPWO2017009944A1 (ja) 2017-12-14
WO2017009944A1 (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6440844B2 (ja) 固体撮像装置
JP7264187B2 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US10321081B2 (en) Solid-state imaging device
US9654709B2 (en) Solid-state imaging device and electronic camera
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
WO2015151790A1 (ja) 固体撮像素子、電子機器、および撮像方法
WO2013172205A1 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
JP6457738B2 (ja) 固体撮像装置および撮像装置
US12107098B2 (en) Image sensor, focus adjustment device, and imaging device
JP6070301B2 (ja) 固体撮像素子及びこれを用いた撮像装置
US20240089629A1 (en) Image sensor and imaging device
US20220201179A1 (en) Image sensor and imaging device
JP2006237245A (ja) マイクロレンズ搭載型単板式カラー固体撮像素子及び画像入力装置
JP2023181484A (ja) 撮像素子
JP2008245217A (ja) 固体撮像装置及び撮像装置
JP6733159B2 (ja) 撮像素子、及び撮像装置
JP2016103513A (ja) 撮像素子および撮像装置
JP6274897B2 (ja) 撮像素子及び撮像素子の駆動方法
JP6217338B2 (ja) 固体撮像素子及び撮像装置
JP2020014255A (ja) 撮像素子及び撮像装置
JP2016019232A (ja) 撮像素子及び撮像装置
JP4848349B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP2017208651A (ja) 撮像装置
WO2020202414A1 (ja) 撮像装置および制御プログラム
JP5256084B2 (ja) 撮像装置及び撮像装置の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181120

R151 Written notification of patent or utility model registration

Ref document number: 6440844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250