JP7374174B2 - 受光装置 - Google Patents

受光装置 Download PDF

Info

Publication number
JP7374174B2
JP7374174B2 JP2021503676A JP2021503676A JP7374174B2 JP 7374174 B2 JP7374174 B2 JP 7374174B2 JP 2021503676 A JP2021503676 A JP 2021503676A JP 2021503676 A JP2021503676 A JP 2021503676A JP 7374174 B2 JP7374174 B2 JP 7374174B2
Authority
JP
Japan
Prior art keywords
time
light receiving
value
exposure period
counter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021503676A
Other languages
English (en)
Other versions
JPWO2020179928A1 (ja
Inventor
弘博 朱
和樹 比津
挙文 高塚
祐輔 大池
純 小木
睦聡 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020179928A1 publication Critical patent/JPWO2020179928A1/ja
Application granted granted Critical
Publication of JP7374174B2 publication Critical patent/JP7374174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/02016—Circuit arrangements of general character for the devices
    • H01L31/02019—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier
    • H01L31/02027—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier for devices working in avalanche mode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00—Measuring the characteristics of individual optical pulses or of optical pulse trains
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/0216—Coatings
    • H01L31/02161—Coatings for devices characterised by at least one potential jump barrier or surface barrier
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/0232—Optical elements or arrangements associated with the device
    • H01L31/02327—Optical elements or arrangements associated with the device the optical elements being integrated or being directly associated to the device, e.g. back reflectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/0248—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by their semiconductor bodies
    • H01L31/0352—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by their semiconductor bodies characterised by their shape or by the shapes, relative sizes or disposition of the semiconductor regions
    • H01L31/035272—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by their semiconductor bodies characterised by their shape or by the shapes, relative sizes or disposition of the semiconductor regions characterised by at least one potential jump barrier or surface barrier
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K23/00—Pulse counters comprising counting chains; Frequency dividers comprising counting chains
    • H03K23/58—Gating or clocking signals not applied to all stages, i.e. asynchronous counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/448—Array [CCD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、受光装置に関する。
光電変換素子に入射したフォトンのカウントを行うフォトン計測センサが知られている。また、フォトン計測センサにおいて、入射したフォトン毎にカウントを行う構成が知られている。このようなフォトン計測センサのダイナミックレンジを拡大する手法として、カウント数が閾値に達した時間を用いて輝度値を換算する手法が効果的であり、時間情報を利用した輝度値予測が提案されている。
米国特許出願公開第２０１２／００５７０５９号明細書 米国特許出願公開第２０１５／０１６３４２９号明細書
しかしながら、フォトンのカウント数が閾値に達した時間に基づき予測を行う方法では、暗時における計測を可能とするためにシャッタ時間を長く取る必要がある。そのため、時間情報を保存するためのメモリのビット数が増加し、それに伴い回路面積が増大してしまう。
本開示は、フォトン計測を行う際のビット数の削減が可能な受光装置を提供することを目的とする。
本開示に係る受光装置は、露光期間内で受光素子への光子の入射を検知した回数である検知回数を計数して計数値を出力する計数部と、時間情報を更新する周期を露光期間における経過時間に応じて設定する設定部と、露光期間が経過する前に計数値が閾値に到達した時間を示す時間情報を取得する取得部と、を備える。
第１の実施形態に係る受光装置の概略的な構成例を示す図である。 第１の実施形態に適用可能な、フォトン数の予測について説明するための図である。 第１の実施形態に適用可能な、フォトン数の予測について説明するための図である。 第１の実施形態に係るタイムコード生成部によるタイムコードＴｃの生成を概略的に説明するための図である。 第１の実施形態に係る受光装置が適用された電子機器の一例の構成を概略的に示すブロック図である。 第１の実施形態に係る受光装置に適用可能なデバイスの構成の例を示す模式図である。 第１の実施形態に適用可能な受光チップの一例の構成を示す平面図である。 第１の実施形態に適用可能なロジックチップの一例の構成を示すブロック図である。 第１の実施形態に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態に適用可能な信号処理部の一例の構成を示す図である。 第１の実施形態に適用可能な、ＳＰＡＤとしての光電変換素子の構成の例を示す図である。 第１の実施形態に適用可能な、フォトダイオードとしての光電変換素子の構成の例を示す図である。 第１の実施形態に係るＴＣ生成部の一例の構成を示すブロック図である。 第１の実施形態に係るＴＣ生成部の動作を説明するための一例のタイミングチャートである。 第１の実施形態に係る、時間カウンタを駆動する周波数を可変とした場合のＴＣ生成部の動作を説明するための一例のタイミングチャートである。 第１の実施形態に適用可能な、単純増加あるいは単純減少以外の値の例としてグレイコードをタイムコードＴｃに適用した例を示すタイミングチャートである。 第１の実施形態に適用可能な、ＰＬＬを用いてタイムコードＴｃを生成する構成の例を示すブロック図である。 第１の実施形態に適用可能な第１の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第１の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第２の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第３の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第４の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第４の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第５の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第６の例のカウンタの一例の構成を示す図である。 第１の実施形態に適用可能な第７の例のカウンタの一例の構成を示す図である。 第１の実施形態に適用可能なカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第８の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第９の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に適用可能な第１０の例のカウンタの一例の構成を示すブロック図である。 第１の実施形態に係る第１の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第２の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第３の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第３の配置例を画素アレイ部に注目して示す図である。 第１の実施形態に係る第４の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第５の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態に係る第６の配置例に係るＴＣ生成部および画素回路の配置例を示す図である。 第１の実施形態の第１の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態の第２の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態の第３の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタの動作を説明するための図である。 第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタの動作を説明するための図である。 第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタの動作を説明するための図である。 第２の実施形態に係る受光装置の概略的な構成例を示す図である。 第２の実施形態に係る、フォトン数Ｐｎが閾値Ｎｔｈを達成する時間Ｔｔｈと、予測輝度値Ｌｐｒｅとの一例の関係を示す図である。 第２の実施形態に係る輝度値コード生成部による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。 第２の実施形態に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態に適用可能なＬＣ生成部の一例の構成を示すブロック図である。 第２の実施形態に係る第１の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第２の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第３の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第４の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態に係る第５の配置例に係る、ＬＣ生成部と、それぞれＲ、ＧおよびＢのカラーフィルタが設けられた光電変換素子を含む画素回路と、の配置例を示す図である。 第２の実施形態に係る第６の配置例に係るＬＣ生成部および画素回路の配置例を示す図である。 第２の実施形態の第１の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態の第２の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態の第３の変形例に係る画素アレイ部および垂直制御部の一例の構成を示すブロック図である。 第２の実施形態の第４の変形例に係る輝度値コード生成部による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。 第３の実施形態に係る受光装置の概略的な構成例を示す図である。 第３の実施形態に適用可能な輝度値分解能と時間分解能との一例の関係を示す図である。 第３の実施形態に係る、高照度および中照度の場合の輝度値コードＬｃ生成について説明するための図である。 第３の実施形態に係る、低照度の場合の輝度値コードＬｃ生成について説明するための図である。 第４の実施形態に係る第１の例の分割露光を説明するための図である。 第４の実施形態に係る第２の例の分割露光を説明するための図である。 第４の実施形態の第２の例に適用可能な画素回路の一例の構成を示すブロック図である。 第４の実施形態に係る第３の例の分割露光を説明するための図である。 第４の実施形態に係る第４の例の分割露光を説明するための図である。 第４の実施形態に係る第５の例の分割露光を説明するための図である。 第４の実施形態に係る第６の例の分割露光を説明するための図である。 第５の実施形態に係る受光装置の概略的な構成例を示す図である。 第５の実施形態に係る計数部の構成の例を概略的に示すブロック図である。 第５の実施形態に適用可能な、フォトン数の予測について説明するための図である。 第５の実施形態に係る画素回路の一例の構成を示すブロック図である。 第５の実施形態に適用可能なカウンタの一例の構成を示すブロック図である。 第５の実施形態の第１の変形例に係る計数部の構成の例を概略的に示すブロック図である。 第５の実施形態の第１の変形例に適用可能な１ビットカウンタの動作例を示すシーケンス図である。 第５の実施形態の第２の変形例に係る計数部の構成の例を概略的に示すブロック図である。 第５の実施形態の第２の変形例に適用可能な、フォトン数の予測について説明するための図である。 負パルスを出力する光電変換素子の接続方法を説明するための図である。 正パルスを出力する光電変換素子の接続方法を説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第１の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第１の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第２の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第２の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第３の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第３の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第４の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第４の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第５の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第５の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第６の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第７の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第７の例について説明するための図である。 第５の実施形態の第２の変形例に適用可能な合成部の構成の第８の例について説明するための図である。 第６の実施形態に係る測距装置の一例の構成を示すブロック図である。 第６の実施形態に適用可能なＴｏＦ型センサの一例の動作タイミングを示すタイミングチャートである。 第７の実施形態による、第１～第５の実施形態およびその各変形例に係る受光装置を使用する使用例を示す図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図である。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
以下、本開示の実施形態について、下記の順序に従って説明する。
１．第１の実施形態
１－１．第１の実施形態の概略
１－２．第１の実施形態に適用可能な構成
１－３．第１の実施形態に係るタイムコードＴｃ生成処理
１－４．第１の実施形態に適用可能なカウンタの構成例
１－４－１．カウンタの第１の例
１－４－２．カウンタの第２の例
１－４－３．カウンタの第３の例
１－４－４．カウンタの第４の例
１－４－５．カウンタの第５の例
１－４－６．カウンタの第６の例
１－４－７．カウンタの第７の例
１－４－８．カウンタの第８の例
１－４－９．カウンタの第９の例
１－４－１０．カウンタの第１０の例
１－５．第１の実施形態に適用可能なＴＣ生成部および画素回路の配置
１－５－１．第１の実施形態に係る第１の配置例
１－５－２．第１の実施形態に係る第２の配置例
１－５－３．第１の実施形態に係る第３の配置例
１－５－４．第１の実施形態に係る第４の配置例
１－５－５．第１の実施形態に係る第５の配置例
１－５－６．第１の実施形態に係る第６の配置例
１－６．第１の実施形態の第１の変形例
１－７．第１の実施形態の第２の変形例
１－８．第１の実施形態の第３の変形例
１－９．第１の実施形態および各変形例に適用可能なデータ処理
２．第２の実施形態
２－１．第２の実施形態に適用可能な構成の概略
２－２．第２の実施形態の原理的な説明
２－３．第２の実施形態に適用可能なＬＣ生成部および画素回路の配置
２－３－１．第２の実施形態に係る第１の配置例
２－３－２．第２の実施形態に係る第２の配置例
２－３－３．第２の実施形態に係る第３の配置例
２－３－４．第２の実施形態に係る第４の配置例
２－３－５．第２の実施形態に係る第５の配置例
２－３－６．第２の実施形態に係る第６の配置例
２－４．第２の実施形態の第１の変形例
２－５．第２の実施形態の第２の変形例
２－６．第２の実施形態の第３の変形例
２－７．第２の実施形態の第４の変形例
３．第３の実施形態
４．第４の実施形態
４－１．第４の実施形態に係る第１の例
４－２．第４の実施形態に係る第２の例
４－３．第４の実施形態に係る第３の例
４－４．第４の実施形態に係る第４の例
４－５．第４の実施形態に係る第５の例
４－６．第４の実施形態に係る第６の例
５．第５の実施形態
５－１．第５の実施形態の第１の変形例
５－２．第５の実施形態の第２の変形例
５－２－１．光電変換素子の出力について
５－２－２．合成部の構成の第１の例
５－２－３．合成部の構成の第２の例
５－２－４．合成部の構成の第３の例
５－２－５．合成部の構成の第４の例
５－２－６．合成部の構成の第５の例
５－２－７．合成部の構成の第６の例
５－２－８．合成部の構成の第７の例
５－２－９．合成部の構成の第８の例
６．第６の実施形態
７．第７の実施形態
［１．第１の実施形態］
（１－１．第１の実施形態の概略）
本開示の第１の実施形態について説明する。図１は、第１の実施形態に係る受光装置の概略的な構成例を示す図である。図１において、第１の実施形態に係る受光装置１ａは、画素１０と、計数部１１と、タイムコード生成部１２と、取得部１３と、を含む。受光装置１ａは、指定された露光期間Ｔｓｈ（例えばシャッタ期間）内に画素１０に入射されたフォトン（光子）の数を計数する。計数されたフォトン数に基づき、露光期間Ｔｓｈにおける照度を求めることが可能である。
画素１０は、入射された光を光電変換により電気信号に変換して出力する。より具体的には、画素１０は、光電変換により光を電荷に変換する光電変換素子と、光電変換素子から電荷を読み出して電気信号として出力する信号処理回路と、を含む。本開示においては、画素１０は、光電変換素子に入射されたフォトン（光子）を電気信号に変換し、フォトンの入射に応じたパルスＶｐｌｓを出力する。本開示では、画素１０が含む光電変換素子として、単一光子アバランシェダイオードを用いる。以下、単一光子アバランシェダイオードを、ＳＰＡＤ(Single Photon Avalanche Diode)と呼ぶ。ＳＰＡＤは、カソードにアバランシ増倍が発生する大きな負電圧を加えておくと、１フォトンの入射に応じて発生した電子がアバランシ増倍を生じ、大電流が流れる特性を有する。ＳＰＡＤのこの特性を利用することで、１フォトンの入射を高感度で検知することができる。
なお、以下では、特に記載の無い限り、「画素１０が含む光電変換素子にフォトンが入射する」ことを、「画素１０にフォトンが入射する」のように記述する。
計数部１１は、画素１０から出力されたパルスＶｐｌｓを、指定された露光期間Ｔｓｈ内において計数する。計数部１１は、例えば露光期間Ｔｓｈの開始時点でパルスＶｐｌｓの計数を開始する。計数部１１は、計測されたパルスＶｐｌｓの数Ｎｃｎｔの書き込みを指示する書き込み信号ＷＲｅｎを、所定のタイミングで出力する。例えば、計数部１１は、当該数Ｎｃｎｔが露光期間Ｔｓｈの終了する前に閾値Ｎｔｈを超えた場合に、書き込みを指示する書き込み信号ＷＲｅｎを出力する。また例えば、計数部１１は、当該数Ｎｃｎｔが露光期間Ｔｓｈを終了しても閾値Ｎｔｈを超えない場合に、当該露光期間Ｔｓｈの終了時点において、書き込みを指示する書き込み信号ＷＲｅｎを出力する。
以下では、書き込みを指示する書き込み信号ＷＲｅｎを、書き込み信号ＷＲｅｎ（Ｗ）として説明を行う。
書き込み信号ＷＲｅｎは、取得部１３に供給される。例えば、書き込み信号ＷＲｅｎは、デフォルトがロー（Ｌｏｗ）状態であり、ロー状態からハイ（Ｈｉｇｈ）状態に移行することで、取得部１３に対して書き込みを指示する。
一方、タイムコード生成部１２は、露光期間Ｔｓｈの開始タイミングで初期化され、指定されるサンプリング周波数の周期で値が変化するタイムコードＴｃを生成する。例えば、タイムコード生成部１２は、値「０」を初期値として、当該周期毎に１ずつ値が増加するタイムコードＴｃを生成する。タイムコード生成部１２で生成されたタイムコードＴｃは、取得部１３に供給される。
タイムコードＴｃが生成される、指定されるサンプリング周波数の周期は、換言すれば、タイムコードＴｃが更新される周期である。以下では、この周期を、更新周期と呼ぶ。
取得部１３は、例えばメモリを含み、書き込み信号ＷＲｅｎがロー状態からハイ状態に移行したタイミングで、タイムコード生成部１２から供給されたタイムコードＴｃを取得し、取得したタイムコードＴｃをメモリに書き込む。
このタイムコードＴｃと、閾値Ｎｔｈとに基づき、画素１０に対して露光期間Ｔｓｈに入射されるフォトンの数を予測できる。図２Ａおよび図２Ｂは、第１の実施形態に適用可能な、フォトン数の予測について説明するための図である。図２Ａは、フォトン数のカウント値と時間との関係の例を示す図である。露光期間Ｔｓｈ内での照度が一定の場合、カウント値は、時間に対して一次関数の関係で変化する。図２Ａにおいて、中程度の照度（中照度）の場合のカウント値の時間推移を示す直線Ｃｔ＿ｍを考える。照度が中照度よりも高い場合（高照度）のカウント値の時間推移を示す直線Ｃｔ＿ｈは、傾きが直線Ｃｔ＿ｍより大きくなる。一方、照度が中照度よりも低い場合（低照度）のカウント値の時間推移を示す直線Ｃｔ＿ｌは、傾きが直線Ｃｔ＿ｍより小さくなる。
図２Ｂは、上述した図２Ａに対して閾値Ｎｔｈを追加した場合の例を示す図である。図２Ｂにおいて、高照度および中照度において、カウント値が閾値Ｎｔｈに達した時間が、それぞれ時間Ｔｔｈ＿ｈおよび時間Ｔｔｈ＿ｍとなる。カウント値は、時間に対して一次関数の関係にあるので、閾値Ｎｔｈと、時間Ｔｔｈ＿ｈおよび時間Ｔｔｈ＿ｍと、に基づき、露光期間Ｔｓｈにおける高照度および中照度のカウント値を予測することができる。以下では、高照度および中照度に対して予測されたカウント値を、それぞれ予測カウント値Ｎｐｒｅ＿ｈおよびＮｐｒｅ＿ｍとする。
原理として、カウント値が、露光期間Ｔｓｈの開始時点から時間Ｔｔｈ後に閾値Ｎｔｈに達した場合の予測カウント値Ｎｐｒｅは、下記の式（１）にて算出できる。
Ｎｐｒｅ＝Ｎｔｈ×（Ｔｓｈ／Ｔｔｈ） …（１）
したがって、上述した高照度および中照度の場合の予測カウント値Ｎｐｒｅ＿ｈおよびＮｐｒｅ＿ｍは、下記の式（２）および（３）にて算出できる。
Ｎｐｒｅ＿ｈ＝Ｎｔｈ×（Ｔｓｈ／Ｔｔｈ＿ｈ） …（２）
Ｎｐｒｅ＿ｍ＝Ｎｔｈ×（Ｔｓｈ／Ｔｔｈ＿ｍ） …（３）
一方、図２Ｂの例では、直線Ｃｔ＿ｌは、露光期間Ｔｓｈ内において閾値Ｎｔｈに到達していない。この場合、露光期間Ｔｓｈの終了時点におけるカウント値を、直線Ｃｔ＿ｌに基づく予測カウント値Ｎｐｒｅ＿ｌと見做すことができる。
また、図２Ｂの状態において、カウント値が閾値Ｎｔｈに到達した時点で、計数部１１によるカウントを中止することができる。図２Ｂの例では、直線Ｃｔ＿ｈ’およびＣｔ＿ｍ’において点線で示されるように、それぞれカウント値が閾値Ｎｔｈに達した時間以降の計数部１１によるカウントを中止する。
なお、図２Ａおよび図２Ｂにおいて、Ｙ軸（カウント値の軸）と直線Ｃｔ＿ｈとの間の領域（直線Ｃｔ＿ｈを含む）の照度を高照度、直線Ｃｔ＿ｈと直線Ｃｔ＿ｍとの間の領域（直線Ｃｔ＿ｍを含む）の照度を中照度、直線Ｃｔ＿ｍとＸ軸（時間の軸）との間の領域の照度を低照度とする。
この場合、図２Ａにおける直線Ｃｔ＿ｈ、および、図２Ｂにおける時間Ｔｔｈ＿ｈは、高照度と中照度の境界を示し、図２Ａにおける直線Ｃｔ＿ｍ、および、図２Ｂにおける時間Ｔｔｈ＿ｍは、中照度と低照度との境界を示す。上述および以下では、高照度を直線Ｃｔ＿ｈまたは時間Ｔｔｈ＿ｈにより代表して示し、中照度を直線Ｃｔ＿ｍおよび時間Ｔｔｈ＿ｍにより代表して示すものとする。また同様に、予測カウント値Ｎｐｒｅ＿ｈおよびＮｐｒｅ＿ｍは、それぞれ高照度および中照度における予測カウント値Ｎｐｒｅを代表して示している。
すなわち、図２Ｂにおいて、露光期間Ｔｓｈの開始時点から時間Ｔｔｈ＿ｈ以内にカウント値が閾値Ｎｔｈに達した場合、高照度であるとする。露光期間Ｔｓｈの開始時点から時間Ｔｔｈ＿ｈが経過した後、時間Ｔｔｈ＿ｈを超え時間Ｔｔｈ＿ｍ以内にカウント値が閾値Ｎｔｈに達した場合、中照度であるとする。また、露光期間Ｔｓｈの開始時点から時間Ｔｔｈ＿ｍが経過した後、時間Ｔｔｈ＿ｍを超え露光期間Ｔｓｈの終了時点までにカウント値が閾値Ｎｔｈに達したか、または、露光期間Ｔｓｈの終了時点になってもカウント値が閾値Ｎｔｈに達しない場合、低照度であるとする。
取得部１３は、タイムコード生成部１２から、時間Ｔｔｈ＿ｈや時間Ｔｔｈ＿ｍをタイムコードＴｃとして取得しメモリに書き込んでおく。閾値Ｎｔｈおよび露光期間Ｔｓｈは、例えば指定された値であり、固定値であるので、メモリから時間Ｔｔｈ＿ｈや時間Ｔｔｈ＿ｍを読み出して、上述の式（１）に従い計算を実行することで、予測カウント値Ｎｐｒｅ＿ｈや予測カウント値Ｎｐｒｅ＿ｍを算出することができる。
ここで、高照度では、画素１０に入射するフォトンの単位時間当たりの数が、低照度の場合に比べて多い。したがって、タイムコード生成部１２において、高照度の場合に画素１０に入射するフォトンの単位時間当たりの数に応じて更新周期を決めることが考えられる。これにより、高照度の場合のフォトン数の計数を高精度に実行することができる。
ところで、図２Ｂに示されるように、低照度の場合は露光期間Ｔｓｈが終了するまでフォトン数の計数を行う必要がある。一方、高照度の場合は、露光期間Ｔｓｈが終了する前の時間Ｔｔｈ＿ｈで、計数されたフォトン数が閾値Ｎｔｈに達するため、時間Ｔｔｈ＿ｈ以降の計数を中止させることができる。したがって、露光期間Ｔｓｈを通して低照度と高照度とで同一の更新周期に従いフォトン数の計数を行うと、特に低照度の場合に無駄な計数を行うことになる。例えば取得部１３が有する、タイムコードＴｃを書き込むためのメモリのビット数が大きくなってしまう。
そこで、第１の実施形態では、タイムコード生成部１２がタイムコードＴｃを生成するための更新周期を可変とし、露光期間Ｔｓｈにおける経過時間に応じて更新周期を変化させる。より具体的には、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点において最も短い更新周期を設定し、当該開始時点から露光期間Ｔｓｈの終了時点に向けて、時間の経過に伴い更新周期を長くする。これにより、タイムコードＴｃが変化する時間間隔を、露光期間Ｔｓｈにおける時間の経過に連れて長くすることができる。
図３は、第１の実施形態に係るタイムコード生成部１２によるタイムコードＴｃの生成を概略的に説明するための図である。図３において、上段から、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔の場合のタイムコードＴｃの例、および、可変間隔の場合のタイムコードＴｃの例、をそれぞれ示している。なお、ここでは、説明のため、計数部１１が有するカウンタが３ビットカウンタであって、閾値Ｎｔｈ＝８であるものとする。すなわち、画素１０に検知されるフォトン数が８個に達すると、計数部１１のカウンタがオーバーフローする。
低照度の場合、カウント値は、露光期間Ｔｓｈ内に閾値Ｎｔｈを超えない可能性がある。図３の例では、低照度において、露光期間Ｔｓｈ内に４個のフォトンＰｈ（１）～Ｐｈ（４）、がカウントされ、カウント値が閾値Ｎｔｈに達していない。
一方、図３において、高照度の場合、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（１１）、Ｐｈ（１２）、…、Ｐｈ（１７）がカウントされ、次に８個目のフォトンＰｈ（１８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（１８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対してタイムコード生成部１２で生成されたタイムコードＴｃの書き込みを指示する。
ここで、タイムコード生成部１２が一定の更新周期に従い等間隔でタイムコードＴｃを生成する場合について考える。図３の例では、露光期間Ｔｓｈの開始時点でタイムコードＴｃがリセットされ、露光期間Ｔｓｈの経過に伴い等間隔でタイムコードＴｃが生成され、露光期間Ｔｓｈの終了時点で値「２０４７」のタイムコードＴｃが生成されている。すなわち、計数部１１は、１１ビットを計数可能なカウンタを有する。
この場合において、高照度の場合、時間Ｔｔｈに対応するタイムコードＴｃが値「１１」となっており、この値「１１」が取得部１３によりメモリに書き込まれる。一方、露光期間Ｔｓｈ内にカウント値が閾値Ｎｔｈに達しない低照度の場合には、露光期間Ｔｓｈの終了時点までカウントを継続する必要がある。この場合、露光期間Ｔｓｈの終了時点のタイムコードＴｃの値「２０４７」が取得部１３によりメモリに書き込まれることになる。したがって、図３の例においてタイムコード生成部１２が等間隔でタイムコードＴｃを生成する場合、取得部１３は、１１ビットのビット幅を持つメモリが必要となる。
これに対して、第１の実施形態では、タイムコード生成部１２は、露光期間Ｔｓｈの経過に伴い更新周期を変化させて、可変間隔でタイムコードＴｃを生成する。このとき、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点において、露光期間Ｔｓｈ内で最も短い更新周期によりタイムコードＴｃを生成する。露光期間Ｔｓｈの経過に伴い更新周期を長くし、露光期間Ｔｓｈの終了時点で、露光期間Ｔｓｈ内で最も長い更新周期によりタイムコードＴｃを生成する。
より具体的には、第１の実施形態に係るタイムコード生成部１２は、照度を例えば高照度、中照度および低照度の３段階に分類し、それぞれ異なる更新周期に従った間隔でタイムコードＴｃを生成する。すなわち、高照度、中照度および低照度に対応する更新周期をそれぞれ更新周期ｆh、ｆmおよびｆlとすると、これら更新周期ｆh、ｆmおよびｆlの関係は、ｆh＞ｆm＞ｆlとなる。
タイムコード生成部１２は、高照度の更新周期ｆhに従った間隔のタイムコードＴｃを、露光期間Ｔｓｈの開始時点から、露光期間Ｔｓｈの第１の時点まで生成する。タイムコード生成部１２は、中照度の更新周期ｆmに従った間隔のタイムコードＴｃを、当該第１の時点から所定時間が経過した第２の時点まで生成する。さらに、タイムコード生成部１２は、低照度の更新周期ｆlに従った間隔のタイムコードＴｃを、当該第２の時点から露光期間Ｔｓｈの終了時点まで生成する。
図３の例では、第１の実施形態に係るタイムコード生成部１２は、露光期間Ｔｓｈの開始時点でタイムコードＴｃをリセットし、タイムコードＴｃの値「１」～「８」を高照度、値「９」～「１６」を中照度、値「１７」～「３１」を低照度に割り当てている。このように、タイムコードＴｃを生成するための更新周期ｆを可変とすることで、取得部１３が有するメモリは、例えば５ビットのビット幅を持っていればよい。
すなわち、図３の例では、高照度の場合、時間Ｔｔｈに対するタイムコードＴｃが値「８」となっており、この値「８」が取得部１３によりメモリに書き込まれる。一方、低照度の場合には、露光期間Ｔｓｈの終了時点までカウントが継続されるが、タイムコードＴｃの間隔が高照度の場合に比べて長くなっているため、露光期間Ｔｓｈの終了時点のタイムコードＴｃの値「３１」が取得部１３のメモリに書き込まれる。
ここで、上述の式（１）によれば、予測カウント値Ｎｐｒｅは、露光期間Ｔｓｈの開始時点からの経過時間である時間Ｔｔｈが０に近付くに連れ急激に増大し、さらに時間Ｔｔｈが０の場合には無限大となる。したがって、時間Ｔｔｈが極めて短い期間では、予測カウント値Ｎｐｒｅが極めて大きな値となり、当該期間内の予測カウント値Ｎｐｒｅは、現実的に意味をなさない値となる。これは、当該期間におけるタイムコードＴｃが不要であることを意味している。そのため、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点から所定時間が経過した時点において最も短い更新周期を設定し、当該時点から露光期間Ｔｓｈの終了時点に向けて、時間の経過に伴い更新周期を長くすると、好ましい。更新周期を設定するための所定時間は、例えば、露光期間Ｔｓｈの開始後、所定の照度（例えば所望する最大照度）に対応する予測カウント値Ｎｐｒｅが得られると推測される時間とすることができる。
図３の例では、例えばタイムコード生成部１２は、最下段に示される可変間隔のタイムコードＴｃにおいて、タイムコードＴｃ＝「５」より小さい値のタイムコードＴｃを無視している。これに限らず、タイムコード生成部１２は、このタイムコードＴｃ＝「５」の位置からタイムコードＴｃの生成を開始してもよい。例えば、タイムコード生成部１２は、露光期間Ｔｓｈの開始時点から上述した所定時間が経過した時点において最も短い更新周期を設定し、当該時点から露光期間Ｔｓｈの終了時点に向けて、時間の経過に伴い更新周期を長くする。
このように、第１の実施形態に係る受光装置１ａでは、露光期間Ｔｓｈ内において画素１０にて検知されたフォトン数が閾値Ｎｔｈに達した場合に取得するタイムコードＴｃを、露光期間Ｔｓｈの経過に伴い変化する更新周期に従った間隔で生成する。そのため、タイムコードＴｃを書き込むメモリのビット幅を小さく抑えることができる。これにより、回路面積を削減することが可能である。
（１－２．第１の実施形態に適用可能な構成）
次に、第１の実施形態に係る受光装置１ａに適用可能な構成の例について説明する。図４は、第１の実施形態に係る受光装置１ａが適用された電子機器の一例の構成を概略的に示すブロック図である。図４において、電子機器１０００は、レンズ１００１を含む光学系と、受光装置１ａと、記憶部１００２と、制御部１００３と、を含む。光学系は、レンズ１００１に入射した光を受光装置１ａにおける画素１０の受光面に導く。
記憶部１００２は、メモリなどデータを記憶する記憶媒体と、記憶媒体に対する読み書きを制御する制御部とを含む。記憶部１００２は、受光装置１ａから出力される出力データを記憶する。
制御部１００３は、受光装置１ａを制御して、受光装置１ａに対して上述の出力データを出力させる動作を実行させる。例えば、制御部１００３は、露光期間Ｔｓｈの開始時点と終了時点（露光期間Ｔｓｈの長さ）とを、受光装置１ａに指示することができる。また例えば、制御部１００３は、受光装置１ａに対して、タイムコードＴｃを生成するための更新周期に対する基準信号を出力することができる。さらに例えば、制御部１００３は、タイムコードＴｃの間隔を高照度、中照度および低照度で切り替えるためのタイミングを、受光装置１ａに対して指示することができる。
図５は、第１の実施形態に係る受光装置１ａに適用可能なデバイスの構成の例を示す模式図である。図５において、受光装置１ａは、それぞれ半導体チップからなる受光チップ２０００と、ロジックチップ２０１０とが積層されて構成される。なお、図５では、説明のため、受光チップ２０００とロジックチップ２０１０とを分離した状態で示している。
受光チップ２０００は、複数の画素１０に１対１に含まれる複数の光電変換素子１１０が例えば２次元格子状に配置されてなる画素アレイ部２００１を含む。ロジックチップ２０１０は、光電変換素子１１０によって取得された信号を処理する信号処理部を含むロジックアレイ部２０１１が設けられる。受光チップ２０００に含まれる各回路と、ロジックチップ２０１０に含まれる各回路と、は、ＣＣＣ(Copper-Copper Connection)などにより電気的に接続される。ロジックチップ２０１０に対して、さらに、当該ロジックアレイ部２０１１と近接して、光電変換素子１１０によって取得された信号を記憶する記憶部２０１２と、受光装置１ａとしての動作を制御する素子制御部２０１３と、を設けることができる。
ここで、ＣＣＣは、受光チップ２０００の配線層に含まれる一部の配線と、ロジックチップ２０１０の配線層に含まれる一部の配線と、が直接接合されることにより、受光チップ２０００とロジックチップ２０１０とが電気的に接続される接続形態である。この場合の配線は、銅を一例として、金属などの導電材料で形成することができる。
受光チップ２０００とロジックチップ２０１０との接続形態は、ＣＣＣに限定されない。例えば、受光チップ２０００とロジックチップ２０１０とを、バンプ接続や貫通電極などにより接続することも可能である。
この受光チップ２０００とロジックチップ２０１０との間の電気的な接続は、例えば、受光チップ２０００で生成された画素信号のロジックチップ２０１０への伝送や、外部から印加された電源の受光チップ２０００内、ロジックチップ２０１０内への供給などを目的とする。
一例として、外部から印加された電源は、例えば受光チップ２０００において画素アレイ部２００１の外部に設けられるボンディングパッド（引き出し電極）を介して受光チップ２０００の配線層に供給される。受光チップ２０００の配線層と、ロジックチップ２０１０の配線層とを、上述したＣＣＣなどの接続部により直接接続し、電源を受光チップ２０００からロジックチップ２０１０に供給する。
また、上述では、この受光チップ２０００とロジックチップ２０１０との間で電気的な接続を行う接続部が、１つの画素１０に対して１つ、設けられるように説明したが、これはこの例に限定されない。例えば、複数の画素１０に対して１つの接続部が設けられる構成や、１つの画素１０に対して複数の接続部が設けられる構成であってもよい。
なお、素子制御部２０１３は、ロジックアレイ部２０１１の制御以外にも、例えば光電変換素子１１０の近傍に、他の駆動や制御の目的で配置することができる。素子制御部２０１３は、図５に示した配置以外にも、受光チップ２０００およびロジックチップ２０１０の任意の領域に、任意の機能を有するように設けることができる。
なお、上述では、画素１０に含まれる各要素のうち光電変換素子１１０のみが受光チップ２０００に配置されるように説明したが、これはこの例に限定されない。すなわち、受光チップ２０００に対して、光電変換素子１１０から読み出した電荷を電気信号に変換する信号処理回路をさらに配置してもよい。さらにまた、受光チップ２０００に対して、当該信号処理回路から出力された電気信号に対して他の信号処理を施す回路を配置してもよい。
次に、図６および図７を用いて、受光チップ２０００およびロジックチップ２０１０のより具体的な構成例について説明する。図６は、第１の実施形態に適用可能な受光チップ２０００の一例の構成を示す平面図である。この受光チップ２０００には、画素アレイ部２００１が設けられ、画素アレイ部２００１には、２次元格子状に複数の光電変換素子１１０が設けられる。光電変換素子１１０の詳細については後述する。
図７は、第１の実施形態に適用可能なロジックチップ２０１０の一例の構成を示すブロック図である。図７の例では、ロジックチップ２０１０には、垂直制御部２０１３ａ、ロジックアレイ部２０１１、水平制御部２０１３ｂ、信号処理部２０１３ｃおよび記憶部２０１２が配置される。これらのうち、垂直制御部２０１３ａ、水平制御部２０１３ｂおよび信号処理部２０１３ｃは、素子制御部２０１３に含まれる構成とすることができる。また、ロジックアレイ部２０１１には、光電変換素子１１０毎に、論理回路２０１４が配列される。これらの論理回路２０１４のそれぞれは、対応する光電変換素子１１０と信号線を介して接続されている。光電変換素子１１０と、当該光電変換素子１１０に対応する論理回路２０１４とからなる回路は、１つの画素１０による画素信号を生成する画素回路として機能する。
例えば制御部１００３から出力された垂直同期信号および水平同期信号が、垂直制御部２０１３ａおよび水平制御部２０１３ｂにそれぞれ供給される。また、制御部１００３から出力された露光制御信号が、ロジックアレイ部２０１１および信号処理部２０１３ｃにそれぞれ供給される。
ここで、２次元格子の所定方向（例えば図６および図７における横方向）を行方向とし、行に垂直の方向を列方向とする。すなわち、画素回路（光電変換素子１１０および論理回路２０１４）は、画素アレイ部２００１およびロジックアレイ部２０１１に対して、行方向および列方向それぞれに整列されて配置される。以下では、特に記載の無い限り、画素回路の行方向の集合を「行」と呼び、画素回路の列方向の集合を「列」と呼ぶ。
垂直制御部２０１３ａは、垂直同期信号に同期して行を順に選択する。論理回路２０１４は、図１を用いて説明した計数部１１および取得部１３を含み、取得部１３のメモリに記憶されたタイムコードＴｃを出力することができる。各論理回路２０１４から出力されたタイムコードＴｃは、信号処理部２０１３ｃに供給される。水平制御部２０１３ｂは、水平同期信号に同期して列を順に選択して画素信号を出力させる。
信号処理部２０１３ｃは、さらに、制御部１００３から、露光期間Ｔｓｈを示す情報（露光開始タイミング、露光時間など）が入力される。信号処理部２０１３ｃは、各論理回路２０１４から供給された各タイムコードＴｃに基づき、例えば上述した式（１）に従い予測カウント値Ｎｐｒｅを算出する。信号処理部２０１３ｃは、算出した各予測カウント値Ｎｐｒｅを出力する。信号処理部２０１３ｃから出力された各予測カウント値Ｎｐｒｅは、記憶部２０１２に供給され、記憶される。
図８は、第１の実施形態に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。また、図８において、画素アレイ部２００１に対して、画素回路のより具体的な構成が示されている。
図８に例示されるように、画素アレイ部２００１は、複数の画素回路１００ａを含む。なお、図８では、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ａのうち、１行に含まれる各画素回路１００ａを抜粋して示している。
図８において、画素回路１００ａは、光電変換素子１１０と、信号処理部１１１ａと、カウンタ１１２と、閾値判定部１１３ａと、メモリ１１４と、を含む。
光電変換素子１１０は、フォトンの入射に応じて信号Ｖｐｈを出力する。上述した図５の構成の場合、信号Ｖｐｈは、例えばＣＣＣによる結合部を介して受光チップ２０００からロジックチップ２０１０に伝送され、ロジックチップ２０１０に配される信号処理部１１１ａに供給される。信号処理部１１１ａは、光電変換素子１１０から出力された信号Ｖｐｈを整形し、フォトンの入射に応じたパルスＶｐｌｓとして出力する。パルスＶｐｌｓの出力タイミングは、後述するＴＣ生成部１２０から供給される信号ＳＨ＿ＯＮに従い制御される。カウンタ１１２は、信号処理部１１１ａから出力されたパルスＶｐｌｓの数をカウントし、カウント結果をフォトン情報ＰｈＩｎｆｏとして出力する。
閾値判定部１１３ａは、カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏに対して、閾値Ｎｔｈに基づく判定を行う。閾値判定部１１３ａは、フォトン情報ＰｈＩｎｆｏに基づき、光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈを超えたと判定した場合、書き込み信号ＷＲｅｎ（Ｗ）を出力する。カウンタ１１２および閾値判定部１１３ａにより、図１の計数部１１が構成される。
メモリ１１４は、図１の取得部１３に対応するもので、書き込み信号ＷＲｅｎに応じて、後述するＴＣ生成部１２０から信号線１４２を介して供給されるタイムコードＴｃを記憶する。なお、メモリ１１４は、メモリ１１４自身へのデータの書き込みと、メモリ１１４からのデータの読み出しを制御するメモリ制御部を含む。
一方、図８において、垂直制御部２０１３ａは、行毎に、ＴＣ（タイムコード）生成部１２０を含む。ＴＣ生成部１２０は、図１に示したタイムコード生成部１２と対応するものである。ＴＣ生成部１２０は、制御部１００３の制御に従い、露光期間Ｔｓｈの経過に伴い変化する更新周期を生成し、この更新周期に基づきタイムコードＴｃを生成する。例えば、制御部１００３は、基準のタイミング信号を生成してＴＣ生成部１２０に供給する。ＴＣ生成部１２０は、この基準タイミング信号に基づき、所定の更新周期でタイムコードＴｃを生成する。図８の例では、ＴＣ生成部１２０で生成されたタイムコードＴｃは、信号線１４２を介して各画素回路１００ａ、１００ａ、…に入力され、各画素回路１００ａ、１００ａ、…が有するメモリ１１４にそれぞれ供給され記憶される。
各画素回路１００ａ、１００ａ、…がそれぞれ有するメモリ１１４に記憶された各タイムコードＴｃは、信号線１４２を介して、各メモリ１１４から読み出される。
なお、制御部１００３は、例えば、露光期間Ｔｓｈの開始タイミングをＴＣ生成部１２０に指示すると共に、露光期間Ｔｓｈの長さを示す情報をＴＣ生成部１２０に供給する。
また、ＴＣ生成部１２０は、信号処理部１１１ａがパルスＶｐｌｓを出力するタイミングを指示する信号ＳＨ＿ＯＮを生成する。ＴＣ生成部１２０は、例えば、所定のクロック信号に基づき信号ＳＨ＿ＯＮを生成する。図８の例では、ＴＣ生成部１２０で生成された信号ＳＨ＿ＯＮは、信号線１４１を介して各画素回路１００ａ、１００ａ、…に入力され、信号処理部１１１ａに供給される。
図９は、第１の実施形態に適用可能な信号処理部１１１ａの一例の構成を示す図である。図９において、信号処理部１１１ａは、抵抗１１０１と、インバータ１１０２と、アンプ１１０３と、スイッチ１１０４と、を含む。
図９において、例えばＳＰＡＤである光電変換素子１１０は、カソードが抵抗１１０１を介して電源電位ＶＤＤの端子に接続され、アノードが電源電位ＶＤＤよりも電位が低い電位ＧＮＤ（１）の端子に接続される。電位ＧＮＤ（１）の端子は、例えば接地端子である。これにより、光電変換素子１１０には、逆バイアスが印加される。また、光電流は、光電変換素子１１０のカソードからアノードに向けた方向に流れる。
なお、光電変換素子１１０は、ＳＰＡＤに限定されない。光電変換素子１１０としてアバランシェフォトダイオード（ＡＰＤ）や、通常のフォトダイオードを適用することも可能である。
抵抗１１０１の一端が電源電位ＶＤＤに接続され、他端が光電変換素子１１０のカソードに接続される。光電変換素子１１０においてフォトンの入射が検出される毎に抵抗１１０１に光電流が流れ、光電変換素子１１０のカソード電位が、電源電位ＶＤＤより低い初期状態の値に降下する（クエンチング動作）。
抵抗１１０１と光電変換素子１１０のカソードとの接続点から取り出された信号が、インバータ１１０２に入力される。インバータ１１０２は、入力された、光電変換素子１１０のカソード電位の信号を反転し、反転出力信号Ｖｓｉｇをスイッチ１１０４を介してアンプ１１０３に供給する。アンプ１１０３は、反転出力信号Ｖｓｉｇを整形して、パルスＶｐｌｓとして出力する。また、インバータ１１０２およびアンプ１１０３が接続される接地側の電位ＧＮＤ（２）は、光電変換素子１１０のアノードが接続される接地側の電位ＧＮＤ（１）と異なる。
なお、図９において、光電変換素子１１０は、受光チップ２０００上に形成される。また、抵抗１１０１、インバータ１１０２、アンプ１１０３およびスイッチ１１０４は、ロジックチップ２０１０上に形成される。光電変換素子１１０のカソードが、例えばＣＣＣによる結合部１１０５ａを介して、抵抗１１０１とインバータ１１０２の入力端とが接続される接続点に接続される。また、光電変換素子１１０のアノードが、例えばＣＣＣによる結合部１１０５ｂを介して、ロジックチップ２０１０上に配される接地側の電位（１）を供給する供給線に接続される。
図１０Ａおよび図１０Ｂを用いて、第１の実施形態に適用可能な光電変換素子１１０の構成の例について説明する。図１０Ａは、第１の実施形態に適用可能な、ＳＰＡＤとしての光電変換素子１１０の構成の例を示す図である。図１０において、光電変換素子１１０は、ＳＰＡＤを用いたＳＰＡＤ画素としての増倍領域と光電変換を行う光電変換部（Ｎ－領域）８４０を備え、光電変換部８４０の裏面側の最表面は、光が照射される光照射部とされている。
図１０Ａにおいて、図示されないアノード電極がＰ型半導体領域７６０と電気的に接続されている。Ｐ型半導体領域７６０は、下層ほど不純物濃度が低くなるように構成されている。また、Ｐ型半導体領域７６０から、金属層８３０を含む画素分離部８３１に沿ってＰ型半導体領域７００、Ｐ－型半導体領域７１０が形成され、Ｐ型半導体領域７６０からアバランシュ部７２０までが電気的に接続されている。アバランシュ部７２０はＰ＋型半導体領域７３０とＮ＋型半導体領域７４０が接合されて構成されている。Ｐ型半導体領域７００は、アバランシュ部７２０で読み出したい電荷（電子）が通過するように、逆の電荷（ホール）を蓄積させることで構成されている。Ｐ－型半導体領域７１０は、アバランシュ部７２０に電荷が通過するよう、中央の電位を高くするため、低濃度の領域とすることが望ましい。
Ｎ＋型半導体領域７４０は、Ｎ＋型半導体領域７５０を介して電極８０１と接続されている。また、Ｐ＋型半導体領域７３０とＮ＋型半導体領域７４０の側面には、Ｎ－型半導体領域７８０が形成されている。また、Ｎ＋型半導体領域７４０およびＮ－型半導体領域７８０と電気的に接続されるＰ＋型半導体領域７９０が設けられ、Ｐ＋型半導体領域７９０は電極８００を介して接地（ＧＮＤ）されている。
画素分離部８３１の側面とＰ型半導体領域７６０の上層には、固定電荷膜８１０が設けられている。Ｐ型半導体領域７６０の上層において、固定電荷膜８１０上に、絶縁膜８２１を介してカラーフィルタ８２２が設けられる。カラーフィルタ８２２のさらに上に、オンチップレンズ８２０が設けられる。なお、カラーフィルタ８２２は、用途に応じて設けられる。
図１０Ｂは、第１の実施形態に適用可能な、フォトダイオードとしての光電変換素子１１０を含む受光部２００１０の構成の例を示す図である。図１０Ｂにおいて、フォトダイオードである光電変換素子１１０が、半導体基板２００１８の裏面（図１０Ｂでは上面）側から入射する入射光２０００１を受光する。光電変換素子１１０の上方には、平坦化膜２００１３、カラーフィルタ２００１２、マイクロレンズ２００１１が設けられており、各部を順次介して入射した入射光２０００１を、受光面２００１７で受光して光電変換が行われる。
例えば、光電変換素子１１０は、Ｎ型半導体領域２００２０が、電荷（電子）を蓄積する電荷蓄積領域として形成されている。光電変換素子１１０においては、Ｎ型半導体領域２００２０は、半導体基板２００１８のＰ型半導体領域２００１６、２００４１の内部に設けられている。Ｎ型半導体領域２００２０の、半導体基板２００１８の表面（下面）側には、裏面（上面）側よりも不純物濃度が高いＰ型半導体領域２００４１が設けられている。つまり、光電変換素子１１０は、ＨＡＤ(Hole-Accumulation Diode)構造になっており、Ｎ型半導体領域２００２０の上面側と下面側との各界面において、暗電流が発生することを抑制するように、Ｐ型半導体領域２００１６、２００４１が形成されている。
半導体基板２００１８の内部には、複数の受光部２００１０の間を電気的に分離する画素分離部２００３０が設けられており、この画素分離部２００３０で区画された領域に、光電変換素子１１０が設けられている。図中、上面側から、固体撮像装置を見た場合、画素分離部２００３０は、例えば、複数の受光部２００１０の間に介在するように格子状に形成されており、光電変換素子１１０は、この画素分離部２００３０で区画された領域内に形成されている。
各光電変換素子１１０では、アノードが接地されており、受光部２００１０において、光電変換素子１１０が蓄積した信号電荷（例えば、電子）は、例えば、ＭＯＳＦＥＴ(Metal Oxide Semiconductor Field Effect Transistor)による図示せぬ転送トランジスタなどを介して読み出され、電気信号として、図示せぬＶＳＬ（垂直信号線）へ出力される。
配線層２００５０は、半導体基板２００１８のうち、遮光膜２００１４、カラーフィルタ２００１２、マイクロレンズ２００１１等の各部が設けられた裏面（上面）とは反対側の表面（下面）に設けられている。
配線層２００５０は、配線２００５１と絶縁層２００５２とを含み、絶縁層２００５２内において、配線２００５１が各素子に電気的に接続するように形成されている。配線層２００５０は、いわゆる多層配線の層になっており、絶縁層２００５２を構成する層間絶縁膜と配線２００５１とが交互に複数回積層されて形成されている。ここでは、配線２００５１としては、転送Ｔｒ等の光電変換素子１１０から電荷を読み出すためのトランジスタへの配線や、ＶＳＬなどの各配線が、絶縁層２００５２を介して積層されている。
配線層２００５０の、光電変換素子１１０が設けられている側に対して反対側の面には、支持基板２００６１が設けられている。例えば、厚みが数百μｍのシリコン半導体からなる基板が、支持基板２００６１として設けられている。
遮光膜２００１４は、半導体基板２００１８の裏面（図では上面）の側に設けられている。遮光膜２００１４は、半導体基板２００１８の上方から半導体基板２００１８の裏面へ向かう入射光２０００１の一部を、遮光するように構成されている。
遮光膜２００１４は、半導体基板２００１８の内部に設けられた画素分離部２００３０の上方に設けられている。ここでは、遮光膜２００１４は、半導体基板２００１８の裏面（上面）上において、シリコン酸化膜などによる絶縁膜２００１５を介して、凸形状に突き出るように設けられている。これに対して、半導体基板２００１８の内部に設けられた光電変換素子１１０の上方においては、光電変換素子１１０に入射光２０００１が入射するように、遮光膜２００１４は、設けられておらず、開口している。
つまり、図１０Ｂ中、上面側から受光部２００１０を見た場合、遮光膜２００１４の平面形状は、複数の受光部２００１０を区画する格子状になっており、入射光２０００１が受光面２００１７へ通過する開口が形成されている。
遮光膜２００１４は、光を遮光する遮光材料で形成されている。例えば、チタン（Ｔｉ）膜とタングステン（Ｗ）膜とを、順次、積層することで、遮光膜２００１４が形成されている。この他に、遮光膜２００１４は、例えば、窒化チタン（ＴｉＮ）膜とタングステン（Ｗ）膜とを、順次、積層することで形成することができる。遮光膜２００１４は、平坦化膜２００１３によって被覆されている。平坦化膜２００１３は、光を透過する絶縁材料を用いて形成されている。
画素分離部２００３０は、溝部２００３１、固定電荷膜２００３２および絶縁膜２００３３を有する。
固定電荷膜２００３２は、半導体基板２００１８の裏面（上面）の側において、複数の受光部２００１０の間を区画している溝部２００３１を覆うように形成されている。具体的には、固定電荷膜２００３２は、半導体基板２００１８において裏面（上面）側に形成された溝部２００３１の内側の面を一定の厚みで被覆するように設けられている。そして、その固定電荷膜２００３２で被覆された溝部２００３１の内部を埋め込むように、絶縁膜２００３３が設けられている（充填されている）。
ここでは、固定電荷膜２００３２は、半導体基板２００１８との界面部分において正電荷（ホール）蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜２００３２が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板２００１８との界面に電界が加わり、正電荷（ホール）蓄積領域が形成される。
固定電荷膜２００３２は、例えば、ハフニウム酸化膜（ＨｆＯ2膜）で形成することができる。また、固定電荷膜２００３２は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも１つを含むように形成することができる。
（１－３．第１の実施形態に係るタイムコードＴｃ生成処理）
図１１および図１２を用いて、第１の実施形態に係るＴＣ生成部１２０の動作について説明する。図１１は、第１の実施形態に係るＴＣ生成部１２０の一例の構成を示すブロック図である。また、図１２は、第１の実施形態に係るＴＣ生成部１２０の動作を説明するための一例のタイミングチャートである。
図１１において、第１の実施形態に係るＴＣ生成部１２０は、時間カウンタ１２１と、分周設定値記憶部１２２と、周波数判定部１２３と、コード生成部１２４と、を含む。
時間カウンタ１２１は、一定周波数で駆動され、例えば制御部１００３から供給される基準クロック信号のカウントを行う。時間カウンタ１２１は、例えば露光期間Ｔｓｈの開始時点でカウント値が「０」に初期化され、基準クロック信号の立ち上がりまたは立ち下がりでカウント値を「１」ずつ増加させ、基準クロック信号のカウントを行う。ここでは、説明のため、露光期間Ｔｓｈは、基準クロック信号の１２８カウント分の長さを有するものとする。この場合、時間カウンタ１２１のカウント値は、露光期間Ｔｓｈの開始時点で「０」、終了時点で「１２７」となる。
分周設定値記憶部１２２は、複数の周波数分周値が予め記憶され、周波数判定部１２３の要求に応じて、記憶される複数の周波数分周値から要求される周波数分周値を出力する。一例として、分周設定値記憶部１２２は、周波数分周値として値「３１」、「６３」および「１２７」を記憶する。
周波数判定部１２３は、時間カウンタ１２１のカウント値と、分周設定値記憶部１２２から出力された周波数分周値とが入力される。周波数判定部１２３は、入力されたカウント値および周波数分周値に基づき、周波数情報を出力する。ここでは、周波数情報の初期値を「１」とする。
より具体的には、周波数判定部１２３は、入力されたカウント値と周波数分周値とが一致するか否かを判定する。若し、カウント値と周波数分周値とが一致し、且つ、現在入力されている周波数分周値が最大値ではないと判定された場合、周波数判定部１２３は、周波数情報に１を加算して出力する。それと共に、周波数判定部１２３は、分周設定値記憶部１２２に対して、現在入力されている周波数分周値より１つ大きい値の周波数分周値を要求する。
コード生成部１２４は、基準クロック信号と、周波数判定部１２３から出力された周波数情報とに基づき、タイムコードＴｃを出力する。このとき、コード生成部１２４は、周波数情報に応じた回数で基準クロック信号を分周して更新周期を変更し、タイムコードＴｃの時間間隔を制御する。例えば、コード生成部１２４は、周波数情報の値が「１」で基準クロック信号を１回分周し、基準クロック信号の１／２の更新周期に応じてタイムコードＴｃを生成する。また例えば、コード生成部１２４は、周波数情報の値が「２」で基準クロック信号を２回分周し、基準クロック信号の１／４の更新周期に応じてタイムコードＴｃを生成する。
図１２のタイミングチャートを用いて、ＴＣ生成部１２０の動作について、より具体的に説明する。図１２において、クロックは、時間カウンタ１２１により基準クロック信号をカウントしたカウント値を示す。図１２の例では、クロックの値は、露光期間Ｔｓｈの開始時点で「０」、終了時点で「１２７」とされている。露光期間Ｔｓｈの開始時点において、周波数判定部１２３は、分周設定値記憶部１２２から周波数分周値の初期値である値「３１」を取得すると共に、周波数情報の初期値である値「１」を出力する。
コード生成部１２４は、値「１」の周波数情報に基づき基準クロック信号を１回分周し、基準クロック信号の１／２の周波数（更新周期）に応じて１ずつ値が増加するタイムコードＴｃを生成する。
周波数判定部１２３は、クロックの値が周波数分数値「３１」と一致したと判定した場合、分周設定値記憶部１２２に対して、現在の周波数分数値「３１」より１つ大きい値の周波数分周値「６３」を要求する。それと共に、周波数判定部１２３は、周波数情報の値「１」に「１」を加算して値「２」とする。コード生成部１２４は、周波数情報の値「２」に応じて基準クロック信号を２回分周し、基準クロック信号の１／４の周波数に応じて１ずつ値が増加するタイムコードＴｃを生成する。
図１２の例では、コード生成部１２４は、周波数情報が値「１」の期間（クロックの値「０」～「３１」）に、基準クロック信号の１／２の周波数に従い、値「０」から値「１５」まで１ずつ増加するタイムコードＴｃを順次に生成する。コード生成部１２４は、周波数情報が値「１」から値「２」に切り替わると、基準クロック信号の１／４の周波数に従い、次の値「１６」から１ずつ増加するタイムコードＴｃを生成する。
このように、第１の実施形態に係るＴＣ生成部１２０によれば、クロックの値が周波数分周値と一致する毎に、基準クロック信号を分周する分周比を大きくすると共に、周波数分周値を更新している。そのため、露光期間Ｔｓｈにおける時間の経過に応じて更新周期が順次に長くなり、タイムコードＴｃの時間間隔が順次に長くなる。
ここで、露光期間Ｔｓｈ内において時間間隔が固定の時間間隔で生成されたタイムコードＴｃ’を用いた場合について考える。ここでは、タイムコードＴｃ’は、基準クロック信号の周波数の１／２の周波数に従い生成されるものとする。この場合、露光期間Ｔｓｈの終了時点でのタイムコードＴｃ’は、値「６３」となり、６ビットのデータとなる。これに対して、第１の実施形態では、タイムコードＴｃの時間間隔を時間の経過に伴い長くすることで、露光期間Ｔｓｈの終了時点でのタイムコードＴｃは、値「３１」となり、５ビットのデータとなる。
このように、タイムコードＴｃの時間間隔を可変とすることで、タイムコードＴｃのビット数を少なくすることができ、タイムコードＴｃにより取得される時間Ｔｔｈを格納するメモリのサイズの削減が可能となる。
基準クロック信号に対する分周比が最も小さい（１／２）期間は、タイムコードＴｃが最も短い更新周期に応じて生成される期間であり、入射されたフォトン数が閾値Ｎｔｈに達した時間Ｔｔｈを、最も高い精度で取得できる。一方、当該分周比が大きくなるに連れ、タイムコードＴｃを生成するための更新周期が長くなり、時間Ｔｔｈの取得精度が低くなる。
高照度の場合は、露光期間Ｔｓｈの開始時点から短時間に多数のフォトンが入射されると考えられる。この場合、フォトン入射の平均時間間隔Ｔａが短くなるため、時間Ｔｔｈの取得に高い精度が要求される。一方、低照度の場合は、露光期間Ｔｓｈの開始時点から長時間にわたり少数のフォトンが入射されと考えられる。この場合、フォトン入射の平均時間間隔Ｔａが長くなる。そのため、時間Ｔｔｈの取得に高い精度は要求されないと考えられる。
したがって、露光期間Ｔｓｈの開始時点においてタイムコードＴｃの時間間隔を最も短くし、露光期間Ｔｓｈの経過に伴いタイムコードＴｃの時間間隔を順次長くしていくことで、時間Ｔｔｈを効率良く取得可能となる。また、高照度、中照度および低照度において、それぞれ適切なタイムコードＴｃの時間間隔を設定できるため、量子化ノイズを抑制することも可能である。
図１２の例では、時間カウンタ１２１が一定周波数で駆動されて基準クロック信号をカウントしているが、これはこの例に限定されない。例えば、時間カウンタ１２１を駆動する周波数を可変としてもよい。図１３は、第１の実施形態に係る、時間カウンタ１２１を駆動する周波数を可変とした場合のＴＣ生成部１２０の動作を説明するための一例のタイミングチャートである。なお、図１３のタイミングチャートの各部の意味は、上述した図１２のタイミングチャートと同様であるので、ここでの説明を省略する。
図１３の例では、時間カウンタ１２１を、クロックの値が「３２」以降で、それ以前の１／２の周波数で駆動している。これに伴い、分周設定値記憶部１２２に記憶される周波数分周値を、値「３１」、「４７」および「６３」としている。周波数判定部１２３およびコード生成部１２４の動作は、上述した図１２の例と同様である。この場合であっても、タイムコードＴｃの時間間隔を周波数分周値および周波数情報に基づき可変にでき、タイムコードＴｃのビット数を少なくすることが可能となる。
また、上述では、タイムコードＴｃとして１ずつ増加する数値を適用しているが、これはこの例に限定されない。すなわち、タイムコードＴｃの増加幅は１に限定されない。さらには、値が重複しなければ、単純増加あるいは単純減少以外の値をタイムコードＴｃに用いてもよい。
図１４は、第１の実施形態に適用可能な、単純増加あるいは単純減少以外の値の例としてグレイコードをタイムコードＴｃに適用した例を示すタイミングチャートである。なお、図１４のタイミングチャートの各部の意味は、上述した図１２のタイミングチャートと同様であるので、ここでの説明を省略する。また、図１４では、図１２における周波数分周値が値「３１」の期間を抜粋して示している。
グレイコードは、前後に隣接する符号間のハミング距離が必ず１であるコードであって、ある値から隣接する値に変化する際に、常に１ビットしか変化しない特性を持つ。このように、タイムコードＴｃにグレイコードを適用することで、ＴＣ生成部１２０におけるタイムコードＴｃの発行に要する電力を、例えば一般的なバイナリを用いた場合に比べて削減することが可能である。また、グレイコードは、値が隣接する値に変化する際のビットの変化が一般的なバイナリを用いた場合に比べて小さいので、フォトン数の予測に係る不安定要素を抑制することも可能である。例えば、タイムコードＴｃとしてグレイコードを用いることで、ＴＣ生成部１２０における周波数設計を緩和できる効果も有する。
図１１に示したＴＣ生成部１２０は、周波数判定部１２３が周波数分周値と時間カウンタ１２１のカウント値とに基づき、コード生成部１２４がタイムコードＴｃを生成するための周波数情報を生成しているが、これはこの例に限定されない。例えば、ＰＬＬ(Phase Locked Loop)を用いて周波数情報を生成してもよい。
図１５は、第１の実施形態に適用可能な、ＰＬＬを用いてタイムコードＴｃを生成する構成の例を示すブロック図である。図１５において、ＴＣ生成部１２０’は、分周設定値記憶部１２２と、クロック生成部１２５と、ＰＬＬ回路１２６と、コード生成部１２７と、を含む。分周設定値記憶部１２２は、図１１に示したＴＣ生成部１２０と同様に、複数の周波数分周値（例えば値「３１」、「６３」および「１２７」）が予め記憶される。
クロック生成部１２５は、例えば制御部１００３から供給される基準クロック信号に基づき、周波数が安定的とされたクロック信号を生成する。ＰＬＬ回路１２６は、クロック生成部１２５で生成されたクロック信号と、ＰＬＬ回路１２６の要求に応じて分周設定値記憶部１２２から出力された周波数分周値とが入力される。ＰＬＬ回路１２６は、入力されたクロック信号に基づき周波数分周値に応じた周波数のクロック信号を生成する。ＰＬＬ回路１２６で生成されたクロック信号は、コード生成部１２７に供給される。
コード生成部１２７は、例えばカウンタと比較部とを含む。カウンタは、ＰＬＬ回路１２６から供給されたクロック信号をカウントする。比較部は、カウンタによりカウントされたカウント値と閾値Ｎｔｈとを比較する。コード生成部１２７は、カウント値が閾値Ｎｔｈ以上になったと判定した場合、当該カウント値をタイムコードＴｃとして出力する。
また、コード生成部１２７は、カウント値が閾値Ｎｔｈ以上になり、且つ、現在入力されている周波数分周値が最大値ではないと判定した場合、分周設定値記憶部１２２に対して、現在入力されている周波数分周値より１つ大きい周波数分周値を要求する。これにより、ＰＬＬ回路１２６が生成するクロック信号の周波数を下げることができる。このとき、タイムコードＴｃを生成するためのクロック信号をＰＬＬ回路１２６により制御することで、タイムコードＴｃのより細かな制御が可能となる。
（１－４．第１の実施形態に適用可能なカウンタの構成例）
次に、第１の実施形態に適用可能なカウンタ１１２（図８参照）の構成例について説明する。
（１－４－１．カウンタの第１の例）
まず、第１の実施形態に適用可能なカウンタ１１２の第１の例について説明する。図１６Ａおよび図１６Ｂは、第１の実施形態に適用可能な第１の例のカウンタ１１２ａの一例の構成を示すブロック図である。なお、以下では、特に記載の無い限り、閾値Ｎｔｈを１０進数表記で値「３１」、２進数表記で値「０ｂ１１１１１」とする。なお、２進数表記において、先頭の文字列「０ｂ」は、後続する文字列（この例では「１１１１１」）が２進数表記による値であることを示している。
図１６Ａにおいて、第１の例に係るカウンタ１１２ａは、それぞれ１ビットのカウントを行う複数のカウンタ１１２０、１１２０、…を含む。カウンタ１１２０、１１２０、…は、図１６Ｂに例示されるように、Ｔ（トグル）フリップフロップ（以下、Ｔ－ＦＦと略称する）が直列接続された構成となっている。
Ｔ－ＦＦは、入力端子Ｔに立ち下がりエッジが入力される毎に、出力端子Ｑの値が反転する。したがって、各カウンタ１１２０を、カウンタ１１２０の出力端子Ｑと次段のカウンタ１１２０の入力端子Ｔとを接続した直列接続とすることで、各カウンタ１１２０がビットをカウントするカウンタ１１２ａを構成できる。図１６Ａの例では、カウンタ１１２ａにおいて、５個のカウンタ１１２０が直列接続されているので、カウンタ１１２ａは、ビット「０」（Bit(0)）～ビット「４」（Bit(4)）までの５ビットのカウンタとして動作する。
各カウンタ１１２０が値「１」の状態でパルスＶｐｌｓの立ち下がりエッジが入力されると、カウンタ１１２ａがオーバーフローして、ＭＳＢ(Most Significant Bit)のカウンタ１１２０から値「１」が出力される。この値「１」は、フォトン情報ＰｈＩｎｆｏとして、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ａ）に入力される。閾値判定部１１３ａ（ａ）は、例えば１ビットのカウンタ１１３０を含み、カウンタ１１２ａから値「１」が入力されると、カウンタ１１３０において１ビットが出力され、入射されたフォトン数が閾値Ｎｔｈに達したとして、メモリ１１４への書き込み信号ＷＲｅｎ（Ｗ）を出力する。
（１－４－２．カウンタの第２の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第２の例について説明する。図１７は、第１の実施形態に適用可能な第２の例のカウンタ１１２ｂの一例の構成を示すブロック図である。
図１７において、第２の例に係るカウンタ１１２ｂは、それぞれＴ－ＦＦによるカウンタ１１２０、１１２０、…が直列に接続される。カウンタ１１２ｂは、各カウンタ１１２０、１１２０、…の出力端子Ｑから出力が取り出され、取り出された各ビットがビット列として出力される。図１７の例では、カウンタ１１２ｂが５個のカウンタ１１２０を含むため、５ビットのビット列として出力される。カウンタ１１２ｂ出力されたビット列は、フォトン情報ＰｈＩｎｆｏとして閾値判定部１１３ａ（ｂ）に供給される。
閾値判定部１１３ａ（ｂ）は、図８の閾値判定部１１３ａに対応するもので、比較回路１１３１を含む。閾値判定部１１３ａ（ｂ）に供給されたフォトン情報ＰｈＩｎｆｏは、比較回路１１３１に入力される。比較回路１１３１は、入力されたフォトン情報ＰｈＩｎｆｏと、閾値Ｎｔｈとを比較して、フォトン情報ＰｈＩｎｆｏが示す値と、閾値Ｎｔｈとが一致した場合に、メモリ１１４への書き込み信号ＷＲｅｎ（Ｗ）を出力する。
この第２の例のカウンタ１１２ｂおよび閾値判定部１１３ａ（ｂ）によれば、閾値Ｎｔｈとして、カウンタ１１２０の数に対応するビット数の範囲内の任意の値を設定することが可能である。
（１－４－３．カウンタの第３の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第３の例について説明する。図１８は、第１の実施形態に適用可能な第３の例のカウンタ１１２ｃの一例の構成を示すブロック図である。
図１８において、第３の例に係るカウンタ１１２ｃは、それぞれＴ－ＦＦによるカウンタ１１２０、１１２０、…が直列に接続される。カウンタ１１２ｃは、ＭＳＢに対応するカウンタ１１２０の入力および出力と、カウンタ１１２ｃに入力されるパルスＶｐｌｓとの、３つの信号がフォトン情報ＰｈＩｎｆｏとして出力される。カウンタ１１２ｃから出力されたフォトン情報ＰｈＩｎｆｏは、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ｃ）に供給される。
閾値判定部１１３ａ（ｃ）は、３入力のＡＮＤ回路１１３２を含む。閾値判定部１１３ａ（ｃ）に入力されたフォトン情報ＰｈＩｎｆｏに含まれる３つの信号は、それぞれＡＮＤ回路１１３２の３つの入力端に入力される。閾値判定部１１３ａ（ｃ）は、フォトン情報ＰｈＩｎｆｏに含まれる３つの値が「１」になった場合に、メモリ１１４への書き込み信号ＷＲｅｎ（Ｗ）を出力する。カウンタ１１２ｃに入力されるパルスＶｐｌｓを論理積による判定条件に用いているため、パルスＶｐｌｓの入力に同期して、書き込み信号ＷＲｅｎを出力できる。
（１－４－４．カウンタの第４の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第４の例について説明する。図１９Ａおよび図１９Ｂは、第１の実施形態に適用可能な第４の例のカウンタ１１２ｄの一例の構成を示すブロック図である。
図１９Ａにおいて、カウンタ１１２ｄは、それぞれ非同期型Ｔ－ＦＦ（以下、ＳＲＴ－ＦＦ）であるカウンタ１１２０’、１１２０’、…が直列に接続される。ＳＲＴ－ＦＦは、外部からの制御信号で初期状態を決定できるようにしたものである。それぞれＳＲＴ－ＦＦである各カウンタ１１２０’は、図１９Ｂに示されるように、入力端子Ｔに加え、端子Ｓおよび端子Ｒを有する。図１９Ｂの例では、例えば信号ＳＥＴが端子Ｒに入力されると共に、反転されて端子Ｓに入力される。この接続の場合、信号ＳＥＴ＝０で値「１」が書き込まれ（Ｑ＝１）、信号ＳＥＴ＝１で値「０」が書き込まれる（Ｑ＝０）。
図１９Ａの例では、ＬＳＢ(Least Significant Bit)側の３つのカウンタ１１２０’（Bit(0)、Bit(1)およびBit(2)）に対して、信号ＲＳＴ＿ＣＮＴが上述の信号ＳＥＴとして入力される。また、ＭＳＢ側の２つのカウンタ１１２０’（Bit(3)およびBit(4)）に対して、信号ＳＥＴ＿ＣＮＴが上述の信号ＳＥＴとして入力される。例えば、カウンタ１１２ｄに含まれる各カウンタ１１２０’、１１２０’、…をリセットする際に、初期化処理として、信号ＲＳＴ＿ＣＮＴを値「０」とし、信号ＳＥＴ＿ＣＮＴを値「１」とする。これにより、ＬＳＢ側の３つのカウンタ１１２０’（Bit(0)、Bit(1)およびBit(2)）にそれぞれ「０」が書き込まれ、ＭＳＢ側の２つのカウンタ１１２０’（Bit(3)およびBit(4)）に値「１」が書き込まれる。
このように各カウンタ１１２０’、１１２０’、…を初期化することで、閾値Ｎｔｈを制御することができる。上述の例では、ＭＳＢ側の２つのカウンタ１１２０’（Bit(3)およびBit(4)）の値が既に「１」とされているので、パルスＶｐｌｓが８個入力されることで、カウンタ１１２ｄがオーバーフローして、値「１」のフォトン情報ＰｈＩｎｆｏが出力される。すなわち、この場合、閾値Ｎｔｈが値「８」に制御される。
（１－４－５．カウンタの第５の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第５の例について説明する。図２０は、第１の実施形態に適用可能な第５の例のカウンタ１１２ｅの一例の構成を示すブロック図である。
図２０において、カウンタ１１２ｅは、それぞれ非同期型Ｔ－ＦＦ（以下、ＳＲＴ－ＦＦ）であるカウンタ１１２０’、１１２０’、…が直列に接続される。各カウンタ１１２０’、１１２０’、…に対して、５ビットの信号ＩＮＩＴ＿ＣＮＴ＿ＤＡＴＡの各ビットが、それぞれ図１９Ｂを用いて説明した信号ＳＥＴとして、それぞれスイッチ１１２１、１１２１、…を介して入力される。各スイッチ１１２１は、１ビットの信号ＩＮＩＴ＿ＣＮＴによりオン（閉）およびオフ（開）を同時に制御される。
信号ＩＮＩＴ＿ＣＮＴ＿ＤＡＴＡの各ビットを例えば値「０」とし、信号ＩＮＩＴ＿ＣＮＴにより所定のタイミングで各スイッチ１１２１をオンとすることで、各カウンタ１１２０’、１１２０’、…に値「０」が書き込まれ、各カウンタ１１２０’、１１２０’、…をリセットすることができる。
（１－４－６．カウンタの第６の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第６の例について説明する。カウンタ１１２の第６の例は、カウンタ１１２を構成する各カウンタ１１２０、１１２０、…（または１１２０’、１１２０’、…）の配置を工夫した例である。図２１は、第１の実施形態に適用可能な第６の例のカウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3の一例の構成を示す図である。なお、これらカウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、上述したカウンタ１１２ａ～１１２ｅの何れを適用してもよい。
図２１の例では、３つの光電変換素子１１０1、１１０2および１１０3が示されている。なお、図２１では、煩雑さを避けるため、図１０に示した構成のうち、画素分離部８３１および光電変換部８４０を抜粋して示している。
図５を参照し、これら光電変換素子１１０1、１１０2および１１０3は、受光チップ２０００上に配置される。一方、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、ロジックチップ２０１０上に配置される。受光チップ２０００上の光電変換素子１１０1、１１０2および１１０3は、電極８０１’を介して受光チップ２０００における接続部８５０ａに接続される。接続部８５０ａは、例えばＣＣＣによりロジックチップ２０１０における接続部８５０ｂと接続される。一方、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、それぞれ対応する電極８５１を介して各接続部８５０ｂに接続される。すなわち、光電変換素子１１０1、１１０2および１１０3がフォトンの入射に応じて出力した各信号Ｖｐｈは、電極８０１’と、接続部８５０ａおよび８５０ｂと、電極８５１と、を介して、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3に供給される。
ここで、説明のため、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3として図１６Ａに示したカウンタ１１２ａが適用されるものとする。また、カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3は、それぞれ６個のカウンタ１１２０（Bit(0)）～１１２０（Bit(5)）を含む６ビットカウンタであるものとする。
また、以下では、特に記載の無い限り、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3に含まれる６個のカウンタ１１２０（Bit(0)）～１１２０（Bit(5)）のうち、ＬＳＢ側の各カウンタ１１２０（Bit(0)）、１１２０（Bit(1)）、１１２０（Bit(2)）および１１２０（Bit(3)）をそれぞれ纏めてカウンタ１１２０ａ1、１１２０ａ2および１１２０ａ3と記述する。同様に、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3に含まれる６個のカウンタ１１２０（Bit(0)）～１１２０（Bit(5)）のうち、ＭＳＢ側の各カウンタ１１２０（Bit(4)）および１１２０（Bit(5)）をそれぞれ纏めてカウンタ１１２０ｂ1、１１２０ｂ2および１１２０ｂ3と記述する。
例えばカウンタ１１２ｆ1が含むＬＳＢ側の各カウンタ１１２０ａ1は、ＭＳＢ側の各カウンタ１１２０ｂ1と比較して、高速にカウントが行われる。そこで、カウンタ１１２ｆ1に含まれるＬＳＢ側の各カウンタ１１２０ａ1を、ロジックチップ２０１０上の、対応する光電変換素子１１０1の直下に対応する位置に配置する。カウンタ１１２ｆ2および１１２ｆ3についても同様に、各カウンタ１１２ｆ2および１１２ｆ3に含まれるＬＳＢ側のカウンタ１１２０ａ2および１１２０ａ3を、ロジックチップ２０１０上の、それぞれ対応する光電変換素子１１０2および１１０3の直下に対応する位置に配置する。
一方、各カウンタ１１２ｆ1、１１２ｆ2および１１２ｆ3が含むＭＳＢ側の各カウンタ１１２０ｂ1、１１２０ｂ2および１１２０ｂ3は、ロジックチップ２０１０上に位置を纏めて配置する。このとき、図２１に示されるように、各カウンタ１１２０ｂ1、１１２０ｂ2および１１２０ｂ3は、対応するＬＳＢ側の各カウンタ１１２０ａ1、１１２０ａ2および１１２０ａ3と近接していなくても構わない。
このように、入射フォトン数の平均時間間隔Ｔａが長く、カウントの速度が遅い各カウンタ１１２０ｂ1～１１２０ｂ3を纏めて配置すると、カウント速度と回路面積とのトレードオフができる。これにより、カウンタ１１２ｆ1～１１２ｆ3の性能を維持しつつ、回路面積を削減することが可能となる。
なお、図２１では、３つの光電変換素子１１０1～１１０3について、ＭＳＢ側のカウンタ１１２０ｂ1～１１２０ｂ3を纏めているが、これはこの例に限定されず、２つの光電変換素子１１０や、４以上の光電変換素子１１０について、ＭＳＢ側のカウンタ１１２０を纏めて配置してもよい。
（１－４－７．カウンタの第７の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第７の例について説明する。カウンタ１１２の第７の例は、上述した第６の例において、ＭＳＢ側の各カウンタ１１２０ｂ1～１１２０ｂ3を共有化した例である。図２２は、第１の実施形態に適用可能な第７の例のカウンタ１１２ｇ1、１１２ｇ2および１１２ｇ3の一例の構成を示す図である。なお、これらカウンタ１１２ｇ1、１１２ｇ2および１１２ｇ3は、上述したカウンタ１１２ａ～１１２ｅの何れを適用してもよい。
図２２に示されるように、各カウンタ１１２ｇ1～１１２ｇ3において、ＬＳＢ側の各カウンタ１１２０ａ1～１１２０ａ3は、上述した第６の例と同様に、ロジックチップ２０１０上の、それぞれ対応する光電変換素子１１０1～１１０3の直下に対応する位置に配置される。一方、各カウンタ１１２ｇ1～１１２ｇ3に含まれるＭＳＢ側の各カウンタ１１２０（Bit(4)）および１１２０（Bit(5)）は、各カウンタ１１２ｇ1～１１２ｇ3で纏められて、カウンタ１１２０ｃとしてロジックチップ２０１０上に配置される。
図２３は、第１の実施形態に適用可能なカウンタ１１２０ｃの一例の構成を示すブロック図である。図２３において、カウンタ１１２０ｃは、メモリ１１２２1、１１２２2および１１２２3と、加算回路１１２３と、結果メモリ１１２４と、を含む。
例えばメモリ１１２２1は、光電変換素子１１０1に対応するＬＳＢ側のカウンタ１１２０ａ1の出力が供給される。メモリ１１２２1は、カウンタ１１２０ａ1から供給された出力値をそれぞれ記憶する。すなわち、メモリ１１２２1は、カウンタ１１２０ａ1においてオーバーフローした値をそれぞれ記憶する。これにより、メモリ１１２２1は、ＭＳＢ側のビットをカウントするカウンタとして機能する。
メモリ１１２２2および１１２２3も同様に、それぞれ光電変換素子１１０2および１１０3に対応するＬＳＢ側のカウンタ１１２０ａ2および１１２０ａ3においてオーバーフローした値をそれぞれ記憶する。
メモリ１１２２1、１１２２2および１１２２3に記憶された値は、加算回路１１２３により加算され、結果メモリ１１２４に記憶される。結果メモリ１１２４から読み出された値は、フォトン情報ＰｈＩｎｆｏとして出力され、例えば閾値判定部１１３ａに供給される。
（１－４－８．カウンタの第８の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第８の例について説明する。上述したカウンタ１１２の第１～第７の例では、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓを、値「０」および「１」の２値でカウントするデジタルカウンタを用いてカウントしていた。この第８の例では、アナログカウンタを用いてパルスＶｐｌｓをカウントする。
図２４は、第１の実施形態に適用可能な第８の例のカウンタ１１２ｈの一例の構成を示すブロック図である。図２４において、カウンタ１１２ｈは、アナログカウンタ１１２５ａを含む。アナログカウンタ１１２５ａは、例えばキャパシタを有し、入力されたパルスＶｐｌｓの電圧に応じた電荷をキャパシタに蓄積する。キャパシタの容量Ｃと、蓄積される電荷Ｑと、キャパシタから取り出される電圧Ｖとの間には、Ｖ＝Ｑ／Ｃの関係があるので、アナログカウンタ１１２５ａは、入力されたパルスＶｐｌｓの数に応じた電圧を取り出すことができる。アナログカウンタ１１２５ａにおいて取り出された電圧は、フォトン情報ＰｈＩｎｆｏとして、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ｄ）に供給される。
閾値判定部１１３ａ（ｄ）は、比較器１１３３を含み、比較器１１３３により、カウンタ１１２ｈから供給されたフォトン情報ＰｈＩｎｆｏと、電圧値として供給される閾値Ｎｔｈとを比較する。比較器１１３３は、例えば、フォトン情報ＰｈＩｎｆｏの電圧値が閾値Ｎｔｈの電圧値よりも高い場合に、書き込み信号ＷＲｅｎ（Ｗ）を出力する。
（１－４－９．カウンタの第９の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第９の例について説明する。この第９の例では、アナログカウンタと、値「０」および「１」の２値でカウントするデジタルカウンタと、を用いてパルスＶｐｌｓをカウントする例である。
図２５は、第１の実施形態に適用可能な第９の例のカウンタ１１２ｉの一例の構成を示すブロック図である。図２５において、カウンタ１１２ｉは、アナログカウンタ１１２５ｂと、当該アナログカウンタ１１２５ｂに直列に接続されるデジタルカウンタ１１２ｊと、を含む。デジタルカウンタ１１２ｊは、上述したカウンタ１１２ａ～１１２ｅの何れを適用してもよい。
第９の例に適用されるアナログカウンタ１１２５ｂは、例えば、上述したアナログカウンタ１１２５ａと同様にキャパシタを有し、入力されたパルスＶｐｌｓの電圧に応じた電荷をキャパシタに蓄積する。第９の例に係るアナログカウンタ１１２５ｂは、さらに、キャパシタに蓄積される電荷量を監視し、キャパシタに所定量以上の電荷が蓄積された場合にパルスを出力するように構成されている。例えば、アナログカウンタ１１２５ｂは、キャパシタに蓄積される電荷量を所定階調（例えば１６階調）で検出し、階調毎にパルスを出力する。例えば、アナログカウンタ１１２５ｂにおいて、１つのパルスＶｐｌｓの入力に応じて１階調が検出される。アナログカウンタ１１２５ｂは、キャパシタに蓄積された電荷量が所定階調に達すると、カウンタをリセットする。
デジタルカウンタ１１２ｊは、アナログカウンタ１１２５ｂから出力されるパルスをカウントし、カウント値をフォトン情報ＰｈＩｎｆｏとして出力する。フォトン情報ＰｈＩｎｆｏは、例えばデジタルカウンタ１１２ｊが上述したカウンタ１１２ａに対応する場合、閾値判定部１１３ａに供給される。
（１－４－１０．カウンタの第１０の例）
次に、第１の実施形態に適用可能なカウンタ１１２の第１０の例について説明する。この第９の例では、デジタルカウンタと、アナログカウンタと、メモリと加算器とで構成されるカウンタと、を用いてパルスＶｐｌｓをカウントする例である。
図２６は、第１の実施形態に適用可能な第１０の例のカウンタ１１２ｋの一例の構成を示すブロック図である。図２６において、カウンタ１１２ｋは、デジタルカウンタ１１２６と、当該デジタルカウンタ１１２６に直列に接続されるアナログカウンタ１１２５ｃと、メモリ１１２７と、加算器１１２８と、を含む。デジタルカウンタ１１２６は、例えば１ビットカウンタであって、１個のＴ－ＦＦを用いて構成できる。また、アナログカウンタ１１２５ｃは、上述したアナログカウンタ１１２５ｂを適用するものとする。
デジタルカウンタ１１２６は、パルスＶｐｌｓの入力に応じて値「１」を示す電圧を出力する。この電圧は、アナログカウンタ１１２５ｃに供給され、キャパシタに蓄積される。アナログカウンタ１１２５ｃは、キャパシタに蓄積される電荷量を所定階調（例えば１６階調）で検出し、階調毎にパルスを出力する。
加算器１１２８は、第１および第２の入力端を有し、第１の入力端に入力された信号と第２の入力端に入力された信号とを加算して出力する。加算器１１２８の出力は、メモリ１１２７に入力され、記憶される。メモリ１１２７から読み出された信号は、フォトン情報ＰｈＩｎｆｏとして出力されると共に、加算器１１２８の第２の入力端に供給される。このように、加算器１１２８およびメモリ１１２７により、カウンタを構成することができる。なお、この第１０の例の場合、メモリ１１２７はキャパシタを用いて構成することが可能である。
メモリ１１２７から出力されたフォトン情報ＰｈＩｎｆｏは、図８の閾値判定部１１３ａに対応する閾値判定部１１３ａ（ｄ）に供給される。閾値判定部１１３ａ（ｄ）は、例えば図２４を用いて説明した閾値判定部１１３ａ（ｄ）と同様の構成を適用できる。すなわち、閾値判定部１１３ａ（ｄ）は、比較器１１３３により、カウンタ１１２ｋから供給されたフォトン情報ＰｈＩｎｆｏと、電圧値として供給される閾値Ｎｔｈとを比較し、比較結果に応じて書き込み信号ＷＲｅｎ（Ｗ）を出力する。
（１－５．第１の実施形態に適用可能なＴＣ生成部および画素回路の配置）
次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００ａの配置の例について説明する。なお、以下では、便宜上、画素回路１００ａを画素回路１００として説明を行う。また、以下の図２７～図３３において、ＴＣ生成部１２０から出力される信号ＳＨ＿ＯＮの記載を省略している。
（１－５－１．第１の実施形態に係る第１の配置例）
まず、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第１の配置例について説明する。図２７は、第１の実施形態に係る第１の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。
第１の実施形態に係る第１の配置例では、図２７に示すように、ＴＣ生成部１２０が画素回路１００毎に設けられている。すなわち、垂直制御部２０１３ａは、画素アレイ部２００１に含まれる画素回路１００の数に対応する数のＴＣ生成部１２０を含む。各ＴＣ生成部１２０は、対応する画素回路１００に対してそれぞれ信号ＳＨ＿ＯＮおよびタイムコードＴｃを供給する。
この第１の実施形態に係る第１の配置例によれば、タイムコードＴｃの発行速度（時間間隔）を画素回路１００毎に制御できる。そのため、画素回路１００毎のバラツキを抑制可能である。例えば、各画素回路１００がライン上に配置されるラインセンサにこの第１の実施形態に係る第１の配置例による配置を適用し、各画素回路１００の特性を均一化することが考えられる。
（１－５－２．第１の実施形態に係る第２の配置例）
次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第２の配置例について説明する。図２８は、第１の実施形態に係る第２の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。第１の実施形態に係る第２の配置例では、図２８に示すように、画素アレイ部２００１に２次元格子状に配列される各画素回路１００の行毎にＴＣ生成部１２０を設けている。すなわち、第１の実施形態に係る第２の配置例は、上述した図８に対応する構成を有する。ＴＣ生成部１２０は、２次元格子の対応する行に配置される各画素回路１００に対して共通してタイムコードＴｃおよび信号ＳＨ＿ＯＮを供給する。
この第１の実施形態に係る第２の配置例による構成は、既存のセンサとの相性が良い。また、上述した第１の実施形態に係る第１の配置例による構成と比較して配線を削減することが可能である。
（１－５－３．第１の実施形態に係る第３の配置例）
次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第３の配置例について説明する。図２９は、第１の実施形態に係る第３の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。第１の実施形態に係る第３の配置例では、図２９に示すように、画素アレイ部２００１に２次元格子状に配列される各画素回路１００の２行毎にＴＣ生成部１２０を設けている。ＴＣ生成部１２０は、２次元格子の対応する２行に配置される各画素回路１００に対して共通してタイムコードＴｃおよび信号ＳＨ＿ＯＮを供給する。
図３０は、第１の実施形態に係る第３の配置例を画素アレイ部２００１に注目して示す図である。図３０に示されるように、画素アレイ部２００１において２次元格子状に配列される各画素回路１００は、２次元格子の２行毎に纏められたグループ１５０を単位に扱うことができる。すなわち、ＴＣ生成部１２０がグループ１５０毎に設けられ、グループ１５０に含まれる各画素回路１００に対して、対応するＴＣ生成部１２０からのタイムコードＴｃおよび信号ＳＨ＿ＯＮが供給される。
この第１の実施形態に係る第３の配置例による構成は、上述した第１の実施形態に係る第２の配置例による構成と比較して配線を削減することが可能である。
（１－５－４．第１の実施形態に係る第４の配置例）
次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第４の配置例について説明する。図３１は、第１の実施形態に係る第４の配置例に係るＴＣ生成部１２０および画素回路１００の配置例を示す図である。
第１の実施形態に係る第４の配置例では、図３１に示すように、画素アレイ部２００１内の領域毎にＴＣ生成部１２０が設けられる例である。各領域に含まれる各画素回路１００に対して、当該領域に対応するＴＣ生成部１２０から共通してタイムコードＴｃおよび信号ＳＨ＿ＯＮが供給される。換言すれば、第１の実施形態に係る第４の配置例では、画素アレイ部２００１に設けた領域に含まれる各画素回路１００によるグループ１５０に対して、１つのＴＣ生成部１２０からタイムコードＴｃおよび信号ＳＨ＿ＯＮが供給される。
この第１の実施形態に係る第４の配置例によれば、例えば各画素回路１００のバイアス条件などを領域毎に制御することができる。一例として、光電変換素子１１０に入射されるフォトン数が閾値Ｎｔｈに達した時間Ｔｔｈに基づき予測カウント値Ｎｐｒｅを求める際のバイアス条件を、画素アレイ部２００１の領域毎に補正したい場合がある。この場合において、第１の実施形態に係る第４の配置例を適用することで、当該バイアス条件を補正する機能を、各ＴＣ生成部１２０に持たせることが可能である。
（１－５－５．第１の実施形態に係る第５の配置例）
次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第５の配置例について説明する。この第１の実施形態に係る第５の配置例は、各画素回路１００に含まれる光電変換素子１１０にカラーフィルタが設けられる場合の例である。第１の実施形態に係る第５の配置例では、画素アレイ部２００１の各行において、同色のカラーフィルタが設けられる光電変換素子１１０を含む画素回路１００を纏めてグループとし、このグループ毎にＴＣ生成部１２０を設ける。
図３２は、第１の実施形態に係る第５の配置例に係るＴＣ生成部１２０および画素回路１００Ｒ、１００Ｇおよび１００Ｂの配置例を示す図である。なお、画素回路１００Ｒ、１００Ｇおよび１００Ｂは、それぞれ、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）のカラーフィルタが設けられた光電変換素子１１０を含んでいる。ここでは、各画素回路１００Ｒ、１００Ｇおよび１００Ｂは、ベイヤ配列に従い配置される。すなわち、各画素回路１００Ｒ、１００Ｇおよび１００Ｂは、２×２の配列に、それぞれ１個の画素回路１００Ｒおよび１００Ｂと、２個の画素回路１００Ｇとが、同色の画素回路が互いに隣接しないように配置される。
図３２において、例えば上から第１行目に、画素回路１００Ｒおよび１００Ｇが交互に配置される。この第１行目に配置される各画素回路１００Ｒを含むグループ１５０Ｒ1に対して、ＴＣ生成部１２０Ｒ1からタイムコードＴｃR1および信号ＳＨ＿ＯＮR1（図示しない）が供給される。また、当該第１行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ11に対して、ＴＣ生成部１２０Ｇ11からタイムコードＴｃG11および信号ＳＨ＿ＯＮG11（図示しない）が供給される。
第２行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ12に対して、ＴＣ生成部１２０Ｇ12からタイムコードＴｃG12および信号ＳＨ＿ＯＮG12（図示しない）が供給される。また、当該第２行目に配置される各画素回路１００Ｂを含むグループ１５０Ｂ1に対して、ＴＣ生成部１２０Ｂ1からタイムコードＴｃB1および信号ＳＨ＿ＯＮB1（図示しない）が供給される。
同様に、ベイヤ配列に従い、例えば第３行目および第４行目において、第３行目に配置される各画素回路１００Ｒを含むグループ１５０Ｒ2に対して、ＴＣ生成部１２０Ｒ2からタイムコードＴｃR2および信号ＳＨ＿ＯＮR2（図示しない）が供給される。また、当該第３行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ21に対して、ＴＣ生成部１２０Ｇ21からタイムコードＴｃG21および信号ＳＨ＿ＯＮG21（図示しない）が供給される。
第４行目に配置される各画素回路１００Ｇを含むグループ１５０Ｇ22に対して、ＴＣ生成部１２０Ｇ22からタイムコードＴｃG22および信号ＳＨ＿ＯＮG22（図示しない）が供給される。また、当該第４行目に配置される各画素回路１００Ｂを含むグループ１５０Ｂ2に対して、ＴＣ生成部１２０Ｂ2からタイムコードＴｃB2および信号ＳＨ＿ＯＮB2（図示しない）が供給される。
以下同様に、それぞれベイヤ配列に従い、第５行目および第６行目、第７行目および第８行目、…について、各行毎に、同色のカラーフィルタが設けられる画素回路が同一のグループに纏められて、共通のＴＣ生成部からタイムコードＴｃおよび信号ＳＨ＿ＯＮを供給される。
Ｒ色、Ｇ色およびＢ色のカラーフィルタが設けられた各光電変換素子１１０は、入射されるフォトンに対する感度が異なる。この第５の配置によれば、各画素回路１００Ｒ、１００Ｇおよび１００Ｂに対して、カラーフィルタの色毎に纏めてＴＣ生成部１２０を設けている。そのため、光電変換素子１１０の、カラーフィルタの色に応じて異なる感度を、予測カウント値Ｎｐｒｅに基づくフォトン数予測の制御により補正することが可能である。
（１－５－６．第１の実施形態に係る第６の配置例）
次に、第１の実施形態に係るＴＣ生成部１２０および画素回路１００の第１の実施形態に係る第６の配置例について説明する。この第１の実施形態に係る第６の配置例は、各画素回路１００に含まれる光電変換素子１１０にカラーフィルタが設けられ、且つ、１つのＴＣ生成部１２０を、画素アレイ部２００１に含まれる全ての画素回路１００に共通して設ける例である。
図３３は、第１の実施形態に係る第６の配置例に係るＴＣ生成部１２０、ならびに、画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂの配置例を示す図である。なお、画素回路１００Ｇ1および１００Ｇ2は、ベイヤ配列に含まれる２つのＧ画素にそれぞれ対応する。図３３において、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂが１つのグループ１５０ＲＧＢに含まれる。グループ１５０ＲＧＢに含まれる全ての画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂに対して、１つのＴＣ生成部１２０ＲＧＢにより、タイムコードＴｃRGBおよび信号ＳＨ＿ＯＮRGB（図示しない）が共通して供給される。
このように、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂに対して共通のＴＣ生成部１２０ＲＧＢを設けることで、グローバルシャッタに対応することが容易となる。
なお、第１の実施形態の第６および第７の配置例において、各画素回路１００Ｒ、１００Ｇおよび１００Ｂ、ならびに、各画素回路１００Ｒ、１００Ｇ1、１００Ｇ2および１００Ｂの配置は、ベイヤ型に限定されない。また、画素回路１００に設けるカラーフィルタは、Ｒ、Ｇ、Ｂの３色による原色系フィルタに限らず、例えばＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）およびＧの４色による、補色系フィルタであってもよい。
さらに、各画素回路１００に対して、Ｒ、Ｇおよび色、あるいは、Ｃ、Ｍ、ＹおよびＧの補色系フィルタに加え、さらに他の種類の光学フィルタを設けてもよい。
例えば、各画素回路１００に対して、Ｒ、ＧおよびＢのカラーフィルタに加え、赤外領域の光を選択的に透過するためＩＲフィルタを設けてもよい。一例として、ベイヤ配列におけるＧのカラーフィルタが設けられた画素回路１００のうち一方の画素回路１００に対してＩＲフィルタを設けることが考えられる。
また、各画素回路１００に対して、Ｒ、ＧおよびＢのカラーフィルタに加え、例えばＲ、ＧおよびＢそれぞれの波長帯域を含む広い波長帯域の光を透過させる透明フィルタを設けてもよい。この場合においても、上述のＩＲフィルタと同様に、ベイヤ配列におけるＧのカラーフィルタが設けられた画素回路１００のうち一方の画素回路１００に対して透明フィルタを設けることが考えられる。
さらに、ベイヤ型配列と異なるカラーフィルタ配列の例として、４分割ベイヤ型ＲＧＢ配列がある。４分割ベイヤ型ＲＧＢ配列は、それぞれ２×２に配列され光電変換素子１１０が１対１に設けられる４つずつのＲのカラーフィルタ、Ｇのカラーフィルタ、Ｂのカラーフィルタを、当該２×２の単位でベイヤ配列に倣って配列したものである。Ｒ、ＧおよびＢのカラーフィルタがそれぞれ設けられた各画素回路１００の配列を、この４分割ベイヤ型ＲＧＢ配列としてもよい。
（１－６．第１の実施形態の第１の変形例）
次に、第１の実施形態の第１の変形例について説明する。図３４は、第１の実施形態の第１の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。
図３４において、垂直制御部２０１３ａは、上述した図８における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。
画素アレイ部２００１において、画素回路１００ｂは、図８に示した画素回路１００ａと同様に、光電変換素子１１０と、信号処理部１１１ｂと、カウンタ１１２と、閾値判定部１１３ａ－１と、メモリ１１４と、を含む。画素回路１００ｂにおいて、閾値判定部１１３から出力される書き込み信号ＷＲｅｎは、メモリ１１４に供給されると共に、信号処理部１１１ｂに供給される。
信号処理部１１１ｂは、カウントされたフォトン数が露光期間Ｔｓｈ内に閾値Ｎｔｈを超え、書き込み信号ＷＲｅｎがタイムコードＴｃの書き込みを指示する状態となった場合に、光電変換素子１１０の動作を制限する。例えば、信号処理部１１１ｂは、書き込み信号ＷＲｅｎ（Ｗ）に応じて、光電変換素子１１０に対する電源電位ＶＤＤへの接続を切断し、露光期間Ｔｓｈの開始時点で、光電変換素子１１０に対する電源電位ＶＤＤへの接続を回復させることが考えられる。
書き込み信号ＷＲｅｎに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｂにおける消費電力を削減することができる。
（１－７．第１の実施形態の第２の変形例）
次に、第１の実施形態の第２の変形例について説明する。図３５は、第１の実施形態の第２の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。
図３５において、垂直制御部２０１３ａは、上述した図８における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｃは、図３４の画素回路１００ｂと比較して、信号処理部１１１ｂ’および閾値判定部１１３ａ－２の機能が変更されている。
第１の実施形態の第２の変形例では、上述した第１の実施形態の第１の変形例と同様に、閾値判定部１１３ａ－２による閾値Ｎｔｈの検出に応じて、光電変換素子１１０の動作を制限する。このとき、第１の実施形態の第２の変形例に係る閾値判定部１１３ａ－２は、書き込み信号ＷＲｅｎとは別に、光電変換素子１１０の動作を制限するための信号ＰｈＧａｔｉｎｇを生成し、生成した信号ＰｈＧａｔｉｎｇを信号処理部１１１ｂ’に供給する。
信号処理部１１１ｂ’は、信号ＰｈＧａｔｉｎｇに応じて光電変換素子１１０の動作を制限する。例えば、信号処理部１１１ｂ’は、信号ＰｈＧａｔｉｎｇに応じて、光電変換素子１１０に対する電源電位ＶＤＤへの接続を切断し、露光期間Ｔｓｈの開始時点で、光電変換素子１１０に対する電源電位ＶＤＤへの接続を回復させることが考えられる。
信号ＰｈＧａｔｉｎｇに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｃにおける消費電力を削減することができる。
（１－８．第１の実施形態の第３の変形例）
次に、第１の実施形態の第３の変形例について説明する。第１の実施形態の第３の変形例では、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓをカウントするカウンタとして、カウント動作と記憶動作とを切り替え可能とされたデュアルモードカウンタを用いる。デュアルモードカウンタを用いることで、例えば図８に示した画素回路１００ａにおけるメモリ１１４を省略することができ、回路面積を削減することが可能となる。
図３６は、第１の実施形態の第３の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。
図３６において、垂直制御部２０１３ａは、上述した図８における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｄは、図８の画素回路１００ａと比較して、閾値判定部１１３ａ－３の機能が変更されると共に、メモリ１１４が省略され、カウンタ１１２の代わりにデュアルモードカウンタ１１５が設けられている。
図３６において、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓがデュアルモードカウンタ１１５に入力される。また、ＴＣ生成部１２０から出力されたタイムコードＴｃがデュアルモードカウンタ１１５に入力される。
デュアルモードカウンタ１１５は、動作モードとしてカウント動作モードと、記憶動作モードとを有する。また、記憶動作モードは、書き込み動作モードと、保持動作モードとを含む。デュアルモードカウンタ１１５は、これらの動作モードが、閾値判定部１１３”から供給される信号ＷＲｅｎ＿ＣＮＴに応じて切り替えられる。デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴがカウント動作を示している場合、動作モードをカウント動作モードに切り替えて、信号処理部１１１ａから供給されるパルスＶｐｌｓをカウントし、カウント結果を示すフォトン情報ＰｈＩｎｆｏを出力する。また、デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴが記憶動作を示している場合、動作モードを記憶動作モードに切り替えて、入力されたタイムコードＴｃを記憶する。
例えば、閾値判定部１１３ａ－３は、露光期間Ｔｓｈの開始時点で、カウント動作を示す信号ＷＲｅｎ＿ＣＮＴを出力する。この信号ＷＲｅｎ＿ＣＮＴに応じて、デュアルモードカウンタ１１５は、動作モードがカウント動作モードに切り替わる。デュアルモードカウンタ１１５は、カウント動作モードにおいて、信号処理部１１１ａから供給されるパルスＶｐｌｓをカウントし、カウント結果をフォトン情報ＰｈＩｎｆｏとして出力する。
閾値判定部１１３ａ－３は、デュアルモードカウンタ１１５から出力されたフォトン情報ＰｈＩｎｆｏに基づき、例えば露光期間Ｔｓｈ内に光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈに達したと判定した場合、記憶動作を示す信号ＷＲｅｎ＿ＣＮＴを出力する。デュアルモードカウンタ１１５は、この信号ＷＲｅｎ＿ＣＮＴに従い動作モードを記憶動作モードに切り替えて、パルスＶｐｌｓのカウントを中止すると共に、タイムコードＴｃを記憶する。
図３７Ａ～図３７Ｃは、第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタ１１５の動作を説明するための図である。図３７Ａは、カウント動作モード時のデュアルモードカウンタ１１５の状態を示す図である。図３７Ｂは、記憶動作モードにおける書き込み動作モード時の、デュアルモードカウンタ１１５の状態を示す図である。図３７Ｃは、記憶動作モードにおける保持動作モード時の、デュアルモードカウンタ１１５の状態を示す図である。
以下では、デュアルモードカウンタ１１５は、５ビットのカウンタであるものとする。
図３７Ａを用いて、デュアルモードカウンタ１１５の構成例について説明する。第１の実施形態の第３の変形例に適用可能なデュアルモードカウンタ１１５は、カウントするビット数に対応する５個のＤ－ＦＦ（Ｄフリップフロップ）１１４０0、１１４０1、１１４０2、１１４０3および１１４０4を含む。各Ｄ－ＦＦ１１４０１１４０0、１１４０1、１１４０2、１１４０3および１１４０4は、タイムコードＴｃの各ビットが、それぞれ信号ＷＲｅｎ＿ＣＮＴに従い制御される各スイッチ１１４１0、１１４１1、１１４１2、１１４１3および１１４１4を介して、端子Ｄに入力される。
また、例えばＤ－ＦＦ１１４０0は、端子Ｄと端子ＱＢとが、信号ＷＲｅｎ＿ＣＮＴに従い制御されるスイッチ１１４２0を介して接続される。なお、端子ＱＢは、図において「Ｑ」上にオーバーラインが付されている端子を示している。他のＤ－ＦＦ１１４０1、１１４０2、１１４０3および１１４０4においても同様に、端子Ｄと端子ＱＢとが、それぞれ信号ＷＲｅｎ＿ＣＮＴに従い制御される各スイッチ１１４２1、１１４２2、１１４２3および１１４２4を介して接続される。
さらに、例えばＤ－ＦＦ１１４０0の端子ＣＫに対して、信号ＷＲｅｎ＿ＣＮＴに従い制御されるスイッチ１１４３0の共通選択端が接続される。スイッチ１１４３0の第１選択端にパルスＶｐｌｓが入力され、第２および第３選択端に、それぞれロー（Ｌｏｗ）レベルの電位と、ハイ（Ｈｉｇｈ）レベルの電位とが接続される。他のＤ－ＦＦ１１４０1、１１４０2、１１４０3および１１４０4は、各端子ＣＫに対し、それぞれ、第１選択端に前段の端子ＱＢが接続され、第２および第３選択端にそれぞれローレベルの電位とハイレベルの電位とが接続される、信号ＷＲｅｎ＿ＣＮＴに従い制御されるスイッチ１１４３1、１１４３2、１１４３3および１１４３4の共通選択端が接続される。
また、各Ｄ－ＦＦ１１４０0、１１４０1、１１４０2、１１４０3および１１４０4は、それぞれ出力端子Ｑから各ビット（Bit(0)、Bit(1)、Bit(2)、Bit(3)およびBit(4)）が出力される。また、最終段のＤ－ＦＦ１１４０4の出力端子ＱＢから、フォトン情報ＰｈＩｎｆｏが出力される。
デュアルモードカウンタ１１５の動作モードがカウント動作モード、書き込み動作モードおよび保持動作モードの場合の動作例について説明する。なお、各Ｄ－ＦＦ１１４０0～１１４０4、各スイッチ１１４１0～１１４１4、各スイッチ１１４２0～１１４２4、および、各スイッチ１１４３0～１１４３4は、各動作モードにおいてそれぞれ同一の状態に制御される。そのため、以下では、特に記載の無い限り、Ｄ－ＦＦ１１４０0と、当該Ｄ－ＦＦ１１４０0に接続されるスイッチ１１４１0、１１４２0および１１４３0を例にとって説明を行う。
デュアルモードカウンタ１１５の動作モードがカウント動作モードの場合、図３７Ａに示されるように、スイッチ１１４１0がオフ（開）状態、スイッチ１１４２0がオン（閉）状態に制御され、スイッチ１１４３0が共通選択端を第１選択端に接続するように制御される。これにより、Ｄ－ＦＦ１１４０0は、出力端子ＱＢと端子Ｄとが接続されると共に、端子ＣＫにパルスＶｐｌｓが入力され、出力端子ＱおよびＱＢから、入力されたパルスＶｐｌｓの立ち下がり毎に反転する出力が取り出される。
Ｄ－ＦＦ１１４０0の端子ＱＢの出力は、次段のＤ－ＦＦ１１４０1の端子ＣＫに入力される。Ｄ－ＦＦ１１４０1は、上述と同様にして、出力端子ＱおよびＱＢから、Ｄ－ＦＦ１１４０0の端子ＱＢの出力の立ち下がり毎に反転する出力が取り出される。次段のＤ－ＦＦ１１４０2以降も同様である。このような動作により、デュアルモードカウンタ１１５は、カウント動作モードにおいて、パルスＶｐｌｓをカウントするカウンタとして動作する。
デュアルモードカウンタ１１５の動作が書き込み動作モードの場合、図３７Ｂに示されるように、スイッチ１１４１0がオン状態、スイッチ１１４２0がオフ状態に制御され、スイッチ１１４３0が共通選択端を第３選択端に接続するように制御される。これにより、タイムコードＴｃの所定のビットがスイッチ１１４１０を介してＤ－ＦＦ１１４０0の端子Ｄに入力されると共に、端子ＣＫがハイ状態とされ、Ｄ－ＦＦ１１４０0の端子Ｄに当該タイムコードＴｃの所定のビットの値が書き込まれる。
その後、デュアルモードカウンタ１１５の動作が保持動作モードに移行され、図３７Ｃに示されるように、各スイッチ１１４１0および１１４２0がオフ状態に制御され、スイッチ１１４３0が共通選択端を第２選択端に接続するように制御される。これにより、端子ＣＫがロー状態とされ、Ｄ－ＦＦ１１４０0において、端子Ｄに書き込まれた値が保持される。また、この保持動作モードでは、各Ｄ－ＦＦ１１４０0～１１４０4の出力端子Ｑそれぞれから、各Ｄ－ＦＦ１１４０0～１１４０4の端子Ｄに書き込まれ保持された値を取り出すことができる。
（１－９．第１の実施形態および各変形例に適用可能なデータ処理）
次に、第１の実施形態およびその各変形例に適用可能な、予測カウント値Ｎｐｒｅに対するデータ処理について説明する。先ず、予測カウント値Ｎｐｒｅに対するデータ処理の第１の例として、予測カウント値Ｎｐｒｅに対する圧縮処理について説明する。図２Ｂを用いて説明したように、第１の実施形態および各変形例では、フォトン数のカウント値が閾値Ｎｔｈに到達した時間Ｔｔｈに対応するタイムコードＴｃに基づき、予測カウント値Ｎｐｒｅを算出する。
ここで、カウント値が閾値Ｎｔｈに達した時間Ｔｔｈに基づき予測された予測カウント値Ｎｐｒｅが１５ビットの値であり、閾値Ｎｔｈが９ビットの値であるものとする。この場合、予測カウント値Ｎｐｒｅの有効数字は、９ビットの値となる。すなわち、予測カウント値Ｎｐｒｅの１５ビットのうち、６ビット分は、無効数字となる。また、この場合、予測カウント値ＮｐｒｅのＬＳＢ側のビットは、重要度が低いと考えられる。そのため、予測カウント値Ｎｐｒｅの１５ビットの値を、ＬＳＢ側の所定ビットを無視することで、予測カウント値Ｎｐｒｅのビット数を削減することができる。
一例として、１５ビットの予測カウント値Ｎｐｒｅを、８ビットの有効数字と３ビットのシフト量と、で表すことが考えられる。具体的な数値として、露光期間Ｔｓｈ＝１０００、カウント値が閾値Ｎｔｈを達成した時間Ｔｔｈ＝２５とした場合、予測カウント値Ｎｐｒｅは、上述した式（１）を参照し、次式（４）として求められる。
Ｎｐｒｅ＝Ｎｔｈ×(Ｔｓｈ／Ｔｔｈ)＝５１２×(１０００／２５)＝２０４８０ …（４）
１０進数表記の値「２０４８０」は、２進数表記では、１５ビットの値「０ｂ１０１００００００００００００」となる。この１５ビットの値に３ビットのシフト量「０ｂ１１１」を適用すると、次式（５）のようになる。
０ｂ１０１００００００００００００＝０ｂ１０１０００００×２＾(０ｂ１１１) …（５）
したがって、１５ビットの予測カウント値Ｎｐｒｅを、８ビットの値「０ｂ１０１０００００」と、３ビットのシフト量「０ｂ１１１」とを用いて、例えば１１ビットの値「０ｂ１１１１０１０００００」のように表現できる。ここで、先頭の３ビットは、シフト量を示している。このように、予測カウント値Ｎｐｒｅのビット数を、１５ビットから１１ビットに削減可能である。
受光装置１ａにおいて、信号処理部２０１３ｃ（図７参照）は、例えば各画素回路１００ａのメモリ１１４から読み出したタイムコードＴｃに基づき予測カウント値Ｎｐｒｅを算出する際に、上述の式（５）を適用し、算出される予測カウント値Ｎｐｒｅのビット数を削減する。これにより、例えば、信号処理部２０１３ｃ内での処理およびメモリ容量や、算出された予測カウント値Ｎｐｒｅを外部に出力する際のトラフィックの削減が可能となる。
次に、予測カウント値Ｎｐｒｅに対するデータ処理の第２の例として、予測カウント値Ｎｐｒｅを、当該予測カウント値Ｎｐｒｅに相関する値（相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄと呼ぶ）に変換する処理について説明する。次式（６）は、予測カウント値Ｎｐｒｅにオフセット値Ｎｏｆｆｓｅｔを加算して相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄを算出する例である。
Ｎｐｒｅ＿ｒｅｌａｔｅｄ＝Ｎｐｒｅ＋Ｎｏｆｆｓｅｔ …（６）
次式（７）に示すように、式（４）および（５）を用いて説明した、ビット数を削減された予測カウント値Ｎｐｒｅ＿ｒｅｄｕｃｅに基づき相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄを算出することもできる。
Ｎｐｒｅ＿ｒｅｌａｔｅｄ＝Ｎｐｒｅ＿ｒｅｄｕｃｅ＋Ｎｏｆｆｓｅｔ …（７）
受光装置１ａにおいて、信号処理部２０１３ｃは、例えば各画素回路１００ａのメモリ１１４から読み出したタイムコードＴｃに基づき予測カウント値Ｎｐｒｅを算出する際に、上述の式（６）を適用し、算出される予測カウント値Ｎｐｒｅに対応する相関予測カウント値Ｎｐｒｅ＿ｒｅｌａｔｅｄを算出する。これにより、例えば、信号処理部２０１３ｃ内での処理や、外部における予測カウント値Ｎｐｒｅに対する処理の負荷を低減可能である。
なお、ここでは、予測カウント値Ｎｐｒｅに対する変換処理を、オフセット値を加算する処理であるように説明したが、これはこの例に限定されない。すなわち、例えば信号処理部２０１３ｃにおいて、予測カウント値Ｎｐｒｅに対して、その用途などに応じて様々な変換処理を施すことが可能である。この変換処理には、例えばグレイコードのような、データの形式を変換する処理も含むことができる。
［２．第２の実施形態］
（２－１．第２の実施形態に適用可能な構成の概略）
次に、本開示の第２の実施形態について説明する。第２の実施形態は、光電変換素子１１０に入射されたフォトン数を輝度値に変換するようにした例である。図３８は、第２の実施形態に係る受光装置の概略的な構成例を示す図である。図３８において、第２の実施形態に係る受光装置１ｂは、画素１０と、計数部１１と、輝度値コード生成部２０と、取得部１３と、を含む。画素１０は、図１の説明と同様に、光電変換により光を電荷に変換する光電変換素子と、光電変換素子から電荷を読み出して電気信号として出力する信号処理回路と、を含む。画素１０が含む光電変換素子としては、上述した第１の実施形態と同様に、ＳＰＡＤを適用できる。受光装置１ｂは、指定された露光期間Ｔｓｈ内に画素１０に入射されたフォトンの数に応じて輝度値を予測し、予測した輝度値に対応する、輝度値コード生成部２０により生成された輝度値コードＬｃを、取得部１３により取得する。
計数部１１は、画素１０から出力されたパルスＶｐｌｓを、指定された露光期間Ｔｓｈ内において計数し、計数されたパルスＶｐｌｓの数Ｎｃｎｔが露光期間Ｔｓｈの終了する前に閾値Ｎｔｈを超えた場合に、書き込み信号ＷＲｅｎ（Ｗ）を出力する。書き込み信号ＷＲｅｎは、取得部１３に供給される。
一方、輝度値コード生成部２０は、露光期間Ｔｓｈの開始時点から書き込み信号ＷＲｅｎ（Ｗ）により書き込みが指示された時点までの経過時間に応じて、露光期間Ｔｓｈの終了時点での輝度値を予測し、予測した輝度値を示す輝度値コードＬｃを生成する。輝度値コード生成部２０で生成された輝度値コードＬｃは、取得部１３に供給される。
取得部１３は、例えばメモリを含み、書き込み信号ＷＲｅｎ（Ｗ）により書き込みが指示されたタイミング、すなわち、書き込み信号ＷＲｅｎがロー状態からハイ状態に移行したタイミングで、輝度値コード生成部２０から供給された輝度値コードＬｃを取得し、取得した輝度値コードＬｃをメモリに書き込む。
この第２の実施形態に係る受光装置１ｂは、上述した第１の実施形態に係る受光装置１ａと同様に、図５を用いて説明した、それぞれ半導体チップからなる受光チップ２０００と、ロジックチップ２０１０とを積層した構成を適用することができる。
（２－２．第２の実施形態の原理的な説明）
ここで、第２の実施形態に係るフォトン数の輝度値への変換について、原理的な説明を行う。ある画素（光電変換素子１１０）に対する輝度（輝度値）と、その画素に入射するフォトンの平均の入射間隔である平均フォトン到達間隔Ｔａと、は反比例の関係にある。
例えば、光電変換素子１１０に入射されるフォトン数Ｐｎと輝度値Ｌｘとが、所定の係数ｋを用いて、Ｌｘ＝Ｐｎ×ｋの関係にあるものとする。また、ある時間Ｔ（例えば露光期間Ｔｓｈ）を考え、この時間Ｔ内に平均フォトン到達間隔Ｔａで入射されるフォトン数Ｐｎは、Ｐｎ＝Ｔ／Ｔａで表される。したがって、平均フォトン到達間隔Ｔａと輝度値Ｌｘとは、次式（８）に示されるように、反比例の関係を有する。
Ｌｘ＝(Ｔ×ｋ)／Ｔａ …（８）
この平均フォトン到達間隔Ｔａを用いると、入射されるフォトン数Ｐｎが閾値Ｎｔｈ（図２Ｂ参照）を達成するために期待される期待時間Ｔｔｈevは、次式（９）で表される。
Ｔｔｈev＝Ｎｔｈ×Ｔａ …（９）
式（８）および式（９）から、光電変換素子１１０に入射されるフォトン数Ｐｎが閾値Ｎｔｈを達成することが期待される期待時間Ｔｔｈevと、閾値Ｎｔｈを達成した際に期待される輝度値Ｌｘとが、次式（１０）に示されるように、反比例の関係にあることが分かる。
Ｔｔｈev＝｛Ｎｔｈ×(Ｔ×ｋ)｝／Ｌｘ …（１０）
この式（１０）における輝度値Ｌｘは、上述のように、光電変換素子１１０に入射されるフォトン数Ｐｎが閾値Ｎｔｈを達成した際に期待される値であって、閾値Ｎｔｈにおいて予測される予測輝度値Ｌｐｒｅである。
図３９は、第２の実施形態に係る、フォトン数Ｐｎが閾値Ｎｔｈを達成する時間Ｔｔｈと、予測輝度値Ｌｐｒｅとの一例の関係を示す図である。図３９において、上述した式（１０）における輝度値Ｌｘを予測輝度値Ｌｐｒｅとして示している。ここで、期待時間Ｔｔｈevは、光電変換素子１１０に入射したフォトン数Ｐｎが閾値Ｎｔｈを達成した時間Ｔｔｈを用いることができる。図３９において、例えば式（１０）に従った曲線ＬＴを時間Ｔｔｈ0に基づき参照することで、露光期間Ｔｓｈにおける予測輝度値Ｌｐｒｅを求めることができる。
なお、上述の式（１０）において、閾値Ｎｔｈ、時間Ｔ（露光期間Ｔｓｈ）および係数ｋは、予め与えられる定数である。例えば、輝度値コード生成部２０は、曲線ＬＴを、予測輝度値Ｌｐｒｅと時間Ｔｔｈとが関連付けられたテーブルとして予め記憶しておくことができる。この場合、当該テーブルは、予測輝度値Ｌｐｒｅを、離散的な値である輝度値コードＬｃとして、対応する時間Ｔｔｈと対応付けて記憶する。
これに限らず、輝度値コード生成部２０は、これら計測された時間Ｔｔｈに基づき、これら閾値Ｎｔｈ、時間Ｔ（露光期間Ｔｓｈ）および係数ｋを用いて予測輝度値Ｌｐｒｅを算出してもよい。この場合においても、算出された予測輝度値Ｌｐｒｅは、離散的な値に処理されて輝度値コードＬｃとされる。
図４０は、第２の実施形態に係る輝度値コード生成部２０による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。図４０において、上段から、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、および、予測輝度値Ｌｐｒｅの例、をそれぞれ示している。これらのうち、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、は、上述した図３における対応部分と同様であるので、ここでの説明を省略する。また、図４０では、説明のため、高照度の場合のカウント値の例、および、等間隔のタイムコードＴｃの例において、図３と比べて時間のスケールを長く取っている。
図４０の最下段には、予測輝度値Ｌｐｒｅが、時間の経過と共に。時間Ｔｔｈと反比例の関係で減少していく様子を模式的に示している。より具体的には、図４０の例では、予測輝度値Ｌｐｒｅは、露光期間Ｔｓｈの開始時点ｔ0に近い側では、短い間隔で値が「２２」、「１７」、「１４」、…と、値が急速に減少していく。一方、露光期間Ｔｓｈの終了時点の近くでは、時間に対する予測輝度値Ｌｐｒｅの変化が小さくなり、変化の間隔も長くなる。
図４０において、高照度の場合、露光期間Ｔｓｈ内にＰｈ（２１）、Ｐｈ（２２）、…、Ｐｈ（２７）がカウントされ、次に８個目のフォトンＰｈ（２８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（２８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈとなる。図４０の例では、この時間Ｔｔｈに対応するタイムコードＴｃの値「１１」となっている。これに対して、予測輝度値Ｌｐｒｅは、値が「１０」となっている。
なお、上述の式（１０）によれば、予測輝度値Ｌｐｒｅは、時間Ｔｔｈが０に近付くに連れ急激に増大し、さらに時間Ｔｔｈが０の場合には無限大となる。したがって、時間Ｔｔｈが極めて短い期間では、予測輝度値Ｌｐｒｅが極めて大きな値となり、当該期間内の予測輝度値Ｌｐｒｅは、現実的に意味をなさない値となる。これは、当該期間における予測輝度値Ｌｐｒｅが不要であることを意味している。そのため、例えば、予測輝度値Ｌｐｒｅと時間Ｔｔｈとが関連付けられたテーブルにおいて、時間Ｔｔｈは、露光期間Ｔｓｈの開始時点から所定時間が経過した時点以降の時間のみを対象とし、当該時点以前の予測輝度値Ｌｐｒｅをテーブルにおいて定義しないことができる。
図４０の例では、例えば輝度値コード生成部２０は、最下段に示される予測輝度値において、予測輝度値Ｌｐｒｅ＝「２２」以前の時間における値、すなわち予測輝度値Ｌｐｒｅ＝「２２」を超える値を無視している。例えば、輝度値コード生成部２０は、予測輝度値Ｌｐｒｅ＝「２２」に対応する時間Ｔｔｈより前の時間Ｔｔｈおよび予測輝度値Ｌｐｒｅを、テーブルにおいて定義しない。
このように、第２の実施形態では、露光期間Ｔｓｈにおいて予測される予測輝度値Ｌｐｒｅを、光電変換素子１１０に入射するフォトン数Ｐｎが閾値Ｎｔｈを達成した時間Ｔｔｈに基づき、直接的に求めることができる。これにより、第２の実施形態に係る受光装置１ｂは、第１の実施形態に係る受光装置１ａと比較して、タイムコードＴｃを輝度値に変換する処理の負荷を軽減することが可能である。
例えば、第１の実施形態に係る受光装置１ａでは、例えば信号処理部２０１３ｃ（図７参照）が、ロジックアレイ部２０１１（図７参照）に含まれる各論理回路２０１４から読み出された各タイムコードＴｃを、それぞれ輝度値に変換する処理を実行する。すなわち、第１の実施形態に係る受光装置１ａにおいて、信号処理部２０１３ｃは、例えば、少なくとも、ロジックアレイ部２０１１に含まれる１行分の論理回路２０１４から読み出されるタイムコードＴｃそれぞれを輝度値に変換する処理を、１水平同期期間内に終了させる必要がある。
これに対して、第２の実施形態に係る受光装置１ｂは、ロジックアレイ部２０１１に含まれる各論理回路２０１４それぞれにおいて、入射フォトン数が閾値Ｎｔｈを達成した時間Ｔｔｈを輝度値に変換する処理を実行している。時間情報の輝度値への変換処理が、各論理回路２０１４に分散して実行されるため、それぞれの変換処理が小さい処理で済むと共に、信号処理部２０１３ｃにおける処理を軽減することが可能である。
図４１は、第２の実施形態に係る画素アレイ部２００１および垂直制御部２０１３ａの一例の構成を示すブロック図である。また、図４１において、画素アレイ部２００１に対して、画素回路のより具体的な構成が示されている。なお、図４１において、上述した図８と共通する部分には同一の符号を付して、詳細な説明を省略する。
図４１に例示されるように、画素アレイ部２００１は、図８を用いて説明した画素アレイ部２００１と対応する構成を有し、それぞれ図８の画素回路１００ａに対応する複数の画素回路１００ａ’を含む。なお、図４１では、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ａ’のうち、１行に含まれる各画素回路１００ａ’を抜粋して示している。
図４１において、画素回路１００ａ’は、光電変換素子１１０と、信号処理部１１１ａと、カウンタ１１２と、閾値判定部１１３ｂと、メモリ１１４と、を含む。これらのうち、光電変換素子１１０、信号処理部１１１ａ、カウンタ１１２および閾値判定部１１３ｂは、図８における光電変換素子１１０、信号処理部１１１ａ、カウンタ１１２および閾値判定部１１３ａと同様の機能を有するため、ここでの説明を省略する。例えば、図４１における光電変換素子１１０は、上述した第１の実施形態と同様に、ＳＰＡＤを適用できる。メモリ１１４は、閾値判定部１１３ｂから供給される書き込み信号ＷＲｅｎ（Ｗ）に応じて、後述するＬＣ生成部２００から供給される、予測輝度値Ｌｐｒｅとしての輝度値コードＬｃを記憶する。
一方、図４１において、垂直制御部２０１３ａ’は、図８の垂直制御部２０１３ａと対応するもので、行毎に、ＬＣ（輝度値コード）生成部２００を含む。また、各行に共通して、タイマ２１０を含む。ＬＣ生成部２００は、上述した輝度値コード生成部２０と対応するものである。ＬＣ生成部２００は、例えばタイマ２１０から供給される時間情報に基づき、図３９および図４０を用いて説明した、露光期間Ｔｓｈの開始時点からの経過時間に対して反比例の関係で変化する輝度値コードＬｃを生成する。
タイマ２１０は、例えば、クロック信号に基づき、図４０を用いて説明した予測輝度値Ｌｐｒｅの変化毎に、当該変化のタイミングを示す時間情報を生成する。
図４２は、第２の実施形態に適用可能なＬＣ生成部２００の一例の構成を示すブロック図である。ここでは、輝度値コードＬｃは、時間Ｔｔｈと関連付けられたテーブルとして記憶されるものとする。ＬＣ生成部２００は、ＲＯＭ(Read Only Memory)２０１と、コード生成制御部２０２と、を含む。ＲＯＭ２０１は、輝度値コードＬｃと時間Ｔｔｈとが関連付けられたテーブルを予め記憶する。
コード生成制御部２０２は、外部、例えばタイマ２１０から供給される時間情報に対応する輝度値コードＬｃを、ＲＯＭ２０１から読み出す。図４１の例では、コード生成制御部２０２によりＲＯＭ２０１から読み出された輝度値コードＬｃは、画素アレイ部２００１に含まれる各画素回路１００ａ’、１００ａ’、…に入力され、各メモリ１１４に供給される。
なお、制御部１００３（図７参照）は、例えば、露光期間Ｔｓｈの開始タイミングをＬＣ生成部２００に指示すると共に、露光期間Ｔｓｈの長さを示す情報をＬＣ生成部２００に供給する。
また、ＬＣ生成部２００は、信号処理部１１１ａがパルスＶｐｌｓを出力するタイミングを指示する信号ＳＨ＿ＯＮを生成する。ＬＣ生成部２００は、例えば、所定のクロック信号に基づき信号ＳＨ＿ＯＮを生成する。図４１の例では、ＬＣ生成部２００で生成された信号ＳＨ＿ＯＮは、各画素回路１００ａ’、１００ａ’、…に入力され、信号処理部１１１ａに供給される。
なお、図１６Ａおよび図１６Ｂ、図１７、図１８、図１９Ａおよび図１９Ｂ、図２０～図２６を用いて説明した各カウンタ１１２ａ～１１２ｉおよびデジタルカウンタ１１２ｊは、上述した画素回路１００ａと同様に、第２の実施形態に係る画素回路１００ａ’にも適用可能である。
（２－３．第２の実施形態に適用可能なＬＣ生成部および画素回路の配置）
次に、第１の実施形態に係るＬＣ生成部２００および画素回路１００ａ’の配置の例について説明する。なお、以下では、便宜上、画素回路１００ａ’を画素回路１００’として説明を行う。また、以下の図４３～図４８において、タイマ２１０の記載、および、ＬＣ生成部２００から出力される信号ＳＨ＿ＯＮの記載を省略している。
（２－３－１．第２の実施形態に係る第１の配置例）
まず、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第１の配置例について説明する。図４３は、第２の実施形態に係る第１の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。
第２の実施形態に係る第１の配置例は、図２７を用いて説明した第１の実施形態に係る第１の配置例に対応するもので、図４３に示すように、ＬＣ生成部２００が画素回路１００’毎に設けられている。すなわち、垂直制御部２０１３ａ’は、画素アレイ部２００１に含まれる画素回路１００’の数に対応する数のＬＣ生成部２００を含む。各ＬＣ生成部２００は、対応する画素回路１００’に対してそれぞれ信号ＳＨ＿ＯＮおよび輝度値コードＬｃを供給する。
この第２の実施形態に係る第１の配置例によれば、輝度値コードＬｃの発行速度（時間間隔）を画素回路１００’毎に制御できる。そのため、画素回路１００’毎のバラツキを抑制可能である。例えば、各画素回路１００’がライン上に配置されるラインセンサにこの第２の実施形態に係る第１の配置例による配置を適用し、各画素回路１００’の特性を均一化することが考えられる。
（２－３－２．第２の実施形態に係る第２の配置例）
次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第２の配置例について説明する。図４４は、第２の実施形態に係る第２の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。第２の実施形態に係る第２の配置例は、図２８を用いて説明した第１の実施形態に係る第２の配置例に対応するもので、図４４に示すように、垂直制御部２０１３ａ”に対し、画素アレイ部２００１に２次元格子状に配列される各画素回路１００’の行毎にＬＣ生成部２００を設けている。すなわち、第２の実施形態に係る第２の配置例は、上述した図４１に対応する構成を有する。ＬＣ生成部２００は、２次元格子の対応する行に配置される各画素回路１００’に対して共通して輝度値コードＬｃおよび信号ＳＨ＿ＯＮを供給する。
この第２の実施形態に係る第２の配置例による構成は、既存のセンサとの相性が良い。また、上述した第２の実施形態に係る第１の配置例による構成と比較して配線を削減することが可能である。
（２－３－３．第２の実施形態に係る第３の配置例）
次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第３の配置例について説明する。図４５は、第２の実施形態に係る第３の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。第２の実施形態に係る第３の配置例は、図２９を用いて説明した第１の実施形態に係る第３の配置例に対応するもので、図４５に示すように、画素アレイ部２００１に２次元格子状に配列される各画素回路１００’の２行毎にＬＣ生成部２００を設けている。ＬＣ生成部２００は、２次元格子の対応する２行に配置される各画素回路１００’に対して共通して輝度値コードＬｃおよび信号ＳＨ＿ＯＮを供給する。
この第２の実施形態に係る第３の配置例による構成は、上述した第２の実施形態に係る第２の配置例による構成と比較して配線を削減することが可能である。
（２－３－４．第２の実施形態に係る第４の配置例）
次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第４の配置例について説明する。図４６は、第２の実施形態に係る第４の配置例に係るＬＣ生成部２００および画素回路１００’の配置例を示す図である。
第２の実施形態に係る第４の配置例は、図３１を用いて説明した第１の実施形態に係る第４の配置例に対応するもので、図４６に示すように、画素アレイ部２００１内の領域毎にＬＣ生成部２００が設けられる例である。各領域に含まれる各画素回路１００’に対して、当該領域に対応するＬＣ生成部２００から共通して輝度値コードＬｃおよび信号ＳＨ＿ＯＮ（図示しない）が供給される。換言すれば、第２の実施形態に係る第４の配置例では、画素アレイ部２００１に設けた領域に含まれる各画素回路１００’によるグループ１５０’に対して、１つのＬＣ生成部２００から輝度値コードＬｃおよび信号ＳＨ＿ＯＮが供給される。
この第２の実施形態に係る第４の配置例によれば、例えば各画素回路１００’のバイアス条件などを領域毎に制御することができる。
（２－３－５．第２の実施形態に係る第５の配置例）
次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第５の配置例について説明する。この第２の実施形態に係る第５の配置例は、図３２を用いて説明した第１の実施形態に係る第５の配置例に対応するもので、各画素回路１００’に含まれる光電変換素子１１０にカラーフィルタが設けられる場合の例である。第２の実施形態に係る第５の配置例では、画素アレイ部２００１の各行において、同色のカラーフィルタが設けられる光電変換素子１１０を含む画素回路１００’を纏めてグループとし、このグループ毎にＬＣ生成部２００を設ける。
図４７は、第２の実施形態に係る第５の配置例に係る、ＬＣ生成部２００と、それぞれ、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）のカラーフィルタが設けられた光電変換素子１１０を含む画素回路１００Ｒ’、１００Ｇ’および１００Ｂ’と、の配置例を示す図である。
図４７において、例えば上から第１行目に配置される各画素回路１００Ｒ’を含むグループ１５０Ｒ1’に対して、ＬＣ生成部２００Ｒ1から輝度値コードＬｃR1および信号ＳＨ＿ＯＮR1（図示しない）が供給される。また、当該第１行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ11’に対して、ＬＣ生成部２００Ｇ11から輝度値コードＬｃG11および信号ＳＨ＿ＯＮG11（図示しない）が供給される。
第２行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ12’に対して、ＬＣ生成部２００Ｇ12から輝度値コードＬｃG12および信号ＳＨ＿ＯＮG12（図示しない）が供給される。また、当該第２行目に配置される各画素回路１００Ｂ’を含むグループ１５０Ｂ1’に対して、ＬＣ生成部２００Ｂ1から輝度値コードＬｃB1および信号ＳＨ＿ＯＮB1（図示しない）が供給される。
同様に、ベイヤ配列に従い、例えば第３行目および第４行目において、第３行目に配置される各画素回路１００Ｒ’を含むグループ１５０Ｒ2’に対して、ＬＣ生成部２００Ｒ2から輝度値コードＬｃR2および信号ＳＨ＿ＯＮR2（図示しない）が供給される。また、当該第３行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ21’に対して、ＬＣ生成部２００Ｇ21から輝度値コードＬｃG21および信号ＳＨ＿ＯＮG21（図示しない）が供給される。
第４行目に配置される各画素回路１００Ｇ’を含むグループ１５０Ｇ22’に対して、ＬＣ生成部２００Ｇ22から輝度値コードＬｃG22および信号ＳＨ＿ＯＮG22（図示しない）が供給される。また、当該第４行目に配置される各画素回路１００Ｂ’を含むグループ１５０Ｂ2’に対して、ＬＣ生成部２００Ｂ2から輝度値コードＬｃB2および信号ＳＨ＿ＯＮB2（図示しない）が供給される。
以下同様に、それぞれベイヤ配列に従い、第５行目および第６行目、第７行目および第８行目、…について、各行毎に、同色のカラーフィルタが設けられる画素回路が同一のグループに纏められて、共通のＴＣ生成部から輝度値コードＬｃおよび信号ＳＨ＿ＯＮを供給される。
Ｒ色、Ｇ色およびＢ色のカラーフィルタが設けられた各光電変換素子１１０は、入射されるフォトンに対する感度が異なる。この第５の配置によれば、各画素回路１００Ｒ’、１００Ｇ’および１００Ｂ’に対して、カラーフィルタの色毎に纏めてＬＣ生成部２００を設けている。そのため、光電変換素子１１０の、カラーフィルタの色に応じて異なる感度を、閾値Ｎｔｈの達成の時間Ｔｔｈに基づく予測輝度値Ｌｐｒｅの制御（例えばＲＯＭ２０１に記憶されるテーブル値の調整）により補正することが可能である。
なお、この第２の実施形態の第５および第６の配置例においても、上述した第１の実施形態の第６および第７の配置例と同様に、各画素回路１００Ｒ’、１００Ｇ’および１００Ｂ’、ならびに、各画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’の配置は、ベイヤ型に限定されない。また、画素回路１００’に設けるカラーフィルタは、Ｒ、Ｇ、Ｂの３色による原色系フィルタに限らず、例えばＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）およびＧの４色による、補色系フィルタであってもよい。
さらに、各画素回路１００に対して、Ｒ、Ｇおよび色、あるいは、Ｃ、Ｍ、ＹおよびＧの補色系フィルタに加え、ＩＲフィルタや透明フィルタといった他の種類の光学フィルタを設けてもよい。さらにまた、Ｒ、ＧおよびＢのカラーフィルタがそれぞれ設けられた各画素回路１００’の配列を、上述した４分割ベイヤ型ＲＧＢ配列としてもよい。
（２－３－６．第２の実施形態に係る第６の配置例）
次に、第２の実施形態に係るＬＣ生成部２００および画素回路１００’の第２の実施形態に係る第６の配置例について説明する。この第２の実施形態に係る第６の配置例は、図３３を用いて説明した第１の実施形態に係る第６の配置例に対応するもので、各画素回路１００’に含まれる光電変換素子１１０にカラーフィルタが設けられ、且つ、１つのＬＣ生成部２００を、画素アレイ部２００１に含まれる全ての画素回路１００’に共通して設ける例である。
図４８は、第２の実施形態に係る第６の配置例に係るＬＣ生成部２００、ならびに、画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’の配置例を示す図である。図４８において、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’が１つのグループ１５０ＲＧＢ’に含まれる。グループ１５０ＲＧＢに含まれる全ての画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’に対して、１つのＬＣ生成部２００ＲＧＢにより、輝度値コードＬｃRGBおよび信号ＳＨ＿ＯＮRGB（図示しない）が共通して供給される。
このように、画素アレイ部２００１に含まれる全ての画素回路１００Ｒ’、１００Ｇ1’、１００Ｇ2’および１００Ｂ’に対して共通のＬＣ生成部２００ＲＧＢを設けることで、グローバルシャッタに対応することが容易となる。
（２－４．第２の実施形態の第１の変形例）
次に、第２の実施形態の第１の変形例について説明する。図４９は、第２の実施形態の第１の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａ’の一例の構成を示すブロック図である。
図４９において、垂直制御部２０１３ａ’は、上述した図４１における垂直制御部２０１３ａと共通の構成であるので、ここでの説明を省略する。
画素アレイ部２００１において、画素回路１００ｂ’は、図３４を用いて説明した第１の実施形態の第１の変形例に係る画素回路１００ｂに対応するもので、光電変換素子１１０と、信号処理部１１１ｂと、カウンタ１１２と、閾値判定部１１３ｂ－１と、メモリ１１４と、を含む。画素回路１００ｂ’において、閾値判定部１１３ｂ－１から出力される、書き込み信号ＷＲｅｎ（Ｗ）は、メモリ１１４および信号処理部１１１ｂに供給される。
信号処理部１１１ｂは、カウントされたフォトン数が露光期間Ｔｓｈ内に閾値Ｎｔｈを超え、書き込み信号ＷＲｅｎが輝度値コードＬｃの書き込みを指示する状態となった場合に、光電変換素子１１０の動作を制限する。光電変換素子１１０の動作の制限は、上述した第１の実施形態の第１の変形例と同様の手法が適用できるので、ここでの説明を省略する。
書き込み指示の書き込み信号ＷＲｅｎに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｂ’における消費電力を削減することができる。
（２－５．第２の実施形態の第２の変形例）
次に、第２の実施形態の第２の変形例について説明する。図５０は、第２の実施形態の第２の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａ’の一例の構成を示すブロック図である。
図５０において、垂直制御部２０１３ａ’は、上述した図４１における垂直制御部２０１３ａ’と共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｃ’は、図４９の画素回路１００ｂ’’と比較して、信号処理部１１１ｂ’および閾値判定部１１３ｂ－２の機能が変更されている。
第２の実施形態の第２の変形例は、図３５を用いて説明した第１の実施形態の第２の変形例に係る画素回路１００ｃに対応するもので、閾値判定部１１３ｂ－２による閾値Ｎｔｈの検出に応じて、光電変換素子１１０の動作を制限する。光電変換素子１１０の動作の制限は、上述した第１の実施形態の第２の変形例と同様の手法が適用できるので、ここでの説明を省略する。
信号ＰｈＧａｔｉｎｇに応じて光電変換素子１１０の動作を制限することで、画素回路１００ｃ’における消費電力を削減することができる。
（２－６．第２の実施形態の第３の変形例）
次に、第２の実施形態の第３の変形例について説明する。第２の実施形態の第３の変形例は、図３６を用いて説明した第１の実施形態の第３の変形例に係る画素回路１００ｄに対応するもので、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓをカウントするカウンタとして、デュアルモードカウンタを用いることで、例えば図４１に示した画素回路１００ａにおけるメモリ１１４を省略することができ、回路面積を削減することが可能となる。
図５１は、第２の実施形態の第３の変形例に係る画素アレイ部２００１および垂直制御部２０１３ａ’の一例の構成を示すブロック図である。図５１において、垂直制御部２０１３ａ’は、上述した図４１における垂直制御部２０１３ａ’と共通の構成であるので、ここでの説明を省略する。また、画素アレイ部２００１において、画素回路１００ｄ’は、図４１の画素回路１００ａと比較して、閾値判定部１１３ｂ－３の機能が変更されると共に、メモリ１１４が省略され、カウンタ１１２の代わりにデュアルモードカウンタ１１５が設けられている。
図５１において、光電変換素子１１０に対するフォトンの入射に応じたパルスＶｐｌｓがデュアルモードカウンタ１１５に入力される。また、ＴＣ生成部１２０から出力された輝度値コードＬｃがデュアルモードカウンタ１１５に入力される。デュアルモードカウンタ１１５の構成および動作は、図３７Ａ～図３７Ｃを用いて説明したデュアルモードカウンタ１１５の構成および動作と同様であるので、ここでの説明を省略する。
上述したように、デュアルモードカウンタ１１５は、動作モードを、閾値判定部１１３ｂ－３から供給される信号ＷＲｅｎ＿ＣＮＴに応じてカウント動作モードと、記憶動作モードとで切り替える。また、記憶動作モードは、書き込み動作モードと、保持動作モードとを含む。デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴがカウント動作を示している場合、動作モードをカウント動作モードに切り替えて、信号処理部１１１ａ’から供給されるパルスＶｐｌｓをカウントし、カウント結果を示すフォトン情報ＰｈＩｎｆｏを出力する。また、デュアルモードカウンタ１１５は、信号ＷＲｅｎ＿ＣＮＴが記憶動作を示している場合、動作モードを記憶動作モードに切り替えて、入力された輝度値コードＬｃを記憶する。
デュアルモードカウンタ１１５に係る詳細な動作は、上述した第１の実施形態の第１の変形例と同様であるので、ここでの説明を省略する。
なお、式（５）および式（６）を用いて説明した、予測カウント値Ｎｐｒｅに対する圧縮処理、および、式（７）を用いて説明した、予測カウント値Ｎｐｒｅに対する相関値への変換処理は、この第２の実施形態および各変形例にも適用可能である。この場合、式（５）、（６）および（７）における予測カウント値Ｎｐｒｅを、予測輝度値Ｌｐｒｅに読み替える。
（２－７．第２の実施形態の第４の変形例）
次に、第２の実施形態の第４の変形例について説明する。上述した第２の実施形態では、図４０に示されるように、予測輝度値Ｌｐｒｅの更新周期を可変としていた。すなわち、図４０の例では、露光期間Ｔｓｈの開始時点ｔ0に近い側では、更新周期を短くし、開始時点ｔ0から時間が経過するに連れ、更新周期を長くしている。これに対して、第２の実施形態の第４の変形例では、予測輝度値Ｌｐｒｅの更新周期を固定的とする。
図５２は、第２の実施形態の第４の変形例に係る輝度値コード生成部２０による予測輝度値Ｌｐｒｅの生成を概略的に説明するための図である。図５２において、上段から、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、および、予測輝度値Ｌｐｒｅの例、をそれぞれ示している。これらのうち、時間の経過、低照度の場合のカウント値の例、高照度の場合のカウント値の例、等間隔のタイムコードＴｃの例、は、上述した図４０における対応部分と同様であるので、ここでの説明を省略する。
図５２の最下段に示されるように、例えば輝度値コード生成部２０は、同じ時間間隔で予測輝度値Ｌｐｒｅを更新している。より具体的には、図５２の例では、輝度値コード生成部２０は、上述した図４０において更新周期が最短の予測輝度値Ｌｐｒｅ＝「２２」の周期に従い、予測輝度値Ｌｐｒｅを更新している。この場合、開始時点ｔ0からの時間の経過に伴い、時間に対する予測輝度値Ｌｐｒｅの変化が小さくなる。そのため、輝度値コード生成部２０は、開始時点ｔ0からの時間の経過に伴い、連続する複数回の更新を同じ予測輝度値Ｌｐｒｅを用いて行う。図５２の例では、輝度値コード生成部２０は、予測輝度値Ｌｐｒｅ＝「１１」、「１０」、「９」、…により、それぞれ、２回連続、３回連続、５回連続、…のように、同じ値を複数回連続して用いて、一定周期で予測輝度値Ｌｐｒｅの更新を行っている。
このように、一定周期で予測輝度値Ｌｐｒｅを更新することで、輝度値コード生成部２０による予測輝度値Ｌｐｒｅの更新処理をより容易とすることが可能となる。
［３．第３の実施形態］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、光電変換素子１１０に対して入射されるフォトン数に基づき予測輝度値Ｌｐｒｅを求めると共に、予測輝度値Ｌｐｒｅを取得するための更新周期を可変とする。また、取得された予測輝度値Ｌｐｒｅを示す輝度値コードＬｃの変化も、可変とする。
図５３は、第３の実施形態に係る受光装置の概略的な構成例を示す図である。図５３において、第３の実施形態に係る受光装置１ｃは、画素１０と、計数部１１と、輝度値コード生成部２０’と、取得部１３と、を含む。画素１０は、図１の説明と同様に、光電変換により光を電荷に変換する光電変換素子と、光電変換素子から電荷を読み出して電気信号として出力する信号処理回路と、を含む。受光装置１ｃは、指定された露光期間Ｔｓｈ内に画素１０に入射されたフォトンの数に応じて輝度値を予測し、予測した輝度値に対応する、輝度値コード生成部２０’により生成された輝度値コードＬｃを、取得部１３により取得する。
第３の実施形態についてより具体的に説明する。第２の実施形態において説明したように、予測輝度値Ｌｐｒｅは、フォトン数Ｐｎが閾値Ｎｔｈを達成する時間Ｔｔｈに対して反比例の関係で変化する（図３９参照）。この場合、単位時間当たりの予測輝度値Ｌｐｒｅの変化量は、露光期間Ｔｓｈの開始時点からの時間の経過に連れて小さくなる。ここで、単位時間が時間に対する分解能を示しているものとすると、単位時間当たりの予測輝度値Ｌｐｒｅの変化量は、予測輝度値Ｌｐｒｅの分解能を示すことになる。
図５４は、第３の実施形態に適用可能な、予測輝度値Ｌｐｒｅの分解能（輝度値分解能）と、時間の分解能（時間分解能）との一例の関係を示す図である。図５４から、時間分解能を一定とした場合、輝度値分解能は、露光期間Ｔｓｈの開始時点からの時間の経過に従い低くなることが分かる。換言すれば、輝度値分解能を一定とした場合、時間分解能は、露光期間Ｔｓｈの開始時点からの時間の経過に従い低くなる、ともいえる。例えば、時間分解能は、例えば露光期間Ｔｓｈの開始時点の近傍における時間分解能に対して、当該開始時点からの時間の経過に従いより低い時間分解能で足りることになる。
そこで、第３の実施形態に係る受光装置１ｃは、輝度値コード生成部２０’が輝度値コードＬｃを生成する時間間隔を、露光期間Ｔｓｈの開始時点からの時間の経過に従い変化させる。それと共に、受光装置１ｃは、輝度値コード生成部２０’が生成する輝度値コードＬｃの変化を、露光期間Ｔｓｈの開始時点からの時間の経過に従い制御する。
図５５および図５６を用いて、第３の実施形態に係る輝度値コード生成部２０’による輝度値コードＬｃの生成について説明する。図５５は、第３の実施形態に係る、高照度および中照度の場合の輝度値コードＬｃ生成について説明するための図である。図５５において、上段から、時間の経過、中照度の場合のカウント値の例、高照度の場合のカウント値の例、時間値、および、輝度値コードＬｃの例、をそれぞれ示している。
なお、ここでは、説明のため、計数部１１が有するカウンタが３ビットカウンタであって、閾値Ｎｔｈ＝８であるものとする。すなわち、画素１０に検知されるフォトン数が８個に達すると、計数部１１のカウンタがオーバーフローする。
図５５において、時間値は、所定の時間毎にインクリメントされる値であり、例えばタイマから供給される。一方、輝度値コードＬｃは、照度を例えば高照度、中照度および低照度の３段階に分類し、それぞれ異なる更新周期に従った間隔で、輝度値コード生成部２０’により生成される。ここで、露光期間Ｔｓｈに対して、高照度の期間と、中照度の期間と、低照度の期間と、を割り当てる。例えば、高照度の期間は、露光期間Ｔｓｈの開始時点から所定時間までとし、当該所定時間から別の所定時間までを中照度の期間とする。さらに、当該別の所定期間から露光期間Ｔｓｈの終了時点までを、低照度の期間とする。
輝度値コード生成部２０’は、これら高照度、中照度および低照度の各期間のうち、高照度の期間に対して、最も高い更新周期に従った間隔で輝度値コードＬｃを生成する。また、輝度値コード生成部２０’は、高照度の期間において、不連続な値で輝度値コードＬｃを生成する。例えば、輝度値コード生成部２０’は、高照度の期間において、露光期間Ｔｓｈの開始時点に最も近い位置から遠い位置に向けて、段階的に値を小さくした輝度値コードＬｃを生成する（図５５の例では、値「２８」、「２２」、「１７」、「１３」）。
この第３の実施形態においても、上述した第２の実施形態と同様に、時間Ｔｔｈが極めて短い期間では、予測輝度値Ｌｐｒｅが極めて大きな値となり、当該期間内の予測輝度値Ｌｐｒｅは、現実的に意味をなさない値となる。これは、当該期間における輝度値コードＬｃが不要であることを意味している。そのため、輝度値コード生成部２０’は、例えば、高照度の期間において、当該期間の開始時点から所定時間が経過した時点おいて最も大きな値の輝度値コードＬｃを設定し、当該時点以前の期間においては、輝度値コードＬｃを設定しないことができる。図５５の例では、例えば輝度値コード生成部２０’は、最下段に示される輝度値コードＬｃにおいて、輝度値コードＬｃ＝「２８」以前の時間における値、すなわち、値「２８」を超える輝度値コードＬｃを設定していない。
輝度値コード生成部２０’は、中照度および低照度の期間において、連続的な値で輝度値コードＬｃを生成する。例えば、輝度値コード生成部２０’は、中照度の期間において、露光期間Ｔｓｈの開始時点に最も近い位置から遠い位置に向けて、「１」ずつ値を小さくした輝度値コードＬｃを生成する（図５５の例では、値「１１」、「１０」、「９」）。具体例は後述するが、低照度の期間においても中照度の期間と同様に、連続的な値で輝度値コードＬｃを生成する。
また、この例では、中照度の期間において、各輝度値コードＬｃに対応する期間は、上述の第２の実施形態において式（６）などを用いて説明した、期待時間Ｔｔｈevと輝度値Ｌｘとの反比例の関係に従い、露光期間Ｔｓｈの開始時点から遠ざかるに連れ長くなるように設定される。これは、高照度および低照度の期間においても同様に適用できる。なお、高照度の期間においては、各輝度値コードＬｃの値が段階的に変化しているので、各輝度値コードＬｃに対応する期間を同じ長さとすることもできる。
図５５において、中照度の場合、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（３１）、Ｐｈ（３２）、…、Ｐｈ（３７）がカウントされ、次に８個目のフォトンＰｈ（３８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（３８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈ＿ｍとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対して、輝度値コード生成部２０’で生成された輝度値コードＬｃの書き込みを指示する。図５５の例では、時間Ｔｔｈ＿ｍに対応する輝度値コードＬｃの値「９」が、書き込み信号ＷＲｅｎに従い取得部１３に取得されメモリに書き込まれる。
高照度の場合も同様に、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（４１）、Ｐｈ（４２）、…、Ｐｈ（４７）がカウントされ、次に８個目のフォトンＰｈ（４８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（３８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈ＿ｈとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対して、輝度値コード生成部２０’で生成された輝度値コードＬｃの書き込みを指示する。図５５の例では、時間Ｔｔｈ＿ｈに対応する輝度値コードＬｃの値「１３」が、書き込み信号ＷＲｅｎに従い取得部１３に取得されメモリに書き込まれる。
なお、高照度の場合の時間Ｔｔｈ＿ｈ、および、中照度の場合の時間Ｔｔｈ＿ｍに対応する時間値は、それぞれ値「１１」および「１２７」であるものとする。
図５６は、第３の実施形態に係る、低照度の場合の輝度値コードＬｃ生成について説明するための図である。図５６において、上段から、時間の経過、低照度の場合のカウント値の例、時間値、および、輝度値コードＬｃの例、をそれぞれ示している。
図５６において、露光期間Ｔｓｈ内に、７個のフォトンＰｈ（５１）、Ｐｈ（５２）、…、Ｐｈ（５７）がカウントされ、次に８個目のフォトンＰｈ（５８）が検知された時点で、カウンタがオーバーフローしている。したがって、８個目のフォトンＰｈ（５８）が検知されたタイミングが、カウント値が閾値Ｎｔｈを超えた時間Ｔｔｈ＿ｌとなる。計数部１１は、カウンタがオーバーフローすると、書き込み信号ＷＲｅｎにより、取得部１３に対して、輝度値コード生成部２０’で生成された輝度値コードＬｃの書き込みを指示する。図５６の例では、時間Ｔｔｈ＿ｌに対応する輝度値コードＬｃの値「７」が、書き込み信号ＷＲｅｎに従い取得部１３に取得されメモリに書き込まれる。
ここで、低照度の場合、平均フォトン到達間隔Ｔａが例えば上述の高照度や中照度の場合と比べて非常に長く、８個目のフォトンＰｈ（３８）が検知されカウンタがオーバーフローする時点における時間値が非常に大きな値となる。図５６の例では、当該時間値が１１ビットを要する値「１２３４」となっている。さらに、低照度の場合、露光期間Ｔｓｈの終了時点までフォトン数が閾値Ｎｔｈに達しない場合もあり、この場合、時間値は、露光期間Ｔｓｈの終了時点までカウントした、さらに大きな値となる。すなわち、一定の周波数で時間をカウントし、このカウント値を取得部１３が取得する場合、低照度に対応するためには、取得部１３は、非常に大きなビット幅のメモリを持つ必要があり、メモリ回路に大きな面積を要する。
これに対して、予測輝度値Ｌｐｒｅに基づく輝度値コードＬｃは、露光期間Ｔｓｈの開始時点から時間を経過するほど、小さな値となる。そのため、露光期間Ｔｓｈの終了時点において輝度値コードＬｃを取得した場合であっても、取得した輝度値コードＬｃの値が大きな値にはならず、メモリのビット幅を抑えることができ、メモリ回路の面積を削減可能である。
また、第３の実施形態でも、上述した第２の実施形態と同様に、露光期間Ｔｓｈにおいて予測される予測輝度値Ｌｐｒｅを、光電変換素子１１０に入射するフォトン数Ｐｎが閾値Ｎｔｈを達成した時間Ｔｔｈに基づき、直接的に求めることができる。これにより、第３の実施形態に係る受光装置１ｃは、第１の実施形態に係る受光装置１ａと比較して、タイムコードＴｃを輝度値に変換する処理の負荷を軽減することが可能である。
なお、この第３の実施形態は、上述した第２の実施形態およびその各変形例に係る各画素回路１００ａ’～１００ｄ’の構成や、図４３～図４８を用いて説明した各配置例を適用することができる。
［４．第４の実施形態］
次に、本開示の第４の実施形態について説明する。第４の実施形態は、フォトン数のカウントを、上述した第１乃至第３の実施形態とは異なる期間において実行するようにしている。
なお、第４の実施形態は、上述した第１乃至第３の実施形態の何れにも適用可能なものである。以下では、説明のため、第１の実施形態に係る受光装置１ａに対して、第４の実施形態を適用させたものとする。また、この場合において、受光装置１ａは、図８に示す画素回路１００ａを含むものとする。
上述した第１乃至第３の実施形態、例えば、第１の実施形態では、図２Ａおよび図２Ｂ、ならびに、図３を用いて説明したように、露光期間Ｔｓｈの開始時点からのフォトン数のカウント値が閾値Ｎｔｈに到達した時間Ｔｔｈに基づき、露光期間Ｔｓｈ内におけるフォトン数の予測値である予測カウント値Ｎｐｒｅを求める。このように、照度に応じてフォトン数をカウントする時間が異なるため、例えば高速に移動する物体に対しては、予測カウント値Ｎｐｒｅを正しく求めることが困難となるおそれがある。
一例として、高速に移動する物体において、高照度の部分と低照度の部分とが存在する場合、高照度の部分は短時間（時間Ｔｔｈ＿ｈ）にカウント値が閾値Ｎｔｈに達する一方で、低照度の部分では、例えば露光期間Ｔｓｈの終了時点までフォトン数のカウントが行われる。したがって、高照度の部分においてカウント値が閾値Ｎｔｈに達した時間Ｔｔｈ＿ｈから、露光期間Ｔｓｈの終了時点までの間に物体が大きく移動すると、当該物体内の各部における計測結果に大きな差が生じてしまう。これは、当該物体に対して適切な計測結果が得られないおそれがあることを意味する。
そこで、第４の実施形態では、フォトン数のカウントを、上述した第１乃至第３の実施形態とは異なる期間において実行するようにしている。より具体的には、上述した第１乃至第３の実施形態では、フォトン数のカウントを１つの露光期間Ｔｓｈに基づき行っていた。これに対して、第４の実施形態では、露光期間Ｔｓｈを分割した分割露光期間Ｔｓｈ＿ｄｉｖに基づきフォトン数のカウントを実行する。
露光期間Ｔｓｈの分割などの処理は、例えば、制御部１００３の指示に応じた垂直制御部２０１３ａの制御に従い実行することができる。
（４－１．第４の実施形態に係る第１の例）
第４の実施形態に係る第１の例について説明する。図５７は、第４の実施形態に係る第１の例の分割露光を説明するための図である。図５７において、露光期間Ｔｓｈを１フレーム（Ｆｒａｍｅ）とし、露光期間Ｔｓｈを５等分に分割し、分割されたそれぞれを分割露光期間Ｔｓｈ＿ｄｉｖとする。閾値判定部１１３ａは、各分割露光期間Ｔｓｈ＿ｄｉｖにおいて、露光期間Ｔｓｈに対する閾値Ｎｔｈの１／５の値の閾値Ｎｔｈ＿ｄｉｖに基づきフォトン情報ＰｈＩｎｆｏに対する判定を行う。
したがって、中照度の場合に入射フォトン数が閾値Ｎｔｈ＿ｄｉｖを達成する時間は、露光期間Ｔｓｈにおける時間Ｔｔｈ＿ｍの１／５の、時間Ｔｔｈ＿ｍ／５となる。同様に、高照度の場合に入射フォトン数が閾値Ｎｔｈ＿ｄｉｖを達成する時間は、露光期間Ｔｓｈにおける時間Ｔｔｈ＿ｈの１／５の、時間Ｔｔｈ＿ｈ／５となる。閾値判定部１１３ａは、各分割露光期間Ｔｓｈ＿ｄｉｖにおいて、これら時間Ｔｔｈ＿ｍ／５、時間Ｔｔｈ＿ｈ／５で書き込み信号ＷＲｅｎ（Ｗ）を出力し、メモリ１１４にタイムコードＴｃを書き込む。
また、例えば低照度の状態など、各分割露光期間Ｔｓｈ＿ｄｉｖにおいて光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈ＿ｄｉｖに達しない場合も生じうる。この場合には、閾値判定部１１３ａは、各分割露光期間Ｔｓｈ＿ｄｉｖの終了時点Ｔｒｅａｄ1、Ｔｒｅａｄ2、Ｔｒｅａｄ3、Ｔｒｅａｄ4およびＴｒｅａｄ5において、書き込み信号ＷＲｅｎ（Ｗ）を出力し、メモリ１１４に対してタイムコードＴｃを書き込む。
すなわち、第４の実施形態に係る第１の例では、画素回路１００ａは、露光期間Ｔｓｈにおいて、露光期間Ｔｓｈの１／５の時間の分割露光期間Ｔｓｈ＿ｄｉｖで露光を５回行う。
上述したように、画素回路１００ａから信号線１４２を介して読み出されたタイムコードＴｃは、信号処理部２０１３ｃに供給される。信号処理部２０１３ｃは、画素回路１００ａから供給されたタイムコードＴｃに基づき、予測カウント値Ｎｐｒｅを算出する。このとき、信号処理部２０１３ｃは、各分割露光期間Ｔｓｈ＿ｄｉｖでそれぞれ読み出されたタイムコードＴｃ1、Ｔｃ2、Ｔｃ3、Ｔｃ4およびＴｃ5に対して、例えば式（１）に基づき、それぞれ予測カウント値Ｎｐｒｅ1、Ｎｐｒｅ2、Ｎｐｒｅ3、Ｎｐｒｅ4およびＮｐｒｅ5を算出する。
信号処理部２０１３ｃは、次式（１１）に従い、予測カウント値Ｎｐｒｅ1、Ｎｐｒｅ2、Ｎｐｒｅ3、Ｎｐｒｅ4およびＮｐｒｅ5に基づき露光期間Ｔｓｈ全体での予測カウント値Ｎｐｒｅを算出する。
Ｎｐｒｅ＝Ｎｐｒｅ1＋Ｎｐｒｅ2＋Ｎｐｒｅ3＋Ｎｐｒｅ4＋Ｎｐｒｅ5 …（１１）
このように、露光期間Ｔｓｈを分割した各分割露光期間Ｔｓｈ＿ｄｉｖ毎に露光を行いタイムコードＴｃを読み出すことで、露光期間Ｔｓｈ内に移動する物体内の各部において発生する計測結果の差を抑制することが可能となる。
（４－２．第４の実施形態に係る第２の例）
次に、第４の実施形態に係る第２の例について説明する。第４の実施形態に係る第２の例は、光電変換素子１１０に入射するフォトン数による照度に応じて分割露光を行うか否かを判定する例である。
図５８は、第４の実施形態に係る第２の例の分割露光を説明するための図である。図５８において、図５７を用いて説明した第１の例と同様に、露光期間Ｔｓｈを５等分に分割する。このとき、画素回路１００ａは、照度が所定より低い場合は、露光期間Ｔｓｈの分割を行わずに、露光期間Ｔｓｈ内に入射されたフォトン数によるタイムコードＴｃを取得する。
図５８の例では、照度が低照度であれば、露光期間Ｔｓｈの分割を行わず、照度が中照度および高照度の場合に、露光期間Ｔｓｈを５つの分割露光期間Ｔｓｈ＿ｄｉｖに分割している。
換言すれば、第４の実施形態に係る第２の例では、画素回路１００ａは、光電変換素子１１０に対して入射するフォトンの平均時間間隔Ｔａが所定以下の場合に、露光期間Ｔｓｈを複数に分割した各分割露光期間Ｔｓｈ＿ｄｉｖ毎にタイムコードＴｃの取得を行う、ということができる。
図５９は、第４の実施形態の第２の例に適用可能な画素回路の一例の構成を示すブロック図である。図５９において、画素回路１００ｃ’は、図３５を用いて説明した画素回路１００ｃに対応するもので、閾値判定部１１３ａ（ｃ）の判定結果に従い信号処理部１１１ｃを制御して、光電変換素子１１０の動作を制限する。
画素回路１００ｃ’において、閾値判定部１１３ａ（ｃ）から出力される書き込み信号ＷＲｅｎがメモリ１１４に供給されると共に、ＡＮＤ回路１１７の一方の入力端に入力される。ＡＮＤ回路１１７の他方の入力端には、信号ＲＥＡＤＯＵＴ＿ｅｎが供給される。また、タイムコードＴｃが伝送される信号線１４２は、スイッチ１１６を介してメモリ１１４に接続される。スイッチ１１６は、ＡＮＤ回路１１７の出力に従いオン（閉）およびオン（開）状態を制御される。
ここで、書き込み信号ＷＲｅｎは、ハイ状態で書き込み指示を示すものとする。また、スイッチ１１６は、ＡＮＤ回路１１７からの出力が「１」（ハイ）でオン、「０」（ロー）でオフに制御されるものとする。信号ＲＥＡＤＯＵＴ＿ｅｎは、例えば、信号処理部２０１３ｃ（図７参照）による予測カウント値Ｎｐｒｅに基づく制御部１００３からの指示に従い、垂直制御部２０１３ａから供給される。
一例として、例えば制御部１００３は、垂直制御部２０１３ａに対して、信号ＲＥＡＤＯＵＴ＿ｅｎをデフォルトでハイ状態とするよう指示する。これにより、閾値判定部１１３ａから書き込み信号ＷＲｅｎ（Ｗ）が出力されることで、スイッチ１１６がオン状態とされて、信号線１４２から供給されるタイムコードＴｃがメモリ１１４に書き込まれる。
一方、制御部１００３は、露光期間Ｔｓｈの開始時点から例えば最初の分割露光期間Ｔｓｈ＿ｄｉｖまでの間に光電変換素子１１０に入射されたフォトン数が閾値Ｎｔｈ＿ｄｉｖに達しない場合、低照度であるとして、信号ＲＥＡＤＯＵＴ＿ｅｎをロー状態に移行させるよう、垂直制御部２０１３ａに指示する。そして、制御部１００３は、例えば、露光期間Ｔｓｈの最後の分割点である、分割露光期間Ｔｓｈ＿ｄｉｖ4の終了時点Ｔｒｅａｄ4において、信号ＲＥＡＤＯＵＴ＿ｅｎをロー状態からハイ状態に移行させるよう、垂直制御部２０１３ａに指示する。これにより、低照度の場合のタイムコードＴｃをメモリ１１４に書き込むことが可能となる。
（４－３．第４の実施形態に係る第３の例）
次に、第４の実施形態に係る第３の例について説明する。第４の実施形態に係る第３の例は、露光期間Ｔｓｈを複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割する際に、異なる長さの分割露光期間Ｔｓｈ＿ｄｉｖを含ませる例である。
図６０は、第４の実施形態に係る第３の例の分割露光を説明するための図である。図６０の例では、露光期間Ｔｓｈを、第１の時間Ｔ1を有する２つの分割露光期間Ｔｓｈ＿ｄｉｖ３００1および３００2と、第１の時間Ｔ1より短い第２の時間Ｔ2を有する１つの分割露光期間Ｔｓｈ＿ｄｉｖ３０１と、に分割している。
各分割露光期間Ｔｓｈ＿ｄｉｖ３００1、３００2および３０１の長さは、特に限定されないが、例えば、各分割露光期間Ｔｓｈ＿ｄｉｖ３００1および３００2の長さを、分割露光期間Ｔｓｈ＿ｄｉｖ３０１の２倍とすることが考えられる。
図６０の例では、フォトン数を予測する予測カウント値Ｎｐｒｅの算出回数と、メモリ１１４からのタイムコードＴｃの読み出し回数がそれぞれ３回となり、例えば当該各回数が５回の上述した第４の実施形態の第１の例に対して各処理の回数を減らすことができる。このように、露光期間Ｔｓｈを複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割する際に、異なる長さの分割露光期間Ｔｓｈ＿ｄｉｖを含ませることで、予測カウント値Ｎｐｒｅの算出処理や、メモリ１１４からの読み出し処理に係る消費電力の削減が可能である。
（４－４．第４の実施形態に係る第４の例）
次に、第４の実施形態に係る第４の例について説明する。第４の実施形態に係る第４の例は、露光期間Ｔｓｈを長さが等しい複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割し、各分割露光期間Ｔｓｈ＿ｄｉｖにおける閾値Ｎｔｈの値を異ならせる例である。
図６１は、第４の実施形態に係る第４の例の分割露光を説明するための図である。図６１の例では、露光期間Ｔｓｈを、それぞれ長さが等しい５つの分割露光期間Ｔｓｈ＿ｄｉｖ３０２1、３０２2、３０２3、３０２4および３０２5に分割している。そして、分割露光期間Ｔｓｈ＿ｄｉｖ３０２1、３０２3および３０２5に対して閾値Ｎｔｈ1を設定し、分割露光期間Ｔｓｈ＿ｄｉｖ３０２2および３０２4に対して、閾値Ｎｔｈ1より小さい値の閾値Ｎｔｈ2を設定する。
上述したように、画素回路１００ａから信号線１４２を介して読み出されたタイムコードＴｃは、信号処理部２０１３ｃに供給される。信号処理部２０１３ｃは、画素回路１００ａから供給されたタイムコードＴｃに基づき、予測カウント値Ｎｐｒｅを算出する。このとき、信号処理部２０１３ｃは、各分割露光期間Ｔｓｈ＿ｄｉｖ３０２1～３０２5でそれぞれ読み出されたタイムコードＴｃ11、Ｔｃ12、Ｔｃ13、Ｔｃ14およびＴｃ15に対して、例えば式（１）に基づき、それぞれ予測カウント値Ｎｐｒｅ11、Ｎｐｒｅ12、Ｎｐｒｅ13、Ｎｐｒｅ14およびＮｐｒｅ15を算出する。
ここで、予測カウント値Ｎｐｒｅ11、Ｎｐｒｅ13およびＮｐｒｅ15は、閾値Ｎｔｈ1による判定結果に基づき算出された値である。一方、予測カウント値Ｎｐｒｅ12およびＮｐｒｅ14は、閾値Ｎｔｈ1と異なる値の閾値Ｎｔｈ2による判定結果に基づき算出された値である。閾値Ｎｔｈ1と閾値Ｎｔｈ2とが、所定の係数ｋを用いてＮｔｈ1＝ｋ×Ｎｔｈ2の関係にある場合、信号処理部２１０３ｃは、露光期間Ｔｓｈ全体での予測カウント値Ｎｐｒｅを、次式（１２）に従い算出する。
Ｎｐｒｅ＝Ｎｐｒｅ11＋ｋ×Ｎｐｒｅ12＋Ｎｐｒｅ13＋ｋ×Ｎｐｒｅ14＋Ｎｐｒｅ15 …（１２）
このように、露光期間Ｔｓｈを分割した各分割露光期間Ｔｓｈ＿ｄｉｖ３０２1～３０２5に対して、異なる値の閾値Ｎｔｈ1およびＮｔｈ2を設定することで、異なる露光条件による多重露光を実現できる。
（４－５．第４の実施形態に係る第５の例）
次に、第４の実施形態に係る第５の例について説明する。第４の実施形態に係る第５の例は、露光期間Ｔｓｈを複数の分割露光期間Ｔｓｈ＿ｄｉｖに分割する際に、異なる長さの分割露光期間Ｔｓｈ＿ｄｉｖを含ませる例である。このとき、第４の実施形態に係る第５の例では、各分割露光期間Ｔｓｈ＿ｄｉｖの長さが露光期間Ｔｓｈの開始時点から終了時点に向けて順次所定倍（例えば２倍）になるように、露光期間Ｔｓｈを分割する。
図６２は、第４の実施形態に係る第５の例の分割露光を説明するための図である。図６２の例では、露光期間Ｔｓｈを、露光期間Ｔｓｈの開始時点から順に、３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、３０３2および３０３3に分割している。これら３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3は、先頭の分割露光期間Ｔｓｈ＿ｄｉｖ３０３1の長さを時間Ｔsとしたとき、次の分割露光期間Ｔｓｈ＿ｄｉｖ３０３2の長さを時間Ｔs×２とする。また、露光期間Ｔｓｈの終了時点側の分割露光期間Ｔｓｈ＿ｄｉｖ３０３3の長さを時間Ｔs×４とする。
この第４の実施形態に係る第５の例による露光期間Ｔｓｈの分割方法は、照度差の大きな環境化において明瞭に映像を得ることを可能とするハイダイナミックレンジ（ＨＤＲ）機能を実現する方式の一つである、デジタルオーバーラップに適用することができる。デジタルオーバーラップは、撮像の場合、例えば電荷の蓄積時間（露光時間）の異なる複数フレームの情報を用いて、ダイナミックレンジの拡大を図る技術である。
３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、３０３2および３０３3において、画素アレイ部２００１（およびロジックアレイ部２０１１）に２次元格子状に配列される複数の画素回路１００ａから読み出したタイムコードＴｃに基づき、露光時間Ｔｓに基づく予測カウント値ＮｐｒｅTsを算出する。同様に、当該複数の画素回路１００ａから読み出したタイムコードＴｃに基づき、露光時間Ｔs×２に基づく予測カウント値ＮｐｒｅTs2と、露光時間Ｔs×４に基づく予測カウント値ＮｐｒｅTs4と、を算出する。これら予測カウント値ＮｐｒｅTs、ＮｐｒｅTs2およびＮｐｒｅTs4に対してデジタルオーバーラップの技術による処理を適用することで、入射フォトン検出に係るダイナミックレンジの拡大を図ることが可能である。
（４－６．第４の実施形態に係る第６の例）
次に、第４の実施形態に係る第６の例について説明する。第４の実施形態に係る第６の例は、上述した第４の実施形態に係る第５の例における各分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、３０３2および３０３3の順序を変更した例である。
図６３は、第４の実施形態に係る第６の例の分割露光を説明するための図である。図６２を用いて説明した第４の実施形態に係る第５の例では、露光期間Ｔｓｈの開始時点から、各分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が長さの単調増加の順に並べられていた。
これに対して、図６３に示す第４の実施形態に係る第６の例では、長さの単調増加または単調減少の順とは異なる順序で、各分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が並べられている。すなわち、図６３の例では、それぞれ長さが時間Ｔs、時間Ｔs×２、時間Ｔs×４の３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が、露光期間Ｔｓｈの開始時点から、分割露光期間Ｔｓｈ＿ｄｉｖ３０３2、分割露光期間Ｔｓｈ＿ｄｉｖ３０３1、分割露光期間Ｔｓｈ＿ｄｉｖ３０３3、の順に並べられている。
このように、第４の実施形態の第６の例では、それぞれ長さが時間Ｔs、時間Ｔs×２、時間Ｔs×４の３つの分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3が長さの単調増加または単調減少の順とは異なる順序で並べられている。この場合であっても、分割露光期間Ｔｓｈ＿ｄｉｖ３０３1～３０３3において算出された予測カウント値ＮｐｒｅTs、ＮｐｒｅTs2およびＮｐｒｅTs4に対してデジタルオーバーラップの技術による処理を適用することができ、これにより、入射フォトン検出に係るダイナミックレンジの拡大を図ることが可能である。
［５．第５の実施形態］
次に、本開示の第５の実施形態について説明する。図６４は、第５の実施形態に係る受光装置の概略的な構成例を示す図である。図６４において、受光装置１ｄは、画素１０と、計数部１１と、タイムコード生成部１２と、を含む。
受光装置１ｄにおいて、計数部１１は、露光期間Ｔｓｈが開始されると、画素１０から出力されたパルスＶｐｌｓを計数する。計数部１１は、計数されたパルスＶｐｌｓの数が例えば時間ｔxにて閾値Ｎｔｈに達すると、係数の対象をパルスＶｐｌｓからタイムコードＴｃに切り替える。計数部１１は、露光期間Ｔｓｈが終了すると、時間ｔxから計数されたタイムコードの数であるタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)を出力する。
タイムコード生成部１２が生成するタイムコードＴｃの更新周期は既知であるので、このタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)から時間ｔxを求めることができ、求めた時間ｔxに基づき、露光期間Ｔｓｈ内に入射されるフォトン数を予測することができる。
この第５の実施形態の構成によれば、タイムコードＴｃそのものを記憶する必要が無く、したがって、タイムコードＴｃを書き込むメモリを省略できる。図６４の例では、受光装置１ｄは、上述した受光装置１ａ～１ｃが有する、当該メモリを含む取得部１３が省略されている。また、第５の実施形態の構成によれば、タイムコードＴｃも、時系列に沿って変化する値を含む必要が無く、例えばタイムコードＴｃとして更新周期毎のパルスを用いることができる。この場合、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)は、当該パルス数を計数した計数値となる。
以下、特に記載の無い限り、タイムコードＴｃが更新周期毎のパルスであるものとして説明を行う。
なお、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づくフォトン数の予測は、後段の回路、例えば信号処理部２０１３ｃ（図７参照）にて行われる。これに限らず、フォトン数の予測を受光装置１ｄの内部で行ってもよいし、受光装置１ｄの外部で行ってもよい。
図６５は、第５の実施形態に係る計数部１１の構成の例を概略的に示すブロック図である。図６５において、計数部１１は、カウンタ１１２と、閾値判定部１１３ｃと、セレクタ４００と、を含む。
セレクタ４００は、一方の入力端に画素１０から出力されたパルスＶｐｌｓが入力され、他方の入力単にタイムコード生成部１２により生成されたタイムコードＴｃが入力される。セレクタ４００は、閾値判定部１１３ｃから出力される選択信号ＳＥＬに従い、入力されたパルスＶｐｌｓおよびタイムコードＴｃから一方を選択して出力する。セレクタ４００の出力は、カウンタ１１２に入力される。カウンタ１１２は、セレクタ４００から入力されたパルスＶｐｌｓまたはタイムコードＴｃの数をカウントし、カウント結果をフォトン情報ＰｈＩｎｆｏとして出力する。
閾値判定部１１３ｃは、カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏに対して、閾値Ｎｔｈに基づく判定を行う。より具体的には、閾値判定部１１３ｃは、フォトン情報ＰｈＩｎｆｏに含まれるカウント結果、すなわちパルスＶｐｌｓまたはタイムコードＴｃの数が閾値Ｎｔｈに達したか否かを判定する。
なお、閾値ＮｔｈおよびタイムコードＴｃの値は、例えば露光期間Ｔｓｈの開始から終了まで通してタイムコードＴｃをカウントした場合であっても、カウントされたタイムコードＴｃの数が閾値Ｎｔｈ未満となるように設定される。したがって、閾値判定部１１３ｃは、パルスＶｐｌｓまたはタイムコードＴｃのうちパルスＶｐｌｓの数に対して閾値Ｎｔｈに対する判定を行うことになる。
閾値判定部１１３ｃは、セレクタ選択信号ＳＥＬおよびイネーブル信号ＥＮを出力する。閾値判定部１１３ｃは、カウント数が閾値Ｎｔｈに達したと判定した場合、選択信号ＳＥＬおよびイネーブル信号ＥＮを、それぞれ所定の状態に遷移させる。
以下、カウント数が閾値Ｎｔｈに達した場合の選択信号ＳＥＬおよびイネーブル信号ＥＮを、それぞれ選択信号ＳＥＬ(Ｎｔｈ)、イネーブル信号ＥＮ(Ｎｔｈ)とし、選択信号ＳＥＬおよびイネーブル信号ＥＮをそれぞれ選択信号ＳＥＬ(Ｎｔｈ)、イネーブル信号ＥＮ(Ｎｔｈ)に遷移させることを、選択信号ＳＥＬ(Ｎｔｈ)、イネーブル信号ＥＮ(Ｎｔｈ)を出力する、などと記述する。
セレクタ４００は、選択信号ＳＥＬ(Ｎｔｈ)に応じて、入力されたパルスＶｐｌｓおよびタイムコードＴｃのうちタイムコードＴｃを選択する。すなわち、閾値判定部１１３ｃによりパルスＶｐｌｓのカウント数が閾値Ｎｔｈに達すると、セレクタ４００からカウンタ１１２に入力される情報がパルスＶｐｌｓからタイムコードＴｃに切り替わる。カウンタ１１２は、入力されたタイムコードＴｃの数をカウントする。
また、画素１０は、イネーブル信号ＥＮ(Ｎｔｈ)に応じて、光電変換素子１１０の動作を停止させる。例えば、図９を参照し、抵抗１１０１の少なくとも一方の端の側に、イネーブル信号ＥＮにより開閉を制御されるスイッチを挿入する。より具体的には、抵抗１１０１と電源電位ＶＤＤとの間、および、抵抗１１０１と光電変換素子１１０およびインバータ１１０２とが接続される接続点との間、とのうち少なくとも一方に、当該スイッチを挿入する。これに限らず、当該スイッチを、光電変換素子１１０の少なくとも一方の端の側に挿入してもよい、
画素１０は、イネーブル信号ＥＮ(Ｎｔｈ)に応じてこのスイッチを開状態として、光電変換素子１１０に対する電源電位ＶＤＤの電圧の印加を停止させる。画素１０は、次の露光期間Ｔｓｈの開始時にイネーブル信号ＥＮを出力し、このスイッチを閉状態とし、光電変換素子１１０に対する電源電位ＶＤＤの印加を開始する。これにより、光電変換素子１１０の消費電力を削減することが可能である。
図６６は、第５の実施形態に適用可能な、フォトン数の予測について説明するための図である。図６６において、横軸は露光期間Ｔｓｈの開始からの時間の経過を示す。縦軸は、直線Ｃｔ1～Ｃｔ3に対しては、フォトン数すなわちパルスＶｐｌｓの数を示し、折れ線Ｔｃについては、タイムコードＴｃの変化を示している。
なお、タイムコード生成部１２０は、一例として、図１２に示した更新周期でタイムコードＴｃの更新を行うものとする。すなわち、露光期間Ｔｓｈを１２８クロック分（０クロック～１２７クロック）の長さとし、露光期間Ｔｓｈの開始から３２クロック分の期間（０クロック～３１クロック）は、２クロックを更新周期としてタイムコードＴｃを更新する。次の３２クロック分の期間（３２クロック～６３クロック）は、４クロックを更新周期、さらに次の６４クロック分の期間（６４クロック～１２７クロック）は、８クロックを更新周期として、それぞれタイムコードＴｃを更新する。
図６６の例では、露光期間Ｔｓｈの開始から時間ｔ10までが２クロックを更新周期とし、時間ｔ10～ｔ11の間が４クロックを、時間ｔ11～露光期間Ｔｓｈの終了までが８クロックを、それぞれ更新周期としている。
図６６において、直線Ｃｔ1は、カウントされたフォトン数が時間ｔ1で閾値Ｎｔｈを達成したことを示している。また、直線Ｃｔ2は、カウントされたフォトン数が時間ｔ1より後の時間ｔ2で閾値Ｎｔｈを達成したことを示している。ここで、露光期間Ｔｓｈの終了時における、露光期間Ｔｓｈの開始時点からのタイムコードＴｃの更新回数は既知であり、タイムコードＴｃの各時点における更新周期も既知であるため、各時間ｔ1およびｔ2からそれぞれカウントされたタイムコード数Ｃｎｔ＿Ｔｃ(ｔ1)およびＣｎｔ＿Ｔｃ(ｔ2)に基づき、逆算により、時間ｔ1およびｔ2それぞれを求めることができる。
ここで、時間ｔxから露光期間Ｔｓｈの終了時点（時間Ｔｓｈとする）までの時間を時間ΔＴｃ＿ｓｈ(ｔx)とする。この場合、時間ｔxは、下記の式（１３）により表される。
ｔx＝Ｔｓｈ－ΔＴｃ＿ｓｈ(ｔx) …（１３）
時間ΔＴｃ＿ｓｈ(ｔx)は、時間ｔxからカウントされたタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき求める。すなわち、タイムコードＴｃの更新周期が図１２に示すものである場合、時間ΔＴｃ＿ｓｈ(ｔx)は、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)の値に基づき、下記の各式（１４）～（１６）にて求められる。なお、各式において、「：（コロン）」は、その前の記述がタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に対する条件であることを表している。また、［Ｃｋ］は、直前の数値がクロック数であることを表している。
Ｃｎｔ＿Ｔｃ(ｔx)≦８：ΔＴｃ＿ｓｈ(ｔx)＝Ｃｎｔ＿Ｔｃ(ｔx)×８［Ｃｋ］ …（１４）
８＜Ｃｎｔ＿Ｔｃ(ｔx)≦１６：ΔＴｃ＿ｓｈ(ｔx)＝６４［Ｃｋ］＋（Ｃｎｔ＿Ｔｃ(ｔx)－８［Ｔｃ］）×４［Ｃｋ］ …（１５）
Ｃｎｔ＿Ｔｃ(ｔx)＞１６：ΔＴｃ＿ｓｈ(ｔx)＝９６［Ｃｋ］＋（Ｃｎｔ＿Ｔｃ(ｔx)－１６［Ｔｃ］）×２［Ｃｋ］ …（１６）
例えば信号処理部２０１３ｃは、カウンタ１１２から出力されたタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき上述した式（１３）～（１６）の計算を実行し、フォトン数が閾値Ｎｔｈに達した時間ｔxを求める。そして、上述した式（１）に従い、時間ｔxを式（１）の時間Ｔｔｈとして用いて、予測カウント値Ｎｐｒｅを求める。
なお、図６６に直線Ｃｔ3として示されるように、低照度であり、露光期間Ｔｓｈが経過してもフォトン数が閾値Ｎｔｈに達しない場合、選択信号ＳＥＬ(Ｎｔｈ)が出力されず、セレクタ４００においてタイムコードＴｃが入力として選択されない。したがって、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)のカウントが行われず、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)＝０となる。この場合には、露光期間Ｔｓｈが経過した時点でカウントされたフォトン数を、予測カウント値Ｎｐｒｅとして用いることができる。
図６７は、第５の実施形態に係る画素回路の一例の構成を示すブロック図である。なお、図６７において、垂直制御部２０１３ａは、図８を用いて説明した垂直制御部２０１３ａと同等の構成を適用できるので、ここでの説明を省略する。図６７において、画素アレイ部２００１は、複数の画素回路１００ｅを含む。なお、図６７では、図８の例と同様に、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ｅのうち、１行に含まれる各画素回路１００ｅを抜粋して示している。
画素回路１００ｅは、光電変換素子１１０と、信号処理部１１１ａと、セレクタ４００と、カウンタ１１２と、閾値判定部１１３ｃと、を含む。なお、以下では、上述した図８と異なる部分に注目して説明を行う。
光電変換素子１１０は、閾値判定部１１３ｃから出力されるイネーブル信号ＥＮに従い、動作を制御される。光電変換素子１１０は、フォトンの入射に応じて信号Ｖｐｈを出力し、信号処理部１１１ａは、光電変換素子１１０から出力された信号Ｖｐｈを整形してパルスＶｐｌｓとして出力する。パルスＶｐｌｓは、セレクタ４００の一方の入力端に入力される。セレクタ４００の他方の入力端には、タイムコード生成部１２０で生成されたタイムコードＴｃが入力される。
セレクタ４００は、閾値判定部１１３ｃから出力される選択信号ＳＥＬに従い、一方の入力端に入力されたパルスＶｐｌｓと、他方の入力端に入力されたタイムコードＴｃのうち一方を出力する。セレクタ４００の出力は、カウンタ１１２に入力される。
カウンタ１１２は、露光期間Ｔｓｈを示す信号、例えば露光期間Ｔｓｈにおいてハイ状態とされ、その他の期間においてロー状態とされる信号が入力される。カウンタ１１２は、セレクタ４００から出力されたパルスＶｐｌｓまたはタイムコードＴｃを、露光期間Ｔｓｈにおいてカウントし、カウント値（フォトン数またはタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)を、フォトン情報ＰｈＩｎｆｏとして出力する。
閾値判定部１１３ｃは、カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏに基づき閾値判定を行う。また、閾値判定部１１３ｃは、選択信号ＳＥＬおよびイネーブル信号ＥＮを出力する。閾値判定部１３ｃは、フォトン情報ＰｈＩｎｆｏに基づきフォトン数が閾値Ｎｔｈに達したと判定した場合、選択信号ＳＥＬを選択信号ＳＥＬ(Ｎｔｈ)に遷移させると共に、イネーブル信号ＥＮをイネーブル信号ＥＮ(Ｎｔｈ)に遷移させる。さらに、閾値判定部１１３ｃは、露光期間Ｔｓｈの終了時に、カウンタ１１２から供給されたカウント値（例えばタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)）を出力し、例えば信号処理部２０１３ｃに供給する。
図６８は、第５の実施形態に適用可能なカウンタ１１２および閾値判定部１１３ｃの一例の構成を示すブロック図である。ここでは、カウンタ１１２として、図１７を用いて説明した、ビット列を出力可能なカウンタ１１２ｂを適用している。なお、カウンタ１１２ｂにおける基本的なカウント動作は、図１７を用いて説明したカウンタ１１２ｂと同様であるので、ここでの説明を省略する。
カウンタ１１２から出力されたフォトン情報ＰｈＩｎｆｏは、閾値判定部１１３ｃに入力される。閾値判定部１１３ｃは、比較回路１１３１’を含むと共に、選択信号ＳＥＬおよびイネーブル信号ＥＮを出力する。比較回路１１３１’は、フォトン情報ＰｈＩｎｆｏと、閾値Ｎｔｈとを比較し、フォトン情報ＰｈＩｎｆｏが示す値と閾値Ｎｔｈとが一致した場合に、選択信号ＳＥＬおよびイネーブル信号ＥＮを、それぞれ選択信号ＳＥＬ(Ｎｔｈ)およびイネーブル信号ＥＮ(Ｎｔｈ)の状態に遷移させる。
閾値判定部１１３ｃに含まれるスイッチ４０１は、一端が、カウンタ１１２からビット列が入力される入力経路に接続され、他端が外部（例えば垂直信号線）に接続される。ここで、垂直信号線は、画素アレイ部２００１に２次元格子状に配列される各画素回路１００ｅのうち、列方向に整列される各画素回路１００ｅに接続される信号線であって、例えば水平制御部２０１３ｂを介して信号処理部２０１３ｃに接続される。
スイッチ４０１は、露光期間Ｔｓｈを示す信号により開閉が制御される。例えば、スイッチ４０１は、当該信号により露光期間Ｔｓｈ内では開状態に制御され、露光期間Ｔｓｈが終了するタイミングで開状態から閉状態に制御される。これにより、カウンタ１１２から閾値判定部１１３ｃに入力されるカウント値（例えばタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)が、閾値判定部１１３ｃから外部に出力される。
このように、第５の実施形態に係る受光装置１ｄは、カウントしたフォトン数が閾値Ｎｔｈに達した場合に、カウントの対象をフォトン数からタイムコードＴｃに切り替える。そして、露光期間Ｔｓｈの終了時点でのタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき、予測カウント値Ｎｐｒｅを求めるようにしている。そのため、タイムコードＴｃを記憶するためのメモリを省略できる。
なお、当該受光装置１ｄは、閾値判定部１１３ｃから出力されるタイムコード数Ｃｎｔ＿Ｔｃ(ｔx)に基づき、フォトン数が閾値Ｎｔｈに達した時間ｔxを求めている。したがって、タイムコード数Ｃｎｔ＿Ｔｃ(ｔx)は、フォトン数が閾値Ｎｔｈに達した時間ｔxに到達した時間を示す時間情報であり、閾値判定部１１３ｃは、当該時間情報を取得する取得部として機能する。
（５－１．第５の実施形態の第１の変形例）
次に、第５の実施形態の第１の変形例について説明する。第５の実施形態の第１の変形例は、第５の実施形態のセレクタ４００の、パルスＶｐｌｓが入力される一方の入力端に１ビットカウンタを設けた例である。図６９Ａおよび図６９Ｂを用いて、第５の実施形態の第１の変形例に係る計数部１１について説明する。
図６９Ａは、第５の実施形態の第１の変形例に係る計数部１１の構成の例を概略的に示すブロック図である。図６９Ａの例では、図６５の構成に対して画素１０とセレクタ４００の一方の入力端との間に１ビットカウンタ４０２（図では１ｂカウンタ４０２と表記）が挿入されている。この構成において、画素１０から出力されたパルスＶｐｌｓが１ビットカウンタ４０２に入力され、１ビットカウンタ４０２の出力がセレクタ４００の一方の入力端に入力される。セレクタ４００の他方の入力端には、タイムコードＴｃが入力される。
図６９Ａの例では、１ビットカウンタ４０２は、１つの入力端を有し、当該入力端に入力される入力信号の立ち上がり毎に、出力信号の状態を反転させる。図６９Ｂは、第５の実施形態の第１の変形例に適用可能な１ビットカウンタの動作例を示すシーケンス図である。図６９Ｂの例では、パルスＶｐｌｓの立ち上がり毎に、１ビットカウンタ４０２の出力（図では１ｂカウンタ出力と表記）がハイ状態およびロー状態の間で遷移している。すなわち、１ビットカウンタ４０２は、パルスＶｐｌｓの２パルス毎に１カウントを行う。また、１ビットカウンタ４０２の出力は、初期状態と同一の状態で偶数のカウント値、初期状態に対して反転された状態で奇数のカウント値をそれぞれ示す。そのため、パルスＶｐｌｓのカウント値の解像度は、１ビットカウンタ４０２を用いない場合と変わらない。
このような１ビットカウンタ４０２は、例えばフリップフロップ回路を用いて構成することができる。
このように、パルスＶｐｌｓを１ビットカウンタ４０２でカウントした出力をカウンタ１１２に入力することで、カウンタ１１２におけるパルスＶｐｌｓのカウント動作が、１ビットカウンタ４０２を用いない場合に比べて１／２となり、カウンタ１１２における消費電力を削減することが可能である。また、１ビットカウンタ４０２を用いることによる解像度の低下も生じない。
なお、第５の実施形態の第１の変形例におけるフォトン数の予測は、図６６を用いて説明した第５の実施形態による予測方法を適用することができるため、ここでの説明を省略する。
（５－２．第５の実施形態の第２の変形例）
次に、第５の実施形態の第２の変形例について説明する。第５の実施形態の第２の変形例では、画素１０から出力されたパルスＶｐｌｓと、タイムコード生成部１２０から供給されるタイムコードＴｃとを合成した合成パルスＳｙｎＰｌｓを、カウンタ１１２で計数する。なお、ここでは、上述したように、タイムコードＴｃを、更新周期毎のパルスであるものとして説明を行う。露光期間Ｔｓｈ内におけるタイムコードＴｃの数および更新周期は既知なので、カウンタ１１２が合成パルスＳｙｎＰｌｓを計数したカウント値から、カウント期間内に含まれるタイムコードＴｃの数を減算することで、当該カウント期間内のパルスＶｐｌｓ数を得ることができる。
図７０は、第５の実施形態の第２の変形例に係る計数部１１の構成の例を概略的に示すブロック図である。図７０において、計数部１１は、合成部４１０と、カウンタ１１２と、閾値判定部１１３ｄと、を含む。このように、第５の実施形態の第２の変形例に係る計数部１１は、上述した第５の実施形態および第５の実施形態の第１の変形例と異なり、セレクタ４００を含まない。
また、第５の実施形態の第２の変形例に係る閾値判定部１１３ｄは、基準クロックに基づくクロックＣｋが供給されると共に、カウンタ１１２にカウントされたカウント値が閾値Ｎｔｈを達成した際に、イネーブル信号ＥＮ(Ｎｔｈ)を出力する。また、閾値判定部１１３ｄは、カウント値が閾値Ｎｔｈを達成した時間ｔxを示す情報が出力される。この時間ｔxを示す情報は、例えば基準クロックに基づくクロックＣｋを単位として表すことができる。
画素１０から出力されたパルスＶｐｌｓと、タイムコード生成部１２０により生成されたタイムコードＴｃと、が合成部４１０に入力される。合成部４１０は、これらパルスＶｐｌｓとタイムコードＴｃを合成し、合成パルスＳｙｎＰｌｓを出力する。カウンタ１１２は、この合成パルスＳｙｎＰｌｓを計数し、計数された合成パルス数ＣｎｔＳｐをフォトン情報ＰｈＩｎｆｏとして出力する。
閾値判定部１１３ｄは、フォトン情報ＰｈＩｎｆｏすなわち合成パルス数ＣｎｔＳｐが閾値Ｎｔｈに達したか否かを判定する。閾値判定部１１３ｄは、合成パルス数ＣｎｔＳｐが閾値Ｎｔｈを達成したと判定した場合、イネーブル信号ＥＮ(Ｎｔｈ)を出力して光電変換素子１１０の動作を停止させる。また、閾値判定部１１３ｄは、合成パルス数ＣｎｔＳｐが閾値Ｎｔｈを達成した時間ｔxを示す情報を出力する。この時間ｔxを示す情報は、閾値判定部１１３ｄから例えば信号処理部２０１３ｃに供給される。
なお、この第５の実施形態の第２の変形例において、合成部４１０に対して、パルスＶｐｌｓを、第５の実施形態の第１の変形例で説明した１ビットカウンタ４０２を介して入力するように構成してもよい。
図７１は、第５の実施形態の第２の変形例に適用可能な、フォトン数の予測について説明するための図である。なお、図７１の各部の意味は、上述した図６６と同様であるので、ここでの説明を省略する。
図７１において、直線Ｃｔ4は、時間ｔ4で閾値Ｎｔｈを達成した合成パルス数ＣｎｔＳｐ(ｔ4)を示している。この合成パルス数ＣｎｔＳｐ(ｔ4)は、パルスＶｐｌｓの数であるパルス数ＣｎｔＶｐｌｓ(ｔx)の他に、時間ｔ4までのタイムコード数ＣｎｔＴｃ(ｔ4)を含んでいる。そのため、正しくフォトン数の予測を行うためには、図７１中に矢印にて示されるように、この合成パルス数ＣｎｔＳｐ(ｔ4)すなわち閾値Ｎｔｈからタイムコード数ＣｎｔＴｃ(ｔ4)を減じて、パルス数ＣｎｔＶｐｌｓ(ｔx)を求める必要がある。
第５の実施形態の第２の変形例では、次式（１７）に従い、この閾値Ｎｔｈを達成した合成パルス数ＣｎｔＳｐ(ｔx)からタイムコード数ＣｎｔＴｃ(ｔx)を減じた値Ｎｔｈ’を式（１）の閾値Ｎｔｈとして用いる。また、時間ｔxを式（１）の時間Ｔｔｈとして用いる。これにより、予測カウント値Ｎｐｒｅを求める。なお、時間ｔxは、露光期間Ｔｓｈ内において合成パルス数ＣｎｔＳｐが閾値Ｎｔｈを達成した時間を示している。
Ｎｐｒｅ＝Ｎｔｈ’×(Ｔｓｈ／ｔx) …（１７）
ここで、時間ｔxにおけるタイムコード数ＣｎｔＴｃ(ｔx)は、下記の各式（１８）～（２０）にて求めることができる。なお、ここでは、上述した式（１４）～（１６）と同様に、タイムコードＴｃの更新周期が図１２に示すものであり、時間ｔxが露光期間Ｔｓｈの開始時点からクロック（Ｃｋとする）単位で計測されるものとする。式（１８）～（２０）において、Ｃｎt(ｔx)は、時間ｔxを示す情報であって、時間ｔxにおけるクロックＣｋのカウント数とする。なお、各式（１８）～（２０）において、小数点以下は切り捨て処理を行うものとする。
０［Ｃｋ］＜Ｃｎt(ｔx)≦３１［Ｃｋ］：ＣｎｔＴｃ(ｔx)＝Ｃｎt(ｔx)／２ …（１８）
３１［Ｃｋ］＜Ｃｎt(ｔx)≦６３［Ｃｋ］：ＣｎｔＴｃ(ｔx)＝３２［Ｃｋ］／２＋(Ｃｎt(ｔx)－３２［Ｃｋ］)／４ …（１９）
６３［Ｃｋ］＜Ｃｎt(ｔx)≦１２７［Ｃｋ］：ＣｎｔＴｃ(ｔx)＝３２［Ｃｋ］／２＋３２［Ｃｋ］／４＋(Ｃｎt(ｔx)－６４［Ｃｋ］)／８ …（２０）
例えば信号処理部２０１３ｃは、閾値判定部１１３ｄから供給された時間ｔxに基づき上述した式（１８）～（２０）によりタイムコード数ＣｎｔＴｃ(ｔx)を算出する。信号処理部２０１３ｃは、さらに、このようにして算出されたタイムコード数ＣｎｔＴｃ(ｔx)を、次式（２１）にように閾値Ｎｔｈから減じて、値Ｎｔｈ’を求める。
Ｎｔｈ’＝Ｎｔｈ－ＣｎｔＴｃ(ｔx) …（２１）
信号処理部２０１３ｃは、式（２１）により求めた値Ｎｔｈ’を上述の式（１７）に適用して、予測カウント値を求める。
このように、第５の実施形態の第２の変形例では、タイムコードＴｃそのものを記憶する必要が無く、したがって、タイムコードＴｃを書き込むメモリを省略できる。
（５－２－１．光電変換素子の出力について）
次に、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成例について説明する。第５の実施形態の第２の変形例に係る合成部４１０は、論理回路を用いて構成することが可能である。
ここで、画素１０は、画素１０に含まれる光電変換素子１１０の接続方法により、正パルスおよび負パルスの何れかによるパルスＶｐｌｓを出力する。図７２Ａおよび図７２Ｂは、負パルスおよび正パルスとしてのパルスＶｐｌｓを出力する光電変換素子１１０の接続方法を説明するための図である。なお、図７２Ａおよび図７２Ｂでは、光電変換素子１１０と、クエンチング動作のための抵抗１１０１の接続に注目し、信号処理部１１１ａの記載が省略されている。
図７２Ａは、上述した図９と対応する図であって、負パルスとしてのパルスＶｐｌｓを出力する光電変換素子１１０の接続方法の例を示している。図７２Ａに示されるように、光電変換素子１１０のカソードが抵抗１１０１を介して電源電位ＶＤＤに接続され、アノードが例えば接地電位である電位ＧＮＤ（１）に接続されている。光電変換素子１１０のカソードと抵抗１１０１との接続点から出力を取り出すことで、パルス部分がロー状態、非パルス部分がハイ状態である負パルスとしてのパルスＶｐｌｓが出力される。
一方、図７２Ｂは、正パルスとしてのパルスＶｐｌｓを出力する光電変換素子１１０の接続方法の例を示している。図７２Ｂに観されるように、光電変換素子１１０のカソードが電源電位ＶＤＤに接続され、アノードが抵抗１１０１を介して例えば接地電位である電位ＧＮＤ（１）に接続されている、光電変換素子１１０のアノードと抵抗１１０１との接続点から出力を取り出すことで、パルス部分がハイ状態、非パルス部分がロー状態である正パルスとしてのパルスＶｐｌｓが出力される。
なお、タイムコードＴｃは、画素１０の外部のタイムコード生成部１２０により生成される。そのため、正パルスおよび負パルスの何れによりタイムコードＴｃを生成するかは、タイムコード生成部１２０の設計により選択することが可能である。
（５－２－２．合成部の構成の第１の例）
図７３Ａおよび図７３Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第１の例について説明するための図である。なお、図７３Ａおよび図７３Ｂ、ならびに、以下の同様の図において、各信号に付与される記号（＋）は、その信号が正パルスによる信号であることを示し、記号（－）は、その信号が負パルスによる信号であることを示している。
図７３Ａに示されるように、第１の例による合成部４１０ａは、ＡＮＤ回路４１００を用いて構成される。ＡＮＤ回路４１００の一方の入力端に、負パルスによるタイムコードＴｃ（－）が入力され、他方の入力端に、負パルスによるパルスＶｐｌｓ（－）が入力される。ＡＮＤ回路４１００は、図７３Ｂに示されるように、タイムコードＴｃ（－）とパルスＶｐｌｓ（－）とで非パルス部分が一致する期間が負パルスとなる合成パルスＳｙｎＰｌｓ（－）を出力する。カウンタ１１２は、この負パルスをカウントする。
（５－２－３．合成部の構成の第２の例）
図７４Ａおよび図７４Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第２の例について説明するための図である。図７４Ａに示されるように、第２の例による合成部４１０ｂは、ＸＮＯＲ(eXclusive NOR)回路４１０１を用いて構成される。図７４Ｂは、ＸＮＯＲ回路４１０１の真理値表を示す。図７４Ｂに示されるように、ＸＮＯＲ回路４１０１は、２つの入力ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致する場合に出力Ｏｕｔｐｕｔが「１」となり、ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致しない場合に、出力Ｏｕｔｐｕｔが「０」となる。
このＸＮＯＲ回路４１０１の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（－）を入力し、他方にパルスＶｐｌｓ（－）を入力する。これにより、合成部４１０ｂは、図７３Ａおよび図７３Ｂを用いて説明した、第１の例によるＡＮＤ回路４１００を用いた合成部４１０ａとほぼ同様の、負パルスによる合成パルスＳｙｎＰｌｓ（－）を得ることができる。
（５－２－４．合成部の構成の第３の例）
図７５Ａおよび図７５Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第３の例について説明するための図である。図７５Ａに示されるように、第３の例による合成部４１０ｃは、ＮＡＮＤ回路４１０２を用いて構成される。ＮＡＮＤ回路４１０２の一方の入力端に、負パルスによるタイムコードＴｃ（－）が入力され、他方の入力端に、負パルスによるパルスＶｐｌｓ（－）が入力される。ＮＡＮＤ回路４１０２は、図７５Ｂに示されるように、タイムコードＴｃ（－）とパルスＶｐｌｓ（－）とで非パルス部分とパルス部分とが重なる期間が正パルスとなる合成パルスＳｙｎＰｌｓ（＋）を出力する。カウンタ１１２は、この正パルスをカウントする。
（５－２－５．合成部の構成の第４の例）
図７６Ａおよび図７６Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第４の例について説明するための図である。図７６Ａに示されるように、第４の例による合成部４１０ｄは、ＸＯＲ(eXclusive OR)回路４１０３を用いて構成される。図７６Ｂは、ＸＯＲ回路４１０３の真理値表を示す。図７６Ｂに示されるように、ＸＯＲ回路４１０３は、２つの入力ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致する場合に出力Ｏｕｔｐｕｔが「０」となり、ＩｎｐｕｔAおよびＩｎｐｕｔBの入力値が一致しない場合に、出力Ｏｕｔｐｕｔが「１」となる。
このＸＯＲ回路４１０３の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（－）を入力し、他方にパルスＶｐｌｓ（－）を入力する。これにより、合成部４１０ｄは、図７５Ａおよび図７５Ｂを用いて説明した、第３の例によるＮＡＮＤ回路４１０２を用いた合成部４１０ｃとほぼ同様の、正パルスによる合成パルスＳｙｎＰｌｓ（＋）を得ることができる。
（５－２－６．合成部の構成の第５の例）
図７７Ａおよび図７７Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第５の例について説明するための図である。図７７Ａに示されるように、第５の例による合成部４１０ｅは、ＯＲ回路４１０４を用いて構成される。ＯＲ回路４１０４の一方の入力端に、正パルスによるタイムコードＴｃ（＋）が入力され、他方の入力端に、正パルスによるパルスＶｐｌｓ（＋）が入力される。ＯＲ回路４１０４は、図７７Ｂに示されるように、タイムコードＴｃ（＋）およびパルスＶｐｌｓ（＋）の少なくとも一方が正パルスになる期間が正パルスとなる合成パルスＳｙｎＰｌｓ（＋）を出力する。カウンタ１１２は、この正パルスをカウントする。
（５－２－７．合成部の構成の第６の例）
図７８は、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第６の例について説明するための図である。図７８に示されるように、第６の例による合成部４１０ｆは、ＸＯＲ回路４１０３を用いて構成される。合成部４１０ｆにおいて、ＸＯＲ回路４１０３の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（＋）を入力し、他方にパルスＶｐｌｓ（＋）を入力する。これにより、合成部４１０ｆは、図７７Ａおよび図７７Ｂを用いて説明した、第５の例によるＯＲ回路４１０４を用いた合成部４１０ｅとほぼ同様の、正パルスによる合成パルスＳｙｎＰｌｓ（＋）を得ることができる。
（５－２－８．合成部の構成の第７の例）
図７９Ａおよび図７９Ｂは、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第７の例について説明するための図である。図７９Ａに示されるように、第７の例による合成部４１０ｇは、ＮＯＲ回路４１０５を用いて構成される。ＮＯＲ回路４１０５の一方の入力端に、正パルスによるタイムコードＴｃ（＋）が入力され、他方の入力端に、正パルスによるパルスＶｐｌｓ（＋）が入力される。ＮＯＲ回路４１０５は、図７９Ｂに示されるように、タイムコードＴｃ（＋）およびパルスＶｐｌｓ（＋）の少なくとも一方が正パルスなる期間が負パルスとなる合成パルスＳｙｎＰｌｓ（－）を出力する。カウンタ１１２は、この負パルスをカウントする。
（５－２－９．合成部の構成の第８の例）
図８０は、第５の実施形態の第２の変形例に適用可能な合成部４１０の構成の第８の例について説明するための図である。図８０に示されるように、第８の例による合成部４１０ｈは、ＸＮＯＲ回路４１０１を用いて構成される。合成部４１０ｈにおいて、ＸＮＯＲ回路４１０１の入力ＩｎｐｕｔAおよびＩｎｐｕｔBの一方にタイムコードＴｃ（＋）を入力し、他方にパルスＶｐｌｓ（＋）を入力する。これにより、合成部４１０ｈは、図７９Ａおよび図７９Ｂを用いて説明した、ＮＯＲ回路４１０５を用いた第７の例による合成部４１０ｇとほぼ同様の、負パルスによる合成パルスＳｙｎＰｌｓ（－）を得ることができる。
このように、第５の実施形態の第２の変形例では、論理回路により構成される合成部４１０によりタイムコードＴｃとパルスＶｐｌｓとを合成した合成パルスＳｙｎＰｌｓに基づき予測カウント値を求めている。そのため、第５の実施形態の第２の変形例に係る計数部１１は、上述した第５の実施形態および第５の実施形態の第１の変形例における計数部１１に含まれるセレクタ４００を省略でき、回路面積を削減可能である。
［６．第６の実施形態］
次に、本開示の第６の実施形態について説明する。第６の実施形態は、上述した第１～第４の実施形態に係る各受光装置１ａ～１ｄを、距離を測定する装置（測距装置）に適用した場合の例である。
図８１は、第６の実施形態に係る測距装置の一例の構成を示すブロック図である。図８１において、測距装置３０００は、光パルス送信機３０１０と、光パルス受信機３０１１と、ＲＳフリップフロップ３０１２と、を含む。
距離を測定する方法として、ＴｏＦ（Time of Flight）方式を用いた場合を例に挙げて説明する。ＴｏＦ型センサは、当該ＴｏＦ型センサに近接する位置から発せられた光が対象物３０２０に照射され、当該光が対象物３０２０により反射して帰って来るまでの時間を計測することで、対象物３０２０までの距離を計測する。
図８２は、第６の実施形態に適用可能なＴｏＦ型センサの一例の動作タイミングを示すタイミングチャートである。図８２を参照して、測距装置３０００の動作について説明する。
光パルス送信機３０１０は、供給されるトリガパルスに基づき、光を発光する（光送信パルス）。光パルス受信機３０１１は、この発光された光が対象物３０２０に照射され、当該光が対象物３０２０により反射されてきた反射光を受信する。光パルス受信機３０１１として、上述した受光装置１ａ、１ｂおよび１ｃの何れかを適用することができる。ここでは、便宜上、光パルス受信機３０１１として受光装置１ａを適用するものとして説明を行う。
送信光パルスが発光された時刻と、受信光パルスが受光された時刻との差分が、対象物との距離に応じた時間、すなわち光飛行時間ＴｏＦに相当する。
トリガパルスは、光パルス送信機３０１０とＲＳフリップフロップ３０１２とに供給される。トリガパルスが光パルス送信機３０１０に供給されることで、短時間、光パルスが送信される。また、ＲＳフリップフロップ３０１２は、トリガパルスによりリセットされる。
光パルス受信機３０１１に受光装置１ａを適用した場合、受光装置１ａが有する光電変換素子１１０に受信光パルスが受信（入射）されると、光電変換素子１１０においてフォトンが発生する。その発生したフォトンに基づく例えばパルスＶｐｌｓにより、ＲＳフリップフロップ３０１２がリセットされる。
このような動作により、ＲＳフリップフロップ３０１２において、光飛行時間ＴｏＦに相当するパルス幅を持ったゲート信号を生成することができる。この生成されるゲート信号を、クロック信号などを用いてカウントすることで、光飛行時間ＴｏＦを算出することができる。算出された光飛行時間ＴｏＦは、距離を示す距離情報のデジタル信号として、測距装置３００から出力される。
［７．第７の実施形態］
次に、本開示の第７の実施形態として、本開示の第１～４の実施形態および各変形例に係る受光装置の適用例について説明する。図８３は、第７の実施形態による、上述の第１～第４の実施形態およびその各変形例に係る受光装置１ａ、１ｂおよび１ｃを使用する使用例を示す図である。
上述した受光装置１ａ、１ｂおよび１ｃは、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
［本開示に係る技術のさらなる適用例］
（移動体への適用例）
本開示に係る技術は、さらに、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
図８４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図８４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図８４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図８５は、撮像部１２０３１の設置位置の例を示す図である。図８５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図８５には、撮像部１２１０１～１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２および１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２および１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１～１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１～１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１～１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を基に、撮像範囲１２１１１～１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１～１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１～１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１～１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、上述した本開示の第１～４の実施形態および各変形例に係る受光装置１ａ～１ｃを撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、走行する車両からの測距をより高精度に実行することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
露光期間内で受光素子への光子の入射を検知した回数である検知回数を計数して計数値を出力する計数部と、
時間情報を更新する周期を前記露光期間における経過時間に応じて設定する設定部と、
前記露光期間が経過する前に前記計数値が閾値に到達した時間を示す前記時間情報を取得する取得部と、
を備える
受光装置。
（２）
前記設定部は、
前記周期の設定を前記露光期間の開始時から所定時間が経過した時点から開始し、当該時点での該周期を、該露光期間内において最も短い周期に設定する
前記（１）に記載の受光装置。
（３）
前記設定部は、
前記周期に応じて変化するコードを前記時間情報として出力する
前記（１）または（２）に記載の受光装置。
（４）
前記取得部は、
前記計数値が前記閾値に到達した場合に、前記時間情報を取得する、
前記（１）乃至（３）の何れかに記載の受光装置。
（５）
前記取得部は、
前記計数値が前記閾値に到達した時点から前記露光期間の終了の時点までの時間に基づき、前記計数値が前記閾値に到達した時間を示す前記時間情報を取得する、
前記（１）乃至（３）の何れかに記載の受光装置。
（６）
前記計数部は、
前記計数値が前記閾値に到達した時点から前記露光時間の終了の時点までの間、前記時間情報が更新される回数である更新回数を計数し、
前記取得部は、
前記更新回数に基づき前記計数値が閾値に到達した時間を示す前記時間情報を取得する、
前記（５）に記載の受光装置。
（７）
前記計数部は、
前記時間情報が更新される回数である更新回数と前記検知回数と、を合成部により合成した回数を計数した合成計数値を出力し、
前記取得部は、
前記合成計数値が前記閾値に到達した時間に基づき、前記合成計数値から前記更新回数を減じて、該時間における前記検知回数を求める、
前記（５）に記載の受光装置。
（８）
前記計数部は、
１つの入力端に入力される複数のパルス入力毎に計数を行うカウンタにより前記検知回数を計数された値に基づき前記計数値を出力する、
前記（５）乃至（７）の何れかに記載の受光装置。
（９）
前記合成部は、
論理回路を用いて前記更新回数と前記検知回数とを合成する、
前記（７）に記載の受光装置。
（１０）
前記計数部は、
前記露光期間を分割した分割露光期間毎に前記計数を行い、
前記取得部は、
前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、前記閾値に到達した各時間を、該分割露光期間毎の前記時間情報としてそれぞれ取得する
前記（１）乃至（９）の何れかに記載の受光装置。
（１１）
前記計数部は、
前記露光期間を長さが異なる期間を含んで分割した前記分割露光期間毎に前記計数を行う
前記（１０）に記載の受光装置。
（１２）
前記計数部は、
前記受光素子への前記光子が入射する平均時間間隔が所定以下の場合に、前記分割露光期間毎の前記計数を行う
前記（１０）または（１１）に記載の受光装置。
（１３）
前記取得部は、
前記分割露光期間のうち少なくとも２つの前記分割露光期間で異なる前記閾値を用いて前記時間情報を取得する
前記（１０）乃至（１２）の何れかに記載の受光装置。
（１４）
前記取得部は、
前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
前記（１）乃至（１３）の何れかに記載の受光装置。
（１５）
前記計数部は、
前記取得部による前記時間情報の取得の機能を含み、前記計数の機能と、該取得の機能と、を切り替えて実行する
前記（１）乃至（４）の何れかに記載の受光装置。
（１６）
前記受光素子は、２次元格子状に配列され、
前記設定部は、
前記２次元格子状に配列された前記受光素子毎に設けられる
前記（１）乃至（１５）の何れかに記載の受光装置。
（１７）
前記受光素子は、２次元格子状に配列され、
前記設定部は、
前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
前記（１）乃至（１５）の何れかに記載の受光装置。
（１８）
前記設定部は、
前記配列の行単位の前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（１８）
前記設定部は、
前記配列の複数の行を含む前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（１９）
前記設定部は、
前記配列の行方向に複数に分割された領域による前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（２０）
前記受光素子は、カラーフィルタが設けられ、
前記設定部は、
同色の前記カラーフィルタが設けられた前記受光素子を含む前記グループ毎に設けられる
前記（１７）に記載の受光装置。
（２１）
前記設定部は、
前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
前記（１７）に記載の受光装置。
（２２）
前記受光素子は、単一光子アバランシェダイオードである
前記（１）乃至（２１）の何れかに記載の受光装置。
（２３）
前記計数部は、
それぞれ各ビットの計数を行う複数のカウンタを有し、
該複数のカウンタのうち所定ビット以上の各ビットの計数を行う各カウンタを、複数の前記受光素子で共有する
前記（１）乃至（２２）の何れかに受光装置。
（２４）
第１の基板と、該第１の基板に積層される第２の基板とを含み、
前記第１の基板に前記受光素子が配置され、
前記第２の基板に、少なくとも前記計数部が配置され、
前記計数部は、
前記複数のカウンタのうち所定ビット未満の各ビットの計数を行う各カウンタが、前記第２の基板における前記受光素子と対応する位置に配置される
前記（２３）に記載の受光装置。
（２５）
前記設定部は、
前記時間情報をグレイコード用いて表現する
前記（１）乃至（４）の何れかに記載の受光装置。
（２６）
露光期間内で受光素子への光子の入射を検知した回数を計数して計数値を出力する計数部と、
輝度値を更新する輝度値更新部と、
前記露光期間が経過する前に前記計数値が閾値に到達した場合に、該閾値に到達した到達時間に対応する前記輝度値を取得する取得部と、
を備える
受光装置。
（２７）
前記取得部は、
前記露光期間開始時から所定時間が経過した時点から、該露光期間の終了時までに入射される前記光子による輝度を前記到達時間に基づき予測した値を前記輝度値として取得する
前記（２６）に記載の受光装置。
（２８）
前記輝度値更新部は、
前記露光期間における照度および前記露光期間の開始時からの経過時間に応じて前記輝度値を更新する
前記（２６）または（２７）に記載の受光装置。
（２９）
前記輝度値更新部は、
前記輝度値の更新を周期毎に行うと共に、前記露光期間の開始時から所定時間が経過した時点で開始し、該時点において該露光期間内で最も短い周期で前記輝度値の更新を行う
前記（２８）に記載の受光装置。
（３０）
前記計数部は、
前記露光期間を分割した分割露光期間毎に前記計数を行い、
前記取得部は、
前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、該分割露光期間それぞれにおける前記到達時間に対応する前記輝度値それぞれを、該分割露光期間毎の前記時間情報としてそれぞれ取得する
前記（２６）乃至（２９）の何れかに記載の受光装置。
（３１）
前記計数部は、
前記露光期間を長さが異なる期間を含んで分割した前記分割露光期間毎に前記計数を行う
前記（３０）に記載の受光装置。
（３２）
前記計数部は、
前記受光素子への前記光子が入射する平均時間間隔が所定以下の場合に、前記分割露光期間毎の前記計数を行う
前記（３０）に記載の受光装置。
（３３）
前記取得部は、
前記分割露光期間のうち少なくとも２つの前記分割露光期間で異なる前記閾値を用いて前記時間情報を取得する
前記（３０）乃至（３２）の何れかに記載の受光装置。
（３４）
前記取得部は、
前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
前記（２６）乃至（３３）の何れかに記載の受光装置。
（３５）
前記計数部は、
前記取得部による前記輝度値の取得の機能を含み、前記計数の機能と、該取得の機能と、を切り替えて実行する
前記（２６）乃至（３４）の何れかに記載の受光装置。
（３６）
前記受光素子は、２次元格子状に配列され、
前記輝度値更新部は、
前記２次元格子状に配列された前記受光素子毎に設けられる
前記（２６）乃至（３５）の何れかに記載の受光装置。
（３７）
前記受光素子は、２次元格子状に配列され、
前記輝度値更新部は、
前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
前記（２６）乃至（３５）の何れかに記載の受光装置。
（３８）
前記輝度値更新部は、
前記配列の行単位の前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（３９）
前記輝度値更新部は、
前記配列の複数の行を含む前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（４０）
前記輝度値更新部は、
前記配列の行方向に複数に分割された領域による前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（４１）
前記受光素子は、カラーフィルタが設けられ、
前記輝度値更新部は、
同色の前記カラーフィルタが設けられた前記受光素子を含む前記グループ毎に設けられる
前記（３７）に記載の受光装置。
（４２）
前記輝度値更新部は、
前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
前記（３７）に記載の受光装置。
（４３）
前記受光素子は、単一光子アバランシェダイオードである
前記（２６）乃至（４２）の何れかに記載の受光装置。
（４４）
前記計数部は、
それぞれ各ビットの計数を行う複数のカウンタを有し、
該複数のカウンタのうち所定ビット以上の各ビットの計数を行う各カウンタを、複数の前記受光素子で共有する
前記（２６）乃至（４３）の何れかに受光装置。
（４５）
第１の基板と、該第１の基板に積層される第２の基板とを含み、
前記第１の基板に前記受光素子が配置され、
前記第２の基板に、少なくとも前記計数部が配置され、
前記計数部は、
前記複数のカウンタのうち所定ビット未満の各ビットの計数を行う各カウンタが、前記第２の基板における前記受光素子と対応する位置に配置される
前記（４４）に記載の受光装置。
１ａ，１ｂ，１ｃ，１ｄ 受光装置
１０ 画素
１１ 計数部
１２ タイムコード生成部
１３ 取得部
２０，２０’ 輝度値コード生成部
１００，１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ａ’，１００ｂ’，１００ｃ’，１００ｄ’，１００Ｒ，１００Ｇ，１００Ｇ1，１００Ｇ2，１００Ｂ，１００’，１００Ｒ’，１００Ｇ’，１００Ｇ1’，１００Ｇ2’，１００Ｂ’ 画素回路
１１０ 光電変換素子
１１１ａ，１１１ｂ，１１１ｂ’，１１１ｃ 信号処理部
１１２，１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ，１１２ｅ，１１２ｆ1，１１２ｆ2，１１２ｆ3，１１２ｇ，１１２ｈ，１１２ｉ，１１２ｋ，１１２０，１１２０’，１１２０ａ1，１１２０ａ2，１１２０ａ3，１１２０ｂ1，１１２０ｂ2，１１３０ カウンタ
１１２ｊ デジタルカウンタ
１１３ａ，１１３ａ－１，１１３ａ－２，１１３ａ－３，１１３ａ（ａ），１１３ａ（ｂ），１１３ａ（ｃ），１１３ａ（ｄ），１１３ｂ，１１３ｂ－１，１１３ｂ－２，１１３ｂ－３，１１３ｃ 閾値判定部
１１４ メモリ
１２０，１２０’ ＴＣ生成部
１２１ 時間カウンタ
１２２ 分周設定値記憶部
１２３ 周波数判定部
１２４，１２７ コード生成部
１２５ クロック生成部
１２６ ＰＬＬ回路
１４１，１４２ 信号線
１５０，１５０’，１５０Ｒ1，１５０Ｇ11，１５０Ｇ12，１５０Ｇ21，１５０Ｇ22，１５０Ｂ1，１５０Ｂ2，１５０Ｒ1’，１５０Ｇ11’，１５０Ｇ12’，１５０Ｇ21’，１５０Ｇ22’，１５０Ｂ1’，１５０Ｂ2’ グループ
２００ ＬＣ生成部
３００1，３００2，３０１，３０２1，３０２2，３０２3，３０２4，３０２5，３０３1，３０３2，３０３3 分割露光期間Ｔｓｈ＿ｄｉｖ
４００ セレクタ
４０２ １ビットカウンタ
４１０，４１０ａ，４１０ｂ，４１０ｃ，４１０ｄ，４１０ｅ，４１０ｆ，４１０ｇ，４１０ｈ 合成部
１００３ 制御部
１１２５ａ，１１２５ｂ アナログカウンタ
１１２６ デジタルカウンタ
１１３１，１１３１’ 比較回路
１１３２ ＡＮＤ回路
２０００ 受光チップ
２００１ 画素アレイ部
２０１０ ロジックチップ
２０１１ ロジックアレイ部
２０１３ 素子制御部
２０１３ａ，２０１３ａ’，２０１３ａ” 垂直制御部
２０１３ｂ 水平制御部
２０１３ｃ 信号処理部
２０１４ 論理回路

Claims (26)

  1. 露光期間内で受光素子への光子の入射を検知した回数である検知回数を計数して計数値を出力する計数部と、
    時間情報を更新する周期を前記露光期間における経過時間に応じて設定する設定部と、
    前記露光期間が経過する前に前記計数値が閾値に到達した時間を示す前記時間情報を取得する取得部と、
    を備える
    受光装置。
  2. 前記設定部は、
    前記周期の設定を前記露光期間の開始時から所定時間が経過した時点から開始し、当該時点での該周期を、該露光期間内において最も短い周期に設定する
    請求項１に記載の受光装置。
  3. 前記設定部は、
    前記周期に応じて変化するコードを前記時間情報として出力する
    請求項１に記載の受光装置。
  4. 前記取得部は、
    前記計数値が前記閾値に到達した場合に、前記時間情報を取得する、
    請求項１に記載の受光装置。
  5. 前記取得部は、
    前記計数値が前記閾値に到達した時点から前記露光期間の終了の時点までの時間に基づき、前記計数値が前記閾値に到達した時間を示す前記時間情報を取得する、
    請求項１に記載の受光装置。
  6. 前記計数部は、
    前記計数値が前記閾値に到達した時点から前記露光期間の終了の時点までの間、前記時間情報が更新される回数である更新回数を計数し、
    前記取得部は、
    前記更新回数に基づき前記計数値が閾値に到達した時間を示す前記時間情報を取得する、
    請求項５に記載の受光装置。
  7. 前記計数部は、
    前記時間情報が更新される回数である更新回数と前記検知回数と、を合成部により合成した回数を計数した合成計数値を出力し、
    前記取得部は、
    前記合成計数値が前記閾値に到達した時間に基づき、前記合成計数値から前記更新回数を減じて、該時間における前記検知回数を求める、
    請求項５に記載の受光装置。
  8. 前記計数部は、
    １つの入力端に入力される複数のパルス入力毎に計数を行うカウンタにより前記検知回数を計数された値に基づき前記計数値を出力する、
    請求項５に記載の受光装置。
  9. 前記合成部は、
    論理回路を用いて前記更新回数と前記検知回数とを合成する、
    請求項７に記載の受光装置。
  10. 前記計数部は、
    前記露光期間を分割した分割露光期間毎に前記計数を行い、
    前記取得部は、
    前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、前記閾値に到達した各時間を、該分割露光期間毎の前記時間情報としてそれぞれ取得する
    請求項１に記載の受光装置。
  11. 前記計数部は、
    前記露光期間を長さが異なる期間を含んで分割した前記分割露光期間毎に前記計数を行う
    請求項１０に記載の受光装置。
  12. 前記取得部は、
    前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
    請求項１に記載の受光装置。
  13. 前記計数部は、
    前記取得部による前記時間情報の取得の機能を含み、前記計数の機能と、該取得の機能と、を切り替えて実行する
    請求項１に記載の受光装置。
  14. 前記受光素子は、２次元格子状に配列され、
    前記設定部は、
    前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
    請求項１に記載の受光装置。
  15. 前記受光素子は、カラーフィルタが設けられ、
    前記設定部は、
    同色の前記カラーフィルタが設けられた前記受光素子を含む前記グループ毎に設けられる
    請求項１４に記載の受光装置。
  16. 前記設定部は、
    前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
    請求項１４に記載の受光装置。
  17. 前記受光素子は、単一光子アバランシェダイオードである
    請求項１に記載の受光装置。
  18. 露光期間内で受光素子への光子の入射を検知した回数を計数して計数値を出力する計数部と、
    輝度値を更新する輝度値更新部と、
    前記露光期間が経過する前に前記計数値が閾値に到達した場合に、該閾値に到達した到達時間に対応する前記輝度値を取得する取得部と、
    を備える
    受光装置。
  19. 前記取得部は、
    前記露光期間の開始時から所定時間が経過した時点から、該露光期間の終了時までに入射される前記光子による輝度を前記到達時間に基づき予測した値を前記輝度値として取得する
    請求項１８に記載の受光装置。
  20. 前記輝度値更新部は、
    前記露光期間における照度および前記露光期間の開始時からの経過時間に応じて前記輝度値を更新する
    請求項１８に記載の受光装置。
  21. 前記輝度値更新部は、
    前記輝度値の更新を周期毎に行うと共に、前記露光期間の開始時から所定時間が経過した時点で開始し、該時点において該露光期間内で最も短い周期で前記輝度値の更新を行う
    請求項２０に記載の受光装置。
  22. 前記計数部は、
    前記露光期間を分割した分割露光期間毎に前記計数を行い、
    前記取得部は、
    前記分割露光期間それぞれにおいて前記計数値が前記閾値に到達した場合に、該分割露光期間それぞれにおける前記到達時間に対応する前記輝度値それぞれを、該分割露光期間毎の前記輝度値としてそれぞれ取得する
    請求項１８に記載の受光装置。
  23. 前記取得部は、
    前記露光期間が経過する前に前記計数値が前記閾値に到達した場合に、前記受光素子による前記検知の動作を停止させる
    請求項１８に記載の受光装置。
  24. 前記受光素子は、２次元格子状に配列され、
    前記輝度値更新部は、
    前記２次元格子状の配列において複数の前記受光素子を含むグループ毎に設けられる
    請求項１８に記載の受光装置。
  25. 前記輝度値更新部は、
    前記２次元格子状に配列された全ての前記受光素子を含む前記グループに対して設けられる
    請求項２４に記載の受光装置。
  26. 前記受光素子は、単一光子アバランシェダイオードである
    請求項１８に記載の受光装置。
JP2021503676A 2019-03-07 2020-03-06 受光装置 Active JP7374174B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019041786 2019-03-07
JP2019041786 2019-03-07
JP2020038225 2020-03-05
JP2020038225 2020-03-05
PCT/JP2020/009871 WO2020179928A1 (ja) 2019-03-07 2020-03-06 受光装置

Publications (2)

Publication Number Publication Date
JPWO2020179928A1 JPWO2020179928A1 (ja) 2020-09-10
JP7374174B2 true JP7374174B2 (ja) 2023-11-06

Family

ID=72337480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021503676A Active JP7374174B2 (ja) 2019-03-07 2020-03-06 受光装置

Country Status (6)

Country Link
US (2) US11754442B2 (ja)
EP (1) EP3936840A4 (ja)
JP (1) JP7374174B2 (ja)
CN (1) CN113424027B (ja)
TW (1) TW202104854A (ja)
WO (1) WO2020179928A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3989535A1 (en) * 2020-10-20 2022-04-27 Canon Kabushiki Kaisha Photoelectric conversion device, method of controlling photoelectric conversion device, and information processing apparatus
US20230065063A1 (en) * 2021-08-24 2023-03-02 Globalfoundries Singapore Pte. Ltd. Single-photon avalanche diodes with deep trench isolation
JP2023032283A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2023046662A (ja) * 2021-09-24 2023-04-05 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
CN116559841B (zh) * 2023-07-07 2023-10-27 苏州识光芯科技术有限公司 光子计数方法、装置、芯片及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057152A1 (en) 2010-09-06 2012-03-08 King Abdulaziz City Science And Technology High-speed analog photon counter and method
US20150163429A1 (en) 2013-12-09 2015-06-11 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
WO2017042993A1 (ja) 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2650066A1 (en) * 2009-01-16 2010-07-16 Karim S. Karim Photon counting and integrating pixel readout architecture with dynamic switching operation
EP2446301B1 (en) * 2009-06-22 2018-08-01 Toyota Motor Europe Pulsed light optical rangefinder
JP5521721B2 (ja) 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
US8716643B2 (en) 2010-09-06 2014-05-06 King Abdulaziz City Science And Technology Single photon counting image sensor and method
JP6017916B2 (ja) * 2012-10-16 2016-11-02 株式会社豊田中央研究所 光検出器
JP6823815B2 (ja) 2015-12-08 2021-02-03 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
JP7129182B2 (ja) * 2017-06-23 2022-09-01 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
US11330202B2 (en) * 2018-02-02 2022-05-10 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US10616512B2 (en) * 2018-07-27 2020-04-07 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120057152A1 (en) 2010-09-06 2012-03-08 King Abdulaziz City Science And Technology High-speed analog photon counter and method
US20150163429A1 (en) 2013-12-09 2015-06-11 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
WO2017042993A1 (ja) 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置

Also Published As

Publication number Publication date
US11754442B2 (en) 2023-09-12
JPWO2020179928A1 (ja) 2020-09-10
CN113424027B (zh) 2024-04-12
EP3936840A4 (en) 2022-06-08
CN113424027A (zh) 2021-09-21
US20230358608A1 (en) 2023-11-09
US20220155153A1 (en) 2022-05-19
WO2020179928A1 (ja) 2020-09-10
EP3936840A1 (en) 2022-01-12
TW202104854A (zh) 2021-02-01

Similar Documents

Publication Publication Date Title
JP7374174B2 (ja) 受光装置
CN109906512B (zh) 摄像元件和电子设备
JP7029890B2 (ja) 撮像素子、撮像素子の制御方法、及び、電子機器
US11509840B2 (en) Solid-state imaging device, signal processing chip, and electronic apparatus
WO2018216477A1 (ja) 固体撮像素子および電子機器
WO2018163873A1 (ja) 固体撮像装置および電子機器
US20220244046A1 (en) Solid-state imaging device and distance measurement device
JP2020072471A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11240449B2 (en) Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
US20210168314A1 (en) Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
CN110603458A (zh) 光学传感器和电子设备
CN116348737A (zh) 光接收装置、光接收装置的控制方法以及测距系统
US20210385394A1 (en) Solid-state imaging apparatus and electronic
JP2022078127A (ja) 撮像素子及び電子機器
WO2022181215A1 (ja) 固体撮像装置及び撮像システム
US11902686B2 (en) Photodetection device and electronic apparatus
WO2020090459A1 (ja) 固体撮像装置、及び電子機器
JP7309713B2 (ja) コンパレータ及び撮像装置
WO2020090311A1 (ja) 固体撮像素子
CN114008783A (zh) 摄像装置
WO2023243222A1 (ja) 撮像装置
WO2022091755A1 (ja) 撮像装置及び電子機器
WO2024042896A1 (ja) 光検出素子および電子機器
WO2023132151A1 (ja) 撮像素子および電子機器
WO2024009343A1 (ja) 光検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231024

R150 Certificate of patent or registration of utility model

Ref document number: 7374174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150