JP7451110B2 - 測距システム及び電子機器 - Google Patents

測距システム及び電子機器 Download PDF

Info

Publication number
JP7451110B2
JP7451110B2 JP2019154499A JP2019154499A JP7451110B2 JP 7451110 B2 JP7451110 B2 JP 7451110B2 JP 2019154499 A JP2019154499 A JP 2019154499A JP 2019154499 A JP2019154499 A JP 2019154499A JP 7451110 B2 JP7451110 B2 JP 7451110B2
Authority
JP
Japan
Prior art keywords
event
input
event information
light source
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019154499A
Other languages
English (en)
Other versions
JP2021032763A (ja
Inventor
慶 中川
翔太 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019154499A priority Critical patent/JP7451110B2/ja
Application filed by Sony Corp, Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Corp
Priority to DE112020004136.0T priority patent/DE112020004136T5/de
Priority to CN202080052095.5A priority patent/CN114127509A/zh
Priority to KR1020227005237A priority patent/KR20220047778A/ko
Priority to PCT/JP2020/022783 priority patent/WO2021039022A1/en
Priority to US17/636,418 priority patent/US20220400218A1/en
Priority to EP20743877.1A priority patent/EP4022895A1/en
Priority to TW109121075A priority patent/TW202112121A/zh
Publication of JP2021032763A publication Critical patent/JP2021032763A/ja
Application granted granted Critical
Publication of JP7451110B2 publication Critical patent/JP7451110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、測距システム及び電子機器に関する。
三次元（３Ｄ）画像（物体表面の奥行き情報／深度情報）を取得したり、被写体までの距離を測定したりするシステムとして、動的プロジェクタ及び動的視覚カメラを用いるストラクチャード・ライト方式の技術が提案されている（例えば、特許文献１参照）。ストラクチャード・ライト方式では、あらかじめ定められたパターンの光を、動的プロジェクタから測定対象物／被写体に投影し、動的視覚カメラによる撮像結果を基に、パターンのひずみ具合を解析して奥行き情報／距離情報を取得することになる。
特許文献１には、光源である動的プロジェクタとして、垂直共振器型面発光レーザ（ＶＣＳＥＬ：Vertical Cavity Surface Emitting Laser）を用い、受光部である動的視覚カメラとして、ＤＶＳ（Dynamic Vision Sensor）と呼ばれるイベント検出センサを用いる技術が開示されている。イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するセンサである。
ＵＳ ２０１９／００４５１７３ Ａ１
上記の特許文献１に記載の従来技術において、動的プロジェクタとイベント検出センサとを同期させて制御しないと、被写体に投影されるパターンの変化や背景光に起因するイベント情報と、被写体の動きに起因するイベント情報とが混在した状態で出力されることになる。その結果、イベント情報を処理するアプリケーションプロセッサにおいて、被写体の動きに起因するイベント情報を取得するために、混在した状態のイベント情報を分離する処理が必要になる。しかしながら、特許文献１に記載の従来技術では、動的プロジェクタとイベント検出センサとを同期させて制御することについては考慮されていない。
本開示は、被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにした測距システム、及び、当該測距システムを有する電子機器を提供することを目的とする。
本技術の第１の側面の測距システムまたは電子機器は、被写体に光を照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、前記光源部と前記イベント検出センサとを同期させて制御する制御部とを備え、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする測距システム、または測距システムを有する電子機器である。
本技術の第１の側面においては、被写体に光が照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、前記光源部と前記イベント検出センサとを同期させて制御する制御部とが設けられ、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする。
本技術の第２の側面の測距システムは、被写体に光を照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出し、前記オンイベントの検出結果を表すオンイベント情報を生成すること、および、下限の閾値を下回ったことをオフイベントとして検出し、前記オフイベントの検出結果を表すオフイベント情報を生成することの少なくとも一方を行うイベント検出センサと、前記被写体を撮像し、画像信号を生成する撮像部と、前記イベント検出センサで生成される前記オンイベント情報および前記オフイベント情報の少なくとも一方を処理し、かつ、前記撮像部からの前記画像信号に基づき注目領域を抽出するプロセッサと、前記光源部と前記イベント検出センサを同期させて制御し、前記撮像部を制御する制御部とを備え、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする測距システムである。
本技術の第２の側面においては、被写体に光を照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出し、前記オンイベントの検出結果を表すオンイベント情報を生成すること、および、下限の閾値を下回ったことをオフイベントとして検出し、前記オフイベントの検出結果を表すオフイベント情報を生成することの少なくとも一方を行うイベント検出センサと、前記被写体を撮像し、画像信号を生成する撮像部と、前記イベント検出センサで生成される前記オンイベント情報および前記オフイベント情報の少なくとも一方を処理し、かつ、前記撮像部からの前記画像信号に基づき注目領域を抽出するプロセッサと、前記光源部と前記イベント検出センサを同期させて制御し、前記撮像部を制御する制御部とが設けられ、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする。
図１Ａは、本開示の実施形態に係る測距システムの構成の一例を示す概略図であり、図１Ｂは、回路構成の一例を示すブロック図である。 図２Ａは、本開示の実施形態に係る測距システムにおける垂直共振器型面発光レーザの光源のランダムドット配置を示す図であり、図２Ｂは、垂直共振器型面発光レーザの光源のアレイドット配置を示す図である。 図３Ａは、アレイドット配置における２つの光源の組み合わせを示す図であり、図３Ｂは、光源の駆動例１について説明する図である。 図４は、光源の駆動例２について説明する図である。 図５は、光源の駆動例３について説明する図である。 図６は、本開示の実施形態に係る測距システムにおけるイベント検出センサの構成の一例を示すブロック図である。 図７は、回路構成例１に係る画素の回路構成を示す回路図である。 図８は、回路構成例２に係る画素の回路構成を示す回路図である。 図９は、回路構成例３に係る画素の回路構成を示す回路図である。 図１０は、回路構成例４に係る画素の回路構成を示す回路図である。 図１１は、実施例１に係る同期制御の処理の流れを示すフローチャートである。 図１２は、実施例２に係る同期制御の処理の流れを示すフローチャートである。 図１３は、実施例３に係る同期制御の処理の流れを示すフローチャートである。 図１４は、実施例４に係る同期制御の処理の流れを示すフローチャートである。 図１５Ａ及び図１５Ｂは、実施例５に係るＯＮ画素及びＯＦＦ画素の画素配置例（その１）を示す図である。 図１６Ａ及び図１６Ｂは、実施例５に係るＯＮ画素及びＯＦＦ画素の画素配置例（その２）を示す図である。 図１７は、実施例６に係る同期制御の処理の流れを示すフローチャートである。 図１８は、実施例７に係る同期制御の処理の流れを示すフローチャートである。 図１９は、実施例８に係る同期制御の処理の流れを示すフローチャートである。 図２０は、実施例９に係る測距システムの回路構成の一例を示すブロック図である。 図２１は、実施例１０に係る顔認識の処理の流れを示すフローチャートである。 図２２は、本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図である。
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の測距システム及び電子機器、全般に関する説明
２．実施形態に係る測距システム
２－１．システム構成
２－２．垂直共振器型面発光レーザ（ＶＣＳＥＬ）
２－２－１．ランダムドット配置
２－２－２．アレイドット配置
２－３．アレイドット配置における光源の駆動例
２－３－１．光源の駆動例１（２つの光源の中間位置に強度ピークを作る例）
２－３－２．光源の駆動例２（イベント検出センサの感度調整を併用する例）
２－３－３．光源の駆動例３（２つの光源を同時駆動する際に、強度ピークが一定になるように双方の発光強度を調整しつつ、ピーク位置をずらす例）
２－４．イベント検出センサ（ＤＶＳ）
２－４－１．イベント検出センサの構成例
２－４－２．画素の回路構成例
２－４－２－１．回路構成例１（コンパレータを１つ用いて、オンイベント及びオフイベントの検出を時分割で行う例）
２－４－２－２．回路構成例２（コンパレータを２つ用いて、オンイベント及びオフイベントの検出を並行して行う例）
２－４－２－３．回路構成例３（コンパレータを１つ用いて、オンイベントのみについて検出を行う例）
２－４－２－４．回路構成例４（コンパレータを１つ用いて、オフイベントのみについて検出を行う例）
２－５．垂直共振器型面発光レーザとイベント検出センサとの同期制御
２－５－１．実施例１（回路構成例１の場合の同期制御例）
２－５－２．実施例２（回路構成例２の場合の同期制御例）
２－５－３．実施例３（回路構成例３の場合の同期制御例）
２－５－４．実施例４（回路構成例４の場合の同期制御例）
２－５－５．実施例５（画素アレイ部内にＯＮ画素とＯＦＦ画素とが混在する場合の画素配置の例）
２－５－６．実施例６（実施例５の場合の同期制御例（その１））
２－５－７．実施例７（実施例５の場合の同期制御例（その２））
２－５－８．実施例８（顔認識に応用する例）
２－５－９．実施例９（イベント検出センサの他に、ＲＧＢカメラを備える例）
２－５－１０．実施例１０（顔認識に応用する例）
３．変形例
４．応用例
５．本開示の電子機器（スマートフォンの例）
６．本開示がとることができる構成
＜本開示の測距システム及び電子機器、全般に関する説明＞
本開示の測距システム及び電子機器にあっては、画素について、１つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する構成とすることができる。また、１つのコンパレータについて、光電流に基づく電圧を第１入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報及びオフイベント情報として出力する構成とすることができる。
上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、コンパレータの第１入力をグローバルリセットするとともに、コンパレータの第２入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第２入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、画素について、２つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、並行して検出する機能を有する構成とすることができる。また、２つのコンパレータについて、その一方は、光電流に基づく電圧を第１入力とし、オンイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報として出力し、その他方は、光電流に基づく電圧を第１入力とし、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオフイベント情報として出力する構成とすることができる。
更に、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、画素について、１つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する構成とすることができる。更に、１つのコンパレータについて、光電流に基づく電圧を第１入力とし、オンイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報として出力する構成とすることができる。更に、制御部について、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、しかる後、オンイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、画素について、１つのコンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する構成とすることができる。更に、１つのコンパレータについて、光電流に基づく電圧を第１入力とし、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオフイベント情報として出力する構成とすることができる。更に、制御部について、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、コンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オフイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、イベント検出センサの画素アレイ部には、コンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する第１の画素と、コンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する第２の画素とが混在している構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、先ず、第１の画素及び第２の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第１の画素で検出されたオンイベント情報をメモリに格納し、次いで、第２の画素のコンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第２の画素で検出されたオフイベント情報をメモリに格納し、次いで、オンイベント情報及びオフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第１入力をグローバルリセットする構成とすることができる。
あるいは又、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、先ず、第１の画素及び第２の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第１の画素で検出されたオンイベント情報をメモリに格納し、次いで、オンイベント情報を順次読出し回路に転送し、次いで、第２の画素のコンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第２の画素で検出されたオフイベント情報をメモリに格納し、次いで、オフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第１入力をグローバルリセットする構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、光源部について、面発光半導体レーザから成る構成とすることができる。面発光半導体レーザについては、垂直共振器型面発光レーザであることが好ましい。そして、垂直共振器型面発光レーザについては、被写体に所定のパターンの光を投影する構成とすることができる。
本開示の他の測距システムは、
被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、
被写体を撮像し、画像信号を生成する撮像部、
イベント検出センサで生成されるイベント信号を処理し、かつ、撮像部からの画像信号に基づき注目領域を抽出するプロセッサ、及び、
光源とイベント検出センサを同期させて制御し、撮像部を制御する制御部、
を備える。また、本開示の他の電子機器は、上記の構成の測距システムを有する。
上記の構成の本開示の他の測距システム及び他の電子機器にあっては、プロセッサについて、イベント信号に基づき測距情報を取得し、画像信号の注目領域においてパターンマッチングする機能を有する構成とすることができる。更に、プロセッサについて、取得した測距情報、及び、パターンマッチングに基づきユーザの顔認証をする機能を有する構成とすることができる。
＜実施形態に係る測距システム＞
本開示の実施形態に係る測距システムは、ストラクチャード・ライト方式の技術を用いて、被写体までの距離を測定するためのシステムである。また、本開示の実施形態に係る測距システムは、三次元（３Ｄ）画像を取得するシステムとして用いることもでき、この場合には、三次元画像取得システムということができる。ストラクチャード・ライト方式では、点像の座標とその点像がどの光源（所謂、点光源）から投影されたものであるかをパターンマッチングで同定することによって測距が行われる。
［システム構成］
図１Ａは、本開示の実施形態に係る測距システムの構成の一例を示す概略図であり、図１Ｂは、回路構成の一例を示すブロック図である。
本実施形態に係る測距システム１は、光源部として面発光半導体レーザ、例えば垂直共振器型面発光レーザ（ＶＣＳＥＬ）１０を用い、受光部として、ＤＶＳと呼ばれるイベント検出センサ２０を用いている。垂直共振器型面発光レーザ（ＶＣＳＥＬ）１０は、被写体に対して所定のパターンの光を投影する。本実施形態に係る測距システム１は、垂直共振器型面発光レーザ１０及びイベント検出センサ２０の他に、システム制御部３０、光源駆動部４０、センサ制御部５０、光源側光学系６０、及び、カメラ側光学系７０を備えている。
垂直共振器型面発光レーザ（ＶＣＳＥＬ）１０及びイベント検出センサ（ＤＶＳ）２０の詳細については後述する。システム制御部３０は、例えばプロセッサ（ＣＰＵ）によって構成されており、光源駆動部４０を介して垂直共振器型面発光レーザ１０を駆動し、センサ制御部５０を介してイベント検出センサ２０を駆動する。より具体的には、システム制御部３０は、垂直共振器型面発光レーザ１０とイベント検出センサ２０とを同期させて制御する。システム制御部３０による制御の下に実行される、垂直共振器型面発光レーザ１０とイベント検出センサ２０とを同期させて制御するための具体的な実施例については後述する。
上記の構成の本実施形態に係る測距システム１において、垂直共振器型面発光レーザ１０から出射される、あらかじめ定められたパターンの光は、光源側光学系４０を透して被写体（測定対象物）１００に対して投影される。この投影された光は、被写体１００で反射される。そして、被写体１００で反射された光は、カメラ側光学系７０を透してイベント検出センサ２０に入射する。イベント検出センサ２０は、被写体１００で反射される光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出する。イベント検出センサ２０が検出したイベント情報は、測距システム１の外部のアプリケーションプロセッサ２００に供給される。アプリケーションプロセッサ２００は、イベント検出センサ２０が検出したイベント情報に対して所定の処理を行う。
［垂直共振器型面発光レーザ（ＶＣＳＥＬ）］
（ランダムドット配置）
ストラクチャード・ライト方式では、点像の座標とその点像がどの光源（点光源）から投影されたものであるかを同定するために、アフィン変換を考慮したパターンマッチングが必要である。アフィン変換を考慮したパターンマッチングを可能にするために、垂直共振器型面発光レーザ１０の光源１１の配置について、図２Ａに示すように、光源１１を繰り返しのない特異な配置にし、空間方向に特徴を持たせた、所謂、ランダムドット配置としている。
本実施形態に係る測距システム１においても、垂直共振器型面発光レーザ１０の光源１１の配置について、ランダムドット配置とすることができる。但し、ランダムドット配置の場合、光源同定のための光源１１の配置パターンの特異性を維持したまま、光源１１の数を増やすことが困難であるために、光源１１の数で決まる距離画像の解像度を上げることができない。ここで、「距離画像」とは、被写体までの距離情報を得るための画像である。
（アレイドット配置）
そこで、本実施形態に係る測距システム１では、垂直共振器型面発光レーザ１０の光源１１の配置を、図２Ｂに示すように、光源１１を一定のピッチでアレイ状（行列状）に２次元配置した、所謂、アレイドット配置としている。垂直共振器型面発光レーザ１０及びイベント検出センサ２０の組み合わせから成る本実施形態に係る測距システム１では、光源１１をランダムに配置しなくても、垂直共振器型面発光レーザ１０の光源１１を順次点灯させてイベント検出センサ２０で記録したイベントのタイムスタンプ（時間情報）を見れば、どの光源１１から投影された像であるかを容易に同定できる。
アレイドット配置の場合、ランダムドット配置の場合よりも、光源１１の数を増やすことができるため、光源（ドット）１１の数で決まる距離画像の解像度を上げることができる。本実施形態に係る測距システム１では、アレイドット配置の垂直共振器型面発光レーザ１０の光源１１の駆動を工夫し、時間軸方向にも特徴を持たせることで、距離画像の解像度を、光源１１の数で決まる解像度から更に上げることができる。
［アレイドット配置における光源の駆動例］
垂直共振器型面発光レーザ１０のアレイドット配置における光源１１の駆動に当たっては、アレイドット配置において隣接する２つの光源１１，１１を駆動の単位とする。隣接する２つの光源１１，１１の組み合わせとしては、図３Ａに示すように、行方向（Ｘ方向）において隣接する２つの光源１１，１１の組み合わせＡ、列方向（Ｙ方向）において隣接する２つの光源１１，１１の組み合わせＢ、あるいは、斜め方向において隣接する２つの光源１１，１１の組み合わせＣを例示することができる。
（光源の駆動例１）
ここで、行方向において隣接する２つの光源１１，１１の組み合わせＡの場合を例に挙げて、組み合わせＡの場合の駆動を光源の駆動例１として説明する。図３Ｂは、光源の駆動例１について説明する図である。光源１１の駆動は、システム制御部３０による制御の下に、光源駆動部４０によって行われる。この点については、後述する各駆動例においても同じである。
駆動例１は、隣接する２つの光源１１，１１を同時に点灯駆動し、それぞれ独立に点灯駆動する間の区間の中間位置に強度ピークを作る例である。ここで、「中間位置」とは、厳密に中間位置である場合の他、実質的に中間位置である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。また、駆動例１では、２つの光源１１，１１の発光強度を同じとする。ここで、「同じ」とは、厳密に同じである場合の他、実質的に同じである場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
行方向（Ｘ方向）において隣接する２つの光源１１，１１において、時刻ｔ1で１つ目（図３Ａでは、左側）の光源１１を点灯（発光）駆動し、次に、時刻ｔ2で２つの光源１１，１１を同時に点灯駆動し（２ドット点灯駆動）、次に、時刻ｔ3で２つ目（図３Ａでは、右側）の光源１１を点灯駆動する。すなわち、システム制御部３０による制御の下に、２つの光源１１，１１をそれぞれ独立に点灯駆動する時刻ｔ1と時刻ｔ3との間の期間、換言すれば、２つの光源１１，１１の間の区間において、好ましくは、当該区間における中間位置で２つの光源１１，１１を同時に点灯駆動する（時刻ｔ2）。
ここで、２つの光源１１，１１を同時に点灯駆動する時刻ｔ2は、時刻ｔ1と時刻ｔ2との中間の時刻、換言すれば、行方向（Ｘ座標）において、１つ目の光源１１の強度ピークの位置と２つ目の光源１１の強度ピークの位置の中間位置になる時刻に設定される。これにより、１つ目の光源１１の点灯駆動時のピーク位置と２ドット点灯駆動時のピーク位置との間の間隔、及び、２ドット点灯駆動時のピーク位置と２つ目の光源１１の点灯駆動時のピーク位置との間の間隔が同じ間隔ｄとなる。
上述したように、駆動例１では、隣接する２つの光源１１，１１を駆動の単位とし、２つの光源１１，１１をそれぞれ独立に点灯駆動する動作に加えて、２つの光源を同時に点灯駆動する動作（本例では、それぞれ独立に点灯駆動する間の期間において、２つの光源１１，１１を同時に点灯駆動する動作）を行う。これにより、２つの光源１１，１１をそれぞれ独立に点灯駆動する場合とは異なる位置（本例では、２つの光源１１，１１の間の区間の中間位置）に強度ピークを作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源１１の配置パターンの特異性を維持したまま、光源１１の数を増やすことなく、被写体までの距離情報を得るための距離画像の解像度を上げることができる。
尚、駆動例１では、駆動の単位となる２つの光源１１，１１の発光強度を同じに設定するとしたが、２つの光源１１，１１の一方、又は、両方の発光強度を調整可能とすることもできる。
また、駆動例１では、２つの光源１１，１１の組み合わせＡの場合を例に挙げて説明したが、組み合わせＢ又は組み合わせＣの場合についても、基本的に、駆動例１の場合と同様の駆動を行うことで、光源同定のための光源１１の配置パターンの特異性を維持したまま、光源１１の数を増やすことなく、距離画像の解像度を上げることができる。この点については、後述する各駆動例においても同様である。
（光源の駆動例２）
駆動例２は、２つの光源１１，１１の組み合わせＡの場合において、イベント検出センサ（ＤＶＳ）２０の感度調整を併用する例である。ここでは、説明の都合上、行方向（Ｘ方向）において隣接する２つの光源１１，１１のうち、１つ目（図３Ａでは、左側）の光源１１を光源１と記述し、２つ目（図３Ａでは、左側）の光源１１を光源２と記述することとする。
図４は、光源の駆動例２について説明する図である。図４では、光源１の電流を破線で図示し、光源２の電流を点線で図示している。また、イベント検出センサ（ＤＶＳ）２０の感度を実線で図示している。駆動例２でも駆動例１と同様に、２つの光源１及び光源２の発光強度を同じとするが、２つの光源１及び光源２の一方、又は、両方の発光強度を調整可能とすることもできる。
駆動例２では、期間Ｔ1で光源１を点灯駆動し、次いで、期間Ｔ2で光源２を点灯駆動する。これにより、期間Ｔ2では、光源１及び光源２の同時点灯となる。光源１及び光源２の同時点灯により、期間Ｔ2での強度ピークは、光源１の単独点灯の場合よりも上がる（この点については、駆動例１の場合と同じである）。
そして、期間Ｔ2では、イベント検出センサ（ＤＶＳ）２０の感度を、光源１の単独点灯のとき（期間Ｔ1）の感度よりも下げる制御を行う。イベント検出センサ２０の感度を調整する制御は、システム制御部３０（図１参照）による制御の下に行われる。ここで、イベント検出センサ２０の感度を下げるということは、より多くの光が入射したときにイベント検出センサ２０が反応するということである。
次に、期間Ｔ3では、光源１を消灯駆動し、イベント検出センサ２０の感度を上げる。このとき、イベント検出センサ２０の感度を、光源１及び光源２を同時に点灯駆動する前の感度、即ち、光源１の単独点灯のとき（期間Ｔ1）の感度と同じ感度に戻すことが好ましい。ここで、「同じ感度」とは、厳密に同じ感度である場合の他、実質的に同じ感度である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
上述したように、駆動例２によれば、２つの光源１及び光源２を同時に点灯駆動する期間Ｔ2では、イベント検出センサ２０の感度を、光源１の単独点灯のときよりも下げることにより、２つの光源１及び光源２の点灯駆動で、イベント検出センサ２０について３つの反応位置を作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源１１の配置パターンの特異性を維持したまま、光源１１の数を増やすことなく、距離画像の解像度を上げることができる。
（光源の駆動例３）
駆動例３は、２つの光源１１，１１の組み合わせＡの場合において、２つの光源１１，１１を同時駆動する際に、強度ピークが一定になるように双方の発光強度を調整しつつ、ピーク位置をずらす例である。ここで、「強度ピークが一定」とは、厳密に強度ピークが一定である場合の他、実質的に強度ピークが一定である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
駆動例３においても、説明の都合上、行方向において隣接する２つの光源１１，１１のうち、１つ目（図３Ａでは、左側）の光源１１を光源１と記述し、２つ目（図３Ａでは、左側）の光源１１を光源２と記述することとする。
図５は、光源の駆動例３について説明する図である。図５では、光源１の電流を破線で図示し、光源２の電流を点線で図示している。また、光源１及び光源２の単独点灯時、並びに、同時点灯時の強度波形を実線で図示している。駆動例３の場合は、イベント検出センサ（ＤＶＳ）２０の感度については一定とする。
駆動例３では、光源１の単独点灯後（消灯後）から光源２の単独点灯前までの期間において、光源１及び光源２を同時点灯したときの強度ピークが一定になるように、例えば、光源１の発光強度を徐々に下げ、これに同期して、光源２の発光強度を徐々に上げる駆動を行う。この駆動を行うことにより、強度ピークが一定のまま、ピーク位置を所定量ずつ（僅かずつ）移動させる（ずらす）ことができる。
上述したように、駆動例３によれば、光源１及び光源２を同時点灯したときの強度ピークが一定になるように双方の発光強度を調整しつつ、ピーク位置が所定量ずつ移動するように制御を行うことにより、２つの光源１及び光源２の点灯駆動で、イベント検出センサ２０についてより多くの反応位置を作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源１１の配置パターンの特異性を維持したまま、光源１１の数を増やすことなく、距離画像の解像度を上げることができる。
尚、駆動例１乃至駆動例３では、２つの光源１１，１１の組み合わせＡの場合において、光源１の単独点灯→光源１及び光源２の同時点灯→光源２の単独点灯の駆動の場合を例に挙げたが、それ以降も同様の繰り返しとなる。すなわち、光源２の単独点灯→光源２及び光源３の同時点灯→光源３の単独点灯→光源４及び光源４の同時点灯→光源４→・・・という具合に、点灯駆動が繰り返されることになる。
また、隣接する２つの光源１１，１１の組み合わせＡ、組み合わせＢ、及び、組み合わせＣのいずれを採用するかは任意であり、又、それらを組み合わせることも考えられる。組み合わせＡを採用することで、行方向（水平方向）の解像度を上げることができるし、組み合わせＢを採用することで、列方向（垂直方向）の解像度を上げることができるし、組み合わせＣを採用することで、斜め方向の解像度を上げることができる。
［イベント検出センサ（ＤＶＳ）］
続いて、イベント検出センサ２０について説明する。
（イベント検出センサの構成例）
図６は、上記の構成の本開示の実施形態に係る測距システム１におけるイベント検出センサ２０の構成の一例を示すブロック図である。
本例に係るイベント検出センサ２０は、複数の画素２１が行列状（アレイ状）に２次元配列されて成る画素アレイ部２２を有する。複数の画素２１のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成し、出力する。また、複数の画素２１のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素２１のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。
イベント検出センサ２０は、画素アレイ部２２の他に、画素アレイ部２２の周辺回路部として、駆動部２３、アービタ部（調停部）２４、カラム処理部２５、及び、信号処理部２６を備えている。
複数の画素２１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部２４に出力する。そして、複数の画素２１のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部２４から受け取った場合、駆動部２３及び信号処理部２６に対してイベントデータを出力する。また、イベントを検出した画素２１は、光電変換によって生成されるアナログの画素信号をカラム処理部２５に対して出力する。
駆動部２３は、画素アレイ部２２の各画素２１を駆動する。例えば、駆動部２３は、イベントを検出し、イベントデータを出力した画素２１を駆動し、当該画素２１のアナログの画素信号を、カラム処理部２５へ出力させる。
アービタ部２４は、複数の画素２１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素２１に送信する。
カラム処理部２５は、例えば、画素アレイ部２２の画素列毎に設けられたアナログ－デジタル変換器の集合から成るアナログ－デジタル変換部を有する。アナログ－デジタル変換器としては、例えば、シングルスロープ型アナログ－デジタル変換器、逐次比較型アナログ－デジタル変換器、デルタ－シグマ変調型（ΔΣ変調型）アナログ－デジタル変換器などを例示することができる。
カラム処理部２５では、画素アレイ部２２の画素列毎に、その列の画素２１から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部２５では、デジタル化した画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行うこともできる。
信号処理部２６は、カラム処理部２５から供給されるデジタル化された画素信号や、画素アレイ部２２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
上述したように、画素２１で生成される光電流の変化は、画素２１に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超える画素２１の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素２１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
画素２１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。
但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部２６は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。
（画素の回路構成例）
続いて、画素２１の具体的な回路構成例について説明する。画素２１は、輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出機能を有する。
画素２１は、光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータ（イベント情報）は、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。尚、画素２１については、オンイベントのみについて検出する機能を有する構成とすることもできるし、オフイベントのみについて検出する機能を有する構成とすることもできる。
≪回路構成例１≫
回路構成例１は、コンパレータを１つ用いて、オンイベントの検出、及び、オフイベントの検出を時分割で行う例である。回路構成例１に係る画素２１の回路図を図７に示す。回路構成例１に係る画素２１は、受光素子２１１、受光回路２１２、メモリ容量２１３、コンパレータ２１４、リセット回路２１５、インバータ２１６、及び、出力回路２１７を有する回路構成となっている。画素２１は、センサ制御部５０による制御の下に、オンイベント及びオフイベントの検出を行う。
受光素子２１１は、第１電極（アノード電極）が受光回路２１２の入力端に接続され、第２電極（カソード電極）が基準電位ノードであるグランドノードに接続されており、入射光を光電変換して光の強度（光量）に応じた電荷量の電荷を生成する。また、受光素子２１１は、生成した電荷を光電流Ｉphotoに変換する。
受光回路２１２は、受光素子２１１が検出した、光の強度（光量）に応じた光電流Ｉphotoを電圧Ｖprに変換する。ここで、光の強度に対する電圧Ｖprの関係は、通常、対数の関係である。すなわち、受光回路２１２は、受光素子２１１の受光面に照射される光の強度に対応する光電流Ｉphotoを、対数関数である電圧Ｖprに変換する。但し、光電流Ｉphotoと電圧Ｖprとの関係は、対数の関係に限られるものではない。
受光回路２１２から出力される、光電流Ｉphotoに応じた電圧Ｖprは、メモリ容量２１３を経た後、電圧Ｖdiffとしてコンパレータ２１４の第１入力である反転（－）入力となる。コンパレータ２１４は、通常、差動対トランジスタによって構成される。コンパレータ２１４は、センサ制御部５０から与えられる閾値電圧Ｖbを第２入力である非反転（＋）入力とし、オンイベントの検出、及び、オフイベントの検出を時分割で行う。また、オンイベント／オフイベントの検出後は、リセット回路２１５によって、画素２１のリセットが行われる。
センサ制御部５０は、閾値電圧Ｖbとして、時分割で、オンイベントを検出する段階では電圧Ｖonを出力し、オフイベントを検出する段階では電圧Ｖoffを出力し、リセットを行う段階では電圧Ｖresetを出力する。電圧Ｖresetは、電圧Ｖonと電圧Ｖoffとの間の値、好ましくは、電圧Ｖonと電圧Ｖoffとの中間の値に設定される。ここで、「中間の値」とは、厳密に中間の値である場合の他、実質的に中間の値である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
また、センサ制御部５０は、画素２１に対して、オンイベントを検出する段階ではＯｎ選択信号を出力し、オフイベントを検出する段階ではＯｆｆ選択信号を出力し、リセットを行う段階ではグローバルリセット信号を出力する。Ｏｎ選択信号は、インバータ２１６と出力回路２１７との間に設けられた選択スイッチＳＷonに対してその制御信号として与えられる。Ｏｆｆ選択信号は、コンパレータ２１４と出力回路２１７との間に設けられた選択スイッチＳＷoffに対してその制御信号として与えられる。
コンパレータ２１４は、オンイベントを検出する段階では、電圧Ｖonと電圧Ｖdiffとを比較し、電圧Ｖdiffが電圧Ｖonを超えたとき、光電流Ｉphotoの変化量が上限の閾値を超えた旨を示すオンイベント情報Ｏｎを比較結果として出力する。オンイベント情報Ｏｎは、インバータ２１６で反転された後、選択スイッチＳＷonを通して出力回路２１７に供給される。
コンパレータ２１４は、オフイベントを検出する段階では、電圧Ｖoffと電圧Ｖdiffとを比較し、電圧Ｖdiffが電圧Ｖoffを下回ったとき、光電流Ｉphotoの変化量が下限の閾値を下回った旨を示すオフイベント情報Ｏｆｆを比較結果として出力する。オフイベント情報Ｏｆｆは、選択スイッチＳＷoffを通して出力回路２１７に供給される。
リセット回路２１５は、リセットスイッチＳＷRS、２入力ＯＲ回路２１５１、及び、２入力ＡＮＤ回路２１５２を有する構成となっている。リセットスイッチＳＷRSは、コンパレータ２１４の反転（－）入力端子と出力端子との間に接続されており、オン（閉）状態となることで、反転入力端子と出力端子との間を選択的に短絡する。
ＯＲ回路２１５１は、選択スイッチＳＷonを経たオンイベント情報Ｏｎ、及び、選択スイッチＳＷoffを経たオフイベント情報Ｏｆｆを２入力とする。ＡＮＤ回路２１５２は、ＯＲ回路２１５１の出力信号を一方の入力とし、センサ制御部５０から与えられるグローバルリセット信号を他方の入力とし、オンイベント情報Ｏｎ又はオフイベント情報Ｏｆｆのいずれかが検出され、グローバルリセット信号がアクティブ状態のときに、リセットスイッチＳＷRSをオン（閉）状態とする。
このように、ＡＮＤ回路２１５２の出力信号がアクティブ状態となることで、リセットスイッチＳＷRSは、コンパレータ２１４の反転入力端子と出力端子との間を短絡し、画素２１に対して、グローバルリセットを行う。これにより、イベントが検出された画素２１だけについてリセット動作が行われる。
出力回路２１７は、オフイベント出力トランジスタＮＭ1、オンイベント出力トランジスタＮＭ2、及び、電流源トランジスタＮＭ3を有する構成となっている。オフイベント出力トランジスタＮＭ1は、そのゲート部に、オフイベント情報Ｏｆｆを保持するためのメモリ（図示せず）を有している。このメモリは、オフイベント出力トランジスタＮＭ1のゲート寄生容量から成る。
オフイベント出力トランジスタＮＭ1と同様に、オンイベント出力トランジスタＮＭ2は、そのゲート部に、オンイベント情報Ｏｎを保持するためのメモリ（図示せず）を有している。このメモリは、オンイベント出力トランジスタＮＭ2のゲート寄生容量から成る。
読出し段階において、オフイベント出力トランジスタＮＭ1のメモリに保持されたオフイベント情報Ｏｆｆ、及び、オンイベント出力トランジスタＮＭ2のメモリに保持されたオンイベント情報Ｏｎは、センサ制御部５０から電流源トランジスタＮＭ3のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｆｆ及び出力ラインｎＲｘＯｎを通して読出し回路８０に転送される。読出し回路８０は、例えば、信号処理部２６（図６参照）内に設けられる回路である。
上述したように、回路構成例１に係る画素２１は、１つのコンパレータ２１４を用いて、センサ制御部５０による制御の下に、オンイベントの検出、及び、オフイベントの検出を時分割で行うイベント検出機能を有する構成となっている。
≪回路構成例２≫
回路構成例２は、コンパレータを２つ用いて、オンイベントの検出、及び、オフイベントの検出を並行して（同時に）行う例である。回路構成例２に係る画素２１の回路図を図８に示す。
図８に示すように、回路構成例２に係る画素２１は、オンイベントを検出するためのコンパレータ２１４Ａ、及び、オフイベントを検出するためのコンパレータ２１４Ｂを有する構成となっている。このように、２つのコンパレータ２１４Ａ及びコンパレータ２１４Ｂを用いてイベント検出を行うことで、オンイベントの検出動作とオフイベントの検出動作とを並行して実行することができる。その結果、オンイベント及びオフイベントの検出動作について、より速い動作を実現できる。
オンイベント検出用のコンパレータ２１４Ａは、通常、差動対トランジスタによって構成される。コンパレータ２１４Ａは、光電流Ｉphotoに応じた電圧Ｖdiffを第１入力である非反転（＋）入力とし、閾値電圧Ｖbとしての電圧Ｖonを第２入力である反転（－）入力とし、両者の比較結果としてオンイベント情報Ｏｎを出力する。オフイベント検出用のコンパレータ２１４Ｂも、通常、差動対トランジスタによって構成される。コンパレータ２１４Ｂは、光電流Ｉphotoに応じた電圧Ｖdiffを第１入力である反転入力とし、閾値電圧Ｖbとしての電圧Ｖoffを第２入力である非反転入力とし、両者の比較結果としてオフイベント情報Ｏｆｆを出力する。
コンパレータ２１４Ａの出力端子と出力回路２１７のオンイベント出力トランジスタＮＭ2のゲート電極との間には、選択スイッチＳＷonが接続されている。コンパレータ２１４Ｂの出力端子と出力回路２１７のオフイベント出力トランジスタＮＭ1のゲート電極との間には、選択スイッチＳＷoffが接続されている。選択スイッチＳＷon及び選択スイッチＳＷoffは、センサ制御部５０から出力されるサンプル信号によりオン（閉）／オフ（開）制御が行われる。
コンパレータ２１４Ａの比較結果であるオンイベント情報Ｏｎは、選択スイッチＳＷonを介して、オンイベント出力トランジスタＮＭ2のゲート部のメモリに保持される。オンイベント情報Ｏｎを保持するためのメモリは、オンイベント出力トランジスタＮＭ2のゲート寄生容量から成る。コンパレータ２１４Ｂの比較結果であるオンイベントＯｆｆは、選択スイッチＳＷoffを介して、オフイベント出力トランジスタＮＭ1のゲート部のメモリに保持される。オンイベントＯｆｆを保持するためのメモリは、オフイベント出力トランジスタＮＭ1のゲート寄生容量から成る。
オンイベント出力トランジスタＮＭ2のメモリに保持されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ1のメモリに保持されたオフイベント情報Ｏｆｆは、センサ制御部５０から電流源トランジスタＮＭ3のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｎ及び出力ラインｎＲｘＯｆｆを通して読出し回路８０に転送される。
上述したように、回路構成例２に係る画素２１は、２つのコンパレータ２１４Ａ及びコンパレータ２１４Ｂを用いて、センサ制御部５０による制御の下に、オンイベントの検出と、オフイベントの検出とを並行して（同時に）行うイベント検出機能を有する構成となっている。
≪回路構成例３≫
回路構成例３は、オンイベントのみについて検出を行う例である。回路構成例３に係る画素２１の回路図を図９に示す。
回路構成例３に係る画素２１は、１つのコンパレータ２１４を有している。コンパレータ２１４は、光電流Ｉphotoに応じた電圧Ｖdiffを第１入力である反転（－）入力とし、センサ制御部５０から閾値電圧Ｖbとして与えられる電圧Ｖonを第２入力である非反転（＋）入力とし、両者を比較することによってオンイベント情報Ｏｎを比較結果として出力する。ここで、コンパレータ２１４を構成する差動対トランジスタとしてＮ型トランジスタを用いることで、回路構成例１（図７参照）で用いていたインバータ２１６を不要とすることができる。
コンパレータ２１４の比較結果であるオンイベント情報Ｏｎは、オンイベント出力トランジスタＮＭ2のゲート部のメモリに保持される。オンイベント情報Ｏｎを保持するためのメモリは、オンイベント出力トランジスタＮＭ2のゲート寄生容量から成る。オンイベント出力トランジスタＮＭ2のメモリに保持されたオンイベント情報Ｏｎは、センサ制御部５０から電流源トランジスタＮＭ3のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｎを通して読出し回路８０に転送される。
上述したように、回路構成例３に係る画素２１は、１つのコンパレータ２１４を用いて、センサ制御部５０による制御の下に、オンイベント情報Ｏｎのみについて検出を行うイベント検出機能を有する構成となっている。
≪回路構成例４≫
回路構成例４は、オフイベントのみの検出を行う例である。回路構成例４に係る画素２１の回路図を図１０に示す。
回路構成例４に係る画素２１は、１つのコンパレータ２１４を有している。コンパレータ２１４は、光電流Ｉphotoに応じた電圧Ｖdiffを第１入力である反転（－）入力とし、センサ制御部５０から閾値電圧Ｖbとして与えられる電圧Ｖoffを第２入力である非反転（＋）入力とし、両者を比較することによってオフイベント情報Ｏｆｆを比較結果として出力する。コンパレータ２１４を構成する差動対トランジスタとしては、Ｐ型トランジスタを用いることができる。
コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆは、オフイベント出力トランジスタＮＭ1のゲート部のメモリに保持される。オフイベント情報Ｏｆｆを保持するメモリは、オフイベント出力トランジスタＮＭ1のゲート寄生容量から成る。オフイベント出力トランジスタＮＭ1のメモリに保持されたオフイベント情報Ｏｆｆは、センサ制御部５０から電流源トランジスタＮＭ3のゲート電極に行選択信号が与えられることで、画素アレイ部２２の画素行毎に、出力ラインｎＲｘＯｆｆを通して読出し回路８０に転送される。
上述したように、回路構成例４に係る画素２１は、１つのコンパレータ２１４を用いて、センサ制御部５０による制御の下に、オフイベント情報Ｏｆｆのみについて検出を行うイベント検出機能を有する構成となっている。尚、図１０の回路構成では、ＡＮＤ回路２１５２の出力信号でリセットスイッチＳＷRSを制御するしているが、グローバルリセット信号で直接リセットスイッチＳＷRSを制御する構成とすることもできる。
［垂直共振器型面発光レーザとイベント検出センサとの同期制御］
上記の回路構成例１、回路構成例２、回路構成例３、又は、回路構成例４に係る画素２１を有するイベント検出センサ２０を用いる測距システム１において、本実施形態では、システム制御部３０による制御の下に、垂直共振器型面発光レーザ１０とイベント検出センサ２０とを同期させて制御することを特徴としている。
垂直共振器型面発光レーザ１０とイベント検出センサ２０とを同期させて制御することにより、被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにすることができる。被写体の動きに起因するイベント情報以外のイベント情報としては、例えば、被写体に投影されるパターンの変化や背景光に起因するイベント情報を例示することができる。被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにすることで、被写体の動きに起因するイベント情報をより確実に取得することができるとともに、イベント情報を処理するアプリケーションプロセッサにおいて、混在した状態のイベント情報を分離する処理を不要とすることができる。
以下に、垂直共振器型面発光レーザ１０とイベント検出センサ２０とを同期させて制御するための具体的な実施例について説明する。この同期制御は、図１Ｂに示すシステム制御部３０による制御の下に、光源駆動部４０及びセンサ制御部５０によって行われる。すなわち、特許請求の範囲における「制御部」は、システム制御部３０による制御の下に動作する光源駆動部４０及びセンサ制御部５０ということができる。
（実施例１）
実施例１は、画素２１が回路構成例１（即ち、コンパレータを１つ用いて、オンイベント及びオフイベントの検出を時分割で行う例）の場合の同期制御例である。実施例１に係る同期制御の処理のフローチャートを図１１に示す。
センサ制御部５０は、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットするとともに、コンパレータ２１４の非反転入力である閾値電圧Ｖbを、オンイベント検出用の電圧Ｖonに設定する（ステップＳ１１）。
電圧Ｖdiffのグローバルリセットについては、読出し回路８０へのイベント情報の転送後に行うようにしてもよい。また、電圧Ｖdiffのグローバルリセットについては、図７に示すリセット回路２１５におけるリセットスイッチＳＷRSをオン（閉）状態にすることによって行われる。これらの点については、後述する各実施例においても同じである。
次に、光源部である垂直共振器型面発光レーザ１０から被写体（測定対象物）に対してあらかじめ定められたパターンの光を照射する（ステップＳ１２）。この垂直共振器型面発光レーザ１０の駆動は、システム制御部３０による制御の下に、光源駆動部４０によって行われる。この点については、後述する実施例においても同じである。
次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ１３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量である。
次に、センサ制御部５０は、閾値電圧Ｖbを、オフイベント検出用の電圧Ｖoffに設定する（ステップＳ１４）。次に、光源駆動部４０は、被写体への光の照射を終了する（ステップＳ１５）。次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ１６）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ1のゲート寄生容量である。
しかる後、センサ制御部５０は、オンイベント出力トランジスタＮＭ2のゲート寄生容量に格納されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ1のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路８０に転送し（ステップＳ１７）、同期制御のための一連の処理を終了する。
（実施例２）
実施例２は、画素２１が回路構成例２（即ち、コンパレータを２つ用いて、オンイベント及びオフイベントの検出を並行して行う例）の場合の同期制御例である。実施例２に係る同期制御の処理のフローチャートを図１２に示す。
センサ制御部５０は、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットする（ステップＳ２１）。次に、光源駆動部４０は、光源部である垂直共振器型面発光レーザ１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ２２）。
次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ２３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量である。
次に、光源駆動部４０は、被写体への光の照射を終了する（ステップＳ２４）。次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ２５）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ1のゲート寄生容量である。
しかる後、センサ制御部５０は、オンイベント出力トランジスタＮＭ2のゲート寄生容量に格納されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ1のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路８０に転送し（ステップＳ２６）、同期制御のための一連の処理を終了する。
（実施例３）
実施例３は、画素２１が回路構成例３（即ち、コンパレータを１つ用いて、オンイベントのみについて検出を行う例）の場合の同期制御例である。実施例３に係る同期制御の処理のフローチャートを図１３に示す。
センサ制御部５０は、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットする（ステップＳ３１）。次に、光源駆動部４０は、光源部である垂直共振器型面発光レーザ１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ３２）。
次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ３３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量である。しかる後、センサ制御部５０は、オンイベント出力トランジスタＮＭ2のゲート寄生容量に格納されたオンイベント情報Ｏｎを順次読出し回路８０に転送し（ステップＳ３４）、同期制御のための一連の処理を終了する。
（実施例４）
実施例４は、画素２１が回路構成例４（即ち、コンパレータを１つ用いて、オフイベントのみについて検出を行う例）の場合の同期制御例である。実施例４に係る同期制御の処理のフローチャートを図１４に示す。
センサ制御部５０は、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットする（ステップＳ４１）。次に、光源駆動部４０は、光源部である垂直共振器型面発光レーザ１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ４２）。
次に、センサ制御部５０は、リセットスイッチＳＷRSをオン状態にする（ステップＳ４３）。次に、光源駆動部４０は、被写体への光の照射を終了する（ステップＳ４４）。次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ４５）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ1のゲート寄生容量である。
しかる後、センサ制御部５０は、オフイベント出力トランジスタＮＭ1のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路８０に転送し（ステップＳ４６）、同期制御のための一連の処理を終了する。
（実施例５）
実施例５は、画素アレイ部２２内にＯＮ画素とＯＦＦ画素とが混在する場合の画素配置例である。ここで、「ＯＮ画素」は、回路構成例３に係る画素２１、即ち、オンイベントのみを検出する機能を有する第１の画素である。また、「ＯＦＦ画素」は、回路構成例４に係る画素２１、即ち、オフイベントのみを検出する機能を有する第２の画素である。
実施例５に係るＯＮ画素及びＯＦＦ画素の画素配置例（その１）を図１５Ａ及び図１５Ｂに示し、画素配置例（その２）を図１６Ａ、図１６Ｂに示す。ここでは、図面の簡略化のために、Ｘ方向（行方向／水平方向）４画素×Ｙ方向（列方向／垂直方向）４画素の計１６画素の画素配置（画素配列）を図示している。
図１５Ａに示す画素配置は、Ｘ方向及びＹ方向共に、ＯＮ画素とＯＦＦ画素とが交互に配置された構成となっている。図１５Ｂに示す画素配置は、Ｘ方向２画素×Ｙ方向２画素の計４画素をブロック（単位）とし、Ｘ方向及びＹ方向共に、ＯＮ画素のブロックとＯＦＦ画素のブロックとが交互に配置された構成となっている。
図１６Ａに示す画素配置は、計１６画素のうち、真ん中の４画素をＯＦＦ画素とし、その周りの１２画素をＯＮ画素とした配置構成となっている。図１６Ｂに示す画素配置は、計１６画素の画素配置において、奇数列及び偶数行の各画素をＯＮ画素とし、残りの画素をＯＦＦ画素とした配置構成となっている。
尚、ここで例示したＯＮ画素及びＯＦＦ画素の画素配置は一例であって、これらの画素配置に限られるものではない。
（実施例６）
実施例６は、実施例５の場合の同期制御例（その１）、即ち、画素アレイ部２２内にＯＮ画素とＯＦＦ画素とが混在する画素配置の場合の同期制御例（その１）である。実施例６に係る同期制御の処理のフローチャートを図１７に示す。
センサ制御部５０は、先ず、ＯＮ画素及びＯＦＦ画素を含む全画素をグローバルリセットする（ステップＳ５１）。次に、光源駆動部４０は、光源部である垂直共振器型面発光レーザ１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ５２）。次に、センサ制御部５０は、ＯＮ画素で検出されたオンイベント情報Ｏｎをメモリに格納する（ステップＳ５３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量である。
次に、センサ制御部５０は、ＯＦＦ画素のリセットスイッチＳＷRSをオン状態にする（ステップＳ５４）。次に、光源駆動部４０は、被写体への光の照射を終了する（ステップＳ５５）。次に、センサ制御部５０は、ＯＦＦ画素で検出されたオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ５６）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ1のゲート寄生容量である。
しかる後、センサ制御部５０は、オンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆを順次読出し回路８０に転送し（ステップＳ５７）、次いで、イベント検出を行った画素について、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットし（ステップＳ５８）、同期制御のための一連の処理を終了する。
（実施例７）
実施例７は、実施例５の場合の同期制御例（その２）、即ち、画素アレイ部２２内にＯＮ画素とＯＦＦ画素とが混在する画素配置の場合の同期制御例（その２）である。実施例７に係る同期制御の処理のフローチャートを図１８に示す。
センサ制御部５０は、先ず、ＯＮ画素及びＯＦＦ画素を含む全画素をグローバルリセットする（ステップＳ６１）。次に、光源駆動部４０は、光源部である垂直共振器型面発光レーザ１０から被写体に対してあらかじめ定められたパターンの光を照射する（ステップＳ６２）。次に、センサ制御部５０は、ＯＮ画素で検出されたオンイベント情報Ｏｎをメモリに格納する（ステップＳ６３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量である。
次に、センサ制御部５０は、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量に格納されたオンイベント情報Ｏｎを順次読出し回路８０に転送し（ステップＳ６４）、次いで、ＯＦＦ画素のリセットスイッチＳＷRSをオン状態にする（ステップＳ６５）。
次に、光源駆動部４０は、被写体への光の照射を終了する（ステップＳ６６）。次に、センサ制御部５０は、ＯＦＦ画素で検出されたオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ６７）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ1のゲート寄生容量である。
しかる後、センサ制御部５０は、オンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆを順次読出し回路８０に転送し（ステップＳ６８）、次いで、イベント検出を行った画素について、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットし（ステップＳ６９）、同期制御のための一連の処理を終了する。
（実施例８）
実施例８は、本実施形態に係る測距システム１を顔認識に応用する例である。実施例８では、一例として、回路構成例１の場合の同期制御の下で、顔認識のための顔検出処理を行う場合について説明する。実施例８に係る同期制御の処理のフローチャートを図１９に示す。
センサ制御部５０は、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットするとともに、コンパレータ２１４の非反転入力である閾値電圧Ｖbを、オンイベント検出用の電圧Ｖonに設定する（ステップＳ７１）。
次に、光源駆動部４０は、光源部である垂直共振器型面発光レーザ１０から被写体（測定対象物）に対してあらかじめ定められたパターンの光を照射する（ステップＳ７２）。次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ７３）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量である。
次に、センサ制御部５０は、閾値電圧Ｖbを、オフイベント検出用の電圧Ｖoffに設定する（ステップＳ７４）。次に、光源駆動部４０は、被写体への光の照射を終了する（ステップＳ７５）。次に、センサ制御部５０は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ７６）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ1のゲート寄生容量である。
次に、センサ制御部５０は、オンイベント出力トランジスタＮＭ2のゲート寄生容量に格納されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ1のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路８０に転送する（ステップＳ７７）。
読出し回路８０に順次転送されたオンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆ、即ち、イベント検出センサ２０が検出したイベント情報は、図１Ｂに示すアプリケーションプロセッサ２００に供給される。アプリケーションプロセッサ２００は、オンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆに基づいて、顔認識のための顔検出処理を行う（ステップＳ７８）。
（実施例９）
実施例９は、本実施形態に係る測距システム１の変形例であり、イベント検出センサ２０の他に、ＣＭＯＳイメージセンサ等の画像センサから成り、各画素に、例えば、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色フィルタが組み込まれた撮像部（以下、「ＲＧＢカメラ」と記述する）を備える例である。
図２０は、実施例９に係る測距システムの回路構成の一例を示すブロック図である。図２０に示すように、本実施形態の変形例に係る測距システム１は、イベント検出センサ２０の他に、ＲＧＢカメラ９１、及び、当該ＲＧＢカメラ９１を制御するカメラ制御部９２を備える構成となっている。ＲＧＢカメラ９１は、システム制御部３０による制御の下に、イベント検出センサ２０が検出した被写体の画像情報を取得し、その取得した画像情報をシステム制御部３０に供給するとともに、カメラ制御部９２を通してアプリケーションプロセッサ２００に供給する。
ＲＧＢカメラ９１に用いる撮像部は、所定のフレームレートで撮像を行う同期型の撮像装置であり、イベント検出センサ２０に比べて解像度に優れている。従って、本実施形態の変形例に係る測距システム１によれば、ＲＧＢカメラ９１によって、イベントを含む領域の画像情報を、イベント検出センサ２０よりも高い解像度で取得することができる。その結果、ＲＧＢカメラ９１が撮影して取得したイベントを含む領域の画像情報に基づいて、イベントの物体認識、例えば、所定のユーザの顔認識をより精度良く行うことが可能になる。
因みに、イベント検出センサ２０は、画素２１が、図７に示す回路構成例１、図８に示す回路構成例２、図９に示す回路構成例３、あるいは、図１０に示す回路構成例４の回路構成をとることから、同期型の撮像装置か成るＲＧＢカメラ９１に比べて画素サイズが大きくならざるを得ない。従って、イベント検出センサ２０は、所定のフレームレートで撮像を行うＲＧＢカメラ９１に比べて解像度が低いということができる。換言すれば、ＲＧＢカメラ９１は、イベント検出センサ２０に比べて解像度に優れているということができる。
（実施例１０）
実施例１０は、本実施形態の変形例に係る測距システム１、即ち、イベント検出センサ２０とＲＧＢカメラ９１との組み合わせによって顔認識（顔認証）を行う例である。この例の場合、実施例９に係る測距システム１において、アプリケーションプロセッサ２００は、イベント検出センサ２０で生成されるイベント信号を処理し、かつ、撮像部であるＲＧＢカメラ９１からの画像信号に基づき注目領域を抽出する。また、アプリケーションプロセッサ２００は、イベント信号に基づき測距情報を取得し、画像信号の注目領域においてパターンマッチングする機能を有し、更に、取得した測距情報、及び、パターンマッチングに基づきユーザの顔認証をする機能を有する。
実施例１０に係る顔認識の処理のフローチャートを図２１に示す。実施例１０においても、垂直共振器型面発光レーザ１０とイベント検出センサ２０との同期制御は、先述した各実施例の場合と同様に、システム制御部３０による制御の下に、光源駆動部４０及びセンサ制御部５０を介して行われる。但し、顔認識処理については、アプリケーションプロセッサ２００において実行される。
システム制御部３０は、先ず、ＲＧＢカメラ９１を起動し（ステップＳ８１）、次いで、ＲＧＢカメラ９１による撮像を行う（ステップＳ８２）。次に、システム制御部３０は、ＲＧＢカメラ９１で撮像したＲＧＢ画像から顔を検出し（ステップＳ８３）、次いで、検出した顔部分の画像情報と、所定のユーザの顔の画像情報とが整合するか否かを判断し（ステップＳ８４）、整合しないと判断した場合は（Ｓ８４のＮＯ）、ステップＳ８１に戻る。
整合すると判断した場合は（Ｓ８４のＹＥＳ）、システム制御部３０は、センサ制御部５０を介して、コンパレータ２１４の反転入力である電圧Ｖdiffをグローバルリセットするとともに、コンパレータ２１４の非反転入力である閾値電圧Ｖbを、オンイベント検出用の電圧Ｖonに設定する（ステップＳ８５）。
次に、システム制御部３０は、検出した顔部分に対して、光源部である垂直共振器型面発光レーザ１０から光を照射し（ステップＳ８６）、次いで、コンパレータ２１４の比較結果であるオンイベント情報Ｏｎをメモリに格納する（ステップＳ８７）。ここで、オンイベント情報Ｏｎを格納するためのメモリは、出力回路２１７におけるオンイベント出力トランジスタＮＭ2のゲート寄生容量である。
次に、システム制御部３０は、閾値電圧Ｖbを、オフイベント検出用の電圧Ｖoffに設定し（ステップＳ８８）、次いで、顔部分への光の照射を終了する（ステップＳ８９）。次に、システム制御部３０は、コンパレータ２１４の比較結果であるオフイベント情報Ｏｆｆをメモリに格納する（ステップＳ９０）。ここで、オフイベント情報Ｏｆｆを格納するためのメモリは、出力回路２１７におけるオフイベント出力トランジスタＮＭ1のゲート寄生容量である。
次に、システム制御部３０は、オンイベント出力トランジスタＮＭ2のゲート寄生容量に格納されたオンイベント情報Ｏｎ、及び、オフイベント出力トランジスタＮＭ1のゲート寄生容量に格納されたオフイベント情報Ｏｆｆを順次読出し回路８０に転送する（ステップＳ９１）。
読出し回路８０に順次転送されたオンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆ、即ち、イベント検出センサ２０が検出したイベント情報は、アプリケーションプロセッサ２００に供給される。アプリケーションプロセッサ２００は、オンイベント情報Ｏｎ及びオフイベント情報Ｏｆｆに基づいて、顔認識のための深度マップを作成する（ステップＳ９２）。そして、アプリケーションプロセッサ２００は、画像信号の注目領域において行うパターンマッチング機能によって、作成した深度マップと、所定のユーザの顔の深度マップとが整合するか否かを判断し（ステップＳ９３）、整合すると判断した場合は（ステップＳ９３のＹＥＳ）、顔認識のための一連の処理を終了し、整合しない判断した場合は（ステップＳ９３のＮＯ）、ステップＳ８１に戻る。
＜変形例＞
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した測距システムの構成、構造は例示であり、適宜、変更することができる。
＜応用例＞
以上説明した本開示の測距システムは、様々な用途に用いることができる。様々な用途としては、以下に列挙する装置等を例示することができる。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
＜本開示の電子機器＞
以上説明した本開示の測距システムは、例えば、顔認証機能を備える種々の電子機器に搭載される三次元画像取得システム（顔認証システム）として用いることができる。顔認証機能を備える電子機器として、例えば、スマートフォン、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、本開示の測距システムを用いることができる電子機器としては、モバイル機器に限定されるものではない。
［スマートフォン］
ここでは、本開示の測距システムを用いることができる本開示の電子機器の具体例として、スマートフォンを例示する。本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図を図２２に示す。
本具体例に係るスマートフォン３００は、筐体３１０の正面側に表示部３２０を備えている。また、スマートフォン３００は、筐体３１０の正面側の上方部に、発光部３３０及び受光部３４０を備えている。尚、図２２に示す発光部３３０及び受光部３４０の配置例は、一例であって、この配置例に限られるものではない。
上記の構成のモバイル機器の一例であるスマートフォン３００において、発光部３３０として、先述した実施形態に係る測距システム１における光源（垂直共振器型面発光レーザ１０）を用い、受光部３４０としてイベント検出センサ２０を用いるこができる。すなわち、本具体例に係るスマートフォン３００は、三次元画像取得システムとして、先述した実施形態に係る測距システム１を用いることによって作製される。
先述した実施形態に係る測距システム１は、光源のアレイドット配置において、光源の数を増やすことなく、距離画像の解像度を上げることができる。従って、本具体例に係るスマートフォン３００は、三次元画像取得システム（顔認証システム）として、先述した実施形態に係る測距システム１を用いることで、精度の高い顔認識機能（顔認証機能）を持つことができる。
＜本開示がとることができる構成＞
尚、本開示は、以下のような構成をとることもできる。
≪Ａ．測距システム（その１）≫
［Ａ－１］被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
光源部とイベント検出センサとを同期させて制御する制御部、
を備える測距システム。
［Ａ－２］画素は、１つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する、
上記［Ａ－１］に記載の測距システム。
［Ａ－３］１つのコンパレータは、光電流に基づく電圧を第１入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報及びオフイベント情報として出力する、
上記［Ａ－２］に記載の測距システム。
［Ａ－４］制御部は、コンパレータの第１入力をグローバルリセットするとともに、コンパレータの第２入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第２入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記［Ａ－３］に記載の測距システム。
［Ａ－５］画素は、２つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、並行して検出する機能を有する、
上記［Ａ－１］に記載の測距システム。
［Ａ－６］２つのコンパレータの一方は、光電流に基づく電圧を第１入力とし、オンイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報として出力し、
２つのコンパレータの他方は、光電流に基づく電圧を第１入力とし、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオフイベント情報として出力する、
上記［Ａ－５］に記載の測距システム。
［Ａ－７］制御部は、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記［Ａ－６］に記載の測距システム。
［Ａ－８］画素は、１つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する、
上記［Ａ－１］に記載の測距システム。
［Ａ－９］１つのコンパレータは、光電流に基づく電圧を第１入力とし、オンイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報として出力する、
上記［Ａ－８］に記載の測距システム。
［Ａ－１０］制御部は、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、しかる後、オンイベント情報を順次読出し回路に転送する、
上記［Ａ－９］に記載の測距システム。
［Ａ－１１］画素は、１つのコンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する、
上記［Ａ－１］に記載の測距システム。
［Ａ－１２］１つのコンパレータは、光電流に基づく電圧を第１入力とし、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオフイベント情報として出力する、
上記［Ａ－１１］に記載の測距システム。
［Ａ－１３］制御部は、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、コンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オフイベント情報を順次読出し回路に転送する、
上記［Ａ－１２］に記載の測距システム。
［Ａ－１４］イベント検出センサの画素アレイ部には、コンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する第１の画素と、コンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する第２の画素とが混在している、
上記［Ａ－１］に記載の測距システム。
［Ａ－１５］制御部は、先ず、第１の画素及び第２の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第１の画素で検出されたオンイベント情報をメモリに格納し、次いで、第２の画素のコンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第２の画素で検出されたオフイベント情報をメモリに格納し、次いで、オンイベント情報及びオフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第１入力をグローバルリセットする、
上記［Ａ－１４］に記載の測距システム。
［Ａ－１６］制御部は、先ず、第１の画素及び第２の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第１の画素で検出されたオンイベント情報をメモリに格納し、次いで、オンイベント情報を順次読出し回路に転送し、次いで、第２の画素のコンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第２の画素で検出されたオフイベント情報をメモリに格納し、次いで、オフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第１入力をグローバルリセットする、
上記［Ａ－１４］に記載の測距システム。
［Ａ－１７］光源部は、面発光半導体レーザから成る、
上記［Ａ－１］乃至上記［Ａ－１６］のいずれかに記載の測距システム。
［Ａ－１８］面発光半導体レーザは、垂直共振器型面発光レーザである、
上記［Ａ－１７］に記載の測距システム。
［Ａ－１９］垂直共振器型面発光レーザは、被写体に所定のパターンの光を投影する、
上記［Ａ－１８］に記載の測距システム。
≪Ｂ．測距システム（その２）≫
［Ｂ－１］被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、
被写体を撮像し、画像信号を生成する撮像部、
イベント検出センサで生成されるイベント信号を処理し、かつ、撮像部からの画像信号に基づき注目領域を抽出するプロセッサ、及び、
光源とイベント検出センサを同期させて制御し、撮像部を制御する制御部、
を備える測距システム。
［Ｂ－２］画素は、１つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する、
上記［Ｂ－１］に記載の測距システム。
［Ｂ－３］１つのコンパレータは、光電流に基づく電圧を第１入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報及びオフイベント情報として出力する、
上記［Ｂ－２］に記載の測距システム。
［Ｂ－４］制御部は、コンパレータの第１入力をグローバルリセットするとともに、コンパレータの第２入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第２入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記［Ｂ－３］に記載の測距システム。
［Ｂ－５］プロセッサは、イベント信号に基づき測距情報を取得し、画像信号の注目領域においてパターンマッチングする機能を有する、
上記［Ｂ－３］に記載の測距システム。
［Ｂ－６］プロセッサは、取得した測距情報、及び、パターンマッチングに基づきユーザの顔認証をする機能を有する、
上記［Ｂ－５］に記載の測距システム。
≪Ｃ．電子機器≫
［Ｃ－１］被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
光源部とイベント検出センサとを同期させて制御する制御部、
を備える測距システムを有する電子機器。
［Ｃ－２］画素は、１つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する、
上記［Ｃ－１］に記載の電子機器。
［Ｃ－３］１つのコンパレータは、光電流に基づく電圧を第１入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報及びオフイベント情報として出力する、
上記［Ｃ－２］に記載の電子機器。
［Ｃ－４］制御部は、コンパレータの第１入力をグローバルリセットするとともに、コンパレータの第２入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第２入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記［Ｃ－３］に記載の電子機器。
［Ｃ－５］画素は、２つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、並行して検出する機能を有する、
上記［Ｃ－１］に記載の電子機器。
［Ｃ－６］２つのコンパレータの一方は、光電流に基づく電圧を第１入力とし、オンイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報として出力し、
２つのコンパレータの他方は、光電流に基づく電圧を第１入力とし、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオフイベント情報として出力する、
上記［Ｃ－５］に記載の電子機器。
［Ｃ－７］制御部は、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記［Ｃ－６］に記載の電子機器。
［Ｃ－８］画素は、１つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する、
上記［Ｃ－１］に記載の電子機器。
［Ｃ－９］１つのコンパレータは、光電流に基づく電圧を第１入力とし、オンイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオンイベント情報として出力する、
上記［Ｃ－８］に記載の電子機器。
［Ｃ－１０］制御部は、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、しかる後、オンイベント情報を順次読出し回路に転送する、
上記［Ｃ－９］に記載の電子機器。
［Ｃ－１１］画素は、１つのコンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する、
上記［Ｃ－１］に記載の電子機器。
［Ｃ－１２］１つのコンパレータは、光電流に基づく電圧を第１入力とし、オフイベント検出用の電圧を第２入力とし、第１入力と第２入力との比較結果をオフイベント情報として出力する、
上記［Ｃ－１１］に記載の電子機器。
［Ｃ－１３］制御部は、コンパレータの第１入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、コンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オフイベント情報を順次読出し回路に転送する、
上記［Ｃ－１２］に記載の電子機器。
［Ｃ－１４］イベント検出センサの画素アレイ部には、コンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する第１の画素と、コンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する第２の画素とが混在している、
上記［Ｃ－１］に記載の電子機器。
［Ｃ－１５］制御部は、先ず、第１の画素及び第２の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第１の画素で検出されたオンイベント情報をメモリに格納し、次いで、第２の画素のコンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第２の画素で検出されたオフイベント情報をメモリに格納し、次いで、オンイベント情報及びオフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第１入力をグローバルリセットする、
上記［Ｃ－１４］に記載の電子機器。
［Ｃ－１６］制御部は、先ず、第１の画素及び第２の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第１の画素で検出されたオンイベント情報をメモリに格納し、次いで、オンイベント情報を順次読出し回路に転送し、次いで、第２の画素のコンパレータの第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第２の画素で検出されたオフイベント情報をメモリに格納し、次いで、オフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第１入力をグローバルリセットする、
上記［Ｃ－１４］に記載の電子機器。
［Ｃ－１７］光源部は、面発光半導体レーザから成る、
上記［Ｃ－１］乃至上記［Ｃ－１６］のいずれかに記載の電子機器。
［Ｃ－１８］面発光半導体レーザは、垂直共振器型面発光レーザである、
上記［Ｃ－１７］に記載の電子機器。
［Ｃ－１９］垂直共振器型面発光レーザは、被写体に所定のパターンの光を投影する、
上記［Ｃ－１８］に記載の電子機器。
１・・・測距システム、１０・・・垂直共振器型面発光レーザ（ＶＣＳＥＬ）、１１・・・光源（点光源）、２０・・・イベント検出センサ（ＤＶＳ）、２１・・・画素、２２・・・画素アレイ部、２３・・・駆動部、２４・・・アービタ部、２５・・・カラム処理部、２６・・・信号処理部、３０・・・システム制御部、４０・・・光源駆動部、５０・・・センサ制御部、６０・・・光源側光学系、７０・・・カメラ側光学系、８０・・・読出し回路、９１・・・ＲＧＢカメラ、９２・・・カメラ制御部、１００・・・被写体、２００・・・アプリケーションプロセッサ

Claims (26)

  1. 被写体に光を照射する光源部と、
    前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、
    前記光源部と前記イベント検出センサとを同期させて制御する制御部と
    を備え、
    前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする
    測距システム。
  2. 前記画素は、１つのコンパレータを用いて、前記オンイベント、及び、前記オフイベントを、時分割で検出する
    請求項１に記載の測距システム。
  3. 前記１つのコンパレータは、前記光電流に基づく電圧を第１入力とし、時分割で与えられる、前記オンイベントの検出用の電圧、及び、前記オフイベントの検出用の電圧を第２入力として前記第１入力と前記第２入力の比較を行い、前記第１入力と前記第２入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報または前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項２に記載の測距システム。
  4. 前記制御部は、前記１つのコンパレータの前記第１入力をグローバルリセットするとともに、前記第２入力を前記オンイベントの検出用の電圧に設定し、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記第２入力を前記オフイベントの検出用の電圧に設定し、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、しかる後、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させる
    請求項３に記載の測距システム。
  5. 前記画素は、２つのコンパレータを用いて、前記オンイベント、及び、前記オフイベントを、並行して検出する
    請求項１に記載の測距システム。
  6. 前記２つのコンパレータのうちの一方は、前記光電流に基づく電圧を第１入力とし、前記オンイベントの検出用の電圧を第２入力として前記第１入力と前記第２入力の比較を行い、前記第１入力と前記第２入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報として出力し、
    前記２つのコンパレータのうちの他方は、前記光電流に基づく電圧を第３入力とし、前記オフイベントの検出用の電圧を第４入力として前記第３入力と前記第４入力の比較を行い、前記第３入力と第４入力との比較結果を前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項５に記載の測距システム。
  7. 前記制御部は、前記第１入力及び前記第３入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、しかる後、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させる
    請求項６に記載の測距システム。
  8. 前記画素は、コンパレータを用いて前記オンイベントを検出する第１の画素または前記オフイベントを検出する第２の画素である
    請求項１に記載の測距システム。
  9. 前記イベント検出センサは、前記第１の画素のみを有し、
    前記第１の画素の前記コンパレータは、前記光電流に基づく電圧を第１入力とし、前記オンイベントの検出用の電圧を第２入力として前記第１入力と前記第２入力の比較を行い、前記第１入力と前記第２入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報として出力する
    請求項８に記載の測距システム。
  10. 前記制御部は、前記第１入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納し、しかる後、前記オンイベント情報を順次読出し回路に転送させる
    請求項９に記載の測距システム。
  11. 前記イベント検出センサは、前記第２の画素のみを有し、
    前記第２の画素の前記コンパレータは、前記光電流に基づく電圧を第１入力とし、前記オフイベントの検出用の電圧を第２入力として前記第１入力と前記第２入力の比較を行い、前記第１入力と前記第２入力の比較結果を前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項８に記載の測距システム。
  12. 前記制御部は、前記第１入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記第１入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納し、しかる後、前記オフイベント情報を順次読出し回路に転送させる
    請求項１１に記載の測距システム。
  13. 前記イベント検出センサは、前記第１の画素と前記第２の画素の両方を有し、
    前記第１の画素の前記コンパレータは、前記光電流に基づく電圧を第１入力とし、前記オンイベントの検出用の電圧を第２入力として前記第１入力と前記第２入力の比較を行い、前記第１入力と前記第２入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報として出力し、
    前記第２の画素の前記コンパレータは、前記光電流に基づく電圧を第３入力とし、前記オフイベントの検出用の電圧を第４入力として前記第３入力と前記第４入力の比較を行い、前記第３入力と前記第４入力の比較結果を前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項８に記載の測距システム。
  14. 前記制御部は、先ず、前記第１入力及び前記第３入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記第３入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、次いで、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させ、しかる後、前記第１入力及び前記第３入力をグローバルリセットさせる
    請求項１３に記載の測距システム。
  15. 前記制御部は、先ず、前記第１入力及び前記第３入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記オンイベント情報を順次読出し回路に転送させ、次いで、前記第３入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、次いで、前記オフイベント情報を順次読出し回路に転送させ、しかる後、前記第１入力及び前記第３入力をグローバルリセットさせる
    請求項１３に記載の測距システム。
  16. 前記光源部の数は複数であり、
    前記制御部はまた、前記光源部の点灯駆動のタイミングに基づいて前記画素の感度を制御する
    請求項１に記載の測距システム。
  17. 前記光源部は、面発光半導体レーザから成る
    請求項１に記載の測距システム。
  18. 前記面発光半導体レーザは、垂直共振器型面発光レーザである
    請求項１７に記載の測距システム。
  19. 前記垂直共振器型面発光レーザは、前記被写体に所定のパターンの光を投影する
    請求項１８に記載の測距システム。
  20. 被写体に光を照射する光源部と、
    前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出し、前記オンイベントの検出結果を表すオンイベント情報を生成すること、および、下限の閾値を下回ったことをオフイベントとして検出し、前記オフイベントの検出結果を表すオフイベント情報を生成することの少なくとも一方を行うイベント検出センサと、
    前記被写体を撮像し、画像信号を生成する撮像部と、
    前記イベント検出センサで生成される前記オンイベント情報および前記オフイベント情報の少なくとも一方を処理し、かつ、前記撮像部からの前記画像信号に基づき注目領域を抽出するプロセッサと、
    前記光源部と前記イベント検出センサを同期させて制御し、前記撮像部を制御する制御部と
    を備え、
    前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする
    測距システム。
  21. 前記画素は、１つのコンパレータを用いて、前記オンイベント、及び、前記オフイベントを、時分割で検出する
    請求項２０に記載の測距システム。
  22. 前記１つのコンパレータは、前記光電流に基づく電圧を第１入力とし、時分割で与えられる、前記オンイベントの検出用の電圧、及び、前記オフイベントの検出用の電圧を第２入力として前記第１入力と前記第２入力の比較を行い、前記第１入力と前記第２入力の比較結果を前記オンイベント情報または前記オフイベント情報として出力する
    請求項２１に記載の測距システム。
  23. 前記制御部は、前記１つのコンパレータの前記第１入力をグローバルリセットするとともに、前記第２入力を前記オンイベントの検出用の電圧に設定し、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記第２入力を前記オフイベントの検出用の電圧に設定し、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、しかる後、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させる
    請求項２２に記載の測距システム。
  24. 前記プロセッサは、前記オンイベント情報および前記オフイベント情報の少なくとも一方に基づき測距情報を取得し、前記画像信号の注目領域においてパターンマッチングを行う
    請求項２０に記載の測距システム。
  25. 前記プロセッサは、取得した前記測距情報、及び、前記パターンマッチングに基づきユーザの顔認証を行う
    請求項２４に記載の測距システム。
  26. 被写体に光を照射する光源部と、
    前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、
    前記光源部と前記イベント検出センサとを同期させて制御する制御部と
    を備え、
    前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする
    測距システムを有する電子機器。
JP2019154499A 2019-08-27 2019-08-27 測距システム及び電子機器 Active JP7451110B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2019154499A JP7451110B2 (ja) 2019-08-27 2019-08-27 測距システム及び電子機器
CN202080052095.5A CN114127509A (zh) 2019-08-27 2020-06-10 测距系统和电子设备
KR1020227005237A KR20220047778A (ko) 2019-08-27 2020-06-10 거리 측정 시스템 및 전자 기기
PCT/JP2020/022783 WO2021039022A1 (en) 2019-08-27 2020-06-10 Ranging system and electronic apparatus
DE112020004136.0T DE112020004136T5 (de) 2019-08-27 2020-06-10 Entfernungsbestimmungssystem und elektronische einrichtung
US17/636,418 US20220400218A1 (en) 2019-08-27 2020-06-10 Ranging system and electronic apparatus
EP20743877.1A EP4022895A1 (en) 2019-08-27 2020-06-10 Ranging system and electronic apparatus
TW109121075A TW202112121A (zh) 2019-08-27 2020-06-22 測距系統及電子裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019154499A JP7451110B2 (ja) 2019-08-27 2019-08-27 測距システム及び電子機器

Publications (2)

Publication Number Publication Date
JP2021032763A JP2021032763A (ja) 2021-03-01
JP7451110B2 true JP7451110B2 (ja) 2024-03-18

Family

ID=71738265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019154499A Active JP7451110B2 (ja) 2019-08-27 2019-08-27 測距システム及び電子機器

Country Status (8)

Country Link
US (1) US20220400218A1 (ja)
EP (1) EP4022895A1 (ja)
JP (1) JP7451110B2 (ja)
KR (1) KR20220047778A (ja)
CN (1) CN114127509A (ja)
DE (1) DE112020004136T5 (ja)
TW (1) TW202112121A (ja)
WO (1) WO2021039022A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4053501A4 (en) * 2019-10-30 2022-12-28 Sony Group Corporation OBJECT RECOGNITION SYSTEM, SIGNAL PROCESSING METHOD FOR OBJECT RECOGNITION SYSTEM AND ELECTRONIC DEVICE
CN116134289A (zh) 2020-09-07 2023-05-16 发那科株式会社 三维测量装置
AT524572B1 (de) * 2021-05-26 2022-07-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erfassung der dreidimensionalen Struktur eines Gegenstands
US11704835B2 (en) 2021-07-29 2023-07-18 Summer Robotics, Inc. Dynamic calibration of 3D acquisition systems
CN118176739A (zh) 2021-08-27 2024-06-11 夏日机器人公司 多传感器超分辨率扫描和捕获系统
WO2023177692A1 (en) * 2022-03-14 2023-09-21 Summer Robotics, Inc. Stage studio for immersive 3-d video capture
WO2023188184A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2023188183A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2024004166A1 (ja) * 2022-06-30 2024-01-04 ファナック株式会社 距離測定装置
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520134A (ja) 2014-04-07 2017-07-20 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
WO2018122798A1 (en) 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture
US20190045173A1 (en) 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging
US10302420B2 (en) 2013-12-23 2019-05-28 Universitat Zurich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
US10652489B2 (en) * 2016-03-14 2020-05-12 Insightness Ag Vision sensor, a method of vision sensing, and a depth sensor assembly
EP3393122A1 (en) * 2017-04-18 2018-10-24 Oculus VR, LLC Event camera
EP4220258A1 (en) * 2017-04-19 2023-08-02 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
JP7209990B2 (ja) 2018-03-07 2023-01-23 株式会社サンセイアールアンドディ 遊技機
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技（成都）有限公司 结构光深度感测器及感测方法
US11809613B2 (en) * 2018-11-12 2023-11-07 Magic Leap, Inc. Event-based camera with high-resolution frame output

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10302420B2 (en) 2013-12-23 2019-05-28 Universitat Zurich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
JP2017520134A (ja) 2014-04-07 2017-07-20 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
WO2018122798A1 (en) 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture
US20190045173A1 (en) 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging

Also Published As

Publication number Publication date
KR20220047778A (ko) 2022-04-19
JP2021032763A (ja) 2021-03-01
WO2021039022A1 (en) 2021-03-04
DE112020004136T5 (de) 2022-07-07
CN114127509A (zh) 2022-03-01
EP4022895A1 (en) 2022-07-06
US20220400218A1 (en) 2022-12-15
TW202112121A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
JP7451110B2 (ja) 測距システム及び電子機器
WO2021084833A1 (ja) 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
US11916093B2 (en) Solid-state imaging device, driving method therefor, and electronic apparatus
US10284769B2 (en) Image sensor with in-pixel depth sensing
JP7171199B2 (ja) 固体撮像装置、及び電子機器
US11652983B2 (en) Solid-state imaging device, imaging system, and movable object
JP2023076773A (ja) 物体認識システム及び電子機器
WO2021039146A1 (ja) 測距システム及び電子機器
JP2009524283A (ja) 撮像装置中の電気的な安定化のために画素格納ゲートの電荷の感知を提供する方法と装置
JP7297850B2 (ja) 動画のためのｌｅｄフリッカ軽減
KR20140005421A (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
CN106576135A (zh) 一种具有扩展的动态范围上限的图像传感器
US10534240B2 (en) Imaging control device, imaging control method, and recording medium having same recorded thereon
WO2021070445A1 (ja) 顔認証システム及び電子機器
US20220400213A1 (en) Object recognition system and method of signal processing performed by object recognition system, and electronic apparatus
US20200029045A1 (en) Solid-state imaging device and electronic apparatus
JP6366325B2 (ja) 撮像システム
WO2024116745A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP3361077B2 (ja) 固体撮像装置
CN114866660A (zh) 具有像素内背景减去及运动检测的图像传感器

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7451110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150