JP7451110B2 - 測距システム及び電子機器 - Google Patents

測距システム及び電子機器 Download PDF

Info

Publication number
JP7451110B2
JP7451110B2 JP2019154499A JP2019154499A JP7451110B2 JP 7451110 B2 JP7451110 B2 JP 7451110B2 JP 2019154499 A JP2019154499 A JP 2019154499A JP 2019154499 A JP2019154499 A JP 2019154499A JP 7451110 B2 JP7451110 B2 JP 7451110B2
Authority
JP
Japan
Prior art keywords
event
input
event information
light source
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019154499A
Other languages
English (en)
Other versions
JP2021032763A (ja
Inventor
慶 中川
翔太 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019154499A priority Critical patent/JP7451110B2/ja
Application filed by Sony Corp, Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Corp
Priority to DE112020004136.0T priority patent/DE112020004136T5/de
Priority to CN202080052095.5A priority patent/CN114127509A/zh
Priority to KR1020227005237A priority patent/KR20220047778A/ko
Priority to PCT/JP2020/022783 priority patent/WO2021039022A1/en
Priority to US17/636,418 priority patent/US20220400218A1/en
Priority to EP20743877.1A priority patent/EP4022895A1/en
Priority to TW109121075A priority patent/TW202112121A/zh
Publication of JP2021032763A publication Critical patent/JP2021032763A/ja
Application granted granted Critical
Publication of JP7451110B2 publication Critical patent/JP7451110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707Pixels for event detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/709Circuitry for control of the power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、測距システム及び電子機器に関する。
三次元(3D)画像(物体表面の奥行き情報/深度情報)を取得したり、被写体までの距離を測定したりするシステムとして、動的プロジェクタ及び動的視覚カメラを用いるストラクチャード・ライト方式の技術が提案されている(例えば、特許文献1参照)。ストラクチャード・ライト方式では、あらかじめ定められたパターンの光を、動的プロジェクタから測定対象物/被写体に投影し、動的視覚カメラによる撮像結果を基に、パターンのひずみ具合を解析して奥行き情報/距離情報を取得することになる。
特許文献1には、光源である動的プロジェクタとして、垂直共振器型面発光レーザ(VCSEL:Vertical Cavity Surface Emitting Laser)を用い、受光部である動的視覚カメラとして、DVS(Dynamic Vision Sensor)と呼ばれるイベント検出センサを用いる技術が開示されている。イベント検出センサは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するセンサである。
US 2019/0045173 A1
上記の特許文献1に記載の従来技術において、動的プロジェクタとイベント検出センサとを同期させて制御しないと、被写体に投影されるパターンの変化や背景光に起因するイベント情報と、被写体の動きに起因するイベント情報とが混在した状態で出力されることになる。その結果、イベント情報を処理するアプリケーションプロセッサにおいて、被写体の動きに起因するイベント情報を取得するために、混在した状態のイベント情報を分離する処理が必要になる。しかしながら、特許文献1に記載の従来技術では、動的プロジェクタとイベント検出センサとを同期させて制御することについては考慮されていない。
本開示は、被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにした測距システム、及び、当該測距システムを有する電子機器を提供することを目的とする。
本技術の第1の側面の測距システムまたは電子機器は、被写体に光を照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、前記光源部と前記イベント検出センサとを同期させて制御する制御部とを備え、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする測距システム、または測距システムを有する電子機器である。
本技術の第1の側面においては、被写体に光が照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、前記光源部と前記イベント検出センサとを同期させて制御する制御部とが設けられ、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする。
本技術の第2の側面の測距システムは、被写体に光を照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出し、前記オンイベントの検出結果を表すオンイベント情報を生成すること、および、下限の閾値を下回ったことをオフイベントとして検出し、前記オフイベントの検出結果を表すオフイベント情報を生成することの少なくとも一方を行うイベント検出センサと、前記被写体を撮像し、画像信号を生成する撮像部と、前記イベント検出センサで生成される前記オンイベント情報および前記オフイベント情報の少なくとも一方を処理し、かつ、前記撮像部からの前記画像信号に基づき注目領域を抽出するプロセッサと、前記光源部と前記イベント検出センサを同期させて制御し、前記撮像部を制御する制御部とを備え、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする測距システムである。
本技術の第2の側面においては、被写体に光を照射する光源部と、前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出し、前記オンイベントの検出結果を表すオンイベント情報を生成すること、および、下限の閾値を下回ったことをオフイベントとして検出し、前記オフイベントの検出結果を表すオフイベント情報を生成することの少なくとも一方を行うイベント検出センサと、前記被写体を撮像し、画像信号を生成する撮像部と、前記イベント検出センサで生成される前記オンイベント情報および前記オフイベント情報の少なくとも一方を処理し、かつ、前記撮像部からの前記画像信号に基づき注目領域を抽出するプロセッサと、前記光源部と前記イベント検出センサを同期させて制御し、前記撮像部を制御する制御部とが設けられ、前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする。
図1Aは、本開示の実施形態に係る測距システムの構成の一例を示す概略図であり、図1Bは、回路構成の一例を示すブロック図である。 図2Aは、本開示の実施形態に係る測距システムにおける垂直共振器型面発光レーザの光源のランダムドット配置を示す図であり、図2Bは、垂直共振器型面発光レーザの光源のアレイドット配置を示す図である。 図3Aは、アレイドット配置における2つの光源の組み合わせを示す図であり、図3Bは、光源の駆動例1について説明する図である。 図4は、光源の駆動例2について説明する図である。 図5は、光源の駆動例3について説明する図である。 図6は、本開示の実施形態に係る測距システムにおけるイベント検出センサの構成の一例を示すブロック図である。 図7は、回路構成例1に係る画素の回路構成を示す回路図である。 図8は、回路構成例2に係る画素の回路構成を示す回路図である。 図9は、回路構成例3に係る画素の回路構成を示す回路図である。 図10は、回路構成例4に係る画素の回路構成を示す回路図である。 図11は、実施例1に係る同期制御の処理の流れを示すフローチャートである。 図12は、実施例2に係る同期制御の処理の流れを示すフローチャートである。 図13は、実施例3に係る同期制御の処理の流れを示すフローチャートである。 図14は、実施例4に係る同期制御の処理の流れを示すフローチャートである。 図15A及び図15Bは、実施例5に係るON画素及びOFF画素の画素配置例(その1)を示す図である。 図16A及び図16Bは、実施例5に係るON画素及びOFF画素の画素配置例(その2)を示す図である。 図17は、実施例6に係る同期制御の処理の流れを示すフローチャートである。 図18は、実施例7に係る同期制御の処理の流れを示すフローチャートである。 図19は、実施例8に係る同期制御の処理の流れを示すフローチャートである。 図20は、実施例9に係る測距システムの回路構成の一例を示すブロック図である。 図21は、実施例10に係る顔認識の処理の流れを示すフローチャートである。 図22は、本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図である。
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の測距システム及び電子機器、全般に関する説明
2.実施形態に係る測距システム
2-1.システム構成
2-2.垂直共振器型面発光レーザ(VCSEL)
2-2-1.ランダムドット配置
2-2-2.アレイドット配置
2-3.アレイドット配置における光源の駆動例
2-3-1.光源の駆動例1(2つの光源の中間位置に強度ピークを作る例)
2-3-2.光源の駆動例2(イベント検出センサの感度調整を併用する例)
2-3-3.光源の駆動例3(2つの光源を同時駆動する際に、強度ピークが一定になるように双方の発光強度を調整しつつ、ピーク位置をずらす例)
2-4.イベント検出センサ(DVS)
2-4-1.イベント検出センサの構成例
2-4-2.画素の回路構成例
2-4-2-1.回路構成例1(コンパレータを1つ用いて、オンイベント及びオフイベントの検出を時分割で行う例)
2-4-2-2.回路構成例2(コンパレータを2つ用いて、オンイベント及びオフイベントの検出を並行して行う例)
2-4-2-3.回路構成例3(コンパレータを1つ用いて、オンイベントのみについて検出を行う例)
2-4-2-4.回路構成例4(コンパレータを1つ用いて、オフイベントのみについて検出を行う例)
2-5.垂直共振器型面発光レーザとイベント検出センサとの同期制御
2-5-1.実施例1(回路構成例1の場合の同期制御例)
2-5-2.実施例2(回路構成例2の場合の同期制御例)
2-5-3.実施例3(回路構成例3の場合の同期制御例)
2-5-4.実施例4(回路構成例4の場合の同期制御例)
2-5-5.実施例5(画素アレイ部内にON画素とOFF画素とが混在する場合の画素配置の例)
2-5-6.実施例6(実施例5の場合の同期制御例(その1))
2-5-7.実施例7(実施例5の場合の同期制御例(その2))
2-5-8.実施例8(顔認識に応用する例)
2-5-9.実施例9(イベント検出センサの他に、RGBカメラを備える例)
2-5-10.実施例10(顔認識に応用する例)
3.変形例
4.応用例
5.本開示の電子機器(スマートフォンの例)
6.本開示がとることができる構成
<本開示の測距システム及び電子機器、全般に関する説明>
本開示の測距システム及び電子機器にあっては、画素について、1つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する構成とすることができる。また、1つのコンパレータについて、光電流に基づく電圧を第1入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報及びオフイベント情報として出力する構成とすることができる。
上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、コンパレータの第1入力をグローバルリセットするとともに、コンパレータの第2入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第2入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、画素について、2つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、並行して検出する機能を有する構成とすることができる。また、2つのコンパレータについて、その一方は、光電流に基づく電圧を第1入力とし、オンイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報として出力し、その他方は、光電流に基づく電圧を第1入力とし、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオフイベント情報として出力する構成とすることができる。
更に、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、画素について、1つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する構成とすることができる。更に、1つのコンパレータについて、光電流に基づく電圧を第1入力とし、オンイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報として出力する構成とすることができる。更に、制御部について、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、しかる後、オンイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、画素について、1つのコンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する構成とすることができる。更に、1つのコンパレータについて、光電流に基づく電圧を第1入力とし、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオフイベント情報として出力する構成とすることができる。更に、制御部について、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、コンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オフイベント情報を順次読出し回路に転送する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、イベント検出センサの画素アレイ部には、コンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する第1の画素と、コンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する第2の画素とが混在している構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、先ず、第1の画素及び第2の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第1の画素で検出されたオンイベント情報をメモリに格納し、次いで、第2の画素のコンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第2の画素で検出されたオフイベント情報をメモリに格納し、次いで、オンイベント情報及びオフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第1入力をグローバルリセットする構成とすることができる。
あるいは又、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、制御部について、先ず、第1の画素及び第2の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第1の画素で検出されたオンイベント情報をメモリに格納し、次いで、オンイベント情報を順次読出し回路に転送し、次いで、第2の画素のコンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第2の画素で検出されたオフイベント情報をメモリに格納し、次いで、オフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第1入力をグローバルリセットする構成とすることができる。
また、上述した好ましい構成を含む本開示の測距システム及び電子機器にあっては、光源部について、面発光半導体レーザから成る構成とすることができる。面発光半導体レーザについては、垂直共振器型面発光レーザであることが好ましい。そして、垂直共振器型面発光レーザについては、被写体に所定のパターンの光を投影する構成とすることができる。
本開示の他の測距システムは、
被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、
被写体を撮像し、画像信号を生成する撮像部、
イベント検出センサで生成されるイベント信号を処理し、かつ、撮像部からの画像信号に基づき注目領域を抽出するプロセッサ、及び、
光源とイベント検出センサを同期させて制御し、撮像部を制御する制御部、
を備える。また、本開示の他の電子機器は、上記の構成の測距システムを有する。
上記の構成の本開示の他の測距システム及び他の電子機器にあっては、プロセッサについて、イベント信号に基づき測距情報を取得し、画像信号の注目領域においてパターンマッチングする機能を有する構成とすることができる。更に、プロセッサについて、取得した測距情報、及び、パターンマッチングに基づきユーザの顔認証をする機能を有する構成とすることができる。
<実施形態に係る測距システム>
本開示の実施形態に係る測距システムは、ストラクチャード・ライト方式の技術を用いて、被写体までの距離を測定するためのシステムである。また、本開示の実施形態に係る測距システムは、三次元(3D)画像を取得するシステムとして用いることもでき、この場合には、三次元画像取得システムということができる。ストラクチャード・ライト方式では、点像の座標とその点像がどの光源(所謂、点光源)から投影されたものであるかをパターンマッチングで同定することによって測距が行われる。
[システム構成]
図1Aは、本開示の実施形態に係る測距システムの構成の一例を示す概略図であり、図1Bは、回路構成の一例を示すブロック図である。
本実施形態に係る測距システム1は、光源部として面発光半導体レーザ、例えば垂直共振器型面発光レーザ(VCSEL)10を用い、受光部として、DVSと呼ばれるイベント検出センサ20を用いている。垂直共振器型面発光レーザ(VCSEL)10は、被写体に対して所定のパターンの光を投影する。本実施形態に係る測距システム1は、垂直共振器型面発光レーザ10及びイベント検出センサ20の他に、システム制御部30、光源駆動部40、センサ制御部50、光源側光学系60、及び、カメラ側光学系70を備えている。
垂直共振器型面発光レーザ(VCSEL)10及びイベント検出センサ(DVS)20の詳細については後述する。システム制御部30は、例えばプロセッサ(CPU)によって構成されており、光源駆動部40を介して垂直共振器型面発光レーザ10を駆動し、センサ制御部50を介してイベント検出センサ20を駆動する。より具体的には、システム制御部30は、垂直共振器型面発光レーザ10とイベント検出センサ20とを同期させて制御する。システム制御部30による制御の下に実行される、垂直共振器型面発光レーザ10とイベント検出センサ20とを同期させて制御するための具体的な実施例については後述する。
上記の構成の本実施形態に係る測距システム1において、垂直共振器型面発光レーザ10から出射される、あらかじめ定められたパターンの光は、光源側光学系40を透して被写体(測定対象物)100に対して投影される。この投影された光は、被写体100で反射される。そして、被写体100で反射された光は、カメラ側光学系70を透してイベント検出センサ20に入射する。イベント検出センサ20は、被写体100で反射される光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出する。イベント検出センサ20が検出したイベント情報は、測距システム1の外部のアプリケーションプロセッサ200に供給される。アプリケーションプロセッサ200は、イベント検出センサ20が検出したイベント情報に対して所定の処理を行う。
[垂直共振器型面発光レーザ(VCSEL)]
(ランダムドット配置)
ストラクチャード・ライト方式では、点像の座標とその点像がどの光源(点光源)から投影されたものであるかを同定するために、アフィン変換を考慮したパターンマッチングが必要である。アフィン変換を考慮したパターンマッチングを可能にするために、垂直共振器型面発光レーザ10の光源11の配置について、図2Aに示すように、光源11を繰り返しのない特異な配置にし、空間方向に特徴を持たせた、所謂、ランダムドット配置としている。
本実施形態に係る測距システム1においても、垂直共振器型面発光レーザ10の光源11の配置について、ランダムドット配置とすることができる。但し、ランダムドット配置の場合、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことが困難であるために、光源11の数で決まる距離画像の解像度を上げることができない。ここで、「距離画像」とは、被写体までの距離情報を得るための画像である。
(アレイドット配置)
そこで、本実施形態に係る測距システム1では、垂直共振器型面発光レーザ10の光源11の配置を、図2Bに示すように、光源11を一定のピッチでアレイ状(行列状)に2次元配置した、所謂、アレイドット配置としている。垂直共振器型面発光レーザ10及びイベント検出センサ20の組み合わせから成る本実施形態に係る測距システム1では、光源11をランダムに配置しなくても、垂直共振器型面発光レーザ10の光源11を順次点灯させてイベント検出センサ20で記録したイベントのタイムスタンプ(時間情報)を見れば、どの光源11から投影された像であるかを容易に同定できる。
アレイドット配置の場合、ランダムドット配置の場合よりも、光源11の数を増やすことができるため、光源(ドット)11の数で決まる距離画像の解像度を上げることができる。本実施形態に係る測距システム1では、アレイドット配置の垂直共振器型面発光レーザ10の光源11の駆動を工夫し、時間軸方向にも特徴を持たせることで、距離画像の解像度を、光源11の数で決まる解像度から更に上げることができる。
[アレイドット配置における光源の駆動例]
垂直共振器型面発光レーザ10のアレイドット配置における光源11の駆動に当たっては、アレイドット配置において隣接する2つの光源11,11を駆動の単位とする。隣接する2つの光源11,11の組み合わせとしては、図3Aに示すように、行方向(X方向)において隣接する2つの光源11,11の組み合わせA、列方向(Y方向)において隣接する2つの光源11,11の組み合わせB、あるいは、斜め方向において隣接する2つの光源11,11の組み合わせCを例示することができる。
(光源の駆動例1)
ここで、行方向において隣接する2つの光源11,11の組み合わせAの場合を例に挙げて、組み合わせAの場合の駆動を光源の駆動例1として説明する。図3Bは、光源の駆動例1について説明する図である。光源11の駆動は、システム制御部30による制御の下に、光源駆動部40によって行われる。この点については、後述する各駆動例においても同じである。
駆動例1は、隣接する2つの光源11,11を同時に点灯駆動し、それぞれ独立に点灯駆動する間の区間の中間位置に強度ピークを作る例である。ここで、「中間位置」とは、厳密に中間位置である場合の他、実質的に中間位置である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。また、駆動例1では、2つの光源11,11の発光強度を同じとする。ここで、「同じ」とは、厳密に同じである場合の他、実質的に同じである場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
行方向(X方向)において隣接する2つの光源11,11において、時刻t1で1つ目(図3Aでは、左側)の光源11を点灯(発光)駆動し、次に、時刻t2で2つの光源11,11を同時に点灯駆動し(2ドット点灯駆動)、次に、時刻t3で2つ目(図3Aでは、右側)の光源11を点灯駆動する。すなわち、システム制御部30による制御の下に、2つの光源11,11をそれぞれ独立に点灯駆動する時刻t1と時刻t3との間の期間、換言すれば、2つの光源11,11の間の区間において、好ましくは、当該区間における中間位置で2つの光源11,11を同時に点灯駆動する(時刻t2)。
ここで、2つの光源11,11を同時に点灯駆動する時刻t2は、時刻t1と時刻t2との中間の時刻、換言すれば、行方向(X座標)において、1つ目の光源11の強度ピークの位置と2つ目の光源11の強度ピークの位置の中間位置になる時刻に設定される。これにより、1つ目の光源11の点灯駆動時のピーク位置と2ドット点灯駆動時のピーク位置との間の間隔、及び、2ドット点灯駆動時のピーク位置と2つ目の光源11の点灯駆動時のピーク位置との間の間隔が同じ間隔dとなる。
上述したように、駆動例1では、隣接する2つの光源11,11を駆動の単位とし、2つの光源11,11をそれぞれ独立に点灯駆動する動作に加えて、2つの光源を同時に点灯駆動する動作(本例では、それぞれ独立に点灯駆動する間の期間において、2つの光源11,11を同時に点灯駆動する動作)を行う。これにより、2つの光源11,11をそれぞれ独立に点灯駆動する場合とは異なる位置(本例では、2つの光源11,11の間の区間の中間位置)に強度ピークを作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、被写体までの距離情報を得るための距離画像の解像度を上げることができる。
尚、駆動例1では、駆動の単位となる2つの光源11,11の発光強度を同じに設定するとしたが、2つの光源11,11の一方、又は、両方の発光強度を調整可能とすることもできる。
また、駆動例1では、2つの光源11,11の組み合わせAの場合を例に挙げて説明したが、組み合わせB又は組み合わせCの場合についても、基本的に、駆動例1の場合と同様の駆動を行うことで、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、距離画像の解像度を上げることができる。この点については、後述する各駆動例においても同様である。
(光源の駆動例2)
駆動例2は、2つの光源11,11の組み合わせAの場合において、イベント検出センサ(DVS)20の感度調整を併用する例である。ここでは、説明の都合上、行方向(X方向)において隣接する2つの光源11,11のうち、1つ目(図3Aでは、左側)の光源11を光源1と記述し、2つ目(図3Aでは、左側)の光源11を光源2と記述することとする。
図4は、光源の駆動例2について説明する図である。図4では、光源1の電流を破線で図示し、光源2の電流を点線で図示している。また、イベント検出センサ(DVS)20の感度を実線で図示している。駆動例2でも駆動例1と同様に、2つの光源1及び光源2の発光強度を同じとするが、2つの光源1及び光源2の一方、又は、両方の発光強度を調整可能とすることもできる。
駆動例2では、期間T1で光源1を点灯駆動し、次いで、期間T2で光源2を点灯駆動する。これにより、期間T2では、光源1及び光源2の同時点灯となる。光源1及び光源2の同時点灯により、期間T2での強度ピークは、光源1の単独点灯の場合よりも上がる(この点については、駆動例1の場合と同じである)。
そして、期間T2では、イベント検出センサ(DVS)20の感度を、光源1の単独点灯のとき(期間T1)の感度よりも下げる制御を行う。イベント検出センサ20の感度を調整する制御は、システム制御部30(図1参照)による制御の下に行われる。ここで、イベント検出センサ20の感度を下げるということは、より多くの光が入射したときにイベント検出センサ20が反応するということである。
次に、期間T3では、光源1を消灯駆動し、イベント検出センサ20の感度を上げる。このとき、イベント検出センサ20の感度を、光源1及び光源2を同時に点灯駆動する前の感度、即ち、光源1の単独点灯のとき(期間T1)の感度と同じ感度に戻すことが好ましい。ここで、「同じ感度」とは、厳密に同じ感度である場合の他、実質的に同じ感度である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
上述したように、駆動例2によれば、2つの光源1及び光源2を同時に点灯駆動する期間T2では、イベント検出センサ20の感度を、光源1の単独点灯のときよりも下げることにより、2つの光源1及び光源2の点灯駆動で、イベント検出センサ20について3つの反応位置を作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、距離画像の解像度を上げることができる。
(光源の駆動例3)
駆動例3は、2つの光源11,11の組み合わせAの場合において、2つの光源11,11を同時駆動する際に、強度ピークが一定になるように双方の発光強度を調整しつつ、ピーク位置をずらす例である。ここで、「強度ピークが一定」とは、厳密に強度ピークが一定である場合の他、実質的に強度ピークが一定である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
駆動例3においても、説明の都合上、行方向において隣接する2つの光源11,11のうち、1つ目(図3Aでは、左側)の光源11を光源1と記述し、2つ目(図3Aでは、左側)の光源11を光源2と記述することとする。
図5は、光源の駆動例3について説明する図である。図5では、光源1の電流を破線で図示し、光源2の電流を点線で図示している。また、光源1及び光源2の単独点灯時、並びに、同時点灯時の強度波形を実線で図示している。駆動例3の場合は、イベント検出センサ(DVS)20の感度については一定とする。
駆動例3では、光源1の単独点灯後(消灯後)から光源2の単独点灯前までの期間において、光源1及び光源2を同時点灯したときの強度ピークが一定になるように、例えば、光源1の発光強度を徐々に下げ、これに同期して、光源2の発光強度を徐々に上げる駆動を行う。この駆動を行うことにより、強度ピークが一定のまま、ピーク位置を所定量ずつ(僅かずつ)移動させる(ずらす)ことができる。
上述したように、駆動例3によれば、光源1及び光源2を同時点灯したときの強度ピークが一定になるように双方の発光強度を調整しつつ、ピーク位置が所定量ずつ移動するように制御を行うことにより、2つの光源1及び光源2の点灯駆動で、イベント検出センサ20についてより多くの反応位置を作ることができる。この駆動により、空間方向の他に、時間軸方向にも特徴を持たせることができるため、光源同定のための光源11の配置パターンの特異性を維持したまま、光源11の数を増やすことなく、距離画像の解像度を上げることができる。
尚、駆動例1乃至駆動例3では、2つの光源11,11の組み合わせAの場合において、光源1の単独点灯→光源1及び光源2の同時点灯→光源2の単独点灯の駆動の場合を例に挙げたが、それ以降も同様の繰り返しとなる。すなわち、光源2の単独点灯→光源2及び光源3の同時点灯→光源3の単独点灯→光源4及び光源4の同時点灯→光源4→・・・という具合に、点灯駆動が繰り返されることになる。
また、隣接する2つの光源11,11の組み合わせA、組み合わせB、及び、組み合わせCのいずれを採用するかは任意であり、又、それらを組み合わせることも考えられる。組み合わせAを採用することで、行方向(水平方向)の解像度を上げることができるし、組み合わせBを採用することで、列方向(垂直方向)の解像度を上げることができるし、組み合わせCを採用することで、斜め方向の解像度を上げることができる。
[イベント検出センサ(DVS)]
続いて、イベント検出センサ20について説明する。
(イベント検出センサの構成例)
図6は、上記の構成の本開示の実施形態に係る測距システム1におけるイベント検出センサ20の構成の一例を示すブロック図である。
本例に係るイベント検出センサ20は、複数の画素21が行列状(アレイ状)に2次元配列されて成る画素アレイ部22を有する。複数の画素21のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成し、出力する。また、複数の画素21のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素21のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。
イベント検出センサ20は、画素アレイ部22の他に、画素アレイ部22の周辺回路部として、駆動部23、アービタ部(調停部)24、カラム処理部25、及び、信号処理部26を備えている。
複数の画素21のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部24に出力する。そして、複数の画素21のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部24から受け取った場合、駆動部23及び信号処理部26に対してイベントデータを出力する。また、イベントを検出した画素21は、光電変換によって生成されるアナログの画素信号をカラム処理部25に対して出力する。
駆動部23は、画素アレイ部22の各画素21を駆動する。例えば、駆動部23は、イベントを検出し、イベントデータを出力した画素21を駆動し、当該画素21のアナログの画素信号を、カラム処理部25へ出力させる。
アービタ部24は、複数の画素21のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果(イベントデータの出力の許可/不許可)に基づく応答、及び、イベント検出をリセットするリセット信号を画素21に送信する。
カラム処理部25は、例えば、画素アレイ部22の画素列毎に設けられたアナログ-デジタル変換器の集合から成るアナログ-デジタル変換部を有する。アナログ-デジタル変換器としては、例えば、シングルスロープ型アナログ-デジタル変換器、逐次比較型アナログ-デジタル変換器、デルタ-シグマ変調型(ΔΣ変調型)アナログ-デジタル変換器などを例示することができる。
カラム処理部25では、画素アレイ部22の画素列毎に、その列の画素21から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部25では、デジタル化した画素信号に対して、CDS(Correlated Double Sampling)処理を行うこともできる。
信号処理部26は、カラム処理部25から供給されるデジタル化された画素信号や、画素アレイ部22から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
上述したように、画素21で生成される光電流の変化は、画素21に入射する光の光量変化(輝度変化)とも捉えることができる。従って、イベントは、所定の閾値を超える画素21の光量変化(輝度変化)であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素21の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
画素21からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。
但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部26は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。
(画素の回路構成例)
続いて、画素21の具体的な回路構成例について説明する。画素21は、輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出機能を有する。
画素21は、光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータ(イベント情報)は、例えば、オンイベントの検出結果を示す1ビット、及び、オフイベントの検出結果を示す1ビットから成る。尚、画素21については、オンイベントのみについて検出する機能を有する構成とすることもできるし、オフイベントのみについて検出する機能を有する構成とすることもできる。
≪回路構成例1≫
回路構成例1は、コンパレータを1つ用いて、オンイベントの検出、及び、オフイベントの検出を時分割で行う例である。回路構成例1に係る画素21の回路図を図7に示す。回路構成例1に係る画素21は、受光素子211、受光回路212、メモリ容量213、コンパレータ214、リセット回路215、インバータ216、及び、出力回路217を有する回路構成となっている。画素21は、センサ制御部50による制御の下に、オンイベント及びオフイベントの検出を行う。
受光素子211は、第1電極(アノード電極)が受光回路212の入力端に接続され、第2電極(カソード電極)が基準電位ノードであるグランドノードに接続されており、入射光を光電変換して光の強度(光量)に応じた電荷量の電荷を生成する。また、受光素子211は、生成した電荷を光電流Iphotoに変換する。
受光回路212は、受光素子211が検出した、光の強度(光量)に応じた光電流Iphotoを電圧Vprに変換する。ここで、光の強度に対する電圧Vprの関係は、通常、対数の関係である。すなわち、受光回路212は、受光素子211の受光面に照射される光の強度に対応する光電流Iphotoを、対数関数である電圧Vprに変換する。但し、光電流Iphotoと電圧Vprとの関係は、対数の関係に限られるものではない。
受光回路212から出力される、光電流Iphotoに応じた電圧Vprは、メモリ容量213を経た後、電圧Vdiffとしてコンパレータ214の第1入力である反転(-)入力となる。コンパレータ214は、通常、差動対トランジスタによって構成される。コンパレータ214は、センサ制御部50から与えられる閾値電圧Vbを第2入力である非反転(+)入力とし、オンイベントの検出、及び、オフイベントの検出を時分割で行う。また、オンイベント/オフイベントの検出後は、リセット回路215によって、画素21のリセットが行われる。
センサ制御部50は、閾値電圧Vbとして、時分割で、オンイベントを検出する段階では電圧Vonを出力し、オフイベントを検出する段階では電圧Voffを出力し、リセットを行う段階では電圧Vresetを出力する。電圧Vresetは、電圧Vonと電圧Voffとの間の値、好ましくは、電圧Vonと電圧Voffとの中間の値に設定される。ここで、「中間の値」とは、厳密に中間の値である場合の他、実質的に中間の値である場合も含む意味であり、設計上あるいは製造上生ずる種々のばらつきの存在は許容される。
また、センサ制御部50は、画素21に対して、オンイベントを検出する段階ではOn選択信号を出力し、オフイベントを検出する段階ではOff選択信号を出力し、リセットを行う段階ではグローバルリセット信号を出力する。On選択信号は、インバータ216と出力回路217との間に設けられた選択スイッチSWonに対してその制御信号として与えられる。Off選択信号は、コンパレータ214と出力回路217との間に設けられた選択スイッチSWoffに対してその制御信号として与えられる。
コンパレータ214は、オンイベントを検出する段階では、電圧Vonと電圧Vdiffとを比較し、電圧Vdiffが電圧Vonを超えたとき、光電流Iphotoの変化量が上限の閾値を超えた旨を示すオンイベント情報Onを比較結果として出力する。オンイベント情報Onは、インバータ216で反転された後、選択スイッチSWonを通して出力回路217に供給される。
コンパレータ214は、オフイベントを検出する段階では、電圧Voffと電圧Vdiffとを比較し、電圧Vdiffが電圧Voffを下回ったとき、光電流Iphotoの変化量が下限の閾値を下回った旨を示すオフイベント情報Offを比較結果として出力する。オフイベント情報Offは、選択スイッチSWoffを通して出力回路217に供給される。
リセット回路215は、リセットスイッチSWRS、2入力OR回路2151、及び、2入力AND回路2152を有する構成となっている。リセットスイッチSWRSは、コンパレータ214の反転(-)入力端子と出力端子との間に接続されており、オン(閉)状態となることで、反転入力端子と出力端子との間を選択的に短絡する。
OR回路2151は、選択スイッチSWonを経たオンイベント情報On、及び、選択スイッチSWoffを経たオフイベント情報Offを2入力とする。AND回路2152は、OR回路2151の出力信号を一方の入力とし、センサ制御部50から与えられるグローバルリセット信号を他方の入力とし、オンイベント情報On又はオフイベント情報Offのいずれかが検出され、グローバルリセット信号がアクティブ状態のときに、リセットスイッチSWRSをオン(閉)状態とする。
このように、AND回路2152の出力信号がアクティブ状態となることで、リセットスイッチSWRSは、コンパレータ214の反転入力端子と出力端子との間を短絡し、画素21に対して、グローバルリセットを行う。これにより、イベントが検出された画素21だけについてリセット動作が行われる。
出力回路217は、オフイベント出力トランジスタNM1、オンイベント出力トランジスタNM2、及び、電流源トランジスタNM3を有する構成となっている。オフイベント出力トランジスタNM1は、そのゲート部に、オフイベント情報Offを保持するためのメモリ(図示せず)を有している。このメモリは、オフイベント出力トランジスタNM1のゲート寄生容量から成る。
オフイベント出力トランジスタNM1と同様に、オンイベント出力トランジスタNM2は、そのゲート部に、オンイベント情報Onを保持するためのメモリ(図示せず)を有している。このメモリは、オンイベント出力トランジスタNM2のゲート寄生容量から成る。
読出し段階において、オフイベント出力トランジスタNM1のメモリに保持されたオフイベント情報Off、及び、オンイベント出力トランジスタNM2のメモリに保持されたオンイベント情報Onは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOff及び出力ラインnRxOnを通して読出し回路80に転送される。読出し回路80は、例えば、信号処理部26(図6参照)内に設けられる回路である。
上述したように、回路構成例1に係る画素21は、1つのコンパレータ214を用いて、センサ制御部50による制御の下に、オンイベントの検出、及び、オフイベントの検出を時分割で行うイベント検出機能を有する構成となっている。
≪回路構成例2≫
回路構成例2は、コンパレータを2つ用いて、オンイベントの検出、及び、オフイベントの検出を並行して(同時に)行う例である。回路構成例2に係る画素21の回路図を図8に示す。
図8に示すように、回路構成例2に係る画素21は、オンイベントを検出するためのコンパレータ214A、及び、オフイベントを検出するためのコンパレータ214Bを有する構成となっている。このように、2つのコンパレータ214A及びコンパレータ214Bを用いてイベント検出を行うことで、オンイベントの検出動作とオフイベントの検出動作とを並行して実行することができる。その結果、オンイベント及びオフイベントの検出動作について、より速い動作を実現できる。
オンイベント検出用のコンパレータ214Aは、通常、差動対トランジスタによって構成される。コンパレータ214Aは、光電流Iphotoに応じた電圧Vdiffを第1入力である非反転(+)入力とし、閾値電圧Vbとしての電圧Vonを第2入力である反転(-)入力とし、両者の比較結果としてオンイベント情報Onを出力する。オフイベント検出用のコンパレータ214Bも、通常、差動対トランジスタによって構成される。コンパレータ214Bは、光電流Iphotoに応じた電圧Vdiffを第1入力である反転入力とし、閾値電圧Vbとしての電圧Voffを第2入力である非反転入力とし、両者の比較結果としてオフイベント情報Offを出力する。
コンパレータ214Aの出力端子と出力回路217のオンイベント出力トランジスタNM2のゲート電極との間には、選択スイッチSWonが接続されている。コンパレータ214Bの出力端子と出力回路217のオフイベント出力トランジスタNM1のゲート電極との間には、選択スイッチSWoffが接続されている。選択スイッチSWon及び選択スイッチSWoffは、センサ制御部50から出力されるサンプル信号によりオン(閉)/オフ(開)制御が行われる。
コンパレータ214Aの比較結果であるオンイベント情報Onは、選択スイッチSWonを介して、オンイベント出力トランジスタNM2のゲート部のメモリに保持される。オンイベント情報Onを保持するためのメモリは、オンイベント出力トランジスタNM2のゲート寄生容量から成る。コンパレータ214Bの比較結果であるオンイベントOffは、選択スイッチSWoffを介して、オフイベント出力トランジスタNM1のゲート部のメモリに保持される。オンイベントOffを保持するためのメモリは、オフイベント出力トランジスタNM1のゲート寄生容量から成る。
オンイベント出力トランジスタNM2のメモリに保持されたオンイベント情報On、及び、オフイベント出力トランジスタNM1のメモリに保持されたオフイベント情報Offは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOn及び出力ラインnRxOffを通して読出し回路80に転送される。
上述したように、回路構成例2に係る画素21は、2つのコンパレータ214A及びコンパレータ214Bを用いて、センサ制御部50による制御の下に、オンイベントの検出と、オフイベントの検出とを並行して(同時に)行うイベント検出機能を有する構成となっている。
≪回路構成例3≫
回路構成例3は、オンイベントのみについて検出を行う例である。回路構成例3に係る画素21の回路図を図9に示す。
回路構成例3に係る画素21は、1つのコンパレータ214を有している。コンパレータ214は、光電流Iphotoに応じた電圧Vdiffを第1入力である反転(-)入力とし、センサ制御部50から閾値電圧Vbとして与えられる電圧Vonを第2入力である非反転(+)入力とし、両者を比較することによってオンイベント情報Onを比較結果として出力する。ここで、コンパレータ214を構成する差動対トランジスタとしてN型トランジスタを用いることで、回路構成例1(図7参照)で用いていたインバータ216を不要とすることができる。
コンパレータ214の比較結果であるオンイベント情報Onは、オンイベント出力トランジスタNM2のゲート部のメモリに保持される。オンイベント情報Onを保持するためのメモリは、オンイベント出力トランジスタNM2のゲート寄生容量から成る。オンイベント出力トランジスタNM2のメモリに保持されたオンイベント情報Onは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOnを通して読出し回路80に転送される。
上述したように、回路構成例3に係る画素21は、1つのコンパレータ214を用いて、センサ制御部50による制御の下に、オンイベント情報Onのみについて検出を行うイベント検出機能を有する構成となっている。
≪回路構成例4≫
回路構成例4は、オフイベントのみの検出を行う例である。回路構成例4に係る画素21の回路図を図10に示す。
回路構成例4に係る画素21は、1つのコンパレータ214を有している。コンパレータ214は、光電流Iphotoに応じた電圧Vdiffを第1入力である反転(-)入力とし、センサ制御部50から閾値電圧Vbとして与えられる電圧Voffを第2入力である非反転(+)入力とし、両者を比較することによってオフイベント情報Offを比較結果として出力する。コンパレータ214を構成する差動対トランジスタとしては、P型トランジスタを用いることができる。
コンパレータ214の比較結果であるオフイベント情報Offは、オフイベント出力トランジスタNM1のゲート部のメモリに保持される。オフイベント情報Offを保持するメモリは、オフイベント出力トランジスタNM1のゲート寄生容量から成る。オフイベント出力トランジスタNM1のメモリに保持されたオフイベント情報Offは、センサ制御部50から電流源トランジスタNM3のゲート電極に行選択信号が与えられることで、画素アレイ部22の画素行毎に、出力ラインnRxOffを通して読出し回路80に転送される。
上述したように、回路構成例4に係る画素21は、1つのコンパレータ214を用いて、センサ制御部50による制御の下に、オフイベント情報Offのみについて検出を行うイベント検出機能を有する構成となっている。尚、図10の回路構成では、AND回路2152の出力信号でリセットスイッチSWRSを制御するしているが、グローバルリセット信号で直接リセットスイッチSWRSを制御する構成とすることもできる。
[垂直共振器型面発光レーザとイベント検出センサとの同期制御]
上記の回路構成例1、回路構成例2、回路構成例3、又は、回路構成例4に係る画素21を有するイベント検出センサ20を用いる測距システム1において、本実施形態では、システム制御部30による制御の下に、垂直共振器型面発光レーザ10とイベント検出センサ20とを同期させて制御することを特徴としている。
垂直共振器型面発光レーザ10とイベント検出センサ20とを同期させて制御することにより、被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにすることができる。被写体の動きに起因するイベント情報以外のイベント情報としては、例えば、被写体に投影されるパターンの変化や背景光に起因するイベント情報を例示することができる。被写体の動きに起因するイベント情報の中に、それ以外のイベント情報が混在して出力されないようにすることで、被写体の動きに起因するイベント情報をより確実に取得することができるとともに、イベント情報を処理するアプリケーションプロセッサにおいて、混在した状態のイベント情報を分離する処理を不要とすることができる。
以下に、垂直共振器型面発光レーザ10とイベント検出センサ20とを同期させて制御するための具体的な実施例について説明する。この同期制御は、図1Bに示すシステム制御部30による制御の下に、光源駆動部40及びセンサ制御部50によって行われる。すなわち、特許請求の範囲における「制御部」は、システム制御部30による制御の下に動作する光源駆動部40及びセンサ制御部50ということができる。
(実施例1)
実施例1は、画素21が回路構成例1(即ち、コンパレータを1つ用いて、オンイベント及びオフイベントの検出を時分割で行う例)の場合の同期制御例である。実施例1に係る同期制御の処理のフローチャートを図11に示す。
センサ制御部50は、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットするとともに、コンパレータ214の非反転入力である閾値電圧Vbを、オンイベント検出用の電圧Vonに設定する(ステップS11)。
電圧Vdiffのグローバルリセットについては、読出し回路80へのイベント情報の転送後に行うようにしてもよい。また、電圧Vdiffのグローバルリセットについては、図7に示すリセット回路215におけるリセットスイッチSWRSをオン(閉)状態にすることによって行われる。これらの点については、後述する各実施例においても同じである。
次に、光源部である垂直共振器型面発光レーザ10から被写体(測定対象物)に対してあらかじめ定められたパターンの光を照射する(ステップS12)。この垂直共振器型面発光レーザ10の駆動は、システム制御部30による制御の下に、光源駆動部40によって行われる。この点については、後述する実施例においても同じである。
次に、センサ制御部50は、コンパレータ214の比較結果であるオンイベント情報Onをメモリに格納する(ステップS13)。ここで、オンイベント情報Onを格納するためのメモリは、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量である。
次に、センサ制御部50は、閾値電圧Vbを、オフイベント検出用の電圧Voffに設定する(ステップS14)。次に、光源駆動部40は、被写体への光の照射を終了する(ステップS15)。次に、センサ制御部50は、コンパレータ214の比較結果であるオフイベント情報Offをメモリに格納する(ステップS16)。ここで、オフイベント情報Offを格納するためのメモリは、出力回路217におけるオフイベント出力トランジスタNM1のゲート寄生容量である。
しかる後、センサ制御部50は、オンイベント出力トランジスタNM2のゲート寄生容量に格納されたオンイベント情報On、及び、オフイベント出力トランジスタNM1のゲート寄生容量に格納されたオフイベント情報Offを順次読出し回路80に転送し(ステップS17)、同期制御のための一連の処理を終了する。
(実施例2)
実施例2は、画素21が回路構成例2(即ち、コンパレータを2つ用いて、オンイベント及びオフイベントの検出を並行して行う例)の場合の同期制御例である。実施例2に係る同期制御の処理のフローチャートを図12に示す。
センサ制御部50は、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットする(ステップS21)。次に、光源駆動部40は、光源部である垂直共振器型面発光レーザ10から被写体に対してあらかじめ定められたパターンの光を照射する(ステップS22)。
次に、センサ制御部50は、コンパレータ214の比較結果であるオンイベント情報Onをメモリに格納する(ステップS23)。ここで、オンイベント情報Onを格納するためのメモリは、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量である。
次に、光源駆動部40は、被写体への光の照射を終了する(ステップS24)。次に、センサ制御部50は、コンパレータ214の比較結果であるオフイベント情報Offをメモリに格納する(ステップS25)。ここで、オフイベント情報Offを格納するためのメモリは、出力回路217におけるオフイベント出力トランジスタNM1のゲート寄生容量である。
しかる後、センサ制御部50は、オンイベント出力トランジスタNM2のゲート寄生容量に格納されたオンイベント情報On、及び、オフイベント出力トランジスタNM1のゲート寄生容量に格納されたオフイベント情報Offを順次読出し回路80に転送し(ステップS26)、同期制御のための一連の処理を終了する。
(実施例3)
実施例3は、画素21が回路構成例3(即ち、コンパレータを1つ用いて、オンイベントのみについて検出を行う例)の場合の同期制御例である。実施例3に係る同期制御の処理のフローチャートを図13に示す。
センサ制御部50は、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットする(ステップS31)。次に、光源駆動部40は、光源部である垂直共振器型面発光レーザ10から被写体に対してあらかじめ定められたパターンの光を照射する(ステップS32)。
次に、センサ制御部50は、コンパレータ214の比較結果であるオンイベント情報Onをメモリに格納する(ステップS33)。ここで、オンイベント情報Onを格納するためのメモリは、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量である。しかる後、センサ制御部50は、オンイベント出力トランジスタNM2のゲート寄生容量に格納されたオンイベント情報Onを順次読出し回路80に転送し(ステップS34)、同期制御のための一連の処理を終了する。
(実施例4)
実施例4は、画素21が回路構成例4(即ち、コンパレータを1つ用いて、オフイベントのみについて検出を行う例)の場合の同期制御例である。実施例4に係る同期制御の処理のフローチャートを図14に示す。
センサ制御部50は、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットする(ステップS41)。次に、光源駆動部40は、光源部である垂直共振器型面発光レーザ10から被写体に対してあらかじめ定められたパターンの光を照射する(ステップS42)。
次に、センサ制御部50は、リセットスイッチSWRSをオン状態にする(ステップS43)。次に、光源駆動部40は、被写体への光の照射を終了する(ステップS44)。次に、センサ制御部50は、コンパレータ214の比較結果であるオフイベント情報Offをメモリに格納する(ステップS45)。ここで、オフイベント情報Offを格納するためのメモリは、出力回路217におけるオフイベント出力トランジスタNM1のゲート寄生容量である。
しかる後、センサ制御部50は、オフイベント出力トランジスタNM1のゲート寄生容量に格納されたオフイベント情報Offを順次読出し回路80に転送し(ステップS46)、同期制御のための一連の処理を終了する。
(実施例5)
実施例5は、画素アレイ部22内にON画素とOFF画素とが混在する場合の画素配置例である。ここで、「ON画素」は、回路構成例3に係る画素21、即ち、オンイベントのみを検出する機能を有する第1の画素である。また、「OFF画素」は、回路構成例4に係る画素21、即ち、オフイベントのみを検出する機能を有する第2の画素である。
実施例5に係るON画素及びOFF画素の画素配置例(その1)を図15A及び図15Bに示し、画素配置例(その2)を図16A、図16Bに示す。ここでは、図面の簡略化のために、X方向(行方向/水平方向)4画素×Y方向(列方向/垂直方向)4画素の計16画素の画素配置(画素配列)を図示している。
図15Aに示す画素配置は、X方向及びY方向共に、ON画素とOFF画素とが交互に配置された構成となっている。図15Bに示す画素配置は、X方向2画素×Y方向2画素の計4画素をブロック(単位)とし、X方向及びY方向共に、ON画素のブロックとOFF画素のブロックとが交互に配置された構成となっている。
図16Aに示す画素配置は、計16画素のうち、真ん中の4画素をOFF画素とし、その周りの12画素をON画素とした配置構成となっている。図16Bに示す画素配置は、計16画素の画素配置において、奇数列及び偶数行の各画素をON画素とし、残りの画素をOFF画素とした配置構成となっている。
尚、ここで例示したON画素及びOFF画素の画素配置は一例であって、これらの画素配置に限られるものではない。
(実施例6)
実施例6は、実施例5の場合の同期制御例(その1)、即ち、画素アレイ部22内にON画素とOFF画素とが混在する画素配置の場合の同期制御例(その1)である。実施例6に係る同期制御の処理のフローチャートを図17に示す。
センサ制御部50は、先ず、ON画素及びOFF画素を含む全画素をグローバルリセットする(ステップS51)。次に、光源駆動部40は、光源部である垂直共振器型面発光レーザ10から被写体に対してあらかじめ定められたパターンの光を照射する(ステップS52)。次に、センサ制御部50は、ON画素で検出されたオンイベント情報Onをメモリに格納する(ステップS53)。ここで、オンイベント情報Onを格納するためのメモリは、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量である。
次に、センサ制御部50は、OFF画素のリセットスイッチSWRSをオン状態にする(ステップS54)。次に、光源駆動部40は、被写体への光の照射を終了する(ステップS55)。次に、センサ制御部50は、OFF画素で検出されたオフイベント情報Offをメモリに格納する(ステップS56)。ここで、オフイベント情報Offを格納するためのメモリは、出力回路217におけるオフイベント出力トランジスタNM1のゲート寄生容量である。
しかる後、センサ制御部50は、オンイベント情報On及びオフイベント情報Offを順次読出し回路80に転送し(ステップS57)、次いで、イベント検出を行った画素について、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットし(ステップS58)、同期制御のための一連の処理を終了する。
(実施例7)
実施例7は、実施例5の場合の同期制御例(その2)、即ち、画素アレイ部22内にON画素とOFF画素とが混在する画素配置の場合の同期制御例(その2)である。実施例7に係る同期制御の処理のフローチャートを図18に示す。
センサ制御部50は、先ず、ON画素及びOFF画素を含む全画素をグローバルリセットする(ステップS61)。次に、光源駆動部40は、光源部である垂直共振器型面発光レーザ10から被写体に対してあらかじめ定められたパターンの光を照射する(ステップS62)。次に、センサ制御部50は、ON画素で検出されたオンイベント情報Onをメモリに格納する(ステップS63)。ここで、オンイベント情報Onを格納するためのメモリは、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量である。
次に、センサ制御部50は、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量に格納されたオンイベント情報Onを順次読出し回路80に転送し(ステップS64)、次いで、OFF画素のリセットスイッチSWRSをオン状態にする(ステップS65)。
次に、光源駆動部40は、被写体への光の照射を終了する(ステップS66)。次に、センサ制御部50は、OFF画素で検出されたオフイベント情報Offをメモリに格納する(ステップS67)。ここで、オフイベント情報Offを格納するためのメモリは、出力回路217におけるオフイベント出力トランジスタNM1のゲート寄生容量である。
しかる後、センサ制御部50は、オンイベント情報On及びオフイベント情報Offを順次読出し回路80に転送し(ステップS68)、次いで、イベント検出を行った画素について、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットし(ステップS69)、同期制御のための一連の処理を終了する。
(実施例8)
実施例8は、本実施形態に係る測距システム1を顔認識に応用する例である。実施例8では、一例として、回路構成例1の場合の同期制御の下で、顔認識のための顔検出処理を行う場合について説明する。実施例8に係る同期制御の処理のフローチャートを図19に示す。
センサ制御部50は、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットするとともに、コンパレータ214の非反転入力である閾値電圧Vbを、オンイベント検出用の電圧Vonに設定する(ステップS71)。
次に、光源駆動部40は、光源部である垂直共振器型面発光レーザ10から被写体(測定対象物)に対してあらかじめ定められたパターンの光を照射する(ステップS72)。次に、センサ制御部50は、コンパレータ214の比較結果であるオンイベント情報Onをメモリに格納する(ステップS73)。ここで、オンイベント情報Onを格納するためのメモリは、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量である。
次に、センサ制御部50は、閾値電圧Vbを、オフイベント検出用の電圧Voffに設定する(ステップS74)。次に、光源駆動部40は、被写体への光の照射を終了する(ステップS75)。次に、センサ制御部50は、コンパレータ214の比較結果であるオフイベント情報Offをメモリに格納する(ステップS76)。ここで、オフイベント情報Offを格納するためのメモリは、出力回路217におけるオフイベント出力トランジスタNM1のゲート寄生容量である。
次に、センサ制御部50は、オンイベント出力トランジスタNM2のゲート寄生容量に格納されたオンイベント情報On、及び、オフイベント出力トランジスタNM1のゲート寄生容量に格納されたオフイベント情報Offを順次読出し回路80に転送する(ステップS77)。
読出し回路80に順次転送されたオンイベント情報On及びオフイベント情報Off、即ち、イベント検出センサ20が検出したイベント情報は、図1Bに示すアプリケーションプロセッサ200に供給される。アプリケーションプロセッサ200は、オンイベント情報On及びオフイベント情報Offに基づいて、顔認識のための顔検出処理を行う(ステップS78)。
(実施例9)
実施例9は、本実施形態に係る測距システム1の変形例であり、イベント検出センサ20の他に、CMOSイメージセンサ等の画像センサから成り、各画素に、例えば、R(赤色)、G(緑色)、B(青色)の各色フィルタが組み込まれた撮像部(以下、「RGBカメラ」と記述する)を備える例である。
図20は、実施例9に係る測距システムの回路構成の一例を示すブロック図である。図20に示すように、本実施形態の変形例に係る測距システム1は、イベント検出センサ20の他に、RGBカメラ91、及び、当該RGBカメラ91を制御するカメラ制御部92を備える構成となっている。RGBカメラ91は、システム制御部30による制御の下に、イベント検出センサ20が検出した被写体の画像情報を取得し、その取得した画像情報をシステム制御部30に供給するとともに、カメラ制御部92を通してアプリケーションプロセッサ200に供給する。
RGBカメラ91に用いる撮像部は、所定のフレームレートで撮像を行う同期型の撮像装置であり、イベント検出センサ20に比べて解像度に優れている。従って、本実施形態の変形例に係る測距システム1によれば、RGBカメラ91によって、イベントを含む領域の画像情報を、イベント検出センサ20よりも高い解像度で取得することができる。その結果、RGBカメラ91が撮影して取得したイベントを含む領域の画像情報に基づいて、イベントの物体認識、例えば、所定のユーザの顔認識をより精度良く行うことが可能になる。
因みに、イベント検出センサ20は、画素21が、図7に示す回路構成例1、図8に示す回路構成例2、図9に示す回路構成例3、あるいは、図10に示す回路構成例4の回路構成をとることから、同期型の撮像装置か成るRGBカメラ91に比べて画素サイズが大きくならざるを得ない。従って、イベント検出センサ20は、所定のフレームレートで撮像を行うRGBカメラ91に比べて解像度が低いということができる。換言すれば、RGBカメラ91は、イベント検出センサ20に比べて解像度に優れているということができる。
(実施例10)
実施例10は、本実施形態の変形例に係る測距システム1、即ち、イベント検出センサ20とRGBカメラ91との組み合わせによって顔認識(顔認証)を行う例である。この例の場合、実施例9に係る測距システム1において、アプリケーションプロセッサ200は、イベント検出センサ20で生成されるイベント信号を処理し、かつ、撮像部であるRGBカメラ91からの画像信号に基づき注目領域を抽出する。また、アプリケーションプロセッサ200は、イベント信号に基づき測距情報を取得し、画像信号の注目領域においてパターンマッチングする機能を有し、更に、取得した測距情報、及び、パターンマッチングに基づきユーザの顔認証をする機能を有する。
実施例10に係る顔認識の処理のフローチャートを図21に示す。実施例10においても、垂直共振器型面発光レーザ10とイベント検出センサ20との同期制御は、先述した各実施例の場合と同様に、システム制御部30による制御の下に、光源駆動部40及びセンサ制御部50を介して行われる。但し、顔認識処理については、アプリケーションプロセッサ200において実行される。
システム制御部30は、先ず、RGBカメラ91を起動し(ステップS81)、次いで、RGBカメラ91による撮像を行う(ステップS82)。次に、システム制御部30は、RGBカメラ91で撮像したRGB画像から顔を検出し(ステップS83)、次いで、検出した顔部分の画像情報と、所定のユーザの顔の画像情報とが整合するか否かを判断し(ステップS84)、整合しないと判断した場合は(S84のNO)、ステップS81に戻る。
整合すると判断した場合は(S84のYES)、システム制御部30は、センサ制御部50を介して、コンパレータ214の反転入力である電圧Vdiffをグローバルリセットするとともに、コンパレータ214の非反転入力である閾値電圧Vbを、オンイベント検出用の電圧Vonに設定する(ステップS85)。
次に、システム制御部30は、検出した顔部分に対して、光源部である垂直共振器型面発光レーザ10から光を照射し(ステップS86)、次いで、コンパレータ214の比較結果であるオンイベント情報Onをメモリに格納する(ステップS87)。ここで、オンイベント情報Onを格納するためのメモリは、出力回路217におけるオンイベント出力トランジスタNM2のゲート寄生容量である。
次に、システム制御部30は、閾値電圧Vbを、オフイベント検出用の電圧Voffに設定し(ステップS88)、次いで、顔部分への光の照射を終了する(ステップS89)。次に、システム制御部30は、コンパレータ214の比較結果であるオフイベント情報Offをメモリに格納する(ステップS90)。ここで、オフイベント情報Offを格納するためのメモリは、出力回路217におけるオフイベント出力トランジスタNM1のゲート寄生容量である。
次に、システム制御部30は、オンイベント出力トランジスタNM2のゲート寄生容量に格納されたオンイベント情報On、及び、オフイベント出力トランジスタNM1のゲート寄生容量に格納されたオフイベント情報Offを順次読出し回路80に転送する(ステップS91)。
読出し回路80に順次転送されたオンイベント情報On及びオフイベント情報Off、即ち、イベント検出センサ20が検出したイベント情報は、アプリケーションプロセッサ200に供給される。アプリケーションプロセッサ200は、オンイベント情報On及びオフイベント情報Offに基づいて、顔認識のための深度マップを作成する(ステップS92)。そして、アプリケーションプロセッサ200は、画像信号の注目領域において行うパターンマッチング機能によって、作成した深度マップと、所定のユーザの顔の深度マップとが整合するか否かを判断し(ステップS93)、整合すると判断した場合は(ステップS93のYES)、顔認識のための一連の処理を終了し、整合しない判断した場合は(ステップS93のNO)、ステップS81に戻る。
<変形例>
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した測距システムの構成、構造は例示であり、適宜、変更することができる。
<応用例>
以上説明した本開示の測距システムは、様々な用途に用いることができる。様々な用途としては、以下に列挙する装置等を例示することができる。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
<本開示の電子機器>
以上説明した本開示の測距システムは、例えば、顔認証機能を備える種々の電子機器に搭載される三次元画像取得システム(顔認証システム)として用いることができる。顔認証機能を備える電子機器として、例えば、スマートフォン、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、本開示の測距システムを用いることができる電子機器としては、モバイル機器に限定されるものではない。
[スマートフォン]
ここでは、本開示の測距システムを用いることができる本開示の電子機器の具体例として、スマートフォンを例示する。本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図を図22に示す。
本具体例に係るスマートフォン300は、筐体310の正面側に表示部320を備えている。また、スマートフォン300は、筐体310の正面側の上方部に、発光部330及び受光部340を備えている。尚、図22に示す発光部330及び受光部340の配置例は、一例であって、この配置例に限られるものではない。
上記の構成のモバイル機器の一例であるスマートフォン300において、発光部330として、先述した実施形態に係る測距システム1における光源(垂直共振器型面発光レーザ10)を用い、受光部340としてイベント検出センサ20を用いるこができる。すなわち、本具体例に係るスマートフォン300は、三次元画像取得システムとして、先述した実施形態に係る測距システム1を用いることによって作製される。
先述した実施形態に係る測距システム1は、光源のアレイドット配置において、光源の数を増やすことなく、距離画像の解像度を上げることができる。従って、本具体例に係るスマートフォン300は、三次元画像取得システム(顔認証システム)として、先述した実施形態に係る測距システム1を用いることで、精度の高い顔認識機能(顔認証機能)を持つことができる。
<本開示がとることができる構成>
尚、本開示は、以下のような構成をとることもできる。
≪A.測距システム(その1)≫
[A-1]被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
光源部とイベント検出センサとを同期させて制御する制御部、
を備える測距システム。
[A-2]画素は、1つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する、
上記[A-1]に記載の測距システム。
[A-3]1つのコンパレータは、光電流に基づく電圧を第1入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報及びオフイベント情報として出力する、
上記[A-2]に記載の測距システム。
[A-4]制御部は、コンパレータの第1入力をグローバルリセットするとともに、コンパレータの第2入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第2入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記[A-3]に記載の測距システム。
[A-5]画素は、2つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、並行して検出する機能を有する、
上記[A-1]に記載の測距システム。
[A-6]2つのコンパレータの一方は、光電流に基づく電圧を第1入力とし、オンイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報として出力し、
2つのコンパレータの他方は、光電流に基づく電圧を第1入力とし、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオフイベント情報として出力する、
上記[A-5]に記載の測距システム。
[A-7]制御部は、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記[A-6]に記載の測距システム。
[A-8]画素は、1つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する、
上記[A-1]に記載の測距システム。
[A-9]1つのコンパレータは、光電流に基づく電圧を第1入力とし、オンイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報として出力する、
上記[A-8]に記載の測距システム。
[A-10]制御部は、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、しかる後、オンイベント情報を順次読出し回路に転送する、
上記[A-9]に記載の測距システム。
[A-11]画素は、1つのコンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する、
上記[A-1]に記載の測距システム。
[A-12]1つのコンパレータは、光電流に基づく電圧を第1入力とし、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオフイベント情報として出力する、
上記[A-11]に記載の測距システム。
[A-13]制御部は、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、コンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オフイベント情報を順次読出し回路に転送する、
上記[A-12]に記載の測距システム。
[A-14]イベント検出センサの画素アレイ部には、コンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する第1の画素と、コンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する第2の画素とが混在している、
上記[A-1]に記載の測距システム。
[A-15]制御部は、先ず、第1の画素及び第2の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第1の画素で検出されたオンイベント情報をメモリに格納し、次いで、第2の画素のコンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第2の画素で検出されたオフイベント情報をメモリに格納し、次いで、オンイベント情報及びオフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第1入力をグローバルリセットする、
上記[A-14]に記載の測距システム。
[A-16]制御部は、先ず、第1の画素及び第2の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第1の画素で検出されたオンイベント情報をメモリに格納し、次いで、オンイベント情報を順次読出し回路に転送し、次いで、第2の画素のコンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第2の画素で検出されたオフイベント情報をメモリに格納し、次いで、オフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第1入力をグローバルリセットする、
上記[A-14]に記載の測距システム。
[A-17]光源部は、面発光半導体レーザから成る、
上記[A-1]乃至上記[A-16]のいずれかに記載の測距システム。
[A-18]面発光半導体レーザは、垂直共振器型面発光レーザである、
上記[A-17]に記載の測距システム。
[A-19]垂直共振器型面発光レーザは、被写体に所定のパターンの光を投影する、
上記[A-18]に記載の測距システム。
≪B.測距システム(その2)≫
[B-1]被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、
被写体を撮像し、画像信号を生成する撮像部、
イベント検出センサで生成されるイベント信号を処理し、かつ、撮像部からの画像信号に基づき注目領域を抽出するプロセッサ、及び、
光源とイベント検出センサを同期させて制御し、撮像部を制御する制御部、
を備える測距システム。
[B-2]画素は、1つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する、
上記[B-1]に記載の測距システム。
[B-3]1つのコンパレータは、光電流に基づく電圧を第1入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報及びオフイベント情報として出力する、
上記[B-2]に記載の測距システム。
[B-4]制御部は、コンパレータの第1入力をグローバルリセットするとともに、コンパレータの第2入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第2入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記[B-3]に記載の測距システム。
[B-5]プロセッサは、イベント信号に基づき測距情報を取得し、画像信号の注目領域においてパターンマッチングする機能を有する、
上記[B-3]に記載の測距システム。
[B-6]プロセッサは、取得した測距情報、及び、パターンマッチングに基づきユーザの顔認証をする機能を有する、
上記[B-5]に記載の測距システム。
≪C.電子機器≫
[C-1]被写体に光を照射する光源部、
被写体で反射された光を受光し、画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出センサ、及び、
光源部とイベント検出センサとを同期させて制御する制御部、
を備える測距システムを有する電子機器。
[C-2]画素は、1つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、時分割で検出する機能を有する、
上記[C-1]に記載の電子機器。
[C-3]1つのコンパレータは、光電流に基づく電圧を第1入力とし、時分割で与えられる、オンイベント検出用の電圧、及び、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報及びオフイベント情報として出力する、
上記[C-2]に記載の電子機器。
[C-4]制御部は、コンパレータの第1入力をグローバルリセットするとともに、コンパレータの第2入力をオンイベント検出用の電圧に設定し、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、コンパレータの第2入力をオフイベント検出用の電圧に設定し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記[C-3]に記載の電子機器。
[C-5]画素は、2つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、光電流の変化量が下限の閾値を下回った旨を示すオフイベントを、並行して検出する機能を有する、
上記[C-1]に記載の電子機器。
[C-6]2つのコンパレータの一方は、光電流に基づく電圧を第1入力とし、オンイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報として出力し、
2つのコンパレータの他方は、光電流に基づく電圧を第1入力とし、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオフイベント情報として出力する、
上記[C-5]に記載の電子機器。
[C-7]制御部は、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オンイベント情報及びオフイベント情報を順次読出し回路に転送する、
上記[C-6]に記載の電子機器。
[C-8]画素は、1つのコンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する、
上記[C-1]に記載の電子機器。
[C-9]1つのコンパレータは、光電流に基づく電圧を第1入力とし、オンイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオンイベント情報として出力する、
上記[C-8]に記載の電子機器。
[C-10]制御部は、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、オンイベント情報をメモリに格納し、しかる後、オンイベント情報を順次読出し回路に転送する、
上記[C-9]に記載の電子機器。
[C-11]画素は、1つのコンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する、
上記[C-1]に記載の電子機器。
[C-12]1つのコンパレータは、光電流に基づく電圧を第1入力とし、オフイベント検出用の電圧を第2入力とし、第1入力と第2入力との比較結果をオフイベント情報として出力する、
上記[C-11]に記載の電子機器。
[C-13]制御部は、コンパレータの第1入力をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、コンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、オフイベント情報をメモリに格納し、しかる後、オフイベント情報を順次読出し回路に転送する、
上記[C-12]に記載の電子機器。
[C-14]イベント検出センサの画素アレイ部には、コンパレータを用いて、光電流の変化量が上限の閾値を超えた旨を示すオンイベントを検出する機能を有する第1の画素と、コンパレータを用いて、光電流の変化量が下限の閾値を超えた旨を示すオフイベントを検出する機能を有する第2の画素とが混在している、
上記[C-1]に記載の電子機器。
[C-15]制御部は、先ず、第1の画素及び第2の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第1の画素で検出されたオンイベント情報をメモリに格納し、次いで、第2の画素のコンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第2の画素で検出されたオフイベント情報をメモリに格納し、次いで、オンイベント情報及びオフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第1入力をグローバルリセットする、
上記[C-14]に記載の電子機器。
[C-16]制御部は、先ず、第1の画素及び第2の画素を含む全画素をグローバルリセットし、次いで、光源部から被写体に光を照射し、次いで、第1の画素で検出されたオンイベント情報をメモリに格納し、次いで、オンイベント情報を順次読出し回路に転送し、次いで、第2の画素のコンパレータの第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、被写体への光の照射を終了し、次いで、第2の画素で検出されたオフイベント情報をメモリに格納し、次いで、オフイベント情報を順次読出し回路に転送し、しかる後、コンパレータの第1入力をグローバルリセットする、
上記[C-14]に記載の電子機器。
[C-17]光源部は、面発光半導体レーザから成る、
上記[C-1]乃至上記[C-16]のいずれかに記載の電子機器。
[C-18]面発光半導体レーザは、垂直共振器型面発光レーザである、
上記[C-17]に記載の電子機器。
[C-19]垂直共振器型面発光レーザは、被写体に所定のパターンの光を投影する、
上記[C-18]に記載の電子機器。
1・・・測距システム、10・・・垂直共振器型面発光レーザ(VCSEL)、11・・・光源(点光源)、20・・・イベント検出センサ(DVS)、21・・・画素、22・・・画素アレイ部、23・・・駆動部、24・・・アービタ部、25・・・カラム処理部、26・・・信号処理部、30・・・システム制御部、40・・・光源駆動部、50・・・センサ制御部、60・・・光源側光学系、70・・・カメラ側光学系、80・・・読出し回路、91・・・RGBカメラ、92・・・カメラ制御部、100・・・被写体、200・・・アプリケーションプロセッサ

Claims (26)

  1. 被写体に光を照射する光源部と、
    前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、
    前記光源部と前記イベント検出センサとを同期させて制御する制御部と
    を備え、
    前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする
    測距システム。
  2. 前記画素は、1つのコンパレータを用いて、前記オンイベント、及び、前記オフイベントを、時分割で検出する
    請求項1に記載の測距システム。
  3. 前記1つのコンパレータは、前記光電流に基づく電圧を第1入力とし、時分割で与えられる、前記オンイベントの検出用の電圧、及び、前記オフイベントの検出用の電圧を第2入力として前記第1入力と前記第2入力の比較を行い、前記第1入力と前記第2入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報または前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項2に記載の測距システム。
  4. 前記制御部は、前記1つのコンパレータの前記第1入力をグローバルリセットするとともに、前記第2入力を前記オンイベントの検出用の電圧に設定し、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記第2入力を前記オフイベントの検出用の電圧に設定し、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、しかる後、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させる
    請求項3に記載の測距システム。
  5. 前記画素は、2つのコンパレータを用いて、前記オンイベント、及び、前記オフイベントを、並行して検出する
    請求項1に記載の測距システム。
  6. 前記2つのコンパレータのうちの一方は、前記光電流に基づく電圧を第1入力とし、前記オンイベントの検出用の電圧を第2入力として前記第1入力と前記第2入力の比較を行い、前記第1入力と前記第2入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報として出力し、
    前記2つのコンパレータのうちの他方は、前記光電流に基づく電圧を第3入力とし、前記オフイベントの検出用の電圧を第4入力として前記第3入力と前記第4入力の比較を行い、前記第3入力と第4入力との比較結果を前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項5に記載の測距システム。
  7. 前記制御部は、前記第1入力及び前記第3入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、しかる後、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させる
    請求項6に記載の測距システム。
  8. 前記画素は、コンパレータを用いて前記オンイベントを検出する第1の画素または前記オフイベントを検出する第2の画素である
    請求項1に記載の測距システム。
  9. 前記イベント検出センサは、前記第1の画素のみを有し、
    前記第1の画素の前記コンパレータは、前記光電流に基づく電圧を第1入力とし、前記オンイベントの検出用の電圧を第2入力として前記第1入力と前記第2入力の比較を行い、前記第1入力と前記第2入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報として出力する
    請求項8に記載の測距システム。
  10. 前記制御部は、前記第1入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納し、しかる後、前記オンイベント情報を順次読出し回路に転送させる
    請求項9に記載の測距システム。
  11. 前記イベント検出センサは、前記第2の画素のみを有し、
    前記第2の画素の前記コンパレータは、前記光電流に基づく電圧を第1入力とし、前記オフイベントの検出用の電圧を第2入力として前記第1入力と前記第2入力の比較を行い、前記第1入力と前記第2入力の比較結果を前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項8に記載の測距システム。
  12. 前記制御部は、前記第1入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記第1入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納し、しかる後、前記オフイベント情報を順次読出し回路に転送させる
    請求項11に記載の測距システム。
  13. 前記イベント検出センサは、前記第1の画素と前記第2の画素の両方を有し、
    前記第1の画素の前記コンパレータは、前記光電流に基づく電圧を第1入力とし、前記オンイベントの検出用の電圧を第2入力として前記第1入力と前記第2入力の比較を行い、前記第1入力と前記第2入力の比較結果を前記オンイベントの検出結果を表すオンイベント情報として出力し、
    前記第2の画素の前記コンパレータは、前記光電流に基づく電圧を第3入力とし、前記オフイベントの検出用の電圧を第4入力として前記第3入力と前記第4入力の比較を行い、前記第3入力と前記第4入力の比較結果を前記オフイベントの検出結果を表すオフイベント情報として出力する
    請求項8に記載の測距システム。
  14. 前記制御部は、先ず、前記第1入力及び前記第3入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記第3入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、次いで、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させ、しかる後、前記第1入力及び前記第3入力をグローバルリセットさせる
    請求項13に記載の測距システム。
  15. 前記制御部は、先ず、前記第1入力及び前記第3入力をグローバルリセットし、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記オンイベント情報を順次読出し回路に転送させ、次いで、前記第3入力の端子と出力端子との間に接続されたリセットスイッチをオン状態とし、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、次いで、前記オフイベント情報を順次読出し回路に転送させ、しかる後、前記第1入力及び前記第3入力をグローバルリセットさせる
    請求項13に記載の測距システム。
  16. 前記光源部の数は複数であり、
    前記制御部はまた、前記光源部の点灯駆動のタイミングに基づいて前記画素の感度を制御する
    請求項1に記載の測距システム。
  17. 前記光源部は、面発光半導体レーザから成る
    請求項1に記載の測距システム。
  18. 前記面発光半導体レーザは、垂直共振器型面発光レーザである
    請求項17に記載の測距システム。
  19. 前記垂直共振器型面発光レーザは、前記被写体に所定のパターンの光を投影する
    請求項18に記載の測距システム。
  20. 被写体に光を照射する光源部と、
    前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出し、前記オンイベントの検出結果を表すオンイベント情報を生成すること、および、下限の閾値を下回ったことをオフイベントとして検出し、前記オフイベントの検出結果を表すオフイベント情報を生成することの少なくとも一方を行うイベント検出センサと、
    前記被写体を撮像し、画像信号を生成する撮像部と、
    前記イベント検出センサで生成される前記オンイベント情報および前記オフイベント情報の少なくとも一方を処理し、かつ、前記撮像部からの前記画像信号に基づき注目領域を抽出するプロセッサと、
    前記光源部と前記イベント検出センサを同期させて制御し、前記撮像部を制御する制御部と
    を備え、
    前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする
    測距システム。
  21. 前記画素は、1つのコンパレータを用いて、前記オンイベント、及び、前記オフイベントを、時分割で検出する
    請求項20に記載の測距システム。
  22. 前記1つのコンパレータは、前記光電流に基づく電圧を第1入力とし、時分割で与えられる、前記オンイベントの検出用の電圧、及び、前記オフイベントの検出用の電圧を第2入力として前記第1入力と前記第2入力の比較を行い、前記第1入力と前記第2入力の比較結果を前記オンイベント情報または前記オフイベント情報として出力する
    請求項21に記載の測距システム。
  23. 前記制御部は、前記1つのコンパレータの前記第1入力をグローバルリセットするとともに、前記第2入力を前記オンイベントの検出用の電圧に設定し、次いで、前記光源部に前記光を照射させ、次いで、前記オンイベント情報をメモリに格納させ、次いで、前記第2入力を前記オフイベントの検出用の電圧に設定し、次いで、前記光源部に前記光の照射を終了させ、次いで、前記オフイベント情報をメモリに格納させ、しかる後、前記オンイベント情報及び前記オフイベント情報を順次読出し回路に転送させる
    請求項22に記載の測距システム。
  24. 前記プロセッサは、前記オンイベント情報および前記オフイベント情報の少なくとも一方に基づき測距情報を取得し、前記画像信号の注目領域においてパターンマッチングを行う
    請求項20に記載の測距システム。
  25. 前記プロセッサは、取得した前記測距情報、及び、前記パターンマッチングに基づきユーザの顔認証を行う
    請求項24に記載の測距システム。
  26. 被写体に光を照射する光源部と、
    前記被写体で反射された前記光を受光して光電変換を行うことにより光電流を生成する画素を有し、前記光電流の変化量が上限の閾値を超えたことをオンイベントとして検出することおよび下限の閾値を下回ったことをオフイベントとして検出することの少なくとも一方を行うイベント検出センサと、
    前記光源部と前記イベント検出センサとを同期させて制御する制御部と
    を備え、
    前記制御部は、前記光源部が前記被写体に前記光を照射する前に、前記光電流に基づく電圧をグローバルリセットする
    測距システムを有する電子機器。
JP2019154499A 2019-08-27 2019-08-27 測距システム及び電子機器 Active JP7451110B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2019154499A JP7451110B2 (ja) 2019-08-27 2019-08-27 測距システム及び電子機器
CN202080052095.5A CN114127509A (zh) 2019-08-27 2020-06-10 测距系统和电子设备
KR1020227005237A KR20220047778A (ko) 2019-08-27 2020-06-10 거리 측정 시스템 및 전자 기기
PCT/JP2020/022783 WO2021039022A1 (en) 2019-08-27 2020-06-10 Ranging system and electronic apparatus
DE112020004136.0T DE112020004136T5 (de) 2019-08-27 2020-06-10 Entfernungsbestimmungssystem und elektronische einrichtung
US17/636,418 US20220400218A1 (en) 2019-08-27 2020-06-10 Ranging system and electronic apparatus
EP20743877.1A EP4022895A1 (en) 2019-08-27 2020-06-10 Ranging system and electronic apparatus
TW109121075A TW202112121A (zh) 2019-08-27 2020-06-22 測距系統及電子裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019154499A JP7451110B2 (ja) 2019-08-27 2019-08-27 測距システム及び電子機器

Publications (2)

Publication Number Publication Date
JP2021032763A JP2021032763A (ja) 2021-03-01
JP7451110B2 true JP7451110B2 (ja) 2024-03-18

Family

ID=71738265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019154499A Active JP7451110B2 (ja) 2019-08-27 2019-08-27 測距システム及び電子機器

Country Status (8)

Country Link
US (1) US20220400218A1 (ja)
EP (1) EP4022895A1 (ja)
JP (1) JP7451110B2 (ja)
KR (1) KR20220047778A (ja)
CN (1) CN114127509A (ja)
DE (1) DE112020004136T5 (ja)
TW (1) TW202112121A (ja)
WO (1) WO2021039022A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4053501A4 (en) * 2019-10-30 2022-12-28 Sony Group Corporation OBJECT RECOGNITION SYSTEM, SIGNAL PROCESSING METHOD FOR OBJECT RECOGNITION SYSTEM AND ELECTRONIC DEVICE
CN116134289A (zh) 2020-09-07 2023-05-16 发那科株式会社 三维测量装置
AT524572B1 (de) * 2021-05-26 2022-07-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erfassung der dreidimensionalen Struktur eines Gegenstands
US11704835B2 (en) 2021-07-29 2023-07-18 Summer Robotics, Inc. Dynamic calibration of 3D acquisition systems
CN118176739A (zh) 2021-08-27 2024-06-11 夏日机器人公司 多传感器超分辨率扫描和捕获系统
WO2023177692A1 (en) * 2022-03-14 2023-09-21 Summer Robotics, Inc. Stage studio for immersive 3-d video capture
WO2023188184A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2023188183A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2024004166A1 (ja) * 2022-06-30 2024-01-04 ファナック株式会社 距離測定装置
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520134A (ja) 2014-04-07 2017-07-20 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Samsung Electronics Co.,Ltd. イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
WO2018122798A1 (en) 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture
US20190045173A1 (en) 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging
US10302420B2 (en) 2013-12-23 2019-05-28 Universitat Zurich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
US10652489B2 (en) * 2016-03-14 2020-05-12 Insightness Ag Vision sensor, a method of vision sensing, and a depth sensor assembly
EP3393122A1 (en) * 2017-04-18 2018-10-24 Oculus VR, LLC Event camera
EP4220258A1 (en) * 2017-04-19 2023-08-02 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
JP7209990B2 (ja) 2018-03-07 2023-01-23 株式会社サンセイアールアンドディ 遊技機
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技(成都)有限公司 结构光深度感测器及感测方法
US11809613B2 (en) * 2018-11-12 2023-11-07 Magic Leap, Inc. Event-based camera with high-resolution frame output

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10302420B2 (en) 2013-12-23 2019-05-28 Universitat Zurich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
JP2017520134A (ja) 2014-04-07 2017-07-20 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Samsung Electronics Co.,Ltd. イベントベースのセンサー、それを含むユーザー装置、及びその動作方法
WO2018122798A1 (en) 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture
US20190045173A1 (en) 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging

Also Published As

Publication number Publication date
KR20220047778A (ko) 2022-04-19
JP2021032763A (ja) 2021-03-01
WO2021039022A1 (en) 2021-03-04
DE112020004136T5 (de) 2022-07-07
CN114127509A (zh) 2022-03-01
EP4022895A1 (en) 2022-07-06
US20220400218A1 (en) 2022-12-15
TW202112121A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
JP7451110B2 (ja) 測距システム及び電子機器
WO2021084833A1 (ja) 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
US11916093B2 (en) Solid-state imaging device, driving method therefor, and electronic apparatus
US10284769B2 (en) Image sensor with in-pixel depth sensing
JP7171199B2 (ja) 固体撮像装置、及び電子機器
US11652983B2 (en) Solid-state imaging device, imaging system, and movable object
JP2023076773A (ja) 物体認識システム及び電子機器
WO2021039146A1 (ja) 測距システム及び電子機器
JP2009524283A (ja) 撮像装置中の電気的な安定化のために画素格納ゲートの電荷の感知を提供する方法と装置
JP7297850B2 (ja) 動画のためのledフリッカ軽減
KR20140005421A (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
CN106576135A (zh) 一种具有扩展的动态范围上限的图像传感器
US10534240B2 (en) Imaging control device, imaging control method, and recording medium having same recorded thereon
WO2021070445A1 (ja) 顔認証システム及び電子機器
US20220400213A1 (en) Object recognition system and method of signal processing performed by object recognition system, and electronic apparatus
US20200029045A1 (en) Solid-state imaging device and electronic apparatus
JP6366325B2 (ja) 撮像システム
WO2024116745A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP3361077B2 (ja) 固体撮像装置
CN114866660A (zh) 具有像素内背景减去及运动检测的图像传感器

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7451110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150