JP7828341B2 - 光検出装置及び測距システム - Google Patents

光検出装置及び測距システム

Info

Publication number
JP7828341B2
JP7828341B2 JP2023522309A JP2023522309A JP7828341B2 JP 7828341 B2 JP7828341 B2 JP 7828341B2 JP 2023522309 A JP2023522309 A JP 2023522309A JP 2023522309 A JP2023522309 A JP 2023522309A JP 7828341 B2 JP7828341 B2 JP 7828341B2
Authority
JP
Japan
Prior art keywords
circuit
unit
area calculation
calculation units
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023522309A
Other languages
English (en)
Other versions
JPWO2022244508A1 (ja
Inventor
由実 八並
浩章 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2022244508A1 publication Critical patent/JPWO2022244508A1/ja
Application granted granted Critical
Publication of JP7828341B2 publication Critical patent/JP7828341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4873Extracting wanted echo signals, e.g. pulse detection by deriving and controlling a threshold value
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、光検出装置及び測距システムに関する。
自動運転技術が注目されている。自動運転技術では、車両の周囲に位置する物体までの距離を正確かつ迅速に計測する必要がある。距離計測の一手法として、複数の受光素子がアレイ状に配置された受光素子アレイの受光範囲を複数の領域に分けて、領域ごとに最適な演算係数を設定して、物体までの距離を算出する手法が提案されている(特許文献1参照)。
特開2020-118567号公報
特許文献1の測距システムは、複数の領域のそれぞれごとに、距離計測のための処理回路を備えており、構成が複雑になる。特に、車両の周囲に位置する物体を精度よく検出するには、受光素子アレイに含まれる受光素子の数を増やす必要がある。受光素子アレイに含まれる受光素子の数が増えると、処理の迅速化の観点から受光範囲を分割する領域の数を増やす必要がある。受光範囲を分割した領域の数が増えると、距離計測のための処理回路の数が増えてしまう。
車載用のデバイスは、機能安全が重要であり、測距システム内の各処理回路の故障診断を行う仕組みを備えているのが本来望ましい。しかしながら、上述した特許文献1には、測距システムの故障診断について何ら記載されていない。
そこで、本開示では、効率的に故障診断及び故障検出を行うことができる光検出装置及び測距システムを提供するものである。
上記の課題を解決するために、本開示によれば、複数の受光領域を有し、各受光領域内に配置される複数の受光素子を有するアレイ部と、
前記複数の受光領域のそれぞれに含まれる1つ以上の前記受光素子を含む画素ごとに、前記画素内の前記受光素子が光を受光した回数及び受光タイミングに関するヒストグラムを生成する演算部と、
前記演算部内の故障を検出する故障検出部と、を備える、光検出装置が提供される。
前記演算部は、
前記複数の受光領域のそれぞれに含まれる前記複数の受光素子の出力信号を所定のサンプリング周期でサンプリングして、前記複数の受光素子が光を受光したことを示す検出信号を画素ごとに出力するサンプリング回路と、
画素ごとに前記検出信号の数を加算した画素値を生成する加算回路と、
前記加算回路で生成された前記画素値に基づいて、前記複数の受光領域のそれぞれにおける画素ごとの前記ヒストグラムを生成するヒストグラム生成回路と、を有し、
前記故障検出部は、前記サンプリング回路、前記加算回路、及び前記ヒストグラム生成回路の少なくとも一つの故障を検出してもよい。
前記演算部は、
前記ヒストグラム生成回路で生成された前記ヒストグラムに含まれるノイズ成分を除去するフィルタ回路と、
前記フィルタ回路でノイズ成分を除去した後のヒストグラムに基づいて、光を投光してから、前記光が物体で反射されて前記アレイ部で受光されるまでの時間差を検出して前記物体までの距離を計測するエコー検出回路と、を有し、
前記故障検出部は、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路の少なくとも一つの故障を検出してもよい。
前記演算部は、前記複数の受光領域のそれぞれに対応する複数の領域演算部を有し、
前記複数の領域演算部のそれぞれは、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含み、
前記故障検出部は、前記複数の領域演算部のそれぞれごとに、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路の故障を検出してもよい。
前記故障検出部は、前記複数の領域演算部のうち、2つの前記領域演算部に同一のテストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断してもよい。
前記故障検出部は、
前記2つの領域演算部の入力ノード又は内部ノードに前記テストパターン信号を入力するか否かを選択する2つのセレクタと、
前記2つの前記セレクタが前記テストパターン信号の入力を選択したときに、前記2つの領域演算部の出力信号同士を比較する比較器と、を有してもよい。
前記故障検出部は、前記2つのセレクタが前記テストパターン信号の入力を選択したときに、前記2つの領域演算部の出力信号の符号化データを生成する2つの符号化部を有し、
前記比較器は、2つの前記符号化部で生成された2つの前記符号化データ同士を比較してもよい。
前記演算部は、2個以上の偶数個の前記領域演算部を有し、
前記故障検出部は、前記偶数個の領域演算部を2つずつの組に分けて、各組の前記2つの領域演算部に同一の前記テストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断してもよい。
前記演算部は、3個以上の奇数個の前記領域演算部を有し、
前記故障検出部は、前記奇数個の領域演算部のうち、一部の前記領域演算部を重複して用いて、2つずつの複数の組に分けて、各組の前記2つの領域演算部に前記同一のテストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断してもよい。
前記演算部は、3個以上の前記複数の領域演算部を有し、
前記故障検出部は、前記複数の領域演算部に同一のテストパターン信号を入力し、前記複数の領域演算部のうち、一部の領域演算部の出力信号が、前記一部の領域演算部よりも数が多い残りの領域演算部の出力信号と異なるか否かにより、前記一部の領域演算部が故障を起こしたと判断してもよい。
前記複数の領域演算部のそれぞれは、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含む、縦続接続された複数段の処理回路を有し、
前記比較器は、前記複数の領域演算部のそれぞれごとに、前記セレクタの後段側に縦続接続された2段以上の前記処理回路の出力ノードのそれぞれに接続される複数の比較部を有し、
前記複数の比較部のそれぞれは、前記2つの領域演算部におけるそれぞれ異なる段の前記処理回路の出力ノードの出力信号同士を比較してもよい。
前記演算部は、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含む、縦続接続された複数段の処理回路を有し、
前記複数段の処理回路のうち、2つ以上の前記処理回路の入力側にそれぞれ異なる前記セレクタが接続されて、それぞれの前記セレクタにて前記テストパターン信号を選択可能であり、
それぞれの前記セレクタが接続される処理回路の後段側に、それぞれの前記セレクタに対応づけて前記比較器が配置されてもよい。
前記アレイ部の画素数は、前記演算部が前記ヒストグラムの生成を行う画素数よりも多く、
前記サンプリング回路は、前記アレイ部の画素ごとに前記検出信号を出力し、
前記加算回路は、前記アレイ部の画素数よりも少ない画素数の画素ごとの前記画素値を生成し、
前記セレクタは、前記サンプリング回路と前記加算回路との間に配置されて、通常動作時には前記サンプリング回路から出力された検出信号を時間調整して前記加算回路に入力し、故障診断時には前記テストパターン信号を前記加算回路に入力してもよい。
前記アレイ部の画素数は、前記演算部が前記ヒストグラムの生成を行う画素数よりも多く、
前記サンプリング回路は、前記アレイ部の画素ごとに前記検出信号を出力し、
前記加算回路は、前記アレイ部の画素ごとの前記画素値を生成し、
前記ヒストグラム生成回路は、前記アレイ部の画素数よりも少ない画素数の画素ごとの前記ヒストグラムを生成し、
前記セレクタは、前記加算回路と前記ヒストグラム生成回路との間に配置されて、通常動作時には前記加算回路で生成された前記画素値を時間調整して前記ヒストグラム生成回路に入力し、故障診断時には前記テストパターン信号を前記ヒストグラム生成回路に入力してもよい。
前記複数の領域演算部のそれぞれは、通常動作時の演算処理に用いられる第1演算係数と、故障診断時の演算処理に用いられる第2演算係数とを記憶する演算係数記憶部を有し、
前記第1演算係数と前記第2演算係数とのいずれか一方を選択して、前記複数段の処理回路に供給する制御を行うとともに、前記セレクタの選択切替を行う制御部をさらに備えてもよい。
前記複数の領域演算部のそれぞれは、通常動作時の演算処理に用いられる第1演算係数を記憶する第1演算係数記憶部を有し、
故障診断時の演算処理に用いられる第2演算係数を記憶する第2演算係数記憶部と、
通常動作時には前記第1演算係数を前記複数段の処理回路に供給する制御を行い、故障診断時には前記第2演算係数を前記複数段の処理回路に供給する制御を行い、かつ前記セレクタの選択切替を行う制御部と、をさらに備えてもよい。
前記アレイ部が受光した光に基づいて前記ヒストグラムを生成する通常動作期間と、前記アレイ部の受光動作を停止させた状態で、前記テストパターン信号に基づいて前記演算部の故障検出を行う故障診断期間とに分けて、前記アレイ部及び前記演算部を制御するタイミング制御部を備えてもよい。
前記アレイ部が受光した光に基づいて前記演算部内の各処理回路が処理を行う期間の合間に、前記演算部の入力ノード又は内部ノードに前記テストパターン信号を入力して前記演算部から故障診断用の信号を出力する制御を行うタイミング制御部を備えてもよい。
時系列のランダムなパターンを含む前記テストパターン信号を生成するパターン生成器を備え、
前記複数の領域演算部には、同一の前記テストパターン信号が供給されてもよい。
本開示によれば、上述した光検出装置と、
前記物体に前記光を投光する投光部と、を備える、測距システムが提供される。
ToFセンサの概略構成例を示すブロック図。 本開示に係るToFセンサの光学系を説明するための図。 本開示に係る受光部の概略構成例を示すブロック図。 本開示に係るSPADアレイの概略構成例を示す模式図。 本開示に係るSPAD画素の概略構成例を示す回路図。 ToFセンサにより取得される深度画像の一例を示す図。 図7における第1領域を担当するSPAD領域から得られたフレーム画像に基づいて生成されるヒストグラムの一例を示す図。 図7における第4領域を担当するSPAD領域から得られたフレーム画像に基づいて生成されるヒストグラムの一例を示す図。 比較例に係る演算部の概略構成例を示すブロック図。 演算部の概略構成例を示すブロック図。 演算係数の例を示す図。 演算部の概略構成例を示すブロック図。 ToFセンサにおける受光部及び演算部の積層構造例を示す図。 受光チップにおける受光面の平面レイアウトの一例を示す図。 回路チップにおける受光チップ側の面の平面レイアウト例を示す図。 第1の実施形態に係る光検出装置のブロック図。 第2の実施形態に係る光検出装置のブロック図。 第3の実施形態に係る光検出装置のブロック図。 第4の実施形態に係る光検出装置のブロック図。 第5の実施形態に係る光検出装置のブロック図。 第6の実施形態に係る光検出装置のブロック図。 図21の一変形例に係る光検出装置のブロック図。 第7の実施形態に係る光検出装置のブロック図。 図23の一変形例に係る光検出装置のブロック図。 第8の実施形態に係る光検出装置のブロック図。 図25Aのレジスタブロックの内部構成を示すブロック図。 第9の実施形態に係る光検出装置のブロック図。 領域演算部のそれぞれごとに設けられるレジスタブロックの内部構成を示すブロック図。 第10の実施形態に係る光検出装置の動作タイミング図。 第11の実施形態に係る光検出装置の動作タイミング図。 第12の実施形態に係る光検出装置のブロック図。 第13の実施形態に係る光検出装置のブロック図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
以下、図面を参照して、光検出装置及び測距システムの実施形態について説明する。以下では、光検出装置及び測距システムの主要な構成部分を中心に説明するが、光検出装置及び測距システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
(測距システム:ToFセンサ)
図1は、本開示に係る光検出装置10を備えた測距システムとしてのToFセンサの概略構成例を示すブロック図である。図1に示すように、ToFセンサ1は、制御部11と、発光部13と、受光部14と、演算部15と、外部出力インタフェース(I/F)19とを備えている。受光部14と演算部15は光検出装置10を構成している。
制御部11は、例えば、CPU(Central Processing Unit)などの情報処理装置で構成され、ToFセンサ1の各部を制御する。
外部出力I/F19は、例えば、無線LAN(Local Area Network)や有線LANの他、CAN(Controller Area Network)、LIN(Local Interconnect Network)、FlexRay(登録商標)等の任意の規格に準拠した通信ネットワークを介して外部のホスト80と通信を確立するための通信アダプタであってよい。
ここで、ホスト80は、例えば、ToFセンサ1が自動車等に実装される場合には、自動車等に搭載されているECU(Engine Control Unit)などであってよい。また、ToFセンサ1が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、ホスト80は、その自律移動体を制御する制御装置等であってよい。
発光部13は、例えば、1つ又は複数の半導体レーザダイオードを光源として備えており、所定時間幅のパルス状のレーザ光L1を所定周期(発光周期ともいう)で出射する。また、発光部13は、例えば、1MHz(メガヘルツ)の周期で、1ns(ナノ秒)の時間幅のレーザ光L1を出射する。発光部13から出射したレーザ光L1は、例えば、測距範囲内に物体90が存在する場合には、この物体90で反射されて、反射光L2として、受光部14に入射される。
受光部14は、その詳細については後述するが、例えば、2次元格子状に配列した複数のSPAD(Single Photon Avalanche photodiode)画素を備え、発光部13の発光後にフォトンの入射を検出したSPAD画素の数(以下、検出数という)に関する情報(例えば、後述における検出信号の数に相当)を出力する。受光部14は、例えば、発光部13の1回の発光に対し、所定のサンプリング周期でフォトンの入射を検出してその検出数を出力する。
演算部15は、受光部14から出力された検出数を複数のSPAD画素(例えば、後述する1又は複数のマクロ画素に相当)ごとに集計し、その集計により得られた画素値に基づいて、横軸を飛行時間とし、縦軸を累積画素値としたヒストグラムを作成する。例えば、演算部15は、発光部13の1回の発光に対して所定のサンプリング周波数で検出数を集計して画素値を求めることを、発光部13の複数回の発光に対して繰返し実行することで、横軸(ヒストグラムのビン)を飛行時間に相当するサンプリング周期とし、縦軸を各サンプリング周期で求められた画素値を累積することで得られた累積画素値としたヒストグラムを生成する。
また、演算部15は、生成されたヒストグラムに対して所定のフィルタ処理を施した後、フィルタ処理後のヒストグラムから累積画素値がピークとなる際の飛行時間を特定する。そして、演算部15は、特定した飛行時間に基づいて、ToFセンサ1又はこれを搭載するデバイスから測距範囲内に存在する物体90までの距離を算出する。なお、演算部15で算出された距離の情報は、例えば、外部出力I/F19を介してホスト80等に出力されてもよい。
(光学系)
図2は本開示に係るToFセンサの光学系を説明するための図である。なお、図2では、受光部14の画角を水平方向に走査する、いわゆるスキャン型の光学系を例示するが、これに限定されず、例えば、受光部14の画角が固定された、いわゆるフラッシュ型のToFセンサとすることも可能である。
図2に示すように、ToFセンサ1は、光学系として、光源131と、コリメータレンズ132と、ハーフミラー133と、ガルバノミラー135と、受光レンズ146と、SPADアレイ141とを備えている。光源131、コリメータレンズ132、ハーフミラー133及びガルバノミラー135は、例えば、図1における発光部13に含まれる。また、受光レンズ146及びSPADアレイ141は、例えば、図1における受光部14に含まれる。
図2に示す構成において、光源131から出射したレーザ光L1は、コリメータレンズ132により、断面の強度スペクトルが垂直方向に長い矩形の平行光に変換され、その後、ハーフミラー133に入射する。ハーフミラー133は、入射したレーザ光L1の一部を反射する。ハーフミラー133で反射したレーザ光L1は、ガルバノミラー135に入射する。ガルバノミラー135は、例えば、制御部11からの制御に基づいて動作する駆動部134により、所定の回転軸を振動中心として水平方向に振動する。これにより、ガルバノミラー135で反射したレーザ光L1の画角SRが測距範囲ARを水平方向に往復走査するように、レーザ光L1が水平走査される。なお、駆動部134には、MEMS(Micro Electro Mechanical System)やマイクロモーター等を用いることができる。
ガルバノミラー135で反射したレーザ光L1は、測距範囲AR内に存在する物体90で反射し、反射光L2としてガルバノミラー135に入射する。ガルバノミラー135に入射した反射光L2の一部は、ハーフミラー133を透過して受光レンズ146に入射し、それにより、SPADアレイ141における特定の使用SPADアレイ142に結像される。なお、使用SPADアレイ142は、SPADアレイ141の全体であってもよいし、一部であってもよい。
(受光部)
図3は本開示に係る受光部の概略構成例を示すブロック図である。図3に示すように、受光部14は、SPADアレイ141と、タイミング制御回路143と、駆動回路144と、出力回路145とを備えている。
SPADアレイ141は、2次元格子状に配列する複数のSPAD画素20を備えている。複数のSPAD画素20に対しては、列ごとに画素駆動線LD(図面中の上下方向)が接続され、行ごとに出力信号線LS(図面中の左右方向)が接続される。画素駆動線LDの一端は、駆動回路144の各列に対応した出力端に接続され、出力信号線LSの一端は、出力回路145の各行に対応した入力端に接続される。
図3では、SPADアレイ141の全部又は一部を使用して、反射光L2を検出する。SPADアレイ141における使用する領域(使用SPADアレイ142)は、レーザ光L1全体が反射光L2として反射された場合には、SPADアレイ141に結像される反射光L2の像は、垂直方向に長い矩形になりうる。ただし、これに限定されず、SPADアレイ141に結像される反射光L2の像よりも大きな領域や小さな領域など、種々変形されてよい。
駆動回路144は、シフトレジスタやアドレスデコーダなどを含み、SPADアレイ141の各SPAD画素20を、全画素同時や列単位等で駆動する。そこで、駆動回路144は、少なくとも、SPADアレイ141内の選択列における各SPAD画素20に、後述するクエンチ電圧V_QCHを印加する回路と、選択列における各SPAD画素20に、後述する選択制御電圧V_SELを印加する回路とを含む。そして、駆動回路144は、読出し対象の列に対応する画素駆動線LDに選択制御電圧V_SELを印加することで、フォトンの入射を検出するために用いるSPAD画素20を列単位で選択する。
駆動回路144によって選択走査された列の各SPAD画素20から出力される信号(検出信号という)V_OUTは、出力信号線LSの各々を通して出力回路145に入力される。出力回路145は、各SPAD画素20から出力された検出信号V_OUTを、後述する演算部15に入力する。
タイミング制御回路143は、各種のタイミング信号を生成するタイミングジェネレータ等を含み、タイミングジェネレータで生成された各種のタイミング信号を基に、駆動回路144及び出力回路145を制御する。
(SPADアレイ)
図4は本開示に係るSPADアレイの概略構成例を示す模式図である。図4に示すように、使用SPADアレイ142は、例えば、複数のSPAD画素20が2次元格子状に配列した構成を備えている。複数のSPAD画素20は、行及び/又は列方向に配列する所定数ずつのSPAD画素20で構成された複数のマクロ画素30にグループ化されている。各マクロ画素30の最外周に位置するSPAD画素20の外側の縁を結んだ領域の形状は、所定の形状(例えば、矩形)をなしている。
使用SPADアレイ142は、例えば、垂直方向(列方向に相当)に配列する複数のマクロ画素30で構成されている。本開示では、使用SPADアレイ142は、例えば、垂直方向に複数の領域(以下、SPAD領域という)に分割されている。図4に示す例では、使用SPADアレイ142が4つのSPAD領域142-1~142-4に分割されている。最下に位置するSPAD領域142-1は、例えば、使用SPADアレイ142の画角SRにおける最下の1/4領域に相当し、その上のSPAD領域142-2は、例えば、画角SRにおける下から2番目の1/4領域に相当し、その上のSPAD領域142-3は、例えば、画角SRにおける下から3番目の1/4領域に相当し、最上のSPAD領域142-4は、例えば、画角SRにおける最上の1/4領域に相当する。
(SPAD画素)
図5は本開示に係るSPAD画素20の概略構成例を示す回路図である。図5に示すように、SPAD画素20は、受光素子としてのフォトダイオード21と、フォトダイオード21にフォトンが入射したことを検出する読出し回路22とを備えている。フォトダイオード21は、そのアノードとカソードとの間に降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧V_SPADが印加されている状態でフォトンが入射すると、アバランシェ電流を発生する。
読出し回路22は、クエンチ抵抗23と、デジタル変換器25と、インバータ26と、バッファ27と、選択トランジスタ24とを備えている。クエンチ抵抗23は、例えば、N型のMOSFET(Metal Oxide Semiconductor Field Effect Transistorで、以下、NMOSトランジスタという)で構成され、そのドレインがフォトダイオード21のアノードに接続され、そのソースが選択トランジスタ24を介して接地されている。また、クエンチ抵抗23を構成するNMOSトランジスタのゲートには、当該NMOSトランジスタをクエンチ抵抗として作用させるために予め設定されているクエンチ電圧V_QCHが、駆動回路144から画素駆動線LDを介して印加される。
図5のフォトダイオード21はSPADである。SPADは、そのアノードとカソードとの間に降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧が印加されるとガイガーモードで動作するアバランシェフォトダイオードであり、1つのフォトンの入射を検出可能である。
デジタル変換器25は、抵抗251とNMOSトランジスタ252とを備えている。NMOSトランジスタ252は、そのドレインが抵抗251を介して電源電圧VDDに接続され、そのソースが接地されている。また、NMOSトランジスタ252のゲートには、フォトダイオード21のアノードとクエンチ抵抗23との接続ノードN1の電圧が印加される。
インバータ26は、P型のMOSFET(以下、PMOSトランジスタという)261とNMOSトランジスタ262とを備えている。PMOSトランジスタ261は、そのドレインが電源電圧VDDに接続され、そのソースがNMOSトランジスタ262のドレインに接続されている。NMOSトランジスタ262は、そのドレインがPMOSトランジスタ261のソースに接続され、そのソースが接地されている。PMOSトランジスタ261のゲート及びNMOSトランジスタ262のゲートには、それぞれ抵抗251とNMOSトランジスタ252のドレインとの接続ノードN2の電圧が印加される。インバータ26の出力は、バッファ27に入力される。
バッファ27は、インピーダンス変換のための回路であり、インバータ26から出力信号を入力すると、その入力した出力信号をインピーダンス変換し、検出信号V_OUTとして出力する。
選択トランジスタ24は、例えば、NMOSトランジスタであり、そのドレインがクエンチ抵抗23を構成するNMOSトランジスタのソースに接続され、そのソースが接地されている。選択トランジスタ24は、駆動回路144に接続されており、選択トランジスタ24のゲートに駆動回路144からの選択制御電圧V_SELが画素駆動線LDを介して印加されると、オフ状態からオン状態に変化する。
(SPAD画素の概略動作例)
図5に例示した読出し回路22は、例えば、以下のように動作する。すなわち、まず、駆動回路144から選択トランジスタ24に選択制御電圧V_SELが印加されて選択トランジスタ24がオン状態となっている期間、フォトダイオード21には降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧V_SPADが印加される。これにより、フォトダイオード21の動作が許容される。
一方、駆動回路144から選択トランジスタ24に選択制御電圧V_SELが印加されておらず、選択トランジスタ24がオフ状態となっている期間は、逆バイアス電圧V_SPADがフォトダイオード21に印加されないことから、フォトダイオード21の動作が禁止される。
選択トランジスタ24がオン状態であるときにフォトダイオード21にフォトンが入射すると、フォトダイオード21においてアバランシェ電流が発生する。それにより、クエンチ抵抗23にアバランシェ電流が流れ、接続ノードN1の電圧が上昇する。接続ノードN1の電圧がNMOSトランジスタ252のオン電圧よりも高くなると、NMOSトランジスタ252がオン状態になり、接続ノードN2の電圧が電源電圧VDDから0Vに変化する。そして、接続ノードN2の電圧が電源電圧VDDから0Vに変化すると、PMOSトランジスタ261がオフ状態からオン状態に変化すると共にNMOSトランジスタ262がオン状態からオフ状態に変化し、接続ノードN3の電圧が0Vから電源電圧VDDに変化する。その結果、バッファ27からハイレベルの検出信号V_OUTが出力される。
その後、接続ノードN1の電圧が上昇し続けると、フォトダイオード21のアノードとカソードとの間に印加されている電圧が降伏電圧よりも小さくなり、それにより、アバランシェ電流が止まって、接続ノードN1の電圧が低下する。そして、接続ノードN1の電圧がNMOSトランジスタ252のオン電圧よりも低くなると、NMOSトランジスタ252がオフ状態になり、バッファ27からの検出信号V_OUTの出力が停止する(ローレベル)。
このように、読出し回路22は、フォトダイオード21にフォトンが入射してアバランシェ電流が発生し、これによりNMOSトランジスタ252がオン状態になったタイミングから、アバランシェ電流が止まってNMOSトランジスタ252がオフ状態になるタイミングまでの期間、ハイレベルの検出信号V_OUTを出力する。出力された検出信号V_OUTは、出力回路145を介して、演算部15に入力される。
(深度画像)
図6は、本開示に係るToFセンサにより取得される深度画像の一例を示す図であって、車両の前方へ向けた状態で設置されたToFセンサ1により取得される深度画像の一例を示す図である。図6に示すように、本開示では、レーザ光L1を横方向に一回走査する度に、測距範囲ARに相当する深度画像50が、測距範囲AR内に存在する物体までの深度情報として取得される。したがって、図4に例示したように、縦長の使用SPADアレイ142を縦方向に4分割した場合、深度画像50は、縦方向に並ぶ4つの領域50-1~50-4に分割することができる。なお、第1領域50-1は、SPAD領域142-1で取得された深度画像であり、第2領域50-2は、SPAD領域142-2で取得された深度画像であり、第3領域50-3は、SPAD領域142-3で取得された深度画像であり、第4領域50-4は、SPAD領域142-4で取得された深度画像である。
最下に位置する第1領域50-1は、例えば、ToFセンサ1が搭載された車両の足元付近の深度画像である。したがって、第1領域50-1には、例えば、路面や白線や縁石など、車両から近距離に存在する物体が含まれる可能性が高い。
最上に位置する第4領域50-4は、例えば、車両の上方付近の深度画像である。したがって、第4領域50-4には、例えば、標識や看板など、車両から遠距離に存在する物体が含まれる可能性が高い。
第2領域50-2は、例えば、車両の前方下方の深度画像である。したがって、第2領域50-2には、例えば、車間の狭い先行車両や路面など、近距離と遠距離との中間の距離の物体が含まれる可能性が高い。
第3領域50-3は、例えば、車両の前方上方の深度画像である。したがって、第3領域50-3には、例えば、車間の開いた先行車両や信号機等の路上工作物など、近距離と遠距離との中間の距離であって第2領域50-2に含まれる可能性の高い物体よりも遠距離に存在する物体が含まれる可能性が高い。
なお、水平線H1は、第2領域50-2に含まれてもよいし、第3領域50-3に含まれてもよい。また、これらに限定されず、第1又は第4領域50-1又は50-4に含まれてもよいし、いずれの領域50-1~50-4にも含まれていなくてもよい。
また、ある領域(画角)の深度画像を取得するためのレーザ光L1の一度又は複数回の発光に対しては、図6において破線で示されている、使用SPADアレイ142の画角に相当する領域のフレーム画像が取得される。したがって、使用SPADアレイ142を縦方向に4分割した場合では、ある領域(画角)の深度画像を取得するためのレーザ光L1の一度又は複数回の発光に対して、SPAD領域142-1の画角に対応するフレーム画像51-1と、SPAD領域142-2の画角に対応するフレーム画像51-2と、SPAD領域142-3の画角に対応するフレーム画像51-3と、SPAD領域142-4の画角に対応するフレーム画像51-4とが取得される。なお、フレーム画像51-1~51-4は、レーザ光L1の横方向への走査に併せて横方向へスライドする。
(ヒストグラム)
ここで、最下に位置する第1領域50-1と最上に位置する第4領域50-4とに着目すると、一般的に、第1領域50-1に相当するデバイスの足元付近に存在する物体はデバイスの近傍に位置し、第4領域50-4に相当するデバイスの上方付近に存在する物体はデバイスの遠方に位置する。したがって、図7に示すように、第1領域50-1を担当するSPAD領域142-1から得られたフレーム画像51-1に基づいて生成されるヒストグラムG1では、早い飛行時間で累積画素値がピークとなる一方、図8に示すように、第4領域50-4を担当するSPAD領域142-4から得られたフレーム画像51-4に基づいて生成されるヒストグラムG4では、遅い飛行時間で累積画素値がピークとなる。
(演算係数を共通化した場合の課題)
そのため、図9に示すように、SPAD領域142-1~142-4それぞれから得られたフレーム画像51-1~51-4に対し、共通の演算部915及び共通の演算係数916を用いて物体までの距離を算出する演算処理を実行した場合、それぞれの測距結果917-1~917-4が最適な演算係数を用いて算出されているとは限られず、それにより、測距精度が低下してしまう可能性が存在する。
(本開示に係る演算処理)
そこで本開示では、図10に示すように、演算部15を4つのSPAD領域142-1~142-4それぞれに対して一対一となるように4つの領域演算部15-1~15-4に分割し、それぞれの領域演算部15-1~15-4に対して、個別の演算係数16-1~16-4を設定する。
このような構成とすることで、領域演算部15-1~15-4のそれぞれごとに、物体までの予測される距離に応じた個別の演算係数16-1~16-4を設定することが可能となるため、それぞれの測距結果17-1~17-4を最適な演算係数を用いて算出することが可能となる。それにより、測距範囲AR内に近距離の物体と遠距離の物体とが存在する場合でも、測距精度が低下することを低減することが可能となる。
例えば、物体が近距離に存在し易いSPAD領域142-1に対応する領域演算部15-1に対しては、演算係数16-1として、検出された光から反射光L2の成分を抽出するための閾値として高い閾値Sth1(図7参照)を設定するとともに、低周波のノイズ成分を除去するフィルタ係数を設定する一方、物体が遠距離に存在し易いSPAD領域142-4に対応する領域演算部15-4に対しては、演算係数16-4として、閾値として低い閾値Sth4(図8参照)を設定するとともに、高周波のノイズ成分を除去するフィルタ係数を設定することが可能となる。
また、領域演算部15-2及び15-3に対しても同様に、第2領域50-2及び第3領域50-3それぞれで予測される物体までの距離に応じて最適な演算係数16-2及び16-3を設定することが可能となる。
(演算係数の例)
本開示に係る領域演算部15-1~15-4に設定される演算係数16-1~16-4としては、例えば、図11に例示するように、上述した、検出された光から反射光L2の成分を抽出するための閾値(以下、エコー閾値という)と、ノイズ成分を除去するためのフィルタ係数(以下、単にフィルタ係数という)との他に、取得する深度画像の解像度(以下、単に解像度という)や、使用SPADアレイ142から深度画像を読み出すフレームレート(以下、単にフレームレートという)や、ヒストグラムの出力範囲(時間帯)(以下、(以下、ヒストグラム出力範囲という)などを例示することができる。
エコー閾値は、上述したように、SPAD画素20で検出された光から反射光L2の成分を抽出するための閾値であり、図11に例示するように、例えば、物体が近距離に存在する可能性の高い第1領域50-1ほど高く、物体が遠距離に存在する可能性の高い第4領域50-4ほど低い値に設定されてよい。
フィルタ係数は、上述したように、作成されたヒストグラムからノイズ成分を除去するためのフィルタ係数であり、図11に例示するように、例えば、第1領域50-1ほど低周波成分をカットするフィルタ係数が設定され、第4領域50-4ほど高周波成分をカットするフィルタ係数が設定されてよい。
解像度は、上述したように、例えば、1つの画素を構成するマクロ画素30の数を変更することで、変更することができる。この解像度は、図11に例示するように、例えば、第1領域50-1ほど高く、第4領域50-4ほど低い値に設定されてよい。解像度を低くすることで、1画素のダイナミックレンジを広げることが可能となるため、遠距離の物体で反射した弱い反射光L2を検出することが可能となる。一方、解像度を高くすることで、よりきめ細やかな深度画像を取得することが可能となるため、測距精度を高めることが可能となる。
フレームレートは、例えば、後述するヒストグラム回路152が作成するヒストグラムのビン数及び発光部13の発光周期を変更することで、変更することができる。例えば、ヒストグラムのビン数を1/2とし、発光部13の発光周期を2倍とすることで、フレームレートを2倍にすることができる。このフレームレートは、図11に例示するように、例えば、第1領域50-1ほど高く、第4領域50-4ほど低い値に設定されてよい。フレームレートを高くすることで、より高サイクルで物体までの距離を測定することが可能となるため、物体に対する反応を迅速に開始することが可能となる。一方、フレームレートを低くすることで、データ処理量を削減することが可能となるため、処理時間の短縮や消費電力の削減を達成することができる。
ヒストグラム出力範囲は、例えば、作成したヒストグラムのうちの出力する範囲(時間帯)を変更することで、変更することができる。例えば、近距離に位置する物体までの距離を算出する場合には、ヒストグラムにおける前の時間帯を出力することで、出力帯域を削減することが可能となる。一方、遠距離に位置する物体までの距離を算出する場合には、ヒストグラムにおける後の時間帯を出力することで、同様に、出力帯域を削減することが可能となる。このヒストグラムの出力範囲は、図11に例示するように、例えば、第1領域50-1ほどヒストグラムにおける前の時間帯とし、第4領域50-4ほど後の時間帯とされてよい。ヒストグラムの出力範囲を絞り込むことで、データ処理量を削減することが可能となるため、処理時間の短縮や消費電力の削減を達成することができる。
ただし、上述した演算係数は、単なる例に過ぎず、種々追加・変更することが可能である。例えば、ヒストグラムから外乱光によるノイズを引算する際の値や、サンプリング周波数などを、演算係数に含めることも可能である。
(演算部の概略構成例)
図12は、本開示に係る演算部の概略構成例を示すブロック図である。図12に示すように、各領域演算部15-1~15-4は、サンプリング回路150と、SPAD加算回路151と、ヒストグラム回路152と、フィルタ回路153と、エコー検出回路154と、レジスタブロック155とを備えている。
レジスタブロック155は、例えば、SRAM(Static Random Access Memory)等で構成されたメモリ領域であり、対応する領域演算部に属するサンプリング回路150、SPAD加算回路151、ヒストグラム回路152、フィルタ回路153及びエコー検出回路154それぞれが実行する演算処理において使用する個別の演算係数を格納する。
サンプリング回路150は、例えば、対応する領域演算部のレジスタブロック155に格納されている演算係数のうちの解像度に従って、SPADアレイ141から出力回路145を介して出力された信号V_OUTのパルス波形を、SPAD加算回路151の動作クロックに応じた時間幅のパルス波形の検出信号に変換して出力する。
SPAD加算回路151は、対応するマクロ画素30からサンプリング周期ごとに入力された検出信号V_OUTをカウントすることで、フォトンの入射が検出されたSPAD画素20の個数(検出数)をサンプリング周期ごとに計数し、この計数値をマクロ画素30の画素値として出力する。
ここで、サンプリング周期とは、発光部13がレーザ光L1を出射してから受光部14でフォトンの入射が検出されるまでの時間(飛行時間)を計測する周期である。このサンプリング周期には、発光部13の発光周期よりも短い周期が設定される。例えば、サンプリング周期をより短くすることで、より高い時間分解能で、発光部13から出射して物体90で反射したフォトンの飛行時間を算出することが可能となる。これは、サンプリング周波数をより高くすることで、より高い測距分解能で物体90までの距離を算出することが可能となることを意味している。
例えば、発光部13がレーザ光L1を出射して、このレーザ光L1が物体90で反射し、この反射光L2が受光部14に入射するまでの飛行時間をtとすると、光速Cが一定(C≒300,000,000m(メートル)/s(秒)であることから、物体90までの距離Lは、以下の式(1)ように算出することができる。
L=C×t/2 (1)
そこで、サンプリング周波数を1GHzとすると、サンプリング周期は1ns(ナノ秒)となる。その場合、1つのサンプリング周期は、15cm(センチメートル)に相当する。これは、サンプリング周波数を1GHzとした場合の測距分解能が15cmであることを示している。また、サンプリング周波数を2倍の2GHzとすると、サンプリング周期は0.5ns(ナノ秒)となるため、1つのサンプリング周期は、7.5cm(センチメートル)に相当する。これは、サンプリング周波数を2倍とした場合、測距分解能を1/2にすることができることを示している。このように、サンプリング周波数を高くしてサンプリング周期を短くすることで、より精度良く、物体90までの距離を算出することが可能となる。
ヒストグラム回路152は、例えば、対応する領域演算部のレジスタブロック155に格納されている演算係数のうちのフレームレート及び/又はヒストグラムの作成範囲に従って、サンプリング回路150で同期して算出された画素ごとの画素値を、当該画素のヒストグラムにおけるサンプリング周期に対応したビン、言い換えれば、飛行時間に対応したビンの値に加算することで、画素ごとのヒストグラム(例えば、図7又は図8参照)を作成する。
フィルタ回路153は、例えば、対応する領域演算部のレジスタブロック155に格納されている演算係数のうちのノイズカットのフィルタ係数に従って、ヒストグラム回路152で作成されたヒストグラムに対してフィルタ処理を実行することで、フィルタ係数に応じた周波数帯のノイズを除去する。
エコー検出回路154は、例えば、対応する領域演算部のレジスタブロック155に格納されている演算係数のうちのエコー閾値に従って、ノイズ除去後のヒストグラムから反射光L2の成分を抽出し、抽出した反射光L2の成分において、累積画素値がピークとなるビン番号(飛行時間)から、各画素に写された物体までの距離を算出する。
以上のようにして算出された物体までの距離で構成されたフレーム画像51-1~51-4は、例えば、制御部11や外部出力I/F19を介してホスト80へ入力されてよい。
(受光部及び演算部のチップ構成例)
図13は、本開示に係るToFセンサにおける受光部及び演算部の積層構造例を示す図である。図13に示すように、受光部14及び演算部15は、受光チップ101と回路チップ102とが上下に貼り合わされた貼合せチップ100の構造を備える。受光チップ101は、例えば、受光部14のSPAD画素20におけるフォトダイオード21が配列するSPADアレイ141を備える半導体チップであり、回路チップ102は、例えば、受光部14におけるSPAD画素20のフォトダイオード21以外の構成及び図1における演算部15が配置された半導体チップである。
受光チップ101と回路チップ102との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅(Cu)製の電極パッド同士をボンディングする、いわゆるCu-Cu接合や、その他、バンプ接合などを用いることも可能である。
また、受光チップ101と回路チップ102とは、例えば、半導体基板を貫通するTSV(Through-Silicon Via)などの接続部を介して電気的に接続される。TSVを用いた接続には、例えば、受光チップ101に設けられたTSVと受光チップ101から回路チップ102にかけて設けられたTSVとの2つのTSVをチップ外表で接続する、いわゆるツインTSV方式や、受光チップ101から回路チップ102まで貫通するTSVで両者を接続する、いわゆるシェアードTSV方式などを採用することができる。
ただし、受光チップ101と回路チップ102との接合にCu-Cu接合やバンプ接合を用いた場合には、Cu-Cu接合部やバンプ接合部を介して両者が電気的に接続される。
なお、図13に示す貼合せチップ100には、受光部14及び演算部15に限られず、発光部13や制御部11やその他の部が含まれていてもよい。
(各チップの平面レイアウト例)
図14は、受光チップ101における受光面の平面レイアウトの一例を示す図である。図14に示すように、受光チップ101の受光面における有効画素領域120には、複数のフォトダイオード21が2次元格子状に配列した構成を備える。使用SPADアレイ142に属するSPAD画素20のフォトダイオード21は、有効画素領域120の一部のフォトダイオード21であってよいし、全部のフォトダイオード21であってもよい。
図15は、回路チップ102における受光チップ101側の面の平面レイアウト例を示す図である。図15に示すように、回路チップ102における使用SPADアレイ142の領域と対応する領域には、SPAD画素20における読出し回路22が2次元格子状に配列する読出し回路領域22Aが配置されている。また、読出し回路領域22Aに隣接する領域には、4つの領域演算部15-1~15-4が並列に配置されている。
各領域演算部15-1~15-4では、読出し回路領域22Aに近い領域から順に、サンプリング回路150、ヒストグラム回路152、フィルタ回路153及びエコー検出回路154が配置されている。このように、読出し回路22から出力された検出信号に対して処理を実行する順に配置することで、読出しから出力までの配線長を短くすることが可能となるため、信号遅延などを低減することが可能となる。
また、サンプリング回路150、ヒストグラム回路152、フィルタ回路153及びエコー検出回路154の並びに対して並行するように、レジスタブロック155が配置されている。このように、サンプリング回路150、ヒストグラム回路152、フィルタ回路153及びエコー検出回路154に対して近接するようにレジスタブロック155を配置することで、レジスタブロック155から各回路への信号線の引回しを簡素化することが可能となる。
さらに、以上のように、演算部15を4つの領域演算部15-1~15-4に分割することで、個々の領域演算部の回路設計が容易化するとともに、1つの領域演算部の回路パターンを他の3つの領域演算部に使い回すことが可能となるため、回路設計に要する手間や時間を大幅に短縮することが可能となるというメリットも得られる。
図1~図15に示す光検出装置10及び測距システムでは、使用SPADアレイ142の画角を複数の領域(フレーム画像51-1~51-4に相当)に分割し、領域ごとに独立した演算係数を設定することが可能となるため、それぞれの領域に存在する可能性の高い物体までの距離に応じて領域ごとに最適な演算係数を設定することが可能となる。それにより、それぞれの領域で最適な演算係数を用いて物体までの距離を算出すことが可能となるため、例えば、測距範囲AR内に近距離の物体と遠距離の物体とが存在する場合でも、測距精度が低下することを低減することが可能となる。
また、各領域に対する領域演算部15-1~15-4を同じ回路パターンとすることが可能となるため、回路設計に要する手間や時間を大幅に短縮することも可能となる。
さらに、例えば、一部の領域に対しては測距処理を行なわない場合には、該当する演算部(領域演算部15-1~15-4の何れか)に対する電力供給を停止することが可能となるため、状況に応じて消費電力を削減できるというメリットも存在する。
なお、図1~図15に示す光検出装置10及び測距システム1では、使用SPADアレイ142の画角SRを水平方向へ往復走査する場合を例示したが、これに限定されず、使用SPADアレイ142の長手方向を水平方向とし、使用SPADアレイ142の画角SRを垂直方向へ往復走査するように構成することも可能である。
図1~図15に示す光検出装置10及び測距システム1は、図12に示すように、複数の領域演算部15-1~15-4を有し、各領域演算部15-1~15-4はサンプリング回路150、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154を有しており、内部構成が複雑であるにもかかわらず、故障診断機能を備えていない。このため、測距システム1内の一部の回路が故障しても、その故障を迅速に検出することができず、機能安全の観点で不十分である。
そこで、以下に説明する光検出装置10及び測距システム1は、故障診断機能を備えていることを特徴とする。具体的には、本開示による光検出装置10は、SPADアレイ(アレイ部)141と演算部15を備える他に、故障検出部4を備えている。SPADアレイは、図1に示すSPADアレイと同様であり、複数の受光領域を有し、各受光領域内に複数の受光素子(フォトダイオード21)が配置されている。演算部15は、複数の受光領域のそれぞれに含まれる1つ以上の受光素子21を含む画素ごとに、画素内の受光素子21が光を受光した回数及び受光タイミングに関するヒストグラムを生成する。故障検出部4は、演算部15内の故障を検出する。故障検出部4の具体的な構成には複数の候補が考えられるため、以下、順に説明する。
(第1の実施形態)
図16は第1の実施形態に係る光検出装置10のブロック図である。図16の光検出装置10は、図12と同様に、4つの領域142-1~142-4に分割されるSPADアレイ141と、演算部15と、故障検出部4と、制御部5と、外部出力インタフェース部(以下、外部出力I/F)19と、エラー出力I/F7とを備えている。以下では、SPADアレイ141内の4つの分割領域を、SPADアレイ領域0~3(142-1~142-4)と呼ぶ。
演算部15は、SPADアレイ領域0~3(142-1~142-4)に対応する4つの領域演算部15-1~15-4とを有する。4つの領域演算部15-1~15-4のそれぞれは、サンプリング回路150と、SPAD加算回路151と、ヒストグラム回路152と、フィルタ回路153と、エコー検出回路154と、レジスタブロック33との少なくとも一部の回路を有する。領域演算部15-1~15-4内の各回路は、図12に示したものと同様の動作を行う。各領域演算部15-1~15-4の出力信号は、外部出力I/F19を介して外部に出力される。レジスタブロック33は、対応する領域演算部15-1~15-4内の各処理回路が演算処理を行うのに最適な演算係数を記憶する。
サンプリング回路150は、複数の受光領域のそれぞれに含まれる複数の受光素子21の出力信号を所定のサンプリング周期でサンプリングして、複数の受光素子21が光を受光したことを示す検出信号を画素ごとに出力する。SPAD加算回路151は、画素(マクロ画素30)ごとに検出信号の数を加算した画素値を生成する。ヒストグラム回路152は、SPAD加算回路151で生成された画素値に基づいて、複数の受光領域のそれぞれにおける画素ごとのヒストグラムを生成する。フィルタ回路153は、ヒストグラム回路152で生成されたヒストグラムに含まれるノイズ成分を除去する。エコー検出回路154は、フィルタ回路153でノイズ成分を除去した後のヒストグラムに基づいて、光を投光してから、光が物体で反射されてアレイ部で受光されるまでの時間差を検出して物体までの距離を計測する。
故障検出部4は、4つの領域演算部15-1~15-4のうち、2つの領域演算部に同一のテストパターンを入力し、2つの領域演算部の出力信号が同一でなければ、2つの領域演算部のうちいずれか一方が故障したと判断する。
故障検出部4は、4つの領域演算部15-1~15-4に対応する4つのセレクタ8及び4つのパターン生成器(PG)9と、2つの比較器31とを有する。
各パターン生成器9は、故障診断時にテストパターン信号を生成する。故障検出部4内の4つのパターン生成器9は、それぞれテストパターン信号を生成する。生成されたテストパターン信号は、対応するセレクタ8に入力される。各パターン生成器9は、時間に応じてテストパターン信号を変化させる。例えば、各パターン生成器9は、時間に応じてランダムにパターンが変化するテストパターン信号を生成する。各パターン生成器9は、疑似乱数によってテストパターン信号を生成してもよい。各比較器31に対応する2つのパターン生成器9は、同じようにパターン系列が変化するテストパターン信号を生成する。
各セレクタ8は、サンプリング回路150でサンプリングされた検出信号と、パターン生成器9で生成されたテストパターン信号とのいずれか一方を選択して、対応するSPAD加算回路151に入力する。各セレクタ8は、通常動作時にはサンプリング回路150でサンプリングされた検出信号を選択し、故障診断時にはテストパターン信号を選択する。
故障診断時には、例えば、各SPAD加算回路151に同一のテストパターン信号が入力され、かつ各レジスタブロック33が各領域演算部15-1~15-4に同一の演算係数を設定する。このため、SPAD加算回路151、ヒストグラム回路152、フィルタ回路153およびエコー検出回路154は、SPAD加算回路151に入力されたテストパターン信号に基づいて各処理を行う。
故障検出部4は、4つの領域演算部15-1~15-4に対して2つの比較器31を有する。各比較器31は、故障診断時に、互いに異なる2つの領域演算部の出力信号同士を比較する。故障診断時に、各SPAD加算回路151に同一のテストパターン信号が入力され、かつ各レジスタブロック33が各領域演算部15-1~15-4に同一の演算係数が設定することにより、各SPAD加算回路151、各ヒストグラム回路152、各フィルタ回路153および各エコー検出回路154が正常に動作している場合には、各エコー検出回路154の出力信号は同一になる。よって、各比較器31は、比較結果が一致したことを示す信号を出力する。
故障診断時に比較器31に入力される2つの領域演算部のうち、1つの領域演算部内の少なくとも一部の回路が故障した場合は、これら2つの領域演算部の出力信号同士が一致しなくなり、比較器31は、比較結果が一致しないことを示す信号を出力する。これにより、この比較器31に入力される2つの領域演算部のうちいずれか一方が故障したと判断することができる。
比較器31から出力される比較結果信号は、例えばエラー出力I/F7や外部出力I/F19を介して外部に出力される。比較器31から出力される比較結果信号にて、演算部15内のいずれかの領域演算部15-1~15-4が故障したことを検出することができる。
制御部5は、セレクタ8の切替を行う。具体的には、制御部5は、通常動作時には、サンプリング回路150から出力された検出信号をセレクタ8に選択させ、故障診断時には、パターン生成器9から出力されたテストパターン信号をセレクタ8に選択させる。
エラー出力I/F7は、故障が検出されたことを報知する。なお、エラー出力I/F7を省略して、外部出力I/F19にて、故障が検出されたことを報知してもよい。故障が検出された場合には、例えば、エラー出力I/F7や外部出力I/F19からの出力信号にて、不図示のホストプロセッサに対して割り込みをかけるようにしてもよい。あるいは、ホストプロセッサが、エラー出力I/F7、外部出力I/F19、及び各種レジスタの値を定期的にポーリングして故障を検出するようにしてもよい。あるいは、外部出力I/F19から出力される所定のフォーマット(例えば、MIPI:Mobile Industry Processor Interface、I2C:Inter-Integrated Circuits、SPI:Serial Peripheral Interfaceなど)のデータに、故障検出結果の有無の情報を付加してもよい。
このように、第1の実施形態に係る光検出装置10は、演算部15内の4つの領域演算部15-1~15-4の出力信号のうち2つずつを互いに異なる比較器31に入力し、故障診断時には、各領域演算部15-1~15-4に同一のテストパターン信号を入力する。これにより、一部の領域演算部内の少なくとも一部の回路が故障すると、故障した回路を有する領域演算部の出力信号が入力される比較器31にて不一致が検出される。これにより、いずれかの比較器31にて不一致が検出されたか否かにより、演算部15内の4つの領域演算部15-1~15-4のいずれかが故障したか否かを検出できる。
図16の光検出装置10では、演算部15内の4つの領域演算部15-1~15-4のいずれかが故障したことはわかるが、どの領域演算部が故障したのかを特定することはできない。そこで、故障した領域演算部を特定するための他の仕組みを設けてもよい。例えば、一つの比較器31で比較結果の不一致が検出された場合、その比較器31に接続されている2つの領域演算部内のヒストグラム回路152内の不図示のメモリと、エコー検出回路154内の不図示のメモリに、何らかのデータを書き込んで、書き込んだデータが正常に読み出せるか否かのベリファイ処理を行ってもよい。これにより、メモリが故障した領域演算部を特定することができる。
図16では、SPADアレイ領域0~3(142-1~142-4)と、4つのサンプリング回路150と、4つの領域演算部15-1~15-4を有する演算部15とを設ける例を示したが、SPADアレイ領域の数は必ずしも4つである必要はない。n(nは2以上の整数)個のSPADアレイ領域が存在する場合には、n個のサンプリング回路150と、n個の領域演算部15-1~15-4を有する演算部15と、n個のパターン生成器9と、n個のセレクタ8とが設けられる。nが偶数の場合には、n/2個の比較器31が設けられる。以降に説明する各実施形態においても、nの値は任意であるが、後述する実施形態によっては、奇数であったり、偶数であったりする。
(第2の実施形態)
図17は第2の実施形態に係る光検出装置10のブロック図である。以下では、図16の光検出装置10との相違点を中心に説明する。
図17の光検出装置10は、図16と同様の構成の演算部15を備えている。図17の故障検出部4は、図16の故障検出部4の内部構成に加えて、符号化部32を有する。すなわち、図17の故障検出部4は、4つの領域演算部15-1~15-4に対応する4つのセレクタ8及び4つのパターン生成器9と、2つの比較器31と、符号化部32とを有する。
符号化部32は、故障診断時に、対応する領域演算部15-1~15-4の出力信号の符号化データを生成する。符号化データは、例えばCRC(Cyclic Redundancy Check)信号である。本願図面では、符号化部32をCRC32と表記する。CRC信号は、領域演算部15-1~15-4の出力信号をデータ圧縮して生成される。例えば、省電力化を目的に、故障診断時に領域演算部を同時に動作させない場合に各領域演算部の出力結果を保存し、比較する領域演算部同士の演算が完了した後に両者の出力を比較する場合がある。その際、領域演算部15-1~15-4の出力信号自体を保存するよりも、保存するビット数を削減できる。よって、領域演算部15-1~15-4の出力結果を保存する際のコストを削減できる。
符号化部32は、本実施形態に係る光検出装置10を備える測距システム1が通信用途で符号化部32を既に搭載している場合には、その符号化部32を流用してCRC信号を生成でき、新たに符号化部32を設ける必要がない。
図17の比較器31は、2つの符号化部32で生成された2つのCRC同士を比較する。上述したように、CRC信号のビット数は領域演算部15-1~15-4の出力信号のビット数よりも少ないため、比較器31の内部構成をより簡略化できる。
このように、第2の実施形態に係る光検出装置10では、各領域演算部15-1~15-4の出力信号を符号化した符号化データ同士を比較するため、各領域演算部15-1~15-4の出力信号同士を比較するよりも、比較器31の構成を簡略化でき、かつ領域演算部15-1~15-4の出力結果を保存する際のビット数を削減できる。
(第3の実施形態)
上述した第1及び第2の実施形態では、演算部15内に偶数個の領域演算部15-1~15-4が設けられており、故障検出部4は、偶数個の領域演算部15-1~15-4を2つずつの組に分けて、各組の2つの領域演算部に同一のテストパターン信号を入力し、2つの領域演算部の出力信号が同一でなければ、2つの領域演算部のうちいずれか一方が故障したと判断している。これに対して、以下に説明する第3の実施形態は、演算部15内に奇数個の領域演算部15-1~15-3が設けられている場合を示している。なお、奇数個とは、3つに限られず、5つ以上の奇数個でもよい。
図18は第3の実施形態に係る光検出装置10のブロック図である。図18の光検出装置10は、SPADアレイ領域0~2と、3つの領域演算部15-1~15-3を有する演算部15と、故障検出部4とを備えている。
故障検出部4は、3つのパターン生成器9と、3つのセレクタ8と、2つの比較器31とを有する。各比較器31は、3つの領域演算部15-1~15-3のうち2つの領域演算部の出力信号同士を比較する。3つの領域演算部15-1~15-3のうち、1つの領域演算部の出力信号は、2つの比較器31の双方に入力される。残りの2つの領域演算部の出力信号は、2つの比較器31のいずれか一方に入力される。これにより、2つの比較器31は、1つの領域演算部の出力信号を重複して用いて、2つの領域演算部の出力信号同士を比較する。
2つの比較器31の少なくとも一方で、比較結果の不一致が検出されると、演算部15内のいずれかの領域演算部が故障したと判断することができる。
なお、図18の光検出装置10に図17と同様に、各領域演算部15-1~15-3の出力信号を符号化する複数の符号化部32を設けて、複数の符号化データを比較器31に入力してもよい。
このように、第3の実施形態では、演算部15内に奇数個の領域演算部15-1~15-3が設けられているが、一部の領域演算部の出力信号を重複して複数の比較器31に入力することで、演算部15内のすべての領域演算部15-1~15-3を2つずつの組に分けて、2つの領域演算部の出力信号同士を各比較器31で比較することができ、第1及び第2の実施形態と同様に、演算部15内のいずれかの領域演算部15-1~15-3が故障したことを検出できる。
(第4の実施形態)
上述した第1~第3の実施形態に係る光検出装置10では、演算部15内のいずれかの領域演算部が故障したことはわかっても、どの領域演算部が故障したかを故障検出部4で特定することはできず、特定するには、上述したように故障検出部4に加えて、ベリファイ手段などが必要となる。以下に説明する第4の実施形態に係る光検出装置10は、故障した領域演算部を故障検出部4で特定できるようにしたものである。
図19は第4の実施形態に係る光検出装置10のブロック図である。以下では、図16の光検出装置10との相違点を中心に説明する。図19の光検出装置10は、SPADアレイ領域0~2と、3つの領域演算部15-1~15-3を有する演算部15と、故障検出部4とを備えている。
故障検出部4は、3つの領域演算部15-1~15-3に対応する3つのパターン生成器9及び3つのセレクタ8と、1つの比較器31とを有する。比較器31には、3つの領域演算部15-1~15-3の出力信号が入力され、これら3つの出力信号同士を比較する。そして、3つの出力信号のうち、1つの出力信号が残り2つの出力信号と異なる場合には、その1つの出力信号を出力した領域演算部が故障したと特定することができる。
このように、比較器31は、入力された3つの出力信号同士を比較して、多数決により、故障した領域演算部を特定することができる。
図19では、3つの領域演算部15-1~15-3の出力信号を比較器31に入力しているが、4つ以上の領域演算部の出力信号を比較器31に入力し、多数決により故障した領域演算部を特定することも可能である。例えば、4つの領域演算部15-1~15-4の出力信号が比較器31に入力された場合、そのうちの1つの出力信号が残りの3つの出力信号と異なる場合には、その1つの出力信号を出力した領域演算部が故障したと特定することができる。
なお、図19の光検出装置10に図17と同様に、各領域演算部15-1~15-3の出力信号を符号化する複数の符号化部32を設けて、複数の符号化データを比較器31に入力してもよい。
このように、第4の実施形態では、比較器31に3つ以上の領域演算部の出力信号を入力して出力信号同士を比較し、多数決により、故障した領域演算部を特定するため、簡易な構成で故障箇所を特定することができる。
(第5の実施形態)
第5の実施形態では、領域演算部15-1~15-4内の複数段の処理回路を個別に誤り診断するものである。
図20は第5の実施形態に係る光検出装置10のブロック図である。図20の光検出装置10は、故障検出部4の内部構成が図16の故障検出部4とは異なっている。図20の故障検出部4は、4つの領域演算部15-1~15-4に対応する4つのパターン生成器9及び4つのセレクタ8を有する他に、各領域演算部15-1~15-4内の複数段の処理回路の出力信号が入力される複数の比較器31(第1~第4比較器31-1~31-4)を有する。ここで、処理回路とは、領域演算部15-1~15-4内のサンプリング回路150、SPAD加算回路151、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154である。
図20の例では、4つの領域演算部15-1~15-4内の4つのSPAD加算回路151の出力信号を2つずつ組にして2つの第1比較器31-1に入力し、出力信号同士が一致しなければ、いずれかのSPAD加算回路151が故障したことを検出する。同様に、4つの領域演算部15-1~15-4内の4つのヒストグラム回路152の出力信号を2つずつ組にして2つの第2比較器31-2に入力し、出力信号同士が一致しなければ、いずれかのヒストグラム回路152が故障したことを検出する。同様に、4つの領域演算部15-1~15-4内の4つのフィルタ回路153の出力信号を2つずつ組にして2つの第3比較器31-3に入力し、出力信号同士が一致しなければ、いずれかのフィルタ回路153が故障したことを検出する。同様に、4つの領域演算部15-1~15-4内の4つのエコー検出回路154の出力信号を2つずつ組にして2つの第4比較器31-4に入力し、出力信号同士が一致しなければ、いずれかのエコー検出回路154が故障したことを検出する。
図20の故障検出部4は、合計8つの比較器31(第1~第4比較器31-1~31-4が2個ずつ)を有しており、各比較器31にて、各領域演算部15-1~15-4内のどの処理回路で故障が起きたかを検出することができる。各比較器31の出力信号は、例えばエラー出力I/F7又は外部出力I/F19を介して外部に出力される。
図20の故障検出部4は、各領域演算部15-1~15-4内の各処理回路の出力信号を二つずつ第1~第4比較器31-1~31-4に入力しているが、図19と同様に、各処理回路の出力信号を三つ以上ずつ比較器31に入力して、多数決により、どの処理回路が故障したかを特定できるようにしてもよい。
また、図17と同様に、各処理回路の出力信号を符号化した符号化データを比較器31に入力してもよい。
このように、第5の実施形態では、複数の領域演算部15-1~15-4内の各段の処理回路の出力信号同士を対応する比較器31(第1~第4比較器31-1~31-4)で比較するようにしたため、領域演算部15-1~15-4内のどの処理回路が故障したかを検出することができる。
(第6の実施形態)
第6の実施形態では、サンプリング回路150と演算回路内の複数箇所にテストパターン信号を入力して、複数箇所で故障検出を行うものである。
図21は第6の実施形態に係る光検出装置10のブロック図である。図21の光検出装置10は、故障検出部4の内部構成が図16の故障検出部4とは異なっている。図21の故障検出部4は、SPADアレイ領域0~3(142-1~142-4)と4つのサンプリング回路150の間に配置される4つの第1パターン生成器9-1及び4つの第1セレクタ8-1と、4つのSPAD加算器の出力信号が2つずつ組にして入力される2つの第1比較器31-1と、4つのSPAD加算器と4つのヒストグラム回路152との間に配置される4つの第2パターン生成器9-2及び4つの第2セレクタ8-2と、4つのエコー検出回路154の出力信号が2つずつ組にして入力される2つの第2比較器31-2とを備えている。
4つの第1パターン生成器9-1及び4つの第1セレクタ8-1と、2つの第1比較器31-1とは、テストモード時に、4つのサンプリング回路150と4つのSPAD加算回路151の故障を検出するために用いられる。2つの第1比較器31-1の少なくとも一方で出力信号同士の不一致が検出されると、4つのサンプリング回路150と4つのSPAD加算回路151のいずれかが故障したことが検出される。4つの第1パターン生成器9-1で生成される4つのテストパターンは、疑似乱数等により生成されるランダムなパターンであり、2つの第1比較器31-1のそれぞれに対応する2つのテストパターンは同じようにパターン系列が変化するパターンである。
4つの第2パターン生成器9-2及び4つの第2セレクタ8-2と、2つの第2比較器31-2とは、テストモード時に、4つのヒストグラム回路152と、4つのフィルタ回路153と、4つのエコー検出回路154とのいずれかが故障したことを検出するために用いられる。2つの第2比較器31-2の少なくとも一方で出力信号同士の不一致が検出されると、4つのヒストグラム回路152と、4つのフィルタ回路153と、4つのエコー検出回路154のいずれかが故障したことが検出される。4つの第2パターン生成器9-2で生成される4つのテストパターンは、疑似乱数等により生成されるランダムなパターンであり、2つの第2比較器31-2のそれぞれに対応する2つのテストパターンは同じようにパターン系列が変化するパターンである。
制御部5は、故障診断時に、第1故障診断モードと第2故障診断モードのいずれかを選択する。制御部5にて第1故障診断モードが選択されると、第1セレクタ8-1は第1テストパターンを選択してサンプリング回路150に入力する。この場合、第1テストパターンに基づいて、サンプリング回路150とSPAD加算回路151の処理が順次行われ、4つのSPAD加算回路151の出力信号が2つずつ組にして2つの第1比較器31-1に入力される。これにより、2つの第1比較器31-1は、第1故障診断モードの選択時には、4つのサンプリング回路150、又は4つのSPAD加算回路151のいずれかが故障したことを検出できる。
制御部5にて第2故障診断モードが選択されると、第2セレクタ8-2は第2テストパターンを選択してヒストグラム回路152に入力する。この場合、第2テストパターンに基づいて、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154の処理が順次行われ、4つのエコー検出回路154の出力信号が2つずつ組にして2つの第2比較器31-2に入力される。これにより、2つの第2比較器31-2は、第2故障診断モードの選択時には、4つのヒストグラム回路152、4つのフィルタ回路153、又は4つのエコー検出回路154のいずれかが故障したことを検出できる。
図22は図21の一変形例に係る光検出装置10のブロック図である。図22は、図21とは異なる場所に2つの第1比較器31-1が設けられている。図22における2つの第1比較器31-1には、ヒストグラム回路152の出力信号が2つずつ組にして入力されている。
制御部5は、故障診断時に、第1故障診断モードと第2故障診断モードのいずれかを選択する。制御部5にて第1故障診断モードが選択されると、第1セレクタ8-1は第1テストパターンを選択してサンプリング回路150に入力する。この場合、第1テストパターンに基づいて、サンプリング回路150、SPAD加算回路151、及びヒストグラム回路152の処理が順次行われ、4つのヒストグラム回路152の出力信号が2つずつ組にして2つの第1比較器31-1に入力される。これにより、2つの第1比較器31-1は、第1故障診断モードの選択時には、4つのサンプリング回路150、4つのSPAD加算回路151、又は4つのヒストグラム回路152のいずれかが故障したことを検出できる。
制御部5にて第2故障診断モードが選択されると、第2セレクタ8-2は第2テストパターンを選択してヒストグラム回路152に入力する。この場合、第2テストパターンに基づいて、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154の処理が順次行われ、4つのエコー検出回路154の出力信号が2つずつ組にして2つの第2比較器31-2に入力される。これにより、2つの第2比較器31-2は、第2故障診断モードの選択時には、4つのヒストグラム回路152、4つのフィルタ回路153、又は4つのエコー検出回路154のいずれかが故障したことを検出できる。
図21及び図22の光検出装置10においても、3つ以上の出力信号を一つの第1比較器31-1又は第2比較器31-2に入力して、多数決により、故障した処理回路を特定してもよい。
また、図17と同様に、各処理回路の出力信号を符号化した符号化データを比較器31に入力してもよい。
このように、第6の実施形態では、光検出装置10内の複数箇所にテストパターンを入力するとともに、各領域演算部15-1~15-4内の複数段の処理回路のうち、それぞれ異なる段の処理回路の出力信号を別個の比較器31に入力するため、光検出装置10内のどこで故障が起きたかを特定しやすくなる。
(第7の実施形態)
第7の実施形態に係る光検出装置10は、SPADアレイ141内の画素数が演算部15で処理可能な画素数よりも多い場合を示している。
図23は第7の実施形態に係る光検出装置10のブロック図である。図23の光検出装置10は、SPADアレイ141と、サンプリング回路150と、セレクタ8と、カラムシフト数設定レジスタ34と、4つの領域演算部15-1~15-4を有する演算部15と、故障検出部4とを備えている。故障検出部4は、パターン生成器9と、2つの比較器31とを有する。
本実施形態では、SPADアレイ141内の画素数が、演算部15で処理可能な画素数よりも多いことを想定しており、SPADアレイ141内のカラム方向の画素群ごとに演算部15で距離計測処理を行うものである。
サンプリング回路150は、SPADアレイ141内の画素数に応じた数の検出信号を出力する。サンプリング回路150から出力された検出信号は、通常動作時には、カラムシフト数設定レジスタ34に設定されたカラム数だけシフトされて、セレクタ8から出力される。このように、SPADアレイ141内の一部のカラム内の各画素に対応する検出信号がセレクタ8で選択されて、演算部15に供給される。
セレクタ8は、サンプリング回路150と4つのSPAD加算器との間に配置されている。セレクタ8は、通常動作時には、サンプリング回路150から出力された検出信号を、上述したようにカラムシフトさせた後に各SPAD加算回路151に供給する。
一方、セレクタ8は、故障診断時には、カラムごとにシフトさせる動作(以下、カラムシフトと呼ぶ)を行うことなく、パターン生成器9で生成されたテストパターン信号を選択して、演算部15内の各SPAD加算回路151に供給する。
演算部15は、図16と同様に、4つの領域演算部15-1~15-4を有し、各領域演算部15-1~15-4は、SPAD加算回路151と、ヒストグラム回路152と、フィルタ回路153と、エコー検出回路154とを有する。4つのエコー検出回路154の出力信号は、2つずつ組にして、2つの比較器31に入力される。比較器31の比較動作は図16と同様である。
図24は図23の一変形例に係る光検出装置10のブロック図である。図24の光検出装置10におけるSPAD加算回路151は、SPADアレイ141内の全画素についての画素値を検出する。SPAD加算回路151の後段側のヒストグラム回路152、フィルタ回路153、及びエコー検出回路154は、SPADアレイ141内の画素数よりも少ない画素数を処理可能である。
SPAD加算回路151から出力された画素値は、カラムシフトされた後に、各ヒストグラム回路152に入力される。
図24の光検出装置10内の4つのセレクタ8は、4つのSPAD加算回路151と、4つのヒストグラム回路152の間に配置されている。各セレクタ8は、通常動作時には、上述したように、各SPAD加算回路151から出力された画素値を、カラムシフトさせた後に、対応するヒストグラム処理部に供給する。一方、各セレクタ8は、故障診断時には、パターン生成器9で生成されたテストパターン信号を選択して、対応するヒストグラム回路152に入力する。
図23及び図24の光検出装置10においても、3つ以上の出力信号を一つの第1比較器31-1又は第2比較器31-2に入力して、多数決により、故障した処理回路を特定してもよい。
また、図17と同様に、各処理回路の出力信号を符号化した符号化データを比較器31に入力してもよい。
このように、第7の実施形態に係る光検出装置10は、SPADアレイ141の画素数が演算部15内の各処理回路の画素数よりも多い場合でも、故障診断時には、テストパターン信号を各処理回路に入力して、故障診断を行うことができる。
(第8の実施形態)
第8の実施形態は、各領域演算部15-1~15-4内の各処理回路が演算処理を行う際に用いる演算係数を記憶するレジスタブロック33が故障診断用の演算係数を記憶するものである。
図25Aは第8の実施形態に係る光検出装置10のブロック図である。図25Aは図17の光検出装置10に類似する構成を備えている。具体的には、図25Aの故障検出部4は、図17の光検出装置10と同様に、4つの領域演算部15-1~15-4に対応する4つのパターン生成器9、4つのセレクタ8、及び4つの符号化部(CRC)32と、2つの比較器31とを有する。この他、図25Aの光検出装置10は、制御部5を備えている。制御部5は、通常動作時又は故障診断時の切替時に、セレクタ8の切替と、レジスタブロック33内の演算係数の切替とを行う。符号化部32は、エコー検出回路154の出力信号を符号化した符号化データを生成する。符号化データは、例えばCRC信号である。なお、符号化部32は、CRC信号以外の符号化データを生成してもよい。
図25Bはレジスタブロック(演算係数記憶部)33の内部構成を示すブロック図である。図25Bに示すように、レジスタブロック33は、通常動作用の演算係数(第1演算係数)を記憶する第1レジスタ35と、故障診断時の演算係数(第2演算係数)を記憶する第2レジスタ36と、制御部5からの制御信号に基づいて第1レジスタ35に記憶された演算係数と第2レジスタ36に記憶された演算係数とのいずれか一方を選択するセレクタ37とを有する。
レジスタブロック33は領域演算部15-1~15-4のそれぞれごとに設けられ、各レジスタブロック33に第2レジスタ36が設けられるため、領域演算部15-1~15-4のそれぞれごとに、故障診断時の演算係数を個別に設定できる。
なお、第8の実施形態に係る光検出装置10は、上述した第1~第7の実施形態に係る光検出装置10と組み合わせることができるため、光検出装置10内のレジスタブロック33と制御部5以外の構成は、第2~第7の実施形態に係る光検出装置10と同じであってもよい。
図25Aの光検出装置10においても、3つ以上の出力信号を一つの第1比較器31-1又は第2比較器31-2に入力して、多数決により、故障した処理回路を特定してもよい。
また、図17と同様に、各処理回路の出力信号を符号化した符号化データを比較器31に入力してもよい。
このように、第8の実施形態では、通常動作用の演算係数と故障診断用の演算係数とをレジスタブロック33に記憶し、制御部5からの指示で、いずれかの演算係数を選択して、各領域演算部15-1~15-4に供給する。これにより、故障診断時に適した演算係数を各領域演算部15-1~15-4に設定した上で、テストパターンを入力して故障診断を行うことができる。また、第8の実施形態では、通常動作時だけでなく、故障診断時においても、領域演算部15-1~15-4のそれぞれごとに、個別の演算係数を設定できる。
(第9の実施形態)
故障診断時には、複数の領域演算部15-1~15-4のそれぞれに同様のパターン系列で変化するテストパターン信号を入力することを想定している。このため、故障診断時に各領域演算部15-1~15-4に設定する演算係数は同一にしても問題が起きないと考えられる。そこで、以下に説明する第9の実施形態では、故障診断時には、複数の領域演算部15-1~15-4に同一の演算係数を設定するようにしたものである。
図26Aは第9の実施形態に係る光検出装置10のブロック図、図26Bは領域演算部15-1~15-4のそれぞれごとに設けられるレジスタブロック33の内部構成を示すブロック図である。以下では、図25A及び図25Bに示す光検出装置10との相違点を中心に説明する。
図26Bに示すレジスタブロック33の内部構成は、図25Bに示すレジスタブロック33とは異なっている。図26Bに示すレジスタブロック33は、通常動作用の演算係数を記憶する通常動作用レジスタ(第1演算係数記憶部)38と、セレクタ39とを有する。
また、第9の実施形態に係る光検出装置10は、領域演算部15-1~15-4のそれぞれごとのレジスタブロック33とは別個に、故障診断用レジスタブロック(第2演算係数記憶部)40を備えている。故障診断用レジスタブロック40は、複数の領域演算部15-1~15-4に対して一つ設けられている。
制御部5は、通常動作時と故障診断時で、領域演算部15-1~15-4のそれぞれごとのレジスタブロック33内のセレクタ39の選択を制御する。これにより、セレクタ39は、通常動作時には、通常動作用レジスタ38に記憶された演算係数を選択し、故障診断時には、故障診断用レジスタブロック40に記憶された演算係数を選択する。
図26Aの光検出装置10においても、3つ以上の出力信号を一つの第1比較器31-1又は第2比較器31-2に入力して、多数決により、故障した処理回路を特定してもよい。
また、図17と同様に、各処理回路の出力信号を符号化した符号化データを比較器31に入力してもよい。
このように、第9の実施形態による光検出装置10では、故障診断時には、複数の領域演算部15-1~15-4で共通の演算係数を設定した上でテストパターン信号を入力するため、領域演算部15-1~15-4のそれぞれごとに設けられるレジスタブロック33の内部構成を簡略化できる。
(第10の実施形態)
第10の実施形態に係る光検出装置10は、通常動作期間と故障診断期間とを完全に切り分けるものである。第10の実施形態に係る光検出装置10は、上述した第1~第9の実施形態に係る光検出装置10と組み合わせて実施することができるため、第1~第9の実施形態のいずれかに係る光検出装置10に準じた内部構成を備えている。
図27は第10の実施形態に係る光検出装置10の動作タイミング図である。図示のように、起動処理期間と距離計測を行う通常動作期間の合間のブランキング期間に、故障診断期間が設けられている。故障診断期間には、光検出装置10での距離計測のための処理を停止する。すなわち、故障診断期間には、SPADアレイ141による受光動作とサンプリング回路150によるサンプリング動作を停止し、演算部15内の各領域演算部15-1~15-4は、パターン生成器9で生成されたテストパターン信号に基づいて、各処理回路を動作させる。
図27の期間制御は、例えば制御部(タイミング制御部)5にて行われる。第10の実施形態に係る制御部5は、SPADアレイ141が受光した光に基づいてヒストグラムを生成する通常動作期間と、SPADアレイ141の受光動作を停止させた状態で、テストパターン信号に基づいて演算部15の故障検出を行う故障診断期間とに分けて、SPADアレイ141及び演算部15を制御する。
このように、第10の実施形態では、通常動作期間での処理動作を停止した状態で故障診断を行うため、通常動作期間内の処理動作に影響されることなく、各領域演算部15-1~15-4の故障診断を行うことができる。
(第11の実施形態)
第11の実施形態に係る光検出装置10は、SPADアレイ141が光を受光して、次の光を受光するまでの間に、故障診断を行うものである。第11の実施形態に係る光検出装置10は、上述した第1~9の実施形態に係る光検出装置10と組み合わせて実施することができるため、光検出装置10の内部構成は、第1~第9の実施形態のいずれかに係る光検出装置10に準じたものである。
図28は第11の実施形態に係る光検出装置10の動作タイミング図である。測距システム1内の発光部は、所定期間ごとに間歇的にレーザ光を発光する。よって、SPADアレイ141は、発光部の発光タイミングに合わせて、間歇的に物体からの反射光を受光する。反射光を受光するタイミングは、物体までの距離により変動するため、SPADアレイ141が光を受光して距離計測を行う期間(以下、センサデータ処理期間と呼ぶ)は、所定の時間幅を有する。SPADアレイ141は、発光部が間歇的に光を発光するタイミングに合わせて、複数のセンサデータ処理期間を有し、個々のセンサデータ処理期間の合間には、SPADアレイ141が光を受光しない期間(以下、非受光期間又はテストデータ処理期間と呼ぶ)が存在する。そこで、第11の実施形態では、非受光期間(テストデータ処理期間)内に故障診断を行う。
図28は、ヒストグラム回路152がヒストグラム生成処理を行うセンサデータ処理期間と、フィルタ回路153がノイズ除去処理を行うセンサデータ処理期間と、エコー検出回路154が距離計測を行うセンサデータ処理期間とを示している。ヒストグラム回路152の処理が終わった後にフィルタ回路153の処理が行われ、その後にエコー検出回路154の処理が行われるため、通常動作時のヒストグラム回路152、フィルタ回路153、及びエコー検出回路154の処理は時間的にシフトされて行われる。第11の実施形態では、これらの処理の合間に、故障診断用のテストパターンを入力して、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154で、順にテストパターンの処理を行う。
図28の期間制御は、例えば制御部(タイミング制御部)5にて行われる。第11の実施形態に係る制御部5は、SPADアレイ141が受光した光に基づいて演算部15内の各処理回路が処理を行う期間の合間に、演算部15の入力ノード又は内部ノードにテストパターン信号を入力して演算部15から故障診断用の信号を出力する制御を行う。
第11の実施形態によれば、通常動作のパイプライン処理を止めることなく、そのパイプライン処理の合間に故障診断を行うため、距離計測の精度及び迅速性を損なうことなく、演算部15の故障診断及び故障検出を行うことができる。
(第1~第11の実施形態の作用効果)
第1~第11の実施形態では、物理的に冗長な回路を設けずに故障診断及び故障検出を行えるため、光検出装置10の回路規模を大きくせず、かつ消費電力を増やさずに、故障診断及び故障検出を行うことができる。
また、第1~第11の実施形態では、テストパターン信号を入力したときの出力信号と、予め用意した出力期待値との比較を行わないため、出力期待値を記憶するための記憶部が不要になる。
さらに、第1~第11の実施形態では、光検出装置10のブロック構成をほとんど変更せずに故障検出部4を付加できるため、内部構成が異なる種々の光検出装置10に対して、後付けで故障検出部4を付加することも可能となる。
また、第1~第11の実施形態では、光検出回路内の各処理回路を二重化せずに、二重化した場合と同等の故障検出率を得ることができる。
このように、第1~第11の実施形態による光検出装置10は、上述した種々の技術的効果を有するが、ヒストグラム回路152やエコー検出回路154を含む光検出装置10において、故障検出機能を備えた光検出装置10は、従来存在しないことから、下記のような構成も考えられる。
(第12の実施形態)
図29は第12の実施形態に係る光検出装置10のブロック図である。図29の光検出装置10は、演算部15内の各領域演算部15-1~15-4の内部構成を二重化したものである。より具体的には、図29の光検出装置10は、領域演算部15-1~15-4のそれぞれごとに故障検出部4を有し、故障検出部4には、領域演算部15-1~15-4と同じ構成の処理回路が含まれている。すなわち、領域演算部15-1~15-4内のSPAD加算回路151、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154は、故障検出部4にも設けられている。以下では、領域演算部15-1~15-4内のSPAD加算回路151、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154を第1領域演算部15-1~15-4と呼び、故障検出部4内のSPAD加算回路151、ヒストグラム回路152、フィルタ回路153、及びエコー検出回路154を第2領域演算部15-1~15-4と呼ぶ。故障検出部4内の第2領域演算部15-1~15-4内の各処理回路には、対応するレジスタブロック33から故障診断時の演算係数が設定される。
領域演算部15-1~15-4のそれぞれごとに設けられる比較器31は、対応する第1領域演算部15-1~15-4の出力信号と、対応する第2領域演算部15-1~15-4の出力信号とを比較して、比較結果信号を出力する。比較結果信号は、第1領域演算部15-1~15-4と第2領域演算部15-1~15-4のどちらかが故障したか否かを示す信号である。4つの領域演算部15-1~15-4に対応する4つの比較器31から出力された比較結果信号は、エラー出力I/F7を介して外部に出力される。
故障検出部4内の第2領域演算部15-1~15-4には、第1領域演算部15-1~15-4と同様に、サンプリング回路150から出力された検出信号が入力される。このため、テストパターンを用いることなく、通常動作期間中にサンプリング回路150から出力された検出信号を用いて、常時、比較器31にて故障検出を行うことができる。
第12の実施形態に係る光検出装置10は、演算部15内の複数の領域演算部15-1~15-4の内部構成を二重化しているため、光検出装置10の回路規模が大きくなるとう問題はあるが、テストパターン信号を外部から入力せずに、通常動作期間中に継続して比較器31で故障検出を行うことができる。
(第13の実施形態)
図30は第13の実施形態に係る光検出装置10のブロック図である。以下では、図16の光検出装置10との相違点を中心に説明する。
図30の光検出装置10は、演算部15内の領域演算部15-1~15-4のそれぞれごとに、パターン生成器9と、セレクタ8と、期待値出力回路41と、比較器31とを有する。期待値出力回路41は、パターン生成器9で生成されたテストパターン信号を領域演算部15-1~15-4内のSPAD加算回路151に入力したときに領域演算部15-1~15-4から出力される想定出力信号を示す期待値を予め記憶する。
故障診断時には、各セレクタ8は、テストパターン信号を選択してSPAD加算回路151に入力する。各領域演算部15-1~15-4は、テストパターン信号を順に処理して、最終段であるエコー検出回路154の出力信号は、比較器31に入力される。比較器31は、エコー検出回路154の出力信号と、期待値出力回路41から出力された期待値とを比較して、不一致であれば、対応する領域演算部15-1~15-4が故障したと判断する。
このように、第13の実施形態に係る光検出装置10は、領域演算部15-1~15-4のそれぞれごとに、期待値出力回路41を有するため、回路規模が大きくなる。その一方で、各領域演算部15-1~15-4の出力信号と期待値とを比較器31で比較するため、期待値と不一致であれば、対応する領域演算部15-1~15-4が故障したことを特定できる。
<<応用例>>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図31は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図31に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図31では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図32は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図32には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図31に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図31の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図31に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、本技術は以下のような構成を取ることができる。
(1)複数の受光領域を有し、各受光領域内に配置される複数の受光素子を有するアレイ部と、
前記複数の受光領域のそれぞれに含まれる1つ以上の前記受光素子を含む画素ごとに、前記画素内の前記受光素子が光を受光した回数及び受光タイミングに関するヒストグラムを生成する演算部と、
前記演算部内の故障を検出する故障検出部と、を備える、光検出装置。
(2)前記演算部は、
前記複数の受光領域のそれぞれに含まれる前記複数の受光素子の出力信号を所定のサンプリング周期でサンプリングして、前記複数の受光素子が光を受光したことを示す検出信号を画素ごとに出力するサンプリング回路と、
画素ごとに前記検出信号の数を加算した画素値を生成する加算回路と、
前記加算回路で生成された前記画素値に基づいて、前記複数の受光領域のそれぞれにおける画素ごとの前記ヒストグラムを生成するヒストグラム生成回路と、を有し、
前記故障検出部は、前記サンプリング回路、前記加算回路、及び前記ヒストグラム生成回路の少なくとも一つの故障を検出する、(1)に記載の光検出装置。
(3)前記演算部は、
前記ヒストグラム生成回路で生成された前記ヒストグラムに含まれるノイズ成分を除去するフィルタ回路と、
前記フィルタ回路でノイズ成分を除去した後のヒストグラムに基づいて、光を投光してから、前記光が物体で反射されて前記アレイ部で受光されるまでの時間差を検出して前記物体までの距離を計測するエコー検出回路と、を有し、
前記故障検出部は、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路の少なくとも一つの故障を検出する、(2)に記載の光検出装置。
(4)前記演算部は、前記複数の受光領域のそれぞれに対応する複数の領域演算部を有し、
前記複数の領域演算部のそれぞれは、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含み、
前記故障検出部は、前記複数の領域演算部のそれぞれごとに、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路の故障を検出する、(3)に記載の光検出装置。
(5)前記故障検出部は、前記複数の領域演算部のうち、2つの前記領域演算部に同一のテストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断する、(4)に記載の光検出装置。
(6)前記故障検出部は、
前記2つの領域演算部の入力ノード又は内部ノードに前記テストパターン信号を入力するか否かを選択する2つのセレクタと、
前記2つの前記セレクタが前記テストパターン信号の入力を選択したときに、前記2つの領域演算部の出力信号同士を比較する比較器と、を有する、(5)に記載の光検出装置。
(7)前記故障検出部は、前記2つのセレクタが前記テストパターン信号の入力を選択したときに、前記2つの領域演算部の出力信号の符号化データを生成する2つの符号化部を有し、
前記比較器は、2つの前記符号化部で生成された2つの前記符号化データ同士を比較する、(6)に記載の光検出装置。
(8)前記演算部は、2個以上の偶数個の前記領域演算部を有し、
前記故障検出部は、前記偶数個の領域演算部を2つずつの組に分けて、各組の前記2つの領域演算部に同一の前記テストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断する、(5)乃至(7)のいずれか一項に記載の光検出装置。
(9)前記演算部は、3個以上の奇数個の前記領域演算部を有し、
前記故障検出部は、前記奇数個の領域演算部のうち、一部の前記領域演算部を重複して用いて、2つずつの複数の組に分けて、各組の前記2つの領域演算部に前記同一のテストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断する、(5)乃至(7)のいずれか一項に記載の光検出装置。
(10)前記演算部は、3個以上の前記複数の領域演算部を有し、
前記故障検出部は、前記複数の領域演算部に前記同一のテストパターン信号を入力し、前記複数の領域演算部のうち、一部の領域演算部の出力信号が、前記一部の領域演算部よりも数が多い残りの領域演算部の出力信号と異なるか否かにより、前記一部の領域演算部が故障を起こしたと判断する、(4)に記載の光検出装置。
(11)前記複数の領域演算部のそれぞれは、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含む、縦続接続された複数段の処理回路を有し、
前記比較器は、前記複数の領域演算部のそれぞれごとに、前記セレクタの後段側に縦続接続された2段以上の前記処理回路の出力ノードのそれぞれに接続される複数の比較部を有し、
前記複数の比較部のそれぞれは、前記2つの領域演算部におけるそれぞれ異なる段の前記処理回路の出力ノードの出力信号同士を比較する、(6)又は(7)に記載の光検出装置。
(12)前記演算部は、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含む、縦続接続された複数段の処理回路を有し、
前記複数段の処理回路のうち、2つ以上の前記処理回路の入力側にそれぞれ異なる前記セレクタが接続されて、それぞれの前記セレクタにて前記テストパターン信号を選択可能であり、
それぞれの前記セレクタが接続される処理回路の後段側に、それぞれの前記セレクタに対応づけて前記比較器が配置される、(6)又は(7)に記載の光検出装置。
(13)前記アレイ部の画素数は、前記演算部が前記ヒストグラムの生成を行う画素数よりも多く、
前記サンプリング回路は、前記アレイ部の画素ごとに前記検出信号を出力し、
前記加算回路は、前記アレイ部の画素数よりも少ない画素数の画素ごとの前記画素値を生成し、
前記セレクタは、前記サンプリング回路と前記加算回路との間に配置されて、通常動作時には前記サンプリング回路から出力された検出信号を時間調整して前記加算回路に入力し、故障診断時には前記テストパターン信号を前記加算回路に入力する、(6)又は(7)に記載の光検出装置。
(14)前記アレイ部の画素数は、前記演算部が前記ヒストグラムの生成を行う画素数よりも多く、
前記サンプリング回路は、前記アレイ部の画素ごとに前記検出信号を出力し、
前記加算回路は、前記アレイ部の画素ごとの前記画素値を生成し、
前記ヒストグラム生成回路は、前記アレイ部の画素数よりも少ない画素数の画素ごとの前記ヒストグラムを生成し、
前記セレクタは、前記加算回路と前記ヒストグラム生成回路との間に配置されて、通常動作時には前記加算回路で生成された前記画素値を時間調整して前記ヒストグラム生成回路に入力し、故障診断時には前記テストパターン信号を前記ヒストグラム生成回路に入力する、(6)又は(7)に記載の光検出装置。
(15)前記複数の領域演算部のそれぞれは、通常動作時の演算処理に用いられる第1演算係数と、故障診断時の演算処理に用いられる第2演算係数とを記憶する演算係数記憶部を有し、
前記第1演算係数と前記第2演算係数とのいずれか一方を選択して、前記複数段の処理回路に供給する制御を行うとともに、前記セレクタの選択切替を行う制御部をさらに備える、(12)に記載の光検出装置。
(16)前記複数の領域演算部のそれぞれは、通常動作時の演算処理に用いられる第1演算係数を記憶する第1演算係数記憶部を有し、
故障診断時の演算処理に用いられる第2演算係数を記憶する第2演算係数記憶部と、
通常動作時には前記第1演算係数を前記複数段の処理回路に供給する制御を行い、故障診断時には前記第2演算係数を前記複数段の処理回路に供給する制御を行い、かつ前記セレクタの選択切替を行う制御部と、をさらに備える、(12)に記載の光検出装置。
(17)前記アレイ部が受光した光に基づいて前記ヒストグラムを生成する通常動作期間と、前記アレイ部の受光動作を停止させた状態で、前記テストパターン信号に基づいて前記演算部の故障検出を行う故障診断期間とに分けて、前記アレイ部及び前記演算部を制御するタイミング制御部を備える、(5)乃至(16)のいずれか一項に記載の光検出装置。
(18)前記アレイ部が受光した光に基づいて前記演算部内の各処理回路が処理を行う期間の合間に、前記演算部の入力ノード又は内部ノードに前記テストパターン信号を入力して前記演算部から故障診断用の信号を出力する制御を行うタイミング制御部を備える、(5)乃至(16)のいずれか一項に記載の光検出装置。
(19)時系列のランダムなパターンを含む前記テストパターン信号を生成するパターン生成器を備え、
前記複数の領域演算部には、同一の前記テストパターン信号が供給される、(5)乃至(18)のいずれか一項に記載の光検出装置。
(20)(3)乃至(19)のいずれか一項に記載の光検出装置と、
前記物体に前記光を投光する投光部と、を備える、を測距システム。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 測距システム、4 故障検出部、5 制御部、8 セレクタ、8-1 第1セレクタ、8-2 第2セレクタ、9 パターン生成器、9-1 第1パターン生成器、9-2 第2パターン生成器、10 光検出装置、11 制御部、13 発光部、14 受光部、15 演算部、15-1 領域演算部、15-2 領域演算部、15-3 領域演算部、15-4 領域演算部、19 外部出力インタフェース(I/F)、20 SPAD画素、21 受光素子、21 フォトダイオード、22 回路、22A 回路領域、23 クエンチ抵抗、24 選択トランジスタ、25 デジタル変換器、26 インバータ、27 バッファ、30 マクロ画素、31 比較器、32 符号化部、33 レジスタブロック、34 カラムシフト数設定レジスタ、35 第1レジスタ、36 第2レジスタ、37 セレクタ、38 通常動作用レジスタ、39 セレクタ、40 故障診断用レジスタブロック、41 期待値出力回路、50 深度画像、80 ホスト、90 物体、100 チップ、101 受光チップ、102 回路チップ、120 有効画素領域、131 光源、132 コリメータレンズ、133 ハーフミラー、134 駆動部、135 ガルバノミラー、141 SPADアレイ、142 使用SPADアレイ、143 タイミング制御回路、144 駆動回路、145 出力回路、146 受光レンズ、150 サンプリング回路、151 SPAD加算回路、152 ヒストグラム回路、153 フィルタ回路、154 エコー検出回路、155 レジスタブロック、251 抵抗、915 演算部、916 演算係数

Claims (16)

  1. 複数の受光領域を有し、各受光領域内に配置される複数の受光素子を有するアレイ部と、
    前記複数の受光領域のそれぞれに含まれる1つ以上の前記受光素子を含む画素ごとに、前記画素内の前記受光素子が光を受光した回数及び受光タイミングに関するヒストグラムを生成する演算部と、
    前記演算部内の故障を検出する故障検出部と、を備え、
    前記演算部は、
    前記複数の受光領域のそれぞれに含まれる前記複数の受光素子の出力信号を所定のサンプリング周期でサンプリングして、前記複数の受光素子が光を受光したことを示す検出信号を画素ごとに出力するサンプリング回路と、
    画素ごとに前記検出信号の数を加算した画素値を生成する加算回路と、
    前記加算回路で生成された前記画素値に基づいて、前記複数の受光領域のそれぞれにおける画素ごとの前記ヒストグラムを生成するヒストグラム生成回路と、
    前記ヒストグラム生成回路で生成された前記ヒストグラムに含まれるノイズ成分を除去するフィルタ回路と、
    前記フィルタ回路でノイズ成分を除去した後のヒストグラムに基づいて、光を投光してから、前記光が物体で反射されて前記アレイ部で受光されるまでの時間差を検出して前記物体までの距離を計測するエコー検出回路と、
    前記複数の受光領域のそれぞれに対応する複数の領域演算部と、を有し、
    前記複数の領域演算部のそれぞれは、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含み、
    前記故障検出部は、前記複数の領域演算部のそれぞれごとに、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路の故障を検出し、
    前記故障検出部は、前記複数の領域演算部のうち、2つの前記領域演算部に同一のテストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断する、
    光検出装置。
  2. 前記故障検出部は、
    前記2つの領域演算部の入力ノード又は内部ノードに前記テストパターン信号を入力するか否かを選択する2つのセレクタと、
    前記2つのセレクタが前記テストパターン信号の入力を選択したときに、前記2つの領域演算部の出力信号同士を比較する比較器と、を有する、
    請求項に記載の光検出装置。
  3. 前記故障検出部は、前記2つのセレクタが前記テストパターン信号の入力を選択したときに、前記2つの領域演算部の出力信号の符号化データを生成する2つの符号化部を有し、
    前記比較器は、2つの前記符号化部で生成された2つの前記符号化データ同士を比較する、
    請求項に記載の光検出装置。
  4. 前記演算部は、2個以上の偶数個の前記領域演算部を有し、
    前記故障検出部は、前記偶数個の領域演算部を2つずつの組に分けて、各組の前記2つの領域演算部に同一の前記テストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断する、
    請求項1乃至3のいずれか一項に記載の光検出装置。
  5. 前記演算部は、3個以上の奇数個の前記領域演算部を有し、
    前記故障検出部は、前記奇数個の領域演算部のうち、一部の前記領域演算部を重複して用いて、2つずつの複数の組に分けて、各組の前記2つの領域演算部に前記同一のテストパターン信号を入力し、前記2つの領域演算部の出力信号が同一でなければ、前記2つの領域演算部のうちいずれか一方が故障したと判断する、
    請求項1乃至3のいずれか一項に記載の光検出装置。
  6. 複数の受光領域を有し、各受光領域内に配置される複数の受光素子を有するアレイ部と、
    前記複数の受光領域のそれぞれに含まれる1つ以上の前記受光素子を含む画素ごとに、前記画素内の前記受光素子が光を受光した回数及び受光タイミングに関するヒストグラムを生成する演算部と、
    前記演算部内の故障を検出する故障検出部と、を備え、
    前記演算部は、
    前記複数の受光領域のそれぞれに含まれる前記複数の受光素子の出力信号を所定のサンプリング周期でサンプリングして、前記複数の受光素子が光を受光したことを示す検出信号を画素ごとに出力するサンプリング回路と、
    画素ごとに前記検出信号の数を加算した画素値を生成する加算回路と、
    前記加算回路で生成された前記画素値に基づいて、前記複数の受光領域のそれぞれにおける画素ごとの前記ヒストグラムを生成するヒストグラム生成回路と、
    前記ヒストグラム生成回路で生成された前記ヒストグラムに含まれるノイズ成分を除去するフィルタ回路と、
    前記フィルタ回路でノイズ成分を除去した後のヒストグラムに基づいて、光を投光してから、前記光が物体で反射されて前記アレイ部で受光されるまでの時間差を検出して前記物体までの距離を計測するエコー検出回路と、
    前記複数の受光領域のそれぞれに対応する複数の領域演算部と、を有し、
    前記複数の領域演算部のそれぞれは、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含み、
    前記故障検出部は、前記複数の領域演算部のそれぞれごとに、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路の故障を検出し、
    前記演算部は、3個以上の前記複数の領域演算部を有し、
    前記故障検出部は、前記複数の領域演算部に同一のテストパターン信号を入力し、前記複数の領域演算部のうち、一部の領域演算部の出力信号が、前記一部の領域演算部よりも数が多い残りの領域演算部の出力信号と異なるか否かにより、前記一部の領域演算部が故障を起こしたと判断する、
    光検出装置
  7. 前記複数の領域演算部のそれぞれは、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含む、縦続接続された複数段の処理回路を有し、
    前記比較器は、前記複数の領域演算部のそれぞれごとに、前記セレクタの後段側に縦続接続された2段以上の前記処理回路の出力ノードのそれぞれに接続される複数の比較部を有し、
    前記複数の比較部のそれぞれは、前記2つの領域演算部におけるそれぞれ異なる段の前記処理回路の出力ノードの出力信号同士を比較する、
    請求項2又は3に記載の光検出装置。
  8. 前記演算部は、前記サンプリング回路、前記加算回路、前記ヒストグラム生成回路、前記フィルタ回路、及び前記エコー検出回路のうち少なくとも一部の回路を含む、縦続接続された複数段の処理回路を有し、
    前記複数段の処理回路のうち、2つ以上の前記処理回路の入力側にそれぞれ異なる前記セレクタが接続されて、それぞれの前記セレクタにて前記テストパターン信号を選択可能であり、
    それぞれの前記セレクタが接続される処理回路の後段側に、それぞれの前記セレクタに対応づけて前記比較器が配置される、
    請求項2又は3に記載の光検出装置。
  9. 前記アレイ部の画素数は、前記演算部が前記ヒストグラムの生成を行う画素数よりも多く、
    前記サンプリング回路は、前記アレイ部の画素ごとに前記検出信号を出力し、
    前記加算回路は、前記アレイ部の画素数よりも少ない画素数の画素ごとの前記画素値を生成し、
    前記セレクタは、前記サンプリング回路と前記加算回路との間に配置されて、通常動作時には前記サンプリング回路から出力された検出信号を時間調整して前記加算回路に入力し、故障診断時には前記テストパターン信号を前記加算回路に入力する、
    請求項2又は3に記載の光検出装置。
  10. 前記アレイ部の画素数は、前記演算部が前記ヒストグラムの生成を行う画素数よりも多く、
    前記サンプリング回路は、前記アレイ部の画素ごとに前記検出信号を出力し、
    前記加算回路は、前記アレイ部の画素ごとの前記画素値を生成し、
    前記ヒストグラム生成回路は、前記アレイ部の画素数よりも少ない画素数の画素ごとの前記ヒストグラムを生成し、
    前記セレクタは、前記加算回路と前記ヒストグラム生成回路との間に配置されて、通常動作時には前記加算回路で生成された前記画素値を時間調整して前記ヒストグラム生成回路に入力し、故障診断時には前記テストパターン信号を前記ヒストグラム生成回路に入力する、
    請求項2又は3に記載の光検出装置。
  11. 前記複数の領域演算部のそれぞれは、通常動作時の演算処理に用いられる第1演算係数と、故障診断時の演算処理に用いられる第2演算係数とを記憶する演算係数記憶部を有し、
    前記第1演算係数と前記第2演算係数とのいずれか一方を選択して、前記複数段の処理回路に供給する制御を行うとともに、前記セレクタの選択切替を行う制御部をさらに備える、
    請求項に記載の光検出装置。
  12. 前記複数の領域演算部のそれぞれは、通常動作時の演算処理に用いられる第1演算係数を記憶する第1演算係数記憶部を有し、
    故障診断時の演算処理に用いられる第2演算係数を記憶する第2演算係数記憶部と、
    通常動作時には前記第1演算係数を前記複数段の処理回路に供給する制御を行い、故障診断時には前記第2演算係数を前記複数段の処理回路に供給する制御を行い、かつ前記セレクタの選択切替を行う制御部と、をさらに備える、
    請求項に記載の光検出装置。
  13. 前記アレイ部が受光した光に基づいて前記ヒストグラムを生成する通常動作期間と、前記アレイ部の受光動作を停止させた状態で、前記テストパターン信号に基づいて前記演算部の故障検出を行う故障診断期間とに分けて、前記アレイ部及び前記演算部を制御するタイミング制御部を備える、
    請求項1乃至12のいずれか一項に記載の光検出装置。
  14. 前記アレイ部が受光した光に基づいて前記演算部内の各処理回路が処理を行う期間の合間に、前記演算部の入力ノード又は内部ノードに前記テストパターン信号を入力して前記演算部から故障診断用の信号を出力する制御を行うタイミング制御部を備える、
    請求項1乃至12のいずれか一項に記載の光検出装置。
  15. 時系列のランダムなパターンを含む前記テストパターン信号を生成するパターン生成器を備え、
    前記複数の領域演算部には、同一の前記テストパターン信号が供給される、
    請求項1乃至14のいずれか一項に記載の光検出装置。
  16. 請求項1乃至15のいずれか一項に記載の光検出装置と、
    前記物体に前記光を投光する投光部と、を備える、
    測距システム。
JP2023522309A 2021-05-19 2022-03-30 光検出装置及び測距システム Active JP7828341B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021084821 2021-05-19
JP2021084821 2021-05-19
PCT/JP2022/015947 WO2022244508A1 (ja) 2021-05-19 2022-03-30 光検出装置及び測距システム

Publications (2)

Publication Number Publication Date
JPWO2022244508A1 JPWO2022244508A1 (ja) 2022-11-24
JP7828341B2 true JP7828341B2 (ja) 2026-03-11

Family

ID=84141219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023522309A Active JP7828341B2 (ja) 2021-05-19 2022-03-30 光検出装置及び測距システム

Country Status (5)

Country Link
US (1) US20240241235A1 (ja)
JP (1) JP7828341B2 (ja)
CN (1) CN117295972A (ja)
DE (1) DE112022002675T5 (ja)
WO (1) WO2022244508A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064614A1 (en) 2004-05-24 2006-03-23 Abdel-Hafez Khader S Method and apparatus for pipelined scan compression
JP2009111546A (ja) 2007-10-29 2009-05-21 Panasonic Corp 自己診断機能を備えた半導体集積回路、撮像装置およびカメラシステム
JP2012060334A (ja) 2010-09-07 2012-03-22 Panasonic Corp 固体撮像装置及び撮像装置
JP2013165399A (ja) 2012-02-10 2013-08-22 Toshiba Corp 固体撮像装置
JP2019004361A (ja) 2017-06-16 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
JP2020118567A (ja) 2019-01-24 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、車載システム及び測距方法
JP2021027543A (ja) 2019-08-08 2021-02-22 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、および撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058291A (ja) * 2006-07-31 2008-03-13 Sunx Ltd 光電センサ
CN103246582B (zh) * 2012-02-07 2017-03-08 鼎桥通信技术有限公司 一种fpga故障检测方法和装置
EP3775983A1 (en) * 2018-04-09 2021-02-17 Innoviz Technologies Ltd. Lidar systems and methods with internal light calibration
JP2020091117A (ja) * 2018-12-03 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
JP2021018123A (ja) * 2019-07-19 2021-02-15 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064614A1 (en) 2004-05-24 2006-03-23 Abdel-Hafez Khader S Method and apparatus for pipelined scan compression
JP2009111546A (ja) 2007-10-29 2009-05-21 Panasonic Corp 自己診断機能を備えた半導体集積回路、撮像装置およびカメラシステム
JP2012060334A (ja) 2010-09-07 2012-03-22 Panasonic Corp 固体撮像装置及び撮像装置
JP2013165399A (ja) 2012-02-10 2013-08-22 Toshiba Corp 固体撮像装置
JP2019004361A (ja) 2017-06-16 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
JP2020118567A (ja) 2019-01-24 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、車載システム及び測距方法
JP2021027543A (ja) 2019-08-08 2021-02-22 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、および撮像装置

Also Published As

Publication number Publication date
JPWO2022244508A1 (ja) 2022-11-24
WO2022244508A1 (ja) 2022-11-24
US20240241235A1 (en) 2024-07-18
CN117295972A (zh) 2023-12-26
DE112022002675T5 (de) 2024-03-07

Similar Documents

Publication Publication Date Title
US12164038B2 (en) Distance measuring device, vehicle-mounted system, and distance measuring method
US11895398B2 (en) Imaging device and imaging system
JP7568504B2 (ja) 受光装置及び測距装置
TWI911077B (zh) 攝像裝置
JP2021128084A (ja) 測距装置および測距方法
JP2022126067A (ja) 受光装置、測距装置及び受光装置の信号処理方法
US20250106534A1 (en) Light-receiving element and electronic apparatus
JPWO2020153123A1 (ja) 撮像装置及び電子機器
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2023162734A1 (ja) 測距装置
WO2023190278A1 (ja) 光検出装置
JP7828341B2 (ja) 光検出装置及び測距システム
US12159888B2 (en) Light-receiving element, solid-state imaging device, and ranging device
WO2024162109A1 (ja) 光検出装置及び測距システム
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
EP4105597A1 (en) Distance measurement device and distance measurement method
JP7789779B2 (ja) 受光装置、測距装置及び受光装置の制御方法
WO2021161858A1 (ja) 測距装置および測距方法
WO2025177832A1 (ja) 測距装置および測距方法
US20240337730A1 (en) Light source device, distance measuring device, and distance measuring method
WO2025041692A1 (ja) 光源装置及び測距システム
WO2025243786A1 (ja) 測距装置および測距方法
WO2024185307A1 (ja) 光検出装置、測定方法、及び距離測定システム
WO2026053862A1 (ja) 光検出装置及び測距システム
WO2024075492A1 (ja) 固体撮像装置及び比較装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260227

R150 Certificate of patent or registration of utility model

Ref document number: 7828341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150