JP7092319B2 - 物体を検出及び測距するためのシステム - Google Patents

物体を検出及び測距するためのシステム Download PDF

Info

Publication number
JP7092319B2
JP7092319B2 JP2020504345A JP2020504345A JP7092319B2 JP 7092319 B2 JP7092319 B2 JP 7092319B2 JP 2020504345 A JP2020504345 A JP 2020504345A JP 2020504345 A JP2020504345 A JP 2020504345A JP 7092319 B2 JP7092319 B2 JP 7092319B2
Authority
JP
Japan
Prior art keywords
array
apd
roic
cell
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020504345A
Other languages
English (en)
Other versions
JP2020530109A (ja
Inventor
ゼン、グゥオガン
ホン、シャオピン
ワン、ミンギュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2020530109A publication Critical patent/JP2020530109A/ja
Application granted granted Critical
Publication of JP7092319B2 publication Critical patent/JP7092319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Light Receiving Elements (AREA)

Description

著作権表示
本特許文献の開示の一部は、著作権保護の対象となる要素を含む。著作権所有者は、特許商標庁の特許ファイル又は記録に掲載されている限り、本特許文献又は本特許開示を何らかの人物が複製することに対して異議を申し立てないが、それ以外にはあらゆる著作権を留保する。
本開示は、概して、光検出に関し、より詳細には、物体の3D点群と2D画像とを同時に生成することによる光検出及び測距(LIDAR)のためのシステム及び方法に関する。
LIDARは、一般に、標的物体をレーザ光で照明し、光の反射を検出することによって標的物体までの距離を測定するためのシステム及びプロセスに関する。例えば、パルスレーザ光装置は、物体の表面に入射する光を発し得、その物体の表面から反射されたパルス光が受信機で検出され得る。タイマは、光がレーザ光装置によって発せられてから反射光が受信機に到達するまでの経過時間を測定し得る。経過時間の測定及び光の速度に基づき、処理装置は、標的物体までの距離を計算でき得る。
LIDARシステムの受信機は、特定の波長の反射光パルスを検出するためにアバランシェフォトダイオード(APD)等のセンサを備え得る。LIDARシステムは、走査機構も含み得、それによって入射レーザが標的物体上の複数の点を走査し、物体の距離又は奥行きに関する情報を含む3D点群を生成し得る。機械的LIDARシステムは、当技術分野においてよく知られており、複数の測定対象点の距離情報を取得するための機械的走査機構を含む。
例えば、機械的回転式LIDARシステムは、上部走査機構と、固定された下部とを含み得る。上部走査機構は、所定の数のレーザ-APDペア、例えば64のレーザ-APDペアを含み得、360度、20Hz等の一定の周波数で回転し得る。しかしながら、機械的回転式LIDARシステムでは、典型的に、過熱を防止するため、機器の信頼性を保持するため及び検出器の飽和を防止するため、一時に1つのレーザ-APDペアのみを動作させることができる。その結果、機械的回転式LIDARシステムは、レーザ-APDペアの全てを同時に使用せず、それが非効率性につながる。
機械的LIDARシステムは、信頼性も低い。例えば、機械的システムには多くの構成部品が必要であり、各部品は、故障又は損傷を受けやすいことがあり得る。加えて、機械的LIDARシステムの複雑な機械的構造を考慮すると、組立コストも高い。さらに、各レーザ-APDアレイには個別の配列が必要であるため、組立は、煩雑であり得る。したがって、従来の機械的LIDARシステムは、典型的に、信頼が低く、高コストであり、煩雑であるだけでなく、そのレーザ-APDペアの非効率的な使用により、物体を検出し、距離及び測距情報を捕捉することがより難しくなる。
本明細書において開示される実施形態における、物体を検出及び測距するためのシステム及び方法は、従来のシステムの欠点を克服する。
例えば、開示されている本開示の実施形態は、物体を効率的に検出するための、小型化、低コスト、高信頼性、高速応答及び自動生産という利点を伴うソリッドステートレーザレーダシステムを提供する。従来の機械的LIDARシステムでは、レーザは、ビームのエネルギーを集中させるために、低視野角(FOV)の小さい角度での発光が必要となり、レーザ強度は、安全標準に準拠しなければならい。しかしながら、開示されている実施形態では、ソリッドステートレーザ光源は、それと同じ機械的安全標準に縛られず、FOVを大きくするように拡張され得る。その結果、ソリッドステートレーザ源は、はるかに高パワーとなり得る。
さらに、機械的LIDAR走査システムの場合、レーザは、FOV内の全ての点の走査を、点ごとに走査することによって達成し、したがって長い走査時間を有する。しかしながら、開示されている実施形態では、システムは、FOV内の全ての点を非常に高い走査速度及び短い走査時間で同時に走査し得る。したがって、信号対ノイズ(S/N)比は、走査された複数のレーザパルスを使用した複数の捕捉データを平均することによって高められ得る。ソリッドステートレーザは、より高い捕捉周期も実現し得る。さらに、開示されている実施形態は、APD集積の利益を提供し、それによって距離情報及び画像情報が同時に取得され得る。
加えて、本開示のAPD配置は、1つの点ではなくアレイであるため、LIDARのFOV全体における全ての点までの距離の情報を得ることができる。したがって、フレームごとに高速で走査することにより、完全な距離情報を得ることができる。一方では、走査点を1つのみ有する従来の機械的LIDARシステムと比較して、開示されている実施形態の応答速度は、非常に速いことができる。最後に、本開示のシステム及び方法は、移動可能な機械的構成要素を必要としないため、信頼性が向上する。
一態様において、本開示は、物体を検出及び測距するための方法に関する。方法は、レーザ光源により、物体の表面に入射する第一の光のビームを発射するステップと、アバランシェフォトダイオード(APD)アレイにおいて、物体の表面から反射された第二の光のビームを受信するステップと、読出し集積回路(ROIC)アレイにより、APDアレイから読み出すステップと、ROICアレイにより、APDアレイによって検出された物体を表す信号を出力するためにAPDアレイからの蓄積光電流を処理するステップとを含む。
別の態様において、本開示は、物体を検出及び測距するためのシステムに関する。システムは、物体の表面に入射する第一の光のビームを発射するレーザ光源と、物体の表面から反射された第二の光のビームを受信するアバランシェフォトダイオード(APD)アレイと、APDアレイによって検出された物体を表す信号を出力するためにAPDアレイから蓄積光電流を読み出し且つ処理するために連結された読出し集積回路(ROIC)アレイとを含む。
また別の態様において、本開示は、物体を検出及び測距するための受信機に関する。受信機は、物体の表面から反射された光のビームを受信するアバランシェフォトダイオード(APD)アレイと、APDアレイによって検出された物体を表す信号を出力するためにAPDアレイから蓄積光電流を読み出し且つ処理するために連結された読出し集積回路(ROIC)アレイとを含む。
例示的なLIDARシステムの概略図である。 例示的な機械的回転式LIDARシステムの概略図である。 本開示の実施形態に適合する、物体を検出及び測距するための例示的なシステムの概略図である。 本開示の実施形態で使用され得る、レーザアラインメント、レーザ拡張、均一な照明及びFOV拡張のための例示的なシステムの概略図である。 本開示の実施形態に適合するAPDアレイを含む集積回路チップの断面概略図である。 本開示の実施形態に適合するトランスインピーダンスアンプ(TIA)及び時間-デジタル変換器(TDC)回路の概略図である。 本開示の実施形態に適合するAPDアレイを含む集積回路チップの平面レイアウトの概略図である。 本開示の実施形態に適合するAPDアレイ内のセルの断面概略図である。 本開示の実施形態に適合する、ROICチップに接合されたAPDアレイを含むハイブリッド集積回路チップの概略図である。 本開示の実施形態に適合する、相補型金属酸化膜半導体(CMOS)イメージセンサ(CIS)セルを含むAPDアレイ内のセルの平面レイアウトの概略図である。 本開示の実施形態に適合するCISセルを含むAPDアレイ内のセルの断面概略図である。 本開示の実施形態に適合するカラーフィルタアレイセンサの概略図である。 本開示の実施形態に適合する物体の検出及び測距のために実行され得る例示的な方法のフローチャートである。
以下の詳細な説明は、添付の図面に関する。可能な限り、図面及び以下の説明文では、同じ又は同様の部品を指すために同じ参照番号が使用される。本明細書では、幾つかの例示的な実施形態が説明されているが、改変形態、改造形態及び他の実装形態も可能である。例えば、図に描かれている構成要素に対する置換形態、追加形態又は改変形態がなされ得、本明細書に記載されている説明のための方法は、開示されている方法に対してステップの置換、順序変更、除去又は追加を行うことによって変更され得る。したがって、以下の詳細な説明は、開示されている実施形態及び例に限定されない。代わりに、適正な範囲は、付属の特許請求の範囲によって定義される。
図1は、例示的なLIDARシステム10の概略図を示す。例示的なLIDARシステム10のレーザ発光器12は、物体16の表面に衝突するレーザビームを発射する。レーザビームは、物体16で反射し、LIDARシステム10のAPD検出器18によって受信される。レーザ発光器12及びAPD検出器18は、タイマ14によってクロックが同期され、APD検出器18でレーザビームが検出されたときにラウンドトリップ移動時間TLの計算が可能である。ラウンドトリップ移動時間TLに基づいて、検出された物体16とLIDARシステム10との間の距離Lが計算され得る。LIDARシステム10は、機械的アセンブリの一部として組み込まれ得、幾つかの異なる移動時間TLを検出し、物体16の表面に沿った複数の異なる点を表す幾つかの距離Lを計算するように構成され得る。
従来のLIDARには何種類かある。前述の飛行時間(TOF)LIDARに加えて、周波数変調連続波(FMCW)LIDARがある。TOF LIDARは、送信され、受信されたレーザパルスに関する時間TLを測定し、したがって典型的に長距離のための実装に見られる。FMCW LIDARシステムは、より短距離の用途で主に用いられ得、この場合、高品質のイメージングが必要とされる。FMCW LIDARシスムでは、発光器から発出したレーザビームの周波数は、時間の経過によって変化する。発射されたレーザビームの周波数及び時間の関係に基づき、ラウンドトリップ移動時間は、発射されたレーザビームと受信された反射レーザビームとの間の周波数の違いから計算され得、その結果、標的物体までの距離の計算が可能である。
図2は、例示的な機械的回転式LIDARシステム20の概略図である。LIDARシステム20は、上部走査機構22及び固定下部24等の2つの機械的部品を含み得る。上部機構22は、レーザ発光器アレイ26とAPDアレイ28とを含み得る。動作中、上部走査機構22は、20Hz等の所定の周波数で360度回転し、図1のLIDARシステム10によって光を発射し、検出することができる。ある時点でレーザ-APDの1つのペアのみが光の発出及び検出を行う。その結果、LIDARシステム20は、たとえ回転周波数を高くしても、標的物体の距離を表す十分且つ完全な情報を効率的に取得することができないことがあり得る。さらに、上部走査機構22の走査速度は、機械的アセンブリのために限定され得る。そのうえ、機械的回転式LIDARシステム20の信頼性は低い。
図3は、本開示の実施形態に適合する物体を検出及び測距するための例示的なシステムの概略図である。図3に示されるように、LIDARシステム30は、レーザダイオード32と、レーザエキスパンダ34と、APDアレイ38aと、レンズ38bと、同期クロック38cと、読出し集積回路(ROIC)又はROICアレイ38dとを含み得る。各ROICは、トランスインピーダンスアンプ(TIA)38eと、時間-デジタル変換器(TDC)38fとを含み得る。ROICは、高速アナログ-デジタル変換器(ADC)と、デジタル信号処理(DSP)(図示せず)とも含み得る。レーザダイオード32は、レーザビームを発射し得、レーザエキスパンダ34は、発射されたレーザビームを発散させ、均一に分散させ得る。レーザダイオード32としては、従来のレーザダイオード、垂直共振器面発光レーザ(VCSEL)、レーザダイオードアレイ又は赤外若しくは他の波長の光を発する何れのレーザも含まれ得る。VCSELは、ウェハ表面レベルアレイレーザとして実装され得、レーザの波長温度係数は、例えば、従来のレーザの波長温度係数の1/5未満と小さいことができる。複数の波長温度係数が想定され得る。レーザダイオード34は、例えば、905nm又は1550nmを含む複数の波長でも光を発射し得る。光の均一度を向上させるためにマルチダイチップとしてパーケージされるハイパワー発光ダイオード(LED)も光源として使用され得る。
レーザエキスパンダ34は、レーザ光ビームの拡張を可能にする1つ又は複数の光学レンズを含み得る。1つ又は複数の光学レンズは、反射型レンズ、透過型レンズ、ホログラフィックフィルタ及び微小電気機械システム(MEM)マイクロレンズの少なくとも1つを含み得る。他の種類のレンズも想定される。レーザエキスパンダ34は、1つ又は複数の標的物体を含む標的シーンの2次元領域をカバーするようにレーザ光ビームを拡張し得る。図3に示されるように、レーザエキスパンダ34からの拡張された光も物体36の表面に衝突し得る。発散したレーザが物体36の表面に到達すると、拡散反射が起こり得、反射したレーザビームの一部は、LIDARシステム30のレンズ38bに到達し得る。レンズ38bでの画像形成に基づいて、反射レーザビームは、APDアレイ38aに透過され得る。
図4は、本開示の実施形態に適合する、レーザアラインメント、レーザ拡張、均一な照明及びFOV拡張のための例示的なシステムの概略図である。図4に示されるように、レーザエキスパンダ34は、レーザビームアラインメントのための1つ又は複数の光学レンズ42と、レーザビーム拡張のためのレンズ44と、均一な照明のためのレンズ46と、視野角(FOV)拡張のためのレンズ48とを含み得る。レーザダイオード32は、レーザアラインメントのためのレンズ42に入射するレーザ光ビームを発射する。レーザビームアラインメント後、発射レーザ光ビームは、レーザビーム拡張のための1つ又は複数のレンズ44に入射し得る。拡張後、発射レーザ光ビームは、均一な照明のためのレンズ46に入射し得る。最後に、均一な照明後、発射レーザ光ビームは、FOV拡張のためのレンズ48に入射し得る。FOV拡張後、発射レーザ光ビームは、1つ又は複数の標的物体36を含む標的シーンをより広角でカバーするように透過され得る(図3に示されている)。レーザエキスパンダ34は、他の反射型及び透過型光学レンズも含み得る。
レーザビームの拡張中、レーザビームは、2D角度調整が可能な微小電気機械システム(MEM)マイクロレンズを使用して反射され得る。さらに、MEMマイクロレンズを常に駆動してレーザビームに関するそのレンズの角度を変化させることにより、レーザビームの角度は、常に変化させて2D角度に拡張され得る。加えて、レーザダイオードアレイを使用して複数のビームを形成することにより、拡張されたビームに類似する1つのレーザビームを得ることができる。1つのホログラフィックフィルタも複数のサブレーザビームから広角レーザビームを形成し得る。レーザエキスパンダ34は、レーザダイオード32から発せられた1つ又は複数のレーザビームのための1つ又は複数の光変調ステージも含み得る。
レーザエキスパンダ34によって拡張された後、レーザビームは、物体36に衝突し得、そこで反射してLIDARシステム30に戻り得、それがAPDアレイ38aによって検出される(図3に示される)。APDアレイ38aとROIC(アレイ)38dとは、複数のピクセル内に集積され得、各ピクセルは、各APD及びROICに関するサイドバイサイドレイアウト又は垂直積層レイアウトを含み得る。APDアレイ38aとROIC(アレイ)38dとは、905nmの検出波長を有するシリコンベースのチップ上に集積され得る。APDアレイ38a及びROIC(アレイ)38dは、代替的に、1,550nmの検出波長を有する非シリコンベースのチップ上に集積され得る。ROIC(アレイ)38dは、APDアレイ38aからの信号を読み出すために連結され得る。APDアレイ38aは、TIA 38e及びTDC 38f回路に接続され得る。レーザダイオード32からの光は、APDアレイ38aに入射し得、それが光電信号を生成する。TIA 38eは、APDアレイ38aからの出力を使用可能な電圧に増幅し得る。TDC 38fは、APDアレイ38aにおいて受信された各検出レーザパルスの到着時間のデジタル表現を提供し得る。LIDARシステム30内のデータ処理装置30aは、ROIC(アレイ)38dから受信した信号及びデータを処理して、物体36が検出されたか否かを特定し得る。同期クロック38cは、光がレーザダイオード32から発射されてから反射光がAPDアレイ38aに到達するまでの経過時間を測定し得る。同期クロック38cは、測定された時間をデータ処理装置30aに通信し得る。測定された時間に基づいて、データ処理装置30aは、物体36とLIDARシステム30との間の距離を計算し得る。LIDARシステム30は、フレームごとに走査して、物体36上の点までの距離の完全な情報を取得し得る。データ処理装置30aは、物体36上の点の奥行き情報を表す3次元点群を生成し得る。LIDARシステム30は、イメージセンサをさらに含み得、それにより、物体36の2次元画像は、例えば、イメージセンサによって同時に捕捉され得る。
データ処理装置30aは、1つ又は複数の構成要素、例えばメモリと少なくとも1つのプロセッサとを含み得る。メモリは、少なくとも1つの非一時的コンピュータ可読媒体であるか又はそれを含み得、非一時的コンピュータ可読媒体の1つ又は複数のメモリユニットを含み得る。メモリの非一時的コンピュータ可読媒体は、何れの種類の揮発性又は不揮発性メモリ装置でもあり得るか又はそれを含み得、例えば、これには、フロッピディスク、光ディスク、DVD、CD-ROM、マイクロドライブ及び光磁気ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気若しくは光カード、ナノシステム(分子メモリICを含む)又は命令及び/若しくはデータの保存に適したあらゆる種類の媒体若しくはデバイスが含まれる。メモリユニットは、非一時的コンピュータ可読媒体の永久的及び/又は取外し可能部分(例えば、SDカード、RAM等の取外し可能媒体又は外部ストレージ)を含み得る。
LIDARシステム30は、データ処理装置30aとオフボードエンティティとの間のデータ、情報、コマンド及び/又は他の種類の信号の通信を可能にするように構成され得る。LIDARシステム30は、信号を送信するように構成された1つ又は複数の構成要素、例えば一方向又は両方向通信を行うように構成された送信機又はトランシーバ(図示せず)を含み得る。LIDARシステム30の構成要素は、1つ又は複数の通信ネットワーク、例えばラジオ、セルラ、Bluetooth(登録商標)、Wi-Fi、RFID並びに/又はデータ、情報、コマンドを示す信号及び/若しくは測定された物体の距離及び関連情報を表す他の信号を送信するために使用できる他の種類の通信ネットワークを介してオフボードエンティティと通信するように構成され得る。例えば、LIDARシステム30は、無人航空機(UAV)又は自律自動車におけるLIDARシステム30の一部としてレーザダイオード32を制御するための入力を提供するために、装置間での通信を可能にするように構成され得る。
幾つかの実施形態において、オフボードエンティティは、2D物体画像と、標的物体36に関する奥行き情報を表す3D点群とを表示するための対話式グラフィカルユーザインタフェース(GUI)を含み得る。GUIは、表示装置又は多機能スクリーン上に表示可能であり得、2D物体画像及び3D点群を閲覧し、表示するための他のグラフィクス機能、例えば対話式グラフィクス機能(例えば、グラフィカルボタン、テキストボックス、ドロップダウンメニュー、対話式画像等)を含み得る。標的物体36データの他の種類のグラフィクスディスプレイが想定される。
図5は、本開示の実施形態に適合する、APDアレイを含む集積回路チップ50の一部の断面概略図を含む。図5に示されるように、集積回路チップ50の一部の断面は、1つ又は複数のAPDセル52aと、光学フィルタ及び反射低減膜52bと、APDセル及び相補型金属酸化膜半導体(CMOS)イメージセンサ(CIS)のための1つ又は複数のマイクロレンズ52cと、1つ又は複数のROICセル52dと、1つ又は複数のCISセル52eと、スピンオフグラス(SOG)52fとを含み得る。光学フィルタと反射低減膜52bとは、1つ又は複数のAPDセル52aの上に重ねられ得る。図5は、CISを有さない集積回路チップ54の一部の断面も含み、これは、1つ又は複数のAPD及びROIC集積セル56aと、光学フィルタ及び反射低減膜56bと、1つ又は複数のマイクロレンズ56cとを含み得る。光学フィルタと反射低減膜56bとは、APD及びROIC集積セル56aを含むピクセル層全体を覆い得る。マイクロレンズ56cは、光学フィルタ及び反射低減膜56bのうち、APD及びROIC集積セル56aの各々の直上の部分を覆い、その上に垂直に重ねられ得る。
複数のAPDセル52a及びROICセル52dは、CMOS又はバイポーラ接合トランジスタ相補型金属酸化膜半導体(BiCMOS)技術を使用して集積回路チップ50上に1つのアレイとして集積され得る。例えば、集積回路チップ50は、複数の行及び列のピクセルを含み得、各ピクセルは、1つのAPDセル52aと、対応するROIC 52dとを含む。APDセル52aとROICセル52dとは、何れも支持基板を含むシリコンベースの技術を採用し得る。支持基板は、Si、Ge又は他の基板材料を含み得る。APDセル52aとROICセル52dとの両方がSiを含み得るため、APDセル52aとROICセル52dとの間の様々な種類の不適合(ラティス不適合等)が回避され得、したがってAPDセル52aの性能及び収率が保持される。APDセル52a及びROICセル52dのアレイを同じ集積回路チップ50上に集積することにより、さらに別の利点が得られ、これには、例えば、接合構造(図9に示される)を有するチップと比較してチップが薄型化されることが含まれる。さらに、APDセル52aは、905nm波長に応答し、シリコンベースのソリューションのために調整されるため、APDセル52aは、RIOC 52dに完全に適合し、それによって同じ製造ラインでのこれら2つの構成要素の効率的な使用及び集積が可能となる。
光学フィルタ及び反射低減膜52bの層は、好ましい905nmの(短赤外)の波長を通過させ、APDセル52aの上に重ねられるようにする。光学フィルタ及び反射低減膜52bの層の厚さは、レーザビームの波長の1/4であり得(浮動範囲10%)、それによってレーザビームの透過率が高まり、APDセル52aによる吸収が増大し得る。吸収を増大させる他の厚さも想定される。光学フィルタ及び反射低減膜52bの層は、1つ又は複数のパラメータを調節することにより、レーザダイオード32のそれに近い波長を有するビームを透過させることで入射ビームをフィルタ処理し得る。さらに、マイクロレンズ52cは、光学フィルタ及び反射低減膜52bの層並びに各APDセル52aの上に位置付けられて、レーザビームをAPDセル52aと整列させ、それによってAPDセル52aの感度が上がる。マイクロレンズ52cに到達する光ビームは、マイクロレンズ52cの下のAPDセル52aに完全に到達し、隣接するAPDセル52aに屈折しない。したがって、APDセル52a間のクロストークが最小化され得る。
赤緑青(RGB)CIS 52eは、マイクロレンズ52cの下に位置付けられて、2D画像をRGBカラーで捕捉し得る。図5に示される集積回路チップ50は、光をAPDセル52aに向けて標的距離情報を検出し、同時にAPDセル52aからの読出しを行うためのROICセル52dを統合し、2D RGB画像を捕捉するためのRGB CIS 52eを統合する改良された構成を提供する。信号分離のため、酸化物層もAPDセル52aとROICセル52dとの間に含められ得る。酸化物層は、リーク及び寄生キャパシタンスを減少させ得る。APDセル52aとROICセル52dとを異なる層に含めることもさらに信号を分離する。
また、スピンオングラス(SOG)52f(及び/又は窒化シリコン層)を使用してピクセルの表面を平らにし得る。図5に示される例において、SOG 52fは、APDセル52aの上に位置付けられ、ピクセルの表面が平らになっている。代替的に、他の構成も限定されずに使用され得る。
図6は、本開示の実施形態に適合するトランスインピーダンスアンプ(TIA)及び時間-デジタル変換器(TDC)回路の概略図である。図6に示されるように、APDセル52aは、TIA 62及びTDC 64の回路に接続される。レーザダイオード32からの光は、APDセル52aに入射し得、これが光電信号を生成する。TIA 62は、APDセル52からの出力を使用可能な電圧まで増幅し、TDC 64は、APDセル52aにおいて受信された各検出レーザパルスの到着時間のデジタル表現を提供して、光電信号をデータ処理装置30aに出力する。
図7は、集積回路チップ50の部分平面レイアウトの概略図である。図7に示されるように、セルアレイは、列72及び行74に配置される。列選択論理ユニット76は、列72の1つを選択するために使用され、行選択論理ユニット78は、行74の1つを選択するために使用される。図5に示される1つのAPDセル52a及び1つのROICセル52dを含む特定のセルは、対応する列及び行を列選択論理ユニット76及び行選択ユニット78に明示することによって選択され得、選択されたセルからの信号又はデータは、データ処理装置30aに送信され得る。その結果、選択可能なセルアレイを有する集積回路チップ50により、複数の反射レーザビームを正確に検出し、標的物体36上の複数の点の奥行き情報を並行して計算する。
図8は、本開示の実施形態に適合するセルアレイ内のセルの断面概略図である。図8に示されるように、各セルの断面は、ROICセル82と、SOG 84と、APDセル86とを含む。APDセル86は、ROICセル82との接続を可能にし、回路(例えば、CMOS回路)から離して配置できる。例えば、APDセル86とROICセル82とは、絶縁層によって分離される異なるウェハ層に配置できる。代替的に、APDセル86は、必要な絶縁を施して、ROIC 82の横に隣接して位置付けられ得る。
図8に示されるように、ROICセル82とSOG 84とは、上層内にあり得る。酸化物層は、ROIC 82の下に位置付けられ、APDセル86は、バルクハンドルウェハ内に位置付けられる。酸化物層は、ROIC 82とAPDセル86との間のリーク及び寄生キャパシタンスを減少させ得る。さらに、APDセル86と、対応するROICセル82とは、モノリシックシリコンウェハ技術によって集積されるため、2つの構成要素間の適合性が増し得る。加えて、APDセル86は、シリコンオンインシュレーテッド(SOI)ウェハの一部として集積され、APDセル86は、バルクハンドルウェハ内に位置付けられ、ROICセル82は、上側のSOIウェハ内に別に位置付けられるため、さらに信号が分離され得る。各APDセルは、行及び列のペア(M,N)の特定の選択によって表現され得(図7に示される)、各APDセルの空間構成により、TIA 62及びTDC 64の回路(図6に示される)と共に信号を改善することもできる。
図9は、本開示の実施形態に適合する、ROICチップ90bに接合されたAPDアレイチップ90aを含むハイブリッド集積回路チップの概略図である。前述のセルアレイの集積されたモノリシックシリコンベース集積回路チップ(図5に示される)と比較して、APDアレイチップ90aがROICチップ90bに接合されているハイブリッド集積回路チップは、設計がよりフレキシブルであり得る。APDアレイチップ90a及びROIC 90bの各々は、シリコンベースであるか又は非シリコンベースであり得る。APDアレイチップ90a及びROICチップ90bは、一緒に加工されるか又は接合前に別々に加工され得る。
図9に示されるように、APDアレイチップ90aは、APDセル90と、シリコン貫通電極(TSV)92と、ゲルマニウム(Ge)コンタクト94とを含み得る。ROICチップ90bは、ワイヤボンディング(WB)パッド96と、接合用アルミニウム(Al)98と、ROICセル98aとを含み得る。TSV 92により、ハイブリッド集積回路チップのAPDアレイチップ90aの前面からAPDアレイチップ90aの後面に信号を送信できる。APDアレイチップ90aとROICチップ90bとは、独立したプロセスを使用して製造され得、且つ接合されて一体の物理的及び電気的接続を形成し得る。接合は、アラインメントを確実にし、ウェハの破壊を防止し、有効な導電性を保持し、機械的強度も強いことがあり得、縁部での一貫した接合を確実にする。APDアレイチップ90aは、任意の数の行及び列(M×N)のAPDセル90を含み得、これらは、個別に動作し得る。同様に、ROICチップ90bは、APDセル90と同じ対応する数のROICセル98を含み得る。集積により、APDセル90とROICセル98とが1対1で接合され得る。
接合用Al 98とWBパッド96とは、チップ接合プロセスにおける例示的な金属である。接合用Al 98は、APDアレイチップ90aの後方にあるGe 94と接合するために使用され得、WBパッド96は、パッケージングでの配線に使用され得る。APDアレイチップ90a及びROICチップ90bには、CMOS ROIC 98の前面ウィンドウの接合用Al 98と、APDアレイチップ90aの裏面のGe 94とを約420度で共晶接合することによるウェハレベル接合が行われ得る。その結果、APDセル90の信号は、対応するROICセル98に効率的に送信され得る。半田ボール又はインジウムブレージングと比較して、Al-Ge共晶接合は、接合が強力であり、接合されたハイブリッド集積回路チップが小型化されるために有利である。APDアレイチップ90aとROICチップ90bとを接合するために多くの方法が使用され得るが、Al-Ge接合が最も好ましい。他の方法も想定され得、これには、Al-Ge接合、Au-Ge接合、Au-Si接合、Au-Sn接合、In-Sn接合、Al-Si接合、Pb-Sn接合が含まれる。
図10は、本開示の実施形態に適合するCMOSイメージセンサ(CIS)セルを含むセルアレイ内のセルの平面レイアウトの概略図である。図10に示されるように、平面図で示されるAPDセル102は、集積されたイメージセンサを含むCISセル100の一部として統合される。セルアレイ内のセルは、CISセル100、APDセル102、APD ROIC 104及びCIS ROIC(図示せず)の組合せを含み得る。CIS ROICは、CISセル100、APDセル102及びAPD ROIC 104を含む層の下に含められ得る。各ピクセルレイアウトにおいて、CMOSイメージセンサ(CIS)は、その中に集積され得る。したがって、各フレームは、APDセル102によって生成される奥行き情報を有する3D点群画像と、CIS 100によって生成される2D画像とを同時に生成することができ得る。物体及び人は、CIS 100が2D画像を捕捉することに基づいて認識され得る。
図11は、本開示の実施形態に適合するCISセルを含むセルアレイ内のセルの断面概略図である。図11に示されるように、セルアレイ内のセルは、CISセル110と、ROIC 112と、SOG 114と、APDセル116とを含む。
APDセル116は、単独のセルであり、対応するAPD ROIC 112を有する。APDセル116は、単一光子アバランシェダイオード(SPAD)、複数のSPAD又はダイナミックレンジを増大させるためのシリコン光電子増倍管(SiPM)であり得る。APDセル116は、ROICセル112との接続を可能にし、回路(例えば、CMOS回路)とは別に配置され得る。例えば、APDセル116とROICセル112とは、絶縁層を介して分離される異なるウェハ層上に配置され得る。代替的に、APDセル116は、必要な絶縁を施して、ROIC 112の横に隣接して位置付けられ得る。
図11に示されるように、CISセル110、ROICセル112及びSOG 114は、上層内にあり得る。酸化物層は、ROIC 112の下に位置付けられ、APDセル116は、バルクハンドルウェハ内に配置される。酸化物層は、CIS 110、ROIC 112及びAPDセル116間のリーク及び寄生キャパシタンスを減少させ得る。さらに、APDセル116と、対応するCIS 110及びROIC 112とは、シリコンウェハ技術で集積され得るため、これらの構成要素間の適合性が高められ得る。加えて、APDセルは、シリコンオンインシュレーテッド(SOI)ウェハの一部として集積され、APDセル116は、バルクハンドルウェハ内に位置付けられ、CIS 110とROIC 112は、上側SOIウェハ内に別に位置付けられるため、信号がさらに分離され得る。
代替的に、APDセル116は、上層内にあり得、CISセル110とROICセル112とは、バルクハンドルウェハ内に位置付けられ得る。このような場合、ピクセルの表面を平らにするために、SOG 114は、CISセル110及びROICセル112の上に位置付けられ得る。
図12は、本開示の実施形態に適合するカラーフィルタアレイセンサの概略図である。図12に示されるように、カラーフィルタアレイセンサ120は、可視レーザ光を色に応じてフィルタ処理し、赤(R)、緑(G)又は青(B)の光のみがフィルタ120を通過できるようにする。CISセル110は、3つの個別のRGBピクセルを含む。CIS 110は、RGBセルの1つの集合であるか、RGBセルの複数の集合であるか、又は黒及び白であり得る。RGB CIS 110(赤-緑-青イメージセンサ)及びROIC 112は、集積回路チップの上層の上に、動作中にAPDセル 116がCISセル110に影響を与えないようにするために酸化物層によってAPDセル116から離間されて位置付けられるように設計され得る(CISセル110とAPDセル116とは、異なる層に提供され得る)。さらに、CIS 110に対応するROIC 112は、セルの層の下に位置付けられ得る。他の空間配置も想定され得る。カラーフィルタアレイセンサ120は、光をフィルタ処理して、所望の色の2D画像のみを捕捉できるようにし得る。
図13は、本開示の実施形態に適合する物体の検出及び測距のために行われ得る例示的な方法130のフローチャートである。方法130は、レーザ光源により、物体の表面に入射する第一の光のビームを発射するステップを含み得る(ステップ132)。レーザダイオード32としては、従来のレーザダイオード、垂直共振器面発光レーザ(VCSEL)、レーザダイオードアレイ又は例えば905nm若しくは1,550nmを含む赤外波長の光を発する何れのレーザも含まれ得る。レーザ光源から発射された光は、1つ又は複数の光学レンズを含むレーザビームエキスパンダ34によって拡張され得る。1つ又は複数の光学レンズとしては、反射型レンズ、透過型レンズ、ホログラフィックフィルタ及び微小電気機械システム(MEM)マイクロレンズの少なくとも1つが含まれ得る。レーザエキスパンダ34は、レーザビームアラインメントのための1つ又は複数の光学レンズ42と、レーザビーム拡張のためのレンズ44と、均一な照明のためのレンズ46と、視野角(FOV)拡張のためのレンズ48とも含み得る。
方法130は、APDアレイ38aにおいて、物体36から反射された第二の光のビームを受信するステップも含み得る(ステップ134)。例えば、物体36から反射された第二の光のビームは、レンズ38bで受信され得、そこで、レンズ38bにおける画像形成に基づいて、第二の光のビームは、検出のためにAPDアレイチップ90aを含むハイブリッド集積回路チップに透過され得る。集積回路チップは、ROICセル98aの前面ウィンドウにおける接合用Al 98bの共振接合と、APDアレイチップ90aの後面におけるGe 94の共振接合とを含むウェハレベル接合から形成され得る。第二の光のビームは、APDアレイ38aを形成する複数のAPDアレイセル52aを含むシリコンベースの集積回路チップ50にも透過され得る。APDアレイ38aは、905nmの検出波長を有するシリコンベースのチップを含み得る。レーザ光源32とAPDアレイ38aとは、何れも同期クロック38cによって制御され得る。
方法130は、ROIC 52dにより、APDアレイ38aから読み出すステップも含み得る(ステップ136)。TIA 62及びTDC 64の回路配置(図6に示される)により、ROIC 52dは、APDセル52aの読出しを行うことができる。データ処理装置30aは、ROIC 52dと通信してAPDアレイ38aからの読出しを行い、APDアレイ38aで検出された反射光に基づいて光電信号を生成するようにも構成され得る。方法130は、信号を出力するためにAPDアレイ38aからの蓄積光電流を処理するステップも含み得る(ステップ138)。TIA 62及びTDC 64の回路配置(図6に示される)により、ROIC 52dは、APDセル52aからの読出しを行い、APDセル52aによって検出された標的物体36の距離を表す信号を出力するためにAPDセル52a(又はアレイ)からの蓄積光電流を効率的に処理することができる。
処理に基づいて、方法130は、コントローラ又はデータ処理装置30aにより、ROIC 52dからの信号に基づいて物体を表す3D点群と、イメージセンサ52eによって取得された物体の2D画像とを同時に生成するステップも含み得る(ステップ140)。2D物体画像と、奥行き情報を表す3D点群とを表示するための対話式GUIを使用して、情報及び検出された物体を表示し得る。対話式GUIは、表示装置又は多機能スクリーン上に表示可能であり得、2D物体画像と3D点群とを閲覧し、表示するための他のグラフィクス機能、例えば対話式グラフィクス機能(例えば、グラフィカルボタン、テキストボックス、ドロップダウンメニュー、対話式画像等)を含み得る。この情報は、その後、標的物体を検出及び測距し、他の決定を知らせるために使用され得る。
開示されている方法及びシステムに対する様々な改変形態及び変更形態がなされ得ることが当業者に明らかであろう。例えば、UAVは、本開示の実施形態に適合する物体を検出及び測距する例示的なシステムを備え得る。特に、UAVは、特定の期間にわたり又は1つの位置から他の位置への移動持続時間にわたり、情報を収集し、距離情報を含む3D点群と物体面の2D画像とを生成するように装備され得る。このような状況では、UAVは、収集された情報に関連して制御され、標的物体、例えば人、車両、移動物体、静止物体等を認識し、追跡し、それに焦点を当てて、高品質の望ましい画像を実現し得る。
本明細書並びに開示されている方法及びシステムの実施を考慮すれば、他の実施形態も当業者に明らかであろう。本明細書及び例は、例示に過ぎないと考えるべきであり、正確な範囲は、後述の特許請求の範囲及びその均等物によって示されることが意図されている。
[項目1]
物体を検出及び測距するための方法であって、
レーザ光源により、上記物体の表面に入射する第一の光のビームを発射するステップと、
アバランシェフォトダイオード(APD)アレイにおいて、上記物体の上記表面から反射された第二の光のビームを受信するステップと、
読出し集積回路(ROIC)アレイにより、上記APDアレイから読み出すステップと、
上記ROICアレイにより、上記APDアレイによって検出された上記物体を表す信号を出力するために上記APDアレイからの蓄積光電流を処理するステップと
を含む方法。
[項目2]
コントローラにより、上記ROICからの信号に基づいて上記物体を表す3次元点群を生成するステップをさらに含む、項目1に記載の方法。
[項目3]
上記コントローラにより、上記3次元点群と、イメージセンサによって取得された上記物体の2次元画像とを同時に生成するステップをさらに含む、項目2に記載の方法。
[項目4]
レーザビームエキスパンダにより、上記レーザ光源からの上記発射光を拡張するステップをさらに含み、上記レーザビームエキスパンダは、1つ又は複数の光学レンズを含む、項目1に記載の方法。
[項目5]
上記APDアレイ及び上記ROICアレイは、シリコン基板に基づく集積回路チップ上に集積される、項目1に記載の方法。
[項目6]
上記APDアレイ及び上記ROICアレイは、独立したプロセスを使用して別々の半導体ウェハ上に製造され、且つ相互に接合されて電気接続を形成する、項目1に記載の方法。
[項目7]
受信機のレンズにおいて、上記物体の上記表面から反射された上記第二の光のビームを受信するステップをさらに含み、上記第二の光のビームは、レンズを通して上記APDアレイに透過される、項目1に記載の方法。
[項目8]
上記レーザ光源及び上記APDアレイの両方を同期クロックで制御するステップをさらに含む、項目1に記載の方法。
[項目9]
物体を検出及び測距するためのシステムであって、
上記物体の表面に入射する第一の光のビームを発射するレーザ光源と、
上記物体の上記表面から反射された第二の光のビームを受信するアバランシェフォトダイオード(APD)アレイと、
上記APDアレイによって検出された上記物体を表す信号を出力するために上記APDアレイから蓄積光電流を読み出し且つ処理するために連結された読出し集積回路(ROIC)アレイと
を含むシステム。
[項目10]
コントローラをさらに含み、上記コントローラは、上記ROICアレイからの信号に基づいて上記物体を表す3次元点群を生成する、項目9に記載のシステム。
[項目11]
上記コントローラは、上記3次元点群と、イメージセンサによって取得された上記物体の2次元画像とを同時にさらに生成する、項目10に記載のシステム。
[項目12]
上記レーザ光源からの上記発射光を拡張するレーザビームエキスパンダをさらに含み、上記レーザビームエキスパンダは、1つ又は複数の光学レンズを含む、項目9に記載のシステム。
[項目13]
上記1つ又は複数の光学レンズは、反射型レンズ、透過型レンズ、ホログラフィックフィルタ及び微小電気機械システム(MEMS)マイクロレンズの少なくとも1つを含む、項目12に記載のシステム。
[項目14]
上記物体の上記表面から反射された上記第二の光のビームを受信する受信機においてレンズをさらに含み、上記第二の光のビームは、上記レンズを通して上記APDアレイに透過される、項目9に記載のシステム。
[項目15]
上記レーザ光源及び上記APDアレイの両方は、同期クロックによって制御される、項目9に記載のシステム。
[項目16]
上記光源は、レーザダイオードアレイを含む、項目9に記載のシステム。
[項目17]
相補型金属酸化膜半導体(CMOS)イメージセンサ(CIS)アレイをさらに含む、項目9に記載のシステム。
[項目18]
上記APDアレイ、ROICアレイ及びCISアレイは、複数のピクセルに集積され、各ピクセルは、APDセルと、ROICと、CISセルとを含む、項目17に記載のシステム。
[項目19]
上記APDアレイは、上記CISアレイから絶縁される、項目17に記載のシステム。
[項目20]
上記APDアレイ及びCISアレイは、異なる層内に位置付けられ、且つ絶縁層によって分離される、項目19に記載のシステム。
[項目21]
上記ROICアレイ及びCISアレイは、上層内に位置付けられ、上記APDアレイは、バルクハンドルウェハ内に位置付けられ、及び上記絶縁層は、酸化物層である、項目20に記載のシステム。
[項目22]
上記APDアレイは、透明材料及び上記絶縁層によって被覆される、項目20に記載のシステム。
[項目23]
上記APDアレイ及び上記CISアレイは、同じ層内に位置付けられる、項目22に記載のシステム。
[項目24]
上記APDアレイ及び上記ROICアレイは、シリコン基板に基づく集積回路チップ上に集積される、項目9に記載のシステム。
[項目25]
上記APDアレイは、上記ROICアレイから絶縁される、項目24に記載の受信機。
[項目26]
上記APDアレイ及びROICアレイは、異なる層内に位置付けられ、且つ絶縁層によって分離される、項目25に記載の受信機。
[項目27]
上記ROICアレイは、上層上に位置付けられ、上記APDアレイは、バルクハンドルウェハ内に位置付けられ、及び上記絶縁層は、酸化物層である、項目26に記載の受信機。
[項目28]
上記APDアレイは、透明材料及び上記絶縁層によって被覆される、項目26に記載の受信機。
[項目29]
上記APDアレイの各ピクセルセル上に重ねられた反射低減膜及びマイクロレンズをさらに含む、項目9に記載のシステム。
[項目30]
トランスインピーダンスアンプ(TIA)及び時間-デジタル変換器(TDC)回路をさらに含む、項目9に記載のシステム。
[項目31]
上記APDアレイの各ピクセルセルの上に位置付けられたマイクロレンズ、反射低減膜及び光学フィルタをさらに含む、項目9に記載のシステム。
[項目32]
上記APDアレイ及び上記ROICアレイは、独立したプロセスを使用して別々の半導体ウェハ上に製造され、且つ相互に接合されて電気接続を形成する、項目9に記載のシステム。
[項目33]
上記APDアレイは、上層を形成するウェハ上に位置付けられ、及び上記ROICアレイは、下層を形成する異なるウェハ上に位置付けられる、項目32に記載のシステム。
[項目34]
上記APDアレイは、上記上層の前面から後面に信号を送信するために、各APDセルに位置付けられたシリコン貫通電極(TSV)を含む、項目33に記載のシステム。
[項目35]
上記ROICアレイは、Al-Ge接合、Au-Ge接合、Au-Si接合、In-Sn接合、Al-Si接合及びPb-Sn接合の少なくとも1つを使用して上記APDアレイに接合される、項目32に記載のシステム。
[項目36]
上記ROICアレイの前面ウィンドウにおけるAlの接合と、上記APDアレイの後面におけるGeの接合とをさらに含む、項目32に記載のシステム。
[項目37]
上記APDアレイは、シリコンベースのチップ上に集積され、上記APDアレイは、905nmの検出波長を有する、項目9に記載のシステム。
[項目38]
上記APDアレイは、非シリコンベースのチップ上に集積され、上記APDアレイは、1,550nmの検出波長を有する、項目9に記載のシステム。
[項目39]
上記CISアレイは、複数のRGBセルを含む、項目17に記載のシステム。
[項目40]
物体を検出及び測距するための受信機であって、
上記物体の表面から反射された光のビームを受信するアバランシェフォトダイオード(APD)アレイと、
上記APDアレイによって検出された上記物体を表す信号を出力するために上記APDアレイから蓄積光電流を読み出し且つ処理するために連結された読出し集積回路(ROIC)アレイと
を含む受信機。
[項目41]
コントローラをさらに含み、上記コントローラは、上記ROICアレイからの信号に基づいて上記物体を表す3次元点群をさらに生成する、項目40に記載の受信機。
[項目42]
上記コントローラは、上記3次元点群と、イメージセンサによって取得された上記物体の2次元画像とを同時にさらに生成する、項目41に記載の受信機。
[項目43]
上記物体の上記表面から反射された上記光のビームを受信する上記受信機のレンズをさらに含み、上記光のビームは、上記レンズを通して上記APDアレイに透過される、項目40に記載の受信機。
[項目44]
上記APDアレイは、同期クロックによって制御される、項目40に記載の受信機。
[項目45]
相補型金属酸化膜半導体(CMOS)イメージセンサ(CIS)アレイをさらに含む、項目40に記載の受信機。
[項目46]
上記APDアレイ、ROICアレイ及びCISアレイは、複数のピクセル内に集積され、各ピクセルは、APDセルと、ROICと、CISセルとを含む、項目45に記載の受信機。
[項目47]
上記APDアレイは、上記CISアレイから絶縁される、項目45に記載の受信機。
[項目48]
上記APDアレイ及びCISアレイは、異なる層内に位置付けられ、且つ絶縁層によって分離される、項目47に記載の受信機。
[項目49]
上記ROICアレイ及びCISアレイは、上層内に位置付けられ、上記APDアレイは、バルクハンドルウェハ内に位置付けられ、及び上記絶縁層は、酸化物層である、項目48に記載の受信機。
[項目50]
上記APDアレイは、透明材料及び上記絶縁層によって被覆される、項目48に記載の受信機。
[項目51]
上記APDアレイ及び上記CISアレイは、同じ層内に位置付けられる、項目47に記載の受信機。
[項目52]
上記APDアレイ及び上記ROICアレイは、シリコン基板に基づく集積回路チップ上に集積される、項目40に記載の受信機。
[項目53]
上記APDアレイは、上記ROICアレイから絶縁される、項目52に記載の受信機。
[項目54]
上記APDアレイ及びROICアレイは、異なる層内に位置付けられ、且つ絶縁層によって分離される、項目52に記載の受信機。
[項目55]
上記ROICアレイは、上層上に位置付けられ、上記APDアレイは、バルクハンドルウェハ内に位置付けられ、及び上記絶縁層は、酸化物層である、項目54に記載の受信機。
[項目56]
上記APDアレイは、透明材料及び上記絶縁層によって被覆される、項目54に記載の受信機。
[項目57]
上記APDアレイの各ピクセルセル上に重ねられた反射低減膜及びマイクロレンズをさらに含む、項目40に記載の受信機。
[項目58]
トランスインピーダンスアンプ(TIA)及び時間-デジタル変換器(TDC)回路をさらに含む、項目40に記載の受信機。
[項目59]
上記APDアレイの各ピクセルセルの上に位置付けられたマイクロレンズ、反射低減膜及び光学フィルタをさらに含む、項目40に記載の受信機。
[項目60]
上記APDアレイ及び上記ROICアレイは、独立したプロセスを使用して別々の半導体ウェハ上に製造され、且つ相互に接合されて電気接続を形成する、項目40に記載の受信機。
[項目61]
上記APDアレイは、上層を形成するウェハ上に位置付けられ、及び上記ROICアレイは、下層を形成する異なるウェハ上に位置付けられる、項目60に記載の受信機。
[項目62]
上記APDアレイは、上記上層の前面から後面に信号を送信するために、各APDセルに位置付けられたシリコン貫通電極(TSV)を含む、項目61に記載の受信機。
[項目63]
上記ROICアレイは、Al-Ge接合、Au-Ge接合、Au-Si接合、In-Sn接合、Al-Si接合及びPb-Sn接合の少なくとも1つを使用して上記APDアレイに接合される、項目60に記載の受信機。
[項目64]
上記ROICアレイの前面ウィンドウにおけるAlの接合と、上記APDアレイの後面におけるGeの接合とをさらに含む、項目63に記載の受信機。
[項目65]
上記APDアレイは、シリコンベースのチップ上に集積され、上記APDアレイは、905nmの検出波長を有する、項目40に記載の受信機。
[項目66]
上記APDアレイは、非シリコンベースのチップ上に集積され、上記APDアレイは、1,550nmの検出波長を有する、項目40に記載の受信機。
[項目67]
上記CISアレイは、複数のRGBセルを含む、項目45に記載の受信機。

Claims (22)

  1. 物体を検出及び測距するためのシステムであって、
    前記物体の表面に入射する第一の光のビームを発射するレーザ光源と、
    前記物体の前記表面から反射された第二の光のビームを受信するアバランシェフォトダイオード(APD)アレイと、
    前記APDアレイによって検出された前記物体を表す信号を出力するために前記APDアレイから蓄積光電流を読み出し且つ処理するために連結された読出し集積回路(ROIC)アレイと、
    コントローラと、
    相補型金属酸化膜半導体(CMOS)イメージセンサ(CIS)アレイと、を備え、
    前記コントローラは、前記ROICアレイからの信号に基づいて前記物体を表す3次元点群と、前記CISアレイによって取得された前記物体の2次元画像とを同時に生成し、
    前記APDアレイは、透明材料及び絶縁層によって被覆され、
    前記APDアレイ及び前記CISアレイは、同じ層内に互いに隣接して位置付けられ
    前記APDアレイ、前記ROICアレイ及び前記CISアレイは、複数のピクセルに集積され、前記複数のピクセルのそれぞれは、APDセルと、ROICセルと、CISセルとを含み、
    前記複数のピクセルのそれぞれにおいて前記APDセルと前記ROICセルとの間に酸化物層が含まれる、
    システム。
  2. 前記レーザ光源からの発射光を拡張するレーザビームエキスパンダをさらに含み、前記レーザビームエキスパンダは、1つ又は複数の光学レンズを含む、請求項1に記載のシステム。
  3. 前記1つ又は複数の光学レンズは、反射型レンズ、透過型レンズ、ホログラフィックフィルタ及び微小電気機械システム(MEMS)マイクロレンズの少なくとも1つを含む、請求項2に記載のシステム。
  4. 前記物体の前記表面から反射された前記第二の光のビームを受信する受信機においてレンズをさらに含み、前記第二の光のビームは、前記レンズを通して前記APDアレイに透過される、請求項1から請求項3の何れか1項に記載のシステム。
  5. 前記レーザ光源及び前記APDアレイの両方は、同期クロックによって制御される、請求項1から請求項4の何れか1項に記載のシステム。
  6. 前記レーザ光源は、レーザダイオードアレイを含む、請求項1から請求項5の何れか1項に記載のシステム。
  7. 前記APDアレイは、前記CISアレイから絶縁される、請求項1からのいずれか一項に記載のシステム。
  8. 前記APDアレイ及び前記ROICアレイは、シリコン基板に基づく集積回路チップ上に集積される、請求項1から請求項の何れか1項に記載のシステム。
  9. 前記APDアレイは、前記ROICアレイから絶縁される、請求項1から請求項のいずれか一項に記載のシステム。
  10. 前記APDアレイ及びROICアレイは、異なる層内に位置付けられ、且つ絶縁層によって分離される、請求項に記載のシステム。
  11. 前記ROICアレイは、上層上に位置付けられ、前記APDアレイは、バルクハンドルウェハ内に位置付けられ、及び前記絶縁層は、酸化物層である、請求項10に記載のシステム。
  12. 前記APDアレイの各ピクセルセル上に重ねられた反射低減膜及びマイクロレンズをさらに含む、請求項1から請求項11の何れか1項に記載のシステム。
  13. トランスインピーダンスアンプ(TIA)及び時間-デジタル変換器(TDC)回路をさらに含む、請求項1から請求項12の何れか1項に記載のシステム。
  14. 前記APDアレイの各ピクセルセルの上に位置付けられた学フィルタをさらに含む、請求項12に記載のシステム。
  15. 前記APDアレイ及び前記ROICアレイは、独立したプロセスを使用して別々の半導体ウェハ上に製造され、且つ相互に接合されて電気接続を形成する、請求項1から請求項14の何れか1項に記載のシステム。
  16. 前記APDアレイは、上層を形成するウェハ上に位置付けられ、及び前記ROICアレイは、下層を形成する異なるウェハ上に位置付けられる、請求項15に記載のシステム。
  17. 前記APDアレイは、前記上層の前面から後面に信号を送信するために、各APDセルに位置付けられたシリコン貫通電極(TSV)を含む、請求項16に記載のシステム。
  18. 前記ROICアレイは、Al-Ge接合、Au-Ge接合、Au-Si接合、In-Sn接合、Al-Si接合及びPb-Sn接合の少なくとも1つを使用して前記APDアレイに接合される、請求項15に記載のシステム。
  19. 前記ROICアレイの前面ウィンドウにおけるAlの接合と、前記APDアレイの後面におけるGeの接合とをさらに含む、請求項15に記載のシステム。
  20. 前記APDアレイは、シリコンベースのチップ上に集積され、前記APDアレイは、905nmの検出波長を有する、請求項1から請求項19の何れか1項に記載のシステム。
  21. 前記APDアレイは、非シリコンベースのチップ上に集積され、前記APDアレイは、1,550nmの検出波長を有する、請求項1から請求項19の何れか1項に記載のシステム。
  22. 前記CISアレイは、複数のRGBセルを含む、請求項1から請求項21のいずれか一項に記載のシステム。
JP2020504345A 2017-08-31 2017-08-31 物体を検出及び測距するためのシステム Active JP7092319B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/100036 WO2019041267A1 (en) 2017-08-31 2017-08-31 SYSTEMS AND METHODS FOR SOLID LASER RADAR TO APD NETWORK SEMICONDUCTOR

Publications (2)

Publication Number Publication Date
JP2020530109A JP2020530109A (ja) 2020-10-15
JP7092319B2 true JP7092319B2 (ja) 2022-06-28

Family

ID=65524632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504345A Active JP7092319B2 (ja) 2017-08-31 2017-08-31 物体を検出及び測距するためのシステム

Country Status (4)

Country Link
US (1) US20200191925A1 (ja)
EP (1) EP3622314A4 (ja)
JP (1) JP7092319B2 (ja)
WO (1) WO2019041267A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111751838A (zh) 2019-03-28 2020-10-09 上海小瞳智能科技有限公司 一种微型固态激光雷达及其数据处理方法
WO2021082380A1 (zh) * 2019-10-29 2021-05-06 杭州易博特科技有限公司 一种基于激光雷达的托盘识别方法、系统和电子设备
CN111223883B (zh) * 2020-01-17 2022-10-11 南昌大学 一种双时步光电倍增器件
US11750945B2 (en) * 2020-01-22 2023-09-05 Raytheon Company Imager with integrated asynchronous laser pulse detection having a signal component along a second electrical pathway passes through an ALPD readout integrated circuit to an imaging readout integrated circuit
CN111239749B (zh) * 2020-02-04 2022-09-06 成都英飞睿技术有限公司 一种新型高线数mems激光雷达系统
JP2023085575A (ja) * 2020-04-24 2023-06-21 ソニーセミコンダクタソリューションズ株式会社 測距装置
CN112083394B (zh) * 2020-07-30 2024-05-03 上海航天控制技术研究所 一种拼接式面阵激光探测器
DE102020120789A1 (de) 2020-08-06 2022-02-10 Helmholtz-Zentrum Dresden - Rossendorf E. V. Photodetektor mit avalanche-photodiode, strahlungsdetektor, positronen-emissions-tomograph und betriebsverfahren für einen photodetektor
CN115128575A (zh) * 2021-03-29 2022-09-30 锐驰智光(北京)科技有限公司 阵列型激光接收模块及具有此的激光雷达
CN114068512A (zh) * 2021-11-18 2022-02-18 武汉新芯集成电路制造有限公司 半导体器件及半导体芯片
US11933669B2 (en) * 2022-02-16 2024-03-19 Allegro Microsystems, Llc Optical system for improved reliability and performance

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004523769A (ja) 2001-04-04 2004-08-05 インストロ プレシジョン リミテッド 表面形状測定
JP2012513694A (ja) 2008-12-22 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単光子計数機能を備えるcmos撮像装置
JP2012207929A (ja) 2011-03-29 2012-10-25 Topcon Corp レーザスキャナ及び動体検知方法
JP2016178341A (ja) 2016-06-15 2016-10-06 キヤノン株式会社 撮像素子及び撮像装置
WO2016199850A1 (ja) 2015-06-09 2016-12-15 三菱電機株式会社 昇降路寸法計測装置および昇降路寸法計測方法
JP2017033962A (ja) 2015-07-28 2017-02-09 株式会社東芝 光検出器およびこれを用いたライダー装置
US20170153319A1 (en) 2015-11-30 2017-06-01 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads
US20170242106A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Adaptive Ladar Receiver

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
WO2008113067A2 (en) * 2007-03-15 2008-09-18 Johns Hopkins University Deep submicron and nano cmos single photon photodetector pixel with event based circuits for readout data-rate reduction
US10636929B2 (en) * 2009-04-30 2020-04-28 Massachusetts Institute Of Technology Cross-talk suppression in Geiger-mode avalanche photodiodes
CN103645470B (zh) * 2013-12-24 2015-10-07 哈尔滨工业大学 双电控扫描激光相控阵雷达
CN104049255B (zh) * 2014-05-05 2016-05-04 南京大学 一种基于编码调制的激光三维雷达装置
CN104122561B (zh) * 2014-07-15 2017-03-15 南京理工大学 一种非扫描型3d激光成像雷达
JP2017112169A (ja) * 2015-12-15 2017-06-22 ソニー株式会社 イメージセンサ、撮像システム及びイメージセンサの製造方法
CN205643711U (zh) * 2016-05-13 2016-10-12 北醒(北京)光子科技有限公司 一种多线旋转扫描探测装置
CN106970393B (zh) * 2017-03-14 2019-12-03 南京航空航天大学 一种基于码分多址的面阵激光雷达三维成像方法
US9989629B1 (en) * 2017-03-30 2018-06-05 Luminar Technologies, Inc. Cross-talk mitigation using wavelength switching

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004523769A (ja) 2001-04-04 2004-08-05 インストロ プレシジョン リミテッド 表面形状測定
JP2012513694A (ja) 2008-12-22 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単光子計数機能を備えるcmos撮像装置
JP2012207929A (ja) 2011-03-29 2012-10-25 Topcon Corp レーザスキャナ及び動体検知方法
WO2016199850A1 (ja) 2015-06-09 2016-12-15 三菱電機株式会社 昇降路寸法計測装置および昇降路寸法計測方法
JP2017033962A (ja) 2015-07-28 2017-02-09 株式会社東芝 光検出器およびこれを用いたライダー装置
US20170153319A1 (en) 2015-11-30 2017-06-01 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads
US20170242106A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Adaptive Ladar Receiver
JP2016178341A (ja) 2016-06-15 2016-10-06 キヤノン株式会社 撮像素子及び撮像装置

Also Published As

Publication number Publication date
US20200191925A1 (en) 2020-06-18
WO2019041267A1 (en) 2019-03-07
EP3622314A4 (en) 2021-04-14
EP3622314A1 (en) 2020-03-18
JP2020530109A (ja) 2020-10-15

Similar Documents

Publication Publication Date Title
JP7092319B2 (ja) 物体を検出及び測距するためのシステム
US11726205B2 (en) Light ranging device having an electronically scanned emitter array
US11598857B2 (en) Integrated lidar image-sensor devices and systems and related methods of operation
KR102432861B1 (ko) 거리 측정을 위한 이미지 센서
US20130234029A1 (en) Image sensor for two-dimensional and three-dimensional image capture
JP2017112169A (ja) イメージセンサ、撮像システム及びイメージセンサの製造方法
KR20190057124A (ko) 물체까지의 거리를 결정하기 위한 시스템
WO2019041257A1 (zh) 信号处理芯片、图像处理系统和距离测量系统
WO2022061821A1 (zh) 器件及其制备方法、接收芯片、测距装置、可移动平台
WO2019041250A1 (zh) 电子器件及包括其的测距装置和电子设备
WO2023155099A1 (zh) 背照式雪崩光电二极管阵列芯片、接收芯片、测距装置及可移动平台
WO2022098507A1 (en) Copackaging photodetector and readout circuit for improved lidar detection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220302

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220302

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220310

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7092319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150