JP7249953B2 - ピクセル構造 - Google Patents

ピクセル構造 Download PDF

Info

Publication number
JP7249953B2
JP7249953B2 JP2019556799A JP2019556799A JP7249953B2 JP 7249953 B2 JP7249953 B2 JP 7249953B2 JP 2019556799 A JP2019556799 A JP 2019556799A JP 2019556799 A JP2019556799 A JP 2019556799A JP 7249953 B2 JP7249953 B2 JP 7249953B2
Authority
JP
Japan
Prior art keywords
charge
charge storage
light
pixel
storage well
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019556799A
Other languages
English (en)
Other versions
JP2020517924A (ja
Inventor
ダイク、ダーク ファン
パエゼン、リック
Original Assignee
ゼノマティクス ナムローゼ フェンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゼノマティクス ナムローゼ フェンノートシャップ filed Critical ゼノマティクス ナムローゼ フェンノートシャップ
Publication of JP2020517924A publication Critical patent/JP2020517924A/ja
Application granted granted Critical
Publication of JP7249953B2 publication Critical patent/JP7249953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、ピクセルの分野に関し、詳細には、レンジゲーティング(range gating)によって得られた飛行時間情報に基づいて物体までの距離を求めるための撮像システムで使用するためのピクセルに関する。
Andreas Spickerman等に対する米国特許第8,792,087号明細書は、光活性領域を少なくとも2つの異なる評価容量に結合する少なくとも2つの異なる転送ゲートが異なる駆動間隔の間に駆動され、その結果測定の対象から反射された放射パルスによって、および/または周辺放射によって駆動間隔の間に生成された電荷キャリアを、光活性領域から、少なくとも2つの転送ゲートにそれぞれ結合された評価容量に運ぶことができるデバイスを開示している。別の転送ゲートは、少なくとも2つの転送ゲートの駆動間隔外の時間中に駆動されて、少なくとも2つの転送ゲートの駆動間隔外の時間に電荷キャリアシンクとして機能する基準電位端子に光活性領域を接続する。
米国特許第8,702,087号明細書から知られるシステムの欠点は、センサから短い距離にある物体からの反射によってピクセルが飽和することである。
Shoji Kawahitoに対する米国特許出願公開第2007/158770号明細書は、標準的なCMOS製造手順と比較して作製工程が削減された、光の反射時間の測定に基づいた距離測定イメージセンサを開示している。シリコン基板上に酸化膜が形成され、この酸化膜の上に電荷転送用の2つのフォトゲート電極が設けられる。浮動拡散層は、電荷を電子ポテンシャルに変換するために使用され、電荷結合素子(CCD)のレガシー技術から伝統的に継承された機構である。リセット用の追加のトランジスタと、所与のリセット電圧を提供する拡散層とが設けられる。
米国特許出願公開第2007/158770号明細書に開示されたピクセルの不利な点は、非標準な技術を使用しており、ピクセルの設計が、ピクセルのアクティブ表面積を犠牲にしないことには追加のウェルの付加を許可しないことである。これは、広い動作範囲を必要とする超低出力レーザを備えたセンサシステムでの使用には最適ではない。使用されるプロセスは、標準的なCMOSプロセスでは一般的には利用できないため、このような概念の適用の可能性を低減させ、手頃な価格で大量に生産する能力を低下させる。
このような設計に基づいたセンサの範囲はまた、投射光の強力な反射によるピクセルの飽和によって近端に制限される。
短距離反射、または交通標識、ナンバープレートなどの高反射物体を検知するときのピクセルの飽和は、本発明によるピクセルの目的のようにピクセルが自動車用途のセンサで使用される場合に特に問題をはらんでおり、その理由は、高度運転支援システム(ADAS)および自動運転車は短距離での高い精度を必要とするためである。さらに、この用途の範囲において、短距離精度の要件のために、より長い距離での精度、明るい周囲光条件で動作する能力、およびコンパクト性の要件(ソリッドステート半導体部品の使用が必要)を犠牲にするべきではない。
したがって、本発明の実施形態の目的は、さまざまなピクセル構成を提案することにより、レンジゲーティングベースの撮像システムで使用されるピクセルに関する短距離飽和問題を克服することである。
本出願人の名前で2015年10月23日付けの未公開の欧州特許出願公開第15191288.8号明細書は、物体までの距離を求めるためのシステムを記載しており、それは、レーザ光のスポットのパターンをパルスのシーケンスで物体に向けて投射するように配置されたソリッドステート光源と、複数の画像素子を備える検出器であって、前記パルスのシーケンスと同期して、物体によって反射されるスポットのパターンを表す光を検出するように構成される検出器と、前記検出された光に応答して前記画像素子によって生成された露光値の関数として物体までの距離を計算するように構成される処理手段とを備え、画像素子は、前記シーケンスの各パルスについて、第1の所定の時間ウィンドウの間に前記物体によって反射された第1の光量を表す第1の量の電荷と、第2の所定の時間ウィンドウの間に前記物体によって反射された第2の光量を表す第2の電荷を蓄積することによって前記露光値を生成するように構成されており、前記第2の所定の時間ウィンドウは、前記第1の所定の時間ウィンドウの後に生じる。複数の画像素子のそれぞれは、少なくとも2つの電荷ストレージウェルを有してよく、第1の光量の検出および第2の光量の前記検出は、少なくとも2つの電荷ストレージウェルのそれぞれで行われる。欧州特許出願公開第15191288.8号明細書は、短距離飽和問題の解決策については説明していない。
同様のシステムでは、本出願人の名前での2016年10月3日付けの未公開の欧州特許出願公開第16192105.1号明細書は、所与の総ピクセル空間に対して、第1のウェルによって表される光子容量が増加され、第2のウェルによって表される光子容量が減少される非対称のウェル配置を使用することによって飽和問題を緩和させることができることを記載している。増加と減少のバランスが取れているならば、追加のピクセル表面コストなしでダイナミックレンジの拡大を実現することができるため、同じ分解能を維持することができる。欧州特許出願公開第16192105.1号明細書は、第1のウェルで表される光子容量と第2のウェルで表される光子容量との間の特定の比率については説明していない。
米国特許第8,792,087号明細書 米国特許第8,702,087号明細書 米国特許出願公開第2007/158770号明細書 欧州特許出願公開第15191288.8号明細書 欧州特許出願公開第16192105.1号明細書
本発明の一態様によって、レンジゲーティングによって物体までの距離を求めるシステムで使用するためのピクセルが提供され、前記ピクセルは、露光間隔のそれぞれのセットの間に前記物体によって反射され、前記ピクセルに衝突する光量を表す電荷を蓄積するための第1の電荷ストレージウェルおよび第2の電荷ストレージウェル、ならびに第3の電荷ストレージウェルを備え、前記第1の電荷ストレージウェルは、前記第2の電荷ストレージウェルの電荷容量よりも少なくとも50%大きい電荷容量を有し、また前記第3の電荷ストレージウェルは、前記第1の電荷ストレージウェルおよび前記第2の電荷ストレージウェルよりも小さい電荷ストレージ容量を有する。
本発明は、以下により詳細に説明するレンジゲーティングベースの撮像システムなどの特定のシステムにおいて、二重ウェルピクセルを有する(追加のウェルの存在は除外されない)ことにより、電荷ストレージウェルの一方が他方の電荷ストレージウェルよりも実質的に大きな電荷容量を有することが有利であるという発明者等の洞察に基づいている。「ウェル」という用語は、適切な技術によって半導体回路で生成される単一の静電容量(電子容量)を指す場合、または例えばカスケードとして配置された単一のストレージユニットとして共同で機能する相互接続された多数の容量を指す場合がある。このタイプのピクセルは、ピクセルが配備される状況の物理特性が、高い精度と広い距離範囲を必要とするため大きな光子スパンが生じることになる飛行時間ベースの測定システムの場合のように、異なるウェルに蓄えられる電荷の量に予測可能な非対称性をもたらす場合に特に有用である。
本発明のピクセルが短距離飽和問題を解決する限り、それは、短端での動作範囲を拡張する他の回避策の必要性を排除する。例えば、所望される範囲の複数のサブレンジに対する複数の連続測定に依存するシステム(パルス幅が各フレームによってカバーされる距離範囲の関数として変化するマルチフレームシステム)では、本発明によるピクセルは、測定(意図された全動作範囲をカバーするのに必要とされる個々のフレーム)の数を削減し、これによりセンサの時間分解能を改善することを可能にする。
本発明によるピクセルは、好ましくは、標準的なソリッドステート(半導体)回路製造プロセスに適合する感光性要素を含む。
第3のウェルが、他のウェルの動作のタイミングを考慮したタイミングスキームに従って動作するという条件で、さまざまな機能を実行するために設けられる。以下により詳細に説明するように、第1のウェルおよび第2のウェルが基本的なレンジゲーティングを実行する距離検知システムでは、第3のウェルの機能は、長距離の高反射物体(第1のウェルおよび第2のウェルがアクティブである時間枠外での交通標識やナンバープレートなど)から到達する光子に応答して生成される追加の電荷を受け取ること、風景の通常の2次元画像を生成することと(投影光の反射が、任意選択で、拡散器を備えたVCSELアレイで構成され得る風景を照らすための広角フラッシュライトと同期して到達する時間枠外での)、または背景光の減算を実行する(第1のウェルおよび第2のウェルに蓄積された電荷レベルから、投影光の反射が到達する時間枠外で第3のウェルに蓄積される電荷量を差し引くことによって)ことを含んでよい。
第3の電荷ストレージウェルは、それが背景光を捕らえるためだけに使用される場合、ピクセルアレイに到達する背景光は典型的には、好ましくは距離検知システムに設けられる周囲光低減フィルタによって強力に減衰されるため、第1の電荷ストレージウェルおよび第2の電荷ストレージウェルよりも著しく小さい電荷ストレージ容量を有してよい。第3の電荷ストレージウェルが、風景の追加照明(フラッシュライトなどを利用して)を使用して2D画像を取得するため、または範囲外の高反射物体からの反射を捕らえるために使用されることが意図されている場合、それは、第1または第2の電荷ストレージウェルと同様のストレージ容量に寸法が合わせられる場合もある。
一実施形態では、前記ピクセルは、前記ピクセルに衝突する光によって前記第1の電荷ストレージウェルまたは前記第2の電荷ストレージウェルが蓄えられる電荷量を増加させる充電モードと、前記ピクセルに衝突する光によって前記第1の電荷ストレージウェルまたは前記第2の電荷ストレージウェルが蓄えられる電荷量を減少させる放電モードとの間で前記ピクセルを切り替えることを可能にする回路をさらに備える。
この実施形態は、パルスシステムにおいて、「パルスオン」間隔が、投射光と背景光の存在によって特徴付けられ、一方でパルス反射の到着後に生じる「パルスオフ」間隔の一部は、背景光のみの存在によって特徴付けられるという発明者等の洞察に基づいている。発明者等は、露光期間に匹敵する期間にわたって、「パルスオン」間隔に相当する各露光後に、ピクセルを「放電」モードに切り替えることによって、各ストレージウェルに残っている電荷が、背景光の成分を含まない投射光の捕捉した反射に等しくなる方法を開発した。
例えばレンジゲーティングセンサで使用されるように、ピクセルアレイのピクセルから背景光を差し引く方法において使用することができる点が、本発明によるピクセルのこの実施形態の利点である。特に、それは、撮像アレイの第1のピクセルの露光値から背景光を差し引く方法を可能し、前記第1のピクセルは、スポットの周期的パルスパターンによって照らされた風景からスポットの反射を受け取り、前記周期的パルスパターンは、照明位相と非照明位相とを交互に繰り返すことを含んでおり、方法は、所定の時間の間に前記スポットを検出する間、前記第1のピクセルで受け取った第1の入射光量に比例して前記第1のピクセルに電荷を蓄積することと、前記スポットが存在しない場合、前記所定の時間の間に受け取った第2の入射光量に比例して前記電荷を減少させることとを含む。
一実施形態では、前記ピクセルは、前記第1の電荷ストレージウェルおよび前記第2の電荷ストレージウェルのアクティブな1つが容量まで満たされたときに生成される光電荷が、隣接するピクセルのストレージウェルに入らずに電荷シンクに偏向されることを可能にする回路をさらに備える。
ブルーミングを回避できることで、背景測定にまだ使用することができる、または通常の2D画像を取得するのに使用することができる隣接するピクセルにこぼれる作用を回避することによって、個々のピクセルが飽和した場合でもピクセルのアレイのスポット検出の高い空間精度を維持することができる点がこの実施形態の利点である。
一実施形態では、本発明によるピクセルは、第4の電荷ストレージウェルをさらに備える。
本発明の一態様によれば、上述のような複数のピクセルを備える撮像アレイが設けられる。
本発明の一態様によって、物体までの距離を求めるためのシステムが提供され、このシステムは、光のスポット、好ましくは離散スポットのパターンをパルスのシーケンスで、好ましくは周期的に繰り返されるパルスのシーケンスで物体に向けて投影するように配置されたソリッドステート光源と、上述の撮像アレイを備える検出器であって、前記パルスのシーケンスと同期して、物体によって反射される際のスポットのパターンを表す光を検出するように構成された検出器と、検出された光に応答して前記ピクセルによって生成された露光値の関数として物体までの距離を計算するように構成された処理手段とを備え、撮像アレイのピクセルは、前記シーケンスのすべてのパルスについて、第1の所定の時間ウィンドウの間に前記物体によって反射された第1の光量を表す第1の電荷量と、第2の所定の時間ウィンドウの間に前記物体によって反射された第2の光量を表す第2の電荷を蓄積することによって前記露光値を生成するように構成されており、前記第2の所定の時間ウィンドウは、第1の所定の時間ウィンドウの後に生じ、第1の光量の検出および前記第2の光量の検出は、前記第1の電荷ストレージウェルおよび前記第2の電荷ストレージウェルでそれぞれ行われる。
ソリッドステート光源は、好ましくは半導体光源である。投射された離散スポットは、好ましくはレーザ光のスポットである。
本発明によるシステムは、直接飛行時間ベースの測距システムと同じ物理的原理に依存しており、すなわち、光が所与の距離を移動するのに常に一定の時間量がかかるという事実に依存している。しかしながら、本発明は、目的の物体に送信され、その後その物体によって反射される光パルスが移動した距離を求めるのにレンジゲーティングを使用する。本発明はとりわけ、レンジゲーティング、少なくとも部分的に同期したスポットパターン投射(新規の照明スキームに基づく)と低電力半導体光源を組み合わせることによって、実質的に小型化され、フルソリッドステートの、エネルギー効率の良い長距離検出方法を取得することができるという発明者等の洞察に基づいている。本明細書で使用される「パターン」という用語は、同時に投射されるスポット、好ましくは離散的な(重ならない)スポットの空間的な分布を指す。3次元空間で検出されたスポット反射の位置を求めるためには、測距ステップから得られた距離情報を角度情報と組み合わせて、残りの2つの空間座標を固定する必要がある。ピクセルアレイと、適切に配置された光学系とを備えたカメラを使用して、反射が検出されたピクセルを識別することによって追加の角度情報を提供することができる。
本発明の実施形態は、所望の範囲においてLIDARシステムのソリッドステート半導体光源によって生成されたスポットパターンを使用できるようにするために、光パワーの制限を回避する方法が必要とされるという発明者等のさらなる洞察に基づいている。本発明者等は、パルス持続時間を延長し、かつ少なくとも2つの半導体センサウェルにおいて、または少なくとも2つのピクセルにおいてVCSELが生成した複数の光パルスの反射エネルギーを積分し、積分後の電荷の単一の読み出しが次に続くことによって、ソリッドステートの実装によって現在可能な動作範囲よりも大幅に広い動作範囲を伴うソリッドステートLIDARシステムを取得することができることを見出した。さらに、単一のシーケンスで可能な距離よりも広い距離範囲をカバーするために、各シーケンスで異なるパルス持続時間を使用する光パルスの複数のシーケンスが組み合わされる場合もある。以下、用語「ストレージ」は、光子の検出に応じて電荷が蓄積されるウェルまたはピクセルを指すのに使用される。
ソリッドステート光源およびソリッドステートセンサ(CMOSセンサ、CCDセンサなど)が同一の半導体基板上に集積され得ることが本発明によるシステムの利点である。ソリッドステート光源は、所望のパターンを生成するように適合された格子を備えたVCSELアレイまたはレーザを備えてもよい。
さらに、2つの連続した時間ウィンドウで検出された反射光エネルギーを評価し、2つの連続したウィンドウの全体の蓄積された電荷を正規化することによって、研究対象の物体の変化する反射率の影響と、周囲光の寄与を距離計算アルゴリズムにおいて適切に考慮することができる。
最後に、上記に記載したピクセルを使用することによって、本発明によるシステムは、短距離での物体から受ける強い反射に起因する電荷ストレージウェルの飽和の影響を受けにくい。
一実施形態において、システムは、少なくとも2つの連続するパルスのシーケンスについて投射および検出を行うように構成され、シーケンスの各々は、第1の所定の時間ウィンドウおよび第2の所定の時間ウィンドウの異なる持続時間で作動される。
この実施形態は、フルレンジの検知を複数のフレーム(すなわち複数のパルスのシーケンス)にわたって分割し、その各々が、異なるタイミングパラメータ(第1の所定の時間ウィンドウおよび第2の所定の時間ウィンドウ)で動作することが理由で異なる範囲についての距離の算出を可能にすることによって、システムの範囲を改善することができるという発明者等の洞察にさらに基づいている。
これらの動作パラメータを慎重に選択することによって、各フレームにおいて、所望の範囲の最大距離に関して検出されると予想される反射光子の数が、電荷ストレージウェルから確実に読み出すことができる電荷の量に対応することを保証することができる。一方、正確な測定を実行することができる最も近いポイントは、ピクセルの容量を飽和させる光子の数によって決まる。検出可能な最小数の光子と、飽和なしで受け取ることができる最大数の光子との比率によって、単一のフレームに広がり得る距離範囲が決まる。
本発明によるシステムの一実施形態では、撮像アレイは、2Dビデオ画像の取得を実行するようにさらに適合される。
2Dビデオ画像の取得は、第3の電荷ストレージウェルおよび/または第4の電荷ストレージウェルを使用することによって、あるいは投影光スポットの反射によって照らされていないピクセルアレイのピクセルを使用することによって、レンジゲーティングが行われるのと同じフレームで行われてよい。追加として、または代替として、2Dビデオ画像の取得は、任意選択で風景の全体照明と同期して、レンジゲーティングが行われる他のフレームとは別のフレームで行われる場合もある。
本発明のこれらの、および他の態様および利点を、添付の図面を参照して以下でより詳細に説明する。
本発明によるピクセルが使用され得る、本発明によるシステムの一実施形態によって適用されるレンジゲーティングプロセスのフローチャートである。 本発明によるピクセルが使用され得る、本発明によるシステムの一実施形態を概略的に表す図である。 本発明によるシステムの一実施形態によって適用されるレンジゲーティングプロセスのタイミングスキームを提示して、レンジゲーティングに関与する2つのウェルの動作を例示する図である。 本発明によるシステムの一実施形態によって適用されるレンジゲーティングプロセスのタイミングスキームを提示して、レンジゲーティングに関与する2つのウェルの動作を例示する図である。 本発明によるシステムの一実施形態によって適用されるレンジゲーティングプロセスのタイミングスキームを提示して、レンジゲーティングに関与する2つのウェルの動作を例示する図である。 本発明によるピクセルの一実施形態を概略的に表す図である。 ウェルの非対称性を取得する第1の方法を示す、本発明によるピクセルの一実施形態を概略的に表す図である。 ウェルの非対称性を取得する第2の方法を示す、本発明によるピクセルの一実施形態を概略的に表す図である。 本発明の一実施形態における光の投射および検出のタイミング図を表して、追加のウェルの動作を例示する図である。 本発明の一実施形態における光の投射および検出のタイミング図を表して、追加のウェルの動作を例示する図である。 本発明の一実施形態における光の投射および検出のタイミング図を表して、追加のウェルの動作を例示する図である。 本発明の一実施形態における光の投射および検出のタイミング図を表して、追加のウェルの動作を例示する図である。 本発明の一実施形態における光の投射および検出のタイミング図を表して、追加のウェルの動作を例示する図である。 本発明の一実施形態における光の投射および検出のタイミング図を表して、追加のウェルの動作を例示する図である。 本発明の一実施形態における光の投射および検出のタイミング図を表して、追加のウェルの動作を例示する図である。
図の全体を通して、同様の数字は、同様の要素を指すために使用される。
発明者等は、本発明によるピクセルアレイが、コンパクトな、半導体ベースの飛行時間ベースシステムによって同一のパワー/性能特性を達成することを目指す新規のタイプの測距システムに有利に適用できることを発見した。したがって、本発明の一態様は、以下に説明するように、ピクセルアレイに配置された複数のピクセルを備える測距システムに関する。
本発明のこの態様では、既存のLIDARベースシステムの制限は、飛行時間ベースシステムが動作する方法を変更することによって克服される。各飛行時間測定で放出される光エネルギーの総量(およびこれにより各飛行時間測定について検出器での検出に利用できる光子の数)は、個々のパルスの持続時間を拡大することによって、および多数の個々のパルスのシーケンスで構成される仮想「複合パルス」を生成することによって増大されてよい。この拡張されたパルスの束によって、発明者等は、VCSELなどの低出力のソリッドステートレーザによって所望の動作範囲に必要とされる量の光エネルギー(光子)を獲得すことが可能になった。
既存のLIDARシステムの個々のパルスの持続時間が1nsの場合、ここで説明するシステムは、VCSELなどの半導体レーザの比較的低い出力レベルをある程度補償するために、実質的にこれより長いパルス持続時間から恩恵を受けており、本発明の実施形態では、シーケンス内の個々のパルスは、1μsの例示の持続時間を有してよい(これは、説明を明確かつ単純にするためにここで選択された1つの可能な値であり、より一般的には、本発明の実施形態では、パルス持続時間は、例えば500ns以上であってもよく、好ましくは750ns以上、最も好ましくは900ns以上であってもよい)。本発明による例示的なシステムでは、シーケンスは1000パルスサイクルから成り立っており、したがって合計すると1msの持続時間となり得る。光が100mの距離のところの対象まで移動し、また検出器に戻るにはおよそ0.66μsが必要であるという事実を考えると、この程度の距離の測距のためにこのような持続時間の複合パルスを使用することが可能であり、当業者は、選択されたパルス幅および所望の範囲に応じて必要なパルスサイクル数を調整することができる。シーケンスの検出は好ましくは、VCSELベースの光源と同期して個々のパルスを検出することと、読み出しの前にシーケンス全体についてピクセルウェルレベルで入射する光子に応答して生成された電荷を蓄積することとを含む。「露光値」という用語は、以降、シーケンスにわたって積分された電荷(したがってピクセルで受け取る光量)を表す値を指定するために使用される。シーケンスの放出と検出は周期的に繰り返される。
本発明の測距システムは、レンジゲーティングを使用することによって動作する。距離ゲート撮像装置は、パルスの持続時間にわたって放出されたパルスの反射の検出されたパワーを積分する。パルス放射ウィンドウと反射パルスの到着との間の時間的な重なりの量は、光パルスの戻り時間、したがってパルスが移動した距離に依存している。したがって、積分されたパワーは、パルスが移動した距離と相関される。本発明は、上述のパルスシーケンスに適用されるレンジゲーティングの原理を使用する。以下の説明では、シーケンス全体の測定値を取得するための、画像素子レベルでのシーケンスの個々のパルスの積分が暗黙的に理解されている。
図1は、適用可能な測距方法のフローチャートを表している。一般性を失うことなく、測距方法はレンジゲーティングアルゴリズムを参照して説明される。第1の時間ウィンドウ10では、方法は、ソリッドステート光源210を含む光源からのレーザ光のスポットのパターン(例えば、スポットの規則的または不規則な空間パターン)を風景の対象領域の任意の物体に投射すること110を含む。空間パターンは、パルスのシーケンスで繰り返し投射される。
上記で示したように、ソリッドステート光源は、VCSELアレイまたは所望のパターンを生成するように適合された格子を備えたレーザを備えてもよい。システムが長い距離で、かつ高レベルの周囲光(例えば昼光)でも最適に動作するために、本発明の実施形態で使用するためのVCSELは、単位面積当たりのスポットにつき最大の光パワーを放出するように構成されることが好ましい。したがって、優れたビーム品質(低M2因子)のレーザが推奨される。より好ましくは、レーザは最小の波長分散を有するべきであり、モノモードレーザによって、とりわけ低い波長分散を実現することができる。したがって、必要な空間的および時間的精度で、実質的に同一のパルスを再現可能に生成することができる。
パルスが放出されるのと同じ時間ウィンドウの間、または実質的に重なる時間ウィンドウにおいて、対象の物体によって反射されるスポットのパターンを表す第1の光量が検出器において検出され120、この検出器は好ましくは可能な限り光源の近くに配置される。スポットパターンの投射110とその反射の最初の検出120が同時である、またはほぼ同時であること、は、これらのステップを横並びに配置することによってフローチャートに例示されている。後続の第2の所定の時間ウィンドウ20において、反射光スポットを表す第2の光量が検出器において検出される130。この第2のウィンドウ20の間、ソリッドステート光源は非アクティブである。次いで、反射光の第1の量および反射光の第2の量の関数として物体までの距離を計算することができる140。
第1の所定の時間ウィンドウ10および第2の所定の時間ウィンドウ20は、検出量の一方を他方から差し引くことによって、ノイズおよび周囲光の相殺を容易にするための、実質的に等しい持続時間の好ましくは連続するウィンドウである。例示のタイミングスキームは、図3と併せて以下でより詳細に説明される。
検出器は、風景の画像(照明されたスポットを含む)を画像素子に投射するように配置された適切な光学系を備えた上記に記載したピクセルアレイを含む。
本明細書で使用される「画像素子」という用語は、ピクセルの個々の感光性領域またはウェルを指す場合、あるいはピクセル全体(複数のウェルを含む場合がある、以下を参照)を指す場合がある。所定の投射スポットごとに、第1の光量の検出120および第2の光量の検出130は、同一の画像素子において、または複数の画像素子の同じグループで行われる。
一般性を失うことなく、第1の光量の検出120および第2の光量の検出130を同一ピクセルまたは同一ピクセルグループのそれぞれの電荷ストレージウェル221、222で行うことができるように、画像素子の各々は少なくとも2つの電荷ストレージウェル221、222を備えるピクセルであってよい。第3のウェルは、プロジェクタおよび/または他のウェルのタイミングを考慮に入れたタイミングスキームに従って動作する限り、さまざまな機能を実行することができる。
図2は、対象の風景内の物体99に関して、本発明によるシステムの一実施形態を概略的に表している。システム200は、周期的に繰り返され得るスポットのシーケンスのパターンを物体99上に投射するためのソリッドステート光源210を備える。検出器220が光源の近くに配置され、物体によって反射された光を検出するように構成されている。
物体99から跳ね返る光ビームは、破線の矢印として示されており、光源210から物体99に進み、検出器220に戻る。この表現は厳密に概略的なものであり、実際の相対的な距離や角度を示すものではないことに留意されたい。
従来のクロック回路または発振器を含み得る同期手段230が、第1の所定の時間ウィンドウ10の間にスポットパターンを物体に投射するためにソリッドステート光源210を動作させ、ほぼ同時に物体99によって反射された光スポット(複数可)を表す第1の光量を検出するために検出器220を動作させるように構成される。さらに、検出器220を動作させて、後続のそれぞれの第2の所定の時間ウィンドウ20の間に、物体99によって反射された光スポットを表す第2の光量を検出する。適切な処理手段240は、第1の反射光量と第2の反射光量の関数として物体までの距離を計算するように構成される。
図3(図3a、3bおよび3cから成る)は、本発明の実施形態における光の投射と検出のタイミング図を表す。明確さの理由のために、図3の周期的に繰り返されるパルスシーケンスの単一パルスのみが示されており、これは第1の時間ウィンドウ10と第2の時間ウィンドウ20で構成される。
図3aに見られるように、第1の時間ウィンドウ10の間、ソリッドステート光源210は「オン」の状態にあり、光スポットのパターンを風景に放出する。第2の時間ウィンドウ20の間、ソリッドステート光源210は「オフ」の状態にある。
検出器220への反射光の到達は、投射の開始に対して、移動した距離に比例する時間(自由空間でおよそ3.3ns/m)の分だけ遅れる。この遅れにより、反射光の一部しか、第1の時間ウィンドウ10の間のみで作動される検出器220の第1のウェル221で検出されないことになる。したがって、その作動期間(第1の時間ウィンドウ10)の間にこの第1のウェルに蓄積された電荷は、反射パルスの到着前にピクセルに衝突するノイズおよび周囲光のみを表す部分と、ノイズ、周囲光および反射パルスの立ち上がりを表す部分とで構成される。
反射パルスの後者の部分は、好ましくは第1の時間ウィンドウ10の直後に続く第2の時間ウィンドウ20の間のみ作動される検出器220の第2のウェル222で検出される。したがって、その作動期間(第2の時間ウィンドウ20)の間にこの第2ウェルに蓄積された電荷は、ノイズ、周囲光および反射パルスの立ち下がりを表す部分と、反射パルスの到着後にピクセルに衝突するノイズと周囲光のみを表す部分とで構成される。
反射物体99とシステム200との間の距離が大きいほど、第1のウェル221で検出されるパルスの割合が小さくなり、第2のウェル222で検出されるパルスの割合が大きくなる。
反射パルスの立ち上がりが第1のウェル221の閉鎖後(すなわち、第1の時間ウィンドウ10の終了後)に到着した場合、第2のウェル222で検出できる反射パルスの割合は、飛行遅延時間の増大に伴って再び減少する。
物体99の変動する距離に対して、各ウェル221、222のそれぞれにおいて結果として生じる電荷量A、Bが図3bに示されている。表現を単純化するために、逆二乗の法則による距離に伴う光の減衰効果は、この図では考慮されていない。第1の時間ウィンドウ10と第2の時間ウィンドウ20を組み合わせた持続時間以下の飛行時間遅延に対して、飛行時間遅延は原則としてAおよびBの値から明白に導き出すことができることは明らかである。
-第1の時間ウィンドウ10の持続時間以下の飛行時間遅延の場合、Bは物体99の距離に比例する。絶対距離の決定に容易に到達するために、正規化された値B/(B+A)が使用され、検出された物体の不完全反射の影響および逆二乗則のいかなる影響も排除することができる。
-第1の時間ウィンドウ10の持続時間を超える飛行時間遅延の場合、Aは昼光とノイズの寄与のみで構成され(図示せず)、C-Bは物体99の距離に実質的に比例しており(逆二乗則に関する補正後)、この場合Cは、オフセット値である。
図3aおよび図3bは、時間ウィンドウ10で放出された単一のパルスに関連して本発明によるシステムの原理を示しているが、図示されたパルスは上記で定義されたパルスのシーケンスの一部であることを理解されたい。図3cは、そのようなシーケンスの例示的なタイミング特性を概略的に示している。図示されるように、照明スキーム40は、個々のパルス10のシーケンス30の繰り返される放出で構成される。個々のパルス10の幅は、最大動作範囲によって決まる。シーケンス全体は、例えば60Hzの周波数で繰り返されてよい。
本発明者等は、本明細書で説明するようなシステムでは、短い距離の物体による光の反射は、ピクセルの飽和を引き起こす可能性が高く、その理由は、そのような反射の減衰は、より遠くの物体から生じる反射よりもかなり小さくなる(距離に対する光の減衰の逆二乗法則による)ためであることを発見した。自動車用途などの特定の用途では、比較的長い距離まで正確なシステム動作が必要になるため、最も近い動作距離と最も遠い動作距離との間で大きな光子スパンをカバーする必要がある。このような制約によって、短距離でのピクセル飽和は、特に第1のウェル(短距離で反射の大部分を受け取る)において非常に現実的なリスクである。本発明者等は、所与の総ピクセル空間について、第1のウェルによって表される光子容量が増加され、第2のウェルによって表される光子容量が減少された非対称のウェル配置を使用することによって飽和問題を緩和できることを見出した。増加と減少のバランスが取れているならば、追加のピクセル表面コストなしでダイナミックレンジの増加を得ることができる。
本発明者等は、有用な動作範囲(最低検出可能光レベルと飽和が生じる光レベルとの間)を獲得するために、第1の電荷ストレージは、第2の電荷ストレージウェルの電荷容量より少なくとも50%大きい電荷容量を有するべきであることをさらに発見した。好ましくは、第1の電荷ストレージは、第2の電荷ストレージウェルの電荷容量より少なくとも75%大きい電荷容量を有するべきであり、最も好ましくは、第1の電荷ストレージは、第2の電荷ストレージウェルの電荷容量より少なくとも100%大きい電荷容量を有するべきである。
ブルーミング防止回路を含む、本発明による例示の非対称の二重ウェルピクセルを図4に概略的に示す。電荷ストレージウェル221、222(SN A、SN B)は、上記に記載されるように2つの電荷ストレージウェルのアクティブ状態を投射パルスの送信と同期するように制御される転送ゲート(TG A、TG B)によってフォトアクティブ領域(PH)に接続される。
図5は、本発明によるピクセルの一実施形態を概略的に表しており、ウェルの非対称性を獲得する第1の方法を示している。図5に示すように、半導体製造プロセス中、第1のウェル221(A信号側の空乏ゾーン)は、第2のウェル222(B信号側の空乏ゾーン)よりも少なくとも50%大きく作製された。
図6は、本発明によるピクセルの一実施形態を概略的に表し、ウェルの非対称性を獲得する第2の方法を示している。この場合、両方の半導体ウェル221、222は同じ側にあるが、第1のウェル221の有効容量を増加させるために追加のコンデンサがA信号側に設けられる。
ブルーミングは、ピクセル内の電荷がその特定のピクセルの飽和レベルを超えると発生する現象である。その結果、電荷がオーバーフローし始め、隣接するピクセルに悪影響を及ぼす。これにより、隣接するピクセルまたは同じピクセルの他のウェルに不正確なデータが作成される。好ましくは、本発明によるシステムのピクセルには、関連するウェルが飽和し、隣接するピクセルのウェルにこぼれる前に過剰な電荷を抜き出すためのブルーミング防止電子機器が備わっている。特に、隣接するスポットからの情報が背景光の除去に使用される場合、隣接するピクセルから独立して(およびそこからの混入なしに)得られる背景光を正確に推定することが極めて重要である。
ピクセルは、ピクセルが充電モードと放電モードを切り替えることを可能にする回路をさらに備えてもよい。充電モードでは、前記ピクセルに衝突する光によって、第1の電荷ストレージウェルまたは第2の電荷ストレージウェル(照明スキームの現在の段階に応じて)が蓄えられる電荷の量を増加させる。好ましくは充電モードの後に同じ時間だけ作動される放電モードでは、前記ピクセルに衝突する光によって、第1の電荷ストレージウェルまたは第2の電荷ストレージウェルが蓄えられる電荷の量を減少させる。このスイッチング方式により、背景光に相当する電荷量を電荷ストレージウェルから除去することが可能になる。
本発明の実施形態は、ウェルの容量に関連する熱ノイズ(「kTCノイズ」とも呼ばれる)に対してサンプルを補正するために相関二重サンプリングを使用する場合がある。このため、ピクセルの電子回路は、例えばフレームの始めにVresetを測定し、フレームの終わりにVsignalを測定することにより、リセット電圧(Vreset)と信号電圧(Vsignal)との間の差分測定を実行するように設計されてよい。電子的(ピクセル内)実装の代替として、プロセッサにおいて読み出し信号(Vsignal-Vreset)をデジタル的に減算することによって相関二重サンプリングが実装される場合もある。
ピクセル構造内の感光性要素(特にダイオード)に到達する光量を増加させるために、本発明の実施形態は裏面照射を使用する場合があり、そのような場合、ピクセル回路は感光層の背後にあるため、感光性要素を読み取るために、作用する光子が通過しなければならない層の数が減少する。
上述のシステムに適用可能であることに加えて、本発明によるピクセルおよびピクセルアレイはまた、国際公開第2015/004213号パンフレットに従って三角測量ベースのシステムと統合されてもよい。小型化に照準を定めた場合、三角測量ベースのシステムは、結局のところプロジェクタと検出器との距離が相対的に短くなるため、縮小された動作範囲を有するようにする。しかしながら、この組み合わせがその利点を呈示するのはまさに短距離であり、その理由は、三角測量ベースのシステムは、飛行時間ベースシステムが十分に正確に動作することができない距離をカバーすることができるためである。
検出された物体までの距離を経時的に監視するために、測距プロセス全体が繰り返し反復される、好ましくは定期的に反復される場合もある。したがって、この方法の結果は、高度な運転者支援システム、アクティブサスペンションを備えた車両、自律型車両など、検出された物体までの距離に関する情報を継続的に必要とするプロセスで使用することができる。
測距プロセス全体を反復的に繰り返すことで、検出された物体までの距離を経時的に監視することができる。したがって、この方法の結果は、車両周辺の物体の検出と追跡、高度な運転者支援システム、アクティブサスペンションを備えた車両、自律運転または自律型車両など、検出された物体までの距離に関する情報を継続的に必要とするプロセスで使用することができる。反復的に繰り返されるレンジゲーティングシーケンスは、図7aのタイミング図に概略的に示されており、そこでは、各フレームは、プロジェクタ(P)のパルスシーケンスに対応しており(パルスのタイミングは小文字の「p」で示される)、これは撮像装置(I)の作動に同期されている(第1のウェルの電荷の蓄積は小文字の「a」で示され、第2のウェルの電荷の蓄積は小文字の「b」で示される)。一般性を失うことなく、連続する2つのフレームのみが示されている。
図7bは、各投射パルスに2つの追加のタイムスロットを含む修正されたタイミングスキームを表している。これらの追加のタイムスロットは、投射光の反射が受信されないときにピクセルに衝突する光の強度に比例する割合でそれぞれのウェルを放電するために使用される。パルス反射を受信した時点に対してわずかな時間オフセットしか生じていない場合、パルスが存在しないときに受信した光は背景光を表すため、このスキームは、各プロジェクタパルスについて第1のウェルおよび第2のウェルに蓄積された電荷から背景の光成分を有効に除去する。
上述の放電段階を実施するために、ピクセルは、適切な転送ゲートによってフォトダイオードに結合された、電荷を蓄えるためのコンデンサを備えてもよい。蓄積段階は次いで、電荷をコンデンサの第1の側に転送することと、電荷をコンデンサの第2の側に転送することとを含む。
以下のタイミング図は、追加のウェル(例えば、前述の第3の電荷ストレージウェルおよび第4の電荷ストレージウェル)の使用方法を示している。
図7cは、全ての投射パルスに対して1つの追加のタイムスロットを含む修正されたタイミングスキームを表している。この追加のタイムスロットは、第3のウェルに光電荷を蓄積するために使用される(第3のウェルでの電荷の蓄積は小文字の「c」で示される)。第3のウェルで受信した光はパルスがない状態で到着する際、パルス反射を受信した時点に対してわずかな時間オフセットしか生じていない場合、それは背景光を表す。したがって、第3のウェルに蓄積された電荷が第1のウェルおよび第2のウェルの電荷から差し引かれて、後者の電荷から背景光の成分を効果的に除去することができる。第3のウェルで受信した光は、第1のウェルおよび第2のウェルの動作によってカバーされる範囲外の高反射物体から到達する投射スポットの反射も含む可能性があり、蓄積された電荷が、そのような物体を検出するために、それに応じて使用される場合もある。第3のウェルで受信した光はまた、風景の2D画像を生成するために使用される場合もあり、これは、任意選択で第1のウェルおよび第2のウェルの動作から得られた測距情報と組み合わされて3D画像を作成する場合もある。
図7dは、図7cのタイミングスキームの変形を表しており、同数のプロジェクタパルスが完了した後のいくつかのタイムスロットの間に第3のウェルが作動される。このように第3のウェルで受信した光が、パルスがない状態で到着する際、それは、パルス反射を受信した時点に対してわずかに長い時間オフセットがある状態での背景光を表す。したがって、第3のウェルに蓄積された電荷が第1のウェルおよび第2のウェルの電荷から差し引かれて、後者の電荷から背景光の成分を効果的に除去することができる。別個のタイムスロットで第3のウェルに蓄積された電荷は、風景の2D画像を生成するために使用されてもよく、その場合、風景は任意選択でフラッシュライトによって照らされてもよい。
図7eは、図7cのタイミングスキームのさらに別の変形を表し、プロジェクタならびに第1および第2のウェルがアクティブであるレンジゲーティングフレームの完了後に、第1のウェルが別のフレームで作動される。このように第1のウェルで受信した光が、パルスがない状態で到着する際、それは背景光を表し、パルス反射を受信した時点に対してわずかに長い時間オフセットが生じる。したがって、別個のフレームの第1のウェルに蓄積された電荷が、第1のウェルおよび第2のウェルにそれまでに蓄積された電荷から差し引かれ、後者の電荷から背景光の成分を効果的に除去する。別のフレームの第1のウェルに蓄積された電荷は、風景の2D画像を生成するために使用されてもよく、その場合、風景は任意選択でフラッシュライトによって照らされてもよい。
大きな所望の動作範囲(200m程)と高い目標精度(最も遠い地点でわずか1000光子を正確に検出する)の組み合わせによって、1つのフレームに1つのウェルで受信され得る光子の最大数(短距離での反射の場合)と、1つのフレームに1つのウェルで受信され得る最小数との間に非常に大きな範囲が生じることになる。
図7fは修正されたタイミングスキームを表しており、単一のタイムスロットの持続時間がスロットごとに異なるという点で図7aのスキームとは異なる。この方法において、異なるフレームに関する検出閾値および飽和点は異なる距離で発生し、多数の連続したフレームから取得した情報を組み合わせて近くの物体と遠くの物体両方の正確な距離測定値を取得することができる。
図7gは、Nmax(ピクセルを飽和せずに蓄えることができる電子の最大数)およびNmin(正確な読み出しに必要な最小ピクセル数)によって課せられた制約の結果として、距離[Zmin、Zmax]の対象範囲全体をカバーしない可能性がある、図3cのシーケンス内の個々のフレームが、光子数に対する同一の制約の範囲内で容易にカバーすることができる対象範囲[zmin(i)、zmax(i)]の一部をそれぞれがカバーする、異なるタイミングパラメータを有するシーケンスにどのように分解され得るかを概略的に示している。
上記で紹介され、図7gで使用されている符号を参照すると、サブレンジの対応する電子量nmin(i)およびnmax(i)は次のように定義され、
-最大許容電子数(ピクセル容量全体に「FPC」を使用しており、これは追加容量がない場合の完全なウェル容量に対応する)、
Figure 0007249953000001

z(0)=Zmax
-最低限必要な精度レベル:nmin=Nmin
-zmax(i)=zmin(i-1)
さらに、パルス特性は次のように決定することができる。
-パルス幅
Figure 0007249953000002

-完全なピクセル容量と精度レベルによって課される制限を尊重するために、総「オン」時間は
Figure 0007249953000003

に比例して減少する。
上記の原理は、以下の非限定的な数値例によってさらに明確にされてよい。
150mの距離で10%の反射率を持つランベルト反射面は、1.6%の精度を得るために1000個の電子を提供する必要がある。同じ距離で、100%の反射面は10000個の電子を生成する。200,000電子の完全なウェル容量で、以下のマルチフレーム解決策が提案される。
Figure 0007249953000004
堅牢性の理由から、サブレンジに重なりを設けることが有利な場合があることに留意されたい。
同じ3D解像度を確保するには、より高速のカメラを使用すると有利な場合があり、例えば、3フレームインターリーブで、180Hzで動作するカメラは、単一フレームで動作する60Hzと同じデータ速度を提供する。
本発明によるシステムが使用されるモードに応じて(図7a~7gに例示されるように)、デューティサイクルは変化する。範囲外の反射の捕捉や2D画像の取得にいくつかのフレームを使用すると、実際の測距に使用できる時間が短くなることを容易に知ることができる。本発明による3ウェルまたは4ウェルピクセルの使用の利点は、いくつかの機能を同時に実行できることである。
ブルーミングは、ピクセル内の電荷が特定のピクセルの飽和レベルを超えると発生する現象である(短距離反射または交通標識やナンバープレートなどの高反射面からの反射の場合)。その結果、電荷がオーバーフローし始め、隣接するピクセルに悪影響を及ぼす。これにより、隣接するピクセルに不正確なデータが作成される。好ましくは、本発明によるシステムのピクセルには、過剰な電荷が関連するウェルを飽和させ、隣接するピクセルのウェルにこぼれる前にそれを抜き出すための、とりわけ第4のウェルを含み得るブルーミング防止電子機器が設けられる。特に、隣接するスポットからの情報が背景光の除去に使用される場合、隣接するピクセルから独立して(およびそこからの混入なしに)得られる背景光を正確に推定することが極めて重要である。同様に、スポット反射を受信しないピクセルを使用して通常の2D画像を同時に生成する場合、スポット反射を受信するピクセルに隣接するピクセルが、後のピクセルからの電荷の流出の影響を受けないことが極めて望ましい。
説明したシステムのすべての要素が最適に動作するためには、システムが熱的に安定している必要がある。熱安定性は、とりわけ、そうでなければ光学フィルタおよび光学チェーンの他の要素の適切な機能を損なうことになる光学要素の望ましくない波長シフト(熱ドリフト)を回避する。本発明によるシステムの実施形態は、それらの設計により、またはPID型コントローラを備えた温度制御ループによる能動的調整により熱安定性を達成する。
国際公開第2015/004213号パンフレットは、検出間隔の間にピクセルに到達する周囲光量を最小限に抑え、これによりパターン化されたレーザスポットの検出精度を改善するためのさまざまな技術を開示している。これらの技術はLIDARシステムとの関連では開示されていないが、本発明の発明者等は、本発明の実施形態と組み合わせたときにいくつかのそのような技術が優れた結果をもたらすことを見出した。これは、検出器での狭帯域フィルタの使用、および反射光のフィルタへのほぼ垂直な入射を保証する適切な光学配置の使用に特に当てはまる。国際公開第2015/004213号パンフレットに記載されているこのような配置の詳細は、参照により本明細書に組み込まれている。さらなる特徴および詳細を以下で提供する。
共に本出願人の名前での、欧州特許出願公開第3045935号明細書および欧州特許第3045936号明細書は、検出間隔の間にピクセルに到達する周辺光量をさらに最小限にするために、本出願で開示されたシステムと組み合わせて使用できる光学配置を開示している。欧州特許第3045935号明細書および欧州特許第3045936号明細書に見られるこのような配置の詳細は、参照により本明細書に組み込まれる。したがって、本発明によるピクセルは、任意選択のフィルタリングの後、作用する光を感光性領域に導くためにマイクロレンズを備える場合もある。
検出間隔の間にピクセルに到達する周囲光量を最小限に抑えるために、このようなさまざまな技術を本発明の実施形態に適用することはできるが、一定量の周囲光を避けることはできない。マルチピクセルシステムでは、一部のピクセルのみが反射スポットで照らされ、他のピクセルは残存する周囲光のみで照らされることになる。ピクセルの後者のグループの信号レベルを使用して、対象のピクセルの信号に対する周囲光の寄与を推定し、それに応じてその寄与を差し引くことができる。
いくつかの実施形態では、検出器は、ハイダイナミックレンジ検出器、すなわち少なくとも90dB、好ましくは少なくとも120dBのダイナミックレンジを有する検出器であってよい。ハイダイナミックレンジセンサ、つまり、シーンの最も暗い部分の強度レベルの十分な識別を維持しながら、飽和せずに大量の光子を取得できるセンサの存在が、このようなセンサの使用の利点であり、非常に長い範囲を有し、なおも飽和することなく近距離(反射光が比較的強い場所)で物体を検出することができるセンサを可能にする。本発明者等は、トーンマッピングべースではないハイダイナミックレンジセンサの使用が、トーンマッピングを適用するセンサの使用よりも有利であることを発見した。トーンマッピングでは、センサの線形範囲がより高い解像度に向けて圧縮される。文献では、対数圧縮や多重線形圧縮など、いくつかの圧縮方法が文書化されている。ただし、この非線形圧縮では、レリーフ情報を抽出するために捕捉されたシーンに対して論理演算または算術演算を行う前に、信号の再線形化が必要である。したがって、本発明による解決策は、計算要件を増大させることなく検出精度を高める。いくつかの実施形態のさらなる利点は、完全に線形のハイダイナミックレンジセンサを使用することである。所望のダイナミックレンジ特性を提供することができるピクセルアーキテクチャおよび光学検出器は、米国特許出願公開第2014/353472号明細書、特に段落65~73および88に開示されており、その内容は、当業者が本発明のこの態様を実施できるようにする目的で参照により組み込まれている。
本発明の実施形態は、ハイダイナミックレンジピクセルを使用する。これは、かなり大きな完全なウェル容量の電荷槽によって、またはピクセルあたりの電子ノイズを制限する設計によって、または電荷転送時にノイズを付加しないCCDゲートの使用によって、または高い検出量子効率(DQE)(例えば、前面照明の場合は50%の範囲、背面薄型化としても知られる背面照明の場合は90%の範囲)を有する設計を通して、あるいは特別な設計または記載された改善の組み合わせによって取得することができる。さらに、オーバーフロー容量を、ピクセルの前面で重ねるようにピクセルに追加することによって(この実現例は背面薄型化を必要とする)、ダイナミックレンジをさらに拡大することが可能である。好ましくは、ピクセル設計は、ブルーミング防止機構を実装する。
本発明によるシステムは、専用ハードウェア(例えば、ASIC)、構成可能なハードウェア(例えば、FPGA)、プログラム可能なコンポーネント(例えば、適切なソフトウェアを備えたDSPまたは汎用プロセッサ)における上記に記載した方法のステップ、またはその任意の組み合わせの実施を含んでよい。同一のコンポーネントに他の機能を含める場合もある。本発明は、上述の方法のステップを実施するコード手段を含むコンピュータプログラム製品にも関し、この製品は、光学、磁気、またはソリッドステート媒体などのコンピュータ可読媒体で提供されてもよい。
本発明はまた、上述のシステムを含む車両にも関する。
本発明の実施形態は、限定ではなく、自動車用途、産業用途、ゲーム用途などを含めた広範囲の用途で有利に使用されてよく、またこれは、屋内および屋外の両方で、短距離または長距離で有利に使用することができる。一部の用途では、本発明の実施形態による異なるセンサを組み合わせて(例えば、デイジーチェーン接続)、好ましくは全円(360°の視野)にわたって全景のカバー範囲を生成することができる。
本発明による方法、ピクセル、およびピクセルアレイは、国際公開第2015/004213号パンフレットのシステムなどの三角測量ベースのシステムで、および既存のLIDARシステムでも使用されて、周囲光の存在下での測定値の品質を改善できることに留意されたい。
本発明は、別個の実施形態を参照して上記で説明されてきたが、これは、明確にする目的のみのために行われた。当業者は、一実施形態に関連して説明された特徴が、同じ技術的効果および利点を有する他の実施形態にも適用できることを理解するであろう。さらに、本発明の範囲はこれらの実施形態に限定されず、添付の特許請求の範囲によって定義される。

Claims (6)

  1. レンジゲーティングによって物体までの距離を求めるためのシステムであって、
    -光のスポット、好ましくは離散スポットのパターンをパルスのシーケンスで、好ましくは周期的に繰り返されるパルスのシーケンスで、前記物体に向けて投影するように配置されたソリッドステート光源と、
    -撮像アレイを備える検出器であって、前記パルスのシーケンスと同期して、前記物体によって反射される際の前記スポットのパターンを表す光を検出するように構成された検出器と、を備え、
    前記撮像アレイは複数のピクセルを備え、当該複数のピクセルの各ピクセルは、
    -露光間隔のそれぞれのセットの間に前記物体によって反射され、前記ピクセルに衝突する光量を表す電荷を蓄積するための第1の電荷ストレージウェル(221)および第2の電荷ストレージウェル(222)、ならびに前記第1の電荷ストレージウェル(221)および前記第2の電荷ストレージウェル(222)の露光間隔のそれぞれのセットの範囲外の時間ウィンドウ中に電荷を蓄積するための第3の電荷ストレージウェル(223)を備え、
    前記第1の電荷ストレージウェル(221)は、前記第2の電荷ストレージウェル(222)の電荷容量よりも少なくとも50%大きい電荷容量を有し、
    前記第3の電荷ストレージウェル(223)は、前記第1の電荷ストレージウェル(221)および前記第2の電荷ストレージウェル(222)よりも小さい電荷容量を有し、
    前記システムは更に、
    -前記検出された光に応答して前記ピクセルによって生成された露光値の関数として前記物体までの前記距離を計算するように構成された処理手段とを備え、
    前記撮像アレイの前記ピクセルは、前記シーケンスのすべてのパルスについて、第1の所定の時間ウィンドウ(10)の間に前記物体によって反射された第1の光量を表す第1の電荷量と、第2の所定の時間ウィンドウ(20)の間に前記物体によって反射された第2の光量を表す第2の電荷を蓄積することによって前記露光値を生成するように構成されており、前記第2の所定の時間ウィンドウ(20)は、前記第1の所定の時間ウィンドウ(10)の後に生じ、これによって、前記ソリッドステート光源は、第1の所定の時間ウィンドウ(10)の間は「オン」状態であり、第2の所定の時間ウィンドウ(20)の間は「オフ」状態であり、
    前記第1の光量の前記検出および前記第2の光量の前記検出は、前記第1の電荷ストレージウェル(221)および前記第2の電荷ストレージウェル(222)でそれぞれ行われる、システム。
  2. 少なくとも2つの連続するパルスのシーケンスについて前記投影および前記検出を行うようにさらに構成され、前記シーケンスの各々は、前記第1の所定の時間ウィンドウおよび前記第2の所定の時間ウィンドウの異なる持続時間で作動される、請求項1に記載のシステム。
  3. 前記撮像アレイは、2Dビデオ画像の取得を実行するようにさらに適合され、前記2Dビデオ画像の取得は、前記第3の電荷ストレージウェル(223)を使用するか、又は前記物体によって反射されたスポットのパターンによって照らされていない撮像アレイのピクセルを使用することによって行われる、請求項1または2に記載のシステム。
  4. 前記ピクセルは、
    -前記ピクセルに衝突する光によって前記第1の電荷ストレージウェル(221)または前記第2の電荷ストレージウェル(222)が蓄えられる電荷量を増加させる充電モードと、
    -前記ピクセルに衝突する光によって前記第1の電荷ストレージウェル(221)または前記第2の電荷ストレージウェル(222)が蓄えられる電荷量を減少させる放電モード、
    との間で前記ピクセルを切り替えることを可能にする回路をさらに備える、請求項1~3のいずれか一項に記載のシステム。
  5. 前記ピクセルは、前記第1の電荷ストレージウェル(221)および前記第2の電荷ストレージウェル(222)のアクティブな1つが容量まで満たされたときに生成される光電荷が、隣接するピクセルのストレージウェルに入らずに電荷シンクに偏向されることを可能にする回路をさらに備える、請求項1~3のいずれか一項に記載のシステム。
  6. 前記ピクセルは、2Dビデオ画像の取得またはブルーミング防止のための第4の電荷ストレージウェル(224)をさらに備える、請求項1~3のいずれか一項に記載のシステム。
JP2019556799A 2017-04-23 2018-04-23 ピクセル構造 Active JP7249953B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17167660.4A EP3392674A1 (en) 2017-04-23 2017-04-23 A pixel structure
EP17167660.4 2017-04-23
PCT/EP2018/060391 WO2018197441A1 (en) 2017-04-23 2018-04-23 A pixel structure

Publications (2)

Publication Number Publication Date
JP2020517924A JP2020517924A (ja) 2020-06-18
JP7249953B2 true JP7249953B2 (ja) 2023-03-31

Family

ID=58644852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019556799A Active JP7249953B2 (ja) 2017-04-23 2018-04-23 ピクセル構造

Country Status (6)

Country Link
US (1) US10764518B2 (ja)
EP (2) EP3392674A1 (ja)
JP (1) JP7249953B2 (ja)
CN (1) CN110546530B (ja)
BE (1) BE1025336A9 (ja)
WO (1) WO2018197441A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
CN109843500B (zh) 2016-08-24 2021-06-29 奥斯特公司 用于收集场内的距离信息的光学系统
US11105925B2 (en) 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
WO2018213200A1 (en) 2017-05-15 2018-11-22 Ouster, Inc. Optical imaging transmitter with brightness enhancement
SG11201913642VA (en) 2017-07-05 2020-01-30 Ouster Inc Light ranging device with electronically scanned emitter array and synchronized sensor array
KR102493823B1 (ko) * 2018-03-08 2023-02-01 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 검출 시스템, 및 이미지 센서의 동작 방법
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US10760957B2 (en) 2018-08-09 2020-09-01 Ouster, Inc. Bulk optics for a scanning array
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
JP6970703B2 (ja) * 2019-03-18 2021-11-24 株式会社東芝 電子装置および方法
KR102240887B1 (ko) * 2019-11-13 2021-04-15 엘브이아이테크놀러지(주) 라이다 시스템
US20210165094A1 (en) * 2019-11-29 2021-06-03 Waymo Llc Retroreflector Detection and Avoidance in a LIDAR Device
US10904456B1 (en) * 2020-03-18 2021-01-26 Sony Semiconductor Solutions Corporation Imaging with ambient light subtraction
CN111526303B (zh) * 2020-04-30 2022-05-24 长春长光辰芯光电技术有限公司 结构光成像中去除背景光的方法
CN113676683B (zh) * 2020-05-14 2024-02-06 宁波飞芯电子科技有限公司 一种图像传感器和一种消除信号偏移的方法
CN114270208A (zh) * 2020-11-13 2022-04-01 深圳市汇顶科技股份有限公司 飞行时间量测电路及相关系统、电子装置及方法
EP4148459B1 (en) * 2021-09-14 2024-03-20 Infineon Technologies AG Time-of-flight sensors and electronic device

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040041077A1 (en) 2002-08-29 2004-03-04 Fossum Eric R. High dynamic range cascaded integration pixel cell and method of operation
JP2007170856A (ja) 2005-12-19 2007-07-05 Denso Corp 距離データ生成方法、距離画像生成装置、光電センサ
JP2008089346A (ja) 2006-09-29 2008-04-17 Brainvision Inc 固体撮像素子
JP2009041943A (ja) 2007-08-06 2009-02-26 Denso Corp 計測装置
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US20100308209A1 (en) 2009-06-09 2010-12-09 Mesa Imaging Ag System for Charge-Domain Electron Subtraction in Demodulation Pixels and Method Therefor
JP2012083221A (ja) 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2013178121A (ja) 2012-02-28 2013-09-09 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2013195344A (ja) 2012-03-22 2013-09-30 Toshiba Corp 飛行時間型距離センサ
US20150144790A1 (en) 2013-11-27 2015-05-28 Aptina Imaging Corporation Video and 3d time-of-flight image sensors
JP2016166814A (ja) 2015-03-10 2016-09-15 アルプス電気株式会社 光学式検知装置
JP2016206135A (ja) 2015-04-28 2016-12-08 浜松ホトニクス株式会社 距離測定装置
WO2016208214A1 (ja) 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5056914A (en) * 1990-07-12 1991-10-15 Ball Corporation Charge integration range detector
US5576827A (en) * 1994-04-15 1996-11-19 Micromeritics Instrument Corporation Apparatus and method for determining the size distribution of particles by light scattering
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
CA2626606C (en) * 2005-11-14 2012-04-10 Matsushita Electric Works, Ltd. Spatial information detecting device and photodetector suitable therefor
US7485862B2 (en) 2006-01-29 2009-02-03 Rafael Advanced Defense Systems Ltd. Time-space multiplexed LADAR
JP5171158B2 (ja) * 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
JP5733006B2 (ja) 2011-05-02 2015-06-10 株式会社リコー シート処理装置、画像形成システム及びシート受入制御方法
TW201331547A (zh) * 2011-11-01 2013-08-01 尼康股份有限公司 形狀測定裝置、構造物製造系統、形狀測定方法、構造物製造方法、程式及記錄媒體
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US8642938B2 (en) * 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
WO2014122714A1 (ja) 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US10497737B2 (en) 2013-05-30 2019-12-03 Caeleste Cvba Enhanced dynamic range imaging
US9551791B2 (en) * 2013-07-09 2017-01-24 Xenomatix Nv Surround sensing system
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
GB201407267D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9753140B2 (en) 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
US10612914B2 (en) 2014-08-08 2020-04-07 Cemb S.P.A. Vehicle equipment with scanning system for contactless measurement
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
EP3045936A1 (en) 2015-01-13 2016-07-20 XenomatiX BVBA Surround sensing system with telecentric optics
EP3045935A1 (en) 2015-01-13 2016-07-20 XenomatiX BVBA Surround sensing system with dome-filter assembly
JP6478725B2 (ja) 2015-03-09 2019-03-06 キヤノン株式会社 計測装置及びロボット
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
WO2016189808A1 (ja) 2015-05-28 2016-12-01 パナソニックIpマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
EP3159711A1 (en) * 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
WO2017085916A1 (ja) 2015-11-16 2017-05-26 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
EP3301478A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301479A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
EP3301477A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301480A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
CN114114209A (zh) * 2017-03-01 2022-03-01 奥斯特公司 用于lidar的准确光检测器测量
US10520590B2 (en) * 2017-04-18 2019-12-31 Bae Systems Information And Electronic Systems Integration Inc. System and method for ranging a target with a digital-pixel focal plane array
US10585176B2 (en) * 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
KR20200096828A (ko) * 2017-12-15 2020-08-13 제노마틱스 엔브이 물체까지의 거리를 결정하기 위한 시스템 및 방법
JP7177066B2 (ja) * 2017-12-22 2022-11-22 ソニーセミコンダクタソリューションズ株式会社 センサチップ、電子機器、及び装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040041077A1 (en) 2002-08-29 2004-03-04 Fossum Eric R. High dynamic range cascaded integration pixel cell and method of operation
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP2007170856A (ja) 2005-12-19 2007-07-05 Denso Corp 距離データ生成方法、距離画像生成装置、光電センサ
JP2008089346A (ja) 2006-09-29 2008-04-17 Brainvision Inc 固体撮像素子
JP2009041943A (ja) 2007-08-06 2009-02-26 Denso Corp 計測装置
US20100308209A1 (en) 2009-06-09 2010-12-09 Mesa Imaging Ag System for Charge-Domain Electron Subtraction in Demodulation Pixels and Method Therefor
JP2012083221A (ja) 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2013178121A (ja) 2012-02-28 2013-09-09 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2013195344A (ja) 2012-03-22 2013-09-30 Toshiba Corp 飛行時間型距離センサ
US20150144790A1 (en) 2013-11-27 2015-05-28 Aptina Imaging Corporation Video and 3d time-of-flight image sensors
JP2016166814A (ja) 2015-03-10 2016-09-15 アルプス電気株式会社 光学式検知装置
JP2016206135A (ja) 2015-04-28 2016-12-08 浜松ホトニクス株式会社 距離測定装置
WO2016208214A1 (ja) 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ

Also Published As

Publication number Publication date
EP3392674A1 (en) 2018-10-24
US10764518B2 (en) 2020-09-01
BE1025336A1 (nl) 2019-01-24
EP3615959B1 (en) 2021-04-21
CN110546530A (zh) 2019-12-06
JP2020517924A (ja) 2020-06-18
EP3615959A1 (en) 2020-03-04
WO2018197441A1 (en) 2018-11-01
US20200137330A1 (en) 2020-04-30
BE1025336B1 (nl) 2019-01-29
CN110546530B (zh) 2023-08-04
BE1025336A9 (nl) 2019-02-05

Similar Documents

Publication Publication Date Title
JP7249953B2 (ja) ピクセル構造
JP7105782B2 (ja) イメージング・アレイ内のピクセルの露出値から背景光を差し引くための方法、及び、この方法における使用のためのピクセル
JP7253556B2 (ja) 物体までの距離を測定するためのシステムおよび方法
EP3519860B1 (en) System and method for determining a distance to an object
US11029391B2 (en) System for determining a distance to an object
EP3519855B1 (en) System for determining a distance to an object

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R150 Certificate of patent or registration of utility model

Ref document number: 7249953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150