JP7201592B2 - 車両の周囲を特徴付けるためのシステム - Google Patents

車両の周囲を特徴付けるためのシステム Download PDF

Info

Publication number
JP7201592B2
JP7201592B2 JP2019531418A JP2019531418A JP7201592B2 JP 7201592 B2 JP7201592 B2 JP 7201592B2 JP 2019531418 A JP2019531418 A JP 2019531418A JP 2019531418 A JP2019531418 A JP 2019531418A JP 7201592 B2 JP7201592 B2 JP 7201592B2
Authority
JP
Japan
Prior art keywords
light
pixels
pulses
surroundings
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019531418A
Other languages
English (en)
Other versions
JP2020515811A (ja
Inventor
ギュエンス、フィリップ
Original Assignee
ゼノマティクス ナムローゼ フェンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゼノマティクス ナムローゼ フェンノートシャップ filed Critical ゼノマティクス ナムローゼ フェンノートシャップ
Publication of JP2020515811A publication Critical patent/JP2020515811A/ja
Priority to JP2022205238A priority Critical patent/JP2023026503A/ja
Application granted granted Critical
Publication of JP7201592B2 publication Critical patent/JP7201592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、物体(オブジェクト)までの距離を決定するためのシステムの分野に関し、特に、車両の近くの障害物を検出するために使用され得るようなシーンまたはその一部の特徴付けのために使用されるべき感知システムに関する。
リモート感知技術の分野では、特に、自動車および産業用途、ゲーム用途、およびマッピング用途を含む制御およびナビゲーション用途で使用することができる背景の高解像度マップの生成に関して、三角測量ベースおよび飛行時間ベースの感知を使用して、センサからの物体の距離を決定することが知られている。
三角測量を利用する車両用の高精度で中距離周囲の感知システムは、本出願人の名義による国際特許出願公開第WO2015/004213A1号でも知られている。その特許出願において、対象物の位置特定は、パルス放射スポットの投影および所定の参照スポット位置を基準とした検出スポットの変位の分析に基づいている。より具体的には、この特許出願のシステムは三角測量を使用している。ただし、達成できる精度は三角測量基底と相関し、これが達成可能な小型化の限界である。
飛行時間に基づく技術は、RF変調源、測距ゲート撮像装置、および直接飛行時間(DToF:Direct Time-of-Flight)撮像装置の使用を含む。RF変調光源および距離ゲート撮像装置を使用するためには、対象となるシーン全体を変調光源またはパルス光源で照明する必要がある。大部分のLIDARなどの直接飛行時間システムは、パルス反射ビームで関心領域を機械的にスキャンし、その反射はパルス検出器で感知される。現在の半導体レーザによって放射される光パワーは、自動車の用途において実用的であるために既知のLIDARシステムにおける動作に必要なパワー要件(例えば、最大250mまでの範囲)を満たすことができない。本出願人の名義の下の未公開のヨーロッパ特許出願番号EP15191288.8号明細書には、そのような制限を克服するような物体までの距離を決定するシステムが記載されている。当該システムは、一連のパルスでレーザ光の離散スポットのパターンを物体に向けて投射するように構成された固体光源と、複数の画素を含む検出器であって、当該検出器は、前記一連のパルスと同期して、物体によって反射された離散スポットのパターンを表す光を検出するように構成された、検出器と、前記検出された光に応答して前記画素によって生成された露出値の関数として前記物体までの距離を計算するように構成された処理手段とを含む。画素は、前記一連の各パルスについて、第1の所定時間窓の間に前記物体によって反射された第1の光量を表す第1の電荷の量と、前記第1の所定時間窓の後に発生する第2の所定時間窓の間に前記物体によって反射された第2の光量を表す第2の電荷とを累積することによって前記露光値を生成するように構成される。
国際特許出願公開第2015/004213A1号 欧州特許第15191288.8号明細書
リモート感知技術が、自動車の安全機能、先進運転支援システム(ADAS:Advanced Driver Assistance Systems)、さらには自律型(または「自動運転」)車を提供することにますます依存するようになってきているので、車両の周囲を一層正確に特徴付ける車両搭載システムの需要がある。
本発明の一態様によれば、車両の周囲を特徴付けるためのシステムであって、
一連のパルスにおいて前記周囲に向けてレーザ光のパターンを投影するように構成された投影手段であって、前記レーザ光のパターンは、個別のスポットのパターンを含む、前記投影手段と、
複数の画素を含む検出器であって、当該検出器は、前記一連のパルスと同期して、前記周囲によって反射されたときの前記レーザ光のパターンを表す光を検出するように構成される、前記検出器と、
前記検出された光に応答して前記画素によって生成された露出値の関数として前記周囲の物体までの距離を計算するように構成された処理手段と、
を備え、
前記検出器は、前記一連のパルスと一致しない時点で、または前記周囲によって反射された前記レーザ光のパターンを表す前記光を受光しない画素で、前記周囲の二次元画像を形成する光を検出するようにさらに構成される、システムが提供される。
本発明の利点は、インタリーブされた時点で同じセンサから得られた2D情報と3D情報とを組み合わせることによって周囲の特性を改善することができることである。3次元情報は、射影と同期して反射光パターンを捕捉することによって距離センサとして使用されるときにシステムから得られ、2D情報は、測距感知パルス間のデジタルカメラとして使用されるときにシステムから得られる。
投影手段は、好ましくは固体レーザを含む。それは特に、VCSELアレイまたは適切な格子を備えた固体レーザであり得る。レーザ光のパターンは、好ましくはスポットのパターン、特に離散的なスポットである。一連のパルスは周期的に繰り返されて、周囲の特性の連続的な更新を可能にし得る。
本発明によるシステムの一実施形態では、前記画素は、前記一連のパルスに全てについて、第1の所定時間窓の間に前記物体によって反射された第1の光量を表す第1の電荷量と第2の所定時間窓の間に前記物体によって反射される第2の光量を表す第2の電荷とを蓄積することによって、前記露出値を生成するように構成され、前記第2の所定時間窓は前記第1の所定時間窓の後に生じる。
この実施形態の利点は、小型の要素で正確な距離情報を得るために測距ゲートLIDAR技術を使用することである。
本発明によるシステムの一実施形態では、前記処理手段が、所定の特徴位置に関して前記周囲によって反射されたときの前記レーザ光のパターンを表す前記検出された光の特徴の変位を決定することによって前記距離を決定するように構成される。
この実施形態では、検出器の異なる画素の各露出値を分析して、どの画素で投影パターンの反射(例えばスポット)が検出可能であり、どの反射が検出されないのかを判定する。このようにして、所定の位置(例えばスポット位置)に対する反射パターンの部分の変位を決定することができ、それによって投影パターンのそれぞれの部分を反射した物体の距離に関する情報が得られる。この実施形態の利点は、それがよく知られている三角測量法を使用して、正確な距離情報が得られることである。
一実施形態では、本発明によるシステムは、前記一連のパルスと一致しない前記時点で、前記周囲に光束を投射するように構成された照明手段を備える。
光束は、周囲の関連部分の均一な照明を目的としており、好ましくは検出器の視野と一致するので、測距に使用される投影パターンとは異なり、実質的に均一でなければならない。この実施形態の利点は、周囲光の状況が好ましくないとき(例えば夜間)であっても、2D画像内に捕捉されるべき景色を適切に照らすことができることである。
特定の実施形態では、投影手段と照明手段は共通の光源を共有する。
この特定の実施形態の利点は、複数の光源の必要性を避けることによってシステムをコンパクトに保つことができることである。
より特定の実施形態では、前記共通の光源がVCSELアレイを含み、前記照明手段がさらに前記一連のパルスと一致しない時点で作動するように構成されたアクティブ(能動的)に操向される拡散板を含むことにより、前記VCSELアレイから生じる光を拡散させて前記束を形成する。
このより特定の実施形態の利点は、構造化光の投射に非常に適しているVCSELアレイを使用して、2D画像捕捉に必要な照明を提供することもできることである。
本発明によるシステムの一実施形態では、前記検出器の前記複数の画素には、異なる波長帯域の光が前記複数の画素のうちの異なる前記時点で前記複数の画素に到達することを可能にする時間依存フィルタが設けられている。
この実施形態の利点は、時間的にわずかにずれている3つの異なる2D露光を組み合わせることによってRGB画像を生成できることである。RGB画像は、モノクロ画像よりもより正確な自動特徴認識をもたらし、一般に人間のユーザに対する可視的再現に一層適している。
本発明によるシステムの一実施形態では、前記検出器の前記複数の画素のうちの異なる画素には、異なる波長帯域の光が前記時点で前記異なる画素に到達することを可能にする異なるフィルタが設けられている。
この実施形態の利点は、空間的にわずかにずれている画素で得られる露光値を組み合わせることによってRGB画像を生成できることである。RGB画像は、モノクロ画像よりもより正確な自動特徴認識をもたらし、一般に人間のユーザに対する可視的再現に一層適している。
本発明の一態様によれば、車両の周囲の領域を特徴付けるように構成された、前述の態様のいずれかに記載のシステムを備える車両が提供される。
本発明は、自動車、特に自動車などの路上走行車に使用するのに非常に適している。したがって、本システムは、車両安全機能、先進運転支援システム(ADAS)、さらには自律型(または「自動運転」)自動車にさえも有利に寄与することができる。自動車用途のセンサは空間で交錯しても、同じセンサ内に複数の機能を組み合わせて、追加の外部2Dセンサを必要とせずに2Dおよび3Dセンサの結合を提供することが本発明のさらなる利点である。
本発明のこれらおよび他の態様および利点は、添付の図面を参照してより詳細に説明される。
本発明によるシステムの実施形態を概略的に示す図である。 本発明によるシステムのLIDARベースの実施形態の動作原理を示す図である。 本発明によるシステムのLIDARベースの実施形態の動作原理を示す図である。 本発明によるシステムのLIDARベースの実施形態の動作原理を示す図である。 本発明の実施形態において使用することができるいくつかのタイミング図を提示する。 本発明によるシステムの一実施形態で使用するための画素配置を概略的に示す図である。 本発明の実施形態において使用することができるタイミング図を概略的に示す。
図1は、本発明によるシステムの一実施形態を概略的に示す。
本システムは、車両の周囲を特徴付けられ、適合されている。周囲は、車両の前方の領域を含んでもよく、車両の前方の路面を含んでもよい。同様に、(特に、車両が後退しているときは)周囲は車の後方の領域を含んでもよい。周囲は、障害物または他の道路利用者が存在する可能性がある車両の近くの任意のスペースを含んでもよい。車両の周囲は、数メートル、数十メートル、さらには数百メートルの距離まで延びでもよい。特徴付けは、周囲の物体までの距離を決定することによって行われる。距離は基本的な測定パラメータであるが、検出された物体の速度(運動方向を含む)および加速度などの導出変数の推定は、異なる時点での複数の距離測定値に基づいて決定することができる。複数の空間的に多様な測定点からの情報を組み合わせることによって認識され得る複雑な対象物については、向きおよび旋回などの追加のパラメータも導出され得る。すべての測定値はセンサを基準としているため、「固定された」物体の測定値はセンサの速度、加速度、方向(ピッチ、ヨー、ロール)、および回転を提供する、すなわちセンサが搭載されている車両の情報を提供する。
本システムは、一連のパルスで周囲に向かってレーザ光のパターンを投影するように構成された投影手段210を備える。検出器220は複数の画素を含み、検出器220は、一連のパルスと同期して、周囲によって反射されたレーザ光のパターンを表す光を検出するように構成される。処理手段240は、検出された光に応答して画素によって生成された露出値の関数として周囲の物体99までの距離を計算するように構成される。
本システムが飛行時間(LIDAR)原理に従って動作する場合、画素220は、一連のパルスの全てについて、第1の所定の時間窓10の間に物体99によって反射された第1の光量を表す第1の電荷量と、所定の時間窓10の後に発生する第2の所定の時間窓20の間に物体によって反射された第2の光量を表す第2の電荷量とを蓄積することによって露光値を生成するように構成され得る。
このようなLIDARベースのシステムの動作原理は、図2から4のタイミング図で示す。明確にするために、周期的に繰り返される一連のパルスの単一のパルスのみが示されており、当該単一パルスは第1の時間窓10と第2の時間窓20とからなる。原理は、一例として、固体光源を含む投影手段を参照して説明される。
図2に見られるように、第1の時間窓10の間、固体光源210は「オン」状態にあり、光スポットのパターンを背景上に放射する。第2の時間窓20の間、固体光源210は「オフ」状態にある。
反射光の検出器220への到着は、進行距離(自由空間内で約3.3ns/m)に比例する時間量だけ投影の開始に対して遅延する。この遅延により、反射光の一部のみが検出器220の第1ウェル221で検出され、検出器220は第1時間窓10の間にのみアクティブ化される。したがって、そのアクティブ化の期間(第1の時間窓10)の間に第1のウェルに蓄積された電荷は、反射パルスの到着前に画素に当たる雑音および周囲光のみを表す部分と、雑音、周囲光、および反射パルスの前縁を表す部分とからなる。
反射パルスの後半部分は、検出器220の第2のウェル222で検出され、検出器220は、好ましくは第1の時間窓10のすぐ後に続いて、第2の時間窓20の間にのみアクティブ化される。したがって、そのアクティブ化期間(第2の時間窓20)中に第2のウェルに蓄積された電荷は、雑音、周囲光、および反射パルスの後縁を表す部分と、雑音と反射パルスの到着後に画素に当たる周囲光とのみを表す部分とからなる。
反射物体99とシステム200との間の距離が大きいほど、第1のウェル221内で検出されるパルスの割合が小さくなり、第2のウェル222内で検出されるパルスの割合が大きくなる。
反射パルスの前縁が第1のウェル221の閉鎖後に(すなわち、第1の時間窓10の終了後に)到着すると、第2のウェル222内で検出され得る反射パルスの割合は、飛行時間の遅延の増加にともない、再び減少する。
対象物99の距離をそれぞれ変化させた場合のウェル221、222のそれぞれにおける結果として生じる電荷量A、Bを図3bに示す。表現を簡単にするために、逆二乗則による距離による光の減衰の影響は、図では考慮されていない。第1の時間窓10と第2の時間窓20とを組み合わせた持続時間まで飛行時間が遅延することについて、その飛行時間遅延は原則としてAおよびBの値から明白に導き出すことができることは明らかである。
-第1の時間窓10の持続時間までの飛行時間遅延の場合、Bは物体99の距離に比例する。絶対距離の決定を容易に得るために、正規化された値B/(B+A)を使用して、検出された物体の不完全な反射率および逆二乗則の影響を除去することができる。
-第1の時間窓10の持続時間を超過する飛行時間遅延については、Aは日光および雑音の寄与のみ(図示せず)であり、C-Bは(逆二乗則を補正した後の)物体99の距離にほぼ比例し、ここでCはオフセット値である。
図2および図3は、時間窓10内に放射される単一のパルスに関して本発明の原理を説明しているが、図示のパルスは、上で定義したような一連のパルスの一部であることを理解されたい。図4は、そのような一連のパルスの例示的なタイミング特性を概略的に示す。図に示すように、照明方式40は、一連30の個々のパルス10の繰り返し放射10からなる。個々のパルス10の幅は最大動作範囲によって決まる。一連のパルス全体は、例えば60Hzの周波数で繰り返されてもよい。
飛行時間ベースの検知システムの様々な任意の選択的な特徴は、未公開の欧州特許出願第15191288.8号に記載されている。本出願人の名義による欧州特許第15191288.8号明細書は、当業者がこれらの特徴を本明細書に含めることを可能にする目的で参照により組み込まれて、本発明の実施例に、これらの特徴が含まれる。
システムが三角測量の原理に従って動作する場合、処理手段240は、所定の特徴位置を参照して周囲によって反射されたレーザ光のパターンを表す検出光の特徴の変位を決定することによって距離を決定するように適合され得る。好ましくは、投影パターンはレーザ光のスポットのパターンであり、その距離は、所定のスポット位置を基準にして、周囲の物体によって反射された投影スポットを表す検出スポットの変位を決定することによって、決定される。
三角測量に基づく感知システムの様々な付加的な特徴は、本出願人の名義で国際特許出願公開第WO2015/004213A1号に開示されており、その内容は、当業者がこれらの特徴を含むことを可能にする目的でこの参照により組み込まれて、本発明の実施形態において、これらの特徴が含まれる。
本発明によれば、検出器220は、さらに、一連のパルスと一致しない時点または周囲によって反射されたレーザ光のパターンを表す光を受光しない画素において、周囲の二次元画像を形成する光を検出するように構成される。
自動車の測距システムの精度要件を考慮して、1メガ画素程度の総アレイサイズを有するCMOSセンサアレイが典型的には選択される。本発明者らは、そのようなセンサに使用される画素の比較的粗いサイズ(10μm程度)にもかかわらず、基本的なデジタルカメラを形成するために適切な光学素子と組み合わせて使用される場合、組み合わされたセンサは驚くほど許容できる2D画像品質をもたらすことができる。
本発明、特に、一連のパルスと一致しない時点で周囲の二次元画像を形成する光を検出するという概念は、とりわけ、測距パルス間の時間間隔または一連の測距パルス間では、画素アレイを使用して周囲のデジタル2D画像を捕捉することができる。このようにして、相補的な情報を提供する2つの異なる機能を単一のセンサに組み合わせることができるという本発明者らの洞察に基づいている。
本発明、特に、周囲によって反射されるようなレーザ光のパターンを表す光を受光しない画素において周囲の二次元画像を形成する光を検出するという概念は、さらに、測距システムが、ラインパターンやスポットパターンなどの特定の光パターンの反射の検出に依存しているため、いつでも、合計画素数のごく一部のみが実際には使用されているという発明者の洞察に基づく。この特定の概念は、射影パターンの一部を受光しない画素が、受光した光から画像を形成することができるように、測距機能(光パターンの投射および検出)が動作しているときに十分な周囲光が検出器に達するときに使用され得る。
パターン反射ベースの距離検知は、レーザ光の投影パターンによって照らされた点においてのみ3次元情報を含む深度マップを提供するが、その間に捕捉された2D画像は、背景全体の可視的なスナップショットを提供する。深度マップは2D画像に登録することができ、深度情報は、深度マップ値を補間することによって2D画像内のすべての画素について取得することができる。2D画像と3D情報は同じセンサから得られるので、異なる画像間に視差がなく、これは登録を容易にする。
好ましくは、深度マップ値の補間は、2D画像内の画素値によって支援される。したがって、例えば、2D画像内の規則的な輝度または色勾配に対応する異なる深度マップ値の間の領域は、線形補間によって深度の次元において補間され得る。輝度値または色値の急激なステップを含む異なる深度マップ値間の領域は、輝度値または色値のステップと一致するようにされる深度値のステップで、段階的に一定の深度値によって補間されてもよい。
結合された2D/3D画像は、別々に撮影されたソースのいずれよりも周囲に関する一層多くの情報を結合している。機械的な可視化システムには、歩行者、車両、固定物、破片、路面の不均一性などの環境内の関連する特徴を検出するために、結合された2D/3D画像が供給されてもよい。
2D画像は、フレーム間で(例えば一連のパルス間で)発生するタイムスロットで捕捉されることが好ましい。例示的なタイミング図を図5に示す。(本発明によらない)aの図では、(それぞれが一連のパルス、例えば図4の一連のパルス30を表す)5つの連続フレームがすべて3D測距感知(range sensing)に使用される。dの図において、最初の4つのフレームのうちの1つのフレームは、残りのフレームと全く同じ持続時間の2D画像捕捉タイムスロットによって置き換えられる。それ故、フレームの全体的な流れ(ケイデンス)は同じままであるが、フレームタイムスロットの75%しか測距感知のために使用されていない(当業者であれば、この数字は用途の要求に従って変化してもよく、距離検知のために使用される相対的な時間は、例えば、10%、20%、25%、33%、40%、50%、60%、67%、75%、80%などでもよい。)。bまたはcの図において、2D画像捕捉に使用される時間は、それぞれ測距感知フレームよりも長くまたは短くなっている。
一般に、2D画像捕捉に使用される時間は、所望の露光時間に応じて選択されてもよく、これは、十分な量の光を画素に蓄積するのに十分長く、(周囲の物体及び/又はセンサが動いているときには)被写体ブレを回避するのに十分短くなければならない。図7のbの図を参照して以下に説明されるように、2D画像捕捉に使用されるタイムスロットはまた、異なる波長帯域の光(例えば、RGB画像を生成するための赤、緑、および青の光)の連続捕捉を可能にするように拡張され得る。
前述の国際特許出願公開第WO2015/004213A1号、欧州特許出願第15191288.8号明細書に詳細に説明されているように、正確で長い範囲の距離検知を確実にするために、センサに到達する光が、投影された光のパターンの所望の反射に実質的に制限されるように、センサに到達する信号から周囲光(特に太陽光)を除去するためのいくつかの対策を講じなければならない。これらの手段には、狭帯域フィルタ、および狭帯域フィルタに対して実質的に垂直な経路で入射反射光を導く光学系の使用が含まれる。
測距検知能力を最適化するのに必要な手段は、2D画像カメラとしての画素アレイの有用性を制限する。センサは、使用時には通常動いている車両に搭載されているため、1回の露光で捕捉される光の総量を増やすための露光時間の増加は、許容できる量の被写体ブレによって制限される。これは厳しい制限である。
これらの悪影響を考慮して、本発明者らは、以下の任意選択の特徴が2D画像捕捉においてより良い性能をもたらすことを見出した。
第1の解決策は、一連のパルスと同期してアクティブになり、2D画像が捕捉された時点で非アクティブになるように電子的または電気機械的に制御することができる帯域通過フィルタをセンサ側に使用することからなる。
2番目の解決策は、一連のパルスと一致しない時点で光束を周囲に投射するように構成される照明手段をシステムに提供することである。そのような照明手段は、暗い場所での従来の撮影方法でしばしば行われるように、フラッシュ形式の照明を提供することができる。投影手段210および照明手段は、共通の光源、特にVCSELアレイを共有してもよい。これにより、狭帯域フィルタが最適化されているのと同じ波長帯域で「フラッシュ」を確実に放射することができ、それによって、画素アレイに到達する光量が最大になる。共通光源がVCSELアレイである場合、照明手段はさらに、(一連のパルスと一致しない)2D画像が撮られる時点で作動するように構成されたアクティブに操向される拡散板を含めてもよく、これにより、VCSELアレイから生じる光を拡散させて(一連のスポットの代わりに)所望の光束を形成する。照明手段はヘッドライトアセンブリと一体化されてもよく、それによって光源は、センサ側で狭帯域フィルタを通過することができるスペクトルの部分において十分な光パワーを提供するように選択されなければならない。
上記の考察に鑑みて、本発明によるシステムの1つの特に有利な実施形態は上述の飛行時間に基づく原理に従って動作し、それによって、VCSELアレイが提供されて離散スポットのパルスパターンを、特徴付けられた背景上に投影する。その反射は、VCSELアレイによって放射された波長のみを実質的に通過させるように構成された狭帯域通過フィルタを備えたCMOSベースのセンサアレイによって検出される。2D画像が捕捉されるべき瞬間に背景を照らすために、(典型的には約860nmの狭い波長範囲の)同じ波長の光束を放射する個々のフラッシュ光が提供される。フラッシュ光によって放射された光は、検出器側の狭帯域通過フィルタを通過することもできる。好ましくは、5つのタイムスロット毎に、その4つが測距フレームを投影/検出するために使用され、5つのタイムスロットの残りの1つが2D画像を捕捉されるために使用される。
本発明の実施形態では、検出器220の複数の画素のうち異なる画素には、異なる波長帯域の光がその時点で異なる画素に到達することを可能にする異なるフィルタが設けられる。これは、図6に概略的に示しており、近赤外(NIR:Near InfraRed)光、赤色光、緑色光、および青色光用のそれぞれのフィルタを備えた、異なる画素(または画素の異なるウェル)を有する画素アレイが示されている。
本発明の他の実施形態では、検出器220の複数の画素は、異なる波長帯域の光が異なる時点で複数の画素に到達することを可能にする時間依存フィルタを備えている。これは図7のaに概略的に示されており、赤、緑、および青の光を捕捉するために別々のタイムスロットが設けられている。図7のbでは、同じタイムスロットの連続する部分で赤、緑、および青の光を連続して捕捉できるようにタイムスロットが拡張されている。
これらの実施形態の組み合わせにより、カラーディスプレイ上にレンダリングするのに適しているRGB2D画像を捕捉することを可能にする。
本発明はまた、車両の周囲の領域を特徴付けるように構成されたような、請求項のいずれかに記載のシステムを備える車両(特に、路上走行車両または鉄道車両)に関する。
本発明は、別個のシステムおよび方法の実施形態を参照して上に説明されてきたが、これは目的を明確にするためにすぎない。当業者であれば、システムまたは方法のみに関連して説明した特徴を方法またはシステムにも適用できることを理解するであろう。それぞれ同じ技術的効果と利点がある。さらに、本発明の範囲はこれらの実施形態に限定されず、添付の特許請求の範囲によって定義される。

Claims (8)

  1. 車両の周囲を特徴付けるためのシステムであって、
    一連のパルスにおいて前記周囲に向けてレーザ光のパターンを投影するように構成された投影手段(210)であって、前記レーザ光のパターンは、個別のスポットのパターンを含む、前記投影手段(210)と、
    複数の画素を含む検出器(220)であって、当該検出器(220)は、前記一連のパルスと同期して、前記周囲によって反射されたときの前記レーザ光のパターンを表す光を検出するように構成される、前記検出器(220)と、
    前記検出された光に応答して前記画素によって生成された露出値の関数として前記周囲の物体(99)までの距離を計算するように構成された処理手段(240)と、
    を備え、
    前記検出器(220)は、前記一連のパルスと一致しない時点で、前記周囲の二次元画像を形成する光を検出するようにさらに構成され
    前記画素は、前記一連のパルスに全てについて、第1の所定時間窓(10)の間に前記物体(99)によって反射された第1の光量を表す第1の電荷量と第2の所定時間窓(20)の間に前記物体によって反射される第2の光量を表す第2の電荷とを蓄積することによって、前記露出値を生成するように構成され、前記第2の所定時間窓(20)は前記第1の所定時間窓の後に生じる、システム。
  2. 前記処理手段(240)が、所定の特徴位置に関して前記周囲によって反射されたときの前記レーザ光のパターンを表す前記検出された光の特徴の変位を決定することによって前記距離を決定するように構成される、請求項1に記載のシステム。
  3. 前記一連のパルスと一致しない時点で、前記周囲に光束を投射するように構成された照明手段(240)を備える、請求項1からのいずれ一項に記載のシステム。
  4. 前記投影手段(210)と前記照明手段(240)は共通の光源を共有する、請求項に記載のシステム。
  5. 前記共通の光源がVCSELアレイを含み、前記照明手段がさらに前記一連のパルスと一致しない時点で作動するように構成されたアクティブに操向される拡散板を含むことにより、前記VCSELアレイから生じる光を拡散させて前記光束を形成する、請求項に記載のシステム。
  6. 前記検出器(220)の前記複数の画素には、異なる波長帯域の光が前記複数の画素のうちの異なる前記時点で前記複数の画素に到達することを可能にする時間依存フィルタが設けられている、請求項1からのいずれか一項に記載のシステム。
  7. 前記検出器(220)の前記複数の画素のうちの異なる画素には、異なる波長帯域の光が前記時点で前記異なる画素に到達することを可能にする異なるフィルタが設けられている、請求項1からのいずれか一項に記載のシステム。
  8. 車両であって、当該車両の周囲の領域を特徴付けるように構成された、請求項1からのいずれか一項に記載のシステムを備える、車両。
JP2019531418A 2016-12-30 2018-01-02 車両の周囲を特徴付けるためのシステム Active JP7201592B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022205238A JP2023026503A (ja) 2016-12-30 2022-12-22 車両の周囲を特徴付けるためのシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16207630.1A EP3343246A1 (en) 2016-12-30 2016-12-30 System for characterizing surroundings of a vehicle
EP16207630.1 2016-12-30
PCT/EP2018/050080 WO2018122415A1 (en) 2016-12-30 2018-01-02 System for characterizing surroundings of a vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022205238A Division JP2023026503A (ja) 2016-12-30 2022-12-22 車両の周囲を特徴付けるためのシステム

Publications (2)

Publication Number Publication Date
JP2020515811A JP2020515811A (ja) 2020-05-28
JP7201592B2 true JP7201592B2 (ja) 2023-01-10

Family

ID=57680183

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019531418A Active JP7201592B2 (ja) 2016-12-30 2018-01-02 車両の周囲を特徴付けるためのシステム
JP2022205238A Pending JP2023026503A (ja) 2016-12-30 2022-12-22 車両の周囲を特徴付けるためのシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022205238A Pending JP2023026503A (ja) 2016-12-30 2022-12-22 車両の周囲を特徴付けるためのシステム

Country Status (8)

Country Link
US (1) US11874374B2 (ja)
EP (3) EP3343246A1 (ja)
JP (2) JP7201592B2 (ja)
KR (1) KR102559910B1 (ja)
CN (1) CN110121659B (ja)
BE (1) BE1025547B1 (ja)
IL (1) IL266025B (ja)
WO (1) WO2018122415A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
AU2017315762B2 (en) 2016-08-24 2020-04-09 Ouster, Inc. Optical system for collecting distance information within a field
DE202018006696U1 (de) 2017-05-15 2022-04-01 Ouster, Inc. Optischer Bildübertrager mit Helligkeitsverbesserung
CN113466882A (zh) 2017-07-05 2021-10-01 奥斯特公司 光测距装置
US11473969B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Channel-specific micro-optics for optical arrays
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
DE102020104754A1 (de) * 2020-02-24 2021-08-26 Tridonic Gmbh & Co Kg Umgebungslichterfassung mittels zweier innerhalb einer Leuchte angeordneten Lichtsensoren
WO2022064583A1 (ja) * 2020-09-24 2022-03-31 株式会社ソニー・インタラクティブエンタテインメント 距離情報生成装置および距離情報生成方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002526989A (ja) 1998-09-28 2002-08-20 スリーディーヴィー システムズ リミテッド カメラを用いた距離測定
JP2004529343A (ja) 2001-04-04 2004-09-24 インストロ プレシジョン リミテッド 画像解析装置
JP2010181171A (ja) 2009-02-03 2010-08-19 Sharp Corp 光スポット位置検出装置およびそれを含む光デバイス、並びに、その光デバイスを含む電子機器
JP2010190675A (ja) 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
WO2015162278A1 (en) 2014-04-24 2015-10-29 Cathx Research Ltd Underwater surveys
US20150319347A1 (en) 2014-05-05 2015-11-05 Raytheon Company Methods and apparatus for imaging in scattering environments
WO2016020073A1 (en) 2014-08-08 2016-02-11 Cemb S.P.A. Vehicle equipment with scanning system for contactless measurement
US20160266255A1 (en) 2015-03-09 2016-09-15 Canon Kabushiki Kaisha Measurement apparatus
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
US20160349043A1 (en) 2014-01-29 2016-12-01 Lg Innotek Co., Ltd. Depth information extracting device and method
WO2016199323A1 (ja) 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749417A (ja) 1993-08-06 1995-02-21 Fujitsu Ltd 干渉フィルタアセンブリ
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP2002139304A (ja) 2000-10-30 2002-05-17 Honda Motor Co Ltd 距離測定装置、及び距離測定方法
JP2003185412A (ja) 2001-12-18 2003-07-03 Toshiba Corp 画像取得装置および画像取得方法
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US6888122B2 (en) 2002-08-29 2005-05-03 Micron Technology, Inc. High dynamic range cascaded integration pixel cell and method of operation
JP4178890B2 (ja) 2002-09-05 2008-11-12 ソニー株式会社 固体撮像装置
US6744566B2 (en) 2002-10-01 2004-06-01 Eastman Kodak Company Symmetric, bi-aspheric lens for use in transmissive and reflective optical fiber components
JP4548087B2 (ja) 2003-10-29 2010-09-22 セイコーエプソン株式会社 デバイス
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
IL181030A (en) 2006-01-29 2012-04-30 Rafael Advanced Defense Sys Multiple Optical Radar Space Time
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP2010219826A (ja) 2009-03-16 2010-09-30 Fuji Xerox Co Ltd 撮像装置、位置計測システムおよびプログラム
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
JP2011128024A (ja) 2009-12-17 2011-06-30 Sharp Corp 3次元撮像装置
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
FR2998666B1 (fr) * 2012-11-27 2022-01-07 E2V Semiconductors Procede de production d'images avec information de profondeur et capteur d'image
WO2014122714A1 (ja) 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
CN104755874B (zh) * 2013-04-01 2018-08-28 松下知识产权经营株式会社 具有多个光源的运动传感器装置
BE1021971B1 (nl) 2013-07-09 2016-01-29 Xenomatix Nv Omgevingssensorsysteem
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
DE102013108824A1 (de) * 2013-08-14 2015-02-19 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
WO2015075926A1 (ja) 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 測距撮像システム
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
KR102163728B1 (ko) 2013-12-05 2020-10-08 삼성전자주식회사 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
CN103954216B (zh) * 2014-05-13 2017-04-12 清华大学 基于球面光源的强镜面反射工件细窄坡口检测装置及方法
DE102014211071A1 (de) * 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
EP2963744B1 (en) 2014-06-30 2019-04-03 Canon Kabushiki Kaisha Surface emitting laser and optical coherence tomography apparatus including the same
US9823350B2 (en) * 2014-07-31 2017-11-21 Raytheon Company Linear mode computational sensing LADAR
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP6531326B2 (ja) 2015-03-10 2019-06-19 アルプスアルパイン株式会社 光学式検知装置
WO2016189808A1 (ja) 2015-05-28 2016-12-01 パナソニックIpマネジメント株式会社 測距撮像装置、その測距方法及び固体撮像装置
CN107533136B (zh) 2015-06-24 2020-08-25 株式会社村田制作所 距离传感器
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
WO2017085916A1 (ja) 2015-11-16 2017-05-26 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002526989A (ja) 1998-09-28 2002-08-20 スリーディーヴィー システムズ リミテッド カメラを用いた距離測定
JP2004529343A (ja) 2001-04-04 2004-09-24 インストロ プレシジョン リミテッド 画像解析装置
JP2010181171A (ja) 2009-02-03 2010-08-19 Sharp Corp 光スポット位置検出装置およびそれを含む光デバイス、並びに、その光デバイスを含む電子機器
JP2010190675A (ja) 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
US20160349043A1 (en) 2014-01-29 2016-12-01 Lg Innotek Co., Ltd. Depth information extracting device and method
WO2015162278A1 (en) 2014-04-24 2015-10-29 Cathx Research Ltd Underwater surveys
US20150319347A1 (en) 2014-05-05 2015-11-05 Raytheon Company Methods and apparatus for imaging in scattering environments
WO2016020073A1 (en) 2014-08-08 2016-02-11 Cemb S.P.A. Vehicle equipment with scanning system for contactless measurement
US20160266255A1 (en) 2015-03-09 2016-09-15 Canon Kabushiki Kaisha Measurement apparatus
US20160295133A1 (en) 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
WO2016199323A1 (ja) 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置

Also Published As

Publication number Publication date
US20190310376A1 (en) 2019-10-10
IL266025A (en) 2019-06-30
WO2018122415A1 (en) 2018-07-05
BE1025547A1 (nl) 2019-04-03
EP3343246A1 (en) 2018-07-04
KR102559910B1 (ko) 2023-07-26
JP2020515811A (ja) 2020-05-28
CN110121659A (zh) 2019-08-13
BE1025547B1 (nl) 2019-04-09
EP3796046A1 (en) 2021-03-24
EP3563177A1 (en) 2019-11-06
KR20190098242A (ko) 2019-08-21
US11874374B2 (en) 2024-01-16
JP2023026503A (ja) 2023-02-24
CN110121659B (zh) 2022-11-04
IL266025B (en) 2019-12-31
EP3563177B1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
JP7201592B2 (ja) 車両の周囲を特徴付けるためのシステム
KR102656399B1 (ko) 구조화된 광 조명기가 있는 비행-시간 센서
EP3519860B1 (en) System and method for determining a distance to an object
US10183541B2 (en) Surround sensing system with telecentric optics
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
EP3159711A1 (en) System and method for determining a distance to an object
CN112534303B (zh) 混合飞行时间和成像器模块
EP3519855B1 (en) System for determining a distance to an object
JP6942637B2 (ja) 車両用画像取得装置、および車両用画像取得装置を備えた車両
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20190612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221222

R150 Certificate of patent or registration of utility model

Ref document number: 7201592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150