JP7515468B2 - 車両用のピクセル化された光ビームを投影するためのモジュールを制御する方法 - Google Patents

車両用のピクセル化された光ビームを投影するためのモジュールを制御する方法 Download PDF

Info

Publication number
JP7515468B2
JP7515468B2 JP2021517983A JP2021517983A JP7515468B2 JP 7515468 B2 JP7515468 B2 JP 7515468B2 JP 2021517983 A JP2021517983 A JP 2021517983A JP 2021517983 A JP2021517983 A JP 2021517983A JP 7515468 B2 JP7515468 B2 JP 7515468B2
Authority
JP
Japan
Prior art keywords
road
control device
control method
projection
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021517983A
Other languages
English (en)
Other versions
JP2022502782A (ja
Inventor
ハフィド、エル、イドリッシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Vision SAS
Original Assignee
Valeo Vision SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Vision SAS filed Critical Valeo Vision SAS
Publication of JP2022502782A publication Critical patent/JP2022502782A/ja
Application granted granted Critical
Publication of JP7515468B2 publication Critical patent/JP7515468B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • B60Q1/0023Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11Pitch movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265Automatic obstacle avoidance by steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10Indexing codes relating to particular vehicle conditions
    • B60Q2300/13Attitude of the vehicle body
    • B60Q2300/136Roll
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/16Pitch
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/20Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • B60Y2300/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Analysis (AREA)
  • Toys (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、車両のためにピクセル化された光ビームを投影するためのモジュールを制御する方法に関するものである。特に、車両の運転の補助を可能にするように、これらの投影モジュールを制御することに適用される。
現在、自動車は、一般的に左右の光ビーム投影モジュールを備えており、光ビーム投影モジュールの機能は、夜間や視界が悪いとき、および/または悪天候状況で運転するときにおいて、ある程度はスマート(賢い)と言える照明および/または信号手段という基本的な機能に限定されている。
光ビーム投影モジュールは、道路やその縁を高輝度で照らす「ハイビーム」機能や、反対方向から来る他のユーザーを眩惑することなくより短い範囲で道路やその縁を照らす「ロービーム」機能などの、1つ以上の機能に関連付けられていてもよい。
光ビーム投影モジュールに関連する自動車の運転支援システムとしては、特に、外光が不十分な場合にロービームを自動的に点灯させたり、他の道路利用者の目を眩ませないようにハイビームをロービームに自動的に切り替えたりするものが知られている。
DMD,モノリシックLED,LCD,レーザースキャニング技術に基づくモジュールなど、自動車の世界で高精細解像度に基づくプロジェクションモジュールの使用が増加しており、これにより新たな可能性が約束され、可能性の限界をさらに押し広げている。そのため、これらの新しい手段を備えた自動車の運転者および/または乗客に新しい機能を提供する必要がある。
本発明は、自動車の運転者および/または乗客に、新しいユーザー体験のための新しい運転支援機能を提供することで、より良い視覚的快適性を提供することを目的としている。
本発明の第1の側面は、ホスト車両からピクセル化された光ビームを投影するためのモジュールを制御する方法に関連するものであり、前記ホスト車両は、
- センサのセットと、
- 光ビーム投影モジュールを制御するための少なくとも1つの装置と、
を備えており、
前記方法は、
- 一つのステップにおいて、データ/画像取得手段が、ホスト車両の前方に延びる道路のプロファイルをモデル化するために必要なデータのセットを収集することができ、
- 一つのステップにおいて、制御装置が、収集したデータに従って、道路の端部および中央部のプロファイルをモデル化する多項式関数を決定することができ、
- 一つのステップにおいて、制御装置が、パターンの投影のためのゾーンの開始点Pdおよび終了点Paを決定し、
- 一つのステップにおいて、制御装置が、右の投影ゾーンおよび左の投影ゾーンについて、データ/画像取得手段の軸とパターンとの間の距離Dcをそれぞれ決定し、
- 一つのステップにおいて、制御装置は、パターンの幅Lmを決定する。
一実施形態において、道路のプロファイルをモデル化するために必要なデータを収集することができるデータ/画像取得手段は、カメラ、レーダー、ライダ(lidar)のいずれかである。
本発明の一実施形態によれば、道路のプロファイルのモデル化は、前記道路のプロファイルが直線的である場合、y=f(x)=Bi.x+Aiの形式の1次多項式関数からもたらされる。
一実施形態によれば、道路のプロファイルのモデル化は、道路のプロファイルが曲がり角などの放物線である場合、y=f(x)=Ci.x+Bi.x+Aiという形式の2次多項式関数からもたらされる。
本発明の一実施形態において、道路のプロファイルのモデル化は、道路の前記プロファイルが2つのターンの連続のような変曲点を含む場合、y=f(x)=Di.x+Ci.x+Bi.x+Aの形式の3次多項式関数からもたらされる。
一実施形態において、画像・データ取得手段は、障害物を検出すると、その障害物にパターンが投影されないように安全マージンを設定するために、障害物に関するデータを制御装置に送信する。
一実施形態において、距離Dcは、投影されるパターンの種類に応じてパラメータ化することができる。
一実施形態において、距離Dc=0のとき、制御装置は、1つの同じ投影ゾーンにおいて、右と左の投影ゾーンのパターンが重なり合うように、投影モジュールを制御する。
別の実施形態において、投影ゾーンに投影可能なパターンは、円、正方形、三角形、長方形、シェブロン、矢印、またはより複雑な形状、または速度計の表示のような数字、または連続線若しくは破線であってもよい。
別の実施形態において、制御装置は、遠近感(パースペクティブ)の影響を補正するために、道路上の最も遠くに投影されるパターンの幅Lmを動的に増加させることができる。
別の実施形態において、制御装置は、ホスト車両のピッチを決定することができるセンサを含むセンサのセット関連付けられており、これにより投影モジュールの機械的および/またはデジタル的な較正を補償することができるようになっている。
一実施形態において、制御装置は、パターンおよびベースビームの投影距離に応じて光強度を補正することができる。
別の実施形態において、データ/画像取得手段に関連する制御装置は、ホスト車両の外形が2つの障害物の間を通過できるかどうかを、当該外形を2つの障害物の間に投影することによって判断するように構成されている。
一実施形態において、ホスト車両の外形の投影の向きは、前記ホスト車両のステアリングシステムの角度に動的に関連付けられている。
別の実施形態において、データ/画像取得手段に関連する制御装置は、障害物回避戦略を投影することができる。
別の実施形態において、データ/画像取得手段に関連する制御装置は、作業領域で車線が狭くなったときにホスト車両の軌道を確立するように構成されたパターンのセットを投影することができる。
別の実施形態において、車両の「GPS」ナビゲーションシステムに関連付けられた制御装置は、ホスト車両の軌道の変化を、地面に矢印の形で投影することができる。
本発明の別の側面は、先の特徴のいずれか一つに従ったピクセル化された光ビームを投影するためのモジュールを制御するための方法を実行できる制御装置によって制御されることを意図した自動車用照明装置に関するものである。
別の実施形態では、情報融合のための装置は、意思決定を助けるための信頼性の高いデータを制御装置に送信するために、ホスト車両に関連する様々なセンサからの各データの関連性を決定することができる。
本発明の他の特徴および利点は、以下の詳細な説明および添付の図面を検討することによって明らかになるであろう。
図1は、本発明の一実施形態に基づくシステムを示す図である。 図2は、本発明による方法のステップを説明するための図である。 図3は、第1の運転状況における本発明による方法の実施を示す図である。 図4は、第2の走行状況における本発明による方法の実施を示す図である。 図5は、第3の走行状況における本発明による方法の実施を示す図である。 図6は、第4の走行状況における本発明による方法の実施を示したものである。
図1は、センサ(121,122,123)のセット120と、光ビームを投影するモジュール140を制御するための少なくとも1つの装置130とを具備するシステム110を備えた自動車100を示しており、当該制御装置130は、自動車100の制御ユニット150に接続されている。前記制御装置130は、1つ以上のメモリとグラフィックプロセッシングユニットに関連付けられた少なくとも1つのマイクロコントローラを備えている。本明細書のこれ以降の部分では、このようなシステム110を備えた自動車100を、以下、ホスト車両100と呼ぶ。
投影モジュール140は、高解像度のモジュールであり、言い換えれば、1000ピクセルよりも高い解像度を有するモジュールである。しかし、投影モジュール140を製造するために使用される技術には、何の制限も付されていない。
投影モジュール140は、例えば、モノリシックソースで構成されていてもよい。モノリシックソースが意味するのは、少なくとも2列×少なくとも2行に配置されたエレクトロルミネッセンス素子のモノリシックマトリクスアレイである。モノリシックマトリクスアレイでは、エレクトロルミネッセンス素子は、共通の基板から成長させてもよく、エレクトロルミネッセンス素子は、選択的に、個別に、あるいはエレクトロルミネッセンス素子のサブセット単位で活性化できるように、電気的に接続してもよい。基板は、主に半導体材料で作られていてもよい。基板は、1つ以上のさらなる材料、例えば、非半導体材料(金属および絶縁体)を含んでいてもよい。したがって、各エレクトロルミネッセンス素子またはエレクトロルミネッセンス素子のグループは、発光ピクセルを形成してもよく、そのまたはそれらの材料に電気が供給されると光を放出することができる。このようなモノリシックマトリクスアレイの構成は、プリント回路基板にはんだ付けされることを意図した従来の発光ダイオードと比較して、選択的に活性化可能なピクセルを非常に近接して配置することを可能にする。モノリシックマトリクスアレイはエレクトロルミネッセント素子を備えていてもよく、その主要な伸長寸法、具体的には高さが、共通の基板に対して実質的に垂直であり、この高さが1マイクロメートルに等しい。
光線を放出することができる1つまたは複数のモノリシックマトリクスアレイは、投影モジュール140によるピクセル化された光ビームの生成および/または投影を制御するように、制御装置130に結合されてもよい。
これにより、制御装置130は、マトリクスアレイの各画素の発光を個別に制御することができる。
上に提示されたものに代わるものとして、投影モジュール140は、(複数の)ミラーのマトリクスアレイに結合された光源から構成されてもよい。すなわち、ピクセル化された光源は、光を発する少なくとも1つの発光ダイオードから形成された少なくとも1つの光源と、光電子素子のマトリクスアレイ、例えば「デジタルマイクロミラーデバイス」の頭文字をとってDMDとも呼ばれる(複数の)マイクロミラーのマトリクスアレイ(これは光源から発した光線を反射によって光投影素子に向けて導く)と、のアセンブリによって形成してもよい。必要に応じて、集光素子により、少なくとも1つの光源からの光線を集めて集中させ、マイクロミラーのマトリクスアレイの表面に向けて照射することがでる。
各マイクロミラーは、光線が光投影素子に向かって反射される第1の位置と、光線が光投影素子以外の方向に反射される第2の位置の2つの固定位置の間で揺動することができる。2つの固定位置は、すべてのマイクロミラーに対して同じ向きであり、マイクロミラーのマトリクスアレイの支持基準面に対して、マイクロミラーのマトリクスアレイに特徴的な角度(その仕様で定義される)を形成する。このような角度は、一般的に20°未満であり、通常は約12°の値を持つことができる。このように、マイクロミラーのマトリクスアレイに入射する光線の一部を反射する各マイクロミラーは、ピクセル化された光源の要素エミッタを形成し、ミラーの位置の変化の作動および制御により、要素光線を放出するために、または放出しないために、この要素エミッタを選択的に作動させることが可能となる。
別の変形例として、光ビーム投影モジュールは、レーザ源がレーザビームを走査手段に向けて放出するレーザ走査システムによって形成されてもよい。この走査手段は、レーザビームによって波長変換素子の表面を走査するように構成されており、この表面は光投影素子によって撮像される。ビームの走査は、走査手段によって、人間の目が投影された画像の中でその動きを知覚できないほどの高速で行われてもよい。
レーザ光源の活性化とビームの走査動作を同期させて制御することで、波長変換素子の表面で選択的に活性化可能な要素エミッタのマトリクスアレイを生成することが可能となる。走査手段は、レーザ光の反射を介して波長変換素子の表面を走査する可動のマイクロミラーであってもよい。走査手段として挙げられるマイクロミラーは、例えば、MEMS(microelectromechanical system)タイプのものが挙げられる。しかし、本発明はこのような走査手段に限定されるものではなく、他のタイプの走査手段を用いてもよく、例えば、回転素子上に配置された一連のミラーであってもよく、この場合、素子の回転によって伝送面がレーザビームで走査される。
別の変形例として、光源はマトリクスアレイで、発光ダイオードやモノリシック光源の表面部分など、少なくとも1つのセグメントの(複数の)光素子を備えていてもよい。
図2は、前記の1つまたは複数の(1つ以上の)センサと制御装置130とによって実施される方法のステップを示している。
ステップ200において、本方法は、例えば、ホスト車両の起動時や、ハイビーム機能またはロービーム機能の起動時に開始される。
ステップ201では、ホスト車両のセンサ121,122,123のセット120は、データのセットを収集することができる。特に、(複数の)センサの少なくとも1つは、道路のプロファイルをモデル化するために必要なデータを収集するように構成されている。収集されるデータおよびこのデータの精度は、カメラ、レーダー、ライダ(lidar)など、前記の1つまたは複数のセンサの性質に依存する。
カメラ、および/または、レーダー、および/または、ライダによって取得された画像および/またはデータに応じて、道路のプロファイルを推定する目的で、既知のモデリング方法を適用することができる。本発明による方法およびシステムの理解を容易にするために、1つのカメラ121のみが示され、その動作およびシステム100の他のすべての要素との相互作用が以下に説明される。しかしながら、このカメラ121は、図3から図6において、車両の中央バックミラーの高さに位置するものとして模式的に示されていることに留意すべきである。ホスト車両の前に広がる道路160に関するデータおよび/または画像を取得するためのカメラおよび/または他の手段の全く異なる場所も考え得る。しかしながら、これらの前記手段のための異なる場所は、当業者がこの新しい基準系に従って以下に説明される様々なパラメータ(媒介変数)および定数を決定する必要があることは明らかであろう。
本発明は、より具体的には、ステップ202において、道路の縁のプロファイルをモデル化する多項式関数を決定することを提供する。道路の縁のプロファイルを多項式の形でモデル化することにより、多項式の次数に応じて、道路の縁のプロファイルをより正確に表現することが可能となる。y=f(x)=Bi.x+Aiの形式の1次多項式関数(ここで、AiおよびBiはパラメータであり、xおよびyは道路の平面における道路端の点の座標である(近似的に平面道路を想定している))により直線的な道路プロファイルをモデル化することが可能であることが理解されるであろう。y=f(x)=Ci.x+Bi.x+Aiの形式の2次多項式関数(Ci,Bi,Aiはパラメータである)により例えばカーブなどの放物線状の道路プロファイルをモデル化することができる.y= f(x)=Di.x+Ci.x+Bi.x+Aの形式の3次多項式関数(Di、Ci、Bi、Aiはパラメータである)により例えば2つのカーブが連続する道路のような変曲点を含む道路プロファイルをモデル化することができる。
上で定義されたこれらの多項式のそれぞれにおいて、Aiは、道路160の右縁161に関する反復定数(この場合i=1)、または道路160の左縁163に関する反復定数(この場合i=3)、または、道路160の中心162に関する反復定数(この場合i=2)である。Biは、道路160の右縁161のアフィン直線の表現に関する反復定数(この場合i=1)、または道路の左縁163のアフィン直線の表現に関する反復定数(この場合i=3)、または道路160の中央部162のアフィン直線の表現(この場合i=2)に関する反復定数である。Ciは、道路160の右縁161の曲がり(カーブ)の表現に関係する反復定数(この場合i=1)、または左縁163の曲がりの表現に関係する反復定数(この場合i=3)、または道路160の中央162の曲がりの表現に関係する反復定数(この場合i=2)である。Diは、道路160の右縁161の二重曲がりに関する反復定数(この場合i=1)、または、道路160の左縁163の二重曲がりに関する反復定数(この場合i=3)、または、道路160の中央162の二重曲がりに関する反復定数(この場合i=2)である。
したがって、カメラ121がホスト車両100の前方に延びる道路160の画像を取得した場合、当該カメラ121は、道路160の右縁161、左縁163および中央162のプロファイルに応じたxおよびy座標を、制御装置130に送信することができる。制御装置130は、カメラ121の軸Acの道路160の平面Pr上への仮想投影と、道路160の右縁161、左縁163および中心との間の距離Aiをそれぞれ求める。
一実施形態によれば、後で詳述するように、多項式のパラメータは動的に変化してもよい。パラメータは、例えば、カメラ、レーダー、またはライダによって、所定の周波数で、あるいは道路のプロファイルの変化が検出された時に、更新される。好ましくは、本発明は、3次多項式関数の使用を提供し、それにより、複雑さと精度との間の最適化されたトレードオフを提供する。具体的には、カメラ121の視野FOV内の道路プロファイルは、一般的に言えば、2つの曲がり(カーブ)の連続よりも複雑になることはほとんどなく、4以上の次数の多項式関数を使用すると、制御装置のデータ処理装置においてかなりの計算時間がかかることになる。上記に代えて、多項式関数の次数の適応的選択を行い、対象とする画像に応じて多項式関数の次数をリアルタイムに適応させてもよい。もちろん、本発明は、道路縁のプロファイルを推定するための多項式関数の使用に決して限定されるものではない。例えば、三角関数、対数関数、指数関数など、他のあらゆるタイプの関数にも拡張される。
このように、道路のプロファイルに応じてパラメータAi,Bi,Ci,Diが定義されると、制御装置130は、ステップ203において、パターン170の投影のためのゾーンZPd,ZPg,ZPの始点Pdと終点Paを決定する。投影距離DPは、投影ゾーンZPd,ZPg,ZPの近位点Pdと遠位点Paとの間の距離であると定義される。Pdは、ホスト車両100の製造者によってデフォルトで予め定義されているパラメータであるが、当該ホスト車両を使用する運転者または操作者によって変更可能であってもよい。Paは、データ/画像取得手段によって障害物が検出されていないときに最大値になるパラメータである。従って、データ/画像取得手段121の視野内に障害物180が現れると、次に、パターン170が障害物180に投影されるのを防ぐために、制御装置130によって安全マージンMSが予め定義される。ホスト車両100の前方に延びる道路160に関するデータおよび/または画像を取得する手段は、障害物180の種類を判定することができる。障害物180の6つ以上のカテゴリーが参照される。すなわち、0は分類されていない物体に対応し、1はサイズの小さい未知の物体に対応し、2はサイズの大きい未知の物体に対応し、3は歩行者に対応し、4は自転車に対応し、5は自動車に対応し、6はトラックに対応する。
制御装置130は、ステップ204において、カメラ121の仮想軸Acの道路の平面Pr上への仮想投影と、パターン170の投影ゾーンZPd,ZPgとの間の距離Dcを、右の投影ゾーンZPdと左の投影ゾーンZPgのそれぞれについて、デフォルトで決定する。カメラ121の仮想軸Acの道路平面Pr上への仮想投影は、投影ゾーンZpdとZpgの間に対称軸として現れる。ただし、この距離Dcは、ホスト車両100の運転者またはオペレータが選択したパターン170の種類に応じて、いずれかに設定することができる。実際のところ、1つの代替的な実施形態では、距離Dc=0とされ、これによりパターン170の投影ゾーンZPdおよびZPgが重ね合わされて、1つの同じ投影ゾーンZpを有するようにされる。
投影ゾーンZPd、ZPg、ZPに投影できるパターン170のリストは網羅的なものではなく、ホスト車両100のメーカーが定義してもよく、および/または、運転者またはオペレータが必要に応じて更新してもよい。なお、右投影モジュール141および左投影モジュール143が投影可能なパターン170の種類の一例として、丸、四角、三角、シェブロン、または、連続線若しくは破線を投影してもよい。かくしてステップ205では、制御装置130は、パターン170の幅Lmを決定する。この値は、ホスト車両100のメーカーによってデフォルトで定義されているが、当該ホスト車両100を使用する運転者またはオペレータによってパラメータ化することが可能である。一部の投影モジュール140の潜在的な低解像度を補償するために、本発明による方法は、パースペクティブ(遠近法)の効果を補正するために、道路上の最も遠くに投影されるパターン170の幅を動的に増加させることができる。また、各投影パターン170の間の距離Dmは、より良い視覚的快適性を提供するように、前記ホスト車両100を使用する運転者またはオペレータによってパラメータ化されてもよい。
本発明による制御装置130は、右の投影モジュール141および左の投影モジュール143によるパターン170の投影が、道路160上に投影されるカメラ121の仮想軸に対して対称となるように、投影モジュール140の自己較正を可能にするステップ206を備える。また、この投影モジュール140の自己較正のステップは、当該投影モジュール140を機械的および/またはデジタル的に設定し、右のモジュール141および左のモジュール143によるパターン171,173の投影によって、2つのパターン170が1つの単一のパターン172を形成するように重ね合わせることができるようにすることができる。
投影モジュール140では、ロービーム機能に関するビームは、ベースビームと呼ばれる下部と、他のユーザーの目を眩ませないように道路160を照らすことを目的とした「キンク」と呼ばれる上部との並置を伴い分割される。同様に、「ハイビーム」機能に関するビームは、ベースビームと、「ヘッドビーム」中央部分との重ね合わせを伴い分割され、制限されたより強いベースを伴う。パターン170は、ロービームまたはハイビームのビームから投影されることを意図されている。
一実施形態では、制御装置130は、ホスト車両100のピッチを決定する(センサ122による)とともに投影モジュール140の高度および/またはロールを考慮するためのセンサのセット120と関連して、投影モジュール140の機械的および/またはデジタル較正を補正するように構成され、これにより、パターン170の投影が安定してホスト車両100を使用する運転者および/またはオペレータにとって快適な状態を維持するようにする。
制御装置は、パターンおよびベースビームの投影距離に応じて、光量を補正することができる。
データ/画像取得手段に関連付けられた本発明による制御方法により、制御装置は、車両の外形(輪郭)が2つの障害物180の間を通過できるかどうかを判断することができる。
別の実施形態では、データ/画像取得手段に関連付けられた制御装置130は、障害物180の回避戦略を投影することができる(図6参照)。
別の実施形態では、データ/画像取得手段に関連付けられた制御装置130は、作業領域で車線が狭くなったときのホスト車両100の軌跡を投影することができる。
別の実施形態では、ホスト車両100の「GPS」ナビゲーションシステム123に関連付けられた制御装置130は、ホスト車両100の軌道の変化を投影することができる。
別の実施形態では、データ/画像を取得するための手段および/またはライン交差を検出するための手段に関連付けられた制御装置は、ホスト車両100が道路上のマーキングラインを越えることを止め、安定した軌道を持つように、軌道アシストを投影することができるようになっている。
別の実施形態では、データ/画像取得手段に関連付けられた制御装置は、消えてしまったり、見えなくなってしまったときに、仮想のマーキングを道路に投影することができる。
本発明の1つの代替的な実施形態では、情報の融合のための装置180は、ホスト車両100に関連付けられた様々なセンサからの各データの関連性を決定することができ、これにより、車両100の制御ユニット150に対して、そして結果的に制御装置130に対して、意思決定を助けるための信頼性の高いデータを送信することができる。
本発明の別の実施形態では、ホスト車両100は、所定の軌道をたどるために運転者を必要としないように、完全な自動運転が可能である。

Claims (13)

  1. ホスト車両(100)からピクセル化された光ビームをホスト車両(100)の前方に延びる道路(160)に投影するための右投影モジュール(141)及び左投影モジュール(143)から構成される投影モジュール(140)を、少なくとも1つの制御装置(130)により制御する制御方法であって、前記ホスト車両(100)は、センサ(121、122、123)のセット(120)を備えており、
    前記制御方法は、
    - ステップ(201)において、前記センサのセット(120)に含まれるデータ/画像取得手段(121)が、ホスト車両(100)の前方に延びる道路(160)のプロファイルをモデル化するために必要なデータのセットを収集し、
    - ステップ(202)において、制御装置(130)が、収集したデータに従って、道路(160)の端部(161、163)および中央部(162)のプロファイルをモデル化する多項式関数を、以下のように決定し、ここで、
    - 道路のプロファイルのモデル化が、道路(160)の前記プロファイルが直線である場合には、y=f(x)=Bi.x+Aiの形式の1次多項式関数からもたらされ、または
    - 道路(160)のプロファイルのモデル化が、道路(160)の前記プロファイルが曲がり角などの放物線である場合には、y=f(x)=Ci.x+Bi.x+Aiという形式の2次多項式関数からもたらされ、または、
    - 道路(160)のプロファイルのモデル化が、道路(160)の前記プロファイルが2つのターンの連続のような変曲点を含む場合、y=f(x)=Di.x+Ci.x+Bi.x+Aの形式の3次多項式関数からもたらされ、
    - ステップ(203)において、制御装置(130)が、パターン(170)の投影のためのゾーン(ZPd、ZPg、ZP)の開始点(Pd)および終了点(Pa)を決定し、
    - ステップ(204)において、制御装置(130)が、右の投影ゾーンZPdおよび左の投影ゾーンZPgについて、データ/画像取得手段(121)の軸(Ac)とパターン(170)との間の距離(Dc)をそれぞれ決定し、
    - ステップ(205)において、制御装置(130)が、パターン(170)の幅(Lm)を決定し、
    データ/画像取得手段(121)が障害物(180)を検出すると、データ/画像取得手段(121)は、制御装置(130)に、パターン(170)が障害物(180)に投影されるのを防ぐための安全マージン(MS)を定義するために、障害物(180)に関するデータを送信することを特徴とする、制御方法。
  2. 道路(160)のプロファイルをモデル化するために必要なデータを収集することができるデータ/画像取得手段(121)は、カメラ、および/またはレーダー、および/またはライダであることを特徴とする、請求項1に記載の制御方法。
  3. 距離Dcは、投影されるパターン(170)の種類に応じてパラメータ化することができることを特徴とする、請求項1または2に記載の制御方法。
  4. 距離Dc=0のとき、制御装置(130)は、1つの同じ投影ゾーン(ZP)において、投影ゾーン(ZPd、ZPg)のパターン(170)が重なるように投影モジュール(140)を制御することを特徴とする、請求項3に記載の制御方法。
  5. 投影ゾーン(ZPd、ZPg、ZP)に投影可能なパターン(170)は、円、正方形、三角形、長方形、シェブロン、矢印、またはより複雑な形状、または速度計の表示のような数字、または連続線または破線とすることができることを特徴とする、請求項1から4のうちのいずれか一項に記載の制御方法。
  6. 前記制御方法は、遠近感の影響を補正するために、道路(160)に最も遠くに投影されるパターン(170)の幅(Lm)を動的に増加させるように、投影モジュールを制御するステップを含むことを特徴とする、請求項1から5のうちのいずれか一項に記載の制御方法。
  7. 制御装置(130)が、前記センサのセット(120)に含まれるホスト車両(100)のピッチを決定することができるセンサ(122)と関連付けられており、これにより投影モジュール(140)の機械的および/またはデジタル的な較正を補償することができるようになっている、請求項1から6のうちのいずれか一項に記載の制御方法。
  8. 前記制御方法は、パターン(170)およびベースビームの投影距離に応じて光強度を補正するように、投影モジュールを制御するステップを含むことを特徴とする、請求項1から7のうちのいずれか一項に記載の制御方法。
  9. 前記データ/画像取得手段(121)に関連付けられた制御装置(130)が、ホスト車両の外形を2つの障害物(180)の間に投影することによって、当該外形が2つの障害物(180)の間を通過できるかどうかを判断するように構成されていることを特徴とする、請求項1から8のうちのいずれか一項に記載の制御方法。
  10. 前記制御方法は、障害物(180)回避戦略を投影するように投影モジュールを制御するステップを含むことを特徴とする、請求項1からのうちのいずれか一項に記載の制御方法。
  11. 作業領域で車線が狭くなったときにホスト車両(100)の軌道を確立するように構成されたパターン(170)のセットを投影するように投影モジュールを制御するステップを含むことを特徴とする、請求項1から10のうちのいずれか一項に記載の制御方法。
  12. 制御装置が、前記センサのセット(120)に含まれる前記ホスト車両(100)の「GPS」ナビゲーションシステム(123)に関連付けられている場合に、地面に矢印の形でホスト車両(100)の軌道の変化を投影するように投影モジュールを制御するステップを含むことを特徴とする、請求項1から11のうちのいずれか一項に記載の制御方法。
  13. 制御装置(130)によって制御されるよう意図された投影モジュール(140)を備えた自動車用照明装置であって、前記制御装置(130)が、請求項1から12のうちのいずれか一項に記載の制御方法を実施することができることを特徴とする自動車用照明装置。
JP2021517983A 2018-10-01 2019-09-30 車両用のピクセル化された光ビームを投影するためのモジュールを制御する方法 Active JP7515468B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1859087A FR3086901B1 (fr) 2018-10-01 2018-10-01 Procede de pilotage de modules de projection de faisceaux de lumiere pixellise pour vehicule
FR1859087 2018-10-01
PCT/EP2019/076482 WO2020070078A1 (fr) 2018-10-01 2019-09-30 Procédé de pilotage de modules de projection de faisceaux de lumiere pixellise pour vehicule

Publications (2)

Publication Number Publication Date
JP2022502782A JP2022502782A (ja) 2022-01-11
JP7515468B2 true JP7515468B2 (ja) 2024-07-12

Family

ID=67441147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517983A Active JP7515468B2 (ja) 2018-10-01 2019-09-30 車両用のピクセル化された光ビームを投影するためのモジュールを制御する方法

Country Status (7)

Country Link
US (1) US11993201B2 (ja)
EP (1) EP3860878A1 (ja)
JP (1) JP7515468B2 (ja)
KR (1) KR102709526B1 (ja)
CN (1) CN112805180B (ja)
FR (1) FR3086901B1 (ja)
WO (1) WO2020070078A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020007645A1 (de) * 2020-04-03 2021-10-07 Daimler Ag Verfahren zur Kalibrierung eines Lidarsensors
DE102022107700A1 (de) * 2022-03-31 2023-10-05 HELLA GmbH & Co. KGaA Verfahren zum Betrieb eines lichtbasierten Fahrerassistenzsystems eines Kraftfahrzeugs
CN117074046B (zh) * 2023-10-12 2024-01-02 中汽研汽车检验中心(昆明)有限公司 高原环境下汽车实验室排放测试方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143413A (ja) 2007-12-14 2009-07-02 Toyota Motor Corp 運転支援装置
JP2012247369A (ja) 2011-05-30 2012-12-13 Honda Motor Co Ltd 車両用投影装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010020984A1 (de) * 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
DE102011119923A1 (de) * 2011-11-28 2013-05-29 Son Hao Vu Beleuchtungssystem
CN102848969B (zh) * 2012-09-07 2015-09-02 上海小糸车灯有限公司 一种旋转式电磁执行机构及其车灯远近光切换装置
DE202013006071U1 (de) * 2013-07-05 2013-09-12 Stephan Kaut Projezierte Lichtgitter aus Fahrzeugen
DE102014007914A1 (de) * 2014-05-27 2015-12-03 Elektrobit Automotive Gmbh Graphisches Darstellen von Straßen und Routen unter Benutzung von Hardware-Tesselierung
CN104700071B (zh) * 2015-01-16 2018-04-27 北京工业大学 一种全景图道路轮廓的提取方法
DE102015201766B4 (de) * 2015-02-02 2018-04-05 Volkswagen Aktiengesellschaft Verfahren zum Erzeugen einer Lichtverteilung zur Ausgabe einer Fahranweisung für ein erstes Fahrzeug
DE102015201764B4 (de) * 2015-02-02 2018-04-05 Volkswagen Aktiengesellschaft Verfahren und Fahrerassistenzsystem zum Erzeugen einer Lichtverteilung durch ein Fahrzeug zur Ausgabe einer Fahranweisung
FR3041739B1 (fr) * 2015-09-28 2019-10-04 Valeo Vision Systeme et procede d'eclairage
JP6500814B2 (ja) * 2016-03-07 2019-04-17 トヨタ自動車株式会社 車両用照明装置
US9919647B2 (en) * 2016-05-02 2018-03-20 Ford Global Technologies, Llc Intuitive haptic alerts
DE102016006919A1 (de) * 2016-06-07 2017-02-09 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
FR3055979B1 (fr) * 2016-09-15 2019-04-05 Valeo Vision Caracteristiques de faisceau lumineux pixelise
FR3056680B1 (fr) * 2016-09-29 2018-11-09 Valeo Vision Systeme d'eclairage pour vehicule automobile
FR3056490B1 (fr) * 2016-09-29 2018-10-12 Valeo Vision Procede de projection d'une image par un systeme de projection d'un vehicule automobile, et systeme de projection associe
FR3056775B1 (fr) * 2016-09-29 2021-08-20 Valeo Vision Procede de projection d'images par un systeme de projection d'un vehicule automobile, et systeme de projection associe
DE102016223650A1 (de) * 2016-11-29 2018-05-30 Continental Automotive Gmbh Leuchtsystem für ein Kraftfahrzeug und Verfahren dazu
KR102406502B1 (ko) * 2016-12-14 2022-06-10 현대자동차주식회사 차량의 협로 주행 안내 장치 및 방법
FR3062217B1 (fr) * 2017-01-20 2021-03-19 Valeo Vision Aboutage de sources lumineuses pixelisees
DE102017203902A1 (de) * 2017-03-09 2018-09-13 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einem Beleuchtungsmodul zur Generierung einer Symbolik

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143413A (ja) 2007-12-14 2009-07-02 Toyota Motor Corp 運転支援装置
JP2012247369A (ja) 2011-05-30 2012-12-13 Honda Motor Co Ltd 車両用投影装置

Also Published As

Publication number Publication date
FR3086901A1 (fr) 2020-04-10
US20220118901A1 (en) 2022-04-21
CN112805180B (zh) 2024-08-06
FR3086901B1 (fr) 2020-11-13
JP2022502782A (ja) 2022-01-11
US11993201B2 (en) 2024-05-28
KR20210065116A (ko) 2021-06-03
WO2020070078A1 (fr) 2020-04-09
EP3860878A1 (fr) 2021-08-11
KR102709526B1 (ko) 2024-09-25
CN112805180A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
JP7515468B2 (ja) 車両用のピクセル化された光ビームを投影するためのモジュールを制御する方法
KR102327997B1 (ko) 주위 감지 시스템
JP6697636B2 (ja) Lidarシステム及び方法
CN108859933B (zh) 车辆用灯泡及车辆
US20190277968A1 (en) Object detection system
US10369922B2 (en) Vehicle headlight device
CN111337906A (zh) 传感器校准方法和传感器校准设备
KR20220066422A (ko) 분산 모듈형 솔리드-스테이트 광 검출 및 거리 측정 시스템
WO2018055513A2 (en) Methods circuits devices assemblies systems and functionally associated machine executable code for light detection and ranging based scanning
JP6538635B2 (ja) 車両用照明装置
JP7312764B2 (ja) 雪上車
CN108061898B (zh) 用于自动化车辆的扫描激光雷达
US20020075691A1 (en) Device for automatic correction of the orientation of a motor-vehicle headlamp in elevation
US20190322210A1 (en) Apparatus and method for notifying expected motion of vehicle
JP2019121520A (ja) 前照灯装置
US20240317132A1 (en) Automatic Light Alignment
KR20230117231A (ko) 마이크로 렌즈 어레이 프로젝션 장치, 조명 장치, 및차량
JP2018024374A (ja) 車両用投影装置
US12097799B2 (en) Vehicle headlight
CN116848039A (zh) 用于运行停车辅助系统的方法和设备、停车库和车辆
JP2008082750A (ja) 前方車両認識装置
JP3823944B2 (ja) 移動物体報知装置
WO2024057975A1 (ja) 車両用前照灯
US12092278B2 (en) Generating a spotlight
US20230311818A1 (en) Sensing system and vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240702

R150 Certificate of patent or registration of utility model

Ref document number: 7515468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150