JP7126280B2 - 車両システム装置及び車両システム装置による路面情報の照射方法 - Google Patents

車両システム装置及び車両システム装置による路面情報の照射方法 Download PDF

Info

Publication number
JP7126280B2
JP7126280B2 JP2021036248A JP2021036248A JP7126280B2 JP 7126280 B2 JP7126280 B2 JP 7126280B2 JP 2021036248 A JP2021036248 A JP 2021036248A JP 2021036248 A JP2021036248 A JP 2021036248A JP 7126280 B2 JP7126280 B2 JP 7126280B2
Authority
JP
Japan
Prior art keywords
road surface
surface information
coordinate
coordinates
headlamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021036248A
Other languages
English (en)
Other versions
JP2022086966A (ja
JP2022086966A5 (ja
Inventor
ドク ギュ リ
Original Assignee
ヒュンダイ・モービス・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヒュンダイ・モービス・カンパニー・リミテッド filed Critical ヒュンダイ・モービス・カンパニー・リミテッド
Publication of JP2022086966A publication Critical patent/JP2022086966A/ja
Publication of JP2022086966A5 publication Critical patent/JP2022086966A5/ja
Application granted granted Critical
Publication of JP7126280B2 publication Critical patent/JP7126280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B60Q1/5037Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/60
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0088Details of electrical connections
    • B60Q1/0094Arrangement of electronic circuits separated from the light source, e.g. mounting of housings for starter circuits for discharge lamps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60K2360/334
    • B60K2360/797
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/32Road surface or travel path
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors

Description

本発明は車両システム装置及び車両システム装置による路面情報の照射方法に関する。
技術の発達により、車両は、もはや運転者の操作にだけ依存して走行しないようになった。自律走行車両の技術は、センシング及び人工知能技術を介して運転者の判断を最小化し走行することを目的とする。一例として、自律走行車両はヘッドランプから照射される光の強さ、明るさ、又は方向を運転者の介入がなくても制御できる。
特許文献1には、車両用の画像投射装置であって、車両に関する情報を取得可能な取得部と、画像を路面に投射可能な画像投射部と、を具備し、前記画像投射部は、ヘッドライト点灯時、消灯時に応じて画像を投射する、画像投射装置が開示されている。
特開2020-75719号公報
車両は、ヘッドランプに含まれた路面(又は道路)上に特定の形態を有する情報が示されるよう光を照射できる。このような路面情報は、車両又は外部環境の状態に基づいて多様な情報を示し得る。例えば、路面情報は、車両の走行信号(例:左回転、右回転、又は停止)、道路上で感知された障害物を示す形態、又は車両の走行をガイドする情報を示し得る。路面情報は文字又は絵で表現されてよい。
車両に装着されたヘッドランプの位置や車両のサイズ、又は路面の状態によって路面情報は歪曲された状態で照射され得るため、路面情報が正確に表示されるよう制御する必要がある。ヘッドランプのハードウェア構成を改善する方案の場合、それによるコストが増加し得る。
本明細書に開示される一実施形態による車両システム装置は、ヘッドランプ、前記ヘッドランプの装着高さ及び左右距離に対する情報を記憶する記憶部、及び制御部を含み、前記制御部は、センサー信号に対応する路面情報を生成するように設定された路面情報生成部、前記路面情報の位置座標を獲得し、前記記憶部に格納された情報に基づいて前記位置座標を角度座標に変換するように設定された座標変換部、及び前記角度座標に基づいて路面情報を照射するように前記ヘッドランプを制御するように設定されたヘッドランプ制御部を含んでよい。
本明細書に開示される一実施形態による車両システム装置による路面情報の照射方法は、センサー信号に対応する路面情報を生成する動作、前記路面情報の位置座標を獲得する動作、ヘッドランプの装着高さ及び左右距離に基づいて前記位置座標を角度座標に変換する動作、及び前記角度座標に基づいて路面情報を照射するように前記ヘッドランプを制御する動作を含んでよい。
本明細書に開示される実施形態によれば、車両システム装置はヘッドランプを用いて路面情報をより正確に照射できる。
本明細書に開示される実施形態によれば、車両システム装置は、ソフトウェアを用いて路面情報の表示を補正することで技術正確度を増加させるとともに量産性の増加を期待することができる。
これ以外に、本明細書を介して直接的又は間接的に把握される多様な効果が提供され得る。
多様な実施形態によりヘッドランプを用いて路面情報を表示する動作環境を説明した図である。 多様な実施形態による車両システム装置の機能的ブロック図である。 多様な実施形態による路面情報の位置座標を説明した図である。 多様な実施形態により路面情報の角度座標を算出するためのパラメーターを示した図である。 多様な実施形態による路面情報の角度座標を説明した図である。 多様な実施形態による角度座標系を説明した図である。 多様な実施形態により歪曲された路面情報が補正される例を説明した図である。 多様な実施形態により路面情報を補正する車両システム装置の動作の流れを示した図である。 多様な実施形態により路面情報を補正する車両システム装置の他の動作の流れを示した図である。 多様な実施形態による車内のシステムブロックを示した図である。 多様な実施形態により感知された客体によって路面情報を補正する動作を説明した図である。
図面の説明に関連し、同一又は類似の構成要素に対しては同一又は類似の参照符号が用いられてよい。
以下、本発明の多様な実施形態が図を参照しつつ記載される。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の実施形態の多様な変更(modification)、均等物(equivalent)、及び/又は代替物(alternative)を含むものとして理解されなければならない。
本文書の多様な実施形態及びこれに用いられた用語は、本文書に記載された技術的特徴を特定の実施形態に限定しようとするものではなく、当該実施形態の多様な変更、均等物、又は代替物を含むものとして理解されなければならない。図面の説明と関連し、類似又は関連の構成要素に対しては、類似の参照符号が用いられてよい。アイテムに対応する名詞の単数形は関連された文脈上明白に異なるように指示しない限り、前記アイテム一つ又は複数を含んでよい。本文書において、「A又はB」、「A及びBのうち少なくとも一つ」、「A又はBのうち少なくとも一つ」、「A、B又はC」、「A、B及びCのうち少なくとも一つ」、及び「A、B、又はCのうち少なくとも一つ」のような文句それぞれは、その文句のうち該当する文句に共に並べられた項目のうち何れか一つ、又はそれらの全ての可能な組み合わせを含んでよい。「第1」、「第2」、又は「一番目」又は「二番目」のような用語は、単に当該構成要素を他の当該構成要素と区分するために用いられてよく、当該構成要素を他の側面(例:重要性又は順番)において限定しない。ある(例:第1)構成要素が他の(例:第2)構成要素に、「機能的に」又は「通信的に」という用語とともに又はこのような用語がなく「カップルド」又は「コネクテッド」と言及された場合、それは、前記ある構成要素が前記他の構成要素に直接的に(例:有線で)、無線で、又は第3構成要素を介して連結され得るということを意味する。
本文書の多様な実施形態で用いられた用語「モジュール」は、ハードウェア、ソフトウェア又はファームウエアに具現されたユニットを含んでよく、例えば、ロジック、論理ブロック、部品、又は回路のような用語と相互互換的に用いられてよい。モジュールは、一体でなる部品、或いは一つ又はそれ以上の機能を行う、前記部品の最小単位又はその一部となり得る。例えば、一実施形態によれば、モジュールはASIC(application-specific integrated circuit)の形態に具現されてよい。
本文書の多様な実施形態は、機器(machine)で読み取り可能な記憶媒体(storage medium)(例:内蔵メモリ又は外装メモリ)に格納された一つ以上の命令語を含むソフトウェア(例:プログラム)に具現されてよい。例えば、機器は、記憶媒体から格納された一つ以上の命令語のうち少なくとも一つの命令を呼び出し、それを行うことができる。これは、機器が前記呼び出された少なくとも一つの命令語によって少なくとも一つの機能を行うよう運営されることを可能にする。前記一つ以上の命令語は、コンパイラーにより生成されたコード又はインタプリターにより行うことができるコードを含んでよい。機器で読み取り可能な記憶媒体は、非一時的(non-transitory)記憶媒体の形態で提供されてよい。ここで、「非一時的」とは、記憶媒体が実在(tangible)する装置であり、信号(signal)(例:電磁気波)を含まないということを意味するだけで、この用語は、データが記憶媒体に半永久的に格納される場合と臨時的に格納される場合を区分しない。
一実施形態によれば、本文書に開示された多様な実施形態による方法は、コンピュータープログラム製品(computer program product)に含まれて提供されてよい。コンピュータープログラム製品は、商品として販売者及び購買者の間に取り引きされてよい。コンピュータープログラム製品は、機器で読み取り可能な記憶媒体(例:compact disc read only memory(CD-ROM))の形態で配布されるか、又はアプリケーションストアを介して又は二つの使用者装置の間に直接、オンラインで配布(例:ダウンロード又はアップロード)されてよい。オンライン配布の場合、コンピュータープログラム製品の少なくとも一部は、製造社のサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリのような機器で読み取り可能な記憶媒体に少なくとも一時格納されるか、臨時的に生成されてよい。
多様な実施形態によれば、前記で記述した構成要素のそれぞれの構成要素(例:モジュール又はプログラム)は単数又は複数の個体を含んでよく、複数の個体のうち一部は他の構成要素に分離配置されてもよい。多様な実施形態によれば、前述の当該構成要素のうち一つ以上の構成要素又は動作が省略されるか、或いは一つ以上の他の構成要素又は動作が追加されてよい。代替的に又は追加的に、複数の構成要素(例:モジュール又はプログラム)は一つの構成要素に統合されてよい。このような場合、統合された構成要素は、前記複数の構成要素それぞれの構成要素の一つ以上の機能を、前記統合以前に前記複数の構成要素のうち当該構成要素によって行われることと同一又は類似に行える。多様な実施形態によれば、モジュール、プログラム又は他の構成要素によって行われる動作は、順次、並列的、反復的又はヒューリスティックに実行されるか、前記動作のうち一つ以上が異なる順に実行されるか、省略されるか、又は一つ以上の他の動作が追加されてよい。
図1は、多様な実施形態によりヘッドランプを用いて路面情報を表示する動作環境を説明する図である。
図1を参照すれば、車両10は、ヘッドランプ20を用いて路面(又は道路)上に多様な形態の路面情報50を照射できる。路面情報50は、イメージ又はテキストのうち少なくとも一つを含んでよい。車両10は、路面情報50を照射することで歩行者又は他の車両の運転者に車両10の状態を知らせるか、車両10の運転者に運転のガイドを提供できる。例えば、路面情報50は、方向指示灯、警告灯、制限速度、燃料ゲージ、横断歩道、又は道路状態のような情報を示し得る。路面情報50を照射するために、車両10はヘッドランプ20を構成するピクセル単位で制御できる。例えば、ヘッドランプ20に含まれた複数のピクセルのそれぞれにピクセル値(例:YUV)を適用することで、車両10は所望の形態の路面情報50を照射できる。
図2は、多様な実施形態による車両システム装置の機能的ブロック図である。
図2を参照すれば、車両システム装置100は、ヘッドランプ110、制御部120、及び記憶部130を含んでよい。他の実施形態によれば、車両システム100は、図2に示された構成のうち少なくとも一部(例:ヘッドランプ110又は記憶部130)を省略するか、図2に示されていない他の構成要素(例:通信インターフェース、センサー)をさらに含んでよい。車両システム装置100に含まれた構成は、ハードウェア構成だけでなく命令語(instructions)によって具現されるソフトウェア(例:プログラム)を意味してよい。
ヘッドランプ110は、光を照射するように設定されてよい。ヘッドランプ110は、光を照射する光源、光源から照射された光を反射するリフレクター(reflector)(例:マイクロミラー(micro-mirror))、及び反射された光を路面に照射するレンズを含んでよい。ヘッドランプ110は、複数のピクセルで形成されてよい。制御部120(又はヘッドランプ制御部126)は、ピクセルそれぞれのピクセル値を介して路面情報の形態、明るさ、又は照射される角度のうち少なくとも一つを調節できる。
制御部120は、例えば、ソフトウェア(例:プログラム)を実行して制御部120に連結された車両システム装置100の少なくとも一つの他の構成要素(例:ハードウェア又はソフトウェア構成要素)を制御でき、多様なデータ処理又は演算を行うことができる。一実施形態によれば、データ処理又は演算の少なくとも一部として、制御部120は、他の構成要素(例:センサー)から受信された命令又はデータを非揮発性メモリ(例:記憶部130)に格納し、揮発性メモリに格納された命令又はデータを処理し、結果データを非揮発性メモリ(例:記憶部130)に格納してよい。一実施形態によれば、制御部120は、メインプロセッサ(例:中央処理装置又はアプリケーションプロセッサ)或いはこれとは独立的に又は共に運営可能な補助プロセッサ(例:グラフィック処理装置、イメージシグナルプロセッサ、センサーハブプロセッサ、又はコミュニケーションプロセッサ)を含んでよい。例えば、制御部120がメインプロセッサ及び補助プロセッサを含む場合、補助プロセッサはメインプロセッサより低電力を用いるか、指定された機能に特化されるよう設定してよい。補助プロセッサは、メインプロセッサと別個に、又はその一部として具現されてよい。
実施形態によれば、制御部120は、路面情報生成部122、座標変換部124、及びヘッドランプ制御部126を含んでよい。制御部120に含まれたそれぞれの構成は、ハードウェア装置又はソフトウェアプログラムであるか、これらが結合された形態であってよい。路面情報生成部122は、センサー信号に対応する路面情報を生成できる。センサー信号は、例えば、車両システム装置100に含まれた少なくとも一つのセンサー(図示省略)から獲得されてよい。路面情報生成部122は、センサー信号に対応する路面情報のイメージが存在するか否かを確認し、路面情報のイメージが存在すれば路面情報を生成できる。座標変換部124は、路面情報生成部122から生成された路面情報の位置座標を角度座標に変換することで、ヘッドランプ110から照射された光の強さ又は方向を補正できる。例えば、座標変換部124は、ヘッドランプ110の装着高さと左右距離を用いて路面情報の位置座標を角度座標に変換してよい。座標変換部124は、変換された角度座標を記憶部130に格納するかヘッドランプ制御部126に直接伝達してよい。ヘッドランプ制御部126は、角度座標を用いてヘッドランプ110を制御することで補正された路面情報を照射できる。この場合、ヘッドランプ制御部126は、角度座標によってピクセル角度座標系のピクセルそれぞれのピクセル値を決定できる。
実施形態によれば、路面情報生成部122、座標変換部124、及びヘッドランプ制御部126は、一つの統合されたモジュールとして形成されてよい。逆に、路面情報生成部122、座標変換部124、及びヘッドランプ制御部126は、別途の構成であってよい。例えば、車両システム装置100の使用者は、制御部120の構成のうち一部(例:座標変換部124)のみをアップグレードすることで追加コストなしにヘッドランプ110の制御技術の正確度を向上させることができる。
記憶部130は、車両システム装置100を制御する命令語、制御命令語コード、制御データ、又は使用者データを格納できる。例えば、記憶部130は、アプリケーション(application)プログラム、OS(operating system)、ミドルウェア(middleware)、又はデバイスドライバー(device driver)のうち少なくとも一つを含んでよい。記憶部130は、揮発性メモリ(volatile memory)又は非揮発性メモリ(non-volatile memory)のうち一つ以上を含んでよい。揮発性メモリは、DRAM(dynamic random access memory)、SRAM(static RAM)、SDRAM(synchronous DRAM)、PRAM(phase-change RAM)、MRAM(magnetic RAM)、RRAM(resistive RAM)、FeRAM(ferroelectric RAM)等を含んでよい。非揮発性メモリは、ROM(read only memory)、PROM(programmable ROM)、EPROM(electrically programmable ROM)、EEPROM(electrically erasable programmable ROM)、フラッシュメモリ(flash memory)等を含んでよい。記憶部130は、ハードディスクドライブ(HDD、hard disk drive)、ソリッドステートディスク(SSD、solid state disk)、eMMC(embedded multi media card)、UFS(universal flash storage)のような揮発性媒体(medium)をさらに含んでよい。
実施形態によれば、記憶部130は、ヘッドランプ110の装着高さ、二つのヘッドランプ間の左右距離に対する値を格納できる。他の例として、記憶部130は路面情報のイメージを格納できる。他の例として、記憶部130は座標変換部124によって変換された角度座標を格納できる。
図3から図6は、路面情報の位置座標を角度座標に変換する動作を説明する。以下では、右側に照射される路面情報320の位置座標を角度座標に変換する例を説明する。ところが、左側に照射される路面情報310の位置座標を角度座標に変換する実施形態に類似の原理が適用されてよい。また、図3は、説明の便宜上、補正以前の路面情報310、320が道路上に照射される例を示す。ところが、車両システム装置100は、路面情報310、320を道路上に直接照射しなくても路面情報310、320の歪曲を補正できる。
図3を参照すれば、車両システム装置100の路面情報生成部122は、センサー信号に対応する路面情報310、320を生成できる。図3は、ヘッドランプ110の左側ユニットと右側ユニットによって別途照射された路面情報310、320を示す。ところが、図1に示された通り、一つのイメージを示す路面情報50にも同一の原理が適用されてよい。
座標変換部124は、路面情報320を構成する任意の地点(例:頂点A、B、C、D)の位置座標を獲得できる。獲得された位置座標は、例えば、直交座標系上の座標(X、Y)として表現されてよい。この場合、左右ヘッドランプの中央位置が原点に該当し得る。頂点(A、D)は、頂点(B、C)に比べてヘッドランプ110からさらに離隔された位置であり、頂点(A、D)のY値が頂点(B、C)のY値より大きくなり得る。頂点(C、D)は、左右ヘッドランプの中央350を基準に頂点(A、B)に比べて外側位置であり、頂点(C、D)のX値は頂点(A、B)のX値より大きくなり得る。
図4を参照すれば、座標変換部124は、ヘッドランプ110の装着高さ(H)と路面情報320の位置座標に基づいて第1角度座標(m、n)を算出できる。例えば、座標変換部124は、頂点(B、C)のY軸距離(D1)を用いて第1角度座標(m)を算出し、頂点(A、D)のY軸距離(D2)を用いて第1角度座標(n)を算出できる。この場合、第1角度座標(m、n)は、以下の数式1に基づいて算出されてよい。
Figure 0007126280000001
数式1において、頂点(A)のY軸距離(D2)を示すA(y)は、頂点(D)のY軸距離(D2)を示すD(y)に代替され、頂点(B)のY軸距離(D1)を示すB(y)は、頂点(C)のY軸距離(D1)を示すB(y)に代替されてよい。
図5を参照すれば、座標変換部124は、左右ヘッドランプ間の距離(2S)と路面情報320の位置座標に基づいて第2角度座標(q、p、o、r)を算出できる。例えば、座標変換部124は、頂点(A)のX軸距離及びY軸距離と左右ヘッドランプ間の距離の1/2値(S)を用いて第2角度座標(q)を算出し、同一の原理で頂点(B)の第2角度座標(p)、頂点(C)の第2角度座標(o)、及び頂点(D)の第2角度座標(r)を算出できる。第2角度座標(q、p、o、r)は、以下の数式2に基づいて算出されてよい。
Figure 0007126280000002
数式2において、座標変換部124は、右側ヘッドランプユニットの位置に照射される路面情報320の第2角度座標を算出するために各頂点のX軸位置座標(例:A(x))からS値を差し引いたが(-S)、左側ヘッドランプユニットの位置に照射される路面情報310の第2角度座標を算出する時、座標変換部124はS値を加算できる(+S)。
図6を参照すれば、第1座標系601は、路面情報320の第1角度座標(m、n)及び第2角度座標(q、p、o、r)をピクセル角度座標系において表現したものであり、第2座標系602は、路面情報320が実際の道路上で照射される時の形態及び位置を角度座標系において表現したものである。ヘッドランプ制御部126は、座標変換部124によって変換された第1角度座標(m、n)及び第2角度座標(q、p、o、r)に応じてヘッドランプ110のピクセル値を適用することで路面情報320の位置、形態、方向、又は強さを制御できる。例えば、ヘッドランプ110は、横1152ピクセル、縦576ピクセルに形成され、ピクセル値に応じて光の方向は横軸14度、縦軸7度のほど調節されてよい。この場合、1ピクセルは0.012度であってよい。図6に示されたピクセルの数、角度、及び第1座標系601と第2座標系602の関係は例示に該当し、その値は変更されてよい。第2座標系602の中央点(0,0)は垂直線と水平線が接する地点であって、中央点(0,0)を基準にY軸角度が負数であればロー(low)ビームが、Y軸角度が正数であればハイ(high)ビームが照射されてよい。
図7は、多様な実施形態により歪曲された路面情報が補正される例を説明する図である。
図7を参照すれば、第1路面情報710は補正以前に照射された路面情報であり、第2路面情報720は補正以後に照射された路面情報である。車両10の路面情報生成部122が長方形(又は正方形)状の路面情報を生成しても、ヘッドランプ110の装着高さ及び左右間の距離によって歪曲された第1路面情報710が道路上に照射され得る。車両10は、座標変換部124を介して路面情報の形態を意図的に変形することで、第2路面情報720のように路面情報が長方形状に道路上に照射されるようにできる。
図8は、多様な実施形態により路面情報を補正する車両システム装置の動作の流れ図である。以下で記載する動作の流れ図における動作は、車両システム装置100によって行われるか、車両システム装置100に含まれた構成要素によって行われてよい。例えば、制御部120に含まれた各構成は、記憶部130に格納された命令語を行うことで車両システム装置100の路面情報の照射機能を行うことができる。
図8を参照すれば、動作810において、路面情報生成部122はセンサー信号に対応する路面情報を生成できる。センサー信号は、例えば、車両システム装置100の多様な構成から獲得されてよい。例えば、路面情報生成部122は車両の状態、運転者の入力、又は外部環境を感知する少なくとも一つのセンサーからセンサー信号を受信できる。
動作820において、座標変換部124は、生成された路面情報の位置座標を獲得できる。位置座標は、例えば、直交座標系上の座標を意味してよい。
動作830において、座標変換部124は、ヘッドランプ110の装着高さ及び左右距離に基づいて位置座標を角度座標に変換できる。角度座標は、例えば、ヘッドランプ110の複数のピクセルで表現されるピクセル角度座標を意味してよい。
動作840において、ヘッドランプ制御部126は、変換された角度座標に基づいてヘッドランプを介して路面情報を照射できる。
図9は、多様な実施形態により路面情報を補正する車両システム装置の他の動作の流れ図である。
図9を参照すれば、動作910において、路面情報生成部122はセンサー信号を獲得できる。センサー信号は、例えば、車両の状態、運転者の入力、又は外部環境に基づいて少なくとも一つのセンサーから生成されてよい。
動作920において、路面情報生成部122は、獲得されたセンサー信号に対応する路面情報のイメージが存在するか否かを確認できる。路面情報のイメージが存在しなければ、路面情報生成部122はアルゴリズムを終了してよい。路面情報のイメージが存在すれば、路面情報生成部122はイメージに対応する路面情報を生成し、生成された路面情報を座標変換部124に伝達し得る。
動作930において、座標変換部124は、i番目の頂点に対する位置座標を角度座標に変換できる。ここで、iは自然数を意味してよい。角度座標は、例えば、ヘッドランプ110の装着高さに基づく第1角度座標と左右ヘッドランプ間の距離に基づく第2角度座標を含んでよい。
動作940において、座標変換部124は、全ての頂点の位置座標が変換されたものであるかを確認できる。全ての頂点の位置座標が変換されていなければ、座標変換部124は、動作930及び動作950において次の頂点(i+1)に対する位置座標を角度座標に変換し、再び動作940を行ってよい。全ての頂点の位置座標が変換されていれば、動作960において座標変換部124は、路面情報の全ての頂点に対する角度座標を記憶部130に格納できる。他の例としては、座標変換部124は、角度座標を記憶部130に格納せずに直ちにヘッドランプ制御部126に伝達できる。
図10は、多様な実施形態による車内のシステムブロック図である。図10に示された構成のうち一部は、図2の車両システム装置10の構成と対応し、車両システム装置10から一部構成が追加されたものと理解されてよい。
図10を参照すれば、車両10(又は、車両システム装置100)は、AP(application processor)ドライバー1005、第1 CAN(controller area network)1001、第2 CAN1002、後方センサー1010-1、1010-2、ランプモジュール1020-1、1020-2、パワードライバー1030-1、1030-2、レーダー1040、ナビゲーション1050、ステアリング1060、及びカメラ1070を含んでよい。追加的にステアリング1060は、MFスイッチと統合的に形成されてよい。
APドライバー1005は、図2の制御部120に対応するハードウェア構成であってよい。例えば、APドライバー1005は、車両10内の構成を制御するための制御装置であってよい。APドライバー1005は、プロセッサ、又はECU(electronic control unit)に参照されてよい。
第1CAN1001及び第2CAN1002は、APドライバー1005が車両10内の構成を制御するために用いられるプロトコルであってよい。例えば、APドライバー1005は、第1CAN1001を介してカメラ1070、レーダー1044、後方センサー1010-1、1010-2、及びナビゲーション1050のうち少なくとも一つを制御することで、車両10のセンシング及びそれによる機能を行い、第2CAN1002を介してステアリング1060(MFスイッチを含む)、ブレーキ(図示省略)、及び車両10の速度を制御することで、車両10の走行と係わる機能を制御できる。第1CAN1001はP-CAN(private CAN)に、第2CAN1002はC-CAN(chassis CAN)に参照されてよい。
後方センサー1010-1、1010-2は、車両10の運転者が感知できない死角地帯(例:車両の側後方)を感知するように設定されてよい。後方センサー1010-1、1010-2は、BSD(blind spot detection)に参照されてよい。後方センサー1010-1、1010-2の数及び位置は、図10に示された例に制限されない。
ランプモジュール1020-1、1020-2は、図2のヘッドランプ110に対応されてよい。実施形態によれば、車両10が光の強さ及び方向をより細密に調節できるよう、ランプモジュール1020-1は複数のマイクロミラー(micro mirror)を含むDMD(digital micro-mirror device)ランプを含んでよい。実施形態によれば、ランプモジュール1020-1、1020-2のそれぞれは同軸ケーブル(例:fakcraケーブル)を介してAPドライバー1005と連結されてよい。パワードライバー1030-1、1030-2のそれぞれは、ランプモジュール1020-1、1020-2のそれぞれに電力を供給するように設定されてよい。
レーダー1040は、車両10の前方に位置した客体を感知するように設定されてよい。例えば、APドライバー1005は、レーダー1040を用いて客体(例:歩行者又は障害物)の位置、速度、又は方向を感知できる。
カメラ1070は、車両10の前方に対する映像を獲得できる。APドライバー1005は、カメラ1070を介して獲得された映像を分析することで、前方に位置した客体の位置、速度、方向、形態、又はサイズを感知できる。
図11は、多様な実施形態により感知された客体によって路面情報を照射する動作を説明する図である。
図11を参照すれば、車両10は、カメラ1070又はレーダー1040を用いて車両10の前方に位置した客体(例:歩行者)1120-1、1120-2を感知できる。
実施形態によれば、ヘッドランプ制御部126は、感知された客体の数に基づいて複数の路面情報を照射するようにヘッドランプ110を制御できる。例えば、第1客体1120-1及び第2客体1120-2を感知すれば、ヘッドランプ制御部126は、感知された客体それぞれに対応する第1路面情報1110-1及び第2路面情報1110-2を照射するようにヘッドランプ1110を制御できる。
実施形態によれば、ヘッドランプ制御部126は、感知された客体の位置に基づいて路面情報の位置を変更できる。例えば、第2客体1120-2を感知すれば、ヘッドランプ制御部126は、第2客体1120-2の位置によって第2路面情報1110-2が表示される位置を基準点(0,0)から指定された距離M1、N1ほど変更できる。

Claims (10)

  1. 車両システム装置であって、
    ヘッドランプと、
    前記ヘッドランプの装着高さ及び左右距離に対する情報を格納する記憶部と、
    制御部と、を含み、
    前記制御部は、
    センサー信号に対応する路面情報を生成するように設定された路面情報生成部と、
    前記路面情報の位置座標を獲得し、前記記憶部に格納された情報に基づいて前記位置座標を角度座標に変換するように設定された座標変換部と、
    前記角度座標に基づいて路面情報を照射するように前記ヘッドランプを制御するように設定されたヘッドランプ制御部と、を含む、車両システム装置。
  2. 前記路面情報生成部、前記座標変換部、及び前記ヘッドランプ制御部は、一つのモジュールに統合して形成される、請求項1に記載の車両システム装置。
  3. 前記座標変換部は、
    前記ヘッドランプの装着高さと前記路面情報の位置座標を用いて前記路面情報の第1角度座標を算出し、
    前記ヘッドランプの左右距離と前記路面情報の位置座標を用いて前記路面情報の第2角度座標を算出するように設定された、請求項1に記載の車両システム装置。
  4. 前記座標変換部は、
    前記路面情報のi番目の頂点の位置座標に対する前記第1角度座標及び前記第2角度座標を算出し、
    前記路面情報の全ての頂点の位置座標が変換されていなければ、前記路面情報のi+1番目の頂点の位置座標に対する前記第1角度座標及び前記第2角度座標を算出するか、又は前記路面情報の全ての頂点の位置座標が変換されていれば、前記路面情報の全ての頂点の前記第1角度座標及び前記第2角度座標を前記メモリに格納するように設定され、ここでiは自然数に該当する、請求項3に記載の車両システム装置。
  5. 前記ヘッドランプ制御部は、
    前記第1角度座標及び前記第2角度座標に対応するピクセルにピクセル値を適用することで、前記ヘッドランプを制御するように設定された、請求項3に記載の車両システム装置。
  6. 少なくとも一つのセンサーをさらに含み、
    前記路面情報生成部は、前記少なくとも一つのセンサーから前記センサー信号を獲得し、
    前記センサー信号に対応する路面情報のイメージが存在するか否かを確認し、
    前記路面情報のイメージが存在すれば路面情報を生成するように設定された、請求項1に記載の車両システム装置。
  7. 車両システム装置による路面情報の照射方法であって、
    センサー信号に対応する路面情報を生成する動作と、
    前記路面情報の位置座標を獲得する動作と、
    ヘッドランプの装着高さ及び左右距離に基づいて前記位置座標を角度座標に変換する動作と、
    前記角度座標に基づいて路面情報を照射するように前記ヘッドランプを制御する動作と、を含む、路面情報の照射方法。
  8. 前記位置座標を前記角度座標に変換する動作は、
    前記ヘッドランプの装着高さと前記路面情報の位置座標を用いて前記路面情報の第1角度座標を算出する動作と、
    前記ヘッドランプの左右距離と前記路面情報の位置座標を用いて前記路面情報の第2角度座標を算出する動作と、を含む、請求項7に記載の路面情報の照射方法。
  9. 前記第1角度座標及び前記第2角度座標を算出する動作は、
    前記路面情報のi番目の頂点の位置座標に対する前記第1角度座標及び前記第2角度座標を算出する動作と、
    前記路面情報の全ての頂点の位置座標が変換されていなければ、前記路面情報のi+1番目の頂点の位置座標に対する前記第1角度座標及び前記第2角度座標を算出するか、又は前記路面情報の全ての頂点の位置座標が変換されていれば、前記路面情報の全ての頂点の前記第1角度座標及び前記第2角度座標を前記メモリに格納する動作と、を含み、ここでiは自然数に該当する、請求項8に記載の路面情報の照射方法。
  10. 前記ヘッドランプを制御する動作は、
    前記第1角度座標及び前記第2角度座標に対応するピクセルにピクセル値を適用する動作を含む、請求項8に記載の路面情報の照射方法。
JP2021036248A 2020-11-30 2021-03-08 車両システム装置及び車両システム装置による路面情報の照射方法 Active JP7126280B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0164978 2020-11-30
KR1020200164978A KR102446274B1 (ko) 2020-11-30 2020-11-30 노면 정보를 조사하기 위한 장치 및 그에 관한 방법

Publications (3)

Publication Number Publication Date
JP2022086966A JP2022086966A (ja) 2022-06-09
JP2022086966A5 JP2022086966A5 (ja) 2022-06-30
JP7126280B2 true JP7126280B2 (ja) 2022-08-26

Family

ID=74003729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021036248A Active JP7126280B2 (ja) 2020-11-30 2021-03-08 車両システム装置及び車両システム装置による路面情報の照射方法

Country Status (5)

Country Link
US (2) US11230223B1 (ja)
EP (1) EP4005870A1 (ja)
JP (1) JP7126280B2 (ja)
KR (1) KR102446274B1 (ja)
CN (1) CN114572107B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020101280A1 (de) * 2020-01-21 2021-07-22 Audi Aktiengesellschaft Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs
JP2023115856A (ja) * 2022-02-08 2023-08-21 本田技研工業株式会社 車両用前照灯装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527253A (ja) 2012-09-07 2015-09-17 ヴァレオ ビジョンValeo Vision アダプティブ・ライティング(配光可変照明)システムを制御するための方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4597890B2 (ja) * 2006-03-29 2010-12-15 株式会社小糸製作所 車両用前照灯の灯具ユニット
JP4715878B2 (ja) * 2008-07-18 2011-07-06 株式会社デンソー ライト制御装置、およびライト制御プログラム
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
AT516555B1 (de) * 2014-12-10 2016-09-15 Zizala Lichtsysteme Gmbh Scheinwerfer für Fahrzeuge
CN110682857A (zh) * 2015-04-10 2020-01-14 麦克赛尔株式会社 图像投射装置和图像投射方法
FR3041110B1 (fr) 2015-09-14 2018-03-16 Valeo Vision Procede de projection pour vehicule automobile d'une image sur une surface de projection
DE102015012416A1 (de) 2015-09-25 2017-03-30 Audi Ag Projizieren eines vorgebbaren Lichtmusters
FR3048219B1 (fr) * 2016-02-26 2020-12-25 Valeo Vision Dispositif d'eclairage pour vehicule avec presentation d'information d'aide a la conduite
AT518343B1 (de) * 2016-03-23 2017-12-15 Zkw Group Gmbh Beleuchtungsvorrichtung für ein Kraftfahrzeug
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량
KR101846328B1 (ko) * 2016-12-08 2018-04-09 현대오트론 주식회사 차량용 헤드램프 보조 장치 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527253A (ja) 2012-09-07 2015-09-17 ヴァレオ ビジョンValeo Vision アダプティブ・ライティング(配光可変照明)システムを制御するための方法

Also Published As

Publication number Publication date
US11548432B2 (en) 2023-01-10
JP2022086966A (ja) 2022-06-09
US11230223B1 (en) 2022-01-25
EP4005870A1 (en) 2022-06-01
KR102446274B9 (ko) 2023-05-11
KR20220076133A (ko) 2022-06-08
US20220169171A1 (en) 2022-06-02
CN114572107A (zh) 2022-06-03
CN114572107B (zh) 2023-09-12
KR102446274B1 (ko) 2022-09-22

Similar Documents

Publication Publication Date Title
JP6866439B2 (ja) 位置検出方法とその装置、機器、記憶媒体及び車両
JP7126280B2 (ja) 車両システム装置及び車両システム装置による路面情報の照射方法
CN109781119B (zh) 一种激光点云定位方法和系统
CN106524922B (zh) 测距校准方法、装置和电子设备
JP6416385B2 (ja) 映像投射装置
JP2020098151A5 (ja)
US10508912B2 (en) Road surface shape measuring device, measuring method, and non-transitory computer-readable medium
JP5056445B2 (ja) 車両用照明装置
JP2022086966A5 (ja)
JP6980639B2 (ja) 仮想スクリーンのパラメータ推定方法及び装置
US10629072B2 (en) LIDAR and vision vehicle sensing
CN112130158B (zh) 对象距离测量装置和方法
JP7217741B2 (ja) 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
US8437918B2 (en) System for the dynamic correction of the orientation of a light source on a vehicle and the associated method
KR102470772B1 (ko) 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법
JP5234254B2 (ja) レーザレーダ及びレーザレーダの較正方法
CN111307163A (zh) 可移动设备的定位方法、定位装置及电子设备
KR102329858B1 (ko) 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스
JP2019046147A (ja) 走行環境認識装置、走行環境認識方法、プログラム
KR102071720B1 (ko) 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법
KR102441048B1 (ko) 근접 차량 검출 장치 및 방법
JPWO2020110801A1 (ja) 測距センサおよび車両用灯具、測距方法
JP7276304B2 (ja) 物体検出装置
JPH06308241A (ja) 鉄道車両用支障物検知装置
KR20220122338A (ko) 전방 카메라 제어 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7126280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150