JP7260575B2 - 地図生成装置 - Google Patents

地図生成装置 Download PDF

Info

Publication number
JP7260575B2
JP7260575B2 JP2021028593A JP2021028593A JP7260575B2 JP 7260575 B2 JP7260575 B2 JP 7260575B2 JP 2021028593 A JP2021028593 A JP 2021028593A JP 2021028593 A JP2021028593 A JP 2021028593A JP 7260575 B2 JP7260575 B2 JP 7260575B2
Authority
JP
Japan
Prior art keywords
map
information
vehicle
point cloud
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021028593A
Other languages
English (en)
Other versions
JP2022129778A (ja
Inventor
直樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021028593A priority Critical patent/JP7260575B2/ja
Priority to CN202210136708.4A priority patent/CN114987529A/zh
Priority to US17/676,192 priority patent/US11874135B2/en
Publication of JP2022129778A publication Critical patent/JP2022129778A/ja
Application granted granted Critical
Publication of JP7260575B2 publication Critical patent/JP7260575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/387Organisation of map data, e.g. version management or database structures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Description

本発明は、車両の自動運転に用いられる高精度地図を生成する地図生成装置に関する。
従来、自動運転車両の走行制御を行うようにした装置が知られている(例えば特許文献1参照)。この特許文献1記載の装置では、車両の周辺の外界を認識することで車両の自己位置が推定され、その自己位置に基づいて順次、道路地図情報データベースから高精度の道路地図情報が抽出され、抽出された地図情報を用いて車両の走行制御が行われる。
特開2019-64562号公報
ところで、車両は、互いに隣接する複数の地図の境界領域を走行することがある。しかしながら、隣接する地図の地図情報には固有の誤差が含まれる場合があるため、上記特許文献1記載の装置のように自己位置を推定したのでは、自己位置の推定結果にばらつきが生じ、地図情報に基づいて走行動作を制御するものにあっては、複数の地図の境界領域を走行する際に円滑な走行制御を行うことが困難となるおそれがある。
本発明の一態様である地図生成装置は、第1エリアにおける第1車両の第1走行履歴と、第1エリアに隣接する第2エリアにおける第2車両の第2走行履歴と、に基づいて地図を生成する地図生成部と、第1走行履歴に基づいて生成された第1地図の情報と、第2走行履歴に基づいて生成された第2地図の情報と、を記憶する記憶部と、第1地図と第2地図とを結合するように、記憶部に記憶された第1地図および第2地図の少なくとも一方の情報を更新する地図情報更新部と、を備える。第1地図の情報は、第1車両により取得された対象物までの距離情報に基づいて認識された点群の位置情報および反射強度の情報を含む。第2地図の情報は、第2車両により取得された画像情報に基づいて認識された区画線の位置情報を含む。地図生成部は、記憶部に記憶された第1地図に含まれる点群の位置情報の情報に基づいて、路面に相当する点群を抽出し、点群の反射強度の情報に基づいて、抽出された点群のうち反射強度が所定強度以上の点群を区画線として認識することで、区画線の位置を認識する区画線認識部を有する。地図情報更新部は、区画線認識部により区画線として認識された点群を包囲する区画線オブジェクトを生成し、生成された区画線オブジェクトの位置情報と、第2地図の情報に含まれる区画線の位置情報とに基づいて、区画線オブジェクト区画線が円滑に接続されるように、記憶部に記憶された第1地図および第2地図の少なくとも一方の情報を更新する。
本発明によれば、複数の地図を正確に結合することができるため、車両位置の認識結果のばらつきが解消し、複数の地図の境界領域を走行する際に円滑な走行制御を行うことができる。
本発明の実施形態に係る地図生成装置が適用される自動運転車両の走行シーンの一例を示す図。 本発明の実施形態に係る地図生成装置が適用される自動運転車両の車両制御システムの全体構成を概略的に示すブロック図。 図2の地図生成部により生成され、記憶部に記憶される点群地図情報について説明するための図。 図2の地図生成部により生成され、記憶部に記憶される道路地図情報について説明するための図。 本発明の実施形態に係る地図生成装置により想定される自動運転車両の走行シーンの一例を示す図。 本発明の実施形態に係る地図生成装置の要部構成を示すブロック図。 図6の地図情報更新部による地図情報の更新について説明するための図。 図6のコントローラで実行される処理の一例を示すフローチャート。
以下、図1~図8を参照して本発明の実施形態について説明する。本発明の実施形態に係る地図生成装置は、自動運転機能を有する車両(自動運転車両)に適用することができる。自動運転車両には、ドライバによる運転操作が不要な自動運転モードでの走行のみを行う車両だけでなく、自動運転モードでの走行とドライバの運転操作による手動運転モードでの走行とを行う車両も含まれる。
図1は、自動運転車両(以下、車両)101の走行シーンの一例を示す図である。図1では、車両101が区画線102で規定された車線LNを逸脱しないように車線を維持して走行(レーンキープ走行)する例が示される。なお、車両101は、内燃機関(エンジン)を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。
図2は、本実施形態に係る地図生成装置が適用される車両101の車両制御システム100の全体構成を概略的に示すブロック図である。図1に示すように、車両制御システム100は、コントローラ10と、コントローラ10にそれぞれ電気的に接続された外部センサ群1と、内部センサ群2と、入出力装置3と、測位ユニット4と、地図データベース5と、ナビゲーション装置6と、通信ユニット7と、走行用のアクチュエータACとを主に有する。
外部センサ群1は、車両101(図1)の周辺情報である外部状況を検出する複数のセンサ(外部センサ)の総称である。例えば外部センサ群1には、車両101の周囲にレーザを照射し反射光を受光するまでの時間に基づいて周辺車両や障害物等の対象物までの距離を測定するライダ、電磁波を照射し反射波を検出するまでの時間に基づいて対象物までの距離を測定するレーダ、CCDやCMOS等の撮像素子を有して車両101の周辺を撮像するカメラなどが含まれる。
内部センサ群2は、車両101の走行状態を検出する複数のセンサ(内部センサ)の総称である。例えば内部センサ群2には、車両101の車速を検出する車速センサ、車両101の前後方向の加速度および左右方向の加速度(横加速度)をそれぞれ検出する加速度センサ、走行駆動源の回転数を検出する回転数センサ、車両101の重心の鉛直軸回りの回転角速度を検出するヨーレートセンサなどが含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群2に含まれる。
入出力装置3は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置3には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカなどが含まれる。
測位ユニット(GNSSユニット)4は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位衛星は、GPS衛星や準天頂衛星などの人工衛星である。測位ユニット4は、測位センサが受信した測位情報を利用して、車両101の現在位置(緯度、経度、高度)を測定する。
地図データベース5は、ナビゲーション装置6に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状(曲率など)の情報、交差点や分岐点の位置情報が含まれる。なお、地図データベース5に記憶される地図情報は、コントローラ10の記憶部12に記憶される高精度な地図情報とは異なる。
ナビゲーション装置6は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う装置である。目的地の入力および目標経路に沿った案内は、入出力装置3を介して行われる。目標経路は、測位ユニット4により測定された車両101の現在位置と、地図データベース5に記憶された地図情報とに基づいて演算される。外部センサ群1の検出値を用いて車両101の現在位置を測定することもでき、この現在位置と記憶部12に記憶される高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。
通信ユニット7は、インターネット網や携帯電話網倒に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報などを定期的に、あるいは任意のタイミングでサーバから取得する。走行履歴情報を取得するだけでなく、通信ユニット7を介して車両101の走行履歴情報をサーバに送信するようにしてもよい。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)等も含まれる。取得した地図情報は、地図データベース5や記憶部12に出力され、地図情報が更新される。
アクチュエータACは、車両101の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータACには、エンジンのスロットルバルブの開度を調整するスロットル用アクチュエータやインジェクタの開弁時期および開弁時間を調整するインジェクタ用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータACに含まれる。車両101の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータACに含まれる。
コントローラ10は、電子制御ユニット(ECU)により構成される。より具体的には、コントローラ10は、CPU(マイクロプロセッサ)等の演算部11と、ROM,RAM等の記憶部12と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ECU、走行モータ制御用ECU、制動装置用ECU等、機能の異なる複数のECUを別々に設けることができるが、図2では、便宜上、これらECUの集合としてコントローラ10が示される。
記憶部12には、自動走行用の高精度の詳細な地図情報が記憶される。高精度地図情報には、ライダにより測定された対象物までの距離に基づいて認識される点群の位置情報を含む点群地図情報と、カメラにより撮像された画像情報に基づいて認識される区画線102の位置情報を含む道路地図情報とが含まれる。点群地図情報には、点群の位置情報に基づいて認識された路面の凹凸などの路面プロファイルの情報も含まれる。道路地図情報には、道路の位置情報、道路形状(曲率など)の情報、道路の勾配の情報、交差点や分岐点の位置情報、白線などの区画線102の種別の情報、車線数の情報、車線の幅員および車線毎の位置情報(車線の中央位置や車線位置の境界線の情報)、地図上の目印としてのランドマーク(信号機、標識、建物等)の位置情報なども含まれる。
記憶部12に記憶される高精度地図情報には、通信ユニット7を介して車両101の外部から取得した地図情報(外部地図情報と呼ぶ)と、外部センサ群1の検出値あるいは外部センサ群1と内部センサ群2との検出値を用いて車両101自体で作成される地図情報(内部地図情報と呼ぶ)とが含まれる。
外部地図情報は、例えば専用の測量車両や一般の自動運転車両が道路を走行して収集した走行履歴情報に基づいて生成され、クラウドサーバを介して一般の自動運転車両に配布される地図情報や、車車間通信により他の自動運転車両から取得される地図情報である。クラウドサーバからの地図情報は、高速道路や都市部などの交通量が多いエリアでは生成されるが、住宅地や郊外などの交通量が少ないエリアでは生成されない。
一方、内部地図情報は、各自動運転車両(車両101)が道路を走行して収集した走行履歴情報に基づいて生成される地図情報であり、その車両101の自動運転に利用される地図情報(例えば車両101が単独で有する地図情報)である。新設された道路等、クラウドサーバからの地図情報が存在しない領域においては、車両101自らによって内部地図が作成される。各自動運転車両の内部地図情報が、車車間通信により、外部地図情報として他の自動運転車両に提供されてもよい。
記憶部12には、各種制御のプログラム、プログラムで用いられる閾値等の情報も記憶される。
演算部11は、機能的構成として、自車位置認識部13と、外界認識部14と、行動計画生成部15と、走行制御部16と、地図生成部17とを有する。
自車位置認識部13は、記憶部12に記憶された高精度地図情報(点群地図情報、道路地図情報)と、外部センサ群1により検出された車両101の周辺情報とに基づいて、地図上の車両101の位置(自車位置)を高精度に認識する。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット7を介して通信することにより、自車位置を認識することもできる。測位ユニット4で得られた車両101の位置情報を用いて自車位置を認識してもよい。内部センサ群2の検出値に基づいて自車両の移動情報(移動方向、移動距離)を算出し、これにより自車位置を認識してもよい。
外界認識部14は、ライダ、レーダ、カメラ等の外部センサ群1からの信号に基づいて車両101の周囲の外部状況を認識する。例えば車両101の周辺を走行する周辺車両(前方車両や後方車両)の位置や速度や加速度、車両101の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態などを認識する。他の物体には、標識、信号機、道路の区画線102(白線など)や停止線等の標示、建物、ガードレール、電柱、看板、歩行者、自転車等が含まれる。他の物体の状態には、信号機の色(赤、青、黄)、歩行者や自転車の移動速度や向きなどが含まれる。他の物体のうち静止している物体の一部は、地図上の位置の指標となるランドマークを構成し、外界認識部14は、ランドマークの位置と種別も認識する。外界認識部14は、外部センサ群1としてのライダにより測定された対象物までの距離に基づいて路面や路側物などの表面を点群として認識し、外部センサ群1としてのカメラにより撮像された画像情報に基づいて区画線102や路側物などの輪郭を認識する。
行動計画生成部15は、例えばナビゲーション装置6で演算された目標経路と、記憶部12に記憶された高精度地図情報と、自車位置認識部13で認識された自車位置と、外界認識部14で認識された外部状況とに基づいて、現時点から所定時間先までの車両101の走行軌道(目標軌道)を生成する。より具体的には、記憶部12に記憶された点群地図情報または道路地図情報に基づいて、点群地図上または道路地図上に車両101の目標軌道を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部15は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部15は、生成した目標軌道に応じた行動計画を生成する。
行動計画には、現時点から所定時間(例えば5秒)先までの間に単位時間(例えば0.1秒)毎に設定される走行計画、すなわち単位時間毎の時刻に対応付けて設定される走行計画が含まれる。走行計画は、単位時間毎の車両101の自車位置の情報と車両状態の情報とを含む。自車位置の情報は、例えば道路上の2次元座標位置情報であり、車両状態の情報は、車速を表す車速情報と車両101の向きを表す方向情報などである。したがって、所定時間内に目標車速まで加速する場合、目標車速の情報が行動計画に含まれる。車両状態は、単位時間毎の自車位置の変化から求めることができる。走行計画は単位時間毎に更新される。
図1には、行動計画生成部15で生成された行動計画の一例、すなわち、車両101が車線LNを逸脱しないようにレーンキープ走行するシーンの走行計画が示される。図1の各点Pは、現時点から所定時間先までの単位時間毎の自車位置に対応し、これら各点Pを時刻順に接続することにより、目標軌道110が得られる。目標軌道110は、例えば車線LNを規定する一対の区画線102の中心線103に沿って生成される。目標軌道110は、地図情報に含まれる過去の走行軌道(走行軌跡)に沿って生成されてもよい。なお、行動計画生成部15では、レーンキープ走行以外に、車両101が車線変更して前方車両を追い越す追い越し走行、車線を変更する車線変更走行、減速走行または加速走行等に対応した種々の行動計画が生成される。行動計画生成部15は、目標軌道110を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道110を生成する。行動計画生成部15により生成された目標軌道110の情報は、地図情報に付加されて記憶部12に記憶され、次回走行時に行動計画生成部15で行動計画を生成するときに考慮される。
走行制御部16は、自動運転モードにおいて、行動計画生成部15で生成された目標軌道110に沿って車両101が走行するように各アクチュエータACを制御する。より具体的には、走行制御部16は、自動運転モードにおいて道路勾配などにより定まる走行抵抗を考慮して、行動計画生成部15で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群2により検出された実加速度が目標加速度となるようにアクチュエータACをフィードバック制御する。すなわち、車両101が目標車速および目標加速度で走行するようにアクチュエータACを制御する。なお、手動運転モードでは、走行制御部16は、内部センサ群2により取得されたドライバからの走行指令(ステアリング操作等)に応じて各アクチュエータACを制御する。
地図生成部17は、外部センサ群1により検出された検出値および測位ユニット4により測定された車両101の現在位置(絶対緯度経度)を用いて、絶対緯度経度座標系に3次元の高精度地図情報(内部地図情報)を生成する。外部センサ群1としてライダを用いる場合、レーザの照射方向および反射光を受光するまでの時間に基づいて、対象物である路面や路側物などの表面が点群として認識され、絶対緯度経度座標系における点群の位置情報を含む点群地図情報が生成される。点群地図情報には、レーザの照射強度および受光強度に基づいて検出される点群ごとの反射強度の情報も含まれる。地図生成部17は、点群の位置情報を順次、点群地図上にプロットし、これにより車両101が走行した道路周辺の点群地図情報が生成される。なお、ライダに代えてレーダを用いて点群地図情報を生成するようにしてもよい。
一方、外部センサ群1としてカメラを用いる場合、カメラからの画像情報に含まれる画素ごとの輝度や色の情報に基づいて区画線102や路側物などの輪郭が抽出され、絶対緯度経度座標系における区画線102の位置情報を含む道路地図情報が生成される。地図生成部17は、区画線102の位置情報を順次、道路地図上にプロットし、これにより車両101が走行した道路周辺の道路地図情報が生成される。地図生成部17は、新たに認識された区画線102や路側物などの輪郭あるいは点群により、記憶部12に記憶されている高精度地図情報を更新してもよい。
図3および図4は、地図生成部17により生成される高精度地図情報について説明するための図であり、図3は、外部センサ群1としてライダを用いて生成される点群地図情報を示し、図4は、外部センサ群1としてカメラを用いて生成される道路地図情報を示す。図3に示すように、点群地図情報は、絶対緯度経度座標系(XY座標系)における路面104や路側物などの表面に対応する点群の位置情報として構成される。点群地図情報における各区画線102は、単一のオブジェクトとしてではなく、各区画線102に対応する点群として記録されている。一方、図4に示すように、道路地図情報は、絶対緯度経度座標系(XY座標系)における区画線102や路側物などのオブジェクトの輪郭の位置情報として構成され、道路地図情報における各区画線102は、単一のオブジェクトとして記録されている。
自車位置認識部13は、地図生成部17による地図生成処理と並行して、自車位置推定処理を行う。すなわち、外界認識部14により外部センサ群1としてのライダを用いて認識された点群と、点群地図情報(高精度地図情報)に含まれる点群とを照合し、照合結果に基づいて自車位置を推定する。あるいは、外部センサ群1としてのカメラを用いて認識された区画線102や路側物などのオブジェクトの輪郭と、道路地図情報(高精度地図情報)に含まれる区画線102や路側物などのオブジェクトの輪郭とを照合し、照合結果に基づいて自車位置を推定する。地図作成処理と位置推定処理とは、例えばSLAMのアルゴリズムにしたがって同時に行われる。
本実施形態に係る地図生成装置の構成について説明する。図5は、本実施形態に係る地図生成装置により想定される車両101の走行シーンの一例を示す図であり、図1と同様、車両101が車線LNを逸脱しないようにレーンキープ走行するシーンを示す。なお、以下では、点群地図情報が記憶部12に記憶されているエリアを点群地図エリアARa、道路地図情報が記憶部12に記憶されているエリアを道路地図エリアARbと称する。例えば、車両101側で生成された点群地図情報が内部地図情報として記憶部12に記憶され、車車間通信により他の自動運転車両から取得された道路地図情報が外部地図情報として記憶部12に記憶されているものとする。
各地図情報には、その地図を生成したときの絶対緯度経度の測定誤差などに起因して、固有の誤差が含まれる。このため、図5に示すように、自車位置認識部13により点群地図情報に基づいて認識される自車位置Paと、道路地図情報に基づいて認識される自車位置Pbとは、一致しないことがある。この場合、自車位置認識部13による自車位置の認識に用いられる地図情報が切り替わるタイミングで自車位置Pa,Pbの認識結果にばらつきが生じる。
このように自車位置の認識結果にばらつきがある状態で点群地図エリアARaと道路地図エリアARbとの境界領域を自動運転モードで走行すると、車両101の円滑な走行制御を行うことが困難となるおそれがある。例えば、自車位置の認識結果のばらつきが車両101の進行方向に生じ、地図情報が切り替わるタイミングで自車位置が進行方向後方の点Paから進行方向前方の点Pbに切り替わると、走行計画に対して車両101が進み過ぎたように誤認される。この場合、車両101が急減速あるいは急制動し、車両101の乗員や周辺車両に違和感を与えるおそれがある。
同様に、自車位置の認識結果のばらつきが車両101の進行方向の逆方向に生じると、走行計画に対して車両101が遅れているように誤認され、車両101が急加速するおそれがある。また、自車位置の認識結果のばらつきが車両101の車幅方向に生じると、車両101が目標軌道110を逸脱しているように誤認され、車両101が急旋回するおそれがある。
そこで本実施形態では、複数の地図の固有の誤差を地図同士の相対的な位置関係として把握し、自車位置の認識結果にばらつきが生じないよう、複数の地図を正確に結合する。すなわち、複数の地図を予め正確に結合しておくことで、車両位置の認識結果のばらつきを解消し、複数の地図の境界領域を走行する際に円滑な走行制御を行うことができるよう、以下のように地図生成装置を構成する。
図6は、本発明の実施形態に係る地図生成装置50の要部構成を示すブロック図である。この地図生成装置50は、図2の車両制御システム100の一部を構成する。図6に示すように、地図生成装置50は、コントローラ10と、外部センサ群1と、測位ユニット4とを有する。図6のコントローラ10は、演算部11の地図生成部17(図2)が担う機能的構成として、区画線認識部17aと、地図情報更新部17bとを有する。図6の記憶部12には、点群地図エリアARaの点群地図情報と道路地図エリアARbの道路地図情報とが、予め記憶される。
区画線認識部17aは、記憶部12に記憶された点群地図情報(図3)に基づいて、区画線102の位置を認識する。より具体的には、先ず、点群地図情報に含まれる点群の位置情報に基づいて、XY平面上の路面104に相当する点群を抽出する。次いで、点群地図情報に含まれる点群の反射強度の情報に基づいて、抽出された路面104に相当する点群のうち反射強度が所定強度以上の点群を区画線102として認識する。白線などの区画線102に対応する点群の反射強度は、区画線102以外の路面104に対応する点群の反射強度よりも高いため、これらを識別するための適宜な反射強度の閾値を予め設定しておくことで、区画線102に対応する点群を抽出することができる。
図7は、地図情報更新部17bによる地図情報の更新について説明するための図である。図7に示すように、地図情報更新部17bは、区画線認識部17aにより抽出された区画線102に対応する点群を包囲する輪郭線を、区画線102の輪郭に対応する区画線オブジェクト102aとして、その位置情報を点群地図情報に付加する。すなわち、点群地図に、区画線102に対応する点群を包囲する区画線オブジェクト102aを重畳し、記憶部12に記憶された点群地図情報を更新する。
さらに、地図情報更新部17bは、記憶部12に記憶された点群地図情報と道路地図情報とに基づいて、点群地図と道路地図とを結合するように、記憶部12に記憶された点群地図情報および道路地図情報の少なくとも一方を更新する。より具体的には、点群地図上の区画線オブジェクト102aと道路地図上の区画線102とが円滑に接続されるように、必要に応じて、いずれかの地図情報の絶対緯度経度を補正し、地図情報を更新する。例えば、絶対緯度経度座標系における一方の地図の並進移動量と、その地図の基準点を中心とする回転移動量とを決定することで地図情報を補正する。
このように、点群地図上の区画線オブジェクト102aと道路地図上の区画線102とが円滑に接続されるように地図情報を補正することで、各地図に含まれる固有の誤差にかかわらず、点群地図と道路地図とを正確に結合することができる。これにより自動運転モードでの走行制御に用いる複数の地図が予め正確に結合され、地図情報が切り替わるタイミングで生じる自車位置Pa,Pbの認識結果のばらつき(図5)が解消し、複数の地図の境界領域を走行する際に円滑な走行制御を行うことができる。
なお、記憶部12に記憶された更新後の地図情報は、車車間通信により他の自動運転車両に送信されてもよく、車両101の外部に設けられた地図情報管理サーバなどに送信されてもよい。この場合、車両101側で生成された内部地図情報を有効な態様で共有することができる。
図8は、図6のコントローラ10で実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば車両101側で新たな内部地図情報が生成され、あるいは車両101の外部から新たな外部地図情報が取得され、記憶部12に新たな高精度地図情報が記憶されると、開始される。先ずステップS1で、記憶部12に記憶された高精度地図情報を読み込み、互いに隣接する点群地図エリアARa、道路地図エリアARbの点群地図情報、道路地図情報の有無を判定する。ステップS1で肯定されるとステップS2に進み、否定されると処理を終了する。
ステップS2では、記憶部12に記憶された点群地図情報に基づいて、点群地図エリアARaの点群から路面104に対応する点群を抽出する。次いでステップS3で、ステップS2で抽出された路面104に対応する点群から区画線102に対応する点群を抽出する。次いでステップS4で、ステップS3で抽出された区画線102に対応する点群を包囲する区画線オブジェクト102aを生成する。次いでステップS5で、点群地図に区画線オブジェクト102aを重畳して記憶部12に記憶された点群地図情報を更新する。次いでステップS6で、点群地図上の区画線オブジェクト102aと道路地図上の区画線102とが円滑に接続されるように点群地図と道路地図とを結合し、記憶部12に記憶された地図情報を更新して処理を終了する。
このように、点群地図上の区画線オブジェクト102aと道路地図上の区画線102とが円滑に接続されるように、必要に応じて地図情報を補正し、更新することで、点群地図と道路地図とを正確に結合することができる。また、点群地図と道路地図とを予め正確に結合しておくことで、点群地図エリアARaと道路地図エリアARbとの境界領域を自動運転モードで走行する際に円滑な走行制御を行うことができる。すなわち、自動運転モードでの走行制御に用いる複数の地図を予め正確に結合しておくことで、地図情報が切り替わるタイミングで生じる自車位置Pa,Pbの認識結果のばらつきを解消し、複数の地図の境界領域を走行する際に円滑な走行制御を行うことができる。
本実施形態によれば以下のような作用効果を奏することができる。
(1)地図生成装置50は、点群地図エリアARaにおける車両101の走行履歴情報と、点群地図エリアARaに隣接する道路地図エリアARbにおける他の自動運転車両の走行履歴情報とに基づいて高精度地図情報を生成する地図生成部17と、車両101の走行履歴情報に基づいて生成された内部地図情報(点群地図情報)と、他の自動運転車両の走行履歴情報に基づいて生成された外部地図情報(道路地図情報)とを記憶する記憶部12と、点群地図と道路地図とを結合するように記憶部12に記憶された点群地図情報および道路地図情報の少なくとも一方を更新する地図情報更新部17bとを備える(図6)。
点群地図情報は、車両101により取得された対象物までの距離情報に基づいて認識された点群の位置情報を含む。道路地図情報は、他の自動運転車両により取得された画像情報に基づいて認識された区画線102の位置情報を含む。地図生成部17は、記憶部12に記憶された点群地図情報に基づいて区画線102の位置を認識する区画線認識部17aを有する(図6)。地図情報更新部17bは、区画線認識部17aにより認識された区画線102の位置情報と、道路地図情報に含まれる区画線102の位置情報とに基づいて、点群地図と道路地図とを結合するように、記憶部12に記憶された点群地図情報および道路地図情報の少なくとも一方を更新する。
すなわち、点群地図上で認識された区画線102に対応する区画線オブジェクト102aと、道路地図上の区画線102とが円滑に接続されるように、必要に応じていずれかの地図情報を補正することで、点群地図と道路地図とを正確に結合することができる。このように、自動運転用の複数の地図を予め正確に結合しておくことで、地図情報が切り替わるタイミングで生じる自車位置の認識結果のばらつきを解消し、複数の地図の境界領域を自動運転モードで走行する際に円滑な走行制御を行うことができる。
(2)点群地図情報は、点群の反射強度の情報をさらに含む。区画線認識部17aは、点群地図情報に含まれる点群の位置情報に基づいて、路面104に相当する点群を抽出し、点群地図情報に含まれる点群の反射強度の情報に基づいて、抽出された点群のうち反射強度が所定強度以上の点群を区画線102として認識する。位置情報と反射強度の情報とを利用することで、ライダを用いて生成された点群地図情報に基づいて、区画線102を1つのオブジェクトとして認識することができる。
(3)地図情報更新部17bは、さらに、点群地図情報に対し、区画線認識部17aにより認識された区画線102に対応する区画線オブジェクト102aの位置情報を付加し、点群地図情報を更新する。すなわち、点群地図に区画線オブジェクト102aを重畳し、記憶部12に記憶された点群地図情報を更新する。このように点群地図情報そのものに区画線オブジェクト102aの位置情報を付加しておくことで、例えば、その後に生成、取得される道路地図と点群地図とを結合することができる。
上記実施形態は種々の形態に変形することができる。以下、いくつかの変形例について説明する。上記実施形態では、車両101側で生成された内部地図である点群地図と、車両101の外部から取得された外部地図である道路地図とを結合する例を説明したが、第1地図と第2地図とは、このようなものに限らない。例えば、車両101側で生成された内部地図である道路地図と、車両101の外部から取得された外部地図である点群地図とを結合してもよい。車両101側で分割して生成された複数の内部地図である点群地図と道路地図とを結合してもよい。車両101の外部から取得された複数の外部地図である点群地図と道路地図とを結合してもよい。また、車両101側で生成された内部地図と、車車間通信により他の自動運転車両から取得された外部地図とを結合する例を説明したが、クラウドサーバから配布される外部地図との結合を行ってもよい。
上記実施形態では、地図生成装置50が車両制御システム100の一部を構成する例を説明したが、地図生成装置は、このようなものに限らない。例えば、車両101の外部に設けられた地図情報管理サーバなどの一部を構成するものであってもよい。この場合、例えば各車両から取得した点群地図と道路地図とをサーバ側で結合する。
上記実施形態では、図5などで点群地図と道路地図とのずれが平面上に生じる例を説明したが、点群地図と道路地図とのずれが高さ方向に生じる場合についても同様の手法を適用することができる。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の1つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
1 外部センサ群、4 測位ユニット、10 コントローラ、11 演算部、12 記憶部、13 自車位置認識部、14 外界認識部、15 行動計画生成部、16 走行制御部、17 地図生成部、50 地図生成装置、17a 区画線認識部、17b 地図情報更新部

Claims (2)

  1. 第1エリアにおける第1車両の第1走行履歴と、前記第1エリアに隣接する第2エリアにおける第2車両の第2走行履歴と、に基づいて地図を生成する地図生成部と、
    前記第1走行履歴に基づいて生成された第1地図の情報と、前記第2走行履歴に基づいて生成された第2地図の情報と、を記憶する記憶部と、
    前記第1地図と前記第2地図とを結合するように、前記記憶部に記憶された前記第1地図および前記第2地図の少なくとも一方の情報を更新する地図情報更新部と、を備え、
    前記第1地図の情報は、前記第1車両により取得された対象物までの距離情報に基づいて認識された点群の位置情報および反射強度の情報を含み、
    前記第2地図の情報は、前記第2車両により取得された画像情報に基づいて認識された区画線の位置情報を含み、
    前記地図生成部は、
    前記記憶部に記憶された前記第1地図の情報に含まれる前記点群の位置情報に基づいて、路面に相当する点群を抽出し、前記点群の反射強度の情報に基づいて、抽出された点群のうち反射強度が所定強度以上の点群を前記区画線として認識することで、前記区画線の位置を認識する区画線認識部を有し、
    前記地図情報更新部は、前記区画線認識部により前記区画線として認識された点群を包囲する区画線オブジェクトを生成し、生成された前記区画線オブジェクトの位置情報と、前記第2地図の情報に含まれる前記区画線の位置情報とに基づいて、前記第1地図上の区画線オブジェクトと前記第2地図上の区画線が円滑に接続されるように、前記記憶部に記憶された前記第1地図および前記第2地図の少なくとも一方の情報を更新することを特徴とする地図生成装置。
  2. 請求項1に記載の地図生成装置において、
    前記地図情報更新部は、さらに、前記第1地図の情報に対し、前記区画線オブジェクトの位置情報を付加し、前記第1地図の情報を更新することを特徴とする地図生成装置。
JP2021028593A 2021-02-25 2021-02-25 地図生成装置 Active JP7260575B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021028593A JP7260575B2 (ja) 2021-02-25 2021-02-25 地図生成装置
CN202210136708.4A CN114987529A (zh) 2021-02-25 2022-02-15 地图生成装置
US17/676,192 US11874135B2 (en) 2021-02-25 2022-02-20 Map generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021028593A JP7260575B2 (ja) 2021-02-25 2021-02-25 地図生成装置

Publications (2)

Publication Number Publication Date
JP2022129778A JP2022129778A (ja) 2022-09-06
JP7260575B2 true JP7260575B2 (ja) 2023-04-18

Family

ID=82900490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021028593A Active JP7260575B2 (ja) 2021-02-25 2021-02-25 地図生成装置

Country Status (3)

Country Link
US (1) US11874135B2 (ja)
JP (1) JP7260575B2 (ja)
CN (1) CN114987529A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230194268A1 (en) * 2021-12-20 2023-06-22 Gm Cruise Holdings Llc Longitudinal-limited lane marking localizer

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020148694A (ja) 2019-03-15 2020-09-17 日立オートモティブシステムズ株式会社 自己位置推定装置、それを備えた自動運転システム、および、自己生成地図共有装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2859004B2 (ja) * 1991-08-30 1999-02-17 東京瓦斯株式会社 図形処理装置
JP3840974B2 (ja) * 2001-12-26 2006-11-01 松下電器産業株式会社 地図データ作成方法、地図データ作成装置及びナビゲーション装置
JP5541410B2 (ja) * 2011-03-02 2014-07-09 トヨタ自動車株式会社 レーザレーダ装置
JP6174975B2 (ja) * 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
KR102254787B1 (ko) * 2016-05-30 2021-05-21 미쓰비시덴키 가부시키가이샤 지도 데이터 차분 추출 장치, 지도 데이터 차분 추출 방법 및 기억 매체에 저장된 지도 데이터 차분 추출 프로그램
DE102017204342A1 (de) * 2017-03-15 2018-09-20 Continental Teves Ag & Co. Ohg Verfahren zum Erstellen einer fusionierten Freiraumkarte, elektronische Steuerungsvorrichtung und Speichermedium
WO2019006085A1 (en) * 2017-06-30 2019-01-03 Intel Corporation V2X COMMUNICATIONS USING MULTIPLE RAT (MULTI-RAT) ACCESS TECHNOLOGIES
JP6969962B2 (ja) * 2017-10-05 2021-11-24 トヨタ自動車株式会社 車両の運転支援及び/又は走行制御のための地図情報提供システム
US11874134B2 (en) * 2018-01-04 2024-01-16 Pioneer Corporation Map information-providing system, map information-providing method, and map information-providing program
WO2019200182A2 (en) * 2018-04-11 2019-10-17 SeeScan, Inc. Geographic map updating methods and systems
KR102611927B1 (ko) * 2018-07-11 2023-12-08 르노 에스.아.에스. 주행 환경 정보의 생성 방법, 운전 제어 방법, 주행 환경 정보 생성 장치
JP7112281B2 (ja) * 2018-08-17 2022-08-03 株式会社ゼンリンデータコム ナビゲーション装置、プログラム
JP2020034321A (ja) * 2018-08-28 2020-03-05 パイオニア株式会社 地図データ生成装置
JP7167732B2 (ja) * 2018-11-05 2022-11-09 トヨタ自動車株式会社 地図情報システム
WO2021025216A1 (ko) * 2019-08-08 2021-02-11 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020148694A (ja) 2019-03-15 2020-09-17 日立オートモティブシステムズ株式会社 自己位置推定装置、それを備えた自動運転システム、および、自己生成地図共有装置

Also Published As

Publication number Publication date
CN114987529A (zh) 2022-09-02
US20220268598A1 (en) 2022-08-25
US11874135B2 (en) 2024-01-16
JP2022129778A (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
JP2022122393A (ja) 運転支援装置
JP7260575B2 (ja) 地図生成装置
US20220258737A1 (en) Map generation apparatus and vehicle control apparatus
US20220266824A1 (en) Road information generation apparatus
JP7167217B2 (ja) 車両位置認識装置
JP7141477B2 (ja) 地図生成装置
JP7141479B2 (ja) 地図生成装置
JP7301897B2 (ja) 地図生成装置
JP7141478B2 (ja) 地図生成装置
JP7141480B2 (ja) 地図生成装置
US11867526B2 (en) Map generation apparatus
US20220268587A1 (en) Vehicle position recognition apparatus
WO2023188262A1 (ja) 地図生成装置
US20230314162A1 (en) Map generation apparatus
US20220291013A1 (en) Map generation apparatus and position recognition apparatus
US20220291015A1 (en) Map generation apparatus and vehicle position recognition apparatus
JP2022123988A (ja) 区画線認識装置
JP2022150534A (ja) 走行制御装置
JP2023147576A (ja) 地図生成装置
JP2024085978A (ja) 地図評価装置
JP2022121836A (ja) 車両制御装置
JP2022123940A (ja) 車両制御装置
JP2022151012A (ja) 地図生成装置
JP2022152051A (ja) 走行制御装置
JP2022121835A (ja) 距離算出装置および車両位置推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20230112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7260575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150