JP7298882B2 - 車両の自己位置推定装置、及び車両 - Google Patents

車両の自己位置推定装置、及び車両 Download PDF

Info

Publication number
JP7298882B2
JP7298882B2 JP2019111748A JP2019111748A JP7298882B2 JP 7298882 B2 JP7298882 B2 JP 7298882B2 JP 2019111748 A JP2019111748 A JP 2019111748A JP 2019111748 A JP2019111748 A JP 2019111748A JP 7298882 B2 JP7298882 B2 JP 7298882B2
Authority
JP
Japan
Prior art keywords
vehicle
unit
probability
self
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019111748A
Other languages
English (en)
Other versions
JP2020204501A (ja
Inventor
佳祐 米陀
直樹 菅沼
直也 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa University NUC
Original Assignee
Kanazawa University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa University NUC filed Critical Kanazawa University NUC
Priority to JP2019111748A priority Critical patent/JP7298882B2/ja
Publication of JP2020204501A publication Critical patent/JP2020204501A/ja
Application granted granted Critical
Publication of JP7298882B2 publication Critical patent/JP7298882B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

特許法第30条第2項適用 1.平成30年6月25日発行,The 29th IEEE Intelligent Vehicles Symposium FINAL PROGRAM,第971~977頁,Institute of Electrical and Electronics Engineers(IEEE)/IEEE Intelligent Transportation Systems Society(ITSS) 2.平成30年6月28日に開催された、The 29th IEEE Intelligent Vehicles Symposiumにて発表
本発明は、車両の自己位置をリアルタイムに推定する車両の自己位置推定装置、及び当該自己位置推定装置を搭載した車両に関する。
近年、交通事故の削減や交通渋滞の緩和、誰もが利用できる移動手段の提供等を目的として、車両の運転が自動的に行われる自動運転システムの開発が盛んに行われている。自動運転自動車が目的地へ向かって正しく移動するためには、当該車両の位置をリアルタイムに推定する自己位置推定が必要である。
自己位置推定を行うための一般的な手法として、あらかじめ定義した地図(地図画像)を用いたマップマッチングがあり、その手法では主にLiDAR(Light Detection and Ranging)やカメラといったセンサが用いられる。
例えば、非特許文献1では、LiDARを用いたマップマッチング手法が開示されている。LiDARを用いた手法は、測定精度が高く、昼夜の変化や環境の変化に対して高いロバスト性を備えているため、デシメートルレベルの精度で車両の自己位置推定を行うことができる。
また、非特許文献2では、カメラで検出した道路面の特徴をベクトル地図(白線、道路標識、信号機等の位置を記録したデジタル地図)とマッチングすることで、車両の自己位置を、車両横方向で0.1m程度、車両前後方向で0.5m程度の精度で推定することが開示されている。
しかしながら、LiDARやカメラを用いた自己位置推定は、路面が雪で覆われている場合、降雪によって車両周辺の物体の形状が変化している場合、又は雨によって路面が正確に把握できない場合などには、精度が安定しないという問題がある。
非特許文献3では、このような問題を解決するために、過去のフレームを使うことで、雨で濡れた道路や雪道においてLiDARの反射率が低減することを防ぐ手法が開示されている。しかし、この手法では、雪で完全に覆われている道路や、雪壁によって道路形状が変化する場所において、自己位置を精度よく推定することができない。
また、非特許文献4には、ミリ波レーダーとカメラを用いて、道路面の情報に基づき自己位置推定を行う手法が開示されている。しかし、この手法も積雪時に精度よく自己位置推定を行うことはできない。
また、非特許文献5には、クラスタリングしたミリ波レーダーの観測情報を用いて地図生成を行い、さらにパーティクルフィルタを用いて自己位置推定を行う手法が開示されている。しかし、ミリ波レーダーによる観測点が疎らであることから、誤差が最大3mを超える推定精度であり、かつメートルレベルの精度でしか自己位置推定ができなかったと記載されている。
また、特許文献1には、横位置補正処理部は、降雪等の影響によりカメラユニットで自車進行路の左右区画線が認識されていないと判定した場合、自車両の道路地図上の走行車線に記憶されている地図曲率を読込み、追従対象先行車の走行軌跡に基づいて先行曲率を求め、両曲率と自車速とに基づいて推定横位置偏差を求め、推定横位置偏差を目標ハンドル角のフィードバック項である横位置ハンドル角の自車横位置に加算して、新たな自車横位置を設定することで、自車両を先行車の走行軌跡に沿って走行させる車両の運転支援装置が開示されている。
しかし、特許文献1の運転支援装置は、降雪時においても車両の自己位置を精度よく推定するものではない。また、先行車の走行軌跡を利用するものであるから、先行車が存在しない場合には、降雪等の影響によりカメラユニットで自車進行路の左右区画線が認識されない状況における自動運転が困難となる。
特開2019-38396号公報
J. Levinson and S. Thrun, "Robust Vehicle Localization in Urban Environments Using Probabilistic Maps", Proceedings of 2010 IEEE International Conference on Robotics and Automation, pp. 4372-4378, 2010. Jo, Kichun, et al. "Precise Localization of an Autonomous Car Based on Probabilistic Noise Models of Road Surface Marker Features Using Multiple Cameras." IEEE Trans. Intelligent Transportation Systems vol.16, no.6, pp. 3377-3392, 2015. M. Aldibaja, N. Suganuma and K. Yoneda, "Robust Intensity Based Localization Method for Autonomous Driving on Snow-wet Road Surface", IEEE Transactions on Industrial Informatics, vol. 13, no. 5, pp. 2369-2378, 2017. S. Park, D. Kim and K. Yi, "Vehicle Localization using an AVM camera for An Automated Urban Driving", Proceedings of 2016 IEEE Intelligent Vehicles Symposium, pp. 871-876, 2016. F.Schuster, M.Worner, C.G. Keller, M. Haueis and C. Curio, "Robust localization based on radar signal clustering", Proceedings of 2016 IEEE Intelligent Vehicles Symposium, pp. 839-844, 2016.
そこで本発明は、精度よく自己位置を推定できる車両の自己位置推定装置、及び当該装置を備えた車両を提供することを目的とする。
請求項1記載の本発明の車両の自己位置推定装置は、車両の周辺に存在する物体の観測情報に基づきリアルタイムに作成した観測画像と予め作成された地図画像とのマッチングを行うことにより車両の位置を推定する自己位置推定装置であって、GNSS衛星及び慣性計測装置からのデータを取得するGNSS/IMUデータ取得部と、車両の周辺に存在する物体の観測情報を取得する周辺物体情報取得センサ部と、GNSS/IMUデータ取得部で取得したデータに基づいてデッドレコニングにより車両の位置を推定するDR部と、DR部で推定した車両の位置及び周辺物体情報取得センサ部で取得した観測情報に基づき、物体のうち静的物体の位置がマッピングされた観測画像を生成する観測画像生成部と、観測画像と地図画像とのマッチングを行うマッチング部と、マッチングの結果に基づいてオフセットの確率分布を更新する確率更新部と、確率分布に基づいてオフセット量を更新するオフセット更新部と、DR部で推定した車両の位置をオフセット量で補正することにより車両の補正後位置を導出する補正後位置導出部とを備え、周辺物体情報取得センサ部は、雪を透過して物体の観測情報を取得可能であり、マッチング部は、テンプレートマッチングを行い、確率更新部は、テンプレートマッチングにより得られた相関分布をガンマ補正して尤度分布を導出し、尤度分布を用いて確率分布を更新することを特徴とする。
求項記載の本発明は、請求項に記載の車両の自己位置推定装置において、確率更新部は、各時刻で得られた尤度分布を積算し、積算した尤度分布を正規化して累積分布を導出し、累積分布に基づいて確率分布を更新することを特徴とする。
請求項記載の本発明は、請求項に記載の車両の自己位置推定装置において、確率更新部は、尤度分布を用いて事後確率の対数オッズ値を導出し、対数オッズ値を用いて確率分布を更新することを特徴とする。
請求項記載の本発明は、請求項又は請求項に記載の車両の自己位置推定装置において、オフセット更新部は、確率分布の重み付け平均を用いてオフセット量を更新することを特徴とする。
請求項記載の本発明は、請求項に記載の車両の自己位置推定装置において、オフセット更新部は、確率分布の最大値をマッチング状態の不確実性とし、不確実性に従った重み付けによりオフセット量を更新することを特徴とする。
請求項記載の本発明の車両は、請求項1から請求項のいずれか1項に記載の車両の自己位置推定装置を搭載したことを特徴とする。
本発明によれば、車両の自己位置推定の精度を向上させることができる。
本発明の実施例による車両の自己位置推定装置のブロック図 同自己位置推定装置を搭載した自車両の外観図 同自車両におけるミリ波レーダーの取り付け位置と観測領域を示す図 同デッドレコニングによる自己位置推定とオフセット補正の説明図 同地図画像生成手段のブロック図 同地図画像生成の例を示す図 同観測誤差伝播に基づく共分散行列を使用した存在尤度の定義についての説明図 同生成された観測画像の例を示す図 同尤度フィルタリングを示す図 同複数のピークが発生した場合の処理についての説明図 第一の実施例の夏季(積雪無し)の一つ目のエリアにおける試験結果を示す図 同冬季(部分積雪)の一つ目のエリアにおける試験結果を示す図 同冬季(完全積雪)の二つ目のエリアにおける試験結果を示す図 第二の実施例の試験結果を示す図
本発明の第1の実施の形態による車両の自己位置推定装置は、GNSS衛星及び慣性計測装置からのデータを取得するGNSS/IMUデータ取得部と、車両の周辺に存在する物体の観測情報を取得する周辺物体情報取得センサ部と、GNSS/IMUデータ取得部で取得したデータに基づいてデッドレコニングにより車両の位置を推定するDR部と、DR部で推定した車両の位置及び周辺物体情報取得センサ部で取得した観測情報に基づき、物体のうち静的物体の位置がマッピングされた観測画像を生成する観測画像生成部と、観測画像と地図画像とのマッチングを行うマッチング部と、マッチングの結果に基づいてオフセットの確率分布を更新する確率更新部と、確率分布に基づいてオフセット量を更新するオフセット更新部と、DR部で推定した車両の位置をオフセット量で補正することにより車両の補正後位置を導出する補正後位置導出部とを備えるものである。
本実施の形態によれば、デッドレコニングにより推定した車両の位置をマッチングの結果に基づいて補正することで、自己位置推定の精度を向上させることができる。
本発明の第2の実施の形態は、第1の実施の形態による車両の自己位置推定装置において、周辺物体情報取得センサ部は、雪を透過して物体の観測情報を取得可能であり、マッチング部は、テンプレートマッチングを行い、確率更新部は、テンプレートマッチングにより得られた相関分布をガンマ補正して尤度分布を導出し、尤度分布を用いて確率分布を更新するものである。
本実施の形態によれば、積雪条件下においても精度よく自己位置を推定することができる。また、テンプレートマッチングを行うことにより、処理の高速化が可能となる。
本発明の第3の実施の形態は、第2の実施の形態による車両の自己位置推定装置において、確率更新部は、各時刻で得られた尤度分布を積算し、積算した尤度分布を正規化して累積分布を導出し、累積分布に基づいて確率分布を更新するものである。
本実施の形態によれば、相関の寄与度を低くし確率更新できるので、周辺物体情報取得センサ部による物体観測が疎らであっても精度よく自己位置を推定することができる。
本発明の第4の実施の形態は、第2の実施の形態による車両の自己位置推定装置において、確率更新部は、尤度分布を用いて事後確率の対数オッズ値を導出し、対数オッズ値を用いて確率分布を更新するものである。
本実施の形態によれば、相関の寄与度を低くし確率更新できるので、周辺物体情報取得センサ部による物体観測が疎らであっても精度よく自己位置を推定することができる。
本発明の第5の実施の形態は、第3又は第4の実施の形態による車両の自己位置推定装置において、オフセット更新部は、確率分布の重み付け平均を用いてオフセット量を更新するものである。
本実施の形態によれば、道路脇に同じパターンの静的物体である柵やガードレール等が連続して存在する場合であっても精度よく自己位置を推定することができる。
本発明の第6の実施の形態は、第4の実施の形態による車両の自己位置推定装置において、オフセット更新部は、確率分布の最大値をマッチング状態の不確実性とし、不確実性に従った重み付けによりオフセット量を更新するものである。
本実施の形態によれば、不確実性に従って重み付けすることによって、不安定な状況における過度のオフセット更新を防ぎ、より精度よく自己位置を推定することができる。
本発明の第7の実施の形態による車両は、第1から第6の実施の形態のいずれか一つの車両の自己位置推定装置を搭載したものである。
本実施の形態によれば、自己位置をリアルタイムに精度よく推定し、安全かつ的確に目的地へ移動する自動運転車両を提供することができる。
本発明の第一の実施例による車両の自己位置推定装置について説明する。
図1は本実施例による車両の自己位置推定装置のブロック図である。
自己位置推定装置10は、GNSS(Global Navigation Satellite System)衛星及び慣性計測装置からのデータを取得するGNSS/IMUデータ取得部11と、車両の周辺に存在する物体の観測情報をリアルタイムに取得する周辺物体情報取得センサ部12と、GNSS/IMUデータ取得部11で取得したデータに基づいてデッドレコニングにより車両の位置を推定するDR部13と、DR部13で推定した車両の位置及び周辺物体情報取得センサ部12が取得した観測情報に基づき、物体のうち静的物体の位置がマッピングされた観測画像を生成する観測画像生成部14と、観測画像と地図画像とのマッチングを行うマッチング部15と、マッチングの結果に基づいてオフセットの確率分布を更新する確率更新部16と、確率分布に基づいてオフセット量を更新するオフセット更新部17と、DR部13で推定した車両の位置をオフセット量で補正することにより車両の補正後位置を導出する補正後位置導出部18と、地図画像が記憶されている地図画像記憶部19を備える。
観測画像生成部14は、車両の周辺に存在する物体を追跡し、その物体が静的物体か動的物体かを推定する物体追跡部14Aと、追跡した物体の中から静的物体を抽出する静的物体抽出部14Bと、抽出した静的物体のマッピングを行うマッピング部14Cを有する。
自己位置推定装置10は、車両に搭載され、搭載された車両(以下、「自車両」という)の周辺に存在する物体の観測情報に基づき、リアルタイムに作成した観測画像と予め作成された地図画像とのマッチングを行うことにより自己位置を推定する。図2は自己位置推定装置を搭載した自車両の外観図である。
自車両1には、上部にGNSS衛星からの信号を受信するGNSS受信部(GNSSアンテナ)30が取り付けられ、後輪に慣性計測装置であるIMU(Inertial Measurement Unit)40が取り付けられている。GNSS及びIMUを用いることで、自車両1の位置(緯度、経度、高度)、姿勢(ピッチ、ヨー、ロール)、速度及び加速度等を100Hzで取得できる。
また、自車両1は、全方位照射可能なレーザーであるLiDAR(Light Detection and Ranging)50を備えており、自己位置推定装置10による自己位置推定とは別に、LiDAR50から得られる赤外線反射率を利用した自己位置推定を行うことができる。
また、自車両1には、周辺物体情報取得センサ部12として、複数個の76GHz帯ミリ波レーダー(MWR)を取り付けている。図3は自車両におけるミリ波レーダーの取り付け位置と観測領域を示す図である。図3に示すように、本実施例のミリ波レーダーは、視野角が約40度であり、自車両1の前方バンパーに7個、後方バンパーに2個設置することで全方位を検出可能にしている。本実施例のミリ波レーダーは、車両周辺を20Hzで観測可能であり、自車両1の周辺に存在する人、他車両、道路設置物等といった周辺に存在する物体までの相対距離、相対角度、相対速度といった観測情報を取得する。ミリ波レーダーは、環境変化に強く、雪を透過して物体検出が可能である。
図4はデッドレコニングによる自己位置推定とオフセット補正の説明図である。
自己位置推定装置10は、自己位置推定を開始すると、DR部13において、GNSS/IMUデータ取得部11が取得したデータに基づいてデッドレコニングにより自車両1の位置を推定する。
デッドレコニングとは、車両の速度を時間で積分し、車両の位置を推定する手法である。本実施例では、線速度とヨーレートの時間積分によって自車両1の推定位置[xd,t,yd,tTを更新する。しかしながら、GNSS/IMUデータ取得部11が取得する位置や速度には誤差が含まれるため、デッドレコニングでは、逐次移動量を計算した際に発生する誤差が累積してしまう。
そこで、自己位置推定装置10は、マッチング部16において、地図画像記憶部19に記憶されている地図画像と、観測画像生成部14で生成された観測画像とのマッチング(照合)を行うことによりデッドレコニングの誤差(オフセット)[Δxd,t,Δyd,t ]Tを推定し、デッドレコニングにより推定した自車両1の推定位置[xd,t,yd,t]をオフセットで補正する。自車両1の位置Xt,Ytは下式(1)で表される。
Figure 0007298882000001
オフセット量[Δxd,t,Δyd,t ]Tは、以下の手順(1)~(4)で推定する。なお、本実施例では、自車両1の位置と姿勢のうち、姿勢についてはGNSS/IMUデータ取得部11から直接取得し、位置に関するオフセット量[Δxd,t,Δyd,t ]Tのみを推定する。このように位置のみを推定することで、計算の簡易化及び高速化を図ることができる。
(1)周辺物体情報取得センサ部12で取得した最新のNフレームのデータを用いて観測画像生成部14で観測画像を生成する。
(2)地図画像記憶部19に記憶されている地図画像の中から、自車両1周辺の地図画像を抽出する。
(3)マッチング部15における観測画像と抽出した地図画像とのマップマッチングを行い、確率更新部16でオフセットの確率Pを推定する。
(4)得られた確率Pに基づいてオフセット更新部17でオフセット量[Δxd,t,Δyd,t ]Tを更新する。
以下、各手順について説明する。
まず、地図画像記憶部19に記憶されている地図画像の生成方法について説明する。
図5は地図画像生成手段のブロック図である。
地図画像生成手段20は、リアルタイムキネマティック測位方式のRTK-GNSS部21と、自車両1周辺に存在する物体を追跡し、その物体が静的物体か動的物体かを推定する物体追跡部14A(本実施例では観測画像生成部10と共用)と、追跡した物体の中から静的物体を抽出する静的物体抽出部14B(本実施例では観測画像生成部10と共用)と、抽出した静的物体のマッピングを行う地図画像マッピング部22を有し、地図画像を生成する。
地図画像は、後処理でRTK-GNSSを使用して、周辺物体情報取得センサ部12が取得した観測値をマッピングすることによって生成される。後処理補正後のGNSS位置を利用することで、0.03m程度の位置精度を実現することができる。
ここで、76GHz帯ミリ波レーダーにおける測定角度の検出精度は、LiDARや79GHz帯ミリ波レーダーと比較すると一般的には正確ではない。したがって、地図画像のマッピングの際には測定精度を考慮する必要がある。地図画像は、以下の手順(A)~(C)により生成される。地図画像生成部24が生成した地図は、地図画像生成部19に記憶される。
(A)物体追跡:静的/動的物体を推定する。
(B)静的物体抽出:動的物体を削除する。
(C)マッピング:各ピクセルにおける静的物体の確率を更新する。
物体追跡部22は、ミリ波レーダーによる観測情報を用いて静的/動的物体を推定する。なお、本実施例では、自車両1を用いて地図画像を生成するため、周辺物体情報取得センサ部12(ミリ波レーダー)を使用して観測情報を取得する。
ミリ波レーダーは、静的物体だけでなく、移動する物体や、移動し得る静的物体など様々な物体を観測する。そこで、観測情報から地図画像の生成に使用する静的物体のみを抽出するために、(i)ミリ波レーダー照射方向の絶対速度が閾値以下であること、(ii)道路の車線外に存在すること、及び(iii)動的物体と対応付けられていない非追跡物体であること[非特許文献6:永野聖巳, et al.“全方位ミリ波レーダを用いた自動運転自動車のための周辺移動車両追跡に関する研究”自動車技術会論文集 vol.48,no.2,pp.411-418,2017.]の条件をすべて満たす観測情報を静的物体と判断する。
IMM(interactive multiple model)[非特許文献7:R. Helmick, “IMM Estimator with Nearest-Neighbor Joint Probabilistic Data Association”, Multiagent-Multisensor Tracking: Applications and Advances Volume III, Artech House Publishers, pp. 161-198, 2000.]は、観測対象物体の位置、速度、及び加速度を推定するために複数種類の運動を統合するために採用される。等加速度、等速、及び停止モデルは、運動モデルとして定義される。状態変数xmwrは、下式(2)で定義される。
Figure 0007298882000002
ここで、pxとpyは、UTM(Universal Transverse Mercator)のグローバル座標における物体位置である[非特許文献8:J. P. Snyder, “Map Projections: A Working Manual”, Geological Survey(U.S.), 1987.]。vx、ax、vy及びayは、それぞれx座標とy座標の速度と加速度である。
下式(3)のwmwrは、対応する変数に対するプロセスノイズベクトルである。
Figure 0007298882000003
例えば、独立定加速度モデルの状態方程式は下式(4)のように定式化できる。
Figure 0007298882000004
等速モデルの場合は、加速度値はゼロに設定される。さらに、一定のヨーレートを有するモデルは、非ホロノミックシステムを用いて車両運動を表現するように定義される。IMMは、自車両1の周囲に存在する自動車や自転車などの動的物体を追跡できる。したがって、動的物体は、地図画像生成では無視することができる。
地図画像は、観測した物体のうち動的物体を除去することによって得られた静的物体を使用して生成される。グローバル座標内の観測点は、2-D画像座標に変換され、対応するピクセルにマッピングされる。ミリ波レーダーの低い検知精度を考慮するために、存在尤度は、観測誤差伝播に基づいて共分散行列Pを使用して定義される。
図6は地図画像生成の例を示す図であり、図6(a)はマッピング処理の一例を示し、図6(b)はミリ波レーダーを用いて生成した地図画像の一例を示し、図6(c)はLiDARを用いて生成した地図画像の一例を示している。図6(a)においては、色が薄いほど静的物体Aの存在確率が高いことを示している。なお、図6(a)の右図に示すように、静的物体の存在確率は誤差を考慮した確率密度分布とするため、95%の確率で静的物体が存在する領域とする。
存在尤度は、周辺物体情報取得センサ部12の照射方向に対して垂直な分散を生成するように計算される。各ピクセルに対する尤度値は、尤度分布の対応する領域における積分によって得られる。そして、存在確率は、尤度値に基づいて更新される。得られた地図画像である図6(b)の各ピクセルは、緯度と経度に関する情報を有する。図6(b)の地図画像には、図6(c)に示されるLiDARを用いた地図画像と比較すると、歩道上又は道路脇に位置する電信柱やガードレール等の静的物体をランドマークとして描写できていることが分かる。
ここで、図7を用いて、観測誤差伝播に基づく共分散行列Pを使用した存在尤度の定義について説明する。
ミリ波レーダーのデータから提v供される観測値は、下式(5)として表される。
Figure 0007298882000005
ミリ波レーダーのデータは、距離rmwr、照射方向θmwr、照射方向の相対速度vmwrである。図7によれば、下式(6)、(7)、(8)のようにして、物体の位置をセンサ座標からグローバル座標に変換することができる。
Figure 0007298882000006
Figure 0007298882000007
Figure 0007298882000008
ここで、[xmwr,ymwr]Tと[xv mwr,yv mwr]は、それぞれセンサ座標と車両座標における物体の位置である。[xs,ys,θsTは、車両座標におけるセンサ設置位置である。[xego,yego,θego]はグローバル座標での車両位置である。
照射方向における車両の絶対速度vego mwrは、車両速度vegoを用いて下式(9)のように計算される。
Figure 0007298882000009
したがって、観測値は下式(10)で表される。
Figure 0007298882000010
ここで、φ=θego+θs+θmwr,θ=θs+θmwrであり、Sego+sinθego,Cego=cosθego,Sφ=sinφ,Cφ=cosφである。
したがって、観測値zは、下式(11)のように、10個の変数を有する関数hによって表される。
Figure 0007298882000011
誤差伝播の理論に基づき、観測値zの誤差Δzは下式(12)のように近似される。
Figure 0007298882000012
そして、下式(13)~(19)のように、その二乗誤差の期待値を解くことにより、観測用の共分散行列Pが得られる。
Figure 0007298882000013
Figure 0007298882000014
Figure 0007298882000015
Figure 0007298882000016
Figure 0007298882000017
Figure 0007298882000018
Figure 0007298882000019
σ*は、対応する変数の標準偏差である。
手順(1)における観測画像の生成においては、地図画像の生成と同様に、周辺物体情報取得センサ手段12(ミリ波レーダー)から取得された静的物体が、北東(NE)座標で観測画像を生成するためにマッピングされる。
なお、観測画像の生成はリアルタイムで行う必要があるため、後処理補正は行わない。また、地図画像の生成では、道路の車線外に存在することを静的物体か否かを判断する条件の一つとしていたが、観測画像を生成する際は、誤差のあるデッドレコニングによる推定位置を用いるため、本来道路外にある静止物体を誤って除去してしまう可能性がある。そこで、例えば動的物体の位置とその大きさを認識できるLiDARによる移動物体の追跡情報をミリ波レーダーによる観測情報と対応付けることで、道路の車線内の観測情報を除去することが好ましい。
図8は生成された観測画像の例を示す図である。
図8(a)は観測画像の一例である。観測画像とは、リアルタイムに走行している際に周辺物体情報取得センサ手段12で観測した静的物体の位置を真上から見たような画像であり、自車両1の移動量に応じてパノラマ画像のように結合することで生成される。観測画像の大きさは24m×24mであり、観測画像の中央は常にDR部13で推定した自車両1の位置になるようにしている。観測画像は、観測点が領域全体をカバーするように、観測した複数フレームを使用して生成される。
手順(2)における自車両1周辺の地図画像の抽出では、図8(b)に示すように、観測画像とのマッチングに用いる地図画像が、デッドレコニングにより推定した自車両1の位置に基づき、地図画像記憶部19に記憶されている地図画像から抽出される。地図画像は、観測画像と同様にNE座標で生成されている。抽出された地図画像の大きさは、32m×32mの範囲をカバーしている。
手順(3)のマッチング部15における観測画像と抽出した地図画像とのマップマッチングにおいては、現在位置周辺の相関分布を得るためにテンプレートマッチングが適用される。
マップマッチングでは、特定位置の地図画像と観測画像が類似しているほど自車両1がその位置にいる確率が高いとすることで、オフセット量及び自車両1の位置を推定する。また、テンプレートマッチングとは、テンプレートと呼ばれる画像が探索対象画像内に存在するか否かを調べるアルゴリズムである。本実施例では、テンプレートマッチングのテンプレート画像に該当するのが観測画像であり、抽出した地図画像がテンプレート画像と照合される画像となる。テンプレート画像となる観測画像を地図画像の中で順番に移動させながら、観測画像と抽出した地図画像の類似度を計算する。
下式(20)のように、テンプレートマッチングのコスト関数として、正規化相互相関(ZNCC)Rt,ref(Δx)を使用する。
類似度の計算には、SSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)等を使用することもできるが、他の手法と比べて画像の明るさの変動に強いという特徴を持つ正規化相互相関(ZNCC)を使用することが好ましい。
Figure 0007298882000020
ここでRt,ref(Δx)は、オフセットΔx=[Δx,Δy]TでのZNCC特徴である。
しかし、ミリ波レーダーによる観測は、観測点が疎らであるため、ZNCCから高い相関値を得ることが困難である。したがって、各フレームにおける相関分布の結果は信頼性が高くない可能性がある。そこで、下式(21)のように、確率に対する過度の応答を回避するためにガンマ補正が適用される。
Figure 0007298882000021
ここで、γは、ガンマ補正用のガンマ値である。Rt(Δx)は、Δxにおける尤度分布である。
手順(4)において、確率更新部16でオフセット[Δxd,t,Δyd,t ]Tの確率分布P(Δx)は尤度分布を用いて更新される。図9は尤度フィルタリングを示す図である。
確率分布とは、尤度分布と同様に自車両1の位置がどこに存在する可能性が大きいかを確率で示した分布である。
図9の上図に示すように、各フレームで得られる尤度分布は不安定である。明確なピークを示すフレームがいくつかあるが、それらは突然異なる分布を示すことがある。 したがって、累積分布Pt(Δx)は、尤度分布の累積処理によって計算される。累積分布とは、尤度分布と同様に自車両1の位置がどこに存在する可能性が大きいかを示した分布である。下式(22)、(23)のように、確率分布P(Δx)は、Pt(Δx)を正規化することにより得られる。これにより、安定した信頼のある分布を得ることができる。
Figure 0007298882000022
Figure 0007298882000023
ここで、βは累積過程の逓減係数である(0≦β≦1)。
図10は複数のピークが発生した場合の処理についての説明図である。
自車両1の進行方向に沿って例えば道路脇に同じパターンの静的物体である柵やガードレール等が連続して存在する場合、図10(a)(b)に示すように複数のピークが発生する可能性がある。複数のピークが発生すると、オフセット量を正確に計算することができないため、正しいピークだけを抽出する必要がある。そこで、図10(c)に示すようにオフセット更新部17ではピーク位置を追跡することで誤った位置でのピークを棄却し、下式(24)、(25)のように、得られた確率の重み付け平均値を用いてオフセット量を推定する。
Figure 0007298882000024
Figure 0007298882000025
ここで、gposは、オフセットを更新する際のゲインである(0≦gpos≦1)。
補正後位置導出部18は、DR部13で推定した自車両1の位置をオフセット量で補正することにより自車両1の補正後位置を導出し、導出した補正後位置を自車両1の運転制御装置(図示無し)へ出力する。出力された補正後位置を用いて運転制御装置が自車両1を制御することで、自車両1の自動運転をより安全かつ的確なものとすることができる。
次に、公道で実施した第一の実施例による車両の自己位置推定装置の性能評価試験の結果について説明する。
性能評価試験においては、自己推定位置と実際の位置との間における車両前後方向及び横方向の誤差を計算した。GNSSの情報は、自車両1の初期位置の初期化に使用した。RTK-GNSSの情報は、自己位置推定の精度を評価する基準となる実際の位置を求めるために使用した。また、比較例1として、LiDARを用いた従来の自己位置推定[非特許文献9:N. Suganuma, D. Yamamoto and K. Yoneda, “Localization for Au- tonomous Driving on Urban Road”, Journal of Advanced Control, Automation and Robotics, Vol. 1, No. 1, pp. 47-53, 2016.]も併せて行い、第一の実施例による自己位置推定の結果と比較した。
第一の実施例による自己位置推定と、比較例1との主な相違点は、周辺物体情報取得センサ部12としてのセンサ(すなわち、ミリ波レーダーかLiDARか)、及びマッチングに用いる画像(すなわち、ミリ波レーダー画像かLiDAR画像か)である。比較例1では、路面のレーザー反射率のマップマッチングによってオフセット量を推定する。
性能評価試験は、2種類の走行エリアで行った。
一つ目のエリアは、石川県の金沢市内の公道である。このルートの全長は約2.15kmであり、夏季(積雪無し)と冬季(部分積雪:路側帯や歩道に積雪が有り車道路面の積雪は殆ど無し)に試験を行った。
二つ目のエリアは、北海道の網走市内の公道である。このルートの全長は約25kmであり、冬季(完全積雪:路側帯や歩道に積雪が有り車道路面も雪で完全に覆われている)に試験を行った。二つ目のエリアでは、路面が雪で覆われており比較例1のLiDARを用いた従来の自己位置推定は使用できないため、第一の実施例による自己位置推定についてのみ試験を行った。
下表1に試験結果を示す。表1では、「積雪無し」、「部分積雪」、及び「完全積雪」のそれぞれの条件下における車両前後方向及び横方向の二乗平均平方根(RMS)誤差を示している。
Figure 0007298882000026
表1から分かるように、第一の実施例も比較例1も、積雪無しの条件下においては妥当な推定位置精度を得ることができる。しかし、部分積雪又は完全積雪の条件下においては、第一の実施例は雪の無い条件下と同程度の精度を有するのに対し、比較例1は精度がかなり悪化した。
図11は夏季(積雪無し)の一つ目のエリアにおける試験結果を示すグラフであり、図12は冬季(部分積雪)の一つ目のエリアにおける試験結果を示すグラフである。
図11及び図12において、横軸は経過時間[sec]であり、縦軸は、図11(a)及び図12(a)が車両前後方向の誤差[m]、図11(b)及び図12(b)が車両横方向の誤差[m]、図11(c)及び図12(c)がヨーレート[rad/s]である。
図11から、積雪無しの場合は、交差点や直線道路に関係なく、第一の実施例においても比較例1においても1m以内の誤差に自己位置推定の精度が維持されていることが分かる。
しかし、図12から分かるように、比較例1においては降雪時には、車両横方向の誤差はすぐに2m以上に増加し、その誤差は解消されなかった。これは、比較例1においては、LiDARが道路脇の積雪を反射率の高い地域として観測するため、道路脇を車線と混同することにより車両横方向のずれが発生したためである。
一方、第1の実施例においては、環境変化に強く、雪を透過して物体検出が可能なミリ波レーダーを周辺物体情報取得センサ部12として用いることで、降雪等の悪天候条件の下であっても、積雪無しの条件下と同じ程度の誤差で自車両1の位置を推定することができた。
図13は冬季(完全積雪)の二つ目のエリアにおける試験結果を示すグラフである。図13において、横軸は経過時間[sec]であり、縦軸は、図13(a)が車両前後方向の誤差[m]、図13(b)が車両横方向の誤差[m]、図13(c)がヨーレート[rad/s]である。
図13により、第一の実施例による自己位置推定は、降雪量に関わらず精度を維持していることが分かる。
以上の試験結果から、第一の実施例による自己位置推定装置10の有効性が積雪条件下においても確認された。
次に、本発明の第二の実施例による車両の自己位置推定装置について説明する。なお、上記した第一の実施例と同一構成要素については重複説明を省略する。
上記した第一の実施例では、得られた相関を累積し、それらを正規化することによって事後確率を計算した。事後確率の応答性を低下させるためには、対数オッズスケールで値を徐々に更新することがより適切である(対数オッズ:l=log(P/(1-P)))。そこで本実施例では、得られた相関を対数オッズスケールでの尤度値として、マップマッチングにより得られた相関分布を累積して事後確率を計算する。
これにより、相関を累積して得られた分布を対数オッズスケールの事後確率として扱い、マッチング状態の安定性を推定し、得られた確率の大きさに応じてオフセット量(Δxd,t、Δyd,t)を更新してより安定した自己位置推定を実現することができる。
事後確率ltの対数オッズ値は、下式(26)を用いて更新される。
Figure 0007298882000027
ここで、α1は確率更新の逓減係数である(0.0≦α≦1.0)。α1は、経験的に0.995と決定した。Rt(Δx)は、自車周辺で離散化した位置決めオフセットの変位量Δx=[Δx,Δy]におけるマップマッチングの相関分布から得られる尤度分布である。
マップマッチングを適用するために、観測画像と地図画像を用意する。観測画像と地図画像の生成又は抽出方法は、第一の実施例と同様である。
現在位置周辺の相関分布を得るためにテンプレートマッチングが適用される。下式(27)のように、テンプレートマッチングのコスト関数として、正規化相互相関(ZNCC)Rt,zncc(Δx)を使用する。
Figure 0007298882000028
ここでRt,zncc(Δx)は、ZNCC特徴である。
しかし、ミリ波レーダーによる観測は観測点が疎らであるため、ZNCCから高い相関値を得ることが困難である。したがって、各フレームにおける相関分布の結果は信頼性が高くない可能性がある。そこで、下式(21)のように、確率に対する過度の応答を回避するためにガンマ補正が適用される。
Figure 0007298882000029
ここで、βは非負のスケール因子である。γは、ガンマ補正用のガンマ値である。これらのパラメータは、β= 0.1及びγ= 3.0とした。
オフセット量[Δxd,t,Δyd,t ]Tの確率分布P(Δx)は、尤度分布を用いて更新される。本実施例では、確率分布P(Δx)は、式(26)を用いて更新したlt(Δx)から求めることができる。
最後に、得られた確率の重みづけ平均値を用いてオフセット量を推定する。
上述のように、事後確率を理論的に正しく計算することで、得られた確率の最大値をマッチング状態の不確実性とみなすことができる。したがって、下式(29)のように不確実性に従って重み付けすることによって、不安定な状況における過度のオフセット更新を防ぐことが可能である。
なお、第一の実施例と同様に式(24)及び式(25)を用いてオフセット量を更新することもできる。
Figure 0007298882000030
次に、公道で実施した第二の実施例による車両の自己位置推定装置の性能評価試験について説明する。
性能評価試験においては、自己推定位置と実際の位置との間における車両前後方向及び横方向の誤差を計算した。GNSSの情報は、自車両1の初期位置の初期化に使用した。RTK-GNSSの情報は、自己位置推定の精度を評価する基準となる実際の位置を求めるために使用した。
性能評価試験の運転データは、北海道の網走市と大空町の公道において、秋季(積雪無し)と冬季(完全積雪:路側帯や歩道に積雪が有り車道路面も雪で完全に覆われている)に記録された。試験を行った経路の全長は、約8.5kmである。試験に用いた自車両1に搭載されている機器は、第一の実施例と同様である。
ミリ波レーダー地図である地図画像は、秋季に取得した運転データを用いて生成して地図画像記憶部19に記憶させ、自己位置推定の精度は、冬季に取得した運転データについて評価した。そのため、雪の影響により、地図画像と観測画像とでは道路脇のランドマークが異なる場合がある。
第二の実施例による自己位置推定結果を、デッドレコニングによる自己位置推定結果(比較例2)と、LiDARを用いた従来の推定方法[非特許文献9]による自己位置推定結果(比較例3)と比較した。
なお、第二の実施例による自己位置推定は、式(24)及び式(25)を用いる場合(実施例2-1)と、式(29)を用いる場合(実施例2-2)の二つのパターンで実施し、オフセット値更新時の不確実性を利用するか否かの有効性についても評価した。
試験結果を、下表2及び図14に示す。
図14において、横軸は経過時間[sec]であり、縦軸は、図14(a)が車両前後方向の誤差[m]、図14(b)が車両横方向の誤差[m]、図14(c)においてはヨーレートとピーク確率を示しており、左縦軸がヨーレート[rad/s]、右縦軸がピーク確率である。ピーク確率は、式(29)の不確実性に対応する。
表2においては、車両前後方向及び横方向についての二乗平均平方根(RMS)誤差、標準偏差(S.D.)、及び最大誤差の絶対値についての結果を示している。
Figure 0007298882000031
試験結果から、式(24)及び式(25)を用いて自己位置推定を行う実施例2-1の場合は、比較例3と同等の精度を有することが分かる。図14に示すように、実2-1と比較例3について、220秒から280秒の間に、メートルレベルの車両横方向誤差が確認された。この区間では、ピーク確率が0.7前後で振動しており、マッチング状態は不安定であると言える。
一方、式(29)を用いて自己位置推定を行う実施例2-2では、この区間での車両横方向誤差を小さく出来ることが確認された。したがって、式(29)を用いてオフセット更新に不確実性を導入することで、測位精度の急激な低下を防ぐことができる。また、特に実施例2-2では、すべての評価指標に対して安定した性能を示している。
さらに、本実施例の有効性を検証するために、同じく北海道の網走市と大空町の公道において雪道での自動運転評価を行った。結果、殆どの区間で自動運転が成功していることが確認され、本実施例による自己位置推定装置が安定したパフォーマンスを発揮することが実証され、吹雪等の悪天候の条件下において自車両1の自己位置推定を精度よく行えることが、自動運転評価によって示された。
以上のように、本発明によれば、デッドレコニングにより推定した車両1の位置をマッチングの結果に基づいて補正することで、自己位置推定の精度を向上させることができる。
また、周辺物体情報取得センサ部12は、雪を透過して物体の観測情報を取得可能であり、マッチング部15は、テンプレートマッチングを行い、確率更新部16は、テンプレートマッチングにより得られた相関分布をガンマ補正して尤度分布を導出し、尤度分布を用いて確率分布を更新することで、積雪条件下においても精度よく自己位置を推定することができる。また、テンプレートマッチングを行うことにより、処理の高速化が可能となる。
また、確率更新部16は、各時刻で得られた尤度分布を積算し、積算した尤度分布を正規化して累積分布を導出し、累積分布に基づいて確率分布を更新することで、相関の寄与度を低くし確率更新できるので、周辺物体情報取得センサ部12による物体観測が疎らであっても精度よく自己位置を推定することができる。
また、確率更新部16は、尤度分布を用いて事後確率の対数オッズ値を導出し、対数オッズ値を用いて確率分布を更新することで、相関の寄与度を低くし確率更新できるので、周辺物体情報取得センサ部12による物体観測が疎らであっても精度よく自己位置を推定することができる。
また、オフセット更新部17は、確率分布の重み付け平均を用いてオフセット量を更新することで、道路脇に同じパターンの静的物体である柵やガードレール等が連続して存在する場合であっても精度よく自己位置を推定することができる。
また、オフセット更新部17は、確率分布の最大値をマッチング状態の不確実性とし、不確実性に従った重み付けによりオフセット量を更新することで、不安定な状況における過度のオフセット更新を防ぎ、より精度よく自己位置を推定することができる。
1 車両(自車両)
10 自己位置推定装置
11 GNSS/IMUデータ取得部
12 周辺物体情報取得センサ部
13 DR部
14 観測画像生成部
15 マッチング部
16 確率更新部
17 オフセット更新部
18 補正後位置導出部
40 慣性計測装置(IMU)

Claims (6)

  1. 車両の周辺に存在する物体の観測情報に基づきリアルタイムに作成した観測画像と予め作成された地図画像とのマッチングを行うことにより前記車両の位置を推定する自己位置推定装置であって、
    GNSS衛星及び慣性計測装置からのデータを取得するGNSS/IMUデータ取得部と、
    前記車両の周辺に存在する前記物体の前記観測情報を取得する周辺物体情報取得センサ部と、
    前記GNSS/IMUデータ取得部で取得した前記データに基づいてデッドレコニングにより前記車両の位置を推定するDR部と、
    前記DR部で推定した前記車両の位置及び前記周辺物体情報取得センサ部で取得した前記観測情報に基づき、前記物体のうち静的物体の位置がマッピングされた前記観測画像を生成する観測画像生成部と、
    前記観測画像と前記地図画像とのマッチングを行うマッチング部と、
    前記マッチングの結果に基づいてオフセットの確率分布を更新する確率更新部と、
    前記確率分布に基づいてオフセット量を更新するオフセット更新部と、
    前記DR部で推定した前記車両の位置を前記オフセット量で補正することにより前記車両の補正後位置を導出する補正後位置導出部とを備え
    前記周辺物体情報取得センサ部は、雪を透過して前記物体の前記観測情報を取得可能であり、
    前記マッチング部は、テンプレートマッチングを行い、
    前記確率更新部は、前記テンプレートマッチングにより得られた相関分布をガンマ補正して尤度分布を導出し、前記尤度分布を用いて前記確率分布を更新することを特徴とする車両の自己位置推定装置。
  2. 前記確率更新部は、各時刻で得られた前記尤度分布を積算し、積算した前記尤度分布を正規化して累積分布を導出し、前記累積分布に基づいて前記確率分布を更新することを特徴とする請求項に記載の車両の自己位置推定装置。
  3. 前記確率更新部は、前記尤度分布を用いて事後確率の対数オッズ値を導出し、前記対数オッズ値を用いて前記確率分布を更新することを特徴とする請求項に記載の車両の自己位置推定装置。
  4. 前記オフセット更新部は、前記確率分布の重み付け平均を用いて前記オフセット量を更新することを特徴とする請求項又は請求項に記載の車両の自己位置推定装置。
  5. 前記オフセット更新部は、前記確率分布の最大値をマッチング状態の不確実性とし、前記不確実性に従った重み付けにより前記オフセット量を更新することを特徴とする請求項に記載の車両の自己位置推定装置。
  6. 請求項1から請求項のいずれか1項に記載の車両の自己位置推定装置を搭載したことを特徴とする車両。
JP2019111748A 2019-06-17 2019-06-17 車両の自己位置推定装置、及び車両 Active JP7298882B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019111748A JP7298882B2 (ja) 2019-06-17 2019-06-17 車両の自己位置推定装置、及び車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019111748A JP7298882B2 (ja) 2019-06-17 2019-06-17 車両の自己位置推定装置、及び車両

Publications (2)

Publication Number Publication Date
JP2020204501A JP2020204501A (ja) 2020-12-24
JP7298882B2 true JP7298882B2 (ja) 2023-06-27

Family

ID=73838341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111748A Active JP7298882B2 (ja) 2019-06-17 2019-06-17 車両の自己位置推定装置、及び車両

Country Status (1)

Country Link
JP (1) JP7298882B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465607A (zh) * 2021-06-30 2021-10-01 上海西井信息科技有限公司 港口车辆定位方法、装置、电子设备、存储介质
CN114019511A (zh) * 2021-09-30 2022-02-08 南京市德赛西威汽车电子有限公司 一种基于毫米波车载雷达场景识别的航位修正方法
CN114279440A (zh) * 2021-12-07 2022-04-05 和芯星通科技(北京)有限公司 Imu定位的管理方法、装置和车载地图系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008002906A (ja) 2006-06-21 2008-01-10 Toyota Motor Corp 測位装置
JP2011215056A (ja) 2010-03-31 2011-10-27 Aisin Aw Co Ltd 自車位置認識システム
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008002906A (ja) 2006-06-21 2008-01-10 Toyota Motor Corp 測位装置
JP2011215056A (ja) 2010-03-31 2011-10-27 Aisin Aw Co Ltd 自車位置認識システム
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法

Also Published As

Publication number Publication date
JP2020204501A (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
Yoneda et al. Vehicle localization using 76GHz omnidirectional millimeter-wave radar for winter automated driving
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
US10466361B2 (en) Systems and methods for multi-sensor fusion using permutation matrix track association
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
CN102208035B (zh) 图像处理系统及位置测量系统
JP5162849B2 (ja) 不動点位置記録装置
US20220197301A1 (en) Vehicle Localization Based on Radar Detections
CN112074885A (zh) 车道标志定位
US20140379164A1 (en) Lane monitoring with electronic horizon
US20080033645A1 (en) Pobabilistic methods for mapping and localization in arbitrary outdoor environments
JP7298882B2 (ja) 車両の自己位置推定装置、及び車両
CN112781599B (zh) 确定车辆的位置的方法
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
US11846520B2 (en) Method and device for determining a vehicle position
Kellner et al. Road curb detection based on different elevation mapping techniques
US20230194269A1 (en) Vehicle localization system and method
US20220196829A1 (en) Radar Reference Map Generation
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
Suganuma et al. Localization for autonomous vehicle on urban roads
JP2022136145A (ja) データ構造、情報処理装置、及び地図データ生成装置
Suganuma et al. Map based localization of autonomous vehicle and its public urban road driving evaluation
Carow et al. Projecting lane lines from proxy high-definition maps for automated vehicle perception in road occlusion scenarios
JP7289761B2 (ja) 車両の自己位置推定装置、および、自己位置推定方法
Choi et al. Point Cloud-Based Lane Detection for Optimal Local Path Planning
AU2017254915B2 (en) Information processing system and information processing method

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7298882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150