JP6870604B2 - 自己位置推定装置 - Google Patents

自己位置推定装置 Download PDF

Info

Publication number
JP6870604B2
JP6870604B2 JP2017248745A JP2017248745A JP6870604B2 JP 6870604 B2 JP6870604 B2 JP 6870604B2 JP 2017248745 A JP2017248745 A JP 2017248745A JP 2017248745 A JP2017248745 A JP 2017248745A JP 6870604 B2 JP6870604 B2 JP 6870604B2
Authority
JP
Japan
Prior art keywords
lane
information
vehicle
position estimation
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017248745A
Other languages
English (en)
Other versions
JP2018155732A (ja
Inventor
雄一 南口
雄一 南口
健司 三宅
健司 三宅
謙太 高橋
謙太 高橋
稔 岡田
岡田  稔
和美 伊佐治
和美 伊佐治
竜巳 杉山
竜巳 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2018/010068 priority Critical patent/WO2018168961A1/ja
Priority to PCT/JP2018/010057 priority patent/WO2018168956A1/ja
Publication of JP2018155732A publication Critical patent/JP2018155732A/ja
Priority to US16/568,606 priority patent/US11639853B2/en
Priority to US16/568,637 priority patent/US11408741B2/en
Application granted granted Critical
Publication of JP6870604B2 publication Critical patent/JP6870604B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3446Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/805Azimuth angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本開示は、自己位置推定装置に関する。
車両の自己位置推定をするものとして下記特許文献1に記載の自己位置標定装置が知られている。下記特許文献1に記載の自己位置標定装置は、GPS(Global Positioning System)や慣性装置や車速パルスを用いた位置算出に対し、道路上の白線や道路標識といった既存の道路インフラを利用して、標定精度を上げるものである。
具体的には、カメラを用いて撮像した画像に映った白線の方位角を算出し、カルマンフィルタが方位角データベースに記憶されている白線の方位角と画像から算出した白線の方位角との差分に基づいて誤差推定を行っている。
特開2008−249639号公報
特許文献1では、カメラを用いて撮像した画像を用いているので、天候が悪い場合のように画像が鮮明に取得できない場合には誤差を正しく推定することができない。特に車線レベルでの位置推定が必要となると、特許文献1に記載の技術では対応することができない。高度な運転支援や自動運転においては、レーン特定やレーン内走行位置の特定をすることが必要になるので、より高精度な自己位置推定が求められる。
本開示は、車線レベルでの高精度な位置推定が可能な自己位置推定装置を提供することを目的とする。
本開示は、自己位置推定装置であって、車両が走行可能な車線を特定する車線情報を含む地図情報を取得する地図情報取得部(201)と、自車両が走行している車線内における位置である車線内位置を特定する車線内位置情報を検出する車線内位置検出部(202)と、自車両の絶対位置及びその誤差を特定する絶対位置情報を推定する絶対位置推定部(203)と、地図情報、車線内位置情報、及び絶対位置情報に基づいて、地図情報に含まれている車線情報に対応する自車両の位置を推定する自車位置推定部(204)と、を備えている。自車位置推定部は、車線内位置と絶対位置及びその誤差との相互関係に基づいて、車線内位置が車線情報によって特定される車線のいずれに該当するかの車線該当候補の有無を判別し、この判別結果に基づいて地図情報に対応する自車両の位置を推定する。
車線内位置が車線のいずれかに該当するかの車線該当候補の有無を判別するので、車線該当候補における車線内位置と絶対位置とを勘案して自車両の位置を推定することができる。
尚、「課題を解決するための手段」及び「特許請求の範囲」に記載した括弧内の符号は、後述する「発明を実施するための形態」との対応関係を示すものであって、「課題を解決するための手段」及び「特許請求の範囲」が、後述する「発明を実施するための形態」に限定されることを示すものではない。
本開示によれば、車線レベルでの高精度な位置推定が可能な自己位置推定装置を提供することができる。
図1は、実施形態である自己位置推定装置の機能的な構成を示すブロック構成図である。 図2は、本実施形態の自己位置推定について説明するための図である。 図3は、実施形態である自己位置推定装置の機能的な構成を示すブロック構成図である。 図4は、本実施形態の自己位置推定について説明するための図である。 図5は、本実施形態の自己位置推定について説明するための図である。 図6は、本実施形態の自己位置推定について説明するための図である。 図7は、本実施形態の自己位置推定について説明するための図である。 図8は、本実施形態の自己位置推定について説明するための図である。 図9は、本実施形態の自己位置推定について説明するための図である。 図10は、本実施形態の自己位置推定について説明するための図である。 図11は、本実施形態の自己位置推定について説明するための図である。 図12は、本実施形態の自己位置推定について説明するための図である。 図13は、本実施形態の自己位置推定について説明するための図である。 図14は、本実施形態の自己位置推定について説明するための図である。
以下、添付図面を参照しながら本実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
図1を参照しながら、本実施形態に係る自己位置推定装置10について説明する。自己位置推定装置10は、ハードウェア的な構成要素として、CPUといった演算部、RAMやROMといった記憶部、各種センサとデータの授受を行うためのインターフェイス部を備えるコンピュータとして構成されている。続いて、自己位置推定装置10の機能的な構成要素について説明する。
自己位置推定装置10は、自己位置計測部101と、車両運動量計測部102と、白線認識部103と、周辺環境計測部104と、経路情報取得部105と、デッドレコニング106と、位置推定部108と、地図情報取得部109と、走行車線推定部110と、地図情報格納部120と、を備えている。
自己位置計測部101は、GNSS(Grobal Navigation Satellite System)によって自車の位置を計測する部分である。自己位置計測部101は、複数の航法衛星から受信する航法信号に基づいて自車両の航法計測位置である自車計測位置を算出する。自己位置計測部101は、算出した自車計測位置をデッドレコニング106及び位置推定部108に出力する。
車両運動量計測部102は、加速度センサ、車速センサ、ジャイロセンサといったセンサ類から信号を受信し、自車の運動量を計測する部分である。車両運動量計測部102は、車速、方位角、ヨーレート、加速度といった運動量の情報をデッドレコニング106及び位置推定部108に出力する。
白線認識部103は、カメラが撮像した画像データを用いて、車線を区切る白線を認識する部分である。白線認識部103は、白線の有無の情報や白線の種類の情報を位置推定部108に出力する。
周辺環境計測部104は、天候や衛星配置の情報を計測する部分である。周辺環境計測部104は、天候や衛星配置の情報を位置推定部108に出力する。
経路情報取得部105は、ナビゲーションシステムから車両の目的地及びその目的地への経路を取得する部分である。経路情報取得部105は、目的地及び経路を示す情報を走行車線推定部110に出力する。
デッドレコニング106は、自己位置計測部101から出力される自車計測位置及び車両運動量計測部102から出力される運動量の情報に基づいて、GNSSのみでは測位が難しい場所での自車両の位置を自車ジャイロ位置として算出する部分である。デッドレコニング106は、算出した自車両の自車ジャイロ位置を位置推定部108に出力する。
地図情報取得部109は、車両が走行可能な車線情報を含む地図情報を取得する部分である。地図情報取得部109は、地図情報格納部120に格納されている地図情報を読み取り、読み取った地図情報を位置推定部108及び走行車線推定部110に出力する。
位置推定部108は、地図情報と自車計測位置及び/又は自車ジャイロ位置とに基づいて補正後の自車両の位置である補正後自車位置を推定する部分である。位置推定部108は、地図情報の確からしさと、自車計測位置及び/又は自車ジャイロ位置の確からしさとを重ね合わせて、補正後自車位置を推定する。地図情報の確からしさ及び自車絶対位置の確からしさは、確からしさを表す確率分布を用いてもよく、確からしさを表す数値を用いてもよい。
図2を参照しながら、位置推定部108の補正後自車位置の推定手法の一例について説明する。図2においては、3本の車線L1,L2,L3が設定されている。車線L1の進行方向左側には、実線白線SLaが設けられている。車線L1と車線L2との間には、破線白線BLaが設けられている。車線L2と車線L3との間には、破線白線BLbが設けられている。車線L3の進行方向右側には、実線白線SLbが設けられている。車線中心線L1cは、車線L1の中心を示す線である。車線中心線L2cは、車線L2の中心を示す線である。車線中心線L3cは、車線L3の中心を示す線である。
図2に示される例では、車線中心線L1c、車線中心線L2c、車線中心線L3cの地図確率分布PDmをもって、地図情報の確からしさとしている。最初に自車両は、自車計測位置Paにいるものとする。説明の便宜上、自車両は、自車計測位置Paから車線L1に沿って進行しているものとする。尚、自車計測位置に変えて自車ジャイロ位置を用いてもよい。
位置推定部108は、最初の推定タイミングにおいて、自車計測位置Paにおける自車位置確率分布PDcaと、地図情報確率分布PDmを重ね合わせて、補正後自車位置Pbを推定している。補正後自車位置Pbは、自車計測位置Paから補正を行わなかった場合に比較して、距離d1だけ車線中心線L1c側に補正されている。
位置推定部108は、次の推定タイミングにおいて、補正後自車位置Pbにおける自車位置確率分布PDcbと、地図情報確率分布PDmを重ね合わせて、補正後自車位置Pcを推定している。補正後自車位置Pcは、補正後自車位置Pbから補正を行わなかった場合に比較して、距離d2だけ車線中心線L1c側に補正されている。
地図確率分布としては、車線中心線の確率分布に限らず、地図情報の確からしさを示す確率分布が用いられる。また、運転者の癖や道路形状によってオフセットさせた地図確率分布を用いてもよい。道路形状とは、道幅や隣接車線の有無といった情報が含まれる。
続いて、図3を参照しながら、本実施形態に係る自己位置推定装置10の変形例である自己位置推定装置20について説明する。自己位置推定装置20は、ハードウェア的な構成要素として、CPUといった演算部、RAMやROMといった記憶部、各種センサとデータの授受を行うためのインターフェイス部を備えるコンピュータとして構成されている。続いて、自己位置推定装置20の機能的な構成要素について説明する。
自己位置推定装置20は、地図情報取得部201と、車線内位置検出部202と、絶対位置推定部203と、自車位置推定部204と、比較対象検出部205と、地図情報格納部211と、を備えている。
地図情報取得部201は、車両が走行可能な車線情報を含む地図情報を取得する部分である。地図情報取得部201は、地図情報格納部211に格納されている地図情報を読み取り、読み取った地図情報を自車位置推定部204に出力する。
車線内位置検出部202は、自車両が走行している車線内における位置である車線内位置を特定する車線内位置情報を検出する部分である。車線内位置検出部202は、カメラが撮像した周囲の環境や車線の状況に基づいて、車線内位置情報を検出する。車線内位置検出部202は、車線内位置情報を自車位置推定部204に出力する。
図5に示されるように、車線内位置検出部202は、自車両の横偏差と回頭角から車線内位置を特定し、車線内位置情報を生成する。
図3に示される絶対位置推定部203は、自車両の絶対位置及びその誤差を特定する絶対位置情報を推定する部分である。絶対位置推定部203は、推定した絶対位置情報を自車位置推定部204に出力する。絶対位置推定部203は、様々な方法によって絶対位置情報を推定することができる。
絶対位置推定部203は、GNSSによって、自車両の絶対位置及びその誤差を特定する絶対位置情報を推定することができる。絶対位置推定部203は、複数の航法衛星から受信する航法信号に基づいて自車両の航法計測位置である自車計測位置を算出し、この自車計測位置に基づいて絶対位置情報を推定することができる。
絶対位置推定部203は、加速度センサ、車速センサ、ジャイロセンサといったセンサ類から信号を受信し、自車両の運動量を計測することもできる。絶対位置推定部203は、自車計測位置及び自車両の運動量を示す情報に基づいて、GNSSのみでは測位が難しい場所での自車両の位置を自車ジャイロ位置として算出し、この自車ジャイロ位置に基づいて絶対位置情報を推定する。
図4に、絶対位置推定部203が推定する態様の一例を示す。図4に示されるように、絶対位置推定部203は、絶対位置情報として「候補1」と「候補2」を推定している。候補1は、前回位置Xi t-1から自車両の運動量に基づいて、現在位置Xi tを推定している。現在位置Xi tは、推定誤差を含んだ位置情報である。候補2は、前回位置Xj t-1から自車両の運動量を勘案して、現在位置Xj tを推定している。現在位置Xj tは、推定誤差を含んだ位置情報である。
図3に示される自車位置推定部204は、地図情報、車線内位置情報、及び絶対位置情報に基づいて、地図情報に含まれている車線情報に対応する自車両の位置を推定する部分である。自車位置推定部204は、車線内位置と絶対位置及びその誤差との相互関係に基づいて、車線内位置が車線情報によって特定される車線のいずれに該当するかの車線該当候補の有無を判別し、この判別結果に基づいて地図情報に対応する自車両の位置を推定する。車線該当候補が無い場合、センサ類の異常であると判断してもよい。
図6及び図7を参照しながら、自車位置推定部204が自車両の位置を推定する手法の一例について説明する。図6に示される「ジャイロ推定候補1」「ジャイロ推定候補2」は、図4に示される「候補1」「候補2」に対応するものであって、図4の「候補1」の推定誤差及び「候補2」の推定誤差を地図情報に重ね合わせている。図6に示される「カメラ観測横偏差」は、図5に示される「横偏差」を車線毎に地図情報に対して重ね合わせたものである。
図8を参照しながら、絶対位置情報としてのジャイロセンサによる推定位置及び誤差の算出について説明する。図8において、Pt-1は、前回時刻の共分散行列である。yt-1は、前回時刻の横位置である。φt-1は、前回時刻の姿勢角である。次式によって、横位置yt、姿勢角φtが算出される。εは、システムノイズである。
Figure 0006870604
ジャイロセンサによる推定値の共分散行列Ptは、前回時刻の共分散行列Pt-1を用いて次式によって算出される。Mは、システムノイズεの共分散行列であり、ジャイロセンサの誤差特定等から設定される。Tは転置行列を表す。
Figure 0006870604
図6に示される情報をカルマンフィルタによってセンサフュージョンする。カルマンゲインKは次式によって算出される。Qは、観測誤差行列で、レーン内位置の観測値の誤差特性から設定される。Hは、2×2の単位行列である。
Figure 0006870604
カルマンゲインKを用いて、推定結果及び共分散行列が次式によって算出される。Ztは、ジャイロセンサによって検出される横位置及び姿勢角を縦に並べたベクトルである。ΔZは、レーン内位置、姿勢角のカメラによる観測値とジャイロセンサによる推定結果Ztとの差分である。
Figure 0006870604
Figure 0006870604
このように算出されたジャイロセンサによる推定結果と、カメラによるレーン内位置観測結果とを対応付ける。対応付けの例を図9に示す。図9の(A)に示される例では、ジャイロセンサによる推定結果の誤差が小さいため、レーン2に自車両が存在することが推定され、レーン2においてカメラによるレーン内位置観測結果と対応付けをすることができる。この場合、車線該当候補としては、レーン2となる。
一方、図9の(B)に示される例では、ジャイロセンサによる推定結果の誤差が大きいため、レーン1にもレーン2にも自車両が存在する可能性が捨てきれない。従って、レーン1に自車両が存在するという候補と、レーン2に自車両が存在するという候補とが存在することになる。この場合、車線該当候補としては、レーン1及びレーン2となる。
本実施形態では、複数の車線該当候補が存在する場合に、いずれかの車線該当候補を棄却するために比較対象検出部205を設けている。比較対象検出部205は、車線内位置情報の検出及び絶対位置情報の推定に用いられる情報とは異なる比較対象情報を検出する部分である。比較対象情報としては、車線を確定する線種情報、地図情報における道路形状情報、GPSによる位置情報等が用いられる。自車位置推定部204は、車線該当候補と比較対象情報とに基づいて選別条件を満たすか否かを判断し、車線該当候補の選別を実行する。
図10に示される例では、双方のレーンが車線該当候補である場合に、線種情報を比較対象情報として用いている。比較対象検出部205が、線種情報として、左側に実線、右側に破線を検出する。自車位置推定部204は、線種の認識結果に基づいて、進行方向左側のレーンに自車両が存在するものと推定し、進行方向右側のレーンを候補としては棄却し、車線該当候補の選別を実行する。この場合、車線該当候補としては、進行方向左側のレーンになる。
図11に示される例では、双方のレーンが車線該当候補である場合に、GPS情報を比較対象情報として用いている。比較対象検出部205が、GPS情報として、図中破線の円で示す誤差を含めた位置情報を取得する。自車位置推定部204は、GPS情報に基づいて、進行方向左側のレーンに自車両が存在するものと推定し、進行方向右側のレーンを候補としては棄却し、車線該当候補の選別を実行する。この場合、車線該当候補としては、進行方向左側のレーンになる。
図12に示される例では、双方のレーンに候補が存在する場合に、地図情報を比較対象情報として用いている。比較対象検出部205が、地図情報として、道路形状を比較対象情報として検出する。自車位置推定部204は、進行方向左側の候補が時間の経過と共に地図情報と重なり合わなくなることから、進行方向左側のレーンを候補としては棄却し、車線該当候補の選別を実行する。この場合、車線該当候補としては、進行方向右側のレーンになり、レーンチェンジ後は進行方向左側のレーンになる。
自車位置推定部204は、車線該当候補が複数ある場合や絶対位置の誤差が所定以上である場合に、推定結果の信頼度が低いことを通知することができる。図13に示されるように、候補が1つの場合に、誤差の分散が小さければ信頼度が高いと判断する。候補が1つであっても誤差の分散が大きければ、信頼度が低いと判断する。候補が複数の場合は、誤差の分散が小さい場合であっても車線を特定できないので、信頼度が低いと判断する。候補が複数であって誤差の分散も大きい場合は、信頼度が低いと判断する。
図14を参照しながら、自己位置推定装置20の動作について説明する。図14の(A)は、レーン内の位置認識結果を示している。図14の(B)は、自車両位置の認識結果を示している。図14の(C)は、レーン候補数を示している。図14の(D)は、信頼度を示している。
時刻t1においては、レーン内位置認識がなされている状態である。自車両の位置は右車線上に認識されている。時刻t2においては、レーン内位置認識がされていない状態になっている。そのため、自車両の位置認識の誤差が大きくなっており、信頼度が低くなっている。時刻t3においては、再びレーン内位置認識がなされているので、自車両の位置認識の誤差が小さくなり、信頼度も高まっている。時刻t4においては、レーン内位置認識がされていない状態になっており、再び信頼度が低くなっている。
時刻t5においては、ジャイロの推定誤差が大きくなっており、どちらのレーンに自車両が存在するかが特定できない状況となっている。時刻t6においては、双方のレーンを車線該当候補としている。時刻t6から時刻8では車線該当候補が2つのままで推定を継続している。
時刻9においては、右側車線の候補が地図情報から逸脱しているので、右側車線の候補を棄却する。時刻t10以降は、左側車線から右側車線に車線変更しているので、右側車線を車線該当候補として推定を継続する。
本実施形態に係る自己位置推定装置20は、車両が走行可能な車線を特定する車線情報を含む地図情報を取得する地図情報取得部201と、自車両が走行している車線内における位置である車線内位置を特定する車線内位置情報を検出する車線内位置検出部202と、自車両の絶対位置及びその誤差を特定する絶対位置情報を推定する絶対位置推定部203と、地図情報、車線内位置情報、及び絶対位置情報に基づいて、地図情報に含まれている車線情報に対応する自車両の位置を推定する自車位置推定部204と、を備えている。自車位置推定部204は、車線内位置と絶対位置及びその誤差との相互関係に基づいて、車線内位置が車線情報によって特定される車線のいずれに該当するかの車線該当候補の有無を判別し、この判別結果に基づいて地図情報に対応する自車両の位置を推定する。
車線内位置が車線のいずれかに該当するかの車線該当候補の有無を判別するので、車線該当候補における車線内位置と絶対位置とを勘案して自車両の位置を推定することができる。
本実施形態において、自車位置推定部204は、誤差分布を含めた車線内位置と誤差分布を含めた絶対位置との重なり度合いに基づいて、車線該当候補を判別する。車線内位置及び絶対位置の双方において誤差分布を勘案して重ね合わせることで、誤差を反映させて自車両の位置を推定することができる。
本実施形態において、自車位置推定部204は、車線該当候補が複数判別された場合に、選別条件を満たすまで複数の車線該当候補に対応する自車両の位置推定を継続し、選別条件を満たすと複数の車線該当候補の選別を実行する。選別条件を満たす場合、複数判別された車線該当候補を選別して棄却することができるので、複数の車線該当候補に対応した自車両の位置推定負荷を低減することができる。
本実施形態に係る自己位置推定装置20は、更に、車線内位置情報の検出及び絶対位置情報の推定に用いられる情報とは異なる比較対象情報を検出する比較対象検出部205を備えている。自車位置推定部204は、車線該当候補と比較対象情報とに基づいて選別条件を満たすか否かを判断し、車線該当候補の選別を実行する。
比較対象情報に基づいた車線該当候補の選別を行うので、車線該当候補の判別とは異なる観点からの選別を行うことができる。比較対象情報の信頼度を高めることで、不要な車線該当候補を棄却することができる。
本実施形態において、比較対象検出部205は、比較対象情報として、自車両に設けられた撮像装置が撮像した画像から検出される線種情報であって、自車両が走行中の車線を区分する少なくとも1つの車線境界線の線種を特定する走行中線種情報を検出し、自車位置推定部204は、車線情報に含まれる車線境界線の線種を特定する地図線種情報と走行中線種情報とが不一致となった場合に選別条件を満たすと判断し、不一致となっている車線該当候補を棄却する。
地図線種情報によって、例えば自車両から見て右側及び左側に破線があるものと特定される一方で、走行中線種情報によって特定される線種が右側は連続線で左側が破線である場合、地図線種情報と走行中線種情報とが不一致となっているので選別条件を満たすと判断し、対応する車線該当候補を棄却する。撮像装置が撮像した画像から検出される走行中線種情報の信頼度は高いものと考えられるので、不要な車線該当候補を棄却することができる。
本実施形態において、絶対位置推定部203は、ジャイロセンサの検出結果に基づいて絶対位置情報を推定し、比較対象検出部205は、複数の航法衛星から受信する航法信号に基づいて比較対象情報を検出し、自車位置推定部204は、車線該当候補と比較対象情報によって特定される自車両の位置とが重なり合わなくなった場合に選別条件を満たすと判断し、重なり合わなくなっている車線該当候補を棄却する。
比較対象情報を、複数の航法衛星から受信する航法信号に基づいて生成するので、航法信号の受信状況が良好であれば、ジャイロセンサの検出結果に基づく絶対位置情報よりも信頼度を高めることができ、不要な車線該当候補を棄却することができる。
本実施形態において、自車位置推定部204は、車線該当候補が複数存在し、複数の車線該当候補の少なくとも1つが車線情報と重なり合わなくなった場合に選別条件を満たすと判断し、重なり合わなくなっている車線該当候補を棄却する。
複数の車線該当候補が存在し、一部の車線該当候補が地図情報に含まれている車線情報と重なり合わなくなった場合には、重なり合っている車線該当候補を選別し、重なり合わなくなっている車線該当候補を棄却することで、不要な車線該当候補を棄却することができる。
本実施形態において、自車位置推定部204は、車線該当候補が複数ある場合や絶対位置の誤差が所定以上である場合に、推定結果の信頼度が低いことを通知する。推定結果の信頼度が低いことを通知することで、使用者が信頼度の低下を認識することができる。
以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。
201:地図情報取得部
202:車線内位置検出部
203:絶対位置推定部
204:自車位置推定部

Claims (7)

  1. 自己位置推定装置であって、
    車両が走行可能な車線を特定する車線情報を含む地図情報を取得する地図情報取得部(201)と、
    自車両が走行している車線内における位置である車線内位置及びその誤差を特定する車線内位置情報を検出する車線内位置検出部(202)と、
    自車両の絶対位置及びその誤差を特定する絶対位置情報を推定する絶対位置推定部(203)と、
    前記地図情報、前記車線内位置情報、及び前記絶対位置情報に基づいて、前記地図情報に含まれている前記車線情報に対応する前記自車両の位置を推定する自車位置推定部(204)と、を備え、
    前記自車位置推定部は、誤差分布を含めた前記車線内位置と誤差分布を含めた前記絶対位置との重なり度合いに基づいて、前記車線内位置が前記車線情報によって特定される車線のいずれに該当するかの車線該当候補の有無を判別し、この判別結果に基づいて前記地図情報に対応する前記自車両の位置を推定する、自己位置推定装置。
  2. 請求項1に記載の自己位置推定装置であって、
    前記自車位置推定部は、前記車線該当候補が複数判別された場合に、選別条件を満たすまで複数の前記車線該当候補に対応する前記自車両の位置推定を継続し、前記選別条件を満たすと複数の前記車線該当候補の選別を実行する、自己位置推定装置。
  3. 請求項2に記載の自己位置推定装置であって、
    更に、前記車線内位置情報の検出及び前記絶対位置情報の推定に用いられる情報とは異なる比較対象情報を検出する比較対象検出部(205)を備え、
    前記自車位置推定部は、前記車線該当候補と前記比較対象情報とに基づいて前記選別条件を満たすか否かを判断し、前記車線該当候補の選別を実行する、自己位置推定装置。
  4. 請求項3に記載の自己位置推定装置であって、
    前記比較対象検出部は、前記比較対象情報として、自車両に設けられた撮像装置が撮像した画像から検出される線種情報であって、自車両が走行中の車線を区分する少なくとも1つの車線境界線の線種を特定する走行中線種情報を検出し、
    前記自車位置推定部は、前記車線情報に含まれる車線境界線の線種を特定する地図線種情報と前記走行中線種情報とが不一致となった場合に前記選別条件を満たすと判断し、不一致となっている前記車線該当候補を棄却する、自己位置推定装置。
  5. 請求項3に記載の自己位置推定装置であって、
    前記絶対位置推定部は、ジャイロセンサの検出結果に基づいて前記絶対位置情報を推定し、
    前記比較対象検出部は、複数の航法衛星から受信する航法信号に基づいて前記比較対象情報を検出し、
    前記自車位置推定部は、前記車線該当候補と前記比較対象情報によって特定される自車両の位置とが重なり合わなくなった場合に前記選別条件を満たすと判断し、重なり合わなくなっている前記車線該当候補を棄却する、自己位置推定装置。
  6. 請求項2に記載の自己位置推定装置であって、
    前記自車位置推定部は、前記車線該当候補が複数存在し、複数の前記車線該当候補の少なくとも1つが前記地図情報に含まれている前記車線情報と重なり合わなくなった場合に前記選別条件を満たすと判断し、重なり合わなくなっている前記車線該当候補を棄却する、自己位置推定装置。
  7. 請求項1から6のいずれかに記載の自己位置推定装置であって、
    前記自車位置推定部は、前記車線該当候補が複数ある場合や前記絶対位置の誤差が所定以上である場合に、推定結果の信頼度が低いことを通知する、自己位置推定装置。
JP2017248745A 2017-03-16 2017-12-26 自己位置推定装置 Active JP6870604B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/010068 WO2018168961A1 (ja) 2017-03-16 2018-03-14 自己位置推定装置
PCT/JP2018/010057 WO2018168956A1 (ja) 2017-03-16 2018-03-14 自己位置推定装置
US16/568,606 US11639853B2 (en) 2017-03-16 2019-09-12 Self-localization estimation device
US16/568,637 US11408741B2 (en) 2017-03-16 2019-09-12 Self-localization estimation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017051066 2017-03-16
JP2017051066 2017-03-16

Publications (2)

Publication Number Publication Date
JP2018155732A JP2018155732A (ja) 2018-10-04
JP6870604B2 true JP6870604B2 (ja) 2021-05-12

Family

ID=63716360

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017248745A Active JP6870604B2 (ja) 2017-03-16 2017-12-26 自己位置推定装置
JP2017248744A Active JP6693496B2 (ja) 2017-03-16 2017-12-26 自己位置推定装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017248744A Active JP6693496B2 (ja) 2017-03-16 2017-12-26 自己位置推定装置

Country Status (2)

Country Link
US (2) US11408741B2 (ja)
JP (2) JP6870604B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6870604B2 (ja) 2017-03-16 2021-05-12 株式会社デンソー 自己位置推定装置
JPWO2018221453A1 (ja) * 2017-05-31 2020-03-26 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
JP7107095B2 (ja) * 2018-08-28 2022-07-27 トヨタ自動車株式会社 自動運転システム
KR102115915B1 (ko) 2018-10-08 2020-05-27 주식회사 만도 차선 인식의 왜곡을 판단하여 차량을 제어하는 장치 및 방법
KR102103651B1 (ko) * 2018-11-28 2020-04-22 한국교통대학교산학협력단 지도의 차로 개수를 활용한 파티클 필터링 퇴화 경감 방법 및 시스템
JP2020087307A (ja) * 2018-11-30 2020-06-04 株式会社豊田自動織機 自己位置推定装置、自己位置推定方法及び荷役システム
EP3882885A4 (en) * 2019-03-12 2022-11-23 Hitachi Astemo, Ltd. VEHICLE CONTROL DEVICE
JP7036080B2 (ja) 2019-04-02 2022-03-15 株式会社豊田中央研究所 慣性航法装置
US11408739B2 (en) * 2019-05-16 2022-08-09 International Business Machines Corporation Location correction utilizing vehicle communication networks
JP7136050B2 (ja) * 2019-08-22 2022-09-13 トヨタ自動車株式会社 自車位置推定装置
JP6988873B2 (ja) 2019-11-18 2022-01-05 トヨタ自動車株式会社 位置推定装置および位置推定用コンピュータプログラム
JP7196876B2 (ja) 2020-03-30 2022-12-27 株式会社豊田中央研究所 センサ遅延時間推定装置
DE102020206356A1 (de) * 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer Ausgangspose eines Fahrzeugs
CN115702450A (zh) 2020-06-23 2023-02-14 株式会社电装 本车位置推断装置、行驶位置推断方法
JP2022012173A (ja) * 2020-07-01 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7177862B2 (ja) * 2021-01-04 2022-11-24 本田技研工業株式会社 位置決定装置
US20220383751A1 (en) * 2021-05-28 2022-12-01 Lyft, Inc. Systems and methods for personal mobile vehicle localization in a fleet management system
CN113232658B (zh) * 2021-06-28 2022-06-28 驭势(上海)汽车科技有限公司 一种车辆定位方法、装置、电子设备和存储介质
WO2023079845A1 (ja) * 2021-11-02 2023-05-11 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US11562501B1 (en) 2022-06-20 2023-01-24 Plusai, Inc. Multi-mode visual geometry localization
US11624616B1 (en) * 2022-06-20 2023-04-11 Plusai, Inc. Multi-mode visual geometry localization

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633564A (en) 1995-06-01 1997-05-27 Edwards; M. Larry Modular uninterruptible lighting system
JP4897542B2 (ja) 2007-03-30 2012-03-14 三菱電機株式会社 自己位置標定装置、自己位置標定方法および自己位置標定プログラム
US8363104B2 (en) 2008-09-25 2013-01-29 Clarion Co., Ltd. Lane determining device and navigation system
JP4832489B2 (ja) * 2008-09-25 2011-12-07 クラリオン株式会社 車線判定装置
JP4934167B2 (ja) 2009-06-18 2012-05-16 クラリオン株式会社 位置検出装置および位置検出プログラム
DE102010012877A1 (de) * 2010-03-26 2011-09-29 Continental Automotive Gmbh Bewertung von Karteninformationen
JP2012122760A (ja) 2010-12-06 2012-06-28 Aisin Aw Co Ltd 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
JP2012127845A (ja) * 2010-12-16 2012-07-05 Yupiteru Corp 車載用電子機器及びプログラム
US8972093B2 (en) * 2013-04-08 2015-03-03 Toyota Motor Engineering & Manufacturing North America, Inc. Lane-based localization
JP6229523B2 (ja) * 2014-02-12 2017-11-15 株式会社デンソー 自車走行位置特定装置及び自車走行位置特定プログラム
WO2016118499A1 (en) * 2015-01-19 2016-07-28 The Regents Of The University Of Michigan Visual localization within lidar maps
US9483700B1 (en) * 2015-05-13 2016-11-01 Honda Motor Co., Ltd. System and method for lane vehicle localization with lane marking detection and likelihood scoring
JP2017016226A (ja) 2015-06-29 2017-01-19 日立オートモティブシステムズ株式会社 周辺環境認識システムおよびそれを搭載した車両制御システム
JP6520597B2 (ja) 2015-09-16 2019-05-29 株式会社デンソー 車両位置補正装置
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10210406B2 (en) * 2016-08-19 2019-02-19 Dura Operating, Llc System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map
US10585409B2 (en) * 2016-09-08 2020-03-10 Mentor Graphics Corporation Vehicle localization with map-matched sensor measurements
JP6870604B2 (ja) 2017-03-16 2021-05-12 株式会社デンソー 自己位置推定装置

Also Published As

Publication number Publication date
JP2018155732A (ja) 2018-10-04
US20200003567A1 (en) 2020-01-02
US11408741B2 (en) 2022-08-09
US11639853B2 (en) 2023-05-02
JP2018155731A (ja) 2018-10-04
JP6693496B2 (ja) 2020-05-13
US20200003563A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
JP6870604B2 (ja) 自己位置推定装置
WO2018168961A1 (ja) 自己位置推定装置
US11287524B2 (en) System and method for fusing surrounding V2V signal and sensing signal of ego vehicle
CN105937912B (zh) 车辆的地图数据处理装置
Atia et al. A low-cost lane-determination system using GNSS/IMU fusion and HMM-based multistage map matching
US8706417B2 (en) Anchor lane selection method using navigation input in road change scenarios
EP2664894B1 (en) Navigation apparatus
CN110234957B (zh) 行驶记录的存储方法、行驶轨迹模型的生成方法、自身位置推定方法及行驶记录的存储装置
JP5747787B2 (ja) 車線認識装置
JP4392389B2 (ja) 車両及び車線認識装置
JP4752669B2 (ja) 車両同定装置、位置算出装置
KR20180106417A (ko) 차량의 위치 인식 시스템 및 방법
US11163308B2 (en) Method for creating a digital map for an automated vehicle
KR102134841B1 (ko) 자율주행차의 위치추정시스템 및 그의 위치추정방법
EP3872454A1 (en) Measurement accuracy calculation device, host position estimation device, control method, program, and storage medium
CN113196109B (zh) 用于确定完整性范围的方法
US20220113139A1 (en) Object recognition device, object recognition method and program
JP2019028028A (ja) 車両の走行車線特定装置
JP6507841B2 (ja) 先行車両推定装置及びプログラム
CN113306559A (zh) 在路形估计中对于垂直道路曲度的补偿
JP6836446B2 (ja) 車両の走行車線推定装置
EP4001844A1 (en) Method and apparatus with localization
WO2020070996A1 (ja) 走行車線推定装置、走行車線推定方法、制御プログラム、及びコンピュータ読み取り可能な非一時的な記憶媒体
Tsogas et al. Using digital maps to enhance lane keeping support systems
US20230365154A1 (en) Determining a state of a vehicle on a road

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R151 Written notification of patent or utility model registration

Ref document number: 6870604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250