JPWO2018211638A1 - 物体同定装置、路側装置および物体同定方法 - Google Patents

物体同定装置、路側装置および物体同定方法 Download PDF

Info

Publication number
JPWO2018211638A1
JPWO2018211638A1 JP2019518678A JP2019518678A JPWO2018211638A1 JP WO2018211638 A1 JPWO2018211638 A1 JP WO2018211638A1 JP 2019518678 A JP2019518678 A JP 2019518678A JP 2019518678 A JP2019518678 A JP 2019518678A JP WO2018211638 A1 JPWO2018211638 A1 JP WO2018211638A1
Authority
JP
Japan
Prior art keywords
observation
area
road
map information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019518678A
Other languages
English (en)
Other versions
JP6567227B2 (ja
Inventor
響子 細井
健一 名倉
雄 末廣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6567227B2 publication Critical patent/JP6567227B2/ja
Publication of JPWO2018211638A1 publication Critical patent/JPWO2018211638A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3893Transmission of map data from distributed sources, e.g. from roadside stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/056Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

地図情報を記憶する地図情報記憶部(12)と、複数のセンサから物体が観測された観測位置を示す観測位置情報を取得し、観測位置が地図情報で示されるエリアを分割したいずれかの領域内にあるか否かを判定する領域判定部(14)と、地図情報の領域内と判定された観測位置を、地図情報を用いて、領域の想定道路方向と平行な方向での位置を示す進行方向位置、および領域の想定道路方向と直交する方向での位置を示す横断方向位置に変換する道基準位置変換部(15)と、複数の観測位置を進行方向順に並び替え、進行方向の前後の観測位置同士でペアを作成し、ペアの観測位置同士で進行方向位置の差分および横断方向位置の差分を算出し、各差分が各項目で規定された閾値以内のペアの観測位置は同一物体に由来するものと判定し、少なくとも1つの差分が閾値より大きいペアの観測位置は異なる物体に由来するものと判定する比較部(17)と、を備える。

Description

本発明は、路側において物体を同定する物体同定装置、路側装置および物体同定方法に関する。
人間に代わって、人工知能を搭載したシステムをドライバとする自動走行の実現が求められている。自動走行を実現するためには、道路、建物などを記した更新頻度の低い地図ではなく、周囲の車、人の移動など多様な情報を含んだ更新周期の速い地図が必要である。このような更新周期の速い地図、すなわち動的な情報を含む地図は、ダイナミックマップと呼ばれる。ダイナミックマップの作成においては、100ms以下での更新周期が求められる。また、ダイナミックマップの作成においては、路側に設置された複数のレーダなどのセンサで観測された物体の観測位置の情報を収集し、同一物体を同定して観測位置の情報を配信する必要がある。特許文献1には、航空機において、レーダによる追尾機能を用いて同一物体を同定する技術が開示されている。
特開2006−153736号公報
しかしながら、上記従来の技術によれば、異なる時刻に取得された観測位置の同定では、前回の観測位置から物体が等速直線運動をしたと仮定して、推定される誤差楕円体の中に次の観測位置が観測されるか否かで判別している。また、物体が旋回した場合に同定を継続するためには、等速直線運動モデルの他に左旋回運動、右旋回運動などの全ての運動モデルを想定して観測位置を算出する必要がある。そのため、同一物体を同定する際の処理負荷が高くなる、という問題があった。
本発明は、上記に鑑みてなされたものであって、物体を同定する処理の負荷を低減可能な物体同定装置を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明の物体同定装置は、道路の情報である地図情報を記憶する地図情報記憶部を備える。また、物体同定装置は、複数のセンサから物体が観測された観測位置を示す観測位置情報を取得し、観測位置が地図情報で示されるエリアを分割したいずれかの領域内にあるか否かを判定する領域判定部と、地図情報の領域内と判定された観測位置を、地図情報を用いて、地図情報で示される領域の想定道路方向と平行な方向での位置を示す進行方向位置、および領域の想定道路方向と直交する方向での位置を示す横断方向位置に変換する道基準位置変換部を備える。また、物体同定装置は、位置変換後の複数の観測位置を進行方向順に並び替え、進行方向の前後の観測位置同士でペアを作成し、ペアの観測位置同士で進行方向位置の差分および横断方向位置の差分を算出し、各差分が各項目で規定された閾値以内のペアの観測位置は同一物体に由来するものと判定し、少なくとも1つの差分が閾値より大きいペアの観測位置は異なる物体に由来するものと判定する比較部と、を備えることを特徴とする。
本発明にかかる物体同定装置は、物体を同定する処理の負荷を低減できる、という効果を奏する。
路側装置が備える物体同定装置の構成例を示すブロック図 地図情報を持たない装置で観測された物体の観測位置を緯度および経度と平行な相対座標系でプロットした例を示す図 物体同定装置で観測された物体の観測位置を想定される道路の位置とともにプロットした例を示す図 物体同定装置が物体の観測位置を道路との相対距離に置き換えた状態を示す図 物体同定装置の地図情報記憶部が記憶している地図情報の内容の例を示す図 物体同定装置の動作を示すフローチャート 物体同定装置において、観測位置情報を領域内の進行方向位置および領域内の横断方向位置に変換する処理の例を示す図 地図情報を記憶していない装置において、2つの観測位置を同一物体に由来するものと誤判定するときの例を示す図 物体同定装置の処理回路をプロセッサおよびメモリで構成する場合の例を示す図 物体同定装置の処置回路を専用のハードウェアで構成する場合の例を示す図
以下に、本発明の実施の形態にかかる物体同定装置、路側装置および物体同定方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態.
図1は、本発明の実施の形態にかかる路側装置20が備える物体同定装置10の構成例を示すブロック図である。路側装置20は、高速道路などの道路の路側に設置されたエッジノードなどの装置であり、物体同定装置10を備える。まず、本実施の形態において、物体同定装置10が行う物体同定処理の概要について説明する。なお、物体とは、本実施の形態では、具体的に、道路上の車両を想定している。
高速道路を走行する車両は、高速道路上を走行することが明らかであり、カーブして走行するか否かは高速道路の形状により決定される。ここで、路側に設置された路側装置20の物体同定装置10は、道路の形状の情報すなわち地図情報を記憶している。物体同定装置10は、地図情報で示されるエリアが複数の領域に細分化されていることによって、カーブを走行する車両の運動モデルを、各領域において全て直線を運動するモデルとして置き換える。これにより、物体同定装置10は、旋回など複数の運動モデルを想定する場合と比較して、車両すなわち物体を同定する際の処理負荷を低減することができる。
図2は、地図情報を持たない装置で観測された車両の観測位置を緯度および経度と平行な相対座標系でプロットした例を示す図である。ここでは一例として、ある基準点に対して、横軸を緯度方向とし、縦軸を経線方向とする。図2では、観測位置と道路との位置関係は不明である。図3は、本実施の形態にかかる物体同定装置10で観測された車両の観測位置を想定される道路の位置とともにプロットした例を示す図である。物体同定装置10は、車両の観測位置を、図3に示すように、予め記憶している地図情報で示される道路と比較することで、車両について、進行方向の位置、および進行方向と直交する方向である横断方向の位置を導出することができる。
図4は、本実施の形態にかかる物体同定装置10が物体の観測位置を道路との相対距離に置き換えた状態を示す図である。物体同定装置10は、エリアが複数の領域に細分化された地図情報を用いることによって、図4に示すように、カーブを走行する車両を、直線を走行する車両に置き換える。これにより、物体同定装置10は、ある2つの観測位置が同一物体に由来するものか、または別の物体に由来するものかを容易に判定することが可能となる。なお、図3および図4において、地図の道開始点は地図情報に含まれる情報である。地図情報の詳細については後述する。図4において、地図の進行方向位置は、車両の道路上での位置を示し、地図の横断方向位置は、道路すなわち車両の走行方向と直交する方向において、車両の道路中心からの位置を示す。
物体同定装置10の具体的な構成および動作について説明する。物体同定装置10は、センサ設置情報記憶部11と、地図情報記憶部12と、共通座標変換部13と、領域判定部14と、道基準位置変換部15と、位置推定部16と、比較部17と、同定処理部18と、を備える。
センサ設置情報記憶部11は、図示しない複数のセンサの設置位置の情報であるセンサ設置情報を記憶している。センサは、路側で車両を観測し、車両を観測した際の車両の位置である観測位置を示す観測位置情報を共通座標変換部13に出力する。センサは複数あることを想定している。センサ設置情報は、各センサで共通の絶対座標系での位置情報であるが、基準となる基準センサの絶対座標系での位置および基準センサに対する他のセンサの相対位置による位置情報であってもよい。
地図情報記憶部12は、車両が走行する道路の情報である地図情報を記憶している。地図情報記憶部12は、地図上の道路の情報を複数の直線の組み合わせで記憶している。すなわち、地図情報記憶部12は、管理対象の道路すなわちエリアの情報を、道路の湾曲に応じて複数の領域で分割された地図の情報として記憶している。分割された領域内では、道路は直線として扱われる。このように、地図情報は、当該地図情報で示されるエリアが複数の領域に分割され、各領域は、各領域内で道路を直線近似できるサイズに分割されている。地図情報記憶部12が記憶している地図情報には、領域の分割情報、領域の通過順序、領域の道開始点、領域の想定道路方向、地図全体で共有する開始点、領域の道開始点距離などの情報が含まれる。
図5は、本実施の形態の物体同定装置10の地図情報記憶部12が記憶している地図情報の内容の例を示す図である。領域の分割情報は、地図情報記憶部12が記憶している地図情報で示される地図のエリアの分割状態を示す情報である。エリアの分割状態とは、例えば、地図情報で示される地図のエリアの分割数、および各領域の形状である。図5の例では、地図のエリアが領域#1〜#3の3つに分割され、各領域が長方形の形状であることを示している。領域の通過順序は、車両が領域の想定道路方向で移動した場合に通過する領域の順番を示す。図5の例では、各領域に付与される「#1」、「#2」、「#3」などの識別情報が領域の通過順序に該当する。領域の道開始点は、各領域での道路の基準点であり、各領域において道路が開始する開始点の情報である。図5の例では、領域#1の道開始点31、領域#2の道開始点32、および領域#3の道開始点33が示されている。領域の想定道路方向は、各領域での道路の延伸方向を定めた情報である。以降の説明では、道路の延伸方向を単に道路の方向とする。前述のように、各領域内で道路は直線となる。図5の例では、領域#1の想定道路方向41、領域#2の想定道路方向42、および領域#3の想定道路方向43が示されている。
地図全体で共有する開始点51は、最初の領域の道開始点、図5の例では、領域#1の道開始点31と同一である。地図全体で共有する開始点51は、地図情報で示される道路の基準点であり、地図の道開始点ともいう。領域の道開始点距離は、地図全体で共有する開始点51から各領域の道開始点までの距離である。前述のように、領域#1の道開始点31は地図全体で共有する開始点51と同一のため、領域#1の道開始点距離は「0」である。図5の例では、地図全体で共有する開始点51から領域#2の道開始点32までの距離が領域#2の道開始点距離L1であり、地図全体で共有する開始点51から領域#3の道開始点33までの距離が領域#3の道開始点距離(L1+L2)である。なお、地図情報で示される地図の領域の範囲については、車両の観測が必要な範囲をカバーしていればよく、どのような形式で定めてもよい。例えば、長方形の形状でカーブにあわせて領域を指定してもよいし、円形、台形などで領域を分割してもよい。また、図5の例では、車両が左から右方向に走行することを想定しているが、車両が右から左方向に走行する場合は、領域#3の右端にある道路の位置を開始点とすればよい。また、車両が右から左方向に走行する場合も、領域#1の左端にある道路の位置を開始点とし、車両の速度を負として取り扱っても良い。
図1の説明に戻る。共通座標変換部13は、複数のセンサから取得した観測位置情報で示される観測位置が各センサにおいて相対的な位置で示されていた場合、センサ設置情報記憶部11に記憶されているセンサ設置情報を用いて、観測位置を各センサで共通の絶対座標系の位置に変換する。例えば、あるセンサで測定された車両の観測位置がセンサからの方向および距離で示されるベクトル形式であった場合、共通座標変換部13は、センサ設置情報記憶部11に記憶されているセンサ設置情報を参照し、該当するセンサの位置座標からベクトルで示される方向および距離の位置を、観測位置で示される車両の位置として変換する。なお、観測位置が、緯度および経度を用いた座標系など、センサ間で共有された共通の絶対座標系で示されている場合、物体同定装置10は、センサ設置情報記憶部11および共通座標変換部13を省略できる。
領域判定部14は、共通座標変換部13で変換された観測位置情報を取得し、観測位置が地図情報で示されるエリアを分割したいずれかの領域内にあるか否かを判定する。領域判定部14は、地図情報記憶部12から取得した地図情報に基づいて、地図情報に含まれる領域の分割情報から、観測位置がどの領域に属するかを判定する。
道基準位置変換部15は、地図情報記憶部12から取得した地図情報、および領域判定部14の領域判定結果に基づいて、地図情報の領域内と判定された観測位置を、地図情報で示される領域の想定道路方向と平行な方向における位置を示す車両の進行方向位置、および領域の想定道路方向と直交する方向における位置を示す車両の横断方向位置に変換する。また、道基準位置変換部15は、観測位置での車両の進行方向速度を算出する。道基準位置変換部15の詳細な動作については後述する。
位置推定部16は、複数のセンサから取得した観測位置情報の取得時刻が観測位置情報毎に異なるとき、道基準位置変換部15で変換された各観測位置を、基準となる参照時刻に取得した場合に推定される観測位置に変換する。位置推定部16の詳細な動作については後述する。
比較部17は、位置変換後の複数の観測位置を進行方向順に並び替え、前後の観測位置同士を比較する。具体的に、比較部17は、進行方向の前後の観測位置同士でペアを作成し、ペアの観測位置同士で車両の進行方向位置の差分、車両の横断方向位置の差分、および車両の進行方向速度の差分を算出し、各差分が各項目で規定された閾値以内か否かを判定する。比較部17は、各差分が各項目で規定された閾値以内のペアの観測位置は同一物体に由来するものと判定し、少なくとも1つの差分が閾値より大きいペアの観測位置は異なる物体に由来するものと判定する。なお、比較部17は、ペアの観測位置同士で車両の進行方向位置の差分および車両の横断方向位置の差分を算出し、各差分、ここでは2つの差分が各項目で規定された閾値以内か否かによって判定をしてもよい。
同定処理部18は、比較部17で同一物体に由来すると判定されたペアの観測位置について、2つの観測位置のうち一方の観測位置についての観測位置情報を破棄、または2つの観測位置を統合した観測位置情報を生成する。同定処理部18は、観測位置情報を破棄、または2つの観測位置を統合した観測位置情報を生成することを繰り返すことで得られた物体同定結果を出力する。
つづいて、物体同定装置10において、取得した観測位置情報で示される観測位置が同一物体に由来するものであることを検知、すなわち物体を同定する動作について説明する。図6は、本実施の形態にかかる物体同定装置10の動作を示すフローチャートである。まず、物体同定装置10において、共通座標変換部13は、センサから観測位置情報を取得する(ステップS1)。
共通座標変換部13は、取得した観測位置を、センサで観測された相対的な位置情報である相対座標系から、緯度および経度、または緯度および経度をメートルに変換した座標などの各センサで共通の絶対座標系に変換する(ステップS2)。センサで測定される相対的な位置情報としては、例えば、レーザをセンサとして用いた場合、センサから観測位置までの距離およびセンサから見た観測位置の角度などの情報がある。前述のように、観測位置がセンサとの相対的な位置情報ではなく、センサ間で共通の絶対座標系で記されている場合、物体同定装置10では、ステップS2の動作を省略することができる。
領域判定部14は、地図情報記憶部12から地図情報を取得し、観測位置が地図情報で示される地図の領域内か否かを判定する(ステップS3)。領域判定部14は、具体的に、観測位置が、図5で示す地図情報のいずれかの領域に含まれるか否かを判定する。観測位置が地図情報で示される領域内にある場合(ステップS3:Yes)、領域判定部14は、観測位置が地図情報の領域内にあることを道基準位置変換部15に通知する。また、領域判定部14は、観測位置情報を道基準位置変換部15に出力する。
道基準位置変換部15は、地図情報を参照し、観測位置が含まれる領域の道開始点および車両の想定道路方向を用いて、観測位置を、地図情報の道路に対する車両の進行方向位置Xおよび横断方向位置Yに変換する(ステップS4)。道基準位置変換部15は、例えば、次のような方法を用いて車両の進行方向位置Xおよび車両の横断方向位置Yを算出できるが、車両の進行方向位置Xおよび車両の横断方向位置Yを算出できればどのような計算方法を用いてもよい。
車両の想定道路方向と車両の進行方向とは平行であり、車両の想定道路方向と車両の横断方向とは直交すると考えられる。そのため、地図上の規定された方向を基準とした場合の想定道路方向の角度をβとすると、進行方向道路ベクトルD(太字)horは式(1)のように定まり、横断方向道路ベクトルD(太字)verは式(2)のように定まる。
D(太字)hor=(cosβ,sinβ) …(1)
D(太字)ver=(cos(β−π/2),sin(β−π/2)) …(2)
また、地図内のある点を地図の原点(0,0)とし、観測された車両の座標すなわち観測位置をS(太字)=(a,b)とする。領域の道開始点の座標をP(太字)road=(Xroad,Yroad)とすると、道基準位置変換部15は、領域内の進行方向位置Xareaを式(3)によって算出することができ、領域内の横断方向位置Yareaを式(4)によって算出することができる。
area=D(太字)hor・(S(太字)−P(太字)road) …(3)
area=D(太字)ver・(S(太字)−P(太字)road) …(4)
このうち、領域内の進行方向位置Xareaは領域の道開始点座標からの距離を示しているが、実際には、地図全体で共有する開始点51からの進行方向距離を算出する必要がある。そのため、地図全体で共有する開始点51から観測位置を含む領域の開始点までの距離を足し合わせる。図7は、本実施の形態にかかる物体同定装置10において、観測位置情報を領域内の進行方向位置および領域内の横断方向位置に変換する処理の例を示す図である。例えば、図7において、観測位置Sが領域#2にある場合、地図全体で共有する開始点51から領域#2の道開始点32までの距離すなわち領域#2の道開始点距離L1を領域内の進行方向位置Xareaに加えた値が車両の進行方向位置Xとなる。なお、観測位置Sが領域#1にある場合、地図全体で共有する開始点51と領域#1の道開始点31とが一致するため領域内の進行方向位置Xareaが車両の進行方向位置Xとなる。また、観測位置Sが領域#3にある場合、地図全体で共有する開始点51から領域#3の道開始点33までの距離すなわち領域#3の道開始点距離(L1+L2)を領域内の進行方向位置Xareaに加えた値が車両の進行方向位置Xとなる。一方、領域内の横断方向位置Yareaと所望の車両の横断方向位置Yは一致する。
このように、道基準位置変換部15は、地図情報を用いて、車両の進行方向位置Xおよび車両の横断方向位置Yを算出することができる。また、道基準位置変換部15は、車両の進行方向での速度を示す進行方向速度を算出する(ステップS6)。具体的に、道基準位置変換部15は、例えばセンサがレーダの場合、車両の想定道路方向とセンサの測定方向との間の角度γを使用して、観測された方向に射影されたドップラー速度Vgetから、進行方向速度VXを式(5)のように算出できる。
X=Vget/cosγ …(5)
なお、観測位置が地図情報で示される領域内にない場合(ステップS3:No)、領域判定部14は、観測位置情報を破棄する(ステップS5)。
ここで、物体同定装置10に接続されるセンサは、各々が異なる測定周期をもっていることが予想される。この場合、物体同定装置10には、各センサで観測された観測位置情報が異なる時刻で集約されることになる。また、物体同定装置10では、同じセンサからの観測位置情報でも過去のデータと現在のデータとを比較して同一車両がどのように移動したかを判別することが重要になる。しかしながら、異なる時刻に取得された観測位置情報は、車両が移動しているため一概に比較することはできない。位置推定部16は、異なる時刻に取得された観測位置を、基準の時刻となる参照時刻に取得した場合に推定される観測位置に変換する(ステップS7)。
ここで、参照時刻をTrefとし、観測位置情報の取得時刻をTgetとする。車両の移動方向は、物体同定装置10の地図情報記憶部12が記憶している地図情報に含まれる領域の想定道路方向を基準とすると、直線と見なすことができる。また、速い更新周期、例えば100ms以下の更新周期を持つダイナミックマップを運用する際、参照時刻Trefと観測位置の取得時刻Tgetとの時間差は短く、車両が等速で運動していると見なすことができる。すなわち、位置推定部16は、参照時刻Trefでの車両の推定進行方向位置Xest、車両の推定横断方向位置Yest、および車両の推定進行方向速度Vestを、観測位置情報の取得時刻Tgetに観測された車両が等速直線運動をしたと仮定して、取得時刻Tgetでの進行方向位置X、車両の横断方向位置Y、および車両の進行方向速度VXを用いて算出できる。具体的に、位置推定部16は、参照時刻Trefでの推定進行方向位置Xest、推定横断方向位置Yest、および推定進行方向速度Vestを、次の式(6)から式(8)によって容易に算出できる。
est=X+VX×(Tref−Tget) …(6)
est=X …(7)
est=V …(8)
このように、位置推定部16は、異なる取得時刻Tgetの観測位置情報のデータを同一の参照時刻Trefに取得したものとして扱うことができる。位置推定部16は、地図情報を用いて、車両を進行方向および横断方向で表すことで、道路が直線であってもカーブであっても、車両が等速直線運動したものと見なして推定処理を行うことができる。参照時刻Trefについては、ダイナミックマップの次回送信時刻でもよいし、ダイナミックマップの前回送信時刻などを用いてもよい。なお、各センサの測定周期が同一で同期が取れている場合、物体同定装置10では、ステップS6の動作を省略することができる。また、位置推定部16は、厳密には取得時刻が異なっていても、規定された期間の取得時刻を同一と見なしてもよい。規定された期間とは、例えば、車両の速度を考慮して、走行距離が車両1台分の長さに満たない距離を走行するのに要する時間である。
つぎに、比較部17は、位置推定部16の処理によって同時に取得されたものと見なすことができる観測位置を、車両の進行方向順に並び替える(ステップS8)。比較部17は、車両の進行方向順に並び替えられた観測位置について、並びの前後で観測位置同士のペアを作成し、ペアの観測位置同士で、車両の進行方向位置の差分、車両の横断方向位置の差分、および車両の進行方向速度の差分を算出する。比較部17は、各差分が、各項目で規定された閾値、具体的には、車両の進行方向位置の閾値、車両の横断方向位置の閾値、および車両の進行方向速度の閾値以内となる観測位置のペアがあるか否かを判定する(ステップS9)。車両の進行方向位置の閾値は、例えば、車両の長さに基づいて18m以内に設定する。また、車両の横断方向の閾値は、例えば、車両の横幅、または道路の幅、具体的に高速道路では3.5mなどを設定する。車両の進行方向速度の閾値は、例えば、±αkm/h以内を設定する。
各差分が、車両の進行方向位置の閾値、車両の横断方向位置の閾値、および車両の進行方向速度の閾値以内の場合(ステップS9:Yes)、比較部17は、各差分が各項目で規定された閾値以内のペアの観測位置は同一物体に由来するものと判定する。比較部17は、判定結果を同定処理部18に通知する。同定処理部18は、同一物体に由来すると判定されたペアの観測位置について、2つの観測位置のうちいずれかの観測位置の観測位置情報を削除、または2つの観測位置を統合した観測位置情報を生成する(ステップS10)。物体同定装置10は、ステップS9において各差分が閾値以内となる観測位置同士のペアがなくなるまで処理を繰り返し実施し、各差分が閾値以内となる観測位置同士のペアがなくなる、すなわちステップS9でNoとなった場合、処理を終了する。
物体同定装置10が上記処理を行うことによって得られる効果について、具体的に説明する。
(1)地図情報を記憶していない場合との比較
物体同定装置10は、地図情報を記憶していない場合と比較して、観測位置が同一物体に由来するものであるか否かの判定を、車両の進行方向位置および車両の横断方向位置で別々に閾値を設けて行うことができる。具体的に、物体同定装置10は、車両の位置を、車両の進行方向位置の閾値、および車両の横断方向位置の閾値の2種類の閾値を用いて比較することができる。一方、地図情報を記憶していない装置では、観測位置が同一物体に由来するか否かの判定において、車両の位置を観測位置の2点間の相対距離で比較、すなわち1種類の距離閾値のみを用いて行うことになり、隣の車線の車両が同一物体と見なされる可能性がある。これは、車体が進行方向に長いのに対して車両の横断方向間の距離が短いためである。例えば、大型車は全長10m長となるのに対して、道路の幅は3.5m以下となる場合がある。図8は、地図情報を記憶していない装置において、2つの観測位置を同一物体に由来するものと誤判定するときの例を示す図である。センサ61が車両71を観測したときの観測位置81、およびセンサ62が車両72を観測したときの観測位置82の位置関係を示している。このように、地図情報を記憶していない装置は、観測位置81,82間の距離が1種類の距離閾値以下の場合、観測位置81,82は同一物体の由来の観測位置であると誤判定する。これに対して、物体同定装置10は、車両の進行方向位置の閾値に対して車両の横断方向位置の閾値を小さくすることで、このような誤判定を回避することができる。また、物体同定装置10が地図情報を記憶していることで、各領域において、車両が等速直線運動をしているものと見なして処理を行うことができる。
(2)地図情報を道路の関数として記憶している場合との比較
物体同定装置10は、地図情報を、道路の形を関数で表した形式で記憶しておくことも可能である。しかしながら、道路の形状は直線、円弧、クロソイド曲線、放物線などの複雑な組み合わせから生成されている上、実際の道路には製造誤差なども含まれるため一般的な関数の形式で表現することが難しい。また、任意のn次多項式を地図の実測値からモデリングする場合、多項式の補完方法によってはオーバーフィッティングが発生し、元の道路の形状とは全く違う形状の道路をモデリングしてしまう可能性がある。また、関数の形式で表された道路の場合、横断方向位置を求めるための観測位置と関数の垂線を求める演算、進行方向位置を求めるための関数の積分、観測位置の進行方向を算出するための接線方向の演算などを行う必要があり、道路の関数の形式によっては計算が煩雑、すなわち処理負荷が増大してしまうことになる。これに対して、物体同定装置10は、前述のように、道路を直線近似できる領域に分割した地図情報を用いることによって、処理負荷を低減することができる。
(3)地図情報を道路の関数として記憶し、想定道路方向のみを取得した場合との比較
道路情報をある関数の形式で記憶した上で、関数から、関数の微分値によって想定道路方向の情報のみを取得し、想定道路方向を進行方向として用いて、観測位置同士の進行方向位置の差分および横断方向位置の差分を個別に算出することもできる。しかしながら、地図の統一基準から各物体同士の位置情報をもとに進行方向位置の差分および横断方向位置の差分を求めなくてはならない。この場合、全ての観測位置の組み合わせを用いて計算する必要があるため、観測位置m個に対し観測位置同士の差分を算出する演算がm2回かかる。一方、地図情報を記憶している物体同定装置10は、進行方向位置について、前後の観測位置同士の差分を算出したため、物体の同定に必要な位置の差分を算出する演算が観測位置m個に対しm−1回であり、処理負荷を低減することができる。
つづいて、物体同定装置10のハードウェア構成について説明する。物体同定装置10において、センサ設置情報記憶部11および地図情報記憶部12はメモリである。共通座標変換部13、領域判定部14、道基準位置変換部15、位置推定部16、比較部17、および同定処理部18は処理回路により実現される。すなわち、物体同定装置10は、観測位置が同一物体の由来か否かを判定するための処理回路を備える。処理回路は、メモリに格納されるプログラムを実行するプロセッサおよびメモリであってもよいし、専用のハードウェアであってもよい。
図9は、本実施の形態にかかる物体同定装置10の処理回路をプロセッサおよびメモリで構成する場合の例を示す図である。処理回路がプロセッサ91およびメモリ92で構成される場合、物体同定装置10の処理回路の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ92に格納される。処理回路では、メモリ92に記憶されたプログラムをプロセッサ91が読み出して実行することにより、各機能を実現する。すなわち、物体同定装置10において、処理回路は、観測位置が同一物体の由来か否かを判定することが結果的に実行されることになるプログラムを格納するためのメモリ92を備える。また、これらのプログラムは、物体同定装置10の手順および方法をコンピュータに実行させるものであるともいえる。なお、センサ設置情報記憶部11および地図情報記憶部12のメモリはメモリ92と同一であってもよい。
ここで、プロセッサ91は、CPU(Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはDSP(Digital Signal Processor)などであってもよい。また、メモリ92には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(登録商標)(Electrically EPROM)などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはDVD(Digital Versatile Disc)などが該当する。
図10は、本実施の形態にかかる物体同定装置10の処置回路を専用のハードウェアで構成する場合の例を示す図である。処理回路が専用のハードウェアで構成される場合、図10に示す処理回路93は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。物体同定装置10の各機能を機能別に処理回路93で実現してもよいし、各機能をまとめて処理回路93で実現してもよい。
なお、物体同定装置10の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
以上説明したように、本実施の形態によれば、物体同定装置10は、地図情報を記憶し、地図情報で示されるエリアが複数の領域に細分化されていることによって、カーブを走行する車両の運動モデルを各領域において全て直線を運動するモデルに置き換えることとした。これにより、物体同定装置10は、物体すなわち車両を同定する際の処理負荷を低減することができる。
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
10 物体同定装置、11 センサ設置情報記憶部、12 地図情報記憶部、13 共通座標変換部、14 領域判定部、15 道基準位置変換部、16 位置推定部、17 比較部、18 同定処理部、20 路側装置。

Claims (9)

  1. 道路の情報を示す地図情報を記憶する地図情報記憶部と、
    複数のセンサから物体が観測された観測位置を示す観測位置情報を取得し、前記観測位置が前記地図情報で示されるエリアを分割したいずれかの領域内にあるか否かを判定する領域判定部と、
    前記地図情報の領域内と判定された前記観測位置を、前記地図情報を用いて、前記地図情報で示される領域の想定道路方向と平行な方向での位置を示す進行方向位置、および前記領域の想定道路方向と直交する方向での位置を示す横断方向位置に変換する道基準位置変換部と、
    複数の観測位置を進行方向順に並び替え、進行方向の前後の観測位置同士でペアを作成し、ペアの観測位置同士で前記進行方向位置の差分および前記横断方向位置の差分を算出し、各差分が各項目で規定された閾値以内のペアの観測位置は同一物体に由来するものと判定し、少なくとも1つの差分が閾値より大きいペアの観測位置は異なる物体に由来するものと判定する比較部と、
    を備えることを特徴とする物体同定装置。
  2. 前記道基準位置変換部は、さらに、前記地図情報の領域内と判定された前記観測位置での物体の前記進行方向での速度を示す進行方向速度を算出し、
    前記比較部は、さらに、ペアの観測位置同士で前記進行方向速度の差分を算出し、各差分が各項目で規定された閾値以内のペアの観測位置は同一物体に由来するものと判定し、少なくとも1つの差分が閾値より大きいペアの観測位置は異なる物体に由来するものと判定する、
    ことを特徴とする請求項1に記載の物体同定装置。
  3. 前記地図情報は、当該地図情報で示される前記エリアが複数の領域に分割され、各領域は、各領域内で前記道路を直線近似できるサイズに分割されている、
    ことを特徴とする請求項1または2に記載の物体同定装置。
  4. 前記地図情報には、地図情報で示される道路の基準点である地図全体で共有する開始点、各領域での道路の基準点である領域の道開始点、地図情報で示される地図のエリアの分割状態を示す領域の分割情報、各領域での道路の方向を定めた領域の想定道路方向、前記物体が前記領域の想定道路方向で移動した場合に通過する領域の順番を示す領域の通過順序、および、前記地図全体で共有する開始点から各領域の道開始点までの距離を示す領域の道開始点距離の情報が含まれる、
    ことを特徴とする請求項3に記載の物体同定装置。
  5. 前記比較部で同一物体に由来すると判定されたペアの観測位置について、2つの観測位置のうち一方の観測位置の観測位置情報を削除、または2つの観測位置を統合した観測位置情報を生成する同定処理部、
    を備えることを特徴とする請求項1から4のいずれか1つに記載の物体同定装置。
  6. 前記複数のセンサの設置位置の情報であるセンサ設置情報を記憶するセンサ設置情報記憶部と、
    前記複数のセンサから取得した前記観測位置情報で示される観測位置が各センサにおいて相対的な位置で示されていた場合、前記センサ設置情報を用いて、前記観測位置を各センサで共通の絶対座標の位置に変換する共通座標変換部と、
    を備えることを特徴とする請求項1から5のいずれか1つに記載の物体同定装置。
  7. 前記複数のセンサから取得した前記観測位置情報の取得時刻が観測位置情報毎に異なるとき、前記道基準位置変換部で変換された各観測位置を、基準となる参照時刻に取得した場合に推定される観測位置に変換する位置推定部、
    を備えることを特徴とする請求項1から6のいずれか1つに記載の物体同定装置。
  8. 請求項1から7のいずれか1つに記載の物体同定装置を備えることを特徴とする路側装置。
  9. 領域判定部が、複数のセンサから物体が観測された観測位置を示す観測位置情報を取得し、前記観測位置が、道路の情報である地図情報で示されるエリアを分割したいずれかの領域内にあるか否かを判定する判定ステップと、
    道基準位置変換部が、前記地図情報の領域内と判定された前記観測位置を、前記地図情報を用いて、前記地図情報で示される領域の想定道路方向と平行な方向での位置を示す進行方向位置、および前記領域の想定道路方向と直交する方向での位置を示す横断方向位置に変換する変換ステップと、
    比較部が、位置変換後の複数の観測位置を進行方向順に並び替え、進行方向の前後の観測位置同士でペアを作成し、ペアの観測位置同士で前記進行方向位置の差分および前記横断方向位置の差分を算出し、各差分が各項目で規定された閾値以内のペアの観測位置は同一物体に由来するものと判定し、少なくとも1つの差分が閾値より大きいペアの観測位置は異なる物体に由来するものと判定する比較ステップと、
    を含むことを特徴とする物体同定方法。
JP2019518678A 2017-05-17 2017-05-17 物体同定装置、路側装置および物体同定方法 Active JP6567227B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018570 WO2018211638A1 (ja) 2017-05-17 2017-05-17 物体同定装置、路側装置および物体同定方法

Publications (2)

Publication Number Publication Date
JP6567227B2 JP6567227B2 (ja) 2019-08-28
JPWO2018211638A1 true JPWO2018211638A1 (ja) 2019-11-07

Family

ID=64273522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518678A Active JP6567227B2 (ja) 2017-05-17 2017-05-17 物体同定装置、路側装置および物体同定方法

Country Status (5)

Country Link
US (1) US20210223061A1 (ja)
EP (1) EP3618027B1 (ja)
JP (1) JP6567227B2 (ja)
CN (1) CN110612561A (ja)
WO (1) WO2018211638A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7269103B2 (ja) * 2019-06-05 2023-05-08 日立Astemo株式会社 電子制御装置、制御方法、自動運転システム
JPWO2021187455A1 (ja) * 2020-03-18 2021-09-23
CN111537990B (zh) * 2020-04-27 2022-02-22 西安象德信息技术有限公司 一种车道的标定方法、装置以及电子设备
WO2023145494A1 (ja) * 2022-01-27 2023-08-03 京セラ株式会社 情報処理装置及び情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344689A (ja) * 2000-06-02 2001-12-14 Hiroshi Imai 車両対応付け装置及び方法
KR100520166B1 (ko) * 2003-03-14 2005-10-10 삼성전자주식회사 네비게이션시스템에서 이동체의 위치검출장치 및 그 방법
JP4451179B2 (ja) * 2004-03-26 2010-04-14 クラリオン株式会社 車線位置検知システム
JP2006153736A (ja) 2004-11-30 2006-06-15 Mitsubishi Electric Corp 目標追尾装置
JP4561346B2 (ja) * 2004-12-08 2010-10-13 株式会社豊田中央研究所 車両運動推定装置及び移動体検出装置
WO2015194371A1 (ja) * 2014-06-19 2015-12-23 日立オートモティブシステムズ株式会社 物体認識装置及びそれを用いた車両走行制御装置

Also Published As

Publication number Publication date
JP6567227B2 (ja) 2019-08-28
EP3618027A4 (en) 2020-05-06
EP3618027B1 (en) 2021-06-23
CN110612561A (zh) 2019-12-24
US20210223061A1 (en) 2021-07-22
EP3618027A1 (en) 2020-03-04
WO2018211638A1 (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
JP6567227B2 (ja) 物体同定装置、路側装置および物体同定方法
US20200049511A1 (en) Sensor fusion
US9274526B2 (en) Autonomous vehicle and method of estimating self position of autonomous vehicle
JP6272566B2 (ja) 経路予測装置
US10883836B2 (en) Travel-lane estimation system
US9283967B2 (en) Accurate curvature estimation algorithm for path planning of autonomous driving vehicle
JP6747269B2 (ja) 物体認識装置
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
JP2019108116A (ja) 車両の縦方向速度を制御する装置及び方法
US9002513B2 (en) Estimating apparatus, estimating method, and computer product
JP2015004814A (ja) レーン地図生成装置及びプログラム
US11415686B2 (en) Method of modelling a scanning distance sensor for prototyping parameters of such sensor and/or for prototyping software processing the output of such sensor
US20220176989A1 (en) High precision position estimation method through road shape classification-based map matching and autonomous vehicle thereof
KR20180038154A (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
US11567501B2 (en) Method and system for fusing occupancy maps
US11087147B2 (en) Vehicle lane mapping
US20220205804A1 (en) Vehicle localisation
JP2017154516A (ja) 衝突判定装置、衝突判定方法、およびプログラム
KR20210135753A (ko) 라이다 기반의 차량 위치 추정 방법 및 장치
JP5433289B2 (ja) 自動走行車両及び道路形状認識装置
US20210264170A1 (en) Compensation for vertical road curvature in road geometry estimation
JP2019199160A (ja) 走行軌跡認識装置、走行軌跡認識方法、車両制御装置、および車両制御方法
CN113261007A (zh) 用于自动和自主车辆的多传感器数据融合的方法和装置
CN116164763A (zh) 目标航向角确定方法、装置及电子设备、存储介质
JP7344744B2 (ja) 路側端検出方法、及び、路側端検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190530

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190530

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190730

R150 Certificate of patent or registration of utility model

Ref document number: 6567227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250