JP6589570B2 - センター処理装置、地図生成システム、及びプログラム - Google Patents

センター処理装置、地図生成システム、及びプログラム Download PDF

Info

Publication number
JP6589570B2
JP6589570B2 JP2015217728A JP2015217728A JP6589570B2 JP 6589570 B2 JP6589570 B2 JP 6589570B2 JP 2015217728 A JP2015217728 A JP 2015217728A JP 2015217728 A JP2015217728 A JP 2015217728A JP 6589570 B2 JP6589570 B2 JP 6589570B2
Authority
JP
Japan
Prior art keywords
information
positioning
moving
center processing
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015217728A
Other languages
English (en)
Other versions
JP2017090121A (ja
Inventor
清澄 城殿
清澄 城殿
淳一 目黒
淳一 目黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2015217728A priority Critical patent/JP6589570B2/ja
Publication of JP2017090121A publication Critical patent/JP2017090121A/ja
Application granted granted Critical
Publication of JP6589570B2 publication Critical patent/JP6589570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、センター処理装置、地図生成システム、及びプログラムに関する。
従来より、ナビゲーション装置等に記憶された地図情報に対して新規道路情報を追加するために生成する地図情報生成システムが提供されている(特許文献1参照)。特許文献1の地図情報生成システムでは、走行軌跡情報を受信した地図配信センターは、受信したデータを収集して、更に、同一の道路を走行する走行軌跡情報をグループ化した後に、グループ毎に一の新規道路に関する新規道路情報を生成している。
また、プローブカーのプローブ情報から道路地図におけるコンテンツの現在道路情報を生成し、コンテンツに関して道路地図に付随した地図上道路情報と現在道路情報とを所定のルールに基づいて比較し、両者が相違しているとき、コンテンツを道路地図上において顕現化し、又は地図上道路情報を現在道路情報に置き換える技術が提案されている(特許文献2参照)。
また、車両に搭載された汎用GPSセンサと、車速やヨーレイトなどの車両情報を活用して高精度な路面画像を生成し、生成した路面画像から画像処理により道路情報を自動抽出する手法が提案されている(非特許文献1参照)。
また、車載用の汎用GPSと車両情報(車速・ヨーレイト)から生成した路面画像から、レーンレベルの地図を自動生成する手法が提案されている(非特許文献2参照)。レーンレベル地図とは、リンクとノードで道路網を表現した一般的なナビ地図ではなく、道路のレーン配置や幅、交差点におけるレーンの接続関係までを表現した詳細な道路地図である。これらの情報は、道路上でクルマの制御を精緻に行うために必要であり、将来の自動運転システム等での活用を想定したものである。
特開2008−164826号公報 特開2005−062854号公報
J. Meguro, et al., "Road Image Generation with Probe Vehicle Data Using Low-Cost Sensors for ADAS," in Proc. 12th Int Symp. on Advanced Vehicle Control, pp. 361-367, Sept. 2014. C. Guo, et al., "Automatic Lane-Level Map Generation for Advanced Driver Assistance Systems Using Low-Cost Sensors," in Proc. of 2014 IEEE Int. Conf. on Robotics and Automation, pp. 3975-3982, June 2014.
上記のように、プローブデータを活用して、新規道路情報を生成したり、変化した道路情報を判定するシステムが、これまでに数多く提案されている。
特許文献1の手法では、GPSによって自車の現在位置を検出し、ナビ地図を用いたマップマッチング処理により地図データ上での自車位置を特定している。しかしながら、一般的にGPSの単独測位で計測される絶対位置は10m程度の誤差を含むため、地図がある場所であれば、どの道路を走っているかは分かるが、どのレーンを走行しているかまでは判別できない。また、地図情報が現実と一致しない新規道路や更新が必要な道路ではマップマッチングでも場所を特定することが難しいという問題がある。
また、特許文献2では、地図上の道路情報とプローブ情報から作成した道路情報を比較して地図情報の更新を判定しているが、ここでセンターに通信される座標情報はGPSで計測した緯度・経度を想定している。上述した特許文献1の課題と同様に、単独測位の精度では、地図と道路単位で照合することはできても、レーン単位で照合することは難しい。したがって、レーンの形状変化など、詳細な道路変化については更新することが難しい。また、複数台からのプローブ情報を照合する際にも同じ問題が含まれる。
また、非特許文献1、及び非特許文献2の手法では、複数の走行データをレーンレベルで位置合わせして統合することで高精度な路面画像を生成し、そこから道路地図情報を抽出している。ここでは、GPSと車両の内界センサを組合せて、走行軌跡の精度を向上する技術が使われている。しかし、それでも絶対位置の精度は数mである。GPS衛星の配置や道路周辺の構造物の影響により絶対位置がばらつくため、同じ道路の同一レーンを走行した場合でも、GPS単独測位の結果で位置を合わせるとレーンレベルで照合することは難しい。単路は比較的問題ないが、複数車線の道路では問題となる。また、周辺の高層ビルや高架等でGPS衛星の受信状態が劣化すると、単独測位では地図生成・更新に必要な位置精度を確保することが難しくなるという問題がある。
本発明は、上記問題点を解決するために成されたものであり、高精度な地図情報を生成するために移動体の位置を精度よく推定することができるセンター処理装置、地図生成システム、及びプログラムを提供することを目的とする。
上記目的を達成するために、第1の発明に係るセンター処理装置は、移動体上に設置された情報収集装置から送信された、発信源から前記情報収集装置が受信した前記移動体の絶対位置を示す発信源情報、及び前記発信源情報から推定された前記移動体の位置情報を受信する受信手段と、前記受信手段によって受信した前記発信源情報を、予め定めた手法により解析し、前記移動体の位置を推定する位置推定手段と、を含んで構成されている。
また、第1の発明に係るセンター処理装置において、前記受信手段は、前記情報収集装置から、前記発信源からの受信状態が悪いときに送信された、前記移動体の絶対位置を示す発信源情報を受信するようにしてもよい。
また、第1の発明に係るセンター処理装置において、前記受信手段は、前記情報収集装置から、前記移動体が、前記発信源情報の取得が必要なエリア内にいるときに送信された、前記移動体の絶対位置を示す発信源情報を受信するようにしてもよい。
また、第1の発明に係るセンター処理装置において、データ層別手段を更に含み、前記受信手段は、前記情報収集装置から、更に前記移動体の周辺の環境情報を受信し、前記データ層別手段は、前記位置推定手段によって複数の移動体の各々について推定した前記移動体の位置に基づいて、前記複数の移動体を、走行レーン単位のグループに分割し、前記グループ毎に、前記グループに属する前記移動体の周辺の環境情報を分類するようにしてもよい。
また、第1の発明に係るセンター処理装置において、前記データ層別手段は、前記位置推定手段によって複数の移動体の各々について推定した前記移動体の位置に基づいて、前記複数の移動体の各々の走行軌跡を生成し、前記走行軌跡の横位置の分布のピークを基準として、前記ピーク毎に、前記ピークを含む予め定めた範囲に前記走行軌跡が含まれる前記移動体が、前記走行レーン単位のグループに属するように分割するようにしてもよい。
また、第1の発明に係るセンター処理装置において、前記グループ毎に、前記グループに属する前記移動体の周辺の環境情報を合成して、前記グループの走行レーンにおける道路地図情報を形成する環境情報合成手段を更に含むようにしてもよい。
第2の発明に係る地図生成システムは、移動体上に設置された情報収集装置であって、発信源から受信した前記移動体の絶対位置を示す発信源情報、及び前記発信源情報から推定された前記移動体の位置情報を取得する情報取得手段、及び前記情報取得手段によって取得した前記位置情報を送信すると共に、予め定められた判定条件を満たしたときに、前記情報取得手段によって取得した前記発信源情報を送信する第一通信手段、を含む情報収集装置と、前記情報収集装置から送信された前記発信源情報及び前記位置情報を受信する第二通信手段、及び前記第二通信手段によって受信した前記発信源情報を、予め定めた手法により解析し、前記移動体の位置を推定する位置推定手段を含むセンター処理装置と、を備える。
また、第2の発明に係る地図生成システムにおいて、前記情報収集装置は前記発信源からの受信状態を推定し、前記判定条件として、推定した受信状態が悪いか否かを判定する受信状態判定手段を更に含み、前記第一通信手段は、前記受信状態が良い場合には、前記移動体の位置情報を送信し、前記受信状態が悪い場合には、前記移動体の絶対位置を示す発信源情報を送信するようにしてもよい。
また、第2の発明に係る地図生成システムにおいて、前記センター処理装置は、前記発信源情報の取得が必要な要求エリアを設定する要求エリア設定手段を更に含み、前記第二通信手段は、設定された前記要求エリアを前記情報収集装置に送信し、前記情報収集装置は、前記判定条件として、前記センター処理装置から受信した前記要求エリア内に、前記移動体が存在するか否かを判定する要求エリア判定手段を更に含み、前記第一通信手段は、前記要求エリア内に存在すると判定された場合には、前記移動体の絶対位置を示す発信源情報を送信するようにしてもよい。
第3の発明に係るプログラムは、コンピュータを、移動体上に設置された情報収集装置から送信された、発信源から前記情報収集装置が受信した前記移動体の絶対位置を示す発信源情報、及び前記発信源情報から推定された前記移動体の位置情報を受信する受信手段、及び前記受信手段によって受信した前記発信源情報を、予め定めた手法により解析し、前記移動体の位置を推定する位置推定手段、として機能させるためのプログラムである。
本発明のセンター処理装置、地図生成システム、及びプログラムによれば、高精度な地図情報を生成するために移動体の位置を精度よく推定することができる。
本発明の第1の実施の形態に係る地図生成システムの構成を示すブロック図である。 撮影画像から路面画像へ投影する処理の一例を示す抽象図である。 高速道路を走行して生成した路面画像の一例を示す抽象図である。 計測ごとにセンター処理装置に情報が送信されるイメージを示す図である。 走行軌跡の分布の一例を示す図である。 地図中のレーン中心の一例を示す図である。 最寄のレーン位置探索の一例を示す図である。 本発明の実施の形態に係る情報収集装置における情報収集処理ルーチンを示すフローチャートである。 本発明の実施の形態に係るセンター処理装置におけるセンター処理ルーチンを示すフローチャートである。 本発明の第2の実施の形態に係る地図生成システムの構成を示すブロック図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
<本発明の実施の形態に係る概要>
まず、本発明の実施の形態における概要を説明する。
本発明の実施の形態に係る手法は、プローブカーからの情報を集約して、センター処理装置側で道路地図情報を自動生成・更新する装置に関する。無線通信で集約する情報の中に、測位装置で受信した受信信号データを含め、センター処理装置側で高精度な位置推定を行うことで、移動体上での単独測位では対応できない環境での地図生成を実現する点を特徴とする。
プローブカーを用いたシステム構成は従来より数多く提案されているが、それらでは単独測位の結果である位置情報(緯度・経度)や、位置情報に基づいてナビ地図とマップマッチングして補正された位置情報がセンター側に送られる。しかしながら、道路地図、特に自動運転や高度な運転支援に使われる高精度地図には走行レーンレベルの詳細な情報が要求されるため、単独測位の位置精度で収集したデータでは道路情報を自動生成できる範囲が限定されてしまう。
例えば、片側1車線の単路であれば、単独測位の結果がばらついたデータであっても同一レーンを走行したデータであるとグループ化できる。しかしながら、単独測位の精度(〜10m程度)では、複数車線の場合、どちらのレーンを走ったデータかを決めることは難しい。レーンマークのパターンを手掛かりにする方法もあるが、パターン認識手段が必要であるし、3車線より多ければ、中央付近のレーンは左右どちらも同じ破線のレーンマークで区別がつかないことも容易に想定される。
また、道路上に高架があったり、周囲に高い建造物があると、マルチパスや補足できる衛星数の低下により位置推定精度がさらに劣化する場合も多く、レーンレベルの位置決めは難しい。
そのため、本実施の形態では測位衛星から受信した受信信号をセンターに集め、RTK等の処理を施して高精度な位置を推定する。測位結果の位置情報のみに比べて、通信量は増加するが、地図生成には他の車載センサ情報も必須であり、それらの情報に比べれば測位情報の増加分は決して大きくない。また、移動体側に固定基地局からの補正情報を得るための受信機をそれぞれ搭載する必要もない。
以下、図面を参照して本発明の実施の形態に係る地図生成システムの具体的な構成について説明する。なお、車載センサを活用して生成した路面画像から道路情報を自動生成する技術を用いて地図情報を収集するシステムを想定して解説する。
<本発明の第1の実施の形態に係る地図生成システムの構成>
次に、本発明の第1の実施の形態に係る地図生成システム100の構成について説明する。図1に示すように、本発明の第1の実施の形態に係る地図生成システム100は、車両(プローブカー)上に搭載された情報収集装置200と、情報収集装置200から送信された情報を処理するセンター処理装置300とを備えており、情報収集装置200とセンター処理装置300との間ではネットワーク1を介した通信が行われる。なお、以下説明の便宜のため1つの情報収集装置200で行われる処理を例に説明するが、地図生成システム100においては、複数の車両に情報収集装置200が搭載されており、複数の情報収集装置200で収集された情報が、センター処理装置300に送信されるものとする。
情報収集装置200は、機能的には図1に示すように環境認識センサ10と、測位装置12と、車両センサ14と、コンピュータ220とを備えている。
センター処理装置300は、コンピュータで構成されている。
環境認識センサ10は、車載カメラやレーザレーダで構成され、車外の障害物や走路情報(例えばレーンマークや路面標示等)といった観測情報を検出するセンサである。本実施の形態では車載カメラによって路面画像を撮像する。
測位装置12は、自車両の絶対位置を計測する装置であり、例えば測位用衛星からの受信信号を検出するGPSセンサを用いて構成され、複数のGPS衛星からの受信信号に基づいて、自車両の絶対位置を計測する。
車両センサ14は、自車両の車速、及びヨーレイト等の車両運動情報を計測する。
情報収集装置200のコンピュータ220は、CPUと、RAMと、後述する情報収集処理ルーチンを実行するためのプログラムを記憶したROMと、これらを接続するバスとを含んで構成されている。このコンピュータ220をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センサ情報取得部20と、走行軌跡推定部22と、環境情報生成部24と、測位情報抽出部26と、地図データベース30と、要求エリア判定部32と、情報収集通信部34と、を含んだ構成で表すことができる。なお、測位情報抽出部26が情報取得手段の一例である。
センサ情報取得部20は、環境認識センサ10によって検出された観測情報と、測位装置12が測位衛星から受信した受信信号と、測位装置12による自車両の絶対位置の測位結果と、車両センサ14によって計測された車両運動情報とを取得する。
走行軌跡推定部22は、センサ情報取得部20で取得した、測位衛星からの受信信号と、自車両の車両運動情報とに基づいて、自車両の走行軌跡を推定する。自車の走行軌跡の推定には参考文献1に記載の既存のアルゴリズムを用いる。なお、推定される自車両の走行軌跡が、発信源情報から推定された移動体の位置情報の一例である。
[参考文献1]:J. Meguro et al., “Automotive positioning based on bundle adjustment of GPS raw data and vehicle trajectory,” Proc. Int. Tech. Meet. of the Satellite Division of the Institute of Navigation, pp. 1005-1010, Sep. 2011.
参考文献1に記載の手法は、GPSの受信信号と、車速・ヨーレイトなどの車両運動情報を組み合わせて自車の走行軌跡を高精度に推定する手法である。他に、カメラやレーザの観測情報を時系列処理することで自車の動きを推定する手法などを用いてもよい。
環境情報生成部24は、走行軌跡推定部22によって推定された走行軌跡と、環境認識センサ10によって検出された観測情報とに基づいて、走行軌跡に沿った路面画像を生成する。なお、路面画像が、移動体の周辺の環境情報の一例である。
環境情報生成部24の処理の前提として、環境認識センサ10の車載カメラでは、予め参考文献2(Z.Zhang,“A Flexible New Technique for Camera Calibration.”,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),p.1330-1334,2000.)の方法を用いてキャリブレーションされ、内部パラメータ行列A、及び外部パラメータ行列[R|t]は求められているものとする。走行軌跡推定部22により推定された走行軌跡における自車両の位置情報から得られる自車両の方向(yaw角)をφ[rad]、スケール変数をs、車載カメラの設置位置の高さをh[m]とすると、実空間上の位置(e,n)[m]と画像中の位置(x,y)[pixel]との関係は以下の(1)式で与えられる。
ここで、Aは車載カメラの内部パラメータ、行列[R|t]は外部パラメータである。
環境情報生成部24は、上記(1)式の関係式に従って、自車両の位置情報を用いて、画像上の各画素の実位置を求めると共に、路面を所定間隔で区切ったグリッド上(例えば1グリッドあたり5cm)に画素値を投影することで、撮影画像から路面画像を生成する。また、撮影画像をフーレム単位で変換し、グリッド上に重畳していくことで、車両が走った経路に沿った路面画像が生成する。グリッドは一般的な地図座標に合わせて、右方向を東、上方向を北とするが、座標系の設定は任意でよい。
図2に撮影画像から路面画像へ投影する処理の一例を示す。また、図3に高速道路を走行して生成した路面画像の一例を示す。
測位情報抽出部26は、センサ情報取得部20で取得した受信信号のうち、センター処理装置300による位置推定に必要な測位情報を抽出する。具体的には、測位情報として、衛星までの疑似距離、ドップラー周波数、及び搬送波位相などを、観測できた衛星ごとに抽出する。また、測位情報抽出部26は、取得した受信信号の受信状態を識別する。受信状態は、受信した衛星信号の数や衛星信号のSN比等により識別できる。
地図データベース30には、道路情報が格納されている。道路情報は、広く普及しているナビゲーション向けの地図(道路構造をリンク及びノードで表現したもの)、レーンマークの位置、形状、幅、種別を表した情報である。
要求エリア判定部32は、地図データベース30の道路情報を参照して、後述するセンター処理装置300の要求エリア設定部50によって設定された要求エリア内に、自車両が存在するか否かを判定する。具体的には、測位装置12による測位結果(現在だけでなく過去からの履歴も利用)、走行軌跡推定部22で推定した自車両の走行軌跡、又は環境情報生成部24で生成した路面画像等の観測結果を、地図データベース30の道路情報と照合して、地図中における自車両の位置を特定する。特定した自車位置が要求エリア内であれば、情報収集通信部34を介して、測位情報抽出部26で抽出した測位情報と路面画像とをセンター処理装置300へ送信する。この際、受信状態の識別結果も合わせてセンター処理装置300へ送信する。一方、自車両が要求エリア外を走行している場合には、情報収集通信部34を介して、測位情報は送信せずに、測位装置12による測位結果(緯度・経度などの位置情報)を路面画像とともにセンター処理装置300へ送信する。なお、情報収集通信部34が、第一通信手段の一例である。
センター処理装置300は、CPUと、RAMと、後述する情報収集処理ルーチンを実行するためのプログラムを記憶したROMと、これらを接続するバスとを含むコンピュータで構成されている。このコンピュータをハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センター通信部40と、高精度位置推定部42と、環境情報作成部43と、データ層別部44と、データベース46と、環境情報合成部48と、要求エリア設定部50と、高精度地図データベース60と、を含んだ構成で表すことができる。
センター通信部40は、複数の車両上に備えられた情報収集装置200から送信された複数の車両の各々についての、測位情報又は位置情報、路面画像、及び受信状態を受信する。また、後述する要求エリア設定部50で設定された要求エリアを情報収集装置200に送信する。なお、センター通信部40が、受信手段、及び第二通信手段の一例である。
高精度位置推定部42は、センター通信部40によって受信した測位情報を、予め定めた手法により解析し、測位情報を送信した車両の絶対位置を推定する。高精度位置推定部42は、例えば、RTK−GPS(Realtime Kinematic GPS)と呼ばれる干渉測位を実施する。この方法では固定基準局から配信されている補正観測情報が必要であるため、補正観測情報は別途ネットワーク1を介して固定基準局3から取得する。補正観測情報には、固定基準局3の予め求められた位置情報と、測位衛星からの受信信号に基づいて固定基準局3が観測した測位情報とのずれ量を表したものを用いる。具体的な位置推定の計算方法としては従来公知ものを用いればよいため、説明を省略する。L1/L2の2周波を使う構成もあるが、移動体側の測位装置(アンテナ)を低価格にするため、L1のみを使う構成でも構わない。
ここで、RTK−GPSの計算に必要な測位情報のデータ量について概算する。1衛星から受信する測位情報のデータを疑似距離、ドップラー周波数、搬送波位相の3つと考える。それぞれfloat型の4byteで表現できるため、観測できる衛星数の上限を7個とすると、1回あたりの観測データは84バイトである。走行中に2m間隔で情報を保存したとして、1km当たりのデータ量は無圧縮で約41キロバイトである。カメラ画像のデータ量は解像度を640x480画素、RGBの3チャネルとしても、1枚の画像で約900kBであることを考えると、測位情報のデータ量は比較的少なく済む。図4のイメージに示すように、計測ごとにセンター処理装置300に情報が送信される。なお、干渉測位にRTK−GPSを用いる場合を例に説明したが、これに限定されるものではなく、高精度に位置を求める手法であれば、どのような位置推定の手法を用いても構わない。また、図4にように計測ごとに逐次的にデータをアップロードする構成に限定されるものではなく、例えば、情報収集装置200の内部にデータを一時保存しておき、通信可能なエリアや所定時間帯に、蓄積されたデータをセンター処理装置300に送信するように構成することもできる。
環境情報作成部43は、センター通信部40によって受信した受信状態に基づいて、受信状態が悪い場所である場合に、高精度位置推定部42で推定された位置情報から求められる走行軌跡に基づいて、情報収集装置200の環境情報生成部24と同様の手法を用いて、路面画像を作成し、データベース46に格納する。情報収集装置200においては、自車の走行軌跡を推定して環境情報を生成するが、衛星配置や受信状態が悪い場合には、推定される走行軌跡の精度も劣化している可能性がある(測位情報を使わず、車両センサと環境認識センサのみから自車軌跡を推定している場合はこれに当たらない)。そこで、センター処理装置300で精度の良い位置情報が推定できた後、その位置情報に基づく走行軌跡を用いて路面画像を生成した方が精度の高い路面画像を得ることができる。環境情報作成部43の処理は、受信状態が悪い場所などに限定して、センター側で路面画像を修正することが有効である。
データ層別部44は、高精度位置推定部42によって複数の車両の各々について推定した車両の位置、又はセンター通信部40で受信した複数の車両の各々についての路面画像に含まれる走行軌跡から得られる複数の車両の位置情報に基づいて、複数の車両を、走行レーン単位のグループに分割し、グループ毎に、グループに属する車両の路面画像を分類し、データベース46に格納する。また、データ層別部44は、高精度位置推定部42によって複数の車両の各々について推定した車両の位置に基づいて、複数の車両の各々の走行軌跡を生成し、生成した走行軌跡、又はセンター通信部40で受信した車両の各々についての路面画像に含まれる走行軌跡に基づいて、走行軌跡の横位置の分布のピークを基準として、ピーク毎に、ピークを含む予め定めた範囲に走行軌跡が含まれる車両が、走行レーン単位のグループに属するように分割する。
データ層別部44は、具体的には、まず、図5に示すように、複数の車両の各々についての走行軌跡に基づいて、軌跡分布のピークをとる。ピーク毎に、所定範囲に入るデータ群を、同一レーンを走行したデータ群としてグループ化することができる。前段の高精度位置推定部42の処理により位置精度が向上しているので、走行軌跡のバラつきも大きくなく、グループ化は比較的容易である。隣接レーンの近くを走行したデータは曖昧性が残るため、使わないように所定範囲を設定すればよい。また、レーンの数が予め分かっていれば、その情報を活用することでグループ化の精度を高めることもできる。また、図6に示すように、地図中のレーン中心などの位置座標が分かっていれば、軌跡分布を調べることなく、収集データの位置情報から直接、走行したレーンを判定することもできる。また、図7に示すように、進行方向と位置情報により地図中から走行中の道路情報を抽出し、最寄のレーン位置を探索して走行レーンを決定すればよい。
このように、データ層別部44における走行レーン単位のグループ化は、観測状況が良い場所では単独測位の結果を使っても可能である。しかしながら、位置精度が低いままでは、軌跡の分布範囲が広がり、ピーク位置が不明瞭となる。したがって、データ層別にはより多くのデータが必要であり、レーン間に分布する、曖昧で使えないデータが増えるため、システム全体として効率が低下する。さらに、測位条件が悪い場所では位置精度がさらに低下するため、グループ化自体が困難になる。本実施の形態では、高精度位置推定部42で推定した高精度な位置情報を活用することで、これらの課題を克服することができる。
データベース46には、また、環境情報作成部43で作成された車両の路面画像が格納されており、車両の路面画像はデータ層別部44で各グループに分類される。また、環境情報合成部48で合成された道路地図情報が格納される。また、受信状態に関するデータが格納される。
環境情報合成部48は、グループ毎に、データベース46に格納された、当該グループに属する車両の周辺の路面画像を合成して、当該グループの走行レーンにおける道路地図情報を形成する。具体的には、同一グループに属する路面画像を合成し、観測位置を平均化する。そして、合成した路面画像から、レーンマークや横断歩道等を検出し、レーンの中心位置や幅の情報を抽出して、最終的な道路地図情報を形成する。この処理には非特許文献2に記載のアルゴリズムを用いる。
このように環境情報合成部48の処理によって、1回の走行データでは周辺の車両や照明条件によって路面がうまく取れていないケースに対して、位置情報を手掛かりに、複数走行データを合成することで情報を補間することができる。また、位置推定精度を向上したとはいえ、それでも数10cmの誤差は含まれている可能性があるため、複数の路面画像を画像間で照合し、ずれ量を平均化して位置を算出し直すことで、測位に含まれるランダムな誤差を低減することができる。
要求エリア設定部50は、センター通信部40で受信した受信状態に基づいて、発信源情報の取得が必要な要求エリアを設定する。衛星の受信状態は情報収集装置から送られてくるため、センター処理装置300ではどのエリアで受信状態が悪いかを識別することができる。データベース46に格納された受信状態を用いて、受信状態が芳しくないエリアを要求エリアに設定し、情報収集装置200へ送信する。ここで、エリア設定の基準として、取得時間に関係なく、定常的に受信状態が芳しくないエリアのみを抽出する。また、衛星配置との関係まで考慮し、その時間帯において受信状態が芳しくないエリアを抽出するようにしてもよい。この場合、時間とともにエリアが変更される。また、受信状態に関するデータが十分足りていない場所も、要求エリアに入れる必要がある。また、データベースの受信状態に関するデータがない場所でも同様である。高架道路の存在などから、既存地図からでもある程度予想できる受信劣化場所については別途定義しておいても構わない。
高精度地図データベース60には、環境情報合成部48によって合成された道路地図情報の内容に基づいて更新された高精度地図が格納される。高精度地図においては、道路面上の情報として、レーンマークや横断歩道などの路面標示の位置や輪郭情報をデータ化してもつ。
<第1の実施の形態に係る地図生成システムの作用>
次に、第1の実施の形態に係る地図生成システム100の作用について説明する。地図生成システムの処理は、情報収集装置200が行う情報収集処理ルーチンと、センター処理装置300が行うセンター処理ルーチンとに分けて説明される。
まず、情報収集処理ルーチンについて図8を参照して説明する。測位装置12によって複数の測位衛星からの受信信号が逐次取得されると共に自車両の位置情報が逐次計測されているとき、及び車両センサ14によって車両運動情報が逐次計測されているときに、環境認識センサ10によって、自車両前方の撮像が開始されると、情報収集装置200は、図8に示す情報収集処理ルーチンを繰り返し実行する。なお、センター処理装置300から要求エリアを予め受け付けており、要求エリアが設定されている。
ステップS100では、センサ情報取得部20によって、環境認識センサ10によって撮像された画像と、測位装置12が測位衛星から受信した受信信号と、測位装置12による自車両の絶対位置の測位結果と、車両センサ14によって計測された車両運動情報とを一定期間分だけ取得する。
次に、ステップS102では、ステップS100で取得された、測位衛星からの受信信号と、自車両の車両運動情報とに基づいて、自車両の走行軌跡を算出する。
ステップS104では、ステップS100で取得された画像及び自車両の位置情報に基づいて、上記(1)式の関係式に従って、取得した画像を、自車両が走行する路面に投影した路面画像であって、かつ、各画素に位置情報が付与された路面画像を、ステップS102で算出された走行軌跡に沿って生成する。
ステップS106では、ステップS100で取得された、測位衛星からの受信信号のうち、センター処理装置300による位置推定に必要な測位情報を抽出する。
ステップS108では、ステップS100で取得した受信信号の受信状態を識別する。
ステップS112では、設定された要求エリア内に、自車両が存在するか否かを判定し、要求エリア内に存在すると判定された場合には、ステップS114へ移行し、要求エリア内に存在しないと判定された場合には、ステップS116へ移行する。
ステップS114では、ステップS108で取得した受信信号の受信状態、ステップS106で抽出された測位情報、及びステップS104で生成された路面画像を、センター処理装置300へ送信し、ステップS100へ戻り、情報収集処理ルーチンを繰り返す。
ステップS116では、ステップS108で取得した受信信号の受信状態、ステップS100で取得した測位結果である位置情報、及びステップS104で生成された路面画像を、センター処理装置300へ送信し、ステップS100へ戻り、情報収集処理ルーチンを繰り返す。
次に、センター処理ルーチンについて図9を参照して説明する。車両上に備えられた情報収集装置200から送信された、測位情報又は位置情報、路面画像、及び受信状態を受信すると、センター処理装置300は、図9に示すセンター処理ルーチンを繰り返し実行する。
ステップS200では、センター通信部40で受信した情報から得られる車両の位置情報が、要求エリア内のものであるか否かを判定する。受信した情報から得られる車両の位置情報が要求エリア内であればステップS200へ移行し、受信した情報から得られる車両の位置情報であれば要求エリア内でない場合にはステップS208へ移行する。
ステップS202では、受信した情報から得られる車両の位置情報に対応する固定基準局3が提供する補正観測情報を取得する。
ステップS204では、センター通信部40で受信した測位情報を、RTK−GPSにより解析し、測位情報を送信した車両の絶対位置を推定する。
ステップS206では、ステップS204で推定された位置情報に基づいて走行軌跡を生成し、走行軌跡に沿って路面画像を作成し、データベース46に格納する。
ステップS208では、ステップS206で生成した車両の走行軌跡、及びデータベース46に既に格納されている、ステップS204で推定された位置情報に対応する、車両の各々についての路面画像に含まれる走行軌跡に基づいて、走行軌跡の横位置の分布のピークを基準として、ピーク毎に、ピークを含む予め定めた範囲に走行軌跡が含まれる車両が、走行レーン単位のグループに属するように分割する。そして、グループ毎に、グループに属する車両の路面画像を分類し、データベース46に格納する。
ステップS210では、ステップS208での分類結果に基づいて、グループ毎に、当該グループに分類された各車両の路面画像を用いて、同一グループに属する路面画像を合成し、観測位置を平均化する。
ステップS212では、ステップS210で合成した路面画像から、レーンマークや横断歩道等を検出し、レーンの中心位置や幅の情報等を抽出して、最終的な道路地図情報を形成し、高精度地図DB60を更新する。
ステップS214では、センター通信部40で受信した受信状態に基づいて、測位情報の取得が必要な要求エリアの設定を更新する。
ステップS216では、ステップS214で更新した要求設定エリアを情報収集装置200へ送信し処理を終了する。
以上説明したように、第1の実施の形態に係る地図生成システムによれば、情報収集装置が、発信源から受信した車両の絶対位置を示す測位情報、及び車両の位置情報を取得し、要求エリア内である場合に、測位情報を送信し、センター処理装置が、受信した測位情報を、予め定めた手法により解析し、車両の位置を推定することにより、高精度な地図情報を生成するために車両の位置を精度よく推定することができる。
<本発明の第2の実施の形態に係る地図生成システムの構成>
次に、本発明の第2の実施の形態に係る地図生成システムの構成について説明する。なお、第1の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
上記第1の実施の形態では、要求エリアを設定し、要求エリアに応じて情報収集装置200から送信する情報を切り替える場合を例に説明したが、第2の実施の形態では、受信状況に応じて情報収集装置200から送信する情報を切り替える点が異なっている。
図10に示すように、本発明の第2の実施の形態に係る地図生成システム102は、車両(プローブカー)上に搭載された情報収集装置202と、情報収集装置202から送信された情報を処理するセンター処理装置302とを備えており、情報収集装置202とセンター処理装置302との間ではネットワーク1を介した通信が行われる。
情報収集装置202は、機能的には図10に示すように環境認識センサ10と、測位装置12と、車両センサ14と、コンピュータ222とを備えている。
センター処理装置302は、コンピュータで構成されている。
情報収集装置202のコンピュータ222は、CPUと、RAMと、後述する情報収集処理ルーチンを実行するためのプログラムを記憶したROMと、これらを接続するバスとを含んで構成されている。このコンピュータ222をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センサ情報取得部20と、走行軌跡推定部22と、環境情報生成部24と、測位情報抽出部26と、情報収集通信部34と、受信判定部36とを含んだ構成で表すことができる。なお、測位情報抽出部26が情報取得手段の一例である。
受信判定部36は、測位情報抽出部26で識別した受信状態に基づいて、発信源からの受信状態を推定し、推定した受信状態が良いか悪いかを判定する。受信状態は、次に挙げる指標で良し悪しを判定できる。受信した衛星信号の数の指標では、数が多いほど受信状態が良い。衛星信号のSN比の指標では、SN比が高いほど受信状態が良い。衛星仰角の指標では、仰角が高いほど受信状態が良い。衛星配置の指標(DOP)の指標では、DOP値が低いほど受信状態が良い。疑似距離残差(推定位置から衛星までの距離と観測した疑似距離との差(差が大きい衛星の割合などでもよい)の指標では、差が小さいほど受信状態が良い。受信判定部36は、上記の受信状態の情報から、受信状態を判定する。ここでは、単独測位が十分信頼できるレベル/信頼できないレベルの2値判定でもよいが、上記のように複数の情報があるので、受信状態のレベルを段階的に定義してもよい。受信状態が良い場合には、センター処理装置302で必ずしもRTK処理を実施しなくてもデータのグループ化が可能である。したがって、受信状態が悪い場合のみ、情報収集通信部34を介して、測位情報抽出部26で抽出した測位情報と路面画像とをセンター処理装置300へ送信する。この際、受信状態の判定結果も合わせてセンター処理装置300へ送信する。一方、受信状態が良い場合には、情報収集通信部34を介して、測位情報は送信せずに、測位装置12による測位結果(緯度・経度などの位置情報)を路面画像とともにセンター処理装置300へ送信する。これにより、通信データ量を抑制することができる。なお、情報収集通信部34が、第一通信手段の一例である。
センター処理装置302は、CPUと、RAMと、後述する情報収集処理ルーチンを実行するためのプログラムを記憶したROMと、これらを接続するバスとを含むコンピュータで構成されている。このコンピュータをハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センター通信部40と、高精度位置推定部42と、環境情報作成部43と、データ層別部44と、データベース46と、環境情報合成部48と、高精度地図データベース60と、を含んだ構成で表すことができる。要求エリア設定部50が存在しない点が、第1の実施の形態と異なる。
<第2の実施の形態に係る地図生成システムの作用>
次に、第2の実施の形態に係る地図生成システム102の作用について説明する。なお、第1の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
第2の実施の形態では、上記図8に示す情報収集処理ルーチンにおいて、ステップS112の処理を、ステップS108で識別された受信状態に基づいて、受信状態の良し悪しを判定し、受信状態が悪いと判定された場合には、ステップS114へ移行し、受信状態が良いと判定された場合には、ステップS116へ移行する処理に、置き換えて実行する。
また、第2の実施の形態では、上記図9に示すセンター処理ルーチンにおいて、ステップS200の処理を、センター通信部40で受信した受信状態に基づいて、受信状態の良し悪しを判定し受信状態が悪い場合にステップS200へ移行し、受信状態が良い場合にステップS208へ移行する処理に、置き換えて実行する。また、ステップS214〜S216の処理は実行しない。
なお、第2の実施形態の他の構成及び作用は第1の実施の形態と同様であるため、説明を省略する。
以上説明したように、第2の実施の形態に係る地図生成システムによれば、情報収集装置が、発信源から受信した車両の絶対位置を示す測位情報、及び車両の位置情報を取得し、受信状態が悪い場合に、測位情報を送信し、センター処理装置が、受信した測位情報を、予め定めた手法により解析し、車両の位置を推定することにより、高精度な地図情報を生成するために車両の位置を精度よく推定することができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
1 ネットワーク
3 固定基準局
10 環境認識センサ
12 測位装置
14 車両センサ
20 センサ情報取得部
22 走行軌跡推定部
24 環境情報生成部
26 測位情報抽出部
30 地図データベース
32 要求エリア判定部
34 情報収集通信部
36 受信判定部
40 センター通信部
42 高精度位置推定部
43 環境情報作成部
44 データ層別部
46 データベース
48 環境情報合成部
50 要求エリア設定部
60 高精度地図データベース
100、102 地図生成システム
200、202 情報収集装置
220、222 コンピュータ
300、302 センター処理装置

Claims (9)

  1. 複数の移動体上に設置された情報収集装置から送信された、発信源である測位用衛星に関する情報を抽出した測位情報、又は前記測位用衛星からの受信信号に基づく測位結果である前記移動体の位置情報、及び前記移動体の位置情報の走行軌跡に沿った前記移動体の周辺の環境情報を受信する受信手段と、
    前記複数の移動体の各々について、前記受信手段によって前記測位情報を受信した場合には、前記測位情報を予め定めた補正観測情報を用いた手法により解析し、補正された前記移動体の位置を推定する位置推定手段と、
    前記位置推定手段によって複数の移動体の各々について推定した前記移動体の位置、又は前記移動体の周辺の環境情報に含まれる走行軌跡から得られる複数の移動体の位置情報に基づいて、前記複数の移動体を、走行レーン単位のグループに分割し、前記グループ毎に、前記グループに属する前記移動体の周辺の環境情報を分類するデータ層別手段と、
    を含むセンター処理装置。
  2. 前記受信手段は、前記情報収集装置から、前記発信源からの受信状態が悪いときに送信された、前記測位情報を受信し、前記発信源からの受信状態が良いときに送信された、前記移動体の位置情報を受信する請求項1記載のセンター処理装置。
  3. 前記受信手段は、前記情報収集装置から、前記移動体が、前記測位情報の取得が必要なエリア内にいるときに送信された、前記測位情報を受信し、前記移動体が、前記測位情報の取得が必要なエリア内にいないときに送信された、前記移動体の位置情報を受信する請求項1記載のセンター処理装置。
  4. 前記データ層別手段は、前記位置推定手段によって複数の移動体の各々について推定した前記移動体の位置に基づいて、前記複数の移動体の各々の走行軌跡を生成し、生成した前記走行軌跡、又は前記周辺の環境情報に含まれる走行軌跡の横位置の分布のピークを基準として、前記ピーク毎に、前記ピークを含む予め定めた範囲に前記走行軌跡が含まれる前記移動体が、前記走行レーン単位のグループに属するように分割する請求項1〜請求項3の何れか1項に記載のセンター処理装置。
  5. 前記グループ毎に、前記グループに属する前記移動体の周辺の環境情報を合成して、前記グループの走行レーンにおける道路地図情報を形成する環境情報合成手段を更に含む請求項に記載のセンター処理装置。
  6. 複数の移動体上に設置された情報収集装置であって、
    発信源である測位用衛星に関する情報を抽出した測位情報、又は前記測位用衛星からの受信信号に基づく測位結果である前記移動体の位置情報、及び前記移動体の位置情報の走行軌跡に沿った前記移動体の周辺の環境情報を取得する情報取得手段、及び
    前記情報取得手段によって取得した前記移動体の周辺の環境情報を送信すると共に、予め定められた判定条件に従って、前記情報取得手段によって取得した前記測位情報又は前記移動体の位置情報を送信する第一通信手段、
    を含む情報収集装置と、
    前記情報収集装置から送信された前記測位情報又は前記移動体の位置情報、及び前記移動体の周辺の環境情報を受信する第二通信手段
    前記複数の移動体の各々について、前記第二通信手段によって前記測位情報を受信した場合には、前記測位情報を予め定めた補正観測情報を用いた手法により解析し、補正された前記移動体の位置を推定する位置推定手段、並びに
    前記位置推定手段によって複数の移動体の各々について推定した前記移動体の位置、又は前記移動体の周辺の環境情報に含まれる走行軌跡から得られる複数の移動体の位置情報に基づいて、前記複数の移動体を、走行レーン単位のグループに分割し、前記グループ毎に、前記グループに属する前記移動体の周辺の環境情報を分類するデータ層別手段、
    を含むセンター処理装置と、
    を備える地図生成システム。
  7. 前記情報収集装置は
    前記発信源からの受信状態を推定し、前記判定条件として、推定した受信状態が悪いか否かを判定する受信状態判定手段を更に含み、
    前記第一通信手段は、前記受信状態判定手段の判定において、前記受信状態が悪い場合には、前記測位情報を送信し、前記受信状態が悪くない場合には前記移動体の位置情報を送信する請求項に記載の地図生成システム。
  8. 前記センター処理装置は、
    前記測位情報の取得が必要な要求エリアを設定する要求エリア設定手段を更に含み、
    前記第二通信手段は、設定された前記要求エリアを前記情報収集装置に送信し、
    前記情報収集装置は、
    前記判定条件として、前記センター処理装置から受信した前記要求エリア内に、前記移動体が存在するか否かを判定する要求エリア判定手段を更に含み、
    前記第一通信手段は、前記要求エリア判定手段の判定において、前記要求エリア内に存在する場合には、前記測位情報を送信し、前記要求エリア内に存在しない場合には、前記移動体の位置情報を送信する請求項に記載の地図生成システム。
  9. コンピュータを、
    複数の移動体上に設置された情報収集装置から送信された、発信源である測位用衛星に関する情報を抽出した測位情報、又は前記測位用衛星からの受信信号に基づく測位結果である前記移動体の位置情報、及び前記移動体の位置情報の走行軌跡に沿った前記移動体の周辺の環境情報を受信する受信手段、及び
    前記複数の移動体の各々について、前記受信手段によって前記測位情報を受信した場合には、前記測位情報を予め定めた補正観測情報を用いた手法により解析し、補正された前記移動体の位置を推定する位置推定手段、並びに
    前記位置推定手段によって複数の移動体の各々について推定した前記移動体の位置、又は前記移動体の周辺の環境情報に含まれる走行軌跡から得られる複数の移動体の位置情報に基づいて、前記複数の移動体を、走行レーン単位のグループに分割し、前記グループ毎に、前記グループに属する前記移動体の周辺の環境情報を分類するデータ層別手段、
    として機能させるためのプログラム。
JP2015217728A 2015-11-05 2015-11-05 センター処理装置、地図生成システム、及びプログラム Active JP6589570B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015217728A JP6589570B2 (ja) 2015-11-05 2015-11-05 センター処理装置、地図生成システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015217728A JP6589570B2 (ja) 2015-11-05 2015-11-05 センター処理装置、地図生成システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017090121A JP2017090121A (ja) 2017-05-25
JP6589570B2 true JP6589570B2 (ja) 2019-10-16

Family

ID=58770384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015217728A Active JP6589570B2 (ja) 2015-11-05 2015-11-05 センター処理装置、地図生成システム、及びプログラム

Country Status (1)

Country Link
JP (1) JP6589570B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019040506A (ja) * 2017-08-28 2019-03-14 株式会社デンソーテン 車載用装置、通信システム、収集装置および通信方法
JP6984379B2 (ja) * 2017-12-14 2021-12-17 株式会社豊田中央研究所 道路構造データ生成装置
JP6766798B2 (ja) * 2017-12-15 2020-10-14 株式会社デンソー 道路地図生成システム及び道路地図生成方法
JP7126558B2 (ja) * 2018-10-12 2022-08-26 三菱電機株式会社 情報処理装置、情報処理プログラム、情報処理方法、料金計算システム、プログラム停止装置及び使用停止プログラム
JP7123830B2 (ja) * 2019-03-01 2022-08-23 アルパイン株式会社 地図データ更新システム、走行プローブ情報収集装置、走行プローブ情報提供装置および走行プローブ情報収集方法
WO2020250718A1 (ja) 2019-06-12 2020-12-17 株式会社デンソー 地図データ生成装置
JP7230778B2 (ja) * 2019-11-12 2023-03-01 トヨタ自動車株式会社 データ更新装置、データ更新方法、及びデータ更新プログラム
JP7380718B2 (ja) 2020-02-07 2023-11-15 日本電信電話株式会社 路面推定装置、路面推定方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311651B2 (ja) * 2004-02-27 2009-08-12 三菱電機株式会社 位置補正システム及び管理サーバ
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法

Also Published As

Publication number Publication date
JP2017090121A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6589570B2 (ja) センター処理装置、地図生成システム、及びプログラム
CN106352867B (zh) 用于确定车辆自身位置的方法和设备
CN105793669B (zh) 车辆位置推定系统、装置、方法以及照相机装置
EP3137850B1 (en) Method and system for determining a position relative to a digital map
JP2022113746A (ja) 判定装置
JP5162849B2 (ja) 不動点位置記録装置
JP5388082B2 (ja) 静止物地図生成装置
JP5404861B2 (ja) 静止物地図生成装置
US10996072B2 (en) Systems and methods for updating a high-definition map
JP5286653B2 (ja) 静止物地図生成装置
JP6593088B2 (ja) 車両位置推定装置及びプログラム
JP2016109650A (ja) 位置推定装置、位置推定方法、位置推定プログラム
US20190360820A1 (en) Method and device for executing at least one measure for increasing the safety of a vehicle
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
CN112805766A (zh) 用于更新详细地图的装置和方法
JP6589410B2 (ja) 地図生成装置及びプログラム
JP2019174191A (ja) データ構造、情報送信装置、制御方法、プログラム及び記憶媒体
JP2023174739A (ja) データ構造、情報処理装置、及び地図データ生成装置
WO2019188820A1 (ja) 情報送信装置、データ構造、制御方法、プログラム及び記憶媒体
JP2023076673A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2020046411A (ja) データ構造、記憶装置、端末装置、サーバ装置、制御方法、プログラム及び記憶媒体
CN111480165A (zh) 在考虑对象的特征结构的情况下创建用于车辆的基于特征的定位地图的方法
WO2019188874A1 (ja) データ構造、情報処理装置、及び地図データ生成装置
WO2019188877A1 (ja) 情報送信装置、データ構造、制御方法、プログラム及び記憶媒体
JP2019174675A (ja) データ構造、地図データ生成装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190902

R150 Certificate of patent or registration of utility model

Ref document number: 6589570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150