JP6586146B2 - 地図情報処理装置、地図情報処理方法および地図情報処理プログラム - Google Patents

地図情報処理装置、地図情報処理方法および地図情報処理プログラム Download PDF

Info

Publication number
JP6586146B2
JP6586146B2 JP2017224128A JP2017224128A JP6586146B2 JP 6586146 B2 JP6586146 B2 JP 6586146B2 JP 2017224128 A JP2017224128 A JP 2017224128A JP 2017224128 A JP2017224128 A JP 2017224128A JP 6586146 B2 JP6586146 B2 JP 6586146B2
Authority
JP
Japan
Prior art keywords
map information
image
unit
map
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017224128A
Other languages
English (en)
Other versions
JP2019095569A (ja
Inventor
博昭 関山
博昭 関山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMICS.INC.
Micware Co Ltd
Original Assignee
IMICS.INC.
Micware Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMICS.INC., Micware Co Ltd filed Critical IMICS.INC.
Priority to JP2017224128A priority Critical patent/JP6586146B2/ja
Priority to PCT/JP2018/043027 priority patent/WO2019103049A1/ja
Priority to CN201880039595.8A priority patent/CN110914888A/zh
Priority to EP18881072.5A priority patent/EP3614366A4/en
Publication of JP2019095569A publication Critical patent/JP2019095569A/ja
Application granted granted Critical
Publication of JP6586146B2 publication Critical patent/JP6586146B2/ja
Priority to US16/688,891 priority patent/US10760920B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、複数の移動体の軌跡情報から地図情報の道路形状が変化したか否かの判定を行う地図情報処理装置、地図情報処理方法および地図情報処理プログラムに関する。
現状、道路の情報は、国、県、市、区などの行政区画単位で管理されており、道路形状の変化(以下、「道路形状変化」とも称する)の情報は一元化されていない。道路地図を作成するために道路形状変化を把握するためには、新たな道路がどこでどのような形状で形成されたのかを、個別の道路ごとに調べなければならない。
そのため、例えば国土地理院などから発行されているデジタル地図と、車両端末から取得したプローブデータ(Probe Data:軌跡情報)と、に基づいて、道路形状がどのように変化したかを判定し、道路地図の更新を行う方法が考えられる。
この種の地図情報を生成する装置として、車載端末が取得した位置情報に基づいて、道路接続状況を正しく推定して、更新地図を生成する構成が知られている(例えば、特許文献1)。
特開2017−97088号公報
しかしながら、道路形状は、十字路形状からロータリー形状に変更される場合など、複雑で様々なパターンがあるため、地図情報と位置情報から単純に更新地図を生成することが難しい場合もある。
したがって、特許文献1に記載されている構成だけでは十分ではなく、更なる改良が求められている。
本発明はこのような課題に鑑みてなされたものであり、道路形状変化の判定を、より容易に行うことを目的とする。
本発明の一態様によれば、本発明の地図情報処理装置は、軌跡情報取得部と、地図情報記憶部と、地図情報変換部と、差分抽出部と、道路形状変化判定部と、を備える。上記軌跡情報取得部は、複数の移動体それぞれの軌跡情報を取得する。上記地図情報記憶部は、ベクトルデータで表された地図情報を記憶する。上記ベクトルデータで表された地図情報は、道路の位置および形状を示す情報を含んでいる。上記地図情報変換部は、上記地図情報をベクトルデータからスカラーデータに変換する。上記差分抽出部は、差分データを抽出する。上記差分データは、上記軌跡情報から描画された移動軌跡画像と、上記スカラーデータに変換された地図情報中の道路の地図画像との差分を表す。上記道路形状変化判定部は、機械学習により上記差分データが道路形状変化であるか否かを判定する。
本発明は、道路形状変化の判定を、より容易に行うことができる。
図1は、本実施形態の地図情報処理システムの一例を示す図である。 図2は、本実施形態の地図情報処理装置と車載端末との関係の一例を示す図である。 図3は、本実施形態の地図情報処理装置の機能の一例を示す機能ブロック図である。 図4Aは、移動画像描画部により車両の移動軌跡画像を描画する方法の一例を示す図である。 図4Bは、移動画像描画部により車両の移動軌跡画像を描画する方法の一例を示す図である。 図5Aは、差分抽出部により、移動軌跡画像および地図画像から差分データを抽出する方法の一例を示す図である。 図5Bは、差分抽出部により、移動軌跡画像および地図画像から差分データを抽出する方法の一例を示す図である。 図5Cは、差分抽出部により、移動軌跡画像および地図画像から差分データを抽出する方法の一例を示す図である。 図5Dは、差分抽出部により、移動軌跡画像および地図画像から差分データを抽出する方法の一例を示す図である。 図6は、機械学習により道路形状変化を判定する方法の一例を示す図である。 図7は、道路形状変化判定処理プログラムによる道路形状変化判定処理の一例を示すフローチャートである。 図8は、道路形状変化判定処理の一例を示す図である。 図9は、道路形状変化判定処理プログラムによる地図情報更新処理の一例を示すフローチャートである。 図10Aは、地図情報更新処理の一例を示す図である。 図10Bは、地図情報更新処理の一例を示す図である。 図10Cは、地図情報更新処理の一例を示す図である。 図10Dは、地図情報更新処理の一例を示す図である。 図10Eは、地図情報更新処理の一例を示す図である。
実施形態の地図情報処理システム1を図1に基づいて説明する。本実施形態の地図情報処理システム1は、地図を作成する上で道路形状変化の判定を容易に行うために使用される。地図情報処理システム1は、図1に示すように、地図情報処理装置2と、複数の車載端末3と、を含んで構成されている。以下、本実施形態の地図情報処理システム1における各構成について詳細に説明する。
車載端末3は、道路を走行する車両4に搭載される。車載端末3は、例えば、カーナビゲーション装置より構成される。地図情報処理装置2と車載端末3とは、互いに無線通信により接続することができるように構成されている。図1では、日本を走行する車両4と地図情報処理装置2との無線通信を片矢印で例示している。地図情報処理システム1では、車載端末3からプローブデータが地図情報処理装置2へ送信される。
プローブデータは、例えば、車載端末3が搭載される車両4の自車位置(以下、「軌跡情報」ともいう)および時刻の情報を含んでいる。プローブデータは、自車位置および時刻の情報に加え、例えば、走行距離、走行速度、加速度、角速度といった車両4の走行履歴(属性情報(attribute))の情報を含んでいる。プローブデータの作成は、例えば、車両4に搭載された車載端末3を用いて行われる。車載端末3は、車両4に搭載されたGPS(Global Positioning System)モジュール、ジャイロセンサ、加速度センサから各種のセンサ情報を入手することができる。自車位置の情報は、例えば、カーナビゲーション装置のGPSモジュールから出力されるGPSデータにより算出される。すなわち、自車位置の情報は、GPSなどの衛星測位システムの機能を用いて取得される。
自車位置の情報は、ある時刻における車両4の位置座標を表す。
車載端末3は、図2に示すように、通信端末5を介して、地図情報処理装置2と通信することができるように構成されている。車載端末3は、通信端末5を介して、車両4の軌跡情報を含むプローブデータを地図情報処理装置2へ送信する。車載端末3は、有線、若しくは無線により通信端末5と接続されていればよい。車載端末3は、通信端末5と物理的に別体に構成されていてもよいし、通信端末5が内蔵されて一体的に構成されていてもよい。通信端末5は、例えば、通信ユニット、携帯電話、若しくはスマートフォンである。通信端末5は、スマートフォンの場合、例えば、BLUETOOTH(登録商標)若しくはWi-Fiの通信規格で車載端末3と通信できるように接続される。通信端末5は、スマートフォンの場合、例えば、通信ネットワークを介して地図情報処理装置2と通信できるように接続される。
地図情報処理装置2は、各車載端末3から送信されたプローブデータを受信して、プローブデータに含まれる軌跡情報を取得する。地図情報処理装置2は、軌跡情報に基づいて、機械学習により、地図情報に含まれる道路形状が変化しているか否かを判定する。この判定の詳細については後述する。地図情報処理装置2は、道路形状が変化していると判定した場合には、地図情報を更新する。そして、地図情報処理装置2は、更新した地図情報を車載端末3へ送信する。
上述の実施形態においては、車載端末3は、カーナビゲーション装置により構成しているがこの限りではない。車載端末3は、カーナビゲーション装置だけに限られず、各種の端末装置であってもよい。端末装置としては、例えば、携帯電話、スマートフォン、ノートパソコン、若しくはタブレットパソコンが挙げられる。即ち、車載端末3は、車両4に持ち込まれたスマートフォン単体だけであってもよい。また、本実施形態の車両4は、車載端末3が搭載される4輪自動車で例示している。車両4は4輪自動車だけに限られず、3輪自動車、自動二輪車、若しくは自転車でもよい。言い換えれば、車両4は、移動体である。
次に、本実施形態の地図情報処理装置2について、図3を用いて説明する。
本実施形態の地図情報処理装置2は、地図情報記憶部21と、軌跡情報取得部22と、移動画像描画部23と、地図情報変換部24と、差分抽出部25と、道路形状変化判定部26と、地図情報更新部27とを含む。地図情報記憶部21は、地図情報を記憶する。地図情報記憶部21は、複数の縮尺毎に地図情報を記憶しておくことが好ましい。
地図情報とは、地図を構成する情報である。地図情報は、ベクトルデータで構成されている。地図情報は、3次元のベクトルデータにより構成されていることがより好ましい。ベクトルデータとしては、道路の位置および道路の形状を示す情報を含んでいる。より具体的には、地図情報は、例えば、道路の形状を示す地図画像情報、地図画像情報に紐付いた地図画像上のノードやリンクの情報、一般道路か高速道路かを示す属性情報を有している。ノードは、交差点その他道路網表現上の結節などを示す。リンクは、ノードとノードの間の道路区間を示す。また、地図情報は、一定の緯度・経度の間隔で矩形に分離されたメッシュ単位で構成されている。さらに各メッシュは、所定の単位で分離された縮尺の異なる複数の階層から構成されている。メッシュは、日本の場合、例えば、総務省により定められた標準地域メッシュの規格を採用することができる。標準地域メッシュは、1次メッシュ、2次メッシュ、3次メッシュの順に約10分の1の面積比で構成される。さらに、メッシュは、1次〜3次メッシュより細分化した分割地域メッシュを、メッシュ単位として採用することができる。地図情報は、メッシュ単位毎に分割される場合、それぞれメッシュ番号と、対応する緯度および経度の情報とを有する。
軌跡情報取得部22は、車両データ受信部28と、データ記憶部29と、を含む。車両データ受信部28は、複数の車両4それぞれの車載端末3から送信されたプローブデータを受信する。データ記憶部29は、車両データ受信部28が受信したプローブデータを記憶する。軌跡情報取得部22は、各車載端末3からプローブデータを受信することにより、プローブデータに含まれる各車両4の軌跡情報を取得することができる。軌跡情報は、緯度・経度により表された座標である。
移動画像描画部23は、軌跡情報取得部22によって取得された所定の範囲にある複数の車両4の軌跡情報に基づいて移動軌跡画像をまとめて描画する。所定の範囲は、例えば、道路情報を構成する任意の縮尺のメッシュを採用する。
以下、移動画像描画部23が車両4の移動軌跡画像を描画する例について説明する。移動画像描画部23は、車両データ受信部28が受信した複数のプローブデータに含まれる軌跡情報の座標、時刻、走行速度、加速度、角速度の情報に基づいて、図4Aに示すように、連続するm個の一群のプローブデータを取得する。例えば、移動画像描画部23は、プローブデータのうち、所定の時間間隔で、連続する座標を有するプローブデータ群を一群のプローブデータとして取得する。移動画像描画部23は、一群のプローブデータに含まれるm個の軌跡情報の座標をデータ記憶部29から取得する。移動画像描画部23は、取得した座標を点P1、P2、P3〜Pmとしてプロットする。移動画像描画部23は、図4Bに示すように、プロットした点P1、P2、P3〜Pm同士を線で繋いで1つの移動軌跡画像Lとして描画する。これにより、移動画像描画部23は、軌跡情報の他に、時刻、走行距離、走行速度、加速度、角速度の情報を含んだベクトル形式のプローブデータからスカラー形式の移動軌跡画像を生成することができる。
また、移動画像描画部23は、車両データ受信部28がプローブデータを受信すると、移動軌跡画像の描画を繰り返し行う。移動画像描画部23は、複数の移動軌跡画像を重畳して描画した場合、各移動軌跡画像の中央値または自乗平均値を算出して、重畳して描画された各移動軌跡画像の幅方向の中心値(中心座標)を繋いだ線を、平均化された移動軌跡画像として描画することができる。これにより、移動画像描画部23は、マルチパスによるGPSデータの誤差、通信障害を起因とする軌跡情報の座標の揺らぎが抑制される。移動画像描画部23は、座標の揺らぎが抑制されることで描画精度を向上できる。
移動画像描画部23は、プローブデータに含まれる走行速度の情報を参照して、走行速度が所定の速度以上のプローブデータを省いて移動軌跡画像を描画してもよい。車載端末3は、GPSデータから走行速度を算出する場合、マルチパスによるGPSデータの誤差、若しくは通信障害を起因として、例えば、車速が通常ありえない300km以上に算出される場合もある。移動画像描画部23は、マルチパスによるGPSデータの誤差、若しくは通信障害を起因とする走行情報の誤検出が抑制できる。移動画像描画部23は、走行情報の誤検出が抑制されることで、描画精度が向上する。
移動画像描画部23は、プローブデータに含まれる走行速度の情報を参照して、走行速度が連続しないプローブデータを省いて移動軌跡画像を描画してもよい。これにより、移動画像描画部23は、例えば、駐車場において途中で駐車した車両4の車載端末3から得られるプローブデータを省くことができる。移動画像描画部23は、不要なプローブデータを省くことで、移動軌跡画像の描画精度を向上させることができる。
移動画像描画部23は、プローブデータに含まれる軌跡情報、走行速度の情報を参照して、高速道路上を移動していると推定できるプローブデータと、一般道路上を移動していると推定できるプローブデータと、を互いに識別して移動軌跡画像を描画することもできる。これにより、地図情報処理装置2は、任意に選択した道路種別だけを道路形状変化の判定処理対象にすることができる。地図情報処理装置2は、処理速度の向上を図ることができる。
また、移動画像描画部23は、所定の単位期間に取得された車両4の軌跡情報に基づいて移動軌跡画像を描画してもよい。移動画像描画部23は、例えば、所定の単位期間の間を蓄積した軌跡情報に基づいてデータの正規化を行う。移動画像描画部23は、正規化されたデータから、メッシュ単位毎に、単位期間ごとのプローブデータを作成することができる。所定の単位期間は、例えば、現在時点を基準として、過去30日間分に設定することができる。本実施形態においては、移動画像描画部23は、単位期間ごとのプローブデータとして、2次メッシュのプローブデータを作成する。このように、地図情報処理装置2は、所定の期間にわたって蓄積した軌跡情報に基づいてプローブデータを作成することで、移動軌跡画像の描画精度が向上する。
なお、移動画像描画部23は、過去のプローブデータをリファレンスのために蓄積してもよい。移動画像描画部23は、リファレンスとなる過去のプローブデータを、所定の単位期間に取得した軌跡情報に基づいて作成された2次メッシュのプローブデータが作成される以前に、予め特定の期間にわたって蓄積した軌跡情報に基づいて作成することができる。過去のプローブデータは、メッシュ単位毎に作成されていることが好ましい。移動画像描画部23は、予め特定の期間として、例えば、30日を過去のプローブデータとして設定されていればよい。本実施形態においては、移動画像描画部23は、過去のプローブデータとして、30日間蓄積された2次メッシュのプローブデータを作成する。
移動画像描画部23は、第1ステップとして、新たに作成した2次メッシュのプローブデータと、過去に作成した2次メッシュのプローブデータと、を比較して差分があるか否かを判定することができる。そして、移動画像描画部23は、差分があった場合のみ、第2ステップとして、新たなプローブデータと地図情報との比較が行われる。これにより、地図情報処理装置2は、2段階で道路形状変化を検出することができる。また、地図情報処理装置2は、過去のプローブデータと差分があったプローブデータのみを差分抽出部25による差分データの抽出処理の処理対象にしている。地図情報処理装置2は、過去のプローブデータと差分があったプローブデータのみを差分データの処理対象にしているので、差分抽出部25における処理対象を減らすことができる。地図情報処理装置2は、差分抽出部25における処理対象を減らすことができるので、処理負担を軽減し、処理速度の向上を図ることができる。
なお、上述の実施形態では、所定の単位期間を1日間、3日間、7日間、30日間に設定としたがこれに限られるものではない。所定の単位期間は、日単位だけでなく、時間単位、月単位、年単位でもよく、任意の期間に設定することができる。また、上述の実施形態では、特定の期間を30日としたがこれに限られるものではない。特定の期間は、任意の期間に設定することができる。さらに、上述の実施形態では、移動画像描画部23は、2次メッシュのプローブデータを作成する構成だけに限られない。移動画像描画部23は、1次メッシュ、3次メッシュ、若しくは他の単位メッシュに合わせたプローブデータを作成してもよい。
地図情報変換部24は、ベクトル形式の地図情報をスカラー形式の地図情報に変換する。具体的には、地図情報変換部24は、地図情報記憶部21に記憶されているベクトルデータの地図情報のうち、地図画像情報に紐付いたノードの情報、リンクの情報、一般道路か高速道路かを示す属性情報を省く。言い換えれば、地図情報変換部24は、道路の形状を示す地図画像情報だけを取り出す。地図情報変換部24は、地図画像情報だけにすることで、地図情報を3次元のベクトルデータから2次元のスカラーデータに変換する。すなわち、3次元のベクトルデータの地図情報は、地図情報に含まれるノードの情報、リンクの情報および属性情報が取り除かれて、地図画像情報だけとなる。3次元のベクトルデータの地図情報は、地図画像情報だけとなることで、データ構成がシンプルな2次元のスカラーデータの地図情報に変換される。これにより、地図情報処理装置2は、プローブデータにより得られた移動軌跡画像と、地図情報と、を同じシンプルな次元のデータにすることができ、後述の差分抽出部25における差分の抽出を容易にすることができる。また、地図情報変換部24は、スカラーデータに変換した2次元の地図情報を、任意の縮尺のメッシュ単位毎に分割したスカラーデータにする。
上述の実施形態においては、地図情報変換部24は、スカラーデータに変換した2次元の地図情報を、任意の縮尺のメッシュ単位毎に分割したスカラーデータにする場合だけに限られない。例えば、道路形状変化判定部26により、差分データから道路形状変化があるとする確率が所定の確度以下であると判定された場合、地図情報変換部24は、地図情報記憶部21に記憶されている地図情報のうち、縮尺が大きい地図情報をベクトルデータからスカラーデータに変換する。
これにより、地図情報処理装置2は、初期段階では大まかに全体を判定することで、道路形状変化があるか否かの判定速度を向上することができる。言い換えれば、地図情報処理装置2は、差分データから道路形状変化があるとする確率が所定の確度若しくは所定の確度未満と判定された場合、処理対象をより縮尺が大きい地図情報にすることで、処理対象を限定して処理速度を向上させることができる。その結果、地図情報処理装置2は、判定精度をより向上させることができる。
差分抽出部25は、移動画像描画部23により描画された移動軌跡画像と、地図情報変換部24によりスカラーデータに変換された地図情報の地図画像と、の差分データを抽出することができるように構成されている。
本実施形態の地図情報処理装置2は、地図情報記憶部21およびデータ記憶部29を、例えば、ハードディスクドライブ、若しくは半導体メモリのメモリで構成することができる。メモリには、CPU(Central Processing Unit)を駆動させるプログラムが記憶されていてもよい。CPUは、メモリに記憶されたプログラムが実行されることで、移動画像描画部23、地図情報変換部24、差分抽出部25、道路形状変化判定部26および地図情報更新部27を機能させることができるように構成されている。車両データ受信部28は、適宜の通信モジュールで構成することができる。
以下、図5A〜図5Dを参照して、差分抽出部25により差分データを抽出する一例について説明する。
差分抽出部25は、移動画像描画部23により描画された移動軌跡画像と、地図情報変換部24によりスカラーデータに変換された地図情報の地図画像と、を取得する。図5Aには、移動画像描画部23により描画された移動軌跡画像を例示している。図5Bには、スカラーデータに変換された地図情報の地図画像を例示している。次に、差分抽出部25は、図5Cに示すように、取得した移動軌跡画像と、地図画像と、を合成した合成データの画像を作成する。差分抽出部25は、合成データの画像を作成した結果、図5Dに示すように、図5Aに示す移動軌跡画像と図5Bに示す地図画像との間で重複しない画像を、差分データの画像として抽出する。これにより、移動軌跡画像のうち、移動軌跡の揺らぎを消して、地図画像からはみ出た移動軌跡の画像のみを抽出することができる。図5Dには、差分抽出部25で抽出された差分データの画像を例示している。差分データの画像は、地図情報が生成された時点での道路と、現在の道路との差分を表すと考えられる。すなわち、差分データの画像は、道路形状変化を表すと考えられる。図5A〜図5Dに示す例では、図5中の丸で囲んだ領域において新たな道路が形成された可能性がある。次に、地図情報処理装置2は、図5中の丸で囲われた箇所を含めて、抽出した差分データが道路形状変化であるか否かを判定する。
道路形状変化判定部26は、差分抽出部25が抽出した差分データが道路形状変化であるか否かの判定を機械学習により判定する。機械学習としては、ディープラーニングが用いられている。具体的には、道路形状変化判定部26は、過去に抽出した差分データを教師データとして機械学習を行う。道路形状変化判定部26は、機械学習の結果に基づき、新たに抽出した差分データが道路形状変化であるか否かを判定する。
次に、図6を参照して、道路形状変化判定部26がディープラーニングにより道路形状変化を判定する方法の一例について説明する。ディープラーニングは、多層のニューラルネットワーク60による機械学習の手法の一種である。ニューラルネットワーク60は、入力データと出力データとを持ち、内部の演算処理は複数の人工ニューロンに基づいて行われる。機械学習において使用するニューラルネットワーク60は、3つの層を含んでいる。3つの層は、入力層61と、中間層62と、出力層63として図示している。中間層62は、隠れ層とも呼ばれ、2以上の層を含んでいてもよい。中間層62は、層の数が少なすぎれば、未学習となる。中間層62は、層の数が多すぎれば、過剰適合となる。道路形状変化判定部26は、差分データが道路形状変化であるか否かを判定するために、適宜に層の数が設定されればよい。人工ニューロンは、前の層の出力に対してパラメータを掛けたものの総和を出力する。人工ニューロンの出力データは、活性化関数により制御され、非線形性が付加される。本実施形態において使用される機械学習のための活性化関数は、例えば、ソフトマックス関数、シグモイド関数、若しくはガウス関数を採用することができる。
ニューラルネットワーク60は、機械学習を行うため、初めに入力データとして、教師データが入力層61に与えられる。教師データは、例えば、差分抽出部25により過去に抽出された差分データである。道路形状変化判定部26は、教師データを入力層61、中間層62、出力層63により処理する。すなわち、道路形状変化判定部26は、入力した差分データに最適な特徴量を動的に生成して学習し、順方向の情報伝搬により演算処理する順伝播を行う。図6では、順伝播の方向を極太の片矢印で示している。出力結果は、入力された差分データが道路形状変化の画像であるか、ノイズであるかの予測結果を表す。
また、学習を行う場合には、道路形状変化判定部26は、出力結果が道路形状変化の画像であるか、ノイズであるかの情報を与えることで、逆方向の情報伝搬により演算処理する逆伝播を行う。図6では、逆伝播の方向を太い片矢印で示している。なお、道路形状変化判定部26では、機械学習において、教師データとして学習に使用する入力データと、出力データとの出力誤差を評価する。道路形状変化判定部26は、逆伝播により、出力誤差から逐次的に機械学習における各層と各ノードのパラメータを最適化することが好ましい。
この学習により、道路形状変化判定部26は、各層のパラメータを徐々に最適値に近づけていける。そして、道路形状変化判定部26は、差分抽出部25により抽出された差分データを入力層61に入力すると、機械学習の結果に基づいて調整されたパラメータを用いて、差分データが道路形状変化の画像であるか否かの判定を行うことができる。
道路形状変化判定部26は、例えば、図6に示すように、n個の差分データd1、d2からdnを教師データとして順伝播させると、出力層63にM個の出力データy1〜yMの情報が得られる。本実施形態において、出力データは、入力された差分データが道路形状変化の画像であるか、それ以外の画像であるかを予測する予測値を表す。
道路形状変化判定部26は、得られた出力データy1〜yMに対して、道路形状変化の画像であるか、ノイズであるかを示すM個の正解データt1〜tMの情報が与えられる。道路形状変化判定部26は、正解データt1からtMの情報が与えられて逆伝播を行うと、逐次パラメータを最適な値に調整する機械学習を行う。言い換えれば、道路形状変化判定部26は、逆伝播により出力データと正解データとのずれを評価し、パラメータを最適化している。なお、機械学習のために使用するソフトウェアは、例えば、OpenCV、Numpy、Matplotlib、若しくはChainerを採用することができる。
地図情報更新部27は、地図情報記憶部21に記憶される地図情報を更新する。具体的には、地図情報更新部27は、道路形状変化判定部26により、道路形状変化であると判定された差分データに対応するスカラーデータに変換された地図情報から、ベクトルデータの地図情報を生成する。そして、地図情報更新部27は、生成した地図情報で、地図情報記憶部21に記憶される地図情報を更新する。地図情報を更新する処理については、後述の地図情報更新処理において説明する。
ところで、地図情報処理装置では、機械学習により、単純にプローブデータとデジタル地図とから道路形状の変化を識別させることも考えられる。
しかしながら、一般にデジタル地図のデータは、道路の形状を示す地図画像情報、地図画像情報に紐付いた地図画像上のノードやリンクの情報、一般道路か高速道路かを示す属性情報などを有する3次元のベクトルデータで構成されている。
そのため、地図情報処理装置は、機械学習を用いて新規に作成された道路形状の変化を検出させる場合、単純にデジタル地図の3次元のベクトルデータを機械学習の処理対象として情報処理を行うと、処理対象の情報量が多すぎて情報処理の負担が大きくなり過ぎる場合がある。さらに、地図情報処理装置は、機械学習のオブジェクトとして比較する対象の情報量が多いため、どの情報が比較すべき対象の情報であるのか判断しづらい場合もある。
本実施形態の地図情報処理装置2は、機械学習により道路地図を作成するため、処理対象をできるだけシンプルにすることで、道路形状変化の判定を容易に行っている。
また、地球の形状は、真球ではなく偏球であるため、メッシュの縦横の長さが場所によって異なる場合がある。本実施形態の地図情報処理装置2は、機械学習を行う場合、予め各メッシュの縦横の長さを統一した正規化を行っていることが好ましい。地図情報処理装置2は、機械学習を行った後、正規化されたメッシュを元に戻して利用することで、道路形状変化の判定をより正確に行うことができる。
次に、本実施形態に係る地図情報処理装置2による道路形状変化判定処理について、図7および図8を参照して説明する。地図情報処理装置2は、道路形状変化処理の開始の指示を受け付けると、図7のステップ11からステップ19の判定処理を開始する。以下では、ステップをSで示す。
地図情報処理装置2は、道路形状変化であるか否かを判定する前に予め教師データに基づいてパラメータの最適化を実行する。道路形状変化判定部26は、教師データに基づいて機械学習を行う(S11)。
道路形状変化判定部26は、教師データとして予め準備された情報が入力される。予め準備された情報は、過去に抽出された差分データが道路形状変化を示す画像か、それ以外のノイズなどの画像か、を互いに識別するパラメータの設定のために用いられる。そして、設定されたパラメータは、例えば、道路形状変化判定部26で保持されるか、あるいは、道路形状変化判定部26がアクセス可能なメモリに格納される。
次に、軌跡情報取得部22は、各車載端末3から送信されたプローブデータを車両データ受信部28が受信する。軌跡情報取得部22は、受信したプローブデータをデータ記憶部29が記憶する。これにより、軌跡情報取得部22は、受信したプローブデータに含まれる各車両4の軌跡情報を取得する(S12)。
地図情報変換部24は、地図情報記憶部21に記憶されているベクトルデータの地図情報に含まれる情報のうち、道路の形状を示す地図画像情報を取り出す。地図情報変換部24は、地図画像情報を取り出すことで、地図情報を3次元のベクトルデータから2次元のスカラーデータに変換する(S13)。
言い換えれば、地図情報変換部24は、ベクタ形式の地図画像を、ラスタ形式の地図画像に変換する。本実施形態においては、地図情報変換部24は、スカラーデータに変換した2次元の地図情報を、任意の縮尺のメッシュ単位として、2次メッシュ単位に分割した2次メッシュのスカラーデータに変換する。移動画像描画部23は、軌跡情報取得部22により取得したプローブデータを所定の単位期間の間、蓄積したデータの正規化により2次メッシュのプローブデータを作成する。
移動画像描画部23は、正規化した2次メッシュのプローブデータに基づいて、2次メッシュの移動軌跡画像を描画する(S14)。
なお、移動画像描画部23は、所定の単位期間に取得されたプローブデータに基づき移動軌跡画像を作成する前に、軌跡情報取得部22により取得した過去のプローブデータを特定の期間の間、蓄積してデータの正規化を行う。移動画像描画部23は、データの正規化された過去の2次メッシュのプローブデータを作成する。そして、移動画像描画部23は、正規化した過去の2次メッシュのプローブデータに基づいて、過去の2次メッシュの移動軌跡画像を描画する。過去の2次メッシュの移動軌跡画像は、リファレンス用として参照される。
移動画像描画部23は、第1ステップとして、2次メッシュのプローブデータに基づいて描画した2次メッシュの移動軌跡画像と、過去の2次メッシュのプローブデータに基づいて描画した過去の2次メッシュの移動軌跡画像と、を比較して差分があるか否かを判定する(S15)。
上述の実施形態では、移動画像描画部23は、2次メッシュの移動軌跡画像を描画しているがこれに限られるものではない。移動画像描画部23は、1次メッシュ、3次メッシュなどの任意の縮尺のメッシュの移動軌跡画像を描画することができる。また、移動画像描画部23は、2次メッシュの移動軌跡画像と、過去の2次メッシュの移動軌跡画像と、を比較して差分があるか否かを判定する場合だけに限らない。例えば、移動画像描画部23は、2次メッシュのプローブデータに含まれる緯度・経度の情報と、過去の2次メッシュのプローブデータに含まれる緯度・経度の情報と、を直接比較して差分があるか否かを判定することもできる。
地図情報処理装置2は、移動軌跡画像と過去の移動軌跡画像との間に差分がないS15のNOの場合、図7に示すS16〜S19はスキップされ、道路形状変化判定処理は終了となる。すなわち、地図情報処理装置2は、S15の判定において差分があった場合のみ、S16〜S17が実行される。したがって、地図情報処理装置2は、S17の実行頻度が削減できる。また、地図情報処理装置2は、過去に蓄積したプローブデータに基づいて作成した移動軌跡画像と差分があった移動軌跡画像のみを差分抽出部25による差分データの抽出処理の処理対象にすることができる。そのため、地図情報処理装置2は、差分抽出部25における処理対象を減らすことで、処理負担を軽減し、処理速度の向上を図ることができる。
これに対し、移動軌跡画像と過去の移動軌跡画像との間に差分があるS15のYESの場合、差分抽出部25は、S14において描画された移動軌跡画像と、S13においてスカラーデータに変換された地図情報の地図画像との差分を表す差分データを抽出する(S16)。
道路形状変化判定部26は、S11において学習した機械学習の結果に基づき、S16において新たに抽出した差分データが道路形状変化であるか否かを判定する(S17)。
抽出した差分データが道路形状変化であるS18のYESの場合、道路形状変化判定部26は、抽出した差分データを道路形状変化として出力する(S19)。
この場合、差分データは、道路形状変化を示すので、後の地図情報作成処理において使用するために保存しておく。
これに対し、抽出した差分データが道路形状変化でないS18のNOの場合、S19はスキップされ、道路形状変化判定処理は終了となる。この場合、差分データは、道路形状変化を示す情報ではなく、単なるノイズである可能性が高い。よって、抽出された差分データは廃棄されてもよい。
このように、地図情報処理装置2は、地図情報記憶部21に記憶されているベクトルデータの地図情報のうち、道路の形状を示す地図画像情報だけを取り出すことで、3次元のベクトルデータの地図情報が、データ構成のシンプルな2次元のスカラーデータの地図情報に変換される。これにより、地図情報処理装置2では、プローブデータにより得られた移動軌跡画像と、地図情報と、を同じシンプルな2次元のデータにすることができる。
その結果、地図情報処理装置2は、機械学習を用いて新規に作成された道路形状の変化を検出させる場合、機械学習の処理対象を減らして処理負担の軽減を図ることができる。地図情報処理装置2は、処理速度を向上させ、さらに判定精度を向上させることで道路形状変化の判定を容易に行うことができる。
次に、本実施形態に係る地図情報処理装置2による地図情報更新処理について、図9および図10A、図10Bを参照して説明する。
地図情報処理装置2は、地図情報更新処理の開始の指示を受け付けると、以下の地図情報更新処理が開始される。なお、上述の実施形態では、地図情報更新処理の開始の指示を受け付けると、地図情報更新処理を開始しているがこれに限られない。例えば、上述の道路形状変化判定処理のS19において所定数の道路形状変化を出力すると、地図情報更新処理を自動的に開始させてもよい。
はじめに、地図情報更新部27は、道路形状変化判定処理のS19において出力した差分データをN個蓄積し、プローブデータの誤差を平均化する(S31)。ここで、Nは、任意の自然数である。誤差を平均化したプローブデータを図10Aおよび図10Bに示す。図10Bは、図10Aの領域F1を拡大した拡大図である。地図情報更新部27は、誤差を平均化した差分データ、すなわち、道路形状変化であると判定された道路形状を表すデータに対しスムース処理を行う(S32)。スムース処理が行われた道路形状は、新たに作られた道路の形状に相当する。
地図情報更新部27は、地図情報記憶部21に記憶されているベクトルデータの地図情報のうち、S32においてスムース処理を行った道路形状の緯度・経度が含まれるメッシュの地図情報を取得する。差分データに基づいて判定された道路形状は、プローブデータに基づいて作成されているため、緯度・経度の情報を有する。よって、地図情報更新部27は、道路形状のプローブデータの緯度・経度を参照することで、対応するメッシュの地図情報を地図情報記憶部21から取得することができる。
図10Cおよび図10Dに示すように、地図情報更新部27は、S32においてスムース処理を行った2次元の道路形状D2を、取得したベクトルデータのメッシュの地図情報に含まれる道路形状D3に重ねる(S33)。図10Dは、図10Cの領域F2を拡大した拡大図である。
地図情報更新部27は、図10Dに示すように、S32においてスムース処理を行った2次元の道路形状D2と、ベクトルデータのメッシュの地図情報に含まれる道路形状D3との接点を特定する。ここで、地図情報は、ベクトルデータで表されているので、Z軸方向の情報を含む。Z軸方向は、地面に対して垂直な方向を示している。すなわち、地図情報は、各道路のZ軸座標を表す情報を含む。Z軸座標は、例えば、標高である。よって、差分データから生成される道路形状D2と地図情報中の道路との接点は、緯度、経度、標高により表される。そして、地図情報更新部27は、特定した各接点にノードを付加する(S34)。図10Dおよび図10Eでは、ノードN1およびノードN2として例示している。なお、差分データから生成される道路形状D2に付加されるノードには、各道路のZ軸方向を表す接点の情報が含まれるため、道路形状D2は、ベクトルデータに変換される。
地図情報更新部27は、特定したノードを利用して、ベクトルデータの道路形状D2の軸を生成する(S35)。
地図情報更新部27は、差分データから得られた道路形状D2の道路幅を、地図情報に含まれる道路形状D3の道路幅と一致するように修正する。そして、道路幅を修正したベクトルデータの道路形状D2を地図情報に含まれる道路形状D3とノードで連結する(S36)。
地図情報更新部27は、地図情報に含まれる道路形状D3のうち、不要となった道路箇所D4および付加したノードを削除する(S37)。例えば、地図情報更新部27は、変換前の元の2次元の道路形状D2に付加したノード間において、プローブデータが存在しない箇所を不要となった道路箇所D4として削除する。
地図情報更新部27は、不要となった道路箇所D4を削除する。地図情報更新部27は、ベクトルデータの道路形状D2が連結された道路形状D3に基づき、地図情報記憶部21内の地図情報を更新する(S38)。この処理が終了すると、地図情報更新処理は終了となる。
これにより、道路形状変化として抽出された2次元の差分データを再び3次元のベクトルデータに戻して地図情報を更新することができる。その結果、地図情報を定期的に自動フォーマット化することができ、地図情報の更新にかかる手間を軽減することができる。
なお、本実施形態の地図情報処理装置2は、制御部、一時記憶部、記憶部、無線通信部を有する。制御部は、記憶部に読込んだプログラムを実行する。本実施形態の車両データ受信部28、移動画像描画部23、地図情報変換部24、差分抽出部25、道路形状変化判定部26、地図情報更新部27は、地図情報処理装置2の制御部に含まれる。本実施形態の地図情報記憶部21およびデータ記憶部29は、地図情報処理装置2の記憶部に含まれる。一時記憶部は、記憶部から読込まれたプログラムや各種データを展開するワーキングエリアである。制御部、一時記憶部、記憶部、無線通信部などの各部位は相互に接続される。
本実施形態の地図情報処理装置2は、例えば、カーナビゲーションシステムや、自動運転支援システムで使用される地図データを自動でフォーマットする技術として使用することができる。
尚、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
1 地図情報処理システム
2 地図情報処理装置
3 車載端末
4 車両
5 通信端末
21 地図情報記憶部
22 軌跡情報取得部
23 移動画像描画部
24 地図情報変換部
25 差分抽出部
26 道路形状変化判定部
27 地図情報更新部
28 車両データ受信部
29 データ記憶部

Claims (9)

  1. 複数の移動体それぞれの移動軌跡に基づく移動軌跡画像とベクトル形式のデータに基づくスカラー形式の前記移動軌跡画像とは異なる画像とを比較して差分データを抽出する差分抽出部と、
    機械学習により前記差分データが道路形状変化であるか否かを判定する道路形状変化判定部と、
    を備え、
    前記異なる画像は、道路の位置および形状を示す情報を含むベクトル形式で表された地図情報がスカラー形式に変換された地図画像であり、
    前記差分データは、前記移動軌跡画像と、前記地図画像との差分を示し、
    前記道路形状変化判定部は、過去に抽出した前記差分データにより機械学習を行い、当該機械学習の結果に基づき、新たに抽出した前記差分データが道路形状変化であるか否かを判定することを特徴とする地図情報処理装置。
  2. 前記地図情報処理装置は、さらに、
    前記複数の移動体それぞれの軌跡情報を取得する軌跡情報取得部と、
    道路の位置および形状を示す情報を含むベクトル形式で表された地図情報を記憶する地図情報記憶部と、
    ベクトル形式の地図情報に基づいてスカラー形式の地図情報に変換する地図情報変換部と、を備え、
    前記差分抽出部は、前記移動軌跡画像と、スカラー形式に変換された地図情報中の道路の前記地図画像との差分を表す前記差分データを抽出する
    ことを特徴とする請求項1に記載の地図情報処理装置。
  3. 前記複数の移動体それぞれの軌跡情報に基づいて前記移動軌跡画像を描画する移動画像描画部をさらに備え、
    前記移動画像描画部は、所定の範囲にある前記移動軌跡画像をまとめて描画する
    ことを特徴とする請求項2に記載の地図情報処理装置。
  4. 前記移動画像描画部は、所定の期間に取得した軌跡情報に基づいて前記移動軌跡画像を描画する前に、予め特定の期間に取得した軌跡情報に基づいて過去の移動軌跡画像を描画し、描画した前記移動軌跡画像と、前記過去の移動軌跡画像と、を比較して差分があるか否かを判定し、
    前記差分抽出部は、前記過去の移動軌跡画像と比較して差分があったと判定された前記移動軌跡画像のみを、前記差分データの抽出処理の処理対象にする
    ことを特徴とする請求項3に記載の地図情報処理装置。
  5. 前記地図情報変換部は、地図情報のうち、道路の形状を示す地図画像情報だけを取り出してベクトル形式からスカラー形式に変換する
    ことを特徴とする請求項2〜4のいずれか1つに記載の地図情報処理装置。
  6. 前記地図情報記憶部に記憶される地図情報を更新する地図情報更新部をさらに備え、
    前記地図情報更新部は、
    前記道路形状変化判定部により道路形状変化であると判定された前記差分データをベクトル形式に変換し、
    ベクトル形式に変換した前記差分データを用いて前記地図情報記憶部に記憶される地図情報を更新する
    ことを特徴とする請求項2〜5のいずれか1つに記載の地図情報処理装置。
  7. 前記地図情報記憶部は、複数の道路の位置および形状を示す情報を含んだ地図情報を複数の縮尺毎に記憶し、
    前記地図情報変換部は、前記機械学習により前記差分データが道路形状変化である確率が所定の確度以下であると前記道路形状変化判定部により判定された場合には、前記地図情報記憶部に記憶されている地図情報のうち、縮尺が大きい地図情報をベクトル形式からスカラー形式に変換する
    ことを特徴とする請求項2〜6のいずれか1つに記載の地図情報処理装置。
  8. 複数の移動体それぞれの軌跡情報を取得し、
    道路の位置および形状を示す情報を含む地図情報をベクトル形式からスカラー形式に変換し、
    前記軌跡情報から描画された移動軌跡画像と、スカラー形式に変換された地図情報中の地図画像との差分を表す差分データを抽出し、
    過去に抽出した前記差分データにより機械学習を行い、当該機械学習の結果に基づき、新たに抽出した前記差分データが道路形状変化であるか否かを判定する処理をコンピュータが実行する地図情報処理方法。
  9. 複数の移動体それぞれの軌跡情報を取得し、
    道路の位置および形状を示す情報を含む地図情報をベクトル形式からスカラー形式に変換し、
    前記軌跡情報から描画された移動軌跡画像と、スカラー形式に変換された地図情報中の地図画像との差分を表す差分データを抽出し、
    過去に抽出した前記差分データにより機械学習を行い、当該機械学習の結果に基づき、新たに抽出した前記差分データが道路形状変化であるか否かを判定する処理をコンピュータに実行させることを特徴とする地図情報処理プログラム。
JP2017224128A 2017-11-22 2017-11-22 地図情報処理装置、地図情報処理方法および地図情報処理プログラム Active JP6586146B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017224128A JP6586146B2 (ja) 2017-11-22 2017-11-22 地図情報処理装置、地図情報処理方法および地図情報処理プログラム
PCT/JP2018/043027 WO2019103049A1 (ja) 2017-11-22 2018-11-21 地図情報処理装置、地図情報処理方法および地図情報処理プログラム
CN201880039595.8A CN110914888A (zh) 2017-11-22 2018-11-21 地图信息处理装置、地图信息处理方法及地图信息处理程序
EP18881072.5A EP3614366A4 (en) 2017-11-22 2018-11-21 DEVICE, METHOD AND PROGRAM FOR PROCESSING CARTOGRAPHIC INFORMATION
US16/688,891 US10760920B2 (en) 2017-11-22 2019-11-19 Map information processing device and map information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017224128A JP6586146B2 (ja) 2017-11-22 2017-11-22 地図情報処理装置、地図情報処理方法および地図情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019162266A Division JP7039536B2 (ja) 2019-09-05 2019-09-05 地図情報処理システム

Publications (2)

Publication Number Publication Date
JP2019095569A JP2019095569A (ja) 2019-06-20
JP6586146B2 true JP6586146B2 (ja) 2019-10-02

Family

ID=66972941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017224128A Active JP6586146B2 (ja) 2017-11-22 2017-11-22 地図情報処理装置、地図情報処理方法および地図情報処理プログラム

Country Status (1)

Country Link
JP (1) JP6586146B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211513B2 (ja) * 2019-07-03 2023-01-24 株式会社デンソー 地図データ生成装置
JP7130138B2 (ja) * 2019-07-10 2022-09-02 三菱電機株式会社 地図差分検出装置、地図データ統合装置、地図差分修正装置、地図差分検出方法
CN111540010B (zh) * 2020-05-15 2023-09-19 阿波罗智联(北京)科技有限公司 一种道路监测的方法、装置、电子设备及存储介质
CN112131233B (zh) * 2020-08-28 2022-11-15 北京百度网讯科技有限公司 识别更新道路的方法、装置、设备和计算机存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3557776B2 (ja) * 1996-03-08 2004-08-25 日産自動車株式会社 車両用経路誘導装置
JP2004109021A (ja) * 2002-09-20 2004-04-08 Clarion Co Ltd 道路地図情報更新システム
JP4380151B2 (ja) * 2002-12-20 2009-12-09 株式会社デンソー 地図評価システム、及び、地図評価装置
JP5223192B2 (ja) * 2006-12-27 2013-06-26 アイシン・エィ・ダブリュ株式会社 地図情報生成システム
CN102713521B (zh) * 2009-10-22 2015-07-15 通腾德国股份有限公司 用gps踪迹产生、细化及扩充增量地图
JP5930920B2 (ja) * 2012-09-10 2016-06-08 株式会社日立製作所 地図生成サーバ、地図生成方法及び地図生成システム
JP6047006B2 (ja) * 2012-12-25 2016-12-21 株式会社デンソー 地図表示システム

Also Published As

Publication number Publication date
JP2019095569A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
WO2019103049A1 (ja) 地図情報処理装置、地図情報処理方法および地図情報処理プログラム
JP6586146B2 (ja) 地図情報処理装置、地図情報処理方法および地図情報処理プログラム
US10621696B2 (en) Deep convolutional image up-sampling
JP5013211B2 (ja) 運転評価システム及び運転評価プログラム
EP3229152A1 (en) Distributed online learning for privacy-preserving personal predictive models
CN111198560B (zh) 用于使用变分自编码器网络来预测特征空间衰减的方法和装置
CN112598762A (zh) 三维车道线信息生成方法、装置、电子设备和介质
CN111351502B (zh) 用于从透视图生成环境的俯视图的方法,装置和计算机程序产品
CN102362156A (zh) 地图数据更新系统、地图数据更新方法、存储地图数据更新程序的计算机可读存储介质
US11085791B2 (en) Method, apparatus, and computer program product for on-street parking localization
US11193789B2 (en) Method, apparatus, and computer program product for identifying at-risk road infrastructure
CN114930122B (zh) 用于更新数字道路地图的方法和处理器电路
CN116518960B (zh) 路网更新方法、装置、电子设备和存储介质
CN111465936A (zh) 确定地图上新道路的系统和方法
JP2020067656A (ja) 地図情報処理装置、地図情報処理方法および地図情報処理プログラム
WO2020054345A1 (ja) 電子制御装置、ニューラルネットワーク更新システム
JP7039536B2 (ja) 地図情報処理システム
JP2019139346A (ja) 画像認識装置、画像認識システム及びプログラム
EP3470790B1 (en) Information processing device and travel control system
CN116164770B (zh) 路径规划方法、装置、电子设备和计算机可读介质
JP6557392B1 (ja) 地図情報処理装置、地図情報処理方法および地図情報処理プログラム
CN114396956A (zh) 导航方法及装置、计算设备、存储介质和计算机程序产品
CN114252081B (zh) 定位方法、装置、设备及存储介质
CN115662167A (zh) 自动驾驶地图构建方法、自动驾驶方法及相关装置
CN116413753A (zh) 终端定位方法、装置、设备和计算机可读介质

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190225

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190906

R150 Certificate of patent or registration of utility model

Ref document number: 6586146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250