JP6656886B2 - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

情報処理装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP6656886B2
JP6656886B2 JP2015220324A JP2015220324A JP6656886B2 JP 6656886 B2 JP6656886 B2 JP 6656886B2 JP 2015220324 A JP2015220324 A JP 2015220324A JP 2015220324 A JP2015220324 A JP 2015220324A JP 6656886 B2 JP6656886 B2 JP 6656886B2
Authority
JP
Japan
Prior art keywords
information
unit
feature
self
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015220324A
Other languages
English (en)
Other versions
JP2017090239A (ja
Inventor
陽子 藤田
陽子 藤田
淳也 大石
淳也 大石
正行 天沼
正行 天沼
守通 沓名
守通 沓名
聡智 阿部
聡智 阿部
和浩 中尾
和浩 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Increment P Corp
Original Assignee
Pioneer Corp
Increment P Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp, Increment P Corp filed Critical Pioneer Corp
Priority to JP2015220324A priority Critical patent/JP6656886B2/ja
Publication of JP2017090239A publication Critical patent/JP2017090239A/ja
Application granted granted Critical
Publication of JP6656886B2 publication Critical patent/JP6656886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、地図データの生成技術に関する。
近年、車両にレーザースキャナやカメラを搭載し、車両周辺の情報を収集する移動体計測車両が開発されている。例えば、特許文献1には、同じ走行路を複数回走行し、各走行でのレーザー点群の結果において位置が変化しない固定物を基準点とし、基準点が重ね合わさるように点群を伸縮する後処理を行うことで、三次元点群の座標位置データを高精度に算出することが開示されている。
特開2013−40886号公報
ところで、特許文献1の技術によって取得された点群のデータは、例えば、車両の自動運転に用いられる高精度な地図の素材として利用されることがある。日本全国の高精度な地図を作成しようとした場合、日本全国の非常に広範囲にわたる点群データを取得することが好ましいが、これを取得するには多くの時間と手間がかかる。例えば、複数の車両で計測範囲を分担し、それぞれの車両にて取得された点群データを手動で繋ぎ合わせることが考えられるが、計測範囲が広ければ広いほど、計測車両の数が増えるほど、その作業は非常に多くの時間と手間がかかるものであった。
また、特許文献1の技術は、高精度なデータを得ることが可能である一方で、同じ走行路を複数回走行することが必要となるため、広範囲のデータ収集という観点からすると改善の余地があるものである。
本発明は、上記のような課題を解決するためになされたものであり、効率的に広範囲な測定データを得ることが可能な情報処理装置を提供することを主な目的とする。
請求項に記載の発明は、情報処理装置であって、第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、が統合され又は関連付けられた第1情報を取得する第1取得部と、前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報と、前記第1自己位置推定部よりも推定精度が低い第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、が統合され又は関連付けられた第2情報を取得する第2取得部と、前記第1情報と前記第2情報とに基づいて抽出された特徴情報に基づいて、前記第1情報と前記第2情報とを合成する合成部と、を備えることを特徴とする。
また、請求項に記載の発明は、第1経路を移動する第1移動体が有する第1レーザースキャナにより取得される前記第1移動体の周囲の地物における照射点と前記第1移動体との距離情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、に基づいて推定された、前記第1レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第1点群情報を取得する第1取得部と、前記第1経路とは異なる第2経路を移動する第2移動体が有する第2レーザースキャナにより取得される前記第2移動体の周囲の地物における照射点と前記第2移動体との距離情報と、第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、に基づいて推定された、前記第2レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第2点群情報を取得する第2取得部と、前記第1点群情報と前記第2点群情報とに基づいて抽出された特徴情報に基づいて、前記第1点群情報と前記第2点群情報とを合成する合成部と、を備えることを特徴とする。
また、請求項に記載の発明は、情報処理装置が実行する制御方法であって、第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、が統合され又は関連付けられた第1情報を取得する第1取得工程と、前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報と、前記第1自己位置推定部よりも推定精度が低い第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、が統合され又は関連付けられた第2情報を取得する第2取得工程と、前記第1情報と前記第2情報とに基づいて抽出された特徴情報に基づいて、前記第1情報と前記第2情報とを合成する合成工程と、を有することを特徴とする。
また、請求項に記載の発明は、コンピュータが実行するプログラムであって、第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、が統合され又は関連付けられた第1情報を取得する第1取得部と、前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報と、前記第1自己位置推定部よりも推定精度が低い第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、が統合され又は関連付けられた第2情報を取得する第2取得部と、前記第1情報と前記第2情報とに基づいて抽出された特徴情報に基づいて、前記第1情報と前記第2情報とを合成する合成部として前記コンピュータを機能させることを特徴とする。
計測システムの概略構成である。 主要道路及び主要道路に接続する非主要道路を含むエリアの俯瞰図である。 点群データ補正処理のフローチャートを示す。
本発明の好適な実施形態によれば、情報処理装置は、第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報を取得する第1取得部と、前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報を取得する第2取得部と、前記第1環境情報と前記第2環境情報とに基づいて抽出された特徴情報に基づいて、前記第1環境情報と前記第2環境情報とを合成する合成部と、を備える。
上記情報処理装置は、第1取得部と、第2取得部と、合成部とを備える。第1取得部は、第1経路を移動する第1移動体が有する第1環境情報取得部により取得される第1環境情報を取得する。第2取得部は、第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部によって取得される第2環境情報を取得する。合成部は、第1環境情報と第2環境情報とに基づいて抽出された特徴情報に基づいて、第1環境情報と第2環境情報とを合成する。この態様では、情報処理装置は、第1移動体の移動により取得した第1環境情報と、第2移動体の移動により取得した第2環境情報とを合成することで、効率的に広範囲な測定データを得ることができる。
上記情報処理装置の一態様では、前記第1取得部は、前記第1環境情報と、第1自己位置推定部によって推定された前記第1移動体の第1位置情報と、が統合され又は関連付けられた第1情報を取得し、前記第2取得部は、前記第2環境情報と、前記第1自己位置推定部よりも推定精度が低い第2自己位置推定部によって推定された前記第2移動体の第2位置情報と、が統合され又は関連付けられた第2情報を取得し、前記合成部は、前記第1情報と前記第2情報とに基づいて抽出された特徴情報に基づいて、前記第1情報と前記第2情報とを合成する。この態様により、情報処理装置は、地図データ等として利用可能な位置情報を含む広範囲の測定データを効率的に取得することができる。
上記情報処理装置の他の一態様では、前記第2自己位置推定部の推定精度は、前記第1自己位置推定部より推定精度が低く、情報処理装置は、前記特徴情報に基づいて、前記第2情報を補正する補正部を更に備える。この態様では、情報処理装置は、第1自己位置推定部よりも推定精度が低い第2自己位置推定部に基づき生成した第2情報を、高精度な第1自己位置推定部を用いて生成した第1情報により補正し、第2情報の精度を好適に高めることができる。よって、この態様により、情報処理装置は、第1自己位置推定部よりも推定精度が低い第2自己位置推定部を効率的に活用し、計測に要する費用や手間などを好適に抑制しつつ高精度な測定データを得ることができる。
上記情報処理装置の一態様では、前記第1環境情報取得部は第1レーザースキャナを含み、前記第2環境情報取得部は第2レーザースキャナを含み、前記第1情報は、前記第1レーザースキャナによって計測された前記第1移動体と周囲の地物における照射点との距離情報と、前記第1自己位置推定部によって推定された前記第1移動体の第1位置情報と、に基づいて推定された、前記第1レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第1点群情報を含み、前記第2情報は、前記第2レーザースキャナによって計測された前記第2移動体と周囲の地物における照射点との距離情報と、前記第2自己位置推定部によって推定された前記第2移動体の第2位置情報と、に基づいて推定された、前記第2レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第2点群情報を含む。この態様では、情報処理装置は、第1移動体及び第2移動体が走行した経路に沿った点群情報を好適に生成することができ、自動運転等に用いられる地図データの生成等に好適に活用することができる。
上記情報処理装置の他の一態様では、前記第1環境情報取得部は第1カメラを含み、前記第2環境情報取得部は第2カメラを含み、前記第1情報は、前記第1カメラによって撮影された第1画像と、前記第1自己位置推定部によって推定された前記第1移動体の第1位置情報とが関連付けられた情報を含み、前記第2情報は、前記第2カメラによって撮影された第2画像と、前記第2自己位置推定部によって推定された前記第2移動体の第2位置情報とが関連付けられた情報を含み、前記補正部は、前記特徴情報に基づいて、前記第2画像に関連付けられた第2位置情報を補正する。この態様により、情報処理装置は、第1移動体及び第2移動体が走行した経路に沿って撮影した画像を高精度な位置情報と好適に関連付けることができる。
上記情報処理装置の他の一態様では、情報処理装置は、前記第1経路と前記第2経路とが接続する地点を基準として、前記第1情報及び前記第2情報から共通して特定される地物に対応する特徴情報を抽出する抽出部をさらに備える。この態様により、情報処理装置は、第2情報を第1情報により補正するための基準となる特徴情報を好適に抽出することができる。
上記情報処理装置の他の一態様では、前記補正部は、前記第1情報から抽出した特徴情報が示す座標位置と、前記第2情報から抽出した特徴情報が示す座標位置との差分量に基づき、前記第2情報を補正する。この態様により、情報処理装置は、第2情報を第1情報により好適に補正することができる。
本発明の他の好適な実施形態によれば、情報処理装置が実行する制御方法であって、第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報を取得する第1取得工程と、前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報を取得する第2取得工程と、前記第1環境情報と前記第2環境情報とに基づいて抽出された特徴情報に基づいて、前記第1環境情報と前記第2環境情報とを合成する合成工程と、を有する。情報処理装置は、この制御方法を実行することで、効率的に広範囲な測定データを得ることができる。
本発明の他の好適な実施形態によれば、コンピュータが実行するプログラムであって、第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報を取得する第1取得部と、前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報を取得する第2取得部と、前記第1環境情報と前記第2環境情報とに基づいて抽出された特徴情報に基づいて、前記第1環境情報と前記第2環境情報とを合成する合成部として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、効率的に広範囲な測定データを得ることができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。
[計測システムの概要]
図1は、本実施例に係る計測システムの概略構成である。計測システムは、自動運転等に必要な地図データの一部として使用される三次元(3D)点群データを生成するためのシステムであり、主に、高精度計測ユニット1と、簡易計測ユニット2と、サーバ装置3とを有する。高精度計測ユニット1及び簡易計測ユニット2は、それぞれ車両に搭載される。
高精度計測ユニット1は、高精度な3D点群データを生成するシステムであり、主に車載機11と、ライダ(Lidar:Laser Illuminated Detection And Ranging)12と、RTK−GPS13と、IMU(Inertial Measurement Unit)14とを有する。また、簡易計測ユニット2は、高精度計測ユニット1よりも精度が低い3D点群データを生成するシステムであり、主に車載機21と、ライダ22と、GPS23と、IMU24とを有する。
ライダ12、22は、パルス状に発光するレーザー照射に対する散乱光を測定することで、外界に存在する物体までの距離を離散的に測定し、当該物体の位置を示す3次元の点群データを出力する。ライダ12、22が出力する点群データは、車両の位置及び進行方向に依存する相対的な3次元位置情報である。なお、ライダ12とライダ22とは同一精度であってもよく、ライダ12がライダ22よりも高精度であってもよい。ライダ12は本発明における「第1環境情報取得部」及び「第1レーザースキャナ」の一例であり、ライダ12が出力するデータは本発明における「第1環境情報」の一例である。同様に、ライダ22は本発明における「第2環境情報取得部」及び「第2レーザースキャナ」の一例であり、ライダ22が出力するデータは本発明における「第2環境情報」の一例である。
RTK−GPS13は、RTK測位方式(即ち干渉測位方式)に基づき車両の絶対的な位置(例えば緯度、経度、及び高度の3次元位置)を示す高精度な位置情報を生成する。また、GPS23は、単独測位方式又は相対測位方式に基づき車両の絶対的な位置を示す位置情報を生成する。RTK−GPS13が出力する位置情報は、GPS23が出力する位置情報よりも位置推定精度が高い。RTK−GPS13は本発明における「第1自己位置推定部」の一例であり、RTK−GPS13が出力する位置情報は本発明における「第1位置情報」の一例である。また、GPS23は本発明における「第2自己位置推定部」の一例であり、GPS23が出力する位置情報は本発明における「第2位置情報」の一例である。IMU(慣性計測装置)14、24は、3軸方向における車両の加速度及び角速度(又は角度)を出力する。
車載機11は、RTK−GPS13から供給される出力に基づき、車両の絶対的な位置及び方位を特定し、ライダ12が検知した点群の各点について、車両の位置及び向きに依存した相対的な3次元位置情報から絶対的な3次元位置情報を算出する。なお、車両の絶対的な位置及び方位は、RTK−GPS13からの出力に加え、IMU14の出力に基づいて特定するようにしてもよい。そして、車載機11は、算出した3次元点群データ「Pt」を、サーバ装置3へ供給する。この場合、車載機11は、算出した3次元点群データPtを無線通信により即時にサーバ装置3へ送信してもよく、サーバ装置3が後で読取り可能な記憶媒体等に蓄積してもよい。3次元点群データPtは、本発明における「第1情報」の一例である。
同様に、車載機21は、GPS23から供給される出力に基づき、車両の絶対的な位置及び方位を特定し、ライダ22が検知した点群の各点について、車両の位置及び向きに依存した相対的な3次元位置情報から絶対的な3次元位置情報を算出する。なお、なお、車両の絶対的な位置及び方位は、GPS23からの出力に加え、IMU24の出力に基づいて特定するようにしてもよい。そして、車載機21は、算出した3次元点群データ「Qt」を、サーバ装置3へ供給する。3次元点群データQtは、本発明における「第2情報」の一例である。
本実施例では、高精度計測ユニット1は、高速道路や国道又は県道などの主要道路を対象に計測を行い、簡易計測ユニット2は、高精度計測ユニット1が計測対象とする主要道路以外の道路(「非主要道路」とも呼ぶ。)を対象に計測を行う。
サーバ装置3は、車載機11から取得した3次元点群データPt及び車載機21から取得した3次元点群データQtを記憶し、記憶した3次元点群データPt及び3次元点群データQtから、3次元点群データQtを補正したデータ(「補正後点群データQ‘t」とも呼ぶ。)を生成する。この場合、サーバ装置3は、後述するように、高精度計測ユニット1の計測対象である主要道路と簡易計測ユニット2の計測対象である非主要道路との接続地点(「接続地点Lc」とも呼ぶ。)での3次元点群データPtと3次元点群データQtとの差異に基づき、3次元点群データQtを補正した補正後点群データQ‘tを生成する。サーバ装置3は、本発明における「情報処理装置」の一例である。
[サーバ装置の構成]
サーバ装置3は、車載機11が生成した3次元点群データPt及び車載機21が生成した3次元点群データQtをそれぞれ取得するためのインターフェース30と、3次元点群データPt及び3次元点群データQtなどを記憶する記憶部31と、CPUなどから構成される制御部32と、を有する。
インターフェース30は、制御部32の制御に基づき、車載機11が生成した3次元点群データPt及び車載機21が生成した3次元点群データQtをそれぞれ取得する。インターフェース30は、車載機11、21と無線通信を行うためのワイヤレスインターフェースであってもよく、3次元点群データPt及び3次元点群データQtを記憶した記憶媒体等から3次元点群データPt及び3次元点群データQtを読み出すためのハードウェアインターフェースであってもよい。
記憶部31は、制御部32が所定の処理を実行するためのプログラム及び制御部32の処理に必要な情報を記憶する。本実施例では、記憶部31は、制御部32の制御に基づき、インターフェース30が取得した3次元点群データPt及び3次元点群データQtを記憶する。また、記憶部31は、制御部32が3次元点群データPt及び3次元点群データQtに基づき3次元点群データQtを補正した補正後点群データQ‘tを記憶する。
制御部32は、記憶部31等に記憶されたプログラムなどを実行し、サーバ装置3の全体を制御する。本実施例では、制御部32は、インターフェース30を介して3次元点群データPt及び3次元点群データQtを取得し、記憶部31に記憶させる。その後、制御部32は、記憶部31が記憶する3次元点群データPt及び3次元点群データQtに基づき、補正後点群データQ‘tを生成する。制御部32は、機能的には、特徴点抽出部33A、33Bと、マッチング部34と、差分量算出部35と、補正部36と、を有する。制御部32は、本発明における「第1取得部」、「第2取得部」、「抽出部」、「補正部」、「合成部」及びプログラムを実行する「コンピュータ」の一例である。
特徴点抽出部33Aは、高精度計測ユニット1の計測対象である主要道路と簡易計測ユニット2の計測対象である非主要道路との接続地点Lc付近に存在する地物を構成する(特に、地物の特徴的な形状を構成する)点群データを、3次元点群データPtから抽出する。そして、特徴点抽出部33Aは、3次元点群データPtから抽出した点群データ(「特徴点データRt」とも呼ぶ。)を、マッチング部34へ供給する。同様に、特徴点抽出部33Bは、接続地点Lc付近に存在する地物を構成する(特に、地物の特徴的な形状を構成する)点群データを、3次元点群データQtから抽出し、抽出した点群データ(「特徴点データSt」とも呼ぶ。)を、マッチング部34へ供給する。特徴点データRt、Stは、本発明における「特徴情報」の一例である。
マッチング部34は、特徴点抽出部33Aから供給された特徴点データRtと、特徴点抽出部33Bから供給された特徴点データStとを比較することで、両者に共通した地物の形状を特定し、共通した地物を構成する特徴点データRt、Stを差分量算出部35へ供給する。
差分量算出部35は、マッチング部34から供給された、共通した地物を構成する特徴点データRtと特徴点データStとの差分量を、接続地点Lcごとに算出する。ここでは、マッチング部34から供給された特徴点データRt及び特徴点データStの3次元座標空間の各座標軸(例えば緯度、経度、高度)における上述の差分量を、それぞれ「Δx」、「Δy」、「Δz」とする。差分量算出部35は、接続地点Lcごとの差分量Δx、Δy、Δzの情報を、補正部36へ供給する。
補正部36は、接続地点Lcごとの差分量Δx、Δy、Δzに基づき、3次元点群データQtを補正し、補正後の3次元点群データQtである補正後点群データQ‘tを記憶部31に記憶させる。この場合、補正部36は、差分量Δx、Δy、Δzが示す3次元点群データPtと3次元点群データQtとのずれが無くなるように、3次元点群データQtの全体の移動、回転、又は/及び拡縮を行う。この処理の具体例については、後述する。
また、制御部32は、補正部36が補正した補正後点群データQ‘tと3次元点群データPtとに対し、表示処理等の種々の用途において1つの3次元点群データベースとして使用できるようにするために、これらを合成する処理を行う。具体的には、制御部32は、補正後点群データQ‘tと3次元点群データPtとを1つの3次元点群データベースとして統合したり、補正後点群データQ‘tと3次元点群データPtとを別個のデータとして意識することなく使用できるようにこれらを関連付けたりする。
[点群データ補正処理の詳細]
次に、サーバ装置3が実行する3次元点群データQtの補正処理について図2を参照して説明する。図2は、主要道路及び当該主要道路に接続する非主要道路を含むエリアの俯瞰図である。
図2は、高精度計測ユニット1による計測対象となる主要道路41と、簡易計測ユニット2による計測対象となる非主要道路42〜44とを示している。図2の例では、接続地点Lcとして、主要道路41と非主要道路42との接続地点「Lca」と、主要道路41と道路44との接続地点「Lcb」とが示されている。そして、実線で示される測定経路「Rt1」は、高精度計測ユニット1による測定対象の区間(即ち主要道路41に沿った経路)を示し、破線で示される測定経路「Rt2」は、簡易計測ユニット2による測定対象の区間(即ち非主要道路42〜44に沿った経路)を示す。測定経路Rt1は、本発明における「第1経路」の一例であり、測定経路Rt2は、本発明における「第2経路」の一例である。
図2の例では、高精度計測ユニット1の車載機11は、測定経路Rt1を車両が走行中にライダ12、RTK−GPS13、及びIMU14が出力するデータに基づき3次元点群データPtを生成し、簡易計測ユニット2の車載機21は、測定経路Rt2を車両が走行中にライダ22、GPS23及びIMU24が出力するデータに基づき3次元点群データQtを生成する。その後、車載機11が生成した3次元点群データPt及び車載機21が生成した3次元点群データQtは、サーバ装置3に供給される。
この場合、まず、サーバ装置3の特徴点抽出部33A、33Bは、接続地点Lca、Lcb付近に存在する地物の特徴的な形状を構成する特徴点データRt及び特徴点データStを、それぞれ3次元点群データPt及び3次元点群データQtから抽出する。図2の例では、特徴点抽出部33A、33Bは、それぞれ、接続地点Lca付近に存在する地物の特徴的な形状として、建物51の破線枠61内の形状及び建物52の破線枠62内の形状を認識し、当該形状を構成する特徴点データRt、Stを、それぞれ3次元点群データPt、Qtから抽出する。同様に、特徴点抽出部33A、33Bは、接続地点Lcb付近に存在する地物の特徴的な形状として、建物53の破線枠63内の形状及び建物54の破線枠64内の形状を認識し、当該形状を構成する特徴点データRt、Stを、それぞれ3次元点群データPt、Qtから抽出する。
次に、サーバ装置3のマッチング部34は、接続地点Lcaと接続地点Lcbとのそれぞれについて、特徴点抽出部33Aから供給された特徴点データRtと、特徴点抽出部33Bから供給された特徴点データStとを比較し、両者が表す共通した地物の形状を特定する。図2の例では、マッチング部34は、接続地点Lcaについては、破線枠61〜62内の建物51〜52の形状を表す点群データが特徴点データRt及び特徴点データStに共通して存在すると判定し、当該形状を表す特徴点データRt及び特徴点データStを差分量算出部35へ供給する。また、マッチング部34は、接続地点Lcbについては、破線枠63〜64内の建物53〜54の形状を表す点群データが特徴点データRt及び特徴点データStに共通して存在すると判定し、当該形状を表す特徴点データRt及び特徴点データStを差分量算出部35へ供給する。
その後、サーバ装置3の差分量算出部35は、マッチング部34から供給された特徴点データRtと特徴点データStとに基づき、接続地点Lca、Lcbごとに差分量Δx、Δy、Δzを算出する。そして、補正部36は、接続地点Lca、Lcbごとの差分量Δx、Δy、Δzに基づき、測定経路Rt2に沿って計測された3次元点群データQtを補正した補正後点群データQ‘tを生成する。
ここで、補正部36が実行する補正後点群データQ‘tの生成方法の具体例について説明する。
例えば、補正部36は、接続地点Lca、Lcbごとの差分量Δx、Δy、Δzに基づき、接続地点Lca、Lcbに対する距離に応じた線形補間により、測定経路Rt2に沿って計測された3次元点群データQtを補正した補正後点群データQ‘tを生成する。この場合、補正部36は、3次元点群データQtの各点について、接続地点Lca、Lcbとの距離を算出し、算出した距離の比に基づき、接続地点Lca、Lcbごとの差分量Δx、Δy、Δzに対して重み付けを行い、重み付け後のΔx、Δy、Δzを対象の点の座標値に反映させる。
他の例では、補正部36は、接続地点Lca、Lcb間での任意の計測地点で生成された3次元点群データQtの信頼度に基づき、接続地点Lca、Lcbごとの差分量Δx、Δy、Δzに対して重み付けを行い、重み付け後の差分量Δx、Δy、Δzを、補正後点群データQ‘tに反映させる。この場合、補正部36は、接続地点Lca、Lcb間の任意の計測地点で、GPS衛星の補足数、及びマルチパスの有無などに基づき信頼度を算出し、算出した信頼度に基づき、接続地点Lca、Lcbごとの差分量Δx、Δy、Δzに対して重み付けを行う。例えば、補正部36は、接続地点Lca付近の信頼度が接続地点Lcb付近の信頼度よりも高い場合には、接続地点Lcaに対応する差分量Δx、Δy、Δzに対する重み付けを、接続地点Lcbに対応する差分量Δx、Δy、Δzに対する重み付けよりも大きくする。
その他、補正部36は、RTK−GPS13、GPS23、IMU14、24等の各センサの誤差に基づき、3次元点群データQtに対する補正量を決定してもよい。この場合、補正部36は、接続地点Lca、Lcbの真位置を推定後、各センサの誤差を勘案した公知の確率的手法を用いて3次元点群データPtの全体を移動することで、補正後点群データQ‘tを生成する。
このように、サーバ装置3は、簡易計測ユニット2による測定経路Rt2の始点に相当する接続地点Lca及び終点に相当する接続地点Lcbでの3次元点群データPtと3次元点群データQtとの差異に基づき、3次元点群データQtの補正を行う。これにより、簡易計測ユニット2が計測したデータを好適に高精度化することができる。
一般に、高精度計測ユニット1を利用した高精度な測定のみによって全国の道路の測定を行った場合、膨大な時間と費用が掛かることが予想される。これに対し、本実施例では、非主要道路については簡易計測ユニット2により計測を行い、計測後のデータを補正することで、得られるデータの精度を保ちつつ、計測に要する時間及び費用を好適に低減することができる。従って、高精度での計測の簡素化及び高速化により、計測データの更新頻度を上げることもできる。
[処理フロー]
図3は、本実施例においてサーバ装置3の制御部32が実行する点群データ補正処理の手順を示すフローチャートである。図3のフローチャートの実行時には、制御部32は、インターフェース30により供給された3次元点群データPt及び3次元点群データQtを取得し、これらを記憶部31に記憶しているものとする。制御部32は、簡易計測ユニット2による計測を行う一繋がりの測定経路(図2の例では測定経路Rt2)ごとに計測された3次元点群データQtを対象に、図3のフローチャートの処理を実行する。
まず、制御部32は、補正対象となる3次元点群データPtの計測区間の始点及び終点に相当する接続地点Lcを特定する(ステップS101)。次に、制御部32の特徴点抽出部33A,33Bは、3次元点群データPt、Qtから、それぞれ、特定した接続地点Lc付近の特徴的な地物の形状を構成する特徴点データRt、Stを抽出する(ステップS102)。この場合、特徴的な地物の形状は、例えば予め定めた特定の地物(例えば信号機や建物)の一部又は全部の形状であり、特徴点抽出部33A、33Bは、例えば公知のパターンマッチング技術により予め記憶したテンプレート等と一致又は類似する形状を構成する特徴点データRt、Stを、3次元点群データPt、Qtから抽出する。
次に、制御部32のマッチング部34は、共通の地物の形状を構成する特徴点データRt、Stを、接続地点Lcごとに選定する(ステップS103)。例えば、マッチング部34は、接続地点Lcごとに、特徴点データRtが構成する形状及び特徴点データStが構成する形状のマッチングを行い、一致していると推定された共通の形状を構成する一群の特徴点データRt及び特徴点データStを、接続地点Lcごとに選定する。
次に、制御部32の差分量算出部35は、接続地点Lcごとにマッチング部34が選定した特徴点データRt、Stを比較し、差分量Δx、Δy、Δzを算出する(ステップS104)。この場合、例えば、差分量算出部35は、接続地点Lcごとに選定された一群の特徴点データRt、Stの各々の重心を算出し、これらの重心の差を各接続地点Lcに対応する差分量Δx、Δy、Δzとして算出する。そして、補正部36は、接続地点Lcごとに算出した差分量Δx、Δy、Δzに基づき、3次元点群データQtを補正した補正後点群データQ‘tを生成し、記憶部31に記憶する(ステップS105)。なお、補正部36は、例えば、差分量Δx、Δy、Δzに基づいて、3次元点群データQtを移動、回転、拡縮処理を行うことで、補正後点群データQ‘tを生成してもよい。また、この場合、例えば、変換行列を生成し、差分量Δx、Δy、Δzに基づいて変換行列を算出し、当該変換行列に基づいて、上述の移動、回転、拡縮処理を行うようにしてもよい。
以上説明したように、本実施例に係るサーバ装置3は、ライダ12及びRTK−GPS13を含む高精度計測ユニット1から3D点群データPtを取得すると共に、ライダ22及びGPS23を含む簡易計測ユニット2から3D点群データQtを取得する。そして、サーバ装置3は、3次元点群データPt、Qtから、簡易計測ユニット2による計測区間と高精度計測ユニット1による計測区間との接続地点Lcでの特徴的な地物の形状を表す特徴点データRt、Stを抽出し、これらの差異に基づき、3次元点群データQtの補正を行う。これにより、高精度計測ユニット1よりも測定精度が低い簡易計測ユニット2を好適に活用しつつ、高精度な測定データを得ることができる。
[変形例]
次に、実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
(変形例1)
車載機11は、ライダ12、RTK−GPS13、IMU14の各出力を統合する処理を行うことなくこれらの出力データを計測時刻又は計測地点ごとに関連付けてサーバ装置3へ供給してもよい。同様に、車載機21は、ライダ22、GPS23、IMU24の各出力を統合する処理を行うことなく、これらの出力データを関連付けてサーバ装置3へ供給してもよい。この場合、サーバ装置3の制御部32は、高精度計測ユニット1及び簡易計測ユニット2からそれぞれ供給される出力データを記憶すると共に、これらの出力データから3次元点群データPt、Qtをそれぞれ生成する。なお、この例では、制御部32は、差分量算出部35が生成したΔx、Δy、Δzに基づき、3次元点群データQtを補正するのに代えて、又はこれに加えて、簡易計測ユニット2から供給された出力データに含まれるGPS23が測定した位置情報を補正してもよい。
(変形例2)
高精度計測ユニット1及び簡易計測ユニット2は、ライダ12、22に代えて、カメラを備えてもよい。
この場合、車載機11は、搭載される車両が走行中における車両の周囲環境を撮影した撮影画像群(「第1撮影画像群」とも呼ぶ。)をカメラから取得し、撮影時にRTK−GPS13が出力する位置情報及びIMU14の出力データと関連付けて記憶する。同様に、車載機21は、搭載される車両が走行中における車両の周囲環境を撮影した画像(「第2撮影画像群」とも呼ぶ。)をカメラから取得し、撮影時にGPS23が出力する位置情報及びIMU24の出力データと関連付けて記憶する。そして、サーバ装置3は、車載機11、21から、位置情報等が関連付けられた第1及び第2撮影画像群を取得する。この場合、特徴点抽出部33A、33Bは、接続地点Lc付近の位置情報と関連付けられた第1及び第2撮影画像群のそれぞれから、公知の画像認識技術を適用し、特徴的な地物の形状を抽出すると共に、当該形状の3次元位置情報を公知の3次元測定技術に基づき算出する。このとき、特徴点抽出部33A、33Bは、第1及び第2撮影画像群と関連付けられた位置情報等を3次元位置情報に反映させることで、緯度、経度、高度等の絶対的な位置を表す3次元位置情報を生成する。マッチング部34は、特徴点抽出部33A、33Bが算出した接続地点Lcごとの特徴的な地物の形状を示す3次元位置情報から、第1及び第2撮影画像群で共通に存在する形状を構成する部分を抽出し、当該形状の3次元位置情報を差分量算出部35へ供給する。差分量算出部35は、マッチング部34から供給された第1撮影画像群に基づく3次元位置情報と第2撮影画像群に基づく3次元位置情報とを比較することで、差分量Δx、Δy、Δzを算出する。そして、差分量算出部35は、差分量Δx、Δy、Δzに基づき、第2撮影画像群に関連付けられた位置情報を補正する。
このように、本変形例では、GPS23を含む簡易計測ユニット2を、GPS23よりも高精度のRTK−GPS13を含む高精度計測ユニット1と併用し、高精度な位置情報に関連付けられた撮影画像を収集することができる。この場合、高精度計測ユニット1が備えるカメラは、本発明における「第1環境情報取得部」及び「第1カメラ」の一例であり、簡易計測ユニット2が備えるカメラは、本発明における「第2環境情報取得部」及び「第2カメラ」の一例である。
(変形例3)
実施例で説明したサーバ装置3の処理を、複数のサーバ装置からなるサーバシステムが実行してもよい。
例えば、サーバシステムは、3次元点群データPt及び3次元点群データQt等を記憶するサーバと、3次元点群データQtを補正する処理(即ち実施例の制御部32の処理)を実行する1又は複数のサーバとから構成されていてもよい。この場合、各サーバは、予め割り当てられた処理を実行するのに必要な情報を他のサーバから適宜受信して所定の処理を実行する。この場合、3次元点群データQtを補正する処理を実行する1又は複数のサーバは、本発明における「情報処理装置」の一例である。
(変形例4)
高精度計測ユニット1が搭載される車両と、簡易計測ユニット2が搭載される車両とは、同一車両であってもよい。この場合、例えば、車両は、高精度計測ユニット1を搭載して高精度計測ユニット1の測定経路を走行後、高精度計測ユニット1から簡易計測ユニット2に積み替えて簡易計測ユニット2の測定経路を走行する。この場合、上述の車両は、本発明における「第1移動体」及び「第2移動体」の両方として機能する。
(変形例5)
実施例においては、高精度計測ユニット1及び簡易計測ユニット2は、それぞれ車両に搭載するようにしたが、車両以外の移動体(例えば航空機や歩行者)が備えるような構成にしてもよい。
(変形例6)
サーバ装置3は、高精度計測ユニット1と簡易計測ユニット2との測定精度が同等である場合などには、補正後点群データQ‘tを生成する処理を行わなくともよい。この場合、サーバ装置3は、マッチング部34が特定した共通した地物を構成する特徴点データRt、Stに基づき、3次元点群データPtと3次元点群データQtとを1つの3次元点群データベースとして使用できるように合成する処理を行う。この場合であっても、サーバ装置3は、広範囲な測定データを効率的に生成することができる。
1 簡易計測ユニット
2 高精度計測ユニット
3 サーバ装置
30 インターフェース
31 記憶部
32 制御部
33A、33B 特徴点抽出部
34 マッチング部
35 差分量算出部
36 補正部

Claims (10)

  1. 第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、が統合され又は関連付けられた第1情報を取得する第1取得部と、
    前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報と、前記第1自己位置推定部よりも推定精度が低い第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、が統合され又は関連付けられた第2情報を取得する第2取得部と、
    前記第1情報と前記第2情報とに基づいて抽出された特徴情報に基づいて、前記第1情報と前記第2情報とを合成する合成部と、
    を備える情報処理装置。
  2. 前記特徴情報に基づいて、前記第2情報を補正する補正部を更に備える、請求項に記載の情報処理装置。
  3. 前記第1環境情報取得部は第1レーザースキャナを含み、
    前記第2環境情報取得部は第2レーザースキャナを含み、
    前記第1情報は、前記第1レーザースキャナによって計測された前記第1移動体と周囲の地物における照射点との距離情報と、前記第1自己位置推定部によって推定された前記第1移動体の第1位置情報と、に基づいて推定された、前記第1レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第1点群情報を含み、
    前記第2情報は、前記第2レーザースキャナによって計測された前記第2移動体と周囲の地物における照射点との距離情報と、前記第2自己位置推定部によって推定された前記第2移動体の第2位置情報と、に基づいて推定された、前記第2レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第2点群情報を含む、請求項又はに記載の情報処理装置。
  4. 前記第1環境情報取得部は第1カメラを含み、
    前記第2環境情報取得部は第2カメラを含み、
    前記第1情報は、前記第1カメラによって撮影された第1画像と、前記第1自己位置推定部によって推定された前記第1移動体の第1位置情報とが関連付けられた情報を含み、
    前記第2情報は、前記第2カメラによって撮影された第2画像と、前記第2自己位置推定部によって推定された前記第2移動体の第2位置情報とが関連付けられた情報を含み、
    前記補正部は、前記特徴情報に基づいて、前記第2画像に関連付けられた第2位置情報を補正する請求項に記載の情報処理装置
  5. 前記第1経路と前記第2経路とが接続する地点を基準として、前記第1情報及び前記第2情報から共通して特定される地物に対応する特徴情報を抽出する抽出部を更に備える請求項1〜のいずれか一項に記載の情報処理装置。
  6. 前記補正部は、前記第1情報から抽出した特徴情報が示す座標位置と、前記第2情報から抽出した特徴情報が示す座標位置との差分量に基づき、前記第2情報を補正する請求項またはに記載の情報処理装置。
  7. 情報処理装置が実行する制御方法であって、
    第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、が統合され又は関連付けられた第1情報を取得する第1取得工程と、
    前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報と、前記第1自己位置推定部よりも推定精度が低い第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、が統合され又は関連付けられた第2情報を取得する第2取得工程と、
    前記第1情報と前記第2情報とに基づいて抽出された特徴情報に基づいて、前記第1情報と前記第2情報とを合成する合成工程と、
    を有する制御方法。
  8. コンピュータが実行するプログラムであって、
    第1経路を移動する第1移動体が有する第1環境情報取得部により取得される前記第1移動体の周囲の情報である第1環境情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、が統合され又は関連付けられた第1情報を取得する第1取得部と、
    前記第1経路とは異なる第2経路を移動する第2移動体が有する第2環境情報取得部により取得される前記第2移動体の周囲の情報である第2環境情報と、前記第1自己位置推定部よりも推定精度が低い第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、が統合され又は関連付けられた第2情報を取得する第2取得部と、
    前記第1情報と前記第2情報とに基づいて抽出された特徴情報に基づいて、前記第1情報と前記第2情報とを合成する合成部
    として前記コンピュータを機能させるプログラム。
  9. 請求項に記載のプログラムを記憶したことを特徴とする記憶媒体。
  10. 第1経路を移動する第1移動体が有する第1レーザースキャナにより取得される前記第1移動体の周囲の地物における照射点と前記第1移動体との距離情報と、第1自己位置推定部によって推定される前記第1移動体の第1位置情報と、に基づいて推定された、前記第1レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第1点群情報を取得する第1取得部と、
    前記第1経路とは異なる第2経路を移動する第2移動体が有する第2レーザースキャナにより取得される前記第2移動体の周囲の地物における照射点と前記第2移動体との距離情報と、第2自己位置推定部によって推定される前記第2移動体の第2位置情報と、に基づいて推定された、前記第2レーザースキャナのレーザー光が照射された前記地物の照射点からなる点群のそれぞれの座標位置を示す第2点群情報を取得する第2取得部と、
    前記第1点群情報と前記第2点群情報とに基づいて抽出された特徴情報に基づいて、前記第1点群情報と前記第2点群情報とを合成する合成部と、
    を備える情報処理装置。
JP2015220324A 2015-11-10 2015-11-10 情報処理装置、制御方法、プログラム及び記憶媒体 Active JP6656886B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015220324A JP6656886B2 (ja) 2015-11-10 2015-11-10 情報処理装置、制御方法、プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015220324A JP6656886B2 (ja) 2015-11-10 2015-11-10 情報処理装置、制御方法、プログラム及び記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020018132A Division JP2020073931A (ja) 2020-02-05 2020-02-05 情報処理装置、制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2017090239A JP2017090239A (ja) 2017-05-25
JP6656886B2 true JP6656886B2 (ja) 2020-03-04

Family

ID=58770441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015220324A Active JP6656886B2 (ja) 2015-11-10 2015-11-10 情報処理装置、制御方法、プログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP6656886B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221458A1 (ja) * 2017-05-31 2018-12-06 パイオニア株式会社 更新装置、制御方法、プログラム及び記憶媒体
JP2019066631A (ja) * 2017-09-29 2019-04-25 パイオニア株式会社 地図データ構造
CN108008409B (zh) * 2017-11-28 2019-12-10 深圳市杉川机器人有限公司 区域轮廓绘制方法及装置
WO2019107367A1 (ja) 2017-11-30 2019-06-06 三菱電機株式会社 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム
JP2021043475A (ja) * 2017-12-25 2021-03-18 住友電気工業株式会社 送信装置、点群データ収集システムおよびコンピュータプログラム
CN110927708B (zh) * 2018-08-30 2022-10-11 阿波罗智能技术(北京)有限公司 智能路侧单元的标定方法、装置及设备
JP7138589B2 (ja) * 2019-03-06 2022-09-16 三菱電機株式会社 地図更新システム、地図更新方法および地図更新プログラム
JP7259674B2 (ja) * 2019-09-20 2023-04-18 沖電気工業株式会社 物体検出装置、物体検出方法およびプログラム
JPWO2021106388A1 (ja) * 2019-11-29 2021-06-03
JP7466144B2 (ja) 2020-03-25 2024-04-12 Tis株式会社 プログラム、自律移動装置の管理装置、管理方法及び管理システム
JP2022158530A (ja) * 2021-04-02 2022-10-17 日立Astemo株式会社 情報処理装置および情報処理方法
JP7414290B2 (ja) * 2021-06-01 2024-01-16 Necプラットフォームズ株式会社 測定装置、測定システム、制御方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271434A (ja) * 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> 複数の移動ロボットによる環境地図作成方法
JP5472142B2 (ja) * 2011-01-28 2014-04-16 株式会社デンソー 地図データ生成装置および走行支援装置
CA2869374C (en) * 2012-04-05 2019-04-16 Hitachi, Ltd. Map data creation device, autonomous movement system and autonomous movement control device
WO2016031229A1 (ja) * 2014-08-27 2016-03-03 パナソニックIpマネジメント株式会社 道路地図作成システム、データ処理装置および車載装置

Also Published As

Publication number Publication date
JP2017090239A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
JP6656886B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP5589900B2 (ja) 局所地図生成装置、グローバル地図生成装置、及びプログラム
KR102425272B1 (ko) 디지털 지도에 대한 위치를 판별하기 위한 방법 및 시스템
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
KR101625486B1 (ko) 지도 기반 측위 시스템 및 그 방법
US9207677B2 (en) Vehicle positioning method and its system
US11237005B2 (en) Method and arrangement for sourcing of location information, generating and updating maps representing the location
JP2022518911A (ja) 乗り物のセンサとカメラアレイからの構造化された地図データの生成
EP2133662A2 (en) Methods and system of navigation using terrain features
CN111551186A (zh) 一种车辆实时定位方法、系统及车辆
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
JP6589410B2 (ja) 地図生成装置及びプログラム
EP4012341A1 (en) Camera calibration for localization
JP2012242317A (ja) キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
JP2018112506A (ja) 車載処理装置
JP5716273B2 (ja) 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム
CN108613675B (zh) 低成本无人飞行器移动测量方法及系统
JP2006284281A (ja) 自車情報認識装置及び自車情報認識方法
KR101323971B1 (ko) 모바일 맵핑 시스템을 이용한 터널 정보 자동 취득 방법
JP2023164553A (ja) 位置推定装置、推定装置、制御方法、プログラム及び記憶媒体
JP2019120629A (ja) 位置計算装置、位置計算プログラム及び座標マーカ
JP6698430B2 (ja) 測定装置、測定方法およびプログラム
JP2022066276A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200205

R150 Certificate of patent or registration of utility model

Ref document number: 6656886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250