JPWO2019031373A1 - 地物データ構造 - Google Patents

地物データ構造 Download PDF

Info

Publication number
JPWO2019031373A1
JPWO2019031373A1 JP2019535150A JP2019535150A JPWO2019031373A1 JP WO2019031373 A1 JPWO2019031373 A1 JP WO2019031373A1 JP 2019535150 A JP2019535150 A JP 2019535150A JP 2019535150 A JP2019535150 A JP 2019535150A JP WO2019031373 A1 JPWO2019031373 A1 JP WO2019031373A1
Authority
JP
Japan
Prior art keywords
feature
information
feature data
sensor
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019535150A
Other languages
English (en)
Inventor
克巳 天野
克巳 天野
令司 松本
令司 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2019031373A1 publication Critical patent/JPWO2019031373A1/ja
Priority to JP2022134693A priority Critical patent/JP2022173203A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/387Organisation of map data, e.g. version management or database structures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Instructional Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

地物についてのセンシング漏れを抑制することができる地物データ構造を提供する。外部サーバ(300)に記憶された地物データが、センサ(20A)〜(20D)によって地物が認識可能となるような被認識可能範囲についての被認識情報を含んだデータ構造を有することで、車両(100)が被認識可能範囲内に位置するか否かを制御部4が判断することができ、これに基づいてセンサ(20A)〜(20D)にセンシングをさせることができる。このような地物データ構造を有する特定の地物についてのセンシング漏れを抑制することができる。

Description

本発明は、地物を示す地物データ構造に関する。
一般に、車両等の移動体には、移動経路上または経路周辺に位置する地物や他の移動体を認識するためのセンサが設けられることがある。このような移動体として、センサとしてのレーザレーダが複数設けられたものが提案されている(例えば、特許文献1参照)。特許文献1に記載された移動体では、レーザ光を走査することによって道路地物を計測するようになっている。
特開2011−196916号公報
しかしながら、移動体の移動時には、移動体から見て地物が次々と周囲を通過することとなり、特許文献1に記載されたようなレーザレーダを備えた移動体において、走行時に常に道路地物を計測しようとすると、計測データのデータサイズが膨大となってしまう。このとき、センシング精度や計測頻度を低下させればデータサイズを小さくすることができるものの、重要な地物についてのセンシング漏れが生じてしまう可能性がある。
したがって、本発明の課題は、特定の地物についてのセンシング漏れを抑制することができる地物データ構造を提供することが一例として挙げられる。
前述した課題を解決し目的を達成するために、請求項1に記載の本発明の地物データ構造は、地物を示す地物データ構造であって、移動体に配置されたセンサによって前記地物が認識可能となるような被認識可能範囲に関する被認識情報を含むことを特徴としている。
請求項8に記載の本発明の地物データ送信方法は、地物を示すとともに、移動体に配置されたセンサによって前記地物が認識可能となるような被認識可能範囲に関する被認識情報を含む地物データを記憶する記憶工程と、前記センサが搭載された移動体の位置情報を取得する位置情報取得工程と、前記位置情報取得部によって取得した前記位置情報に基づき、前記地物の周辺に位置する移動体に前記地物データを送信する送信工程と、を含むことを特徴としている。
本発明の実施例に係るセンサ制御装置および該センサ制御装置と通信する外部サーバと、の概略を示すブロック図である。 前記センサ制御装置が移動体に搭載された様子を示す平面図である。 前記センサ制御装置が移動体に搭載された様子を示す側面図である。 前記センサ制御装置が実行するセンサ制御処理の手順の一例を示すフローチャートである。 前記センサ制御装置によって制御されるセンサの感度を示すグラフである。 外部サーバが実行する地物データ送信処理の手順の一例を示すフローチャートである。 前記センサ制御装置が実行する第2のセンサ制御処理の手順の一例を示すフローチャートである。
以下、本発明の実施形態を説明する。本発明の実施形態に係る地物データ構造は、地物を示す地物データ構造であって、移動体に配置されたセンサによって地物が認識可能となるような被認識可能範囲に関する被認識情報を含む。
このような本実施形態の地物データ構造によれば、センサが配置された移動体が被認識可能範囲内に位置するか否かを適宜な制御部によって判断することができ、これに基づいてセンサに地物をセンシングさせることができる。言い換えれば、センサに当該地物の現在情報(例えば、地物の形状や、地物の有無等を示す情報)を取得させることができる。また、センサが配置された移動体が被認識可能範囲に位置した際に、当該地物データ構造を有した地物をセンサに確実にセンシングさせることができ、地物についてのセンシング漏れを抑制することができる。移動体が被認識可能範囲内に位置するか否かは、移動体の制御部が判断してもよいし、移動体外部の機器の制御部が判断してもよい。
被認識情報は、地物をセンサが認識可能となる、地物の位置からセンサの位置又は移動体までの距離に関する距離情報を含むことが好ましい。これにより、距離情報に基づいてセンサに地物をセンシングさせることができ、地物についてのセンシング漏れを抑制することができる。
本発明の他の実施形態に係る地物データ構造は、地物を示す地物データ構造であって、移動体に配置されたセンサによる地物のセンシングを実行許可または実行不許可とする許可情報を含む。このような本実施形態の地物データ構造によれば、センシングが必要な地物についてのみ、移動体に配置されたセンサに対しセンシングを許可することができる。これにより、センサが取得する情報量を削減しつつ、特定の地物についてのセンシング漏れを抑制することができる。尚、センシングを実行許可または実行不許可とする許可情報は、地物に固有のものであってもよいし、条件によって異なる複数の情報を含んでいてもよい。即ち、所定の地物を示す地物データ構造については、常にセンシング実行許可または不許可とする許可情報を含んでいてもよいし、空間的な条件(例えばセンサが上記の被認識可能範囲内に位置するか否か)に応じてセンシング実行許可または不許可とする許可情報を含んでいてもよい。また、時間的な条件(例えば一日における時間帯や季節)に応じてセンシング実行許可または不許可とする許可情報を含んでいてもよいし、天候条件に応じてセンシング実行許可または不許可とする許可情報を含んでいてもてもよい。このような地物データ構造を有する地物データを移動体が取得(受信)することにより、当該地物データに含まれる実行許可または不許可とする許可情報に基づいて、制御部はセンサを制御することができる。こうすることで、上述した空間的な条件や時間的な条件等に応じて、センサのセンシングの状態を切り換えることが可能となる。言い換えれば、センサによるセンシングが可能な条件のときのみ、センサによるセンシングを実行させることができる。
また、上記のように許可情報が所定の条件に基づいて実行許可または不許可とする場合、移動体が地物データ構造を取得または記憶することにより、当該条件を満たすか否かを移動体において判断してもよいし、移動体外部の記憶装置が地物データ構造を記憶することにより、当該条件を満たすか否かを記憶装置が判断し、実行許可または不許可の信号を移動体に出力してもよい。
本発明の実施形態に係る地図データの作成方法は、上記のような地物データ構造を含む地図データを作成する方法である。このような本実施形態の地図データ作成方法によれば、上記のような地物データ構造を含む地図データを作成することにより、このような地図データを用いることで、地物データ構造を有する特定の地物についてのセンシング漏れを抑制することができる。
本発明の実施形態に係る記憶装置は、地物を示す地物データを記憶する記憶装置であって、地物データは、移動体に配置されたセンサによって地物が認識可能となるような被認識可能範囲に関する被認識情報を含む。このような本実施形態の記憶装置によれば、被認識情報を含む地物データを記憶することにより、特定の地物についてのセンシング漏れを抑制することができる。
記憶装置は、センサが配置された移動体に対し、地物データを送信する送信部を備えることが好ましい。これにより、地物データを受信した移動体において、この移動体が被認識可能範囲内に位置するかを判断し、センシングするか否かを決定することができる。
記憶装置は、センサが配置された移動体の位置情報を取得する位置情報取得部をさらに備え、送信部は、位置情報取得部によって取得した位置情報に基づき、地物の周辺に位置する移動体に地物データを送信することが好ましい。これにより、地物の周辺(被認識可能範囲よりも広い範囲内)に位置する移動体に前もって地物データを送信し、移動体がさらに地物に接近して被認識可能範囲内に入ったらセンサに地物をセンシングさせることができ、センシング漏れをさらに抑制することができる。また、地物データを必要に応じて送信することにより、全ての地物データを予め送信する方法と比較して、合計の送信データサイズを小さくすることができる。
本発明の実施形態に係る地物データ送信方法は、地物を示すとともに、移動体に配置されたセンサによって地物が認識可能となるような被認識可能範囲に関する被認識情報を含む地物データを記憶する記憶工程と、センサが配置された移動体の位置情報を取得する位置情報取得工程と、位置情報取得部によって取得した位置情報に基づき、地物の周辺に位置する移動体に地物データを送信する送信工程と、を含む。このような本実施形態の地物データ送信方法によれば、上記のように、地物データを受信した移動体において特定の地物についてのセンシング漏れを抑制することができる。
また、上述した地物データ送信方法をコンピュータにより実行させる地物データ送信プログラムとしてもよい。このようにすることにより、コンピュータを用いて、特定の地物についてのセンシング漏れを抑制することができる。
また、上述した地物データ送信プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
以下、本発明の実施例について具体的に説明する。センサ制御装置1は、移動体としての車両100に配置されるものであって、図1に示すように、通信部2と、現在位置取得部3と、制御部4と、記憶部5と、を備える。本実施形態では、図2、3に示すように、車両100の前後左右のそれぞれに計4つのセンサ20A〜20Dが設けられている。尚、車両100は、道路情報や地物に関する現在情報を収集することを目的とする計測車両であってもよいし、搭乗者の移動や旅客輸送、運送を目的とした一般車両であってもよい。
センサ制御装置1は、記憶装置(外部サーバ)300と通信する。外部サーバ300は、記憶部本体301と、通信部302と、制御部303と、を有する。
センサ20A〜20Dは、電磁波を投射する投射部と、照射対象物(後述する地物)による電磁波の反射波を受光する受信部と、を有する。これらのセンサは、光を投射して照射対象物による反射光を受光する光センサ(いわゆるLIDAR; Laser Imaging Detection and Ranging)であってもよい。以下、センサ20A〜20Dが光センサで構成されているものとして説明する。センサ20A〜20Dから出力される出力信号を処理することで、レーザ光を投射する方向、且つ、レーザ光の強度等に応じた最長認識距離Lよりも近くに位置する対象物を認識することが可能となる。尚、最長認識距離Lとは、照射したレーザ光が対象物によって反射され受光部に到達した際に、この反射光が、受光部が認識可能な強度を有するような距離を意味する。さらに、センサ20A〜20Dは、センサ毎に水平面内においてレーザ光を照射可能な方向の角度範囲θと、鉛直方向においてレーザ光を照射可能な方向の角度範囲φと、をペアで有している。従って、センサ20A〜20Dのそれぞれの認識可能範囲は、平面視において、最長認識距離Lと角度範囲θとによって定まる扇形状、正面視および側面視において、最長認識距離Lと角度範囲φとによって定まる扇形状の領域を成す。
上記のような最長認識距離Lと角度範囲θ、φとは、データベースとして記憶部5に記憶されている。即ち、記憶部5には、センサ20A〜20Dに関するセンサ情報として、各センサが地物の現在情報を取得可能な範囲(センサが地物を認識可能な範囲)に関する認識可能範囲情報が記憶されている。尚、センサ20A〜20Dは、互いに異なる性能を有していてもよく、記憶部5には、センサ20A〜20Dのそれぞれについてセンサ情報が記憶されている。
さらに、記憶部5には、センサ情報として、認識可能範囲における接近認識範囲と、認識可能範囲における接近認識範囲の外側の通常認識範囲と、に関する詳細認識範囲情報も記憶する。接近認識範囲とは、人体への影響を考慮して決定される範囲であり、センサ20A〜20Dの性能に応じて適宜に設定されていればよい。このように記憶部5に記憶されるセンサ情報の一例を表1に示す。
Figure 2019031373
ここで、制御部4は、センサ20A〜20Dのそれぞれの認識感度を連続的に変化させる制御を行ってもよい。或いは、センサ20A〜20Dのそれぞれを単にオンオフする制御を行ってもよい。尚、認識感度とは、所定のスキャン範囲をスキャンする際の測定回数(単位時間当たりに投射部がとレーザ光を照射する回数)や、一回の測定あたりの消費エネルギー(投射部が照射するレーザ光の強度)等で決まる。即ち、所定のスキャン範囲における測定回数(レーザ光の照射回数)が多いほど認識感度が高く、一回の測定あたりの消費エネルギー(照射するレーザ光の強度)が大きいほど認識感度が高い。
通信部2は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ300と通信して情報を送受信する。通信部2は、外部サーバ300から地図情報および地物に関する地物情報を取得する。サーバ300からの取得タイミングは、車両の走行開始前であってもよいし、走行中であってもよい。取得した地図情報および地物情報は記憶部5に記憶すればよい。この地物情報には地物の位置に関する地物位置情報等が含まれている。また、通信部2は、後述するようにセンサ20A〜20Dによって取得した地物の現在情報を外部に出力し、外部出力部として機能する。
ここで、地物とは、地上に存在する天然または人工のあらゆる物体を含む概念である。地物の例としては、車両の経路(即ち道路)上に位置する経路上地物と、道路の周辺に位置する周辺地物と、が含まれる。経路上地物の例としては、道路標識や信号機、ガードレール、歩道橋等が挙げられ、道路そのものも含まれる。即ち、路面に描写された文字や図形、及び、道路の形状(道幅や曲率)も経路上地物に含まれる。また、周辺地物の例としては、道路に沿って位置する建築物(住宅、店舗)や看板が挙げられる。また、地物情報とは、上述の地物に関連する情報である。地物情報に含まれる情報の例としては、地物の位置を示す地物位置情報(地物の撤去に伴う地物不在を示す位置情報も含む)、事前に地物を撮影した画像や映像を解析することで得られた地物の形状等の特徴を示す特徴点情報、地物の経年変化等における地物の形状等の変化を記録した変化点情報、などが挙げられる。すなわち、センサを利用することによって、地物の現在情報を取得(収集)することが可能となり、これにより地物そのものを認識することの他、地物の変化や地物不在等の認識等も可能となる。
センサ20A〜20Dは、上述した地物を認識(検知、検出)することで地物の現在情報を取得可能なセンサである。センサ20A〜20Dによる地物の認識とは、地物の外形の認識、地物の表面の認識等の地物が存在することの認識のみならず、地物の変化や、当該地物が撤去されたこと等の認識も含まれる。例えばセンサ20A〜20Dが地物としての道路標識を認識する場合、道路標識に記された図形を認識してもよいし、表面状態(塗装の剥がれや色褪せ等)を認識してもよい。また、標識の向きが変化していることや、あるはずの(過去に存在していた)標識が撤去されていること等の状態を認識してもよい。
現在位置取得部3は、GPS受信部であって、公知であるように複数のGPS(Global Positioning System)衛星から発信される電波を受信して、車両100の現在位置情報を求めるものである。尚、ナビゲーション装置の一部として車両に配置されたGPS受信部を現在位置取得部3として利用すればよい。尚、センサ20A〜20Dの位置は、車両の現在位置と同じとしてもよいし、車両の現在位置情報と車両における取付箇所(配置箇所)に関する情報とに基づいて算出してもよい。取付箇所に関する情報は、予めメモリ等に記憶させておくようにしてもよい。即ち、現在位置取得部3は、取得した車両100の現在位置情報をそのままセンサ20A〜20Dの現在位置情報とすることで現在位置情報取得部として機能してもよいし、取得した車両100の現在位置情報を適宜に補正し、センサ20A〜20Dの現在位置情報することで現在位置情報取得部として機能してもよい。
通信部2が外部サーバ300から取得する地物情報には、地物位置情報が含まれている。制御部4は、通信部2が取得した地物情報に含まれる地物位置情報と、現在位置取得部3が取得した現在位置情報と、に基づいて地物とセンサ20A〜20Dとの距離を算出する。尚、センサ20A〜20Dの出力信号と現在位置取得部3が取得した現在位置情報を用いて算出された、センサ20A〜20Dと地物との距離を用いて推定される地物の位置と、地物情報に含まれる地物位置情報と、の間にずれが生じている場合には、当該ずれ量を用いて現在位置情報を較正するようにしてもよい。
制御部4は、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリを備えたCPU(Central Processing Unit)で構成され、センサ制御装置1の全体制御を司る。また、制御部4は、記憶部5からセンサ20A〜20Dのセンサ情報を取得し、第2取得部としても機能する。
記憶部5は、例えばハードディスクや不揮発性メモリなどで構成され、センサ20A〜20Dのセンサ情報や、外部サーバ300から取得した地図情報及び地物情報、制御部4の制御プログラム、各種演算に必要な数式及びテーブルを記憶し、制御部4からの制御により読み書きがなされる。
外部サーバ300の記憶部本体301は、例えばハードディスクや不揮発性メモリなどで構成され、上述した地図情報及び地物情報を記憶し、制御部303からの制御により読み書きがなされる。尚、記憶部本体301は、その記憶のデータ構造上、上記のように地図情報と地物情報とを別個に記憶するようにしてもよいし、地図情報と一体的に(即ち、地物情報が地図情報に含まれるように)記憶するようにしてもよい。また、尚、センサ制御装置1は、上記のように地図データを取得する際、必ずしもこれを外部サーバ300から取得する必要はなく、パッケージ化された地物データをプリインストールしておいてもよい。また、後述する地物データ送信処理が実行された際に、地図データを取得してもよい。
記憶部本体301に記憶される地物情報には、地物データが含まれる。この地物データは、センサによって地物が認識可能となるような被認識可能範囲についての被認識情報と、センサによるセンシングの実行許可または不許可についての許可情報と、との少なくとも一方を含んだデータ構造(地物データ構造)を有している。被認識可能範囲は、センサが当該認識可能範囲にある場合に、当該地物を認識可能になると予測される範囲を示すものである。被認識可能範囲は、例えば、地物の大きさや、地物の形状、地物の位置(例えば地面からの高さ)、地物の電磁波(例えば光)に対する反射率等に応じて設定される。尚、被認識情報は、少なくとも最長距離についての情報を含んでいればよい。即ち、地物を中心とする最長距離内の円状の二次元的な領域を被認識可能範囲としてもよいし、地物を中心とする最長距離内の球状の三次元的な領域を被認識可能範囲としてもよい。なお、被認識可能範囲は、円状又は球状に限定されるものではなく、地物の形状に応じて円又は球を変化させた形状であってもよい。また、最長距離だけでなく、地物の配置に応じて被認識可能範囲を設定してもよい。例えば、道路に沿って配置された地物については、道路側にのみ被認識可能範囲を設定し、半円状又は半球状の被認識可能範囲としてもよい。また、看板等の表裏がある地物については、表面側にのみ被認識可能範囲を設定し、半円状又は半球状の被認識可能範囲としてもよい。また、被認識情報は、地物ごとに一つの情報であってもよいし、複数の情報としてもよい。例えば、想定されるセンサの種類やスペックによって、当該センサが地物を認識可能になる範囲は異なる。このため、地物データは、センサの種類やスペックによって異なる被認識範囲を示す複数の被認識情報を有することとしてもよい。
許可情報とは、センサに対しその地物情報の認識を許可するか否かを示す情報である。許可情報の一例は、被認識可能範囲に車両100(又はセンサ20A〜20D)が位置する場合にセンシングを実行許可し、位置しない場合にセンシングを実行不許可とする情報である。このような地物データ構造は、後述する第2のセンサ制御処理の実行時までに作成され、地図情報又は地物情報の一部として記憶部本体301に記憶される(記憶工程)。尚、地物データ構造は、全ての地物について作成されている必要はなく、センサ20A〜20Dによって優先的に測定したい(即ち重要度が高い)地物について作成されるものでもよい。例えば、センサが配置された移動体が、自己位置推定を行なう際に、当該センサが周囲の地物をセンシングした結果の情報を用いて、当該推定精度を向上させる場合がある。この場合は、道路にある適度な間隔で配置されている道路標識をセンシングした結果が用いられることがある。したがって、他の地物に対して優先的に道路標識を示す地物データ構造は上述のように構成しておくことが望ましい。
地物の重要度を決める方法の一例として、センシング目的によって決定するようにしてもよい。例えば、道路情報の取得を目的としてセンシングする場合には、標識や信号機等の経路上地物の重要度を高くし、道路周辺の施設情報の取得を目的としてセンシングする場合には、建築物(住宅、店舗)や看板等の周辺地物の重要度を高くする等の方法がある。その他の方法でも地物の重要度を決めることは可能である。
通信部302は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、複数の車両100のそれぞれに設けられたセンサ制御装置1の通信部2と通信して情報を送受信する。このとき、外部サーバ300は、通信部302と通信部2との通信により、現在位置取得部3によってセンサ制御装置1が取得した現在位置情報を取得するようになっている。従って、通信部302が、センサ20A〜20Dが配置された車両100の位置情報を取得する位置情報取得部として機能する。
また、外部サーバ300は、通信部302と通信部2との通信により、後述するようにセンサ制御装置1に対して地物データを送信する。従って、通信部302が、センサ20A〜20Dが配置された車両100に対して地物データを送信する送信部として機能する。
制御部303は、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリを備えたCPU(Central Processing Unit)で構成され、外部サーバ300の全体制御を司る。
ここで、制御部4が図4に示すセンサ制御処理を実行する手順について説明する。車両の走行中、適宜なタイミング(例えば所定の時間が経過する毎や、車両が所定距離だけ走行する毎)に制御部4がセンサ制御処理を実行する。尚、センサ制御処理は、センサ20A〜20Dのそれぞれについて独立に実行されればよい。センサ制御処理において、まず制御部4は、現在位置取得部3によって車両の現在位置情報を取得する(ステップS1)。次いで、制御部4は、記憶部5に記憶された地物情報(即ち、後述のように、外部サーバ300から事前に取得して記憶させておいた地物情報)から、現在位置周辺に存在すると予測される地物を示す地物情報を抽出し、当該地物情報に含まれる地物位置情報を取得する(ステップS2)。ここで、制御部4は、ステップS2において、現在位置周辺の地物情報として、地物が撤去されたこと等を示す地物不存在の情報を抽出し、地物位置情報(地物が存在しない位置の情報)を取得するようにしてもよい。次いで、制御部4は、地物位置情報と現在位置情報とに基づいて、地物位置情報が示す位置とセンサの位置との相対位置(地物位置情報が示す位置とセンサの位置との距離)を算出する(ステップS3、第1取得工程)。次いで、制御部4は、記憶部5から認識可能範囲情報および詳細認識範囲情報を取得する(ステップS4、第2取得工程)。
次に、制御部4は、算出した相対位置に基づき、地物位置情報によって示される位置が認識可能範囲内に位置するか否かを判定する(ステップS5)。地物位置情報によって示される位置が認識可能範囲外に位置する場合(ステップS5でN)、制御部4は、センサ20A〜20Dを低感度状態で動作させてセンサ取得情報を取得する(ステップS6、制御工程)。
一方、地物位置情報によって示される位置が認識可能範囲内に位置する場合(ステップS5でY)、制御部4は、地物位置情報によって示される位置が通常認識範囲内に位置するか否かを判定する(ステップS7)。地物位置情報によって示される位置が通常認識範囲内に位置する場合(ステップS7でY)、制御部4は、センサ20A〜20Dを第1高感度状態で動作させてセンサ取得情報を取得する(ステップS8、制御工程)。一方、地物位置情報によって示される位置が通常認識範囲外に位置する(即ち接近認識範囲内に位置する)場合(ステップS7でN)、制御部4は、センサ20A〜20Dを第2高感度状態で動作させてセンサ取得情報を取得する(ステップS9、制御工程)。
制御部4は、ステップS6、S8、S9において取得したセンサ取得情報を、センサ制御装置1に設けられた記録装置内にそのまま保持するか、もしくは、通信部2によって外部サーバ300に送信させ(ステップS10)、センサ制御処理を終了する。センサ取得情報を記憶装置内に保持する場合は、走行終了後にセンサ取得情報を外部サーバに一括アップロードする。
ここで、上記の高感度状態および低感度状態の具体例について図5に基づいて説明する。図5のグラフは、横軸がセンサ20A〜20Dと地物との距離(相対距離)であり、縦軸がセンサ20A〜20Dの認識感度であり、第1制御例を実線で示し、第2制御例を破線で示し、第3制御例を一点鎖線で示し、第4制御例を二点鎖線で示す。尚、図5では、地物情報と感度状態との関係を、距離のみについて示しているが、レーザ光を照射可能な方向の角度範囲内に、地物位置情報によって示される位置が位置していることを前提としている。
まず、第1制御例では、認識感度は、第1高感度状態、第2高感度状態および低感度状態のそれぞれにおいて略一定となっており、且つ、低感度状態において0ではない(即ちセンサ20A〜20Dが動作している)。また、第1高感度状態および第2高感度状態における認識感度は、低感度状態における認識感度よりも高く、第1高感度状態における認識感度は、第2高感度状態における認識感度よりも高くなっている。
第2制御例では、認識感度は、第1高感度状態において、相対距離が小さくなるほど高くなり、第2高感度状態において、相対距離が小さくなるほど低くなり、低感度状態において0となっている。また、第1高感度状態および第2高感度状態において、認識感度のグラフは上向きに凸の曲線状となっている。
第3制御例では、認識感度は、第1高感度状態において、相対距離が小さくなるほど段階的に(不連続的に)高くなり、第2高感度状態において略一定であり、低感度状態において0となっている。
以上の第1〜第3制御例に示したように、各感度状態において認識感度が相対距離に応じて変化してもよいし略一定であってもよい。また、認識感度が相対距離に応じて変化する場合、その変化の態様は任意に設定されればよい。さらに、低感度状態において、認識感度が0となりセンサ20A〜20Dがオフ(動作しない)となってもよいし、認識感度が0とはならずセンサ20A〜20Dが動作してもよい。また、各制御例におけるグラフの形状は、図5で示した形状以外の直線、曲線、または多次元多項式であってもよい。
次に、外部サーバ300の制御部303が図6に示す地物データ送信処理を実行する手順について説明する。制御部303は、外部サーバ300の稼働中、対応する全てのセンサ制御装置1に対し、常に地物データ送信処理を実行する。まず、制御部303は、センサ20A〜20Dが配置された車両100の現在位置情報を取得する(ステップS21、位置情報取得工程)。次いで、制御部303は、車両100の周辺に地物が存在するか否かを判定する(ステップS22)。当該判定の具体例としては、制御部303は、ステップS21で取得した車両100の現在位置情報が示す位置から所定の範囲内に含まれる地物位置情報が存在するか否かを判定する。ここで、「所定の範囲内」とは、その地物の被認識可能範囲よりも広い範囲を指す。即ち、所定の範囲及び被認識可能範囲を円(又は球)状であるとした場合には、所定の範囲が形成する円(又は球)の半径の方が、被認識可能範囲が構成する円(又は球)の半径よりも長いことを意味する。また、ステップS22では、車両100の現在位置のみに基づいて判定してもよいし、車両100の移動方向にも基づいて判定してもよい。例えば、とある地物情報の地物位置情報が示す位置が車両100の現在位置から所定の範囲内に含まれる場合であっても、車両100が当該地物からと遠ざかるように移動している際には、当該地物の車両100の周辺に位置しないと判定してもよい。
車両100の周辺に地物が存在する場合(ステップS22でY)、制御部303は、記憶部本体301に記憶された、車両100の周辺に存在する地物の地物データをセンサ制御装置1に送信し(ステップS23、送信工程)、再びステップS21に戻る。一方、車両100の周辺に地物が存在しない場合(ステップS22でN)、制御部303は再びステップS21に戻る。このように、地物データがセンサ制御装置1に送信されることにより、センサ制御装置1は、対象とする特定の地物についてセンシングして現在情報を取得することが可能となる。センサ制御装置1の制御部4は、外部サーバ300から地物データを取得した場合、例えば上記のセンサ制御処理のステップS5〜S9において、地物データに基づいて判定することによりセンサ20A〜20Dを動作させればよい。即ち、制御部4は、現在位置情報と、取得した地物データに含まれる被認識情報又は許可情報と、に基づいてセンサ20A〜20Dを動作させればよい。
上記のように外部サーバ300から地物データを取得した場合に制御部4がセンサ20A〜20Dを制御する第2のセンサ制御処理の手順の一例を図7に示す。第2のセンサ制御処理において、まず制御部4は、現在位置取得部3によって車両の現在位置情報を取得する(ステップS31)。次いで、制御部4は、外部サーバ300から地物の被認識情報を取得する(ステップS32)。ステップS32では、上記の地物データ送信処理におけるステップS23が実行されることにより、地物の被認識情報を取得すればよい。次に、制御部4は、その車両が被認識可能範囲内に位置するか否かを判定する(ステップS33)。車両が被認識可能範囲内に位置する場合(ステップS33でY)、制御部4は、センサ20A〜20Dを第1の状態(例えば上記の高感度状態)で動作させる。一方、車両が被認識可能範囲外に位置する場合(ステップS33でN)、制御部4は、センサ20A〜20Dを第2の状態(例えば上記の低感度状態)で動作させる。
制御部4は、ステップS34、S35において取得したセンサ取得情報を、センサ制御装置1に設けられた記録装置内にそのまま保持するか、もしくは、通信部2によって外部サーバ300に送信させ(ステップS36)、第2のセンサ制御処理を終了する。センサ取得情報を記憶装置内に保持する場合は、走行終了後にセンサ取得情報を外部サーバに一括アップロードする。
上記の構成により、外部サーバ300に記憶された地物データが、センサ20A〜20Dによって地物が認識可能となるような被認識可能範囲についての被認識情報を含んだデータ構造を有することで、車両100が被認識可能範囲内に位置するか否かを制御部4が判断することができ、これに基づいてセンサ20A〜20Dに地物情報をセンシングさせることができる。また、センサが配置された移動体が被認識可能範囲に位置した際に、当該地物データ構造を有した地物をセンサに確実にセンシングさせることができ、このような地物データ構造を有する特定の地物についてのセンシング漏れを抑制することができる。
さらに、地物データが、センサ20A〜20Dによるセンシングの実行許可または不許可についての許可情報を含んだデータ構造を有することで、許可情報に基づいてセンシングを実行させることができる。
また、地物の周辺に位置する車両100に前もって地物データを送信することにより、車両100がさらに地物に接近して被認識可能範囲内に入ったらセンサ20A〜20Dに地物情報をセンシングさせることができ、センシング漏れをさらに抑制することができる。また、地物データを必要に応じて送信することにより、全ての地物データを予め送信する方法と比較して、合計の送信データサイズを小さくすることができる。
なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。
例えば、前記実施例では、外部サーバ300が、車両100の位置情報を取得し、地物の周辺に位置する車両100に地物データを送信するものとしたが、車両100の位置に関わらず地物データを送信してもよい。即ち、外部サーバ300から車両100に対して定期的に複数の地物データを送信するようにしてもよい。このとき、記憶された全ての地物データをまとめて送信してもよいし、特定のエリア(例えば車両100に搭載されたナビゲーションシステムにおいて自宅として登録された地点を含むエリア)内の地物データをまとめて送信してもよい。
また、外部サーバ300は車両100に対して地物データを送信しなくてもよい。即ち、外部サーバ300が車両100の位置情報を取得するとともに、制御部303によって車両100が被認識可能範囲内に位置するか否かを判定し、センサ20A〜20Dによるセンシングの実行許可または不許可についての信号のみを車両100に対して送信してもよい。
また、前記実施例では、地物データが、センサ20A〜20Dによるセンシングの実行許可または不許可についての許可情報を含んだデータ構造を有するものとしたが、センシングを実行するか否かについては、車両100の制御部4が判断してもよい。即ち、車両100が被認識情報のみを受信し、制御部4が、車両100自身が被認識可能範囲に入ったか否かを判定することにより、センシングを実行または不実行としてもよい。
また、前記実施例では、特定の地物が、被認識情報を含む地物データを有するものとしたが、地物データの内容は可変なものであってもよい。即ち、ある地物が複数回センシングされ、充分な情報が収集された場合には、この地物の重要度が低下する。そこで、この地物について地物データを削除してもよい。また、長期間センシングされていない地物がある場合、この地物について地物データを作成してもよい。
また、前記実施例では、許可情報に基づいて、制御部がセンシングの実行許可または不許可を切り換えるものとした。地物データには、空間的な情報や時間的な条件、天候条件等の条件に応じてセンシング実行許可または不許可とする複数の許可情報が含まれていてもよいし、地物に固有のもの(即ち上述の条件によって実行許可または不許可を切り換える必要がない)であってもよい。
例えば、店舗を地物とする場合、営業時間外にシャッターが閉じられてしまうことにより、店舗の外観の情報が得られにくくなってしまうことがある。そこで、店舗を示す地物データにおいては、営業時間内にはセンシングを実行許可し、営業時間外には実行不許可とするような許可情報を含むようにしてもよい。また、路面を地物とする場合、降雨や降雪、気温等によっては路面状態が変化することがある。そこで、路面を示す地物データにおいては、路面状態が変化し得る天候であればセンシングを実行許可し、路面状態が変化しないような天候であれば実行不許可とするような許可情報を含むようにしてもよい。また、道路標識のように重要な地物を示す地物データは、常にセンシング実行許可とする許可情報を含むようにしてもよい。時間が経過しても外観等が変化しにくく新たに情報を集める必要がないような地物(例えば、公共建築物、銅像、航路における灯台等)や、センシングしても有用な情報が得られない(センシング結果が安定しない)ような地物(例えば、季節によって葉の茂り方が異なる樹木等)を示す地物データについては、常にセンシング実行不許可とする許可情報を含むようにしてもよい。
また、前記実施例では、外部サーバ300と通信するセンサ制御装置1が移動体としての車両に配置されるものとしたが、外部サーバ300と通信する移動体は、船舶や航空機等であってもよく、センサの認識対象である地物は、外部サーバ300と通信する移動体の経路に応じた適宜なものであればよい。
また、前記実施例では、センサ20A〜20Dが光センサであるものとしたが、これに限定されず音波や電磁波を用いたものであってもよい。
その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。
300 外部サーバ(記憶装置)
302 通信部(送信部)
20A〜20D センサ
100 車両(移動体)

Claims (10)

  1. 地物を示す地物データ構造であって、
    移動体に配置されたセンサによって前記地物が認識可能となるような被認識可能範囲に関する被認識情報を含むことを特徴とする地物データ構造。
  2. 前記被認識情報は、前記地物を前記センサが認識可能となる、前記地物の位置から前記センサの位置又は前記移動体までの距離に関する距離情報を含むことを特徴とする請求項1に記載の地物データ構造。
  3. 請求項1に記載の地物データ構造を含む地図データを作成することを特徴とする地図データ作成方法。
  4. 地物を示す地物データを記憶する記憶装置であって、
    前記地物データは、移動体に配置されたセンサによって前記地物が認識可能となるような被認識可能範囲に関する被認識情報を含むことを特徴とする記憶装置。
  5. 前記センサが配置された移動体に対し、前記地物データを送信する送信部を備えることを特徴とする請求項4に記載の記憶装置。
  6. 前記センサが配置された移動体の位置情報を取得する位置情報取得部をさらに備え、
    前記送信部は、前記位置情報取得部によって取得した前記位置情報に基づき、前記地物の周辺に位置する移動体に前記地物データを送信することを特徴とする請求項5に記載の記憶装置。
  7. 地物を示す地物データ構造であって、
    移動体に配置されたセンサによる前記地物のセンシングを実行許可または実行不許可とする許可情報を含むことを特徴とする地物データ構造。
  8. 地物を示すとともに、移動体に配置されたセンサによって前記地物が認識可能となるような被認識可能範囲に関する被認識情報を含む地物データを記憶する記憶工程と、
    前記センサが配置された移動体の位置情報を取得する位置情報取得工程と、
    前記位置情報取得部によって取得した前記位置情報に基づき、前記地物の周辺に位置する移動体に前記地物データを送信する送信工程と、を含むことを特徴とする地物データ送信方法。
  9. 請求項8に記載の地物データ送信方法を、コンピュータにより実行させることを特徴とする地物データ送信プログラム。
  10. 請求項9に記載の地物データ送信プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2019535150A 2017-08-09 2018-08-02 地物データ構造 Pending JPWO2019031373A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022134693A JP2022173203A (ja) 2017-08-09 2022-08-26 地物データ作成方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017154122 2017-08-09
JP2017154122 2017-08-09
PCT/JP2018/028974 WO2019031373A1 (ja) 2017-08-09 2018-08-02 地物データ構造

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022134693A Division JP2022173203A (ja) 2017-08-09 2022-08-26 地物データ作成方法

Publications (1)

Publication Number Publication Date
JPWO2019031373A1 true JPWO2019031373A1 (ja) 2020-07-16

Family

ID=65271221

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019535150A Pending JPWO2019031373A1 (ja) 2017-08-09 2018-08-02 地物データ構造
JP2022134693A Pending JP2022173203A (ja) 2017-08-09 2022-08-26 地物データ作成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022134693A Pending JP2022173203A (ja) 2017-08-09 2022-08-26 地物データ作成方法

Country Status (4)

Country Link
US (1) US20210149052A1 (ja)
EP (1) EP3667232A4 (ja)
JP (2) JPWO2019031373A1 (ja)
WO (1) WO2019031373A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3054042B1 (fr) * 2016-07-12 2018-08-17 Rockwell Collins France Procede et dispositif de determination d'une zone geographique operationnelle observee par un capteur

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60209191A (ja) * 1984-03-31 1985-10-21 Nissan Motor Co Ltd 車両用レ−ダ装置
JPH10311730A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 通信機器制御装置
JP2014173956A (ja) * 2013-03-07 2014-09-22 Aisin Aw Co Ltd 経路案内装置、及び経路案内プログラム
US20150260530A1 (en) * 2014-03-11 2015-09-17 Volvo Car Corporation Method and system for determining a position of a vehicle
JP2016068654A (ja) * 2014-09-29 2016-05-09 三菱電機株式会社 車両用照射制御システムおよび画像照射の制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH103117A (ja) * 1996-06-17 1998-01-06 Kyocera Corp 情報選択表示装置を備えたカメラ
JP2004045051A (ja) * 2002-07-08 2004-02-12 Matsushita Electric Ind Co Ltd 情報処理装置および情報処理システム
JP4437556B2 (ja) * 2007-03-30 2010-03-24 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP5557472B2 (ja) * 2009-05-21 2014-07-23 三菱電機株式会社 道路レーンデータ生成装置、道路レーンデータ生成方法および道路レーンデータ生成プログラム
JP2011027594A (ja) * 2009-07-27 2011-02-10 Toyota Infotechnology Center Co Ltd 地図データ検証システム
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
JP2011196916A (ja) 2010-03-23 2011-10-06 Mitsubishi Electric Corp 計測車両、道路地物計測システム
JP5798150B2 (ja) * 2013-05-30 2015-10-21 本田技研工業株式会社 物体検出装置
DE102014220687A1 (de) * 2014-10-13 2016-04-14 Continental Automotive Gmbh Kommunikationsvorrichtung für ein Fahrzeug und Verfahren zum Kommunizieren
JP6399100B2 (ja) * 2014-10-22 2018-10-03 日産自動車株式会社 走行経路演算装置
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60209191A (ja) * 1984-03-31 1985-10-21 Nissan Motor Co Ltd 車両用レ−ダ装置
JPH10311730A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 通信機器制御装置
JP2014173956A (ja) * 2013-03-07 2014-09-22 Aisin Aw Co Ltd 経路案内装置、及び経路案内プログラム
US20150260530A1 (en) * 2014-03-11 2015-09-17 Volvo Car Corporation Method and system for determining a position of a vehicle
JP2016068654A (ja) * 2014-09-29 2016-05-09 三菱電機株式会社 車両用照射制御システムおよび画像照射の制御方法

Also Published As

Publication number Publication date
WO2019031373A1 (ja) 2019-02-14
JP2022173203A (ja) 2022-11-18
EP3667232A4 (en) 2021-05-05
US20210149052A1 (en) 2021-05-20
EP3667232A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
JP7297017B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
US10534091B2 (en) Method and apparatus for generating road surface, method and apparatus for processing point cloud data, computer program, and computer readable recording medium
US10260892B2 (en) Data structure of environment map, environment map preparing system and method, and environment map updating system and method
US11960028B2 (en) Determining specular reflectivity characteristics using LiDAR
US10254395B2 (en) System and methods for scanning with integrated radar detection and image capture
AU2019210587B2 (en) Object detection based on lidar intensity
JP2023111952A (ja) センサ制御装置
JP2020500290A (ja) 位置特定基準データを生成及び使用する方法及びシステム
JP6745169B2 (ja) レーザ計測システム及びレーザ計測方法
JP6973351B2 (ja) センサ校正方法、及びセンサ校正装置
CN112740077B (zh) 用以减轻激光雷达串扰的激光雷达系统设计
US20190212422A1 (en) Lidar intensity calibration
CN112513679A (zh) 一种目标识别的方法和装置
CN112505671B (zh) Gnss信号缺失环境下毫米波雷达目标定位方法及装置
JP2018119852A (ja) 位置特定装置、位置特定方法、位置特定システム、位置特定用プログラム、無人航空機および無人航空機識別用ターゲット
CN116547562A (zh) 点云滤噪方法、系统和可移动平台
JP2022173203A (ja) 地物データ作成方法
US11834065B2 (en) System, method, and computer program product for detecting road marking points from LiDAR data
CN114102577A (zh) 一种机器人及应用于机器人的定位方法
JPWO2019151106A1 (ja) 周辺情報処理方法
JP6919663B2 (ja) 衛星マスク生成方法および衛星マスク生成装置
KR102694525B1 (ko) 위성 기반의 선박 탐지 방법, 선박 탐지 시스템, 이를 위한 컴퓨터 프로그램
JP7452349B2 (ja) 交通用検知装置および交通用検知方法
US20240087094A1 (en) Systems And Methods For Combining Multiple Depth Maps
JP2024138748A (ja) 位置推定装置、位置推定方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220607