JP6688521B2 - 測位方法、端末及びサーバー - Google Patents

測位方法、端末及びサーバー Download PDF

Info

Publication number
JP6688521B2
JP6688521B2 JP2019533070A JP2019533070A JP6688521B2 JP 6688521 B2 JP6688521 B2 JP 6688521B2 JP 2019533070 A JP2019533070 A JP 2019533070A JP 2019533070 A JP2019533070 A JP 2019533070A JP 6688521 B2 JP6688521 B2 JP 6688521B2
Authority
JP
Japan
Prior art keywords
coordinates
local
map data
global
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019533070A
Other languages
English (en)
Other versions
JP2020503507A (ja
Inventor
林▲義▼▲ミン▼
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shenzhen Robotics Systems Co Ltd
Original Assignee
Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shenzhen Robotics Systems Co Ltd filed Critical Cloudminds Shenzhen Robotics Systems Co Ltd
Publication of JP2020503507A publication Critical patent/JP2020503507A/ja
Application granted granted Critical
Publication of JP6688521B2 publication Critical patent/JP6688521B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Information Transfer Between Computers (AREA)
  • Instructional Devices (AREA)

Description

本発明は、測位及びナビゲーションの分野に関し、特に測位方法、端末及びサーバーに関する。
現在、民間用の測位及びナビゲーション技術はGNSS(global navigation satellite system、グローバルナビゲーション衛星システム)に依存するものが多く、このようなナビゲーション技術は、グローバル測位の精度が低く、通常、メートルレベルの誤差がある。ロボット分野におけるSLAM(simultaneous localization and mapping、自己位置推定・地図構築)技術は、正確な測位機能を有するものの、SLAM地図データが相対的なローカルマップであるため、グローバル測位が実現できない。
本発明の実施例は、グローバル測位を正確に行うための測位方法、端末及びサーバーを提供する。
上記目的を達成させるために、本発明の実施例は下記技術案を採用する。
第1態様によれば、
現在位置の第1グローバル座標をサーバーに送信するステップと、
前記第1グローバル座標に対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを前記サーバーから受信するステップと、
前記ローカルマップデータ及び前記現在位置の周辺環境情報に基づいて、前記現在位置のローカル座標を取得するステップと、
前記現在位置のローカル座標及び前記マッピングパラメータに基づいて、現在位置の第2グローバル座標を取得するステップとを含む測位方法を提供する。
第2態様によれば、
端末から現在位置の第1グローバル座標を受信するステップと、
前記第1グローバル座標に基づいて、対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを検索するステップと、
前記ローカルマップデータ及びマッピングパラメータを前記端末に送信するステップとを含む測位方法を提供する。
第3態様によれば、
現在位置の第1グローバル座標をサーバーに送信する送信ユニットと、
前記第1グローバル座標に対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを前記サーバーから受信する受信ユニットと、
前記ローカルマップデータ及び前記現在位置の周辺環境情報に基づいて、前記現在位置のローカル座標を取得する取得ユニットとを備え、
前記取得ユニットはさらに、前記現在位置のローカル座標及び前記マッピングパラメータに基づいて、現在位置の第2グローバル座標を取得する端末を提供する。
第4態様によれば、
端末から現在位置の第1グローバル座標を受信する受信ユニットと、
前記第1グローバル座標に基づいて、対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを検索する取得ユニットと、
前記ローカルマップデータ及びマッピングパラメータを前記端末に送信する送信ユニットとを備えるサーバーを提供する。
第5態様によれば、第1態様に記載の測位方法を実行するために設計されるプログラムコードを含む端末用のコンピュータソフトウェア命令を記憶するコンピュータ記憶媒体を提供する。
第6態様によれば、コンピュータの内部メモリに直接ロードでき、ソフトウェアコードを含み、コンピュータプログラムがコンピュータによりロードされて実行されると第1態様に記載の測位方法を実現できるコンピュータプログラム製品を提供する。
第7態様によれば、コンピュータ実行可能コードを記憶するメモリと、前記端末と外部機器のデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して第1態様に記載の測位方法を実行するように制御するプロセッサとを備える端末を提供する。
第8態様によれば、第2態様に記載の測位方法を実行するために設計されるプログラムコードを含むサーバー用のコンピュータソフトウェア命令を記憶するコンピュータ記憶媒体を提供する。
第9態様によれば、コンピュータの内部メモリに直接ロードでき、ソフトウェアコードを含み、コンピュータプログラムがコンピュータによりロードされて実行されると第2態様に記載の測位方法を実現できるコンピュータプログラム製品を提供する。
第10態様によれば、コンピュータ実行可能コードを記憶するメモリと、前記サーバーと外部機器のデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して第2態様に記載の測位方法を実行するように制御するプロセッサとを備えるサーバーを提供する。
本発明の実施例による測位方法、端末及びサーバーでは、サーバーが端末から送信した低精度の第1グローバル座標に基づいて、マッチングしたローカルマップデータとマッピングパラメータを検索して端末に送信し、端末がリアルタイムで取得した現在位置の周辺環境情報に基づいてローカルマップデータから測位を行い、該現在位置の周辺環境情報に対応した高精度のローカル座標を取得し、次に取得したローカル座標をマッピングパラメータに基づいて現在位置の第2グローバル座標に変換し、第2グローバル座標は高精度のローカル座標から変換されるので、その精度が高く、正確なグローバル測位を達成することができる。
本発明の実施例または従来技術における技術案をさらに説明するために、以下、実施例または従来技術の説明に必要な図面を簡単に説明するが、勿論、以下の説明における図面は本発明の実施例の一部に過ぎず、当業者であれば、創造的な努力を必要とせずに、これら図面に基づいて他の図面を想到し得る。
本発明の実施例による測位システムの構造模式図である。 本発明の実施例による端末の構造模式図である。 本発明の実施例によるサーバーの構造模式図である。 本発明の実施例による二次元平面座標の模式図である。 本発明の実施例による三次元空間座標の模式図である。 本発明の実施例によるサーバーにおいて地図データベースを作成するフロー模式図である。 本発明の実施例によるキーフレームの模式図である。 本発明の実施例による測位方法のフロー模式図である。 本発明の実施例による別の端末の構造模式図である。 本発明の実施例によるまた別の端末の構造模式図である。 本発明の実施例によるさらなる端末の構造模式図である。 本発明の実施例による別のサーバーの構造模式図である。 本発明の実施例によるまた別のサーバーの構造模式図である。 本発明の実施例によるさらなるサーバーの構造模式図である。
以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術案を明瞭且つ完全に説明するが、勿論、説明する実施例は本発明の実施例の一部に過ぎず、すべての実施例ではない。本発明における実施例に基づいて、当業者が創造的な努力を必要とせずに想到し得る他のすべての実施例は、本発明の保護範囲に属する。
本発明の実施例は測位システムを提供し、図1に示されるように、該測位システムは、現場に配置された端末11とクラウドに配置されたサーバー12とを含み、端末11はグローバルセンサにより現在のグローバル座標データを取得して、クラウドのサーバー12に送信して検索とマッチングを行い、次にサーバー12は対応したローカルマップデータを端末11に送信し、端末11は現在局所センサにより収集した情報をローカルマップデータと比較し、それによって正確なグローバル測位が完成する。
本発明の実施例における前記端末11は、盲導ヘルメット、ロボットなどのスマートデバイスであってもよく、図2に示されるように、該端末11はセンサ1101、プロセッサ1102、メモリ1103及び通信インターフェース1104を備え、これらはバスを介して接続される。その中でも、メモリ1103はプロセッサ1102が実行するコード及びデータなどを記憶し、プロセッサ1102はセンサ1101を制御して現在位置の周辺環境情報を収集した後に初期処理を行い、次に、通信インターフェース1104を介して有線又は無線方式でサーバー12に送信する。
本発明の実施例における前記サーバー12は、図3に示されるように、通信インターフェース1201、プロセッサ1202及びメモリ1203を備え、これらはバスを介して接続される。その中でも、メモリ1203はプロセッサ1202が実行するコード及び地図データなどを記憶し、プロセッサ1202は通信インターフェース1201を制御して有線又は無線方式で端末11から現在位置の周辺環境情報を受信し、次に処理後に地図データを通信インターフェース1201を介して端末11に送信する。
本発明の実施例における前記ローカル座標は、視覚、赤外線、超音波、ライダーやIMU(inertial measurement unit、慣性測定ユニット)などのセンサによって取得された局所の地理的範囲の相対座標を含み、グローバル座標とは、グローバルの地理的範囲での絶対座標である。ローカル座標及びグローバル座標はいずれも図4に示される二次元平面座標又は図5に示される三次元空間座標であり得る。GNSS衛星測位(たとえばGPS(global position system、全球測位システム))、WIFI(wireless−fidelity、ワイヤレスフィデリティ)測位、基地局測位などの方式により取得された平面座標は二次元平面座標であり、経度と緯度の情報を含むことができ、通常、ロボット、自律走行自動車、船など、陸上または海上で動作する機器に用いられる。二次元平面座標に加えて、超音波センサ又は高さセンサなどにより取得された高さ情報を追加して三次元空間座標が構成され、それは、通常、ドローン、飛行機、熱気球など、空中で動作する機器に用いられる。
本発明の実施例による測位方法、端末及びサーバーでは、測位時に、まず、サーバーは端末によるグローバルデータに基づいて測位を大体行って、対応したローカルマップデータを取得し、次に、端末はローカルマップデータ及びリアルタイムで取得した現在位置の周辺環境情報に基づいてグローバル測位を正確に行い、それによって、地図測位の演算量を効果的に減少させ、また、複数の処理や記憶作業がクラウドにおいて行われるため、端末側で必要とされるリソース量、パワー消費量及びコストを効果的に削減させる。
本発明の実施例における前記測位方法では、まず、サーバーにおいて地図データベースを作成し、図6に示されるように、具体的には、S101からS104を含む。
S101、端末は、現在位置の第3グローバル座標及び対応したローカルマップデータを取得する。
端末は、特定の軌跡に走行しているとともにグローバル座標及び対応したローカルマップデータを記録し、両方をデータペア(一対一対応)とし、且つグローバル座標の次元とローカルマップデータにおけるローカル座標の次元が同じである。
一例として、本発明の実施例は、グローバル座標がGPS経緯度座標であり、ローカルマップデータがvSLAM(visual simultaneous localization and mapping、視覚的同時測位及びマッピング)地図データ(対応した画像フレームのフレーム番号及び対応したローカル座標を含む)である場合を例にして説明する。
グローバル座標及びローカル座標が二次元平面座標である場合、一例として、GPSセンサでグローバル座標(経緯度)を収集し、同時に第1フレームカメラの光学中心を原点として、視覚センサにより環境の図像を収集して、収集した図像についてvSLAM地図構築のための演算を行い、グローバル座標に対応したvSLAMフレーム及び対応した二次元ローカル座標を出力し、このとき、二次元ローカル座標は画面の水平軸と垂直軸方向の座標である。
グローバル座標及びローカル座標が三次元空間座標である場合、一例として、別に超音波センサ又は高さセンサなどにより高さ情報を取得して、高さ情報を二次元平面座標とともにグローバル座標とし、同時に第1フレームカメラの光学中心を原点として、視覚センサにより環境の図像を収集し、収集した図像についてvSLAM地図構築のための演算を行い、グローバル座標に対応した画像フレームのフレーム番号及び対応した三次元ローカル座標を出力し、このとき、三次元ローカル座標は画面の水平軸と垂直軸方向の座標、及び光軸方向の座標である。
検索効率を高めるために、図7に示されるように、vSLAM地図構築過程においてキーフレームのフレーム番号及び対応したキーフレームのローカル座標を出力することができ、キーフレームはそれぞれ収集した図像における連続した一部の画像フレームを示す。
したがって、ローカルマップデータは、vSLAM地図データである場合、グローバル座標に対応した画像フレームのフレーム番号とローカル座標、及びキーフレームのフレーム番号とキーフレームのローカル座標を含む。
当業者にとって明らかなように、ほかの方式で取得しうるグローバル座標及びローカルマップデータは同様に本発明に適用できる。
S102、端末は、現在位置の第3グローバル座標と対応したローカルマップデータとをサーバーに送信する。
S103、サーバーは、端末から現在位置の第3グローバル座標及び対応したローカルマップデータを受信する。
S104、サーバーは、式Y=(RX+T)/sにより、マッピングパラメータR、T及びsを求める。
ただし、YはN*1マトリックスであり、グローバル座標を示し、XはN*1マトリックスであり、グローバル座標に対応したローカルマップデータにおけるローカル座標を示し、マッピングパラメータはグローバル座標とローカル座標の間のマッピング関係を示し、具体的には、ローカル座標をグローバル座標へマッピングする過程に使用される変換パラメータを示し、RはN*Nマトリックスであり、TはN*1マトリックスであり、R及びTは並進回転パラメータを示し、sはスケーリング因子であり、Nはグローバル座標又はローカル座標の次元である。各組のグローバル座標と対応したローカルマップデータから算出されたマッピングパラメータR、T及びsは同じである。
具体的には、最小二乗法を利用して上記式によりマッピングパラメータR、T及びsを求めることができ、ここで、Xは一組のローカルマップデータにおけるすべてのローカル座標であり、Yは対応したグローバル座標であり、この場合、算出されたマッピングパラメータは、データがより多いため、結果がより正確になる反面、より多くのコンピューティングリソースが必要とされ、もしくは、Xは一組のローカルマップデータにおけるキーフレームのローカル座標であり、Yは対応したグローバル座標であり、この場合、算出されたマッピングパラメータは正確度が低下するものの、消費されるコンピューティングリソースが減少する。
検索効率の向上及び記憶スペースの削減から、グローバル座標及びローカル座標がともに二次元平面座標である場合、表1に示されるような地図データマッピングテーブルを作成できる。
Figure 0006688521
グローバル座標及びローカル座標がともに三次元平面座標である場合、表2に示されるような地図データマッピングテーブルを形成できる。

Figure 0006688521
本発明の実施例による測位方法は、図8に示されるように、具体的には、S201からS207を含む。
S201、端末は、現在位置の第1グローバル座標をサーバーに送信する。
端末がGNSS衛星測位、WIFI測位、基地局測位などの方式で取得した現在位置のグローバル座標は、処理されないと、メートルレベルの誤差があり、第1グローバル座標と呼ばれる。また、第1グローバル座標は二次元平面座標であってもよいし、三次元空間座標であってもよい。
S202、サーバーは、端末から現在位置の第1グローバル座標を受信する。
S203、サーバーは、第1グローバル座標に基づいて、対応したローカルマップデータ及びローカルマップデータに対応したマッピングパラメータR、T及びsを検索する。
第1グローバル座標が二次元平面座標である場合、サーバーは、表1におけるグローバル座標欄を問い合わせて、ユークリッド距離が最も小さいグローバル座標を見つけると、対応した一組のローカルマップデータ及びマッピングパラメータR、T及びsを見つける。一例として、見つけられたユークリッド距離が最も小さいグローバル座標が40.0016370000、116.4854780000であるとすれば、対応したローカルマップデータは「vSLAM 地図1」であり、マッピングパラメータはR1、T1、s1である。
第1グローバル座標が三次元平面座標である場合、サーバーは、同様に、表2におけるグローバル座標欄を問い合わせて、ユークリッド距離が最も小さいグローバル座標を見つけると、対応したローカルマップデータ及び対応したマッピングパラメータR、T及びsを見つける。
S204、サーバーは、第1グローバル座標に対応したローカルマップデータ、及びローカルマップデータに対応したマッピングパラメータR、T及びsを端末に送信する。
S205、端末は、第1グローバル座標に対応したローカルマップデータ、及びローカルマップデータに対応したマッピングパラメータR、T及びsをサーバーから受信する。
S206、端末は、ローカルマップデータ及び現在位置の周辺環境情報に基づいて、現在位置のローカル座標を取得する。
具体的には、ローカルマップデータがvSLAM地図データ、現在位置の周辺環境情報が視覚センサにより取得した現在画像フレームを例にすると、端末が現在画像フレーム及びvSLAM地図データに基づいてvSLAM測位演算を行って得られた座標は、前記現在画像フレームに対応したローカル座標とされる。
S207、端末は、現在位置のローカル座標、及びマッピングパラメータR、T及びsに基づいて、現在位置の第2グローバル座標を取得する。
具体的には、端末は、Y=(RX+T)/sにより、現在位置の第2グローバル座標を求め、ここで、XはN*1マトリックスであり、現在位置のローカル座標を示し、YはN*1マトリックスであり、現在位置の第2グローバル座標を示す。
本発明の実施例による測位方法では、サーバーが端末から送信した低精度の第1グローバル座標に基づいて、マッチングしたローカルマップデータとマッピングパラメータを検索して端末に送信し、端末がリアルタイムで取得した現在位置の周辺環境情報に基づいてローカルマップデータから測位を行い、該現在位置の周辺環境情報に対応した高精度のローカル座標を取得し、次に取得したローカル座標をマッピングパラメータに基づいて現在位置の第2グローバル座標に変換し、第2グローバル座標は高精度のローカル座標から変換され、したがって、その精度が高く、正確なグローバル測位が実現される。
当業者にとって明らかなように、本明細書に開示された実施例において説明する各例示的なユニットおよびアルゴリズムのステップに基づいて、本発明はハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせとして実現できる。特定の機能がハードウェアによって実行されるか、コンピュータソフトウェアを利用してハードウェアを駆動する方式で実行されるかは、技術案の特定用途および設計の制限条件により決まる。当業者であれば、各特定の用途に応じて異なる方法により説明される機能を実現できるが、これら実現は本発明の範囲に含まれる。
本発明の実施例は、上記方法の例に応じて端末に対して端末の機能モジュールを分割することができ、たとえば、各機能に対応して各機能モジュールを分割してもよいし、2つまたは2つ以上の機能を1つの処理モジュールに集積させてもよい。上記集積モジュールは、ハードウェアの形態として実現されてもよく、ソフトウェア機能モジュールの形態として実現されてもよい。なお、本発明の実施例によるモジュールの分割は模式的なものであり、ロジック機能による分割に過ぎず、実際に実現するときに別の分割方式としてもよい。
各機能に対応して各機能モジュールを分割する場合について、図9は上記実施例に係る端末の一例の構造模式図を示しており、端末11は、受信ユニット1111、取得ユニット1112、送信ユニット1113を備える。端末は、受信ユニット1111を利用して図8における過程S205を実行し、取得ユニット1112を利用して図6における過程S101、及び図8における過程S206、S207を実行し、送信ユニット1113を利用して図6における過程S102、図8における過程S201を実行する。上記方法の実施例に係る各ステップのすべての関連内容は対応した機能モジュールの機能の説明に引用できるため、ここで詳細な説明を省略する。
集積ユニットを用いる場合について、図10は、上記実施例に係る端末の一例の構造模式図を示している。端末11は、処理モジュール1122及び通信モジュール1123を備える。処理モジュール1122は、端末の動作を制御して管理し、例えば、処理モジュール1122を利用して図6における過程S101、図8における過程S206、S207を実行する。端末は、通信モジュール1123を利用して、ほかのエンティティと通信し、例えば図1に示される機能モジュール又は機能モジュールと通信する。端末11はさらに端末のプログラムコード及びデータを記憶するための記憶モジュール1121を備えてもよい。
処理モジュール1122は、プロセッサまたはコントローラ、たとえば中央プロセッサ(central processing unit、CPU)、汎用プロセッサ、デジタルシグナルプロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application−specific integrated circuit、ASIC)、フィールド・プログラマブル・ゲート・アレイ(field programmable gate array、FPGA)またはほかのプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネントまたはそれらの任意の組み合わせであってもよい。本発明の開示内容において説明された各種例示的な論理ブロック、モジュールおよび回路を実現または実行できる。前記プロセッサは、計算機能を実現できる組み合わせとしてもよく、たとえば1つまたは複数のマイクロプロセッサの組み合わせ、DSPとマイクロプロセッサの組み合わせなどを含む。記憶モジュール1121はメモリであってもよい。
処理モジュール1122がプロセッサ、通信モジュール1123が送受信器、記憶モジュール1121がメモリである場合、本発明の実施例に係わる端末は図11に示される端末であってもよい。
図11に示されるように、該端末11は、プロセッサ1132、送受信器1133、メモリ1131及びバス1134を備える。送受信器1133、プロセッサ1132及びメモリ1131はバス1134を介して互いに接続され、バス1134は周辺機器相互接続標準(peripheral component interconnect、PCI)バス又は拡張業界標準アーキテクチャ(extended industry standard architecture、EISA)バスなどとしてもよい。前記バスは、アドレスバス、データバス、制御バスなどに分類できる。表示し易さから、図11中に1本の太線で示されているが、1本のバスまたは1種のタイプのバスだけがあると限らない。
本発明の開示内容において説明した方法またはアルゴリズムのステップはハードウェアの方式により実現されてもよいし、プロセッサでソフトウェア命令を実行する方式により実現されてもよい。本発明の実施例はさらに記憶媒体を提供し、該記憶媒体は測位方法を実行するために設計されるプログラムコードを含む測位装置用のコンピュータソフトウェア命令を記憶するメモリ1131を含んでもよい。具体的には、ソフトウェア命令は対応したソフトウェアモジュールから構成でき、ソフトウェアモジュールはランダムアクセスメモリ(random access memory、RAM)、フラッシュメモリ、読み取り専用メモリ(read only memory、ROM)、消去可能プログラマブル読み出し専用メモリ(erasable programmable ROM、EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(electrically EPROM、EEPROM)または本分野において公知する任意の形態の記憶媒体に格納できる。一例として、記憶媒体がプロセッサに結合され、それによってプロセッサは該記憶媒体から情報を読み取ったり、該記憶媒体に情報を書き込んだりすることができる。勿論、記憶媒体はプロセッサの構成部分であってもよい。プロセッサおよび記憶媒体はASICに配置できる。また、該ASICは端末に配置できる。勿論、プロセッサおよび記憶媒体は独立部品として端末に存在してもよい。
本発明の実施例はさらに、メモリ1131に直接ロードでき、ソフトウェアコードを含み、コンピュータによりロードされて実行されると上記測位方法を実行できるコンピュータプログラムを提供する。
各機能に対応して各機能モジュールを分割する場合について、図12は上記実施例中に係わるサーバーの一例の構造模式図を示しており、サーバー12は受信ユニット1211、取得ユニット1212、送信ユニット1213を備える。サーバーは、受信ユニット1211を利用して図6における中的過程S103、図8における過程S202を実行し、取得ユニット1212を利用して図6における過程S104、図8における過程S203を実行し、送信ユニット1213を利用して図8における過程S204を実行する。上記方法の実施例に係わる各ステップの関連内容は対応した機能モジュールの機能の説明に引用できるため、ここで詳細な説明を省略する。
集積ユニットを用いる場合について、図13は、上記実施例に係わるサーバーの一例の構造模式図を示している。サーバー12は、処理モジュール1222及び通信モジュール1223を備える。処理モジュール1222はサーバーの動作を制御して管理し、例えば、サーバーは、処理モジュール1122を利用して実行図6における過程S104、図8における過程S203を実行する。サーバーは、通信モジュール1223を利用して、ほかのエンティティと通信し、例えば図1に示される機能モジュール又はネットワークエンティティと通信する。サーバー12はさらに、サーバーのプログラムコード及びデータを記憶するための記憶モジュール1221を備えてもよい。
処理モジュール1222は、プロセッサまたはコントローラ、たとえば中央プロセッサ(central processing unit、CPU)、汎用プロセッサ、デジタルシグナルプロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application−specific integrated circuit、ASIC)、フィールド・プログラマブル・ゲート・アレイ(field programmable gate array、FPGA)またはほかのプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネントまたはそれらの任意の組み合わせであってもよい。本発明の開示内容において説明された各種例示的な論理ブロック、モジュールおよび回路を実現または実行できる。前記プロセッサは、計算機能を実現できる組み合わせとしてもよく、たとえば1つまたは複数のマイクロプロセッサの組み合わせ、DSPとマイクロプロセッサの組み合わせなどを含む。通信モジュール1223は送受信器、トランシーバ回路又は通信インターフェースなどであってもよい。記憶モジュール1221はメモリであってもよい。
処理モジュール1222がプロセッサ、通信モジュール1223が送受信器、記憶モジュール1221がメモリである場合、本発明の実施例に係わるサーバーは図14に示されるサーバーであってもよい。
図14に示されるように、該サーバー12は、プロセッサ1232、送受信器1233、メモリ1231及びバス1234を備える。送受信器1233、プロセッサ1132及びメモリ1231はバス1234を介して互いに接続され、バス1234は周辺機器相互接続標準(peripheral component interconnect、PCI)バス又は拡張業界標準アーキテクチャ(extended industry standard architecture、EISA)バスなどとしてもよい。前記バスはアドレスバス、データバス、制御バスなしに分類できる。表示し易さから、図14中に1本の太線で示されているが、1本のバスまたは1種のタイプのバスだけがあると限らない。
本発明の開示内容において説明した方法またはアルゴリズムのステップはハードウェアの方式により実現されてもよいし、プロセッサでソフトウェア命令を実行する方式により実現されてもよい。本発明の実施例はさらに記憶媒体を提供し、該記憶媒体は測位方法を実行するために設計されるプログラムコードを含む測位装置用のコンピュータソフトウェア命令を記憶するメモリ1231を含んでもよい。具体的には、ソフトウェア命令は対応したソフトウェアモジュールから構成でき、ソフトウェアモジュールはランダムアクセスメモリ(random access memory、RAM)、フラッシュメモリ、読み取り専用メモリ(read only memory、ROM)、消去可能プログラマブル読み出し専用メモリ(erasable programmable ROM、EPROM)、電気的消去可能プログラマブル読み取り専用メモリ(electrically EPROM、EEPROM)または本分野において公知する任意の形態の記憶媒体に格納できる。一例として、記憶媒体がプロセッサに結合され、それによってプロセッサは該記憶媒体から情報を読み取ったり、該記憶媒体に情報を書き込んだりすることができる。勿論、記憶媒体はプロセッサの構成部分であってもよい。プロセッサおよび記憶媒体はASICに配置できる。また、該ASICはサーバーに配置できる。勿論、プロセッサおよび記憶媒体は独立部品としてサーバーに存在してもよい。
本発明の実施例はさらに、メモリ1231に直接ロードでき、ソフトウェアコードを含み、コンピュータによりロードされて実行されると上記測位方法を実行できるコンピュータプログラムを提供する。
以上は本発明の特定の実施形態に過ぎず、本発明の保護範囲がそれに制限されず、当業者が本発明の開示した技術範囲から逸出することなく、容易に想到し得る変化または置換はすべて本発明の保護範囲に属する。このため、本発明の保護範囲は特許請求の範囲の保護範囲を基準にする。

Claims (14)

  1. コンピュータが、
    現在位置の第1グローバル座標をサーバーに送信するステップと、
    前記第1グローバル座標に対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを前記サーバーから受信するステップと、
    前記ローカルマップデータ及び前記現在位置の周辺環境情報に基づいて、前記現在位置のローカル座標を取得するステップと、
    前記現在位置のローカル座標及び前記マッピングパラメータに基づいて、現在位置の第2グローバル座標を取得するステップと
    実行し
    前記マッピングパラメータは、N*NマトリックスであるR、N*1マトリックスであるT、及びスケーリング因子であるsを含み、Nがグローバル座標又はローカル座標の次元値であり、前記グローバル座標の次元値と前記ローカル座標の次元値が同じであり、
    前記現在位置のローカル座標及び前記マッピングパラメータに基づいて、現在位置の第2グローバル座標を取得する前記ステップは、
    式Y=(RX+T)/sにより前記第2グローバル座標を取得するステップを含み、ただし、XがN*1マトリックスであり、前記現在位置のローカル座標を示し、YがN*1マトリックスであり、前記第2グローバル座標を示すことを特徴とする測位方法。
  2. 前記ローカルマップデータは視覚的同時測位及びマッピングvSLAM地図データであり、前記現在位置の周辺環境情報は現在画像フレームであり、
    前記ローカルマップデータ及び前記現在位置の周辺環境情報に基づいて、前記現在位置のローカル座標を取得するステップは、
    前記現在画像フレーム及び前記vSLAM地図データに基づいてvSLAM測位演算を行って得られた座標を前記現在位置のローカル座標とするステップを含むことを特徴とする請求項1に記載の方法。
  3. コンピュータが、
    端末から現在位置の第1グローバル座標を受信するステップと、
    前記第1グローバル座標に基づいて、対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを検索するステップと、
    前記ローカルマップデータ及びマッピングパラメータを前記端末に送信するステップと
    を実行し、
    端末から前記端末の現在位置の第1グローバル座標を受信する前
    グローバル座標Y、及びローカル座標Xを含む対応したローカルマップデータを前記端末から受信し、ただし、XがN*1マトリックス、YがN*1マトリックス、Nがグローバル座標及びローカル座標の次元値であり、前記グローバル座標の次元値と前記ローカル座標の次元値が同じであるステップと、
    Y=(RX+T)/sにより、マッピングパラメータとして、N*NマトリックスであるR、N*1マトリックスであるT、及びスケーリング因子であるsを求めるステップと
    をさらに実行することを特徴とする測位方法。
  4. 前記第1グローバル座標に基づいて、対応したローカルマップデータ及び前記ローカルマップデータに対応したマッピングパラメータを検索する前記ステップは、
    前記第1グローバル座標に基づいてユークリッド距離が最も小さいグローバル座標を検索し、ユークリッド距離が最も小さいグローバル座標に基づいて対応したローカルマップデータ及び対応したマッピングパラメータを見つけるステップを含むことを特徴とする請求項に記載の方法。
  5. 前記ローカルマップデータは視覚的同時測位及びマッピングvSLAM地図データであることを特徴とする請求項又はに記載の方法。
  6. 端末であって、
    現在位置の第1グローバル座標をサーバーに送信する送信ユニットと、
    前記第1グローバル座標に対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを前記サーバーから受信する受信ユニットと、
    前記ローカルマップデータ及び前記現在位置の周辺環境情報に基づいて、前記現在位置のローカル座標を取得する取得ユニットとを備え、
    前記取得ユニットはさらに、前記現在位置のローカル座標及び前記マッピングパラメータに基づいて、現在位置の第2グローバル座標を取得し、
    前記マッピングパラメータは、N*NマトリックスであるR、N*1マトリックスであるT、及びスケーリング因子であるsを含み、Nがグローバル座標又はローカル座標の次元値であり、前記グローバル座標の次元値と前記ローカル座標の次元値が同じであり、
    前記取得ユニットは、具体的には、式Y=(RX+T)/sにより前記第2グローバル座標を取得し、ただし、XがN*1マトリックスであり、前記現在位置のローカル座標を示し、YがN*1マトリックスであり、前記第2グローバル座標を示すことを特徴とする端末。
  7. 前記ローカルマップデータは視覚的同時測位及びマッピングvSLAM地図データであり、前記現在位置の周辺環境は現在画像フレームであり、
    前記取得ユニットは、具体的には、前記vSLAM地図データ及び前記現在位置の周辺環境情報に基づいて前記現在位置のローカル座標を取得することを特徴とする請求項6に記載の端末。
  8. サーバーであって、
    端末から現在位置の第1グローバル座標を受信する受信ユニットと、
    前記第1グローバル座標に基づいて、対応したローカルマップデータ、及び前記ローカルマップデータに対応してグローバル座標とローカル座標の間のマッピング関係を示すマッピングパラメータを検索する取得ユニットと、
    前記ローカルマップデータ及びマッピングパラメータを前記端末に送信する送信ユニットとを備え、
    前記受信ユニットはさらに、端末から前記端末の現在位置の第1グローバル座標を受信する前、グローバル座標Y、及びローカル座標Xを含む対応したローカルマップデータを前記端末から受信し、ただし、XがN*1マトリックス、YがN*1マトリックス、Nがグローバル座標とローカル座標の次元値であり、前記グローバル座標の次元値と前記ローカル座標の次元値が同じであり、
    前記取得ユニットはさらに、式Y=(RX+T)/sにより、マッピングパラメータとして、N*NマトリックスであるR、N*1マトリックスであるT、及びスケーリング因子であるsを求めることを特徴とするサーバー。
  9. 前記取得ユニットは、具体的には、
    前記第1グローバル座標に基づいてユークリッド距離が最も小さいグローバル座標を検索し、ユークリッド距離が最も小さいグローバル座標に基づいて対応したローカルマップデータ及び対応したマッピングパラメータを見つけることを特徴とする請求項に記載のサーバー。
  10. 前記ローカルマップデータは視覚的同時測位及びマッピングvSLAM地図データであることを特徴とする請求項又はに記載のサーバー。
  11. 請求項1又は2に記載の測位方法をコンピュータに実行させるためのプログラム。
  12. 端末であって、
    コンピュータ実行可能コードを記憶するメモリと、前記端末と外部機器のデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して請求項1又は2に記載の測位方法を実行するように制御するプロセッサとを備えることを特徴とする端末。
  13. 請求項3から5のいずれか1項に記載の測位方法をコンピュータに実行させるためのプログラム。
  14. サーバーであって、
    コンピュータ実行可能コードを記憶するメモリと、前記サーバーと外部機器のデータ伝送を行う通信インターフェースと、前記コンピュータ実行可能コードを実行して請求項からのいずれか1項に記載の測位方法を実行するように制御するプロセッサとを備えることを特徴とするサーバー。
JP2019533070A 2016-12-23 2016-12-23 測位方法、端末及びサーバー Active JP6688521B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/111827 WO2018112926A1 (zh) 2016-12-23 2016-12-23 定位方法、终端和服务器

Publications (2)

Publication Number Publication Date
JP2020503507A JP2020503507A (ja) 2020-01-30
JP6688521B2 true JP6688521B2 (ja) 2020-04-28

Family

ID=60458395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019533070A Active JP6688521B2 (ja) 2016-12-23 2016-12-23 測位方法、端末及びサーバー

Country Status (5)

Country Link
US (1) US10659925B2 (ja)
EP (1) EP3543650A4 (ja)
JP (1) JP6688521B2 (ja)
CN (1) CN107438752B (ja)
WO (1) WO2018112926A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019126950A1 (zh) * 2017-12-25 2019-07-04 深圳前海达闼云端智能科技有限公司 一种定位方法、云端服务器、终端、系统、电子设备及计算机程序产品
WO2019126957A1 (zh) * 2017-12-25 2019-07-04 深圳前海达闼云端智能科技有限公司 端云结合定位方法、装置及电子设备、计算机程序产品
CN108534789B (zh) * 2017-12-27 2021-01-15 达闼科技(北京)有限公司 一种多路径定位坐标统一方法、电子设备和可读存储介质
CN108226977A (zh) * 2017-12-27 2018-06-29 北斗地网(重庆)科技集团有限公司 一种定位方法、定位系统及一种计算机可读存储介质
CN108366338B (zh) * 2018-01-31 2021-07-16 联想(北京)有限公司 用于查找电子设备的方法和装置
CN110163914B (zh) * 2018-08-01 2021-05-25 京东方科技集团股份有限公司 基于视觉的定位
CN110148170A (zh) * 2018-08-31 2019-08-20 北京初速度科技有限公司 一种应用于车辆定位的定位初始化方法及车载终端
CN109275089B (zh) * 2018-09-18 2020-11-03 广东小天才科技有限公司 一种提高人身安全的智能电话手表和方法
CN110196441B (zh) * 2019-04-26 2021-08-06 达闼机器人有限公司 终端的定位方法、装置、存储介质与设备
CN110246182B (zh) * 2019-05-29 2021-07-30 达闼机器人有限公司 基于视觉的全局地图定位方法、装置、存储介质和设备
CN110542916A (zh) * 2019-09-18 2019-12-06 上海交通大学 卫星与视觉紧耦合定位方法、系统及介质
CN112765243B (zh) * 2019-10-21 2022-09-13 千寻位置网络有限公司 在设备和云端构建gnss算法统一运行环境的方法、系统
CN112710308B (zh) * 2019-10-25 2024-05-31 阿里巴巴集团控股有限公司 机器人的定位方法、装置和系统
CN112781580B (zh) * 2019-11-06 2024-04-26 佛山市云米电器科技有限公司 家庭设备的定位方法、智能家居设备及存储介质
CN110926478B (zh) * 2019-12-16 2021-10-08 视辰信息科技(上海)有限公司 一种ar导航路线纠偏方法、系统及计算机可读存储介质
CN113625223B (zh) * 2020-05-08 2024-04-30 中信科智联科技有限公司 一种定位方法及终端设备
CN111707275B (zh) * 2020-05-12 2022-04-29 驭势科技(北京)有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN111988737B (zh) * 2020-07-28 2022-08-09 中国铁道科学研究院集团有限公司电子计算技术研究所 铁路作业人员的绝对位置确定方法、装置和电子设备
US20230314171A1 (en) * 2020-08-11 2023-10-05 Sony Interactive Entertainment Inc. Mapping apparatus, tracker, mapping method, and program
CN112327312A (zh) * 2020-10-28 2021-02-05 上海高仙自动化科技发展有限公司 一种车辆位姿确定方法、装置、车辆及存储介质
CN112506200B (zh) * 2020-12-14 2023-12-08 广州视源电子科技股份有限公司 机器人定位方法、装置、机器人及存储介质
CN112905085A (zh) * 2021-02-03 2021-06-04 上海靖安测绘科技有限公司 道路排水管线数据管理方法及系统
CN113191412A (zh) * 2021-04-25 2021-07-30 珠海格力电器股份有限公司 设备重定位方法、装置、计算机设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5034935B2 (ja) * 2007-12-27 2012-09-26 セイコーエプソン株式会社 測位方法、プログラム、測位装置及び電子機器
CN101619984B (zh) * 2009-07-28 2013-02-20 重庆邮电大学 一种基于颜色路标的移动机器人视觉导航方法
US8812015B2 (en) * 2009-10-01 2014-08-19 Qualcomm Incorporated Mobile device locating in conjunction with localized environments
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
CN102928860B (zh) * 2012-10-18 2015-01-21 无锡清华信息科学与技术国家实验室物联网技术中心 基于局部定位信息提高gps定位精度的方法
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US20140309925A1 (en) * 2013-04-14 2014-10-16 Pablo Garcia MORATO Visual positioning system
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
CN103438887B (zh) * 2013-09-18 2015-08-05 上海海事大学 用于移动机器人定位与环境重构的绝对坐标获取方法
EP3136500A4 (en) * 2014-05-27 2017-04-19 Huawei Technologies Co. Ltd. Method, device and system for acquiring antenna engineering parameters
ES2876449T3 (es) * 2014-09-05 2021-11-12 Sz Dji Technology Co Ltd Cartografía de entorno de múltiples sensores
CN104777501A (zh) * 2015-04-17 2015-07-15 东南大学 一种基于移动终端gps的室内定位系统及方法
CN105607071B (zh) * 2015-12-24 2018-06-08 百度在线网络技术(北京)有限公司 一种室内定位方法及装置
CN105953798B (zh) * 2016-04-19 2018-09-18 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
US10666946B2 (en) * 2016-07-01 2020-05-26 Intel Corporation Method and system of video coding using display modification input

Also Published As

Publication number Publication date
JP2020503507A (ja) 2020-01-30
EP3543650A1 (en) 2019-09-25
CN107438752A (zh) 2017-12-05
EP3543650A4 (en) 2020-01-01
US20190306666A1 (en) 2019-10-03
US10659925B2 (en) 2020-05-19
CN107438752B (zh) 2021-03-19
WO2018112926A1 (zh) 2018-06-28

Similar Documents

Publication Publication Date Title
JP6688521B2 (ja) 測位方法、端末及びサーバー
US10247556B2 (en) Method for processing feature measurements in vision-aided inertial navigation
US10086955B2 (en) Pattern-based camera pose estimation system
US11175668B2 (en) Navigation method and apparatus, and terminal device
US10451403B2 (en) Structure-based camera pose estimation system
CN109903330B (zh) 一种处理数据的方法和装置
US9858669B2 (en) Optimized camera pose estimation system
US20240118083A1 (en) Localisation of mobile device using image and non-image sensor data in server processing
JP7033859B2 (ja) ジオアーク(geoarc)を使用したビークルの二次元位置の特定
BR102014000091B1 (pt) sistema e método de localização de plataforma móvel aumentada
CN110160545B (zh) 一种激光雷达与gps的增强定位系统及方法
CN114111774B (zh) 车辆的定位方法、系统、设备及计算机可读存储介质
JP7057632B2 (ja) ジオアーク(geoarc)を使用したビークルの二次元位置の特定
CN112362054B (zh) 一种标定方法、装置、电子设备及存储介质
CN111380515B (zh) 定位方法及装置、存储介质、电子装置
CN111536990A (zh) 在传感器之间的在线外参误标定检测
Caldini et al. Smartphone-based obstacle detection for the visually impaired
Shetty et al. Covariance estimation for gps-lidar sensor fusion for uavs
US11158081B2 (en) Augmented reality device and positioning method
Zhang et al. Ntu4dradlm: 4d radar-centric multi-modal dataset for localization and mapping
Zhang et al. Compact, real-time localization without reliance on infrastructure
JP7125927B2 (ja) 情報端末装置、方法及びプログラム
CN112400122A (zh) 定位目标对象的系统和方法
US20230354258A1 (en) Data processing method and apparatus
US20220130054A1 (en) Position finding method and position finding system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190618

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190618

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190820

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R150 Certificate of patent or registration of utility model

Ref document number: 6688521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250