JP7190500B2 - 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム - Google Patents

航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム Download PDF

Info

Publication number
JP7190500B2
JP7190500B2 JP2020548153A JP2020548153A JP7190500B2 JP 7190500 B2 JP7190500 B2 JP 7190500B2 JP 2020548153 A JP2020548153 A JP 2020548153A JP 2020548153 A JP2020548153 A JP 2020548153A JP 7190500 B2 JP7190500 B2 JP 7190500B2
Authority
JP
Japan
Prior art keywords
gnss
vslam
error
navigation
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020548153A
Other languages
English (en)
Other versions
JPWO2020059383A1 (ja
Inventor
裕行 戸田
拓 中村
達也 園部
奈緒美 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of JPWO2020059383A1 publication Critical patent/JPWO2020059383A1/ja
Application granted granted Critical
Publication of JP7190500B2 publication Critical patent/JP7190500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53Determining attitude
    • G01S19/54Determining attitude using carrier phase measurements; using long or short baseline interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52Determining velocity

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Description

本発明は、VSLAM(Visual Simultaneous Localization and Mapping)の技術を利用した航法装置に関する。
現在、VSLAM(Visual Simultaneous Localization and Mapping)の技術が多方面で利用されている。
VSLAMは、単眼カメラで取得した動画像を用いて、自装置の周囲にある特徴点等の空間情報を推定し、例えば、マッピングを行っている。また、VSLAMは、この空間情報およびマッピング結果を用いて、自装置の相対位置等を算出している。
Georg Klein、David Murray、"Parallel Tracking and Mapping for Small AR Workspace"、Active Vision Laboratory Department of Engineering Science University of Oxford Takafumi Taketomi、Hideaki Uchiyama and Sei Ikeda、"Visual-SLAM Algorithms:a Survey from 2010 to 2016"
しかしながら、VSLAMでは、自装置と他の特徴点との間の相対的な位置関係は、算出できるが、絶対的な位置関係は、不定性を有する。
したがって、本発明の目的は、VSLAMを用いながら、自装置と他の特徴点等との間の絶対的な位置関係を高精度に算出する技術を提供することにある。
この発明の航法装置は、GNSS演算部、VSLAM演算部、および、補正情報推定部を備える。GNSS演算部は、測位衛星から送信されるGNSS信号の位相の変化量またはGNSS信号の周波数の変化量を用いてGNSS速度およびGNSS姿勢角を算出する。VSLAM演算部は、動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置および複数の時刻でのVSLAM姿勢角を推定する。補正情報推定部は、GNSS速度、GNSS姿勢角、複数の時刻での前記VSLAM位置、および、VSLAM姿勢角を用いて、絶対座標系の位置に対するVSLAM位置のスケールまたはスケール誤差と、GNSS速度の誤差またはGNSS速度から得られるGNSS位置の誤差と、を推定する。
この構成では、VSLAM位置のスケールまたはスケール誤差と、自装置位置の誤差とが高精度に補正される。
この発明によれば、VSLAMを用いながら、自装置と他の特徴点等との間の絶対的な位置関係を高精度に算出できる。
本発明の第1の実施形態に係る航法装置における演算部の構成を示す機能ブロック図である。 本発明の第1の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第1の実施形態に係る補正情報推定部の構成を示す機能ブロック図である。 本発明の第1の実施形態に係る空間情報およびGNSS位置の補正の概念を説明するための図である。 GNSS速度およびGNSS位置の誤差の推移を示すグラフである。 航法支援情報の生成方法の処理フローを示すフローチャートである。 本発明の第2の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第2の実施形態に係る演算部の構成を示す機能ブロック図である。 本発明の第3の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第3の実施形態に係る演算部の構成を示す機能ブロック図である。 (A)、(B)は、第3の実施形態に係る航法装置で表示する航法支援画像の例を示す図である。 航法支援情報の生成方法の処理フローを示すフローチャートである。
本発明の第1の実施形態に係る航法装置、航法支援方法、および、航法支援プログラムについて、図を参照して説明する。なお、以下では、移動体として船舶を用いる態様を示すが、他の水上、水中移動体、陸上移動体、または、空中移動体にも、本願発明の構成は適用できる。
図1は、本発明の第1の実施形態に係る航法装置における演算部の構成を示す機能ブロック図である。図2は、本発明の第1の実施形態に係る航法装置の構成を示す機能ブロック図である。図3は、本発明の第1の実施形態に係る補正情報推定部の構成を示す機能ブロック図である。
(航法装置10の概要)
図2に示すように、航法装置10は、GNSS受信部111、GNSS受信部112、GNSS受信部113、演算部12、GNSSアンテナ21、GNSSアンテナ22、GNSSアンテナ23、および、カメラ30を備える。なお、航法装置10は、少なくとも演算部12を備えていればよい。
GNSSアンテナ21、GNSSアンテナ22、および、GNSSアンテナ23は、航法装置10が装着される船舶(図示せず。)に設置されている。GNSSアンテナ21、GNSSアンテナ22、および、GNSSアンテナ23いわゆるオープンスカイの環境に設置されている。GNSSアンテナ21、GNSSアンテナ22、および、GNSSアンテナ23は、全てが同時に一直線上に並ばないように配置されている。すなわち、例えば、GNSSアンテナ23は、GNSSアンテナ21とGNSSアンテナ22とを結ぶ直線上に配置されていない。
GNSSアンテナ21は、図示しないGNSS衛星からのGNSS信号を受信して、GNSS受信部111に出力する。GNSSアンテナ22は、図示しないGNSS衛星からのGNSS信号を受信して、GNSS受信部112に出力する。GNSSアンテナ23は、図示しないGNSS衛星からのGNSS信号を受信して、GNSS受信部113に出力する。
GNSS信号は、所定の周波数からなる搬送波信号に、PRN(擬似ランダムノイズ)コード、および、航法メッセージデータが重畳された信号である。PRNコードは、送信元の測位衛星を識別するコードである。航法メッセージデータは、測位衛星の軌道情報、補正情報等を含むデータである。
GNSS受信部111、GNSS受信部112、および、GNSS受信部113は、それぞれに、GNSS信号の捕捉、追尾処理等のプログラムを記憶したメモリと、該プログラムを実行するIC等の演算素子とによって構成されている。GNSS受信部111、GNSS受信部112、および、GNSS受信部113は、取得したGNSS信号を、既知の方法によって捕捉、追尾する。この際、GNSS受信部111、GNSS受信部112、および、GNSS受信部113は、コードおよび搬送波信号(キャリア信号)の捕捉、追尾を行う。
GNSS受信部111、GNSS受信部112、および、GNSS受信部113は、捕捉、追尾によって、観測データを取得し、演算部12に出力する。観測データは、少なくとも、搬送波位相の積算値(ADR)を含んでいる。GNSS受信部111、GNSS受信部112、および、GNSS受信部113は、この搬送波位相の積算値の取得を、例えば、エポック毎等、GNSSの時刻に同期して所定の時間間隔で逐次的に実行する。なお、GNSS受信部111、GNSS受信部112、および、GNSS受信部113は、搬送波信号のドップラ周波数、コード位相、コード位相によって算出される擬似距離、測位位置等を、観測データとして演算部12に出力することも可能である。
カメラ30は、例えば、単眼のカメラである。カメラ30は、航法装置10が装着される船舶の周囲を撮像し、動画像を生成する。カメラ30は、動画像を演算部12に出力する。
演算部12は、GNSS受信部111、GNSS受信部112、および、GNSS受信部113からの観測データ、および、カメラ30からの動画像を用いて、絶対座標系の位置に対するVSLAM位置のスケール誤差(スケール誤差)と、GNSS速度の誤差またはGNSS速度から得られるGNSS位置の誤差と、を推定する。また、演算部12は、動画像から得られる空間情報を、スケール誤差によって補正したスケールを用いて補正する。また、演算部12は、GNSS速度の誤差またはGNSS位置の誤差を用いて、航法装置10の位置(自装置位置)を補正する。
(演算部12の具体的な構成および処理)
演算部12は、後述するVSLAM演算、GNSS演算値の算出、スケール誤差の推定、自装置位置の誤差の推定、空間情報の補正、自装置位置の補正等の処理のプログラムを記憶するメモリと、当該プログラムを実行するCPU等の演算素子とによって構成されている。
機能ブロックで示すと、図1に示すように、演算部12は、VSLAM演算部121、GNSS演算部122、補正情報推定部123、空間情報補正部124、および、GNSS位置補正部125を備える。なお、演算部12は、VSLAM演算部121、GNSS演算部122、および、補正情報推定部123を少なくとも備えていればよい。
VSLAM演算部121は、取得した動画像を用いて既知の方法によって、基準点(図4の90(座標Po)参照)に対する自装置の位置(VSLAM位置)、および、各特徴点の空間情報を推定する。この際、VSLAM演算部121は、GNSS時刻に同期して、基準点に対する自装置の位置(VSLAM位置)、および、各特徴点の空間情報を推定する。すなわち、VSLAM演算部121は、搬送波位相の積算値の取得時刻に同期しながら、動画像の取得時刻毎に、基準点に対する自装置の位置であるVSLAM位置Pv、自装置のVSLAM姿勢角AAv、および、各特徴点の空間情報を推定する。例えば、VSLAM演算部121は、後述のGNSS速度の算出時刻に同期して、VSLAM位置Pv、VSLAM姿勢角AAv、および、各特徴点の空間情報を推定する。なお、空間情報は、VSLAM演算の基準点を基点とする特徴点の空間ベクトルによって表される。
VSLAM演算部121は、VSLAM位置Pv、および、VSLAM姿勢角AAvを、補正情報推定部123および空間情報補正部124に出力する。また、VSLAM演算部121は、空間情報を、空間情報補正部124に出力する。この際、VSLAM演算部121は、VSLAM位置Pv、VSLAM姿勢角AAv、および、空間情報に対して推定時刻を関連づけして出力する。
GNSS演算部122は、GNSS速度算出部1221、および、GNSS姿勢角算出部1222を備える。
GNSS速度算出部1221は、GNSS受信部111、GNSS受信部112、または、GNSS受信部113で取得した搬送波位相の積算値の変化量を用いて、GNSS速度Vgを算出する。この際、GNSS速度算出部1221は、GNSS時刻に同期した所定の時間間隔で、GNSS速度Vgを算出する。搬送波位相の積算値の変化量を用いることによって、GNSS速度算出部1221は、GNSS速度Vgを、高速かつ高精度に算出できる。すなわち、GNSS速度算出部1221は、整数値バイアスの決定等の処理、外部からの補正情報の取得を行うことなく、GNSS速度Vgを、高速かつ高精度に算出できる。
GNSS速度算出部1221は、GNSS速度Vgを、補正情報推定部123に出力する。GNSS速度算出部1221は、GNSS速度Vgに算出時刻を関連づけして出力する。
GNSS姿勢角算出部1222は、GNSS受信部111、GNSS受信部112、および、GNSS受信部113のそれぞれで取得した搬送波位相の積算値を用いて、既知の方法(例えば、GNSSアンテナ間の基線ベクトルを用いた方法等)から、GNSS姿勢角AAgを算出する。搬送波位相の積算値を用いることによって、GNSS姿勢角AAgは、高精度に算出される。
GNSS姿勢角算出部1222は、GNSS姿勢角AAgを、補正情報推定部123に出力する。この際、GNSS姿勢角算出部1222は、GNSS姿勢角AAgに対して、算出時刻を関連付けして出力する。
補正情報推定部123は、スケールSを算出する。補正情報推定部123は、VSLAM位置Pv、VSLAM姿勢角AAv、GNSS速度Vg、および、GNSS姿勢角AAgを用いて、スケール誤差δS、および、GNSS速度Vgの誤差δVgを推定する。なお、補正情報推定部123は、GNSS速度Vgの誤差δVgに代えて、GNSS位置Pgの誤差δPgを推定してもよい。GNSS位置Pgは、例えば、基準点の座標を原点として、GNSS速度Vgを積分することによって得られる。
補正情報推定部123は、スケール誤差δSを用いて、スケールSを補正し、補正後のスケールSを、空間情報補正部124に出力する。また、補正情報推定部123は、GNSS速度Vgの誤差δVg、または、GNSS位置Pgの誤差δPgを、GNSS位置補正部125に出力する。なお、本説明では、スケール誤差δSを推定する態様を示したが、スケールSを推定してもよい。
(補正情報推定部123の具体的な構成および処理)
図3に示すように、補正情報推定部123は、回転行列算出部1231、および、推定演算部1232を備える。
回転行列算出部1231は、VSLAM姿勢角AAvとGNSS姿勢角AAgとを用いて、VSLAMの座標系とGNSSの座標系との変換を行う回転行列Cを算出する。回転行列算出部1231は、回転行列Cを推定演算部1232に出力する。
推定演算部1232は、スケールSの算出と、スケール誤差δS、および、GNSS速度Vgの誤差δVgまたはGNSS位置Pgの誤差δPgを推定する。
(スケールSの算出)
推定演算部1232は、GNSS速度Vgを積算してGNSS距離Dgijを算出する。補正情報推定部123は、GNSS距離Dgijの算出対象時間と同じ時間におけるVSLAM位置Pvの変化量を用いて、VSLAM距離Dvijを算出する。
推定演算部1232は、GNSS距離Dgijの絶対値ABS(Dgij)を、VSLAM距離Dvijの絶対値ABS(Dvij)で除算することによって、スケールSを算出する。すなわち、推定演算部1232は、S=ABS(Dgij)/ABS(Dvij)の演算を行うことによって、スケールSを算出する。
(スケール誤差δS、および、GNSS速度Vgの誤差δVgの推定)
推定演算部1232は、スケール誤差δS、および、GNSS速度Vgの誤差δVgを状態変数とするシステム方程式を設定する。また、推定演算部1232は、スケール誤差δS、および、GNSS速度Vgの誤差δVgを状態変数とし、VSLAM位置PvおよびGNSS速度Vgを観測値として、回転行列Cを変換行列に含む、観測方程式を設定する。
推定演算部1232は、これらシステム方程式と観測方程式とを用いて、カルマンフィルタ処理を実行する。これにより、推定演算部1232は、スケール誤差δS、および、GNSS速度Vgの誤差δVgを推定する。
このようなフィルタ処理を適用することによって、推定演算部1232は、スケール誤差δS、および、GNSS速度Vgの誤差δVgを高精度に推定できる。
(スケール誤差δS、および、GNSS位置Pgの誤差δPgの推定)
推定演算部1232は、スケール誤差δS、および、GNSS位置Pgの誤差δPgを状態変数とするシステム方程式を設定する。また、推定演算部1232は、スケール誤差δS、および、GNSS位置Pgの誤差δPgを状態変数とし、VSLAM位置PvおよびGNSS速度Vgを観測値として、回転行列Cを変換行列に含む、観測方程式を設定する。
推定演算部1232は、これらシステム方程式と観測方程式とを用いて、カルマンフィルタ処理を実行する。これにより、推定演算部1232は、スケール誤差δS、および、GNSS位置Pgの誤差δPgを推定する。
このようなフィルタ処理を適用することによって、推定演算部1232は、スケール誤差δS、および、GNSS位置Pgの誤差δPgを高精度に推定できる。
なお、本説明では、スケール誤差δSを推定する態様を示したが、スケールSを推定してもよい。この場合、スケール誤差δSに代えて、スケールSを状態変数として、システム方程式および観測方程式を設定すればよい。
(空間情報補正部124およびGNSS位置補正部125の処理)
空間情報補正部124は、スケールSを用いて、空間情報を補正する。ここで、スケール誤差δSが高精度に推定されることによって、スケールSは高精度に補正される。したがって、空間情報補正部124は、空間情報を高精度に補正できる。
GNSS位置補正部125は、GNSS速度Vgを積分することによって、GNSS位置Pgを算出する。ここで、GNSS速度Vgの誤差δVgを用いる場合、GNSS位置補正部125は、GNSS速度Vgを誤差δVgで補正した速度Vgcを用いて、GNSS位置Pgを算出して出力する。また、GNSS位置Pgの誤差δPgを用いる場合、GNSS位置補正部125は、GNSS速度Vgを用いて算出したGNSS位置Pgを誤差δPgで補正したGNSS位置Pgcを出力する。ここで、GNSS速度Vgの誤差δVgまたはGNSS位置Pgの誤差δPgが高精度に推定されることによって、GNSS位置補正部125は、GNSS位置Pgを高精度に補正できる。
図4は、GNSS速度の積算誤差と補正後のGNSS位置の誤差との時間推移を示すグラフである。図4に示すように、GNSS速度Vgの積算誤差が経過時間とともに大きくなっても、補正後のGNSS位置Pgcの誤差は、小さく抑制される。
そして、空間情報が高精度になり、補正後のGNSS位置Pgcが高精度になることによって、自装置の位置と空間情報の各特徴点との位置関係は、高精度になる。すなわち、航法装置10は、自装置の位置と空間情報の各特徴点との位置関係を高精度に算出できる。
図5は、本発明の第1の実施形態に係る空間情報およびGNSS位置の補正の概念を説明するための図である。
なお、以下では、GNSSアンテナ21、GNSSアンテナ22、GNSSアンテナ23およびカメラ30は、船舶900の座標系において、略同じ位置(観測位置)91に配置されているものとして説明する。より具体的には、GNSSアンテナ21、GNSSアンテナ22、GNSSアンテナ23の幾何学的中心とカメラ30とは、少なくとも、船体座標系の水平面上で、同じ位置に配置されているものとする。
また、図5では、説明を分かりやすくするために、第1時刻tiでのVSLAM位置とGNSS位置とが一致するように記載しているが、これに限ることなく、以下の処理は実現できる。
例えば、図5の例であれば、VSLAM演算による岸壁910vの特徴点911vに対する空間情報は、基準点90(座標Po)を起点として特徴点911vを終点とする空間ベクトルVe911vである。しかしながら、この空間ベクトルVe911vには、上述の課題に示したようなカメラ30に固有の不定性が含まれている。
空間情報補正部124は、このVSLAM演算による空間ベクトルVe911vに対して、スケールSを乗算することによって、絶対座標系の空間ベクトルVe911cを算出する。すなわち、空間情報補正部124は、Ve911c=S・Ve911vの演算を実施する。ここで、スケールSは、上述のように、高精度なGNSS速度を用いて、基準点90(座標Po)に対するVSLAM位置の誤差を高精度に補正する値である。さらに、スケール誤差δSは、フィルタ処理によって高精度に推定されている。したがって、このスケール誤差δSによって補正されたスケールSは、さらに高精度になる。したがって、空間ベクトルVe911cは、VSLAM演算による空間ベクトルVe911vを、絶対座標系に準じた高精度な値に補正したものとなる。これにより、航法装置10は、絶対座標系における岸壁910の特徴点911の空間ベクトルVe911vを高精度に算出できる。
また、図5の例であれば、VSLAM演算による建築物920vの特徴点921vに対する空間情報は、基準点90(座標Po)を起点として特徴点921vを終点とする空間ベクトルVe921vである。しかしながら、この空間ベクトルVe921vには、上述の課題に示したようなカメラ30に固有の不定性が含まれている。
空間情報補正部124は、スケールSを用いて、Ve921c=S・Ve921vの演算を実施する。ここで、スケールSは、上述のように、高精度なGNSS速度を用いて、基準点90(座標Po)に対するVSLAM位置の誤差を高精度に補正する値である。さらに、スケール誤差δSは、フィルタ処理によって高精度に推定されている。したがって、このスケール誤差δSによって補正されたスケールSは、さらに高精度になる。これにより、空間ベクトルVe921cは、VSLAM演算による空間ベクトルVe921vを、絶対座標系に準じた高精度な値に補正したものとなり、絶対座標系における建築物920の特徴点921の空間ベクトルVe921vを高精度に算出できる。
さらに、GNSS位置補正部125は、GNSS位置Pgの誤差δPgによって、自装置(より具体的には、例えば、GNSSアンテナ21、GNSSアンテナ22およびGNSSアンテナ23の幾何学的中心)91の第2時刻tjにおけるGNSS位置Pgjを補正する。GNSS位置Pgの誤差δPgは、フィルタ処理によって高精度に推定されているので、補正後のGNSS位置Pgjcは、高精度な値となる。
このように、特徴点911、特徴点912の位置が高精度に算出され、自装置91の位置が高精度に算出されることによって、自装置91すなわち航法装置10を装着した船舶900と、特徴点911および特徴点912との位置とを高精度に把握することができる。
すなわち、本実施形態の構成を用いることによって、航法装置10は、VSLAM演算を用いた空間情報の誤差を高精度に補正でき、船舶900の周囲の空間情報を、高精度な実スケールの値によって取得できる。さらに、航法装置10は、船舶900の位置を高精度に算出できる。これにより、航法装置10は、船舶900と、船舶900の周囲の特徴点との位置関係、すなわち航法支援情報を、高精度にマッピングできる。
なお、上述の説明では、カルマンフィルタを用いる態様を示したが、離散時間確率システムの他の方程式を用いて、スケール誤差δS、および、GNSS速度Vgの誤差δVgまたはGNSS位置Pgの誤差δPgを推定してもよい。
また、補正情報推定部123は、GNSS姿勢角AAgとVSLAM姿勢角AAvとを用いて、状態変数にVSLAM姿勢角とGNSS姿勢角AAgとの角度差(VSLAM姿勢角のオフセット角)の誤差を加え、当該角度差の誤差を推定することもできる。
上述の説明では、演算部12を複数の機能ブロックに分けて実現する態様を示したが、図6に示す処理を実現するプログラムおよび当該プログラムを実行する演算処理装置のみによって実現してもよい。図6は、航法支援情報の生成方法の処理フローを示すフローチャートである。なお、各処理の具体的な内容は、上述しており、説明は省略する。
演算処理装置は、GNSS信号における搬送波位相を用いて、GNSS演算値を算出する(S11)。GNSS演算値は、GNSS速度VgおよびGNSS姿勢角AAgを含む。
演算処理装置は、カメラから入力された動画像からVSLAM演算を実行し、VSLAM位置、VSLAM姿勢角、および、空間情報を推定する(S12)。
演算処理装置は、GNSS演算値の算出と、VSLAM位置および空間情報の推定とを、時刻同期して実行する。ここで、時刻同期とは、同時並行に実行するものに限らず、GNSS演算値の算出と、VSLAM位置および空間情報の推定とを、それぞれ時刻情報を添付して実行し、後に同じ時刻のものを合わせてもよい。
演算処理装置は、スケール誤差δS、および、観測値誤差を、カルマンフィルタ等のフィルタ処理によって推定する(S13)。ここで、観測値誤差は、例えば、GNSS速度Vgの誤差δVg、GNSS位置Pgの誤差δPgである。
演算処理装置は、観測値誤差を用いてGNSS観測値を補正し(S14)、スケール誤差δSによって補正したスケールSによって空間情報を補正する(S15)。
なお、図6では、スケール誤差δおよび観測値誤差による補正を逐次的に実行する態様 を示したが、予め設定した時間間隔で行ってもよい。また、ここでは、スケール誤差δSを推定する方法を示したが、スケールSを推定してもよい。
また、上述の説明では、GNSS位置Pgの誤差δPgによって補正されたGNSS位置Pgは、VSLAM演算部121にフィードバックしてもよい。この場合、VSLAM演算部121は、この補正されたGNSS位置Pg、すなわち、高精度なGNSS位置Pgを拘束条件に適用して、VSLAM位置PvおよびVSLAM姿勢角AAvを推定する。これにより、VSLAM位置PvおよびVSLAM姿勢角AAvを、さらに高精度に推定できる。
次に、本発明の第2の実施形態に係る航法装置について、図を参照して説明する。図7は、本発明の第2の実施形態に係る航法装置の構成を示す機能ブロック図である。図8は、本発明の第2の実施形態に係る演算部の構成を示す機能ブロック図である。
図7、図8に示すように、第2の実施形態に係る航法装置10Aは、第1の実施形態に係る航法装置10に対して、GNSS-IMU複合センサ24を用いる点、これに伴う演算部12Aの構成において異なる。航法装置10Aの他の構成は、航法装置10と同様であり、同様の箇所の説明は省略する。
図7に示すように、航法装置10Aは、演算部12A、GNSS-IMU複合センサ24、および、カメラ30を備える。GNSS-IMU複合センサ24、および、カメラ30は、演算部12Aに接続されている。
GNSS-IMU複合センサ24は、例えば、例えば、2個のGNSSアンテナおよびGNSS受信部の組と、加速度センサおよび角速度センサを実現する慣性センサとを備える。GNSS受信部は、少なくとも搬送波位相の積算値を含むGNSS観測データを出力する。慣性センサは、加速度(IMU加速度)および角速度(IMU角速度)を含むIMU観測データを出力する。
演算部12Aは、VSLAM演算部121、GNSS演算部122、補正情報推定部123A、空間情報補正部124、GNSS位置補正部125、および、IMU演算部126を備える。
VSLAM演算部121は、上述のように、VSLAM位置、VSLAM姿勢角、および、空間情報を推定する。VSLAM演算部121は、VSLAM位置、および、VSLAM姿勢角を、VSLAM推定データとして補正情報推定部123Aに出力する。
GNSS演算部122は、上述のように、GNSS位置、および、GNSS速度を算出し、GNSS観測データとして補正情報推定部123Aに出力する。
IMU演算部126は、IMU観測データに含まれる角速度を用いて、IMU姿勢角を算出する。IMU演算部126は、IMU観測データに含まれる加速度を用いて、IMU速度、および、IMU位置を算出する。IMU演算部126は、IMU姿勢角、IMU速度、および、IMU位置を、IMU観測データ(IMU演算値)として補正情報推定部123Aに出力する。
補正情報推定部123Aは、システム方程式を設定する。このシステム方程式の状態変数は、上述のスケール誤差δSおよびGNSS速度Vgの誤差δVgまたはGNSS位置Pgの誤差δPgとともに、VSLAM姿勢角とGNSS姿勢角との角度差の算出誤差、GNSS観測データの算出誤差、および、IMU観測データの算出誤差を含む。また、補正情報推定部123Aは、これらを状態変数とし、VSLAM推定データ、GNSS観測データ、および、IMU観測データを観測値として、観測方程式を設定する。
補正情報推定部123Aは、これらのシステム方程式と観測方程式とを用いて、カルマンフィルタ処理を実行する。これにより、補正情報推定部123Aは、スケール誤差δS、GNSS速度Vgの誤差δVg、VSLAM姿勢角とGNSS姿勢角との角度差の算出誤差、GNSS観測データの算出誤差、および、IMU観測データの算出誤差を推定する。
補正情報推定部123Aは、スケール誤差δSを用いてスケールSを補正し、補正後のスケールSを、空間情報補正部124に出力する。空間情報補正部124は、補正後のスケールSを用いて、空間情報を補正する。なお、この説明では、スケール誤差δSを推定する態様を示したが、スケールSを推定してもよい。
補正情報推定部123Aは、GNSS速度Vgの誤差δVgまたはGNSS位置Pgの誤差δPgを、GNSS位置補正部125に出力する。GNSS位置補正部125は、GNSS速度Vgの誤差δVgまたはGNSS位置Pgの誤差δPgを用いて、GNSS位置Pgを補正する。
補正情報推定部123Aは、スケール誤差δS、および、VSLAM姿勢角とGNSS姿勢角との角度差の算出誤差を、VSLAM演算部121にフィードバックする。VSLAM演算部121は、スケール誤差δS、および、VSLAM姿勢角とGNSS姿勢角との角度差の算出誤差、すなわちVSLAM推定データの推定誤差を、VSLAM推定データの推定に反映させる。これにより、VSLAM推定データは、高精度な値に収束していく。
補正情報推定部123Aは、GNSS観測データの算出誤差を、GNSS演算部122にフィードバックする。GNSS演算部122は、GNSS観測データの算出誤差を、GNSS観測データの算出に反映させる。これにより、GNSS観測データは、高精度な値に収束していく。
補正情報推定部123Aは、IMU観測データの算出誤差を、IMU演算部126にフィードバックする。IMU演算部126は、IMU観測データの算出誤差を、IMU観測データの算出に反映させる。これにより、IMU観測データは、高精度な値に収束していく。
このような構成および処理を用いることによって、VSLAM推定データ、GNSS観測データおよびIMU観測データは、高精度化する。したがって、スケール誤差δSおよびGNSS速度Vgの誤差δVgまたはGNSS位置Pgの誤差δPgも高精度に推定できる。
これにより、航法装置10Aは、空間情報をさらに高精度に補正し、自装置位置をさらに高精度に補正できる。よって、航法装置10Aは、自装置の位置と空間情報の各特徴点との位置関係、すなわち航法支援情報を、さらに高精度に算出できる。
なお、補正情報推定部123は、IMU姿勢角とVSLAM姿勢角AAvとを用いて、状態変数にVSLAM姿勢角AAvとIMU姿勢角との角度差(オフセット角)の誤差を加え、当該角度差の誤差を推定することもできる。
次に、本発明の第3の実施形態に係る航法装置について、図を参照して説明する。図9は、本発明の第3の実施形態に係る航法装置の構成を示す機能ブロック図である。図10は、本発明の第3の実施形態に係る演算部の構成を示す機能ブロック図である。
図9に示すように、第3の実施形態に係る航法装置10Bは、第1の実施形態に係る航法装置10に対して、演算部12Bの構成と処理、および、表示器13を備える点において異なる。航法装置10Bの他の構成は、航法装置10と同様であり、同様の箇所の説明は省略する。
表示器13は、例えば、液晶ディスプレイ等からなり、演算部12Bに接続している。
図10に示すように、演算部12Bは、VSLAM演算部121、GNSS演算部122、補正情報推定部123、空間情報補正部124、GNSS位置補正部125、航法支援情報生成部127、および、表示画像生成部128を備える。演算部12BにおけるVSLAM演算部121、GNSS演算部122、補正情報推定部123、空間情報補正部124、およびGNSS位置補正部125は、演算部12のこれらと同様であり、説明は省略する。
航法支援情報生成部127は、スケールSによって補正後の空間情報、誤差δVgまたは誤差δPgによって補正後のGNSS位置、GNSS速度、および、GNSS姿勢角を用いて、航法支援情報を生成する。航法支援情報とは、水平グリッド、予測航跡等を有する。
航法支援情報生成部127は、VSLAM姿勢角とGNSS姿勢角とを用いて水平面を設定する。より具体的には、航法支援情報生成部127は、VSLAM姿勢角とGNSS姿勢角との角度差(オフセット角)を算出する。航法支援情報生成部127は、この角度差を相殺するように補正角を設定する。航法支援情報生成部127は、GNSS座標系で設定されている水平面を補正角で回転させることで、VSLAM座標系の水平面(撮像画像上の水平面)を設定する。すなわち、航法支援情報生成部127は、水平面の姿勢角を補正角で補正することによって、VSLAM座標系の水平面を設定する。
航法支援情報生成部127は、さらに水平面を基準として、水平グリッドを設定する。水平グリッドは、水平面に平行な線分によって表される。この際、航法支援情報生成部127は、上述のスケールSを用いることによって、撮像画像に撮像された空間の実寸法に合わせた間隔で水平グリッドを設定できる。そして、上述のようにスケールSが高精度に補正されているので、航法支援情報生成部127は、撮像画像に撮像された空間の実寸法に正確に対応した水平グリッドを生成できる。
また、航法支援情報生成部127は、補正後のGNSS位置、GNSS速度、および、GNSS姿勢角を用いて、既知の方法から予測航跡を算出する。航法支援情報生成部127は、予測航跡を上述の補正角で回転させることによって、VSLAM座標系に座標変換する。これにより、航法支援情報生成部127は、水平面に対して予測航跡を高精度に配置できる。さらに、この構成および処理を用いることによって、船舶900に動揺が生じても、水平面に対して予測航跡を高精度に配置できる。
また、角度差に対する補正が行われるとともに、スケールSが高精度であることによって、水平グリッドと予測航跡とは、高精度に位置関係が表示される。
航法支援情報生成部127は、水平グリッド、予測航跡、および、空間情報に含まれる特徴点の座標を航法支援情報として、表示画像生成部128に出力する。
表示画像生成部128は、航法支援情報と撮像画像とを用いて、図11(A)または図11(B)に示すような航法支援画像を生成し、表示器13に出力する。表示器13は、航法支援画像を表示する。
図11(A)、図11(B)は、第3の実施形態に係る航法装置で表示する航法支援画像の例を示す図である。図11(A)、図11(B)において、実線は水平グリッドを表し、破線は予測航跡を表し、●は特徴点を表す。
図11(A)は、撮像画像に、水平グリッド、予測航跡、および、特徴点を重畳した航法支援画像である。上述のように、航法装置10Bでは、水平面は正確に設定され、水平グリッドは、撮像画像のスケールに高精度に合わせて設定され、予測航跡と水平面との角度差(オフセット角)は補正されている。したがって、図11(A)のような航法支援画像の場合に、水平グリッド31、予測航跡32、および、特徴点33は、撮像画像301に正確に重畳される。
図11(B)は、撮像画像に基づく水平面を基準としたオルソ画像を用いた航法支援画像である。上述のように、航法装置10Bでは、水平面は正確に設定され、水平グリッドは、撮像画像のスケールに高精度に合わせて設定され、予測航跡と水平面との角度差(オフセット角)は補正されている。したがって、図11(B)のような航法支援画像の場合、オルソ画像の基準となる水平面が正確に設定され、水平グリッド31、予測航跡32、および、特徴点33は、オルソ画像302に正確に重畳される。
このように、本実施形態の構成および処理を用いることによって、航法装置10Bは、船舶900の操舵者、オペレータに対して、正確な航法支援情報を提供できる。
なお、図11(A)の航法支援画像の一部にウィンドウを設定し、当該ウィンドウに図11(B)に示すオルソ画像をはめ込んでもよい。これにより、航法装置10Bは、船舶900の操舵者、オペレータに対して、多種で正確な航法支援の情報を、一画面で提供できる。
なお、上述の説明では、VSLAM姿勢角AAvとGNSS姿勢角AAgとの角度差(オフセット角)を用いて、推定された水平面を補正する態様を示した。しかしながら、この角度差を省略することも可能である。この場合、例えば、船舶900が殆ど動揺しない静水状態の時に、水平面に対して予測航跡を高精度に配置できる。
上述の説明では、演算部12Bを複数の機能ブロックに分けて実現する態様を示したが、図12に示す処理を実現するプログラムおよび当該プログラムを実行する演算処理装置のみによって実現してもよい。図12は、航法支援情報の生成方法の処理フローを示すフローチャートである。なお、各処理の具体的な内容は、上述しており、説明は省略する。
演算処理装置は、上述の方法によって算出されたGNSS姿勢角またはIMU姿勢角とVSLAM姿勢角との角度差(オフセット角)を算出する(S21)。演算処理装置は、角度差を相殺する補正角を設定する(S22)。
演算処理装置は、補正角を用いて、撮像画像上の水平面(VSLAM座標系での水平面)を設定する(S23)。
演算処理装置は、上述のように算出され補正されたスケールSを用いて、水平グリッドを設定する(S24)。
演算処理装置は、GNSS座標系で予測航跡を算出する(S25)。具体的には、GNSS速度、GNSS姿勢角を用いて、既知の方法から予測航跡を算出する。
演算処理装置は、補正角を用いて、予測航跡の座標変換を行う(S26)。
演算処理装置は、水平グリッド、予測航跡、および、特徴点を含む航法支援情報を生成し、航法支援情報と撮像画像とを用いて、表示画像を生成する。
なお、上述の説明では、船首から真っ直ぐ延びる方向を中心方向とするヘッドアップ表示を行う態様を示したが、東西南北を基準とするナビゲーション座標系の表示を行うことも可能である。この場合、GNSS姿勢角等のGNSS観測値を用いて、水平グリッド、予測航跡、特徴点の座標変換を行えばよい。
また、VSLAM演算の初期化が終了していない場合、特徴点が少ない(空間情報が少ない)場合は、カメラ30の高さとGNSS姿勢角とを用いたホモグラフィ変換を用いて、水平面を検出してもよい。この場合、VSLAM演算の初期化後には、上述のように、空間情報を用いて水平面を検出する。
また、水平面は、例えば、空間情報に含まれる特徴点と当該特徴点に関連づけられた水平面に関する既知の情報とを用いて設定してもよく、ステレオカメラ、レーダ、レーザスキャナ、モーションセンサ等の他のセンサの出力データを用いて設定してもよい。
また、上述の説明では、第3の実施形態に係る航法装置10Bの一部に、第1の実施形態に係る航法装置10の構成を用いる態様を示した。しかしながら、第3の実施形態に係る航法装置10Bの一部に、第2の実施形態に係る航法装置10Aの構成を用いてもよい。この場合、GNSS速度、IMU姿勢角は、より高精度に算出されるので、水平面に対して予測航跡をより高精度に配置でき、水平グリッドと予測航跡との位置関係もより高精度になる。
10、10A、10B:航法装置
12、12A、12B:演算部
13:表示器
21、22、23:GNSSアンテナ
24:GNSS-IMU複合センサ
30:カメラ
31:水平グリッド
32:予測航跡
33:特徴点
90:基準点
91:自装置
111、112、113:GNSS受信部
121:VSLAM演算部
122:GNSS演算部
123、123A:補正情報推定部
124:空間情報補正部
125:GNSS位置補正部
126:IMU演算部
127:航法支援情報生成部
128:表示画像生成部
301:撮像画像
302:オルソ画像
900:船舶
910、910v:岸壁
911、911v、912、921、921v:特徴点
920、920v:建築物
1221:GNSS速度算出部
1222:GNSS姿勢角算出部
1231:回転行列算出部
1232:推定演算部
AAg:GNSS姿勢角
AAv:VSLAM姿勢角
C:回転行列
Dgij:GNSS距離
Dvij:VSLAM距離
Pg、Pgc、Pgj、Pgjc:GNSS位置
Po:座標
Pv:VSLAM位置
S:スケール
Ve911c、Ve911v、Ve921c、Ve921v:空間ベクトル
Vg:GNSS速度
Vgc:速度
用語
必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。
本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。
本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。
本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。
特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。
語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。
本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。
特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「~するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。
一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「~を含む」という用語は「それだけでなく、少なくとも~を含む」と解釈すべきであり、「~を持つ」という用語は「少なくとも~を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。
説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「~を越えて」「下の」などの用語は水平面に対して定義されている。
本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。
特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。
上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の特許請求の範囲によって保護される。

Claims (20)

  1. 測位衛星から送信されるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いてGNSS速度およびGNSS姿勢角を算出するGNSS演算部と、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置およびVSLAM姿勢角を推定するVSLAM演算部と、
    前記GNSS速度、前記GNSS姿勢角、前記複数の時刻での前記VSLAM位置、および、前記複数の時刻での前記VSLAM姿勢角を用いて、絶対座標系の位置に対する前記VSLAM位置のスケールまたはスケール誤差と、前記GNSS速度の誤差または前記GNSS速度から得られるGNSS位置の誤差と、を推定する補正情報推定部と、
    を備える、航法装置。
  2. 測位衛星から送信されるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度またはGNSS位置を含むGNSS演算値を算出するGNSS演算部と、
    慣性センサの観測データを用いて、IMU姿勢角またはIMU速度を含むIMU演算値を算出するIMU演算部と、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置およびVSLAM姿勢角を推定するVSLAM演算部と、
    前記GNSS演算値、前記IMU演算値、前記VSLAM位置、および、前記VSLAM姿勢角を用いて、絶対座標系の位置に対する前記VSLAM位置のスケールまたはスケール誤差、前記VSLAM姿勢角の推定誤差、前記GNSS速度の誤差または前記GNSS速度から得られるGNSS位置の誤差、前記GNSS演算値の誤差、および、前記IMU演算値の誤差を推定する補正情報推定部と、
    を備える、航法装置。
  3. 請求項2に記載の航法装置であって、
    前記補正情報推定部は、
    前記スケールまたは前記スケール誤差および前記VSLAM姿勢角の推定誤差を、前記VSLAM演算部にフィードバックし、
    前記GNSS演算値の誤差を、前記GNSS演算部にフィードバックし、
    前記IMU演算値の誤差を、前記IMU演算部にフィードバックする、
    航法装置。
  4. 請求項1乃至請求項3のいずれかに記載の航法装置であって、
    前記スケールまたは前記スケール誤差によって補正したスケールを用いて、前記VSLAM演算部で推定された空間情報を補正する空間情報補正部を備える、航法装置。
  5. 請求項1乃至請求項4のいずれかに記載の航法装置であって、
    前記GNSS速度の誤差または前記GNSS速度から得られるGNSS位置の誤差を用いて、自装置の前記GNSS位置を補正するGNSS位置補正部を備える、航法装置。
  6. 請求項1乃至請求項5のいずれかに記載の航法装置であって、
    前記補正情報推定部は、
    前記VSLAM姿勢角のオフセット角の算出誤差を推定する、
    航法装置。
  7. 請求項6に記載の航法装置であって、
    前記オフセット角を用いて前記動画像の水平面を検出する航法支援情報生成部を備える、航法装置。
  8. 請求項7に記載の航法装置であって、
    前記航法支援情報生成部は、
    前記スケールまたは前記スケール誤差によって補正したスケールを用いて、前記水平面に平行な水平グリッドを含む航法支援情報を生成する、航法装置。
  9. 請求項8に記載の航法装置であって、
    前記航法支援情報生成部は、
    前記GNSS位置および前記GNSS速度を用いて予測航跡を算出し、前記オフセット角を用いて座標変換を行った前記予測航跡を、前記航法支援情報に含む、
    航法装置。
  10. 請求項8または請求項9に記載の航法装置であって、
    前記動画像と前記航法支援情報とを用いて表示画像を形成する表示画像形成部を備える、航法装置。
  11. 測位衛星から送信されるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いてGNSS速度およびGNSS姿勢角を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置およびVSLAM姿勢角を推定し、
    前記GNSS速度、前記GNSS姿勢角、前記複数の時刻での前記VSLAM位置、および、前記複数の時刻での前記VSLAM姿勢角を用いて、絶対座標系の位置に対する前記VSLAM位置のスケールまたはスケール誤差と、前記GNSS速度の誤差または前記GNSS速度から得られるGNSS位置の誤差と、を推定する、
    航法支援情報の生成方法。
  12. 測位衛星から送信されるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度またはGNSS位置を含むGNSS演算値を算出し、
    慣性センサの観測データを用いて、IMU加速度またはIMU角速度を含むIMU演算値を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置およびVSLAM姿勢角を推定し、
    前記GNSS演算値、前記IMU演算値、前記VSLAM位置、および、前記VSLAM姿勢角を用いて、絶対座標系の位置に対する前記VSLAM位置のスケールまたはスケール誤差、前記VSLAM姿勢角の推定誤差、前記GNSS速度の誤差または前記GNSS速度から得られるGNSS位置の誤差、前記GNSS演算値の誤差、および、前記IMU演算値の誤差を推定する、
    航法支援情報の生成方法。
  13. 請求項11または請求項12に記載の航法支援情報の生成方法であって、
    前記VSLAM姿勢角のオフセット角の算出誤差を推定し、
    前記オフセット角を用いて前記動画像の水平面を検出する、
    航法支援情報の生成方法。
  14. 請求項13に記載の航法支援情報の生成方法であって、
    前記スケールまたは前記スケール誤差によって補正したスケールを用いて、前記水平面に平行な水平グリッドを含む航法支援情報を生成する、
    航法支援情報の生成方法。
  15. 請求項14に記載の航法支援情報の生成方法であって、
    前記GNSS位置および前記GNSS速度を用いて予測航跡を算出し、
    前記オフセット角を用いて座標変換を行った前記予測航跡を、前記航法支援情報に含む、
    航法支援情報の生成方法。
  16. 測位衛星から送信されるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いてGNSS速度およびGNSS姿勢角を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置およびVSLAM姿勢角を推定し、
    前記GNSS速度、前記GNSS姿勢角、前記複数の時刻での前記VSLAM位置、および、前記複数の時刻での前記VSLAM姿勢角を用いて、絶対座標系の位置に対する前記VSLAM位置のスケールまたはスケール誤差と、前記GNSS速度の誤差または前記GNSS速度から得られるGNSS位置の誤差と、を推定する、
    処理を演算処理装置に実行させる航法支援情報の生成プログラム。
  17. 測位衛星から送信されるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度またはGNSS位置を含むGNSS演算値を算出し、
    慣性センサの観測データを用いて、IMU加速度またはIMU角速度を含むIMU演算値を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置およびVSLAM姿勢角を推定し、
    前記GNSS演算値、前記IMU演算値、前記VSLAM位置、および、前記VSLAM姿勢角を用いて、絶対座標系の位置に対する前記VSLAM位置のスケールまたはスケール誤差、前記VSLAM姿勢角の推定誤差、前記GNSS速度の誤差または前記GNSS速度から得られるGNSS位置の誤差、前記GNSS演算値の誤差、および、前記IMU演算値の誤差を推定する、
    処理を演算処理装置に実行させる航法支援情報の生成プログラム。
  18. 請求項16または請求項17に記載の航法支援情報の生成プログラムであって、
    前記VSLAM姿勢角のオフセット角の算出誤差を推定し、
    前記オフセット角を用いて前記動画像の水平面を検出する、
    処理を演算処理装置に実行させる航法支援情報の生成プログラム。
  19. 請求項18に記載の航法支援情報の生成プログラムであって、
    前記スケールまたは前記スケール誤差によって補正したスケールを用いて、前記水平面に平行な水平グリッドを含む航法支援情報を生成する、
    処理を演算処理装置に実行させる航法支援情報の生成プログラム。
  20. 請求項19に記載の航法支援情報の生成プログラムであって、
    前記GNSS位置および前記GNSS速度を用いて予測航跡を算出し、
    前記オフセット角を用いて座標変換を行った前記予測航跡を、前記航法支援情報に含む、
    処理を演算処理装置に実行させる航法支援情報の生成プログラム。
JP2020548153A 2018-09-21 2019-08-20 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム Active JP7190500B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018176737 2018-09-21
JP2018176737 2018-09-21
PCT/JP2019/032415 WO2020059383A1 (ja) 2018-09-21 2019-08-20 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム

Publications (2)

Publication Number Publication Date
JPWO2020059383A1 JPWO2020059383A1 (ja) 2021-09-09
JP7190500B2 true JP7190500B2 (ja) 2022-12-15

Family

ID=69887122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548153A Active JP7190500B2 (ja) 2018-09-21 2019-08-20 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム

Country Status (4)

Country Link
EP (1) EP3855216A4 (ja)
JP (1) JP7190500B2 (ja)
CN (1) CN112840235A (ja)
WO (1) WO2020059383A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022075256A (ja) * 2020-11-06 2022-05-18 株式会社豊田自動織機 座標変換用パラメータ取得方法及び装置、自己位置推定装置
KR102677731B1 (ko) * 2021-05-06 2024-06-24 주식회사유원지리정보시스템 GNSS/INS와 HD Map를 이용한 단안카메라의 위치측정 및 맵핑 처리를 향상시키기 위한 시스템 및 방법
CN113484892B (zh) * 2021-06-30 2023-06-20 中国船舶重工集团公司第七一九研究所 一种基于gnss的船体姿态计算方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141485A1 (en) 2009-12-16 2011-06-16 Industrial Technology Research Institute System and Method for Localizing a Carrier, Estimating a Posture of the Carrier and Establishing a Map
US20150219767A1 (en) 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
JP2015230218A (ja) 2014-06-04 2015-12-21 株式会社デンソー 移動距離推定装置
JP2016540187A (ja) 2013-09-27 2016-12-22 クゥアルコム・インコーポレイテッドQualcomm Incorporated 外部ハイブリッドフォトマッピング
US20180188384A1 (en) 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry
JP2018526626A (ja) 2015-07-27 2018-09-13 クゥアルコム・インコーポレイテッドQualcomm Incorporated 視覚慣性オドメトリ姿勢ドリフト較正

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
WO2016104033A1 (ja) * 2014-12-26 2016-06-30 古野電気株式会社 状態算出装置、状態算出方法、および状態算出プログラム
WO2016195527A1 (ru) * 2015-06-05 2016-12-08 Общество с ограниченной ответственностью "Навигационные решения" Способ и система навигации внутри помещения
CN106780699B (zh) * 2017-01-09 2020-10-16 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141485A1 (en) 2009-12-16 2011-06-16 Industrial Technology Research Institute System and Method for Localizing a Carrier, Estimating a Posture of the Carrier and Establishing a Map
JP2016540187A (ja) 2013-09-27 2016-12-22 クゥアルコム・インコーポレイテッドQualcomm Incorporated 外部ハイブリッドフォトマッピング
US20150219767A1 (en) 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
JP2015230218A (ja) 2014-06-04 2015-12-21 株式会社デンソー 移動距離推定装置
JP2018526626A (ja) 2015-07-27 2018-09-13 クゥアルコム・インコーポレイテッドQualcomm Incorporated 視覚慣性オドメトリ姿勢ドリフト較正
US20180188384A1 (en) 2017-01-04 2018-07-05 Qualcomm Incorporated Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BEN AFIA, Amani et al.,A Low-cost GNSS/IMU/Visual monoSLAM/WSS Integration Based on Kalman Filtering for Navigation in Urban Environments,Proceedings of the 28th International Technical Meeting of the Satellite Division of The Institute of Navigation [CD-ROM],米国,Institute of Navigation,2015年09月18日,Pages: 618-628,特に第620頁右欄第1行-第624頁左欄第7行, Figure 2
仲野潤一 西村邦裕 谷川智洋 廣瀬通孝,Visual SLAMとGPSを用いた位置情報付き画像による都市空間記録の研究,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,2010年06月01日,第J93-D巻 第6号,Pages: 901-908,ISSN: 1880-4535

Also Published As

Publication number Publication date
CN112840235A (zh) 2021-05-25
WO2020059383A1 (ja) 2020-03-26
JPWO2020059383A1 (ja) 2021-09-09
EP3855216A1 (en) 2021-07-28
EP3855216A4 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
US11466990B2 (en) Square-root multi-state constraint Kalman filter for vision-aided inertial navigation system
JP7190500B2 (ja) 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム
US11940277B2 (en) Vision-aided inertial navigation system for ground vehicle localization
US11333501B2 (en) Navigation device, method of generating navigation support information, and navigation support information generating program
JP6470314B2 (ja) 姿勢角算出装置、姿勢角算出方法、および姿勢角算出プログラム
CA3003298A1 (en) Gnss and inertial navigation system utilizing relative yaw as an observable for an ins filter
CN114258372B (zh) 船舶信息显示系统、船舶信息显示方法、图像生成装置以及程序
JP6923739B2 (ja) 航法装置、vslam補正方法、空間情報推定方法、vslam補正プログラム、および、空間情報推定プログラム
CN110186461B (zh) 一种基于重力梯度信息测距的协同导航方法
JP5022747B2 (ja) 移動体の姿勢及び方位検出装置
KR101763911B1 (ko) 자기장 외란이 심한 환경에서 수중체의 선수각 추정 장치 및 그 방법
US9933262B2 (en) Positioning system having a master-slave configuration
JP7291775B2 (ja) 移動情報算出装置、および、移動情報算出方法
US11268814B2 (en) Movement information calculating device, movement information calculating method and movement information calculating program
JP6321914B2 (ja) 移動体情報算出装置、移動体情報取得装置、移動体、移動体情報算出方法、移動体情報取得方法、移動体情報算出プログラム、および移動体情報取得プログラム
JP2014145613A (ja) 移動体角速度推定装置、移動体速度算出装置、移動体、移動体角速度推定方法、移動体速度算出方法、移動体角速度推定プログラム、および移動体速度算出プログラム
JPH11325951A (ja) 宇宙航行体の姿勢センサによる軌道決定方法および軌道決定装置
Nakamura et al. Fusion of VSLAM/GNSS/INS for Augmented Reality Navigation in Ports
US11156721B2 (en) Oscillation observation device, oscillation observation method and oscillation observation program
JPWO2018193797A1 (ja) 負荷計測装置、負荷計測方法、および、負荷計測プログラム
WO2024180582A1 (ja) 位置姿勢標定装置、位置姿勢標定方法、及び位置姿勢標定プログラム
JP2014145612A (ja) 動揺周期推定装置、移動体角速度算出装置、移動体速度算出装置、移動体、動揺周期推定方法、移動体角速度算出方法、移動体速度算出方法、動揺周期推定プログラム、移動体角速度算出プログラム、および移動体速度算出プログラム
JP2014145611A (ja) 移動体角速度算出装置、移動体速度算出装置、移動体、移動体角速度算出方法、移動体速度算出方法、移動体角速度算出プログラム、および移動体速度算出プログラム
JPWO2019003758A1 (ja) 航跡予測装置、航跡予測方法、および、航跡予測プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7190500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150