JP6923739B2 - 航法装置、vslam補正方法、空間情報推定方法、vslam補正プログラム、および、空間情報推定プログラム - Google Patents

航法装置、vslam補正方法、空間情報推定方法、vslam補正プログラム、および、空間情報推定プログラム Download PDF

Info

Publication number
JP6923739B2
JP6923739B2 JP2020502876A JP2020502876A JP6923739B2 JP 6923739 B2 JP6923739 B2 JP 6923739B2 JP 2020502876 A JP2020502876 A JP 2020502876A JP 2020502876 A JP2020502876 A JP 2020502876A JP 6923739 B2 JP6923739 B2 JP 6923739B2
Authority
JP
Japan
Prior art keywords
vslam
gnss
calculation unit
attitude angle
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020502876A
Other languages
English (en)
Other versions
JPWO2019167517A1 (ja
Inventor
中村 拓
拓 中村
戸田 裕行
裕行 戸田
達也 園部
達也 園部
奈緒美 藤澤
奈緒美 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of JPWO2019167517A1 publication Critical patent/JPWO2019167517A1/ja
Application granted granted Critical
Publication of JP6923739B2 publication Critical patent/JP6923739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/05Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing aiding data
    • G01S19/06Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing aiding data employing an initial estimate of the location of the receiver as aiding data or in generating aiding data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53Determining attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52Determining velocity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Description

本発明は、VSLAM(Visual Simultaneous Localization and Mapping)の技術を利用した航法装置に関する。
現在、VSLAM(Visual Simultaneous Localization and Mapping)の技術が多方面で利用されている。
VSLAMは、単眼カメラで取得した動画像を用いて、自装置の周囲にある特徴点等の空間情報を推定し、例えば、マッピングを行っている。また、VSLAMは、この空間情報およびマッピング結果を用いて、自装置の相対位置等を算出している。
Georg Klein、David Murray、"Parallel Tracking and Mapping for Small AR Workspace"、Active Vision Laboratory Department of Engineering Science University of Oxford Takafumi Taketomi、Hideaki Uchiyama and Sei Ikeda、"Visual−SLAM Algorithms:a Survey from 2010 to 2016"
しかしながら、VSLAMでは、自装置と他の特徴点との間の相対的な位置関係は、算出できるが、絶対的な位置関係は、不定性を有する。
したがって、本発明の目的は、VSLAMを用いながら、自装置と他の特徴点等との間の絶対的な位置関係を高精度に算出する技術を提供することにある。
この発明の航法装置は、GNSS速度算出部、VSLAM演算部、および、スケール補正値算出部を備える。GNSS速度算出部は、GNSS信号の位相の変化量またはGNSS信号の周波数の変化量を用いて、GNSS速度を算出する。VSLAM演算部は、動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置を推定する。スケール補正値算出部は、VSLAM演算部で推定された、複数の時刻における2以上の時刻でのVSLAM位置と、GNSS速度とを用いて、VSLAM位置に対するスケール補正値を算出する。
この構成では、GNSS信号の位相の変化量または周波数の変化量を用いることによって、GNSS速度が高精度に算出される。したがって、複数のVSLAM位置間の距離に対応するGNSS速度による距離が高精度に算出され、複数のVSLAM位置間の距離とGNSS速度による距離との比、すなわち、スケール補正値が高精度に算出される。
この発明によれば、VSLAMを用いながら、自装置と他の特徴点等との間の絶対的な位置関係を高精度に算出できる。
本発明の第1の実施形態に係る航法装置の構成を示す機能ブロック図である。 演算部の構成を示す機能ブロック図である。 本発明の第1の実施形態に係るスケールの補正の原理を説明するための図である。 本発明の第1の実施形態に係る空間情報の補正の原理を説明するための図である。 VSLAM補正方法の第1の処理フローを示すフローチャートである。 VSLAM補正方法の第2の処理フローを示すフローチャートである。 本発明の第2の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第2の実施形態に係る演算部の構成を示す機能ブロック図である。 VSLAM補正方法の第3の処理フローを示すフローチャートである。 VSLAM補正方法の第4の処理フローを示すフローチャートである。 本発明の第3の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第3の実施形態に係る演算部の構成を示す機能ブロック図である。 本発明の第4の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第4の実施形態に係る演算部の構成を示す機能ブロック図である。 本発明の第5の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第5の実施形態に係る演算部の構成を示す機能ブロック図である。 本発明の第6の実施形態に係る航法装置の構成を示す機能ブロック図である。 本発明の第6の実施形態に係る演算部の構成を示す機能ブロック図である。 本発明の第7の実施形態に係る演算部の構成を示す機能ブロック図である。 本発明の第8の実施形態に係る演算部の構成を示す機能ブロック図である。 拘束条件付きのVSLAM演算のメインフローを示すフローチャートである。 拘束条件付きの全体最適化の処理を示すフローチャートである。 本発明の第9の実施形態に係る航法装置の構成を示す機能ブロック図である。 (A)、(B)は、支援画像の一例を示す図である。
本発明の第1の実施形態に係る航法装置、VSLAMの補正方法、および、VSLAMの補正プログラムについて、図を参照して説明する。なお、以下では、移動体として船舶を用いる態様を示すが、他の水上、水中移動体、陸上移動体、または、空中移動体にも、本願発明の構成は適用できる。
図1は、本発明の第1の実施形態に係る航法装置の構成を示す機能ブロック図である。図2は、本発明の第1の実施形態に係る演算部の構成を示す機能ブロック図である。
図1に示すように、航法装置10は、GNSS受信部111と演算部12とを備える。GNSS受信部111は、GNSSアンテナ21に接続されている。演算部12は、GNSS受信部111とカメラ30とに接続されている。
GNSSアンテナ21は、航法装置10が装着される船舶(図示せず。)に設置されている。GNSSアンテナ21は、いわゆるオープンスカイの環境に設置されている。GNSSアンテナ21は、図示しないGNSS衛星からのGNSS信号を受信して、GNSS受信部111に出力する。
GNSS信号は、所定の周波数からなる搬送波信号に、PRN(擬似ランダムノイズ)コード、および、航法メッセージデータが重畳された信号である。PRNコードは、送信元の測位衛星を識別するコードである。航法メッセージデータは、測位衛星の軌道情報、補正情報等を含むデータである。
GNSS受信部111は、GNSS信号の捕捉、追尾処理等のプログラムを記憶したメモリと、該プログラムを実行するIC等の演算素子とによって構成されている。GNSS受信部111は、取得したGNSS信号を、既知の方法によって捕捉、追尾する。この際、GNSS受信部111は、コードおよび搬送波信号(キャリア信号)の捕捉、追尾を行う。
GNSS受信部111は、捕捉、追尾によって、観測データを取得し、演算部12に出力する。観測データは、少なくとも、搬送波位相の積算値(ADR)を含んでいる。GNSS受信部111は、この搬送波位相の積算値の取得を、例えば、エポック毎等、GNSSの時刻に同期して所定の時間間隔で逐次的に実行する。なお、GNSS受信部111は、搬送波信号のドップラ周波数、コード位相、コード位相によって算出される擬似距離、測位位置等を、観測データとして演算部12に出力することも可能である。
カメラ30は、例えば、単眼のカメラである。カメラ30は、航法装置10が装着される船舶の周囲を撮像し、動画像を生成する。カメラ30は、動画像を演算部12に出力する。
演算部12は、後述するVSLAM演算、GNSS速度の算出、スケール補正値の算出、および、空間情報の補正等の処理のプログラムを記憶するメモリと、当該プログラムを実行するCPU等の演算素子とによって構成されている。
図2に示すように、演算部12は、VSLAM演算部121、GNSS速度算出部122、スケール補正値算出部123、および、空間情報補正部124を備える。
VSLAM演算部121は、取得した動画像を用いて既知の方法によって、基準点(図3、図4の90(座標Po)参照)に対する自装置の位置(VSLAM位置)、および、各特徴点の空間情報を推定する。この際、VSLAM演算部121は、GNSS時刻に同期して、基準点に対する自装置の位置(VSLAM位置)、および、各特徴点の空間情報を推定する。すなわち、VSLAM演算部121は、搬送波位相の積算値の取得時刻に同期しながら、動画像の取得時刻毎に、基準点に対する自装置の位置(VSLAM位置)、および、各特徴点の空間情報を推定する。例えば、VSLAM演算部121は、後述のGNSS速度の算出時刻に同期して、基準点に対する自装置の位置(VSLAM位置)、および、各特徴点の空間情報を推定する。なお、空間情報は、VSLAM演算の基準点を基点とする特徴点の空間ベクトルによって表される。
VSLAM演算部121は、VSLAM位置を、スケール補正値算出部123および空間情報補正部124に出力する。また、VSLAM演算部121は、空間情報を、空間情報補正部124に出力する。この際、VSLAM演算部121は、VSLAM位置および空間情報に対して推定時刻を関連づけして出力する。
GNSS速度算出部122は、搬送波位相の積算値の変化量を用いて、GNSS速度を算出する。この際、GNSS速度算出部122は、GNSS時刻に同期した所定の時間間隔で、GNSS速度を算出する。
搬送波位相の積算値の変化量を用いることによって、GNSS速度算出部122は、GNSS速度を、高速かつ高精度に算出できる。すなわち、GNSS速度算出部122は、整数値バイアスの決定等の処理、外部からの補正情報の取得を行うことなく、GNSS速度を、高速かつ高精度に算出できる。GNSS速度算出部122は、GNSS速度を、スケール補正値算出部123に出力する。GNSS速度算出部122は、GNSS速度に算出時刻を関連づけして出力する。
スケール補正値算出部123は、複数のVSLAM位置とGNSS速度とを用いて、VSLAMの位置に関するスケール補正値Sを算出する。スケール補正値算出部123は、スケール補正値Sを、空間情報補正部124に出力する。上述のように、GNSS速度が高精度であるので、スケール補正値Sは、高精度に算出される。
空間情報補正部124は、スケール補正値Sを用いて、空間情報を補正する。この際、空間情報補正部124は、VSLAM位置も補正する。
次に、スケール補正値Sの算出原理、および、空間情報の補正原理について、より具体的に説明する。
図3は、本発明の第1の実施形態に係るスケールの補正の原理を説明するための図である。図4は、本発明の第1の実施形態に係る空間情報の補正の原理を説明するための図である。なお、以下では、GNSSアンテナ21およびカメラ30は、船舶900の座標系において、略同じ位置(観測位置)91に配置されているものとして説明する。より具体的には、GNSSアンテナ21およびカメラ30は、少なくとも、船体座標系の水平面上で、同じ位置に配置されているものとする。また、図3では、説明を分かりやすくするために、第1時刻tiでのVSLAM位置とGNSS位置とが一致するように記載しているが、これに限ることなく、以下の処理は実現できる。
船舶900が第1時刻tiから第2時刻tjにかけて移動している。カメラ30は、撮像を行い、動画像をVSLAM演算部121に出力する。
VSLAM演算部121は、動画像を用いて、基準点90およびその位置Poを設定し、第1時刻tiでのVSLAM位置P1vi、および、第2時刻tjでのVSLAM位置P1vjを推定する。第1時刻tiと第2時刻tjとは連続する時刻に限らず、2以上の複数の時刻における2つの時刻によって設定されている。VSLAM演算部121は、第1時刻tiでのVSLAM位置P1vi、および、第2時刻tjでのVSLAM位置P1vjを、スケール補正値算出部123に出力する。
スケール補正値算出部123は、第1時刻tiでのVSLAM位置P1viと第2時刻tjでのVSLAM位置P1vjとの幾何学的な差を算出することによって、VSLAM距離Dvijを算出する。なお、ここでは、2つ時刻の位置差から距離を算出しているが、3以上の時刻の位置差を用いて距離を算出することもできる。
スケール補正値算出部123は、GNSS速度算出部122でそれぞれ算出された第1時刻tiから第2時刻tj(より正確には、第2時刻tjの直前の算出時刻)までのGNSS速度Vgの積算値を算出することによって、GNSS信号に基づく第1時刻tiから第2時刻tjまでの船舶900(船舶900上の観測位置91)の移動距離であるGNSS距離Dgijを算出する。
スケール補正値算出部123は、GNSS距離Dgijの絶対値ABS(Dgij)を、VSLAM距離Dvijの絶対値ABS(Dvij)で除算することによって、スケール補正値Sを算出する。すなわち、スケール補正値算出部123は、S=ABS(Dgij)/ABS(Dvij)の演算を行うことによって、スケール補正値Sを算出する。
このように、高精度に算出されるGNSS速度を用いることによって、スケール補正値算出部123は、スケール補正値Sを高精度に算出できる。さらに、この構成ではGNSS速度Vjの算出時刻と、VSLAM位置P1vの推定時刻とが、高精度なGNSS時刻で同期されているので、スケール補正値算出部123は、スケール補正値Sをさらに高精度に算出できる。
空間情報補正部124は、各空間情報、すなわち、各特徴点の空間ベクトルに対して、スケール補正値Sを乗算することによって、空間情報の補正を行う。例えば、図4の例であれば、VSLAM演算による岸壁910vの特徴点911vに対する空間情報は、基準点90(座標Po)を起点として特徴点911vを終点とする空間ベクトルVe911vである。しかしながら、この空間ベクトルVe911vには、上述の課題に示したようなカメラ30に固有の不定性が含まれている。
空間情報補正部124は、このVSLAM演算による空間ベクトルVe911vに対して、スケール補正値Sを乗算することによって、絶対座標系の空間ベクトルVe911cを算出する。すなわち、空間情報補正部124は、Ve911c=S・Ve911vの演算を実施する。ここで、スケール補正値Sは、上述のように、高精度なGNSS速度を用いて、基準点90(座標Po)に対するVSLAM位置の誤差を高精度に補正する値である。したがって、空間ベクトルVe911cは、VSLAM演算による空間ベクトルVe911vを、絶対座標系に準じた高精度な値に高精度に補正した値となる。これにより、航法装置10は、絶対座標系における岸壁910の特徴点911の空間ベクトルVe911vを高精度に算出できる。
同様に、図4の例であれば、VSLAM演算による建築物920vの特徴点921vに対する空間情報は、基準点90(座標Po)を起点として特徴点921vを終点とする空間ベクトルVe921vである。しかしながら、この空間ベクトルVe921vには、上述の課題に示したようなカメラ30に固有の不定性が含まれている。
空間情報補正部124は、Ve921c=S・Ve921vの演算を実施する。これにより、空間ベクトルVe921cは、VSLAM演算による空間ベクトルVe921vを、絶対座標系に準じた高精度な値に高精度に補正した値となり、絶対座標系における建築物920の特徴点921の空間ベクトルVe921vを高精度に算出できる。
このように、本実施形態の構成を用いることによって、航法装置10は、VSLAM演算を用いた空間情報の誤差を高精度に補正でき、船舶900の周囲の空間情報を、高精度な実スケールの値によって取得できる。これにより、航法装置10は、船舶900の周囲に対して、高精度なマッピングが可能になる。
なお、上述の説明では、演算部12を複数の機能ブロックに分けて実現する態様を示したが、図5に示す処理を実現するプログラムおよび当該プログラムを実行する演算処理装置のみによって実現してもよい。図5は、VSLAM補正方法の第1の処理フローを示すフローチャートである。なお、各処理の具体的な内容は、上述しており、説明は省略する。
演算処理装置は、GNSS信号における搬送波位相の積算値の変化量からGNSS速度を算出する(S11)。演算処理装置は、カメラから入力された動画像からVSLAM演算を実行し、VSLAM位置および空間情報を推定する(S12)。
演算処理装置は、GNSS速度の算出と、VSLAM位置および空間情報の推定とを、時刻同期して実行する。ここで、時刻同期とは、同時並行に実行するものに限らず、GNSS速度の算出と、VSLAM位置および空間情報の推定とを、それぞれ時刻情報を添付して実行し、後に同じ時刻のもの同士を合わせてもよい。
演算処理装置は、GNSS速度と、複数のVSLAM位置とを用いて、スケール補正値Sを算出する(S13)。演算処理装置は、スケール補正値Sを用いて、空間情報を補正して、更新する(S14)。
なお、図5では、スケール補正を逐次的に実行する態様を示したが、図6に示すように、予め設定した時間間隔でスケール補正を行ってもよい。図6は、VSLAM補正方法の第2の処理フローを示すフローチャートである。
演算処理装置は、カメラから入力された動画像からVSLAM演算を実行し、VSLAM位置および空間情報を推定する(S21)。演算処理装置は、VSLAM位置および空間情報の推定を、GNSS時刻に同期して実行する。
演算処理装置は、スケール補正値の更新タイミングになるまでは(S22:NO)、VSLAM演算を継続的に実行する。
演算処理装置は、スケール補正値の更新タイミングになると(S22:YES)、GNSS速度を取得する(S23)。
演算処理装置は、GNSS速度と、複数のVSLAM位置とを用いて、スケール補正値Sを算出する(S24)。演算処理装置は、スケール補正値Sを用いて、空間情報を補正して、更新する(S25)。
このような処理を行うことによって、スケール補正値の算出および空間情報の更新を、適宜設定した間隔で実行でき、空間情報の補正を適切に行いながら、演算負荷を軽減できる。これは、例えば、特徴点が多く、空間情報が膨大である時に、特に有効となる。
次に、本発明の第2の実施形態に係る航法装置について、図を参照して説明する。図7は、本発明の第2の実施形態に係る航法装置の構成を示す機能ブロック図である。図8は、本発明の第2の実施形態に係る演算部の構成を示す機能ブロック図である。
図7、図8に示すように、第2の実施形態に係る航法装置10Aおよび演算部12Aは、スケールの補正とともに、姿勢角の補正を行う点で、航法装置10および演算部12と異なる。航法装置10Aおよび演算部12Aの他の構成は、航法装置10および演算部12と同様であり、同様の箇所の説明は省略する。
航法装置10Aは、GNSS受信部111、GNSS受信部112、GNSS受信部113、および、演算部12Aを備える。GNSS受信部111は、GNSSアンテナ21に接続されており、GNSS受信部112は、GNSSアンテナ22に接続されており、GNSS受信部113は、GNSSアンテナ23に接続されている。
演算部12Aは、GNSS受信部111、GNSS受信部112、および、GNSS受信部113に接続されており、カメラ30に接続されている。
GNSSアンテナ21、GNSSアンテナ22、および、GNSSアンテナ23は、1個が、他の2個を結ぶ直線上に無いように、配置されている。GNSSアンテナ21、GNSSアンテナ22、および、GNSSアンテナ23の船体座標系での位置関係は、予め取得され、演算部12Aに記憶されている。GNSSアンテナ21、GNSSアンテナ22、および、GNSSアンテナ23は、それぞれにGNSS信号を受信して出力する。
GNSS受信部111は、GNSSアンテナ21で受信したGNSS信号の捕捉、追尾によって、観測データを取得し、演算部12Aに出力する。GNSS受信部112は、GNSSアンテナ22で受信したGNSS信号の捕捉、追尾によって、観測データを取得し、演算部12Aに出力する。GNSS受信部113は、GNSSアンテナ23で受信したGNSS信号の捕捉、追尾によって、観測データを取得し、演算部12Aに出力する。各観測データは、少なくとも、搬送波位相の積算値(ADR)を含んでいる。
図8に示すように、演算部12Aは、VSLAM演算部121A、GNSS速度算出部122、スケール補正値算出部123、空間情報補正部124、GNSS姿勢角算出部125、および、姿勢角補正値算出部126を備える。
VSLAM演算部121Aは、上述のVSLAM演算部121と同様に、取得した動画像を用いて既知の方法によって、VSLAM位置、および、各特徴点の空間情報を推定する。また、VSLAM演算部121Aは、取得した動画像を用いて既知の方法によって、基準点を通り、予め設定された基準軸に対するVSLAM姿勢角を推定する。この際、VSLAM演算部121Aは、GNSS時刻に同期して、VSLAM位置、VSLAM姿勢角、および、各特徴点の空間情報を、複数の時刻で推定する。
VSLAM演算部121Aは、VSLAM位置を、スケール補正値算出部123および空間情報補正部124Aに出力する。VSLAM演算部121Aは、VSLAM姿勢角を、姿勢角補正値算出部126および空間情報補正部124Aに出力する。VSLAM演算部121Aは、空間情報を、空間情報補正部124Aに出力する。この際、VSLAM演算部121Aは、VSLAM位置、VSLAM姿勢角、および、空間情報に対して推定時刻を関連づけして出力する。
GNSS速度算出部122は、GNSS受信部111、GNSS受信部112、GNSS受信部113のいずれかで取得した搬送波位相の積算値の変化量を用いて、GNSS速度を算出する。
スケール補正値算出部123は、複数のVSLAM位置とGNSS速度とを用いて、VSLAMの位置に関するスケール補正値Sを算出する。スケール補正値算出部123は、スケール補正値Sを、空間情報補正部124Aに出力する。上述のように、GNSS速度が高精度であるので、スケール補正値Sは、高精度に算出される。
GNSS姿勢角算出部125は、GNSS受信部111、GNSS受信部112、GNSS受信部113のそれぞれで取得した搬送波位相の積算値を用いて、既知の方法(例えば、GNSSアンテナ間の基線ベクトルを用いた方法等)から、GNSS姿勢角を算出する。
搬送波位相の積算値を用いることによって、GNSS姿勢角は、高精度に算出される。
GNSS姿勢角算出部125は、GNSS姿勢角を、姿勢角補正値算出部126に出力する。この際、GNSS姿勢角算出部125は、GNSS姿勢角に対して、算出時刻を関連付けして出力する。
姿勢角補正値算出部126は、同期したVSLAM姿勢角とGNSS姿勢角とを用いて、VSLAM姿勢角に対する姿勢角補正値を算出する。姿勢角補正値とは、VSLAM姿勢角が含む誤差を、GNSS姿勢角によって抑制する値によって定義される。姿勢角補正値算出部126は、例えば、VSLAMにおいて設定された座標系を、GNSS姿勢角の基準とする座標系(局地水平座標に対する船体座標の傾きがGNSS姿勢角となる。)で表されるようにするための補正値を、姿勢角補正値として算出する。
姿勢角補正値算出部126は、姿勢角補正値を、空間情報補正部124Aに出力する。
上述のように、GNSS姿勢角が高精度であるので、姿勢角補正値は、高精度に算出される。
空間情報補正部124Aは、スケール補正値Sおよび姿勢角補正値を用いて、空間情報を補正する。この際、空間情報補正部124Aは、VSLAM位置およびVSLAM姿勢角も補正する。
そして、スケール補正値Sおよび姿勢角補正値が高精度であることによって、空間情報は、高精度に補正される。特に、演算部12Aの構成および処理では、姿勢角の情報を用いて空間情報が補正されることによって、スケール補正値のみを用いる態様よりも、空間情報をさらに高精度に補正できる。
なお、上述の説明では、演算部12Aを複数の機能ブロックに分けて実現する態様を示したが、図9に示す処理を実現するプログラムおよび当該プログラムを実行する演算処理装置のみによって実現してもよい。図9は、VSLAM補正方法の第3の処理フローを示すフローチャートである。なお、各処理の具体的な内容は、上述しており、説明は省略する。
演算処理装置は、複数のGNSSアンテナで受信したGNSS信号における搬送波位相の積算値を用いてGNSS速度およびGNSS姿勢角を算出する(S31)。演算処理装置は、カメラから入力された動画像からVSLAM演算を実行し、VSLAM位置、VSLAM姿勢角、および、空間情報を推定する(S32)。演算処理装置は、GNSS速度の算出と、GNSS姿勢角の算出と、VSLAM位置、VSLAM姿勢角および空間情報の推定とを、時刻同期して実行する。
演算処理装置は、GNSS速度と、複数のVSLAM位置とを用いて、スケール補正値Sを算出し、GNSS姿勢角とVSLAM姿勢角とを用いて、姿勢角補正値を算出する(S33)。演算処理装置は、スケール補正値Sおよび姿勢角補正値を用いて、空間情報を補正して、更新する(S34)。
なお、図9では、スケール補正を逐次的に実行する態様を示したが、図10に示すように、予め設定した時間間隔でスケール補正を行ってもよい。図10は、VSLAM補正方法の第4の処理フローを示すフローチャートである。
演算処理装置は、カメラから入力された動画像からVSLAM演算を実行し、VSLAM位置および空間情報を推定する(S41)。演算処理装置は、VSLAM位置および空間情報の推定を、GNSS時刻に同期して実行する。
演算処理装置は、補正値の更新タイミングになるまでは(S42:NO)、VSLAM演算を継続的に実行する。
演算処理装置は、補正値の更新タイミングになると(S42:YES)、GNSS速度、および、GNSS姿勢角を取得する(S43)。
演算処理装置は、GNSS速度と、複数のVSLAM位置とを用いて、スケール補正値Sを算出し、GNSS姿勢角とVSLAM姿勢角とを用いて、姿勢角補正値を算出する(S44)。演算処理装置は、スケール補正値Sと姿勢角補正値を用いて、空間情報を補正して、更新する(S45)。
次に、本発明の第3の実施形態に係る航法装置について、図を参照して説明する。図11は、本発明の第3の実施形態に係る航法装置の構成を示す機能ブロック図である。図12は、本発明の第3の実施形態に係る演算部の構成を示す機能ブロック図である。
図11、図12に示すように、第3の実施形態に係る航法装置10Bおよび演算部12Bは、GNSS信号の観測データとIMUの出力データを用いる点で、第2の実施形態に係る航法装置10Aおよび演算部12Aと異なる。航法装置10Bおよび演算部12Bの他の構成は、航法装置10Aおよび演算部12Aと同様であり、同様の箇所の説明は省略する。
航法装置10Bは、GNSS受信部111、GNSS受信部112、および、演算部12Bを備える。GNSS受信部111は、GNSSアンテナ21に接続されており、GNSS受信部112は、GNSSアンテナ22に接続されている。
演算部12Bは、GNSS受信部111、および、GNSS受信部112に接続されており、カメラ30に接続されている。また、演算部12Bは、IMU40に接続されている。
GNSSアンテナ21、および、GNSSアンテナ22は、例えば、船舶900の船首と船尾を結ぶ方向に対して平行に、配置されている。なお、GNSSアンテナ21、および、GNSSアンテナ22の配置は、これに限るものではないが、船首と船尾を結ぶ方向に対して平行である方が好ましい。GNSSアンテナ21、および、GNSSアンテナ22の船体座標系での位置関係は、予め取得され、演算部12Bに記憶されている。GNSSアンテナ21、および、GNSSアンテナ22は、それぞれにGNSS信号を受信して出力する。
GNSS受信部111は、GNSSアンテナ21で受信したGNSS信号の捕捉、追尾によって、観測データを取得し、演算部12Bに出力する。GNSS受信部112は、GNSSアンテナ22で受信したGNSS信号の捕捉、追尾によって、観測データを取得し、演算部12Bに出力する。各観測データは、それぞれに少なくとも搬送波位相の積算値(ADR)を含む。
IMU40は、所謂慣性センサであり、例えば、角速度センサを有する。IMU40が角速度センサである場合、IMU40は、直交三軸周りの角速度を検出して、センサデータとして、演算部12Bに出力する。
なお、IMU40は、加速度センサを備えていてもよい。IMU40が加速度センサを備える場合、IMU40は、角速度センサと同じ直交三軸の加速度を検出して、センサデータとして、演算部12Bに出力する。
IMU40は、GNSS受信部111、GNSS受信部112と同様に、所定の時間間隔で、センサデータを生成して、演算部12Bに出力する。
図12に示すように、演算部12Bは、VSLAM演算部121B、スケール補正値算出部123B、空間情報補正部124B、姿勢角補正値算出部126B、および、統合算出部127を備える。
VSLAM演算部121Bは、上述のVSLAM演算部121Aと同様に、取得した動画像を用いて既知の方法によって、VSLAM位置、VSLAM姿勢角、および、各特徴点の空間情報を推定する。
VSLAM演算部121Bは、VSLAM位置を、スケール補正値算出部123Bおよび空間情報補正部124Bに出力する。VSLAM演算部121Bは、VSLAM姿勢角を、姿勢角補正値算出部126Bおよび空間情報補正部124Bに出力する。VSLAM演算部121Bは、空間情報を、空間情報補正部124Bに出力する。
統合算出部127は、IMU40から出力されたセンサデータを、GNSS受信部111およびGNSS受信部112から出力された観測データで補正する。これにより、統合算出部127は、統合速度および統合姿勢角を算出する。
例えば、IMU40から角速度のセンサデータ(IMU角速度データ)が出力された場合、統合算出部127は、IMU角速度データに含まれる観測誤差を、GNSS受信部111およびGNSS受信部112からの観測データで推定する。そして、統合算出部127は、IMU角速度データを、推定した観測誤差で補正して、統合角速度を算出する。これにより、統合角速度は、IMU角速度よりも高精度になる。
統合算出部127は、例えば、統合角速度を積算することによって、統合姿勢角を算出する。
なお、この場合、統合速度は、例えば、上述のGNSS速度を用いればよい。
また、IMU40から加速度のセンサデータ(IMU加速度データ)が出力された場合、統合算出部127は、IMU加速度に含まれる観測誤差を、GNSS受信部111およびGNSS受信部112からの観測データで推定する。そして、統合算出部127は、IMU加速度データを、推定した観測誤差で補正して、統合加速度を算出する。これにより、統合加速度は、IMU加速度よりも高精度になる。
統合算出部127は、例えば、統合加速度を積算することによって、統合速度を算出する。
スケール補正値算出部123Bは、複数のVSLAM位置と、GNSS速度または統合速度とを用いて、上述のスケール補正値算出部123、およびスケール補正値算出部123Aと同様に方法によって、スケール補正値Sを算出する。スケール補正値算出部123Bは、スケール補正値Sを空間情報補正部124Bに出力する。
姿勢角補正値算出部126Bは、上述の姿勢角補正値算出部126と同様の方法を適用し、VSLAM姿勢角と統合姿勢角とを用いて、VSLAM姿勢角に対する姿勢角補正値を算出する。姿勢角補正値とは、VSLAM姿勢角が含む誤差を、統合姿勢角によって抑制する値によって定義される。
空間情報補正部124Bは、上述の空間情報補正部124Aと同様に、スケール補正値Sおよび姿勢角補正値を用いて、空間情報を補正する。この際、空間情報補正部124Bは、VSLAM位置およびVSLAM姿勢角も補正する。
このような構成および処理でも、スケール補正値Sおよび姿勢角補正値が高精度であることによって、空間情報は、高精度に補正される。
次に、本発明の第4の実施形態に係る航法装置について、図を参照して説明する。図13は、本発明の第4の実施形態に係る航法装置の構成を示す機能ブロック図である。図14は、本発明の第4の実施形態に係る演算部の構成を示す機能ブロック図である。
図13、図14に示すように、第4の実施形態に係る航法装置10Cおよび演算部12Cは、第1の実施形態に係る航法装置10および演算部12に対して、航行情報生成部128を追加した点で異なる。航法装置10Cおよび演算部12Cの他の構成は、航法装置10および演算部12と同様であり、同様の箇所の説明は省略する。
航法装置10Cは、演算部12Cを備える。演算部12Cは、航行情報生成部128を備える。
航行情報生成部128には、GNSS速度算出部122からGNSS速度が入力される。航行情報生成部128は、GNSS速度に基づいて、航法装置10Cが装備される船舶900の航行情報を生成する。例えば、航行情報は、船舶900の速度、位置等を含む。そして、GNSS速度を用いることによって、航行情報も高精度になる。
このような構成および処理により、演算部12Cは、空間情報とともに、船舶の航行情報も出力できる。そして、これら空間情報および航行情報は、高精度であるので、正確な航行支援を行うことが可能になる。
次に、本発明の第5の実施形態に係る航法装置について、図を参照して説明する。図15は、本発明の第5の実施形態に係る航法装置の構成を示す機能ブロック図である。図16は、本発明の第5の実施形態に係る演算部の構成を示す機能ブロック図である。
図15、図16に示すように、第5の実施形態に係る航法装置10Dおよび演算部12Dは、第2の実施形態に係る航法装置10Aおよび演算部12Aに対して、航行情報生成部128Dを追加した点で異なる。航法装置10Dおよび演算部12Dの他の構成は、航法装置10Aおよび演算部12Aと同様であり、同様の箇所の説明は省略する。なお、演算部12DのVSLAM演算部121Dは、演算部12AのVSLAM演算部121Aと同様である。
航法装置10Dは、演算部12Dを備える。演算部12Dは、航行情報生成部128Dを備える。
航行情報生成部128Dには、GNSS速度算出部122からGNSS速度が入力される。また、航行情報生成部128Dは、GNSS姿勢角算出部125からGNSS姿勢角が入力される。
航行情報生成部128Dは、GNSS速度およびGNSS姿勢角に基づいて、航法装置10Dが装備される船舶900の航行情報を生成する。例えば、航行情報は、船舶900の速度、姿勢、回頭角速度、位置等を含む。そして、GNSS速度およびGNSS姿勢角を用いることによって、航行情報も高精度になる。
このような構成および処理により、演算部12Dは、空間情報とともに、より詳細な船舶の航行情報も出力できる。そして、これら空間情報および航行情報は、高精度であるので、正確な航行支援を行うことが可能になる。
次に、本発明の第6の実施形態に係る航法装置について、図を参照して説明する。図17は、本発明の第6の実施形態に係る航法装置の構成を示す機能ブロック図である。図18は、本発明の第6の実施形態に係る演算部の構成を示す機能ブロック図である。
図17、図18に示すように、第6の実施形態に係る航法装置10Eおよび演算部12Eは、第3の実施形態に係る航法装置10Bおよび演算部12Bに対して、航行情報生成部128Eを追加した点で異なる。航法装置10Eおよび演算部12Eの他の構成は、航法装置10Bおよび演算部12Bと同様であり、同様の箇所の説明は省略する。なお、演算部12EのVSLAM演算部121Eは、演算部12BのVSLAM演算部121Bと同様である。
航法装置10Eは、演算部12Eを備える。演算部12Eは、航行情報生成部128Eを備える。
航行情報生成部128Eには、統合算出部127から統合速度および統合姿勢角が入力される。
航行情報生成部128Eは、統合速度および統合姿勢角に基づいて、航法装置10Eが装備される船舶900の航行情報を生成する。例えば、航行情報は、船舶900の速度、姿勢、回頭角速度、位置等を含む。そして、GNSS速度およびGNSS姿勢角を用いることによって、航行情報も高精度になる。
このような構成および処理により、演算部12Eは、空間情報とともに、より詳細な船舶の航行情報も出力できる。そして、これら空間情報および航行情報は、高精度であるので、正確な航行支援を行うことが可能になる。
次に、本発明の第7の実施形態に係る航法装置について、図を参照して説明する。図19は、本発明の第7の実施形態に係る演算部の構成を示す機能ブロック図である。
図19に示すように、第7の実施形態に係る航法装置10Fおよび演算部12Fは、第5の実施形態に係る航法装置10Dおよび演算部12Dに対して、レバーアーム補正部129を追加した点で異なる。航法装置10Fおよび演算部12Fの他の構成は、航法装置10Dおよび演算部12Dと同様であり、同様の箇所の説明は省略する。なお、演算部12FのVSLAM演算部121Fは、演算部12DのVSLAM演算部121Dと同様であり、航行情報生成部128Fは、演算部12Dの航行情報生成部128Dと同様である。
レバーアーム補正部129には、GNSS速度とGNSS姿勢角とが入力される。また、レバーアーム補正部129は、船体座標系でのGNSSアンテナ21、GNSSアンテナ22、GNSSアンテナ23と、カメラ30との位置関係が記憶されている。
レバーアーム補正部129は、GNSS速度を算出したGNSSアンテナとカメラ30との位置関係と、GNSS姿勢角とを用いて、既知の方法から、GNSS速度をレバーアーム補正する。レバーアーム補正部129は、レバーアーム補正後のGNSS速度を、スケール補正値算出部123に出力する。
スケール補正値算出部123は、レバーアーム補正後のGNSS速度を用いて、上述の方法からスケール補正値Sを算出する。
このようなレバーアーム補正を行うことによって、GNSSアンテナとカメラ30との位置関係による誤差が補正され、スケール補正値Sをさらに高精度に算出できる。
なお、このレバーアーム補正は、上述の他の実施形態にも適用することができる。さらに、レバーアーム補正は、これに限らず、例えば、IMUを用いる態様の場合、GNSSアンテナとIMUとの位置関係による誤差の補正にも用いることができる。
次に、本発明の第8の実施形態に係る航法装置について、図を参照して説明する。図20は、本発明の第8の実施形態に係る演算部の構成を示す機能ブロック図である。
図20に示すように、第7の実施形態に係る演算部12Gは、第5の実施形態に係る航法装置10Dおよび演算部12Dに対して、VSLAM演算を拘束条件付きで実行する点で異なる。また、演算部12Gでは、スケール補正値の算出、姿勢角補正値の算出、および、空間情報の補正を行う必要が無いので、スケール補正値算出部、姿勢角補正値算出部、および、空間情報補正部は省略されている。演算部12Gの他の構成は、演算部12Dと同様であり、同様の箇所の説明は省略する。なお、航行情報生成部128Gは、演算部12Dの航行情報生成部128Dと同様である。
VSLAM演算部121Gには、GNSS速度およびGNSS姿勢角が入力される。VSLAM演算部121Gは、GNSS速度およびGNSS姿勢角を拘束条件に用いて、VSLAM演算を実行する。具体的には、VSLAM演算部121Gは、例えば、図21および図22に示す処理を実行する。図21は、拘束条件付きのVSLAM演算のメインフローを示すフローチャートである。図22は、拘束条件付きの全体最適化の処理を示すフローチャートである。
図21に示すように、VSLAM演算部121Gは、動画像を用いて、複数のフレームで特徴点を検出し、各フレームに対して特徴点を追尾する(S51)。VSLAM演算部121Gは、追尾している複数のフレームの特徴点のマッチングを行う(S52)。
VSLAM演算部121Gは、上述の各ステップによる初期化が終了していれば(S53:YES)、VSLAM逐次処理を実行する(S54)。一方、VSLAM演算部121Gは、初期化が終了していなければ(S53:NO)、初期化を完了させる(S55)。
VSLAM演算部121Gは、キーフレームであるか初期化直後であることを検出すると(S56:YES)、キーフレームとしての登録を行う(S57)。キーフーレムは、例えば、所定のフレーム間隔で設定されている。
VSLAM演算部121Gは、キーフレームの登録後、GNSS演算結果(例えば、GNSS速度およびGNSS姿勢角)を用いて、VSLAM演算の全体最適化を実行する(S58)。
なお、VSLAM演算部121Gは、キーフレームでなく、初期化直後でなければ(S56:NO)、最適化を行わずにVSLAM処理を継続する。
図22に示すように、VSLAM演算部121Gは、VSLAM演算の全体最適化の処理として、まず、最適化するVSLAM用パラメータとGNSS演算結果を設定する(S581)。VSLAM用パラメータとは、例えば、カメラ30の内部パラメータ、カメラ30の外部パラメータ、レンズ歪み係数、および、特徴点の三次元位置を含む。GNSS演算結果は、GNSS速度に基づく基準点からの変位、および、GNSS姿勢角に基づく基準座標軸に対する姿勢角を含む。
VSLAM演算部121Gは、拘束条件に対応するコスト関数を設定する(S582)。コスト関数は、例えば、VSLAM演算における再投影誤差の総和およびGNSS演算結果を基準としたペナルティによって設定される。
VSLAM演算部121Gは、コスト関数を最小化するVSLAM用パラメータを、最小二乗法、各種フィルタ演算等を用いて、最適化する(S583)。
このような構成および処理を備えることによって、VSLAM演算によって算出される空間情報は、高精度になる。したがって、この演算部12Gは、スケールの補正および姿勢角の補正を行わずに、高精度な空間情報を出力することができる。
次に、本発明の第9の実施形態に係る航法装置について、図を参照して説明する。図23は、本発明の第9の実施形態に係る航法装置の構成を示す機能ブロック図である。
図23に示すように、第9の実施形態に係る航法装置10Hは、第5の実施形態に係る航法装置10Dに対して、支援情報生成部13を追加した点で異なる。航法装置10Hの他の構成は、航法装置10Dと同様であり、同様の箇所の説明は省略する。なお、演算部12Hは、演算部12Dと同様であり、説明は省略する。
航法装置10Hは、支援情報生成部13を備える。支援情報生成部13には、演算部12Hから空間情報および航行情報が入力される。
支援情報生成部13は、空間情報および航行情報を用いて、支援情報を生成し、出力する。支援情報とは、例えば、航法装置10Hが装備された船舶900の外部の三次元マップ、三次元マップ内での船舶900の位置、速度、または、船舶900における所定位置の速度等を含む。
支援情報生成部13は、これらの支援情報を用いて支援画像50を生成し、例えば、図示しないディスプレイ装置に表示させる。
支援画像は、例えば、図24(A)、図24(B)を示すような画像がある。図24(A)および図24(B)は、支援画像の一例を示す図である。
図24(A)では、支援画像50に、船舶900の画像51と、岸壁の建物の画像52とが表示されている。支援画像50は、カメラ30から得られた動画像に基づいている。
さらに、支援画像50には、船舶900の第1特定点に対応する画像51の特定位置が岸壁の第1特定位置に対する接近する方向を示すシンボルマーク531と、距離および接近速度を示すデータ(図24(A)のLS1、Vs1)532とが表示される。また、支援画像50には、船舶900の第2特定点に対応する画像51の特定位置が岸壁の第2特定位置に対する接近する方向を示すシンボルマーク541と、距離および接近速度を示すデータ(図24(A)のLS2、Vs2)542とが表示される。なお、ここでは、2個の特定位置を例にしているが、その個数は適宜設定が可能である。
これらの特定位置の接近方向、接近速度、距離は、上述のGNSS演算結果を用いて高精度に補正されている。したがって、支援画像50は、VSLAMを用いながら、現実の接近方向、接近速度、距離を高精度に示す表示となる。これにより、高精度な支援情報を提供できる。
図24(B)では、支援画像50に、船舶900の画像55と、岸壁の建物の画像56とが表示されている。支援画像50は、カメラ30から得られた動画像に基づいている。ただし、画像55は、たとえば、設定した自船の3次元モデル等から、支援画像50の視点に基づいて作成されている。
さらに、支援画像50には、予測航跡571、予測位置572、および、所定時間後の船舶900と岸壁との距離を表すシンボルマークおよびデータ(図24(B)に示すLs57)53が表示される。なお、ここでは、1箇所において、船舶900と岸壁との距離を表すシンボルマークとデータを表示する態様を示したが、その個数は適宜設定が可能である。
これらの予測航跡571、予測位置572、および、所定時間後の船舶900と岸壁との距離は、上述のGNSS演算結果を用いて高精度に補正されている。したがって、支援画像50は、VSLAMを用いながら、岸壁に対する現実の航行状態および予測航行状態を高精度に示す表示となる。これにより、高精度な支援情報を提供できる。
なお、上述の各実施形態の構成および処理は、それぞれに適宜組合せが可能であり、各組合せに応じた作用効果を得ることができる。
また、上述の説明では、搬送波信号の位相の変化量からGNSS速度等のGNSS演算結果を算出する態様を示したが、搬送波信号の周波数の変化量、コード位相の変化量等、GNSS信号における速度、姿勢角を算出可能な他の要素を用いることも可能である。
10、10A、10B、10C、10D、10E、10F、10H:航法装置
12、12A、12B、12C、12D、12E、12F、12G、12H:演算部
13:支援情報生成部
21、22、23:GNSSアンテナ
30:カメラ
40:IMU
50:支援画像
51、52、55、56:画像
90:基準点
91:観測位置
111、112、113:GNSS受信部
121、121A、121B、121D、121E、121F、121G:VSLAM演算部
122:GNSS速度算出部
123、123A、123B:スケール補正値算出部
124、124A、124B:空間情報補正部
125:GNSS姿勢角算出部
126、126B:姿勢角補正値算出部
127:統合算出部
128、128D、128E、128F、128G:航行情報生成部
129:レバーアーム補正部
531、541:シンボルマーク
571:予測航跡
572:予測位置
900:船舶
910、910v:岸壁
911、911v:特徴点
920、920v:建築物
921、921v:特徴点
用語
必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。
本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。
本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。
本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。
特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。
語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。
本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。
特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「〜するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。
一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「〜を含む」という用語は「それだけでなく、少なくとも〜を含む」と解釈すべきであり、「〜を持つ」という用語は「少なくとも〜を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。
説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「〜を越えて」「下の」などの用語は水平面に対して定義されている。
本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。
特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。
上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の特許請求の範囲によって保護される。

Claims (24)

  1. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度を算出するGNSS速度算出部と、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置を推定するVSLAM演算部と、
    前記VSLAM演算部で推定された、前記複数の時刻における2以上の時刻での前記VSLAM位置と、前記GNSS速度とを用いて、前記VSLAM位置に対するスケール補正値を算出するスケール補正値算出部と、
    を備える、航法装置。
  2. 測位衛星から送信される測位信号であるGNSS信号の位相の積算値を用いて、GNSS姿勢角を算出するGNSS姿勢角算出部と、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM姿勢角を推定するVSLAM演算部と、
    前記VSLAM演算部で推定された、前記複数の時刻における2以上の時刻での前記VSLAM姿勢角と、前記GNSS姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する姿勢角補正値算出部と、
    を備える、航法装置。
  3. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度を算出するGNSS速度算出部と、
    前記GNSS信号の位相の積算値を用いて、GNSS姿勢角を算出するGNSS姿勢角算出部と、
    動画像を用い、前記GNSS速度および前記GNSS姿勢角によって拘束条件が設定されたVSLAM演算を行って、空間情報を推定するVSLAM演算部と、
    を備える、航法装置。
  4. 請求項1に記載の航法装置であって、
    前記GNSS信号の位相の積算値を用いて、GNSS姿勢角を算出するGNSS姿勢角算出部と、
    前記VSLAM演算部で推定された、前記複数の時刻における2以上の時刻でのVSLAM姿勢角と、前記GNSS姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する姿勢角補正値算出部と、
    を備える、航法装置。
  5. 請求項4に記載の航法装置であって、
    前記GNSS姿勢角を用いて、前記GNSS速度を前記VSLAM演算の座標に合わせるレバーアーム補正を行い、レバーアーム補正後のGNSS速度を、前記スケール補正値算出部に出力する、レバーアーム補正部を備える、航法装置。
  6. 請求項4または請求項5に記載の航法装置であって、
    前記VSLAM演算部は、
    前記GNSS速度および前記GNSS姿勢角を用いて、前記VSLAM演算の最適化を行う、
    航法装置。
  7. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量と、慣性センサの観測データと、を用いて、統合速度を算出し、前記GNSS信号の位相の積算値と、前記慣性センサの観測データと、を用いて、統合姿勢角を算出する統合算出部と、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置、および、VSLAM姿勢角を推定するVSLAM演算部と、
    前記VSLAM演算部で推定された、前記複数の時刻における2以上の時刻での前記VSLAM位置と、前記統合速度とを用いて、前記VSLAM位置に対するスケール補正値を算出するスケール補正値算出部と、
    前記VSLAM演算部で推定されたVSLAM姿勢角と、前記統合姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する姿勢角補正値算出部と、
    を備える、航法装置。
  8. 請求項7に記載の航法装置であって、
    前記VSLAM演算部は、
    前記統合速度および前記統合姿勢角を用いて、前記VSLAM演算の最適化を行う、
    航法装置。
  9. 請求項1、4、5、6、7のいずれかに記載の航法装置であって、
    前記スケール補正値を用いて、前記VSLAM演算部で推定された空間情報を補正する空間情報補正部を備える、航法装置。
  10. 請求項4乃至請求項7のいずれかに記載の航法装置であって、
    前記スケール補正値と前記VSLAM姿勢角に対する補正値とを用いて、前記VSLAM演算部で推定された空間情報を補正する空間情報補正部を備える、航法装置。
  11. 請求項9または請求項10に記載の航法装置であって、
    前記空間情報補正部から出力された空間情報を用いて、航行支援情報を生成する支援情報生成部を備える、航法装置。
  12. 請求項3に記載の航法装置であって、
    前記VSLAM演算部から出力された空間情報を用いて、航行支援情報を生成する支援情報生成部を備える、航法装置。
  13. 請求項11または請求項12に記載の航法装置であって、
    前記航行支援情報は、前記空間情報から得られるマップデータと、GNSS速度を含む前記GNSS信号の観測結果から得られる航行データと、を重ね合わせた画像データである、
    航法装置。
  14. 請求項1乃至請求項13のいずれかに記載の航法装置であって、
    前記GNSS信号の位相および周波数は、搬送波信号の位相および周波数である、
    航法装置。
  15. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置を推定し、
    前記VSLAM演算で推定された、前記複数の時刻における2以上の時刻での前記VSLAM位置と、前記GNSS速度とを用いて、前記VSLAM位置に対するスケール補正値を算出する、
    VSLAM補正方法。
  16. 測位衛星から送信される測位信号であるGNSS信号の位相の積算値を用いて、GNSS姿勢角を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM姿勢角を推定し、
    推定された、前記複数の時刻における2以上の時刻での前記VSLAM姿勢角と、前記GNSS姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する、
    VSLAM補正方法。
  17. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度を算出し、
    前記GNSS信号の位相の積算値を用いて、GNSS姿勢角を算出し、
    動画像を用い、前記GNSS速度および前記GNSS姿勢角によって拘束条件が設定されたVSLAM演算を行って、空間情報を推定する、
    空間情報推定方法。
  18. 請求項15に記載のVSLAM補正方法であって、
    前記GNSS信号の位相の積算値を用いて、GNSS姿勢角を算出し、
    前記VSLAM演算を行って、複数の時刻でのVSLAM姿勢角を推定し、
    推定された、前記複数の時刻における2以上の時刻での前記VSLAM姿勢角と、前記GNSS姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する、
    VSLAM補正方法。
  19. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量と、慣性センサの観測データと、を用いて、統合速度を算出し、
    前記GNSS信号の位相の積算値と、前記慣性センサの観測データと、を用いて、統合姿勢角を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置を推定し、
    前記動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM姿勢角を推定し、
    前記VSLAM演算で推定された前記複数の時刻における2以上の時刻での前記VSLAM位置と、前記統合速度とを用いて、前記VSLAM位置に対するスケール補正値を算出し、
    前記VSLAM演算で推定された前記複数の時刻における2以上の時刻での前記VSLAM姿勢角と、前記統合姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する、
    VSLAM補正方法。
  20. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置を推定し、
    前記VSLAM演算で推定された、前記複数の時刻における2以上の時刻での前記VSLAM位置と、前記GNSS速度とを用いて、前記VSLAM位置に対するスケール補正値を算出する、
    処理を、演算処理装置に実行させるVSLAM補正プログラム。
  21. 測位衛星から送信される測位信号であるGNSS信号の位相の積算値を用いて、GNSS姿勢角を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM姿勢角を推定し、
    推定された、前記複数の時刻における2以上の時刻での前記VSLAM姿勢角と、前記GNSS姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する、
    処理を、演算処理装置に実行させるVSLAM補正プログラム。
  22. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量を用いて、GNSS速度を算出し、
    前記GNSS信号の位相の積算値を用いて、GNSS姿勢角を算出し、
    動画像を用い、前記GNSS速度および前記GNSS姿勢角によって拘束条件が設定されたVSLAM演算を行って、空間情報を推定する、
    処理を、演算処理装置に実行させる空間情報推定プログラム。
  23. 請求項20に記載のVSLAM補正プログラムであって、
    前記GNSS信号の位相の積算値を用いて、GNSS姿勢角を算出し、
    前記VSLAM演算を行って、複数の時刻でのVSLAM姿勢角を推定し、
    推定された、前記複数の時刻における2以上の時刻での前記VSLAM姿勢角と、前記GNSS姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する、
    処理を、演算処理装置に実行させるVSLAM補正プログラム。
  24. 測位衛星から送信される測位信号であるGNSS信号の位相の変化量または前記GNSS信号の周波数の変化量と、慣性センサの観測データと、を用いて、統合速度を算出し、
    前記GNSS信号の位相の積算値と、前記慣性センサの観測データと、を用いて、統合姿勢角を算出し、
    動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM位置を推定し、
    前記動画像を用いてVSLAM演算を行って、複数の時刻でのVSLAM姿勢角を推定し、
    前記VSLAM演算で推定された、前記複数の時刻における2以上の時刻での前記VSLAM位置と、前記統合速度とを用いて、前記VSLAM位置に対するスケール補正値を算出し、
    前記VSLAM演算で推定された、前記複数の時刻における2以上の時刻でのVSLAM姿勢角と、前記統合姿勢角とを用いて、前記VSLAM姿勢角に対する補正値を算出する、
    処理を、演算処理装置に実行させるVSLAM補正プログラム。
JP2020502876A 2018-02-28 2019-01-29 航法装置、vslam補正方法、空間情報推定方法、vslam補正プログラム、および、空間情報推定プログラム Active JP6923739B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018034787 2018-02-28
JP2018034787 2018-02-28
PCT/JP2019/002832 WO2019167517A1 (ja) 2018-02-28 2019-01-29 航法装置、vslam補正方法、空間情報推定方法、vslam補正プログラム、および、空間情報推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2019167517A1 JPWO2019167517A1 (ja) 2021-02-25
JP6923739B2 true JP6923739B2 (ja) 2021-08-25

Family

ID=67805699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502876A Active JP6923739B2 (ja) 2018-02-28 2019-01-29 航法装置、vslam補正方法、空間情報推定方法、vslam補正プログラム、および、空間情報推定プログラム

Country Status (5)

Country Link
US (1) US20200393574A1 (ja)
EP (1) EP3760974A4 (ja)
JP (1) JP6923739B2 (ja)
CN (1) CN111819418A (ja)
WO (1) WO2019167517A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7175252B2 (ja) * 2019-10-29 2022-11-18 ヤンマーパワーテクノロジー株式会社 船舶の着岸支援装置
CN113188509B (zh) * 2021-04-28 2023-10-24 上海商汤临港智能科技有限公司 一种测距方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070285B1 (en) * 2011-07-25 2015-06-30 UtopiaCompression Corporation Passive camera based cloud detection and avoidance for aircraft systems
US20150092048A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
US10324195B2 (en) * 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration

Also Published As

Publication number Publication date
CN111819418A (zh) 2020-10-23
US20200393574A1 (en) 2020-12-17
JPWO2019167517A1 (ja) 2021-02-25
WO2019167517A1 (ja) 2019-09-06
EP3760974A1 (en) 2021-01-06
EP3760974A4 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
US11940277B2 (en) Vision-aided inertial navigation system for ground vehicle localization
US8761439B1 (en) Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
CN105783922B (zh) 用于确定针对具有磁力计辅助的混合导航系统的航向的方法
US11333501B2 (en) Navigation device, method of generating navigation support information, and navigation support information generating program
WO2018026544A1 (en) Square-root multi-state constraint kalman filter for vision-aided inertial navigation system
JP6470314B2 (ja) 姿勢角算出装置、姿勢角算出方法、および姿勢角算出プログラム
CN110186461B (zh) 一种基于重力梯度信息测距的协同导航方法
WO2021049221A1 (ja) 船舶情報表示システム、船舶情報表示方法、画像生成装置、及びプログラム
JP6923739B2 (ja) 航法装置、vslam補正方法、空間情報推定方法、vslam補正プログラム、および、空間情報推定プログラム
CA2720437C (en) Systems and methods for determining heading
CN113720330B (zh) 一种亚角秒级的遥感卫星高精度姿态确定设计与实现方法
CN114136315A (zh) 一种基于单目视觉辅助惯性组合导航方法及系统
Zhang An approach of DVL-aided SDINS alignment for in-motion vessel
JP7190500B2 (ja) 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム
US20170030718A1 (en) Positioning system having a master-slave configuration
US11953610B2 (en) Device and method for calculating movement information
JP4343581B2 (ja) 移動体の姿勢検出装置
US11268814B2 (en) Movement information calculating device, movement information calculating method and movement information calculating program
CN114258372B (zh) 船舶信息显示系统、船舶信息显示方法、图像生成装置以及程序
Nakamura et al. Fusion of VSLAM/GNSS/INS for Augmented Reality Navigation in Ports
JP2014145613A (ja) 移動体角速度推定装置、移動体速度算出装置、移動体、移動体角速度推定方法、移動体速度算出方法、移動体角速度推定プログラム、および移動体速度算出プログラム
US11156721B2 (en) Oscillation observation device, oscillation observation method and oscillation observation program
JP2014145612A (ja) 動揺周期推定装置、移動体角速度算出装置、移動体速度算出装置、移動体、動揺周期推定方法、移動体角速度算出方法、移動体速度算出方法、動揺周期推定プログラム、移動体角速度算出プログラム、および移動体速度算出プログラム
US20200200539A1 (en) Course estimating device, method of estimating course, and course estimating program
CN117630965A (zh) 矿下车辆定位方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210729

R150 Certificate of patent or registration of utility model

Ref document number: 6923739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150