JPWO2020071117A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JPWO2020071117A1
JPWO2020071117A1 JP2020550271A JP2020550271A JPWO2020071117A1 JP WO2020071117 A1 JPWO2020071117 A1 JP WO2020071117A1 JP 2020550271 A JP2020550271 A JP 2020550271A JP 2020550271 A JP2020550271 A JP 2020550271A JP WO2020071117 A1 JPWO2020071117 A1 JP WO2020071117A1
Authority
JP
Japan
Prior art keywords
information
point cloud
absolute position
reference point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020550271A
Other languages
English (en)
Inventor
克巳 天野
克巳 天野
令司 松本
令司 松本
和紀 小山
和紀 小山
直人 乘松
直人 乘松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2020071117A1 publication Critical patent/JPWO2020071117A1/ja
Priority to JP2023097901A priority Critical patent/JP2023127588A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3852Data derived from aerial or satellite images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/393Trajectory determination or predictive tracking, e.g. Kalman filtering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

効率的に点群情報の絶対位置の補正をすることができる情報処理装置を提供する。サーバ装置(10)は、点群統合部(11)が、車両Vに搭載されたセンサ(1)により得られたセンサデータと、当該センサデータを取得した際の車両Vの絶対位置データと、に基づいて生成された点群データを取得し、ずれ量算出部(14)が、上空から地表面を俯瞰した航空写真データを取得する。そして、ずれ量算出部(14)が、設定された基準点P,Qに対応する航空写真データ上の絶対位置と、基準点P,Qに対応する点群データに含まれる点群の絶対位置と、のずれ量を算出し、軌跡補正部(15)が、ずれ量算出部(14)で算出したずれ量に基づいて、軌跡抽出部(12)が点群データから抽出した走行軌跡を補正し、軌跡補正部(15)の補正結果に基づいて点群データの点群の絶対位置を補正する。

Description

本発明は、移動体に搭載されたセンサにより得られたセンサ情報と、当該センサ情報を取得した際の移動体の絶対位置に関する情報と、に基づいて生成された点群情報に所定の処理を行う情報処理装置に関する。
近年、車両等の移動体にレーザースキャナやカメラといったセンサを搭載し、自身の周辺の情報を収集する移動体が開発されている。この種のセンサで取得された点群の情報は、例えば、車両の自動運転に用いられる高精度な地図の素材として利用されることがある。
ここで、上述したセンサで取得された点群は、その絶対位置の精度が良くない場合が多く、手動による方法などを用いて点群の位置調整といった補正を行っていた。そのため、補正に時間とコストがかかり効率が悪かった。
このような問題に対して、例えば、特許文献1には、同じ走行路を複数回走行し、各走行での点群の結果において位置が変化しない固定物を基準点とし、基準点が重ね合わさるように点群を伸縮する後処理を行うことで、三次元点群の座標位置データを高精度に算出することが開示されている。
特開2013−40886号公報
しかしながら、特許文献1に記載の方法では、高精度な点群を得ることが可能である一方で、主にGPS(Global Positioning System)を使用するため、周囲の建造物の影響でマルチパスが多い場合等、GPSの精度が落ちてしまう場合があり、改善の余地がある。
本発明が解決しようとする課題としては、効率的に点群情報の絶対位置の補正をすることが一例として挙げられる。
上記課題を解決するために、請求項1に記載の発明は、移動体に搭載されたセンサにより得られたセンサ情報と、当該センサ情報を取得した際の前記移動体の絶対位置に関する情報と、に基づいて生成された点群情報を取得する点群情報取得部と、上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得部と、設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出部と、前記算出部が算出したずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正部と、を備えることを特徴としている。
請求項7に記載の発明は、所定の処理を行う情報処理装置で実行される情報処理方法あって、移動体に搭載されたセンサにより得られたセンサ情報と、当該センサ情報を取得した際の前記移動体の絶対位置に関する情報と、に基づいて生成された点群情報を取得する点群情報取得工程と、上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得工程と、設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出工程と、前記算出工程で算出されたずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正工程と、を含むことを特徴としている。
請求項8に記載の発明は、請求項7に記載の情報処理方法をコンピュータにより実行させることを特徴としている。
請求項9に記載の発明は、請求項8に記載の情報処理プログラムを格納したことを特徴としている。
請求項10に記載の発明は、移動体に搭載されたセンサにより得られたセンサ情報を取得するセンサ情報取得部と、前記センサ情報を取得した際の前記移動体の絶対位置に関する情報を取得する絶対位置情報取得部と、前記センサ情報及び前記絶対位置に関する情報に基づいて点群情報を生成する点群情報生成部と、上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得部と、設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出部と、前記算出部が算出したずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正部と、を備えることを特徴としている。
請求項11に記載の発明は、所定の処理を行う情報処理装置で実行される情報処理方法あって、移動体に搭載されたセンサにより得られたセンサ情報を取得するセンサ情報取得工程と、前記センサ情報を取得した際の前記移動体の絶対位置に関する情報を取得する絶対位置情報取得工程と、前記センサ情報及び前記絶対位置に関する情報に基づいて点群情報を生成する点群情報生成工程と、上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得工程と、設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出工程と、前記算出工程で算出されたずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正工程と、を含むことを特徴としている。
請求項12に記載の発明は、請求項11に記載の情報処理方法をコンピュータにより実行させることを特徴としている。
請求項13に記載の発明は、請求項12に記載の情報処理プログラムを格納したことを特徴としている。
本発明の第1の実施例にかかる情報処理装置を備えたシステムの概略構成図である。 図1に示されたサーバ装置の機能構成図である。 図2に示されたサーバ装置における点群データの補正方法についての説明図である。 図2に示された軌跡補正部における走行軌跡の補正方法についての説明図である。 図2に示されたサーバ装置における情報処理方法のフローチャートである。 本発明の第2の実施例にかかるサーバ装置の機能構成図である。 図6に示されたずれ量算出部における動作の説明図である。 本発明の第3の実施例にかかるサーバ装置の機能構成図である。 新たな基準点についての説明図である。 本発明の第4の実施例にかかるサーバ装置の機能構成図である。 境界基準点についての説明図である。 図10に示されたサーバ装置における情報処理方法のフローチャートである。 本発明の第5の実施例にかかるサーバ装置の機能構成図である。 図13に示されたサーバ装置における情報処理方法のフローチャートである。
以下、本発明の一実施形態にかかる情報処理装置を説明する。本発明の一実施形態にかかる情報処理装置は、点群情報取得部が、移動体に搭載されたセンサにより得られたセンサ情報と、当該センサ情報を取得した際の移動体の絶対位置に関する情報と、に基づいて生成された点群情報を取得し、俯瞰情報取得部が、上空から地表面を俯瞰した俯瞰情報を取得する。そして、算出部が、設定された基準点に対応する俯瞰情報の絶対位置と、基準点に対応する点群情報に含まれる点群の絶対位置と、のずれ量を算出し、補正部が、算出部で算出したずれ量に基づいて点群情報に含まれる点群の絶対位置を補正する。このようにすることにより、俯瞰情報を基準として、基準点における絶対位置のずれ量の補正をすることができる。俯瞰情報としては既にある航空写真等を利用することができるため、高精度なデータを改めて取得する必要が無く、効率的に点群情報の絶対位置の補正をすることができる。
また、少なくとも基準点に対応する俯瞰情報の位置精度が、点群情報を生成する際に取得される絶対位置に関する情報によって示される絶対位置よりも高い位置精度を有していてもよい。このようにすることにより、俯瞰情報を基準として点群情報の絶対位置の補正をすることができる。
また、点群情報取得部は、絶対位置に関する情報としてセンサ情報をセンサが取得した際の移動体の移動軌跡を取得し、補正部は、算出部が算出したずれ量に基づいて移動軌跡を補正するようにしてもよい。移動軌跡を補正することにより、当該移動軌跡に基づいて算出される点群の絶対位置を補正することができる。
また、算出部は、設定された2つの基準点である第1基準点及び第2基準点と、当該第1基準点に対応する俯瞰情報の絶対位置及び当該第2基準点に対応する前記俯瞰情報の絶対位置と、第1、第2基準点にそれぞれ対応する点群情報に含まれる点群の絶対位置と、のずれ量を算出し、補正部は、算出部が算出したずれ量に基づいて、第1基準点及び第2基準点に挟まれた範囲の点群情報の位置を補正するようにしてもよい。このようにすることにより、2つの基準点のずれ量に基づいて2つの基準点間の点群の絶対位置の補正をすることができる。
また、補正部が補正した点群情報の絶対位置の精度を判定する判定部を更に備え、判定部が判定した絶対位置の精度が所定以下であった場合は、算出部は、第1基準点及び第2基準点の間に新たな基準点である第3基準点を追加し、当該第3基準点に対応する俯瞰情報の絶対位置と、当該第3基準点に対応する点群情報に含まれる点群の絶対位置と、のずれ量を算出し、補正部は、算出部が算出した第3基準点に対応する俯瞰情報の絶対位置と当該第3の基準点に対応する点群情報に含まれる点群の絶対位置とのずれ量に基づいて点群の絶対位置を補正するようにしてもよい。このようにすることにより、例えば第1基準点や第2基準点におけるずれ量が大きく補正しても十分な精度を確保できない場合であっても、より良い精度にすべく再補正をすることができる。
また、点群情報取得部が取得した点群情報を画像情報に変換する変換部を更に備え、俯瞰情報は画像情報であって、俯瞰情報取得部は、俯瞰情報における基準点を含む所定範囲の画像情報を取得し、算出部は、所定範囲の画像情報と点群情報から変換された画像情報との画像マッチング処理を行って、基準点に対応する俯瞰情報の絶対位置と、基準点に対応する点群情報に含まれる点群の絶対位置と、のずれ量を算出するようにしてもよい。このようにすることにより、基準点を含む範囲について周知の画像マッチング処理により基準点において横軸となるx方向、縦軸となるy方向(もしくは緯度、経度)のずれだけでなく回転角度のずれも算出することができる。
本発明の一実施形態にかかる情報処理方法は、点群情報取得工程で、移動体に搭載されたセンサにより得られたセンサ情報と、当該センサ情報を取得した際の移動体の絶対位置に関する情報と、に基づいて生成された点群情報を取得し、俯瞰情報取得工程で、上空から地表面を俯瞰した俯瞰情報を取得する。そして、算出工程で、設定された基準点に対応する俯瞰情報の絶対位置と、基準点に対応する点群情報に含まれる点群の絶対位置と、のずれ量を算出し、補正工程で、算出工程にて算出したずれ量に基づいて点群情報に含まれる点群の絶対位置を補正する。このようにすることにより、俯瞰情報を基準として、基準点における絶対位置のずれ量の補正をすることができる。俯瞰情報としては既にある航空写真等を利用することができるため、高精度なデータを改めて取得する必要が無く、効率的に点群情報の絶対位置の補正をすることができる。
また、本発明の一実施形態にかかる情報処理プログラムは、上述した情報処理方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて、俯瞰情報を基準として、基準点における絶対位置のずれ量の補正をすることができる。俯瞰情報としては既にある航空写真等を利用することができるため、高精度なデータを改めて取得する必要が無く、効率的に点群情報の絶対位置の補正をすることができる。
また、上述した情報処理プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
また、本発明の他の実施形態にかかる情報処理装置は、センサ情報取得部が、移動体に搭載されたセンサにより得られたセンサ情報を取得し、絶対位置情報取得部が、センサ情報を取得した際の移動体の絶対位置に関する情報を取得し、点群情報生成部が、センサ情報及び絶対位置に関する情報に基づいて点群情報を生成し、俯瞰情報取得部が、上空から地表面を俯瞰した俯瞰情報を取得する。そして、算出部が、設定された基準点に対応する俯瞰情報の絶対位置と、基準点に対応する点群情報に含まれる点群の絶対位置と、のずれ量を算出し、補正部が、算出部が算出したずれ量に基づいて点群情報に含まれる点群の絶対位置を補正する。このようにすることにより、俯瞰情報を基準として、基準点における絶対位置のずれ量の補正をすることができる。俯瞰情報としては既にある航空写真等を利用することができるため、高精度なデータを改めて取得する必要が無く、効率的に点群情報の絶対位置の補正をすることができる。また、点群情報を生成するための構成が一体でなくてもよく、例えば車両等の移動体とサーバ装置等に分かれていてもよい。
また、本発明の他の実施形態にかかる情報処理方法は、センサ情報取得工程で、移動体に搭載されたセンサにより得られたセンサ情報を取得し、絶対位置情報取得工程で、センサ情報を取得した際の移動体の絶対位置に関する情報を取得し、点群情報生成工程で、センサ情報及び絶対位置に関する情報に基づいて点群情報を生成し、俯瞰情報取得工程で、上空から地表面を俯瞰した俯瞰情報を取得する。そして、算出工程で、設定された基準点に対応する俯瞰情報の絶対位置と、基準点に対応する点群情報に含まれる点群の絶対位置と、のずれ量を算出し、補正工程で、算出工程にて算出したずれ量に基づいて点群情報に含まれる点群の絶対位置を補正する。このようにすることにより、俯瞰情報を基準として、基準点における絶対位置のずれ量の補正をすることができる。俯瞰情報としては既にある航空写真等を利用することができるため、高精度なデータを改めて取得する必要が無く、効率的に点群情報の絶対位置の補正をすることができる。また、点群情報を生成するための構成が一体でなくてもよく、例えば車両等の移動体とサーバ装置等に分かれていてもよい。
また、上述した情報処理方法を、コンピュータにより実行させている。このようにすることにより、コンピュータを用いて、俯瞰情報を基準として、基準点における絶対位置のずれ量の補正をすることができる。俯瞰情報としては既にある航空写真等を利用することができるため、高精度なデータを改めて取得する必要が無く、効率的に点群情報の絶対位置の補正をすることができる。また、点群情報を生成するための構成が一体でなくてもよく、例えば車両等の移動体とサーバ装置等に分かれていてもよい。
また、上述した情報処理プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
本発明の第1の実施例にかかる情報処理装置を図1〜図8を参照して説明する。本実施例にかかる情報処理装置は、図1ではサーバ装置10として構成されている。サーバ装置10は、移動体としての車両Vに搭載されているセンサ1で得られたデータ(情報)をインターネット等のネットワークNを介して取得し、そのデータに含まれる点群の位置情報(絶対位置)を後述する航空写真に基づいて補正する。
センサ1には、ライダ(LiDAR;Light Detection and Ranging)やGPS受信機等が含まれる。なお、センサ1は、車両の前方等の周囲を撮像する車載カメラを含めてもよい。
ライダは、電磁波としてレーザ光を出射することで、外界に存在する物体までの距離を離散的に測定する。所定の検知領域において出力方向を変えながらパルス状のレーザを出力し、そのレーザの反射波を受信してセンサ情報を生成する。ライダは、検知領域内に複数パルスのレーザを出力し、この複数パルスのレーザの反射波に基づいて点群を生成する。この時点における点群を構成する各点には、レーザの出力方向と、当該レーザを反射した対象物までの距離と、反射波の強度(反射強度)と、を示す情報がセンサデータとして含まれている。
GPS受信機は、公知であるように複数のGPS衛星から送信される電波を定期的に受信して、現在の位置情報(緯度経度)及び時刻を検出する。即ち、この現在の位置情報が車両Vの絶対位置となる。なお、絶対位置の検出には、GPS受信機に限らず、IMU(慣性計測装置)等の他のセンサ等を利用してもよい。そして、この絶対位置のデータと上述したセンサデータとは関連付けられてサーバ装置10へ送信される。
図2にサーバ装置10の機能構成を示す。サーバ装置10は、点群統合部11と、軌跡抽出部12と、基準点取得部13と、ずれ量算出部14と、軌跡補正部15と、点群補正部16と、を備えている。これらの機能は、サーバ装置10が有するCPUにおいて、サーバ装置10が有するハードディスク等の記憶装置に記憶されているプログラム(情報処理プログラム)を実行することにより機能する。
また、サーバ装置10は、センサデータ21と、絶対位置データ22と、航空写真データ23と、補正後点群データ24と、が記憶されている。これらのデータは、サーバ装置10が有するハードディスク等の記憶装置に記憶されている。センサデータ21と、絶対位置データ22と、はセンサ1から送信されたデータである。即ち、センサデータ21はセンサ情報、絶対位置データは絶対位置に関する情報となる。このセンサデータ21と絶対位置データ22と、はセンサデータが得られた絶対位置における絶対位置データが関連付けられている。なお、これらのデータはセンサ1から直接取得するに限らず、サーバ装置10外の他のサーバ装置等から取得するようにしてもよい。
航空写真データ23は、航空機等の飛翔体からカメラにより地表面を俯瞰した状態で撮影した写真データである。なお、航空写真に限らず、衛星写真や航空ライダ(航空機等の飛翔体にライダを搭載して地表面に向けてレーザ光を照射する)により取得された点群のデータであってもよい。即ち、航空写真データ23が俯瞰情報となる。
補正後点群データ24は、後述する点群補正部16で絶対位置が補正された点群データ(点群の位置が絶対位置となっているデータ)である。即ち、点群データが点群情報となる。
点群統合部11は、まず、センサデータ21と絶対位置データ22に基づいてライダで得られた点群の絶対位置を求め、点群の絶対位置からなる点群データを生成して取得する。即ち、点群統合部11は、点群データを取得する点群情報取得部として機能する。また、点群統合部11は、車両Vが同じ経路を複数回走行することにより得られた複数回分の点群データを統合する。統合の方法は、例えば絶対位置から得られる車両Vの走行軌跡およびその点群について、複数回分の軌跡および点群から代表的な一つを選択する、或いは複数回分の軌跡および点群を平均化する、などの方法が挙げられる。複数回分を統合する際には、統合する点群間で共通に存在する位置で例えばICP(Iterative Closest Point)といった手法を用い、点群として不整合がない状態にする。なお、本実施例は、複数回走行せずに1回の走行で得られた点群データに基づいて以下に説明する処理を行ってもよい。1回の走行で得られた点群データの場合は、上述した統合処理は省略することができる。
軌跡抽出部12は、点群統合部11が取得した絶対位置データに基づいて車両Vの走行軌跡(移動軌跡)を抽出(生成)する。即ち、軌跡抽出部12は、絶対位置に関する情報として走行軌跡を抽出(取得)する点群情報取得部の一部として機能する。
基準点取得部13は、後述する基準点を示すデータを取得する。なお、基準点を示すデータは、外部から取得してもよいし、航空写真データ23に基づいて基準点取得部13自身で生成することで取得してもよい。或いはオペレータ等が航空写真等を参照して手動で設定してもよい。基準点とは、詳細は後述するが、ずれ量算出部14で点群データと航空写真データ23とのずれ量を算出する際に基準とする位置であり、例えば交差点の中心や交差点の角(交差する道路の幅方向の端部を示す線同士が交差する点)などの地図上の特徴地点に設定することができる。
ずれ量算出部14は、点群統合部11で統合された点群データと、基準点取得部13で取得された基準点を示すデータと、航空写真データ23と、に基づいて基準点における航空写真データ23と、点群データとのずれ量を算出する。ずれ量算出についての詳細は後述する。ずれ量算出部14は、俯瞰情報を取得する俯瞰情報取得部として機能する。
軌跡補正部15は、ずれ量算出部14で算出されたずれ量に基づいて軌跡抽出部12で抽出された走行軌跡の補正をする。
点群補正部16は、軌跡補正部15で補正された走行軌跡に基づいて点群統合部11で生成された点群データの絶対位置を補正して補正後点群データ24を生成する。なお、補正後点群データ24には、軌跡補正部15で補正された走行軌跡を含めてもよい。
次に、上述した構成のサーバ装置10における点群データの補正方法について図3を参照して説明する。図3の左側は、車両Vが走行したある経路において取得されたセンサデータ21(点群)と、絶対位置データ22に基づく車両Vの走行軌跡(図3の破線)と、を示した図である。図3の右側は図3左側の範囲に対応する航空写真である。
ここで、点群データの有する絶対位置は、GPSにおけるマルチパス等の影響により位置の測定精度が低下する場合がある。一方、基準点に対応する航空写真の位置精度は、GPSの測定精度よりも高いものもあり、本実施例では、そのような点群データの絶対位置よりも高い位置精度を有する航空写真を用いる。このような航空写真データの例としては国土地理院が提供する地理院地図(空中写真)がある。なお、航空写真の位置精度は、少なくとも基準点における位置精度がセンサ1で取得された絶対位置の位置精度よりも高ければよい。
また、図中のP及びQは基準点である。この基準点PQの絶対位置(緯度経度)は、図3の左側では、点群データに含まれる基準点に対応する点群の絶対位置により求めることができる。図3の右側(航空写真)は、例えばGeoTIFF等の位置情報付き画像であって、写真の四隅の緯度経度が含まれている画像である。このような位置情報付きの画像において、精度(解像度)も予め判明しているものとすれば、これらの情報から基準点P,Qの絶対位置(緯度経度)を求めることができる。
そして、ずれ量算出部14は、それぞれ算出された基準点P、Qにおける絶対位置の差(ずれ量)を求める。即ち、ずれ量算出部14は、設定された2つの基準点である基準点P(第1基準点)及び基準点Q(第2基準点)と、当該基準点P(第1基準点)に対応する航空写真データ23(俯瞰情報)の絶対位置及び当該基準点Q(第2基準点)に対応する航空写真データ23(俯瞰情報)の絶対位置と、基準点P(第1基準点)及び基準点Q(第2基準点)にそれぞれ対応する点群データ(点群情報)に含まれる点群の絶対位置と、のずれ量を算出する算出部として機能する。
そして、軌跡補正部15は、そのずれ量に基づいて基準点PQ間の走行軌跡を補正し、点群補正部16は、その走行軌跡の補正結果に基づいて、センサ情報(点群)の絶対位置を補正する。即ち、軌跡補正部15及び点群補正部16は、ずれ量算出部14(算出部)が算出したずれ量に基づいて、基準点P(第1基準点)及び基準点Q(第2基準点)に挟まれた範囲の点群情報の位置を補正する補正部として機能する。
基準点に基づく走行軌跡の補正について図4を参照して説明する。センサデータ21及び絶対位置データ22から取得した基準点PQの絶対位置について(図4(a))、航空写真データ23から算出された基準点P’Q’の絶対位置とのずれ量を算出する(図4(b))。そして、基準点PQを基準点P’Q’にそれぞれずらしたものとして基準点PQ間の走行軌跡を例えば線形補間や非線形補間等により補正する(図4(c))。図4(c)では、実線が補正後の走行軌跡、破線が補正前の走行軌跡である。
次に、上述したサーバ装置10の動作(情報処理方法)について図5のフローチャートを参照して説明する。まず、センサデータ21と絶対位置データ22から点群統合部11で複数回走行分の点群データの統合を行い(ステップS11)、次に、ずれ量算出部14で基準点における絶対位置のずれ量を算出し(ステップS12)、次に、軌跡補正部15で基準点間の走行軌跡の補正を行って(ステップS13)、そして、点群補正部16で点群の補正を行う(ステップS14)。
即ち、ステップS11が点群情報取得工程、ステップS12が算出工程、ステップS13、S14が補正工程として機能する。
なお、基準点は、補正のための拘束条件の観点から、上述したように2つ設定することが好ましいが、1つであってもよい。1つの場合は、1つの基準点におけるずれ量を補正量として走行軌跡の補正をすればよい。即ち、ずれ量算出部14は、設定された基準点に対応する航空写真データ23(俯瞰情報)の絶対位置と、基準点に対応する点群データ(点群情報)に含まれる点群の絶対位置と、のずれ量を算出すればよい。そして、軌跡補正部15及び点群補正部16は、ずれ量算出部14(算出部)が算出したずれ量に基づいて点群データ(点群情報)に含まれる点群の絶対位置を補正すればよい。
また、基準点は、当該基準点におけるずれ量の算出に関与した点群の補正にのみ用いることが好ましい。例えば図3の場合、基準点Pにおけるずれ量算出に用いた点群と、基準点Qにおけるずれ量算出に用いた点群と、がそれぞれ異なる車両により取得された場合は、基準点PQ間の補正(線形補間等)は行わない。これは、センサ情報が異なる車両により取得された場合は、ライダ等のセンサ自体の性能やセンサの取付条件等が異なるため、データ間で誤差が生じている可能性があるためである。この場合は、上述した1つの基準点による補正または、同一の車両により得られた点群データに含まれる他の基準点に基づいて補正を行う。
本実施例によれば、サーバ装置10は、点群統合部11が、車両Vに搭載されたセンサ1により得られたセンサデータと、当該センサデータを取得した際の車両Vの絶対位置データと、に基づいて生成された点群データを取得し、ずれ量算出部14が、上空から地表面を俯瞰した航空写真データを取得する。そして、ずれ量算出部14が、設定された基準点PQに対応する航空写真データ上の絶対位置と、基準点PQに対応する点群データに含まれる点群の絶対位置と、のずれ量を算出し、軌跡補正部15が、ずれ量算出部14で算出したずれ量に基づいて、軌跡抽出部12が点群データから抽出した走行軌跡を補正し、軌跡補正部15の補正結果に基づいて点群データの点群の絶対位置を補正する。このようにすることにより、航空写真を基準として、基準点PQにおける絶対位置のずれ量の補正をすることができる。このように既にある航空写真等を利用することができるため、高精度なデータを改めて取得する必要が無く、効率的に点群情報の絶対位置の補正をすることができる。
また、軌跡補正部15が、ずれ量算出部14が算出したずれ量に基づいて走行軌跡を補正しているので、当該走行軌跡に基づいて算出される点群の絶対位置を補正することができる。
また、ずれ量算出部14は、2つの基準点PQにそれぞれ対応する航空写真上の絶対位置と、2つの基準点PQにそれぞれ対応する点群データに含まれる点群の絶対位置と、のずれ量を算出し、軌跡補正部15が、ずれ量算出部14で算出したずれ量に基づいて、軌跡抽出部12が点群データから抽出した走行軌跡を補正し、軌跡補正部15の補正結果に基づいて点群データの点群の絶対位置を補正しているので、2つの基準点のずれ量に基づいて2つの基準点間の点群の絶対位置の補正をすることができる。
また、少なくとも基準点に対応する航空写真の位置精度が、点群データを生成する際に取得される絶対位置よりも高い位置精度を有している。このようにすることにより、航空写真を基準として点群情報の絶対位置の補正をすることができる。
次に、本発明の第2の実施例にかかる情報処理装置を図6及び図7を参照して説明する。なお、前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。
図6に本実施例にかかる情報処理装置としてのサーバ装置10Aの機能構成を示す。図6に示したサーバ装置10Aは、点群加工部17が追加され、ずれ量算出部14がずれ量算出部14Aに変更されている。
点群加工部17は、点群統合部11で生成された点群データを上空から俯瞰した状態で見た二次元の画像データに変換する。即ち、点群加工部17は、点群データ(点群情報)を画像情報に変換する変換部として機能する。
ずれ量算出部14Aは、航空写真データ23及び点群加工部17で変換された二次元画像データについて例えばエッジ抽出及びぼかし処理等の画像調整を行った後、周知の画像テンプレートマッチング処理を行う。画像テンプレートマッチングにより一致した範囲の例えば中央位置を基準点とし、その基準点における航空写真データ23と点群データ(二次元画像データ)とのずれ量を算出する。ずれ量算出部14Aの処理について図7を参照して説明する。
図7の左端は航空写真である。この航空写真は、第1の実施例と同様に四隅の絶対位置と解像度は予め判明している。即ち、俯瞰情報における基準点を含む所定範囲の画像情報である。図7の左から2番目は航空写真についてエッジ抽出とぼかし処理を行った画像である。
図7の右端は点群データを二次元画像データに変換したものである。この例では地表面にカテゴライズされた点群を画像化しているが、道路地表面から一定の高さまでの点群を抜き出して画像化する、等の別の手法を用いてもよい。図7の右から2番目は右端の二次元画像データについてエッジ抽出とぼかし処理を行った画像である。
そして、航空写真についてエッジ抽出とぼかし処理を行った画像と二次元画像データについてエッジ抽出とぼかし処理を行った画像について測地系を統一し、縮尺率を合わせて、例えば航空写真側をテンプレート画像としてテンプレートマッチングによる比較を行う。そして、一致した画像の範囲に定めた基準点におけるずれ量(縦横方向のずれ、回転角度等)を求める。
即ち、ずれ量算出部14A(算出部)は、航空写真データ23(所定範囲の画像情報)と点群データ(点群情報)から変換された画像情報とのテンプレートマッチング(画像マッチング処理)を行って基準点に対応する航空写真データ23(俯瞰情報)の絶対位置と、基準点に対応する点群データ(点群情報)に含まれる点群の絶対位置と、のずれ量を算出している。
このような画像テンプレートマッチング処理を2か所で行う。つまり、上述した画像テンプレートマッチング処理は例えば図3の基準点Qにおけるずれ量の算出に相当するものとすれば、基準点Pに相当する航空写真と点群データを二次元画像データに変換した画像についても画像テンプレートマッチング処理を行うことで、第1の実施例で説明した基準点PQ間の走行軌跡の補正と同様の方法により補正をすることができる。
本実施例によれば、点群統合部11で生成された点群データを二次元画像に変換する点群加工部17を備えている。また、ずれ量算出部14Aは、航空写真データ23における基準点を含む所定範囲の画像を取得し、その所定範囲の画像と点群データから変換された二次元画像との画像マッチング処理を行って基準点に対応する航空写真の絶対位置と、基準点に対応する点群データに含まれる点群の絶対位置と、のずれ量を算出するようにしている。このようにすることにより、基準点を含む範囲について周知の画像マッチング処理により基準点における縦横方向(緯度経度)のずれだけでなく回転角度のずれも算出することができる。
次に、本発明の第3の実施例にかかる情報処理装置を図8及び図9を参照して説明する。なお、前述した第1、第2の実施例と同一部分には、同一符号を付して説明を省略する。
図8に本実施例にかかる情報処理装置としてのサーバ装置10Bの機能構成を示す。図8に示したサーバ装置10Bは、図6に対して誤差評価部18が追加され、基準点取得部13が基準点取得部13Aに変更されている。図8の構成は、図6の構成をベースにしているが、図2の構成をベースにしてもよい。
誤差評価部18は、軌跡補正部15で補正した走行軌跡の誤差(精度)を評価(判定)する。この評価の内容としては、例えば、補正後の走行軌跡が建物上にあるなど絶対的な位置が正しくない場合や、補正前の走行軌跡と補正後の走行軌跡とのずれが予め定めた閾値以上である場合等が挙げられる。これらの内容を本実施例では、絶対位置の精度が所定以下となる状態としている。即ち、誤差評価部18は、軌跡補正部15及び点群補正部16(補正部)が補正した点群データ(点群情報)の絶対位置の精度を判定する判定部として機能する。
そして、評価の結果、絶対的な位置の異常がある場合や誤差が予め定めた閾値よりも大きい場合、つまり絶対位置の精度が所定以下である場合は、基準点取得部13Aに対して、後述する新たな基準点の取得の指示をする。即ち、第3基準点を追加する。また、誤差が閾値よりも小さい場合は、新たな基準点の追加をせずに、第1、第2の実施例と同様に、点群補正部16において、補正後の走行軌跡に基づいて点群の絶対位置の補正を行う。
基準点取得部13Aは、第1の実施例で説明した基準点の取得に加えて、誤差評価部18の指示に応じて新たな基準点を取得する。新たな基準点について図9を参照して説明する。
図9の上段は、基準点Pと基準点Q及びこれらの基準点PQ間を結ぶ走行軌跡を示している。この場合において、軌跡補正部15により補正された走行軌跡が、誤差評価部18での評価により、例えば誤差が予め定めた閾値よりも大きい場合は、基準点PQ間の走行軌跡上に新たな基準点Rを設定する。この基準点Rが第3基準点となる。そして、ずれ量算出部14Aは、基準点Rに対応する航空写真の絶対位置と、当該基準点Rに対応する点群データに含まれる点群の絶対位置と、のずれ量を算出する。
そして、算出された基準点Rにおけるずれ量と、既に算出されている基準点Pにおけるずれ量に基づいて基準点PR間の走行軌跡について第1の実施例と同様の方法で軌跡補正部15により補正をし、基準点RQ間の走行軌跡について第1の実施例と同様の方法で軌跡補正部15により補正をする。そして、再度補正された走行軌跡について誤差の評価をし、閾値以下になるまで再帰的に新たな基準点を設定する(例えばPR間に新たな基準点を設定する等)。
なお、新たな基準点は補正後の走行軌跡ではなく補正前の走行軌跡に設定する。また、新たな基準点の設定位置としては、2つの基準点の中点、カーブや曲がり角(地形的な変曲点)、基準点の信頼度に応じた重みが反映された位置等が挙げられる。
本実施例によれば、軌跡補正部15が補正した走行軌跡の誤差を評価する誤差評価部18を更に備え、誤差評価部が判定した走行軌跡の誤差が閾値よりも大きい場合は、基準点取得部13Aは、例えば基準点PQ間に新たな基準点である基準点Rを追加し、ずれ量算出部14Aは、基準点Rに対応する航空写真の絶対位置と、当該基準点Rに対応する点群データに含まれる点群の絶対位置と、のずれ量を算出する。そして、軌跡補正部15は、ずれ量算出部14Aが算出した基準点Rにおけるずれ量と基準点Pにおけるずれ量とに基づいて基準点PR間の軌跡を補正している。このようにすることにより、例えば基準点PQにおけるずれ量が大きく補正しても十分な精度を確保できない場合であっても、より良い精度にすべく再補正をすることができる。
なお、上述した第1〜第3の実施例では、点群情報取得部が、センサ情報と絶対位置に関する情報を取得して点群情報を生成するような構成を示したが、点群情報を取得するブロック、絶対位置に関する情報を取得するブロック、点群情報を生成するブロックの3つのブロックに分けてもよい。
次に、本発明の第4の実施例にかかる情報処理装置を図10〜図12を参照して説明する。なお、前述した第1〜第3の実施例と同一部分には、同一符号を付して説明を省略する。
本実施例は、第1〜第3の実施例の方法で補正された点群が例えば道路工事等による路面状況等の変化によって精度が悪化した場合による更新や、時期による定期的な更新を行う場合の実施例である。
図10に本実施例にかかる情報処理装置としてのサーバ装置10Cの機能構成を示す。サーバ装置10Cは、データ取得部31と、誤差悪化判定部32と、境界基準点生成部33と、点群マッチング部34と、軌跡補正部35と、点群補正部36と、を備えている。これらの機能は、第1〜第3の実施例と同様に、サーバ装置10Cが有するCPUにおいて、サーバ装置10Cが有するハードディスク等の記憶装置に記憶されているプログラム(情報処理プログラム)を実行することにより機能する。
また、サーバ装置10Cは、補正後点群データ24と、誤差DB41と、更新後点群データ42と、が記憶されている。第1点群情報としての補正後点群データ24は、第1の実施例で説明した方法により補正された点群データである(図2参照)。また、補正後点群データ24には、当該データ生成時に使用した基準点に関する情報を有する。基準点に関する情報とは、基準点の絶対位置に限らず、基準点を示す地図上の特徴地点(交差点の角等)を示す情報であってもよい。
誤差DB41は、補正後点群データ24における現在の精度が所定のエリア毎に格納されているデータベースである。なお、全てのエリアで同じ精度の航空写真データを用いて補正している場合は、データベースではなく単なる精度情報としてもよい。更新後点群データ42は、後述する点群補正部36で絶対位置が補正(更新)された点群データである。
データ取得部31は、例えば車両Vや他の車両或いは他のサーバ装置等から新たなセンサデータ及び絶対位置データを取得する。そして、点群統合部11と同様にセンサデータと絶対位置データに基づいて第2点群情報としての新たな点群データを生成する。即ち、データ取得部31は、第1点群情報よりも新たな点群情報である第2点群情報を取得する第2取得部として機能する。
なお、データ取得部31が取得するセンサデータ等は、所定の範囲について取得できればよいので、車両に限定されず例えば路側帯に設置されたライダ等から取得されたデータであってもよい。
誤差悪化判定部32は、補正後点群データ24と、データ取得部31で取得された点群データと、誤差DB41と、に基づいて補正後点群データ24の誤差(精度)が悪化しているか否かを判断する。即ち、誤差悪化判定部32は、第1点群情報を取得する第1取得部として機能する。
また、誤差悪化判定部32は、誤差が悪化している場合は、境界基準点生成部33に後述する境界基準点の生成を指示する。誤差悪化の判定方法としては、例えば、新たな点群データが示す特定地点の絶対位置が、補正後点群データ24の同じ地点の絶対位置に誤差DB41に含まれる当該位置の誤差を考慮した範囲外となっている場合は誤差が悪化したと判断する。具体的には、例えばある地点の補正後点群データ24の絶対位置が(X,Y)で、誤差DB41の当該位置の誤差が20cmであった場合、新たな点群データの同じ地点の絶対位置が(X±20cm,Y±20cm)を超える場合は誤差が悪化したと判断する。また、誤差悪化の判断はメートル法以外(緯度経度差など)で行なっても構わない。即ち、誤差悪化判定部32は、第1点群情報と第2点群情報との比較結果に基づいて更新をする更新部の一部として機能する。
境界基準点生成部33は、誤差悪化判定部32において誤差が悪化している判断された場合に、新たな点群データの示す領域(更新対象領域)と既存の点群データ(補正後点群データ24)との境界部分に境界基準点を生成する。境界基準点について図11を参照して説明する。
図11の上段は、基準点PQ間に点群データの精度が悪化、つまり誤差が悪化した領域が発生したことを示している。図11の中段は、新たな点群データの示す領域(更新対象領域)と既存の点群データ(既存の走行軌跡)との境界部分に境界基準点S1、S2を設定(生成)したものである。この境界基準点は、第1〜第3の実施例で説明した航空写真データを用いて境界領域の任意の地点に設定すればよい。なお、境界基準点S1、S2間は、新たな点群データ(新たな走行軌跡)である。つまり、境界基準点S1、S2間には、新たな点群データがそのまま挿入される。
点群マッチング部34は、境界基準点S1、S2を含む既存の点群データと新たな点群データとの境界部分において、既存の点群データと新たな点群データとの点群のマッチングを行う。点群のマッチングには、例えばICPを用いて同じ位置の点同士を点レベルで一致させる。
軌跡補正部35は、点群マッチング部34でマッチング処理が行われた境界基準点S1と基準点P間で走行軌跡の補正を行い、同様に境界基準点S2と基準点Q間で走行軌跡の補正を行う(図11下段の破線部分)。即ち、更新対象領域に隣接する領域の点群の絶対位置を補正している。本実施例においては、新たな点群データにより境界基準点S1の絶対位置が既存の点群データと新たな点群データとの間でずれるため、そのずれ量に基づいて第1の実施例と同様に走行軌跡の補正を行う。
点群補正部36は、軌跡補正部35で補正された走行軌跡に基づいて既存の点群データの絶対位置を補正して更新後点群データ42を生成する。なお、更新後点群データ42においても、軌跡補正部35で補正された走行軌跡を含めてもよい。
以上の説明から明らかなように、新たな基準点として、基準点P(第1基準点)側の境界に基準点S1(第3基準点)を設定し、基準点Q(第2基準点)側の境界に基準点S2(第4基準点)を設定し、境界基準点生成部33、点群マッチング部34、軌跡補正部35、点群補正部36は、基準点P(第1基準点)と基準点S1(第3基準点)との間の点群の絶対位置と、基準点Q(第2基準点)と基準点S2(第4基準点)との間の点群の絶対位置と、の補正をする更新部として機能している。
次に、上述したサーバ装置10Cの動作(情報処理方法)について図12のフローチャートを参照して説明する。まず、データ取得部31で新たな点群データを取得し(ステップS21)、誤差悪化判定部32で補正後点群データ24とデータ取得部31で取得された点群データと誤差DB41とに基づいて補正後点群データ24の誤差が悪化しているか否かを判断する(ステップS22)。判断した結果誤差が悪化している場合は(ステップS22がYESの場合)、境界基準点生成部33で境界基準点を生成する(ステップS23)。一方、誤差が悪化していない場合(ステップS22がNOの場合)はステップS21に戻る。
次に、境界基準点を生成した後は、点群マッチング部34で既存の点群データと新たな点群データとの点群のマッチングを行い(ステップS24)、軌跡補正部35で点群マッチング部34でマッチング処理が行われた境界基準点S1と基準点Pとの間及び境界基準点S2と基準点Qとの間で走行軌跡の補正を行う(ステップS25)。そして、点群補正部36で点群マッチング部34でマッチング処理が行われた境界基準点S1と、基準点P間で走行軌跡の補正を行い、同様に境界基準点S2と基準点Q間で走行軌跡の補正を行う(ステップS26)。
即ち、ステップS21が第2取得工程、ステップS22が第1取得工程、ステップS23〜S26が更新工程として機能する。
なお、図11の説明では、点群精度が悪化した部分のみを新たな点群データで更新しているが、新たな点群データとして基準点PQ間のデータが取得されている場合であれば、基準点PQ間を新たな点群データで置き換えて更新してもよい。
また、境界基準点S1、S2間についても、第1の実施例のように、航空写真データに基づいて走行軌跡や点群の補正をしてもよい。
本実施例によれば、サーバ装置10Cは、誤差悪化判定部32が、少なくとも第1基準点と第2基準点に関する情報を含む既存の点群データを取得し、データ取得部31が、新たな点群情報を取得する。そして、誤差悪化判定部32で誤差の悪化を判定し、境界基準点生成部で更新対象領域の境界に境界基準点を生成し、点群マッチング部34で境界基準点における既存の点群と新たな点群とのマッチングを行う。そして、軌跡補正部35で境界基準点と既存の基準点との間の走行軌跡の補正を行い、点群補正部36で走行軌跡の補正に基づいて点群の補正を行う。このようにすることにより、基準点を基準として点群の更新をすることができる。そのため、全点群を一括で交換するといったような広範囲な更新をすることなく、必要な領域のみの更新をすることが可能となる。
また、誤差悪化判定部32は、既存の点群データと新たな点群データとを比較した結果、誤差が悪化したと判断した場合に新たな点群データによる更新をしている。このようにすることにより、既存の点群データと新たな点群データとの差異が大きいことを検出して更新することができる。
また、更新部は、2つの基準点PQ間に含まれる更新対象領域の境界に境界基準点S1、S2を設定し、基準点PQと境界基準点S1、S2に基づいて基準点Pと境界基準点S1との間の点群の走行軌跡(点群の絶対位置)や基準点Qと境界基準点S2との間の点群の走行軌跡(点群の絶対位置)を補正している。このようにすることにより、更新対象領域の更新により影響を受ける隣接領域の絶対位置を補正することができる。
また、境界基準点生成部は、更新対象領域に新たな点群データを挿入している。このようにすることにより、更新対象領域に新たな点群情報を挿入して更新することができる。
次に、本発明の第5の実施例にかかる情報処理装置を図13及び図14を参照して説明する。なお、前述した第1〜第4の実施例と同一部分には、同一符号を付して説明を省略する。
図13に本実施例にかかる情報処理装置としてのサーバ装置10Dの機能構成を示す。図13に示したサーバ装置10Dは、図10の誤差悪化判定部32が更新時期判定部37に変更され、誤差DB41が省略されている。
本実施例では、更新のタイミングがデータ取得部が取得した新たな点群データにより誤差(精度)が悪化したことによるものではなく、例えば1か月毎や季節毎等の所定の時期により行われるものである。更新時期判定部37は、このような所定の時期(更新時期)か否かを判定して、更新時期と判断された場合は、境界基準点生成部33等による更新処理を行わせる。即ち、予め定められた時期に基づいて更新をする。境界基準点生成部33以降の処理は第4の実施例と同様である。
図14は、本実施例にかかるサーバ装置10Dの動作(情報処理方法)のフローチャートである。図14において、ステップS31は図12のステップS21、ステップS33は図12のステップS23、ステップS34は図12のステップS24、ステップS35は図12のステップS25、ステップS36は図12のステップS26と同様である。
ステップS32は、更新時期判定部37が更新時期か否かを判定し、更新時期である場合(YESの場合)はステップS33に進み、更新時期でない場合(NOの場合)はステップS31に戻る。
本実施例によれば、更新時期判定部37は、予め定められた更新時期に基づいて点群データの更新をするので、特定の時期や一定の間隔で更新をすることができる。
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の情報処理装置を具備する限り、勿論、本発明の範疇に含まれるものである。
10、10A、10B、10C、10D サーバ装置(情報処理装置)
11 点群統合部(点群情報取得部)
12 軌跡抽出部
13 基準点取得部
14 ずれ量算出部(俯瞰情報取得部、ずれ量算出部)
15 軌跡補正部(補正部)
16 点群補正部(補正部)
17 点群加工部(変換部)
18 誤差評価部(判定部)
21 センサデータ(センサ情報)
22 絶対位置データ(絶対位置に関する情報)
23 航空写真データ(俯瞰情報)
24 補正後点群データ
31 データ取得部(第2取得部)
32 誤差悪化判定部(第1取得部)
33 境界基準点生成部(更新部)
34 点群マッチング部(更新部)
35 軌跡補正部(更新部)
36 点群補正部(更新部)
37 更新時期判定部(更新部)
41 誤差DB
42 更新後点群データ
P 基準点(第1基準点)
Q 基準点(第2基準点)
R 基準点(第3基準点)
S1 境界基準点(第3基準点)
S2 境界基準点(第4基準点)
V 車両(移動体)

Claims (13)

  1. 移動体に搭載されたセンサにより得られたセンサ情報と、当該センサ情報を取得した際の前記移動体の絶対位置に関する情報と、に基づいて生成された点群情報を取得する点群情報取得部と、
    上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得部と、
    設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出部と、
    前記算出部が算出したずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正部と、
    を備えることを特徴とする情報処理装置。
  2. 少なくとも前記基準点に対応する前記俯瞰情報の位置精度が前記絶対位置に関する情報によって示される絶対位置よりも高い位置精度を有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記点群情報取得部は、前記絶対位置に関する情報として前記センサ情報を前記センサが取得した際の前記移動体の移動軌跡を取得し、
    前記補正部は、前記算出部が算出したずれ量に基づいて前記移動軌跡を補正する、
    ことを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記算出部は、設定された2つの前記基準点である第1基準点及び第2基準点と、当該第1基準点に対応する前記俯瞰情報の絶対位置及び当該第2基準点に対応する前記俯瞰情報の絶対位置と、前記第1基準点及び前記第2基準点にそれぞれ対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出し、
    前記補正部は、前記算出部が算出したずれ量に基づいて、前記第1基準点及び前記第2基準点に挟まれた範囲の前記点群情報の位置を補正することを特徴とする請求項1から3のうちいずれか一項に記載の情報処理装置。
  5. 前記補正部が補正した前記点群情報の絶対位置の精度を判定する判定部を更に備え、
    前記判定部が判定した前記絶対位置の精度が所定以下であった場合は、前記算出部は、前記第1基準点及び前記第2基準点の間に新たな基準点である第3基準点を追加し、当該第3基準点に対応する前記俯瞰情報の絶対位置と、当該第3基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出し、
    前記補正部は、算出部が算出した前記第3基準点と当該第3基準点に対応する前記点群情報に含まれる点群の絶対位置とのずれ量に基づいて前記点群の絶対位置を補正することを特徴とする請求項4に記載の情報処理装置。
  6. 前記点群情報取得部が取得した前記点群情報を画像情報に変換する変換部を更に備え、
    前記俯瞰情報は画像情報であって、
    前記俯瞰情報取得部は、前記俯瞰情報における前記基準点を含む所定範囲の画像情報を取得し、
    前記算出部は、前記所定範囲の画像情報と前記点群情報から変換された画像情報との画像マッチング処理を行って、前記基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する、
    ことを特徴とする請求項1から5のうちいずれか一項に記載の情報処理装置。
  7. 所定の処理を行う情報処理装置で実行される情報処理方法あって、
    移動体に搭載されたセンサにより得られたセンサ情報と、当該センサ情報を取得した際の前記移動体の絶対位置に関する情報と、に基づいて生成された点群情報を取得する点群情報取得工程と、
    上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得工程と、
    設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出工程と、
    前記算出工程で算出されたずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正工程と、
    を含むことを特徴とする情報処理方法。
  8. 請求項7に記載の情報処理方法をコンピュータにより実行させることを特徴とする情報処理プログラム。
  9. 請求項8に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
  10. 移動体に搭載されたセンサにより得られたセンサ情報を取得するセンサ情報取得部と、
    前記センサ情報を取得した際の前記移動体の絶対位置に関する情報を取得する絶対位置情報取得部と、
    前記センサ情報及び前記絶対位置に関する情報に基づいて点群情報を生成する点群情報生成部と、
    上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得部と、
    設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出部と、
    前記算出部が算出したずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正部と、
    を備えることを特徴とする情報処理装置。
  11. 所定の処理を行う情報処理装置で実行される情報処理方法あって、
    移動体に搭載されたセンサにより得られたセンサ情報を取得するセンサ情報取得工程と、
    前記センサ情報を取得した際の前記移動体の絶対位置に関する情報を取得する絶対位置情報取得工程と、
    前記センサ情報及び前記絶対位置に関する情報に基づいて点群情報を生成する点群情報生成工程と、
    上空から地表面を俯瞰した俯瞰情報を取得する俯瞰情報取得工程と、
    設定された基準点に対応する前記俯瞰情報の絶対位置と、前記基準点に対応する前記点群情報に含まれる点群の絶対位置と、のずれ量を算出する算出工程と、
    前記算出工程で算出されたずれ量に基づいて前記点群情報に含まれる点群の絶対位置を補正する補正工程と、
    を含むことを特徴とする情報処理方法。
  12. 請求項11に記載の情報処理方法をコンピュータにより実行させることを特徴とする情報処理プログラム。
  13. 請求項12に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2020550271A 2018-10-01 2019-09-18 情報処理装置 Pending JPWO2020071117A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023097901A JP2023127588A (ja) 2018-10-01 2023-06-14 情報処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018186728 2018-10-01
JP2018186728 2018-10-01
PCT/JP2019/036476 WO2020071117A1 (ja) 2018-10-01 2019-09-18 情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023097901A Division JP2023127588A (ja) 2018-10-01 2023-06-14 情報処理装置

Publications (1)

Publication Number Publication Date
JPWO2020071117A1 true JPWO2020071117A1 (ja) 2021-09-24

Family

ID=70055455

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020550271A Pending JPWO2020071117A1 (ja) 2018-10-01 2019-09-18 情報処理装置
JP2023097901A Pending JP2023127588A (ja) 2018-10-01 2023-06-14 情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023097901A Pending JP2023127588A (ja) 2018-10-01 2023-06-14 情報処理装置

Country Status (4)

Country Link
US (1) US12105201B2 (ja)
EP (1) EP3862721A4 (ja)
JP (2) JPWO2020071117A1 (ja)
WO (1) WO2020071117A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7526023B2 (ja) 2020-04-14 2024-07-31 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
WO2022244134A1 (ja) * 2021-05-19 2022-11-24 三菱電機株式会社 情報処理装置及び情報処理方法
CN113515513B (zh) * 2021-06-30 2023-04-21 同济大学 轨迹矫正方法及装置、点云地图生成方法及装置
CN113643282A (zh) * 2021-08-31 2021-11-12 歌尔光学科技有限公司 一种工件涂胶轨迹生成方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507127A (ja) * 2006-10-20 2010-03-04 テレ アトラス ベスローテン フエンノートシャップ 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法
JP2013171455A (ja) * 2012-02-21 2013-09-02 Pasuko:Kk 地図情報生成装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4767578B2 (ja) * 2005-02-14 2011-09-07 株式会社岩根研究所 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置
JP4923706B2 (ja) * 2006-04-28 2012-04-25 三菱電機株式会社 地形データ補正装置及び地形データ補正方法
CN102246159A (zh) * 2008-12-09 2011-11-16 通腾北美有限公司 产生测地参考数据库产品的方法
JP2013040886A (ja) 2011-08-19 2013-02-28 Mitsubishi Electric Corp 三次元点群計測方法、三次元点群計測プログラム
JP2017041125A (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN113342038B (zh) * 2016-02-29 2024-08-20 星克跃尔株式会社 为无人飞行器的飞行生成地图的方法和系统
JP6877417B2 (ja) 2016-05-30 2021-05-26 三菱電機株式会社 地図データ更新装置、地図データ更新方法および地図データ更新プログラム
JP2018146546A (ja) * 2017-03-09 2018-09-20 エアロセンス株式会社 情報処理システム、情報処理装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507127A (ja) * 2006-10-20 2010-03-04 テレ アトラス ベスローテン フエンノートシャップ 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法
JP2013171455A (ja) * 2012-02-21 2013-09-02 Pasuko:Kk 地図情報生成装置

Also Published As

Publication number Publication date
US12105201B2 (en) 2024-10-01
US20210255326A1 (en) 2021-08-19
JP2023127588A (ja) 2023-09-13
EP3862721A4 (en) 2022-07-13
EP3862721A1 (en) 2021-08-11
WO2020071117A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
RU2727164C1 (ru) Способ и устройство коррекции картографических данных
US10481277B2 (en) Position correction of a vehicle by referencing to objects in the surroundings
JP6694395B2 (ja) デジタル地図に対する位置を決定する方法およびシステム
JPWO2020071117A1 (ja) 情報処理装置
KR102664900B1 (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
EP2133662B1 (en) Methods and system of navigation using terrain features
JP5389964B2 (ja) 地図情報生成装置
JP2020500290A (ja) 位置特定基準データを生成及び使用する方法及びシステム
JP5844454B2 (ja) カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置
JP5762131B2 (ja) キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
CN103106339A (zh) 同步航空影像辅助的机载激光点云误差改正方法
US10977816B2 (en) Image processing apparatus, image processing program, and driving assistance system
US11474193B2 (en) Camera calibration for localization
KR101183866B1 (ko) Gps/ins/영상at를 통합한 실시간 위치/자세 결정 장치 및 방법
Sadeq Accuracy assessment using different UAV image overlaps
JP2020056657A (ja) 情報処理装置
JP3900365B2 (ja) 測位装置および測位方法
JP2018189463A (ja) 車両位置推定装置及びプログラム
JP6305501B2 (ja) キャリブレーション方法、プログラムおよびコンピュータ
Amami et al. Investigations into utilizing low-cost amateur drones for creating ortho-mosaic and digital elevation model
JP6062020B2 (ja) 指定点投影方法、プログラムおよびコンピュータ
Rokhmana Some aspects on developing a truly low-cost mapping system using handheld gps and camcorder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230314