JP7170369B1 - 情報処理システム及び移動体、情報処理方法、プログラム - Google Patents

情報処理システム及び移動体、情報処理方法、プログラム Download PDF

Info

Publication number
JP7170369B1
JP7170369B1 JP2022551364A JP2022551364A JP7170369B1 JP 7170369 B1 JP7170369 B1 JP 7170369B1 JP 2022551364 A JP2022551364 A JP 2022551364A JP 2022551364 A JP2022551364 A JP 2022551364A JP 7170369 B1 JP7170369 B1 JP 7170369B1
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
dimensional
data
outside
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022551364A
Other languages
English (en)
Other versions
JPWO2023199477A5 (ja
JPWO2023199477A1 (ja
Inventor
成史 大畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensyn Robotics Inc
Original Assignee
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensyn Robotics Inc filed Critical Sensyn Robotics Inc
Priority to JP2022170271A priority Critical patent/JP2023157826A/ja
Application granted granted Critical
Publication of JP7170369B1 publication Critical patent/JP7170369B1/ja
Publication of JPWO2023199477A1 publication Critical patent/JPWO2023199477A1/ja
Publication of JPWO2023199477A5 publication Critical patent/JPWO2023199477A5/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G9/00Traffic control systems for craft where the kind of craft is irrelevant or unspecified

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】本発明は、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供すること。【解決手段】本発明の情報処理システムは、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える。【選択図】図1

Description

本発明は、情報処理システム及び移動体、情報処理方法、プログラムに関する。
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)や無人地上車両(UGV:Unmanned Ground Vehicle)などの走行体などの自律制御可能な移動体が産業に利用され始めている。こうした中で、特許文献1には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。
特開2014-089160号公報
しかしながら、上記特許文献1の開示技術は、屋外においてGNSS(global navigation satellite system)を自己位置推定に使用し、緯度経度情報に基づいて移動体の移動経路を作成するものであり、屋内での移動体の移動経路においては同様の手法を用いることができない。
また、屋内(例えば建物等の構造物内)での移動体の移動経路を生成する場合には、例えばVisual SLAM(Simultaneous Localization and Mapping)等の技術を用いて、手動で移動制御される移動体に搭載されたセンサのセンサ情報に基づき、屋内の3次元情報を予め取得し、これに基づいてユーザが移動経路の設定作業を行う方法が考えられる。しかしながら、屋外の移動経路の作成手法と屋内の移動経路の作成手法は別個のものであり、構造物の内外で跨る飛行経路を作成したいという要望については、十分に検討されているとはいえない。
本発明はこのような背景を鑑みてなされたものであり、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える。
本発明によれば、特に、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供することができる。
本発明の実施の形態にかかる情報処理システムの構成を示す図である。 図1の管理サーバのハードウェア構成を示すブロック図である。 図1のユーザ端末のハードウェア構成を示すブロック図である。 図1の飛行体のハードウェア構成を示すブロック図である。 図1の各構成の機能を示すブロック図である。 本発明の実施の形態にかかる構成物外点群データ及び構成物内点群データの対応付けを説明する図である。 本発明の実施の形態にかかる移動経路生成方法のフローチャートである。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。
[項目1]
少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、
前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
ことを特徴とする情報処理システム。
[項目2]
前記三次元構造物内部点群データは、少なくとも構造物内部の構成物の配置を示す三次元構造物内モデルデータの少なくともモデル表面が点群化された点群データである、
ことを特徴とする項目1に記載の情報処理システム。
[項目3]
前記三次元構造物内モデルデータは、BIMデータまたはCIMデータである、
ことを特徴とする項目2に記載の情報処理システム。
[項目4]
前記三次元構造物外点群データは、少なくとも構造物外部の構成物の配置を示す三次元構造物外モデルデータの少なくともモデル表面が点群化された点群データである、
ことを特徴とする項目1ないし3のいずれかに記載の情報処理システム。
[項目5]
前記三次元構造物外モデルデータは、CityGMLデータである、
ことを特徴とする項目4に記載の情報処理システム。
[項目6]
前記三次元構造物内部点群データ及び前記三次元構造物外点群データの少なくともいずれかは、事前に前記構造物内でセンサを移動させて取得された点群データである、
ことを特徴とする項目1に記載の情報処理システム。
[項目7]
前記三次元構造物内部点群データ及び前記三次元構造物外点群データの少なくともいずれかは、対応する三次元構造物モデルデータ内で仮想センサを移動させて取得された点群データである、
ことを特徴とする項目1に記載の情報処理システム。
[項目8]
少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して生成された三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
ことを特徴とする移動体。
[項目9]
三次元合成点群データ生成部により、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成するステップと、
移動経路生成部により、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成するステップと、
をコンピュータに実行させることを特徴とする情報処理方法。
[項目10]
少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成機能と、
前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成機能と、
をコンピュータに実現することを特徴とするプログラム。
<実施の形態の詳細>
以下、本発明の実施の形態による情報処理システム等についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<構成>
図1に示されるように、本実施の形態における情報処理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の移動体4(例えば、飛行体や走行体など)と、一以上の移動体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、移動体4と、移動体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、移動体格納装置5を有さずに、ユーザにより持ち運びされる構成などでもよい。
<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図示されるように、管理サーバ1は、ユーザ端末2と、移動体4、移動体格納装置5と接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
送受信部13は、管理サーバ1をネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
ユーザ端末2は、例えば、パーソナルコンピュータやタブレット端末等の情報処理装置であるが、スマートフォンや携帯電話、PDA等により構成してもよい。特に、入出力部24は、ユーザ端末2がパーソナルコンピュータで構成されている場合はディスプレイとキーボードやマウスにより構成され、ユーザ端末2がスマートフォンまたはタブレット端末で構成されている場合はタッチパネル等から構成される。
<移動体4>
移動体4は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含む既知の移動体であって、特に自律制御可能な移動体である。移動体4の具体的な例として、飛行体4を例示して以下で説明する。図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくとも管理サーバ1やユーザ端末2、移動体格納装置5のいずれか1つに記録されてもよい。カメラ42は飛行体4にジンバル43を介して設置されてもよい。
フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
また、フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、管理サーバ1、ユーザ端末2、表示装置、または他の遠隔の制御器)へのデータの送信および/または外部のデバイスからのデータの受信が可能に構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
さらに、フライトコントローラ41は、上述の飛行体の状態の制御などの移動体状態制御機能のみならず、外部のデバイス(特にユーザ端末2)からの指示に応じてアプリケーション・プログラムを実行するなどして、データ処理に関する各種機能を実現するようにしてもよく、例えば後述する移動経路生成部420や移動指示部430に対応する機能を実行可能であってもよい。なお、フライトコントローラ41にデータ処理に関する機能を実現して移動体状態制御機能とデータ処理機能とで兼用としてもよいが、これに代えて、データ処理機能専用のプロセッサ(制御部)を別途備えるようにしてもよい。
送受信部47は、例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。
送受信部47は、カメラ/センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
本実施の形態によるカメラ/センサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、LiDAR(Light Detection And Ranging)等)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
<ユーザ端末2の機能>
図5は、ユーザ端末2に実装される機能を例示したブロック図である。本発明の実施の形態においては、少なくとも構造物(例えばビルなどの建物)内部の構成物(例えば、内壁、柱、天井、窓、ドア、階段、内部設備など)の配置を示す点群を含む三次元構造物内点群データ、及び、少なくとも構造物外部の構成物(例えば、外壁、屋根、窓、ドア、階段、外部設備、道路、線路、駅、街路灯、バス停、橋梁、トンネル、地形、植生、水域など)の配置を示す点群を含む三次元構造物外点群データと、を互いに合成して三次元合成点群データを生成するために各種機能部を有している。なお、各種機能部の一部または全部は、管理サーバ1または移動体4の少なくともいずれかに搭載される情報処理装置(プロセッサ、制御部)にて実現されてもよい。
本実施の形態においては、ユーザ端末2は、通信部210、三次元構造物点群データ生成部220、三次元合成点群データ生成部230、記憶部270を備えている。また、記憶部270は、三次元データ記憶部271などの各種データベースを含む。
通信部210は、管理サーバ1や、移動体4、移動体格納装置5と通信を行う。通信部210は、管理サーバ1や、移動体4、移動体格納装置5からの各種要求やデータ等を受け付ける受付部としても機能する。
三次元構造物点群データ生成部220は、少なくとも構造物内部の構成物の配置を示す三次元構造物内モデルデータや、少なくとも構造物外部の構成物の配置を示す三次元構造物外モデルデータにおける、少なくともモデル表面(サーフェス)を点群化した三次元構造物内点群データや三次元構造物外点群データを生成する。各三次元モデルデータ(三次元構造物内モデルデータ、三次元構造物外モデルデータ等)、各三次元点群データ(三次元構造物内点群データ、三次元構造物外点群データ等)は、それぞれ三次元座標系で表現されるデータであって、管理サーバ1や移動体4から読み出されたり、ユーザ端末2上のアプリケーションで作成されたりなどして三次元データ記憶部271に記憶されて管理される。
三次元構造物内モデルデータは、少なくとも構造物内の構成物の配置を示し寸法情報を有する三次元構造物内モデルデータであればどのようなデータであってもよいが、例えば、CAD(Computer―Aided Design)設計ソフトウェアで作成されたデータを基にして作成されたモデルであって、BIM(Building Information Modeling)データやCIM(Construction Information Modeling)データ、CADデータ、BIMデータ等から再構築された三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを有する構成物を生成することで得られた三次元モデルデータであってもよい。なお、三次元構造物内モデルデータは、上述のとおり、構造物内部の構成物の配置を示すものであるが、必ずしも構造物内部の構成物のみの配置を示すものでなくともよく、例えば、外壁等の構造物に係る構造物外部の構成物の配置を含んでいてもよい。また、三次元モデルデータの再構築等は、管理サーバ1やユーザ端末2のプロセッサにおいて実行されてもよいし、管理サーバ1やユーザ端末2の外部で実行されて内部へ取得されてもよい。三次元構造物内モデルデータは、設定された任意の点を原点(基準点)とした三次元の直交座標系により表現されるデータであり得るが、例えば水平方向が緯度経度座標であって、鉛直方向が高度座標である三次元座標系により表現されるデータであってもよいし、必ずしもそうでなくてもよい。
三次元構造物外モデルデータは、少なくとも構造物外の構成物の配置を示し寸法情報を有する三次元構造物外モデルデータであればどのようなデータであってもよいが、特に地表及び地表上の構造物の少なくとも一部の表面形状を三次元の立体空間で仮想的に表現するモデルを含むものであることが好ましく、例えば、CityGML(Generalized Markup Language)、CityJson、GeoTIFFなどの三次元都市モデルデータや本システム外部の三次元都市モデルデータベースに格納される三次元都市モデルデータなどであってもよい。三次元構造物外モデルデータは、水平方向が緯度経度座標であって、鉛直方向が高度座標である三次元座標系により表現されるデータであり得る。
三次元構造物点群データ生成部220による三次元点群モデルデータ(三次元構造物内点群データ、三次元構造物外点群データ等)の生成方法は、上述の三次元モデルデータから構造物内または構造物外の構成物に関するモデル表面(サーフェス)を点群化した三次元点群モデルデータが生成可能であればどのような方法であってもよいが、例えば、三次元モデルデータの構造物内または構造物外を仮想のセンサ(例えば、仮想のLiDAR)を搭載した仮想の移動体4を移動させることにより構造物内または構造物外の構成物に関する三次元点群モデルデータを生成してもよい。これにより、理論上、構造物内または構造物外を移動体4のセンサで実測した場合の点群センシングデータに近い点群データを生成することができる。また、他の三次元点群モデルデータの生成方法は、三次元モデルデータを所定の間隔で均等に点群化してもよいし、三次元モデルデータがポリゴンデータである場合には各頂点に点を配置して点群化してもよいし、既知の点群化技術(点群データへの変換技術)を用いて点群化してもよい。
三次元合成点群データ生成部230は、三次元構造物内点群データ及び三次元構造物外点群データを合成して三次元合成点群データを生成してもよい。三次元構造物内点群データ及び三次元構造物外点群データは、上述のように三次元構造物点群データ生成部220により生成された三次元点群データであってもよいし、三次元構造物内点群データ及び三次元構造物外点群データの少なくともいずれかが事前にセンサ(例えば、LiDARセンサ)を搭載した移動体4を移動させることにより取得した三次元点群データであってもよい。
三次元合成点群データ生成部230による三次元点群データの生成方法(すなわち、合成方法)は、合成可能であればどのような方法であってもよく、例えば、ユーザ端末2上でユーザ操作に基づき両者の位置合わせ(及び縮尺合わせ)を行い、決定された位置で両者の三次元点群データを一体的な三次元合成点群データとして合成してもよいし、既知の点群合成技術を用いて三次元点群データ同士を互いに合成してもよい。しかしながら、本実施例における具体例としては、三次元構造物内点群データが三次元構造物外点群データと同様に緯度経度高さ座標系で表現されるかどうかによって合成方法が異なる。
合成方法の具体例の一例は、三次元構造物内点群データ及び三次元構造物外点群データが共に緯度経度高さ座標系などの共通の三次元座標系で表現される場合について説明する。このような場合においては、両三次元点群データの各点データが緯度経度高さ座標で表現されているので、同一の仮想空間内に配置することで合成が実行されたこととなる。なお、両三次元点群データが共に緯度経度高さ座標で表現されているが、実際に移動体4が構造物内を移動する際には移動体4の位置情報は緯度経度高さ座標で取得することは困難であるので、三次元合成点群データは、予め仮想空間内の所定の基準点を原点とする三次元直交基準座標系に変換しておいてもよい。もしくは、管理サーバ1やユーザ端末2、移動体4のいずれかにおいて当該変換を行う座標変換部240を備えて、構造物内で取得した移動体4の位置情報を緯度経度高さ座標に変換するようにしてもよい。
合成方法の具体例の他の例は、三次元構造物内点群データ及び三次元構造物外点群データが共通の三次元座標系ではない(たとえば、三次元構造物内点群データが緯度経度高さ座標系でなく、三次元構造物外点群データが緯度経度高さ座標系である場合など)場合について説明する。このような場合においては、例えば、図6のように同じ構造物に対して床面(例えば地上の床面)を対象に、三次元構造物内点群データ及び三次元構造物外点群データにおいて対応点を設定する(例えば図6では、三次元構造物外点群データにおいてはP1からP4と設定し、三次元構造物内点群データにおいてはP’1からP’4と設定している)。対応点は、例えば四角いビルなどの建物の1階部分(地上面)における四隅であってもよいし、その他の構造物の床面における特徴的な点であってもよい。なお、高さ情報が明確である対応点が設定可能であるならば、対応点は床面に限らず、いずれの特徴的な点であってもよい。対応点は、例えば、ユーザ端末2上でユーザ操作に基づき手動にて設定されてもよいし、既知の構造物モデルにおける形状解析技術や点群モデルにおける角部点検出技術などに基づき自動にて設定されてもよい。
そして、構造物外点群データの対応点P1からP4を基準点Oを原点とした三次元直交座標系で表現する座標値に変換し、当該三次元直交座標系における仮想空間において両対応点同士の距離が最小となる位置関係情報(座標変換情報)を求め、構造物内点群データの対応点P’1からP’4を上述の三次元直交座標系で表現する座標値を求めることで両三次元点群データを合成する。なお、両三次元点群データの位置関係情報が得られるので、必要に応じて構造物外点群データの緯度経度高さ座標系に基づいて、構造物内点群データを緯度経度高さ座標系の座標を付与するようにしてもよい。また、対応点は、三次元モデルデータ上で設定し、点群化後に対応する点データを対応点として再度設定してもよい。
ここで、上述のように同じ構造物に対して床面を対象に、三次元構造物内点群データ及び三次元構造物外点群データにおいて対応点を設定した場合、両対応点が必ずしも同一または近似した位置とならないこともあり得る。すなわち、三次元構造物内点群データにおいては内壁を基準とした対応点が設定され、三次元構造物外点群データにおいては外壁を基準としてた対応点が設定された場合、両対応点においてズレが生じ同一または近似した位置とならない。そこで、三次元構造物内点群データ及び三次元構造物外点群データにおいて複数の対応点を設定した後に重心点を算出し、重心点を対応点として設定して両三次元点群データを一致させて位置関係情報を求めてもよい。さらに、上述の床面等を対象とする対応点(以下、「第1対応点」という。)と重心点に対応する対応点(以下、「第2対応点」という。)とに基づき、両三次元点群データを一致させて位置関係情報を求めてもよく、特に第1対応点と第2対応点でどちらの一致度を優先するかを重みづけ係数により重みづけをして位置関係情報を求めてもよい。重み付けは、上述のズレが発生し得ることを鑑み、第2対応点に関する重み付けを第1対応点に関する重み付けよりも大きくしてもよい。
このように、互いに異なる三次元構造物内部点群データ及び三次元構造物外部点群データを合成し、構造物内外の構成物の配置を示す三次元合成点群データを統一的な三次元座標系により表現することが可能となる。これにより、例えばユーザ端末2上に表示される三次元合成点群データをベースにウェイポイントを設定した場合において、移動経路が構造物の内部と外部で跨る場合であっても、統一的な三次元座標系に基づく移動経路生成などの位置指定が可能となる。
<移動体4の機能>
図5は、さらに移動体4に実装される機能も例示したブロック図である。本発明の実施の形態においては、生成された三次元合成点群データに基づき、移動体のための構造物内外に跨る移動経路情報を生成し、移動体4に移動経路上の移動を指示するために各種機能部を有している。なお、各種機能部の一部または全部は、管理サーバ1やユーザ端末2の少なくともいずれかに搭載される情報処理装置(プロセッサ、制御部)にて実現されてもよい。
本実施の形態においては、移動体4は、移動経路生成部420、移動指示部430、座標変換部440、記憶部470を備えている。また、記憶部470は、移動経路情報記憶部471、移動情報記憶部472の各種データベースを含む。
移動経路生成部420は、例えばユーザ端末2上に表示される三次元合成点群データに対してユーザの選択操作により一以上のウェイポイント情報を始点から終点まで順次に、または、任意の点を任意の順で設定し、当該ウェイポイント情報に基づいて既知の方法により移動経路情報を生成し、移動経路情報記憶部471に記憶され、管理するようにしてもよいし、三次元合成点群データを解析し、例えば構造物内の特定の又は全ての構成物の情報を取得可能なウェイポイント情報を設定した移動経路を算出し、これを移動経路情報として移動経路情報記憶部471に記憶され、管理するようにしてもよい。
なお、移動経路は、例えば、移動体格納装置5の位置を移動開始位置及び移動終了位置として、各ウェイポイントを通過する移動経路を生成するようにしてもよいし、逆に移動体格納装置5を有さずに、ユーザにより機体を持ち運びされた位置を移動開始位置としたり、移動終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ1やユーザ端末2、移動体4の記憶部において管理された移動体格納装置5の情報(例えば、位置情報や格納状態情報、格納機情報など)を基に、移動開始位置または移動終了位置として選択された移動体格納装置5の位置も含めた移動経路として生成される構成でもよい。
移動指示部430は、移動経路情報記憶部471に記憶される移動経路情報を参照し、移動経路情報が示す座標に応じて移動体4の移動を指示する信号を移動体4へ送信する。また、移動指示部430は、座標変換部440(座標変換部240と同一機能であってもよい。)により、例えば、移動経路情報記憶部471に記憶される移動経路情報と上述の位置関係情報(座標変換情報)を参照し、移動経路情報が示す座標を移動体4の移動制御に用いられる三次元直交座標系(例えば、上述の三次元直交基準座標系など)に変換することで、移動体4の移動を指示するように構成されていてもよい。
移動情報記憶部472は、移動経路生成部420により移動経路を生成する際や、移動指示部430により当該移動経路上において自律制御された移動体4の移動が指示される際などに用いられるパラメータ情報や移動経路上で取得した移動時取得情報等を格納している。具体的なパラメータの例としては、例えば、移動速度、飛行高度(移動体4が飛行体である場合)、撮像画像のオーバーラップ率、移動時取得情報(例えば、画像情報や映像情報等)などを含む。
<移動経路生成方法の一例>
図7を参照して、本実施形態にかかる移動経路生成方法について、本実施の形態における情報処理システムの動作も含めて説明する。図7には、本実施形態にかかる移動経路生成方法のフローチャートが例示されている。このフローチャートでは、例示的にユーザ端末2上でアプリケーションを起動する構成を示しているが、これに限らず、例えば管理サーバ1や移動体4、移動体格納装置5がアプリケーションを起動可能なプロセッサと入出力装置を有し、各種設定等が可能な構成であってもよい。
まず、ユーザは、例えばユーザ端末2において、三次元合成点群データ生成機能を含むアプリケーションを起動する(SQ101)。このアプリケーションは、例えばユーザ端末2に記憶されていてもよいし、ネットワークを介して接続される管理サーバ1または他のサーバ(不図示)から提供されるソフトウェア(いわゆるSaaS)であってもよい。必要に応じてログイン画面が表示され、例えばログインIDやパスワードを要求する構成にしてもよい。
次に、ユーザは、新規の移動計画を作成する(SQ102)。例えば、「プラン名」や「エリア名」、「住所」などを設定して、ユーザ端末2上に、対象となる構造物内の三次元合成点群データを取得して表示し、新規の移動計画の作成を開始する。
次に、ユーザは、移動体4の移動のための移動経路を生成する(SQ103)。例えば、ユーザ端末2上に表示される三次元合成点群データに対してユーザの選択操作により一以上のウェイポイント情報(例えば、ユーザ端末2上では緯度経度座標系で表現される)を設定する。そして、移動体4に三次元合成点群データ及びウェイポイント情報を送信し、移動体4にて三次元合成点群データ及びウェイポイント情報に基づいて既知の方法(例えば4つのウェイポイント間をそれぞれ直線にて結ぶ)により移動経路情報が生成される。
次に、ユーザは、移動体4に移動の実行開始を指示する(SQ104)。例えば、移動経路情報記憶部471及び移動情報記憶部472を参照して、点検、警備、建築進捗管理等を目的とする移動体4の移動を実行する。
次に、ユーザは、ユーザ端末2へ取得情報の出力を指示する(SQ105)。例えば、ユーザ端末2上に表示される三次元合成点群データに移動体4が実際に移動した経路情報を重畳して表示してもよい。そのほか、移動経路上にて移動体4により取得された取得情報(静止画像、動画像、音声その他の情報)を表示したり、当該取得情報の位置情報に対応付けられた位置(特にウェイポイントの位置情報)に対応する取得情報を閲覧するためのリンクとなる記号などの印が付されてもよい。そして、当該リンクをユーザ端末2上で選択することで、対応する取得情報が表示されるようにしてもよい。
このように、本発明は、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供することができる。なお、上記のようにSQ104の移動体4の自律的な移動の実行を伴う構成に代えて、単に最適な移動経路を作成してユーザ端末2上で確認可能に表示するように構成してもよく、これに基づき他のユーザがプロポ等で手動で移動体4を構造物内で移動させる際のお手本となる移動経路を他のユーザのユーザ端末2上に表示することが可能となる。
また、上述の実施例では移動体4による構造物内外での情報取得を具体例としたが、例えば構造物の点検であってもよく、構造物の内壁および/または外壁の所定の事象の有無を点検するために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置(可視光カメラ、赤外線カメラ、金属探知機、超音波測定器等)や、打鍵装置等、探知装置(金属探知機)、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置(宇宙線、放射線、電磁波等を検出するための装置)等の内壁や外壁を有する点検対象構造物の状態を知るために必要な装置は全て採用され得る。
また、実施例は例えば構造物内の警備や監視であってもよく、警備や監視のために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置(可視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等)や、センサ装置(モーションセンサ、赤外線センサ等)等、警備・監視対象構造物の異常や侵入者等を撮像・検知するために必要な装置は全て採用され得る。
本発明の移動体は、カメラ等を搭載した撮影用の移動体としても好適に使用することができる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物や構造物内の点検、災害対応等の様々な産業にも利用することができる。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
1 管理サーバ
2 ユーザ端末
4 移動体
5 移動体格納装置

Claims (6)

  1. 少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、をノードデータ及びリンクデータを介さずに互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、
    前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
    ことを特徴とする情報処理システム。
  2. 前記三次元合成点群データ生成部は、前記三次元構造物内部点群データ及び前記三次元構造物外部点群データの共通の三次元座標系の座標情報に基づき、互いに合成して前記三次元合成点群データを生成する、
    ことを特徴とする請求項1に記載の情報処理システム。
  3. 前記三次元合成点群データ生成部は、位置合わせのためのユーザ操作に応じて、前記三次元構造物内部点群データ及び前記三次元構造物外部点群データの位置合わせを行い、当該位置合わせにより決定した位置で互いに合成して前記三次元合成点群データを生成する、
    ことを特徴とする請求項1に記載の情報処理システム。
  4. 少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、をノードデータ及びリンクデータを介さずに互いに合成して生成された三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
    ことを特徴とする移動体。
  5. 三次元合成点群データ生成部により、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、をノードデータ及びリンクデータを介さずに互いに合成して三次元合成点群データを生成するステップと、
    移動経路生成部により、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成するステップと、
    をコンピュータに実行させることを特徴とする情報処理方法。
  6. 少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、をノードデータ及びリンクデータを介さずに互いに合成して三次元合成点群データを生成する三次元合成点群データ生成機能と、
    前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成機能と、
    をコンピュータに実現することを特徴とするプログラム。
JP2022551364A 2022-04-14 2022-04-14 情報処理システム及び移動体、情報処理方法、プログラム Active JP7170369B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022170271A JP2023157826A (ja) 2022-04-14 2022-10-25 情報処理システム及び移動体、情報処理方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017830 WO2023199477A1 (ja) 2022-04-14 2022-04-14 情報処理システム及び移動体、情報処理方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022170271A Division JP2023157826A (ja) 2022-04-14 2022-10-25 情報処理システム及び移動体、情報処理方法、プログラム

Publications (3)

Publication Number Publication Date
JP7170369B1 true JP7170369B1 (ja) 2022-11-14
JPWO2023199477A1 JPWO2023199477A1 (ja) 2023-10-19
JPWO2023199477A5 JPWO2023199477A5 (ja) 2024-03-21

Family

ID=84027200

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022551364A Active JP7170369B1 (ja) 2022-04-14 2022-04-14 情報処理システム及び移動体、情報処理方法、プログラム
JP2022170271A Pending JP2023157826A (ja) 2022-04-14 2022-10-25 情報処理システム及び移動体、情報処理方法、プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022170271A Pending JP2023157826A (ja) 2022-04-14 2022-10-25 情報処理システム及び移動体、情報処理方法、プログラム

Country Status (2)

Country Link
JP (2) JP7170369B1 (ja)
WO (1) WO2023199477A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010164434A (ja) * 2009-01-15 2010-07-29 Hitachi Ltd 空間情報管理システム、及び地図情報サーバ装置、並びに、プログラム
WO2021199449A1 (ja) * 2020-04-03 2021-10-07 株式会社センシンロボティクス 位置算出方法及び情報処理システム
JP2021189600A (ja) * 2020-05-27 2021-12-13 シンメトリー・ディメンションズ・インク モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010164434A (ja) * 2009-01-15 2010-07-29 Hitachi Ltd 空間情報管理システム、及び地図情報サーバ装置、並びに、プログラム
WO2021199449A1 (ja) * 2020-04-03 2021-10-07 株式会社センシンロボティクス 位置算出方法及び情報処理システム
JP2021189600A (ja) * 2020-05-27 2021-12-13 シンメトリー・ディメンションズ・インク モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法

Also Published As

Publication number Publication date
JPWO2023199477A1 (ja) 2023-10-19
WO2023199477A1 (ja) 2023-10-19
JP2023157826A (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
US11914369B2 (en) Multi-sensor environmental mapping
US20200026720A1 (en) Construction and update of elevation maps
CN110475717A (zh) 用于uav和其他自主车辆的室内测绘和模块化控制以及相关系统和方法
CN111506109A (zh) 传感器数据的选择性处理
CN109564434A (zh) 用于定位可移动物体的系统和方法
JP7118490B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP6730763B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
WO2022264413A1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7170369B1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP6818379B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
WO2023228283A1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
JP6684012B1 (ja) 情報処理装置および情報処理方法
JP2023010229A (ja) ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム
JP7441579B1 (ja) 情報処理システム及び情報処理方法
JP6810497B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP6810498B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP7228298B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP2021067670A (ja) 飛行体の飛行経路作成方法及び管理サーバ
Pinrath et al. Real-time Simulation System for Teleoperated Mobile Robots using V-REP

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221025

R150 Certificate of patent or registration of utility model

Ref document number: 7170369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370