図1は、第1実施形態に係る表示システムの構成例を示す模式図である。FIG. 1 is a schematic diagram showing an example of the configuration of a display system according to the first embodiment.
図2は、第1実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。FIG. 2 is a block diagram showing the internal configuration of the display information creating device according to the first embodiment together with the peripheral configuration.
図3は、移動体による点群データの取得範囲を示す説明図である。FIG. 3 is an explanatory diagram showing the range in which point cloud data is acquired by a moving body.
図4は、三次元地図データを表示する際の視点の位置及び方向の一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of the position and direction of the viewpoint when displaying three-dimensional map data.
図5は、表示画面の一例を示す模式図である。FIG. 5 is a schematic diagram showing an example of a display screen.
図6は、第1実施形態に係る表示システムの処理の一例を示すフローチャートである。FIG. 6 is a flowchart showing an example of processing of the display system according to the first embodiment.
図7は、第2実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。FIG. 7 is a block diagram showing the internal configuration of a display information creating device according to the second embodiment together with its peripheral configuration.
図8は、第2実施形態に係る表示システムの処理の一例を示すフローチャートである。FIG. 8 is a flowchart showing an example of processing of the display system according to the second embodiment.
図9は、第3実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。FIG. 9 is a block diagram showing the internal configuration of a display information creating device according to the third embodiment together with its peripheral configuration.
図10は、第3実施形態に係る表示システムの処理の一例を示すフローチャートである。FIG. 10 is a flowchart showing an example of processing of the display system according to the third embodiment.
図11は、第4実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。FIG. 11 is a block diagram showing the internal configuration of a display information creating device according to the fourth embodiment together with its peripheral configuration.
図12は、第4実施形態に係る表示システムの処理の一例を示すフローチャートである。FIG. 12 is a flowchart showing an example of processing of the display system according to the fourth embodiment.
図13は、第5実施形態に係る表示情報作成装置の内部構成を周辺構成とともに示すブロック図である。FIG. 13 is a block diagram showing the internal configuration of a display information creating device according to the fifth embodiment together with its peripheral configuration.
図14は、第5実施形態に係る表示システムの処理の一例を示すフローチャートである。FIG. 14 is a flowchart showing an example of processing of the display system according to the fifth embodiment.
以下に、本開示に係る表示情報作成装置、表示システム、及び表示情報作成方法について、実施形態を図面に基づいて詳細に説明する。なお、本開示は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、実質的に同一のもの、あるいは均等の範囲のものが含まれる。さらに、以下に記載した構成要素は、本開示の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本開示に係る表示情報作成装置、表示システム、及び表示情報作成方法の実施形態を例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。なお、以下の実施形態の説明において、同一構成には同一符号を付し、異なる構成には異なる符号を付すものとする。
The display information creation device, display system, and display information creation method according to the present disclosure will be described in detail below with reference to the drawings. Note that the present disclosure is not limited to the description of the following embodiments. In addition, the components in the following embodiments include those that are replaceable and easy for a person skilled in the art, those that are substantially the same, or those that are equivalent. Furthermore, the components described below can be omitted, replaced, or modified in various ways without departing from the gist of the present disclosure. In the following embodiments, components necessary for illustrating the embodiments of the display information creation device, display system, and display information creation method according to the present disclosure will be described, and other components will be omitted. Note that in the following description of the embodiments, the same components will be given the same reference numerals, and different components will be given different reference numerals.
本発明において、表示システムは、地上、空中、水上及び水中を移動する移動体の周辺環境に関し、地表面、水底面、建造物及び障害物等の種々の地物を含む地形の三次元地図データを含む表示情報を表示するシステムである。移動体は、例えば、自動車等の車両、航空機、船舶、潜水艇、又は有人作業ロボット等の運転員を要する移動体と、先進安全自動車(Advanced Safety Vehicle)、無人搬送車(AGV:Automated Guided Vehicle)、無人航空機(UAV:Unmanned Aerial Vehicle)、無人潜水機(AUV:Autonomous Underwater Vehicle)、又は無人作業ロボット等の自律型又は遠隔操作型の移動体と、を含む。以下に記載した各実施形態においては、地上を走行する自動車等の車両である移動体の周辺環境に関し、遠隔地のオペレータに三次元地図データを含む表示情報を表示する表示システムについて説明する。
In the present invention, the display system is a system that displays display information including three-dimensional map data of the terrain including various features such as the ground surface, the bottom surface, buildings, and obstacles, regarding the surrounding environment of a mobile body moving on the ground, in the air, on the water, and underwater. The mobile body includes, for example, a mobile body that requires an operator, such as a vehicle such as an automobile, an aircraft, a ship, a submarine, or a manned work robot, and an autonomous or remotely operated mobile body such as an advanced safety vehicle, an automated guided vehicle (AGV), an unmanned aerial vehicle (UAV), an autonomous underwater vehicle (AUV), or an unmanned work robot. In each embodiment described below, a display system that displays display information including three-dimensional map data to a remote operator regarding the surrounding environment of a mobile body that is a vehicle such as an automobile traveling on the ground is described.
(第1実施形態)
まず、第1実施形態の表示システム1の構成について説明する。図1は、第1実施形態に係る表示システム1の構成例を示す模式図である。表示システム1は、所定領域2と、基地局3と、通信ネットワーク4と、を含む。
First Embodiment
First, the configuration of a display system 1 according to the first embodiment will be described. Fig. 1 is a schematic diagram showing an example of the configuration of the display system 1 according to the first embodiment. The display system 1 includes a predetermined area 2, a base station 3, and a communication network 4.
所定領域2は、三次元地図データを含む表示情報の作成対象となる現場である。所定領域2は、地表面、建造物、障害物等の種々の地物(例えば、図3及び図4の地物X1、X2、Y1、Y2)を含む環境下にある。
The specified area 2 is the site for which display information including three-dimensional map data is to be created. The specified area 2 is in an environment that includes various features such as the ground surface, buildings, and obstacles (for example, features X1, X2, Y1, and Y2 in Figures 3 and 4).
所定領域2には、当該環境下で移動可能な移動体10が配備される。移動体10は、第1実施形態において、車両である。移動体10は、筐体12と、移動機構14と、通信部16と、制御部18と、測定装置20と、を含む。
A mobile body 10 capable of moving in the specified area 2 is deployed. In the first embodiment, the mobile body 10 is a vehicle. The mobile body 10 includes a housing 12, a moving mechanism 14, a communication unit 16, a control unit 18, and a measuring device 20.
移動機構14は、第1実施形態において、筐体12の底面に設けられた車輪を含む。移動機構14は、クローラを含んでもよい。移動機構14は、筐体12の内部に収容された駆動機構から伝達される動力によって車輪が駆動されることで、移動体10の所定領域2を含む地上での移動を実現する。
In the first embodiment, the moving mechanism 14 includes wheels provided on the bottom surface of the housing 12. The moving mechanism 14 may include crawlers. The moving mechanism 14 realizes the movement of the moving body 10 on the ground including the predetermined area 2 by driving the wheels with power transmitted from a drive mechanism housed inside the housing 12.
通信部16は、通信ネットワーク4を介して、所定領域2から離れた基地局3との間で各種情報を送受信可能である。通信部16は、通信ネットワーク4を介して基地局3から受信した各種の制御信号を、制御部18に出力する。通信部16は、測定装置20が取得した各種情報を、通信ネットワーク4を介して基地局3へ送信する。
The communication unit 16 can transmit and receive various information to and from a base station 3 located away from the specified area 2 via the communication network 4. The communication unit 16 outputs various control signals received from the base station 3 via the communication network 4 to the control unit 18. The communication unit 16 transmits various information acquired by the measurement device 20 to the base station 3 via the communication network 4.
制御部18は、移動体10の各構成要素をそれぞれ制御して、所定領域2における各種動作を移動体10に実行させる。制御部18は、通信部16及び測定装置20を制御する。制御部18は、各種の制御プログラム及び各種の制御処理に用いられるデータを記憶する記憶装置と、予め定められる制御プログラムを実行する演算処理装置と、を含む。
The control unit 18 controls each component of the mobile body 10 to cause the mobile body 10 to perform various operations in the specified area 2. The control unit 18 controls the communication unit 16 and the measurement device 20. The control unit 18 includes a storage device that stores various control programs and data used in various control processes, and a processing unit that executes predetermined control programs.
測定装置20は、所定領域2における移動体10及び移動体10の周辺環境に関し、三次元地図データの作成に必要な各種情報を測定する。測定装置20は、例えば、SLAM(Simultaneous Localization and Mapping)技術を利用する。測定装置20は、制御部18の制御信号に基づいて、各種の測定を実行する。測定装置20は、測定した各種情報の通信信号を通信部16へ出力する。測定装置20は、第1実施形態において、レーザ測量センサ22と、色データ取得センサ24と、自己位置推定センサ26と、撮像カメラ28と、を含む。
The measuring device 20 measures various pieces of information necessary for creating three-dimensional map data regarding the mobile object 10 and the surrounding environment of the mobile object 10 in the specified area 2. The measuring device 20 uses, for example, SLAM (Simultaneous Localization and Mapping) technology. The measuring device 20 performs various measurements based on control signals from the control unit 18. The measuring device 20 outputs communication signals of the various pieces of measured information to the communication unit 16. In the first embodiment, the measuring device 20 includes a laser surveying sensor 22, a color data acquisition sensor 24, a self-position estimation sensor 26, and an imaging camera 28.
レーザ測量センサ22は、例えば、三次元レーザスキャナを含む。レーザ測量センサ22は、所定領域2における移動体10の周辺環境に存在する地物をレーザ光で走査して、地物の表面を構成する各点について距離測定を行う。レーザ測量センサ22は、所定領域2に存在する地物の表面を多数の点集合である点群として認識して、レーザ測量センサ22が位置する測定点から各点までの距離情報を含む点群データを取得する。
The laser surveying sensor 22 includes, for example, a three-dimensional laser scanner. The laser surveying sensor 22 scans features present in the surrounding environment of the mobile body 10 in the specified area 2 with laser light, and measures distances to each point constituting the surface of the feature. The laser surveying sensor 22 recognizes the surface of the features present in the specified area 2 as a point cloud, which is a collection of many points, and obtains point cloud data including distance information from the measurement point where the laser surveying sensor 22 is located to each point.
色データ取得センサ24は、所定領域2における移動体10の周辺環境に存在する地物が有する色データを取得する。色データ取得センサ24は、地物からの反射光を取得することにより、地物が有する色データを二次元情報として取得する。したがって、第1実施形態においては、所定領域2に存在する地物は、移動体10、所定領域2内又は所定領域2近傍に設けられた照明装置、又は日光等によって、少なくとも色データ取得センサ24が有効な色データを取得できる程度の輝度を有するものとする。有効な色データとは、対応する点群データに付与されて、後述の基地局3の表示部34に表示された際に、オペレータが良好に認識可能に設定された閾値以上の色情報を含む色データを意味する。
The color data acquisition sensor 24 acquires color data of features present in the surrounding environment of the mobile body 10 in the specified area 2. The color data acquisition sensor 24 acquires color data of the features as two-dimensional information by acquiring reflected light from the features. Therefore, in the first embodiment, the features present in the specified area 2 are assumed to have a brightness at least sufficient for the color data acquisition sensor 24 to acquire valid color data due to the mobile body 10, lighting devices installed in or near the specified area 2, or sunlight. Valid color data means color data that contains color information equal to or greater than a threshold set so that the operator can easily recognize it when the color data is added to the corresponding point cloud data and displayed on the display unit 34 of the base station 3 described below.
色データ取得センサ24は、色データを取得可能なカメラを含む。色データ取得センサ24は、例えば、単眼カメラ等の一般的なカメラ、又は同時に対象物までの距離データを取得可能な深度カメラ又はステレオカメラを含む。なお、第1実施形態では、レーザ測量センサ22によって距離データを取得するため、よりシンプルな一般的なカメラを採用することで構成の簡略化及び低コスト化を図ることができる。
The color data acquisition sensor 24 includes a camera capable of acquiring color data. The color data acquisition sensor 24 includes, for example, a general camera such as a monocular camera, or a depth camera or stereo camera capable of simultaneously acquiring distance data to an object. In the first embodiment, since the distance data is acquired by the laser survey sensor 22, it is possible to simplify the configuration and reduce costs by adopting a simpler general camera.
自己位置推定センサ26は、所定領域2における移動体10の自己位置を推定し、推定結果を位置情報として取得する。自己位置推定センサ26による移動体10の位置情報の取得方法は、公知の各種方法を含んでよい。
The self-position estimation sensor 26 estimates the self-position of the moving body 10 in the specified area 2 and acquires the estimation result as position information. The method of acquiring the position information of the moving body 10 by the self-position estimation sensor 26 may include various known methods.
例えば、移動体10がGPS(Global Positioning System)信号を受信可能な環境にある場合、自己位置推定センサ26は、GPSによる測位情報に基づいて、移動体10の自己位置の推定を行ってもよい。また、例えば、移動体10がGPS信号を受信困難な環境にある場合、自己位置推定センサ26は、移動体10の駆動機構における車輪の回転速度又は操舵角等に基づいて、移動体10の自己位置の推定を行ってもよい。より詳しくは、自己位置推定センサ26は、所定領域2における初期位置からの相対変位を幾何学的に求めるオドメトリ、レーザ測量センサ22で取得された点群データを時系列で位置合わせすることにより移動量を逆推定するスキャンマッチング等を用いて、移動体10の自己位置の推定を行ってもよい。なお、本発明において移動体が水中を移動する場合、自己位置推定センサ26は、例えば、慣性航法装置(INS:Inertial Navigation System)を含んでもよい。
For example, when the mobile body 10 is in an environment where it can receive a GPS (Global Positioning System) signal, the self-position estimation sensor 26 may estimate the self-position of the mobile body 10 based on the positioning information from the GPS. Also, when the mobile body 10 is in an environment where it is difficult to receive a GPS signal, the self-position estimation sensor 26 may estimate the self-position of the mobile body 10 based on the rotational speed or steering angle of the wheels in the drive mechanism of the mobile body 10. More specifically, the self-position estimation sensor 26 may estimate the self-position of the mobile body 10 using odometry that geometrically determines the relative displacement from the initial position in the specified area 2, scan matching that reversely estimates the amount of movement by aligning the point cloud data acquired by the laser survey sensor 22 in a time series, or the like. In addition, when the mobile body moves underwater in the present invention, the self-position estimation sensor 26 may include, for example, an inertial navigation system (INS).
なお、第1実施形態において、測定装置20のレーザ測量センサ22、色データ取得センサ24及び自己位置推定センサ26は、所定領域2の広さに対して十分に狭い間隔で配置されているものとする。したがって、以下の説明では、レーザ測量センサ22、色データ取得センサ24及び自己位置推定センサ26は、共通の測定点を有するとみなす。
In the first embodiment, the laser surveying sensor 22, color data acquisition sensor 24, and self-position estimation sensor 26 of the measuring device 20 are arranged at intervals that are sufficiently narrow relative to the size of the specified area 2. Therefore, in the following description, the laser surveying sensor 22, color data acquisition sensor 24, and self-position estimation sensor 26 are considered to have a common measurement point.
撮像カメラ28は、所定領域2における移動体10の周辺環境の任意の範囲を撮影することにより、撮像カメラ28の位置を視点とする映像データを取得する。撮像カメラ28は、色データ取得センサ24を構成するカメラ、又は移動体10に搭載されたドライブレコーダのカメラ等であってもよい。
The imaging camera 28 captures an arbitrary range of the surrounding environment of the moving body 10 in the specified area 2, thereby acquiring video data with the position of the imaging camera 28 as the viewpoint. The imaging camera 28 may be a camera constituting the color data acquisition sensor 24, or a camera of a drive recorder mounted on the moving body 10, etc.
基地局3は、通信ネットワーク4を介して、移動体10の通信部16との間で各種情報を送受信可能なサーバコンピュータ(Server Computer)である。基地局3は、例えば、移動体10の測定装置20を動作させるための各種の制御信号を、通信ネットワーク4を介して移動体10へ送信する。基地局3は、移動体10から測定装置20が取得した各種情報を、通信ネットワーク4を介して受信する。基地局3は、例えば、複数の移動体10と通信可能であってもよい。また、基地局3の一部の構成は、ネットワーク通信可能なクラウドサーバ(Cloud Server)に設けられていてもよい。基地局3は、操作部32と、表示部34と、表示情報作成装置40と、を備える。
The base station 3 is a server computer capable of transmitting and receiving various information to and from the communication unit 16 of the mobile object 10 via the communication network 4. The base station 3 transmits, for example, various control signals for operating the measurement device 20 of the mobile object 10 to the mobile object 10 via the communication network 4. The base station 3 receives, via the communication network 4, various information acquired by the measurement device 20 from the mobile object 10. The base station 3 may be capable of communicating with, for example, multiple mobile objects 10. In addition, a portion of the configuration of the base station 3 may be provided in a cloud server capable of network communication. The base station 3 includes an operation unit 32, a display unit 34, and a display information creation device 40.
操作部32は、オペレータによる移動体10及び表示情報作成装置40に対する種々操作を受付可能である。操作部32は、例えば、移動体10を前進、後退、旋回、加速、減速、及び停止等の移動に関する操作を受付可能である。操作部32は、受け付けた移動体10に対する操作に応じた操作信号を表示情報作成装置40へ出力する。操作部32は、例えば、画面設定部60の画面設定データ記憶部62に記憶された画面設定データを編集する操作を受付可能である。操作部32は、受け付けた表示情報作成装置40に対する操作に応じた操作信号を表示情報作成装置40へ出力する。操作部32は、例えば、物理的なスイッチ、キーボード、又は表示部34に設けられたタッチパネルで実現することができる。なお、図1に示す一例において、操作部32は、表示情報作成装置40に有線又は無線で接続されたキーボードによって実現される。
The operation unit 32 can accept various operations on the moving body 10 and the display information creation device 40 by the operator. The operation unit 32 can accept, for example, operations related to the movement of the moving body 10, such as moving forward, backward, turning, accelerating, decelerating, and stopping. The operation unit 32 outputs an operation signal corresponding to the accepted operation on the moving body 10 to the display information creation device 40. The operation unit 32 can accept, for example, an operation to edit the screen setting data stored in the screen setting data storage unit 62 of the screen setting unit 60. The operation unit 32 outputs an operation signal corresponding to the accepted operation on the display information creation device 40 to the display information creation device 40. The operation unit 32 can be realized, for example, by a physical switch, a keyboard, or a touch panel provided on the display unit 34. In the example shown in FIG. 1, the operation unit 32 is realized by a keyboard connected to the display information creation device 40 by wire or wirelessly.
表示部34は、種々の映像を表示する表示画面36を含む。表示部34は、例えば、点群データ及び色データを合成した色付点群データ、色付点群データを合成した三次元地図データ、映像データを含む表示情報を表示画面36に表示する。表示部34は、後述する表示情報作成装置40の表示情報出力部58から出力された表示情報の映像信号に基づいて、表示情報作成装置40によって作成された表示情報を表示する。
The display unit 34 includes a display screen 36 that displays various images. The display unit 34 displays, for example, colored point cloud data obtained by combining point cloud data and color data, three-dimensional map data obtained by combining colored point cloud data, and display information including video data on the display screen 36. The display unit 34 displays the display information created by the display information creation device 40 based on a video signal of the display information output from a display information output unit 58 of the display information creation device 40, which will be described later.
表示部34は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等を含む表示装置である。表示部34は、操作部32を含むタッチパネルを含んでもよい。表示部34は、表示情報作成装置40と一体形成されてもよい。表示部34の表示形式は、オペレータが五感により認識可能である他の形式を含んでもよい。表示部34は、例えば、音によって予め定める通知情報を通知するスピーカ、光によって予め定める通知情報を通知する発光装置等を含んでもよい。
The display unit 34 is a display device including, for example, a liquid crystal display or an organic EL (Electro Luminescence) display. The display unit 34 may include a touch panel including the operation unit 32. The display unit 34 may be formed integrally with the display information creation device 40. The display format of the display unit 34 may include other formats that can be recognized by the operator using the five senses. The display unit 34 may include, for example, a speaker that notifies predetermined notification information by sound, a light-emitting device that notifies predetermined notification information by light, etc.
表示情報作成装置40は、オペレータに対して三次元地図データを含む表示情報の表示を行うとともに、表示システム1のメインサーバとして機能する。また、表示情報作成装置40は、三次元地図データを作成する地図作成装置としても機能する。表示情報作成装置40は、各種の制御プログラム及び各種の制御処理に用いられるデータを記憶する記憶装置と、予め定められる制御プログラムを実行する演算処理装置と、通信手段としての入出力インターフェース装置と、を含む。
The display information creation device 40 displays display information including three-dimensional map data to the operator, and functions as the main server of the display system 1. The display information creation device 40 also functions as a map creation device that creates three-dimensional map data. The display information creation device 40 includes a storage device that stores various control programs and data used in various control processes, an arithmetic processing device that executes predetermined control programs, and an input/output interface device as a communication means.
表示情報作成装置40は、例えば、移動体10の測定装置20に所定領域2における周辺環境の各種情報を測定させるとともに、通信ネットワーク4を介して測定させた点群データ、色データ及び位置情報を含む各種情報を取得する。表示情報作成装置40は、例えば、取得した所定領域2における周辺環境の点群データ及び色データに基づいて、色付点群データを作成する。表示情報作成装置40は、例えば、色付点群データと、取得した移動体10の位置情報とに基づいて、三次元地図データを作成する。表示情報作成装置40は、例えば、オペレータにより操作部32から設定された表示画面36の画面設定データに基づいて、三次元地図データを含む表示情報を作成するとともに、表示情報を表示部34に出力する。
The display information creation device 40, for example, causes the measuring device 20 of the mobile object 10 to measure various information of the surrounding environment in the specified area 2, and acquires various information including the measured point cloud data, color data, and position information via the communication network 4. The display information creation device 40 creates colored point cloud data, for example, based on the acquired point cloud data and color data of the surrounding environment in the specified area 2. The display information creation device 40 creates three-dimensional map data, for example, based on the colored point cloud data and the acquired position information of the mobile object 10. The display information creation device 40 creates display information including three-dimensional map data, for example, based on screen setting data of the display screen 36 set by the operator from the operation unit 32, and outputs the display information to the display unit 34.
次に、第1実施形態の表示情報作成装置40の内部構成について説明する。図2は、第1実施形態に係る表示情報作成装置40の内部構成を周辺構成とともに示すブロック図である。表示情報作成装置40は、点群データ取得部42と、色データ取得部44と、位置情報取得部46と、映像データ取得部48と、色付点群データ作成部50と、地図データ作成部52と、地図データ記憶部54と、表示情報作成部56と、表示情報出力部58と、画面設定部60と、地図化制御部70と、を含む。
Next, the internal configuration of the display information creation device 40 of the first embodiment will be described. FIG. 2 is a block diagram showing the internal configuration of the display information creation device 40 of the first embodiment together with the peripheral configuration. The display information creation device 40 includes a point cloud data acquisition unit 42, a color data acquisition unit 44, a position information acquisition unit 46, a video data acquisition unit 48, a colored point cloud data creation unit 50, a map data creation unit 52, a map data storage unit 54, a display information creation unit 56, a display information output unit 58, a screen setting unit 60, and a mapping control unit 70.
点群データ取得部42は、移動体10のレーザ測量センサ22が取得した点群データを、通信ネットワーク4(図1参照)を介して所定周期毎に取得する。表示情報作成装置40が点群データ取得部42において取得した点群データは、所定領域2に存在する地物の表面を構成する各点について、移動体10のレーザ測量センサ22が位置する測定点と各点との間の距離情報を含む。点群データ取得部42は、取得した点群データを、色付点群データ作成部50及び地図データ作成部52へ出力する。
The point cloud data acquisition unit 42 acquires the point cloud data acquired by the laser surveying sensor 22 of the mobile body 10 at a predetermined period via the communication network 4 (see FIG. 1). The point cloud data acquired by the display information creation device 40 in the point cloud data acquisition unit 42 includes distance information between each point constituting the surface of a feature existing in the specified area 2 and the measurement point where the laser surveying sensor 22 of the mobile body 10 is located. The point cloud data acquisition unit 42 outputs the acquired point cloud data to the colored point cloud data creation unit 50 and the map data creation unit 52.
色データ取得部44は、移動体10の色データ取得センサ24が取得した色データを、通信ネットワーク4(図1参照)を介して所定周期毎に取得する。表示情報作成装置40が色データ取得部44において取得した色データは、点群データ取得部42が取得した点群データに含まれる各点に対応する色情報を含む。また、表示情報作成装置40が色データ取得部44において取得した色データは、オペレータが良好に認識可能に設定された閾値以上の色情報を含む。なお、色データ取得部44が色データを取得する周期及びタイミングは、点群データ取得部42が点群データを取得する周期及びタイミングと、同一であることが好ましい。色データ取得部44は、取得した色データを、色付点群データ作成部50へ出力する。
The color data acquisition unit 44 acquires the color data acquired by the color data acquisition sensor 24 of the moving body 10 at a predetermined cycle via the communication network 4 (see FIG. 1). The color data acquired by the display information creation device 40 in the color data acquisition unit 44 includes color information corresponding to each point included in the point cloud data acquired by the point cloud data acquisition unit 42. The color data acquired by the display information creation device 40 in the color data acquisition unit 44 includes color information equal to or greater than a threshold value set so that the operator can easily recognize it. Note that the cycle and timing at which the color data acquisition unit 44 acquires the color data are preferably the same as the cycle and timing at which the point cloud data acquisition unit 42 acquires the point cloud data. The color data acquisition unit 44 outputs the acquired color data to the colored point cloud data creation unit 50.
位置情報取得部46は、移動体10の自己位置推定センサ26が取得した位置情報を、通信ネットワーク4(図1参照)を介して所定周期毎に取得する。表示情報作成装置40が位置情報取得部46において取得した位置情報は、例えば、所定領域2に設定される所定の基準点を有する領域座標系において、基準点に対する相対座標として取得される。なお、位置情報取得部46が位置情報を取得する周期及びタイミングは、点群データ取得部42が点群データを取得する周期及びタイミング、及び色データ取得部44が色データを取得する周期及びタイミングと、同一であることが好ましい。位置情報取得部46は、取得した位置情報を、地図データ作成部52へ出力する。
The position information acquisition unit 46 acquires the position information acquired by the self-position estimation sensor 26 of the mobile object 10 at a predetermined cycle via the communication network 4 (see FIG. 1). The position information acquired by the display information creation device 40 in the position information acquisition unit 46 is acquired, for example, as relative coordinates with respect to a predetermined reference point in an area coordinate system having a predetermined reference point set in the predetermined area 2. Note that it is preferable that the cycle and timing at which the position information acquisition unit 46 acquires the position information be the same as the cycle and timing at which the point cloud data acquisition unit 42 acquires point cloud data, and the cycle and timing at which the color data acquisition unit 44 acquires color data. The position information acquisition unit 46 outputs the acquired position information to the map data creation unit 52.
映像データ取得部48は、移動体10の撮像カメラ28が取得した映像データを、通信ネットワーク4(図1参照)を介して取得する。表示情報作成装置40が映像データ取得部48において取得した映像データは、撮像カメラ28の位置を視点とし、所定領域2における移動体10の周辺環境の任意の範囲を撮影した映像データを含む。映像データ取得部48は、取得した映像データを、表示情報作成部56へ出力する。
The video data acquisition unit 48 acquires the video data acquired by the imaging camera 28 of the mobile object 10 via the communication network 4 (see FIG. 1). The video data acquired by the display information creation device 40 in the video data acquisition unit 48 includes video data captured from the viewpoint of the position of the imaging camera 28 and of an arbitrary range of the surrounding environment of the mobile object 10 in the specified area 2. The video data acquisition unit 48 outputs the acquired video data to the display information creation unit 56.
色付点群データ作成部50は、点群データ取得部42が取得した点群データと、色データ取得部44が取得した色データとを合成することによって、色付点群データを作成する。点群データと色データとの合成は、点群データに含まれる各点に対応する色情報を、点群データに付与することで行われる。色付点群データ作成部50は、第1実施形態において、地図化制御部70による三次元地図データの作成指示を取得した場合、色付点群データの作成を開始する。色付点群データ作成部50は、作成した色付点群データを、地図データ作成部52及び表示情報作成部56へ出力する。
The colored point cloud data creation unit 50 creates colored point cloud data by combining the point cloud data acquired by the point cloud data acquisition unit 42 and the color data acquired by the color data acquisition unit 44. The point cloud data and color data are combined by adding color information corresponding to each point contained in the point cloud data to the point cloud data. In the first embodiment, when the colored point cloud data creation unit 50 acquires an instruction to create three-dimensional map data from the mapping control unit 70, it starts creating colored point cloud data. The colored point cloud data creation unit 50 outputs the created colored point cloud data to the map data creation unit 52 and the display information creation unit 56.
地図データ作成部52は、色付点群データ作成部50が作成した色付点群データと、位置情報取得部46が取得した位置情報とに基づいて、三次元地図データを作成する。点群データ取得部42が取得した点群データは、移動体10の測定点から各点までの距離情報として示されている。すなわち、色付点群データ作成部50が作成した色付点群データは、移動体10の慣性座標系で示されている。三次元地図データの作成は、色付点群データを、所定領域2の領域座標系に変換することで行われる。地図データ作成部52は、作成した三次元地図データを、地図データ記憶部54へ出力して記憶させる。地図データ作成部52は、地図データ記憶部54に既に記憶されている三次元地図データに、新たに作成した三次元地図データを合成して記憶させる。
The map data creation unit 52 creates three-dimensional map data based on the colored point cloud data created by the colored point cloud data creation unit 50 and the position information acquired by the position information acquisition unit 46. The point cloud data acquired by the point cloud data acquisition unit 42 is shown as distance information from the measurement point of the moving body 10 to each point. In other words, the colored point cloud data created by the colored point cloud data creation unit 50 is shown in the inertial coordinate system of the moving body 10. The three-dimensional map data is created by converting the colored point cloud data into the area coordinate system of the specified area 2. The map data creation unit 52 outputs the created three-dimensional map data to the map data storage unit 54 for storage. The map data creation unit 52 synthesizes the newly created three-dimensional map data with the three-dimensional map data already stored in the map data storage unit 54 and stores it.
地図データ記憶部54は、地図データ作成部52が作成した三次元地図データを一時的に記憶する。一時的にとは、例えば、表示システム1が終了するまで、又はオペレータが所定の記憶消去操作をするまで等の時間的範囲を示す。また、地図データ記憶部54は、地図データ作成部52が作成した三次元地図データを、既に記憶された三次元地図データに追加して記憶する。すなわち、地図データ記憶部54に記憶される三次元地図データは、所定周期毎に取得及び作成され、随時領域座標系に変換された色付点群データの集合体である。地図データ記憶部54は、更新された三次元地図データを、表示情報作成部56へ出力する。
The map data storage unit 54 temporarily stores the three-dimensional map data created by the map data creation unit 52. "Temporarily" refers to a time range such as until the display system 1 is terminated or until the operator performs a specified memory deletion operation. The map data storage unit 54 also stores the three-dimensional map data created by the map data creation unit 52 in addition to the three-dimensional map data already stored. In other words, the three-dimensional map data stored in the map data storage unit 54 is a collection of colored point cloud data that is acquired and created at a predetermined cycle and converted into an area coordinate system as needed. The map data storage unit 54 outputs the updated three-dimensional map data to the display information creation unit 56.
表示情報作成部56は、画面設定部60の画面設定データ記憶部62に記憶された表示設定に基づいて、三次元地図データを含む表示情報を作成する。表示情報は、色付点群データの画像又は映像データの映像を含んでもよい。表示情報は、例えば、物理的な表示装置(第1実施形態における表示部34の表示画面36)において、表示する画面数及び各画面の表示サイズ等の画面構成の情報を含む。表示情報は、例えば、各画面に表示するデータの種類を含む。データの種類とは、三次元地図データ、三次元地図データを表示させる所定視点の位置情報及び方向情報、色付点群データの画像及び映像データの映像を含む。移動体10が複数の撮像カメラ28を備える場合、映像データは、複数の映像データを含む。三次元地図データは、画面設定データに設定されている視点の設定に基づいて、所定視点によって特定される地図として表示可能なデータである。三次元地図データは、画面設定データが複数の視点の設定を有する場合、各々の視点によって特定される複数の地図として表示可能である。表示情報作成部56は、作成した表示情報を、表示情報出力部58へ出力する。
The display information creation unit 56 creates display information including three-dimensional map data based on the display settings stored in the screen setting data storage unit 62 of the screen setting unit 60. The display information may include an image of the colored point cloud data or a video of the video data. The display information includes, for example, information on the screen configuration such as the number of screens to be displayed and the display size of each screen in a physical display device (the display screen 36 of the display unit 34 in the first embodiment). The display information includes, for example, the type of data to be displayed on each screen. The type of data includes three-dimensional map data, position information and direction information of a specific viewpoint for displaying the three-dimensional map data, an image of the colored point cloud data, and a video of the video data. If the moving body 10 is equipped with multiple imaging cameras 28, the video data includes multiple video data. The three-dimensional map data is data that can be displayed as a map specified by a specific viewpoint based on the setting of the viewpoint set in the screen setting data. If the screen setting data has multiple viewpoint settings, the three-dimensional map data can be displayed as multiple maps specified by each viewpoint. The display information creation unit 56 outputs the created display information to the display information output unit 58.
表示情報出力部58は、表示情報作成部56が作成した表示情報を、表示部34へ出力し、画面設定部60の画面設定データ記憶部62に記憶された画面設定データに基づいて、三次元地図データを含む表示情報を、表示設定に基づく表示形式で表示画面36に表示させる。この際、三次元地図データは、画面設定データに設定された所定視点の位置情報及び方向情報によって特定される地図として表示される。すなわち、三次元地図データは、所定視点で二次元に射影した地図として表示画面36に表示される。なお、三次元地図データを表示させる所定視点は、表示画面36への表示中に、オペレータの操作等によって適宜変更可能であってもよい。表示情報が色付点群データを含む場合、表示情報出力部58は、色付点群データの画像を表示設定に基づく表示形式で表示画面36に表示させる。表示情報が映像データを含む場合、表示情報出力部58は、映像データの映像を表示設定に基づく表示形式で表示画面36に表示させる。
The display information output unit 58 outputs the display information created by the display information creation unit 56 to the display unit 34, and displays the display information including the three-dimensional map data on the display screen 36 in a display format based on the display settings based on the screen setting data stored in the screen setting data storage unit 62 of the screen setting unit 60. At this time, the three-dimensional map data is displayed as a map specified by the position information and direction information of the specified viewpoint set in the screen setting data. That is, the three-dimensional map data is displayed on the display screen 36 as a map projected two-dimensionally from the specified viewpoint. Note that the specified viewpoint for displaying the three-dimensional map data may be appropriately changed by the operation of the operator during display on the display screen 36. When the display information includes colored point cloud data, the display information output unit 58 displays an image of the colored point cloud data on the display screen 36 in a display format based on the display settings. When the display information includes video data, the display information output unit 58 displays the video of the video data on the display screen 36 in a display format based on the display settings.
画面設定部60は、表示部34の表示画面36の表示形式に関する画面設定データの管理を行う。画面設定部60は、画面設定データの設定値の組み合わせを含む表示設定を設定可能である。画面設定データは、例えば、物理的な表示装置(第1実施形態における表示部34の表示画面36)における、表示する画面数及び各画面の表示サイズ等の画面構成設定、各画面に表示するデータの種類の設定、三次元地図データを表示画面36に表示する際の視点の設定等の表示形式を含む。
The screen setting unit 60 manages screen setting data related to the display format of the display screen 36 of the display unit 34. The screen setting unit 60 can set display settings including a combination of setting values of the screen setting data. The screen setting data includes, for example, display formats such as screen configuration settings such as the number of screens to be displayed and the display size of each screen in the physical display device (the display screen 36 of the display unit 34 in the first embodiment), settings for the type of data to be displayed on each screen, and settings for the viewpoint when displaying three-dimensional map data on the display screen 36.
画面設定部60では、例えば、三次元地図データを表示部34の表示画面36に地図として表示する際の視点を設定可能である。視点の設定項目は、視点の基点となる位置情報と、視点を基点として視る方向の方向情報と、を含む。視点の設定項目は、例えば、X座標、Y座標及びZ座標と、各々の3軸回りの方向情報と、が設定可能である。画面設定部60では、例えば、表示部34の表示画面36の画面数及び各画面の表示サイズ等の画面構成を設定可能である。画面設定部60では、例えば、表示部34の複数の表示画面36に、三次元地図データの異なる視点によって特定される地図をそれぞれ表示させる表示設定を設定可能である。画面設定部60では、例えば、表示部34の複数の表示画面36に、三次元地図データの所定視点によって特定される地図と、色付点群データの画像と、映像データの映像と、をそれぞれ表示させる表示設定を設定可能である。画面設定部60は、画面設定データ記憶部62と、画面設定データ記憶制御部64と、画面設定データ編集指示取得部66と、を含む。
In the screen setting unit 60, for example, a viewpoint can be set when the three-dimensional map data is displayed as a map on the display screen 36 of the display unit 34. The viewpoint setting items include position information that is the base point of the viewpoint, and directional information of the direction in which the viewpoint is used as the base point. The viewpoint setting items can be set, for example, the X coordinate, the Y coordinate, and the Z coordinate, and directional information about each of the three axes. In the screen setting unit 60, for example, a screen configuration such as the number of screens of the display screen 36 of the display unit 34 and the display size of each screen can be set. In the screen setting unit 60, for example, a display setting can be set to display maps specified by different viewpoints of the three-dimensional map data on the multiple display screens 36 of the display unit 34. In the screen setting unit 60, for example, a display setting can be set to display a map specified by a specific viewpoint of the three-dimensional map data, an image of the colored point cloud data, and an image of the video data on the multiple display screens 36 of the display unit 34. The screen setting unit 60 includes a screen setting data storage unit 62, a screen setting data storage control unit 64, and a screen setting data editing instruction acquisition unit 66.
画面設定データ記憶部62は、画面設定データを記憶する。画面設定データ記憶部62は、表示設定リストと、直近設定リストと、を有する。
The screen setting data storage unit 62 stores screen setting data. The screen setting data storage unit 62 has a display setting list and a most recent setting list.
表示設定リストは、各種の画面設定データの設定値の組み合わせを含む表示設定と、表示設定の名称がリスト化されて記録されたデータである。表示設定の名称は、数字で構成されたリスト番号、及び文字列で構成されたリスト名の少なくともいずれかを含む。リスト番号及びリスト名は、表示設定リストの保存時に、画面設定部60において自動的に割り当てられた一意な数字及び文字列であってもよいし、オペレータによって操作部32等から入力された数字及び文字列であってもよい。表示設定リストの各々の表示設定は、オペレータの操作によって追加、編集又は削除される。表示設定リストの各々の表示設定は、オペレータの操作によって削除されるまで、画面設定データ記憶部62に記録されたまま残される。
The display setting list is data in which display settings, including combinations of setting values for various screen setting data, and the names of the display settings are listed and recorded. The names of the display settings include at least one of a list number consisting of numbers and a list name consisting of character strings. The list number and list name may be unique numbers and character strings automatically assigned by the screen setting unit 60 when the display setting list is saved, or may be numbers and character strings input by the operator from the operation unit 32 or the like. Each display setting in the display setting list is added, edited, or deleted by the operator's operation. Each display setting in the display setting list remains recorded in the screen setting data storage unit 62 until it is deleted by the operator's operation.
直近設定リストは、過去の表示設定が一時的に記録されたデータである。直近設定リストの各々の表示設定は、オペレータの操作によって追加、編集又は削除される。直近設定リストは、所定容量に達した状態で、新たな過去の表示設定が追加された場合、最も古い表示設定から順に画面設定データ記憶部62から自動的に削除される。所定容量とは、例えば、予め設定された直近設定リストの最大容量である。
The most recent settings list is data in which past display settings are temporarily recorded. Each display setting in the most recent settings list is added, edited, or deleted by the operator's operation. When the most recent settings list reaches a specified capacity and a new past display setting is added, the oldest display setting is automatically deleted from the screen setting data storage unit 62. The specified capacity is, for example, the maximum capacity of the most recent settings list that is set in advance.
画面設定データ記憶部62は、表示設定リスト及び直近設定リストの表示設定のうち、オペレータの操作によって選択されている表示設定を、表示情報作成部56へ出力する。オペレータは、表示設定リスト及び直近設定リストの表示設定を、表示設定の名称によって指定することができる。これにより、各種の画面設定データの設定値を一から入力することなく、三次元地図データを含む表示情報を、所望の視点によって特定される地図として表示するための表示設定で表示部34に表示させることができる。
The screen setting data storage unit 62 outputs the display setting selected by the operator's operation from among the display settings of the display setting list and the most recent setting list to the display information creation unit 56. The operator can specify the display setting of the display setting list and the most recent setting list by the name of the display setting. This makes it possible to display the display information including the three-dimensional map data on the display unit 34 with the display setting for displaying it as a map specified by the desired viewpoint, without having to input the setting values of various screen setting data from scratch.
画面設定データ記憶制御部64は、画面設定データ編集指示取得部66がオペレータによる操作部32からの操作信号を取得した場合、取得した操作信号に応じて、画面設定データ記憶部62の表示設定リスト又は直近設定リストを編集する。
When the screen setting data editing instruction acquisition unit 66 acquires an operation signal from the operation unit 32 by the operator, the screen setting data storage control unit 64 edits the display setting list or the most recent setting list in the screen setting data storage unit 62 in response to the acquired operation signal.
画面設定データ編集指示取得部66は、オペレータによる操作部32から、画面設定データ記憶部62に記憶された画面設定データを編集する指示を含む操作信号を取得する。画面設定データ編集指示取得部66は、取得した操作信号に応じた画面設定データの編集指示を、画面設定データ記憶制御部64へ出力する。
The screen setting data editing instruction acquisition unit 66 acquires an operation signal including an instruction to edit the screen setting data stored in the screen setting data storage unit 62 from the operator's operation unit 32. The screen setting data editing instruction acquisition unit 66 outputs an instruction to edit the screen setting data according to the acquired operation signal to the screen setting data storage control unit 64.
地図化制御部70は、色付点群データ作成部50に、三次元地図データの作成開始及び作成終了を指示する制御信号を出力する。地図化制御部70は、例えば、オペレータの操作部32への操作に基づいて三次元地図データの作成開始及び作成終了を指示してもよい。地図化制御部70は、例えば、取得した移動体10の位置情報に基づいて、移動体10が予め設定された所定領域2に進入した場合、三次元地図データの作成開始を指示してもよい。
The mapping control unit 70 outputs a control signal to the colored point cloud data creation unit 50 to instruct the start and end of creation of three-dimensional map data. The mapping control unit 70 may, for example, instruct the start and end of creation of three-dimensional map data based on an operator's operation on the operation unit 32. The mapping control unit 70 may, for example, instruct the start of creation of three-dimensional map data when the mobile body 10 enters a predetermined area 2 based on the acquired position information of the mobile body 10.
なお、表示情報作成装置40の上記の各構成要素は、互いに共通の演算処理装置、記憶装置又は通信インターフェースを備えていてもいいし、それぞれ複数の場所に離れて配置されていてもよい。例えば、表示情報作成装置40は、地図作成装置と、画面設定装置と、表示制御装置と、にそれぞれ分割して構成されてもよい。地図作成装置は、点群データ取得部42、色データ取得部44、位置情報取得部46、映像データ取得部48、色付点群データ作成部50、地図データ作成部52、地図データ記憶部54及び地図化制御部70を含む。画面設定装置は、画面設定部60を含む。表示制御装置は、表示情報作成部56及び表示情報出力部58を含む。
The above-mentioned components of the display information creation device 40 may share a common arithmetic processing device, storage device, or communication interface, or may be located separately in multiple locations. For example, the display information creation device 40 may be configured by dividing it into a map creation device, a screen setting device, and a display control device. The map creation device includes a point cloud data acquisition unit 42, a color data acquisition unit 44, a position information acquisition unit 46, an image data acquisition unit 48, a colored point cloud data creation unit 50, a map data creation unit 52, a map data storage unit 54, and a mapping control unit 70. The screen setting device includes a screen setting unit 60. The display control device includes a display information creation unit 56 and a display information output unit 58.
次に、所定領域2を移動する移動体10による色付点群データの取得範囲を説明する。図3は、移動体10による点群データの取得範囲を示す説明図である。図3に示す一例においては、移動体10が、所定領域2において、進行方向(図3における右方)に対して右方(図3における下方)に配備される地物X1及び地物X2の間に後進で進入する動作を行う。地物X1及び地物X2は、移動体10の測定装置20による測定範囲を遮る程度に移動体10に対して背の高い構造物とする。また、移動体10のレーザ測量センサ22及び色データ取得センサ24は、移動体10の前後左右にそれぞれ設けられる。また、色データ取得センサ24による色データが取得可能な範囲は、レーザ測量センサ22によるセンサ有効範囲Sを含むものとする。なお、レーザ測量センサ22のセンサ有効範囲Sは、本発明では図3に示す角度及び有効距離に限定されない。
Next, the acquisition range of colored point cloud data by the mobile body 10 moving in the specified area 2 will be described. FIG. 3 is an explanatory diagram showing the acquisition range of point cloud data by the mobile body 10. In the example shown in FIG. 3, the mobile body 10 moves backwards in the specified area 2 to enter between features X1 and X2 that are located to the right (lower in FIG. 3) of the direction of travel (right in FIG. 3). Features X1 and X2 are structures that are taller than the mobile body 10 so as to block the measurement range of the measurement device 20 of the mobile body 10. The laser surveying sensor 22 and the color data acquisition sensor 24 of the mobile body 10 are provided on the front, rear, left and right sides of the mobile body 10, respectively. The range in which color data can be acquired by the color data acquisition sensor 24 includes the sensor effective range S of the laser surveying sensor 22. In the present invention, the sensor effective range S of the laser surveying sensor 22 is not limited to the angle and effective distance shown in FIG. 3.
図3のステップST1からステップST5に示す図において、移動体10の現在の位置におけるセンサ有効範囲Sにおいて取得した点群データの各点を黒丸で示す。また、移動体10の過去のセンサ有効範囲Sにおいて取得した点群データの各点を白丸で示す。
In the diagrams shown in steps ST1 to ST5 of FIG. 3, each point of the point cloud data acquired within the sensor effective range S at the current position of the mobile body 10 is indicated by a black circle. Also, each point of the point cloud data acquired within the sensor effective range S of the mobile body 10 in the past is indicated by a white circle.
ステップST1において、移動体10は、進行方向に対して右方に地物X1が配備される位置にある。ステップST1では、地物X1の移動体10側の側面の一部、及び地物X2の移動体10寄りの角部の点群データを取得する。
In step ST1, the moving body 10 is in a position where feature X1 is located to the right of the moving body 10's direction of travel. In step ST1, point cloud data is acquired for a portion of the side of feature X1 facing the moving body 10, and for a corner of feature X2 closer to the moving body 10.
ステップST2において、移動体10は、ステップST1の位置よりも前進した位置に移動する。ステップST2では、地物X1及び地物X2においてステップST1で点群データを取得した位置よりも前方に位置する側面の一部の点群データを取得する。
In step ST2, the mobile body 10 moves to a position further forward than the position in step ST1. In step ST2, point cloud data is acquired for a portion of the side of feature X1 and feature X2 that is located forward of the position where the point cloud data was acquired in step ST1.
ステップST3及びステップST4において、移動体10は、進行方向に対して右方に地物X1と地物X2との間が開けた位置に移動する。ステップST3及びステップST4では、地物X1の地物X2側の側面、及び地物X2の地物X1側の側面の点群データを取得する。
In steps ST3 and ST4, the mobile body 10 moves to a position to the right of the traveling direction where there is an opening between feature X1 and feature X2. In steps ST3 and ST4, point cloud data is acquired for the side of feature X1 facing feature X2 and the side of feature X2 facing feature X1.
ステップST5において、移動体10は、地物X2の左方を通過して、左方側に若干旋回した状態で停止する。この後、移動体10は、後進しながら、地物X1及び地物X2の間に進入する。ステップST5の位置では、地物X1及び地物X2の間に移動体10からの死角BSが存在する。しかしながら、ステップST3及びステップST4において、地物X1及び地物X2の間の点群データを取得しているので、表示情報作成装置40は、死角BS部分も含む三次元地図データを作成できる。したがって、表示情報作成装置40は、死角BS部分も含む地図として表示可能な三次元地図データを表示情報として出力することができる。
In step ST5, the mobile body 10 passes to the left of feature X2 and stops after turning slightly to the left. After this, the mobile body 10 moves backward and enters between feature X1 and feature X2. At the position of step ST5, a blind spot BS from the mobile body 10 exists between feature X1 and feature X2. However, since point cloud data between feature X1 and feature X2 has been acquired in steps ST3 and ST4, the display information creation device 40 can create three-dimensional map data that also includes the blind spot BS portion. Therefore, the display information creation device 40 can output three-dimensional map data that can be displayed as a map that also includes the blind spot BS portion as display information.
次に、作成した三次元地図データについて、表示部34の表示画面36に所定視点によって特定される地図として表示させる際の視点の設定について説明する。図4は、三次元地図データを表示する際の視点の位置及び方向の一例を示す模式図である。図4に示す一例においては、移動体10の進行方向の前方に地物Y1及び地物Y2が配備されるものとする。また、移動体10のレーザ測量センサ22及び色データ取得センサ24は、移動体10の前方に設けられる。また、色データ取得センサ24による色データが取得可能な範囲は、レーザ測量センサ22によるセンサ有効範囲Sを含むものとする。
Next, the setting of the viewpoint when the created three-dimensional map data is displayed on the display screen 36 of the display unit 34 as a map specified by a specific viewpoint will be described. FIG. 4 is a schematic diagram showing an example of the position and direction of the viewpoint when displaying three-dimensional map data. In the example shown in FIG. 4, it is assumed that features Y1 and Y2 are placed ahead of the moving body 10 in the direction of travel. Furthermore, the laser surveying sensor 22 and color data acquisition sensor 24 of the moving body 10 are provided ahead of the moving body 10. Furthermore, it is assumed that the range in which color data can be acquired by the color data acquisition sensor 24 includes the sensor effective range S of the laser surveying sensor 22.
図4に示すように、移動体10のレーザ測量センサ22では、センサ有効範囲S内の地物Y1の表面を構成する各点の点群データは取得可能だが、センサ有効範囲S外の地物Y2の表面を構成する各点の点群データは取得できない。しかしながら、地物Y2が過去にセンサ有効範囲Sに入っており、地物Y2の表面を構成する各点の点群データが取得されていた場合、表示情報作成装置40は、地物Y2を含む三次元地図データを記憶している。
As shown in FIG. 4, the laser surveying sensor 22 of the mobile body 10 can acquire point cloud data for each point constituting the surface of feature Y1 within the sensor effective range S, but cannot acquire point cloud data for each point constituting the surface of feature Y2 outside the sensor effective range S. However, if feature Y2 was previously within the sensor effective range S and point cloud data for each point constituting the surface of feature Y2 was acquired, the display information creation device 40 stores three-dimensional map data including feature Y2.
ここで、移動体10のレーザ測量センサ22及び色データ取得センサ24の測定位置及び測定方向を、図4において、実センサRPの位置及び方向で示す。実センサRPは、移動体10の移動に伴って移動するが、移動体10に対する相対的な位置及び測定方向は変化しない。
Here, the measurement position and measurement direction of the laser survey sensor 22 and color data acquisition sensor 24 of the moving body 10 are shown by the position and direction of the real sensor RP in FIG. 4. The real sensor RP moves in conjunction with the movement of the moving body 10, but the relative position and measurement direction with respect to the moving body 10 do not change.
表示情報作成装置40は、過去から現在までの実センサRP以外の仮想センサVP1及び仮想センサVP2等を視点とする地図として表示可能な三次元地図データを作成可能である。仮想センサVP1は、地物Y1及び地物Y2に対する俯瞰視点を示す。仮想センサVP2は、地物Y1及び地物Y2に対する仰視視点を示す。三次元地図データを所定視点によって特定される地図として表示する際の視点は、進行方向の前方から後方を視る視点等でもよい。
The display information creation device 40 can create three-dimensional map data that can be displayed as a map with viewpoints of virtual sensors VP1 and VP2 other than the real sensor RP from the past to the present. Virtual sensor VP1 indicates an overhead viewpoint for features Y1 and Y2. Virtual sensor VP2 indicates an upward viewpoint for features Y1 and Y2. The viewpoint when displaying three-dimensional map data as a map specified by a specific viewpoint may be a viewpoint looking backward from the front in the direction of travel, etc.
なお、三次元地図データを所定視点によって特定される地図として表示する方法には、三次元のデータに対して任意の視点に対する二次元の画像データとして射影して画面表示する公知の方法を用いることができる。
In addition, a known method can be used to display three-dimensional map data as a map specified by a specific viewpoint, in which the three-dimensional data is projected as two-dimensional image data for an arbitrary viewpoint and displayed on a screen.
表示情報作成装置40は、過去から現在までのセンサ有効範囲Sから取得された点群データ及び色データに基づいて作成した三次元地図データを、各々の視点によって特定される地図として表示させることができるので、移動体10の動作に適した周辺環境の情報をオペレータに提示することができる。
The display information creation device 40 can display three-dimensional map data created based on point cloud data and color data acquired from the sensor effective range S from the past to the present as a map specific to each viewpoint, thereby presenting the operator with information about the surrounding environment suitable for the operation of the mobile body 10.
次に、表示設定に基づいて表示される表示画面36の一例について説明する。図5は、表示画面36の一例を示す模式図である。図5に示す一例において、表示画面36は、第1表示画面361と、第2表示画面362と、第3表示画面363と、第4表示画面364と、に分割される。
Next, an example of the display screen 36 displayed based on the display settings will be described. FIG. 5 is a schematic diagram showing an example of the display screen 36. In the example shown in FIG. 5, the display screen 36 is divided into a first display screen 361, a second display screen 362, a third display screen 363, and a fourth display screen 364.
第1表示画面361は、図5に示す一例において、表示画面36の左上の領域に設けられる。第1表示画面361は、第2表示画面362、第3表示画面363及び第4表示画面364より画面サイズが大きい。第1表示画面361には、表示設定に基づいて、例えば、三次元地図データの所定視点によって特定される地図が表示される。
In the example shown in FIG. 5, the first display screen 361 is provided in the upper left area of the display screen 36. The first display screen 361 has a larger screen size than the second display screen 362, the third display screen 363, and the fourth display screen 364. Based on the display settings, the first display screen 361 displays, for example, a map identified by a specific viewpoint of three-dimensional map data.
第2表示画面362は、図5に示す一例において、表示画面36の右上の領域に設けられる。第2表示画面362は、第1表示画面361より画面サイズが小さい。第2表示画面362には、表示設定に基づいて、例えば、第1表示画面361に表示された地図の視点とは異なる視点によって特定される地図が表示される。
In the example shown in FIG. 5, the second display screen 362 is provided in the upper right region of the display screen 36. The second display screen 362 has a smaller screen size than the first display screen 361. Based on the display settings, the second display screen 362 displays, for example, a map that is specified by a viewpoint different from the viewpoint of the map displayed on the first display screen 361.
第3表示画面363は、図5に示す一例において、表示画面36の右下の領域に設けられる。第3表示画面363は、第1表示画面361より画面サイズが小さい。第3表示画面363には、表示設定に基づいて、例えば、実際のレーザ測量センサ22の位置を視点とする色付点群データの画像が表示される。
In the example shown in FIG. 5, the third display screen 363 is provided in the lower right area of the display screen 36. The third display screen 363 has a smaller screen size than the first display screen 361. Based on the display settings, the third display screen 363 displays, for example, an image of colored point cloud data with the actual position of the laser survey sensor 22 as the viewpoint.
第4表示画面364は、図5に示す一例において、表示画面36の左下の領域に設けられる。第4表示画面364は、第4表示画面364には、例えば、その他の移動体10に関する情報が表示される。
In the example shown in FIG. 5, the fourth display screen 364 is provided in the lower left area of the display screen 36. The fourth display screen 364 displays, for example, information related to other mobile objects 10.
表示画面36の画面数及び各画面の表示サイズ等の画面構成、それぞれの画面に表示させる地図又は画像の種類、地図の視点位置等は、図5に示す一例に限定されず、画面設定部60において画面設定データの設定値の組み合わせを含む表示設定として種々設定できる。
The number of screens on the display screen 36, the screen configuration such as the display size of each screen, the type of map or image to be displayed on each screen, the viewpoint position of the map, etc. are not limited to the example shown in FIG. 5, and can be set in various ways as display settings including combinations of setting values of the screen setting data in the screen setting unit 60.
次に、第1実施形態の表示情報作成装置40による表示情報の作成処理を含む表示方法について説明する。図6は、第1実施形態に係る表示情報作成装置40の処理の一例を示すフローチャートである。図6に示す処理は、表示情報作成装置40が予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40は、例えば、地図化制御部70が、オペレータの操作部32への操作に基づいて三次元地図データの作成開始を指示する制御信号を、色付点群データ作成部50に出力することによって、図6に示すステップST200に移行して処理を開始する。
Next, a display method including a display information creation process by the display information creation device 40 of the first embodiment will be described. FIG. 6 is a flowchart showing an example of the process of the display information creation device 40 of the first embodiment. The process shown in FIG. 6 is executed by the display information creation device 40 based on a predetermined control program and data. The display information creation device 40 transitions to step ST200 shown in FIG. 6 and starts the process, for example, when the mapping control unit 70 outputs a control signal to the colored point cloud data creation unit 50 based on an operation of the operator on the operation unit 32, instructing the start of creation of three-dimensional map data.
表示情報作成装置40は、三次元地図データを初期化する(ステップST200)。より詳しくは、表示情報作成装置40は、地図データ記憶部54に記憶された三次元地図データを削除して、新規の三次元地図データが作成可能であるように初期化する。表示情報作成装置40は、ステップST202に移行する。
The display information creation device 40 initializes the three-dimensional map data (step ST200). More specifically, the display information creation device 40 deletes the three-dimensional map data stored in the map data storage unit 54, and initializes the data so that new three-dimensional map data can be created. The display information creation device 40 proceeds to step ST202.
表示情報作成装置40は、表示設定を参照する(ステップST202)。具体的には、表示情報作成部56は、画面設定データ記憶部62に記憶された画面設定データを参照して、表示設定リスト及び直近設定リストの表示設定のうち選択されている表示設定を取得して一時的に記憶する。表示情報作成装置40は、ステップST206に移行する。
The display information creation device 40 refers to the display settings (step ST202). Specifically, the display information creation unit 56 refers to the screen setting data stored in the screen setting data storage unit 62, acquires the display settings selected from the display settings in the display setting list and the most recent setting list, and temporarily stores them. The display information creation device 40 proceeds to step ST206.
表示情報作成装置40は、点群データを取得する(ステップST206)。具体的には、点群データ取得部42は、移動体10のレーザ測量センサ22が取得した点群データを、通信ネットワーク4を介して取得する。この際、点群データ取得部42は、所定領域2において、測定時の位置における移動体10のセンサ有効範囲Sに相当する点群データを取得する。点群データ取得部42は、取得した点群データを、色付点群データ作成部50及び地図データ作成部52へ出力する。表示情報作成装置40は、ステップST208に移行する。
The display information creation device 40 acquires point cloud data (step ST206). Specifically, the point cloud data acquisition unit 42 acquires the point cloud data acquired by the laser survey sensor 22 of the mobile body 10 via the communication network 4. At this time, the point cloud data acquisition unit 42 acquires point cloud data in the specified area 2 that corresponds to the sensor effective range S of the mobile body 10 at the position at the time of measurement. The point cloud data acquisition unit 42 outputs the acquired point cloud data to the colored point cloud data creation unit 50 and the map data creation unit 52. The display information creation device 40 proceeds to step ST208.
表示情報作成装置40は、色データを取得する(ステップST208)。具体的には、色データ取得部44は、移動体10の色データ取得センサ24が取得した色データを、通信ネットワーク4を介して取得する。この際、色データ取得部44は、所定領域2において、ステップST206で点群データを取得した位置における移動体10のセンサ有効範囲Sに相当する色データを取得する。色データ取得部44は、取得した色データを、色付点群データ作成部50へ出力する。表示情報作成装置40は、ステップST210に移行する。
The display information creation device 40 acquires color data (step ST208). Specifically, the color data acquisition unit 44 acquires the color data acquired by the color data acquisition sensor 24 of the moving body 10 via the communication network 4. At this time, the color data acquisition unit 44 acquires color data in the specified area 2 that corresponds to the sensor effective range S of the moving body 10 at the position where the point cloud data was acquired in step ST206. The color data acquisition unit 44 outputs the acquired color data to the colored point cloud data creation unit 50. The display information creation device 40 proceeds to step ST210.
表示情報作成装置40は、位置情報を取得する(ステップST210)。具体的には、位置情報取得部46は、移動体10の自己位置推定センサ26が取得した位置情報を、通信ネットワーク4を介して取得する。この際、位置情報取得部46は、所定領域2において、ステップST206で点群データを取得した位置における移動体10の位置情報を取得する。位置情報は、例えば、所定領域2に設定される所定の基準点を有する領域座標系において、基準点に対する相対座標として取得される。位置情報取得部46は、取得した位置情報を、地図データ作成部52へ出力する。表示情報作成装置40は、ステップST226に移行する。
The display information creation device 40 acquires position information (step ST210). Specifically, the position information acquisition unit 46 acquires the position information acquired by the self-position estimation sensor 26 of the mobile object 10 via the communication network 4. At this time, the position information acquisition unit 46 acquires the position information of the mobile object 10 at the position where the point cloud data was acquired in step ST206 in the specified area 2. The position information is acquired, for example, as relative coordinates with respect to a specified reference point in a region coordinate system having a specified reference point set in the specified area 2. The position information acquisition unit 46 outputs the acquired position information to the map data creation unit 52. The display information creation device 40 proceeds to step ST226.
表示情報作成装置40は、色付点群データを作成する(ステップST226)。具体的には、色付点群データ作成部50は、ステップST206で点群データ取得部42が取得した点群データと、ステップST208で色データ取得部44が取得した色データとを合成することによって、色付点群データを作成する。点群データと色データとの合成は、点群データに含まれる各点に対応する色情報を、点群データに付与することで行われる。色付点群データ作成部50は、作成した色付点群データを、地図データ作成部52及び表示情報作成部56へ出力する。表示情報作成装置40は、ステップST228に移行する。
The display information creation device 40 creates colored point cloud data (step ST226). Specifically, the colored point cloud data creation unit 50 creates colored point cloud data by combining the point cloud data acquired by the point cloud data acquisition unit 42 in step ST206 and the color data acquired by the color data acquisition unit 44 in step ST208. The point cloud data and color data are combined by adding color information corresponding to each point included in the point cloud data to the point cloud data. The colored point cloud data creation unit 50 outputs the created colored point cloud data to the map data creation unit 52 and the display information creation unit 56. The display information creation device 40 proceeds to step ST228.
表示情報作成装置40は、色付点群データを三次元地図データに追加する。具体的には、地図データ作成部52は、ステップST210で位置情報取得部46が取得した位置情報に基づいて、ステップST226で色付点群データ作成部50が作成した色付点群データを所定領域2の領域座標系に変換する。地図データ作成部52は、所定領域2の領域座標系に変換した色付点群データを、三次元地図データとして、地図データ記憶部54へ出力する。地図データ記憶部54は、三次元地図データを記憶する。地図データ記憶部54に既に作成された三次元地図データがある場合、地図データ記憶部54は、新たに作成された三次元地図データを、既に記憶された三次元地図データに追加して記憶する。地図データ記憶部54は、更新された三次元地図データを、表示情報作成部56へ出力する。表示情報作成装置40は、ステップST246に移行する。
The display information creation device 40 adds the colored point cloud data to the three-dimensional map data. Specifically, the map data creation unit 52 converts the colored point cloud data created by the colored point cloud data creation unit 50 in step ST226 into the area coordinate system of the specified area 2 based on the position information acquired by the position information acquisition unit 46 in step ST210. The map data creation unit 52 outputs the colored point cloud data converted into the area coordinate system of the specified area 2 to the map data storage unit 54 as three-dimensional map data. The map data storage unit 54 stores the three-dimensional map data. If the map data storage unit 54 has already created three-dimensional map data, the map data storage unit 54 adds the newly created three-dimensional map data to the already stored three-dimensional map data and stores it. The map data storage unit 54 outputs the updated three-dimensional map data to the display information creation unit 56. The display information creation device 40 proceeds to step ST246.
表示情報作成装置40は、表示設定の変更指示があるか否かを判定する(ステップST246)。画面設定データ記憶部62は、オペレータの操作によって表示設定リスト及び直近設定リストの表示設定のうち、新たに任意の表示設定が選択された場合、新たな表示設定を表示情報作成部56へ出力する。表示情報作成部56は、ステップST246において、表示設定の前回の取得以降、画面設定データ記憶部62から新たな表示設定が出力されたか否かを判定する。前回取得された表示設定とは、ステップST202で参照された表示設定、又はステップST248で更新された表示設定を示す。表示設定の変更指示がある場合(ステップST246;Yes)、表示情報作成装置40は、ステップST248に移行する。表示設定の変更指示がない場合(ステップST246;No)、表示情報作成装置40は、ステップST250に移行する。
The display information creating device 40 determines whether or not there is an instruction to change the display settings (step ST246). When an operator operates to select a new display setting from among the display settings in the display setting list and the most recent setting list, the screen setting data storage unit 62 outputs the new display setting to the display information creating unit 56. In step ST246, the display information creating unit 56 determines whether or not a new display setting has been output from the screen setting data storage unit 62 since the previous acquisition of the display setting. The previously acquired display setting refers to the display setting referenced in step ST202 or the display setting updated in step ST248. If there is an instruction to change the display setting (step ST246; Yes), the display information creating device 40 proceeds to step ST248. If there is no instruction to change the display setting (step ST246; No), the display information creating device 40 proceeds to step ST250.
表示設定の変更指示がある場合(ステップST246;Yes)、表示情報作成装置40は、表示設定を更新する(ステップST248)。具体的には、表示情報作成部56は、前回取得した表示設定に、新たに取得した表示設定を上書きして一時的に記憶する。表示情報作成装置40は、ステップST250に移行する。
If there is an instruction to change the display settings (step ST246; Yes), the display information creation device 40 updates the display settings (step ST248). Specifically, the display information creation unit 56 overwrites the previously acquired display settings with the newly acquired display settings and temporarily stores them. The display information creation device 40 proceeds to step ST250.
表示情報作成装置40は、表示情報を出力する(ステップST250)。具体的には、表示情報作成部56は、一時的に記憶している表示設定に基づいて、三次元地図データを含む表示情報を作成する。三次元地図データは、表示設定に設定されている視点の設定に基づいて、所定視点によって特定される地図として表示可能なデータである。表示設定が所定の表示画面36に色付点群データを表示させる設定を含む場合、表示情報作成部56は、三次元地図データ、三次元地図データを表示させる所定視点の位置情報及び方向情報と、色付点群データの画像とを、各々の表示画面36に表示させる表示情報を作成する。表示情報作成部56は、作成した表示情報を、表示情報出力部58へ出力する。表示情報出力部58は、取得した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。表示情報作成装置40は、ステップST252に移行する。
The display information creation device 40 outputs the display information (step ST250). Specifically, the display information creation unit 56 creates display information including three-dimensional map data based on the temporarily stored display settings. The three-dimensional map data is data that can be displayed as a map specified by a specific viewpoint based on the viewpoint setting set in the display settings. When the display settings include a setting to display colored point cloud data on a specific display screen 36, the display information creation unit 56 creates display information that displays the three-dimensional map data, the position information and direction information of the specific viewpoint for displaying the three-dimensional map data, and an image of the colored point cloud data on each display screen 36. The display information creation unit 56 outputs the created display information to the display information output unit 58. The display information output unit 58 displays the acquired display information on the display screen 36 of the display unit 34 in a display format based on the display settings. The display information creation device 40 proceeds to step ST252.
表示情報作成装置40は、表示システム1が終了されたか否かを判定する(ステップST252)。具体的には、表示情報作成装置40は、例えば、オペレータによる操作部32への操作によって、表示システム1を終了させる操作信号を取得したか否かを判定する。表示システム1が終了された場合(ステップST252;Yes)、表示情報作成装置40は、図6に示すフローチャートの処理を終了する。表示システム1が終了されていない場合(ステップST252;No)、表示情報作成装置40は、ステップST206に戻り、ステップST206からステップST250までの処理を繰り返し実行する。
The display information creating device 40 determines whether the display system 1 has been terminated (step ST252). Specifically, the display information creating device 40 determines whether an operation signal for terminating the display system 1 has been acquired, for example, by an operator operating the operation unit 32. If the display system 1 has been terminated (step ST252; Yes), the display information creating device 40 terminates the processing of the flowchart shown in FIG. 6. If the display system 1 has not been terminated (step ST252; No), the display information creating device 40 returns to step ST206 and repeatedly executes the processing from step ST206 to step ST250.
表示情報作成装置40は、ステップST206からステップST228までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40は、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40は、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
The display information creation device 40 acquires the three-dimensional map data created in the processes from step ST206 to step ST228 in succession over time, and synthesizes each piece of three-dimensional map data. At this time, each piece of synthesized three-dimensional map data is unified into a common coordinate system. The display information creation device 40 creates display information including the synthesized three-dimensional map data based on the display settings set by the screen setting unit 60. The display information creation device 40 displays the created display information on the display screen 36 of the display unit 34 in a display format based on the display settings.
(第2実施形態)
次に、第2実施形態の表示情報作成装置40Aの内部構成について説明する。図7は、第2実施形態に係る表示情報作成装置40Aの内部構成を周辺構成とともに示すブロック図である。なお、第2実施形態の表示情報作成装置40Aにおいて、第1実施形態の表示情報作成装置40と同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
Second Embodiment
Next, the internal configuration of the display information creating device 40A according to the second embodiment will be described. Fig. 7 is a block diagram showing the internal configuration of the display information creating device 40A according to the second embodiment together with the peripheral configuration. In the display information creating device 40A according to the second embodiment, the same components as those in the display information creating device 40 according to the first embodiment will be denoted by the same reference numerals and will not be described as appropriate, and only different components will be described.
第2実施形態の表示情報作成装置40Aは、第1実施形態の表示情報作成装置40と比較して、点群データ取得部42、位置情報取得部46及び地図化制御部70の代わりに、点群データ取得部42A、位置情報取得部46A及び地図化制御部70Aを含む点で異なる。
The display information creation device 40A of the second embodiment differs from the display information creation device 40 of the first embodiment in that it includes a point cloud data acquisition unit 42A, a position information acquisition unit 46A, and a mapping control unit 70A instead of the point cloud data acquisition unit 42, the position information acquisition unit 46, and the mapping control unit 70.
点群データ取得部42Aは、第1実施形態の点群データ取得部42と比較して、さらに、取得した点群データを、色付点群データ作成部50及び地図データ作成部52のみならず、地図化制御部70Aの領域内判定部74へ出力する点で異なる。点群データ取得部42Aの他の構成及び機能は、第1実施形態の点群データ取得部42と同様である。
The point cloud data acquisition unit 42A differs from the point cloud data acquisition unit 42 of the first embodiment in that it outputs the acquired point cloud data not only to the colored point cloud data creation unit 50 and the map data creation unit 52, but also to the area interior determination unit 74 of the mapping control unit 70A. The other configurations and functions of the point cloud data acquisition unit 42A are similar to those of the point cloud data acquisition unit 42 of the first embodiment.
位置情報取得部46Aは、第1実施形態の位置情報取得部46と比較して、さらに、取得した位置情報を、地図データ作成部52へのみならず、地図化制御部70Aの領域内判定部74へ出力する点で異なる。位置情報取得部46Aの他の構成及び機能は、第1実施形態の位置情報取得部46と同様である。
The location information acquisition unit 46A differs from the location information acquisition unit 46 of the first embodiment in that it outputs the acquired location information not only to the map data creation unit 52 but also to the area interior determination unit 74 of the mapping control unit 70A. The other configurations and functions of the location information acquisition unit 46A are similar to those of the location information acquisition unit 46 of the first embodiment.
地図化制御部70Aは、操作部32から取得したオペレータによる三次元地図データの作成開始及び作成終了の指示を含む操作信号に基づいて、色付点群データ作成部50に、三次元地図データの作成開始及び作成終了を指示する制御信号を出力する。地図化制御部70Aは、領域データ記憶部72と、領域内判定部74と、作成開始終了指示部76と、領域データ記憶制御部78と、領域データ編集指示取得部80と、を含む。
The mapping control unit 70A outputs a control signal to the colored point cloud data creation unit 50 to instruct the start and end of the creation of three-dimensional map data based on an operation signal including an instruction from the operator to start and end the creation of three-dimensional map data obtained from the operation unit 32. The mapping control unit 70A includes an area data storage unit 72, an area interior determination unit 74, a creation start/end instruction unit 76, an area data storage control unit 78, and an area data editing instruction acquisition unit 80.
領域データ記憶部72は、領域データを記憶する。領域データは、三次元地図データを含む表示情報の作成対象となる地図作成領域(例えば、図3の所定領域2を参照)の位置情報を含む。領域データ記憶部72に記憶される位置情報は、例えば、経度情報及び緯度情報を含むグローバル座標系で示される。領域データは、第2実施形態において、地図作成領域設定データ、を含む。地図作成領域設定データは、三次元地図データの作成を開始する以前に、予め設定される地図作成領域の位置情報を含む。地図作成領域設定データは、オペレータの操作によって、追加、編集又は削除可能である。領域データ記憶部72は、領域データを領域内判定部74へ出力する。
The area data storage unit 72 stores area data. The area data includes position information of the map creation area (see, for example, the specified area 2 in FIG. 3) for which display information including three-dimensional map data is to be created. The position information stored in the area data storage unit 72 is indicated in a global coordinate system including, for example, longitude information and latitude information. In the second embodiment, the area data includes map creation area setting data. The map creation area setting data includes position information of the map creation area that is set in advance before the start of the creation of the three-dimensional map data. The map creation area setting data can be added, edited, or deleted by the operator's operation. The area data storage unit 72 outputs the area data to the area interior determination unit 74.
領域内判定部74は、位置情報取得部46Aが取得した位置情報に基づいて、点群データ取得部42A取得した点群データを、グローバル座標系に変換する。領域内判定部74は、領域データ記憶部72に記憶される地図作成領域設定データを参照する。領域内判定部74は、グローバル座標系に変換した点群データの各点の位置が、地図作成領域設定データに設定された地図作成領域に含まれるか否かを判定する。領域内判定部74は、地図作成領域内であるか否かの判定結果を、作成開始終了指示部76へ出力する。
The area interior determination unit 74 converts the point cloud data acquired by the point cloud data acquisition unit 42A into a global coordinate system based on the position information acquired by the position information acquisition unit 46A. The area interior determination unit 74 references the map creation area setting data stored in the area data storage unit 72. The area interior determination unit 74 determines whether the position of each point of the point cloud data converted into the global coordinate system is included in the map creation area set in the map creation area setting data. The area interior determination unit 74 outputs the determination result as to whether it is within the map creation area to the creation start/end instruction unit 76.
作成開始終了指示部76は、領域内判定部74から、地図作成領域内であるか否かの判定結果を取得する。作成開始終了指示部76は、三次元地図データの作成開始指示及び作成終了指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76は、領域内判定部74が地図作成領域内であると判定した場合、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76は、領域内判定部74が地図作成領域内であると判定した場合でも、既に三次元地図データを作成中である場合、三次元地図データの作成開始指示の出力を省略してもよい。作成開始終了指示部76は、領域内判定部74が地図作成領域内でないと判定した場合、三次元地図データの作成終了の指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76は、領域内判定部74が地図作成領域内でないと判定した場合でも、三次元地図データを作成中でない場合、三次元地図データの作成終了の指示の出力を省略してもよい。
The creation start/end instruction unit 76 obtains the determination result of whether or not it is within the map creation area from the area inside determination unit 74. The creation start/end instruction unit 76 outputs a creation start instruction and a creation end instruction for the three-dimensional map data to the colored point cloud data creation unit 50. If the area inside determination unit 74 determines that it is within the map creation area, the creation start/end instruction unit 76 outputs an instruction to start creating the three-dimensional map data to the colored point cloud data creation unit 50. Even if the area inside determination unit 74 determines that it is within the map creation area, if the three-dimensional map data is already being created, the creation start/end instruction unit 76 may omit the output of the creation start instruction for the three-dimensional map data. If the area inside determination unit 74 determines that it is not within the map creation area, the creation start/end instruction unit 76 outputs an instruction to end the creation of the three-dimensional map data to the colored point cloud data creation unit 50. Even if the area interior determination unit 74 determines that the location is not within the map creation area, the creation start/end instruction unit 76 may omit outputting an instruction to end creation of the 3D map data if the 3D map data is not being created.
領域データ記憶制御部78は、領域データ編集指示取得部80がオペレータによる操作部32からの操作信号を取得した場合、取得した操作信号に応じて、領域データ記憶部72の地図作成領域設定データを編集する。
When the area data editing instruction acquisition unit 80 acquires an operation signal from the operation unit 32 by the operator, the area data storage control unit 78 edits the map creation area setting data in the area data storage unit 72 in response to the acquired operation signal.
領域データ編集指示取得部80は、オペレータによる操作部32から、領域データ記憶部72に記憶された地図作成領域設定データを編集する指示を含む操作信号を取得する。領域データ編集指示取得部80は、取得した操作信号に応じた地図作成領域設定データの編集指示を、領域データ記憶制御部78へ出力する。
The area data editing instruction acquisition unit 80 acquires an operation signal including an instruction to edit the map creation area setting data stored in the area data storage unit 72 from the operation unit 32 operated by the operator. The area data editing instruction acquisition unit 80 outputs an instruction to edit the map creation area setting data according to the acquired operation signal to the area data storage control unit 78.
次に、第2実施形態の表示情報作成装置40Aによる表示情報の作成処理を含む表示方法について説明する。図8は、第2実施形態に係る表示情報作成装置40Aの処理の一例を示すフローチャートである。図8に示す処理は、表示情報作成装置40Aが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Aは、例えば、表示システム1が起動することによって、図8に示すステップST300に移行して処理を開始する。
Next, a display method including a display information creation process by the display information creation device 40A of the second embodiment will be described. FIG. 8 is a flowchart showing an example of the process of the display information creation device 40A of the second embodiment. The process shown in FIG. 8 is executed by the display information creation device 40A based on a predetermined control program and data. For example, when the display system 1 is started, the display information creation device 40A proceeds to step ST300 shown in FIG. 8 and starts the process.
ステップST300、ステップST302、ステップST306、ステップST308、及びステップST310の処理は、第1実施形態のステップST200、ステップST202、ステップST206、ステップST208、及びステップST210の処理と同様であるため、説明を省略する。但し、第2実施形態のステップST306においては、点群データ取得部42Aが、取得した点群データを、色付点群データ作成部50及び地図データ作成部52のみならず、領域内判定部74へも出力する。また、第2実施形態のステップST310においては、位置情報取得部46Aが、取得した位置情報を、地図データ作成部52のみならず、領域内判定部74へも出力する。表示情報作成装置40Aは、ステップST310の処理を終了すると、ステップST312に移行する。
The processes of steps ST300, ST302, ST306, ST308, and ST310 are similar to those of steps ST200, ST202, ST206, ST208, and ST210 in the first embodiment, and therefore will not be described. However, in step ST306 in the second embodiment, the point cloud data acquisition unit 42A outputs the acquired point cloud data not only to the colored point cloud data creation unit 50 and the map data creation unit 52, but also to the area interior determination unit 74. In addition, in step ST310 in the second embodiment, the position information acquisition unit 46A outputs the acquired position information not only to the map data creation unit 52, but also to the area interior determination unit 74. When the display information creation device 40A finishes the process of step ST310, it proceeds to step ST312.
表示情報作成装置40Aは、地図作成領域内か否かを判定する(ステップST312)。具体的には、まず、領域内判定部74は、ステップST310で取得した位置情報に基づいて、ステップST306で取得した点群データをグローバル座標系に変換する。次に、領域内判定部74は、領域データ記憶部72に記憶される地図作成領域設定データを参照する。領域内判定部74は、グローバル座標系に変換した点群データの各点の位置が、地図作成領域設定データに設定された地図作成領域に含まれるか否かを判定する。領域内判定部74は、判定結果を作成開始終了指示部76へ出力する。
The display information creation device 40A determines whether or not it is within the map creation area (step ST312). Specifically, first, the area interior determination unit 74 converts the point cloud data acquired in step ST306 into a global coordinate system based on the position information acquired in step ST310. Next, the area interior determination unit 74 refers to the map creation area setting data stored in the area data storage unit 72. The area interior determination unit 74 determines whether or not the position of each point of the point cloud data converted into the global coordinate system is included in the map creation area set in the map creation area setting data. The area interior determination unit 74 outputs the determination result to the creation start/end instruction unit 76.
地図作成領域内である場合(ステップST312;Yes)、作成開始終了指示部76は、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。表示情報作成装置40Aは、ステップST326へ移行する。地図作成領域内でない場合(ステップST312;No)、作成開始終了指示部76は、三次元地図データの作成終了の指示を、色付点群データ作成部50へ出力する。表示情報作成装置40Aは、ステップST330へ移行する。
If it is within the map creation area (step ST312; Yes), the creation start/end instruction unit 76 outputs an instruction to start creating three-dimensional map data to the colored point cloud data creation unit 50. The display information creation device 40A proceeds to step ST326. If it is not within the map creation area (step ST312; No), the creation start/end instruction unit 76 outputs an instruction to end creating three-dimensional map data to the colored point cloud data creation unit 50. The display information creation device 40A proceeds to step ST330.
ステップST326及びステップST328の処理は、第1実施形態のステップST226及びステップST228の処理と同様であるため、説明を省略する。表示情報作成装置40Aは、ステップST328の処理を終了すると、ステップST330に移行する。
The processing of steps ST326 and ST328 is similar to the processing of steps ST226 and ST228 in the first embodiment, and therefore the description is omitted. After completing the processing of step ST328, the display information creation device 40A proceeds to step ST330.
表示情報作成装置40Aは、三次元地図データがあるか否かを判定する(ステップST330)。具体的には、表示情報作成装置40Aは、地図データ記憶部54に既に作成された三次元地図データがあるか否かを判定する。三次元地図データがある場合(ステップST330;Yes)、表示情報作成装置40Aは、ステップST346へ移行する。三次元地図データがない場合(ステップST330;No)、表示情報作成装置40Aは、ステップST352へ移行する。
The display information creation device 40A determines whether or not there is three-dimensional map data (step ST330). Specifically, the display information creation device 40A determines whether or not there is already created three-dimensional map data in the map data storage unit 54. If there is three-dimensional map data (step ST330; Yes), the display information creation device 40A proceeds to step ST346. If there is no three-dimensional map data (step ST330; No), the display information creation device 40A proceeds to step ST352.
ステップST346、ステップST348、ステップST350、及びステップST352の処理は、第1実施形態のステップST246、ステップST248、ステップST250、及びステップST252の処理と同様であるため、説明を省略する。
The processing of steps ST346, ST348, ST350, and ST352 is similar to the processing of steps ST246, ST248, ST250, and ST252 in the first embodiment, and therefore will not be described.
表示情報作成装置40Aは、移動体10による測定範囲が地図作成領域内に含まれる間、ステップST306からステップST328までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Aは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Aは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
The display information creation device 40A continuously acquires the three-dimensional map data created in the processes from step ST306 to step ST328 while the measurement range of the moving body 10 is included within the map creation area, and synthesizes each piece of three-dimensional map data. Each piece of three-dimensional map data synthesized at this time is unified into a common coordinate system. The display information creation device 40A creates display information including the synthesized three-dimensional map data based on the display settings set by the screen setting unit 60. The display information creation device 40A displays the created display information on the display screen 36 of the display unit 34 in a display format based on the display settings.
(第3実施形態)
次に、第3実施形態の表示情報作成装置40Bの内部構成について説明する。図9は、第3実施形態に係る表示情報作成装置40Bの内部構成を周辺構成とともに示すブロック図である。なお、第3実施形態の表示情報作成装置40Bにおいて、第2実施形態の表示情報作成装置40Aと同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
Third Embodiment
Next, the internal configuration of the display information creating device 40B according to the third embodiment will be described. Fig. 9 is a block diagram showing the internal configuration of the display information creating device 40B according to the third embodiment together with the peripheral configuration. In the display information creating device 40B according to the third embodiment, the same components as those in the display information creating device 40A according to the second embodiment will be denoted by the same reference numerals and will not be described as appropriate, and only different components will be described.
第3実施形態の表示情報作成装置40Bは、第2実施形態の表示情報作成装置40Aと比較して、地図化制御部70Aの代わりに地図化制御部70Bを含む点で異なる。地図化制御部70Bは、第2実施形態の地図化制御部70Aと比較して、領域データ記憶部72、作成開始終了指示部76及び領域データ記憶制御部78の代わりに、領域データ記憶部72B、作成開始終了指示部76B及び領域データ記憶制御部78Bを含み、さらに、作成開始終了指示取得部82を含む点で異なる。
The display information creation device 40B of the third embodiment differs from the display information creation device 40A of the second embodiment in that it includes a mapping control unit 70B instead of the mapping control unit 70A. The mapping control unit 70B differs from the mapping control unit 70A of the second embodiment in that it includes an area data storage unit 72B, a creation start/end instruction unit 76B, and an area data storage control unit 78B instead of the area data storage unit 72, the creation start/end instruction unit 76, and the area data storage control unit 78, and further includes a creation start/end instruction acquisition unit 82.
領域データ記憶部72Bは、第2実施形態の領域データ記憶部72と比較して、領域データが、地図作成領域設定データに加えて、地図作成実績データ及びカウンタを含む点で異なる。地図作成実績データは、過去にオペレータの操作によって三次元地図データの作成を指示された地図作成領域の位置情報を含む。地図作成実績データは、オペレータの操作によって、削除可能である。カウンタは、同一領域における三次元地図データの作成指示の回数をカウントする。領域データ記憶部72は、同一領域における三次元地図データの作成指示の回数が所定回数以上である場合、すなわち、蓄積された地図作成実績データの地図作成領域に所定以上の重複がある場合、当該地図作成実績データを、地図作成領域設定データに変更する。領域データ記憶部72Bの他の構成及び機能は、第2実施形態の領域データ記憶部72と同様である。
The area data storage unit 72B differs from the area data storage unit 72 of the second embodiment in that the area data includes map creation history data and a counter in addition to map creation area setting data. The map creation history data includes position information of a map creation area for which an operator has previously instructed the creation of three-dimensional map data. The map creation history data can be deleted by the operator. The counter counts the number of times that an instruction to create three-dimensional map data has been issued for the same area. If the number of times that an instruction to create three-dimensional map data for the same area has been issued is equal to or greater than a predetermined number, that is, if there is a predetermined amount of overlap in the map creation areas of the accumulated map creation history data, the area data storage unit 72 changes the map creation history data to map creation area setting data. Other configurations and functions of the area data storage unit 72B are the same as those of the area data storage unit 72 of the second embodiment.
作成開始終了指示部76Bは、第2実施形態の作成開始終了指示部76と比較して、さらに、作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成開始指示及び作成終了指示を取得する。作成開始終了指示部76Bは、作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成開始指示を取得した場合、地図作成領域内でなくとも、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Bは、作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成終了指示を取得した場合、地図作成領域内であっても、三次元地図データの作成終了指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Bの他の構成及び機能は、第2実施形態の作成開始終了指示部76と同様である。
Compared to the creation start/end instruction unit 76 of the second embodiment, the creation start/end instruction unit 76B further acquires a creation start instruction and a creation end instruction of three-dimensional map data by an operator's operation from the creation start/end instruction acquisition unit 82. When the creation start/end instruction unit 76B acquires a creation start instruction of three-dimensional map data by an operator's operation from the creation start/end instruction acquisition unit 82, it outputs a creation start instruction of three-dimensional map data to the colored point cloud data creation unit 50 even if it is not within the map creation area. When the creation start/end instruction unit 76B acquires a creation end instruction of three-dimensional map data by an operator's operation from the creation start/end instruction acquisition unit 82, it outputs a creation end instruction of three-dimensional map data to the colored point cloud data creation unit 50 even if it is within the map creation area. The other configurations and functions of the creation start/end instruction unit 76B are the same as those of the creation start/end instruction unit 76 of the second embodiment.
領域データ記憶制御部78Bは、第2実施形態の領域データ記憶制御部78と比較して、さらに、作成開始終了指示取得部82から地図作成実績データを更新させる指示を取得する点で異なる。領域データ記憶制御部78Bは、作成開始終了指示取得部82から取得した地図作成実績データの更新指示に応じて、領域データ記憶部72Bの地図作成実績データを更新する。領域データ記憶制御部78Bの他の構成及び機能は、第2実施形態の領域データ記憶制御部78と同様である。
The area data storage control unit 78B differs from the area data storage control unit 78 of the second embodiment in that it further acquires an instruction to update the map creation history data from the creation start/end instruction acquisition unit 82. The area data storage control unit 78B updates the map creation history data in the area data storage unit 72B in response to the update instruction for the map creation history data acquired from the creation start/end instruction acquisition unit 82. The other configurations and functions of the area data storage control unit 78B are similar to those of the area data storage control unit 78 of the second embodiment.
作成開始終了指示取得部82は、オペレータによる操作部32から、三次元地図データの作成開始及び作成終了の指示を含む操作信号を取得する。作成開始終了指示取得部82は、取得した操作信号に応じた三次元地図データの作成開始指示及び作成終了指示を、作成開始終了指示部76Bへ出力する。作成開始終了指示取得部82は、取得した三次元地図データの作成開始指示及び作成終了指示に基づいて、地図作成実績データを更新させる指示を、領域データ記憶制御部78Bへ出力する。
The creation start/end instruction acquisition unit 82 acquires an operation signal including an instruction to start and end the creation of three-dimensional map data from the operation unit 32 by the operator. The creation start/end instruction acquisition unit 82 outputs an instruction to start and end the creation of three-dimensional map data according to the acquired operation signal to the creation start/end instruction unit 76B. The creation start/end instruction acquisition unit 82 outputs an instruction to update the map creation history data to the area data storage control unit 78B based on the acquired instruction to start and end the creation of three-dimensional map data.
次に、第3実施形態の表示情報作成装置40Bによる表示情報の作成処理を含む表示方法について説明する。図10は、第3実施形態に係る表示情報作成装置40Bの処理の一例を示すフローチャートである。図10に示す処理は、表示情報作成装置40Bが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Bは、例えば、表示システム1が起動することによって、図10に示すステップST400に移行して処理を開始する。
Next, a display method including a display information creation process by the display information creation device 40B of the third embodiment will be described. FIG. 10 is a flowchart showing an example of the process of the display information creation device 40B of the third embodiment. The process shown in FIG. 10 is executed by the display information creation device 40B based on a predetermined control program and data. For example, when the display system 1 is started, the display information creation device 40B proceeds to step ST400 shown in FIG. 10 and starts the process.
ステップST400、ステップST402、ステップST406、ステップST408、ステップST410、及びステップST412の処理は、第2実施形態のステップST300、ステップST302、ステップST306、ステップST308、ステップST310、及びステップST312の処理と同様であるため、説明を省略する。ステップST412において、地図作成領域内であると判定された場合(ステップST412;Yes)、表示情報作成装置40Bは、ステップST426へ移行する。また、地図作成領域内でないと判定された場合(ステップST412;No)、表示情報作成装置40Bは、ステップST414へ移行する。
The processing of steps ST400, ST402, ST406, ST408, ST410, and ST412 is similar to the processing of steps ST300, ST302, ST306, ST308, ST310, and ST312 in the second embodiment, and therefore description thereof will be omitted. If it is determined in step ST412 that the display information creation device 40B is within the map creation area (step ST412; Yes), the display information creation device 40B proceeds to step ST426. If it is determined that the display information creation device 40B is not within the map creation area (step ST412; No), the display information creation device 40B proceeds to step ST414.
地図作成領域内でない場合(ステップST412;No)、表示情報作成装置40Bは、地図作成開始の指示があるか否かを判定する(ステップST414)。具体的には、表示情報作成装置40Bは、作成開始終了指示部76Bが作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成開始指示を取得したか否かを判定する。地図作成開始の指示がある場合(ステップST414;Yes)、表示情報作成装置40Bは、ステップST416へ移行する。地図作成開始の指示がない場合(ステップST414;No)、表示情報作成装置40Bは、ステップST430へ移行する。
If the location is not within the map creation area (step ST412; No), the display information creation device 40B determines whether or not there is an instruction to start map creation (step ST414). Specifically, the display information creation device 40B determines whether or not the creation start/end instruction unit 76B has acquired an instruction to start creating 3D map data by the operator from the creation start/end instruction acquisition unit 82. If there is an instruction to start map creation (step ST414; Yes), the display information creation device 40B proceeds to step ST416. If there is no instruction to start map creation (step ST414; No), the display information creation device 40B proceeds to step ST430.
地図作成開始の指示がある場合(ステップST414;Yes)、表示情報作成装置40Bは、地図作成実績データを更新する(ステップST416)。具体的には、領域データ記憶制御部78Bは、作成開始終了指示取得部82から地図作成実績データを更新させる指示を取得する。領域データ記憶制御部78Bは、作成開始終了指示取得部82から取得した地図作成実績データの更新指示に応じて、領域データ記憶部72Bの地図作成実績データを更新する。表示情報作成装置40Bは、ステップST418へ移行する。
If there is an instruction to start map creation (step ST414; Yes), the display information creation device 40B updates the map creation history data (step ST416). Specifically, the area data storage control unit 78B acquires an instruction to update the map creation history data from the creation start/end instruction acquisition unit 82. The area data storage control unit 78B updates the map creation history data in the area data storage unit 72B in response to the instruction to update the map creation history data acquired from the creation start/end instruction acquisition unit 82. The display information creation device 40B proceeds to step ST418.
表示情報作成装置40Bは、同一領域での作成指示の回数が所定回数以上か否かを判定する(ステップST418)。具体的には、領域データ記憶部72Bにおいて地図作成実績データが更新された際、既に蓄積された地図作成実績データと重複する場合、カウンタは、同一領域における三次元地図データの作成指示の回数のカウンタ値を1つ増やして記憶する。同一領域での作成指示の回数が所定回数以上である場合(ステップST418;Yes)、表示情報作成装置40Bは、ステップST420へ移行する。同一領域での作成指示の回数が所定回数未満である場合(ステップST418;No)、表示情報作成装置40Bは、ステップST426へ移行する。
The display information creation device 40B determines whether the number of creation instructions for the same area is equal to or greater than a predetermined number (step ST418). Specifically, when map creation history data is updated in the area data storage unit 72B, if it overlaps with map creation history data already stored, the counter increments the counter value of the number of creation instructions for 3D map data for the same area by one and stores it. If the number of creation instructions for the same area is equal to or greater than the predetermined number (step ST418; Yes), the display information creation device 40B proceeds to step ST420. If the number of creation instructions for the same area is less than the predetermined number (step ST418; No), the display information creation device 40B proceeds to step ST426.
同一領域での作成指示の回数が所定回数以上である場合(ステップST418;Yes)、表示情報作成装置40Bは、地図作成領域設定データを更新する(ステップST420)。具体的には、領域データ記憶部72Bは、蓄積された地図作成実績データの地図作成領域に所定以上の重複がある場合、当該地図作成実績データを、地図作成領域設定データに変更する。表示情報作成装置40Bは、ステップST426へ移行する。
If the number of creation instructions for the same area is equal to or greater than the predetermined number (step ST418; Yes), the display information creation device 40B updates the map creation area setting data (step ST420). Specifically, if there is a predetermined amount of overlap in the map creation areas of the accumulated map creation history data, the area data storage unit 72B changes the map creation history data to map creation area setting data. The display information creation device 40B proceeds to step ST426.
ステップST426、ステップST428、ステップST430、ステップST446、ステップST448、ステップST450、及びステップST452の処理は、第2実施形態のステップST326、ステップST328、ステップST330ステップST346、ステップST348、ステップST350、及びステップST352の処理と同様であるため、説明を省略する。ステップST452において、表示システム1が終了されたと判定された場合(ステップST452;Yes)、表示情報作成装置40Bは、図10に示すフローチャートの処理を終了する。また、表示システム1が終了されていないと判定された場合(ステップST452;No)、表示情報作成装置40Bは、ステップST454へ移行する。
The processes of steps ST426, ST428, ST430, ST446, ST448, ST450, and ST452 are similar to the processes of steps ST326, ST328, ST330, ST346, ST348, ST350, and ST352 in the second embodiment, and therefore will not be described. If it is determined in step ST452 that the display system 1 has been terminated (step ST452; Yes), the display information creation device 40B terminates the process of the flowchart shown in FIG. 10. If it is determined that the display system 1 has not been terminated (step ST452; No), the display information creation device 40B proceeds to step ST454.
表示情報作成装置40Bは、地図作成終了の指示があるか否かを判定する(ステップST454)。具体的には、表示情報作成装置40Bは、作成開始終了指示部76Bが作成開始終了指示取得部82から、オペレータの操作による三次元地図データの作成終了指示を取得したか否かを判定する。地図作成終了の指示がある場合(ステップST454;Yes)、表示情報作成装置40Bは、図10に示すフローチャートの処理を終了する。地図作成終了の指示がない場合(ステップST454;No)、表示情報作成装置40Bは、ステップST406に戻り、ステップST406からステップST452までの処理を繰り返し実行する。
The display information creation device 40B determines whether or not there is an instruction to end map creation (step ST454). Specifically, the display information creation device 40B determines whether or not the creation start/end instruction unit 76B has acquired an instruction to end the creation of the three-dimensional map data by the operator's operation from the creation start/end instruction acquisition unit 82. If there is an instruction to end map creation (step ST454; Yes), the display information creation device 40B ends the process of the flowchart shown in FIG. 10. If there is no instruction to end map creation (step ST454; No), the display information creation device 40B returns to step ST406 and repeatedly executes the processes from step ST406 to step ST452.
表示情報作成装置40Bは、移動体10による測定範囲が地図作成領域内に含まれる間、又はオペレーションの操作による三次元地図データの作成開始指示から作成終了指示までの間、ステップST406からステップST428までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Bは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Bは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
The display information creation device 40B continuously acquires the three-dimensional map data created in time during the processing from step ST406 to step ST428 while the measurement range of the moving body 10 is included within the map creation area, or during the period from the instruction to start creating the three-dimensional map data by an operation to the instruction to end creation, and synthesizes each piece of three-dimensional map data. At this time, each piece of synthesized three-dimensional map data is unified into a common coordinate system. The display information creation device 40B creates display information including the synthesized three-dimensional map data based on the display settings set by the screen setting unit 60. The display information creation device 40B displays the created display information on the display screen 36 of the display unit 34 in a display format based on the display settings.
(第4実施形態)
次に、第4実施形態の表示情報作成装置40Cの内部構成について説明する。図11は、第4実施形態に係る表示情報作成装置40Cの内部構成を周辺構成とともに示すブロック図である。なお、第4実施形態の表示情報作成装置40Cにおいて、第3実施形態の表示情報作成装置40Bと同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
Fourth Embodiment
Next, the internal configuration of the display information creating device 40C of the fourth embodiment will be described. Fig. 11 is a block diagram showing the internal configuration of the display information creating device 40C of the fourth embodiment together with the peripheral configuration. In the display information creating device 40C of the fourth embodiment, the same components as those of the display information creating device 40B of the third embodiment will be denoted by the same reference numerals and will not be described as appropriate, and only different components will be described.
第4実施形態の表示情報作成装置40Cは、第3実施形態の表示情報作成装置40Bと比較して、地図化制御部70Bの代わりに地図化制御部70Cを含む点で異なる。地図化制御部70Cは、第3実施形態の地図化制御部70Bと比較して、領域内判定部74、作成開始終了指示部76B及び作成開始終了指示取得部82の代わりに、領域内判定部74C、作成開始終了指示部76C及び作成開始終了指示取得部82Cを含み、さらに、報知情報出力部84を含む点で異なる。
The display information creation device 40C of the fourth embodiment differs from the display information creation device 40B of the third embodiment in that it includes a mapping control unit 70C instead of the mapping control unit 70B. The mapping control unit 70C differs from the mapping control unit 70B of the third embodiment in that it includes an area interior determination unit 74C, a creation start/end instruction unit 76C, and a creation start/end instruction acquisition unit 82C instead of the area interior determination unit 74, the creation start/end instruction unit 76B, and the creation start/end instruction acquisition unit 82, and further includes a notification information output unit 84.
領域内判定部74Cは、第2実施形態及び第3実施形態の領域内判定部74と比較して、領域内判定部74は、地図作成領域内であるか否かの判定結果を、作成開始終了指示部76Cではなく、報知情報出力部84へ出力する点で異なる。領域内判定部74Cの他の構成及び機能は、第2実施形態及び第3実施形態の領域内判定部74と同様である。
The area inside determination unit 74C differs from the area inside determination unit 74 of the second and third embodiments in that the area inside determination unit 74 outputs the result of the determination as to whether or not it is within the map creation area to the notification information output unit 84, rather than to the creation start/end instruction unit 76C. The other configurations and functions of the area inside determination unit 74C are similar to those of the area inside determination unit 74 of the second and third embodiments.
作成開始終了指示部76Cは、第3実施形態の作成開始終了指示部76Bと比較して、領域内判定部74Cから、地図作成領域内であるか否かの判定結果を取得しない点で異なる。作成開始終了指示部76Cは、三次元地図データの作成開始指示及び作成終了指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Cは、作成開始終了指示取得部82Cから、オペレータの操作による三次元地図データの作成開始指示を取得した場合、三次元地図データの作成開始指示を、色付点群データ作成部50へ出力する。作成開始終了指示部76Cは、作成開始終了指示取得部82Cから、オペレータの操作による三次元地図データの作成終了指示を取得した場合、三次元地図データの作成終了の指示を、色付点群データ作成部50へ出力する。
The creation start/end instruction unit 76C differs from the creation start/end instruction unit 76B of the third embodiment in that it does not acquire a determination result of whether or not it is within the map creation area from the area interior determination unit 74C. The creation start/end instruction unit 76C outputs a creation start instruction and a creation end instruction for the three-dimensional map data to the colored point cloud data creation unit 50. When the creation start/end instruction unit 76C acquires an instruction to start creating three-dimensional map data by an operator's operation from the creation start/end instruction acquisition unit 82C, it outputs an instruction to start creating three-dimensional map data to the colored point cloud data creation unit 50. When the creation start/end instruction unit 76C acquires an instruction to end creating three-dimensional map data by an operator's operation from the creation start/end instruction acquisition unit 82C, it outputs an instruction to end creating three-dimensional map data to the colored point cloud data creation unit 50.
報知情報出力部84は、領域内判定部74Cから、地図作成領域内であるか否かの判定結果を取得する。報知情報出力部84は、三次元地図データの作成を開始するか否かを選択するようにオペレータに報知するための報知情報を、表示部34へ出力する。オペレータは、表示部34に表示された報知情報を確認して、操作部32を介して三次元地図データの作成を開始するか否かを選択する操作を行う。
The notification information output unit 84 obtains the determination result of whether or not the location is within the map creation area from the area interior determination unit 74C. The notification information output unit 84 outputs notification information to the display unit 34 to notify the operator to select whether or not to start creating three-dimensional map data. The operator checks the notification information displayed on the display unit 34 and performs an operation via the operation unit 32 to select whether or not to start creating three-dimensional map data.
作成開始終了指示取得部82Cは、第3実施形態の作成開始終了指示取得部82と比較して、さらに、報知情報出力部84が出力した報知情報に対するオペレータの選択結果を取得する点で異なる。作成開始終了指示取得部82Cは、オペレータが報知情報に対して三次元地図データの作成を開始すると選択する操作を行った場合、三次元地図データの作成開始指示を、作成開始終了指示部76Cへ出力する。作成開始終了指示取得部82Cの他の構成及び機能は、第3実施形態の作成開始終了指示取得部82と同様である。
The creation start/end instruction acquisition unit 82C differs from the creation start/end instruction acquisition unit 82 of the third embodiment in that it further acquires the operator's selection result in response to the notification information output by the notification information output unit 84. When the operator performs an operation to select to start creating three-dimensional map data in response to the notification information, the creation start/end instruction acquisition unit 82C outputs an instruction to start creating three-dimensional map data to the creation start/end instruction unit 76C. The other configurations and functions of the creation start/end instruction acquisition unit 82C are similar to those of the creation start/end instruction acquisition unit 82 of the third embodiment.
次に、第4実施形態の表示情報作成装置40Cによる表示情報の作成処理を含む表示方法について説明する。図12は、第4実施形態に係る表示情報作成装置40Cの処理の一例を示すフローチャートである。図12に示す処理は、表示情報作成装置40Cが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Cは、例えば、表示システム1が起動することによって、図12に示すステップST500に移行して処理を開始する。
Next, a display method including a display information creation process by the display information creation device 40C of the fourth embodiment will be described. FIG. 12 is a flowchart showing an example of the process of the display information creation device 40C of the fourth embodiment. The process shown in FIG. 12 is executed by the display information creation device 40C based on a predetermined control program and data. For example, when the display system 1 is started, the display information creation device 40C proceeds to step ST500 shown in FIG. 12 and starts the process.
ステップST500、ステップST502、ステップST506、ステップST508、ステップST510、及びステップST512の処理は、第3実施形態のステップST400、ステップST402、ステップST406、ステップST408、ステップST410、及びステップST412の処理と同様であるため、説明を省略する。ステップST512において、地図作成領域内であると判定された場合(ステップST512;Yes)、表示情報作成装置40Cは、ステップST522へ移行する。また、地図作成領域内でないと判定された場合(ステップST512;No)、表示情報作成装置40Cは、ステップST514へ移行する。
The processing of steps ST500, ST502, ST506, ST508, ST510, and ST512 is similar to the processing of steps ST400, ST402, ST406, ST408, ST410, and ST412 in the third embodiment, and therefore description thereof will be omitted. If it is determined in step ST512 that the display information creation device 40C is within the map creation area (step ST512; Yes), the display information creation device 40C proceeds to step ST522. If it is determined that the display information creation device 40C is not within the map creation area (step ST512; No), the display information creation device 40C proceeds to step ST514.
地図作成領域内であると判定された場合(ステップST512;Yes)、表示情報作成装置40Cは、地図作成を開始するか否かを選択するように報知する(ステップST522)。具体的には、報知情報出力部84は、三次元地図データの作成を開始するか否かを選択するようにオペレータに報知するための報知情報を、表示部34へ出力する。オペレータは、表示部34に表示された報知情報を確認して、操作部32を介して三次元地図データの作成を開始するか否かを選択する操作を行う。表示情報作成装置40Cは、ステップST524へ移行する。
If it is determined that the location is within the map creation area (step ST512; Yes), the display information creation device 40C notifies the operator to select whether or not to start map creation (step ST522). Specifically, the notification information output unit 84 outputs notification information to the display unit 34 to notify the operator to select whether or not to start creating three-dimensional map data. The operator checks the notification information displayed on the display unit 34 and performs an operation via the operation unit 32 to select whether or not to start creating three-dimensional map data. The display information creation device 40C proceeds to step ST524.
表示情報作成装置40Cは、地図作成開始が選択されたか否かを判定する(ステップST524)。具体的には、作成開始終了指示取得部82Cは、報知情報出力部84が出力した報知情報に対するオペレータの選択結果を、操作部32を介して取得する。表示情報作成装置40Cは、作成開始終了指示取得部82Cが三次元地図データの作成開始を承諾する操作信号を取得した場合、地図作成開始が選択されたと判定する。地図作成開始が選択された場合(ステップST524;Yes)、表示情報作成装置40Cは、ステップST526へ移行する。表示情報作成装置40Cは、作成開始終了指示取得部82Cが三次元地図データの作成開始を拒否する操作信号を取得した場合、又は、報知情報の出力から所定時間が経過した場合、地図作成開始が選択されないと判定する。地図作成開始が選択されない場合(ステップST524;No)、表示情報作成装置40Cは、ステップST530へ移行する。
The display information creation device 40C determines whether or not the start of map creation has been selected (step ST524). Specifically, the creation start/end instruction acquisition unit 82C acquires the operator's selection result for the notification information output by the notification information output unit 84 via the operation unit 32. When the creation start/end instruction acquisition unit 82C acquires an operation signal that accepts the start of creation of three-dimensional map data, the display information creation device 40C determines that the start of map creation has been selected. When the map creation start is selected (step ST524; Yes), the display information creation device 40C proceeds to step ST526. When the creation start/end instruction acquisition unit 82C acquires an operation signal that rejects the start of creation of three-dimensional map data, or when a predetermined time has elapsed since the output of the notification information, the display information creation device 40C determines that the start of map creation has not been selected. When the map creation start is not selected (step ST524; No), the display information creation device 40C proceeds to step ST530.
ステップST514、ステップST516、ステップST518、ステップST520、ステップST526、ステップST528、ステップST530、ステップST546、ステップST548、ステップST550、ステップST552、及びステップST554処理は、第3実施形態のステップST414、ステップST416、ステップST418、ステップST420、ステップST326、ステップST328、ステップST330ステップST346、ステップST348、ステップST350、ステップST352、及びステップST354処理と同様であるため、説明を省略する。
The processing of steps ST514, ST516, ST518, ST520, ST526, ST528, ST530, ST546, ST548, ST550, ST552, and ST554 is similar to the processing of steps ST414, ST416, ST418, ST420, ST326, ST328, ST330, ST346, ST348, ST350, ST352, and ST354 in the third embodiment, and therefore will not be described.
表示情報作成装置40Cは、移動体10による測定範囲が地図作成領域内に含まれる間、又はオペレーションの操作による三次元地図データの作成開始指示から作成終了指示までの間、ステップST506からステップST528までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Cは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Cは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。
The display information creation device 40C continuously acquires the three-dimensional map data created in time during the processing from step ST506 to step ST528 while the measurement range of the moving body 10 is included within the map creation area, or during the period from the instruction to start creating the three-dimensional map data by an operation to the instruction to end creation, and synthesizes each piece of three-dimensional map data. At this time, each piece of synthesized three-dimensional map data is unified into a common coordinate system. The display information creation device 40C creates display information including the synthesized three-dimensional map data based on the display settings set by the screen setting unit 60. The display information creation device 40C displays the created display information on the display screen 36 of the display unit 34 in a display format based on the display settings.
(第5実施形態)
次に、第5実施形態の表示情報作成装置40Dの内部構成について説明する。図13は、第5実施形態に係る表示情報作成装置40Dの内部構成を周辺構成とともに示すブロック図である。なお、第5実施形態の表示情報作成装置40Dにおいて、第1実施形態の表示情報作成装置40と同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。
Fifth Embodiment
Next, the internal configuration of the display information creating device 40D of the fifth embodiment will be described. Fig. 13 is a block diagram showing the internal configuration of the display information creating device 40D of the fifth embodiment together with the peripheral configuration. In the display information creating device 40D of the fifth embodiment, the same components as those of the display information creating device 40 of the first embodiment are denoted by the same reference numerals and the description thereof will be omitted as appropriate, and only different components will be described.
第5実施形態の表示情報作成装置40Dは、第1実施形態の表示情報作成装置40と比較して、位置情報取得部46、地図データ記憶部54及び表示情報作成部56の代わりに、位置情報取得部46D、地図データ記憶部54D及び表示情報作成部56Dを含み、さらに、干渉警告部90を含む点で異なる。
The display information creation device 40D of the fifth embodiment differs from the display information creation device 40 of the first embodiment in that, instead of the position information acquisition unit 46, the map data storage unit 54, and the display information creation unit 56, it includes a position information acquisition unit 46D, a map data storage unit 54D, and a display information creation unit 56D, and further includes an interference warning unit 90.
位置情報取得部46Dは、第1実施形態の位置情報取得部46と比較して、さらに、取得した位置情報を、地図データ作成部52へのみならず、干渉警告部90の移動物理量算出部94へ出力する点で異なる。位置情報取得部46Dの他の構成及び機能は、第1実施形態の位置情報取得部46と同様である。
The location information acquisition unit 46D differs from the location information acquisition unit 46 of the first embodiment in that it outputs the acquired location information not only to the map data creation unit 52 but also to the movement physical quantity calculation unit 94 of the interference warning unit 90. The other configurations and functions of the location information acquisition unit 46D are similar to those of the location information acquisition unit 46 of the first embodiment.
地図データ記憶部54Dは、第1実施形態の地図データ記憶部54と比較して、さらに、更新された三次元地図データを、表示情報作成部56Dのみならず、干渉警告部90の干渉判定部102へ出力する。点で異なる。地図データ記憶部54Dの他の構成及び機能は、第1実施形態の地図データ記憶部54と同様である。
The map data storage unit 54D differs from the map data storage unit 54 of the first embodiment in that it outputs updated three-dimensional map data not only to the display information creation unit 56D but also to the interference determination unit 102 of the interference warning unit 90. The other configurations and functions of the map data storage unit 54D are similar to those of the map data storage unit 54 of the first embodiment.
表示情報作成部56Dは、第1実施形態の表示情報作成部56と比較して、さらに、干渉警告部90の警告情報出力部104から、警告情報を取得する点で異なる。表示情報作成部56Dが取得する警告情報は、干渉警告部90が判定した干渉箇所の情報を含む。干渉箇所とは、周囲環境に移動体10が干渉する可能性のある領域を示す。干渉とは、第5実施形態において、地図データ記憶部54Dに記憶されている三次元地図データを構成する色付点群データと、移動体10の移動体三次元モデルとが重複又は所定距離以上に近接することを示す。表示情報作成部56Dは、第5実施形態において、干渉箇所を明示した色付点群データを、表示情報の三次元地図データに更新する。表示情報作成部56Dの他の構成及び機能は、第1実施形態の表示情報作成部56と同様である。
The display information creation unit 56D differs from the display information creation unit 56 of the first embodiment in that it further acquires warning information from the warning information output unit 104 of the interference warning unit 90. The warning information acquired by the display information creation unit 56D includes information on the interference location determined by the interference warning unit 90. The interference location indicates an area where the mobile body 10 may interfere with the surrounding environment. In the fifth embodiment, interference indicates that the colored point cloud data constituting the three-dimensional map data stored in the map data storage unit 54D and the mobile body three-dimensional model of the mobile body 10 overlap or are close to each other by a predetermined distance or more. In the fifth embodiment, the display information creation unit 56D updates the colored point cloud data indicating the interference location to the three-dimensional map data of the display information. Other configurations and functions of the display information creation unit 56D are similar to those of the display information creation unit 56 of the first embodiment.
干渉警告部90は、移動体10が周囲環境に干渉する可能性がある場合、干渉の可能性を警告するための所定の警告情報を出力する。干渉警告部90は、移動体データ記憶部92と、移動物理量算出部94と、操作情報取得部96と、操作物理量算出部98と、存在可能領域算出部100と、干渉判定部102と、警告情報出力部104と、を含む。
The interference warning unit 90 outputs predetermined warning information to warn of the possibility of interference when the moving body 10 is likely to interfere with the surrounding environment. The interference warning unit 90 includes a moving body data storage unit 92, a movement physical quantity calculation unit 94, an operation information acquisition unit 96, an operation physical quantity calculation unit 98, a possible existence area calculation unit 100, an interference determination unit 102, and a warning information output unit 104.
移動体データ記憶部92は、移動体10に関する移動体データを予め記憶する。移動体データは、移動体10の三次元モデルのデータである移動体三次元モデルデータを含む。移動体データ記憶部92は、移動体三次元モデルデータを、存在可能領域算出部100へ出力する。
The mobile body data storage unit 92 stores mobile body data related to the mobile body 10 in advance. The mobile body data includes mobile body three-dimensional model data, which is data of a three-dimensional model of the mobile body 10. The mobile body data storage unit 92 outputs the mobile body three-dimensional model data to the possible existence area calculation unit 100.
移動物理量算出部94は、移動体10の移動に関する物理量を算出する。移動体10の移動に関する物理量は、領域座標系における移動体10の基準点の相対座標及び姿勢角と、領域座標系における移動体10の基準点の相対座標及び姿勢角の時間変化量とを含む。移動物理量算出部94は、まず、位置情報取得部46Dから移動体10の位置情報を取得する。移動物理量算出部94が取得する移動体10の位置情報は、領域座標系における移動体10の基準点の相対座標及び姿勢角の情報を含む。移動物理量算出部94は、取得した移動体10の位置情報を一時的に記憶する。移動物理量算出部94は、次に、時間的に連続する移動体10の位置情報に基づいて、移動体10の基準点の相対座標及び姿勢角の時間変化量を算出する。移動物理量算出部94は、移動体10の移動に関する物理量を、存在可能領域算出部100へ出力する。
The movement physical quantity calculation unit 94 calculates physical quantities related to the movement of the moving body 10. The physical quantities related to the movement of the moving body 10 include the relative coordinates and attitude angle of the reference point of the moving body 10 in the area coordinate system, and the time change amount of the relative coordinates and attitude angle of the reference point of the moving body 10 in the area coordinate system. The movement physical quantity calculation unit 94 first acquires the position information of the moving body 10 from the position information acquisition unit 46D. The position information of the moving body 10 acquired by the movement physical quantity calculation unit 94 includes the relative coordinates and attitude angle of the reference point of the moving body 10 in the area coordinate system. The movement physical quantity calculation unit 94 temporarily stores the acquired position information of the moving body 10. The movement physical quantity calculation unit 94 then calculates the relative coordinates and time change amount of the attitude angle of the reference point of the moving body 10 based on the position information of the moving body 10 that is continuous in time. The movement physical quantity calculation unit 94 outputs the physical quantities related to the movement of the moving body 10 to the existence possible area calculation unit 100.
操作情報取得部96は、操作部32がオペレータによる移動体10の移動に関する操作を受け付けた場合、操作部32から移動体10に対する操作情報を取得する。操作情報は、例えば、前進、後退、旋回、加速、減速、及び停止等の移動に関する操作情報を含む。操作情報取得部96は、移動体10に対する操作情報を、操作物理量算出部98へ出力する。
When the operation unit 32 receives an operation by the operator related to the movement of the moving body 10, the operation information acquisition unit 96 acquires operation information for the moving body 10 from the operation unit 32. The operation information includes operation information related to movement such as forward movement, backward movement, turning, acceleration, deceleration, and stopping. The operation information acquisition unit 96 outputs the operation information for the moving body 10 to the operation physical quantity calculation unit 98.
操作物理量算出部98は、移動体10に対する操作に対応する物理量を算出する。操作物理量算出部98は、操作情報取得部96から取得した移動体10に対する操作情報に基づいて、移動体10に対する操作に対応する物理量を算出する。移動体10に対する操作に対応する物理量は、移動体10の移動方向、移動速度、移動方向及び移動速度の変化量を含む。操作物理量算出部98は、算出した移動体10に対する操作に対応する物理量を、存在可能領域算出部100へ出力する。
The operation physical quantity calculation unit 98 calculates a physical quantity corresponding to an operation on the moving body 10. The operation physical quantity calculation unit 98 calculates a physical quantity corresponding to an operation on the moving body 10 based on operation information on the moving body 10 acquired from the operation information acquisition unit 96. The physical quantity corresponding to the operation on the moving body 10 includes the moving direction, moving speed, and amount of change in the moving direction and moving speed of the moving body 10. The operation physical quantity calculation unit 98 outputs the calculated physical quantity corresponding to the operation on the moving body 10 to the possible existence area calculation unit 100.
存在可能領域算出部100は、移動体データ記憶部92から、移動体10の三次元モデルのデータである移動体三次元モデルデータを含む移動体データを取得する。存在可能領域算出部100は、移動物理量算出部94から、移動体10の移動に関する物理量を取得する。存在可能領域算出部100は、操作物理量算出部98から、算出した移動体10に対する操作に対応する物理量を取得する。存在可能領域算出部100は、取得した移動体三次元モデルデータ、移動体10の移動に関する物理量及び移動体10に対する操作に対応する物理量に基づいて、現在から所定時間内での移動体10の存在可能領域を算出する。存在可能領域とは、現在から所定時間内で移動体10が存在する可能性のある領域を示す。存在可能領域算出部100は、領域座標系における存在可能領域の相対座標情報を、干渉判定部102へ出力する。
The existence possible area calculation unit 100 acquires moving body data including moving body three-dimensional model data, which is data of a three-dimensional model of the moving body 10, from the moving body data storage unit 92. The existence possible area calculation unit 100 acquires physical quantities related to the movement of the moving body 10 from the movement physical quantity calculation unit 94. The existence possible area calculation unit 100 acquires physical quantities corresponding to the calculated operation on the moving body 10 from the operation physical quantity calculation unit 98. The existence possible area calculation unit 100 calculates the existence possible area of the moving body 10 within a predetermined time from the present based on the acquired moving body three-dimensional model data, the physical quantities related to the movement of the moving body 10, and the physical quantities corresponding to the operation on the moving body 10. The existence possible area refers to an area in which the moving body 10 may exist within a predetermined time from the present. The existence possible area calculation unit 100 outputs relative coordinate information of the existence possible area in the area coordinate system to the interference determination unit 102.
干渉判定部102は、移動体10が周囲環境に干渉する可能性があるか否かを判定する。より詳しくは、干渉判定部102は、まず、地図データ記憶部54Dから取得した三次元地図データと存在可能領域算出部100とに基づいて、存在可能領域と三次元地図データに含まれる色付点群データの各点との最短距離を算出する。干渉判定部102は、次に、算出した最短距離が、所定閾値以上か否かを判定する。干渉判定部102は、最短距離が所定閾値未満である場合、移動体10が周囲環境に干渉する可能性があるとする判定結果を、警告情報出力部104へ出力する。
The interference determination unit 102 determines whether or not there is a possibility that the moving object 10 will interfere with the surrounding environment. More specifically, the interference determination unit 102 first calculates the shortest distance between the possible presence area and each point of the colored point cloud data included in the three-dimensional map data based on the three-dimensional map data acquired from the map data storage unit 54D and the possible presence area calculation unit 100. The interference determination unit 102 then determines whether or not the calculated shortest distance is equal to or greater than a predetermined threshold. If the shortest distance is less than the predetermined threshold, the interference determination unit 102 outputs a determination result indicating that there is a possibility that the moving object 10 will interfere with the surrounding environment to the warning information output unit 104.
警告情報出力部104は、移動体10が周囲環境に干渉する可能性があると干渉判定部102が判定した場合、干渉の可能性を警告するための所定の警告情報を、表示情報作成部56D及び表示部34へ出力する。警告情報出力部104が表示情報作成部56Dに出力する警告情報は、干渉箇所の情報を含む。干渉箇所は、存在可能領域との最短距離が所定閾値未満である色付点群データの各点を示す。警告情報出力部104が表示部34へ出力する警告情報は、例えば、表示部34の表示画面36に表示させる文字情報、スピーカで発信させる音情報、発光装置で発光させる光情報等を含んでもよい。
When the interference determination unit 102 determines that the moving body 10 may interfere with the surrounding environment, the warning information output unit 104 outputs predetermined warning information to warn of the possibility of interference to the display information creation unit 56D and the display unit 34. The warning information output by the warning information output unit 104 to the display information creation unit 56D includes information on the interference location. The interference location indicates each point of the colored point cloud data whose shortest distance to the possible existence area is less than a predetermined threshold. The warning information output by the warning information output unit 104 to the display unit 34 may include, for example, text information to be displayed on the display screen 36 of the display unit 34, sound information to be transmitted by a speaker, light information to be emitted by a light-emitting device, etc.
次に、第5実施形態の表示情報作成装置40Dによる表示情報の作成処理を含む表示方法について説明する。図14は、第5実施形態に係る表示情報作成装置40Dの処理の一例を示すフローチャートである。図14に示す処理は、表示情報作成装置40Dが予め定められた制御プログラム及びデータに基づいて実行する。表示情報作成装置40Dは、例えば、地図化制御部70が、オペレータの操作部32への操作に基づいて三次元地図データの作成開始を指示する制御信号を、色付点群データ作成部50に出力することによって、図14に示すステップST600に移行して処理を開始する。
Next, a display method including a display information creation process by the display information creation device 40D of the fifth embodiment will be described. FIG. 14 is a flowchart showing an example of the process of the display information creation device 40D of the fifth embodiment. The process shown in FIG. 14 is executed by the display information creation device 40D based on a predetermined control program and data. For example, the mapping control unit 70 outputs a control signal to the colored point cloud data creation unit 50 based on an operator's operation on the operation unit 32, instructing the start of creation of three-dimensional map data, and the display information creation device 40D proceeds to step ST600 shown in FIG. 14 and starts the process.
ステップST600及びステップST602の処理は、第1実施形態のステップST200及びステップST202の処理と同様であるため、説明を省略する。表示情報作成装置40Dは、ステップST602の処理を終了すると、ステップST604に移行する。
The processing of steps ST600 and ST602 is similar to the processing of steps ST200 and ST202 in the first embodiment, and therefore description thereof is omitted. After completing the processing of step ST602, the display information creation device 40D proceeds to step ST604.
表示情報作成装置40Dは、移動体三次元モデルを参照する(ステップST604)。具体的には、存在可能領域算出部100は、移動体データ記憶部92から、移動体10の三次元モデルのデータである移動体三次元モデルデータを含む移動体データを取得する。表示情報作成装置40Dは、ステップST606に移行する。
The display information creation device 40D refers to the three-dimensional moving body model (step ST604). Specifically, the possible existence area calculation unit 100 acquires moving body data including three-dimensional moving body model data, which is data of a three-dimensional model of the moving body 10, from the moving body data storage unit 92. The display information creation device 40D proceeds to step ST606.
ステップST606、ステップST608、ステップST610、ステップST626及びステップST628の処理は、第1実施形態のステップST206、ステップST208、ステップST210、ステップST226及びステップST228の処理と同様であるため、説明を省略する。但し、第5実施形態のステップST610においては、位置情報取得部46Dが、取得した位置情報を、地図データ作成部52のみならず、移動物理量算出部94へも出力する。また、第5実施形態のステップST628においては、地図データ記憶部54は、更新された三次元地図データを、表示情報作成部56のみならず、干渉判定部102へも出力する。表示情報作成装置40Dは、ステップST628の処理を終了すると、ステップST632に移行する。
The processing of steps ST606, ST608, ST610, ST626, and ST628 is similar to the processing of steps ST206, ST208, ST210, ST226, and ST228 in the first embodiment, and therefore description thereof will be omitted. However, in step ST610 in the fifth embodiment, the position information acquisition unit 46D outputs the acquired position information not only to the map data creation unit 52 but also to the movement physical quantity calculation unit 94. Also, in step ST628 in the fifth embodiment, the map data storage unit 54 outputs the updated three-dimensional map data not only to the display information creation unit 56 but also to the interference determination unit 102. When the display information creation device 40D ends the processing of step ST628, it proceeds to step ST632.
表示情報作成装置40Dは、移動体10の移動に関する物理量を算出する(ステップST632)。具体的には、まず、移動物理量算出部94が、位置情報取得部46Dから移動体10の位置情報を取得する。移動物理量算出部94が取得する移動体10の位置情報は、領域座標系における移動体10の基準点の相対座標及び姿勢角の情報を含む。移動物理量算出部94は、次に、時間的に連続する移動体10の位置情報に基づいて、領域座標系における移動体10の基準点の相対座標及び姿勢角の時間変化量を算出する。表示情報作成装置40Dは、ステップST634に移行する。
The display information creation device 40D calculates physical quantities related to the movement of the moving body 10 (step ST632). Specifically, first, the movement physical quantity calculation unit 94 acquires position information of the moving body 10 from the position information acquisition unit 46D. The position information of the moving body 10 acquired by the movement physical quantity calculation unit 94 includes information on the relative coordinates of the reference point of the moving body 10 in the area coordinate system and the attitude angle. The movement physical quantity calculation unit 94 then calculates the amount of change over time in the relative coordinates of the reference point of the moving body 10 in the area coordinate system and the attitude angle based on the position information of the moving body 10 that is continuous in time. The display information creation device 40D proceeds to step ST634.
表示情報作成装置40Dは、移動体10に対する操作情報を取得する(ステップST634)。具体的には、操作情報取得部96は、操作部32がオペレータによる移動体10の移動に関する操作を受け付けた場合、操作部32から移動体10に対する操作情報を取得する。操作情報取得部96は、移動体10に対する操作情報を、操作物理量算出部98へ出力する。表示情報作成装置40Dは、ステップST636に移行する。
The display information creation device 40D acquires operation information for the moving body 10 (step ST634). Specifically, when the operation unit 32 accepts an operation by the operator related to the movement of the moving body 10, the operation information acquisition unit 96 acquires operation information for the moving body 10 from the operation unit 32. The operation information acquisition unit 96 outputs the operation information for the moving body 10 to the operation physical quantity calculation unit 98. The display information creation device 40D proceeds to step ST636.
表示情報作成装置40Dは、移動体10に対する操作に対応する物理量を算出する(ステップST636)。具体的には、操作物理量算出部98は、操作情報取得部96から取得した移動体10に対する操作情報に基づいて、移動体10に対する操作に対応する、移動体10の移動方向、移動速度、移動方向及び移動速度の変化量を含む物理量を算出する。操作物理量算出部98は、算出した移動体10に対する操作に対応する物理量を、存在可能領域算出部100へ出力する。表示情報作成装置40Dは、ステップST638に移行する。
The display information creation device 40D calculates physical quantities corresponding to the operation on the moving body 10 (step ST636). Specifically, the operation physical quantity calculation unit 98 calculates physical quantities corresponding to the operation on the moving body 10, including the moving direction, moving speed, and amount of change in the moving direction and moving speed of the moving body 10, based on the operation information on the moving body 10 acquired from the operation information acquisition unit 96. The operation physical quantity calculation unit 98 outputs the calculated physical quantities corresponding to the operation on the moving body 10 to the possible existence area calculation unit 100. The display information creation device 40D proceeds to step ST638.
表示情報作成装置40Dは、現在から所定時間内での移動体10の存在可能領域を算出する(ステップST638)。具体的には、存在可能領域算出部100は、ステップST604で取得した移動体三次元モデルデータと、ステップST632で取得及び算出した移動体10の移動に関する物理量と、ステップST634で算出した移動体10に対する操作に対応する物理量に基づいて、移動体10の存在可能領域を算出する。表示情報作成装置40Dは、ステップST640に移行する。
The display information creation device 40D calculates the possible existence area of the moving body 10 within a predetermined time from the present (step ST638). Specifically, the possible existence area calculation unit 100 calculates the possible existence area of the moving body 10 based on the moving body three-dimensional model data acquired in step ST604, the physical quantities related to the movement of the moving body 10 acquired and calculated in step ST632, and the physical quantities corresponding to the operation on the moving body 10 calculated in step ST634. The display information creation device 40D proceeds to step ST640.
表示情報作成装置40Dは、移動体10が周囲環境に干渉する可能性があるか否かを判定する(ステップST640)。具体的には、干渉判定部102は、まず、地図データ記憶部54Dから取得した三次元地図データと存在可能領域算出部100とに基づいて、存在可能領域と三次元地図データに含まれる色付点群データの各点との最短距離を算出する。干渉判定部102は、次に、算出した最短距離が、所定閾値以上か否かを判定する。
The display information creation device 40D determines whether or not there is a possibility that the moving body 10 will interfere with the surrounding environment (step ST640). Specifically, the interference determination unit 102 first calculates the shortest distance between the possible existence area and each point of the colored point cloud data included in the three-dimensional map data based on the three-dimensional map data acquired from the map data storage unit 54D and the possible existence area calculation unit 100. The interference determination unit 102 then determines whether or not the calculated shortest distance is equal to or greater than a predetermined threshold value.
干渉判定部102は、最短距離が所定閾値未満である場合、移動体10が周囲環境に干渉する可能性があると判定する。移動体10が周囲環境に干渉する可能性がある場合(ステップST640;Yes)、移動体10が周囲環境に干渉する可能性があるとする判定結果を、警告情報出力部104へ出力する。表示情報作成装置40Dは、ステップST642に移行する。干渉判定部102は、最短距離が所定閾値以上である場合、移動体10が周囲環境に干渉する可能性がないと判定する。移動体10が周囲環境に干渉する可能性がない場合(ステップST640;No)、表示情報作成装置40Dは、ステップST646に移行する。
If the shortest distance is less than a predetermined threshold, the interference determination unit 102 determines that the moving object 10 may interfere with the surrounding environment. If the moving object 10 may interfere with the surrounding environment (step ST640; Yes), the determination result indicating that the moving object 10 may interfere with the surrounding environment is output to the warning information output unit 104. The display information creation device 40D proceeds to step ST642. If the shortest distance is equal to or greater than a predetermined threshold, the interference determination unit 102 determines that the moving object 10 is not likely to interfere with the surrounding environment. If the moving object 10 is not likely to interfere with the surrounding environment (step ST640; No), the display information creation device 40D proceeds to step ST646.
移動体10が周囲環境に干渉する可能性がある場合(ステップST640;Yes)、表示情報作成装置40Dは、干渉箇所を明示した色付点群データを三次元地図データに更新する(ステップST642)。具体的には、まず、警告情報出力部104が、存在可能領域との最短距離が所定閾値未満である色付点群データの各点を示す干渉箇所の情報を、表示情報作成部56Dへ出力する。次に、表示情報作成部56Dが、干渉箇所を明示した色付点群データを、表示情報の三次元地図データに更新する。表示情報作成装置40Dは、ステップST644に移行する。
If there is a possibility that the moving body 10 will interfere with the surrounding environment (step ST640; Yes), the display information creation device 40D updates the colored point cloud data indicating the interference points to three-dimensional map data (step ST642). Specifically, first, the warning information output unit 104 outputs to the display information creation unit 56D information on the interference points indicating each point of the colored point cloud data whose shortest distance to the possible existence area is less than a predetermined threshold. Next, the display information creation unit 56D updates the colored point cloud data indicating the interference points to the three-dimensional map data of the display information. The display information creation device 40D proceeds to step ST644.
表示情報作成装置40Dは、干渉可能性ありの警告情報を表示部34へ出力する(ステップST644)。具体的には、警告情報出力部104は、例えば、表示部34の表示画面36に表示させる文字情報、スピーカで発信させる音情報、発光装置で発光させる光情報等を含む警告情報を、表示部34へ出力する。なお、ステップST644は、ステップST642の前に実行されてもよい。表示情報作成装置40Dは、ステップST646に移行する。
The display information creation device 40D outputs warning information indicating the possibility of interference to the display unit 34 (step ST644). Specifically, the warning information output unit 104 outputs warning information including, for example, character information to be displayed on the display screen 36 of the display unit 34, sound information to be emitted by the speaker, and light information to be emitted by the light-emitting device to the display unit 34. Note that step ST644 may be executed before step ST642. The display information creation device 40D proceeds to step ST646.
ステップST646、ステップST648、ステップST650、及びステップST652の処理は、第1実施形態のステップST246、ステップST248、ステップST250、及びステップST252の処理と同様であるため、説明を省略する。
The processing of steps ST646, ST648, ST650, and ST652 is similar to the processing of steps ST246, ST248, ST250, and ST252 in the first embodiment, and therefore will not be described.
なお、ステップST638において、現在から所定時間内での移動体10の存在可能領域を算出する際に、各々の物理量の値をそのまま使用してもよいし、重み付けを行った値を使用してもよい。重み付けを行う場合の一例について、以下に説明する。移動体10の移動範囲において水平面における一方向をX方向とし、水平面におけるX方向と直交する方向をY方向とする。移動体10のX方向への速度をVxとし、Y方向への速度をVyとし、重み付け係数をα及びβとした場合、存在可能領域算出部100は、移動体10のX方向への速度をα×Vxとし、Y方向への速度をβ×Vyとして、存在可能領域を算出する。なお、Vx<Vy、かつ、α<β、である。これにより、移動量が大きいと予想される方向に、存在可能領域を拡大させるので、干渉判定部102がより安全よりの判定を行うことができる。
In step ST638, when calculating the possible presence area of the moving body 10 within a predetermined time from the present, the values of each physical quantity may be used as is, or weighted values may be used. An example of weighting will be described below. In the moving range of the moving body 10, one direction on the horizontal plane is the X direction, and the direction perpendicular to the X direction on the horizontal plane is the Y direction. If the speed of the moving body 10 in the X direction is Vx, the speed in the Y direction is Vy, and the weighting coefficients are α and β, the possible presence area calculation unit 100 calculates the possible presence area by setting the speed of the moving body 10 in the X direction to α×Vx and the speed in the Y direction to β×Vy. Note that Vx<Vy and α<β. As a result, the possible presence area is expanded in the direction in which the movement amount is expected to be large, so that the interference determination unit 102 can make a safer determination.
表示情報作成装置40Dは、ステップST606からステップST628までの処理において、作成される三次元地図データを時間的に連続して取得し、各々の三次元地図データを合成する。この際に合成される各々の三次元地図データは、共通の座標系に統一される。表示情報作成装置40Dは、画面設定部60で設定された表示設定に基づいて、合成した三次元地図データを含む表示情報を作成する。表示情報作成装置40Dは、作成した表示情報を、表示設定に基づく表示形式で、表示部34の表示画面36に表示させる。また、表示情報作成装置40Dは、移動体10が周囲環境に干渉する可能性がある場合、警告情報を出力するとともに、三次元地図データに干渉箇所を明示した色付点群データを追加して更新させる。
The display information creation device 40D continuously acquires the three-dimensional map data created in the processes from step ST606 to step ST628, and synthesizes each of the three-dimensional map data. Each of the three-dimensional map data synthesized at this time is unified into a common coordinate system. The display information creation device 40D creates display information including the synthesized three-dimensional map data based on the display settings set by the screen setting unit 60. The display information creation device 40D displays the created display information on the display screen 36 of the display unit 34 in a display format based on the display settings. Furthermore, if there is a possibility that the moving body 10 will interfere with the surrounding environment, the display information creation device 40D outputs warning information and updates the three-dimensional map data by adding colored point cloud data that clearly indicates the location of interference.
(各実施形態の作用効果)
各実施形態に記載の表示情報作成装置40、40A、40B、40C、40D、表示システム1、及び表示情報作成方法は、例えば以下のように把握される。
(Effects of each embodiment)
The display information creating device 40, 40A, 40B, 40C, and 40D, the display system 1, and the display information creating method described in each embodiment can be understood, for example, as follows.
第1の様態に係る表示情報作成装置40、40A、40B、40C、40Dは、移動体10と所定領域2に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得する点群データ取得部42、42Aと、移動体10の位置情報を取得する位置情報取得部46、46A、46Dと、位置情報に基づいて点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)を共通の座標系に変換して三次元地図データを作成して随時合成する地図データ作成部52と、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定可能な画面設定部60と、表示設定に基づいて、三次元地図データの所定視点によって特定される地図を含む表示情報を作成する表示情報作成部56、56Dと、を備える。
The display information creation device 40, 40A, 40B, 40C, 40D according to the first embodiment includes a point cloud data acquisition unit 42, 42A that acquires point cloud data including distance information between the moving body 10 and each point constituting the surface of a feature present in a predetermined area 2 at a predetermined period, a position information acquisition unit 46, 46A, 46D that acquires position information of the moving body 10, a map data creation unit 52 that converts the point cloud data (in the embodiment, colored point cloud data in which color data is assigned to each point of the point cloud data) into a common coordinate system based on the position information to create three-dimensional map data and synthesize it as needed, a screen setting unit 60 that can set display settings including a combination of setting values of screen setting data related to the display format of the display screen 36 of the display unit 34, and a display information creation unit 56, 56D that creates display information including a map specified by a predetermined viewpoint of the three-dimensional map data based on the display settings.
第1の様態に係る表示情報作成装置40、40A、40B、40C、40Dは、画面設定部60において、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定できる。予め設定値の組み合わせとして表示設定を設定しておくことにより、選択式に複数の表示設定のうち任意の表示設定で三次元地図データを画面に表示させることができるので、表示形式を容易に設定できる。例えば、移動体10に対して要求される操作精度が高い場合、移動体10の操作のパターンが複数ある場合等、移動体10の操作に対して適した画面表示があることが望ましい場合に、適切に任意の視点及び画面構成を設定できる。
The display information creation device 40, 40A, 40B, 40C, 40D according to the first aspect can set display settings in the screen setting unit 60, including a combination of setting values of screen setting data related to the display format of the display screen 36 of the display unit 34. By setting the display settings as a combination of setting values in advance, it is possible to selectively display the three-dimensional map data on the screen in any of a plurality of display settings, and therefore the display format can be easily set. For example, when high operating accuracy is required for the mobile object 10, when there are multiple patterns of operating the mobile object 10, or when it is desirable to have a screen display suitable for the operation of the mobile object 10, any viewpoint and screen configuration can be appropriately set.
第2の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、オペレータによる操作によって追加、編集又は削除可能であって、複数の表示設定と表示設定に対応する名称とがリスト化して記録されたデータを示す表示設定リストを有し、選択された表示設定を表示情報作成部56、56Dへ出力する。これにより、オペレータが各々の設定値の組み合わせを含む表示設定に対応する名称を指定することで、各々の設定値を一から入力することなく、所望の表示形式で、三次元地図データの地図を含む表示情報を表示部34に表示させることができる。
In the display information creation device 40, 40A, 40B, 40C, 40D according to the second embodiment, the screen setting unit 60 has a display setting list that can be added, edited, or deleted by an operator's operation, and indicates data in which a plurality of display settings and names corresponding to the display settings are listed and recorded, and outputs a selected display setting to the display information creation unit 56, 56D. This allows the operator to specify a name corresponding to the display setting including a combination of each setting value, thereby allowing the display information including the map of the three-dimensional map data to be displayed on the display unit 34 in the desired display format, without having to input each setting value from scratch.
第3の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、過去の表示設定が一時的に記録されかつ所定容量に達した場合に最も古い表示設定から順に自動的に削除されるデータを示す直近設定リストを有する。これにより、近い過去に使用した表示形式で、迅速に三次元地図データの地図を含む表示情報を表示部34に表示させることができる。
In the display information creation device 40, 40A, 40B, 40C, 40D according to the third aspect, the screen setting unit 60 has a most recent setting list in which past display settings are temporarily recorded and which indicates data that is automatically deleted, starting with the oldest display setting, when a predetermined capacity is reached. This allows the display unit 34 to quickly display display information including a map of the three-dimensional map data in a display format that was used in the recent past.
第4の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、表示部34の複数の表示画面36に、三次元地図データの異なる視点による地図をそれぞれ表示させる表示設定を設定可能である。表示部34の表示画面36に表示させる地図は、三次元地図データの所定視点の地図である。これにより、本来点群データ及び色データを測定する測定装置20が取り付けられていない位置に視点を設定することができる。様々な視点に設定することができるので、移動体10の移動及び作業に合わせた適切な視点での周辺環境の情報をオペレータに提示することができる。さらに、複数の視点によって特定される地図を提示することにより、移動体10の移動及び作業の効率及び精度の向上に寄与する。また、過去に取得した点群データ及び色データに基づく三次元地図データに、随時新たな三次元地図データを追加して更新して三次元地図データを作成するので、測定装置20を多数配置することなく、複数の視点による地図を提供できる。
In the display information creation device 40, 40A, 40B, 40C, 40D according to the fourth aspect, the screen setting unit 60 can set a display setting for displaying maps from different viewpoints of the three-dimensional map data on the multiple display screens 36 of the display unit 34. The map displayed on the display screen 36 of the display unit 34 is a map of a predetermined viewpoint of the three-dimensional map data. This allows the viewpoint to be set at a position where the measuring device 20 that originally measures the point cloud data and color data is not attached. Since various viewpoints can be set, information on the surrounding environment from an appropriate viewpoint according to the movement and work of the mobile body 10 can be presented to the operator. Furthermore, presenting a map specified by multiple viewpoints contributes to improving the efficiency and accuracy of the movement and work of the mobile body 10. In addition, new three-dimensional map data is added and updated as needed to the three-dimensional map data based on the point cloud data and color data acquired in the past to create the three-dimensional map data, so that maps from multiple viewpoints can be provided without disposing a large number of measuring devices 20.
第5の様態に係る表示情報作成装置40、40A、40B、40C、40Dにおいて、画面設定部60は、表示部34の複数の表示画面36に、三次元地図データの所定視点によって特定される地図と、点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)の画像と、をそれぞれ表示させる表示設定を設定可能である。距離情報を含む点群データと、二次元の色情報である色データと、に基づいて、色付点群データを作成し、色付点群データの座標系の変換及び合成によって三次元地図データを作成しているため、三次元地図データの地図のみならず色付点群データの画像も表示できる。
In the display information creation device 40, 40A, 40B, 40C, 40D according to the fifth aspect, the screen setting unit 60 can set display settings to display a map specified by a specific viewpoint of the three-dimensional map data and an image of the point cloud data (in the embodiment, colored point cloud data in which color data is assigned to each point of the point cloud data) on the multiple display screens 36 of the display unit 34. The colored point cloud data is created based on the point cloud data including distance information and color data which is two-dimensional color information, and the three-dimensional map data is created by converting and synthesizing the coordinate system of the colored point cloud data, so that not only the map of the three-dimensional map data but also the image of the colored point cloud data can be displayed.
第6の様態に係る表示情報作成装置40A、40B、40Cは、三次元地図データを含む表示情報の作成対象となる地図作成領域の位置情報を含む領域データを有し、点群データの各点の位置が地図作成領域に含まれる場合、三次元地図データの作成開始を指示する制御信号を出力する地図化制御部70A、70B、70Cを備える。これにより、移動体10において特定動作を行う以前の移動時に、三次元地図データを作成することができる。また、特定動作を行う位置より手前から三次元地図データを作成する場合、作成された地図データには、地物の表面を構成するより多くの各点について測定された点群データ及び色データが蓄積されるため、より多くの周辺環境の情報をオペレータに提示することができる。また、必要とされる領域に限定して三次元地図データを作成するので、処理に伴う消費電力及びメモリ量等の負荷の低減に寄与できる。
The display information creation device 40A, 40B, 40C according to the sixth aspect has area data including position information of a map creation area for which display information including three-dimensional map data is to be created, and is equipped with a mapping control unit 70A, 70B, 70C that outputs a control signal to start creating three-dimensional map data when the position of each point of the point cloud data is included in the map creation area. This allows three-dimensional map data to be created during movement before a specific operation is performed in the mobile body 10. In addition, when three-dimensional map data is created from before the position where a specific operation is performed, the created map data accumulates point cloud data and color data measured for more points that make up the surface of the feature, so that more information on the surrounding environment can be presented to the operator. In addition, since three-dimensional map data is created only for the required area, it can contribute to reducing the load on the power consumption and memory capacity associated with processing.
第7の様態に係る表示情報作成装置40A、40B、40Cにおいて、領域データは、三次元地図データの作成を開始する以前にオペレータが操作可能な操作部32を介して予め追加、編集又は削除可能に設定される地図作成領域の位置情報を含む地図作成領域設定データを含む。これにより、三次元地図データが必要とされることが予測される領域について、予め地図作成領域として設定できるので、必要とされる領域について過不足なく自動的に三次元地図データを作成することができる。このため、オペレータによって三次元地図データの作成開始の指示を都度行う必要がないので、手間を低減でき、作成開始の遅延を抑制できる。
In the display information creation devices 40A, 40B, and 40C according to the seventh aspect, the area data includes map creation area setting data including position information of the map creation area that is set in advance so that it can be added, edited, or deleted via the operation unit 32 that can be operated by the operator before starting the creation of the three-dimensional map data. This allows areas where three-dimensional map data is predicted to be required to be set in advance as map creation areas, making it possible to automatically create three-dimensional map data for the required areas without excess or deficiency. This eliminates the need for the operator to give an instruction to start creating three-dimensional map data each time, reducing the effort required and suppressing delays in starting creation.
第8の様態に係る表示情報作成装置40B、40Cにおいて、地図化制御部70B、70Cは、オペレータが操作可能な操作部32を介して三次元地図データの作成開始を指示する操作信号を取得した場合、三次元地図データの作成開始を指示する制御信号を出力する。これにより、三次元地図データを必要とされることを予測していなかった領域についても、三次元地図データを作成することができる。
In the display information creation device 40B, 40C according to the eighth aspect, when the mapping control unit 70B, 70C receives an operation signal instructing the start of creation of three-dimensional map data via the operation unit 32 that can be operated by the operator, it outputs a control signal instructing the start of creation of three-dimensional map data. This makes it possible to create three-dimensional map data even for areas where it was not expected that three-dimensional map data would be needed.
第9の様態に係る表示情報作成装置40B、40Cにおいて、領域データは、過去に三次元地図データの作成を指示された地図作成領域の位置情報を含む地図作成実績データを含む。これにより、移動体10が複数回に亘って移動又は作業した同一の領域で三次元地図データの作成を指示された場合、予め設定した地図作成領域でなくとも、実績に基づいて自動的に三次元地図データを作成することができる。
In the display information creation devices 40B and 40C according to the ninth aspect, the area data includes map creation history data including position information of a map creation area for which three-dimensional map data was instructed to be created in the past. As a result, when an instruction is given to create three-dimensional map data for the same area in which the mobile body 10 has moved or worked multiple times, three-dimensional map data can be automatically created based on the history even if the area is not a preset map creation area.
第10の様態に係る表示情報作成装置40Cにおいて、地図化制御部70Cは、点群データの各点の位置が地図作成領域に含まれる場合、三次元地図データの作成を開始するか否かを選択するようにオペレータに報知するための報知情報を出力し、三次元地図データの作成開始を選択する操作信号を取得した場合、三次元地図データの作成開始を指示する制御信号を出力する。これにより、オペレータに三次元地図作成の要否を確認することができるので、不要な三次元地図データを作成することを抑制し、処理に伴う消費電力及びメモリ量等の負荷の低減に寄与できる。
In the display information creation device 40C according to the tenth aspect, when the position of each point of the point cloud data is included in the map creation area, the mapping control unit 70C outputs notification information to notify the operator to select whether or not to start creating three-dimensional map data, and when an operation signal to select the start of three-dimensional map data creation is acquired, outputs a control signal to instruct the start of three-dimensional map data creation. This allows the operator to confirm whether or not a three-dimensional map needs to be created, thereby preventing the creation of unnecessary three-dimensional map data and contributing to a reduction in the load on the processing, such as power consumption and memory capacity.
第11の様態に係る表示情報作成装置40Dは、現在から所定時間内で移動体10が存在する可能性のある領域を示す存在可能領域と、三次元地図データに含まれる点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)の各点との最短距離とが、所定閾値未満である場合、警告情報を出力する干渉警告部90を備える。これにより、移動体10と周囲環境とが干渉する可能性をオペレータに警告できるので、移動体10と周囲環境との干渉を抑制できる。
The display information creation device 40D according to the eleventh aspect includes an interference warning unit 90 that outputs warning information when the shortest distance between a possible presence area indicating an area in which the moving body 10 may be present within a predetermined time from the present and each point of the point cloud data (in the embodiment, colored point cloud data in which each point of the point cloud data is assigned color data) included in the three-dimensional map data is less than a predetermined threshold. This makes it possible to warn the operator of the possibility of interference between the moving body 10 and the surrounding environment, thereby suppressing interference between the moving body 10 and the surrounding environment.
第12の様態に係る表示情報作成装置40Dにおいて、干渉警告部90は、移動体10の三次元モデルのデータを示す移動体三次元モデルデータと、移動体10の移動に関する物理量と、移動体10に対する操作情報とに基づいて、存在可能領域を算出する。これにより、現在の移動体10の位置、移動方向及び移動速度のみならず、移動体10に対して移動方向及び移動速度を変更させる操作情報に基づいて存在可能領域を算出することにより、より好適に移動体10と周囲環境とが干渉する可能性を判定することができる。
In the display information creation device 40D according to the twelfth aspect, the interference warning unit 90 calculates the possible existence area based on the moving body 3D model data indicating the data of the 3D model of the moving body 10, physical quantities related to the movement of the moving body 10, and operation information for the moving body 10. As a result, by calculating the possible existence area based not only on the current position, moving direction, and moving speed of the moving body 10, but also on operation information for changing the moving direction and moving speed of the moving body 10, it is possible to more appropriately determine the possibility of interference between the moving body 10 and the surrounding environment.
第13の様態に係る表示システム1は、第1の様態から第12の様態のいずれか1つの表示情報作成装置40、40A、40B、40C、40Dと、所定領域2を移動可能かつ表示情報作成装置40、40A、40B、40C、40Dと通信可能な移動体10と、表示情報作成装置40、40A、40B、40C、40D及び移動体10への操作を入力可能な操作部32と、表示情報を表示可能な表示部34と、を含み、表示情報作成装置40、40A、40B、40C、40D及び移動体10と通信可能な基地局3と、を備える。
The display system 1 according to the thirteenth aspect includes a display information creation device 40, 40A, 40B, 40C, 40D according to any one of the first to twelfth aspects, a mobile body 10 capable of moving within a predetermined area 2 and communicating with the display information creation devices 40, 40A, 40B, 40C, 40D, an operation unit 32 capable of inputting operations to the display information creation devices 40, 40A, 40B, 40C, 40D and the mobile body 10, and a display unit 34 capable of displaying display information, and a base station 3 capable of communicating with the display information creation devices 40, 40A, 40B, 40C, 40D and the mobile body 10.
第13の様態に係る表示システム1は、表示情報作成装置40、40A、40B、40C、40Dの画面設定部60において、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定できる。予め設定値の組み合わせとして表示設定を設定しておくことにより、選択式に複数の表示設定のうち任意の表示設定で三次元地図データを表示画面36に表示させることができるので、表示形式を容易に設定できる。
In the display system 1 according to the thirteenth aspect, the display setting unit 60 of the display information creation device 40, 40A, 40B, 40C, 40D can set display settings including a combination of setting values of screen setting data related to the display format of the display screen 36 of the display unit 34. By setting the display settings as a combination of setting values in advance, it is possible to selectively display the three-dimensional map data on the display screen 36 in any of a plurality of display settings, so that the display format can be easily set.
第14の様態に係る表示情報作成方法は、移動体10と所定領域2に存在する地物の表面を構成する各点との間の距離情報を含む点群データを所定周期で取得するステップST206、ST306、ST406、ST506、ST606と、移動体10の位置情報を取得するステップST210、ST310、ST410、ST510、ST610と、位置情報に基づいて点群データ(実施形態では、点群データの各点に色データを付与した色付点群データ)を共通の座標系に変換して三次元地図データを作成して随時合成するステップST228、ST328、ST428、ST528、ST628と、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定するステップと、表示設定に基づいて、三次元地図データの所定視点によって特定される地図を含む表示情報を作成するステップST250、ST350、ST450、ST550、ST650と、を含む。
The display information creation method according to the fourteenth aspect includes steps ST206, ST306, ST406, ST506, and ST606 of periodically acquiring point cloud data including distance information between the moving body 10 and each point constituting the surface of a feature present in a predetermined region 2, steps ST210, ST310, ST410, ST510, and ST610 of acquiring position information of the moving body 10, steps ST228, ST328, ST428, ST528, and ST628 of converting the point cloud data (in the embodiment, colored point cloud data in which color data is assigned to each point of the point cloud data) into a common coordinate system based on the position information to create three-dimensional map data and synthesizing it as needed, a step of setting display settings including a combination of setting values of screen setting data related to the display format of the display screen 36 of the display unit 34, and steps ST250, ST350, ST450, ST550, and ST650 of creating display information including a map identified by a predetermined viewpoint of the three-dimensional map data based on the display settings.
第14の様態に係る表示情報作成方法は、表示部34の表示画面36の表示形式に関する画面設定データの設定値の組み合わせを含む表示設定を設定できる。予め設定値の組み合わせとして表示設定を設定しておくことにより、選択式に複数の表示設定のうち任意の表示設定で三次元地図データを画面に表示させることができるので、表示形式を容易に設定できる。例えば、移動体10に対して要求される操作精度が高い場合、移動体10の操作のパターンが複数ある場合等、移動体10の操作に対して適した画面表示があることが望ましい場合に、適切に任意の視点及び画面構成を設定できる。
The display information creation method according to the fourteenth aspect can set display settings including a combination of setting values of screen setting data related to the display format of the display screen 36 of the display unit 34. By setting the display settings as a combination of setting values in advance, it is possible to selectively display the three-dimensional map data on the screen in any of a plurality of display settings, and therefore the display format can be easily set. For example, when high operating accuracy is required of the mobile object 10, when there are multiple patterns of operating the mobile object 10, or when it is desirable to have a screen display suitable for the operation of the mobile object 10, any viewpoint and screen configuration can be appropriately set.
以上、本開示の実施形態を説明したが、これらの実施形態の記載内容によって実施形態が限定されるものではない。例えば、移動体10において点群データを取得するレーザ測量センサ22及び色データを取得する色データ取得センサ24に代えて、色付点群データを取得する距離画像センサを備えてもよい。この場合、表示情報作成装置40、40A、40B、40C、40Dは、点群データ取得部42及び色データ取得部44に代えて、色付点群データを取得する色付点群データ取得部を備える。
Although the embodiments of the present disclosure have been described above, the embodiments are not limited to the contents of these embodiments. For example, instead of the laser survey sensor 22 that acquires point cloud data in the moving body 10 and the color data acquisition sensor 24 that acquires color data, a distance image sensor that acquires colored point cloud data may be provided. In this case, the display information creation devices 40, 40A, 40B, 40C, and 40D each have a colored point cloud data acquisition unit that acquires colored point cloud data instead of the point cloud data acquisition unit 42 and the color data acquisition unit 44.
また、表示情報作成装置40、40A、40B、40C、40Dは、色付点群データのうち、所定の有効領域をフィルタリングによって抽出して、抽出された有効領域に該当する色付点群データのみから三次元地図データを作成してもよい。所定の有効領域は、例えば、移動体10に搭載される照明装置の照明範囲に相当する領域等を含む。
The display information creation devices 40, 40A, 40B, 40C, and 40D may also extract a predetermined effective area from the colored point cloud data by filtering, and create three-dimensional map data from only the colored point cloud data that corresponds to the extracted effective area. The predetermined effective area may include, for example, an area that corresponds to the illumination range of a lighting device mounted on the mobile body 10.
また、実施形態では点群データの各点に色データを付与した色付点群データから色付きの三次元地図データを作成したが、本開示では色データを必須としない。すなわち、色データの代わりに輝度データを点群データの各点に付与した輝度付点群データから輝度付きの三次元地図データを作成してもよいし、点群データから色情報や輝度情報を含まない三次元地図データを作成してもよい。この場合、例えば、地図化制御部70、70A、70B、70Cは、色付点群データ作成部50の代わりに、地図データ作成部52に三次元地図データの作成開始を指示すればよい。また、表示部34の表示画面36に色付点群データの画像を表示させてもよい。
In addition, in the embodiment, colored three-dimensional map data is created from colored point cloud data in which each point of the point cloud data is assigned color data, but color data is not essential in the present disclosure. That is, three-dimensional map data with luminance may be created from luminance-assigned point cloud data in which luminance data is assigned to each point of the point cloud data instead of color data, or three-dimensional map data that does not include color information or luminance information may be created from point cloud data. In this case, for example, the mapping control unit 70, 70A, 70B, 70C may instruct the map data creation unit 52 to start creating three-dimensional map data instead of the colored point cloud data creation unit 50. Also, an image of the colored point cloud data may be displayed on the display screen 36 of the display unit 34.
また、実施形態では移動体10と基地局3と通信ネットワーク4を介して接続するが、本開示では通信を介する構成に限定されない。すなわち、本開示は、所定領域2に対して遠隔にオペレータが存在する構成に限定されない。例えば、本開示を自動車、建設機械、大型フォーク等の有人機の移動体に適用する場合は、移動体に基地局3の構成、すなわち操作部32、表示部34、及び表示情報作成装置40を設けて、制御部18と基地局3の構成とを電気的に接続してもよい。
In addition, in the embodiment, the mobile body 10 and the base station 3 are connected via the communication network 4, but the present disclosure is not limited to a configuration via communication. In other words, the present disclosure is not limited to a configuration in which an operator is present remotely from the specified area 2. For example, when the present disclosure is applied to a mobile body such as an automobile, construction machine, or manned machine such as a forklift, the mobile body may be provided with the configuration of the base station 3, i.e., the operation unit 32, the display unit 34, and the display information creation device 40, and the control unit 18 and the configuration of the base station 3 may be electrically connected.