JP6529420B2 - Road monitoring device and road monitoring program - Google Patents

Road monitoring device and road monitoring program Download PDF

Info

Publication number
JP6529420B2
JP6529420B2 JP2015210829A JP2015210829A JP6529420B2 JP 6529420 B2 JP6529420 B2 JP 6529420B2 JP 2015210829 A JP2015210829 A JP 2015210829A JP 2015210829 A JP2015210829 A JP 2015210829A JP 6529420 B2 JP6529420 B2 JP 6529420B2
Authority
JP
Japan
Prior art keywords
event
vehicle
packet
road
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015210829A
Other languages
Japanese (ja)
Other versions
JP2017083619A (en
Inventor
健司 富樫
健司 富樫
小澤 正
正 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015210829A priority Critical patent/JP6529420B2/en
Publication of JP2017083619A publication Critical patent/JP2017083619A/en
Application granted granted Critical
Publication of JP6529420B2 publication Critical patent/JP6529420B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、道路および道路の周囲を監視する技術に関するものである。   The present invention relates to a road and a technology for monitoring a road.

道路および道路の周囲について計測車両を用いて三次元計測を行うMMS(モービルマッピングシステム)が知られている。   2. Description of the Related Art MMS (Mobil Mapping System) is known which performs three-dimensional measurement using a measurement vehicle around a road and a road periphery.

特許文献1は、複数の移動体により計測された時系列位置データを用いて地図データを修正する方法が開示されている。   Patent Document 1 discloses a method of correcting map data using time-series position data measured by a plurality of moving objects.

特許第4297626号公報Patent No. 4297626

本発明は、道路の陥没または道路にはみ出た樹木などの通行に支障をきたす事象を監視者に知らせることができるようにすることを目的とする。   An object of the present invention is to make it possible to notify a supervisor of an event that hinders the passage of traffic, such as a depression of a road or a tree that has come off the road.

本発明の道路監視装置は、
道路を走行する車両に搭載される通信装置から送信されるパケットであって前記道路または前記道路の周囲に生じている事象について前記事象が生じている位置を示す事象位置情報を含んだパケットである事象パケットを受信する受信部と、
表示装置に表示される画像であって前記事象パケットに含まれる前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象図が付加された地図の画像である地図画像を生成する地図画像生成部とを備える。
The road monitoring device of the present invention is
A packet transmitted from a communication device mounted on a vehicle traveling on a road, the packet including event position information indicating a position at which the event is occurring for the event occurring on the road or around the road A receiver for receiving an event packet;
A map image which is an image displayed on a display device and which is an image of a map in which an event diagram representing the event is added to a location corresponding to the position indicated by the event position information included in the event packet And a map image generation unit.

本発明によれば、道路または道路の周囲に生じている事象について事象が生じている位置に対応する箇所に事象図が付加された地図の画像を表示することが可能になる。したがって、道路の陥没または道路にはみ出た樹木などの通行に支障をきたす事象を監視者に知らせることができる。   According to the present invention, it is possible to display an image of a map to which an event map is added at a location corresponding to a position where an event has occurred for a road or an event occurring around the road. Therefore, it is possible to notify the supervisor of an event that hinders passage, such as a depression in a road or a tree that has run out on the road.

実施の形態1における道路監視システム500の構成図。BRIEF DESCRIPTION OF THE DRAWINGS The block diagram of the road monitoring system 500 in Embodiment 1. FIG. 実施の形態1における道路監視装置510の構成図。FIG. 2 is a block diagram of a road monitoring device 510 according to the first embodiment. 実施の形態1における事象パケット531の構成図。FIG. 5 is a block diagram of an event packet 531 according to the first embodiment. 実施の形態1における車両パケット532の構成図。FIG. 2 is a block diagram of a vehicle packet 532 according to the first embodiment. 実施の形態1における視点パケット534の構成図。5 is a configuration diagram of a viewpoint packet 534 in Embodiment 1. FIG. 実施の形態1における計測点パケット533の構成図。FIG. 6 is a configuration diagram of a measurement point packet 533 in Embodiment 1. 実施の形態1における道路監視方法のフローチャート。3 is a flowchart of a road monitoring method according to Embodiment 1. 実施の形態1における監視画面503の概要図。FIG. 5 is a schematic diagram of a monitoring screen 503 in the first embodiment. 実施の形態1における点群画像310(視線方向が後ろ側から前側への方向)を示す図。FIG. 7 is a diagram showing a point cloud image 310 (the direction from the rear side to the front side in the direction of the line of sight) in the first embodiment. 実施の形態1における点群画像310(視線方向が前側から後ろ側への方向)を示す図。FIG. 6 is a diagram showing a point cloud image 310 (the direction from the front side to the back side of the sight line direction) in the first embodiment. 実施の形態1における点群画像310(視線方向が右側から左側への方向)を示す図。FIG. 7 is a diagram showing a point cloud image 310 (the direction from the right to the left of the line of sight direction) in the first embodiment. 実施の形態1における点群画像310(視線方向が左側から右側への方向)を示す図。FIG. 6 is a diagram showing a point cloud image 310 (the direction from the left to the right) in the first embodiment. 実施の形態1における点群画像310(視線方向が上側から下側への方向)を示す図。FIG. 7 is a diagram showing a point cloud image 310 (the direction from the upper side to the lower side of the sight line direction) in the first embodiment. 実施の形態1における事象マーク315を各方向から見た図。The figure which looked at the event mark 315 in Embodiment 1 from each direction. 実施の形態1における地図画像560用のウインドウ(地図縮尺が大)を示す図。FIG. 7 is a diagram showing a window (map scale is large) for the map image 560 in the first embodiment. 実施の形態1における地図画像560用のウインドウ(地図縮尺が小)を示す図。FIG. 10 is a diagram showing a window (small map scale) for the map image 560 in the first embodiment. 実施の形態1における初期画面処理(S210)のフローチャート。10 is a flowchart of initial screen processing (S210) in the first embodiment. 実施の形態1における点群画像生成装置100の構成図。FIG. 2 is a configuration diagram of a point cloud image generation device 100 according to Embodiment 1. 実施の形態1における計測車両110の外観図。FIG. 1 is an external view of a measurement vehicle 110 according to Embodiment 1. 実施の形態1における表示装置300の表示例を示す図。FIG. 6 shows a display example of the display device 300 in Embodiment 1. 実施の形態1における視点位置の説明図。FIG. 2 is an explanatory view of a viewpoint position in the first embodiment. 実施の形態1における点群画像310の構成図。FIG. 2 is a configuration diagram of a point cloud image 310 according to Embodiment 1. 実施の形態1におけるインタフェース画像320の構成図。FIG. 2 is a block diagram of an interface image 320 according to the first embodiment. 実施の形態1において点群画像生成方法のフローチャート。6 is a flowchart of a point cloud image generation method in Embodiment 1. 実施の形態1における視線方向別の点群画像310を示す図。FIG. 6 is a diagram showing point cloud images 310 according to gaze directions in the first embodiment. 実施の形態1における上下左右の移動オフセット別の点群画像310を示す図。FIG. 6 shows point cloud images 310 according to moving offsets in the upper, lower, left, and right directions in the first embodiment. 実施の形態1における前後の移動オフセット別の点群画像310を示す図。FIG. 6 shows point cloud images 310 according to movement offsets before and after in Embodiment 1. 実施の形態1における上下左右の回転オフセット別の点群画像310を示す図。FIG. 6 shows point cloud images 310 according to rotation offsets in the upper, lower, left, and right in the first embodiment. 実施の形態1における点群画像生成装置100のハードウェア構成図。FIG. 2 is a hardware configuration diagram of a point cloud image generation device 100 according to Embodiment 1. 実施の形態1における点群画像310の別例を示す図。FIG. 6 shows another example of the point cloud image 310 according to the first embodiment. 実施の形態2における道路監視装置510の構成図。FIG. 7 is a block diagram of a road monitoring device 510 according to a second embodiment. 実施の形態2における事象位置算出部515の<実施例1>の動作を示すフローチャート。15 is a flowchart showing an operation of <Example 1> of the event position calculation unit 515 in the second embodiment. 実施の形態2における事象位置算出部515の<実施例2>の動作を示すフローチャート。15 is a flowchart showing an operation of <Example 2> of the event position calculation unit 515 in Embodiment 2;

実施の形態1.
道路または道路の周囲に生じている事象を監視する道路監視システム500について、図1から図30に基づいて説明する。
Embodiment 1
A road monitoring system 500 for monitoring a road or an event occurring around the road will be described based on FIGS. 1 to 30. FIG.

***概要の説明***
図1に基づいて、道路監視システム500の構成について説明する。
道路監視システム500は、計測車両110と道路監視装置510とを備える。
*** Brief Description ***
The configuration of the road monitoring system 500 will be described based on FIG.
The road monitoring system 500 includes a measurement vehicle 110 and a road monitoring device 510.

計測車両110は、MMS(モービルマッピングシステム)で用いられる車両である。
計測車両110には各種の計測機器が取り付けられており、計測車両110が道路を走行することによって道路および道路の周囲の三次元計測が行われる。そして、道路の陥没または道路にはみ出た樹木などの通行に支障をきたす事象が検出され、検出された事象に関する情報がネットワーク501を介してリアルタイムで道路監視装置510に送信される。計測車両110の詳細については後述する。
道路監視装置510は、事象に関する情報を受信する。そして、道路監視装置510は、事象が生じている位置に対応する箇所に事象を表す図が付加された地図を表示装置519に表示する。
これにより、監視者502は、通行に支障をきたす事象をリアルタイムに知ることができる。そして、事象に対する迅速な対応および安全で円滑な通行の確保が可能になる。
The measurement vehicle 110 is a vehicle used in MMS (mobile mapping system).
Various measuring devices are attached to the measuring vehicle 110, and when the measuring vehicle 110 travels on the road, three-dimensional measurement of the road and the surroundings of the road is performed. Then, an event such as a road depression or a tree that has run out on the road is detected, and information on the detected event is transmitted to the road monitoring device 510 in real time via the network 501. Details of the measurement vehicle 110 will be described later.
The road monitor 510 receives information regarding the event. Then, the road monitoring device 510 displays on the display device 519 a map to which a diagram representing the event is added at a location corresponding to the position where the event has occurred.
As a result, the supervisor 502 can know in real time an event that causes a problem in traffic. And, it is possible to respond quickly to events and secure safe and smooth traffic.

***構成の説明***
図2に基づいて、道路監視装置510の構成について説明する。
道路監視装置510は、プロセッサ901とメモリ903と補助記憶装置902と通信装置904といったハードウェアを備えるコンピュータである。プロセッサ901は、信号線を介して他のハードウェアと接続されている。
*** Description of the configuration ***
The configuration of the road monitoring device 510 will be described based on FIG.
The road monitoring device 510 is a computer including hardware such as a processor 901, a memory 903, an auxiliary storage device 902, and a communication device 904. The processor 901 is connected to other hardware via a signal line.

プロセッサ901は、プロセッシングを行うIC(Integrated Circuit)であり、他のハードウェアを制御する。具体的には、プロセッサ901は、CPU、DSPまたはGPUである。CPUはCentral Processing Unitの略称であり、DSPはDigital Signal Processorの略称であり、GPUはGraphics Processing Unitの略称である。
メモリ903は揮発性の記憶装置である。メモリ903は、主記憶装置またはメインメモリとも呼ばれる。具体的には、メモリ903はRAM(Random Access Memory)である。
補助記憶装置902は不揮発性の記憶装置である。具体的には、補助記憶装置902は、ROM、HDDまたはフラッシュメモリである。ROMはRead Only Memoryの略称であり、HDDはHard Disk Driveの略称である。
通信装置904はレシーバ9041とトランスミッタ9042とを備える。具体的には、通信装置904は通信チップまたはNIC(Network Interface Card)である。
The processor 901 is an integrated circuit (IC) that performs processing, and controls other hardware. Specifically, the processor 901 is a CPU, a DSP or a GPU. CPU is an abbreviation for Central Processing Unit, DSP is an abbreviation for Digital Signal Processor, and GPU is an abbreviation for Graphics Processing Unit.
The memory 903 is a volatile storage device. The memory 903 is also called a main storage device or a main memory. Specifically, the memory 903 is a random access memory (RAM).
The auxiliary storage device 902 is a non-volatile storage device. Specifically, the auxiliary storage device 902 is a ROM, an HDD or a flash memory. ROM is an abbreviation for Read Only Memory, and HDD is an abbreviation for Hard Disk Drive.
The communication device 904 comprises a receiver 9041 and a transmitter 9042. Specifically, the communication device 904 is a communication chip or a NIC (Network Interface Card).

道路監視装置510は、地図画像生成部512、点群画像生成部513およびインタフェース画像生成部514といった「部」を機能構成の要素として備える。「部」の機能はソフトウェアで実現される。「部」の機能については後述する。   The road monitoring device 510 includes “parts” such as a map image generation unit 512, a point cloud image generation unit 513, and an interface image generation unit 514 as elements of functional configuration. The function of "section" is realized by software. The function of "section" will be described later.

補助記憶装置902には、「部」の機能を実現するプログラムが記憶されている。「部」の機能を実現するプログラムは、メモリ903にロードされて、プロセッサ901によって実行される。
さらに、補助記憶装置902にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ903にロードされて、プロセッサ901によって実行される。
つまり、プロセッサ901は、OSを実行しながら、「部」の機能を実現するプログラムを実行する。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ903、補助記憶装置902、プロセッサ901内のレジスタまたはプロセッサ901内のキャッシュメモリといった記憶装置に記憶される。これらの記憶装置は、データを記憶する記憶部として機能する。
なお、道路監視装置510が複数のプロセッサ901を備えて、複数のプロセッサ901が「部」の機能を実現するプログラムを連携して実行してもよい。
The auxiliary storage device 902 stores a program for realizing the function of “section”. A program for realizing the function of “part” is loaded into the memory 903 and executed by the processor 901.
Furthermore, an OS (Operating System) is stored in the auxiliary storage device 902. At least a portion of the OS is loaded into the memory 903 and executed by the processor 901.
That is, the processor 901 executes a program that implements the function of “section” while executing the OS.
Data obtained by executing a program for realizing the function of “part” is stored in a storage device such as a memory 903, an auxiliary storage device 902, a register in the processor 901 or a cache memory in the processor 901. These storage devices function as storage units that store data.
The road monitoring device 510 may include a plurality of processors 901, and the plurality of processors 901 may cooperatively execute a program that realizes the function of “section”.

メモリ903には、道路監視装置510で使用、生成、入出力または送受信されるデータが記憶される。
具体的には、メモリ903には、地図データ520、事象パケット531、車両パケット532、計測点パケット533および視点パケット534等が記憶される。メモリ903に記憶される各データの内容については後述する。
The memory 903 stores data used, generated, input / output or transmission / reception of the road monitoring device 510.
Specifically, the memory 903 stores map data 520, an event packet 531, a vehicle packet 532, a measurement point packet 533, a viewpoint packet 534, and the like. The contents of each data stored in the memory 903 will be described later.

通信装置904はデータを通信する通信部として機能し、レシーバ9041はデータを受信する受信部511として機能し、トランスミッタ9042はデータを送信する送信部として機能する。   The communication device 904 functions as a communication unit that communicates data, the receiver 9041 functions as a reception unit 511 that receives data, and the transmitter 9042 functions as a transmission unit that transmits data.

プロセッサ901とメモリ903と補助記憶装置902とをまとめたハードウェアを「プロセッシングサーキットリ」という。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
「部」の機能を実現するプログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体に記憶することができる。
Hardware combining the processor 901, the memory 903 and the auxiliary storage device 902 is called "processing circuitry".
"Part" may be read as "process" or "process". The function of “part” may be realized by firmware.
The program for realizing the function of “section” can be stored in a non-volatile storage medium such as a magnetic disk, an optical disk or a flash memory.

次に、事象パケット531、車両パケット532、計測点パケット533および視点パケット534について説明する。これらのパケットは、計測車両110に搭載される通信装置から道路監視装置510に送信されるパケットである。   Next, the event packet 531, the vehicle packet 532, the measurement point packet 533, and the viewpoint packet 534 will be described. These packets are packets transmitted from the communication device mounted on the measurement vehicle 110 to the road monitoring device 510.

図3に基づいて、事象パケット531の構成について説明する。
事象パケット531は、車両識別子542が設定されたヘッダ541を含んでいる。さらに、事象パケット531は、情報識別子543、サイズ544、事象識別子551および事象位置情報552を含んでいる。
車両識別子542は、送信元の計測車両110を識別する識別子である。
情報識別子543は、パケットに含まれる情報の種類を識別する識別子である。
サイズ544は、パケットのデータサイズである。
事象識別子551は、事象を識別する識別子である。具体的には、事象識別子551は、事象の種類を識別する種類識別子と事象の種類別の通し番号とを結合したものである。
事象位置情報552は、事象が生じている位置を示す情報である。具体的には、事象位置情報552は、事象が生じている位置を示す三次元座標値である。
The configuration of the event packet 531 will be described based on FIG.
The event packet 531 includes a header 541 in which a vehicle identifier 542 is set. Further, event packet 531 includes information identifier 543, size 544, event identifier 551 and event location information 552.
The vehicle identifier 542 is an identifier that identifies the measurement vehicle 110 of the transmission source.
The information identifier 543 is an identifier that identifies the type of information included in the packet.
The size 544 is the data size of the packet.
The event identifier 551 is an identifier for identifying an event. Specifically, the event identifier 551 is a combination of a type identifier for identifying the type of event and a serial number according to the type of event.
Event position information 552 is information indicating a position where an event has occurred. Specifically, the event position information 552 is a three-dimensional coordinate value indicating the position where the event has occurred.

図4に基づいて、車両パケット532の構成について説明する。
車両パケット532は、車両識別子542が設定されたヘッダ541を含んでいる。さらに、車両パケット532は、情報識別子543、サイズ544、時刻545および車両位置情報553を含んでいる。事象パケット531に含まれる情報と同じ種類の情報については同じ符号を付して説明を省略する。
時刻545は、パケットに含まれている情報に対応付けられた時刻である。
車両位置情報553は、計測車両110の位置を示す情報である。具体的には、車両位置情報553は、計測車両110の位置を示す三次元座標値である。
The configuration of the vehicle packet 532 will be described based on FIG.
Vehicle packet 532 includes a header 541 in which a vehicle identifier 542 is set. Furthermore, the vehicle packet 532 includes an information identifier 543, a size 544, a time 545, and a vehicle position information 553. The same type of information as the information contained in the event packet 531 is assigned the same reference numeral and the description is omitted.
The time 545 is a time associated with the information contained in the packet.
The vehicle position information 553 is information indicating the position of the measurement vehicle 110. Specifically, the vehicle position information 553 is a three-dimensional coordinate value indicating the position of the measurement vehicle 110.

図5に基づいて、視点パケット534の構成について説明する。
視点パケット534は、車両識別子542が設定されたヘッダ541を含んでいる。さらに、視点パケット534は、情報識別子543、サイズ544、時刻545、視点情報554および視線情報559を含んでいる。事象パケット531または車両パケット532に含まれる情報と同じ種類の情報については同じ符号を付して説明を省略する。
視点情報554は、計測車両110に搭載された表示装置に表示されている点群画像の視点の位置を示す情報である。点群画像の視点については後述する。
視線情報559は、計測車両110に搭載された表示装置に表示されている点群画像の視線方向を示す情報である。点群画像の視線方向については後述する。
The configuration of the viewpoint packet 534 will be described based on FIG.
The viewpoint packet 534 includes a header 541 in which a vehicle identifier 542 is set. Furthermore, the viewpoint packet 534 includes an information identifier 543, a size 544, a time 545, viewpoint information 554, and line-of-sight information 559. The same type of information as the information contained in the event packet 531 or the vehicle packet 532 is assigned the same reference numeral and the description is omitted.
The viewpoint information 554 is information indicating the position of the viewpoint of the point cloud image displayed on the display device mounted on the measurement vehicle 110. The viewpoint of the point cloud image will be described later.
The line-of-sight information 559 is information indicating the line-of-sight direction of the point cloud image displayed on the display device mounted on the measurement vehicle 110. The viewing direction of the point cloud image will be described later.

図6に基づいて、計測点パケット533の構成について説明する。
計測点パケット533は、車両識別子542が設定されたヘッダ541を含んでいる。さらに、計測点パケット533は、情報識別子543、サイズ544、時刻545および三次元点群データ555を含んでいる。事象パケット531または車両パケット532に含まれる情報と同じ種類の情報については同じ符号を付して説明を省略する。
三次元点群データ555は、道路および道路の周囲に位置する各計測点の計測点情報556を含んでいる。
計測点情報556は、各計測点の位置を示す情報である。具体的には、計測点情報556は、ENU座標系の三次元座標値およびBLH座標系の三次元座標値である。
座標値Eは、東西方向を軸として、原点より東で正になり、原点より西で負になる座標値である。座標値Nは、南北方向を軸として、原点より北で正になり、原点より南で負になる座標値である。座標値Uは、上下方向を軸として、原点より上で正になり、原点より下で負になる座標値である。原点は、計測車両110による計測が開始された地点である。
座標値Bは緯度であり、座標値Cは経度であり、座標値Hは楕円体高である。
The configuration of the measurement point packet 533 will be described based on FIG.
The measurement point packet 533 includes a header 541 in which a vehicle identifier 542 is set. Furthermore, the measurement point packet 533 includes an information identifier 543, a size 544, a time 545, and three-dimensional point cloud data 555. The same type of information as the information contained in the event packet 531 or the vehicle packet 532 is assigned the same reference numeral and the description is omitted.
The three-dimensional point cloud data 555 includes a road and measurement point information 556 of each measurement point located around the road.
The measurement point information 556 is information indicating the position of each measurement point. Specifically, the measurement point information 556 is three-dimensional coordinate values of the ENU coordinate system and three-dimensional coordinate values of the BLH coordinate system.
The coordinate value E is a coordinate value that becomes positive east of the origin with respect to the east-west direction and becomes negative west of the origin. The coordinate value N is a coordinate value which is positive north of the origin and negative at the south of the origin with the north-south direction as an axis. The coordinate value U is a coordinate value which becomes positive above the origin and becomes negative below the origin with the vertical direction as an axis. The origin is a point at which the measurement by the measurement vehicle 110 is started.
The coordinate value B is latitude, the coordinate value C is longitude, and the coordinate value H is an ellipsoidal height.

***動作の説明***
道路監視装置510の動作は道路監視方法に相当する。また、道路監視方法の手順は道路監視プログラムの手順に相当する。
*** Description of operation ***
The operation of the road monitoring device 510 corresponds to a road monitoring method. Further, the procedure of the road monitoring method corresponds to the procedure of the road monitoring program.

図7に基づいて、道路監視装置510の道路監視方法について説明する。
ステップS210は初期画面処理である。
ステップS210において、道路監視装置510は、初期状態の監視画面503を表示装置519に表示させる。
The road monitoring method of the road monitoring device 510 will be described based on FIG. 7.
Step S210 is an initial screen process.
In step S210, the road monitoring device 510 causes the display device 519 to display the monitoring screen 503 in the initial state.

図8に示すように、監視画面503は、点群画像310とインタフェース画像320と地図画像560とを含んでいる。
点群画像310は、指定された視点から指定された視線方向に見える範囲に位置する計測点が描かれた画像である。
インタフェース画像320は、視点および視線方向を指定するためのユーザインタフェースとして利用される画像である。インタフェース画像320は点群画像310と共に表示される。
地図画像560は、道路および道路の周囲を表す地図の画像である。地図画像560は点群画像310と共に表示される。
As shown in FIG. 8, the monitoring screen 503 includes a point cloud image 310, an interface image 320 and a map image 560.
The point cloud image 310 is an image in which measurement points located in a range viewed in a specified gaze direction from a specified viewpoint are drawn.
The interface image 320 is an image used as a user interface for specifying a viewpoint and a gaze direction. Interface image 320 is displayed along with point cloud image 310.
The map image 560 is an image of a road and a map representing the road. The map image 560 is displayed together with the point cloud image 310.

図9は、視点が計測車両110の後ろに位置して、視線方向が計測車両110の後ろ側から計測車両110の前側への方向である場合の点群画像310を示している。
図10は、視点が計測車両110の前に位置して、視線方向が計測車両110の前側から計測車両110の後ろ側への方向である場合の点群画像310を示している。
図11は、視点が計測車両110の右に位置して、視線方向が計測車両110の右側から計測車両110の左側への方向である場合の点群画像310を示している。
図12は、視点が計測車両110の左に位置して、視線方向が計測車両110の左側から計測車両110の右側への方向である場合の点群画像310を示している。
図13は、視点が計測車両110の上に位置して、視線方向が計測車両110の上側から計測車両110の下側への方向である場合の点群画像310を示している。
FIG. 9 shows a point cloud image 310 in the case where the viewpoint is located behind the measurement vehicle 110 and the direction of sight is from the rear side of the measurement vehicle 110 to the front side of the measurement vehicle 110.
FIG. 10 shows a point cloud image 310 in the case where the viewpoint is located in front of the measurement vehicle 110 and the sight line direction is a direction from the front side of the measurement vehicle 110 to the rear side of the measurement vehicle 110.
FIG. 11 shows a point cloud image 310 in the case where the viewpoint is located to the right of the measurement vehicle 110 and the sight line direction is from the right side of the measurement vehicle 110 to the left side of the measurement vehicle 110.
FIG. 12 shows a point cloud image 310 in the case where the viewpoint is located to the left of the measurement vehicle 110 and the sight line direction is a direction from the left side of the measurement vehicle 110 to the right side of the measurement vehicle 110.
FIG. 13 shows a point cloud image 310 in the case where the viewpoint is located above the measurement vehicle 110 and the sight line direction is a direction from the upper side of the measurement vehicle 110 to the lower side of the measurement vehicle 110.

図9から図13において、点群画像310には、三次元点群311、車両マーク319、経路マーク314および事象マーク315が描かれている。但し、初期状態の点群画像310には、車両マーク319および一部の三次元点群311が描かれるが、経路マーク314および事象マーク315は描かれない。
三次元点群311は計測点の集合である。計測点は三次元点または照射点ともいう。具体的には、計測点は小さな三角形で表される。
車両マーク319は、計測車両110を表すマークであり、後述する計測位置マーク312または推定位置マーク313に相当する。具体的には、車両マーク319は白地の三角形である。
経路マーク314は計測車両110の経路を表すマークである。つまり、経路マーク314は、過去の車両マーク319の集合に相当する。具体的には、経路マーク314は経路上に並べられた黒地の三角形である。
事象マーク315は事象を表すマークである。具体的には、事象マーク315は、事象識別子が複数の箇所に記された側部を有する立体を点群画像310に投影した図である。より具体的には、事象マーク315は2つの三角錐が上下に結合された双三角錐を点群画像310に投影した図である。
In FIGS. 9 to 13, in the point cloud image 310, a three-dimensional point cloud 311, a vehicle mark 319, a route mark 314, and an event mark 315 are drawn. However, although the vehicle mark 319 and a part of the three-dimensional point group 311 are drawn in the point cloud image 310 in the initial state, the route mark 314 and the event mark 315 are not drawn.
The three-dimensional point group 311 is a set of measurement points. The measurement points are also referred to as three-dimensional points or irradiation points. Specifically, the measurement points are represented by small triangles.
The vehicle mark 319 is a mark representing the measurement vehicle 110, and corresponds to a measurement position mark 312 or an estimated position mark 313 described later. Specifically, the vehicle mark 319 is a white triangle.
The route mark 314 is a mark representing the route of the measurement vehicle 110. That is, the route mark 314 corresponds to a set of past vehicle marks 319. Specifically, the route mark 314 is a black triangle arranged on the route.
The event mark 315 is a mark representing an event. Specifically, event mark 315 is a diagram in which a solid having an event identifier marked at a plurality of locations and projected on a point cloud image 310 is a solid. More specifically, the event mark 315 is a diagram in which a double triangular pyramid in which two triangular pyramids are combined up and down is projected onto the point group image 310.

図14に、各方向から見た事象マーク315を示す。
図14の(1)は前から見た事象マーク315であり、主に図9の点群画像310に描かれる。
図14の(2)は後ろから見た事象マーク315であり、主に図10の点群画像310に描かれる。
図14の(3)は右から見た事象マーク315であり、主に図11の点群画像310に描かれる。
図14の(4)は左から見た事象マーク315であり、主に図12の点群画像310に描かれる。
図14の(5)は上から見た事象マーク315であり、主に図13の点群画像310に描かれる。
FIG. 14 shows event marks 315 viewed from each direction.
(1) of FIG. 14 is the event mark 315 seen from the front, and is mainly drawn on the point cloud image 310 of FIG.
(2) of FIG. 14 is an event mark 315 viewed from the back, and is mainly drawn on the point cloud image 310 of FIG.
(3) of FIG. 14 is an event mark 315 viewed from the right, and is mainly drawn on the point cloud image 310 of FIG.
(4) of FIG. 14 is an event mark 315 viewed from the left, and is mainly drawn on the point cloud image 310 of FIG.
(5) of FIG. 14 is the event mark 315 seen from the top, and is mainly drawn on the point cloud image 310 of FIG.

事象マーク315の上側の三角錐は、事象識別子が記された3つの側面316を有する。具体的には、3つの側面316には、事象の種類別の通り番号が記される。
事象マーク315の下側の三角錐は、事象が生じている位置に対応する箇所を指し示す頂部317を有する。
事象マーク315の色は事象の種類毎に異なる。
The triangular pyramid above the event mark 315 has three sides 316 on which the event identifier is marked. Specifically, the three sides 316 are numbered according to the type of event.
The triangular pyramid below the event mark 315 has a top 317 that points to a location corresponding to the location where the event is occurring.
The color of the event mark 315 differs for each type of event.

図15は、地図縮尺が大きい場合の地図画像560を示している。
図16は、地図縮尺が小さい場合の地図画像560を示している。
地図縮尺は、地図画像560に描かれる地図の縮尺として指定された縮尺である。
縮尺は分数で表される。縮尺の分母が小さい方が縮尺が大きく、縮尺の分母が大きい方が縮尺が小さい。つまり、縮尺が大きい地図は狭い範囲を表した詳細な地図であり、縮尺が小さい地図は広い範囲を表した概略の地図である。
FIG. 15 shows a map image 560 when the map scale is large.
FIG. 16 shows a map image 560 when the map scale is small.
The map scale is a scale designated as the scale of the map drawn on the map image 560.
The scale is expressed in fractions. The smaller the denominator of the scale, the larger the scale, and the larger the denominator of the scale, the smaller the scale. That is, the large scale map is a detailed map representing a narrow range, and the small scale map is a schematic map representing a wide range.

図15において、地図画像560は、車両図561、視点図562、経路図563および事象図564を含んでいる。図16において、地図画像560は、車両図561、経路図563および事象図564を含んでいる。但し、初期状態の地図画像560には、車両図561および視点図562は描かれるが、経路図563および事象図564は描かれない。
車両図561は、計測車両110を表す図である。具体的には、車両図561は黒地の三角である。
視点図562は、視点および視点方向を表す図である。視点図562は、地図縮尺が大きい場合には表示されるが、地図縮尺が小さい場合には表示されない。
経路図563は、計測車両110の経路を表す図である。つまり、経路図563は過去の車両図561の集合に相当する。地図縮尺が大きい場合の経路図563は、経路上に並べられた白地の三角である。地図縮尺が小さい場合の経路図563は、経路を示す線である。
事象図564は、事象を表す図である。具体的には、事象図564は、事象を識別する事象識別子と、事象が生じている位置を示す事象位置情報とを含んだ図である。
In FIG. 15, the map image 560 includes a vehicle view 561, a viewpoint view 562, a route view 563 and an event view 564. In FIG. 16, the map image 560 includes a vehicle view 561, a route view 563 and an event view 564. However, although the vehicle view 561 and the view view 562 are drawn on the map image 560 in the initial state, the route view 563 and the event view 564 are not drawn.
The vehicle diagram 561 is a diagram showing the measurement vehicle 110. Specifically, the vehicle diagram 561 is a black triangle.
The viewpoint view 562 is a view representing a viewpoint and a viewpoint direction. The perspective view 562 is displayed when the map scale is large, but is not displayed when the map scale is small.
The route diagram 563 is a diagram showing the route of the measurement vehicle 110. That is, the route map 563 corresponds to a set of past vehicle maps 561. The route diagram 563 when the map scale is large is a white triangle arranged on the route. The route diagram 563 when the map scale is small is a line indicating a route.
An event diagram 564 is a diagram representing an event. Specifically, the event diagram 564 is a diagram including an event identifier identifying an event and event position information indicating a position where the event is occurring.

図15および図16において、地図画像560用のウインドウは、以下のようなユーザインタフェースを含んでいる。
縮尺指定部571は、地図縮尺を指定するためのユーザインタフェースである。具体的には、縮尺指定部571は、地図縮尺を上げ下げするためのボタンである。
車両位置表示部572は、計測車両110の位置を示すユーザインタフェースである。具体的には、車両位置表示部572は、緯度、経度および楕円体高を示すテキストボックスである。
視点表示指定部573は、視点図562の表示または視点図562の非表示を指定するためのユーザインタフェースである。具体的には、視点表示指定部573は、視点図562を表示するときにチェックされるチェックボックスである。
経路消去部574は、経路図563の消去を指定するためのユーザインタフェースである。具体的には、経路消去部574は、経路図563を消去するときに押下されるボタンである。
手動スクロール指定部575は、地図画像560に描かれる地図の手動スクロールを指定するためのユーザインタフェースである。具体的には、手動スクロール指定部575は、地図を手動でスクロールするときに押下されるボタンである。
車両中心指定部576は、地図画像560に描かれる地図の中心として計測車両110の位置を指定するためのユーザインタフェースである。具体的には、車両中心指定部576は、計測車両110の位置を地図の中心にするときに押下されるボタンである。
更新指定部577は、地図画像560の更新の停止または地図画像560の更新の開始を指定するためのユーザインタフェースである。具体的には、更新指定部577は、地図画像560の更新を停止するときと地図画像560の更新を開始するときに押下されるボタンである。
In FIGS. 15 and 16, the window for the map image 560 includes the following user interface.
The scale designation unit 571 is a user interface for designating a map scale. Specifically, the scale designation unit 571 is a button for raising and lowering the map scale.
The vehicle position display unit 572 is a user interface that indicates the position of the measurement vehicle 110. Specifically, the vehicle position display unit 572 is a text box indicating latitude, longitude, and ellipsoidal height.
The viewpoint display designation unit 573 is a user interface for designating display of the viewpoint view 562 or non-display of the viewpoint view 562. Specifically, the viewpoint display designation unit 573 is a check box checked when the viewpoint view 562 is displayed.
The path deletion unit 574 is a user interface for specifying deletion of the path diagram 563. Specifically, the path deletion unit 574 is a button pressed when the path diagram 563 is deleted.
The manual scroll designating unit 575 is a user interface for designating manual scrolling of the map drawn on the map image 560. Specifically, the manual scroll designation unit 575 is a button pressed when the map is manually scrolled.
The vehicle center designation unit 576 is a user interface for designating the position of the measurement vehicle 110 as the center of the map drawn on the map image 560. Specifically, the vehicle center designating unit 576 is a button that is pressed when the position of the measurement vehicle 110 is at the center of the map.
The update designating unit 577 is a user interface for designating the stop of the update of the map image 560 or the start of the update of the map image 560. Specifically, the update designation unit 577 is a button that is pressed when updating of the map image 560 is stopped and when updating of the map image 560 is started.

図17に基づいて、初期画面処理(S210)について説明する。
ステップS211において、道路監視装置510は、点群画像310用のウインドウと、インタフェース画像320用のウインドウと、地図画像560用のウインドウと、を表示装置519に表示させる。これらのウインドウのデータはメモリ903に予め記憶されている。
具体的には、地図画像生成部512は、地図画像560用のウインドウのデータを表示装置519に入力する。そして、表示装置519は、入力されたデータを用いて、地図画像560用のウインドウを表示する。
また、点群画像生成部513は、点群画像310用のウインドウのデータを表示装置519に入力する。そして、表示装置519は、入力されたデータを用いて、点群画像310用のウインドウを表示する。
さらに、インタフェース画像生成部514は、インタフェース画像320用のウインドウのデータを表示装置519に入力する。そして、表示装置519は、入力されたデータを用いて、インタフェース画像320用のウインドウを表示装置519に表示する。
The initial screen processing (S210) will be described based on FIG.
In step S211, the road monitoring device 510 causes the display device 519 to display a window for the point cloud image 310, a window for the interface image 320, and a window for the map image 560. The data of these windows are stored in advance in the memory 903.
Specifically, the map image generation unit 512 inputs window data for the map image 560 to the display device 519. Then, the display device 519 displays a window for the map image 560 using the input data.
The point cloud image generation unit 513 also inputs window data for the point cloud image 310 to the display device 519. Then, the display device 519 displays a window for the point cloud image 310 using the input data.
Furthermore, the interface image generation unit 514 inputs window data for the interface image 320 into the display device 519. Then, the display device 519 displays a window for the interface image 320 on the display device 519 using the input data.

ステップS212において、インタフェース画像生成部514は、インタフェース画像320を表示装置519に表示させる。インタフェース画像320はメモリ903に予め記憶されている。
具体的には、インタフェース画像生成部514は、インタフェース画像320を表示装置519に入力する。そして、表示装置519は、インタフェース画像320用のウインドウにインタフェース画像320を表示する。
In step S212, the interface image generation unit 514 causes the display device 519 to display the interface image 320. The interface image 320 is stored in advance in the memory 903.
Specifically, the interface image generation unit 514 inputs the interface image 320 to the display device 519. The display device 519 then displays the interface image 320 in a window for the interface image 320.

ステップS213において、受信部511は、計測車両110の通信装置から送信される車両パケット532、計測点パケット533および視点パケット534を受信し、受信したパケットをメモリ903に記憶する。   In step S 213, the reception unit 511 receives the vehicle packet 532, the measurement point packet 533, and the viewpoint packet 534 transmitted from the communication device of the measurement vehicle 110, and stores the received packet in the memory 903.

ステップS214において、点群画像生成部513は、点群画像310を表示装置519に表示させる。   In step S 214, the point cloud image generation unit 513 causes the display device 519 to display the point cloud image 310.

具体的には、点群画像生成部513は、点群画像310を以下のように表示させる。
まず、点群画像生成部513は、車両パケット532から車両位置情報553を取得し、計測点パケット533から計測点情報556を取得する。また、点群画像生成部513は、視点パケット534から視点情報554および視線情報559を取得する。
次に、点群画像生成部513は、車両位置情報553、計測点情報556、視点情報554および視線情報559に基づいて、計測車両110に搭載される表示装置に表示される点群画像に相当する画像を点群画像310として生成する。点群画像310は、計測点情報556が示す位置に対応する箇所に計測点が描かれた画像である。点群画像310を生成する方法は、計測車両110に搭載される点群画像生成装置100が投影点群データ235および投影マークデータ236を生成する方法と同じである。投影点群データ235および投影マークデータ236を生成する方法については後述する。
そして、点群画像生成部513は点群画像310を表示装置519に入力し、表示装置519は点群画像310用のウインドウに点群画像310を表示する。
Specifically, the point cloud image generation unit 513 displays the point cloud image 310 as follows.
First, the point cloud image generation unit 513 acquires the vehicle position information 553 from the vehicle packet 532, and acquires the measurement point information 556 from the measurement point packet 533. Further, the point cloud image generation unit 513 acquires the viewpoint information 554 and the line-of-sight information 559 from the viewpoint packet 534.
Next, the point cloud image generation unit 513 is equivalent to a point cloud image displayed on a display device mounted on the measurement vehicle 110 based on the vehicle position information 553, the measurement point information 556, the viewpoint information 554, and the line of sight information 559. An image to be generated is generated as a point cloud image 310. The point cloud image 310 is an image in which a measurement point is drawn at a location corresponding to the position indicated by the measurement point information 556. The method of generating the point cloud image 310 is the same as the method of generating the projection point cloud data 235 and the projection mark data 236 by the point cloud image generating device 100 mounted on the measurement vehicle 110. The method of generating the projection point cloud data 235 and the projection mark data 236 will be described later.
Then, the point cloud image generation unit 513 inputs the point cloud image 310 to the display device 519, and the display device 519 displays the point cloud image 310 in the window for the point cloud image 310.

ステップS215において、地図画像生成部512は、車両図561および視点図562が付加された地図画像560を表示装置519に表示させる。   In step S215, the map image generation unit 512 causes the display device 519 to display the map image 560 to which the vehicle view 561 and the viewpoint view 562 are added.

具体的には、地図画像生成部512は、地図画像560を以下のように表示させる。
まず、地図画像生成部512は、車両パケット532から車両位置情報553を取得する。また、地図画像生成部512は、視点パケット534から視点情報554を取得する。
次に、地図画像生成部512は、地図縮尺と地図画像560用のウインドウの大きさとに基づいて、地図画像560に描く区域の大きさを算出する。地図縮尺および地図画像560用のウインドウの大きさはメモリ903に予め記憶されている。
次に、地図画像生成部512は、算出した区域の大きさと車両位置情報553とに基づいて、地図画像560に描く区域の範囲を算出する。この区域は、車両位置情報553が示す位置を含んだ区域である。
次に、地図画像生成部512は、算出した範囲に含まれる区域の地図データ520を用いて、地図画像560を生成する。
次に、地図画像生成部512は、地図画像560に描かれた地図内の箇所のうち車両位置情報553が示す位置に対応する箇所を算出し、算出した箇所に車両図561を付加する。
さらに、地図画像生成部512は、地図画像560に描かれた地図内の箇所のうち視点情報554が示す位置に対応する箇所を算出し、算出した箇所に視点図562を付加する。
そして、地図画像生成部512は車両図561および視点図562が付加された後の地図画像560を表示装置519に入力し、表示装置519は入力された地図画像560を地図画像560用のウインドウに表示する。
Specifically, the map image generation unit 512 displays the map image 560 as follows.
First, the map image generation unit 512 acquires the vehicle position information 553 from the vehicle packet 532. Also, the map image generation unit 512 acquires the viewpoint information 554 from the viewpoint packet 534.
Next, the map image generation unit 512 calculates the size of the area drawn on the map image 560 based on the map scale and the size of the window for the map image 560. The map scale and the window size for the map image 560 are stored in advance in the memory 903.
Next, the map image generation unit 512 calculates the range of the area drawn on the map image 560 based on the calculated size of the area and the vehicle position information 553. This area is an area including the position indicated by the vehicle position information 553.
Next, the map image generation unit 512 generates the map image 560 using the map data 520 of the area included in the calculated range.
Next, the map image generation unit 512 calculates a portion corresponding to the position indicated by the vehicle position information 553 among the portions in the map drawn on the map image 560, and adds the vehicle diagram 561 to the calculated portion.
Furthermore, the map image generation unit 512 calculates a part corresponding to the position indicated by the viewpoint information 554 among the parts in the map drawn on the map image 560, and adds the viewpoint map 562 to the calculated part.
Then, the map image generation unit 512 inputs the map image 560 to which the vehicle view 561 and the viewpoint view 562 have been added to the display device 519, and the display device 519 uses the input map image 560 as a window for the map image 560. indicate.

但し、地図縮尺が小さい場合、地図画像生成部512は視点図562を付加しない。
具体的には、地図画像生成部512は、地図縮尺を視点用の縮尺閾値と比較する。そして、地図縮尺が視点用の縮尺閾値より大きい場合には、地図画像生成部512は視点図562を付加する。しかし、地図縮尺が視点用の縮尺閾値より小さい場合には、地図画像生成部512は視点図562を付加しない。
However, when the map scale is small, the map image generation unit 512 does not add the viewpoint 562.
Specifically, the map image generation unit 512 compares the map scale with the view scale threshold. Then, when the map scale is larger than the view scale threshold, the map image generation unit 512 adds the view 562. However, when the map scale is smaller than the view scale threshold, the map image generation unit 512 does not add the view 562.

図7に戻り、ステップS220から説明を続ける。
ステップS220において、受信部511は、計測車両110の通信装置から送信される事象パケット531、車両パケット532、計測点パケット533または視点パケット534を受信し、受信したパケットをメモリ903に記憶する。
受信部511が事象パケット531を受信した場合、処理はステップS230に進む。
受信部511が車両パケット532または視点パケット534を受信した場合、処理はステップS240に進む。
受信部511が計測点パケット533を受信した場合、処理はステップS250に進む。
Returning to FIG. 7, the description will continue from step S220.
In step S220, the reception unit 511 receives the event packet 531, the vehicle packet 532, the measurement point packet 533 or the viewpoint packet 534 transmitted from the communication device of the measurement vehicle 110, and stores the received packet in the memory 903.
If the receiving unit 511 receives the event packet 531, the process proceeds to step S230.
If the receiving unit 511 receives the vehicle packet 532 or the viewpoint packet 534, the process proceeds to step S240.
If the receiving unit 511 receives the measurement point packet 533, the process proceeds to step S250.

ステップS230において、点群画像生成部513は、点群画像310内の箇所のうち事象パケット531に含まれる事象位置情報552が示す位置に対応する箇所に事象マーク315を付加する。
そして、点群画像生成部513は事象マーク315が付加された後の点群画像310を表示装置519に入力し、表示装置519は入力された点群画像310を点群画像310用のウインドウに表示する。
In step S230, the point cloud image generation unit 513 adds an event mark 315 to a point in the point cloud image 310 corresponding to the position indicated by the event position information 552 included in the event packet 531.
Then, the point cloud image generation unit 513 inputs the point cloud image 310 to which the event mark 315 is added to the display device 519, and the display device 519 uses the input point cloud image 310 as a window for the point cloud image 310. indicate.

具体的には、点群画像生成部513は事象マーク315を以下のように付加する。
まず、点群画像生成部513は、受信された事象パケット531から事象識別子551と事象位置情報552とを取得する。
次に、点群画像生成部513は、事象識別子551を用いて、三次元の事象マーク315を生成する。三次元の事象マーク315は、事象識別子551が上部の三角錐の各側面に記された双三角錐の三次元データである。
次に、点群画像生成部513は、点群画像310内の箇所のうち事象位置情報552が示す位置に対応する箇所を算出する。
そして、点群画像生成部513は、事象マーク315の下部の頂部317が点群画像310内の算出した箇所を指し示すように、三次元の事象マーク315を点群画像310に投影する。投影は、三次元座標値を点群画像310内の二次元座標値に変換することを意味する。三次元の事象マーク315を点群画像310に投影する方法は、計測車両110に搭載される点群画像生成装置100が三次元点群311、計測位置マーク312および推定位置マーク313を点群画像310に投影する二次元投影処理と同じである。二次元投影処理については後述する。
Specifically, the point cloud image generation unit 513 adds an event mark 315 as follows.
First, the point cloud image generation unit 513 acquires the event identifier 551 and the event position information 552 from the received event packet 531.
Next, the point cloud image generation unit 513 generates a three-dimensional event mark 315 using the event identifier 551. The three-dimensional event mark 315 is three-dimensional data of a double triangular pyramid in which an event identifier 551 is written on each side of the upper triangular pyramid.
Next, the point cloud image generation unit 513 calculates a point in the point cloud image 310 corresponding to the position indicated by the event position information 552.
Then, the point cloud image generation unit 513 projects the three-dimensional event mark 315 on the point cloud image 310 so that the top 317 of the lower part of the event mark 315 points to the calculated point in the point cloud image 310. Projection means converting three-dimensional coordinate values into two-dimensional coordinate values in the point cloud image 310. In the method of projecting the three-dimensional event mark 315 on the point cloud image 310, the point group image generation device 100 mounted on the measurement vehicle 110 is used to generate the three-dimensional point group 311, the measurement position mark 312 and the estimated position mark 313 as a point cloud image. It is the same as the two-dimensional projection processing to project to 310. The two-dimensional projection process will be described later.

さらに、ステップS230において、地図画像生成部512は、地図画像560内の箇所のうち事象パケット531に含まれる事象位置情報552が示す位置に対応する箇所に事象図564を付加する。
そして、地図画像生成部512は事象図564が付加された後の地図画像560を表示装置519に入力し、表示装置519は入力された地図画像560を地図画像560用のウインドウに表示する。
Furthermore, in step S230, the map image generation unit 512 adds an event diagram 564 to a location corresponding to the position indicated by the event location information 552 included in the event packet 531 among the locations in the map image 560.
Then, the map image generation unit 512 inputs the map image 560 to which the event diagram 564 is added to the display device 519, and the display device 519 displays the input map image 560 in the window for the map image 560.

具体的には、地図画像生成部512は事象図564を以下のように付加する。
まず、地図画像生成部512は、受信された事象パケット531から事象識別子551と事象位置情報552とを取得する。
次に、地図画像生成部512は、事象識別子551および事象位置情報552を記した事象図564を生成する。
そして、地図画像生成部512は、地図画像560に描かれている地図内の箇所のうち事象位置情報552が示す位置に対応する箇所を算出し、算出した箇所に事象図564を付加する。
なお、地図画像生成部512は、事象識別子551に基づいて、事象マーク315の色を事象の種類毎に異なるようにしても良い。
Specifically, the map image generation unit 512 adds the event diagram 564 as follows.
First, the map image generation unit 512 acquires the event identifier 551 and the event position information 552 from the received event packet 531.
Next, the map image generation unit 512 generates an event diagram 564 in which the event identifier 551 and the event location information 552 are described.
Then, the map image generation unit 512 calculates a part corresponding to the position indicated by the event position information 552 among the parts in the map drawn on the map image 560, and adds the event diagram 564 to the calculated part.
The map image generation unit 512 may change the color of the event mark 315 for each type of event based on the event identifier 551.

ステップS240において、点群画像生成部513は点群画像310を更新する。   In step S240, the point cloud image generation unit 513 updates the point cloud image 310.

具体的には、点群画像生成部513は点群画像310を以下のように更新する。
まず、点群画像生成部513は、各車両パケット532から車両位置情報553を取得し、最新の視点パケット534から視点情報554と視線情報559とを取得する。また、点群画像生成部513は、各計測点パケット533から三次元点群データ555を取得する。さらに、点群画像生成部513は、各事象パケット531から事象識別子551と事象位置情報552とを取得する。
次に、点群画像生成部513は、車両位置情報553と視点情報554と視線情報559と三次元点群データ555とに基づいて、点群画像310を生成する。点群画像310を生成する方法は、計測車両110に搭載される点群画像生成装置100が投影点群データ235および投影マークデータ236を生成する方法と同じである。投影点群データ235および投影マークデータ236を生成する方法については後述する。
次に、点群画像生成部513は、事象識別子551と事象位置情報552とに基づいて、生成した点群画像310に事象マーク315を付加する。事象マーク315を付加する方法は、ステップS230で説明した方法と同じである。
そして、点群画像生成部513は事象マーク315が付加された後の点群画像310を表示装置519に入力し、表示装置519は入力された点群画像310を点群画像310用のウインドウに表示する。
Specifically, the point cloud image generation unit 513 updates the point cloud image 310 as follows.
First, the point cloud image generation unit 513 acquires vehicle position information 553 from each vehicle packet 532, and acquires viewpoint information 554 and line-of-sight information 559 from the latest viewpoint packet 534. Further, the point cloud image generation unit 513 acquires three-dimensional point cloud data 555 from each measurement point packet 533. Further, the point cloud image generation unit 513 acquires an event identifier 551 and event position information 552 from each event packet 531.
Next, the point group image generation unit 513 generates a point group image 310 based on the vehicle position information 553, the viewpoint information 554, the line of sight information 559, and the three-dimensional point group data 555. The method of generating the point cloud image 310 is the same as the method of generating the projection point cloud data 235 and the projection mark data 236 by the point cloud image generating device 100 mounted on the measurement vehicle 110. The method of generating the projection point cloud data 235 and the projection mark data 236 will be described later.
Next, the point cloud image generation unit 513 adds an event mark 315 to the generated point cloud image 310 based on the event identifier 551 and the event position information 552. The method of adding the event mark 315 is the same as the method described in step S230.
Then, the point cloud image generation unit 513 inputs the point cloud image 310 to which the event mark 315 is added to the display device 519, and the display device 519 uses the input point cloud image 310 as a window for the point cloud image 310. indicate.

さらに、ステップS240において、地図画像生成部512は地図画像560を更新する。   Furthermore, in step S240, the map image generation unit 512 updates the map image 560.

具体的には、地図画像生成部512は地図画像560を以下のように更新する。
まず、地図画像生成部512は、最新の車両パケット532および過去の車両パケット532から車両位置情報553を取得し、最新の視点パケット534から視点情報554を取得する。さらに、地図画像生成部512は、各事象パケット531から事象識別子551および事象位置情報552を取得する。
次に、地図画像生成部512は、最新の車両パケット532から取得した車両位置情報553と最新の視点パケット534から取得した視点情報554とに基づいて、車両図561および視点図562が付加された地図画像560を生成する。この地図画像560を生成する方法は、ステップS215で説明した方法と同じである。
また、地図画像生成部512は、過去の車両パケット532から取得した車両位置情報553に基づいて計測車両110の経路を算出し、算出した経路を表す経路図563を地図画像560に付加する。
さらに、地図画像生成部512は、事象識別子551と事象位置情報552とに基づいて、地図画像560に事象図564を付加する。事象図564を付加する方法は、ステップS230で説明した方法と同じである。
そして、地図画像生成部512は車両図561、視点図562、経路図563および事象図564が付加された後の地図画像560を表示装置519に入力し、表示装置519は入力された地図画像560を地図画像560用のウインドウに表示する。
Specifically, the map image generation unit 512 updates the map image 560 as follows.
First, the map image generation unit 512 acquires the vehicle position information 553 from the latest vehicle packet 532 and the past vehicle packet 532, and acquires the viewpoint information 554 from the latest viewpoint packet 534. Furthermore, the map image generation unit 512 acquires an event identifier 551 and event position information 552 from each event packet 531.
Next, based on the vehicle position information 553 acquired from the latest vehicle packet 532 and the viewpoint information 554 acquired from the latest viewpoint packet 534, the map image generation unit 512 adds the vehicle diagram 561 and the viewpoint diagram 562 A map image 560 is generated. The method of generating this map image 560 is the same as the method described in step S215.
In addition, the map image generation unit 512 calculates the route of the measurement vehicle 110 based on the vehicle position information 553 acquired from the vehicle packet 532 in the past, and adds a route diagram 563 representing the calculated route to the map image 560.
Furthermore, the map image generation unit 512 adds an event diagram 564 to the map image 560 based on the event identifier 551 and the event position information 552. The method of adding the event diagram 564 is the same as the method described in step S230.
Then, the map image generation unit 512 inputs the map image 560 to which the vehicle diagram 561, the viewpoint diagram 562, the route diagram 563 and the event diagram 564 are added to the display device 519, and the display device 519 receives the input map image 560 Is displayed in the window for the map image 560.

但し、ステップS215で説明したように、地図縮尺が小さい場合、地図画像生成部512は視点図562を地図画像560に付加しない。   However, as described in step S215, when the map scale is small, the map image generation unit 512 does not add the viewpoint 562 to the map image 560.

また、地図画像生成部512は、地図画像560に付加する経路図563の形態を地図縮尺に応じて変更する。
具体的には、地図画像生成部512は、地図縮尺を経路用の縮尺閾値と比較する。
そして、地図縮尺が経路用の縮尺閾値より大きい場合、地図画像生成部512は、時刻毎の車両位置情報553が示す位置に対応する箇所に、計測車両110が通過した位置を表すマークを経路図563として付加する。
また、地図縮尺が経路用の縮尺閾値より小さい場合、地図画像生成部512は、時刻毎の車両位置情報553が示す位置に対応する箇所を通る線を経路図563として付加する。
Further, the map image generation unit 512 changes the form of the route diagram 563 to be added to the map image 560 according to the map scale.
Specifically, the map image generation unit 512 compares the map scale with the route scale threshold.
Then, when the map scale is larger than the scale scale threshold for the route, the map image generation unit 512 sets a mark representing the position where the measurement vehicle 110 has passed at a location corresponding to the position indicated by the vehicle position information 553 for each time. Add as 563
When the map scale is smaller than the route scale threshold, the map image generation unit 512 adds a line passing through a location corresponding to the position indicated by the vehicle position information 553 at each time as the route diagram 563.

ステップS250において、点群画像生成部513は点群画像310を更新する。点群画像310を更新する方法は、ステップS240で説明した方法と同じである。   In step S250, the point cloud image generation unit 513 updates the point cloud image 310. The method of updating the point cloud image 310 is the same as the method described in step S240.

***構成の説明***
図18に基づいて、点群画像生成装置100の構成について説明する。
点群画像生成装置100は、計測データ処理部200と、表示装置300と、操作部400と、通信装置301とを備える。
点群画像生成装置100は、計測車両110に搭載される。
*** Description of the configuration ***
The configuration of the point cloud image generation device 100 will be described based on FIG.
The point cloud image generation device 100 includes a measurement data processing unit 200, a display device 300, an operation unit 400, and a communication device 301.
Point cloud image generation device 100 is mounted on measurement vehicle 110.

計測車両110は、道路を走行しながら各種の計測を行う車両である。
各種の計測によって、測位補強データ101と、測位データ102と、慣性計測データ103と、走行距離データ104と、方位距離データ105とが得られる。
The measurement vehicle 110 is a vehicle that performs various measurements while traveling on a road.
Positioning reinforcement data 101, positioning data 102, inertial measurement data 103, traveling distance data 104, and azimuth distance data 105 are obtained by various measurements.

図19に基づいて、計測車両110の構成について説明する。
計測車両110は、車体の屋根に設けられた天板119を備えている。また、計測車両110は、オドメータ114を備えている。
天板119には、測位補強信号受信機111と、測位信号受信機112と、慣性計測装置113と、レーザスキャナ115とが取り付けられている。
The configuration of the measurement vehicle 110 will be described based on FIG.
The measuring vehicle 110 is provided with a top plate 119 provided on the roof of the vehicle body. The measurement vehicle 110 also includes an odometer 114.
A positioning reinforcing signal receiver 111, a positioning signal receiver 112, an inertial measurement device 113, and a laser scanner 115 are attached to the top 119.

測位補強信号受信機111は、GNSS衛星または地上の無線LANまたは携帯電話回線から、計測車両110の位置を高精度に測位するために用いる測位補強データ101を受信する。GNSSは全地球測位システムの略称である。
測位補強データ101は、GNSS衛星から配信される場合と、GNSS補正情報配信サービス事業者から携帯電話網を介して配信される場合とが考えられる。
GNSS衛星が測位補強データ101を配信する準天頂衛星である場合、センチメートル級の精度の測位補強データ101は、準天頂衛星から送信されるL6帯の信号に含まれる。この場合、測位補強データ101は、GPS衛星の衛星時計の誤差、GPS衛星の軌道誤差、周波数間バイアス、電離層伝搬遅延の誤差および対流圏遅延の誤差を示す。
The positioning reinforcement signal receiver 111 receives positioning reinforcement data 101 used for positioning the position of the measurement vehicle 110 with high accuracy from a GNSS satellite or a wireless LAN or mobile telephone line on the ground. GNSS is an abbreviation of Global Positioning System.
The positioning reinforcement data 101 may be distributed from GNSS satellites or distributed from a GNSS correction information distribution service provider via a mobile telephone network.
When the GNSS satellite is a Quasi-Zenith satellite that delivers positioning augmentation data 101, positioning-compensation data 101 with centimeter accuracy is included in the L6 band signal transmitted from the Quasi-Zenith satellite. In this case, the positioning reinforcement data 101 indicates the error of the satellite clock of the GPS satellite, the orbit error of the GPS satellite, the inter-frequency bias, the ionospheric propagation delay error, and the tropospheric delay error.

測位信号受信機112は、測位衛星から送信される測位信号を受信し、測位信号の受信結果を用いて計測車両110の位置を測位する。測位衛星の一例はGPS衛星である。
測位データ102は、測位信号受信機112によって測位された計測車両110の位置を示すデータである。
The positioning signal receiver 112 receives the positioning signal transmitted from the positioning satellite, and positions the position of the measurement vehicle 110 using the reception result of the positioning signal. An example of a positioning satellite is a GPS satellite.
The positioning data 102 is data indicating the position of the measurement vehicle 110 measured by the positioning signal receiver 112.

慣性計測装置113は、計測車両110の3軸方向の角度および角速度を計測するジャイロと、計測車両110の3軸方向の加速度を計測する加速度センサとを備える。計測車両110の3軸方向の角度は仰角と回転角と方位角である。
慣性計測データ103は、慣性計測装置113によって得られた情報を示すデータである。
The inertial measurement device 113 includes a gyro that measures angles and angular velocities of the measurement vehicle 110 in three axial directions, and an acceleration sensor that measures acceleration in the three axial directions of the measurement vehicle 110. The angles in the three axis directions of the measurement vehicle 110 are an elevation angle, a rotation angle, and an azimuth angle.
The inertial measurement data 103 is data indicating information obtained by the inertial measurement device 113.

オドメータ114は、計測車両110の車輪が回転する毎に出力される車速パルスを検出し、タイヤの回転半径と車輪の回転量とを用いた積分計算によって走行距離を算出する。
走行距離データ104は、オドメータ114によって算出された走行距離を示すデータである。
The odometer 114 detects a vehicle speed pulse output each time the wheel of the measurement vehicle 110 rotates, and calculates a travel distance by integral calculation using the radius of gyration of the tire and the amount of rotation of the wheel.
The travel distance data 104 is data indicating the travel distance calculated by the odometer 114.

レーザスキャナ115は、1秒間に100回転程度の速さで回転しながらレーザを出射して、計測車両110の周囲に位置する地物をスキャンする。
その際、レーザスキャナ115は、レーザが照射された地点(照射点)毎に、レーザを出射した時刻と地物から反射されたレーザを受信した時刻との時刻差を計測し、計測した時刻差を用いてレーザが照射された地点までの距離を求める。また、レーザスキャナ115は、レーザが出射された方向を示す方位を求める。
方位距離データ105は、計測時刻と距離と方位とを互いに対応付けたデータである。計測時刻は、レーザスキャナ115による計測が行われたときの時刻である。計測時刻の一例は、レーザが出射された時刻またはレーザが受信された時刻である。
The laser scanner 115 emits a laser while rotating at a speed of about 100 rotations per second, and scans a feature located around the measurement vehicle 110.
At that time, the laser scanner 115 measures the time difference between the time when the laser was emitted and the time when the laser reflected from the feature was received for each point (irradiation point) where the laser was irradiated, and the measured time difference Use to determine the distance to the point where the laser was illuminated. Further, the laser scanner 115 obtains an azimuth indicating a direction in which the laser is emitted.
The azimuth distance data 105 is data in which measurement time, distance, and azimuth are associated with each other. The measurement time is a time when the measurement by the laser scanner 115 is performed. An example of the measurement time is the time when the laser was emitted or the time when the laser was received.

図18に戻り、点群画像生成装置100の説明を続ける。
計測データ処理部200は、位置演算部121と、姿勢演算部122と、三次元点群生成部123と、位置推定部220と、二次元投影部230と、事象位置算出部240と、パケット生成部250とを備える。
Returning to FIG. 18, the description of the point cloud image generation device 100 will be continued.
The measurement data processing unit 200 includes a position calculation unit 121, an attitude calculation unit 122, a three-dimensional point group generation unit 123, a position estimation unit 220, a two-dimensional projection unit 230, an event position calculation unit 240, and packet generation. And a unit 250.

位置演算部121は、測位補強データ101と測位データ102と慣性計測データ103と走行距離データ104とを用いて、計測時刻における計測車両110の位置である計測位置の三次元座標値を算出する。計測位置は自己位置または自車位置ともいう。
そして、位置演算部121は、算出した計測位置を示す計測位置データ201を生成する。
The position calculation unit 121 calculates three-dimensional coordinate values of the measurement position, which is the position of the measurement vehicle 110 at the measurement time, using the positioning reinforcement data 101, the positioning data 102, the inertia measurement data 103, and the travel distance data 104. The measurement position is also referred to as self position or vehicle position.
Then, the position calculation unit 121 generates measurement position data 201 indicating the calculated measurement position.

姿勢演算部122は、測位データ102と慣性計測データ103と走行距離データ104とを用いて、計測時刻における計測車両110(またはレーザスキャナ115)の姿勢である計測姿勢を算出する。
そして、姿勢演算部122は、算出した計測姿勢を示す計測姿勢データ202を生成する。
The posture calculation unit 122 calculates a measurement posture that is the posture of the measurement vehicle 110 (or the laser scanner 115) at the measurement time using the positioning data 102, the inertia measurement data 103, and the travel distance data 104.
Then, the posture calculation unit 122 generates measurement posture data 202 indicating the calculated measurement posture.

三次元点群生成部123は、方位距離データ105と計測位置データ201と計測姿勢データ202とを用いて、レーザスキャナ115によって計測された地物を表す三次元点群で表す三次元点群データ203を生成する。
この際、三次元点群生成部123は、方位距離データ105が示す方位を計測姿勢データ202が示す計測姿勢を用いて補正し、補正後の方位と計測位置データ201が示す計測位置と方位距離データ105が示す距離とを用いて、レーザが照射された地点の三次元座標値を算出する。
三次元点群データ203は、計測車両110に取り付けられたレーザスキャナ115を周辺の地物に照射することによって複数のレーザ照射点までの方位と距離とを計測して得られる方位距離データ105を用いて生成されるデータであって、複数のレーザ照射点それぞれの三次元座標値を示すデータである。
The three-dimensional point group generation unit 123 uses the azimuth distance data 105, the measurement position data 201, and the measurement attitude data 202 to represent three-dimensional point group data representing a feature measured by the laser scanner 115 by a three-dimensional point group. Generate 203.
At this time, the three-dimensional point group generation unit 123 corrects the azimuth indicated by the azimuth distance data 105 using the measurement attitude indicated by the measurement attitude data 202, and the corrected azimuth and the measurement position and azimuth distance indicated by the measurement position data 201. The three-dimensional coordinate value of the point irradiated with the laser is calculated using the distance indicated by the data 105.
The three-dimensional point cloud data 203 is azimuth distance data 105 obtained by measuring the azimuth and distance to a plurality of laser irradiation points by irradiating the laser scanner 115 attached to the measurement vehicle 110 to surrounding features. The data is generated using the data and indicates three-dimensional coordinate values of each of a plurality of laser irradiation points.

位置推定部220は、計測位置の三次元座標値を示す計測位置データ201を用いて、点群画像310が表示されるときの計測車両110の位置である推定位置の三次元座標値を推定する。推定位置は、現在位置または推定自己位置ともいう。
そして、位置推定部220は、推定した三次元座標値を示す推定位置データ229を生成する。
The position estimation unit 220 estimates the three-dimensional coordinate value of the estimated position, which is the position of the measurement vehicle 110 when the point group image 310 is displayed, using the measurement position data 201 indicating the three-dimensional coordinate value of the measurement position. . The estimated position is also referred to as a current position or an estimated self position.
Then, the position estimation unit 220 generates estimated position data 229 indicating the estimated three-dimensional coordinate values.

二次元投影部230は、計測位置データ201と計測姿勢データ202と三次元点群データ203と推定位置データ229とを用いて、操作部400から出力される操作データ204が示す情報に従って、投影点群データ235と投影マークデータ236とを生成する。図示を省略するが、計測位置データ201は位置演算部121から二次元投影部230に入力され、計測姿勢データ202は姿勢演算部122から二次元投影部230に入力される。
投影点群データ235は、三次元点群データ203を二次元座標値に変換したデータである。生成された投影点群データ235および投影マークデータ236は、表示装置300に出力される。
二次元投影部230における座標変換処理(投影処理)については後述する。
The two-dimensional projection unit 230 uses the measurement position data 201, the measurement posture data 202, the three-dimensional point group data 203, and the estimated position data 229 to project points according to information indicated by the operation data 204 output from the operation unit 400. Group data 235 and projection mark data 236 are generated. Although not shown, the measurement position data 201 is input from the position calculation unit 121 to the two-dimensional projection unit 230, and the measurement posture data 202 is input from the posture calculation unit 122 to the two-dimensional projection unit 230.
The projection point group data 235 is data obtained by converting the three-dimensional point group data 203 into two-dimensional coordinate values. The generated projection point group data 235 and projection mark data 236 are output to the display device 300.
The coordinate conversion process (projection process) in the two-dimensional projection unit 230 will be described later.

図22は、投影点群データ235および投影マークデータ236に基づいて表示装置300に表示される点群画像310の一例を示す図である。
点群画像310は、三次元点群311と、計測位置マーク312と、推定位置マーク313とを含んでいる。
三次元点群311は、計測車両110に取り付けられたレーザスキャナ115を周辺の地物に照射して得られる複数の照射点を表し、三次元点群データ203に基づいて表示される。三次元点群311を構成する各点は三角形により表されている。
計測位置マーク312は、計測車両110が各種の計測データを取得したときの計測車両110の位置である計測位置を表す。計測位置は自己位置または自車位置ともいう。
推定位置マーク313は、点群画像310が表示されるときの計測車両110の位置である推定位置を表す。推定位置は現在位置または自車位置ともいう。
計測位置マーク312および推定位置マーク313は、投影マークデータ236に基づいて表示される。
FIG. 22 is a view showing an example of a point group image 310 displayed on the display device 300 based on the projection point group data 235 and the projection mark data 236. As shown in FIG.
The point cloud image 310 includes a three-dimensional point cloud 311, a measurement position mark 312, and an estimated position mark 313.
The three-dimensional point group 311 represents a plurality of irradiation points obtained by irradiating the peripheral feature with the laser scanner 115 attached to the measurement vehicle 110, and is displayed based on the three-dimensional point group data 203. Each point constituting the three-dimensional point group 311 is represented by a triangle.
The measurement position mark 312 represents a measurement position which is the position of the measurement vehicle 110 when the measurement vehicle 110 acquires various measurement data. The measurement position is also referred to as self position or vehicle position.
The estimated position mark 313 represents an estimated position which is the position of the measurement vehicle 110 when the point cloud image 310 is displayed. The estimated position is also referred to as the current position or the vehicle position.
Measurement position mark 312 and estimated position mark 313 are displayed based on projection mark data 236.

計測車両110で表示される点群画像310は、道路監視装置510で表示される点群画像310と同様に、経路マーク314および事象マーク315を含んでもよい。つまり、投影マークデータ236は、経路マーク314と事象マーク315とのそれぞれの点群画像310内の二次元座標値を含んでもよい。
投影マークデータ236は、点群画像310内の各種マークの二次元座標値を含んだデータである。
また、投影点群データ235は、点群画像310内の三次元点群311の各点の二次元座標値を含んだデータである。
The point cloud image 310 displayed on the measuring vehicle 110 may include a route mark 314 and an event mark 315, as with the point cloud image 310 displayed on the road monitoring device 510. That is, the projection mark data 236 may include two-dimensional coordinate values in the point cloud image 310 of the path mark 314 and the event mark 315, respectively.
The projection mark data 236 is data including two-dimensional coordinate values of various marks in the point cloud image 310.
The projection point group data 235 is data including two-dimensional coordinate values of each point of the three-dimensional point group 311 in the point group image 310.

図18に戻り、点群画像生成装置100の説明を続ける。
操作部400は、利用者が指定した視点位置および視線方向を示す操作データ204を出力する。
操作部400は、インタフェース画像320、または、インタフェース画像320が表すユーザインタフェースを操作するためのソフトウェアまたはハードウェアである。
インタフェース画像320は、視点位置および視線方向を変更するためのユーザインタフェースを表す画像である。
利用者は、キーボードおよびマウスなどの入力装置を用いて、インタフェース画像320が表すユーザインタフェースを操作することによって、視点位置および視線方向を指定する。利用者は、タッチパッドまたはタッチパネルなどの入力装置を用いて、視点位置および視線方向を指定してもよい。
Returning to FIG. 18, the description of the point cloud image generation device 100 will be continued.
The operation unit 400 outputs operation data 204 indicating the viewpoint position and the gaze direction designated by the user.
The operation unit 400 is software or hardware for operating the interface image 320 or the user interface represented by the interface image 320.
The interface image 320 is an image representing a user interface for changing the viewpoint position and the gaze direction.
The user specifies the viewpoint position and the gaze direction by operating the user interface represented by the interface image 320 using an input device such as a keyboard and a mouse. The user may specify the viewpoint position and the gaze direction using an input device such as a touch pad or a touch panel.

図20に基づいて、表示装置300の表示例について説明する。
表示装置300は、点群画像310と操作部400に対応するインタフェース画像320とを表示する。表示装置300は、利用者によって操作されるタッチパネルを備えてもよい。
A display example of the display device 300 will be described based on FIG.
The display device 300 displays the point cloud image 310 and the interface image 320 corresponding to the operation unit 400. The display device 300 may include a touch panel operated by the user.

図21は、表示装置300に表示される点群画像310の視点位置について説明するための図である。
計測車両110の位置(自車位置401)から所定距離を隔てた位置に基準視点位置411が設定される。初期状態においては、当該基準視点位置411から計測車両110の進行方向(前方)に向かう視線方向に見える地物の点群画像310が表示される。基準視点位置411は、基準位置または視点基準位置ともいう。
利用者は、操作部400を介し、基準視点位置411からの視線方向を所望の方向に変えるとともに、基準視点位置411に対し所定のオフセット値を設けた視点位置を設定することが可能である。
FIG. 21 is a diagram for explaining the viewpoint position of the point cloud image 310 displayed on the display device 300. As shown in FIG.
The reference viewpoint position 411 is set at a position separated by a predetermined distance from the position of the measurement vehicle 110 (the vehicle position 401). In the initial state, a point cloud image 310 of a feature which can be seen in the direction of the line of sight from the reference viewpoint position 411 toward the traveling direction (forward) of the measurement vehicle 110 is displayed. The reference viewpoint position 411 is also referred to as a reference position or a viewpoint reference position.
The user can change the viewing direction from the reference viewpoint position 411 to a desired direction via the operation unit 400, and can set a viewpoint position where a predetermined offset value is provided to the reference viewpoint position 411.

図23に基づいて、インタフェース画像320の構成について説明する。
インタフェース画像320は、前方ボタン321Fと、後方ボタン321Bと、左ボタン321Lと、右ボタン321Rと、下方ボタン321Dとを含んでいる。
前方ボタン321Fと後方ボタン321Bと左ボタン321Lと右ボタン321Rとは矢印の形状を有するボタンであり、下方ボタン321Dは正方形の形状を有するボタンである。
前方ボタン321Fは下方ボタン321Dの上に配置され、後方ボタン321Bは下方ボタン321Dの下に配置され、左ボタン321Lは下方ボタン321Dの左に配置され、右ボタン321Rは下方ボタン321Dの右に配置されている。
The configuration of the interface image 320 will be described based on FIG.
The interface image 320 includes a front button 321F, a rear button 321B, a left button 321L, a right button 321R, and a lower button 321D.
The front button 321F, the rear button 321B, the left button 321L, and the right button 321R are buttons having an arrow shape, and the lower button 321D is a button having a square shape.
The forward button 321F is disposed above the downward button 321D, the rearward button 321B is disposed below the downward button 321D, the left button 321L is disposed to the left of the downward button 321D, and the right button 321R is disposed to the right of the downward button 321D It is done.

前方ボタン321Fは、視線方向を計測車両110の進行方向に向けるためのボタンである。
後方ボタン321Bは、視線方向を計測車両110の進行方向に対して逆方向に向けるためのボタンである。
左ボタン321Lは、視線方向を計測車両110の進行方向に対して左方向に向けるためのボタンである。
右ボタン321Rは、視線方向を計測車両110の進行方向に対して右方向に向けるためのボタンである。
下方ボタン321Dは、視線方向を下方向に向けるためのボタンである。
The front button 321F is a button for turning the sight line direction to the traveling direction of the measurement vehicle 110.
The rear button 321B is a button for turning the sight line direction in the opposite direction to the traveling direction of the measurement vehicle 110.
The left button 321L is a button for turning the sight line direction to the left with respect to the traveling direction of the measurement vehicle 110.
The right button 321R is a button for turning the sight line direction to the right with respect to the traveling direction of the measurement vehicle 110.
The lower button 321D is a button for turning the line of sight downward.

インタフェース画像320は、左右ウィジェット322Xと、前後ウィジェット322Yと、上下ウィジェット322Zと、仰角ウィジェット323Pと、方位角ウィジェット323Yと、取消ボタン329とを含んでいる。
左右ウィジェット322Xは、視点位置を基準視点位置411に対し、計測車両110の左右方向に移動させる移動量を指定するためのユーザインタフェースである。
前後ウィジェット322Yは、視点位置を基準視点位置411に対し、計測車両110の前後方向に移動させる移動量を指定するためのユーザインタフェースである。
上下ウィジェット322Zは、視点位置を基準視点位置411に対し、計測車両110の上下方向に移動させる移動量を指定するためのユーザインタフェースである。
仰角ウィジェット323Pは、基準視点位置411からの視線方向を垂直方向に所定角度ずらすためのオフセット量を設定するためのユーザインタフェースである。
方位角ウィジェット323Yは、基準視点位置411からの視線方向を水平方向に所定角度ずらすためのオフセット量を設定するためのユーザインタフェースである。
取消ボタン329は、指定された移動量および指定されたオフセット量を取り消すためのボタンである。
The interface image 320 includes left and right widgets 322X, front and rear widgets 322Y, upper and lower widgets 322Z, elevation widget 323P, azimuth widget 323Y, and cancel button 329.
The left and right widgets 322 </ b> X are user interfaces for designating a movement amount for moving the viewpoint position in the left and right direction of the measurement vehicle 110 with respect to the reference viewpoint position 411.
The front and rear widget 322Y is a user interface for specifying a movement amount for moving the viewpoint position in the front and rear direction of the measurement vehicle 110 with respect to the reference viewpoint position 411.
The upper and lower widgets 322 </ b> Z are a user interface for specifying a movement amount for moving the viewpoint position in the up and down direction of the measurement viewpoint 110 with respect to the reference viewpoint position 411.
The elevation widget 323P is a user interface for setting an offset amount for shifting the viewing direction from the reference viewpoint position 411 by a predetermined angle in the vertical direction.
The azimuth angle widget 323 </ b> Y is a user interface for setting an offset amount for shifting the viewing direction from the reference viewpoint position 411 by a predetermined angle in the horizontal direction.
The cancel button 329 is a button for canceling the designated movement amount and the designated offset amount.

以下、二次元投影部230の処理について説明する。
二次元投影部230は、計測位置データ201と計測姿勢データ202とを用いて基準視点位置411を算出し、当該基準視点位置411と操作部400からの操作データ204とを用いて利用者が指定した視点位置と視点方向を求める。
二次元投影部230は、利用者が指定した視点位置と視線方向に基づいて三次元点群データ203を二次元座標データに変換する二次元投影処理を行い、投影点群データ235を生成する。
同様に、二次元投影部230は、利用者が指定した視点位置と視点方向に基づいて、計測位置データ201および推定位置データ229をそれぞれ二次元座標データに変換する二次元投影処理を行い、投影マークデータ236を生成する。
The processing of the two-dimensional projection unit 230 will be described below.
The two-dimensional projection unit 230 calculates the reference viewpoint position 411 using the measurement position data 201 and the measurement posture data 202, and the user designates using the reference viewpoint position 411 and the operation data 204 from the operation unit 400. Find the viewpoint position and viewpoint direction
The two-dimensional projection unit 230 performs two-dimensional projection processing to convert the three-dimensional point group data 203 into two-dimensional coordinate data based on the viewpoint position and the gaze direction specified by the user, and generates projection point group data 235.
Similarly, the two-dimensional projection unit 230 performs two-dimensional projection processing for converting the measurement position data 201 and the estimated position data 229 into two-dimensional coordinate data, respectively, based on the viewpoint position and the viewpoint direction specified by the user. The mark data 236 is generated.

図18に戻り、点群画像生成装置100の説明を続ける。
事象位置算出部240は、投影点群データ235および三次元点群データ203を用いて、事象が生じている事象位置を算出する。
事象位置を算出する方法については実施の形態2で説明する。
Returning to FIG. 18, the description of the point cloud image generation device 100 will be continued.
The event position calculation unit 240 uses the projection point group data 235 and the three-dimensional point group data 203 to calculate an event position where an event has occurred.
The method for calculating the event position will be described in the second embodiment.

パケット生成部250は、道路監視装置510に送信される各種のパケットを生成する。   The packet generator 250 generates various packets to be transmitted to the road monitoring device 510.

具体的には、パケット生成部250は以下のようなパケットを生成する。
パケット生成部250は、事象位置算出部240によって算出された事象位置を示す事象位置情報552を含んだ事象パケット531を生成する。
パケット生成部250は、計測位置データ201または推定位置データ229を車両位置情報553として含んだ車両パケット532を生成する。
パケット生成部250は、操作データ204を視点情報554および視線情報559として含んだ視点パケット534を生成する。
パケット生成部250は、三次元点群データ203を三次元点群データ555として含んだ計測点パケット533を生成する。
Specifically, the packet generator 250 generates the following packet.
The packet generation unit 250 generates an event packet 531 including event position information 552 indicating the event position calculated by the event position calculation unit 240.
The packet generation unit 250 generates a vehicle packet 532 including the measured position data 201 or the estimated position data 229 as the vehicle position information 553.
The packet generation unit 250 generates a viewpoint packet 534 including the operation data 204 as the viewpoint information 554 and the gaze information 559.
The packet generation unit 250 generates a measurement point packet 533 including the three-dimensional point cloud data 203 as the three-dimensional point cloud data 555.

通信装置301は、パケット生成部250によって生成された各種のパケットを道路監視装置510に送信する。   The communication device 301 transmits various packets generated by the packet generation unit 250 to the road monitoring device 510.

***動作の説明***
点群画像生成装置100の動作は点群画像生成方法に相当する。また、点群画像生成方法は点群画像生成プログラムの処理手順に相当する。
*** Description of operation ***
The operation of the point cloud image generation device 100 corresponds to a point cloud image generation method. The point cloud image generation method corresponds to the processing procedure of the point cloud image generation program.

図24に基づいて、点群画像生成方法について説明する。
ステップS110は計測処理である。
ステップS110において、計測車両110の各機器は計測を行い、計測に得られたデータを出力する。出力されるデータは、測位補強データ101、測位データ102、慣性計測データ103、走行距離データ104および方位距離データ105である。
A point cloud image generation method will be described based on FIG.
Step S110 is measurement processing.
In step S110, each device of the measurement vehicle 110 performs measurement, and outputs data obtained by the measurement. The data to be output are positioning reinforcement data 101, positioning data 102, inertia measurement data 103, traveling distance data 104, and azimuth distance data 105.

ステップS120は位置演算処理である。
ステップS120において、位置演算部121は、測位補強データ101と測位データ102と慣性計測データ103と走行距離データ104とを用いて、計測位置の三次元座標値を算出する。計測位置は、計測時の計測車両110の位置である。
そして、位置演算部121は、計測位置の三次元座標値を示す計測位置データ201を生成し、生成した計測位置データ201を出力する。
Step S120 is position calculation processing.
In step S120, the position calculation unit 121 calculates three-dimensional coordinate values of the measurement position using the positioning reinforcement data 101, the positioning data 102, the inertia measurement data 103, and the travel distance data 104. The measurement position is the position of the measurement vehicle 110 at the time of measurement.
Then, the position calculation unit 121 generates measurement position data 201 indicating the three-dimensional coordinate value of the measurement position, and outputs the generated measurement position data 201.

ステップS130は姿勢演算処理である。
ステップS130において、姿勢演算部122は、測位データ102と慣性計測データ103と走行距離データ104とを用いて、計測姿勢を算出する。計測姿勢は、計測時の計測車両110の姿勢である。
そして、姿勢演算部122は、計測姿勢を示す計測姿勢データ202を生成し、生成した計測姿勢データ202を出力する。
Step S130 is attitude calculation processing.
In step S130, the posture calculation unit 122 calculates a measured posture using the positioning data 102, the inertia measurement data 103, and the traveling distance data 104. The measurement attitude is the attitude of the measurement vehicle 110 at the time of measurement.
Then, the posture calculation unit 122 generates measurement posture data 202 indicating the measured posture, and outputs the generated measurement posture data 202.

ステップS140は三次元点群生成処理である。
ステップS140において、三次元点群生成部123は、計測位置データ201と計測姿勢データ202と方位距離データ105とを用いて、レーザが照射された各照射点の三次元座標値を算出する。
そして、三次元点群生成部123は、各照射点の三次元座標値を示す三次元点群データ203を生成し、生成した三次元点群データ203を出力する。
Step S140 is three-dimensional point group generation processing.
In step S140, the three-dimensional point group generation unit 123 calculates three-dimensional coordinate values of each irradiation point irradiated with the laser, using the measurement position data 201, the measurement posture data 202, and the azimuth distance data 105.
Then, the three-dimensional point group generation unit 123 generates three-dimensional point group data 203 indicating the three-dimensional coordinate value of each irradiation point, and outputs the generated three-dimensional point group data 203.

ステップS150は位置推定処理である。
ステップS150において、位置推定部220は、計測位置データ201を用いて、推定位置の三次元座標値を算出する。推定位置は、点群画像310が表示されるときの計測車両110の位置として推定される位置である。
そして、位置推定部220は、推定位置の三次元座標値を示す推定位置データ229を生成し、生成した推定位置データ229を出力する。
Step S150 is position estimation processing.
In step S <b> 150, the position estimation unit 220 uses the measured position data 201 to calculate three-dimensional coordinate values of the estimated position. The estimated position is a position estimated as the position of the measurement vehicle 110 when the point cloud image 310 is displayed.
Then, the position estimation unit 220 generates estimated position data 229 indicating three-dimensional coordinate values of the estimated position, and outputs the generated estimated position data 229.

位置推定部220は、以下のように推定位置を算出する。
位置推定部220は、最新の計測位置データ201が取得された時刻と現在時刻との差を求め、最新の計測位置データ201が取得された時点における走行軌跡、角速度および加速度から現在時刻における自己位置を推定位置として算出する。ここで、現在時刻とは二次元投影部230から出力された投影点群データ235と投影マークデータ236とに基づいて表示装置300が点群画像310を表示する時刻である。この現在時刻は、計測位置データ201が取得されてから、計測位置データ201が取得された時刻と同時刻に取得された点群画像310が表示装置300に表示されるまでに要する処理時間を考慮して求められる。
The position estimation unit 220 calculates the estimated position as follows.
The position estimation unit 220 obtains the difference between the time when the latest measurement position data 201 is acquired and the current time, and the self position at the current time from the traveling locus, the angular velocity, and the acceleration when the latest measurement position data 201 is acquired. Is calculated as the estimated position. Here, the current time is the time at which the display device 300 displays the point cloud image 310 based on the projection point group data 235 and the projection mark data 236 output from the two-dimensional projection unit 230. This current time takes into consideration the processing time required for the display device 300 to display the point cloud image 310 acquired at the same time as the measurement position data 201 is acquired after the measurement position data 201 is acquired. Is required.

例えば、時刻T0において、地点P0に存在する計測車両110がX軸方向に時速50キロメートルで等速直線運動しているものとする。この場合、現在時刻T1において、計測車両110は、(50*1000/3600)*(T1−T0)[メートル]だけ、地点P0からX軸方向に進んだ地点P1に存在するものと推定される。   For example, it is assumed that, at time T0, the measurement vehicle 110 present at the point P0 performs uniform linear motion at a speed of 50 km per hour in the X-axis direction. In this case, at the current time T1, the measuring vehicle 110 is estimated to be present at the point P1 which is advanced in the X-axis direction from the point P0 by (50 * 1000/3600) * (T1-T0) [meters] .

ステップS160は二次元投影処理である。
ステップS160において、二次元投影部230は、三次元点群データベースと計測位置データ201と計測姿勢データ202とを用いて、操作データ204が示す情報に従って、投影点群データ235を生成する。
二次元投影部230は、計測位置データ201を用いて、操作データ204が示す情報に従って、投影マークデータ236を生成する。
そして、二次元投影部230は、投影点群データ235と投影マークデータ236とを点群画像310のデータとして表示装置300に出力する。
Step S160 is a two-dimensional projection process.
In step S160, the two-dimensional projection unit 230 generates projection point group data 235 according to the information indicated by the operation data 204, using the three-dimensional point cloud database, the measurement position data 201, and the measurement posture data 202.
The two-dimensional projection unit 230 generates the projection mark data 236 according to the information indicated by the operation data 204 using the measurement position data 201.
Then, the two-dimensional projection unit 230 outputs the projection point group data 235 and the projection mark data 236 to the display device 300 as data of the point cloud image 310.

ステップS170は点群画像表示処理である。
ステップS170において、表示装置300は、投影点群データ235と投影マークデータ236とを用いて点群画像310を表示する。
なお、事象位置算出部240は、点群画像生成部310と同様に、点群画像310に事象マーク315を付加した画像を、表示装置300に出力表示しても良い。
Step S170 is point cloud image display processing.
In step S170, the display device 300 displays the point cloud image 310 using the projection point cloud data 235 and the projection mark data 236.
The event position calculation unit 240 may output and display on the display device 300 an image obtained by adding the event mark 315 to the point cloud image 310, as in the point cloud image generation unit 310.

図25に、視線方向別の点群画像310を示す。
図25の(F)は、前方ボタン321Fが押下された場合、つまり、視線方向が計測車両110の進行方向である場合の点群画像310を示している。
図25の(B)は、後方ボタン321Bが押下された場合、つまり、視線方向が計測車両110の進行方向に対して逆方向である場合の点群画像310を示している。
図25の(L)は、左ボタン321Lが押下された場合、つまり、視線方向が計測車両110の進行方向に対して左方向である場合の点群画像310を示している。
図25の(R)は、右ボタン321Rが押下された場合、つまり、視線方向が計測車両110の進行方向に対して右方向である場合の点群画像310を示している。
図25の(D)は、下方ボタン321Dが押下された場合、つまり、視線方向が下方向である場合の点群画像310を示している。
FIG. 25 shows point cloud images 310 according to the viewing direction.
(F) of FIG. 25 shows a point cloud image 310 when the forward button 321F is pressed, that is, when the sight line direction is the traveling direction of the measurement vehicle 110.
(B) of FIG. 25 shows a point cloud image 310 when the back button 321 B is pressed, that is, when the sight line direction is reverse to the traveling direction of the measurement vehicle 110.
(L) in FIG. 25 shows a point cloud image 310 when the left button 321L is pressed, that is, when the sight line direction is the left direction with respect to the traveling direction of the measurement vehicle 110.
(R) of FIG. 25 shows a point cloud image 310 when the right button 321R is pressed, that is, when the sight line direction is the right direction with respect to the traveling direction of the measurement vehicle 110.
FIG. 25D shows a point cloud image 310 when the lower button 321D is pressed, that is, when the line of sight direction is downward.

図26に、上下左右の移動オフセット別の点群画像310を示す。
図26の(0)は、上下ウィジェット322Zで指定された移動量および左右ウィジェット322Xで指定された移動量がゼロである場合、つまり、視点位置が基準視点位置411と同じである場合の点群画像310を示している。
図26の(U)は、上下ウィジェット322Zで+5.0メートルが指定された場合、つまり、視点位置が基準視点位置411から上方に移動した場合の点群画像310を示している。
図26の(D)は、上下ウィジェット322Zで−5.0メートルが指定された場合、つまり、視点位置が基準視点位置411から下方に移動した場合の点群画像310を示している。
図26の(L)は、左右ウィジェット322Xで+5.0メートルが指定された場合、つまり、視点位置が基準視点位置411から左に移動した場合の点群画像310を示している。
図26の(R)は、左右ウィジェット322Xで−5.0メートルが指定された場合、つまり、視点位置が基準視点位置411から右に移動した場合の点群画像310を示している。
FIG. 26 shows point cloud images 310 according to moving offsets in the vertical and horizontal directions.
(0) in FIG. 26 is a point group when the movement amount specified by the upper and lower widgets 322Z and the movement amount specified by the left and right widgets 322X are zero, that is, when the viewpoint position is the same as the reference viewpoint position 411. An image 310 is shown.
(U) of FIG. 26 shows a point cloud image 310 when +5.0 m is specified by the upper and lower widgets 322Z, that is, when the viewpoint position moves upward from the reference viewpoint position 411.
(D) of FIG. 26 shows the point cloud image 310 when the viewpoint position has moved downward from the reference viewpoint position 411 when -5.0 m is specified by the upper and lower widgets 322Z.
(L) in FIG. 26 shows the point cloud image 310 when +5.0 m is specified by the left and right widgets 322X, that is, when the viewpoint position has moved from the reference viewpoint position 411 to the left.
(R) of FIG. 26 shows a point cloud image 310 in the case where -5.0 meters is designated by the left and right widgets 322X, that is, the viewpoint position is moved from the reference viewpoint position 411 to the right.

図27に、前後の移動オフセット別の点群画像310を示す。
図27の(O)は、前後ウィジェット322Yで指定された移動量がゼロである場合、つまり、視点位置が基準視点位置411と同じである場合の点群画像310を示している。
図27の(F)は、前後ウィジェット322Yで+5.0メートルが指定された場合、つまり、視点位置が基準視点位置411から前方に移動した場合の点群画像310を示している。
図27の(B)は、前後ウィジェット322Yで−5.0メートルが指定された場合、つまり、視点位置が基準視点位置411から後方に移動した場合の点群画像310を示している。
FIG. 27 shows point cloud images 310 according to moving offsets before and after.
(O) of FIG. 27 shows the point cloud image 310 when the movement amount designated by the front and rear widget 322 Y is zero, that is, when the viewpoint position is the same as the reference viewpoint position 411.
FIG. 27F shows the point cloud image 310 when +5.0 m is specified by the front and rear widgets 322Y, that is, when the viewpoint position has moved forward from the reference viewpoint position 411.
(B) of FIG. 27 shows the point cloud image 310 when the viewpoint position has moved backward from the reference viewpoint position 411 when -5.0 m is specified by the front and rear widget 322Y.

図28に、上下左右の回転オフセット別の点群画像310を示す。
図28の(O)は、仰角ウィジェット323Pで指定されたオフセット量および方位角ウィジェット323Yで指定されたオフセット量がゼロである場合、つまり、二次元投影面が回転していない場合の点群画像310を示している。
図28の(U)は、仰角ウィジェット323Pで+10度が指定された場合、つまり、二次元投影面が上向きに傾いた場合の点群画像310を示している。
図28の(D)は、仰角ウィジェット323Pで−10度が指定された場合、つまり、二次元投影面が下向きに傾いた場合の点群画像310を示している。
図28の(L)は、方位角ウィジェット323Yで+10度が指定された場合、つまり、二次元投影面が左向きに傾いた場合の点群画像310を示している。
図28の(R)は、方位角ウィジェット323Yで−10度が指定された場合、つまり、二次元投影面が右向きに傾いた場合の点群画像310を示している。
FIG. 28 shows point cloud images 310 according to upper, lower, left, and right rotational offsets.
(O) of FIG. 28 is a point cloud image when the offset amount designated by the elevation widget 323P and the offset amount designated by the azimuth widget 323Y are zero, that is, when the two-dimensional projection plane is not rotated. 310 is shown.
(U) of FIG. 28 shows a point cloud image 310 when +10 degrees is designated by the elevation angle widget 323P, that is, when the two-dimensional projection surface is inclined upward.
FIG. 28D shows the point cloud image 310 when the elevation widget 323P specifies -10 degrees, that is, when the two-dimensional projection plane is inclined downward.
(L) in FIG. 28 shows a point cloud image 310 when +10 degrees is designated by the azimuth angle widget 323 Y, that is, when the two-dimensional projection plane is inclined leftward.
(R) of FIG. 28 shows a point cloud image 310 when the azimuth widget 323Y specifies -10 degrees, that is, when the two-dimensional projection plane is inclined to the right.

***ハードウェア構成の説明***
図29に基づいて、点群画像生成装置100のハードウェア構成例について説明する。
点群画像生成装置100は、プロセッサ901、補助記憶装置902、メモリ903、通信装置904、入力インタフェース905、出力インタフェース906といったハードウェアを備えるコンピュータである。
プロセッサ901は信号線910を介して他のハードウェアと接続されている。入力インタフェース905はケーブル911を介して入力装置907に接続されている。出力インタフェース906はケーブル912を介して出力装置908に接続されている。
*** Description of hardware configuration ***
A hardware configuration example of the point cloud image generation device 100 will be described based on FIG.
The point cloud image generation apparatus 100 is a computer including hardware such as a processor 901, an auxiliary storage device 902, a memory 903, a communication device 904, an input interface 905, and an output interface 906.
The processor 901 is connected to other hardware via a signal line 910. The input interface 905 is connected to the input device 907 via the cable 911. Output interface 906 is connected to output device 908 via cable 912.

プロセッサ901は、プロセッシングを行うICであり、他のハードウェアを制御する。プロセッサ901の一例は、CPU、DSP、GPUである。ICはIntegrated Circuitの略称である。CPUはCentral Processing Unitの略称であり、DSPはDigital Signal Processorの略称であり、GPUはGraphics Processing Unitの略称である。
補助記憶装置902はデータを記憶する。補助記憶装置902の一例は、ROM、フラッシュメモリ、HDDである。ROMはRead Only Memoryの略称であり、HDDはHard Disk Driveの略称である。
メモリ903はデータを記憶する。メモリ903の一例はRAMである。RAMはRandom Access Memoryの略称である。
通信装置904は、データを受信するレシーバ9041と、データを送信するトランスミッタ9042とを備える。通信装置904の一例は、通信チップ、NICである。NICはNetwork Interface Cardの略称である。
入力インタフェース905はケーブル911が接続されるポートであり、ポートの一例はUSB端子である。USBはUniversal Serial Busの略称である。
出力インタフェース906はケーブル912が接続されるポートであり、USB端子およびHDMI端子はポートの一例である。HDMI(登録商標)はHigh Definition Multimedia Interfaceの略称である。
入力装置907はデータ、命令および要求を入力する。入力装置907の一例は、マウス、キーボード、タッチパネル、タッチパッドである。
出力装置908はデータ、結果および応答を出力する。出力装置908の一例は、ディスプレイ、プリンタである。ディスプレイの一例はLCDである。LCDはLiquid
Crystal Displayの略称である。
The processor 901 is an IC that performs processing and controls other hardware. An example of the processor 901 is a CPU, a DSP, and a GPU. IC is an abbreviation for Integrated Circuit. CPU is an abbreviation for Central Processing Unit, DSP is an abbreviation for Digital Signal Processor, and GPU is an abbreviation for Graphics Processing Unit.
The auxiliary storage unit 902 stores data. An example of the auxiliary storage device 902 is a ROM, a flash memory, or an HDD. ROM is an abbreviation for Read Only Memory, and HDD is an abbreviation for Hard Disk Drive.
The memory 903 stores data. An example of the memory 903 is a RAM. RAM is an abbreviation of Random Access Memory.
The communication device 904 comprises a receiver 9041 for receiving data and a transmitter 9042 for transmitting data. An example of the communication device 904 is a communication chip, NIC. NIC is an abbreviation of Network Interface Card.
The input interface 905 is a port to which the cable 911 is connected, and an example of the port is a USB terminal. USB is an abbreviation for Universal Serial Bus.
The output interface 906 is a port to which the cable 912 is connected, and the USB terminal and the HDMI terminal are an example of a port. HDMI (registered trademark) is an abbreviation of High Definition Multimedia Interface.
An input device 907 inputs data, instructions and requests. An example of the input device 907 is a mouse, a keyboard, a touch panel, and a touch pad.
An output device 908 outputs data, results and responses. An example of the output device 908 is a display or a printer. An example of a display is an LCD. LCD is Liquid
Acronym for Crystal Display.

補助記憶装置902にはOSが記憶されている。OSはOperating Systemの略称である。
また、補助記憶装置902には、位置演算部121、姿勢演算部122、三次元点群生成部123、位置推定部220、二次元投影部230といった「部」の機能を実現するプログラムが記憶されている。「部」の機能を実現するプログラムは記憶媒体に記憶することができる。
OSの少なくとも一部はメモリ903にロードされ、プロセッサ901はOSを実行しながら「部」の機能を実現するプログラムを実行する。「部」の機能を実現するプログラムは、メモリ903にロードされ、プロセッサ901に読み込まれ、プロセッサ901によって実行される。
なお、点群画像生成装置100が複数のプロセッサ901を備えて、複数のプロセッサ901が「部」の機能を実現するプログラムを連携して実行してもよい。
An OS is stored in the auxiliary storage device 902. OS is an abbreviation of Operating System.
In addition, the auxiliary storage device 902 stores programs for realizing functions of “parts” such as the position calculation unit 121, the posture calculation unit 122, the three-dimensional point group generation unit 123, the position estimation unit 220, and the two-dimensional projection unit 230. ing. A program for realizing the function of “section” can be stored in a storage medium.
At least a part of the OS is loaded into the memory 903, and the processor 901 executes a program that implements the function of “unit” while executing the OS. A program for realizing the function of “part” is loaded into the memory 903, read into the processor 901, and executed by the processor 901.
Note that the point cloud image generation device 100 may include a plurality of processors 901, and the plurality of processors 901 may cooperatively execute programs that realize the function of “section”.

「部」の処理の結果を示すデータ、情報、信号値および変数値などは、メモリ903、補助記憶装置902、プロセッサ901内のレジスタ、または、プロセッサ901内のキャッシュメモリに記憶される。   Data, information, signal values, variable values and the like indicating the result of the processing of “part” are stored in the memory 903, the auxiliary storage device 902, a register in the processor 901, or a cache memory in the processor 901.

「部」は「サーキットリ」で実装してもよい。「部」は「回路」、「工程」、「手順」または「処理」に読み替えてもよい。
「回路」及び「サーキットリ」は、プロセッサ901、ロジックIC、GA、ASIC、FPGAといった処理回路を包含する概念である。GAはGate Arrayの略称であり、ASICはApplication Specific Integrated
Circuitの略称であり、FPGAはField−Programmable Gate Arrayの略称である。
The "part" may be implemented by "circuitry". "Part" may be read as "circuit", "process", "procedure" or "treatment".
The “circuit” and “circuitry” are concepts including processing circuits such as the processor 901, logic IC, GA, ASIC, and FPGA. GA is an abbreviation for Gate Array, and ASIC is Application Specific Integrated
It is an abbreviation for Circuit, and FPGA is an abbreviation for Field-Programmable Gate Array.

***実施の形態の効果***
道路監視装置510は、道路または道路の周囲に生じている事象について事象が生じている位置に対応する箇所に事象図564が付加された地図画像560を表示する。したがって、道路監視装置510は、道路の陥没または道路にはみ出た樹木などの通行に支障をきたす事象を監視者502に知らせることができる。
道路監視装置510は、地図画像560内の箇所のうち計測車両110の位置に対応する箇所に車両図561を付加する。また、道路監視装置510は、計測車両110が走行した経路を表す経路図563を地図画像560に付加する。したがって、道路監視装置510は、計測車両110によって計測された道路を監視者502に知らせることができる。
道路監視装置510は、地図縮尺に応じて経路図563の形態を切り換える。また、道路監視装置510は、地図縮尺に応じて視点図562の表示または非表示を切り替える。したがって、道路監視装置510は、地図縮尺に応じた見易い地図画像560を監視者502に提供することができる。
*** Effect of the embodiment ***
The road monitoring device 510 displays a map image 560 to which an event diagram 564 is added at a location corresponding to a location where an event has occurred for a road or an event occurring around the road. Therefore, the road monitoring device 510 can notify the supervisor 502 of an event that may cause a road depression or a tree or the like that has run out of the road.
The road monitoring device 510 adds a vehicle diagram 561 to a location in the map image 560 that corresponds to the position of the measurement vehicle 110. In addition, the road monitoring device 510 adds a route diagram 563 representing the route on which the measuring vehicle 110 has traveled to the map image 560. Therefore, the road monitoring device 510 can notify the supervisor 502 of the road measured by the measuring vehicle 110.
The road monitoring device 510 switches the form of the route map 563 according to the map scale. Further, the road monitoring device 510 switches display or non-display of the perspective view 562 according to the map scale. Therefore, the road monitoring device 510 can provide the supervisor 502 with an easy-to-see map image 560 according to the map scale.

道路監視装置510は、計測車両110で表示されている点群画像310に相当する点群画像310を表示する。したがって、道路監視装置510は、計測車両110内で表示されている点群画像310に相当する点群画像310を監視者502に提供することができる。
道路監視装置510は、点群画像310内の箇所のうち事象が生じている位置に対応する箇所に事象マーク315を付加する。したがって、道路監視装置510は、事象が生じている場所の状況を監視者502に知らせることができる。
事象マーク315は、事象識別子が複数の箇所に記された側部を有する立体である。したがって、点群画像310の視線方向がいずれの方向であっても、事象マーク315が表している事象の事象識別子を監視者502に知らせることができる。
The road monitoring device 510 displays a point cloud image 310 corresponding to the point cloud image 310 displayed on the measuring vehicle 110. Therefore, the road monitoring device 510 can provide the surveillance person 502 with the point cloud image 310 corresponding to the point cloud image 310 displayed in the measuring vehicle 110.
The road monitoring device 510 adds an event mark 315 to a location in the point cloud image 310 that corresponds to the location where the event has occurred. Accordingly, the road monitoring device 510 can notify the supervisor 502 of the situation where the event has occurred.
The event mark 315 is a solid having an event identifier marked at a plurality of places. Therefore, the observer 502 can be notified of the event identifier of the event represented by the event mark 315 regardless of the viewing direction of the point cloud image 310.

***他の構成***
点群画像生成部513は、監視者502がインタフェース画像320を利用して指定する視点および視線方向に応じた点群画像310を生成してもよい。
*** Other configuration ***
The point group image generation unit 513 may generate a point group image 310 according to the viewpoint and the line of sight direction specified by the observer 502 using the interface image 320.

道路および道路の周囲の計測が複数の計測車両110によって行われてもよい。
その場合、地図画像生成部512は、計測車両110毎の視点図562および事象図564が付加された地図画像560を生成する。
図30において、地図画像560には、2台の計測車両110のそれぞれの視点図562および事象図564が付加されている。各視点図562には車両識別子542が記されている。
The measurement of the road and the surroundings of the road may be performed by multiple measurement vehicles 110.
In that case, the map image generation unit 512 generates a map image 560 to which a viewpoint view 562 and an event view 564 for each measurement vehicle 110 are added.
In FIG. 30, in the map image 560, the viewpoint 562 and the event diagram 564 of each of the two measurement vehicles 110 are added. A vehicle identifier 542 is described in each view 562.

車両パケット532は、可視情報、精度情報、計測距離などの情報を含んでもよい。つまり、これらの情報が計測車両110の通信装置から道路監視装置510に送信されてもよい。
可視情報は、計測車両110の測位が行われたときの可視衛星の数を示す情報である。可視衛星は、測位信号受信機112が受信した測位信号の送信元の測位衛星である。可視情報は測位信号受信機112によって得られる。
精度情報は、測位結果の精度を示す情報である。精度情報は測位信号受信機112によって得られる。
計測距離は、計測車両110によって計測が行われた経路の距離である。
道路監視装置510は、これらの情報を表示装置519に表示する。例えば、地図画像生成部512は、これらの情報を示す図を地図画像560に付加する。これにより、道路監視装置510は、計測状況または計測作業の進捗状況を監視者502に知らせることができる。
The vehicle packet 532 may include information such as visible information, accuracy information, and measurement distance. That is, these pieces of information may be transmitted from the communication device of the measurement vehicle 110 to the road monitoring device 510.
The visible information is information indicating the number of visible satellites when the measurement vehicle 110 is positioned. A visible satellite is a positioning satellite of the transmission source of the positioning signal which the positioning signal receiver 112 received. The visible information is obtained by the positioning signal receiver 112.
The accuracy information is information indicating the accuracy of the positioning result. The accuracy information is obtained by the positioning signal receiver 112.
The measurement distance is the distance of the route measured by the measurement vehicle 110.
The road monitoring device 510 displays such information on the display device 519. For example, the map image generation unit 512 adds a diagram showing these pieces of information to the map image 560. Thus, the road monitoring device 510 can notify the observer 502 of the measurement status or the progress status of the measurement operation.

道路監視装置510の機能はハードウェアで実現してもよい。
具体的には、道路監視装置510は、プロセッサ901、補助記憶装置902およびメモリ903の代わりに、処理回路を備えてもよい。処理回路は、「部」の機能を実現する専用の電子回路である。この「部」には記憶部も含まれる。
なお、道路監視装置510が複数の処理回路を備えて、複数の処理回路が「部」の機能を連携して実現してもよい。
The function of the road monitoring device 510 may be realized by hardware.
Specifically, the road monitoring device 510 may include processing circuitry in place of the processor 901, the auxiliary storage device 902, and the memory 903. The processing circuit is a dedicated electronic circuit that realizes the function of "part". The "part" also includes a storage part.
The road monitoring device 510 may be provided with a plurality of processing circuits, and the plurality of processing circuits may be realized in cooperation with the function of “section”.

道路監視装置510の機能は、ソフトウェアとハードウェアとの組み合わせで実現してもよい。つまり、「部」の一部をソフトウェアで実現し、「部」の残りをハードウェアで実現してもよい。   The functions of the road monitoring device 510 may be realized by a combination of software and hardware. That is, part of the "part" may be realized by software, and the rest of the "part" may be realized by hardware.

計測車両110において、点群画像生成装置100は、事象マーク315を含んだ点群画像310を表示装置300に表示してもよい。さらに、点群画像生成装置100は、地図画像生成部512および地図データ520を備えてもよい。つまり、点群画像生成装置100は、地図画像560を表示装置300に表示してもよい。この点群画像生成装置100は、計測車両110に搭載される道路監視装置として機能する。なお、点群画像生成装置100の二次元投影部230は道路監視装置510の点群画像生成部513として機能し、点群画像生成装置100の操作部400は道路監視装置510のインタフェース画像生成部514として機能する。   In the measurement vehicle 110, the point cloud image generation device 100 may display the point cloud image 310 including the event mark 315 on the display device 300. Furthermore, the point cloud image generation device 100 may include a map image generation unit 512 and map data 520. That is, the point cloud image generation device 100 may display the map image 560 on the display device 300. The point cloud image generation device 100 functions as a road monitoring device mounted on the measurement vehicle 110. The two-dimensional projection unit 230 of the point group image generation device 100 functions as a point group image generation unit 513 of the road monitoring device 510, and the operation unit 400 of the point group image generation device 100 is an interface image generation unit of the road monitoring device 510. It functions as 514.

実施の形態2.
事象が生じている位置を道路監視装置510が算出する形態について、図31から図33に基づいて説明する。但し、実施の形態1と重複する説明は省略する。
Second Embodiment
The form in which the road monitoring device 510 calculates the position where the event has occurred will be described based on FIG. 31 to FIG. However, the description overlapping with that of the first embodiment is omitted.

***構成の説明***
図31に基づいて、道路監視装置510の構成について説明する。
道路監視装置510は、さらに事象位置算出部515を「部」の機能として備える。事象位置算出部515について以下に説明する。
*** Description of the configuration ***
The configuration of the road monitoring device 510 will be described based on FIG.
The road monitoring device 510 further includes an event position calculation unit 515 as a function of “part”. The event position calculation unit 515 will be described below.

***動作の説明***
<実施例1>
図32に基づいて、事象位置算出部515の動作について説明する。
ステップS311において、監視者502は、表示された点群画像310を参照し、点群画像310内の箇所のうち事象を表している箇所をマウスまたはキーボードなどの入力装置を用いて指定する。
そして、事象位置算出部515は、指定された箇所を事象位置に対応する指定箇所として受け付ける。
*** Description of operation ***
Example 1
The operation of the event position calculation unit 515 will be described based on FIG.
In step S311, the observer 502 refers to the displayed point cloud image 310 and designates a point in the point cloud image 310 representing an event using an input device such as a mouse or a keyboard.
Then, the event position calculation unit 515 receives the designated portion as the designated portion corresponding to the event position.

ステップS312において、事象位置算出部515は、指定箇所に対応する計測点を選択する。
具体的には、指定箇所に対応する計測点は、指定箇所または指定箇所の周囲に描かれている計測点である。より具体的には、指定箇所に対応する計測点は、指定箇所に描かれている1つの計測点、または、指定箇所の近傍に描かれている複数の計測点である。指定箇所から計測点までの距離が距離閾値より短い場合、その計測点は指定箇所の近傍に描かれた計測点である。
点群画像310に描かれている計測点は計測点識別子によって識別される。
In step S312, the event position calculation unit 515 selects a measurement point corresponding to the designated part.
Specifically, the measurement points corresponding to the designated place are the designated places or the measurement points drawn around the designated place. More specifically, the measurement points corresponding to the designated part are one measurement point drawn in the designated part or a plurality of measurement points drawn in the vicinity of the designated part. When the distance from the designated part to the measurement point is shorter than the distance threshold, the measurement point is a measurement point drawn in the vicinity of the designated part.
The measurement points depicted in the point cloud image 310 are identified by measurement point identifiers.

ステップS313において、事象位置算出部515は、選択した計測点の三次元座標値を用いて、指定箇所に対応する三次元座標値を事象位置として算出する。   In step S313, the event position calculation unit 515 uses the three-dimensional coordinate values of the selected measurement point to calculate the three-dimensional coordinate value corresponding to the designated part as the event position.

具体的には、事象位置算出部515は、選択した計測点の三次元座標値を示す計測点情報556を以下のように取得する。
計測点パケット533に含まれる三次元点群データ555内の各計測点情報556は計測点識別子を含む。
事象位置算出部515は、各計測点パケット533に含まれる三次元点群データ555から、選択した計測点の計測点識別子を含んだ計測点情報556を選択する。
Specifically, the event position calculation unit 515 acquires measurement point information 556 indicating the three-dimensional coordinate value of the selected measurement point as follows.
Each measurement point information 556 in the three-dimensional point cloud data 555 included in the measurement point packet 533 includes a measurement point identifier.
The event position calculation unit 515 selects measurement point information 556 including the measurement point identifier of the selected measurement point from the three-dimensional point cloud data 555 included in each measurement point packet 533.

1つの計測点が指定箇所に対応する計測点として選択された場合、選択された計測点の三次元座標値が事象位置である。
複数の計測点が指定箇所に対応する計測点として選択された場合、選択された各計測点の三次元座標値を用いて事象位置が算出される。例えば、各計測点の中間に位置する中間点の三次元座標値が事象位置として算出される。
When one measurement point is selected as the measurement point corresponding to the designated part, the three-dimensional coordinate value of the selected measurement point is the event position.
When a plurality of measurement points are selected as measurement points corresponding to the designated part, event positions are calculated using three-dimensional coordinate values of each of the selected measurement points. For example, three-dimensional coordinate values of an intermediate point located in the middle of each measurement point are calculated as the event position.

ステップS314において、監視者502は、事象の種類を識別する種類識別子を入力装置を用いて指定する。
そして、事象位置算出部515は、指定された種類識別子を受け付ける。
In step S314, the observer 502 designates, using the input device, a type identifier for identifying the type of event.
Then, the event position calculation unit 515 receives the designated type identifier.

ステップS315において、事象位置算出部515は、受け付けた種類識別子を用いて事象識別子551を生成する。事象識別子551は、種類識別子と事象の種類別の通し番号とを結合したものである。   In step S315, the event position calculation unit 515 generates an event identifier 551 using the received type identifier. The event identifier 551 is a combination of a type identifier and a serial number for each type of event.

ステップS316において、事象位置算出部515は、事象識別子551と事象位置を示す事象位置情報552とをメモリ903に記憶する。   In step S316, the event position calculation unit 515 stores the event identifier 551 and the event position information 552 indicating the event position in the memory 903.

<実施例2>
図33に基づいて、事象位置算出部515の動作について説明する。
ステップS321において、事象位置算出部515は、車両パケット532に含まれる車両位置情報553を用いて、路面高を算出する。路面高は、計測車両110のタイヤが接地している部分の路面の高さである。
具体的には、事象位置算出部515は、計測車両110の座標中心から計測車両110のタイヤの下端までの高さを車両位置情報553が示す楕円体高から引いて、路面高を算出する。例えば、計測車両110の屋根の中心が座標中心である場合、事象位置算出部515は、タイヤを含めた車高を車両位置情報553が示す楕円体高から引いて、路面高を算出する。
Example 2
The operation of the event position calculation unit 515 will be described based on FIG.
In step S 321, the event position calculation unit 515 calculates the road surface height using the vehicle position information 553 included in the vehicle packet 532. The road surface height is the height of the road surface of the portion where the tire of the measurement vehicle 110 is in contact with the ground.
Specifically, the event position calculation unit 515 calculates the road surface height by subtracting the height from the coordinate center of the measurement vehicle 110 to the lower end of the tire of the measurement vehicle 110 from the ellipsoidal height indicated by the vehicle position information 553. For example, when the center of the roof of the measurement vehicle 110 is the coordinate center, the event position calculation unit 515 calculates the road surface height by subtracting the vehicle height including the tire from the ellipsoid height indicated by the vehicle position information 553.

ステップS322において、事象位置算出部515は、路面高と各計測点の高さとを比較する。
具体的には、事象位置算出部515は、三次元点群データ555に含まれる計測点情報556が示す楕円体高を路面高と比較する。
In step S322, the event position calculation unit 515 compares the road surface height with the height of each measurement point.
Specifically, the event position calculation unit 515 compares the ellipsoid height indicated by the measurement point information 556 included in the three-dimensional point cloud data 555 with the road surface height.

ステップS323において、事象位置算出部515は、比較結果に基づいて、事象に対応する計測点を選択する。
具体的には、事象位置算出部515は、路面高よりも低くて路面高との差が第1の高さ閾値より大きい楕円体高を示す計測点情報556を、道路が陥没している部分に位置する計測点の計測点情報556として選択する。
また、事象位置算出部515は、路面高よりも高くて路面高との差が第2の高さ閾値より大きい楕円体高を示す計測点情報556を、樹木が道路にはみ出ている部分に位置する計測点の計測点情報556として選択する。
In step S323, the event position calculation unit 515 selects a measurement point corresponding to the event based on the comparison result.
Specifically, the event position calculation unit 515 sets measurement point information 556, which indicates an ellipsoidal height lower than the road surface height and whose difference with the road surface height is larger than the first height threshold, to a portion where the road is depressed. It selects as measurement point information 556 of the measurement point to be located.
Further, the event position calculation unit 515 locates measurement point information 556 indicating an ellipsoidal height higher than the road surface height and the difference between the road surface height and the road surface height being larger than the second height threshold at a portion where the tree protrudes from the road. It is selected as measurement point information 556 of the measurement point.

ステップS324において、事象位置算出部515は、選択した計測点に対応する事象を識別する事象識別子551を生成する。   In step S324, the event position calculation unit 515 generates an event identifier 551 identifying an event corresponding to the selected measurement point.

ステップS325において、事象位置算出部515は、事象識別子551と事象位置情報552とをメモリ903に記憶する。事象位置情報552は、選択した計測点の計測点情報556と同じ情報である。   In step S 325, the event position calculation unit 515 stores the event identifier 551 and the event position information 552 in the memory 903. The event position information 552 is the same information as the measurement point information 556 of the selected measurement point.

***実施の形態の効果***
道路監視装置510は、三次元点群データ555を用いて事象位置を算出する。したがって、道路監視装置510は、計測車両110内で事象位置の算出が行われなくても、事象位置を監視者502に知らせることができる。
*** Effect of the embodiment ***
The road monitoring device 510 uses the three-dimensional point cloud data 555 to calculate the event position. Therefore, the road monitoring device 510 can notify the observer 502 of the event position even if the event position is not calculated in the measuring vehicle 110.

各実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。
フローチャート等を用いて説明した手順は、方法およびプログラムの手順の一例である。
Each embodiment is an illustration of a preferred embodiment, and is not intended to limit the technical scope of the present invention. Each embodiment may be implemented partially or in combination with other embodiments.
The procedure described using a flowchart or the like is an example of a method and program procedure.

100 点群画像生成装置、101 測位補強データ、102 測位データ、103 慣性計測データ、104 走行距離データ、105 方位距離データ、110 計測車両、111 測位補強信号受信機、112 測位信号受信機、113 慣性計測装置、114 オドメータ、115 レーザスキャナ、119 天板、121 位置演算部、122 姿勢演算部、123 三次元点群生成部、200 計測データ処理部、201 計測位置データ、202 計測姿勢データ、203 三次元点群データ、204 操作データ、220 位置推定部、229 推定位置データ、230 二次元投影部、231 視点位置算出部、232 二次元投影面算出部、233 点群投影部、234 マーク投影部、235 投影点群データ、236 投影マークデータ、240 事象位置算出部、250 パケット生成部、300 表示装置、301 通信装置、310 点群画像、311 三次元点群、312 計測位置マーク、313 推定位置マーク、320 インタフェース画像、321B 後方ボタン、321D 下方ボタン、321F 前方ボタン、321L 左ボタン、321R 右ボタン、322X 左右ウィジェット、322Y 前後ウィジェット、322Z 上下ウィジェット、323P 仰角ウィジェット、323Y 方位角ウィジェット、329 取消ボタン、401 自車位置、411 基準視点位置、431 視点位置データ、433 二次元投影面データ、500 道路監視システム、501 ネットワーク、502 監視者、503 監視画面、510 道路監視装置、511 受信部、512 地図画像生成部、513 点群画像生成部、514 インタフェース画像生成部、515 事象位置算出部、519 表示装置、520 地図データ、531 事象パケット、532 車両パケット、533 計測点パケット、534 視点パケット、541 ヘッダ、542 車両識別子、543 情報識別子、544 サイズ、545 時刻、551 事象識別子、552 事象位置情報、553 車両位置情報、554 視点情報、555 三次元点群データ、556 計測点情報、559 視線情報、560 地図画像、561 車両図、562 視点図、563 経路図、564 事象図、571 縮尺指定部、572 車両位置表示部、573 視点表示指定部、574 経路消去部、575 手動スクロール指定部、576 車両中心指定部、577 更新指定部、901 プロセッサ、902 補助記憶装置、903 メモリ、904 通信装置、9041 レシーバ、9042 トランスミッタ、905 入力インタフェース、906 出力インタフェース、907 入力装置、908 出力装置、910 信号線、911 ケーブル、912 ケーブル。   100 point group image generation apparatus, 101 positioning reinforcement data, 102 positioning data, 103 inertia measurement data, 104 traveling distance data, 105 azimuth distance data, 110 measurement vehicles, 111 positioning reinforcement signal receivers, 112 positioning signal receivers, 113 inertia Measuring device, 114 odometer, 115 laser scanner, 119 top plate, 121 position calculation unit, 122 attitude calculation unit, 123 three-dimensional point group generation unit, 200 measurement data processing unit, 201 measurement position data, 202 measurement position data, 203 tertiary Original point cloud data, 204 operation data, 220 position estimation unit, 229 estimated position data, 230 two-dimensional projection unit, 231 viewpoint position calculation unit, 232 two-dimensional projection surface calculation unit, 233 point group projection unit, 234 mark projection unit, 235 Projection Point Cloud Data, 236 Projection Mark Data 240 event position calculation unit 250 packet generation unit 300 display device 301 communication device 310 point group image 311 three-dimensional point group 312 measurement position mark 313 estimated position mark 320 interface image 321B backward button 321D lower Button, 321F forward button, 321L left button, 321R right button, 322X right and left widget, 322Y front and back widget, 322Z up and down widget, 323P elevation widget, 323Y azimuth widget, 329 cancel button, 401 own vehicle position, 411 reference viewpoint position, 431 Viewpoint position data, 433 two-dimensional projection plane data, 500 road surveillance system, 501 network, 502 observers, 503 surveillance screen, 510 road surveillance device, 511 reception unit, 512 Map image generator, 513 point cloud image generator, 514 interface image generator, 515 event position calculator, 519 display device, 520 map data, 531 event packet, 532 vehicle packet, 533 measurement point packet, 534 viewpoint packet, 541 Header, 542 vehicle identifier, 543 information identifier, 544 size, 545 time, 551 event identifier, 552 event location information, 553 vehicle location information, 554 viewpoint information, 555 three-dimensional point cloud data, 556 measurement point information, 559 gaze information, 560 map image, 561 vehicle diagram, 562 viewpoint diagram, 563 route diagram, 564 event diagram, 571 scale designation unit, 572 vehicle position display unit, 573 viewpoint display designation unit, 574 route erasure unit, 575 manual scroll designation unit, 576 vehicle Center designation section, 577 Update designation unit, 901 processor, 902 auxiliary storage device, 903 memory, 904 communication device, 9041 receiver, 9042 transmitter, 905 input interface, 906 output interface, 907 input device, 908 output device, 910 signal line, 911 cable, 912 cable .

Claims (16)

道路を走行する車両に搭載される通信装置から送信されるパケットであって前記道路または前記道路の周囲に生じている事象について前記事象が生じている位置を示す事象位置情報を含んだパケットである事象パケットを受信し、前記車両の前記通信装置から送信されるパケットであって前記道路および前記道路の周囲に位置する計測点の位置を示す計測点情報を含んだパケットである計測点パケットを受信する受信部と、
表示装置に表示される画像であって前記事象パケットに含まれる前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象図が付加された地図の画像である地図画像を生成する地図画像生成部と
前記地図画像と共に表示される画像であって前記計測点パケットに含まれる前記計測点情報が示す位置に対応する箇所に計測点が描かれた画像である点群画像を生成し、前記点群画像内の箇所のうち前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象マークを付加する点群画像生成部と
を備える道路監視装置。
A packet transmitted from a communication device mounted on a vehicle traveling on a road, the packet including event position information indicating a position at which the event is occurring for the event occurring on the road or around the road A measurement point packet which is a packet transmitted from the communication device of the vehicle which receives an event packet and which includes measurement point information indicating the position of the road and a measurement point located around the road a receiver for receiving,
A map image which is an image displayed on a display device and which is an image of a map in which an event diagram representing the event is added to a location corresponding to the position indicated by the event position information included in the event packet and a map image generating unit that,
Generating a point group image which is an image displayed together with the map image and in which a measurement point is drawn at a position corresponding to a position indicated by the measurement point information included in the measurement point packet; A road monitoring apparatus comprising: a point cloud image generation unit that adds an event mark representing the event to a location corresponding to the position indicated by the event location information among the locations in the inside .
前記事象マークは、前記事象を識別する事象識別子が複数の箇所に記された側部を有する立体を前記点群画像に投影した図である
請求項に記載の道路監視装置。
The road monitoring device according to claim 1 , wherein the event mark is a diagram in which a solid having side portions in which an event identifier identifying the event is described at a plurality of places is projected onto the point cloud image.
前記事象マークは、前記事象識別子が記された3つの側面を有する三角錐を含んだ立体を前記点群画像に投影した図である
請求項に記載の道路監視装置。
3. The road monitoring device according to claim 2 , wherein the event mark is a diagram in which a solid including a triangular pyramid having three sides on which the event identifier is written is projected onto the point cloud image.
前記事象マークは、2つの三角錐が上下に結合された双三角錐を前記点群画像に投影した図であり、
前記事象マークの上側の三角錐は、前記事象識別子が記された3つの側面を有し、
前記事象マークの下側の三角錐は、前記事象が生じている位置に対応する箇所を指し示す頂部を有する
請求項に記載の道路監視装置。
The event mark is a diagram in which a double triangular pyramid obtained by connecting two triangular pyramids up and down is projected on the point group image,
The triangular pyramid above the event mark has three sides on which the event identifier is written,
4. The road monitoring device according to claim 3 , wherein the triangular pyramid below the event mark has a top pointing to a point corresponding to the position where the event is occurring.
道路を走行する車両に搭載される通信装置から送信されるパケットであって前記道路または前記道路の周囲に生じている事象について前記事象が生じている位置を示す事象位置情報を含んだパケットである事象パケットを受信し、前記車両の前記通信装置から送信されるパケットであって前記道路および前記道路の周囲に位置する計測点の位置を示す計測点情報を含んだパケットである計測点パケットを受信する受信部と、
表示装置に表示される画像であって前記事象パケットに含まれる前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象図が付加された地図の画像である地図画像を生成する地図画像生成部と
前記地図画像と共に表示される画像であって前記計測点パケットに含まれる前記計測点情報が示す位置に対応する箇所に計測点が描かれた画像である点群画像を生成する点群画像生成部とを備え、
前記車両には、指定された視点から指定された視線方向に見える範囲に位置する計測点が描かれた点群画像を表示する表示装置が搭載され、
前記受信部は、前記車両の前記通信装置から送信されるパケットであって前記視点の位置を示す視点情報と前記視線方向を示す視線情報とを含んだパケットである視点パケットを受信し、
前記点群画像生成部は、前記視点パケットに含まれる前記視点情報と前記視線情報とに基づいて、前記車両の前記表示装置に表示される点群画像に相当する画像を、前記地図画像と共に表示される点群画像として生成し、
前記地図画像生成部は、前記地図内の箇所のうち前記視点情報が示す位置に対応する箇所に前記視点を表す視点図を付加する
道路監視装置。
A packet transmitted from a communication device mounted on a vehicle traveling on a road, the packet including event position information indicating a position at which the event is occurring for the event occurring on the road or around the road A measurement point packet which is a packet transmitted from the communication device of the vehicle which receives an event packet and which includes measurement point information indicating the position of the road and a measurement point located around the road a receiver for receiving,
A map image which is an image displayed on a display device and which is an image of a map in which an event diagram representing the event is added to a location corresponding to the position indicated by the event position information included in the event packet and a map image generating unit that,
Point group image generation unit that generates a point group image that is an image displayed together with the map image and in which a measurement point is drawn at a location corresponding to the position indicated by the measurement point information included in the measurement point packet Equipped with
The vehicle is equipped with a display device for displaying a point cloud image on which measurement points located in a range viewed in a specified gaze direction from a designated viewpoint are drawn.
The receiving unit receives a viewpoint packet, which is a packet transmitted from the communication device of the vehicle, and is a packet including viewpoint information indicating the position of the viewpoint and gaze information indicating the gaze direction.
The point group image generation unit displays an image corresponding to a point group image displayed on the display device of the vehicle together with the map image, based on the viewpoint information and the line-of-sight information included in the viewpoint packet. Generate as a point cloud image
The road monitor according to claim 1, wherein the map image generation unit adds a viewpoint view representing the viewpoint to a location in the map corresponding to a position indicated by the viewpoint information .
前記地図画像生成部は、前記地図の縮尺として指定された縮尺が視点用の縮尺閾値より大きい場合には前記視点図を付加するが、指定された前記縮尺が視点用の前記縮尺閾値より小さい場合には前記視点図を付加しない
請求項に記載の道路監視装置。
The map image generation unit adds the viewpoint view when the scale designated as the scale of the map is larger than the scale threshold for the viewpoint, but the specified scale is smaller than the scale threshold for the viewpoint The road monitoring device according to claim 5 , wherein the perspective view is not added to the road surface.
前記点群画像生成部は、前記点群画像内の箇所のうち前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象マークを付加する
請求項6に記載の道路監視装置。
7. The road monitoring device according to claim 6, wherein the point cloud image generation unit adds an event mark representing the event to a location in the point cloud image corresponding to the position indicated by the event location information.
前記事象マークは、前記事象を識別する事象識別子が複数の箇所に記された側部を有する立体を前記点群画像に投影した図である
請求項7に記載の道路監視装置。
The road monitoring device according to claim 7, wherein the event mark is a diagram in which a solid having side portions in which an event identifier identifying the event is described at a plurality of points is projected on the point cloud image.
前記事象マークは、前記事象識別子が記された3つの側面を有する三角錐を含んだ立体を前記点群画像に投影した図である
請求項8に記載の道路監視装置。
9. The road monitoring device according to claim 8, wherein the event mark is a diagram in which a solid including a triangular pyramid having three sides on which the event identifier is written is projected onto the point cloud image.
前記事象マークは、2つの三角錐が上下に結合された双三角錐を前記点群画像に投影した図であり、
前記事象マークの上側の三角錐は、前記事象識別子が記された3つの側面を有し、
前記事象マークの下側の三角錐は、前記事象が生じている位置に対応する箇所を指し示す頂部を有する
請求項9に記載の道路監視装置。
The event mark is a diagram in which a double triangular pyramid obtained by connecting two triangular pyramids up and down is projected on the point group image,
The triangular pyramid above the event mark has three sides on which the event identifier is written,
10. The road monitoring device according to claim 9, wherein the triangular pyramid below the event mark has a top pointing to a point corresponding to the position where the event occurs.
前記受信部は、前記車両の前記通信装置から送信されるパケットであって前記車両の位置を示す車両位置情報を含んだパケットである車両パケットを受信し、
前記地図画像生成部は、前記地図内の箇所のうち前記車両パケットに含まれる前記車両位置情報が示す位置に対応する箇所に前記車両を表す車両図を付加する
請求項1から請求項10のいずれか1項に記載の道路監視装置。
The receiving unit receives a vehicle packet that is a packet transmitted from the communication device of the vehicle and is a packet including vehicle position information indicating the position of the vehicle.
The said map image generation part adds the vehicle figure showing the said vehicle to the location corresponding to the position which the said vehicle positional information included in the said vehicle packet shows among the locations in the said map. Road monitoring device according to any one of the above.
前記受信部は、時刻毎の車両位置情報を含んだ時刻毎の車両パケットを受信し、
前記地図画像生成部は、時刻毎の車両パケットに含まれる時刻毎の車両位置情報に基づいて、前記車両の経路を表す経路図を前記地図に付加する
請求項11に記載の道路監視装置。
The receiving unit receives a vehicle packet for each time including vehicle position information for each time,
The road monitoring device according to claim 11, wherein the map image generation unit adds a route diagram representing a route of the vehicle to the map based on vehicle position information for each time included in a vehicle packet for each time.
前記地図画像生成部は、
前記地図の縮尺として指定された縮尺が経路用の縮尺閾値より大きい場合、時刻毎の車両位置情報が示す位置に対応する箇所に、前記車両が通過した位置を表すマークを前記経路図として付加し、
指定された前記縮尺が経路用の前記縮尺閾値より小さい場合、時刻毎の車両位置情報が示す位置に対応する箇所を通る線を前記経路図として付加する
請求項12に記載の道路監視装置。
The map image generation unit
When the scale designated as the scale of the map is larger than the scale threshold for the route, a mark representing the position where the vehicle has passed is added as the route diagram to the location corresponding to the position indicated by the vehicle position information for each time. ,
The road monitoring device according to claim 12, wherein if the designated scale is smaller than the scale threshold for a route, a line passing through a location corresponding to a position indicated by vehicle position information at each time is added as the route diagram.
前記受信部は、車両毎の車両位置情報を含んだ車両毎の車両パケットを受信し、
前記地図画像生成部は、車両毎の車両パケットに含まれる車両毎の車両位置情報に基づいて、車両毎の車両図を前記地図に付加する
請求項11に記載の道路監視装置。
The receiving unit receives a vehicle packet for each vehicle including vehicle position information for each vehicle,
The road monitoring device according to claim 11, wherein the map image generation unit adds a vehicle diagram of each vehicle to the map based on vehicle position information of each vehicle included in a vehicle packet of each vehicle.
道路を走行する車両に搭載される通信装置から送信されるパケットであって前記道路または前記道路の周囲に生じている事象について前記事象が生じている位置を示す事象位置情報を含んだパケットである事象パケットを受信し、前記車両の前記通信装置から送信されるパケットであって前記道路および前記道路の周囲に位置する計測点の位置を示す計測点情報を含んだパケットである計測点パケットを受信する情報受信処理と、
表示装置に表示される画像であって前記事象パケットに含まれる前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象図が付加された地図の画像である地図画像を生成する地図画像生成処理と
前記地図画像と共に表示される画像であって前記計測点パケットに含まれる前記計測点情報が示す位置に対応する箇所に計測点が描かれた画像である点群画像を生成し、前記点群画像内の箇所のうち前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象マークを付加する点群画像生成処理と
をコンピュータに実行させるための道路監視プログラム。
A packet transmitted from a communication device mounted on a vehicle traveling on a road, the packet including event position information indicating a position at which the event is occurring for the event occurring on the road or around the road A measurement point packet which is a packet transmitted from the communication device of the vehicle which receives an event packet and which includes measurement point information indicating the position of the road and a measurement point located around the road an information receiving process of receiving,
A map image which is an image displayed on a display device and which is an image of a map in which an event diagram representing the event is added to a location corresponding to the position indicated by the event position information included in the event packet Map image generation processing ,
Generating a point group image which is an image displayed together with the map image and in which a measurement point is drawn at a position corresponding to a position indicated by the measurement point information included in the measurement point packet; A road monitoring program for causing a computer to execute a point cloud image generation process of adding an event mark representing the event to a location corresponding to a position indicated by the event location information among locations in the inside .
道路を走行する車両に搭載される通信装置から送信されるパケットであって前記道路または前記道路の周囲に生じている事象について前記事象が生じている位置を示す事象位置情報を含んだパケットである事象パケットを受信し、前記車両の前記通信装置から送信されるパケットであって前記道路および前記道路の周囲に位置する計測点の位置を示す計測点情報を含んだパケットである計測点パケットを受信する情報受信処理と、
表示装置に表示される画像であって前記事象パケットに含まれる前記事象位置情報が示す位置に対応する箇所に前記事象を表す事象図が付加された地図の画像である地図画像を生成する地図画像生成処理と
前記地図画像と共に表示される画像であって前記計測点パケットに含まれる前記計測点情報が示す位置に対応する箇所に計測点が描かれた画像である点群画像を生成する点群画像生成処理と
をコンピュータに実行させるための道路監視プログラムであって、
前記車両には、指定された視点から指定された視線方向に見える範囲に位置する計測点が描かれた点群画像を表示する表示装置が搭載され、
前記情報受信処理は、前記車両の前記通信装置から送信されるパケットであって前記視点の位置を示す視点情報と前記視線方向を示す視線情報とを含んだパケットである視点パケットを受信し、
前記点群画像生成処理は、前記視点パケットに含まれる前記視点情報と前記視線情報とに基づいて、前記車両の前記表示装置に表示される点群画像に相当する画像を、前記地図画像と共に表示される点群画像として生成し、
前記地図画像生成処理は、前記地図内の箇所のうち前記視点情報が示す位置に対応する箇所に前記視点を表す視点図を付加する
道路監視プログラム。
A packet transmitted from a communication device mounted on a vehicle traveling on a road, the packet including event position information indicating a position at which the event is occurring for the event occurring on the road or around the road A measurement point packet which is a packet transmitted from the communication device of the vehicle which receives an event packet and which includes measurement point information indicating the position of the road and a measurement point located around the road an information receiving process of receiving,
A map image which is an image displayed on a display device and which is an image of a map in which an event diagram representing the event is added to a location corresponding to the position indicated by the event position information included in the event packet Map image generation processing ,
Point group image generation processing for generating a point group image that is an image displayed together with the map image and in which a measurement point is drawn at a location corresponding to the position indicated by the measurement point information included in the measurement point packet When
A road surveillance program to make a computer execute
The vehicle is equipped with a display device for displaying a point cloud image on which measurement points located in a range viewed in a specified gaze direction from a designated viewpoint are drawn.
The information receiving process receives a viewpoint packet which is a packet transmitted from the communication device of the vehicle, and is a packet including viewpoint information indicating the position of the viewpoint and gaze information indicating the gaze direction.
The point cloud image generation process displays an image corresponding to a point cloud image displayed on the display device of the vehicle together with the map image based on the viewpoint information and the line-of-sight information included in the viewpoint packet. Generate as a point cloud image
The road monitoring program according to claim 1, wherein the map image generation processing adds a viewpoint view representing the viewpoint to a location in the map corresponding to a position indicated by the viewpoint information .
JP2015210829A 2015-10-27 2015-10-27 Road monitoring device and road monitoring program Expired - Fee Related JP6529420B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015210829A JP6529420B2 (en) 2015-10-27 2015-10-27 Road monitoring device and road monitoring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015210829A JP6529420B2 (en) 2015-10-27 2015-10-27 Road monitoring device and road monitoring program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018237693A Division JP6768051B2 (en) 2018-12-19 2018-12-19 Road monitoring equipment and road monitoring programs

Publications (2)

Publication Number Publication Date
JP2017083619A JP2017083619A (en) 2017-05-18
JP6529420B2 true JP6529420B2 (en) 2019-06-12

Family

ID=58710999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015210829A Expired - Fee Related JP6529420B2 (en) 2015-10-27 2015-10-27 Road monitoring device and road monitoring program

Country Status (1)

Country Link
JP (1) JP6529420B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019103158A1 (en) * 2017-11-27 2019-05-31 パイオニア株式会社 Data structure, information transmission device, information processing device, control method, program, and storage medium
JP7046359B2 (en) * 2018-04-24 2022-04-04 シャロン株式会社 Operation control device and automatic driving device
US20240329222A1 (en) * 2021-10-20 2024-10-03 Nec Corporation Facility inspection display device, information processing device, and non-transitory computer-readable medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3781795B2 (en) * 1995-01-20 2006-05-31 三菱電機株式会社 Mobile navigation device
JP4674187B2 (en) * 2006-06-20 2011-04-20 日立オートモティブシステムズ株式会社 System, information aggregation method, and information aggregation program
JP5376305B2 (en) * 2009-04-25 2013-12-25 学校法人加計学園 Image display method, image display apparatus, and image display program

Also Published As

Publication number Publication date
JP2017083619A (en) 2017-05-18

Similar Documents

Publication Publication Date Title
KR101928689B1 (en) Point-of-Group Image Generator and Display System
CN110967011B (en) Positioning method, device, equipment and storage medium
US11828604B2 (en) Method and apparatus for positioning vehicle, electronic device, and storage medium
US9378558B2 (en) Self-position and self-orientation based on externally received position information, sensor data, and markers
AU2016402225B2 (en) Method and apparatus for augmented reality display on vehicle windscreen
US20150098623A1 (en) Image processing apparatus and method
CN110160545B (en) Enhanced positioning system and method for laser radar and GPS
CN113295174B (en) Lane-level positioning method, related device, equipment and storage medium
JP6529420B2 (en) Road monitoring device and road monitoring program
US12061276B2 (en) Perception data based GNSS multipath identification and correction
JP2011252833A (en) Locating device, locating method and locating program
JP2012242317A (en) Calibration device, calibration method of calibration device, and calibration program
US10152158B2 (en) Information processing apparatus and control method of information processing apparatus
JP2009157591A (en) Three-dimensional data processor, three-dimensional image generation device, navigation device and three-dimensional data processing program
US20200278215A1 (en) Map collection system, map server device, in-vehicle device and map collection method
JP6768051B2 (en) Road monitoring equipment and road monitoring programs
CN112255599B (en) Method, device and equipment for displaying satellite radar wave range on map
US20150051827A1 (en) Tactical differential gps
JP2019148456A (en) Calculation device, self-location calculation method and program
US10896547B1 (en) Systems and methods of augmented reality visualization based on sensor data
US20240296580A1 (en) Virtual reality experience safe area updating method and apparatus
JPH10103975A (en) Portable navigation system
JP2023095252A (en) Point group generation device, point group generation method and point group generation program
KR20120006624A (en) Display method of three dimension map for navigation system
JPH0990015A (en) Gps navigation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R150 Certificate of patent or registration of utility model

Ref document number: 6529420

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees