WO2023067717A1 - 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体 - Google Patents

施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023067717A1
WO2023067717A1 PCT/JP2021/038709 JP2021038709W WO2023067717A1 WO 2023067717 A1 WO2023067717 A1 WO 2023067717A1 JP 2021038709 W JP2021038709 W JP 2021038709W WO 2023067717 A1 WO2023067717 A1 WO 2023067717A1
Authority
WO
WIPO (PCT)
Prior art keywords
trajectory
coordinates
image data
facility
point cloud
Prior art date
Application number
PCT/JP2021/038709
Other languages
English (en)
French (fr)
Inventor
隆輔 今井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/038709 priority Critical patent/WO2023067717A1/ja
Publication of WO2023067717A1 publication Critical patent/WO2023067717A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge

Definitions

  • the present invention relates to a facility inspection display device, an information processing device, a facility inspection display method, and a non-temporary computer-readable medium.
  • Patent Document 1 describes inspection of facilities using point cloud data and image data.
  • LiDAR equipped with a device that detects three-dimensional inertial motion called an IMU (Inertial Measurement Unit).
  • IMU Inertial Measurement Unit
  • position information can be recorded in chronological order.
  • image data still image
  • the deterioration event is linked to the image data corresponding to the deterioration event, and it is desired to improve the visibility of the deterioration event. ing.
  • An object of the present disclosure is to solve such problems.
  • the object is to provide a non-transitory computer-readable medium.
  • a facility inspection display device includes a trajectory display means for displaying a trajectory of coordinates serving as a base point when point cloud data of the facility using the LiDAR is acquired by moving the LiDAR in the facility; point cloud data display means for displaying the point cloud data acquired with the user-specified coordinates at the user-specified position on the trajectory specified by the user on the display means as the base point; and the point cloud data including the deterioration event of the facility.
  • deterioration event display means for causing the locus display means to display deterioration event coordinates serving as the base point when is acquired as deterioration event positions.
  • the information processing apparatus includes a trajectory of coordinates serving as a base point when acquiring point cloud data of the facility using the LiDAR by moving the LiDAR in the facility, and a plurality of the trajectory information holding means for holding trajectory information including each coordinate of a base point and each time when the LiDAR passed through each of the coordinates; each point cloud data acquired with each of the coordinates as the base point; point cloud data information holding means for holding point cloud data information including each time at which the LiDAR passed each of the coordinates serving as the base point when the point cloud data was acquired; and the trajectory information and the point cloud data.
  • a deterioration event coordinate extracting means for extracting deterioration event coordinates serving as the base point when the point group data including the deterioration event of the facility is acquired from the information.
  • the facility inspection display program includes a step of displaying, on a trajectory display means, a trajectory of coordinates serving as a base point when point cloud data of the facility using the LiDAR is acquired by moving the LiDAR in the facility.
  • a step of displaying on the point cloud data display means the point cloud data acquired with the user-specified coordinates at the user-specified position on the trajectory specified by the user in the trajectory display means as the base point; and causing a computer to display, as a deterioration event position, the deterioration event coordinates, which are the base points when the point cloud data containing the points are acquired, on the trajectory display means.
  • a facility inspection display device an information processing device, a facility inspection display method, and a non-temporary computer-readable medium that can improve visibility in displaying the location of a deterioration event.
  • FIG. 1 is a configuration diagram illustrating a facility inspection system according to Embodiment 1;
  • FIG. 1 is a block diagram illustrating an information processing device according to a first embodiment;
  • FIG. 2 is a plan view illustrating a display screen of the facility inspection display device according to Embodiment 1.
  • FIG. 1 is a flow chart diagram illustrating a facility inspection method according to Embodiment 1.
  • FIG. 4 is a flow chart diagram illustrating a facility inspection display method according to the first embodiment;
  • FIG. 11 is a plan view illustrating a display screen of the facility inspection display device according to Embodiment 2;
  • FIG. 11 is a flow chart diagram illustrating a facility inspection display method according to the second embodiment;
  • FIG. 11 is a block diagram illustrating an information processing device according to a second embodiment;
  • Embodiment 1 A facility inspection system according to Embodiment 1 will be described.
  • the facility inspection system of this embodiment inspects a facility using point cloud data of the facility and image data of the facility.
  • the facility is, for example, a headrace in a hydroelectric power plant, but is not limited to this, and if it is possible to acquire point cloud data and image data, the facility is limited to a substation of a power plant, a road tunnel, etc. do not.
  • FIG. 1 is a configuration diagram illustrating a facility inspection system according to Embodiment 1.
  • the facility inspection system 1 includes an inertial motion detection device 10, a point cloud data acquisition device 20, an image data acquisition device 30, a moving body 40, a moving body 41, an information processing device 50, and a facility inspection display.
  • a device 100 is provided.
  • the inertial motion detection device 10, the point cloud data acquisition device 20, the image data acquisition device 30, the moving body 40, the moving body 41, the information processing device 50, and the facility inspection display device 100 are respectively inertial motion detection means and point cloud It has functions as data acquisition means, image data acquisition means, moving means, moving means, information processing means, and facility inspection display means. Each configuration will be described below.
  • the inertial motion detector 10 detects inertial motion.
  • the inertial motion detector 10 is, for example, an IMU.
  • the inertial motion detection device 10 is not limited to an IMU as long as it is a device that detects inertial motion, and may be a device that detects inertial motion as conceived by those skilled in the art.
  • an IMU is used as an example of the inertial motion detection device 10 for explanation.
  • the IMU is mounted on the moving body 40 together with the point cloud data acquisition device 20.
  • the IMU acquires the trajectory 11 of the moving body 40 moving through the facility 60 . Since the moving object 40 is also equipped with the point cloud data acquisition device 20 , the IMU acquires the locus 11 of the coordinates that serve as the base point when acquiring the point cloud data of the facility 60 . Also, the IMU acquires coordinates of a plurality of base points forming the trajectory 11 . Furthermore, the IMU acquires the time when each coordinate of the plurality of base points forming the trajectory 11 is passed by using a timer.
  • the coordinates that make up the trajectory 11 continue continuously along the trajectory 11.
  • the coordinates P1 and P2 will be described as an example.
  • Coordinates P1 and P2 forming the trajectory 11 are associated with times t1 and t2 at which the IMU passes through the coordinates P1 and P2.
  • the trajectory 11 acquired by the IMU, each coordinate constituting the trajectory 11, and each time at which the IMU passed each coordinate are called trajectory information. That is, the trajectory information includes the trajectory 11 of the coordinates that are the base points when the point cloud data of the facility 60 is acquired, the coordinates of the plurality of base points that make up the trajectory 11, and the times when the IMU passes through each coordinate. .
  • the IMU outputs the acquired trajectory information to the information processing device 50 .
  • the IMU may output the trajectory information to the information processing device 50 via a wireless or wired communication line, or may output the trajectory information to the information processing device 50 via a storage medium.
  • the point cloud data acquisition device 20 acquires point cloud data.
  • the point cloud data acquisition device 20 is, for example, LiDAR.
  • the point cloud data acquisition device 20 is not limited to LiDAR, and may be a device that acquires point cloud data as conceived by those skilled in the art, as long as it is a device that acquires point cloud data.
  • LiDAR is used as an example of the point cloud data acquisition device 20 .
  • the LiDAR is mounted on the mobile object 40 together with the IMU.
  • LiDAR acquires point cloud data of facility 60 .
  • the LiDAR acquires the point cloud data of the facility 60 from the coordinates of the base point, and moves the coordinates of the base point by the moving body 40 . Therefore, the coordinates, which are the base points when the point cloud data of the facility 60 are acquired, form the trajectory 11 .
  • This trajectory 11 is acquired by the IMU.
  • LiDAR acquires each point cloud data with each coordinate included in the trajectory 11 as a base point.
  • the LiDAR acquires each time when the LiDAR passes each coordinate.
  • Each coordinate forming the trajectory 11 is associated with each time when the LiDAR passes through each coordinate.
  • each point cloud data acquired with each coordinate constituting the trajectory 11 as a base point is associated with each time when the LiDAR passes each coordinate.
  • coordinates P1 and P2 will be described as an example. Coordinates P1 and P2 forming the trajectory 11 are associated with times t1 and t2 at which the LiDAR passes through the coordinates P1 and P2. Also, each of the point cloud data G1 and G2 acquired with the coordinates P1 and P2 forming the trajectory 11 as base points are associated with the times t1 and t2 at which the LiDAR passes the coordinates P1 and P2.
  • Each point cloud data acquired by LiDAR and each time when LiDAR passes through each coordinate that is the base point of each point cloud data are referred to as point cloud data information. That is, the point cloud data information includes each point cloud data acquired with each coordinate as a base point, and each time when the LiDAR passed through each coordinate serving as a base point when each point cloud data was acquired.
  • the LiDAR outputs the acquired point cloud data information to the information processing device 50.
  • the LiDAR may output the point cloud data information to the information processing device 50 via a wireless or wired communication line, or may output the point cloud data information to the information processing device 50 via a storage medium.
  • the image data acquisition device 30 acquires image data.
  • the image data acquisition device 30 is, for example, a camera.
  • the image data acquisition device 30 is not limited to a camera as long as it is a device that acquires image data, and may be a device that acquires image data as conceived by those skilled in the art. In the following, a camera will be used as an example of the image data acquisition device 30 for explanation.
  • the image data be a still image.
  • the facility 60 will be inspected for a long time, such as a water conduit, moving images require a large-capacity battery and storage device. Therefore, the weight and size of the equipment make inspection of facility 60 difficult.
  • the image data may include, for example, fragmentary moving images of several seconds.
  • a still image is used as an example of image data.
  • the camera is moved by the moving body 41.
  • the moving body 41 is, for example, a person such as a worker.
  • the mobile body 41 is not limited to a person such as a worker, and may be a device similar to the mobile body 40 and separate from the mobile body 40 .
  • the moving body 41 and the moving body 40 do not exclude moving together.
  • the camera moves through the facility 60 along with the IMU and LiDAR.
  • the camera captures the deterioration event of the facility 60 based on visual observation by the worker and past inspection information.
  • Degradation events include, for example, wall cracks, wall delamination, water leaks from walls, and the like.
  • the deterioration event is not limited to the deterioration of the wall surface, and may be the deterioration of the facility as conceived by those skilled in the art.
  • the camera may acquire the direction from the coordinates, which are the reference point for photographing the deterioration event, to the deterioration event.
  • the camera has a timer.
  • the timer is interlocked with the start of point cloud data acquisition by LiDAR.
  • the camera acquires the timer time when acquiring image data.
  • the image data is associated with the time when the camera captured the image data.
  • coordinates P1 and P2 will be described as an example. Coordinates P1 and P2 forming the trajectory 11 are associated with times t1 and t2 at which the LiDAR passes through the coordinates P1 and P2.
  • the camera captures image data H1 at time t1. Then, the image data H1 is associated with the time t1. Accordingly, the image data H1 is associated with the coordinates P1 on the trajectory 11 associated with the time t1 by the information processing device 50, which will be described later.
  • the image data acquired by the camera and the time when the image data was captured are called image data information. That is, the image data information includes image data obtained by photographing the facility 60 and the time when the image data was photographed.
  • the camera outputs the acquired image data information to the information processing device 50 .
  • the camera may output image data information to the information processing device 50 via a wireless or wired communication line, or may output image data information to the information processing device 50 via a storage medium.
  • Mobile bodies 40 and 41 move in facility 60 .
  • the moving objects 40 and 41 are, for example, mobile robots, drones, vehicles, workers, and the like. Note that the moving bodies 40 and 41 are not limited to these as long as they are equipped with an IMU, a LiDAR, and a camera, and can move within the facility 60, and may be anything conceived by those skilled in the art.
  • the moving body 40 may be equipped with an IMU and LiDAR, and the moving body 41 may be equipped with a camera.
  • the mobile body 41 is, for example, a worker. It should be noted that the moving bodies 40 and 41 do not exclude moving the IMU, LiDAR and camera together.
  • FIG. 2 is a block diagram illustrating an information processing apparatus according to the first embodiment;
  • the information processing device 50 includes a trajectory information storage unit 51, a point cloud data information storage unit 52, an image data information storage unit 53, a deterioration event coordinate extraction unit 54, and a distinction extraction unit 55.
  • the locus information holding unit 51, the point cloud data information holding unit 52, the image data information holding unit 53, the deterioration event coordinate extracting unit 54, and the distinction extracting unit 55 are respectively locus information holding means, point cloud data information holding means, It has functions as image data information holding means, deterioration event coordinate extraction means, and distinction extraction means.
  • the information processing device 50 may be configured with hardware including a microcomputer consisting of, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an interface section (I/F), etc. good.
  • the CPU performs holding processing, extraction processing, control processing, and the like.
  • the ROM stores a retention program, an extraction program, a control program, etc., which are executed by the CPU.
  • the RAM stores various data such as trajectory information, point cloud data information and image data information.
  • An interface unit (I/F) performs input/output of signals with the outside.
  • the interface unit may include an input device such as a keyboard, touch panel, or mouse, and may include an output device such as a display or speaker.
  • the interface unit accepts a data input operation by a user and outputs information to the user.
  • the CPU, ROM, RAM and interface section are interconnected via a data bus or the like.
  • the trajectory information holding unit 51 holds trajectory information output from the IMU.
  • the trajectory information includes the trajectory 11 of the coordinates that are the base points when the point cloud data of the facility 60 using LiDAR is acquired by moving the LiDAR in the facility 60, the coordinates of a plurality of base points that make up the trajectory 11, and It contains each time that the LiDAR passed each coordinate.
  • the trajectory information holding unit 51 may hold each coordinate forming the trajectory 11 in association with each time when the LiDAR passes each coordinate.
  • the point cloud data information holding unit 52 holds the point cloud data information output from the LiDAR.
  • the point cloud data information includes each point cloud data acquired with each coordinate constituting the trajectory 11 as a base point, and each time when the LiDAR passed through each coordinate serving as a base point when each point cloud data was acquired. I'm in.
  • the point cloud data information holding unit 52 may hold each point cloud data acquired with each coordinate constituting the trajectory 11 as a base point in association with each time when the LiDAR passes through each coordinate.
  • the image data information holding unit 53 holds image data information output from the camera.
  • the image data information includes image data obtained by photographing the facility 60 and the time when the image data was acquired.
  • the image data information holding unit 53 may hold the image data in association with coordinates on the trajectory 11 that are associated with the same time as the time when the image was captured.
  • the deterioration event coordinate extraction unit 54 analyzes the deterioration event of the facility 60 from the trajectory information and the point cloud data information.
  • the deterioration event coordinate extraction unit 54 may analyze the deterioration event using past inspection results. For example, the deterioration event coordinate extraction unit 54 may compare the past point cloud data of the facility 60 and the current point cloud data, and analyze the deterioration event from the changed part. Further, the deterioration event coordinate extraction unit 54 may compare the design data of the facility 60 and the current point cloud data, and analyze the deterioration event from the changed portion.
  • the deterioration event coordinate extraction unit 54 extracts deterioration event coordinates that serve as a base point when point cloud data including the deterioration event of the facility 60 is obtained from the trajectory information and the point cloud data information.
  • the deterioration event coordinate extraction unit 54 may cause the trajectory information holding unit 51 to hold the extracted deterioration event coordinates.
  • the distinguishing extraction unit 55 distinguishes and extracts deterioration event coordinates according to the presence or absence of image data linked to the extracted deterioration event coordinates. Specifically, the distinction extraction unit 55 determines whether image data is associated with each deterioration event coordinate. Then, the deterioration event coordinates associated with the image data and the deterioration event coordinates not associated with the image data are extracted separately.
  • the information processing device 50 outputs the acquired trajectory information, point cloud data information, image data information, and deterioration event coordinates to the facility inspection display device 100 .
  • the information processing device 50 may output these pieces of information to the facility inspection display device 100 via a wireless or wired communication line, or may output these pieces of information to the facility inspection display device 100 via a storage medium. good too.
  • ⁇ Facility inspection display device> 3 is a plan view illustrating a display screen of the facility inspection display device according to Embodiment 1.
  • the facility inspection display device 100 includes a trajectory display section 110, a point cloud data display section 120, an image data display section 130, a deterioration event display section 140, a coordinate display section 150, and a distinction display section 160.
  • the trajectory display unit 110, the point cloud data display unit 120, the image data display unit 130, the deterioration event display unit 140, the coordinate display unit 150, and the distinction display unit 160 are respectively a trajectory display means, a point cloud data display means, and an image data display. means, deterioration event display means, coordinate display means, and distinction display means.
  • the facility inspection display device 100 is a user interface, for example, hardware including a microcomputer consisting of a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an interface section (I/F), etc. It may be composed of hardware.
  • the CPU performs display processing, control processing, and the like.
  • the ROM stores display programs, control programs, and the like executed by the CPU.
  • the RAM stores various data such as trajectory information, point cloud data information and image data information.
  • An interface unit (I/F) performs input/output of signals with the outside.
  • the interface unit may include an input device such as a keyboard, touch panel, or mouse, and may include an output device such as a display or speaker.
  • the interface unit accepts a data input operation by a user and outputs information to the user.
  • the CPU, ROM, RAM and interface section are interconnected via a data bus or the like.
  • the trajectory display unit 110 displays the trajectory 11 of the coordinates that are the base points when the point cloud data of the facility 60 using LiDAR is acquired by moving the LiDAR in the facility 60 .
  • the trajectory display unit 110 displays, for example, the trajectory 11 viewed from one direction using lines.
  • the trajectory display unit 110 may display the trajectory 11 viewed from the side of the water conduit using a line, or may display the trajectory 11 viewed from above the water conduit using a line. .
  • Each coordinate forming the trajectory 11 is associated with each time when the LiDAR passes through each coordinate.
  • the point cloud data display unit 120 displays the point cloud data G1 acquired with the user-specified coordinates at the user-specified position 12 on the trajectory 11 specified by the user in the trajectory display unit 110 as the base point.
  • the positions may be indicated, for example, as vertical lines intersecting the coordinates on the trajectory 11 .
  • the user-specified position 12 may be indicated by, for example, a vertical line that intersects the user-specified coordinates on the trajectory 11 in the trajectory display section 110 .
  • the user may select coordinates on the locus 11 using the touch panel function on the locus display unit 110, or may select coordinates on the locus 11 using the pointer function of the mouse. good too.
  • Each piece of point cloud data acquired with each coordinate forming the trajectory 11 as a base point is associated with each time when the LiDAR passes each coordinate.
  • the image data display unit 130 displays image data of the facility 60 photographed.
  • the image data is associated with coordinates on the trajectory 11 associated with the same time as the acquisition time.
  • the image data display unit 130 displays the image data linked to the user-designated coordinates. display.
  • the deterioration event display unit 140 causes the trajectory display unit 110 to display the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility 60 is acquired, as the deterioration event position 13 .
  • the deterioration event position 13 may be shown in the trajectory display section 110 as a vertical line that intersects the deterioration event coordinates on the trajectory 11 .
  • the coordinate display unit 150 displays the coordinates that serve as the base point when the point cloud data is acquired.
  • the coordinate display unit 150 displays deterioration event coordinates.
  • the coordinate display section 150 displays the deterioration event coordinates.
  • image data is associated with the deterioration event coordinates of the user-designated position 12
  • the image data display unit 130 displays the image data associated with the deterioration event coordinates. Therefore, the coordinates displayed by the coordinate display unit 150 can also be said to be coordinates that serve as a base point when image data is acquired.
  • the coordinate display unit 150 may display at least one of the direction from the deterioration event coordinates to the deterioration event and the time when the LiDAR passed the deterioration event coordinates.
  • the distinguishing display unit 160 distinguishes and displays the deterioration event positions 13 according to the presence or absence of image data linked to the deterioration event coordinates. Specifically, for example, the distinguishing display unit 160 indicates the deterioration event position 13 including the deterioration event coordinates with which the image data is linked by a solid line, and the deterioration event position 14 including the deterioration event coordinates with which the image data is not linked. indicated by a dotted line. Thereby, the distinguishable display unit 160 distinguishes between the deterioration event positions 13 and 14 and displays them.
  • FIG. 4 is a flow chart illustrating the facility inspection method according to the first embodiment. As shown in FIG. 4, steps S11 to S14 are operations in a facility 60 such as a water conduit. Steps S15 to S19 are operations in an office or the like in which the information processing device 50 and the facility inspection display device 100 are arranged.
  • step S11 at facility 60, LiDAR and IMU measurements are started. Accordingly, the facility 60 is inspected using the LiDAR and the IMU, and the point cloud data and trajectory data of the facility 60 are acquired.
  • step S12 in the facility 60, the timer of the camera is activated in synchronization with the start of measurement by the LiDAR and IMU.
  • step S13 the deterioration event of the facility 60 is confirmed. Specifically, the location of the deterioration event in the facility 60 is confirmed based on the operator's visual observation and past inspection results.
  • step S14 the deterioration event of the facility 60 is photographed, and the timer at the time of photographing is recorded. Specifically, the worker or the moving body 41 photographs the deterioration event of the facility 60 with a camera and acquires the image data. Then, the time information of the timer is recorded when the image data is acquired. In this way, the point cloud data information, trajectory information and image data information of the facility 60 are acquired.
  • data is output as shown in steps S15 and S16. Specifically, after the facility 60 is inspected, the point cloud data and the trajectory data acquired by the LiDAR and the IMU are output to the information processing device 50 . Also, the image data obtained by the camera is output to the information processing device 50 .
  • the trajectory information holding unit 51 holds the trajectory information output from the IMU.
  • the trajectory information holding unit 51 may hold each coordinate forming the trajectory 11 in association with each time when the LiDAR passes each coordinate.
  • the point cloud data information holding unit 52 holds the point cloud data information output from the LiDAR.
  • the point cloud data information holding unit 52 may hold each point cloud data acquired with each coordinate constituting the trajectory 11 as a base point in association with each time when the LiDAR passes through each coordinate.
  • the image data information holding unit 53 holds image data information output from the camera.
  • the image data information holding unit 53 may hold the image data in association with coordinates on the trajectory 11 that are associated with the same time as the time when the image was captured.
  • the data is analyzed as shown in step S18.
  • the deterioration event coordinate extraction unit 54 analyzes the deterioration event of the facility 60 from the trajectory information and the point cloud data information. Then, the deterioration event coordinate extraction unit 54 extracts deterioration event coordinates that serve as a base point when point cloud data including the deterioration event of the facility 60 is obtained from the trajectory information and the point cloud data information. The deterioration event coordinate extraction unit 54 may cause the trajectory information holding unit 51 to hold the extracted deterioration event coordinates.
  • the distinguishing extraction unit 55 distinguishes and extracts deterioration event coordinates according to the presence or absence of image data linked to the extracted deterioration event coordinates. Specifically, the distinction extraction unit 55 determines whether image data is associated with each deterioration event coordinate. Then, the deterioration event coordinates associated with the image data and the deterioration event coordinates not associated with the image data are extracted separately.
  • step S19 the held data and the analyzed data are output to the facility inspection display device 100.
  • the information processing device 50 outputs trajectory information, point cloud data information, image data information, deterioration event coordinates, and the like to the facility inspection display device 100 .
  • FIG. 5 is a flowchart illustrating a facility inspection display method according to the first embodiment.
  • the trajectory 11 is displayed on the trajectory display section 110.
  • the point cloud data is displayed on the point cloud data display unit 120 as shown in step S120.
  • the point cloud data display unit 120 is caused to display the point cloud data acquired with the user-specified coordinates at the user-specified position 12 on the trajectory 11 specified by the user in the trajectory display unit 110 as the base point.
  • the image data is displayed on the image data display unit 130 as shown in step S130.
  • image data obtained by photographing the facility 60 is displayed on the image data display unit 130 .
  • each coordinate constituting the trajectory 11 is associated with each time when the LiDAR passes each coordinate.
  • each point cloud data acquired with each coordinate constituting the trajectory 11 as a base point is associated with each time when the LiDAR passes each coordinate.
  • the image data is associated with the coordinates on the trajectory 11 associated with the same time as the time when the image data was acquired. Therefore, when there is image data associated with the user-specified coordinates, the image data display unit 130 is caused to display the image data.
  • step S140 the deterioration event position 13 is displayed on the trajectory display unit 110.
  • the trajectory display unit 110 is caused to display the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility 60 are acquired, as the deterioration event position.
  • the coordinates on the trajectory 11 are displayed on the coordinate display unit 150.
  • the coordinate display unit 150 is caused to display the coordinates of the base point when the point cloud data is acquired.
  • the coordinate display unit 150 may display deterioration event coordinates that serve as a base point when the point cloud data including the deterioration event of the facility 60 is acquired.
  • the coordinate display unit 150 may display deterioration event coordinates that serve as a base point when the point cloud data including the deterioration event of the facility 60 is acquired.
  • at least one of the direction from the deterioration event coordinates to the deterioration event and the time when the LiDAR passed the deterioration event coordinates may be displayed on the coordinate display unit 150 .
  • step S160 it is determined whether image data is associated with each deterioration event coordinate. If the determination in step S160 is YES that image data is associated with each deterioration event coordinate, the process ends. On the other hand, if NO in step S160 that image data is not associated with each deterioration event coordinate, as shown in step S170, the deterioration event positions 13 and 14 are distinguished by the presence or absence of image data, and the trajectory display section 110 to display. Specifically, when there is image data linked to the deterioration event coordinates, the distinguishing display unit 160 indicates the deterioration event position 13 with a solid vertical line, and there is no image data linked to the deterioration event coordinates. , the degradation event location 14 is indicated by a dashed vertical line. In this manner, the distinguishing display section 160 distinguishes between the deterioration event positions 13 and 14 depending on the presence or absence of image data. Then, the process ends.
  • the effects of this embodiment will be described.
  • the trajectory of the coordinates serving as the base point when acquiring the point cloud data of the facility 60 is acquired. Therefore, the point cloud data can be linked to the coordinates and the time, and the accuracy of the position in the point cloud data of the facility 60 can be improved.
  • image data of the facility 60 is acquired using a timer synchronized with LiDAR and IMU detection. Therefore, the image data can be linked to the time and coordinates, and the accuracy of the position in the image data of the facility 60 can be improved.
  • the trajectory data acquired by the IMU is used for synchronizing the point cloud data and the image data. Therefore, the point cloud data and the image data can be linked, and the deterioration event coordinates and the image data can be linked.
  • the trajectory display unit 110 displays the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility 60 is acquired, as the deterioration event position.
  • the deterioration event coordinates may be displayed on the coordinate display unit 150 .
  • the coordinate display unit 150 may display at least one of the direction from the deterioration event coordinates to the deterioration event and the time when the LiDAR passed the deterioration event coordinates. This can improve visibility in displaying the position of the deterioration event.
  • the deterioration event positions 13 and 14 are displayed on the trajectory display unit 110 by distinguishing them according to the presence or absence of image data linked to the deterioration event coordinates. Therefore, it is possible to display deterioration event coordinates that do not have corresponding image data.
  • FIG. 6 is a plan view exemplifying the display screen of the facility inspection display device according to the second embodiment.
  • the facility inspection display device 200 includes a trajectory display section 110 , a point cloud data display section 120 and a deterioration event display section 140 .
  • the trajectory display unit 110 displays the trajectory of the coordinates that are the base points when the point cloud data of the facility 60 using LiDAR is acquired by moving the LiDAR in the facility 60 .
  • the point cloud data display unit 120 displays the point cloud data G1 acquired with the user-specified coordinates at the user-specified position 12 on the trajectory 11 specified by the user in the trajectory display unit 110 as the base point.
  • the deterioration event display unit 140 causes the trajectory display unit 110 to display the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility 60 is acquired, as the deterioration event position 13 .
  • FIG. 7 is a flowchart illustrating a facility inspection display method according to the second embodiment.
  • the trajectory 11 is displayed on the trajectory display section 110.
  • the point cloud data is displayed on the point cloud data display unit 120 as shown in step S220.
  • the point cloud data display unit 120 is caused to display the point cloud data acquired with the user-specified coordinates at the user-specified position 12 on the trajectory 11 specified by the user in the trajectory display unit 110 as the base point.
  • the trajectory display unit 110 is caused to display the deterioration event position 13. Specifically, the trajectory display unit 110 is caused to display the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility 60 are acquired, as the deterioration event position.
  • FIG. 8 is a block diagram illustrating an information processing device according to the second embodiment.
  • the information processing device 70 includes a trajectory information storage unit 51 , a point cloud data information storage unit 52 and a deterioration event coordinate extraction unit 54 .
  • the trajectory information holding unit 51 stores the trajectory 11 of the coordinates that are the base points when the point cloud data of the facility 60 using the LiDAR is acquired by moving the LiDAR in the facility 60, and the coordinates of a plurality of base points that make up the trajectory 11. , and trajectory information including each time at which the LiDAR passed each coordinate.
  • the point cloud data information holding unit 52 stores each point cloud data acquired with each coordinate as a base point, and a point cloud including each time when the LiDAR passed through each coordinate serving as a base point when each point cloud data was acquired. Hold data information.
  • the deterioration event coordinate extraction unit 54 extracts deterioration event coordinates that serve as base points when point cloud data including the deterioration event of the facility 60 is obtained from the trajectory information and the point cloud data information.
  • Embodiments 1 and 2 Although the present invention has been described with reference to Embodiments 1 and 2, the present invention is not limited to Embodiments 1 and 2 above. Various changes can be made to the configuration and details of the present invention within the scope of the present invention that a person skilled in the art can understand. For example, an embodiment in which each configuration of Embodiments 1 and 2 is combined is also included in the scope of the technical idea.
  • the technical scope of the first and second embodiments also includes a facility inspection display program that causes a computer to execute the facility inspection display methods of the first and second embodiments.
  • a trajectory display means for displaying a trajectory of coordinates serving as base points when point cloud data of the facility using the LiDAR is acquired by moving the LiDAR in the facility;
  • Point cloud data display means for displaying the point cloud data acquired with the user-specified coordinates at the user-specified position on the trajectory specified by the user in the trajectory display means as the base point;
  • deterioration event display means for displaying, as a deterioration event position, the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility were obtained, on the trajectory display means; facility inspection display device.
  • Appendix 2 further comprising coordinate display means for displaying the coordinates of the base point when the point cloud data was acquired; the coordinate display means displays the deterioration event coordinates;
  • the facility inspection display device according to appendix 1. (Appendix 3) The coordinate display means displays at least one of a direction from the deterioration event coordinates to the deterioration event and a time when the LiDAR passes the deterioration event coordinates.
  • the facility inspection display device according to appendix 2.
  • Appendix 4 further comprising image data display means for displaying image data obtained by photographing the facility; Each coordinate constituting the trajectory is linked to each time when the LiDAR passes through each coordinate, Each point cloud data acquired with each coordinate constituting the trajectory as the base point is linked to each time when the LiDAR passes through each coordinate, The image data is associated with the coordinates on the trajectory associated with the same time as the acquired time, When there is the image data linked to the user-designated coordinates, the image data display means displays the image data.
  • the facility inspection display device according to any one of Appendices 1 to 3.
  • Point cloud data information including each point cloud data acquired with each coordinate as the base point, and each time at which the LiDAR passed through each coordinate serving as the base point when each point cloud data was acquired
  • the trajectory information holding means holds each of the coordinates forming the trajectory in association with each of the times when the LiDAR passes through each of
  • the information processing device according to appendix 6. (Appendix 8) further comprising distinguishing extraction means for distinguishing and extracting the deterioration event coordinates according to the presence or absence of the image data linked to the extracted deterioration event coordinates, The information processing device according to appendix 7.
  • (Appendix 9) a step of displaying, on a trajectory display means, a trajectory of coordinates serving as base points when point cloud data of the facility using the LiDAR is acquired by moving the LiDAR in the facility; a step of displaying, on the point cloud data display means, the point cloud data acquired using the user-specified coordinates at the user-specified position on the trajectory specified by the user in the trajectory display means as the base point; a step of displaying, as a deterioration event position, the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility is acquired, on the trajectory display means; facility inspection display method.
  • Appendix 10 further comprising the step of displaying on a coordinate display means the coordinates of the base point when the point cloud data was acquired; causing the coordinate display means to display the deterioration event coordinates on the coordinate display means;
  • the facility inspection display method described in appendix 9. (Appendix 11) causing the coordinate display means to display at least one of a direction from the deterioration event coordinates to the deterioration event and a time at which the LiDAR passed through the deterioration event coordinates on the coordinate display means;
  • Appendix 12 further comprising the step of displaying image data obtained by photographing the facility on an image data display means;
  • Each coordinate constituting the trajectory is linked to each time when the LiDAR passes through each coordinate,
  • Each point cloud data acquired with each coordinate constituting the trajectory as the base point is linked to each time when the LiDAR passes through each coordinate,
  • the image data is associated with the coordinates on the trajectory associated with the same time as the acquired time, causing the image data display means to display the image data when there is the image data linked to the user-designated coordinates;
  • the facility inspection display method according to any one of Appendices 9 to 11.
  • Appendix 13 further comprising a step of distinguishing the deterioration event position based on the presence or absence of the image data linked to the deterioration event coordinates and displaying it on the trajectory display means;
  • (Appendix 14) a step of displaying, on a trajectory display means, a trajectory of coordinates serving as base points when point cloud data of the facility using the LiDAR is acquired by moving the LiDAR in the facility; a step of displaying, on the point cloud data display means, the point cloud data acquired using the user-specified coordinates at the user-specified position on the trajectory specified by the user in the trajectory display means as the base point; a step of displaying, as a deterioration event position, the deterioration event coordinates, which are the base points when the point cloud data including the deterioration event of the facility is acquired, on the trajectory display means;
  • a non-transitory computer-readable medium storing a facility inspection display program that causes a computer to execute (Appendix 15) further comprising the step of displaying on a coordinate display means the coordinates of the base point when the point cloud data was acquired; causing the coordinate display means to display the deterioration event coordinates on the coordinate display means; 15.
  • a non-transitory computer-readable medium storing the facility inspection display program according to any one of appendices 14 to 16, which causes a computer to execute the above.
  • Appendix 18 18.
  • Temporary computer readable medium is stored.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be delivered to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.

Abstract

施設点検表示装置（１００）は、施設（６０）においてＬｉＤＡＲを移動させることによりＬｉＤＡＲを用いた施設（６０）の点群データを取得した際の基点となる座標の軌跡（１１）を表示する軌跡表示部（１１０）と、軌跡表示部（１１０）においてユーザによって指定された軌跡（１１）上のユーザ指定位置（１２）におけるユーザ指定座標を基点として取得された点群データを表示する点群データ表示部（１２０）と、施設（６０）の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置（１３）として軌跡表示部（１１０）に表示させる劣化事象表示部（１４０）と、を備える。

Description

施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体
　本発明は、施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体に関する。
　水力発電所にある導水路の点検を目的として、ロボットやドローン等の移動体を用いる技術が知られている。また、導水路に発生したひび割れ等をＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）で取得した点群データから検知する劣化事象点検ソルーションも検討されている。
　ＬｉＤＡＲで取得した点群データの粒度が粗い場合には、劣化事象の大きさや種別の判別が難しいため、カメラで撮影した動画もしくは静止画等の画像データによる確認を併用する必要がある。しかし、動画撮影の場合、長時間の点検が想定される導水路では、大容量のバッテリやストレージが必要となるため、機材の重量やサイズが増大し、導水路内への搬入が困難となる。
　特許文献１には、点群データ及び画像データを用いて施設を点検することが記載されている。
特開２０２１－０１５５７２号公報
　特許文献１の表示方法では、点群データと画像データ（静止画）とを位置同期することが難しい。特に、点群データに含まれる劣化事象の座標と画像データを紐づけることが困難である。
　ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）と呼ばれる３次元の慣性運動を検出する装置が搭載されたＬｉＤＡＲがあり、この場合には、点群データ取得時の位置情報（軌跡データ）を時系列で記録することができる。ＩＭＵを用いることにより、点群データと画像データ（静止画）とを位置同期させ、劣化事象と、劣化事象に対応する画像データとを紐づけ、劣化事象の視認性を向上させることが所望されている。
　また、目視や過去の点検結果に基づき劣化事象の場所を特定する場合、劣化事象に対応する画像データに漏れが発生する可能性がある。画像データの漏れが発生した劣化事象の座標を表示させ、劣化事象の視認性を向上させることが所望されている。
　本開示の目的は、このような課題を解決するためになされたものであり、劣化事象の位置の表示における視認性を向上させることができる施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体を提供することにある。
　本開示に係る施設点検表示装置は、施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を表示する軌跡表示手段と、前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを表示する点群データ表示手段と、前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させる劣化事象表示手段と、を備える。
　また、本開示に係る情報処理装置は、施設においてＬｉＤＡＲを移動させることによって前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡、前記軌跡を構成する複数の前記基点の各座標、及び、前記各座標を前記ＬｉＤＡＲが通過した各時刻を含む軌跡情報を保持する軌跡情報保持手段と、前記各座標を前記基点として取得された各点群データ、及び、前記各点群データが取得された際の前記基点となる前記各座標を前記ＬｉＤＡＲが通過した前記各時刻を含む点群データ情報を保持する点群データ情報保持手段と、前記軌跡情報及び前記点群データ情報から前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を抽出する劣化事象座標抽出手段と、を備える。
　さらに、本開示に係る施設点検表示方法は、施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、を備える。
　また、本開示に係る施設点検表示プログラムは、施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、をコンピュータに実行させる。
　本開示によれば、劣化事象の位置の表示における視認性を向上させることができる施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体を提供することができる。
実施形態１に係る施設点検システムを例示した構成図である。 実施形態１に係る情報処理装置を例示したブロック図である。 実施形態１に係る施設点検表示装置の表示画面を例示した平面図である。 実施形態１に係る施設点検方法を例示したフローチャート図である。 実施形態１に係る施設点検表示方法を例示したフローチャート図である。 実施形態２に係る施設点検表示装置の表示画面を例示した平面図である。 実施形態２に係る施設点検表示方法を例示したフローチャート図である。 実施形態２に係る情報処理装置を例示したブロック図である。
　以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　（実施形態１）
　実施形態１に係る施設点検システムを説明する。本実施形態の施設点検システムは、施設の点群データ及び施設の画像データを用いて施設を点検する。施設は、例えば、水力発電所における導水路等であるが、これに限らず、点群データ及び画像データを取得することができれば、発電所の変電所、道路のトンネル等のように施設を限定しない。
　図１は、実施形態１に係る施設点検システムを例示した構成図である。図１に示すように、施設点検システム１は、慣性運動検出装置１０、点群データ取得装置２０、画像データ取得装置３０、移動体４０、移動体４１、情報処理装置５０、及び、施設点検表示装置１００を備えている。慣性運動検出装置１０、点群データ取得装置２０、画像データ取得装置３０、移動体４０、移動体４１、情報処理装置５０、及び、施設点検表示装置１００は、それぞれ、慣性運動検出手段、点群データ取得手段、画像データ取得手段、移動手段、移動手段、情報処理手段、及び、施設点検表示手段としての機能を有している。以下で、各構成を説明する。
　＜慣性運動検出装置＞
　慣性運動検出装置１０は、慣性運動を検出する。慣性運動検出装置１０は、例えば、ＩＭＵである。なお、慣性運動検出装置１０は、慣性運動を検出する装置であれば、ＩＭＵに限らず、当業者が想到するような慣性運動を検出する装置でもよい。以下では、慣性運動検出装置１０の一例としてＩＭＵを用いて説明する。
　ＩＭＵは、点群データ取得装置２０とともに移動体４０に搭載されている。ＩＭＵは、施設６０を移動する移動体４０の軌跡１１を取得する。移動体４０には点群データ取得装置２０も搭載されているので、ＩＭＵは、施設６０の点群データを取得した際の基点となる座標の軌跡１１を取得する。また、ＩＭＵは、軌跡１１を構成する複数の基点の各座標を取得する。さらに、ＩＭＵは、タイマーを用いることにより、軌跡１１を構成する複数の基点の各座標を通過した時刻を取得する。
　軌跡１１を構成する各座標は、軌跡１１に沿って連続的に続いているが、例えば、図１に示すように、座標Ｐ１及び座標Ｐ２を一例として説明する。軌跡１１を構成する各座標Ｐ１及びＰ２は、ＩＭＵが各座標Ｐ１及びＰ２を通過した各時刻ｔ１及びｔ２に紐づけられる。
　ＩＭＵが取得した軌跡１１、軌跡１１を構成する各座標、及び、各座標をＩＭＵが通過した各時刻を軌跡情報と呼ぶ。すなわち、軌跡情報は、施設６０の点群データを取得した際の基点となる座標の軌跡１１、軌跡１１を構成する複数の基点の各座標、及び、各座標をＩＭＵが通過した各時刻を含む。
　ＩＭＵは、取得した軌跡情報を情報処理装置５０に出力する。ＩＭＵは、無線または有線の通信回線を介して情報処理装置５０に軌跡情報を出力してもよいし、記憶媒体を介して情報処理装置５０に軌跡情報を出力してもよい。
　＜点群データ取得装置＞
　点群データ取得装置２０は、点群データを取得する。点群データ取得装置２０は、例えば、ＬｉＤＡＲである。なお、点群データ取得装置２０は、点群データを取得する装置であれば、ＬｉＤＡＲに限らず、当業者が想到するような点群データを取得する装置でもよい。以下では、点群データ取得装置２０の一例としてＬｉＤＡＲを用いて説明する。
　ＬｉＤＡＲは、ＩＭＵとともに移動体４０に搭載されている。ＬｉＤＡＲは、施設６０の点群データを取得する。具体的には、ＬｉＤＡＲは、基点となる座標から施設６０の点群データを取得しながら、移動体４０によって基点となる座標を移動させる。よって、施設６０の点群データが取得された際の基点となる座標は軌跡１１を形成する。この軌跡１１は、ＩＭＵによって取得される。ＬｉＤＡＲは、軌跡１１に含まれた各座標を基点として各点群データを取得する。また、ＬｉＤＡＲは、各座標をＬｉＤＡＲが通過した各時刻を取得する。そして、軌跡１１を構成する各座標は、ＬｉＤＡＲが各座標を通過した各時刻に紐づけられる。また、軌跡１１を構成する各座標を基点として取得された各点群データは、ＬｉＤＡＲが各座標を通過した各時刻に紐づけられる。
　例えば、図１に示すように、座標Ｐ１及びＰ２を一例として説明する。軌跡１１を構成する各座標Ｐ１及びＰ２は、ＬｉＤＡＲが各座標Ｐ１及びＰ２を通過した各時刻ｔ１及びｔ２に紐づけられる。また、軌跡１１を構成する各座標Ｐ１及びＰ２を基点として取得された各点群データＧ１及びＧ２は、ＬｉＤＡＲが各座標Ｐ１及びＰ２を通過した各時刻ｔ１及びｔ２に紐づけられる。
　ＬｉＤＡＲが取得した各点群データ、及び、各点群データの基点となる各座標をＬｉＤＡＲが通過した各時刻を点群データ情報と呼ぶ。すなわち、点群データ情報は、各座標を基点として取得された各点群データ、及び、各点群データが取得された際の基点となる各座標をＬｉＤＡＲが通過した各時刻を含む。
　ＬｉＤＡＲは、取得した点群データ情報を情報処理装置５０に出力する。ＬｉＤＡＲは、無線または有線の通信回線を介して情報処理装置５０に点群データ情報を出力してもよいし、記憶媒体を介して情報処理装置５０に点群データ情報を出力してもよい。
　＜画像データ取得装置＞
　画像データ取得装置３０は、画像データを取得する。画像データ取得装置３０は、例えば、カメラである。なお、画像データ取得装置３０は、画像データを取得する装置であれば、カメラに限らず、当業者が想到するような画像データを取得する装置でもよい。以下では、画像データ取得装置３０の一例としてカメラを用いて説明する。
　画像データは、静止画であることが望ましい。例えば、導水路等のように、長時間の施設６０の点検が想定される場合には、動画は、大容量のバッテリ及び記憶装置を必要とする。このため、機材の重量及びサイズにより、施設６０の点検が困難になる。しなしながら、施設６０の点検が困難にならない程度であれば、画像データは、例えば、数秒程度の断片的な動画を含むことを排除しない。以下では、画像データの一例として静止画を用いて説明する。
　カメラは、移動体４１によって移動される。移動体４１は、例えば、作業員等の人である。なお、移動体４１は、作業員等の人に限らず、移動体４０と同様の装置であって、移動体４０と別個のものでもよい。また、移動体４１及び移動体４０は、一体となって移動することを排除しない。カメラは、ＩＭＵ及びＬｉＤＡＲとともに施設６０を移動する。
　カメラは、作業員による目視、及び、過去の点検情報等に基づいて、施設６０の劣化事象を撮影する。劣化事象は、例えば、壁面のひび割れ、壁面の剥離、壁面からの水漏れ等を含む。なお、劣化事象は、壁面の劣化に限らず、当業者が想到するような施設の劣化でもよい。カメラは、劣化事象を撮影する際の基点となる座標から劣化事象までの方向を取得してもよい。
　カメラは、タイマーを有している。タイマーは、ＬｉＤＡＲによる点群データ取得開始に連動している。カメラは、画像データ取得時にタイマーの時刻を取得する。これにより、画像データは、カメラが画像データを撮影した時刻に紐づけされている。
　例えば、図１に示すように、座標Ｐ１及びＰ２を一例として説明する。軌跡１１を構成する各座標Ｐ１及びＰ２は、ＬｉＤＡＲが各座標Ｐ１及びＰ２を通過した時刻ｔ１及びｔ２に紐づけられる。カメラは、画像データＨ１を時刻ｔ１に撮影する。そうすると、画像データＨ１は、時刻ｔ１に紐づけされる。これにより、後述する情報処理装置５０によって、画像データＨ１は、時刻ｔ１に紐づけされた軌跡１１上の座標Ｐ１に紐づけされる。
　カメラが取得した画像データ、及び、画像データが撮影された時刻を画像データ情報と呼ぶ。すなわち、画像データ情報は、施設６０を撮影した画像データ、及び、画像データが撮影された時刻を含む。
　カメラは、取得した画像データ情報を情報処理装置５０に出力する。カメラは、無線または有線の通信回線を介して情報処理装置５０に画像データ情報を出力してもよいし、記憶媒体を介して情報処理装置５０に画像データ情報を出力してもよい。
　＜移動体＞
　移動体４０及び４１は、施設６０を移動する。移動体４０及び４１は、例えば、移動ロボット、ドローン、車両、作業員等である。なお、移動体４０及び４１は、ＩＭＵ、ＬｉＤＡＲ及びカメラを搭載して施設６０を移動できれば、これらに限らず、当業者が想到するようなものでもよい。移動体４０は、ＩＭＵ及びＬｉＤＡＲを搭載し、移動体４１は、カメラを搭載してもよい。移動体４１は、例えば、作業員である。なお、移動体４０及び４１は、一体となって、ＩＭＵ、ＬｉＤＡＲ及びカメラを移動させることを排除しない。
　＜情報処理装置＞
　図２は、実施形態１に係る情報処理装置を例示したブロック図である。図２に示すように、情報処理装置５０は、軌跡情報保持部５１、点群データ情報保持部５２、画像データ情報保持部５３、劣化事象座標抽出部５４、及び、区別抽出部５５を備えている。軌跡情報保持部５１、点群データ情報保持部５２、画像データ情報保持部５３、劣化事象座標抽出部５４、及び、区別抽出部５５は、それぞれ、軌跡情報保持手段、点群データ情報保持手段、画像データ情報保持手段、劣化事象座標抽出手段、及び、区別抽出手段としての機能を有している。
　情報処理装置５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、インターフェイス部（Ｉ／Ｆ）等からなるマイクロコンピュータを含むハードウェアで構成されてもよい。ＣＰＵは、保持処理、抽出処理及び制御処理等を行う。ＲＯＭは、ＣＰＵによって実行される保持プログラム、抽出プログラム及び制御プログラム等を記憶する。ＲＡＭは、軌跡情報、点群データ情報及び画像データ情報等の各種のデータを記憶する。インターフェイス部（Ｉ／Ｆ）は、外部と信号の入出力を行う。インターフェイス部は、キーボード、タッチパネル又はマウス等の入力装置を含んでもよいし、ディスプレイ又はスピーカ等の出力装置を含んでもよい。インターフェイス部は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を出力する。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。
　軌跡情報保持部５１は、ＩＭＵから出力された軌跡情報を保持する。軌跡情報は、施設６０においてＬｉＤＡＲを移動させることによってＬｉＤＡＲを用いた施設６０の点群データを取得した際の基点となる座標の軌跡１１、軌跡１１を構成する複数の基点の各座標、及び、各座標をＬｉＤＡＲが通過した各時刻を含む。軌跡情報保持部５１は、軌跡１１を構成する各座標を、ＬｉＤＡＲが各座標を通過した各時刻に紐づけて保持してもよい。
　点群データ情報保持部５２は、ＬｉＤＡＲから出力された点群データ情報を保持する。点群データ情報は、軌跡１１を構成する各座標を基点として取得された各点群データ、及び、各点群データが取得された際の基点となる各座標をＬｉＤＡＲが通過した各時刻を含んでいる。点群データ情報保持部５２は、軌跡１１を構成する各座標を基点として取得された各点群データを、ＬｉＤＡＲが各座標を通過した各時刻に紐づけて保持してもよい。
　画像データ情報保持部５３は、カメラから出力された画像データ情報を保持する。画像データ情報は、施設６０を撮影した画像データ、及び、画像データが取得された時刻を含む。画像データ情報保持部５３は、画像データを、撮影された時刻と同じ時刻に紐づけられた軌跡１１上の座標に紐づけて保持してもよい。
　劣化事象座標抽出部５４は、軌跡情報及び点群データ情報から施設６０の劣化事象を解析する。劣化事象座標抽出部５４は、過去の点検結果を用いて、劣化事象を解析してもよい。例えば、劣化事象座標抽出部５４は、施設６０の過去の点群データと、今回の点群データとを比較し、変化した部分から劣化事象を解析してもよい。また、劣化事象座標抽出部５４は、施設６０の設計データと、今回の点群データとを比較し、変化した部分から劣化事象を解析してもよい。
　そして、劣化事象座標抽出部５４は、軌跡情報及び点群データ情報から施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を抽出する。劣化事象座標抽出部５４は、抽出した劣化事象座標を軌跡情報保持部５１に保持させてもよい。
　区別抽出部５５は、抽出された劣化事象座標に紐づけられた画像データの有無によって劣化事象座標を区別して抽出する。具体的には、区別抽出部５５は、各劣化事象座標に画像データが紐づけられているか判断する。そして、画像データが紐づけられた劣化事象座標と、画像データが紐づけられない劣化事象座標とを区別して抽出する。
　情報処理装置５０は、取得した軌跡情報、点群データ情報、画像データ情報及び劣化事象座標を施設点検表示装置１００に出力する。情報処理装置５０は、無線または有線の通信回線を介して施設点検表示装置１００にこれらの情報を出力してもよいし、記憶媒体を介して施設点検表示装置１００にこれらの情報を出力してもよい。
　＜施設点検表示装置＞
　図３は、実施形態１に係る施設点検表示装置の表示画面を例示した平面図である。図３に示すように、施設点検表示装置１００は、軌跡表示部１１０、点群データ表示部１２０、画像データ表示部１３０、劣化事象表示部１４０、座標表示部１５０及び区別表示部１６０を備えている。軌跡表示部１１０、点群データ表示部１２０、画像データ表示部１３０、劣化事象表示部１４０、座標表示部１５０及び区別表示部１６０は、それぞれ、軌跡表示手段、点群データ表示手段、画像データ表示手段、劣化事象表示手段、座標表示手段及び区別表示手段としての機能を有している。
　施設点検表示装置１００は、ユーザインターフェースであり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、インターフェイス部（Ｉ／Ｆ）等からなるマイクロコンピュータを含むハードウェアで構成されてもよい。ＣＰＵは、表示処理及び制御処理等を行う。ＲＯＭは、ＣＰＵによって実行される表示プログラム及び制御プログラム等を記憶する。ＲＡＭは、軌跡情報、点群データ情報及び画像データ情報等の各種のデータを記憶する。インターフェイス部（Ｉ／Ｆ）は、外部と信号の入出力を行う。インターフェイス部は、キーボード、タッチパネル又はマウス等の入力装置を含んでもよいし、ディスプレイ又はスピーカ等の出力装置を含んでもよい。インターフェイス部は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を出力する。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。
　軌跡表示部１１０は、施設６０においてＬｉＤＡＲを移動させることによってＬｉＤＡＲを用いた施設６０の点群データを取得した際の基点となる座標の軌跡１１を表示する。軌跡表示部１１０は、例えば、一方向から見た軌跡１１を、線を用いて表示する。例えば、軌跡表示部１１０は、導水路の側面から見た軌跡１１を、線を用いて表示してもよいし、導水路の上方から見た軌跡１１を、線を用いて表示してもよい。軌跡１１を構成する各座標は、ＬｉＤＡＲが各座標を通過した各時刻に紐づけられている。
　点群データ表示部１２０は、軌跡表示部１１０においてユーザにより指定された軌跡１１上のユーザ指定位置１２におけるユーザ指定座標を基点として取得された点群データＧ１を表示する。軌跡表示部１１０において、位置は、例えば、軌跡１１上の座標と交差する縦線として示されてもよい。具体的には、ユーザ指定位置１２は、例えば、軌跡表示部１１０において、軌跡１１上のユーザ指定座標と交差する縦線として示されてもよい。ユーザ指定位置１２は、例えば、ユーザにより軌跡表示部１１０上でタッチパネル機能を用いて軌跡１１上の座標を選択されてもよいし、マウスのポインター機能を用いて軌跡１１上の座標を選択されてもよい。軌跡１１を構成する各座標を基点として取得された各点群データは、ＬｉＤＡＲが各座標を通過した各時刻に紐づけられている。
　画像データ表示部１３０は、施設６０を撮影した画像データを表示する。画像データは、取得された時刻と同じ時刻に紐づけられた軌跡１１上の座標に紐づけられている。ユーザがユーザ指定位置１２を指定した場合に、ユーザ指定位置１２におけるユーザ指定座標に紐づけられた画像データがある場合に、画像データ表示部１３０は、当該ユーザ指定座標に紐づけられた画像データを表示する。
　劣化事象表示部１４０は、施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置１３として軌跡表示部１１０に表示させる。具体的には、劣化事象位置１３は、軌跡表示部１１０において、軌跡１１上の劣化事象座標と交差する縦線として示されてもよい。
　座標表示部１５０は、点群データが取得された際の基点となる座標を表示する。例えば、座標表示部１５０は、劣化事象座標を表示する。ユーザがユーザ指定位置１２として、劣化事象位置１３を指定した場合には、座標表示部１５０は、劣化事象座標を表示する。ユーザ指定位置１２の劣化事象座標に画像データが紐づけられていた場合には、画像データ表示部１３０は、当該劣化事象座標に紐づけされた画像データを表示する。よって、座標表示部１５０が表示する座標は、画像データが取得された際の基点となる座標ということもできる。
　座標表示部１５０は、劣化事象座標から劣化事象までの方向、及び、劣化事象座標をＬｉＤＡＲが通過した時刻の少なくともいずれかを表示してもよい。
　区別表示部１６０は、劣化事象座標に紐づけられた画像データの有無によって劣化事象位置１３を区別して表示させる。具体的には、例えば、区別表示部１６０は、画像データが紐づけされた劣化事象座標を含む劣化事象位置１３を実線で示し、画像データが紐づけされない劣化事象座標を含む劣化事象位置１４を点線で示す。これにより、区別表示部１６０は、劣化事象位置１３及び１４を区別して表示させる。
　＜施設点検方法＞
　次に、本実施形態の施設点検方法を説明する。図４は、実施形態１に係る施設点検方法を例示したフローチャート図である。図４に示すように、ステップＳ１１～ステップＳ１４は、例えば、導水路等の施設６０における動作である。ステップＳ１５～Ｓ１９は、情報処理装置５０及び施設点検表示装置１００を配置された事務所等における動作である。
　ステップＳ１１に示すように、施設６０において、ＬｉＤＡＲ及びＩＭＵによる計測を開始する。これにより、ＬｉＤＡＲ及びＩＭＵを使用して施設６０の点検を実施し、施設６０の点群データ及び軌跡データを取得する。
　一方、ステップＳ１２に示すように、施設６０において、ＬｉＤＡＲ及びＩＭＵによる計測の開始に同期させて、カメラのタイマーを起動させる。
　次に、ステップＳ１３に示すように、施設６０の劣化事象を確認する。具体的には、作業員の目視や過去の点検結果に基づき、施設６０の劣化事象の位置を確認する。
　次に、ステップＳ１４に示すように、施設６０の劣化事象の撮影を行い、撮影時のタイマーを記録する。具体的には、作業員または移動体４１が施設６０の劣化事象をカメラで撮影し、画像データを取得する。そして、画像データ取得時にタイマーの時刻情報を記録する。このようにして、施設６０の点群データ情報、軌跡情報及び画像データ情報を取得する。
　次に、ステップＳ１５及びステップＳ１６に示すように、データを出力する。具体的には、施設６０の点検終了後、ＬｉＤＡＲ及びＩＭＵで取得した点群データ及び軌跡データを情報処理装置５０に出力する。また、カメラで取得した画像データを情報処理装置５０に出力する。
　次に、ステップＳ１７に示すように、データを保持する。具体的には、情報処理装置５０において、軌跡情報保持部５１は、ＩＭＵから出力された軌跡情報を保持する。軌跡情報保持部５１は、軌跡１１を構成する各座標を、ＬｉＤＡＲが各座標を通過した各時刻に紐づけて保持してもよい。点群データ情報保持部５２は、ＬｉＤＡＲから出力された点群データ情報を保持する。点群データ情報保持部５２は、軌跡１１を構成する各座標を基点として取得された各点群データを、ＬｉＤＡＲが各座標を通過した各時刻に紐づけて保持してもよい。画像データ情報保持部５３は、カメラから出力された画像データ情報を保持する。画像データ情報保持部５３は、画像データを、撮影された時刻と同じ時刻に紐づけられた軌跡１１上の座標に紐づけて保持してもよい。
　次に、ステップＳ１８に示すように、データの解析を行う。具体的には、情報処理装置５０において、劣化事象座標抽出部５４は、軌跡情報及び点群データ情報から施設６０の劣化事象を解析する。そして、劣化事象座標抽出部５４は、軌跡情報及び点群データ情報から施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を抽出する。劣化事象座標抽出部５４は、抽出した劣化事象座標を軌跡情報保持部５１に保持させてもよい。
　また、区別抽出部５５は、抽出された劣化事象座標に紐づけられた画像データの有無によって劣化事象座標を区別して抽出する。具体的には、区別抽出部５５は、各劣化事象座標に画像データが紐づけられているか判断する。そして、画像データが紐づけられた劣化事象座標と、画像データが紐づけられない劣化事象座標とを区別して抽出する。
　次に、ステップＳ１９に示すように、保持したデータ及び解析したデータを施設点検表示装置１００に出力する。具体的には、情報処理装置５０は、軌跡情報、点群データ情報、画像データ情報及び劣化事象座標等を施設点検表示装置１００に出力する。
　＜施設点検表示方法＞
　次に、施設点検表示装置１００を用いた施設点検表示方法を説明する。図５は、実施形態１に係る施設点検表示方法を例示したフローチャート図である。図５のステップＳ１１０に示すように、軌跡１１を軌跡表示部１１０に表示させる。具体的には、施設６０においてＬｉＤＡＲを移動させることによってＬｉＤＡＲを用いた施設６０の点群データを取得した際の基点となる座標の軌跡１１を軌跡表示部１１０に表示させる。
　次に、ステップＳ１２０に示すように、点群データを点群データ表示部１２０に表示させる。具体的には、軌跡表示部１１０においてユーザにより指定された軌跡１１上のユーザ指定位置１２におけるユーザ指定座標を基点として取得された点群データを点群データ表示部１２０に表示させる。
　次に、ステップＳ１３０に示すように、画像データを画像データ表示部１３０に表示させる。具体的には、施設６０を撮影した画像データを画像データ表示部１３０に表示させる。この際に、軌跡１１を構成する各座標は、ＬｉＤＡＲが各座標を通過した各時刻に紐づけられている。また、軌跡１１を構成する各座標を基点として取得された各点群データは、ＬｉＤＡＲが各座標を通過した各時刻に紐づけられている。そして、画像データは、取得された時刻と同じ時刻に紐づけられた軌跡１１上の座標に紐づけられている。よって、ユーザ指定座標に紐づけられた画像データがある場合に、画像データ表示部１３０に、画像データを表示させる。
　次に、ステップＳ１４０に示すように、劣化事象位置１３を軌跡表示部１１０に表示させる。具体的には、施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置として軌跡表示部１１０に表示させる。
　次に、ステップＳ１５０に示すように、軌跡１１上の座標を座標表示部１５０に表示させる。具体的には、点群データが取得された際の基点となる座標を座標表示部１５０に表示させる。例えば、施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を座標表示部１５０に表示させてもよい。なお、劣化事象座標を表示させる際には、劣化事象座標から劣化事象までの方向、及び、劣化事象座標をＬｉＤＡＲが通過した時刻の少なくともいずれかを座標表示部１５０に表示させてもよい。
　次に、ステップＳ１６０に示すように、各々の劣化事象座標に画像データが紐づけされているか判断する。ステップＳ１６０において、各々の劣化事象座標に画像データが紐づけされているＹＥＳの場合には処理を終了する。一方、ステップＳ１６０において、各々の劣化事象座標に画像データが紐づけされていないＮＯの場合には、ステップＳ１７０に示すように、画像データの有無によって劣化事象位置１３及び１４を区別して軌跡表示部１１０に表示させる。具体的には、区別表示部１６０は、劣化事象座標に紐づけられた画像データがある場合に、劣化事象位置１３を実線の縦線で示し、劣化事象座標に紐づけされた画像データがない場合に、劣化事象位置１４を点線の縦線で示す。このようにして、区別表示部１６０は、画像データの有無によって劣化事象位置１３及び１４を区別する。そして、処理を終了する。
　次に、本実施形態の効果を説明する。本実施形態では、施設６０においてＬｉＤＡＲをＩＭＵとともに移動させることによって、施設６０の点群データを取得した際の基点となる座標の軌跡を取得する。よって、点群データに座標及び時刻を紐づけすることができ、施設６０の点群データにおける位置の精度を向上させることができる。
　また、ＬｉＤＡＲ及びＩＭＵの検出に同期させたタイマーを用いて、施設６０の画像データを取得する。よって、画像データを時刻及び座標に紐づけすることができ、施設６０の画像データにおける位置の精度を向上させることができる。このように、本実施形態は、点群データと画像データの同期にＩＭＵで取得する軌跡データを用いている。よって、点群データと画像データとを紐づけることができ、劣化事象座標と画像データとを紐づけることができる。
　さらに、本実施形態では、施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置として軌跡表示部１１０に表示させる。また、劣化事象座標を座標表示部１５０に表示させてもよい。また、座標表示部１５０は、劣化事象座標から劣化事象までの方向、及び、劣化事象座標をＬｉＤＡＲが通過した時刻の少なくともいずれかを表示してもよい。これにより、劣化事象の位置の表示における視認性を向上させることができる。
　また、本実施形態では、劣化事象座標に紐づけられた画像データの有無によって劣化事象位置１３及び１４を区別して軌跡表示部１１０に表示させる。よって、対応する画像データがない劣化事象座標を表示することができる。
　（実施形態２）
　次に、実施形態２に係る施設点検表示装置及び情報処理装置を説明する。本実施形態では、施設点検表示装置及び情報処理装置の主な特徴を抽出する。図６は、実施形態２に係る施設点検表示装置の表示画面を例示した平面図である。図６に示すように、施設点検表示装置２００は、軌跡表示部１１０、点群データ表示部１２０及び劣化事象表示部１４０を備えている。
　軌跡表示部１１０は、施設６０においてＬｉＤＡＲを移動させることによってＬｉＤＡＲを用いた施設６０の点群データを取得した際の基点となる座標の軌跡を表示する。点群データ表示部１２０は、軌跡表示部１１０においてユーザにより指定された軌跡１１上のユーザ指定位置１２におけるユーザ指定座標を基点として取得された点群データＧ１を表示する。劣化事象表示部１４０は、施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置１３として軌跡表示部１１０に表示させる。
　図７は、実施形態２に係る施設点検表示方法を例示したフローチャート図である。図７のステップＳ２１０に示すように、軌跡１１を軌跡表示部１１０に表示させる。具体的には、施設６０においてＬｉＤＡＲを移動させることによりＬｉＤＡＲを用いた施設６０の点群データを取得した際の基点となる座標の軌跡１１を軌跡表示部１１０に表示させる。
　次に、ステップＳ２２０に示すように、点群データを点群データ表示部１２０に表示させる。具体的には、軌跡表示部１１０においてユーザにより指定された軌跡１１上のユーザ指定位置１２におけるユーザ指定座標を基点として取得された点群データを点群データ表示部１２０に表示させる。
　次に、ステップＳ２３０に示すように、劣化事象位置１３を軌跡表示部１１０に表示させる。具体的には、施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置として軌跡表示部１１０に表示させる。
　図８は、実施形態２に係る情報処理装置を例示したブロック図である。図８に示すように、情報処理装置７０は、軌跡情報保持部５１、点群データ情報保持部５２及び劣化事象座標抽出部５４を備えている。
　軌跡情報保持部５１は、施設６０においてＬｉＤＡＲを移動させることによってＬｉＤＡＲを用いた施設６０の点群データを取得した際の基点となる座標の軌跡１１、軌跡１１を構成する複数の基点の各座標、及び、各座標をＬｉＤＡＲが通過した各時刻を含む軌跡情報を保持する。
　点群データ情報保持部５２は、各座標を基点として取得された各点群データ、及び、各点群データが取得された際の基点となる各座標をＬｉＤＡＲが通過した各時刻を含む点群データ情報を保持する。
　劣化事象座標抽出部５４は、軌跡情報及び点群データ情報から施設６０の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を抽出する。
　本実施形態によれば、劣化事象位置の表示における視認性を向上させることができる。実施形態２におけるこれ以外の構成及び効果は、実施形態１の記載に含まれている。
　以上、実施形態１及び２を参照して本願発明を説明したが、本願発明は、上記実施形態１及び２に限られたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることが可能である。例えば、実施形態１及び２の各構成を組み合わせた実施形態も、技術的思想の範囲に含まれる。また、実施形態１及び２の施設点検表示方法を、コンピュータに実行させる施設点検表示プログラムも実施形態１及び２の技術的範囲に含まれる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を表示する軌跡表示手段と、
　前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを表示する点群データ表示手段と、
　前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させる劣化事象表示手段と、
　を備えた施設点検表示装置。
　（付記２）
　前記点群データが取得された際の前記基点となる前記座標を表示する座標表示手段をさらに備え、
　前記座標表示手段は、前記劣化事象座標を表示する、
　付記１に記載の施設点検表示装置。
　（付記３）
　前記座標表示手段は、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記ＬｉＤＡＲが通過した時刻の少なくともいずれかを表示する、
　付記２に記載の施設点検表示装置。
　（付記４）
　前記施設を撮影した画像データを表示する画像データ表示手段をさらに備え、
　前記軌跡を構成する各座標は、前記ＬｉＤＡＲが前記各座標を通過した各時刻に紐づけられ、
　前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけられ、
　前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
　前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段は、前記画像データを表示する、
　付記１～３のいずれか１項に記載の施設点検表示装置。
　（付記５）
　前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させる区別表示手段と、をさらに備えた、
　付記４に記載の施設点検表示装置。
　（付記６）
　施設においてＬｉＤＡＲを移動させることによって前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡、前記軌跡を構成する複数の前記基点の各座標、及び、前記各座標を前記ＬｉＤＡＲが通過した各時刻を含む軌跡情報を保持する軌跡情報保持手段と、
　前記各座標を前記基点として取得された各点群データ、及び、前記各点群データが取得された際の前記基点となる前記各座標を前記ＬｉＤＡＲが通過した前記各時刻を含む点群データ情報を保持する点群データ情報保持手段と、
　前記軌跡情報及び前記点群データ情報から前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を抽出する劣化事象座標抽出手段と、
　を備えた情報処理装置。
　（付記７）
　前記施設を撮影した画像データ、及び、前記画像データが取得された時刻を含む画像データ情報を保持する画像データ情報保持手段と、をさらに備え、
　前記軌跡情報保持手段は、前記軌跡を構成する前記各座標を、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけて保持し、
　前記点群データ情報保持手段は、前記軌跡を構成する前記各座標を前記基点として取得された前記各点群データを、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけて保持し、
　前記画像データ情報保持手段は、前記画像データを、取得された前記時刻と同じ前記時刻に紐づけられた軌跡上の前記座標に紐づけて保持する、
　付記６に記載の情報処理装置。
　（付記８）
　抽出された前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象座標を区別して抽出する区別抽出手段をさらに備えた、
　付記７に記載の情報処理装置。
　（付記９）
　施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
　前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
　前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
　を備えた施設点検表示方法。
　（付記１０）
　前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
　付記９に記載の施設点検表示方法。
　（付記１１）
　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記ＬｉＤＡＲが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
　付記１０に記載の施設点検表示方法。
　（付記１２）
　前記施設を撮影した画像データを画像データ表示手段に表示させるステップをさらに備え、
　前記画像データを画像データ表示手段に表示するステップにおいて、
　前記軌跡を構成する各座標は、前記ＬｉＤＡＲが前記各座標を通過した各時刻に紐づけられ、
　前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけられ、
　前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
　前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させる、
　付記９～１１のいずれか１項に記載の施設点検表示方法。
　（付記１３）
　前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらに備えた、
　付記１２に記載の施設点検表示方法。
　（付記１４）
　施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
　前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
　前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
　をコンピュータに実行させる施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記１５）
　前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
　ことをコンピュータに実行させる付記１４に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記１６）
　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記ＬｉＤＡＲが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
　ことをコンピュータに実行させる付記１５に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記１７）
　前記施設を撮影した画像データを画像データ表示手段に表示させるステップをさらに備え、
　前記画像データを画像データ表示手段に表示するステップにおいて、
　前記軌跡を構成する各座標は、前記ＬｉＤＡＲが前記各座標を通過した各時刻に紐づけられ、
　前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけられ、
　前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
　前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させる、
　ことをコンピュータに実行させる付記１４～１６のいずれか１項に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
　（付記１８）
　前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらにコンピュータに実行させる付記１７に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１　施設点検システム
１０　慣性運動検出装置
１１　軌跡
１２　ユーザ指定位置
１３、１４　劣化事象位置
２０　点群データ取得装置
３０　画像データ取得装置
４０、４１　移動体
５０　情報処理装置
５１　軌跡情報保持部
５２　点群データ情報保持部
５３　画像データ情報保持部
５４　劣化事象座標抽出部
５５　区別抽出部
６０　施設
７０　情報処理装置
１００、２００　施設点検表示装置
１１０　軌跡表示部
１２０　点群データ表示部
１３０　画像データ表示部
１４０　劣化事象表示部
１５０　座標表示部
１６０　区別表示部

Claims (18)

  1. 　施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を表示する軌跡表示手段と、
    　前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを表示する点群データ表示手段と、
    　前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させる劣化事象表示手段と、
    　を備えた施設点検表示装置。
  2. 　前記点群データが取得された際の前記基点となる前記座標を表示する座標表示手段をさらに備え、
    　前記座標表示手段は、前記劣化事象座標を表示する、
    　請求項１に記載の施設点検表示装置。
  3. 　前記座標表示手段は、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記ＬｉＤＡＲが通過した時刻の少なくともいずれかを表示する、
    　請求項２に記載の施設点検表示装置。
  4. 　前記施設を撮影した画像データを表示する画像データ表示手段をさらに備え、
    　前記軌跡を構成する各座標は、前記ＬｉＤＡＲが前記各座標を通過した各時刻に紐づけられ、
    　前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけられ、
    　前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
    　前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段は、前記画像データを表示する、
    　請求項１～３のいずれか１項に記載の施設点検表示装置。
  5. 　前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させる区別表示手段と、をさらに備えた、
    　請求項４に記載の施設点検表示装置。
  6. 　施設においてＬｉＤＡＲを移動させることによって前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡、前記軌跡を構成する複数の前記基点の各座標、及び、前記各座標を前記ＬｉＤＡＲが通過した各時刻を含む軌跡情報を保持する軌跡情報保持手段と、
    　前記各座標を前記基点として取得された各点群データ、及び、前記各点群データが取得された際の前記基点となる前記各座標を前記ＬｉＤＡＲが通過した前記各時刻を含む点群データ情報を保持する点群データ情報保持手段と、
    　前記軌跡情報及び前記点群データ情報から前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を抽出する劣化事象座標抽出手段と、
    　を備えた情報処理装置。
  7. 　前記施設を撮影した画像データ、及び、前記画像データが取得された時刻を含む画像データ情報を保持する画像データ情報保持手段と、をさらに備え、
    　前記軌跡情報保持手段は、前記軌跡を構成する前記各座標を、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけて保持し、
    　前記点群データ情報保持手段は、前記軌跡を構成する前記各座標を前記基点として取得された前記各点群データを、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけて保持し、
    　前記画像データ情報保持手段は、前記画像データを、取得された前記時刻と同じ前記時刻に紐づけられた軌跡上の前記座標に紐づけて保持する、
    　請求項６に記載の情報処理装置。
  8. 　抽出された前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象座標を区別して抽出する区別抽出手段をさらに備えた、
    　請求項７に記載の情報処理装置。
  9. 　施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
    　前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
    　前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
    　を備えた施設点検表示方法。
  10. 　前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
    　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
    　請求項９に記載の施設点検表示方法。
  11. 　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記ＬｉＤＡＲが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
    　請求項１０に記載の施設点検表示方法。
  12. 　前記施設を撮影した画像データを画像データ表示手段に表示させるステップをさらに備え、
    　前記画像データを画像データ表示手段に表示するステップにおいて、
    　前記軌跡を構成する各座標は、前記ＬｉＤＡＲが前記各座標を通過した各時刻に紐づけられ、
    　前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけられ、
    　前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
    　前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させる、
    　請求項９～１１のいずれか１項に記載の施設点検表示方法。
  13. 　前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらに備えた、
    　請求項１２に記載の施設点検表示方法。
  14. 　施設においてＬｉＤＡＲを移動させることにより前記ＬｉＤＡＲを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
    　前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
    　前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
    　をコンピュータに実行させる施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
  15. 　前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
    　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
    　ことをコンピュータに実行させる請求項１４に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
  16. 　前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記ＬｉＤＡＲが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
    　ことをコンピュータに実行させる請求項１５に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
  17. 　前記施設を撮影した画像データを画像データ表示手段に表示させるステップをさらに備え、
    　前記画像データを画像データ表示手段に表示するステップにおいて、
    　前記軌跡を構成する各座標は、前記ＬｉＤＡＲが前記各座標を通過した各時刻に紐づけられ、
    　前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記ＬｉＤＡＲが前記各座標を通過した前記各時刻に紐づけられ、
    　前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
    　前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させる、
    　ことをコンピュータに実行させる請求項１４～１６のいずれか１項に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
  18. 　前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらにコンピュータに実行させる請求項１７に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/038709 2021-10-20 2021-10-20 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体 WO2023067717A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038709 WO2023067717A1 (ja) 2021-10-20 2021-10-20 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038709 WO2023067717A1 (ja) 2021-10-20 2021-10-20 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023067717A1 true WO2023067717A1 (ja) 2023-04-27

Family

ID=86057990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038709 WO2023067717A1 (ja) 2021-10-20 2021-10-20 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023067717A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018170A (ja) * 2008-08-29 2012-01-26 Mitsubishi Electric Corp 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2017083619A (ja) * 2015-10-27 2017-05-18 三菱電機株式会社 道路監視装置および道路監視プログラム
JP2018017102A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019087467A1 (ja) * 2017-10-30 2019-05-09 株式会社日立ソリューションズ 計測システム、計測装置、及び計測方法
JP2020197467A (ja) * 2019-06-04 2020-12-10 俊雄 小泉 Ｓｌａｍによる自律飛行機能を備えた無人機を用いた構造物の検査方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018170A (ja) * 2008-08-29 2012-01-26 Mitsubishi Electric Corp 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2017083619A (ja) * 2015-10-27 2017-05-18 三菱電機株式会社 道路監視装置および道路監視プログラム
JP2018017102A (ja) * 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019087467A1 (ja) * 2017-10-30 2019-05-09 株式会社日立ソリューションズ 計測システム、計測装置、及び計測方法
JP2020197467A (ja) * 2019-06-04 2020-12-10 俊雄 小泉 Ｓｌａｍによる自律飛行機能を備えた無人機を用いた構造物の検査方法

Similar Documents

Publication Publication Date Title
CN105306899B (zh) 一种监控视频的处理方法和装置
WO2019111976A1 (ja) 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム
EP3306565A1 (en) Entity visualization method
EP2450832A1 (en) Image processing apparatus and image processing method
EP2405393A1 (en) Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program
CN110619314A (zh) 安全帽检测方法、装置及电子设备
KR101909212B1 (ko) 시설물 안전점검 시스템 및 방법
JP6427797B2 (ja) 画像処理によるハンガー検出装置
JP2008117305A (ja) 画像処理装置
EP3690800A2 (en) Information processing apparatus, information processing method, and program
KR101697060B1 (ko) 이벤트 감지 방법 및 이를 실행하는 장치
KR101954684B1 (ko) 수집 영상이미지 비교를 통한 최적의 영상정보 자동 생성시스템
JP2011132010A (ja) ワイヤーロープ検査装置
JP2007243509A (ja) 画像処理装置
CN110874866A (zh) 一种基于视频的变电站三维监控方法及系统
JPWO2017061351A1 (ja) ナビゲート装置及びナビゲート方法
JP2014199640A (ja) 空中又は衛星写真の影除去方法及びその装置
JP2017076943A (ja) コンテンツ投影装置、コンテンツ投影方法及びコンテンツ投影プログラム
WO2023067717A1 (ja) 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体
CN111738312B (zh) 基于gis和虚拟现实融合的输电线状态监控方法、装置及计算机可读存储介质
JP2012222685A (ja) 置き去り又は持ち去り検知システム
Hellmuth et al. Approach for an update method for digital factory models
JP5445336B2 (ja) 置き去り又は持ち去り判定装置及び同判定方法
JP2003329780A (ja) 夜間雲量測定方法および夜間雲量測定装置
KR102559631B1 (ko) 시설물 점검 시스템 및 이를 이용한 시설물 점검방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21961370

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023554144

Country of ref document: JP

Kind code of ref document: A