WO2023058098A1 - 表示装置、表示方法及び非一時的なコンピュータ可読媒体 - Google Patents

表示装置、表示方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023058098A1
WO2023058098A1 PCT/JP2021/036688 JP2021036688W WO2023058098A1 WO 2023058098 A1 WO2023058098 A1 WO 2023058098A1 JP 2021036688 W JP2021036688 W JP 2021036688W WO 2023058098 A1 WO2023058098 A1 WO 2023058098A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
data
dimensional data
display unit
display device
Prior art date
Application number
PCT/JP2021/036688
Other languages
English (en)
French (fr)
Inventor
次朗 安倍
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023552423A priority Critical patent/JPWO2023058098A5/ja
Priority to PCT/JP2021/036688 priority patent/WO2023058098A1/ja
Publication of WO2023058098A1 publication Critical patent/WO2023058098A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present disclosure relates to display devices, display methods, programs, and the like, and particularly to display devices, display methods, programs, and the like for displaying point cloud data measured by sensors such as LiDAR (Light Detection and Ranging).
  • LiDAR Light Detection and Ranging
  • Sensors such as LiDAR irradiate each measurement point of the object to be measured with a laser, and can calculate the distance to each measurement point based on the time from when the laser is irradiated until when it is received. By using these sensors while moving, it is possible to obtain the distance to and shape of objects to be measured, such as waterways and tunnels.
  • Patent Document 1 discloses a three-dimensional data display device that displays three-dimensional data representing facilities such as plants. This three-dimensional data display device arranges three-dimensional data and an avatar in a virtual space, and moves the avatar by walking (walk-through) or flying (fly-through) within a facility represented by the three-dimensional data. The overall appearance of the point can be rendered into two-dimensional data.
  • the present disclosure has been made to solve such problems, and aims to provide a display device, a display method, a program, etc. that can display the entire measurement object and desired details.
  • a display device includes a global display unit that displays a point cloud image generated using three-dimensional data including three-dimensional coordinate values of a measurement object; a position specifying unit for specifying a one-dimensional position in the three-dimensional data; a local display unit for generating and displaying a detailed image of the three-dimensional data based on the one-dimensional position specified by the position specifying unit;
  • a display method includes: displaying a point cloud image generated using three-dimensional data including the three-dimensional coordinate values of the object to be measured; Designating a one-dimensional position in the three-dimensional data, A detailed image of the three-dimensional data is generated and displayed based on the designated one-dimensional position.
  • a non-transitory computer-readable medium includes processing for displaying a point cloud image generated using three-dimensional data including three-dimensional coordinate values of a measurement object; A process of specifying a one-dimensional position in the three-dimensional data; A program is stored which causes a computer to execute a process of generating and displaying a detailed image of the three-dimensional data based on the specified one-dimensional position.
  • FIG. 1 is a block diagram showing the configuration of a display device according to a first embodiment
  • FIG. 4 is a flow chart showing a display method according to the first embodiment
  • FIG. 10 is a diagram showing an example of measuring the inner wall of a tunnel with a sensor mounted on a moving object according to the second embodiment
  • FIG. 10 is a diagram illustrating an example of a graphical user interface according to the second embodiment
  • FIG. 2 is a block diagram showing the configuration of a display system according to a second embodiment
  • FIG. 9 is a flow chart showing a display method according to the second embodiment
  • FIG. 10 is a diagram illustrating an example of a graphical user interface according to another embodiment
  • FIG. 11 is a diagram illustrating an example of a graphical user interface according to still another embodiment
  • FIG. 12 is a diagram showing an example of measuring the inner wall of a tunnel with a sensor and a camera mounted on a moving object according to the third embodiment
  • FIG. 11 is a diagram illustrating an example of a graphical user interface according to the third embodiment
  • FIG. 11 is a block diagram showing the configuration of a display system according to a third embodiment
  • FIG. 10 is a flowchart showing a display method according to Embodiment 3
  • It is a block diagram showing a hardware configuration example of a display device or an information processing device in some embodiments.
  • FIG. 1 is a block diagram of a configuration of an information processing apparatus according to a first embodiment;
  • the display device 100 is implemented by a computer having a processor, memory, GUI (Graphical User Interface), and the like.
  • the display device 10 can be used to display a point cloud image generated using point cloud data from a sensor measuring a measurement object.
  • the sensor can be a radar sensor (eg LiDAR (Light Detection and Ranging)) that measures the distance to the point of measurement.
  • the display device 10 includes a global display section 11 , a position designation section 12 and a local display section 13 .
  • the global display unit 11 graphically displays a point cloud image generated using three-dimensional data including three-dimensional coordinate values (coordinate values on the x-, y-, and z-axes) of the object to be measured.
  • the global display unit 11 displays the entirety of the generated point cloud image in at least one-dimensional direction (for example, the longitudinal direction, that is, the x-axis direction). Further, the global display unit 11 may display the entirety of the generated point cloud image in another one-dimensional direction (for example, z-axis direction).
  • the displayed point cloud image may be a two-dimensional image or a three-dimensional image.
  • the position specifying unit 12 specifies a specific one-dimensional position (eg, coordinate values on the x-axis) in the three-dimensional data.
  • the position specifying unit 12 accepts user input (for example, cursor position specification with a mouse or touch input on a touch panel), and specifies a position corresponding to the longitudinal direction (eg, x-axis direction) in three-dimensional data. be able to.
  • the one-dimensional direction can correspond to the direction of movement of a vehicle carrying a sensor for measuring the measurement object.
  • the local display unit 13 generates and displays a detailed image of the three-dimensional data based on the one-dimensional position specified by the position specifying unit.
  • the local display unit 13 displays three-dimensional data including three-dimensional coordinate values (coordinate values on the x-axis, y-axis, and z-axis) of the object to be measured, and a specified one-dimensional position (for example, coordinate values on the x-axis). ) and can be used to create and display local data (detailed images).
  • the local display unit 13 may display a predetermined range in the one-dimensional direction from a specified position in the three-dimensional data corresponding to the one-dimensional direction (for example, a plus or minus threshold value of the specified position coordinate value).
  • a three-dimensional point cloud image (for example, a perspective point cloud image including an abnormal portion) can be displayed.
  • the local display unit 13 displays at least a two-dimensional image (e.g., specified position coordinate value ) can be displayed.
  • FIG. 2 is a flowchart showing a display method according to the first embodiment
  • the global display unit 11 displays a point cloud image generated using three-dimensional data including three-dimensional coordinate values of the object to be measured (step S11).
  • the position specifying unit 12 specifies a one-dimensional position in the three-dimensional data (step S12).
  • the local display unit 13 generates and displays a detailed image of the three-dimensional data based on the designated one-dimensional position (step S13).
  • the program according to the present embodiment is a program for causing a computer to execute the display method as shown in FIG.
  • the display device, display method, and program according to the first embodiment described above can simultaneously display the entire object to be measured and desired details, thereby providing a GUI suitable for inspection and analysis of abnormal points. can be provided to the user.
  • FIG. 3 is a diagram illustrating an example of detecting an abnormality in a water conduit by a sensor according to the second embodiment;
  • a moving object 2 for example, a vehicle, a water surface drone, etc.
  • a LiDAR sensor 5 also called a ranging sensor
  • a sensor directs a laser beam in various directions to irradiate the inner wall of the water conduit (measurement object 6).
  • the sensor receives the reflected laser light from the object to be measured.
  • the sensor may laser almost continuously with a very short period.
  • the movable body 2 may move to any position and irradiate the laser at each position.
  • the sensor measures the distance to each measurement point based on the time it takes from irradiating multiple lasers in the peripheral direction to receiving the reflected light.
  • the sensor can obtain the brightness value of the reflected light, from which the material of the measurement object (eg, metal, fabric, etc.) can be estimated.
  • the sensor 5 can acquire point cloud data including measurement data at a plurality of measurement points measured by the sensor 5 .
  • measurement data may include coordinate values on the x-axis, y-axis, and z-axis at each measurement point.
  • the conduit is elongated in shape and its length can be 50m or longer, 100m or longer, 300m or longer, or 1km or longer, and the like.
  • abnormal points such as the inner wall of the water conduit are detected. For example, it can be determined from the difference in the distances measured by the sensors, that is, from the shape of the abnormal portion (eg, dent, hole, crack). An abnormal point can be detected using a known abnormal point detection program.
  • FIG. 4 is a diagram explaining an example of a graphical user interface according to the second embodiment.
  • This GUI displays point cloud images generated using the acquired three-dimensional data, and can be used to inspect and analyze anomalies.
  • the GUI includes a global display area 4110 , a one-dimensional positioning display area 4120 and a local display area 4130 .
  • a point cloud image generated using the measured three-dimensional data is displayed in the global display area 4110 .
  • the point cloud image displays the entire one-dimensional direction (x-axis direction) so that both ends in the longitudinal direction of the water conduit of the object to be measured are displayed.
  • the global display area 4110 of FIG. 4 the entire top-view point cloud image of the water conduit 6 is displayed.
  • the image displayed in the global display area is merely an example, and may be a side view or a bottom view.
  • the displayed point cloud image may be a two-dimensional image or a three-dimensional image.
  • the one-dimensional position specification display area 4120 displays slider bars 4121 with lengths corresponding to both ends in the longitudinal direction (x-axis direction) of the point cloud image displayed in the global display area 4110 .
  • the slider 4122 can be moved along the slider bar 4121 by the user's designated input.
  • the one-dimensional positioning display area may be displayed overlapping the global display area. It should be noted that, in some embodiments, the direction of this slider bar may correspond to the direction of movement of the vehicle 2 that carries the sensors that acquire the point cloud data.
  • a local display area 4130 generates and displays a detailed image of the three-dimensional data of the measurement object based on the specified one-dimensional position.
  • the detailed image is at least a two-dimensional image (for example, the y-axis and z-axis cross-sections).
  • a three-dimensional point cloud image of a predetermined range in the one-dimensional direction from a position corresponding to the one-dimensional direction in the three-dimensional data for example, a plus or minus threshold range of the specified position coordinate value
  • a perspective point cloud image including an abnormal point can be displayed.
  • FIG. 5 is a block diagram of a configuration of a display system according to a second embodiment;
  • the display system 1 can include a three-dimensional data database 50 and a display device 100 .
  • the display device 100 can include a global display section 110 , a position specifying section 120 , a local data generation section 131 , a local data database 150 and a local display section 130 .
  • display device 100 may include three-dimensional data database 50 .
  • the three-dimensional data database 50 stores three-dimensional data acquired by the sensor 5 (for example, LiDAR) by moving the moving object 2 as described above.
  • the three-dimensional data database 50 can store raw measurement data, which can include coordinate values on the x-axis, y-axis, and z-axis at each measurement point, or point cloud images generated based on the measurement data. can.
  • the global display unit 110 displays a generated point cloud image using three-dimensional data including three-dimensional coordinate values (coordinate values on the x-, y-, and z-axes) of the measurement object. As shown in FIG. 4, the global display unit 110 displays the generated point cloud image in at least one-dimensional direction (eg, x-axis direction).
  • the displayed point cloud image may be a two-dimensional image or a three-dimensional image.
  • the display device 100 generates a point cloud image (global data) based on raw measurement data that can include coordinate values on the x-axis, y-axis, and z-axis at each measurement point. It may also include a global data generator.
  • the position specifying unit 120 determines the scale based on the coordinate value range of the three-dimensional data or the display shape of the global display unit.
  • the scale indicates the one-dimensional position (association) corresponding to the point cloud image displayed on the global display unit 110 based on, for example, the maximum and minimum values in the longitudinal direction of the three-dimensional data. is. In other words, determining the scale quantifies the position of the slider bar so as to correspond to the point cloud image displayed on the global display 110 .
  • the position specifying unit 120 specifies a specific one-dimensional position (for example, coordinate values on the x-axis) in the three-dimensional data.
  • the position specifying unit 120 accepts user input (for example, numeric input using a numeric keypad, cursor position specification using a mouse, or slider bar specification using touch input on a touch panel), and specifies the longitudinal direction of the three-dimensional data (for example, x-axis direction) can be specified.
  • user input for example, numeric input using a numeric keypad, cursor position specification using a mouse, or slider bar specification using touch input on a touch panel
  • the longitudinal direction of the three-dimensional data for example, x-axis direction
  • the local data generation unit 131 generates detailed images (local data) of the three-dimensional data based on the one-dimensional position designated by the position designation unit.
  • the local data generation unit 131 generates three-dimensional data including three-dimensional coordinate values (coordinate values on the x-, y-, and z-axes) of the object to be measured, and a specified one-dimensional position (for example, x-axis coordinates). values) and can be used to create local data (detailed images).
  • a three-dimensional point cloud image of a predetermined range in the one-dimensional direction from a specified position corresponding to the one-dimensional direction in the three-dimensional data may be generated.
  • a specified position corresponding to the one-dimensional direction in the three-dimensional data for example, a range of specified position coordinate values plus or minus a threshold value
  • at least a two-dimensional image for example, cross-sections of the y-axis and z-axis at the specified position coordinate value
  • a specified position eg, x-axis coordinate value
  • the generated image may be processed in various ways, such as by coloring an abnormal portion to make it easier to understand.
  • the local data database 150 stores local data (detailed image data) generated by the local data generation unit 131 .
  • the local data database 150 may be provided external to the display device 100 via a wired or wireless network.
  • the local display unit 130 displays the detailed image generated based on the one-dimensional position specified by the position specifying unit 120.
  • the local display unit 130 displays a predetermined range in the one-dimensional direction from a specified position in the three-dimensional data corresponding to the one-dimensional direction (for example, a specified position coordinate value plus or minus a threshold range).
  • 3D point cloud image (for example, a perspective point cloud image including an abnormal portion) can be displayed.
  • the local display unit 130 displays at least a two-dimensional image (e.g., specified position coordinate value ) can be displayed.
  • the image displayed on the local display unit 130 may be processed in various ways, such as by coloring the abnormal portion to make it easier to understand.
  • FIG. 6 is a flow chart showing a display method according to the second embodiment.
  • the display device 100 reads 3D data from the 3D data database 50 (step S101)
  • the 3D data is then received by the global display unit 110, the position specifying unit 120 and the local data generation unit 131.
  • the global display unit 110 displays a point cloud image generated using three-dimensional data (step S102).
  • the position specifying unit 120 determines the scale based on the coordinate value range (maximum value and minimum value) of the three-dimensional data or the display shape of the point cloud image displayed on the global display unit 110 (step S103). Note that step S102 and step S103 may be performed simultaneously, or one of them may be performed first.
  • the position specifying unit 120 accepts user input and specifies a one-dimensional position (for example, the position of the slider bar in FIG. 4) (step S104).
  • the user can select from a slider bar 4120 that may correspond to the image displayed in the global display area 4110 where they would like to see detail.
  • the local data generation unit 131 generates local data (detailed image data) based on the three-dimensional data, the one-dimensional position specified by user input, and the scale described above (step S105).
  • the generated local data can be stored in the local data database 150 .
  • the local display unit 130 displays the generated local data (detailed image data) (step S106).
  • the local display unit 130 may acquire local data corresponding to the specified one-dimensional position from the local data database 150 and display it.
  • the program according to the present embodiment is a program for causing a computer to execute the display method as shown in FIG.
  • the display device, display method, and program according to the second embodiment described above can simultaneously display the entire elongated measurement object and desired details, making it suitable for inspection and analysis of abnormal points.
  • GUI can be provided to the user.
  • FIG. 7 is a diagram illustrating an example of a graphical user interface according to another embodiment.
  • the GUI of FIG. 7 displays point cloud images generated using the acquired three-dimensional data, and can be used to inspect and analyze abnormal locations.
  • the GUI includes a global display area 4110 , a one-dimensional positioning display area 4120 and a local display area 4130 .
  • a point cloud image generated using the measured three-dimensional data is displayed in the global display area 4110 .
  • the point cloud image displays the entire one-dimensional direction (x-axis direction) so that both ends in the longitudinal direction of the water conduit of the object to be measured are displayed.
  • the entire top-view point cloud image of the water conduit 6 is displayed.
  • the one-dimensional position specification display area 4120 displays slider bars 4121 with lengths corresponding to both ends in the longitudinal direction (x-axis direction) of the point cloud image displayed in the global display area 4110 .
  • the slider 4122 can be moved along the slider bar 4121 by the user's designated input.
  • one-dimensional positions 4123 indicating one or more abnormal locations are displayed on a slider bar 4121 .
  • Anomalies can be detected by running known anomaly detection algorithms on the three-dimensional data.
  • One or more one-dimensional positions (three positions in the example of FIG. 7) of one or more abnormal points thus detected are displayed on the slider bar 4121 in advance. By doing so, the user can easily display and check the detailed image of the abnormal location in the local display area 4130 by moving the slider to the abnormal location on the slider bar.
  • the one-dimensional positioning display area may be displayed overlapping the global display area.
  • a local display area 4130 generates and displays a detailed image of the three-dimensional data of the measurement object based on the specified one-dimensional position.
  • the detailed image is at least a two-dimensional image (for example, the y-axis and z-axis cross-sections).
  • a three-dimensional point cloud image of a predetermined range in the one-dimensional direction from a position corresponding to the one-dimensional direction in the three-dimensional data for example, a plus or minus threshold range of the specified position coordinate value
  • a perspective point cloud image including an abnormal point can be displayed.
  • FIG. 8 is a diagram explaining an example of a graphical user interface according to still another embodiment.
  • the GUI of FIG. 8 displays point cloud images generated using the acquired three-dimensional data, and can be used to inspect and analyze abnormal locations.
  • timestamp information is used as the one-dimensional position.
  • the time stamp information may include the time when the moving body irradiates the object to be measured with the laser and acquires the measurement data.
  • the GUI includes a global display area 4110, a one-dimensional positioning display area 4120, and a local display area 4130.
  • a point cloud image generated using the measured three-dimensional data is displayed in the global display area 4110 .
  • the point cloud image displays the entire one-dimensional direction (x-axis direction) so that both ends in the longitudinal direction of the water conduit of the object to be measured are displayed.
  • the global display area 4110 of FIG. 8 the entire top-view point cloud image of the water conduit 6 is displayed.
  • the current position 4111 of the moving body 2 at the time corresponding to the position of the slider 4122 in the slider bar 4121 of the one-dimensional position designation display area 4120, which will be described later, is displayed.
  • a route 4112 to the current position 4111 of the moving body 2 is also displayed.
  • the one-dimensional position designation display area 4120 displays a slider bar 4121 indicating the time when the object to be measured is irradiated with the laser while the moving body is moving and the measurement data is acquired.
  • the length of the slider bar 4121 in this embodiment does not necessarily correspond to the width of the point cloud image displayed on the global display section.
  • the slider 4122 can be moved along the slider bar 4121 by the user's designated input.
  • a local display area 4130 generates and displays a detailed image of the three-dimensional data of the measurement object based on the specified one-dimensional position (time stamp information).
  • the detailed image is at least a two-dimensional image (for example, y axis and z-axis cross-sections).
  • a predetermined range in the one-dimensional direction from a specified position corresponding to the one-dimensional direction in the three-dimensional data for example, the range of plus or minus threshold of the x-coordinate value corresponding to the time stamp information
  • a three-dimensional point cloud image (for example, a perspective point cloud image including anomalies) can be displayed.
  • FIG. 9 is a diagram illustrating an example of detecting an abnormality in a water conduit by a sensor and a camera according to the third embodiment;
  • a moving body 2 for example, a vehicle, a water surface drone, etc.
  • a camera 4 such as a video camera
  • the camera A moving image is captured in 4
  • a laser beam is emitted from the sensor 5 to the inner wall of the water conduit (measurement object 6).
  • Sensor 5 and camera 4 may each contain timestamp information indicating the time of acquisition. The sensor then receives the reflected laser light from the object to be measured.
  • the sensor may laser almost continuously with a very short period.
  • the movable body 2 may move to any position and irradiate the laser at each position.
  • the sensor measures the distance to each measurement point based on the time it takes from irradiating multiple lasers in the peripheral direction to receiving the reflected light.
  • the sensor can obtain the brightness value of the reflected light, from which the material of the measurement object (eg, metal, fabric, etc.) can be estimated.
  • the sensor 5 can acquire point cloud data including measurement data at a plurality of measurement points measured by the sensor 5 .
  • measurement data may include coordinate values on the x-axis, y-axis, and z-axis at each measurement point.
  • the conduit is elongated in shape and its length may be 50m or longer, 100m or longer, 300m or longer, or 1km or longer, and so on.
  • the camera 4 may be a celestial camera capable of photographing the moving body 2 in all directions (360 degrees).
  • camera 4 may be a video camera or still camera that captures the direction of laser emission of sensor 5, which is a LiDAR.
  • abnormal locations such as the inner wall of the water conduit are detected. For example, it can be determined from the difference in the distances measured by the sensors, that is, from the shape of the abnormal portion (eg, dent, hole, crack).
  • An abnormal point can be detected using a known abnormal point detection program.
  • FIG. 10 is a diagram explaining an example of a graphical user interface according to the third embodiment.
  • This GUI displays point cloud images generated using the acquired three-dimensional data, and can be used to inspect and analyze anomalies.
  • the GUI includes a global display area 4110 , a one-dimensional position specification display area 4120 , a local display area 4130 and a time series data display area 4180 .
  • a point cloud image generated using the measured three-dimensional data is displayed in the global display area 4110 .
  • the point cloud image displays the entire one-dimensional direction (x-axis direction) so that both ends in the longitudinal direction of the water conduit of the object to be measured are displayed.
  • the entire top-view point cloud image of the water conduit 6 is displayed.
  • the one-dimensional position specification display area 4120 displays slider bars 4121 with lengths corresponding to both ends in the longitudinal direction (x-axis direction) of the point cloud image displayed in the global display area 4110 .
  • the slider 4122 can be moved along the slider bar 4121 by the user's designated input.
  • the one-dimensional positioning display area may be displayed to overlap the global display area.
  • a local display area 4130 generates and displays a detailed image of the three-dimensional data of the measurement object based on the specified one-dimensional position.
  • the detailed image is at least a two-dimensional image (for example, the y-axis and z-axis cross-sections).
  • a three-dimensional point cloud image of a predetermined range in the one-dimensional direction from a position corresponding to the one-dimensional direction in the three-dimensional data for example, a plus or minus threshold range of the specified position coordinate value
  • a perspective point cloud image including an abnormal point can be displayed.
  • the time-series data display area 4180 displays images captured by the camera 4.
  • Time-series data having time stamp information that is the same as or similar to the time stamp information corresponding to the position of the slider 4122 on the slider bar 4121 specified by the one-dimensional position specifying unit 120 can be displayed.
  • the images displayed in the time-series data display area 4180 are changed to images in various directions by the user's operation. can be changed.
  • FIG. 11 is a block diagram of a configuration of a display system according to a second embodiment;
  • the display system 1 can include a three-dimensional data database 50, a display device 100, and a time-series data database 250.
  • the display device 100 can include a global display section 110 , a position specifying section 120 , a local data generation section 131 , a local data database 150 , a local display section 130 and a time series data display section 180 .
  • the three-dimensional data database 50 stores the three-dimensional data acquired by the sensor by moving the moving body as described above.
  • the three-dimensional data database 50 stores raw measurement data, which may include coordinate values and time stamp information on the x-axis, y-axis, and z-axis at each measurement point, or point cloud images generated based on the measurement data. can be stored.
  • the global display unit 110 displays a generated point cloud image using three-dimensional data including three-dimensional coordinate values (coordinate values on the x-, y-, and z-axes) of the measurement object. As shown in FIG. 4, the global display unit 110 displays the generated point cloud image in at least one-dimensional direction (eg, x-axis direction).
  • the displayed point cloud image may be a two-dimensional image or a three-dimensional image.
  • the display device 100 generates a point cloud image (global data) based on raw measurement data that can include coordinate values on the x-axis, y-axis, and z-axis at each measurement point. It may also include a global data generator.
  • the position specifying unit 120 determines the scale based on the coordinate value range of the three-dimensional data or the display shape of the global display unit.
  • the scale indicates the point cloud image displayed on the global display unit 110 and the corresponding one-dimensional position (association) based on, for example, the maximum and minimum values in the longitudinal direction of the three-dimensional data. In other words, determining the scale quantifies the position of the slider bar so as to correspond to the point cloud image displayed on the global display 110 .
  • the position specifying unit 120 specifies a specific one-dimensional position (for example, coordinate values on the x-axis) in the three-dimensional data.
  • the position specifying unit 120 accepts a user input (for example, specifying a cursor position with a mouse or specifying a slider bar by touch input on a touch panel), and corresponds to the longitudinal direction (eg, the x-axis direction) of the three-dimensional data. You can specify the position to
  • the local data generator 131 generates detailed images (local data) of the three-dimensional data based on the one-dimensional position designated by the position designator.
  • the local data generation unit 131 generates three-dimensional data including three-dimensional coordinate values (coordinate values on the x-, y-, and z-axes) of the object to be measured, and a specified one-dimensional position (for example, x-axis coordinates). values) and can be used to create local data (detailed images).
  • the local data database 150 stores local data (detailed image data) generated by the local data generation unit 131 .
  • the local display unit 130 displays a detailed image of the three-dimensional data generated based on the one-dimensional position specified by the position specifying unit.
  • the local display unit 130 displays a predetermined range in the one-dimensional direction from a specified position in the three-dimensional data corresponding to the one-dimensional direction (for example, a specified position coordinate value plus or minus a threshold range). ) (for example, a perspective point cloud image including an abnormal portion) can be displayed.
  • the local display unit 130 displays at least a two-dimensional image (e.g., specified position coordinate value ) can be displayed.
  • the time-series data database 250 stores time-series data captured by the camera 4 mounted on the mobile object 2 .
  • the time-series data includes time stamp information including the time when the image was captured by the camera 4 .
  • display device 100 may include time-series data database 250 .
  • the time-series data display unit 180 reads time-series data having time-stamp information that is the same as or similar to the time-stamp information of the image displayed on the local display unit 130, and displays the time-series data.
  • the same or similar time stamp information means that the acquired times are the same or relatively close (for example, the time indicated by the time stamp information plus or minus several seconds or within several milliseconds).
  • FIG. 12 is a flowchart showing a display method according to the third embodiment.
  • the display device 100 reads 3D data including time stamp information from the 3D data database 50 (step S201). 131.
  • the global display unit 110 displays a point cloud image generated using three-dimensional data (step S202).
  • the position specifying unit 120 determines the position based on at least one of the coordinate value range (maximum value and minimum value) of the three-dimensional data, the display shape of the point cloud image displayed on the global display unit 110, the time stamp information range, and the like. to determine the scale (step S203). Note that step S202 and step S203 may be performed simultaneously, or whichever may be performed first.
  • the position specifying unit 120 accepts user input and specifies a one-dimensional position (for example, the position of the slider bar in FIG. 10) (step S204).
  • the user can select from a slider bar 4120 that may correspond to the image displayed in the global display area 4110 where they would like to see detail.
  • the local data generation unit 131 generates local data (detailed image data) based on the three-dimensional data, the one-dimensional position specified by user input, and the scale (step S205).
  • the local display unit 130 displays the generated local data (detailed image data) (step S206).
  • the time-series data display unit 180 acquires time-series data having the same or similar timestamp information as the displayed local data from the time-series data database 250, and displays the time-series data (step S207).
  • the program according to the present embodiment is a program for causing a computer to execute a display method as shown in FIG. 12 .
  • FIG. 13 is a block diagram showing a hardware configuration example of the display device 100.
  • display device 100 includes network interface 1201 , processor 1202 and memory 1203 .
  • the network interface 1201 is used to communicate with other network node devices that make up the communication system.
  • Network interface 1201 may be used to conduct wireless communications.
  • the network interface 1201 may be used for wireless LAN communication defined in IEEE 802.11 series or mobile communication defined in 3GPP (3rd Generation Partnership Project).
  • network interface 1201 may include, for example, an IEEE 802.3 series compliant network interface card (NIC).
  • NIC network interface card
  • the processor 1202 reads and executes software (computer program) from the memory 1203 to perform the processing of the display device 100 described using the flowcharts or sequences in the above embodiments.
  • Processor 1202 may be, for example, a microprocessor, MPU (Micro Processing Unit), or CPU (Central Processing Unit).
  • Processor 1202 may include multiple processors.
  • the memory 1203 is composed of a combination of volatile memory and non-volatile memory.
  • Memory 1203 may include storage remotely located from processor 1202 .
  • processor 1202 may access memory 1203 via an I/O interface, not shown.
  • memory 1203 is used to store software modules.
  • the processor 1202 can perform the processing of the display device 100 described in the above embodiments by reading out and executing these software modules from the memory 1203 .
  • each of the processors of the display device 100 and the like executes one or more programs containing instructions for causing the computer to execute the algorithm described with reference to the drawings.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, DVD (Digital Versatile Disc), semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be delivered to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • (Appendix 1) a global display unit for displaying a point cloud image generated using three-dimensional data including three-dimensional coordinate values of a measurement target; a position specifying unit for specifying a one-dimensional position in the three-dimensional data; A display device comprising a local display unit that generates and displays a detailed image of the three-dimensional data based on the one-dimensional position designated by the position designation unit.
  • Appendix 2 The display device according to appendix 1, wherein the position specifying unit specifies a position corresponding to a longitudinal direction in the three-dimensional data. (Appendix 3) 3.
  • the display device according to appendix 1 or 2, wherein the global display unit displays the generated 3D image at least in its entirety in one dimension.
  • Appendix 4 4. The item according to any one of appendices 1 to 3, wherein the local display unit displays a three-dimensional image of a predetermined range in the one-dimensional direction from a specified position corresponding to the one-dimensional direction in the three-dimensional data. display device.
  • Appendix 5 4. The display device according to any one of appendices 1 to 3, wherein the local display unit displays at least a two-dimensional image at a specified position corresponding to one-dimensional direction in the three-dimensional data.
  • Appendix 6 6.
  • the display device according to any one of appendices 1 to 5, further comprising an abnormal location display unit that displays an abnormal location of the measurement object corresponding to the one-dimensional position.
  • the three-dimensional data has time stamp information indicating the measurement time of the measurement object,
  • the one-dimensional position is a position that can be converted into the timestamp information, 7.
  • the display device according to any one of appendices 1 to 6, wherein the global display unit displays corresponding time stamp information based on the one-dimensional position specified by the position specifying unit.
  • the three-dimensional data has first time stamp information indicating the measurement time of the measurement object, further comprising a time-series data display unit for displaying time-series data having second time stamp information indicating shooting time;
  • the time-series data display unit displays the second time identical or approximate to the first time stamp information of the detailed image displayed by the local display unit based on the one-dimensional position specified by the position specifying unit.
  • the display device according to any one of appendices 1 to 7, which displays time-series data having stamp information.
  • (Appendix 9) displaying a point cloud image generated using three-dimensional data including the three-dimensional coordinate values of the object to be measured; Designating a one-dimensional position in the three-dimensional data, A display method for generating and displaying a detailed image of the three-dimensional data based on the specified one-dimensional position.
  • (Appendix 10) a process of displaying a point cloud image generated using three-dimensional data including the three-dimensional coordinate values of the object to be measured; A process of specifying a one-dimensional position in the three-dimensional data;
  • a non-transitory computer-readable medium storing a program for causing a computer to execute a process of generating and displaying a detailed image of the three-dimensional data based on the designated one-dimensional position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

測定対象物の全体と所望の細部を表示可能な表示装置（１００）等を提供する。本開示の表示装置（１００）は、測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示するグローバル表示部（１１０）と、前記三次元データにおける一次元位置を指定するための位置指定部（１２０）と、前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示するローカル表示部（１３０）と、を備える。

Description

表示装置、表示方法及び非一時的なコンピュータ可読媒体
　本開示は、表示装置、表示方法及びプログラム等に関し、特に、ＬｉＤＡＲ（Light Detection and Ranging）などのセンサにより測定された点群データを表示するための表示装置、表示方法及びプログラム等に関する。
　ＬｉＤＡＲなどのセンサは、測定対象物の各測定点にレーザを照射し、レーザを照射してから、受光するまでの時間に基づいて、各測定点までの距離を算出することができる。こうしたセンサを移動しながら利用して、導水路やトンネルなど測定対象物までの距離やその形状を得ることができる。
　例えば、特許文献１では、プラントなどの施設を表す三次元データを表示する三次元データ表示装置が開示されている。この三次元データ表示装置は、仮想空間に三次元データおよびアバターを配置し、三次元データによって表される施設内でアバターを歩行（ウォークスルー）または飛行（フライスルー）により移動させることで、注目点の全体の外観を二次元データにレンダリングすることができる。
国際公開第２０１７／２０３７９２号
　しかしながら、導水路やトンネルなどの細長い形状の測定対象物の全体を表示する場合、測定対象物のうちの異常箇所などが見えにくいという問題がある。一方、異常箇所のみ細部を表示した場合、当該異常箇所が細長い形状の測定対象物全体のうちのどの位置にあるかが認識し難い。
　本開示は、このような問題点を解決するためになされたものであり、測定対象物の全体と所望の細部を表示可能な表示装置、表示方法及びプログラム等を提供することを目的とする。
　本開示の第１の態様にかかる表示装置は、測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示するグローバル表示部と、
　前記三次元データにおける一次元位置を指定するための位置指定部と、
　前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示するローカル表示部と
を備える。
　本開示の第２の態様にかかる表示方法は、
　測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、
　前記三次元データにおける一次元位置を指定し、
　前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する。
　本開示の第３の態様にかかる非一時的コンピュータ可読媒体は、測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示する処理と、
　前記三次元データにおける一次元位置を指定する処理と、
　前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する処理を、コンピュータに実行させるプログラムを格納している。
　本開示により、測定対象物の全体と所望の細部を表示可能な表示装置、表示方法及びプログラム等を提供することができる。
実施形態１にかかる表示装置の構成を示すブロック図である。 実施形態１にかかる表示方法を示すフローチャートである。 実施形態２にかかる移動体に搭載したセンサでトンネルの内壁を測定する例を示す図である。 実施形態２にかかるグラフィカルユーザインタフェースの例を説明する図である。 実施形態２にかかる表示システムの構成を示すブロック図である。 実施形態２にかかる表示方法を示すフローチャートである。 他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。 更に他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。 実施形態３にかかる移動体に搭載したセンサ及びカメラでトンネルの内壁を測定する例を示す図である。 実施形態３にかかるグラフィカルユーザインタフェースの例を説明する図である。 実施形態３にかかる表示システムの構成を示すブロック図である。 実施形態３にかかる表示方法を示すフローチャートである。 いくつかの実施形態における表示装置又は情報処理装置のハードウェア構成例を示すブロック図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施形態１＞
　図１は、実施形態１にかかる情報処理装置の構成を示すブロック図である。
　表示装置１００は、プロセッサ、メモリ、ＧＵＩ（Graphical User Interface）などを有するコンピュータにより実現される。表示装置１０は、測定対象物を測定するセンサからの点群データを用いて生成された点群画像を表示するために使用されうる。センサは、測定点までの距離を測定するレーダセンサ（例えば、ＬｉＤＡＲ（Light Detection and Ranging））であり得る。具体的には、表示装置１０は、グローバル表示部１１と、位置指定部１２と、ローカル表示部１３と、を備える。
　グローバル表示部１１は、測定対象物の三次元座標値（ｘ軸、ｙ軸、およびｚ軸上の座標値）を含む三次元データを用いて生成された点群画像をグラフィカルに表示する。グローバル表示部１１は、前記生成された点群画像の少なくとも一次元方向（例えば、長手方向、すなわち、ｘ軸方向）の全体を表示する。また、グローバル表示部１１は、前記生成された点群画像の他の一次元方向（例えば、ｚ軸方向）の全体を表示してもよい。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。
　位置指定部１２は、三次元データにおける特定の一次元位置（例えば、ｘ軸上の座標値）を指定する。位置指定部１２は、ユーザ入力（例えば、マウスによるカーソル位置指定、又はタッチパネルへのタッチ入力など）を受け付けて、三次元データのうち長手方向（例えば、ｘ軸方向）に対応する位置を指定することができる。いくつかの実施形態では、一次元方向は、測定対象物を測定するためのセンサを搭載した移動体の移動方向に対応することができる。
　ローカル表示部１３は、前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する。ローカル表示部１３は、測定対象物の三次元座標値（ｘ軸、ｙ軸、およびｚ軸上の座標値）を含む三次元データと、指定された一次元位置（例えば、ｘ軸の座標値）と、を用いて、ローカルデータ（細部画像）を作成し、表示することができる。いくつかの実施の形態では、ローカル表示部１３は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、指定位置座標値のプラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）を表示することができる。他の実施の形態では、ローカル表示部１３は、前記三次元データのうち一次元方向に対応する指定された位置（例えば、ｘ軸の座標値）における少なくとも二次元画像（例えば、指定位置座標値におけるｙ軸およびｚ軸の断面図）を表示することができる。
　図２は、実施形態１にかかる表示方法を示すフローチャートである。
　グローバル表示部１１は、測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示する（ステップＳ１１）。位置指定部１２は、三次元データにおける一次元位置を指定する（ステップＳ１２）。ローカル表示部１３は、前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する（ステップＳ１３）。また、本実施形態に係るプログラムは、コンピュータに図２に示すような表示方法を実行させるためのプログラムである。
　以上説明した実施形態１にかかる表示装置、表示方法およびプログラムは、測定対象物の全体と所望の細部を同時に表示することができ、それによって、異常箇所などの点検・分析等に好適なＧＵＩをユーザに提供することができる。
＜実施形態２＞
　図３は、実施形態２にかかる、センサにより導水路内の異常を検知する例を説明する図である。図３では、ＬｉＤＡＲであるセンサ５（測距センサとも呼ばれる）を搭載した移動体２（例えば、車両、水面ドローンなど）が導水路内を（図３の矢印の方向に）進行しながら、当該センサからレーザを様々な方向に向けて導水路の内壁（測定対象物６）に照射させる。その後、当該センサは測定対象物からのレーザの反射光を受光する。センサは、非常に短い周期でほぼ連続的にレーザを照射してもよい。あるいは、移動体２が任意の位置まで移動し、各位置でレーザを照射してもよい。センサは、周囲方向に多数のレーザを照射してから反射光を受光するまでの時間に基づいて、各測定点までの距離を測定する。あるいは、センサは、反射光の輝度値を取得することができ、それにより測定対象物の材質（例えば、金属か、織物か、など）を推定することができる。このように、センサ５は、センサ５により測定された複数の測定点における測定データを含む点群データを取得することができる。例えば、測定データは、各測定点におけるｘ軸、ｙ軸、およびｚ軸上の座標値を含み得る。図示するように、導水路は、細長い形状であり、その長さは、５０ｍ以上、１００ｍ以上、３００ｍ以上、又は１ｋｍ以上などであり得る。
　本例では、取得した点群データに基づいて、導水路の内壁などの異常箇所を検知する。例えば、センサにより測定される距離の相違、すなわち、異常箇所（例えば、凹み、穴、ひび）の形状から判別することができる。既知の異常箇所検出プログラムを用いて異常箇所を検出することができる。
　図４は、実施形態２にかかるグラフィカルユーザインタフェースの例を説明する図である。このＧＵＩは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。ＧＵＩは、グローバル表示領域４１１０と、一次元位置指定表示領域４１２０と、ローカル表示領域４１３０を含む。グローバル表示領域４１１０には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向（ｘ軸方向）の全体を表示する。図４のグローバル表示領域４１１０には、導水路６の上面視した点群画像の全体が表示されている。なお、グローバル表示領域に示される画像は、例示に過ぎず、側面図又は下面図であってもよい。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。
　一次元位置指定表示領域４１２０は、グローバル表示領域４１１０に表示された点群画像の長手方向（ｘ軸方向）の両端に対応する長さのスライダバー４１２１を表示する。スライダ４１２２は、ユーザの指定入力により、スライダバー４１２１に沿って移動することができる。いくつかの実施形態では、一次元位置指定表示領域は、グローバル表示領域と重なって表示されてもよい。なお、いくつかの実施形態では、このスライダバーの方向は、点群データを取得するセンサを搭載した移動体２の移動方向に対応し得る。
　ローカル表示領域４１３０は、指定された一次元位置に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図４に示すように、三次元データのうち一次元方向に対応する指定された位置（例えば、ｘ軸の座標値）における少なくとも二次元画像（例えば、指定位置座標値におけるｙ軸およびｚ軸の断面図）を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、指定位置座標値のプラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）を表示することができる。
　図５は、実施形態２にかかる表示システムの構成を示すブロック図である。
　表示システム１は、三次元データ用データベース５０と表示装置１００を含み得る。表示装置１００は、グローバル表示部１１０、位置指定部１２０、ローカルデータ生成部１３１、ローカルデータ用データベース１５０、およびローカル表示部１３０を含み得る。いくつかの実施形態では、表示装置１００に三次元データ用データベース５０が含まれる場合もある。
　三次元データ用データベース５０は、前述したように移動体２を移動させてセンサ５（例えば、ＬｉＤＡＲ）により取得した三次元データを格納する。三次元データ用データベース５０は、各測定点におけるｘ軸、ｙ軸、およびｚ軸上の座標値を含み得る生の測定データ、又は測定データに基づいて生成された点群画像を格納することができる。
　グローバル表示部１１０は、測定対象物の三次元座標値（ｘ軸、ｙ軸、およびｚ軸上の座標値）を含む三次元データを用いて、生成された点群画像を表示する。グローバル表示部１１０は、図４に示したように、前記生成された点群画像の少なくとも一次元方向（例えば、ｘ軸方向）の全体を表示する。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。いくつかの実施形態では、表示装置１００は、各測定点におけるｘ軸、ｙ軸、およびｚ軸上の座標値を含み得る生の測定データを元に、点群画像（グローバルデータ）を生成するグローバルデータ生成部を含む場合もある。
　位置指定部１２０は、三次元データの座標値範囲又はグローバル表示部の表示形状に基づき、目盛りを決定する。ここで、目盛りは、三次元データのうち、例えば、長手方向における最大値および最小値に基づいて、グローバル表示部１１０に表示された点群画像と対応する一次元位置（対応付け）を示すものである。言い換えれば、目盛りの決定は、グローバル表示部１１０に表示された点群画像に対応するようにスライダバーの位置を定量化するものである。位置指定部１２０は、三次元データにおける特定の一次元位置（例えば、ｘ軸上の座標値）を指定する。位置指定部１２０は、ユーザ入力（例えば、テンキーパッドによる数値入力、マウスによるカーソル位置指定、又はタッチパネルへのタッチ入力などによるスライダバーの指定）を受け付けて、三次元データのうち長手方向（例えば、ｘ軸方向）に対応する位置を指定することができる。
　ローカルデータ生成部１３１は、位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像（ローカルデータ）を生成する。ローカルデータ生成部１３１は、測定対象物の三次元座標値（ｘ軸、ｙ軸、およびｚ軸上の座標値）を含む三次元データと、指定された一次元位置（例えば、ｘ軸の座標値）と、を用いて、ローカルデータ（細部画像）を作成することができる。いくつかの実施形態では、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、指定位置座標値プラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）が生成され得る。他の実施形態では、三次元データのうち一次元方向に対応する指定された位置（例えば、ｘ軸の座標値）における少なくとも二次元画像（例えば、指定位置座標値におけるｙ軸およびｚ軸の断面図）が生成され得る。生成された画像には、異常箇所を分かりやすく色付けするなど、様々な加工が施されてもよい。
　ローカルデータ用データベース１５０は、ローカルデータ生成部１３１により生成されたローカルデータ（細部画像データ）を格納する。いくつかの実施形態では、ローカルデータ用データベース１５０は、表示装置１００の外部に有線又は無線ネットワークを介して設けられる場合もある。
　ローカル表示部１３０は、前記位置指定部１２０によって前記指定される一次元位置に基づいて生成された前記細部画像を表示する。いくつかの実施形態では、ローカル表示部１３０は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、指定位置座標値プラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）を表示することができる。他の実施の形態では、ローカル表示部１３０は、前記三次元データのうち一次元方向に対応する指定された位置（例えば、ｘ軸の座標値）における少なくとも二次元画像（例えば、指定位置座標値におけるｙ軸およびｚ軸の断面図）を表示することができる。ローカル表示部１３０に表示された画像には、異常箇所を分かりやすく色付けするなど、様々な加工が施されてもよい。
　図６は、実施形態２にかかる表示方法を示すフローチャートである。
　表示装置１００は、三次元データ用データベース５０から三次元データを読み込む（ステップＳ１０１）と、次いで、当該三次元データは、グローバル表示部１１０、位置指定部１２０及びローカルデータ生成部１３１によって受信される。グローバル表示部１１０は、三次元データを用いて生成された点群画像を表示する（ステップＳ１０２）。位置指定部１２０は、三次元データの座標値範囲（最大値と最小値）又はグローバル表示部１１０に表示された点群画像の表示形状などに基づいて、目盛りを決定する（ステップＳ１０３）。なお、ステップＳ１０２とステップＳ１０３は、同時に行われてもよいし、どちらかが先に行われてもよい。
　更に位置指定部１２０は、ユーザ入力を受け付けて、一次元位置（例えば、図４のスライダバーの位置）を指定する（ステップＳ１０４）。ユーザは、グローバル表示領域４１１０に表示された画像に対応し得るスライダバー４１２０から、細部を表示したい箇所を選択することができる。
　ローカルデータ生成部１３１は、三次元データと、ユーザ入力により指定された一次元位置と、前述した目盛りに基づいて、ローカルデータ（細部画像データ）を生成する（ステップＳ１０５）。生成されたローカルデータは、ローカルデータ用データベース１５０に格納され得る。ローカル表示部１３０は、生成されたローカルデータ（細部画像データ）を表示する（ステップＳ１０６）。ローカル表示部１３０は、指定された一次元位置に対応するローカルデータをローカルデータ用データベース１５０から取得して、表示してもよい。また、本実施形態に係るプログラムは、コンピュータに図６に示すような表示方法を実行させるためのプログラムである。
　以上説明した実施形態２にかかる表示装置、表示方法およびプログラムは、細長い形状の測定対象物の全体と所望の細部を同時に表示することができ、それによって、異常箇所などの点検・分析等に好適なＧＵＩをユーザに提供することができる。
　図７は、他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。
　図７のＧＵＩは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。ＧＵＩは、グローバル表示領域４１１０と、一次元位置指定表示領域４１２０と、ローカル表示領域４１３０を含む。グローバル表示領域４１１０には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向（ｘ軸方向）の全体を表示する。図７のグローバル表示領域４１１０には、導水路６の上面視した点群画像の全体が表示されている。
　一次元位置指定表示領域４１２０は、グローバル表示領域４１１０に表示された点群画像の長手方向（ｘ軸方向）の両端に対応する長さのスライダバー４１２１を表示する。スライダ４１２２は、ユーザの指定入力により、スライダバー４１２１に沿って移動することができる。この実施形態における一次元位置指定表示領域４１２０では、スライダバー４１２１上に、１つ以上の異常箇所を示す一次元位置４１２３が表示される。異常箇所は、三次元データに対して既知の異常箇所検出アルゴリズムを実行することで、検出され得る。こうして検出された１つ以上の異常箇所の一次元位置（図７の例では３箇所）を予めスライダバー４１２１上に表示しておく。こうすることで、ユーザは、スライダバー上の異常箇所にスライダを移動させることで、容易にローカル表示領域４１３０に異常箇所の細部画像を表示させて、確認することができる。いくつかの実施形態では、一次元位置指定表示領域は、グローバル表示領域と重なって表示されてもよい。
　ローカル表示領域４１３０は、指定される一次元位置に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図７に示すように、三次元データのうち一次元方向に対応する指定された位置（例えば、ｘ軸の座標値）における少なくとも二次元画像（例えば、指定位置座標値におけるｙ軸およびｚ軸の断面図）を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、指定位置座標値のプラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）を表示することができる。
　図８は、更に他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。
　図８のＧＵＩは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。本実施形態では、一次元位置としてタイムスタンプ情報を利用する。タイムスタンプ情報は、移動体が移動しながら、レーザを測定対象物に照射し、測定データを取得した時刻を含み得る。
　ＧＵＩは、グローバル表示領域４１１０と、一次元位置指定表示領域４１２０と、ローカル表示領域４１３０を含む。グローバル表示領域４１１０には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向（ｘ軸方向）の全体を表示する。図８のグローバル表示領域４１１０には、導水路６の上面視した点群画像の全体が表示されている。また、グローバル表示領域４１１０には、後述する一次元位置指定表示領域４１２０のスライダバー４１２１におけるスライダ４１２２の位置に対応する時刻の移動体２の現在位置４１１１が表示される。また、移動体２の現在位置４１１１までの経路４１１２も表示される。
　一次元位置指定表示領域４１２０は、移動体が移動しながら、レーザを測定対象物に照射し、測定データを取得した時刻を示すスライダバー４１２１を表示する。本実施形態におけるスライダバー４１２１の長さは、必ずしも、グローバル表示部に表示された点群画像の横幅と対応していなくてもよい。スライダ４１２２は、ユーザの指定入力により、スライダバー４１２１に沿って移動することができる。
　ローカル表示領域４１３０は、指定される一次元位置（タイムスタンプ情報）に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図８に示すように、三次元データのうち一次元方向に対応する指定された位置（タイムスタンプ情報）における少なくとも二次元画像（例えば、タイムスタンプ情報に対応するｘ座標値におけるｙ軸およびｚ軸の断面図）を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、タイムスタンプ情報に対応するｘ座標値のプラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）を表示することができる。
＜実施形態３＞
　図９は、実施形態３にかかる、センサ及びカメラにより導水路内の異常を検知する例を説明する図である。図９では、ＬｉＤＡＲであるセンサ５とビデオカメラなどのカメラ４を搭載した移動体２（例えば、車両、水面ドローンなど）が導水路内を（図９の矢印の方向に）進行しながら、カメラ４で動画を撮影するとともに、当該センサ５からレーザを導水路の内壁（測定対象物６）に照射させる。センサ５とカメラ４は、それぞれ取得した時刻を示すタイムスタンプ情報を含み得る。その後、当該センサは測定対象物からのレーザの反射光を受光する。センサは、非常に短い周期でほぼ連続的にレーザを照射してもよい。あるいは、移動体２が任意の位置まで移動し、各位置でレーザを照射してもよい。センサは、周囲方向に多数のレーザを照射してから反射光を受光するまでの時間に基づいて、各測定点までの距離を測定する。あるいは、センサは、反射光の輝度値を取得することができ、それにより測定対象物の材質（例えば、金属か、織物か、など）を推定することができる。このように、センサ５は、センサ５により測定された複数の測定点における測定データを含む点群データを取得することができる。例えば、測定データは、各測定点におけるｘ軸、ｙ軸、およびｚ軸上の座標値を含み得る。図示するように、導水路は、細長い形状であり、その長さは、５０ｍ以上、１００ｍ以上、３００ｍ以上、又は１ｋｍ以上などであり得る。カメラ４は、移動体２の全方位（３６０度）を撮影することができる天球カメラであってもよい。あるいは、カメラ４は、ＬｉＤＡＲであるセンサ５のレーザの放射方向を撮影するビデオカメラ又はスチルカメラであってもよい。
　本例では、取得した点群データおよびカメラの撮影画像に基づいて、導水路の内壁などの異常箇所を検知する。例えば、センサにより測定される距離の相違、すなわち、異常箇所（例えば、凹み、穴、ひび）の形状から判別することができる。既知の異常箇所検出プログラムを用いて異常箇所を検出することができる。
　図１０は、実施形態３にかかるグラフィカルユーザインタフェースの例を説明する図である。このＧＵＩは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。ＧＵＩは、グローバル表示領域４１１０と、一次元位置指定表示領域４１２０と、ローカル表示領域４１３０、時系列データ表示領域４１８０を含む。グローバル表示領域４１１０には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向（ｘ軸方向）の全体を表示する。図１０のグローバル表示領域４１１０には、導水路６の上面視した点群画像の全体が表示されている。
　一次元位置指定表示領域４１２０は、グローバル表示領域４１１０に表示された点群画像の長手方向（ｘ軸方向）の両端に対応する長さのスライダバー４１２１を表示する。スライダ４１２２は、ユーザの指定入力により、スライダバー４１２１に沿って移動することができる。いくつかの実施形態では、一次元位置指定表示領域は、グローバル表示領域と重なるように表示されてもよい。
　ローカル表示領域４１３０は、指定される一次元位置に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図１０に示すように、三次元データのうち一次元方向に対応する指定された位置（例えば、ｘ軸の座標値）における少なくとも二次元画像（例えば、指定位置座標値におけるｙ軸およびｚ軸の断面図）を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、指定位置座標値のプラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）を表示することができる。
　時系列データ表示領域４１８０は、カメラ４で撮影した画像を表示する。一次元位置指定部１２０により指定されたスライダバー４１２１におけるスライダ４１２２の位置に対応するタイムスタンプ情報と同一又は近似のタイムスタンプ情報を有する時系列データを表示することができる。カメラ４が移動体２の全方位（３６０度）を撮影することができるいくつかの実施形態では、時系列データ表示領域４１８０に表示される画像は、ユーザの操作により、様々な向きの画像に変更することができる。
　図１１は、実施形態２にかかる表示システムの構成を示すブロック図である。
　表示システム１は、三次元データ用データベース５０と表示装置１００と時系列データ用データベース２５０とを含み得る。表示装置１００は、グローバル表示部１１０、位置指定部１２０、ローカルデータ生成部１３１、ローカルデータ用データベース１５０、ローカル表示部１３０および時系列データ表示部１８０を含み得る。
　三次元データ用データベース５０は、前述したように移動体を移動させてセンサにより取得した三次元データを格納する。三次元データ用データベース５０は、各測定点におけるｘ軸、ｙ軸、およびｚ軸上の座標値とタイムスタンプ情報を含み得る生の測定データ、又は測定データに基づいて生成された点群画像を格納することができる。
　グローバル表示部１１０は、測定対象物の三次元座標値（ｘ軸、ｙ軸、およびｚ軸上の座標値）を含む三次元データを用いて、生成された点群画像を表示する。グローバル表示部１１０は、図４に示したように、前記生成された点群画像の少なくとも一次元方向（例えば、ｘ軸方向）の全体を表示する。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。いくつかの実施形態では、表示装置１００は、各測定点におけるｘ軸、ｙ軸、およびｚ軸上の座標値を含み得る生の測定データを元に、点群画像（グローバルデータ）を生成するグローバルデータ生成部を含む場合もある。
　位置指定部１２０は、三次元データの座標値範囲又はグローバル表示部の表示形状に基づき、目盛りを決定する。目盛りは、三次元データのうち、例えば、長手方向における最大値および最小値に基づいて、グローバル表示部１１０に表示された点群画像と対応する一次元位置（対応付け）を示すものである。言い換えれば、目盛りの決定は、グローバル表示部１１０に表示された点群画像に対応するようにスライダバーの位置を定量化するものである。位置指定部１２０は、三次元データにおける特定の一次元位置（例えば、ｘ軸上の座標値）を指定する。位置指定部１２０は、ユーザ入力（例えば、マウスによるカーソル位置指定、又はタッチパネルへのタッチ入力などによるスライダバーの指定）を受け付けて、三次元データのうち長手方向（例えば、ｘ軸方向）に対応する位置を指定することができる。
　ローカルデータ生成部１３１は、位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像（ローカルデータ）を生成する。ローカルデータ生成部１３１は、測定対象物の三次元座標値（ｘ軸、ｙ軸、およびｚ軸上の座標値）を含む三次元データと、指定された一次元位置（例えば、ｘ軸の座標値）と、を用いて、ローカルデータ（細部画像）を作成することができる。
　ローカルデータ用データベース１５０は、ローカルデータ生成部１３１により生成されたローカルデータ（細部画像データ）を格納する。
　ローカル表示部１３０は、前記位置指定部によって前記指定される一次元位置に基づいて生成された前記三次元データのうちの細部画像を表示する。いくつかの実施の形態では、ローカル表示部１３０は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲（例えば、指定位置座標値プラスマイナス閾値の範囲）の三次元点群画像（例えば、異常箇所を含む斜視点群画像）を表示することができる。他の実施の形態では、ローカル表示部１３０は、前記三次元データのうち一次元方向に対応する指定された位置（例えば、ｘ軸の座標値）における少なくとも二次元画像（例えば、指定位置座標値におけるｙ軸およびｚ軸の断面図）を表示することができる。
　時系列データ用データベース２５０は、移動体２に搭載されたカメラ４で撮影された時系列データを格納する。時系列データは、カメラ４で撮影された時刻を含むタイムスタンプ情報を含む。いくつかの実施形態では、表示装置１００は、時系列データ用データベース２５０を含む場合がある。
　時系列データ表示部１８０は、ローカル表示部１３０に表示された画像のタイムスタンプ情報と同一又は近似のタイムスタンプ情報を有する時系列データを読み出し、当該時系列データを表示する。同一又は近似のタイムスタンプ情報とは、取得した時刻が同一又は比較的近い（例えば、タイムスタンプ情報が示す時刻プラスマイナス数秒又は数ミリ秒以内の範囲）ことを意味する。
　図１２は、実施形態３にかかる表示方法を示すフローチャートである。
　表示装置１００は、三次元データ用データベース５０からタイムスタンプ情報を含む三次元データを読み込む（ステップＳ２０１）と、次いで、当該三次元データは、グローバル表示部１１０、位置指定部１２０及びローカルデータ生成部１３１によって受信される。グローバル表示部１１０は、三次元データを用いて生成された点群画像を表示する（ステップＳ２０２）。位置指定部１２０は、三次元データの座標値範囲（最大値と最小値）、グローバル表示部１１０に表示された点群画像の表示形状、及びタイムスタンプ情報の範囲などのうち少なくとも１つに基づいて、目盛りを決定する（ステップＳ２０３）。なお、ステップＳ２０２とステップＳ２０３は、同時に行われてもよいし、どちらが先に行われてもよい。
　更に位置指定部１２０は、ユーザ入力を受け付けて、一次元位置（例えば、図１０のスライダバーの位置）を指定する（ステップＳ２０４）。ユーザは、グローバル表示領域４１１０に表示された画像に対応し得るスライダバー４１２０から、細部を表示したい箇所を選択することができる。
　ローカルデータ生成部１３１は、三次元データと、ユーザ入力により指定された一次元位置と、目盛りに基づいて、ローカルデータ（細部画像データ）を生成する（ステップＳ２０５）。ローカル表示部１３０は、生成されたローカルデータ（細部画像データ）を表示する（ステップＳ２０６）。さらに、時系列データ表示部１８０は、表示されたローカルデータとタイムスタンプ情報が同一又は近似の時系列データを、時系列データ用データベース２５０から取得し、当該時系列データを表示する（ステップＳ２０７）。また、本実施形態に係るプログラムは、コンピュータに図１２に示すような表示方法を実行させるためのプログラムである。
　以上説明した実施形態３によれば、前述した実施形態のグローバル表示とローカル表示に加えて、カメラで撮影した時系列データのシーンを表示することができ、それによって、異常箇所などの点検・分析等により一層好適なＧＵＩをユーザに提供することができる。
　図１３は、表示装置１００のハードウェア構成例を示すブロック図である。図１３を参照すると、表示装置１００は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。
　プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された表示装置１００の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
　メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。
　図１３の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された表示装置１００の処理を行うことができる。
　図１３を用いて説明したように、表示装置１００等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
＜その他の実施形態＞
　尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。以上で説明した複数の例は、適宜組み合わせて実施されることもできる。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　　　（付記１）
　測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示するグローバル表示部と、
　前記三次元データにおける一次元位置を指定するための位置指定部と、
　前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示するローカル表示部と
を備える、表示装置。
　　　（付記２）
　前記位置指定部は、前記三次元データのうち長手方向に対応する位置を指定する、付記１に記載の表示装置。
　　　（付記３）
　前記グローバル表示部は、前記生成された三次元画像の少なくとも一次元方向の全体を表示する、付記１又は２に記載の表示装置。
　　　（付記４）
　前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲の三次元画像を表示する、付記１～３のいずれか一項に記載の表示装置。
　　　（付記５）
　前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置における少なくとも二次元画像を表示する、付記１～３のいずれか一項に記載の表示装置。
　　　（付記６）
　前記一次元位置に対応して、前記測定対象物の異常箇所を表示する異常箇所表示部を更に備える、付記１～５のいずれか一項に記載の表示装置。
　　　（付記７）
　前記三次元データは、前記測定対象物の測定時刻を示すタイムスタンプ情報を有し、
　前記一次元位置は、前記タイムスタンプ情報に変換可能な位置であり、
　前記グローバル表示部は、前記位置指定部により指定された一次元位置に基づいて、対応するタイムスタンプ情報を表示する、付記１～６のいずれか一項に記載の表示装置。
　　　（付記８）
　前記三次元データは、前記測定対象物の測定時刻を示す第１のタイムスタンプ情報を有し、
　撮影時刻を示す第２のタイムスタンプ情報を有する時系列データを表示する時系列データ表示部を更に備え、
　前記時系列データ表示部は、前記位置指定部が指定する一次元位置に基づいて、前記ローカル表示部が表示する前記細部画像の前記第１のタイムスタンプ情報と同一又は近似の前記第２のタイムスタンプ情報を有する時系列データを表示する、付記１～７のいずれか一項に記載の表示装置。
　　　（付記９）
　測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、
　前記三次元データにおける一次元位置を指定し、
　前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する、表示方法。
　　　（付記１０）
　測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示する処理と、
　前記三次元データにおける一次元位置を指定する処理と、
　前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する処理を、コンピュータに実行させるプログラムを格納した非一時的なコンピュータ可読媒体。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　表示システム
　２　移動体
　４　カメラ
　５　センサ
　６　測定対象物
　１０　表示装置
　１１　グローバル表示部
　１２　位置指定部
　１３　ローカル表示部
　５０　三次元データ用データベース
　１００　表示装置
　１１０　グローバル表示部
　１２０　位置指定部
　１３０　ローカル表示部
　１３１　ローカルデータ生成部
　１５０　ローカルデータ用データベース
　１８０　時系列データ表示部
　２５０　時系列データ用データベース
　１２０１　ネットワーク・インターフェース
　１２０２　プロセッサ
　１２０３　メモリ
　４１１０　グローバル表示領域
　４１２０　一次元位置指定表示領域
　４１３０　ローカル表示領域
　４１８０　時系列データ表示領域

Claims (10)

  1. 　測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示するグローバル表示部と、
    　前記三次元データにおける一次元位置を指定するための位置指定部と、
    　前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示するローカル表示部と
    を備える、表示装置。
  2. 　前記位置指定部は、前記三次元データのうち長手方向に対応する位置を指定する、請求項１に記載の表示装置。
  3. 　前記グローバル表示部は、前記生成された三次元画像の少なくとも一次元方向の全体を表示する、請求項１又は２に記載の表示装置。
  4. 　前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲の三次元画像を表示する、請求項１～３のいずれか一項に記載の表示装置。
  5. 　前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置における少なくとも二次元画像を表示する、請求項１～３のいずれか一項に記載の表示装置。
  6. 　前記一次元位置に対応して、前記測定対象物の異常箇所を表示する異常箇所表示部を更に備える、請求項１～５のいずれか一項に記載の表示装置。
  7. 　前記三次元データは、前記測定対象物の測定時刻を示すタイムスタンプ情報を有し、
    　前記一次元位置は、前記タイムスタンプ情報に変換可能な位置であり、
    　前記グローバル表示部は、前記位置指定部により指定された一次元位置に基づいて、対応するタイムスタンプ情報を表示する、請求項１～６のいずれか一項に記載の表示装置。
  8. 　前記三次元データは、前記測定対象物の測定時刻を示す第１のタイムスタンプ情報を有し、
    　撮影時刻を示す第２のタイムスタンプ情報を有する時系列データを表示する時系列データ表示部を更に備え、
    　前記時系列データ表示部は、前記位置指定部が指定する一次元位置に基づいて、前記ローカル表示部が表示する前記細部画像の前記第１のタイムスタンプ情報と同一又は近似の前記第２のタイムスタンプ情報を有する時系列データを表示する、請求項１～７のいずれか一項に記載の表示装置。
  9. 　測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、
    　前記三次元データにおける一次元位置を指定し、
    　前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する、表示方法。
  10. 　測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示する処理と、
    　前記三次元データにおける一次元位置を指定する処理と、
    　前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する処理を、コンピュータに実行させるプログラムを格納した非一時的なコンピュータ可読媒体。
PCT/JP2021/036688 2021-10-04 2021-10-04 表示装置、表示方法及び非一時的なコンピュータ可読媒体 WO2023058098A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023552423A JPWO2023058098A5 (ja) 2021-10-04 表示装置、表示方法及びプログラム
PCT/JP2021/036688 WO2023058098A1 (ja) 2021-10-04 2021-10-04 表示装置、表示方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036688 WO2023058098A1 (ja) 2021-10-04 2021-10-04 表示装置、表示方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023058098A1 true WO2023058098A1 (ja) 2023-04-13

Family

ID=85804004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036688 WO2023058098A1 (ja) 2021-10-04 2021-10-04 表示装置、表示方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023058098A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230394751A1 (en) * 2022-06-01 2023-12-07 Shopify Inc. Image generation based on tracked 3d scanning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170599A (ja) * 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
JP2016205837A (ja) * 2015-04-15 2016-12-08 佐藤工業株式会社 トンネルの管理方法
JP2018088139A (ja) * 2016-11-29 2018-06-07 株式会社東芝 ３次元空間可視化装置、３次元空間可視化方法およびプログラム
JP2019137989A (ja) * 2018-02-06 2019-08-22 国立大学法人 東京大学 構造物変状検出装置
JP2020091590A (ja) * 2018-12-04 2020-06-11 三菱電機株式会社 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム
WO2021044628A1 (ja) * 2019-09-06 2021-03-11 三菱電機株式会社 変状検出システムおよび変状検出方法
JP2021143875A (ja) * 2020-03-10 2021-09-24 日本電気株式会社 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170599A (ja) * 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
JP2016205837A (ja) * 2015-04-15 2016-12-08 佐藤工業株式会社 トンネルの管理方法
JP2018088139A (ja) * 2016-11-29 2018-06-07 株式会社東芝 ３次元空間可視化装置、３次元空間可視化方法およびプログラム
JP2019137989A (ja) * 2018-02-06 2019-08-22 国立大学法人 東京大学 構造物変状検出装置
JP2020091590A (ja) * 2018-12-04 2020-06-11 三菱電機株式会社 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム
WO2021044628A1 (ja) * 2019-09-06 2021-03-11 三菱電機株式会社 変状検出システムおよび変状検出方法
JP2021143875A (ja) * 2020-03-10 2021-09-24 日本電気株式会社 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230394751A1 (en) * 2022-06-01 2023-12-07 Shopify Inc. Image generation based on tracked 3d scanning

Also Published As

Publication number Publication date
JPWO2023058098A1 (ja) 2023-04-13

Similar Documents

Publication Publication Date Title
CN109278288B (zh) 用于添加式地制造三维物体的设备
EP3404612B1 (en) Monitoring object shape and deviation from design
KR101948852B1 (ko) 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치
EP3134869B1 (en) 3d point clouds
KR101604037B1 (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
EP3185046B1 (en) Portable backscatter imaging inspection apparatus and imaging method
JP5757950B2 (ja) 非接触物体測定
US10989672B2 (en) Defect inspection device, defect inspection method, and program
US20190170659A1 (en) Defect inspection device, defect inspection method, and program
JP6806154B2 (ja) ガス計測システム及びガス計測プログラム
JP7294778B2 (ja) 製造中または他の作業中における対象物のライブ計測
JP4994259B2 (ja) 可視光を利用した正射投影画像取得システム
WO2023058098A1 (ja) 表示装置、表示方法及び非一時的なコンピュータ可読媒体
JP2004170429A (ja) ３次元情報生成システム及び方法
JP2022179840A (ja) 単木モデリングシステム及び単木モデリング方法
JP2018054296A (ja) 路面検査装置、路面検査方法及びプログラム
JP7427615B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021187957A (ja) コークス炉撮影装置、コークス炉検査装置、画像処理装置および産業設備の撮影装置
WO2022153426A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP2012160063A (ja) 球体の検出方法
Ahmad et al. Comparative analysis of various camera input for videogrammetry
US20230367015A1 (en) Inspection system, extraction device, and inspection method
JP7338788B2 (ja) 検出装置、判定方法、及びプログラム
JP2016024067A (ja) 計測方法および計測装置
CN114329724A (zh) 基于视觉的建筑信息模型bim更新方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959841

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023552423

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE