WO2023112083A1 - 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ - Google Patents

情報処理システム、情報処理方法、プログラム、移動体、管理サーバ Download PDF

Info

Publication number
WO2023112083A1
WO2023112083A1 PCT/JP2021/045773 JP2021045773W WO2023112083A1 WO 2023112083 A1 WO2023112083 A1 WO 2023112083A1 JP 2021045773 W JP2021045773 W JP 2021045773W WO 2023112083 A1 WO2023112083 A1 WO 2023112083A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
model data
point cloud
comparison
dimensional
Prior art date
Application number
PCT/JP2021/045773
Other languages
English (en)
French (fr)
Inventor
駿 菅井
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Priority to JP2022525057A priority Critical patent/JP7118490B1/ja
Priority to PCT/JP2021/045773 priority patent/WO2023112083A1/ja
Priority to JP2022073392A priority patent/JP2023087622A/ja
Priority to JP2022073518A priority patent/JP7228298B1/ja
Publication of WO2023112083A1 publication Critical patent/WO2023112083A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced

Definitions

  • the present invention relates to an information processing system, an information processing method, a program, a mobile object, and a management server.
  • Patent Literature 1 discloses a system that acquires a point cloud of the surrounding environment by LIDAR and flies indoors.
  • Patent Document 1 discloses that the point cloud data acquired by the flying object is transferred to the operator terminal (user terminal), it does not describe the effective use of the point cloud data.
  • the present invention has been made in view of such a background. It is an object of the present invention to provide an information processing system or the like capable of generating result data.
  • An information processing system or the like of the present invention for solving the above problems includes three-dimensional point group model data obtained by converting at least three-dimensional model data relating to components in a structure into point groups, and sensors sensing the inside of the structure.
  • a comparison unit that generates comparison data by comparing three-dimensional point cloud sensing data indicating a result with each other, and a result data generation unit that generates result data based on the comparison data.
  • information capable of generating result data according to comparison data between at least three-dimensional point cloud model data representing components in a structure and three-dimensional point cloud sensing data acquired by a moving object can be provided.
  • FIG. 1 is a diagram showing the configuration of an information processing system according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing the hardware configuration of a management server in FIG. 1
  • FIG. 2 is a block diagram showing the hardware configuration of the user terminal in FIG. 1
  • FIG. FIG. 2 is a block diagram showing the hardware configuration of the mobile body in FIG. 1
  • FIG. 2 is a block diagram showing functions of a management server in FIG. 1
  • FIG. FIG. 2 is a block diagram showing functions of the moving body of FIG. 1
  • It is a flow chart of the information processing method concerning an embodiment of the invention.
  • It is a display example of three-dimensional model data according to the embodiment of the present invention.
  • It is a display example of three-dimensional point cloud model data according to the embodiment of the present invention.
  • An information processing system or the like has the following configuration.
  • [Item 1] A comparison in which three-dimensional point group model data obtained by converting at least three-dimensional model data relating to components within a structure into a point group and three-dimensional point group sensing data indicating the results of sensing the inside of the structure by a sensor are compared with each other.
  • the three-dimensional point cloud model data is generated by moving a virtual sensor within the three-dimensional model data to acquire point cloud data
  • the information processing system according to claim 1 characterized by: [Item 3]
  • the comparison data includes difference information between the 3D point cloud model data and the 3D point cloud sensing data.
  • [Item 4] further comprising a data update unit that generates update data for the three-dimensional model data based on the difference information; 4.
  • the information processing system characterized by: [Item 5]
  • the data updating unit estimates a structure according to the difference information, and generates the update data for changing structure information indicating the structure in the three-dimensional model data. 5.
  • the information processing system characterized by: [Item 8]
  • the texture of the unknown model data is a photographed image acquired when sensing by the sensor, 8.
  • the comparison data is self-position estimation information in the three-dimensional point cloud model data estimated based on self-position estimation information in the three-dimensional point cloud sensing data.
  • An information processing method by a computer characterized by: [Item 11] 3D point cloud model data obtained by converting at least 3D model data of components in a structure into a point group, and 3D point cloud sensing data indicating the result of sensing the inside of the structure by a sensor.
  • a program characterized by causing a computer to execute [Item 12] A comparison in which three-dimensional point group model data obtained by converting at least three-dimensional model data relating to components within a structure into a point group and three-dimensional point group sensing data indicating the results of sensing the inside of the structure by a sensor are compared with each other.
  • a comparison unit that generates data
  • a result data generation unit that generates result data based on the comparison data
  • a moving body characterized by: [Item 13] A comparison in which three-dimensional point group model data obtained by converting at least three-dimensional model data relating to components within a structure into a point group and three-dimensional point group sensing data indicating the results of sensing the inside of the structure by a sensor are compared with each other.
  • a data update unit that generates update data for the three-dimensional model data based on the data
  • a management server characterized by:
  • Embodiments of an information processing system, an information processing method, a program, a mobile object, and a management server according to embodiments of the present invention will be described below.
  • the same or similar elements are denoted by the same or similar reference numerals and names, and duplicate descriptions of the same or similar elements may be omitted in the description of each embodiment.
  • the features shown in each embodiment can be applied to other embodiments as long as they are not mutually contradictory.
  • the information processing system includes a management server 1, one or more user terminals 2, one or more mobile objects 4 (for example, an aircraft or a running object), one It has the mobile body storage device 5 described above.
  • the management server 1, the user terminal 2, the mobile unit 4, and the mobile unit storage device 5 are connected so as to be able to communicate with each other via a network.
  • the illustrated configuration is only an example, and is not limited to this.
  • FIG. 2 is a diagram showing the hardware configuration of the management server 1. As shown in FIG. Note that the illustrated configuration is an example, and other configurations may be employed.
  • the management server 1 is connected to the user terminal 2, the mobile unit 4, and the mobile unit storage device 5, and constitutes part of this system.
  • the management server 1 may be, for example, a general-purpose computer such as a workstation or personal computer, or may be logically realized by cloud computing.
  • the management server 1 includes at least a processor 10 , a memory 11 , a storage 12 , a transmission/reception section 13 , an input/output section 14 and the like, which are electrically connected to each other through a bus 15 .
  • the processor 10 is an arithmetic device that controls the overall operation of the management server 1, controls transmission and reception of data between elements, executes applications, and performs information processing necessary for authentication processing.
  • the processor 10 is a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit), and executes programs for this system stored in the storage 12 and developed in the memory 11 to perform each information processing. .
  • the memory 11 includes a main memory composed of a volatile memory device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive). .
  • the memory 11 is used as a work area or the like for the processor 10, and stores a BIOS (Basic Input/Output System) executed when the management server 1 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 12 stores various programs such as application programs.
  • a database storing data used for each process may be constructed in the storage 12 .
  • the transmission/reception unit 13 connects the management server 1 to the network.
  • the transmitting/receiving unit 13 may include a short-range communication interface of Bluetooth (registered trademark) and BLE (Bluetooth Low Energy).
  • the input/output unit 14 is an information input device such as a keyboard and mouse, and an output device such as a display.
  • a bus 15 is commonly connected to the above elements and transmits, for example, address signals, data signals and various control signals.
  • the user terminal 2 shown in FIG. 3 also includes a processor 20 , a memory 21 , a storage 22 , a transmission/reception section 23 , an input/output section 24 and the like, which are electrically connected to each other through a bus 25 . Since the function of each element can be configured in the same manner as the management server 1 described above, detailed description of each element will be omitted.
  • the moving object 4 is a known moving object including flying objects such as drones and unmanned aerial vehicles, and traveling objects such as unmanned ground vehicles, and particularly autonomously controllable moving objects.
  • flying objects such as drones and unmanned aerial vehicles
  • traveling objects such as unmanned ground vehicles, and particularly autonomously controllable moving objects.
  • FIG. 4 is a block diagram showing the hardware configuration of the running body 4.
  • Controller 41 may have one or more processors, such as programmable processors (eg, central processing units (CPUs)).
  • controller 41 is an arithmetic device that controls the operation of the entire mobile body 4, controls transmission and reception of data between elements, executes applications, and performs information processing necessary for authentication processing.
  • the controller 41 has a memory 411 and can access the memory.
  • Memory 411 stores logic, code, and/or program instructions executable by controller 41 to perform one or more steps.
  • the controller 41 may also include sensors 412 such as an inertial sensor (acceleration sensor, gyro sensor), GPS sensor, proximity sensor (for example, rider).
  • the memory 411 may include a separable medium such as an SD card or random access memory (RAM) or an external storage device, for example. Data acquired from cameras/sensors 42 may be communicated directly to memory 411 and stored. For example, still image/moving image data captured by a camera or the like may be recorded in the built-in memory or the external memory. , the user terminal 2, or the mobile storage device 5.
  • the camera 42 may be installed on the traveling body 4 via a gimbal.
  • the controller 41 includes a control module (not shown) configured to control the state of the running body 4.
  • the control module controls the running parts of the vehicle (motor 45, wheels 46, etc.) to adjust the vehicle's spatial position, speed and/or acceleration.
  • a motor 45 powered by a battery 48 rotates a wheel 46 to generate a propulsion force for the vehicle.
  • a control module can control one or more of the states of the cameras/sensors 42 . Then, it is possible to configure so as to perform autonomous movement control based on movement route information stored in a movement route information storage unit 480, which will be described later.
  • a movement route information storage unit 480 which will be described later.
  • the motor 45 is provided for each wheel 46, but instead of this, it may be common for two front and rear wheels (that is, two motors 45 for front and rear), or four front and rear wheels.
  • the wheels may be common (that is, one motor 45), and these are not limited.
  • Controller 41 is configured to transmit and/or receive data from one or more external devices (eg, transceiver (propo) 49, management server 1, terminal, display device, or other remote controller). It is possible to communicate with the transmitting/receiving unit 47 that is connected. Transceiver 49 may use any suitable means of communication, such as wired or wireless communication.
  • external devices eg, transceiver (propo) 49, management server 1, terminal, display device, or other remote controller.
  • the transceiver 47 utilizes one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) networks, telecommunications networks, cloud communications, and the like. can do.
  • LAN local area network
  • WAN wide area network
  • P2P point-to-point
  • Transmitting/receiving unit 47 transmits and/or can receive.
  • the cameras/sensors 42 include inertial sensors (acceleration sensors, gyro sensors), GPS sensors, proximity sensors (e.g., LiDAR (Light Detection And Ranging), etc.), or vision/image sensors (e.g., cameras).
  • inertial sensors acceleration sensors, gyro sensors
  • GPS sensors GPS sensors
  • proximity sensors e.g., LiDAR (Light Detection And Ranging), etc.
  • vision/image sensors e.g., cameras.
  • FIG. 5 and 6 are block diagrams illustrating functions implemented in the management server 1 and mobile unit 4, respectively.
  • a three-dimensional 3D point cloud model data obtained by converting model data (e.g., BIM data, CAD data, etc.) into point groups, and 3D point cloud sensing data (e.g., SLAM data, etc.) indicating the results of sensing inside a structure using sensors. are compared with each other to generate comparison result information, and to generate result data according to the comparison result information.
  • model data e.g., BIM data, CAD data, etc.
  • 3D point cloud sensing data e.g., SLAM data, etc.
  • the management server 1 includes a communication unit 110, a 3D point cloud model data generation unit 120, a data update unit 130, an information output unit 140, a 3D model data storage unit 150, and an acquired data storage unit 160.
  • the moving body 4 includes a communication unit 410, a three-dimensional point cloud sensing data acquisition unit 420, a comparison unit 430, a comparison result data transmission unit 440, a self-position estimation unit 450, a three-dimensional data storage unit 460, and a generated data storage unit 470. , and a moving route information storage unit 480 .
  • Various functional units may be implemented in either the processor 10 or the controller 41 according to the capabilities of the processor 10 of the management server 1 or the controller 41 of the mobile unit 4 .
  • the communication unit 110 communicates with the user terminal 2, the mobile unit 4, and the mobile unit storage device 5.
  • the communication unit 110 also functions as a reception unit that receives various requests, data, and the like from the user terminal 2 and the like.
  • the 3D point cloud model data generation unit 120 converts 3D model data including configuration information (including dimensional information) on the components in the structure and arrangement information on the arrangement of the components into Generate 3D point cloud model data.
  • the three-dimensional model data and the three-dimensional point cloud model data are data represented by a three-dimensional orthogonal coordinate system with an arbitrary set point as the origin (reference point). stored and managed.
  • 3D model data is 3D model data that shows the layout of components within a structure and has dimensional information, created based on data created with CAD (Computer-Aided Design) design software, etc.
  • CAD Computer-Aided Design
  • BIM Building Information Modeling
  • CIM Construction Information Modeling
  • GML GML data
  • 3D model data e.g., 3D model data obtained by extracting surface position information, etc., excluding material information, etc.
  • 3D model data attached to BIM data
  • multiple types of 3D model data e.g., BIM data and City- 3D model data reconstructed by combining GML data, etc.
  • a 3D model obtained by generating a structure having a predetermined height based on 2D blueprint data It may be data.
  • the method of generating the 3D point cloud model data may be any method as long as it is possible to generate 3D point cloud model data related to components within the structure from the 3D model data.
  • a virtual mobile object 4 equipped with a virtual sensor for example, a virtual LiDAR
  • 3D point cloud model data relating to the components within the structure may be generated.
  • point cloud data close to the point cloud sensing data when the inside of the structure is actually measured by the sensor of the moving body 4 .
  • Another method for generating 3D point cloud model data is to convert the 3D model data into point groups evenly at predetermined intervals. may be arranged to form point groups, or point groups may be formed using a known point group forming technique (conversion technique to point group data).
  • the communication unit 410 communicates with the management server 1, the user terminal 2, and the mobile storage device 5.
  • the communication unit 410 also functions as a reception unit that receives various requests, data, etc. from the user terminal 2 or the like.
  • the three-dimensional point group sensing data acquisition unit 420 is a three-dimensional point group sensing data generated by actually measuring the inside of the structure that is the target of the three-dimensional model data with a sensor (for example, LiDAR) mounted on the moving body 4. Get data.
  • the three-dimensional point group sensing data is data represented by a three-dimensional orthogonal coordinate system with an arbitrary set point as the origin (reference point), and is stored and managed in the three-dimensional data storage unit 460. .
  • the comparison unit 430 compares, for example, the 3D point cloud model data generated by the 3D point cloud model data generation unit 120 and the 3D point cloud sensing data, and generates comparison data.
  • the three-dimensional model data is stored in the three-dimensional data storage unit 460 from the management server 1 in advance and managed, and the comparison data is stored in the generated data storage unit 470 and managed, for example.
  • the comparison method may be any method as long as comparison data can be generated by comparing point groups, and may be an existing technique for comparison between point groups. Perform fitting of 3D point cloud data (including scale adjustment if the scales of both 3D point cloud data are different), and compare 3D point cloud sensing data based on points of 3D point cloud model data, for example. It is also possible to generate comparison data for points with a predetermined deviation width, or for points where the presence or absence of points is different in the first place. The space is separated by voxels of different heights, and points of the 3D scan point cloud data exist in the voxels where there were no points in the 3D point cloud model data. good too.
  • the comparison data may be differential point cloud data, which is point cloud data in which the difference between the two is greater than or equal to a predetermined value.
  • differential point cloud data point cloud data in which the difference between the two is greater than or equal to a predetermined value.
  • the comparison of the point cloud data by the comparison unit 430 may be performed by comparing the 3D point cloud sensing data after moving along a predetermined movement route with the 3D point cloud model data. It may be a comparison between the acquired partial 3D point cloud sensing data and the 3D point cloud model data. In the latter case of comparison, the comparison data may include self-position estimation information in the 3D point cloud model data estimated based on self-position estimation information in the 3D point cloud sensing data.
  • the result data transmission unit 440 generates result data based on the comparison data generated by the comparison unit 430 via the communication unit 410, and transmits it to the outside (especially the management server 1 and the user terminal 2).
  • the result data may be, for example, the comparison data used as it is, or the comparison data edited by deleting unnecessary information (for example, information whose deviation width is smaller than a predetermined value) from the comparison data. There may be.
  • the data update unit 130 generates update data for updating the 3D model data based on the result data received from the mobile object 4, and updates the 3D model data according to the update data.
  • the result data may be stored and managed in the acquired data storage unit 160 .
  • the data updating unit 130 uses, for example, a learning model for estimating structure information in the 3D model data from the shape of the point cloud, or uses a learning model to estimate the shape of the structure in the 3D model data.
  • the configuration information of the configuration that has changed In particular, in addition to estimating what the component is (such as component identification information and component type information), it is also possible to determine which component has changed in comparison with the 3D model data (number of components).
  • the data updating unit 130 adjusts the structure information of the three-dimensional model data to change, for example, adds or deletes the model data of the structure for which the change is determined, or changes the position of the structure. to change or update. As a result, it is possible to update the three-dimensional model data to reflect the state of the components in the structure at the time of sensing by the moving body 4 .
  • the data updating unit 130 updates the configuration information (particularly, what kind of configuration the configuration is, such as configuration identification information and configuration type information). (information specifying the type of object) cannot be estimated, but it is estimated that some kind of structure exists, for example, unknown model data of a predetermined shape indicating that it could not be estimated (for example, a cylinder or a square column) ) may be placed on the 3D model data, or the shape of an unknown structure (approximation).
  • the unknown model data including the shape obtained by the comparison
  • the difference point cloud data especially the point cloud data increased as a result of the comparison
  • the point groups may be superimposed and arranged by coloring to indicate that they are point groups that did not exist.
  • the textures of the unknown model data mentioned above are treated as textures that are different from other components (for example, textures with conspicuous single colors, textures with symbols such as question mark, text "unknown", etc.)
  • a photographed image of the position of an unknown structure obtained when point cloud data is obtained by sensing with a sensor may be used as the texture of the unknown model data.
  • the information output unit 140 outputs three-dimensional model data, three-dimensional point cloud model data, three-dimensional point cloud sensing data stored in the three-dimensional data storage unit 150, result data and photographed data stored in the acquired data storage unit 160 ( output information to be transmitted to the user terminal 2 or the moving body 4 based on the moving route information and self-location information stored in the moving-related information storage unit 170;
  • output information for displaying three-dimensional model data and movement route information on the user terminal 2 output information for displaying the current position based on the current self-position information, acquisition Browsing 3D data (for example, 3D model data or 3D point cloud data) with marks such as symbols that serve as a link for browsing acquired information corresponding to the position associated with the location information of the information.
  • 3D data related to BIM data it is possible to have information for each structure that constitutes 3D data in association with BIM data, so it is possible to link each structure (for example, link generation) becomes possible.
  • FIG. 7 illustrates a flowchart of information processing according to this embodiment.
  • 8-11 illustrate each three-dimensional data.
  • the management server 1 converts 3D model data (see FIG. 8, for example, 3D model data generated from BIM data) about the structure of the structure into point groups by the 3D point cloud model data generation unit.
  • 3D model data (see FIG. 8, for example, 3D model data generated from BIM data) about the structure of the structure into point groups by the 3D point cloud model data generation unit.
  • Three-dimensional point cloud model data (see FIG. 9) is generated (S101).
  • the generated three-dimensional point cloud model data is transmitted to the moving object 4 via the communication unit 101 (S102).
  • the 3D point cloud model data received by the mobile object 4 may be stored in the 3D data storage unit 460, for example.
  • S102 may be executed at any timing as long as it is executed before the comparison process is performed in the moving body 4 .
  • the mobile body 4 starts autonomous movement based on the movement route information stored in the movement-related information storage unit 170 and the control of the controller 41 in order to actually measure the inside of the structure with the sensor (S103). Then, the moving body 4 obtains the three-dimensional point cloud sensing data generated by the sensor (for example, LiDAR) during movement by the three-dimensional point cloud sensing data acquisition unit 420 (as illustrated in FIG. 10, (S104).
  • the moving route information may be, for example, information related to the moving route generated by the user using the user terminal 2, or may be information storing the moving route in which the moving body 4 is moved by an external controller such as a propo. good. Further, the movement of the moving object 4 is not limited to the autonomous movement described above, and may be made to move according to the input operation of the user terminal 2 or an external controller.
  • the moving object 4 compares the acquired 3D point cloud sensing data with the 3D point cloud model data to generate comparison data during at least either during movement or after the end of movement by the comparison unit 430.
  • the comparison data is obtained by comparing the partial 3D point cloud sensing data and the 3D point cloud model data, and the 3D point cloud estimated based on the self-position estimation information in the 3D point cloud sensing data. Self-position estimation information in the original point cloud model data may be included.
  • the comparison data is generated by, for example, comparing both three-dimensional point cloud data (both three-dimensional point cloud data are superimposed in the illustration of FIG.
  • the comparison data may be displayed superimposed on at least one of the 3D point cloud model data and the 3D point cloud sensing data, as illustrated in FIG.
  • the mobile unit 4 generates result data based on the comparison data generated by the comparison unit 430 via the communication unit 410 using the result data transmission unit 440, and sends it to the outside (especially the management server 1 and the user terminal 2).
  • the result data may be obtained by using the comparison data as it is, or by deleting unnecessary information (for example, information whose deviation width is smaller than a predetermined value) from the comparison data. It may be edited data.
  • Result data is not limited to data based on single comparison data corresponding to three-dimensional point cloud sensing data sensed from a predetermined position, but data summarizing multiple comparison data at multiple positions sensed while the moving body 4 is moving.
  • difference point cloud data obtained by superimposing a plurality of difference point cloud data 600 corresponding to a plurality of three-dimensional point cloud sensing data at a plurality of positions. Note that such a summarizing process may be performed in step S107 in the moving body 4, or may be performed in the management server 1 in step S108, which will be described later.
  • the management server 1 uses the updating unit 130 to update the 3D model data based on the received result data (S108).
  • the updating is performed by estimating the structure information of the structure that has changed based on the result data, and adjusting the structure information of the 3D model data to the change determined from the result data, for example, updating the structure whose change has been determined. Add, delete, or change the position of model data.
  • the management server 1 uses the information output unit 140 to transmit output information for displaying at least predetermined information on the user terminal 2 (for example, as described above, display for visualizing three-dimensional model data and moving route information).
  • output information for enabling viewing of the three-dimensional data marked with is generated (S109).
  • the generated output information may then be transmitted to the user terminal 2 or the mobile object 4 .
  • the present invention provides information capable of generating result data according to comparison data between at least three-dimensional point cloud model data representing components in a structure and three-dimensional point cloud sensing data acquired by a moving object.
  • a processing system and the like can be provided.
  • 3D point cloud sensing data may be generated by other functional units (communication unit 410, 3D point cloud sensing data acquisition unit 420, comparison unit 430, comparison result data transmission unit 440, self-position estimation unit 450 , three-dimensional data storage unit 460, generated data storage unit 470, moving route information storage unit 480, etc.), the sensor device is directly or communicatively connected to a terminal (including the user terminal 2) or through the terminal.
  • the configuration may be implemented in the processor or memory of the connected management server 1 . In that case, the movement start step of S103 may be a step of activating the sensor and moving the worker.
  • the acquisition of information inside the structure by the moving body 4 was taken as a specific example.
  • the 3D model data including the data that the 3D model data is converted into a point group the 3D point cloud sensing data is compared with the 3D point cloud model data to obtain the same results as in the structure. It is possible to generate data, acquire self-position estimation information, and update the configuration outside the structure (for example, a signboard, an antenna, an extended configuration, etc.) by the updating unit 130 .
  • the treatments for both the inside and outside of the structure may be combined.
  • the mobile body 4 may further include devices, equipment, etc. that are used to check the presence or absence of a predetermined event on the inner wall and/or the outer wall of the structure. More specifically, imaging devices (visible light cameras, infrared cameras, metal detectors, ultrasonic measuring devices, etc.), keying devices, etc., detection devices (metal detectors), sound collectors, odor measuring devices, gas detectors All devices necessary for knowing the state of the structure to be inspected, such as instruments, air pollution measuring instruments, detection devices (devices for detecting cosmic rays, radiation, electromagnetic waves, etc.), can be adopted.
  • imaging devices visible light cameras, infrared cameras, metal detectors, ultrasonic measuring devices, etc.
  • detection devices metal detectors
  • sound collectors odor measuring devices
  • gas detectors All devices necessary for knowing the state of the structure to be inspected, such as instruments, air pollution measuring instruments, detection devices (devices for detecting cosmic rays, radiation, electromagnetic waves, etc.), can be adopted.
  • the embodiment may be executed, for example, when guarding or monitoring inside a structure, and may further include devices, equipment, etc. used for guarding or monitoring. More specifically, security and monitoring structures such as imaging devices (visible light cameras, infrared cameras, night vision cameras, metal detectors, ultrasonic measuring devices, etc.) and sensor devices (motion sensors, infrared sensors, etc.) Any device necessary for imaging and detecting anomalies in the system, intruders, etc., can be employed.
  • imaging devices visible light cameras, infrared cameras, night vision cameras, metal detectors, ultrasonic measuring devices, etc.
  • sensor devices motion sensors, infrared sensors, etc.
  • the mobile body of the present invention can be suitably used as a mobile body for photography equipped with a camera or the like, and can also be used in security fields, infrastructure monitoring, surveying, sports venues, factories, warehouses, and other buildings and structures. It can also be used in various industries such as inspection and disaster response.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】本発明は、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供すること。 【解決手段】本発明の情報処理システム等は、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果データ生成部と、を備える。前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサ を移動させて点群データを取得することで点群化して生成される。

Description

情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
　本発明は、情報処理システム、情報処理方法、プログラム、移動体、管理サーバに関する。
　近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）や無人地上車両（ＵＧＶ：Ｕｎｍａｎｎｅｄ　Ｇｒｏｕｎｄ　Ｖｅｈｉｃｌｅ）などの走行体などの自律制御可能な移動体が産業に利用され始めている。こうした中で、特許文献１には、ＬＩＤＡＲにより周辺環境のポイントクラウド（点群）を取得して屋内を飛行するシステムが開示されている。
特開２０２０－１３１９３０号公報
　しかしながら、上記特許文献１では、飛行体が取得した点群データはオペレータ端末（ユーザ端末）に転送される旨が開示されているものの、点群データの有効利用については記載されていない。
　本発明はこのような背景を鑑みてなされたものであり、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供することを目的とする。
　上記課題を解決するための本発明の情報処理システム等は、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果データ生成部と、を備える。
　本発明によれば、特に、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供することができる。
本発明の実施の形態にかかる情報処理システムの構成を示す図である。 図１の管理サーバのハードウェア構成を示すブロック図である。 図１のユーザ端末のハードウェア構成を示すブロック図である。 図１の移動体のハードウェア構成を示すブロック図である。 図１の管理サーバの機能を示すブロック図である。 図１の移動体の機能を示すブロック図である。 本発明の実施の形態にかかる情報処理方法のフローチャートである。 本発明の実施の形態にかかる三次元モデルデータの表示例である。 本発明の実施の形態にかかる三次元点群モデルデータの表示例である。 本発明の実施の形態にかかる三次元点群センシングデータの表示例である。 本発明の実施の形態にかかる三次元データ同士をフィッティングした際の表示例である。 本発明の実施の形態にかかる比較データの表示例である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。
［項目１］
　少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
　前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
　ことを特徴とする情報処理システム。
［項目２］
　前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成される、
　ことを特徴とする請求項１に記載の情報処理システム。
［項目３］
　前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ間の差分情報を含む、
　ことを特徴とする請求項１または２のいずれかに記載の情報処理システム。
［項目４］
　前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部をさらに備える、
　ことを特徴とする請求項３に記載の情報処理システム。
［項目５］
　前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータにおける前記構成物を示す構成物情報の変更のための前記更新データを生成する、
　ことを特徴とする請求項４に記載の情報処理システム。
［項目６］
　前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータを前記三次元モデルデータ上に配置する、
　ことを特徴とする請求項５に記載の情報処理システム。
［項目７］
　前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデルデータを前記三次元モデルデータ上に配置する、
　ことを特徴とする請求項５に記載の情報処理システム。
［項目８］
　前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得された撮影画像である、
　ことを特徴とする請求項６または７のいずれかに記載の情報処理システム。
［項目９］
　前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づき推定される前記三次元点群モデルデータにおける自己位置推定情報である、
　ことを特徴とする請求項１ないし８のいずれかに記載の情報処理システム。
［項目１０］
　比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
　結果データ生成部により、前記比較データに基づく結果データを生成するステップと、を含む、
　ことを特徴とするコンピュータによる情報処理方法。
［項目１１］
　比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
　結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
　をコンピュータに実行させることを特徴とするプログラム。
［項目１２］
　少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
　前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
　ことを特徴とする移動体。
［項目１３］
　少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新データを生成するデータ更新部、を備える、
　ことを特徴とする管理サーバ。
＜実施の形態の詳細＞
　以下、本発明の実施の形態による情報処理システム、情報処理方法、プログラム、移動体、管理サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜構成＞
　図１に示されるように、本実施の形態における情報処理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の移動体４（例えば、飛行体や走行体など）と、一以上の移動体格納装置５とを有している。管理サーバ１と、ユーザ端末２と、移動体４と、移動体格納装置５は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、移動体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよい。
＜管理サーバ１＞
　図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　図示されるように、管理サーバ１は、ユーザ端末２と、移動体４、移動体格納装置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
　管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
　プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
　メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　／　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。
　送受信部１３は、管理サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
　入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜ユーザ端末２＞
　図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
＜移動体４＞
　移動体４は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含む既知の移動体であって、特に自律制御可能な移動体である。移動体４の具体的な例として、走行体４を例示して以下で説明する。図４は、走行体４のハードウェア構成を示すブロック図である。コントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　また、コントローラ４１は、移動体４全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。コントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにコントローラ４１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、コントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
　メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ類４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２、移動体格納装置５のいずれかに１つに記録されてもよい。カメラ４２は走行体４にジンバルを介して設置されていてもよい。
　コントローラ４１は、走行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、走行体の空間的配置、速度、および／または加速度を調整するために、走行体の走行部（モータ４５や車輪４６等）を制御する。バッテリー４８から給電されるモータ４５により車輪４６が回転することで走行体の推進力を生じさせる。制御モジュールは、カメラ／センサ類４２の状態のうちの１つ以上を制御することができる。そして、後述の移動経路情報記憶部４８０に格納された移動経路情報に基づき、自律移動制御を行うように構成することも可能である。なお、図４の例示においては、モータ４５が車輪４６ごとに設けられているが、これに代えて前後各２つの車輪で共通としたり（すなわち、モータ４５が前後で２つ）、前後４つの車輪で共通としたり（すなわち、モータ４５が１つ）してもよく、これらは限定されない。
　コントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、管理サーバ１、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部４７は、カメラ／センサ類４２で取得したデータ、コントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるカメラ／センサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）等）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
　図５及び図６は、管理サーバ１及び移動体４に実装される機能をそれぞれ例示したブロック図である。本発明の実施の形態においては、例えば、構造物（例えばビルなどの建物）内の構成物（例えば、壁、柱、階段、設備など）の構成物情報及び構成物の配置情報を含む三次元モデルデータ（例えば、ＢＩＭデータやＣＡＤデータなど）を点群化した三次元点群モデルデータと、構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータ（例えば、ＳＬＡＭデータなど）と、を互いに比較した比較結果情報を生成し、当該比較結果情報に応じた結果データを生成するために各種機能部を有している。
　本実施の形態においては、管理サーバ１は、通信部１１０、三次元点群モデルデータ生成部１２０、データ更新部１３０、情報出力部１４０、三次元モデルデータ記憶部１５０、取得データ記憶部１６０を備えている。さらに、移動体４は、通信部４１０、三次元点群センシングデータ取得部４２０、比較部４３０、比較結果データ送信部４４０、自己位置推定部４５０、三次元データ記憶部４６０、生成データ記憶部４７０、移動経路情報記憶部４８０を備えている。なお、各種機能部は、管理サーバ１のプロセッサ１０または移動体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはコントローラ４１のうちのいずれの構成において実現されていてもよい。
　通信部１１０は、ユーザ端末２や、移動体４、移動体格納装置５と通信を行う。通信部１１０は、ユーザ端末２等からの各種要求やデータ等を受け付ける受付部としても機能する。
　三次元点群モデルデータ生成部１２０は、構造物内の構成物に関する構成物情報（寸法情報も含む）及び構成物の配置に関する配置情報を含む三次元モデルデータから、構造物内の構成物に関する三次元点群モデルデータを生成する。三次元モデルデータ、三次元点群モデルデータは、それぞれ設定された任意の点を原点（基準点）とした三次元の直交座標系により表現されるデータであって、三次元データ記憶部１５０に記憶されて管理される。
　三次元モデルデータは、ＣＡＤ（Ｃｏｍｐｕｔｅｒ―Ａｉｄｅｄ　Ｄｅｓｉｇｎ）設計ソフトウェアなどで作成されたデータを基にして作成された、構造物内の構成物の配置を示し、寸法情報を有する三次元モデルデータであればどのようなデータであってもよく、例えば、ＢＩＭ（Ｂｕｉｌｄｉｎｇ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍｏｄｅｌｉｎｇ）データ、ＣＩＭ（Ｃｏｎｓｔｒｕｃｔｉｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍｏｄｅｌｉｎｇ）データ、ＣＡＤデータ、Ｃｉｔｙ―ＧＭＬ等のＧＭＬデータ、ＢＩＭデータ等から再構築された三次元モデルデータ（例えば、ＢＩＭデータに付与されている材質情報等を除き表面の位置情報等を抽出して三次元モデル化したデータ等）、複数種類の三次元モデルデータ（例えば、ＢＩＭデータとＣｉｔｙ―ＧＭＬデータなど）を組み合わせて再構築された三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを有する構成物を生成することで得られた三次元モデルデータであってもよい。
　三次元点群モデルデータの生成方法は、三次元モデルデータから構造物内の構成物に関する三次元点群モデルデータが生成可能であればどのような方法であってもよいが、例えば、三次元モデルデータの構造物内を仮想のセンサ（例えば、仮想のＬｉＤＡＲ）を搭載した仮想の移動体４を移動させることにより構造物内の構成物に関する三次元点群モデルデータを生成してもよい。これにより、理論上、構造物内を移動体４のセンサで実測した場合の点群センシングデータに近い点群データを生成することができる。また、他の三次元点群モデルデータの生成方法は、三次元モデルデータを所定の間隔で均等に点群化してもよいし、三次元モデルデータがポリゴンデータである場合には各頂点に点を配置して点群化してもよいし、既知の点群化技術（点群データへの変換技術）を用いて点群化してもよい。
　ここで、本実施の形態における処理の流れを鑑み、移動体４の機能部について一旦説明する。
　通信部４１０は、管理サーバ１や、ユーザ端末２、移動体格納装置５と通信を行う。通信部４１０は、ユーザ端末２等からの各種要求やデータ等を受け付ける受付部としても機能する。
　三次元点群センシングデータ取得部４２０は、三次元モデルデータの対象となっている構造物内を移動体４に搭載したセンサ（例えば、ＬｉＤＡＲ）により実測することで生成された三次元点群センシングデータを取得する。三次元点群センシングデータは、設定された任意の点を原点（基準点）とした三次元の直交座標系により表現されるデータであって、三次元データ記憶部４６０に記憶されて管理される。
　比較部４３０は、例えば三次元点群モデルデータ生成部１２０により生成された三次元点群モデルデータと、三次元点群センシングデータを比較し、比較データを生成する。三次元モデルデータは、例えば事前に管理サーバ１から三次元データ記憶部４６０に記憶されて管理され、比較データは、例えば生成データ記憶部４７０に記憶されて管理される。
　比較方法は、点群同士を比較して比較データが生成可能であればどのような方法であってもよく、点群間比較の既存技術であってもよいが、本実施の形態においては両三次元点群データのフィッティング（両三次元点群データの縮尺が異なる場合には縮尺合わせも含む）を行って、例えば三次元点群モデルデータの点をベースに三次元点群センシングデータを比較して所定のズレ幅がある点や、そもそも点の有無が異なる点に関する比較データを生成する方法であってもよく、より具体的な例としては、例えば八分木を用いて所定値の大きさのボクセルで空間を区切り、三次元点群モデルデータで点がなかったボクセル内に、三次元スキャン点群データの点が存在する、または、存在しない場合に差分の点として判定するようにしてもよい。すなわち、比較データは、このように両者の差が所定以上の点群データである差分点群データであってもよい。なお、上述のとおり、両点群データの縮尺が異なる場合については縮尺を一致させるようにフィッティングを行うが、若干の縮尺違い（すなわち、略一致）などの状況においては、ボクセルによる空間分解能に応じて、点のズレがあったとしても点の有無の変化がないと判定することが可能であるので、縮尺一致のためのフィッティングは行わなくとも縮尺違いによる誤差は軽減される。
　また、比較部４３０による点群データの比較は、所定の移動経路を移動後の三次元点群センシングデータと三次元点群モデルデータとの比較であってもよいが、移動経路を移動中に取得した部分的な三次元点群センシングデータと三次元点群モデルデータとの比較であってもよい。そして、後者の比較の場合においては、比較データとして、三次元点群センシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータにおける自己位置推定情報を含んでいてもよい。
　結果データ送信部４４０は、通信部４１０を介して、比較部４３０により生成された比較データに基づく結果データを生成し、外部（特に管理サーバ１やユーザ端末２）へ送信する。結果データは、例えば比較データをそのまま用いたものであってもよいし、比較データから不要な情報（例えばズレ幅が所定値よりも小さい情報など）を削除したりなど比較データを編集したデータであってもよい。
　ここで、本実施の形態における処理の流れを鑑み、管理サーバ１の機能部について再度説明する。
　データ更新部１３０は、移動体４から受信した結果データに基づき、三次元モデルデータの更新のための更新データを生成し、当該更新データに応じて三次元モデルデータを更新する。結果データは、取得データ記憶部１６０にて記憶され管理されてもよい。データ更新部１３０は、より具体的には、例えば、点群の形状から三次元モデルデータにおける構成物情報を推定するための学習モデルを用いたり、または、三次元モデルデータにおける構成物の形状を点群化した構成物点群形状情報データベースを参照及び比較して推定するなどして、結果データの点群データ（特に差分点群データ）に基づき、変化があった構成物の構成物情報（特に、構成物識別情報や構成物の種別情報など構成物が何かを特定する情報）を推定するとともに、三次元モデルデータと比較していずれの構成物がどのように変化しているか（数の増減または場所の移動があるか）を判定する。そして、データ更新部１３０は、この判定結果に基づいて、三次元モデルデータの構成物情報を変化に合わせて、例えば変化が判定された構成物のモデルデータを追加したり、削除したり、位置を変更したりなどと更新する。これにより、移動体４によるセンシング時の構造物内の構成物の状態を反映した三次元モデルデータに更新が可能となる。
　なお、データ更新部１３０は、上述のとおり結果データに基づき構成物（構成物情報）を推定する際に、構成物情報（特に構成物識別情報や構成物の種別情報など構成物がどのような種類のものかを特定する情報）が推定できないが何らかの構成物が存在することは推定される場合には、例えば、推定できなかったことを示す所定形状の不明モデルデータ（例えば、円柱や四角柱などの図形的な立体形状）を三次元モデルデータ上に配置するようにしてもよいし、結果データの点群データ（特に差分点群データ）に基づき推定される不明な構成物の形状（近似した形状を含む）の不明モデルデータを三次元モデルデータ上に配置してもよいし、三次元モデルデータ上に差分点群データ（特に、比較の結果増えた点群データ）を、例えば推定できなかった点群であることを示す色付けなどして重ね合わせて配置してもよい。さらに、上述の不明モデルデータのテクスチャを他の構成物とは異なるテクスチャ（例えば、単色の目立つ色のテクスチャや、？マークなどの記号や「不明」というテキストなどが記載されているテクスチャなど）としてもよいし、例えばセンサによりセンシングして点群データを取得する際などに取得された不明な構成物の位置の撮影画像を不明モデルデータのテクスチャとしてもよい。これにより、三次元モデルデータを確認する際に、現場で確かめる必要がある場所が明らかになる。
　情報出力部１４０は、三次元データ記憶部１５０に記憶される三次元モデルデータや三次元点群モデルデータ、三次元点群センシングデータ、取得データ記憶部１６０に記憶される結果データや撮影データ（静止画や動画）、移動関連情報記憶部１７０に記憶される移動経路情報や自己位置情報、などに基づいてユーザ端末２や移動体４に送信するための出力情報を生成する。本実施の形態においては、例えば、ユーザ端末２において三次元モデルデータや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に基づく現在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データ（例えば、三次元モデルデータや三次元点群データ）を閲覧可能にするための出力情報を生成してもよい。そして、ユーザ端末２において、当該リンクをユーザ端末２上で選択する操作入力を受け付けることで、対応する取得情報が表示されるようにしてもよい。この時、三次元データとして、ＢＩＭデータに関連する三次元データを用いた場合、ＢＩＭデータに関連付けて三次元データを構成する構成物ごとの情報を持つことが可能なので、構成物単位で紐づけ（例えばリンク生成）が可能となる。
　図７を参照して、本実施形態にかかる情報処理方法（特に、三次元モデルデータの更新方法）について説明する。図７には、本実施形態にかかる情報処理のフローチャートが例示されている。図８－１１には、各三次元データを例示している。
　まず、管理サーバ１は、三次元点群モデルデータ生成部により、構造体の構造物に関する三次元モデルデータ（図８参照。例えば、ＢＩＭデータから生成された三次元モデルデータ）を点群化した三次元点群モデルデータ（図９参照）を生成する（Ｓ１０１）。そして、生成した三次元点群モデルデータは、通信部１０１を介して移動体４へ送信される（Ｓ１０２）。移動体４により受信された三次元点群モデルデータは、例えば三次元データ記憶部４６０に記憶されてもよい。なお、このＳ１０２は、移動体４において比較処理が行われるまでに実行されるのであれば、任意のタイミングで実行されてよい。
　次に、移動体４は、構造体内をセンサにより実測するために、移動関連情報記憶部１７０に記憶される移動経路情報及びコントローラ４１の制御に基づき、自律的な移動を開始する（Ｓ１０３）。そして、移動体４は、三次元点群センシングデータ取得部４２０により、移動中にセンサ（例えば、ＬｉＤＡＲ）により生成された三次元点群センシングデータ（図１０に例示されるように、センサを中心にセンシングして取得される三次元点群センシングデータ）を取得する（Ｓ１０４）。なお、移動経路情報は、例えばユーザ端末２によりユーザが生成した移動経路に関する情報であってもよいし、移動体４をプロポ等の外部コントローラで移動させた移動経路を記憶した情報であってもよい。また、移動体４の移動は、上述の自律的な移動に限らず、ユーザ端末２や外部コントローラの入力操作にしたがって移動するようにしてもよい。
　次に、移動体４は、比較部４３０により、移動中または移動終了後の少なくとも何れかにおいて、取得した三次元点群センシングデータと三次元点群モデルデータとを比較して比較データを生成する（Ｓ１０５）。比較データは、移動中においては、取得する部分的な三次元点群センシングデータと三次元点群モデルデータとの比較を行い、三次元点群センシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータにおける自己位置推定情報を含んでいてもよい。また、比較データの生成は、移動終了後においては、例えば両三次元点群データの比較（図１１の例示では両三次元点群データを重ね合わせている）を行って、例えば両者間で所定のズレ幅がある点や、そもそも点の有無が異なる点に関する比較データ、すなわち、両者の差が所定以上の点群データ（例えば、同じボクセル内に存在しない、または、新たに存在する点データの群）である差分点群データ６００（図１２参照）を生成してもよい。さらに、比較データは、図１２に例示されるように、三次元点群モデルデータまたは三次元点群センシングデータの少なくともいずれかに重ね合わせて表示されてもよい。
　次に、移動体４は、結果データ送信部４４０により、通信部４１０を介して、比較部４３０により生成された比較データに基づく結果データを生成し、外部（特に管理サーバ１やユーザ端末２）へ送信する（Ｓ１０７）。結果データは、上述のとおり、例えば比較データをそのまま用いたものであってもよいし、比較データから不要な情報（例えばズレ幅が所定値よりも小さい情報など）を削除したりなど比較データを編集したデータであってもよい。結果データは、所定位置からセンシングした三次元点群センシングデータに対応する単一の比較データに基づくデータに限らず、移動体４が移動しながらセンシングした複数位置における複数の比較データをまとめたデータ（例えば、複数位置における複数の三次元点群センシングデータに対応する複数の差分点群データ６００を重ね合わせた差分点群データ）であってもよい。なお、このようなまとめ処理は、移動体４においてステップＳ１０７内で行われてもよいし、後述するステップＳ１０８内で管理サーバ１において行われてもよい。
　次に、管理サーバ１は、更新部１３０により、受信した結果データに基づき、三次元モデルデータを更新する（Ｓ１０８）。更新は、結果データに基づき変化があった構成物の構成物情報を推定するとともに、三次元モデルデータの構成物情報を結果データから判定される変化に合わせて、例えば変化が判定された構成物のモデルデータを追加したり、削除したり、位置を変更したりなどと変更する。
　次に、管理サーバ１は、情報出力部１４０により、ユーザ端末２において所定の情報を少なくとも表示するために送信する出力情報（例えば、上述のとおり、三次元モデルデータや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に基づく現在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データを閲覧可能にするための出力情報）を生成する（Ｓ１０９）。そして、生成された出力情報は、ユーザ端末２や移動体４へ送信されてもよい。
　このように、本発明は、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供することができる。
　なお、上述の実施例では移動体４による構造物内のセンシングを具体例としたが、構造物内をセンサでセンシングできればどのような構成でもよいため、例えばユーザ等の作業者がセンサデバイスを持ち歩くことで三次元点群センシングデータを生成してもよく、その他の機能部（通信部４１０、三次元点群センシングデータ取得部４２０、比較部４３０、比較結果データ送信部４４０、自己位置推定部４５０、三次元データ記憶部４６０、生成データ記憶部４７０、移動経路情報記憶部４８０など）については、センサデバイスが直接または通信可能に接続される端末（ユーザ端末２を含む）や当該端末を介して接続される管理サーバ１のプロセッサやメモリにおいて実現される構成であってもよい。その場合、Ｓ１０３の移動開始ステップは、センサを起動させて作業者が移動するステップであり得る。
　また、上述の実施例では移動体４による構造物内の情報取得を具体例としたが、例えば構造物外の点検であってもよく、ＣＩＭデータやＣｉｔｙ―ＧＭＬ等の構造物の表面を構成するデータを含む三次元モデルデータを用い、このような三次元モデルデータを点群化した三次元点群モデルデータと、三次元点群センシングデータとを比較することで、構造物内同様の結果データを生成し、自己位置推定情報を取得したり、更新部１３０による構造物外の構成（例えば、看板やアンテナ、増築した構成など）の更新などを行うことが可能となる。さらに、構造物内外の両方に対する処理を組み合わせてもよい。
　また、移動体４は、構造物の内壁および／または外壁の所定の事象の有無を点検するために利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、金属探知機、超音波測定器等）や、打鍵装置等、探知装置（金属探知機）、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置（宇宙線、放射線、電磁波等を検出するための装置）等の点検対象構造物の状態を知るために必要な装置は全て採用され得る。
　また、実施例は例えば構造物内の警備や監視の際に実行されてもよく、警備や監視のために利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等）や、センサ装置（モーションセンサ、赤外線センサ等）等、警備・監視対象構造物の異常や侵入者等を撮像・検知するために必要な装置は全て採用され得る。
　本発明の移動体は、カメラ等を搭載した撮影用の移動体としても好適に使用することができる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物や構造物内の点検、災害対応等の様々な産業にも利用することができる。
　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
　１　　　　管理サーバ
　２　　　　ユーザ端末
　４　　　　移動体
　５　　　　移動体格納装置

 

Claims (13)

  1. 　少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
    　前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
    　ことを特徴とする情報処理システム。
  2. 　前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成される、
    　ことを特徴とする請求項１に記載の情報処理システム。
  3. 　前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ間の差分情報を含む、
    　ことを特徴とする請求項１または２のいずれかに記載の情報処理システム。
  4. 　前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部をさらに備える、
    　ことを特徴とする請求項３に記載の情報処理システム。
  5. 　前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータにおける前記構成物を示す構成物情報の変更のための前記更新データを生成する、
    　ことを特徴とする請求項４に記載の情報処理システム。
  6. 　前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータを前記三次元モデルデータ上に配置する、
    　ことを特徴とする請求項５に記載の情報処理システム。
  7. 　前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデルデータを前記三次元モデルデータ上に配置する、
    　ことを特徴とする請求項５に記載の情報処理システム。
  8. 　前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得された撮影画像である、
    　ことを特徴とする請求項６または７のいずれかに記載の情報処理システム。
  9. 　前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づき推定される前記三次元点群モデルデータにおける自己位置推定情報である、
    　ことを特徴とする請求項１ないし８のいずれかに記載の情報処理システム。
  10. 　比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
    　結果データ生成部により、前記比較データに基づく結果データを生成するステップと、を含む、
    　ことを特徴とするコンピュータによる情報処理方法。
  11. 　比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
    　結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
    　をコンピュータに実行させることを特徴とするプログラム。
  12. 　少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
    　前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
    　ことを特徴とする移動体。
  13. 　少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新データを生成するデータ更新部、を備える、
    　ことを特徴とする管理サーバ。
     

     
PCT/JP2021/045773 2021-12-13 2021-12-13 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ WO2023112083A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022525057A JP7118490B1 (ja) 2021-12-13 2021-12-13 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
PCT/JP2021/045773 WO2023112083A1 (ja) 2021-12-13 2021-12-13 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP2022073392A JP2023087622A (ja) 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP2022073518A JP7228298B1 (ja) 2021-12-13 2022-04-27 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045773 WO2023112083A1 (ja) 2021-12-13 2021-12-13 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

Publications (1)

Publication Number Publication Date
WO2023112083A1 true WO2023112083A1 (ja) 2023-06-22

Family

ID=82849877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045773 WO2023112083A1 (ja) 2021-12-13 2021-12-13 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

Country Status (2)

Country Link
JP (2) JP7118490B1 (ja)
WO (1) WO2023112083A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038551A1 (ja) * 2022-08-18 2024-02-22 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法
WO2024084642A1 (ja) * 2022-10-20 2024-04-25 株式会社ニコン 情報処理方法、加工方法、表示方法、表示装置、情報処理装置、コンピュータプログラム及び記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092044A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体
JP2012255674A (ja) * 2011-06-08 2012-12-27 Mitsutoyo Corp 位置合わせ方法
WO2017110801A1 (ja) * 2015-12-25 2017-06-29 三菱電機株式会社 測位計測装置、データ保管装置、データ利用装置、測位計測プログラム、データ保管プログラムおよびデータ利用プログラム
JP2020086751A (ja) * 2018-11-21 2020-06-04 日立Ｇｅニュークリア・エナジー株式会社 マップ生成装置、および、マップ生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092044A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体
JP2012255674A (ja) * 2011-06-08 2012-12-27 Mitsutoyo Corp 位置合わせ方法
WO2017110801A1 (ja) * 2015-12-25 2017-06-29 三菱電機株式会社 測位計測装置、データ保管装置、データ利用装置、測位計測プログラム、データ保管プログラムおよびデータ利用プログラム
JP2020086751A (ja) * 2018-11-21 2020-06-04 日立Ｇｅニュークリア・エナジー株式会社 マップ生成装置、および、マップ生成方法

Also Published As

Publication number Publication date
JPWO2023112083A1 (ja) 2023-06-22
JP7118490B1 (ja) 2022-08-16
JP2023087622A (ja) 2023-06-23

Similar Documents

Publication Publication Date Title
WO2021184218A1 (zh) 一种相对位姿标定方法及相关装置
JP7118490B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP2018504652A (ja) 顕著特徴ベースの移動体測位
US20190219699A1 (en) Vehicle pose system
JP6829513B1 (ja) 位置算出方法及び情報処理システム
US20230266129A1 (en) Map selection for vehicle pose system
JP2018096969A (ja) ジオアーク（ｇｅｏａｒｃ）を使用したビークルの二次元位置の特定
JP2018072316A (ja) ジオアーク（ｇｅｏａｒｃ）を使用したビークルの二次元位置の特定
WO2022264413A1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
WO2024036984A1 (zh) 目标定位方法及相关系统、存储介质
JP6730763B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP7228298B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP2020012774A (ja) 建造物の測定方法
JP6684012B1 (ja) 情報処理装置および情報処理方法
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7441579B1 (ja) 情報処理システム及び情報処理方法
WO2024029046A1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7170369B1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
Nowicki et al. Laser-based localization and terrain mapping for driver assistance in a city bus
WO2023228283A1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
JP7370045B2 (ja) 寸法表示システムおよび寸法表示方法
WO2021049508A1 (ja) 寸法表示システムおよび寸法表示方法
JP7228310B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
WO2023106324A1 (ja) 表示システム及び表示方法
US20220316910A1 (en) Method, System, and Computer Program Product for Iterative Warping of Maps for Autonomous Vehicles and Simulators

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022525057

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968006

Country of ref document: EP

Kind code of ref document: A1