WO2020179438A1 - 物量算出装置、および、物量算出方法 - Google Patents

物量算出装置、および、物量算出方法 Download PDF

Info

Publication number
WO2020179438A1
WO2020179438A1 PCT/JP2020/006390 JP2020006390W WO2020179438A1 WO 2020179438 A1 WO2020179438 A1 WO 2020179438A1 JP 2020006390 W JP2020006390 W JP 2020006390W WO 2020179438 A1 WO2020179438 A1 WO 2020179438A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional model
difference
attribute information
model
amount
Prior art date
Application number
PCT/JP2020/006390
Other languages
English (en)
French (fr)
Inventor
将貴 福田
敏康 杉尾
徹 松延
哲史 吉川
研翔 寺西
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021503526A priority Critical patent/JP7457971B2/ja
Priority to CN202080018282.1A priority patent/CN113544462A/zh
Priority to EP20765468.2A priority patent/EP3936815A4/en
Publication of WO2020179438A1 publication Critical patent/WO2020179438A1/ja
Priority to US17/459,219 priority patent/US20210390717A1/en
Priority to JP2024032943A priority patent/JP2024052979A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present disclosure relates to a physical quantity calculation device and a physical quantity calculation method.
  • Patent Document 1 There is a technique for measuring the volume or weight of an object located in a predetermined space (see Patent Document 1, for example).
  • the processing time is short for the processing of calculating the amount of objects located in a predetermined space such as the amount of damage.
  • the present disclosure provides a physical quantity calculation device and the like that can shorten the processing time for calculating the quantity of an object.
  • the physical quantity calculation device is a three-dimensional model in which each indicates the same predetermined space and has attribute information for each region, and is a first three-dimensional model and the first three-dimensional model.
  • An acquisition unit that acquires a second three-dimensional model different from the model, and the first three-dimensional model and the first three-dimensional model based on attribute information of each of the first three-dimensional model and the second three-dimensional model.
  • An alignment unit that performs alignment with the three-dimensional model, and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned by the alignment unit is calculated, and the difference has It includes a calculation unit that outputs attribute information and the amount of the difference.
  • the physical quantity calculation method is a three-dimensional model in which each indicates the same predetermined space and has attribute information for each region, the first three-dimensional model and the first three-dimensional model.
  • the acquisition step of acquiring the second three-dimensional model different from the three-dimensional model, and the attribute information of each of the first three-dimensional model and the second three-dimensional model, the first three-dimensional model and the first three-dimensional model An alignment step of performing alignment with the second three-dimensional model and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned in the alignment step are calculated, and the difference is calculated. And a calculation step of outputting the attribute information and the difference amount.
  • the present disclosure may be realized as a program that causes a computer to execute the steps included in the physical quantity calculation method. Further, the present disclosure may be realized as a non-transitory recording medium such as a CD-ROM that can be read by a computer that records the program. Further, the present disclosure may be realized as information, data or a signal indicating the program. Then, the programs, information, data and signals may be distributed via a communication network such as the Internet.
  • FIG. 1 is a diagram for explaining the outline of the sediment amount measurement system according to the embodiment.
  • FIG. 2 is a diagram for explaining an outline of a process for extracting attribute information executed by the sediment amount measurement system according to the embodiment.
  • FIG. 3 is a diagram for explaining an outline of the sediment amount calculation process executed by the sediment amount measurement system according to the embodiment.
  • FIG. 4 is a block diagram showing a configuration of a sediment amount measurement system according to an embodiment.
  • FIG. 5 is a block diagram showing a configuration of an imaging device included in the sediment measuring system according to the embodiment.
  • FIG. 6 is a block diagram showing a configuration of a control device included in the sediment amount measuring system according to the embodiment.
  • FIG. 7 is a block diagram showing a configuration of a sediment amount calculation apparatus included in the sediment amount measuring system according to the embodiment.
  • FIG. 8 is a flowchart showing the alignment process of the three-dimensional model executed by the sediment amount measurement system according to the embodiment.
  • FIG. 9 is a diagram for explaining the alignment of two three-dimensional models performed by the alignment unit.
  • FIG. 10 is a sequence diagram showing the processing of the sediment amount measuring system according to the embodiment.
  • FIG. 11 is a flowchart showing a sediment amount calculation process executed by the sediment amount measurement system according to the embodiment.
  • FIG. 12 is a figure which shows an example of the image which the user interface with which the sediment-quantity measuring system which concerns on embodiment is shown when aligning two three-dimensional models.
  • 13 is a figure which shows an example of the difference information which the user interface with which the sediment measuring system which concerns on embodiment is equipped presents.
  • the physical quantity calculation device is a three-dimensional model that shows the same predetermined space and has attribute information for each region, and includes a first three-dimensional model and the first three-dimensional model.
  • An acquisition unit that acquires a second three-dimensional model different from the model, and the first three-dimensional model and the first three-dimensional model based on attribute information of each of the first three-dimensional model and the second three-dimensional model.
  • An alignment unit that performs alignment with the three-dimensional model, and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned by the alignment unit is calculated, and the difference has And a calculation unit that outputs the attribute information and the difference amount.
  • the physical quantity calculation device for example, in a predetermined space, a three-dimensional model (first three-dimensional model) showing the predetermined space in a state in which there is no object whose amount of earth and sand or the like is to be calculated, The three-dimensional model (second three-dimensional model) showing the predetermined space in the state where the object exists is compared.
  • the difference between the first three-dimensional model and the second three-dimensional model can be easily calculated by appropriately aligning the first three-dimensional model and the second three-dimensional model. Therefore, according to the physical quantity calculation device according to the present disclosure, the processing time for calculating the quantity of the object can be shortened.
  • the physical quantity calculation device further generates at least one of the first three-dimensional model and the second three-dimensional model from a plurality of images each showing the predetermined space. It has a generator.
  • the amount of difference can be calculated with a simple configuration such as a camera for generating an image.
  • the calculation unit when the calculation unit includes a plurality of attribute information whose differences are different from each other, the calculation unit classifies and outputs the plurality of attribute information for each type, thereby collecting the plurality of attribute information for each type. Display on the display device.
  • the calculation unit calculates the amount included in the difference for each type.
  • the amount of each type of object included in the difference is displayed on the display device, it is possible to make it easier for the user who confirms the display device to understand the amount of each type included in the difference.
  • the amount of the difference is at least one of the volume and the weight of the difference.
  • the physical quantity calculation device can calculate at least one of the difference amount and the volume.
  • the alignment unit may define a partial model having attribute information common to each of the first three-dimensional model and the second three-dimensional model as the first three-dimensional model and the second three-dimensional model. After aligning by moving each of the partial models so that the coordinates of the corresponding positions of the extracted partial models match, the movement of each of the partial models is performed. By moving the first three-dimensional model and the second three-dimensional model together, the first three-dimensional model and the second three-dimensional model are aligned with each other.
  • the physical quantity calculation device can be used with the first three-dimensional model and the second three-dimensional model without performing processing such as alignment by comparing the shapes of the three-dimensional models. You can align. Therefore, according to this, the processing time of the physical quantity calculation device according to the present disclosure can be further shortened.
  • the physical quantity calculation method is a three-dimensional model in which each indicates the same predetermined space and has attribute information for each region, the first three-dimensional model and the first three-dimensional model.
  • the acquisition step of acquiring the second three-dimensional model different from the three-dimensional model, and the attribute information of each of the first three-dimensional model and the second three-dimensional model, the first three-dimensional model and the first three-dimensional model An alignment step of performing alignment with the second three-dimensional model and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned in the alignment step are calculated, and the difference is calculated. And a calculation step of outputting the attribute information and the difference amount.
  • the difference between the first 3D model and the second 3D model can be easily calculated by appropriately aligning the first 3D model and the second 3D model. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the physical quantity can be shortened.
  • the amount of earth and sand that becomes a difference can be easily calculated by appropriately aligning the three-dimensional model showing the predetermined space before and after the disaster such that the earth and sand flow into the predetermined space. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the amount of earth and sand can be shortened.
  • each diagram is a schematic diagram and is not necessarily strictly illustrated. Further, in each figure, substantially the same configuration is designated by the same reference numerals, and duplicate description may be omitted or simplified.
  • FIG. 1 is a diagram for explaining an outline of the sediment measuring system according to the embodiment.
  • a sediment measurement system 1000 (see, for example, FIG. 4) according to the embodiment includes a camera 100 for capturing an image (hereinafter, also referred to as an image) of a predetermined three-dimensional space A1 (hereinafter, also referred to as a space A1). Equipped with multiple units.
  • the space A1 is a space on the road 20 on which the earth and sand 21 is deposited.
  • the space A1 is a space on a river in which earth and sand 21 or driftwood is accumulated.
  • the sediment measuring system 1000 is an example of the physical quantity calculating device according to the present disclosure.
  • Each of the plurality of cameras 100 is arranged at a position different from each other and images a common three-dimensional space (for example, space A1). Therefore, the areas to be imaged by the plurality of cameras 100 in the space A1 have areas that at least partially overlap.
  • the plurality of cameras 100 are installed at different positions on the road 20 so as to partially surround the space A1 including the earth and sand 21. Further, the plurality of cameras 100 take different postures from each other. Then, at least some of the areas of the imaging targets of the plurality of cameras 100 overlap.
  • the reason why at least a part of the region to be imaged overlaps is that a three-dimensional model (for example, point cloud data) of the space A1 is generated (reconstructed) based on the video data obtained by the imaging.
  • the areas to be imaged may overlap in some of the plurality of cameras 100, or may overlap in all of the plurality of cameras 100.
  • the plurality of cameras 100 may be images captured by the same camera at different times, that is, mobile cameras. Therefore, if the camera 100 is a moving camera, the number of the cameras 100 may be one or more, and the number is not limited.
  • a plurality of images (hereinafter, the image is also referred to as an image) obtained from the plurality of cameras 100 in this way is used.
  • a three-dimensional model 22 showing the space A1 is calculated (generated).
  • the processing performed in the three-dimensional reconstruction is performed by, for example, associating a plurality of images obtained from a plurality of cameras 100 with each other and performing geometric calculation from the obtained correspondences. Is calculated.
  • the three-dimensional model is data in which the geometric shape of a predetermined three-dimensional space (space A1 in the present embodiment) is expressed.
  • the model for expressing the three-dimensional shape is, for example, a point group including a plurality of three-dimensional points.
  • the three-dimensional model may be represented by voxels or meshes.
  • the data that is the basis for generating the three-dimensional model does not have to be an image and is not particularly limited.
  • the original data for generating the three-dimensional model may be data acquired from a measuring instrument such as LiDAR.
  • LiDAR is a sensor for measuring the distance to an object. By scanning (moving and measuring) LiDAR for a predetermined area, the position of an object located in the predetermined area can be calculated.
  • This type of measuring instrument such as LiDAR emits an electromagnetic wave, and the emitted electromagnetic wave acquires a reflected wave reflected by the measurement target to generate a three-dimensional model. Specifically, the measuring instrument measures the time taken from the emission of the electromagnetic wave to the reflection of the electromagnetic wave by the object to be measured and the returning of the electromagnetic wave to the measuring instrument, and the measuring instrument uses the measured time and the electromagnetic wave wavelength. And the distance between the point on the surface of the measurement target is calculated.
  • a measuring instrument emits electromagnetic waves from a reference point of the measuring instrument in a plurality of predetermined radial directions.
  • the measuring instrument emits electromagnetic waves at a first angular interval in the horizontal direction and emits electromagnetic waves at a second angular interval in the vertical direction. Therefore, the measuring instrument can calculate the three-dimensional coordinates of a plurality of points on the measuring object by calculating the distance between the measuring instrument and the measuring object in each of the plurality of directions around the measuring instrument.
  • the measuring instrument emits laser light as electromagnetic waves, for example.
  • the measuring instrument measures the distance to the measurement target by, for example, emitting millimeter waves as electromagnetic waves.
  • FIG. 2 is a diagram for explaining an outline of a process of extracting attribute information, which is executed by the sediment measuring system 1000 according to the embodiment.
  • FIG. 2A is a diagram showing an example of an image generated by imaging the space A1.
  • FIG. 2B is a diagram showing a three-dimensional model showing the space A1.
  • FIG. 2C is an enlarged view showing pixels having the attribute information of the “tree” in the image shown in FIG. 2A.
  • the sediment amount measurement system 1000 extracts attribute information by using a plurality of image data obtained by capturing the space A1 with a plurality of cameras 100 or a three-dimensional model in which the space A1 is reconstructed.
  • the attribute information is information indicating the result of recognizing the meaning of a specific area in the image or the three-dimensional model.
  • the attribute information is, for example, information indicating an attribute that an object included in an arbitrary area in an image is a “tree”.
  • the attribute information is information indicating an attribute such that an arbitrary partial point group in the three-dimensional model represented by the point group is a “tree”. That is, “tree”, “driftwood”, “earth and sand”, “house”, etc. are each an example of attribute information.
  • the three-dimensional model has attribute information for each region.
  • the region may be a predetermined range in the three-dimensional model, or may be each three-dimensional point constituting the three-dimensional model, and is not particularly limited. Further, the region may be each partial model described later. That is, the three-dimensional model may have attribute information for each partial model described later.
  • Semantic segmentation is a process of performing meaningful labeling on a pixel or a minimum constituent unit of a three-dimensional model using information around the pixel or the minimum constituent unit of the three-dimensional model.
  • the semantic segmentation is a process of labeling each pixel in which a “tree” existing in a predetermined three-dimensional space is imaged, as shown in (c) of FIG. ..
  • the peripheral pixel information may be a value of R (Red) G (Green) B (Blue), a luminance value, a distribution of pixel values, or a gradient.
  • a partial model that is a set of point groups to which the attribute information of “tree” is added can be a partial model having attribute information of “tree”.
  • Attribute information is extracted by, for example, pattern recognition from data indicating a predetermined “tree” or the like.
  • the user may associate the attribute information with the object included in the image or the three-dimensional model by operating the user interface 400 (see FIG. 4) described later.
  • FIG. 3 is a diagram for explaining the outline of the calculation process of the amount of sediment executed by the sediment measurement system 1000 according to the embodiment.
  • FIG. 3A is a diagram showing a three-dimensional model showing the space A1 before the disaster.
  • FIG. 3B is a diagram showing a three-dimensional model showing the space A1 after a disaster.
  • (c) of FIG. 3 is a diagram showing a process of calculating the difference information executed by the sediment measuring system 1000.
  • FIG. 3D is a diagram showing an example of difference information output by the sediment amount measurement system 1000.
  • the sediment amount measuring system 1000 is a three-dimensional model before a disaster (hereinafter also referred to as a first three-dimensional model) in which the space A1 is reconstructed and a three-dimensional model after a disaster (hereinafter also referred to as a second three-dimensional model).
  • Information (difference information) of earth and sand 21 is extracted by calculating the difference using and.
  • the sediment amount measurement system 1000 extracts the part where the change is more remarkable before and after the disaster in the two three-dimensional models.
  • the difference calculation result is presented to the user as difference information.
  • the difference information is, for example, in a three-dimensional mesh model, the volume of a three-dimensional partial region where the surfaces of the three-dimensional model before the disaster and the three-dimensional model after the disaster do not overlap or intersect.
  • the amount of difference calculated in this way is, for example, the amount of earth and sand deposited in a predetermined three-dimensional space after a disaster.
  • the difference information is attribute information obtained by extracting the attribute information in a portion where the change before and after the disaster is more remarkable in the two three-dimensional models, for example, driftwood or debris contained in the earth and sand 21.
  • Information of a mixture including a plurality of attribute information different from each other, such as a ratio of the same may be included.
  • a mixture is, for example, a set of a plurality of partial models having different attribute information from each other.
  • the mixture is earth and sand.
  • the mixture (that is, the sediment) is composed of a partial model (first partial model) having attribute information indicating “driftwood” and a partial model (second partial model) having attribute information indicating “rubble”. It is a three-dimensional model.
  • the difference information includes, for example, one or more pieces of attribute information included in the mixture, the volume of the mixture as an amount of difference, and the ratio of the first partial model to the volume of the mixture and the second partial model. It includes information indicating a ratio.
  • the mixture may be classified into multiple types according to the type of attribute information.
  • a partial model (second partial model) having attribute information indicating “rubble” are provided. It is assumed that it is composed of a partial model (third partial model) having a partial model and a partial model (fourth partial model) having attribute information indicating a "signal”.
  • the mixture is a mixture (first mixture) composed of the first partial model and the second partial model composed of natural products, and a mixture (second mixture) composed of the third partial model and the fourth partial model composed of artificial products. , May be classified into.
  • the difference information may include information indicating the proportion occupied by the first mixture and the proportion occupied by the second mixture in the volume of the mixture.
  • the difference information includes, for example, difference information indicating the amount of difference between two three-dimensional models and attribute information included in the difference.
  • the amount of the difference is, for example, at least one of the volume and the weight of the difference.
  • either one of the two three-dimensional models before and after the disaster may be adjusted to a desired scale.
  • one of the two 3D models, pre-disaster and post-disaster may be adjusted to the scale of space A1.
  • the scale of either one of the two three-dimensional models before and after the disaster may be adjusted based on the scale information provided from the outside of the sediment measurement system 1000.
  • the sediment measurement system 1000 is an example of the physical quantity calculation device according to the present disclosure.
  • the above-mentioned method for calculating the difference information may be used for calculating the inventory amount of an object other than earth and sand, for example, a warehouse, or may be used for calculating a construction member or the like at a work place during construction work.
  • FIG. 4 is a block diagram showing the configuration of the sediment amount measurement system 1000 according to the embodiment.
  • the sediment amount measuring system 1000 includes a plurality of image pickup devices 10a to 10n (for example, image pickup device 10a, image pickup device 10b,..., n (integer of 2 or more) up to image pickup device 10n), control device 200, and sediment amount calculation device. 300 and a user interface 400.
  • the imaging devices 10a to 10n are communicatively connected to the control device 200. Further, the sediment amount calculation device 300 and the user interface 400 are communicably connected to the control device 200.
  • the imaging devices 10a to 10n may be connected to the control device 200 in a wired communication manner or may be connected in a wireless communication manner.
  • the sediment amount calculation device 300 and the user interface 400 may be connected to the control device 200 so as to be capable of wired communication or wirelessly.
  • the user interface 400 is a reception device for receiving an operation from a user.
  • the user interface 400 is realized by, for example, a display device connected to the control device 200, a touch screen, a track pad, a keyboard, a mouse, other controllers, or a combination thereof. Further, the user interface 400 is an example of a display device for displaying the attribute information and the difference information calculated by the physical quantity calculation device according to the present disclosure.
  • FIG. 5 is a block diagram showing a configuration of the imaging device 10a included in the sediment measuring system 1000 according to the embodiment.
  • the imaging device 10a since the configurations of the image pickup devices 10a to 10n shown in FIG. 4 are the same in the present embodiment, the image pickup of one of the plurality of image pickup devices 10a to 10n included in the sediment amount measurement system 1000 When describing the device, the imaging device 10a will be described. In other words, the same points can be said for the other imaging devices 10b to 10n in the following description of the imaging device 10a.
  • the plurality of imaging devices 10a to 10n are devices each including a camera corresponding to the camera 100 shown in FIG. 1 for imaging the space A1.
  • the configurations that can be taken by each of the plurality of imaging devices 10a to 10n are, for example, common to each other.
  • the space A1 referred to here is a union of the imaging regions of each of the plurality of cameras 100.
  • Each of the image pickup devices 10a to 10n may have a camera 100 and may include a gantry 110.
  • the camera 100 includes a storage unit 101, a control unit 102, an optical system 103, and an image sensor 104.
  • the storage unit 101 stores a program read and executed by the control unit 102.
  • the storage unit 101 stores video data of an imaging region captured by the image sensor 104, meta information such as a time stamp attached to the video data, camera parameters of the camera 100, and a frame rate being applied. Alternatively, shooting settings such as resolution are temporarily stored.
  • Such a storage unit 101 is realized by using a rewritable non-volatile semiconductor memory such as a flash memory. Further, a non-rewritable ROM (Read-Only Memory) or a volatile RaM (Random access Memory) is also used as the storage unit 101 depending on the necessity of rewriting the stored data or the required storage period. obtain.
  • a rewritable non-volatile semiconductor memory such as a flash memory.
  • a non-rewritable ROM (Read-Only Memory) or a volatile RaM (Random access Memory) is also used as the storage unit 101 depending on the necessity of rewriting the stored data or the required storage period. obtain.
  • the number of image pickup devices included in the sediment amount measurement system 1000 is not particularly limited.
  • the number of imaging devices included in the sediment measuring system 1000 may be plural.
  • the characteristics of the imaging devices 10a to 10n included in the sediment measurement system 1000 may not be common.
  • the camera 100 included in each of the imaging devices 10a to 10n is not limited to a monaural camera and may be a stereo camera.
  • the number of imaging devices provided in the sediment measurement system 1000 may be one if the space A1 can be imaged from a plurality of viewpoints by changing the position and orientation of the imaging device.
  • the control unit 102 is realized by using, for example, a CPU (Central Processing Unit), and reads and executes a program stored in the storage unit 101 to control each component included in the camera 100 to perform an imaging function and other operations. Make it work.
  • a CPU Central Processing Unit
  • the control unit 102 may be realized by a dedicated circuit that controls each component included in the camera 100 to exert an imaging function and other functions. That is, the control unit 102 may be realized by software or hardware.
  • the optical system 103 is a component that forms an image of light from an imaging region on the image sensor 104, and is realized by using an optical element including a lens. Further, the optical system 103 may be configured so that the focal length and the angle of view can be changed. Further, a wide-angle lens or an ultra-wide-angle lens such as a fisheye lens may be used for the optical system 103. For example, when an image captured by a camera included in the physical quantity calculation device according to the present disclosure is used in a surveillance system, a wide-angle lens may be used to obtain a wide imaging area.
  • the image sensor 104 receives light collected by the optical system 103 on its light-receiving surface, and converts the received light into an electric signal indicating an image, a CCD (Charge Coupled Devices) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image It is realized by a solid-state image sensor such as a sensor or a MOS (Metal Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Devices
  • CMOS Complementary Metal Oxide Semiconductor
  • the gantry 110 is a component for fixing and supporting the camera 100, which is generating an image used for calculating the amount of sediment by imaging, at a predetermined position, and is realized by, for example, a tripod.
  • the leg portion of the gantry 110 may be adjustable in length and angle.
  • the gantry 110 may be provided with a mechanism for rotating the pan head to pan or tilt the camera 100, an elevator mechanism for moving the camera 100 up and down, and the like.
  • cradle 110 may include a mechanism such as a dolly or crane to support and move camera 100.
  • the imaging devices 10a to 10n do not necessarily have to be fixed. Therefore, the imaging devices 10a to 10n may be configured not to have the gantry 110.
  • the number of imaging devices 10a included in the sediment measurement system 1000 is not particularly limited as long as it is a plurality of fixed cameras, one or more moving cameras, or a combination thereof. Further, the present invention is not limited to a monaural camera, and a compound eye camera such as a stereo camera may be included.
  • FIG. 6 is a block diagram showing a configuration of a control device 200 included in the sediment amount measuring system 1000 according to the embodiment.
  • the control device 200 includes a storage unit 201, a control unit 202, and a timer 203.
  • the control device 200 controls the image pickup devices 10a to 10n and inputs / outputs to and from the user interface 400. Further, the control device 200 issues a sediment amount calculation command to the sediment amount calculation device 300 based on the data received from the imaging devices 10a to 10n.
  • Such a control device 200 is, for example, a computer.
  • the storage unit 201 is the storage device of this computer, and is realized by a hard disk drive, various semiconductor memories, or a combination thereof.
  • the control unit 202 is realized by the CPU of this computer.
  • the timer 203 is a timer provided in the control device 200 referred to by the CPU that realizes the control unit 202.
  • the storage unit 201 stores a program that the control unit 202 reads and executes. Further, the storage unit 201 stores data received from the image pickup devices 10a to 10n and which is a target of processing by the control unit 202.
  • the control unit 202 controls the above-mentioned imaging devices 10a to 10n and the sediment amount calculation device 300 by reading and executing the program stored in the storage unit 201.
  • control unit 202 executes processing for user's commands regarding these controls and processing.
  • One of these processes includes control of shooting of synchronized images by a plurality of cameras 100 included in each of the imaging devices 10a to 10n.
  • one of these processes may include a sediment calculation command.
  • the control unit 202 functionally includes an image pickup control unit 202a, a user instruction acquisition unit 202b, and a sediment amount calculation command unit 202c.
  • the user instruction acquisition unit 202b included in the control unit 202 is a functional component realized by the control unit 202 executing a program for acquiring an instruction from the user.
  • the sediment amount calculation command unit 202c included in the control unit 202 is a functional component realized by the control unit 202 executing a program for the sediment amount calculation command.
  • the imaging control unit 202a, the user instruction acquisition unit 202b, and the sediment amount calculation command unit 202c of the control unit 202 are dedicated circuits for performing imaging control, user instruction acquisition, sediment amount calculation instruction, sediment amount calculation processing, and the like. May be realized by That is, the control unit 202 may be realized by software or hardware.
  • the image capturing control unit 202a causes each of the plurality of image capturing devices 10a to 10n to capture an image of the space A1, which is an image capturing area, at a plurality of different timings.
  • the image capturing control unit 202a images the plurality of image capturing devices 10a to 10n in a state in which each of the plurality of image capturing devices 10a to 10n is in a predetermined position and in a posture facing a predetermined direction. The area is imaged.
  • the user instruction acquisition unit 202b sends the imaging status information provided from the imaging devices 10a to 10n to the user interface 400, and acquires the input from the user.
  • the input from the user is the selection result of the data for which the amount of sediment is calculated, whether or not the amount of sediment calculation can be performed, or a combination thereof.
  • the user instruction acquisition unit 202b outputs whether the sediment amount calculation process is possible or not to the sediment amount calculation command unit 202c, for example.
  • the sediment amount calculation commanding unit 202c causes the sediment amount calculating device 300 to execute the sediment amount calculating process based on whether or not the sediment amount calculating process received from the user instruction acquiring unit 202b.
  • the sediment amount calculation commanding unit 202c may cause the sediment amount calculation device 300 to execute the sediment amount calculation processing based on the selection result of the target data for calculating the sediment amount. A specific example of the processing by the sediment amount calculation command unit 202c will be described later.
  • FIG. 7 is a block diagram showing a configuration of a sediment amount calculation apparatus 300 included in the sediment amount measuring system 1000 according to the embodiment.
  • the sediment amount calculation device 300 includes a storage unit 301 and a processing unit 302.
  • the sediment amount calculation device 300 processes the data received via the control device 200. Specifically, the sediment amount calculation apparatus 300 executes the sediment amount calculation process for the sediment 21 existing in the space A1 captured by the camera 100 included in each of the imaging devices 10a to 10n.
  • the target for the sediment amount calculation device 300 to execute the sediment amount calculation process is, for example, the space A1 after a disaster.
  • the amount of sediment 21 deposited in the space A1 (sediment amount) can be obtained by calculating the difference from the three-dimensional model of the space A1 before the disaster.
  • the target for the sediment amount calculation device 300 to execute the sediment amount calculation process does not have to be the space A1 immediately after the disaster, for example, the space A1 during the sediment removal work.
  • the sediment amount calculation device 300 can calculate the progress of the sediment removal work by sequentially calculating the sediment amount.
  • the target for the sediment amount calculation device 300 to execute the sediment amount calculation process does not have to be the space A1 before and after the disaster, and is not particularly limited.
  • Such a sediment amount calculation device 300 is, for example, a computer.
  • the storage unit 301 is a storage device of this computer, and is realized by a hard disk drive, various semiconductor memories, or a combination thereof.
  • the processing unit 302 is realized by the CPU of this computer.
  • the sediment amount calculation apparatus 300 may be realized by the same computer as the control apparatus 200.
  • the storage unit 301 stores a program that the processing unit 302 reads and executes. Further, in the storage unit 301, the data received from the image pickup devices 10a to 10n via the control device 200 and the data of the three-dimensional model acquired from the external device, which are the data to be processed by the processing unit 302. Is memorized. That is, the storage unit 301 may store the three-dimensional reconstruction result or the attribute information extraction result. Further, as the result of the three-dimensional reconstruction, a three-dimensional model before the disaster may be stored or a three-dimensional model after the disaster may be stored.
  • the processing unit 302 processes the data received from the imaging devices 10a to 10n by reading and executing the program stored in the storage unit 301.
  • One of the processes is the three-dimensional reconstruction of the space A1.
  • the processing unit 302 includes an image acquisition unit 302a, a three-dimensional reconstruction unit 302b, an attribute information extraction unit 302c, a model acquisition unit 302d, an alignment unit 302e, and a difference calculation unit 302f.
  • the image acquisition unit 302a acquires a plurality of images respectively imaged by the plurality of imaging devices 10a to 10n.
  • the image acquisition unit 302a further corresponds to each of the plurality of images together with the plurality of images, and acquires a camera label indicating the camera 100 in which each of the plurality of images is captured.
  • the image acquisition unit 302a may acquire a plurality of images and a camera label, for example, by acquiring an image to which a camera label is attached.
  • Each of the plurality of images may be a still image or a moving image.
  • the plurality of images used for the calibration processing are obtained by being imaged by the plurality of imaging devices 10a to 10n at one corresponding timing (that is, at the same time). It is preferable that the image is an image.
  • the plurality of images acquired by the image acquisition unit 302a are stored in the storage unit 301. Further, the image acquisition unit 302a may store the image and the camera label in the storage unit 301 in advance before receiving the sediment amount calculation command from the control device 200. As a result, the sediment amount calculation device 300 can start the sediment amount calculation process when it is determined that the sediment amount calculation is necessary.
  • the three-dimensional reconstruction unit 302b generates at least one of the first three-dimensional model and the second three-dimensional model from a plurality of images each showing the space A1. More specifically, the three-dimensional reconstruction unit 302b calculates the three-dimensional shape of the space A1 using the plurality of images captured by the plurality of imaging devices 10a to 10n with respect to the space A1. For example, the three-dimensional reconstruction unit 302b generates a three-dimensional model of the space A1 at the first time using the image group at the first time. Further, the three-dimensional reconstruction unit 302b generates a three-dimensional model of the space A1 by using an image group at a time different from the first time. As described above, the three-dimensional reconstruction unit 302b generates the first three-dimensional model and the second three-dimensional model, which are three-dimensional models of the same area and have different times.
  • the three-dimensional reconstruction unit 302b associates a plurality of images captured by the plurality of imaging devices 10a to 10n, and calculates the three-dimensional shape of the space A1 by geometrical calculation from the association.
  • the model for expressing the three-dimensional shape may be expressed by a point group, a voxel, or a mesh.
  • the representation of these three-dimensional models is an example.
  • the representation method of the three-dimensional model is not particularly limited to the above.
  • the attribute information extraction unit 302c includes a plurality of images captured by the plurality of image capture devices 10a to 10n, a three-dimensional model reconstructed by the three-dimensional reconstruction unit 302b, or a three-dimensional model acquired by a model acquisition unit 302d described below. Attribute information is extracted from the model. For example, the attribute information extraction unit 302c estimates the attributes of each point based on the information of the surrounding points with respect to the three-dimensional point cloud, and calculates the estimated attributes as the attribute information. Further, the attribute information extraction unit 302c estimates, for example, the attribute information of the object captured in each image based on the information of the surrounding pixels with respect to the image data, and reconstructs the estimated attribute information in a three-dimensional model. Associate with each minimum composition unit of.
  • the attribute information extraction unit 302c may acquire the three-dimensional model reconstructed by the three-dimensional reconstruction unit 302b, or the plurality of images captured by the plurality of imaging devices 10a to 10n from the storage unit 301. May be acquired, a three-dimensional model acquired from the storage unit 301 may be acquired, or a three-dimensional model may be acquired from a model acquisition unit 302d described below.
  • the model acquisition unit 302d acquires a three-dimensional model from the three-dimensional reconstruction unit 302b and the storage unit 301.
  • the model acquisition unit 302d acquires, for example, a model obtained by reconstructing the pre-disaster space A1 from the storage unit 301 and a model obtained by reconstructing the post-disaster space A1 from the three-dimensional reconstruction unit 302b.
  • the model acquisition unit 302d may acquire two or more three-dimensional models from the storage unit 301.
  • the model acquisition unit 302d acquires a first three-dimensional model showing the space A1 and a second three-dimensional model showing the space A1 and different from the first three-dimensional model.
  • the model acquisition unit 302d acquires a first three-dimensional model showing the space A1 at the first time and a second three-dimensional model showing the space A1 at the second time different from the first time. To do.
  • the model acquisition unit 302d uses the storage unit 301 to extract two three-dimensional models before and after a disaster in the space A1 (that is, a first three-dimensional model indicating the space A1 before the disaster (first time), and A second three-dimensional model showing the space A1 after the disaster (second time) is acquired.
  • a first three-dimensional model indicating the space A1 before the disaster (first time) that is, a first three-dimensional model indicating the space A1 before the disaster (first time)
  • a second three-dimensional model showing the space A1 after the disaster (second time) is acquired.
  • the three-dimensional model acquired by the model acquisition unit 302d may be a model calculated from image data outside the sediment measurement system 1000 or a model calculated from laser measurement outside the sediment measurement system 1000.
  • the method of expressing the three-dimensional model to be acquired may be voxel data, mesh data, or point cloud data.
  • the alignment unit 302e uses the two or more three-dimensional models acquired by the model acquisition unit 302d and the attribute information calculated by the attribute information extraction unit 302c to unify the coordinate system between the three-dimensional models, That is, the process of aligning the three-dimensional models with each other is performed. That is, the alignment unit 302e aligns the first 3D model and the second 3D model based on the attribute information of each of the first 3D model and the second 3D model. Specifically, the alignment unit 302e compares the partial areas, which are partial areas of the space A1 including the three-dimensional model having the same attribute information, based on the attribute information, thereby efficiently calculating the model. You can make a comparison.
  • Alignment unit 302e associates partial models with changing combinations within partial models having the same attribute information.
  • the alignment unit 302e compares the minimum structural unit between the partial models having at least one or more same attribute information, for example, a three-dimensional point in the case of a three-dimensional model represented by a point cloud.
  • the partial model is a set of the minimum structural units indicating a part or all of the area of the three-dimensional model.
  • Alignment unit 302e searches for and associates the points closest to each other between the partial models, and adjusts the position and orientation of the coordinate system so that the difference between the positions of the points becomes small.
  • the alignment unit 302e calculates the coordinate system with the smallest difference by repeatedly calculating while changing the correspondence of the partial models and the correspondence of the points described above, and performs the coordinate conversion to the calculated coordinate system. Calculate the original model.
  • the alignment unit 302e performs alignment (coordinate transformation and size alignment) based on the attribute information. For example, the alignment unit 302e extracts a three-dimensional model (partial model) having the same attribute information in each of the plurality of three-dimensional models. The alignment unit 302e compares the extracted three-dimensional models and aligns them. Further, the alignment unit 302e changes the entire three-dimensional model in accordance with the partial model changed by the alignment. That is, the alignment unit 302e extracts a partial model having attribute information common to each of the first three-dimensional model and the second three-dimensional model from each of the first three-dimensional model and the second three-dimensional model.
  • the respective partial models are aligned by moving the respective partial models so that the coordinates of the corresponding positions of the respective partial models match, and then the first three-dimensional model and the third three-dimensional model are aligned with the movement of the respective partial models.
  • the first three-dimensional model and the second three-dimensional model are aligned by moving the three-dimensional model.
  • the alignment unit 302e can align the three-dimensional model more efficiently than aligning the entire three-dimensional model all at once.
  • the converted model may be stored in the storage unit 301.
  • the mapping of the partial model and the mapping of the minimum structural unit may be random or may be selected based on the feature amount. Further, the association of the partial model and the association of the minimum structural unit are not limited to the above method. In the alignment between the colored models, the information of the color difference may be used for the alignment.
  • the scale of the three-dimensional model may be adjusted to a desired scale for either the pre-disaster or post-disaster three-dimensional model. For example, it may be adjusted to the scale of space A1. Further, the scale of the three-dimensional model may be adjusted from the scale information given from the outside of the sediment amount measurement system 1000. By adjusting the scale of the 3D model, the difference can be calculated on the same scale as the 3D model before the disaster and the 3D model after the disaster. As a result, the amount of earth and sand can be calculated on the scale of the space A1.
  • the difference calculation unit 302f calculates the amount of difference between the first 3D model and the second 3D model, and outputs the attribute information of the difference and the difference information indicating the amount of difference. Specifically, the difference calculation unit 302f calculates difference information between two or more three-dimensional models whose coordinate systems are unified by the alignment unit 302e. The difference calculation unit 302f calculates, for example, the volume of a three-dimensional region covered with a surface in which the surfaces do not overlap or intersect in a mesh model of the same coordinate system.
  • the difference information calculated by the difference calculation unit 302f may include attribute information in a region where the difference is remarkable, for example, information on a mixture contained in earth and sand.
  • the above difference information is an example and is not intended to limit the disclosure.
  • the difference calculation unit 302f outputs, for example, the calculated difference information to the user interface 400. Thereby, the user can confirm the difference information (that is, the amount and attribute of the soil 21 which is the amount of the difference) by operating the user interface 400.
  • the difference calculation unit 302f when the difference calculation unit 302f includes a plurality of pieces of attribute information having different differences, the difference calculation unit 302f classifies the plurality of pieces of attribute information and outputs the plurality of pieces of attribute information, thereby displaying a plurality of pieces of attribute information collectively for each type. Displayed on a device (for example, user interface 400). In this case, for example, the difference calculation unit 302f calculates the amount included in the difference for each type.
  • FIG. 8 is a flowchart showing the alignment process of the three-dimensional model executed by the sediment amount measurement system 1000 according to the embodiment.
  • FIG. 9 is a diagram for explaining the alignment of the two three-dimensional models executed by the alignment unit 302e.
  • the alignment unit 302e included in the sediment amount calculation device 300 in the present embodiment is first labeled with respect to at least two or more three-dimensional models with partial models having the same attribute information, for example, "house”.
  • the partial models are associated with each other (S31). That is, in this case, for example, the two three-dimensional models both include a partial model having attribute information indicating a "house”.
  • the alignment unit 302e first. A partial model having attribute information included in both the first three-dimensional model 500 and the second three-dimensional model 510 is extracted.
  • the alignment unit 302e is included in the first three-dimensional model 500 and is included in the first partial model 501 having attribute information of "house” and the second three-dimensional model 510, and is included in the attribute information of "house”. It is assumed that the second partial model 511 having the above is extracted.
  • the alignment unit 302e associates the first partial model 501 with the second partial model 511.
  • the alignment unit 302e extracts one or more feature points included in the first partial model 501 and one or more feature points included in the second partial model 511, and the extracted first portion.
  • the feature points of the model 501 and the feature points of the extracted second partial model 511 are associated with each other.
  • the feature points extracted here may be arbitrary.
  • feature points are corners in a partial model.
  • the alignment unit 302e associates the same feature points with the feature points of the first partial model 501 and the extracted feature points of the second partial model 511.
  • the alignment unit 302e associates the feature points 520 of the first partial model 501 with the feature points 521 of the extracted second partial model 511.
  • the alignment unit 302e may be a minimum constituent unit between the partial models having at least one or more same attribute information, for example, a three-dimensional model represented by a point group.
  • the three-dimensional points are compared with each other, and the points closest to each other among the points between the partial models are searched and associated (S32).
  • the alignment unit 302e adjusts the position and orientation of the coordinate system of the partial model so that the difference between the positions of the points associated in step S32 becomes small (S33). For example, as shown in FIG. 9C, the alignment unit 302e sets at least one of the first partial model 501 and the second partial model 511 so that the associated feature points are located at the same coordinates. Change. For example, the alignment unit 302e sets at least one of the first partial model 501 and the second partial model 511 so that the feature points 520 and the feature points 521, which are the associated feature points, are located at the same coordinates. To move. Further, the alignment unit 302e changes the entire three-dimensional model in accordance with the change of the partial model. As a result, the alignment unit 302e changes the models showing the same object in the first three-dimensional model 500 and the second three-dimensional model 510 to be positioned at the same position and orientation.
  • the alignment unit 302e may adjust the scale of the three-dimensional model when adjusting the position and orientation. Further, the scale may be adjusted to either one of the two three-dimensional models, or both scales of the two three-dimensional models may be adjusted based on the scale information obtained from the outside.
  • the alignment unit 302e causes the position of the partial model (for example, at least one of the first partial model 501 and the second partial model 511 shown in FIG. 9) executed in step S33. And, it is determined whether or not there is little change in posture (S34). If the change in adjusting the position and orientation is large, the process proceeds to step S32, and if the change is small, the process proceeds to step S35.
  • the partial model for example, at least one of the first partial model 501 and the second partial model 511 shown in FIG. 9
  • the amount of change used as the reference here may be arbitrarily determined in advance. For example, when the amount of change before and after the adjustment when adjusting the position and orientation of the partial model is equal to or greater than the reference amount of change that is arbitrarily determined in advance, the alignment unit 302e next executes step S32. On the other hand, for example, when the change amount before and after the adjustment when adjusting the position and orientation of the partial model is less than the reference change amount, the alignment unit 302e next executes step S35.
  • the amount of change is, for example, the amount of movement of each point. When the entire partial model is rotated with respect to a certain reference point, the change amount may be a rotation angle due to the rotation.
  • the alignment unit 302e compares the entire three-dimensional model from the results of the position and adjustment, and determines whether or not the overall difference is large (S35). If the overall difference is large, the process proceeds to step S36, and if the difference is small, the process proceeds to step S37.
  • the overall difference used as the reference here may be set in advance. For example, when the difference between before and after the adjustment when adjusting the position and orientation of the entire three-dimensional model is equal to or greater than a reference difference that is arbitrarily set in advance, the alignment unit 302e next executes step S36. On the other hand, for example, when the difference between the changes before and after the adjustment when adjusting the position and orientation of the entire three-dimensional model is less than the reference difference, the alignment unit 302e then executes step S37.
  • the difference here is, for example, the amount of points whose coordinates do not match at each three-dimensional point in the two three-dimensional models.
  • the alignment unit 302e determines whether all possible combinations in step S31 and step S32 have been compared (S36). If all combinations are completed, the process proceeds to step S37, and if not, the process proceeds to step S31.
  • the alignment unit 302e extracts and associates a partial model that is not yet compared with the first three-dimensional model 500 and the second three-dimensional model 510, for example. ..
  • step S33 ends, the process proceeds to step S36.
  • step S35 the configuration may not include step S34 and step S35.
  • the alignment unit 302e outputs the coordinate system that minimizes the overall difference and the three-dimensional model after coordinate conversion (S37).
  • FIG. 10 is a sequence diagram showing the processing of the sediment amount measuring system 1000 according to the embodiment.
  • the sediment amount measurement system 1000 starts the sediment amount calculation process when the user gives a processing instruction.
  • the control device 200 sends an image pickup instruction to the image pickup devices 10a to 10n (only the image pickup device 10a is shown in FIG. 10), sends the image pickup images received from the image pickup devices 10a to 10n to the user interface 400 as image pickup information, and
  • the imaging information is presented to (S41).
  • the imaging information is, for example, an image of space A1.
  • the user By operating the user interface 400, the user confirms the imaging information, and whether the imaging devices 10a to 10n can appropriately image the desired space, and whether the imaging information is sufficient to start the process, etc. Is determined, and an instruction for processing is given (S42). Specifically, the user operates the user interface 400 to cause the user interface 400 to transmit information indicating the instruction of the above processing to the control device 200.
  • the user processing instruction transmitted via the user interface 400 is information or a signal indicating whether to start the sediment amount calculation processing or the imaging devices 10a to 10n continue imaging.
  • the user processing instruction may include information for specifying which imaging information is used for the sediment amount calculation processing, or information for specifying the result to be output.
  • the control device 200 determines whether to execute the sediment amount calculation process or the imaging devices 10a to 10n continue imaging based on the information indicating the user's processing instruction received from the user interface 400 (S43). ).
  • the control device 200 transmits the sediment amount calculation command and the captured image to the sediment amount calculation device 300.
  • control device 200 determines that the image capture devices 10a to 10n continue image capture (No in S43)
  • the control device 200 transmits information indicating an instruction to continue image capture to the image capture devices 10a to 10n, and the image capture devices 10a to 10n are informed. Continue imaging.
  • Step S44 is, for example, the processing of steps S31 to S37 shown in FIG.
  • the sediment amount calculation device 300 transmits information indicating the processing result to the control device 200.
  • control device 200 sorts out the processing results received from the sediment amount calculation device 300 based on the user processing instruction, and outputs (transmits) the difference information to the user interface 400 (S45).
  • the user interface 400 presents the difference information received from the control device 200 to the user (S46). Specific examples of the difference information presented to the user will be described later.
  • FIG. 11 is a flowchart showing a calculation process of the amount of sediment, which is executed by the sediment measurement system 1000 according to the embodiment.
  • the image acquisition unit 302a acquires a plurality of images respectively imaged by the plurality of imaging apparatuses 10a to 10n (S51).
  • the three-dimensional reconstruction unit 302b executes the three-dimensional reconstruction process using a plurality of images (S52).
  • the three-dimensional reconstruction unit 302b shows the space A1 and has a first three-dimensional model having attribute information for each area, and the second three-dimensional model having the space A1 and having attribute information for each area.
  • a second three-dimensional model that is different from the first three-dimensional model (for example, the time is different) is generated.
  • the model acquisition unit 302d acquires two or more three-dimensional models from the three-dimensional reconstruction unit 302b or the storage unit 301 (S53). Note that one or more may be acquired from the three-dimensional reconstruction unit 302b, one or more from the storage unit 301, or two or more may be acquired from the storage unit 301.
  • the attribute information extraction unit 302c extracts attribute information from a plurality of images captured by the image pickup devices 10a to 10n, or from a three-dimensional model (S54).
  • step S54 may be performed before step S53, may be performed after step S53, or may be performed in both.
  • the alignment unit 302e performs a process of unifying the coordinates from the two or more three-dimensional models and the attribute information (S55). Specifically, the alignment unit 302e aligns the first three-dimensional model and the second three-dimensional model based on the attribute information of each of the first three-dimensional model and the second three-dimensional model. For example, the alignment unit 302e determines corresponding points that are the same point in the first 3D model and the second 3D model based on the attribute information of each of the first 3D model and the second 3D model. It is detected, and the detected corresponding points are used to align the first three-dimensional model and the second three-dimensional model. The alignment unit 302e can perform the alignment efficiently and accurately by comparing the areas having the same attribute information (that is, the partial models having the same attribute information) in the three-dimensional model. ..
  • the difference calculation unit 302f calculates difference information between two or more models whose coordinate systems are unified by the alignment unit 302e (that is, aligned by the alignment unit 302e) (S56).
  • the difference information includes, for example, difference information indicating the amount of difference and attribute information included in the difference.
  • the difference calculation unit 302f outputs, for example, the calculated difference information to the user interface 400 (more specifically, the user interface 400 via the control device 200).
  • the user interface 400 presents (more specifically, displays) the acquired difference information to the user.
  • FIG. 12 is a diagram showing an example of an image 600 presented when the user interface 400 included in the sediment amount measuring system 1000 according to the embodiment aligns two three-dimensional models.
  • the user interface 400 is realized, for example, by using a mobile terminal such as a smartphone or tablet terminal having a display device and an input device for a touch panel display or the like.
  • the image 600 includes a three-dimensional image 601, an object selection unit 602, and a determination unit 603.
  • the three-dimensional image 601 is an image showing a three-dimensional model after a disaster.
  • the target selection unit 602 is an image for receiving the selection of the partial model having the attribute information that the registration unit 302e preferentially associates.
  • the user touches, for example, the attribute information to be preferentially associated with the alignment unit 302e or the partial model having the attribute information in the three-dimensional image 601 or the target selection unit 602.
  • the user interface 400 informs the control device 200, for example, of the attribute information touched by the user or the information indicating the partial model having the attribute information together with the information indicating the user processing instruction after step S42 shown in FIG. Send.
  • the control device 200 transmits, for example, the attribute information touched by the user or the information indicating the partial model having the attribute information to the sediment amount calculation device 300 together with the sediment amount calculation command and the imaging information.
  • the alignment unit 302e first selects and associates a partial model based on the attribute information touched by the user or the information indicating the partial model having the attribute information.
  • FIG. 13 is a diagram showing an example of difference information presented by the user interface 400 included in the sediment amount measuring system 1000 according to the embodiment.
  • the user interface 400 uses a tablet-type mobile terminal as shown in FIG. 13 to display the result of the amount of sediment, which is an example of the amount of difference calculated.
  • the user interface 400 may display the estimated weight as the calculation result in addition to the volume of the amount of sediment.
  • the user interface 400 may display the mixture of the portion corresponding to the soil using the attribute information obtained by the attribute information extraction unit 302c. As a result, it is possible to efficiently acquire the information necessary for removing the sediment and the mixture. Further, the display method of the mixture is not limited to characters, and may be realized by coloring the corresponding portion on the three-dimensional model or the image.
  • the user interface 400 presents the difference information to the user by displaying the image 610.
  • the image 610 includes a three-dimensional image 611, an emphasis line 612, a difference amount information image 613, and an attribute information image 614.
  • the three-dimensional image 611 is an image showing a three-dimensional model after a disaster.
  • the emphasis line 612 is a line for showing the position, area, etc. of the difference from the 3D model before the disaster in the 3D image 611.
  • the emphasized line 612 is shown by a broken line circle for explanation, but the emphasized line 612 is a solid line, a broken line, a thick line, a color line colored differently from other parts, a rectangle, and a polygon. Etc. may be arbitrary.
  • the difference amount information image 613 is an image for presenting the difference amount to the user.
  • the difference amount information image 613 includes, for example, information indicating the difference volume and the estimated weight of earth and sand.
  • the attribute information image 614 is an image for presenting the attribute information of the partial model included in the difference to the user.
  • the attribute information image 614 includes information indicating "earth and sand", “driftwood”, “signs", "traffic light”, etc. as attribute information of the partial models included in the difference.
  • the attribute information image 614 includes the volume or weight ratio of the portion indicated by the attribute information in the entire difference. In this way, the amount of difference may be displayed for each attribute.
  • the attribute information image 614 includes the first type image 615 and the second type image 616.
  • the first type image 615 is an image for collectively presenting the attributes satisfying the first condition among the plurality of attributes included in the difference.
  • the second type image 616 is an image for collectively presenting the attributes satisfying the second condition among the plurality of attributes included in the difference.
  • the user interface may display the attribute information and the amount of the partial model having the attribute information collectively for each attribute type.
  • the first condition is a natural product and the second condition is an artificial product.
  • These conditions may be arbitrarily set in advance and are not particularly limited.
  • the physical quantity calculation device for example, the sediment measurement system 1000, more specifically, the sediment calculation device 300
  • the same predetermined space for example, space.
  • a three-dimensional model showing A1) and having attribute information for each region for example, for each partial model or for each three-dimensional point constituting the three-dimensional model
  • the first three-dimensional model and the first three-dimensional model has the same predetermined space (for example, space).
  • an acquisition unit for example, model acquisition unit 302d for acquiring, and each of the first three-dimensional model and the second three-dimensional model aligned by the alignment unit Based on the attribute information possessed, the amount of difference between the alignment unit 302e that aligns the first 3D model and the 2nd 3D model and the 1st 3D model and the 2nd 3D model is calculated.
  • the calculation unit (for example, the difference calculation unit 302f) that outputs the attribute information included in the difference and the amount of the difference.
  • the amount of sediment there is a method of calculating the amount of sediment that has flowed into a predetermined space due to the influence of a collapse or the like at a sediment-related disaster site or the like.
  • the amount can be calculated with high accuracy, but there is a problem that the calculation takes time and cost. Therefore, in the physical quantity calculation device according to the present disclosure, for example, in a predetermined space, a three-dimensional model (first three-dimensional model) showing the predetermined space in a state in which there is no object whose amount of earth and sand or the like is to be calculated, The three-dimensional model (second three-dimensional model) showing the predetermined space in the state where the object exists is compared.
  • the difference between the first three-dimensional model and the second three-dimensional model can be easily calculated by appropriately aligning the first three-dimensional model and the second three-dimensional model. Therefore, according to the physical quantity calculation device according to the present disclosure, the processing time for calculating the quantity of the object can be shortened.
  • the physical quantity calculation device may further include a generation unit (for example, a cubic function) that generates at least one of the first three-dimensional model and the second three-dimensional model from a plurality of images each showing a predetermined space.
  • a generation unit for example, a cubic function
  • the original reconstruction unit 302b is provided.
  • the amount of difference can be calculated with a simple configuration such as a camera for generating an image.
  • the calculation unit when the calculation unit includes a plurality of attribute information having different differences from each other, the calculation unit outputs the plurality of attribute information by classifying the plurality of attribute information so that the plurality of attribute information is collectively displayed for each type. For example, it is displayed on the user interface 400).
  • the calculation unit calculates the amount included in the difference for each type.
  • the amount of each type of object included in the difference is displayed on the display device, it is possible to make it easier for the user who confirms the display device to understand the amount of each type included in the difference.
  • the difference amount is at least one of the difference volume and the weight.
  • the physical quantity calculation device can calculate at least one of the difference amount and the volume.
  • the alignment unit extracts, from each of the first 3D model and the second 3D model, a partial model having attribute information that is common to the first 3D model and the second 3D model. Then, after aligning by moving the respective partial models so that the coordinates of the corresponding positions of the respective extracted partial models match, the first three-dimensional model and the first three-dimensional model are adjusted in accordance with the movement of the respective partial models. By moving the second three-dimensional model, the first three-dimensional model and the second three-dimensional model are aligned.
  • the physical quantity calculation device can be used with the first three-dimensional model and the second three-dimensional model without performing processing such as alignment by comparing the shapes of the three-dimensional models. You can align. Therefore, according to this, the processing time of the physical quantity calculation device according to the present disclosure can be further shortened.
  • a physical quantity calculation method is a three-dimensional model that shows the same predetermined space and has attribute information for each region, and includes a first three-dimensional model and a first cubic A first 3D model based on an acquisition step (for example, step S53) for acquiring a second 3D model different from the original model, and attribute information possessed by each of the first 3D model and the second 3D model.
  • the amount of difference between the alignment step (for example, step S55) for aligning and the second three-dimensional model and the difference between the first three-dimensional model and the second three-dimensional model is calculated, and the attribute information and the difference possessed by the difference are calculated.
  • a calculation step for example, step S56 for outputting the difference information indicating the amount of
  • the difference between the first 3D model and the second 3D model can be easily calculated by appropriately aligning the first 3D model and the second 3D model. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the physical quantity can be shortened.
  • a first three-dimensional model showing a predetermined space before the sediment flows in and a second three-dimensional model showing a predetermined space after the sediment flows in are acquired. Then, in the calculating step, the amount of the earth and sand is calculated as the amount of the difference.
  • the amount of earth and sand that becomes a difference can be easily calculated by appropriately aligning the three-dimensional model showing the predetermined space before and after the disaster such that the earth and sand flow into the predetermined space. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the amount of earth and sand can be shortened.
  • each component of the processing unit may be composed of one or a plurality of electronic circuits.
  • Each of the one or more electronic circuits may be a general-purpose circuit or a dedicated circuit.
  • the one or more electronic circuits may include, for example, a semiconductor device, an IC (Integrated Circuit), an LSI (Large Scale Integration), or the like.
  • the IC or LSI may be integrated on one chip or may be integrated on a plurality of chips.
  • IC integrated circuit
  • LSI System LSI
  • VLSI Very Large Scale Integration
  • ULSI Ultra Large Scale Integration
  • FPGA Field Programmable Gate Array
  • the general or specific aspects of the present disclosure may be realized by a system, an apparatus, a method, an integrated circuit, or a computer program.
  • a computer-readable non-transitory recording medium such as an optical disk storing the computer program, an HDD (Hard Disk Drive), or a semiconductor memory.
  • the system, the apparatus, the method, the integrated circuit, the computer program, and the recording medium may be implemented in any combination.
  • the division of the functional block in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. May be.
  • a single piece of hardware or software may process the functions of a plurality of functional blocks having similar functions in parallel or in a time division manner.
  • the order in which the steps in the flowchart are executed is an example for specifically describing the present disclosure, and may be an order other than the above.
  • some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the present disclosure can be applied to a physical quantity calculation device that calculates a difference from a three-dimensional model, for example, a device that calculates the amount of an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

物量算出装置は、所定の空間を示す第１三次元モデルと、当該所定の空間を示し、第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部（モデル取得部（３０２ｄ））と、第１三次元モデルおよび第２三次元モデルそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う位置合わせ部（３０２ｅ）と、第１三次元モデルと第２三次元モデルとの差分の量を算出し、当該差分が有する属性情報と当該差分の量を示す差分情報とを出力する算出部（差異算出部（３０２ｆ））と、を備える。

Description

物量算出装置、および、物量算出方法
　本開示は、物量算出装置、および、物量算出方法に関する。
　所定の空間に位置する物体に関する体積または重量等の量を測定する技術がある（例えば、特許文献１参照）。
　特許文献１に開示されている技術では、崩落現場における崩落発生前後の画像を比較して当該画像の位置合わせをし、位置合わせをした当該画像を用いて三次元モデルを生成し、生成した三次元モデルに基づいて崩落現場の被災量を算出する。
特開２００２－３２８０２１号公報
　上記被災量等の所定の空間に位置する物体の量を算出する処理には、処理時間が短いことが望まれている。
　本開示は、物体の量を算出する処理時間を短縮できる物量算出装置等を提供する。
　本開示の一態様に係る物量算出装置は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部と、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせ部と、前記位置合わせ部によって位置合わせされた前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える。
　また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップと、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせステップと、前記位置合わせステップで位置合わせした前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む。
　なお、本開示は、上記物量算出方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データまたは信号として実現されてもよい。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信されてもよい。
　本開示によれば、物体の量を算出する処理時間を短縮できる物量算出装置等を提供できる。
図１は、実施の形態に係る土砂量計測システムの概要を説明するための図である。 図２は、実施の形態に係る土砂量計測システムが実行する、属性情報を抽出する処理の概要を説明するための図である。 図３は、実施の形態に係る土砂量計測システムが実行する、土砂量の算出処理の概要を説明するための図である。 図４は、実施の形態に係る土砂量計測システムの構成を示すブロック図である。 図５は、実施の形態に係る土砂量計測システムが備える撮像装置の構成を示すブロック図である。 図６は、実施の形態に係る土砂量計測システムが備える制御装置の構成を示すブロック図である。 図７は、実施の形態に係る土砂量計測システムが備える土砂量算出装置の構成を示すブロック図である。 図８は、実施の形態に係る土砂量計測システムが実行する、三次元モデルの位置合わせの処理を示すフローチャートである。 図９は、位置合わせ部が実行する２つの三次元モデルの位置合わせを説明するための図である。 図１０は、実施の形態に係る土砂量計測システムの処理を示すシーケンス図である。 図１１は、実施の形態に係る土砂量計測システムが実行する、土砂量の算出処理を示すフローチャートである。 図１２は、実施の形態に係る土砂量計測システムが備えるユーザーインタフェースが２つの三次元モデルを位置合わせする際に提示する画像の一例を示す図である。 図１３は、実施の形態に係る土砂量計測システムが備えるユーザーインタフェースが提示する差異情報の一例を示す図である。
　（本開示の概要）
　本開示の一態様に係る物量算出装置は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部と、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせ部と、前記位置合わせ部によって位置合わせされた前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える。
　従来、例えば、土砂災害現場等で崩落等の影響で所定の空間に流入した土砂量を計測（算出）する方法がある。レーザー計測による土砂量の算出では、高精度に量を算出できるが、算出に時間およびコストがかかる問題がある。そこで、本開示に係る物量算出装置では、例えば、所定の空間における、土砂等の量を算出したい物体が存在しない状態での当該所定の空間を示す三次元モデル（第１三次元モデル）と、当該物体が存在する状態での当該所定の空間を示す三次元モデル（第２三次元モデル）とを比較する。これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出装置によれば、物体の量を算出する処理時間を短縮できる。
　また、例えば、本開示の一態様に係る物量算出装置は、さらに、それぞれが前記所定の空間を示す複数の画像から前記第１三次元モデルおよび前記第２三次元モデルのうち少なくとも一方を生成する生成部を備える。
　これによれば、画像を生成するためのカメラ等の簡便な構成で、差分の量を算出できる。
　また、例えば、前記算出部は、前記差分が互いに異なる複数の属性情報を含む場合、前記複数の属性情報を種別ごとに分類して出力することで、前記種別ごとに前記複数の属性情報をまとめて表示装置に表示させる。
　これによれば、差分に含まれる物体の種別が分類されて表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別を理解させやすくできる。
　また、例えば、前記算出部は、前記種別ごとに前記差分に含まれる量を算出する。
　これによれば、差分に含まれる物体の種別ごとの量が表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別ごとの量を理解させやすくできる。
　また、例えば、前記差分の量は、前記差分の体積および重量の少なくとも一方である。
　これによれば、本開示に係る物量算出装置は、差分の量および体積の少なくとも一方を算出できる。
　また、例えば、前記位置合わせ部は、前記第１三次元モデルと前記第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、前記第１三次元モデルと前記第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの前記部分モデルの対応する位置の座標が一致するように、それぞれの前記部分モデルを移動させることで位置合わせした後で、それぞれの前記部分モデルの移動に合わせて前記第１三次元モデルと前記第２三次元モデルとを移動させることで、前記第１三次元モデルと前記第２三次元モデルとを位置合わせする。
　これによれば、本開示に係る物量算出装置は、三次元モデルの形状を比較することによる位置合わせ等の処理時間がかかる処理をせずに第１三次元モデルと第２三次元モデルとの位置合わせをできる。そのため、これによれば、本開示に係る物量算出装置の処理時間がさらに短縮され得る。
　また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップと、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせステップと、前記位置合わせステップで位置合わせした前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む。
　これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出方法によれば、物体の量を算出する処理時間を短縮できる。
　また、例えば、前記取得ステップでは、土砂が流入される前の前記所定の空間を示す前記第１三次元モデルと、前記土砂が流入された後の前記所定の空間を示す前記第２三次元モデルと、を取得し、前記算出ステップでは、前記差分の量として前記土砂の量を算出する。
　これによれば、所定の空間に土砂が流入されるような災害前後の当該所定の空間を示す三次元モデルを適切に位置合わせをすることで、簡便に差分となる土砂の量を算出できる。そのため、本開示に係る物量算出方法によれば、土砂の量を算出する処理時間を短縮できる。
　以下では、本開示の各実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する各実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する場合がある。
　（実施の形態）
　［概要］
　図１は、実施の形態に係る土砂量計測システムの概要を説明するための図である。
　実施の形態に係る土砂量計測システム１０００（例えば、図４参照）は、所定の三次元空間Ａ１（以下、単に空間Ａ１ともいう）内を撮像（以下、撮影ともいう）するためのカメラ１００を複数台備える。具体例を挙げると、空間Ａ１は、土砂２１が堆積した道路２０上の空間である。別の具体例を挙げると、空間Ａ１は、土砂２１または流木等が堆積した河川上の空間である。土砂量計測システム１０００は、本開示に係る物量算出装置の一例である。
　複数台のカメラ１００のそれぞれは、互いに異なる位置に配置されており、それぞれが共通する三次元空間（例えば、空間Ａ１）を撮像する。このため、空間Ａ１内における複数台のカメラ１００の撮像対象の領域は、少なくとも一部に重複する領域を有する。例えば、複数台のカメラ１００は、道路２０上の土砂２１を含む空間Ａ１を一部囲むように、互いに異なる位置に設置される。また、複数台のカメラ１００は、それぞれ互いに異なる姿勢をとる。そして、複数台のカメラ１００の撮像対象の領域では、少なくとも一部が重複する。撮像対象の領域において少なくとも一部が重複することは、撮像により得られた映像データに基づいて空間Ａ１の三次元モデル（例えば、点群データ）を生成（再構成）するためである。
　なお、撮像の対象となる領域は、複数台のカメラ１００のうちの一部のカメラ１００で重複していてもよいし、複数台のカメラ１００の全てで重複していてもよい。
　また、複数台のカメラ１００は、同一カメラによって別々の時刻に撮像する、すなわち移動カメラであってもよい。このため、カメラ１００が移動カメラであれば、カメラ１００は１つ以上あればよく、個数は限定されない。
　三次元再構成で行う処理（空間Ａ１の三次元モデルを生成する処理）では、このように複数台のカメラ１００からそれぞれ得られた複数の映像（以下、映像は、画像ともいう）を用いて空間Ａ１を示す三次元モデル２２を算出（生成）する。三次元再構成で行う処理は、例えば、複数台のカメラ１００からそれぞれ得られた複数の画像間で対応付けを行い、得られた対応関係から幾何学的な計算を行うことで三次元モデル２２を算出する。
　ここで、三次元モデルとは、所定の三次元空間（本実施の形態では、空間Ａ１）の幾何学的な形状が表現されたデータのことである。三次元形状を表現するためのモデルは、例えば、複数の三次元点からなる点群である。また、三次元モデルは、ボクセルで表現されてもよいし、メッシュで表現されていてもよい。
　なお、これら三次元モデルの表現は一例であり、三次元モデルの表現方法を限定するものではない。
　また、三次元モデルを生成するための元となるデータは、画像でなくてもよく、特に限定されない。例えば、三次元モデルを生成するための元となるデータは、ＬｉＤＡＲ等の計測器から取得されるデータでもよい。
　ＬｉＤＡＲは、物体との距離を測定するためのセンサである。所定の領域についてＬｉＤＡＲを走査（移動および測定）させることで、当該所定の領域に位置する物体の位置を算出できる。
　ＬｉＤＡＲ等のこの種の計測器は、電磁波を発し、且つ、発した電磁波が計測対象で反射された反射波を取得することで、三次元モデルを生成する。具体的には、計測器は、電磁波を発してから計測対象で反射して計測器に当該電磁波が戻るまでにかかった時間を計測し、計測した時間と電磁波の波長とを用いて、計測器と計測対象の表面上の点との間の距離を算出する。
　例えば、計測器は、当該計測器の基準点から予め定められた放射状の複数の方向へ電磁波を発する。例えば、計測器は、水平方向周りに第１の角度間隔で電磁波を発し、垂直方向周りに第２の角度間隔で電磁波を発する。このため、計測器は、当該計測器の周りの複数の方向それぞれにおける計測対象との間の距離を算出することで、計測対象上の複数の点の三次元座標を算出することができる。
　計測器は、例えば、電磁波としてのレーザ光を照射する。あるいは、計測器は、例えば、電磁波としてミリ波を出射することで計測対象との間の距離を計測する。
　図２は、実施の形態に係る土砂量計測システム１０００が実行する、属性情報を抽出する処理の概要を説明するための図である。具体的には、図２の（ａ）は、空間Ａ１を撮像することで生成された画像の一例を示す図である。図２の（ｂ）は、空間Ａ１を示す三次元モデルを示す図である。図２の（ｃ）は、図２の（ａ）に示す画像における「木」の属性情報を有する画素を拡大して示す図である。
　土砂量計測システム１０００は、空間Ａ１を複数台のカメラ１００により撮像した複数の画像データ、または空間Ａ１を再構成した三次元モデルを用いて、属性情報の抽出を行う。
　ここで、属性情報とは、画像または三次元モデルにおける特定の領域がどのような意味を持つかを認識した結果を示す情報である。属性情報は、例えば、画像における任意の領域に含まれる物体が「木」であるといった属性を示す情報である。また、別の例としては、属性情報は、点群で表現された三次元モデルにおける任意の部分点群が「木」であるといった属性を示す情報である。つまり、「木」、「流木」、「土砂」、「家」等は、それぞれ属性情報の一例である。このように、例えば、三次元モデルは、領域ごとに属性情報を有する。当該領域は、三次元モデルにおける予め定められた範囲でもよいし、三次元モデルを構成する三次元点ごとでもよく、特に限定されない。また、当該領域は、後述する部分モデルごとでもよい。つまり、三次元モデルは、後述する部分モデルごとに、属性情報を有してもよい。
　属性情報を抽出する処理は、例えば、セマンティックセグメンテーションを行うことで実現される。セマンティックセグメンテーションとは、画素、または三次元モデルの最小構成単位に対し、当該画素、または三次元モデルの最小構成単位の周辺の情報を用いて意味のあるラベル付けを行う処理である。
　具体的に例えば、セマンティックセグメンテーションとは、図２の（ｃ）に示すように、所定の三次元空間に存在する「木」が撮像された各画素に「木」というラベルがつけられる処理である。周辺画素の情報を参照することで、各画素のラベル付けを行うことが可能になる。周辺画素の情報は、Ｒ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）の値でもよいし、輝度値でもよいし、画素値の分布でもよいし、勾配でもよい。これによれば、例えば、「木」の属性情報が付与された点群の集合である部分モデルを「木」の属性情報を有する部分モデルとすることができる。
　属性情報の抽出は、例えば、予め定められた「木」等を示すデータからパターン認識等により行われる。ユーザーが後述するユーザーインタフェース４００（図４参照）を操作することにより、属性情報と画像または三次元モデルに含まれる物体との対応付けをしてもよい。
　図３は、実施の形態に係る土砂量計測システム１０００が実行する、土砂量の算出処理の概要を説明するための図である。具体的には、図３の（ａ）は、災害前の空間Ａ１を示す三次元モデルを示す図である。また、図３の（ｂ）は、災害後の空間Ａ１を示す三次元モデルを示す図である。また、図３の（ｃ）は、土砂量計測システム１０００が実行する差異情報を算出する処理を示す図である。図３の（ｄ）は、土砂量計測システム１０００が出力する差異情報の一例を示す図である。
　土砂量計測システム１０００は、空間Ａ１を再構成した、災害前の三次元モデル（以下、第１三次元モデルともいう）と、災害後の三次元モデル（以下、第２三次元モデルともいう）とを用いて差異を算出することで土砂２１の情報（差異情報）を抽出する。
　土砂量計測システム１０００は、２つの三次元モデルにおいて、災害前と災害後とで変化がより顕著な部分を抽出する。差異の算出結果は、差異情報としてユーザーに提示される。
　ここで、差異情報とは、例えば、三次元メッシュモデルにおいて、災害前の三次元モデルと災害後の三次元モデルとで面が重ならない、または交差しない三次元部分領域の体積である。このように算出される差異の量は、例えば、災害後に所定の三次元空間に堆積された土砂の量となる。
　また、差異情報は、２つの三次元モデルにおいて災害前と災害後とで変化がより顕著な部分における、属性情報の抽出によって得られた属性情報、例えば、土砂２１の中に含まれる流木またはがれき等の割合といった、互いに異なる複数の属性情報を含む混合物の情報を含んでもよい。
　混合物は、例えば、互いに異なる属性情報を有する複数の部分モデルの集合である。上記の例では、混合物は、土砂である。また、混合物（つまり、土砂）は、「流木」を示す属性情報を有する部分モデル（第１部分モデル）と、「がれき」を示す属性情報を有する部分モデル（第２部分モデル）とから構成される三次元モデルである。差異情報は、例えば、混合物に含まれる１以上の属性情報を含み、当該混合物の体積を差異の量として含み、かつ、当該混合物の体積における第１部分モデルが占める割合と第２部分モデルが占める割合とを示す情報を含む。
　また、属性情報の種別ごとに混合物が複数に分類されてもよい。例えば、混合物が「流木」を示す属性情報を有する部分モデル（第１部分モデル）と、「がれき」を示す属性情報を有する部分モデル（第２部分モデル）と、「標識」を示す属性情報を有する部分モデル（第３部分モデル）と、「信号機」を示す属性情報を有する部分モデル（第４部分モデル）とから構成されるとする。この場合、混合物は、自然物からなる第１部分モデルおよび第２部分モデルからなる混合物（第１混合物）と、人工物からなる第３部分モデルおよび第４部分モデルからなる混合物（第２混合物）と、に分類されてもよい。また、この場合、差異情報は、混合物の体積における第１混合物が占める割合と第２混合物が占める割合とを示す情報を含んでもよい。
　上記したように、差異情報は、例えば、２つの三次元モデルの差分の量を示す差分情報と、当該差分が有する属性情報と、を含む。差分の量は、例えば、当該差分の体積および重量の少なくとも一方である。
　なお、上記は、差異情報の一例であり、差異情報を限定するものではない。
　また、三次元モデルのスケールは、２つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルが所望のスケールに調整されてもよい。例えば、２つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルは、空間Ａ１のスケールに調整されていてもよい。また、２つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルは、土砂量計測システム１０００の外部から与えられたスケールの情報からスケールが調整されてもよい。三次元モデルのスケールが同じになるように調整されることで、災害前の三次元モデルと災害後の三次元モデルとを同じスケールで差異を算出できる。これにより、空間Ａ１のスケールで土砂量を算出することができる。
　なお、土砂量計測システム１０００は、本開示に係る物量算出装置の一例である。上記した差異情報を算出する方法は、土砂以外の対象、例えば、倉庫の在庫量の算出に用いられてもよいし、施工作業時の作業箇所における施工部材等の算出に用いられてもよい。
　［構成］
　＜土砂量計測システム＞
　続いて、土砂量計測システム１０００の構成について詳細に説明する。
　図４は、実施の形態に係る土砂量計測システム１０００の構成を示すブロック図である。
　土砂量計測システム１０００は、複数の撮像装置１０ａ～１０ｎ（例えば、撮像装置１０ａ、撮像装置１０ｂ、～、撮像装置１０ｎまでのｎ（２以上の整数）台）、制御装置２００、土砂量算出装置３００、およびユーザーインタフェース４００を備える。撮像装置１０ａ～１０ｎは、制御装置２００と通信可能に接続されている。また、土砂量算出装置３００、およびユーザーインタフェース４００は、制御装置２００と通信可能に接続されている。
　なお、撮像装置１０ａ～１０ｎは、制御装置２００と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。また、土砂量算出装置３００、およびユーザーインタフェース４００は、制御装置２００と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。
　ユーザーインタフェース４００は、ユーザーからの操作を受け付けるための受付機器である。ユーザーインタフェース４００は、例えば、制御装置２００に接続される表示装置、タッチスクリーン、トラックパッド、キーボード、マウス、その他のコントローラ類、またはこれらの組み合わせによって実現される。また、ユーザーインタフェース４００は、本開示に係る物量算出装置が算出した属性情報および差分情報を表示するための表示装置の一例である。
　＜撮像装置＞
　図５は、実施の形態に係る土砂量計測システム１０００が備える撮像装置１０ａの構成を示すブロック図である。なお、以降では、図４に示す撮像装置１０ａ～１０ｎの構成は、本実施の形態では互いに同じであるため、土砂量計測システム１０００が備える複数の撮像装置１０ａ～１０ｎのうちの１台の撮像装置について説明する場合には、撮像装置１０ａについて説明する。つまり、以降において撮像装置１０ａについて説明している箇所は、他の撮像装置１０ｂ～１０ｎについても同様のことがいえる。
　複数の撮像装置１０ａ～１０ｎは、それぞれが空間Ａ１を撮像するための図１に示すカメラ１００に相当するカメラを備える装置である。複数の撮像装置１０ａ～１０ｎのそれぞれが取り得る構成は、例えば、互いに共通である。
　なお、ここでいう空間Ａ１とは、複数台のカメラ１００それぞれの撮像領域の和集合である。
　撮像装置１０ａ～１０ｎのそれぞれは、カメラ１００を有し、架台１１０を備えてもよい。
　カメラ１００は、記憶部１０１、制御部１０２、光学系１０３、およびイメージセンサ１０４を備える。
　記憶部１０１には、制御部１０２が読み出して実行するプログラムが記憶されている。また、記憶部１０１には、イメージセンサ１０４を用いて撮影された撮像領域の映像データ、この映像データに付されるタイムスタンプ等のメタ情報、カメラ１００のカメラパラメータ、および、適用中のフレームレートまたは解像度等の撮影設定が一時的に記憶される。
　このような記憶部１０１は、例えばフラッシュメモリ等の書き換え可能な不揮発性の半導体メモリを用いて実現される。また、保存されるデータの書き換えの要否もしくは必要な保存期間等に応じて書き換え不可能なＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、または、揮発性のＲａＭ（Ｒａｎｄｏｍ　ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）も記憶部１０１として用いられ得る。
　なお、土砂量計測システム１０００が備える撮像装置の個数は、特に限定されない。例えば、土砂量計測システム１０００が備える撮像装置の個数は、複数でもよい。また、土砂量計測システム１０００が備える各撮像装置１０ａ～１０ｎの特性は、共通でなくてもよい。また、各撮像装置１０ａ～１０ｎのそれぞれが備えるカメラ１００は、モノラルカメラに限定されず、ステレオカメラでもよい。
　また、土砂量計測システム１０００が備える撮像装置の個数は、当該撮像装置が位置および姿勢を変更することで複数の視点から空間Ａ１を撮像することができれば、１つでもよい。
　制御部１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を用いて実現され、記憶部１０１に記憶されるプログラムを読み出して実行することで、カメラ１００が備える各構成要素を制御して撮像機能およびその他の機能を発揮させる。
　なお、制御部１０２は、カメラ１００が備える各構成要素を制御して撮像機能およびその他の機能を発揮させる専用回路により実現されてもよい。つまり、制御部１０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
　光学系１０３は、撮像領域からの光をイメージセンサ１０４上に結像させる構成要素であり、レンズを含む光学素子を用いて実現される。また、光学系１０３は、焦点距離および画角が変更可能な構成であってもよい。また、光学系１０３には、広角レンズ、または魚眼レンズのような超広角レンズが用いられてもよい。例えば、本開示に係る物量算出装置が備えるカメラが撮影する映像が監視システムに用いられる場合、広範な撮像領域を得るために広角レンズが用いられることがある。
　イメージセンサ１０４は、光学系１０３によって集められた光を受光面で受け、この受けた光を、画像を示す電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子で実現される。
　架台１１０は、土砂量の算出に用いられる映像を撮像によって生成中のカメラ１００を、所定の位置で固定し支えるための構成要素であり、例えば三脚で実現される。
　なお、この撮像の準備としてカメラ１００の固定位置を調整するために、架台１１０の脚部分は、長さおよび角度が調整可能であってもよい。
　また、架台１１０には、カメラ１００をパンまたはチルトするために雲台を回転させる機構、および上下に移動させるためのエレベータ機構等が備えられてもよい。あるいは、架台１１０は、ドリー、またはクレーン等の、カメラ１００を支えかつ移動させる機構を含んでもよい。
　なお、撮像装置１０ａ～１０ｎは、必ずしも固定されていなくてもよい。このため、撮像装置１０ａ～１０ｎは、架台１１０を有しない構成であってもよい。
　なお、土砂量計測システム１０００が備える撮像装置１０ａは、複数の固定カメラ、１つ以上の移動カメラ、またはそれらの組み合わせであれば特に個数は限定されない。また、モノラルカメラに限定されず、ステレオカメラのような複眼カメラが含まれていてもよい。
　＜制御装置＞
　図６は、実施の形態に係る土砂量計測システム１０００が備える制御装置２００の構成を示すブロック図である。
　制御装置２００は、記憶部２０１、制御部２０２、およびタイマー２０３を備える。
　制御装置２００は、撮像装置１０ａ～１０ｎの制御、およびユーザーインタフェース４００への入出力をする。また、制御装置２００は、土砂量算出装置３００に対して各撮像装置１０ａ～１０ｎから受け取ったデータにおける土砂量算出指令を行う。
　このような制御装置２００は、例えばコンピュータである。この場合、記憶部２０１はこのコンピュータの記憶装置であり、ハードディスクドライブもしくは各種の半導体メモリ、またはこれらの組み合わせで実現される。また、制御部２０２は、このコンピュータのＣＰＵで実現される。
　タイマー２０３は、制御部２０２を実現するＣＰＵが参照する、制御装置２００に備えられるタイマーである。
　記憶部２０１には、制御部２０２が読み出して実行するプログラムが記憶されている。また、記憶部２０１には、撮像装置１０ａ～１０ｎから受け取ったデータであって、制御部２０２による処理の対象であるデータが記憶される。
　制御部２０２は、記憶部２０１に記憶されるプログラムを読み出して実行することで、上記の撮像装置１０ａ～１０ｎおよび土砂量算出装置３００の制御を行う。
　また、制御部２０２は、これらの制御および処理に関するユーザーからの指令に対する処理を実行する。これらの処理のひとつとして、撮像装置１０ａ～１０ｎがそれぞれ備える複数台のカメラ１００による同期映像の撮影の制御が挙げられる。また、これらの処理のひとつには、土砂量算出指令が含まれていてもよい。
　制御部２０２は、機能的には、撮像制御部２０２ａ、ユーザー指示取得部２０２ｂ、および土砂量算出指令部２０２ｃを含む。
　制御部２０２に含まれるユーザー指示取得部２０２ｂは、ユーザーからの指示を取得するためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。
　また、制御部２０２に含まれる土砂量算出指令部２０２ｃは、土砂量算出指令のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。
　なお、制御部２０２の、撮像制御部２０２ａ、ユーザー指示取得部２０２ｂ、および土砂量算出指令部２０２ｃは、撮像制御、ユーザー指示取得、土砂量算出指令、および土砂量算出処理等を発揮させる専用回路により実現されてもよい。つまり、制御部２０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
　撮像制御部２０２ａは、複数の撮像装置１０ａ～１０ｎのそれぞれに、撮像領域である空間Ａ１を異なる複数のタイミングで撮像させる。撮像制御部２０２ａは、複数の撮像装置１０ａ～１０ｎのそれぞれが、予め定められた位置にあり、かつ、予め定められた方向を向いた姿勢にある状態で、複数の撮像装置１０ａ～１０ｎに撮像領域を撮像させる。
　ユーザー指示取得部２０２ｂは、撮像装置１０ａ～１０ｎから提供された撮像状況情報をユーザーインタフェース４００へ送り、ユーザーからの入力を取得する。ユーザーからの入力とは、土砂量の算出を行う対象のデータの選択結果、土砂量算出処理の可否、またはそれらの組み合わせである。ユーザー指示取得部２０２ｂは、ユーザーからの入力が土砂量算出処理の可否である場合、土砂量算出処理の可否を、例えば土砂量算出指令部２０２ｃに出力する。
　土砂量算出指令部２０２ｃは、ユーザー指示取得部２０２ｂから受け取った土砂量算出処理の可否等に基づいて、土砂量算出装置３００に土砂量算出処理を実行させる。また、土砂量算出指令部２０２ｃは、土砂量の算出を行う対象のデータの選択結果に基づいて、土砂量算出装置３００に土砂量算出処理を実行させてもよい。土砂量算出指令部２０２ｃによる処理については具体例を後述する。
　＜土砂量算出装置＞
　図７は、実施の形態に係る土砂量計測システム１０００が備える土砂量算出装置３００の構成を示すブロック図である。
　土砂量算出装置３００は、記憶部３０１および処理部３０２を備える。
　土砂量算出装置３００は、制御装置２００を介して受け取ったデータを処理する。具体的には、土砂量算出装置３００は、各撮像装置１０ａ～１０ｎが備えるカメラ１００が撮像した空間Ａ１内に存在する土砂２１に対して土砂量算出処理を実行する。
　土砂量算出装置３００が土砂量算出処理を実行する対象は、例えば、災害後の空間Ａ１である。これにより、災害前の空間Ａ１の三次元モデルとの差異を算出することで、空間Ａ１に堆積した土砂２１の量（土砂量）を求めることができる。
　また、土砂量算出装置３００が土砂量算出処理を実行する対象は、災害直後の空間Ａ１でなくてもよく、例えば、土砂撤去作業中の空間Ａ１でもよい。これにより、土砂量算出装置３００は、土砂量を逐次算出することで土砂撤去作業の進捗具合を算出することができる。
　なお、土砂量算出装置３００が土砂量算出処理を実行する対象は、災害前後の空間Ａ１でなくてもよく、特に限定されない。
　このような土砂量算出装置３００は、例えばコンピュータである。この場合、記憶部３０１は、このコンピュータの記憶装置であり、ハードディスクドライブもしくは各種の半導体メモリ、またはこれらの組み合わせで実現される。また、処理部３０２は、このコンピュータのＣＰＵで実現される。なお、土砂量算出装置３００は、制御装置２００と同じコンピュータにより実現されてもよい。
　記憶部３０１には、処理部３０２が読み出して実行するプログラムが記憶されている。また、記憶部３０１には、制御装置２００を介して撮像装置１０ａ～１０ｎから受け取ったデータ、および外部の装置から取得した三次元モデルのデータであって、処理部３０２による処理の対象であるデータが記憶される。つまり、記憶部３０１には、三次元再構成結果が記憶されていてもよいし、属性情報抽出結果が記憶されていてもよい。また、三次元再構成結果としては、災害前の三次元モデルが記憶されていてもよいし、災害後の三次元モデルが記憶されていてもよい。
　処理部３０２は、記憶部３０１に記憶されるプログラムを読み出して実行することで、撮像装置１０ａ～１０ｎから受け取ったデータの処理を行う。この処理のひとつとして、空間Ａ１の三次元再構成が挙げられる。
　処理部３０２は、画像取得部３０２ａ、三次元再構成部３０２ｂ、属性情報抽出部３０２ｃ、モデル取得部３０２ｄ、位置合わせ部３０２ｅ、および差異算出部３０２ｆを有する。
　画像取得部３０２ａは、複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像を取得する。画像取得部３０２ａは、さらに、複数の画像と共に、当該複数の画像のそれぞれに対応しており、当該複数の画像のそれぞれが撮像されたカメラ１００を示すカメララベルを取得する。画像取得部３０２ａは、例えば、カメララベルが付与された画像を取得することで、複数の画像とカメララベルとを取得してもよい。複数の画像のそれぞれは、静止画像であってもよいし、動画像であってもよい。
　なお、校正処理（三次元再構成処理）に利用される複数の画像は、それぞれ、ある対応する１タイミングにおいて（つまり、同時刻において）複数の撮像装置１０ａ～１０ｎにより撮像されることで得られた画像であることが好ましい。画像取得部３０２ａにより取得された複数の画像は、記憶部３０１に記憶される。また、画像取得部３０２ａは制御装置２００から土砂量算出指令を受け取る前に、事前に画像およびカメララベルを記憶部３０１に記憶していてもよい。これにより、土砂量算出装置３００は、土砂量算出が必要と判断された際に、土砂量算出処理を開始できる。
　三次元再構成部３０２ｂは、それぞれが空間Ａ１を示す複数の画像から第１三次元モデルおよび第２三次元モデルのうち少なくとも一方を生成する。より具体的には、三次元再構成部３０２ｂは、空間Ａ１に対し、複数の撮像装置１０ａ～１０ｎにより撮影された複数の画像を用いて、空間Ａ１の三次元形状を算出する。例えば、三次元再構成部３０２ｂは、第１時刻の画像群を用いて当該第１時刻の空間Ａ１の三次元モデルを生成する。また、三次元再構成部３０２ｂは、当該第１時刻とは異なる時刻の画像群を用いて空間Ａ１の三次元モデルを生成する。このように、三次元再構成部３０２ｂは、同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデルと第２三次元モデルとを生成する。
　三次元再構成部３０２ｂは、例えば、複数の撮像装置１０ａ～１０ｎにより撮影された複数の画像間の対応付けを行い、対応関係から幾何学的な計算により空間Ａ１の三次元形状を算出する。三次元形状を表現するためのモデルは、点群で表現されてもよいし、ボクセルで表現されてもよいし、メッシュで表現されていてもよい。
　なお、これら三次元モデルの表現は、一例である。三次元モデルの表現方法は、上記に特に限定されない。
　属性情報抽出部３０２ｃは、複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像、三次元再構成部３０２ｂによって再構成された三次元モデル、または後述のモデル取得部３０２ｄで取得した三次元モデルに対し、属性情報の抽出を行う。属性情報抽出部３０２ｃは、例えば、三次元点群に対し、周囲の点の情報をもとに各点の属性を推定し、推定した属性を属性情報として算出する。また、属性情報抽出部３０２ｃは、例えば、画像データに対し、周囲の画素の情報をもとに各画像で撮像された物体の属性情報を推定し、推定した属性情報を再構成した三次元モデルの各最小構成単位と紐付ける。
　また、属性情報抽出部３０２ｃは、三次元再構成部３０２ｂによって再構成された三次元モデルを取得してもよいし、記憶部３０１から複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像を取得してもよいし、記憶部３０１から取得した三次元モデルを取得してもよいし、後述のモデル取得部３０２ｄから三次元モデルを取得してもよい。
　モデル取得部３０２ｄは、三次元再構成部３０２ｂ、および記憶部３０１から三次元モデルを取得する。モデル取得部３０２ｄは、例えば、災害前の空間Ａ１を再構成したモデルを記憶部３０１から取得し、かつ、災害後の空間Ａ１を再構成したモデルを三次元再構成部３０２ｂから取得する。
　なお、モデル取得部３０２ｄは、記憶部３０１から２つ以上の三次元モデルを取得してもよい。例えば、モデル取得部３０２ｄは、空間Ａ１を示す第１三次元モデルと、空間Ａ１を示し、当該第１三次元モデルとは異なる第２三次元モデルと、を取得する。具体的には、モデル取得部３０２ｄは、第１時刻における空間Ａ１を示す第１三次元モデルと、当該第１時刻とが異なる第２時刻における空間Ａ１を示す第２三次元モデルと、を取得する。本実施の形態では、モデル取得部３０２ｄは、記憶部３０１から空間Ａ１における災害前後の２つの三次元モデル（つまり、災害前（第１時刻）における空間Ａ１を示す第１三次元モデル、および、災害後（第２時刻）における空間Ａ１を示す第２三次元モデル）を取得する。これにより、三次元再構成部３０２ｂにおいて三次元再構成処理を行わずとも、モデル間の差異を算出することが可能である。
　モデル取得部３０２ｄが取得する三次元モデルは、土砂量計測システム１０００の外部で画像データから算出されたモデルでもよいし、土砂量計測システム１０００の外部でレーザー計測から算出されたモデルでもよい。
　なお、取得する三次元モデルの表現方法は、ボクセルデータでもよいし、メッシュデータでもよいし、点群データでもよい。
　位置合わせ部３０２ｅは、モデル取得部３０２ｄにより取得した２つ以上の三次元モデルと、属性情報抽出部３０２ｃにより算出された属性情報と、を用いて三次元モデル間の座標系を統一する処理、つまり、三次元モデル同士の位置合わせをする処理を行う。つまり、位置合わせ部３０２ｅは、第１三次元モデルおよび第２三次元モデルそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う。具体的には、位置合わせ部３０２ｅは、属性情報をもとに、同じ属性情報を有する三次元モデルを含む空間Ａ１の一部の領域である部分領域を比較することにより、効率的にモデルの比較を行うことができる。
　位置合わせ部３０２ｅは、同じ属性情報を有する部分モデル内で組み合わせを変えながら部分モデル同士を対応付ける。
　次に、位置合わせ部３０２ｅは、少なくとも一つ以上の同じ属性情報を有する部分モデル間で最小構成単位、例えば、点群で表現された三次元モデルであれば三次元点の比較を行う。
　ここで、部分モデルとは、三次元モデルの一部または全部の領域を示す最小構成単位の集合である。
　位置合わせ部３０２ｅは、部分モデル間で互いに最近傍の点を探索し対応付け、各点の位置の差が小さくなるように座標系の位置姿勢を調整する。位置合わせ部３０２ｅは、上記した部分モデルの対応付け、および点の対応付けを変更しながら繰り返し計算することにより、最も差が小さくなる座標系を算出し、算出したその座標系に座標変換した三次元モデルを算出する。
　上記のように、位置合わせ部３０２ｅは、属性情報に基づいて位置合わせ（座標変換およびサイズ合わせ）を行う。例えば、位置合わせ部３０２ｅは、複数の三次元モデルにおいて、同じ属性情報を有する三次元モデル（部分モデル）を複数の三次元モデルそれぞれで抽出する。位置合わせ部３０２ｅは、抽出した三次元モデルを比較して位置合わせをする。さらに、位置合わせ部３０２ｅは、位置合わせで変化させた部分モデルに合わせて三次元モデル全体を変化させる。つまり、位置合わせ部３０２ｅは、第１三次元モデルと第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、第１三次元モデルと第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの部分モデルの対応する位置の座標が一致するように、それぞれの部分モデルを移動させることで位置合わせした後で、それぞれの部分モデルの移動に合わせて第１三次元モデルと第２三次元モデルとを移動させることで、第１三次元モデルと第２三次元モデルとを位置合わせする。
　これにより、位置合わせ部３０２ｅは、三次元モデル全体を一斉に位置合わせさせるよりも効率的に三次元モデルの位置合わせを行うことができる。
　変換後のモデルは、記憶部３０１に記憶されてもよい。
　部分モデルの対応付け、および最小構成単位の対応付けは、ランダムでもよいし、特徴量をもとにした選び方でもよい。また、部分モデルの対応付け、および最小構成単位の対応付けは、上記の方法に限定されない。なお、色付きモデル同士の位置合わせでは、色の差分の情報が位置合わせに用いられてもよい。
　また、三次元モデルのスケールは、災害前および災害後どちらか一方の三次元モデルが所望のスケールに調整されてもよい。例えば、空間Ａ１のスケールに調整されていてもよい。また、土砂量計測システム１０００の外部から与えられたスケールの情報から三次元モデルのスケールが調整されてもよい。三次元モデルのスケールを調整することで、災害前の三次元モデルと災害後の三次元モデルと同じスケールで差異を算出できる。これにより、空間Ａ１のスケールで土砂量を算出することができる。
　差異算出部３０２ｆは、第１三次元モデルと第２三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量を示す差分情報とを出力する。具体的には、差異算出部３０２ｆは、位置合わせ部３０２ｅにより座標系が統一された２つ以上の三次元モデル間の差異情報を算出する。差異算出部３０２ｆは、例えば、同じ座標系のメッシュモデルにおいて面が重ならない、または交差しない、面で被覆された三次元領域の体積を算出する。
　差異算出部３０２ｆが算出する差異情報には、差異が顕著な領域における属性情報、例えば、土砂に含まれる混合物の情報が含まれていてもよい。なお、上記の差異情報は、一例であり、本開示を限定する主旨ではない。
　差異算出部３０２ｆは、例えば、算出した差異情報をユーザーインタフェース４００に出力する。これにより、ユーザーは、ユーザーインタフェース４００を操作することで、差異情報（つまり、差分の量である土砂２１の量および属性）を確認できる。
　また、例えば、差異算出部３０２ｆは、差分が互いに異なる複数の属性情報を含む場合、当該複数の属性情報を種別ごとに分類して出力することで、種別ごとに複数の属性情報をまとめて表示装置（例えば、ユーザーインタフェース４００）に表示させる。この場合、例えば、差異算出部３０２ｆは、種別ごとに差分に含まれる量を算出する。
　［処理手順］
　＜位置合わせ処理＞
　図８は、実施の形態に係る土砂量計測システム１０００が実行する、三次元モデルの位置合わせの処理を示すフローチャートである。図９は、位置合わせ部３０２ｅが実行する２つの三次元モデルの位置合わせを説明するための図である。
　本実施の形態における土砂量算出装置３００が備える位置合わせ部３０２ｅは、まず、少なくとも２つ以上の三次元モデルに対し、同じ属性情報を有する部分モデル同士、例えば、「家」とラベル付けされた部分モデル同士を対応付ける（Ｓ３１）。つまり、この場合、例えば、２つの三次元モデルは、いずれも「家」を示す属性情報を有する部分モデルを含む。
　例えば、図９の（ａ）に示すように、第１三次元モデル５００と第２三次元モデル５１０との差分を算出するとする。この場合、位置合わせ部３０２ｅは、まず。第１三次元モデル５００と第２三次元モデル５１０とのいずれにも含まれる属性情報を有する部分モデルを抽出する。ここでは、位置合わせ部３０２ｅは、第１三次元モデル５００に含まれ、「家」の属性情報を有する第１部分モデル５０１と、第２三次元モデル５１０に含まれ、「家」の属性情報を有する第２部分モデル５１１と、を抽出したとする。次に、図９の（ｂ）に示すように、位置合わせ部３０２ｅは、第１部分モデル５０１と第２部分モデル５１１とを対応付ける。具体的には、位置合わせ部３０２ｅは、第１部分モデル５０１に含まれる１つ以上の特徴点と第２部分モデル５１１に含まれる１つ以上の特徴点とを抽出し、抽出した第１部分モデル５０１の特徴点と抽出した第２部分モデル５１１の特徴点とを対応付ける。ここで抽出する特徴点は、任意でよい。例えば、特徴点は、部分モデルにおける角部である。位置合わせ部３０２ｅは、第１部分モデル５０１の特徴点と抽出した第２部分モデル５１１の特徴点とで同じ特徴点同士を対応付ける。例えば、位置合わせ部３０２ｅは、第１部分モデル５０１の特徴点５２０と抽出した第２部分モデル５１１の特徴点５２１とを対応付ける。
　再び図８を参照し、ステップＳ３１の次に、位置合わせ部３０２ｅは、少なくとも１つ以上の同じ属性情報を有する部分モデル間で最小構成単位、例えば、点群で表現された三次元モデルであれば三次元点を比較し、部分モデル間の各点において互いに最近傍の点を探索し対応付けを行う（Ｓ３２）。
　次に、位置合わせ部３０２ｅは、ステップＳ３２で対応付けた各点の位置の差が小さくなるように、部分モデルの座標系の位置および姿勢を調整する（Ｓ３３）。例えば、図９の（ｃ）に示すように、位置合わせ部３０２ｅは、対応付けられた特徴点同士が同じ座標に位置するように、第１部分モデル５０１および第２部分モデル５１１の少なくとも一方を変化させる。例えば、位置合わせ部３０２ｅは、対応付けられた特徴点同士である特徴点５２０と特徴点５２１とがそれぞれ同じ座標に位置するように、第１部分モデル５０１および第２部分モデル５１１の少なくとも一方を移動させる。また、位置合わせ部３０２ｅは、部分モデルの変更にあわせて、三次元モデル全体を変更する。これにより、位置合わせ部３０２ｅは、第１三次元モデル５００と第２三次元モデル５１０とにおいて同じ物体を示すモデルが同じ位置および姿勢で位置するように変更する。
　なお、位置合わせ部３０２ｅは、位置および姿勢の調整時に三次元モデルのスケールを調整してもよい。また、スケールは、２つの三次元モデルのどちらか一方に合わせてもよいし、外部から得たスケールの情報をもとに２つの三次元モデルの両方のスケールを調整してもよい。
　再び図８を参照し、ステップＳ３３の次に、位置合わせ部３０２ｅは、ステップＳ３３で実行した部分モデル（例えば、図９に示す第１部分モデル５０１および第２部分モデル５１１の少なくとも一方）の位置および姿勢の変化が少ないか否かを判定する（Ｓ３４）。位置および姿勢を調整時の変化が大きければステップＳ３２へ、変化が小さければステップＳ３５に進む。
　ここで基準とする変化量は、予め任意に定められてよい。例えば、位置合わせ部３０２ｅは、部分モデルの位置および姿勢を調整した際の調整前後の変化量が予め任意に定められた基準変化量以上である場合、次にステップＳ３２を実行する。一方、例えば、位置合わせ部３０２ｅは、部分モデルの位置および姿勢を調整した際の調整前後の変化量が上記基準変化量未満である場合、次にステップＳ３５を実行する。変化量とは、例えば、各点の移動量である。部分モデル全体をある基準点に対して回転させる場合、変化量は、当該回転による回転角度でもよい。
　次に、位置合わせ部３０２ｅは、位置および調整の結果から三次元モデルの全体を比較し、全体の差が大きいか否かを判定する（Ｓ３５）。全体の差が大きければ、ステップＳ３６へ、差が小さければステップＳ３７に進む。
　ここで基準とする全体の差は、予め任意に定められてよい。例えば、位置合わせ部３０２ｅは、三次元モデル全体の位置および姿勢を調整した際の調整前後の差が予め任意に定められた基準差以上である場合、次にステップＳ３６を実行する。一方、例えば、位置合わせ部３０２ｅは、三次元モデル全体の位置および姿勢を調整した際の調整前後の変化の差が上記基準差未満である場合、次にステップＳ３７を実行する。ここでの差とは、例えば、２つの三次元モデルにおける各三次元点で座標が一致しない点の量である。
　次に、位置合わせ部３０２ｅは、ステップＳ３１、およびステップＳ３２で取りうる全ての組み合わせが比較されたかを判定する（Ｓ３６）。全組み合わせが終了していればステップＳ３７に進み、終了していなければステップＳ３１に進む。ここで、例えば、ステップＳ３１に進んだ場合、位置合わせ部３０２ｅは、例えば、第１三次元モデル５００と第２三次元モデル５１０とで未だ比較していない部分モデルを抽出して対応付けを行う。
　なお、図８に示すステップおよびステップの順序はあくまで一例であって、特に限定されない。例えば、ステップＳ３３を終了した後、ステップＳ３６に進む構成であってもよい。また、ステップＳ３４、およびステップＳ３５を含まない構成であってもよい。
　最後に、位置合わせ部３０２ｅは、全体の差が最も小さくなる座標系、および座標変換後の三次元モデルを出力する（Ｓ３７）。
　＜シーケンス図＞
　図１０は、実施の形態に係る土砂量計測システム１０００の処理を示すシーケンス図である。
　土砂量計測システム１０００は、ユーザーの処理指示があったときに、土砂量算出処理を開始する。
　制御装置２００は、撮像装置１０ａ～１０ｎ（図１０には、撮像装置１０ａのみを示す）に撮像指示を送り、撮像装置１０ａ～１０ｎから受け取った撮像映像を撮像情報としてユーザーインタフェース４００に送り、ユーザーに撮像情報を提示する（Ｓ４１）。撮像情報は、例えば、空間Ａ１の画像である。
　ユーザーは、ユーザーインタフェース４００を操作することで、撮像情報を確認し、撮像装置１０ａ～１０ｎが所望の空間を適切に撮像できているか、および処理を開始するのに十分な撮像情報であるか等を判断し、処理の指示を行う（Ｓ４２）。具体的には、ユーザーは、ユーザーインタフェース４００を操作することで、上記処理の指示を示す情報をユーザーインタフェース４００に制御装置２００へ送信させる。
　ユーザーインタフェース４００を介して送信されるユーザー処理指示は、土砂量算出処理を開始するか、撮像装置１０ａ～１０ｎが撮像を継続するかを示す情報または信号である。なお、ユーザー処理指示に、どの撮像情報を土砂量算出処理に用いるかを特定する情報、または出力したい結果を指定する情報が含まれていてもよい。
　次に、制御装置２００は、ユーザーインタフェース４００から受信したユーザーの処理指示を示す情報をもとに、土砂量算出処理を実行するか撮像装置１０ａ～１０ｎが撮像を継続するかを判定する（Ｓ４３）。制御装置２００は、土砂量算出処理を開始すると判定した場合（Ｓ４３でＹｅｓ）、土砂量算出指令、および撮像映像を土砂量算出装置３００に送信する。
　一方、制御装置２００は、撮像装置１０ａ～１０ｎが撮像を継続すると判定した場合（Ｓ４３でＮｏ）、撮像装置１０ａ～１０ｎに撮像を継続する指示を示す情報を送信し、撮像装置１０ａ～１０ｎに撮像を継続させる。
　次に、土砂量算出装置３００は、制御装置２００から受信した土砂量算出指令を示す情報を受信した場合、当該情報をもとに、撮像映像を用いて土砂量算出処理を実行する（Ｓ４４）。ステップＳ４４は、例えば、図９に示すステップＳ３１～ステップＳ３７の処理である。土砂量算出装置３００は、土砂量算出処理を完了した後、処理結果を示す情報を制御装置２００に送信する。
　次に、制御装置２００は、土砂量算出装置３００から受け取った処理結果をユーザー処理指示に基づいて整理し、ユーザーインタフェース４００に差異情報を出力（送信）する（Ｓ４５）。
　ユーザーインタフェース４００は、制御装置２００から受信した差異情報をユーザーに提示する（Ｓ４６）。ユーザーに提示される差異情報の具体例については、後述する。
　＜処理手順まとめ＞
　図１１は、実施の形態に係る土砂量計測システム１０００が実行する、土砂量の算出処理を示すフローチャートである。
　本実施の形態における土砂量算出装置３００における土砂量の算出処理では、まず、画像取得部３０２ａは、複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像を取得する（Ｓ５１）。
　次に、三次元再構成部３０２ｂは、複数の画像を用いて三次元再構成処理を実行する（Ｓ５２）。例えば、三次元再構成部３０２ｂは、空間Ａ１を示し、且つ、領域ごとに属性情報を有する第１三次元モデルと、空間Ａ１を示し、且つ、領域ごとに属性情報を有する第２三次元モデルであって、第１三次元モデルとは異なる（例えば、時刻が異なる）第２三次元モデルと、を生成する。
　次に、モデル取得部３０２ｄは、三次元再構成部３０２ｂ、または記憶部３０１から２つ以上の三次元モデルを取得する（Ｓ５３）。なお、三次元再構成部３０２ｂから一つ以上、記憶部３０１から一つ以上取得してもよいし、記憶部３０１から２つ以上取得してもよい。
　次に、属性情報抽出部３０２ｃは、撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像、または三次元モデルから属性情報を抽出する（Ｓ５４）。なお、ステップＳ５４は、ステップＳ５３の前に行われてもよいし、ステップＳ５３の後に行われてもよいし、またはその両方で行われてもよい。
　次に、位置合わせ部３０２ｅは、２つ以上の三次元モデルと属性情報とから座標を統一する処理を行う（Ｓ５５）。具体的には、位置合わせ部３０２ｅは、第１三次元モデルおよび第２三次元モデルのそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う。例えば、位置合わせ部３０２ｅは、第１三次元モデルおよび第２三次元モデルのそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとで同一の点となる対応点を検出し、検出した対応点を用いて、第１三次元モデルと第２三次元モデルとの位置合わせを行う。位置合わせ部３０２ｅは、三次元モデルにおいて同じ属性情報を有する領域同士（つまり、互いに同じ属性情報を有する部分モデル同士）を比較することで、効率的に、かつ精度よく位置合わせを行うことができる。
　次に、差異算出部３０２ｆは、位置合わせ部３０２ｅにより座標系が統一された（つまり、位置合わせ部３０２ｅにより位置合わせされた）２つ以上のモデル間の差異情報を算出する（Ｓ５６）。差異情報には、例えば、差分の量を示す差分情報と、差分が有する属性情報とが含まれる。また、差異算出部３０２ｆは、例えば、算出した差異情報をユーザーインタフェース４００（より具体的には、制御装置２００を介してユーザーインタフェース４００）に出力する。ユーザーインタフェース４００は、取得した差異情報をユーザーに提示（より具体的には、表示）する。
　［出力例］
　図１２は、実施の形態に係る土砂量計測システム１０００が備えるユーザーインタフェース４００が２つの三次元モデルを位置合わせする際に提示する画像６００の一例を示す図である。
　ユーザーインタフェース４００は、例えば、タッチパネルディスプレイ等を表示装置および入力装置を有するスマートフォン、タブレット端末等のモバイル端末を用いて実現される。
　なお、図１２に示すようなタブレット型のモバイル端末を用いて、位置合わせに用いる属性をユーザーが任意に選択してもよい。
　例えば、画像６００は、三次元画像６０１と、対象選択部６０２と、決定部６０３とを含む。
　三次元画像６０１は、災害後の三次元モデルを示す画像である。
　対象選択部６０２は、位置合わせ部３０２ｅが優先して対応付ける属性情報を有する部分モデルの選択を受け付けるための画像である。ユーザーは、例えば、三次元画像６０１または対象選択部６０２のうち、位置合わせ部３０２ｅに優先して対応付けさせたい属性情報または当該属性情報を有する部分モデルをタッチする。ユーザーインタフェース４００は、例えば、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報を、例えば、図１０に示すステップＳ４２の後にユーザー処理指示を示す情報とあわせて制御装置２００に送信する。制御装置２００は、例えば、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報を、土砂量算出指令および撮像情報とともに土砂量算出装置３００に送信する。位置合わせ部３０２ｅは、例えば、ステップＳ３１では、まず、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報に基づいて部分モデルを選択して対応付けをする。
　図１３は、実施の形態に係る土砂量計測システム１０００が備えるユーザーインタフェース４００が提示する差異情報の一例を示す図である。
　ユーザーインタフェース４００は、図１３に示すようなタブレット型のモバイル端末を用いて、算出した差分の量の一例である土砂量の結果を表示する。ユーザーインタフェース４００は、土砂量の体積以外に推定重量を算出結果として表示してもよい。
　また、ユーザーインタフェース４００は、属性情報抽出部３０２ｃで得た属性情報を用いて土砂に該当する部分の混合物を表示してもよい。これにより、土砂および混合物の撤去に必要な情報を効率的に取得できる。また、混合物の表示方法は文字に限定されず、３次元モデルまたは画像上の該当部分の色付けを行うことで実現してもよい。
　例えば、ユーザーインタフェース４００は、画像６１０を表示することで、ユーザーに差異情報を提示する。例えば、画像６１０は、三次元画像６１１と、強調線６１２と、差分量情報画像６１３と、属性情報画像６１４と、を含む。
　三次元画像６１１は、災害後の三次元モデルを示す画像である。
　強調線６１２は、三次元画像６１１において、災害前の三次元モデルとの差分の位置、領域等を示すための線である。図１３においては、強調線６１２を説明のために破線の円で示しているが、強調線６１２は、実線、破線、太線、他部とは異なる色が付されたカラー線、矩形、多角形等、任意でよい。
　差分量情報画像６１３は、ユーザーに差分量を提示するための画像である。差分量情報画像６１３には、例えば、差分の体積および土砂の推定重量を示す情報が含まれる。
　属性情報画像６１４は、ユーザーに差分に含まれる部分モデルが有する属性情報を提示するための画像である。例えば、属性情報画像６１４には、差分に含まれる部分モデルの属性情報として、「土砂」、「流木」、「標識」、「信号機」等を示す情報が含まれる。また、本例では、属性情報画像６１４には、差分全体における、属性情報に示される部分の体積または重量の割合が含まれる。このように、差分の量は、属性ごとに表示されてもよい。
　また、本例では、属性情報画像６１４は、第１種別画像６１５と、第２種別画像６１６と、を含む。
　第１種別画像６１５は、差分に含まれる複数の属性のうち、第１条件を満たす属性をまとめて提示するための画像である。
　第２種別画像６１６は、差分に含まれる複数の属性のうち、第２条件を満たす属性をまとめて提示するための画像である。
　これらのように、ユーザーインタフェースは、属性の種別ごとにまとめて属性情報および当該属性情報を有する部分モデルの量を表示してもよい。
　なお、本例では、第１条件は、自然物であり、第２条件は、人工物である。これらの条件は、予め任意に定められてよく、特に限定されない。
　［効果等］
　以上説明したように、本開示の一態様に係る物量算出装置（例えば、土砂量計測システム１０００、より具体的には、土砂量算出装置３００）は、それぞれが同一の所定の空間（例えば、空間Ａ１）を示し、且つ、領域ごと（例えば、部分モデルごとまたは三次元モデルを構成する三次元点ごと）に属性情報を有する三次元モデルであって、第１三次元モデルと、当該第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部（例えば、モデル取得部３０２ｄ）と、前記位置合わせ部によって位置合わせされた第１三次元モデルおよび第２三次元モデルのそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う位置合わせ部３０２ｅと、第１三次元モデルと第２三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量とを出力する算出部（例えば、差異算出部３０２ｆ）と、を備える。
　従来、例えば、土砂災害現場等で崩落等の影響で所定の空間に流入した土砂量を算出する方法がある。レーザー計測による土砂量の算出では、高精度に量を算出できるが、算出に時間およびコストがかかる問題がある。そこで、本開示に係る物量算出装置では、例えば、所定の空間における、土砂等の量を算出したい物体が存在しない状態での当該所定の空間を示す三次元モデル（第１三次元モデル）と、当該物体が存在する状態での当該所定の空間を示す三次元モデル（第２三次元モデル）とを比較する。これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出装置によれば、物体の量を算出する処理時間を短縮できる。
　また、例えば、本開示に係る物量算出装置は、さらに、それぞれが所定の空間を示す複数の画像から第１三次元モデルおよび第２三次元モデルのうち少なくとも一方を生成する生成部（例えば、三次元再構成部３０２ｂ）を備える。
　これによれば、画像を生成するためのカメラ等の簡便な構成で、差分の量を算出できる。
　また、例えば、算出部は、差分が互いに異なる複数の属性情報を含む場合、当該複数の属性情報を種別ごとに分類して出力することで、種別ごとに複数の属性情報をまとめて表示装置（例えば、ユーザーインタフェース４００）に表示させる。
　これによれば、差分に含まれる物体の種別が分類されて表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別を理解させやすくできる。
　また、例えば、算出部は、種別ごとに差分に含まれる量を算出する。
　これによれば、差分に含まれる物体の種別ごとの量が表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別ごとの量を理解させやすくできる。
　また、例えば、差分の量は、差分の体積および重量の少なくとも一方である。
　これによれば、本開示に係る物量算出装置は、差分の量および体積の少なくとも一方を算出できる。
　また、例えば、位置合わせ部は、第１三次元モデルと第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、第１三次元モデルと第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの部分モデルの対応する位置の座標が一致するように、それぞれの部分モデルを移動させることで位置合わせした後で、それぞれの部分モデルの移動に合わせて第１三次元モデルと第２三次元モデルとを移動させることで、第１三次元モデルと第２三次元モデルとを位置合わせする。
　これによれば、本開示に係る物量算出装置は、三次元モデルの形状を比較することによる位置合わせ等の処理時間がかかる処理をせずに第１三次元モデルと第２三次元モデルとの位置合わせをできる。そのため、これによれば、本開示に係る物量算出装置の処理時間がさらに短縮され得る。
　また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップ（例えば、ステップＳ５３）と、第１三次元モデルおよび第２三次元モデルそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う位置合わせステップ（例えば、ステップＳ５５）と、第１三次元モデルと第２三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量を示す差分情報とを出力する算出ステップ（例えば、ステップＳ５６）と、を含む。
　これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出方法によれば、物体の量を算出する処理時間を短縮できる。
　また、例えば、上記取得ステップでは、土砂が流入される前の所定の空間を示す第１三次元モデルと、当該土砂が流入された後の所定の空間を示す第２三次元モデルと、を取得し、上記算出ステップでは、前記差分の量として前記土砂の量を算出する。
　これによれば、所定の空間に土砂が流入されるような災害前後の当該所定の空間を示す三次元モデルを適切に位置合わせをすることで、簡便に差分となる土砂の量を算出できる。そのため、本開示に係る物量算出方法によれば、土砂の量を算出する処理時間を短縮できる。
　（その他の実施の形態）
　以上、本開示に係る物量算出装置等について、上記実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。
　例えば、上記実施の形態では、物量算出装置等が備える処理部は、ＣＰＵと制御プログラムとによって実現されると説明した。例えば、当該処理部の構成要素は、それぞれ１つまたは複数の電子回路で構成されてもよい。１つまたは複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。１つまたは複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、または、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣまたはＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣまたはＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、または、ＵＬＳＩ（Ｕｌｔｒａ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）も同じ目的で使うことができる。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、または、コンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）もしくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアまたはソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　その他、上記実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示は、三次元モデルから差分を算出する物量算出装置に適用でき、例えば、物体の量を算出する装置等に適用できる。
　１０ａ、１０ｂ、１０ｎ　撮像装置
　２０　道路
　２１　土砂
　２２　三次元モデル
　１００　カメラ
　１０１、２０１、３０１　記憶部
　１０２、２０２　制御部
　１０３　光学系
　１０４　イメージセンサ
　１１０　架台
　２００　制御装置
　２０２ａ　撮像制御部
　２０２ｂ　ユーザー指示取得部
　２０２ｃ　土砂量算出指令部
　２０３　タイマー
　３００　土砂量算出装置
　３０２　処理部
　３０２ａ　画像取得部
　３０２ｂ　三次元再構成部
　３０２ｃ　属性情報抽出部
　３０２ｄ　モデル取得部
　３０２ｅ　位置合わせ部
　３０２ｆ　差異算出部
　４００　ユーザーインタフェース
　５００　第１三次元モデル
　５０１　第１部分モデル
　５１０　第２三次元モデル
　５１１　第２部分モデル
　５２０、５２１　特徴点
　６００、６１０　画像
　６０１、６１１　三次元画像
　６０２　対象選択部
　６０３　決定部
　６１２　強調線
　６１３　差分量情報画像
　６１４　属性情報画像
　６１５　第１種別画像
　６１６　第２種別画像
　１０００　土砂量計測システム
　Ａ１　三次元空間（空間）

Claims (8)

  1. 　それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部と、
    　前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせ部と、
    　前記位置合わせ部によって位置合わせされた前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える
    　物量算出装置。
  2. 　さらに、それぞれが前記所定の空間を示す複数の画像から前記第１三次元モデルおよび前記第２三次元モデルのうち少なくとも一方を生成する生成部を備える
    　請求項１に記載の物量算出装置。
  3. 　前記算出部は、前記差分が互いに異なる複数の属性情報を含む場合、前記複数の属性情報を種別ごとに分類して出力することで、前記種別ごとに前記複数の属性情報をまとめて表示装置に表示させる
    　請求項１または２に記載の物量算出装置。
  4. 　前記算出部は、前記種別ごとに前記差分に含まれる量を算出する
    　請求項３に記載の物量算出装置。
  5. 　前記差分の量は、前記差分の体積および重量の少なくとも一方である
    　請求項１～４のいずれか１項に記載の物量算出装置。
  6. 　前記位置合わせ部は、前記第１三次元モデルと前記第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、前記第１三次元モデルと前記第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの前記部分モデルの対応する位置の座標が一致するように、それぞれの前記部分モデルを移動させることで位置合わせした後で、それぞれの前記部分モデルの移動に合わせて前記第１三次元モデルと前記第２三次元モデルとを移動させることで、前記第１三次元モデルと前記第２三次元モデルとを位置合わせする
    　請求項１～５のいずれか１項に記載の物量算出装置。
  7. 　それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップと、
    　前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせステップと、
    　前記位置合わせステップで位置合わせした前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む
    　物量算出方法。
  8. 　前記取得ステップでは、土砂が流入される前の前記所定の空間を示す前記第１三次元モデルと、前記土砂が流入された後の前記所定の空間を示す前記第２三次元モデルと、を取得し、
    　前記算出ステップでは、前記差分の量として前記土砂の量を算出する
    　請求項７に記載の物量算出方法。
PCT/JP2020/006390 2019-03-04 2020-02-19 物量算出装置、および、物量算出方法 WO2020179438A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021503526A JP7457971B2 (ja) 2019-03-04 2020-02-19 物量算出装置、および、物量算出方法
CN202080018282.1A CN113544462A (zh) 2019-03-04 2020-02-19 物量计算装置以及物量计算方法
EP20765468.2A EP3936815A4 (en) 2019-03-04 2020-02-19 DEVICE FOR CALCULATING QUANTITY OF OBJECTS AND METHOD FOR CALCULATING QUANTITY OF OBJECTS
US17/459,219 US20210390717A1 (en) 2019-03-04 2021-08-27 Object amount calculation apparatus and object amount calculation method
JP2024032943A JP2024052979A (ja) 2019-03-04 2024-03-05 物量算出装置、および、物量算出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962813351P 2019-03-04 2019-03-04
US62/813,351 2019-03-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/459,219 Continuation US20210390717A1 (en) 2019-03-04 2021-08-27 Object amount calculation apparatus and object amount calculation method

Publications (1)

Publication Number Publication Date
WO2020179438A1 true WO2020179438A1 (ja) 2020-09-10

Family

ID=72338521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006390 WO2020179438A1 (ja) 2019-03-04 2020-02-19 物量算出装置、および、物量算出方法

Country Status (5)

Country Link
US (1) US20210390717A1 (ja)
EP (1) EP3936815A4 (ja)
JP (2) JP7457971B2 (ja)
CN (1) CN113544462A (ja)
WO (1) WO2020179438A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0930484A (ja) * 1995-07-17 1997-02-04 Mitsubishi Precision Co Ltd 海上物件揚収移載装置
JP2002039747A (ja) * 2000-07-24 2002-02-06 Fuji Electric Co Ltd 距離測定装置
JP2002328021A (ja) 2001-04-27 2002-11-15 Hayashi Katsuyoshi ヘリコプター撮影による災害の被災量計測方法
JP2003077011A (ja) * 2002-06-24 2003-03-14 Fujitsu Ltd ３次元形状モデルの表示方法及び装置
JP2004054308A (ja) * 2002-07-16 2004-02-19 Japan Science & Technology Corp 距離画像の統合方法及び距離画像統合装置
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3345808B2 (ja) * 1999-10-29 2002-11-18 富士通株式会社 ３次元形状モデルの表示方法及び装置
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP2017062748A (ja) * 2015-09-25 2017-03-30 富士通株式会社 位置合わせ装置、位置合わせ方法および位置合わせプログラム
US9971956B2 (en) * 2016-03-21 2018-05-15 International Business Machines Corporation Detection and presentation of differences between 3D models

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0930484A (ja) * 1995-07-17 1997-02-04 Mitsubishi Precision Co Ltd 海上物件揚収移載装置
JP2002039747A (ja) * 2000-07-24 2002-02-06 Fuji Electric Co Ltd 距離測定装置
JP2002328021A (ja) 2001-04-27 2002-11-15 Hayashi Katsuyoshi ヘリコプター撮影による災害の被災量計測方法
JP2003077011A (ja) * 2002-06-24 2003-03-14 Fujitsu Ltd ３次元形状モデルの表示方法及び装置
JP2004054308A (ja) * 2002-07-16 2004-02-19 Japan Science & Technology Corp 距離画像の統合方法及び距離画像統合装置
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3936815A4

Also Published As

Publication number Publication date
JPWO2020179438A1 (ja) 2020-09-10
JP2024052979A (ja) 2024-04-12
US20210390717A1 (en) 2021-12-16
CN113544462A (zh) 2021-10-22
EP3936815A1 (en) 2022-01-12
JP7457971B2 (ja) 2024-03-29
EP3936815A4 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
US10674135B2 (en) Handheld portable optical scanner and method of using
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP7058277B2 (ja) 再構成方法および再構成装置
US11290704B2 (en) Three dimensional scanning system and framework
JP7105246B2 (ja) 再構成方法および再構成装置
EP2987322A1 (en) Handheld portable optical scanner and method of using
CN111161404A (zh) 一种环形扫描形貌三维重建方法、装置及系统
KR101759798B1 (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JP2021520008A (ja) 車両検査システムとその方法
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP4058293B2 (ja) レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム
CN115937288A (zh) 一种变电站三维场景模型构建方法
JP7160037B2 (ja) 画像処理装置、画像処理方法、並びにプログラム
Biasion et al. A new approach to the Terrestrial Laser Scanner workflow: The RTC360 solution
Inzerillo et al. High quality texture mapping process aimed at the optimization of 3d structured light models
WO2020179438A1 (ja) 物量算出装置、および、物量算出方法
US20220366673A1 (en) Point cloud data processing apparatus, point cloud data processing method, and program
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
Briese et al. Analysis of mobile laser scanning data and multi-view image reconstruction
CN113763545A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20765468

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503526

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020765468

Country of ref document: EP

Effective date: 20211004