WO2020179438A1 - 物量算出装置、および、物量算出方法 - Google Patents

物量算出装置、および、物量算出方法 Download PDF

Info

Publication number
WO2020179438A1
WO2020179438A1 PCT/JP2020/006390 JP2020006390W WO2020179438A1 WO 2020179438 A1 WO2020179438 A1 WO 2020179438A1 JP 2020006390 W JP2020006390 W JP 2020006390W WO 2020179438 A1 WO2020179438 A1 WO 2020179438A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional model
difference
attribute information
model
amount
Prior art date
Application number
PCT/JP2020/006390
Other languages
English (en)
French (fr)
Inventor
将貴 福田
敏康 杉尾
徹 松延
哲史 吉川
研翔 寺西
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to EP20765468.2A priority Critical patent/EP3936815A4/en
Priority to CN202080018282.1A priority patent/CN113544462A/zh
Priority to JP2021503526A priority patent/JP7457971B2/ja
Publication of WO2020179438A1 publication Critical patent/WO2020179438A1/ja
Priority to US17/459,219 priority patent/US20210390717A1/en
Priority to JP2024032943A priority patent/JP2024052979A/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Definitions

  • the present disclosure relates to a physical quantity calculation device and a physical quantity calculation method.
  • Patent Document 1 There is a technique for measuring the volume or weight of an object located in a predetermined space (see Patent Document 1, for example).
  • the processing time is short for the processing of calculating the amount of objects located in a predetermined space such as the amount of damage.
  • the present disclosure provides a physical quantity calculation device and the like that can shorten the processing time for calculating the quantity of an object.
  • the physical quantity calculation device is a three-dimensional model in which each indicates the same predetermined space and has attribute information for each region, and is a first three-dimensional model and the first three-dimensional model.
  • An acquisition unit that acquires a second three-dimensional model different from the model, and the first three-dimensional model and the first three-dimensional model based on attribute information of each of the first three-dimensional model and the second three-dimensional model.
  • An alignment unit that performs alignment with the three-dimensional model, and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned by the alignment unit is calculated, and the difference has It includes a calculation unit that outputs attribute information and the amount of the difference.
  • the physical quantity calculation method is a three-dimensional model in which each indicates the same predetermined space and has attribute information for each region, the first three-dimensional model and the first three-dimensional model.
  • the acquisition step of acquiring the second three-dimensional model different from the three-dimensional model, and the attribute information of each of the first three-dimensional model and the second three-dimensional model, the first three-dimensional model and the first three-dimensional model An alignment step of performing alignment with the second three-dimensional model and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned in the alignment step are calculated, and the difference is calculated. And a calculation step of outputting the attribute information and the difference amount.
  • the present disclosure may be realized as a program that causes a computer to execute the steps included in the physical quantity calculation method. Further, the present disclosure may be realized as a non-transitory recording medium such as a CD-ROM that can be read by a computer that records the program. Further, the present disclosure may be realized as information, data or a signal indicating the program. Then, the programs, information, data and signals may be distributed via a communication network such as the Internet.
  • FIG. 1 is a diagram for explaining the outline of the sediment amount measurement system according to the embodiment.
  • FIG. 2 is a diagram for explaining an outline of a process for extracting attribute information executed by the sediment amount measurement system according to the embodiment.
  • FIG. 3 is a diagram for explaining an outline of the sediment amount calculation process executed by the sediment amount measurement system according to the embodiment.
  • FIG. 4 is a block diagram showing a configuration of a sediment amount measurement system according to an embodiment.
  • FIG. 5 is a block diagram showing a configuration of an imaging device included in the sediment measuring system according to the embodiment.
  • FIG. 6 is a block diagram showing a configuration of a control device included in the sediment amount measuring system according to the embodiment.
  • FIG. 7 is a block diagram showing a configuration of a sediment amount calculation apparatus included in the sediment amount measuring system according to the embodiment.
  • FIG. 8 is a flowchart showing the alignment process of the three-dimensional model executed by the sediment amount measurement system according to the embodiment.
  • FIG. 9 is a diagram for explaining the alignment of two three-dimensional models performed by the alignment unit.
  • FIG. 10 is a sequence diagram showing the processing of the sediment amount measuring system according to the embodiment.
  • FIG. 11 is a flowchart showing a sediment amount calculation process executed by the sediment amount measurement system according to the embodiment.
  • FIG. 12 is a figure which shows an example of the image which the user interface with which the sediment-quantity measuring system which concerns on embodiment is shown when aligning two three-dimensional models.
  • 13 is a figure which shows an example of the difference information which the user interface with which the sediment measuring system which concerns on embodiment is equipped presents.
  • the physical quantity calculation device is a three-dimensional model that shows the same predetermined space and has attribute information for each region, and includes a first three-dimensional model and the first three-dimensional model.
  • An acquisition unit that acquires a second three-dimensional model different from the model, and the first three-dimensional model and the first three-dimensional model based on attribute information of each of the first three-dimensional model and the second three-dimensional model.
  • An alignment unit that performs alignment with the three-dimensional model, and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned by the alignment unit is calculated, and the difference has And a calculation unit that outputs the attribute information and the difference amount.
  • the physical quantity calculation device for example, in a predetermined space, a three-dimensional model (first three-dimensional model) showing the predetermined space in a state in which there is no object whose amount of earth and sand or the like is to be calculated, The three-dimensional model (second three-dimensional model) showing the predetermined space in the state where the object exists is compared.
  • the difference between the first three-dimensional model and the second three-dimensional model can be easily calculated by appropriately aligning the first three-dimensional model and the second three-dimensional model. Therefore, according to the physical quantity calculation device according to the present disclosure, the processing time for calculating the quantity of the object can be shortened.
  • the physical quantity calculation device further generates at least one of the first three-dimensional model and the second three-dimensional model from a plurality of images each showing the predetermined space. It has a generator.
  • the amount of difference can be calculated with a simple configuration such as a camera for generating an image.
  • the calculation unit when the calculation unit includes a plurality of attribute information whose differences are different from each other, the calculation unit classifies and outputs the plurality of attribute information for each type, thereby collecting the plurality of attribute information for each type. Display on the display device.
  • the calculation unit calculates the amount included in the difference for each type.
  • the amount of each type of object included in the difference is displayed on the display device, it is possible to make it easier for the user who confirms the display device to understand the amount of each type included in the difference.
  • the amount of the difference is at least one of the volume and the weight of the difference.
  • the physical quantity calculation device can calculate at least one of the difference amount and the volume.
  • the alignment unit may define a partial model having attribute information common to each of the first three-dimensional model and the second three-dimensional model as the first three-dimensional model and the second three-dimensional model. After aligning by moving each of the partial models so that the coordinates of the corresponding positions of the extracted partial models match, the movement of each of the partial models is performed. By moving the first three-dimensional model and the second three-dimensional model together, the first three-dimensional model and the second three-dimensional model are aligned with each other.
  • the physical quantity calculation device can be used with the first three-dimensional model and the second three-dimensional model without performing processing such as alignment by comparing the shapes of the three-dimensional models. You can align. Therefore, according to this, the processing time of the physical quantity calculation device according to the present disclosure can be further shortened.
  • the physical quantity calculation method is a three-dimensional model in which each indicates the same predetermined space and has attribute information for each region, the first three-dimensional model and the first three-dimensional model.
  • the acquisition step of acquiring the second three-dimensional model different from the three-dimensional model, and the attribute information of each of the first three-dimensional model and the second three-dimensional model, the first three-dimensional model and the first three-dimensional model An alignment step of performing alignment with the second three-dimensional model and an amount of difference between the first three-dimensional model and the second three-dimensional model aligned in the alignment step are calculated, and the difference is calculated. And a calculation step of outputting the attribute information and the difference amount.
  • the difference between the first 3D model and the second 3D model can be easily calculated by appropriately aligning the first 3D model and the second 3D model. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the physical quantity can be shortened.
  • the amount of earth and sand that becomes a difference can be easily calculated by appropriately aligning the three-dimensional model showing the predetermined space before and after the disaster such that the earth and sand flow into the predetermined space. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the amount of earth and sand can be shortened.
  • each diagram is a schematic diagram and is not necessarily strictly illustrated. Further, in each figure, substantially the same configuration is designated by the same reference numerals, and duplicate description may be omitted or simplified.
  • FIG. 1 is a diagram for explaining an outline of the sediment measuring system according to the embodiment.
  • a sediment measurement system 1000 (see, for example, FIG. 4) according to the embodiment includes a camera 100 for capturing an image (hereinafter, also referred to as an image) of a predetermined three-dimensional space A1 (hereinafter, also referred to as a space A1). Equipped with multiple units.
  • the space A1 is a space on the road 20 on which the earth and sand 21 is deposited.
  • the space A1 is a space on a river in which earth and sand 21 or driftwood is accumulated.
  • the sediment measuring system 1000 is an example of the physical quantity calculating device according to the present disclosure.
  • Each of the plurality of cameras 100 is arranged at a position different from each other and images a common three-dimensional space (for example, space A1). Therefore, the areas to be imaged by the plurality of cameras 100 in the space A1 have areas that at least partially overlap.
  • the plurality of cameras 100 are installed at different positions on the road 20 so as to partially surround the space A1 including the earth and sand 21. Further, the plurality of cameras 100 take different postures from each other. Then, at least some of the areas of the imaging targets of the plurality of cameras 100 overlap.
  • the reason why at least a part of the region to be imaged overlaps is that a three-dimensional model (for example, point cloud data) of the space A1 is generated (reconstructed) based on the video data obtained by the imaging.
  • the areas to be imaged may overlap in some of the plurality of cameras 100, or may overlap in all of the plurality of cameras 100.
  • the plurality of cameras 100 may be images captured by the same camera at different times, that is, mobile cameras. Therefore, if the camera 100 is a moving camera, the number of the cameras 100 may be one or more, and the number is not limited.
  • a plurality of images (hereinafter, the image is also referred to as an image) obtained from the plurality of cameras 100 in this way is used.
  • a three-dimensional model 22 showing the space A1 is calculated (generated).
  • the processing performed in the three-dimensional reconstruction is performed by, for example, associating a plurality of images obtained from a plurality of cameras 100 with each other and performing geometric calculation from the obtained correspondences. Is calculated.
  • the three-dimensional model is data in which the geometric shape of a predetermined three-dimensional space (space A1 in the present embodiment) is expressed.
  • the model for expressing the three-dimensional shape is, for example, a point group including a plurality of three-dimensional points.
  • the three-dimensional model may be represented by voxels or meshes.
  • the data that is the basis for generating the three-dimensional model does not have to be an image and is not particularly limited.
  • the original data for generating the three-dimensional model may be data acquired from a measuring instrument such as LiDAR.
  • LiDAR is a sensor for measuring the distance to an object. By scanning (moving and measuring) LiDAR for a predetermined area, the position of an object located in the predetermined area can be calculated.
  • This type of measuring instrument such as LiDAR emits an electromagnetic wave, and the emitted electromagnetic wave acquires a reflected wave reflected by the measurement target to generate a three-dimensional model. Specifically, the measuring instrument measures the time taken from the emission of the electromagnetic wave to the reflection of the electromagnetic wave by the object to be measured and the returning of the electromagnetic wave to the measuring instrument, and the measuring instrument uses the measured time and the electromagnetic wave wavelength. And the distance between the point on the surface of the measurement target is calculated.
  • a measuring instrument emits electromagnetic waves from a reference point of the measuring instrument in a plurality of predetermined radial directions.
  • the measuring instrument emits electromagnetic waves at a first angular interval in the horizontal direction and emits electromagnetic waves at a second angular interval in the vertical direction. Therefore, the measuring instrument can calculate the three-dimensional coordinates of a plurality of points on the measuring object by calculating the distance between the measuring instrument and the measuring object in each of the plurality of directions around the measuring instrument.
  • the measuring instrument emits laser light as electromagnetic waves, for example.
  • the measuring instrument measures the distance to the measurement target by, for example, emitting millimeter waves as electromagnetic waves.
  • FIG. 2 is a diagram for explaining an outline of a process of extracting attribute information, which is executed by the sediment measuring system 1000 according to the embodiment.
  • FIG. 2A is a diagram showing an example of an image generated by imaging the space A1.
  • FIG. 2B is a diagram showing a three-dimensional model showing the space A1.
  • FIG. 2C is an enlarged view showing pixels having the attribute information of the “tree” in the image shown in FIG. 2A.
  • the sediment amount measurement system 1000 extracts attribute information by using a plurality of image data obtained by capturing the space A1 with a plurality of cameras 100 or a three-dimensional model in which the space A1 is reconstructed.
  • the attribute information is information indicating the result of recognizing the meaning of a specific area in the image or the three-dimensional model.
  • the attribute information is, for example, information indicating an attribute that an object included in an arbitrary area in an image is a “tree”.
  • the attribute information is information indicating an attribute such that an arbitrary partial point group in the three-dimensional model represented by the point group is a “tree”. That is, “tree”, “driftwood”, “earth and sand”, “house”, etc. are each an example of attribute information.
  • the three-dimensional model has attribute information for each region.
  • the region may be a predetermined range in the three-dimensional model, or may be each three-dimensional point constituting the three-dimensional model, and is not particularly limited. Further, the region may be each partial model described later. That is, the three-dimensional model may have attribute information for each partial model described later.
  • Semantic segmentation is a process of performing meaningful labeling on a pixel or a minimum constituent unit of a three-dimensional model using information around the pixel or the minimum constituent unit of the three-dimensional model.
  • the semantic segmentation is a process of labeling each pixel in which a “tree” existing in a predetermined three-dimensional space is imaged, as shown in (c) of FIG. ..
  • the peripheral pixel information may be a value of R (Red) G (Green) B (Blue), a luminance value, a distribution of pixel values, or a gradient.
  • a partial model that is a set of point groups to which the attribute information of “tree” is added can be a partial model having attribute information of “tree”.
  • Attribute information is extracted by, for example, pattern recognition from data indicating a predetermined “tree” or the like.
  • the user may associate the attribute information with the object included in the image or the three-dimensional model by operating the user interface 400 (see FIG. 4) described later.
  • FIG. 3 is a diagram for explaining the outline of the calculation process of the amount of sediment executed by the sediment measurement system 1000 according to the embodiment.
  • FIG. 3A is a diagram showing a three-dimensional model showing the space A1 before the disaster.
  • FIG. 3B is a diagram showing a three-dimensional model showing the space A1 after a disaster.
  • (c) of FIG. 3 is a diagram showing a process of calculating the difference information executed by the sediment measuring system 1000.
  • FIG. 3D is a diagram showing an example of difference information output by the sediment amount measurement system 1000.
  • the sediment amount measuring system 1000 is a three-dimensional model before a disaster (hereinafter also referred to as a first three-dimensional model) in which the space A1 is reconstructed and a three-dimensional model after a disaster (hereinafter also referred to as a second three-dimensional model).
  • Information (difference information) of earth and sand 21 is extracted by calculating the difference using and.
  • the sediment amount measurement system 1000 extracts the part where the change is more remarkable before and after the disaster in the two three-dimensional models.
  • the difference calculation result is presented to the user as difference information.
  • the difference information is, for example, in a three-dimensional mesh model, the volume of a three-dimensional partial region where the surfaces of the three-dimensional model before the disaster and the three-dimensional model after the disaster do not overlap or intersect.
  • the amount of difference calculated in this way is, for example, the amount of earth and sand deposited in a predetermined three-dimensional space after a disaster.
  • the difference information is attribute information obtained by extracting the attribute information in a portion where the change before and after the disaster is more remarkable in the two three-dimensional models, for example, driftwood or debris contained in the earth and sand 21.
  • Information of a mixture including a plurality of attribute information different from each other, such as a ratio of the same may be included.
  • a mixture is, for example, a set of a plurality of partial models having different attribute information from each other.
  • the mixture is earth and sand.
  • the mixture (that is, the sediment) is composed of a partial model (first partial model) having attribute information indicating “driftwood” and a partial model (second partial model) having attribute information indicating “rubble”. It is a three-dimensional model.
  • the difference information includes, for example, one or more pieces of attribute information included in the mixture, the volume of the mixture as an amount of difference, and the ratio of the first partial model to the volume of the mixture and the second partial model. It includes information indicating a ratio.
  • the mixture may be classified into multiple types according to the type of attribute information.
  • a partial model (second partial model) having attribute information indicating “rubble” are provided. It is assumed that it is composed of a partial model (third partial model) having a partial model and a partial model (fourth partial model) having attribute information indicating a "signal”.
  • the mixture is a mixture (first mixture) composed of the first partial model and the second partial model composed of natural products, and a mixture (second mixture) composed of the third partial model and the fourth partial model composed of artificial products. , May be classified into.
  • the difference information may include information indicating the proportion occupied by the first mixture and the proportion occupied by the second mixture in the volume of the mixture.
  • the difference information includes, for example, difference information indicating the amount of difference between two three-dimensional models and attribute information included in the difference.
  • the amount of the difference is, for example, at least one of the volume and the weight of the difference.
  • either one of the two three-dimensional models before and after the disaster may be adjusted to a desired scale.
  • one of the two 3D models, pre-disaster and post-disaster may be adjusted to the scale of space A1.
  • the scale of either one of the two three-dimensional models before and after the disaster may be adjusted based on the scale information provided from the outside of the sediment measurement system 1000.
  • the sediment measurement system 1000 is an example of the physical quantity calculation device according to the present disclosure.
  • the above-mentioned method for calculating the difference information may be used for calculating the inventory amount of an object other than earth and sand, for example, a warehouse, or may be used for calculating a construction member or the like at a work place during construction work.
  • FIG. 4 is a block diagram showing the configuration of the sediment amount measurement system 1000 according to the embodiment.
  • the sediment amount measuring system 1000 includes a plurality of image pickup devices 10a to 10n (for example, image pickup device 10a, image pickup device 10b,..., n (integer of 2 or more) up to image pickup device 10n), control device 200, and sediment amount calculation device. 300 and a user interface 400.
  • the imaging devices 10a to 10n are communicatively connected to the control device 200. Further, the sediment amount calculation device 300 and the user interface 400 are communicably connected to the control device 200.
  • the imaging devices 10a to 10n may be connected to the control device 200 in a wired communication manner or may be connected in a wireless communication manner.
  • the sediment amount calculation device 300 and the user interface 400 may be connected to the control device 200 so as to be capable of wired communication or wirelessly.
  • the user interface 400 is a reception device for receiving an operation from a user.
  • the user interface 400 is realized by, for example, a display device connected to the control device 200, a touch screen, a track pad, a keyboard, a mouse, other controllers, or a combination thereof. Further, the user interface 400 is an example of a display device for displaying the attribute information and the difference information calculated by the physical quantity calculation device according to the present disclosure.
  • FIG. 5 is a block diagram showing a configuration of the imaging device 10a included in the sediment measuring system 1000 according to the embodiment.
  • the imaging device 10a since the configurations of the image pickup devices 10a to 10n shown in FIG. 4 are the same in the present embodiment, the image pickup of one of the plurality of image pickup devices 10a to 10n included in the sediment amount measurement system 1000 When describing the device, the imaging device 10a will be described. In other words, the same points can be said for the other imaging devices 10b to 10n in the following description of the imaging device 10a.
  • the plurality of imaging devices 10a to 10n are devices each including a camera corresponding to the camera 100 shown in FIG. 1 for imaging the space A1.
  • the configurations that can be taken by each of the plurality of imaging devices 10a to 10n are, for example, common to each other.
  • the space A1 referred to here is a union of the imaging regions of each of the plurality of cameras 100.
  • Each of the image pickup devices 10a to 10n may have a camera 100 and may include a gantry 110.
  • the camera 100 includes a storage unit 101, a control unit 102, an optical system 103, and an image sensor 104.
  • the storage unit 101 stores a program read and executed by the control unit 102.
  • the storage unit 101 stores video data of an imaging region captured by the image sensor 104, meta information such as a time stamp attached to the video data, camera parameters of the camera 100, and a frame rate being applied. Alternatively, shooting settings such as resolution are temporarily stored.
  • Such a storage unit 101 is realized by using a rewritable non-volatile semiconductor memory such as a flash memory. Further, a non-rewritable ROM (Read-Only Memory) or a volatile RaM (Random access Memory) is also used as the storage unit 101 depending on the necessity of rewriting the stored data or the required storage period. obtain.
  • a rewritable non-volatile semiconductor memory such as a flash memory.
  • a non-rewritable ROM (Read-Only Memory) or a volatile RaM (Random access Memory) is also used as the storage unit 101 depending on the necessity of rewriting the stored data or the required storage period. obtain.
  • the number of image pickup devices included in the sediment amount measurement system 1000 is not particularly limited.
  • the number of imaging devices included in the sediment measuring system 1000 may be plural.
  • the characteristics of the imaging devices 10a to 10n included in the sediment measurement system 1000 may not be common.
  • the camera 100 included in each of the imaging devices 10a to 10n is not limited to a monaural camera and may be a stereo camera.
  • the number of imaging devices provided in the sediment measurement system 1000 may be one if the space A1 can be imaged from a plurality of viewpoints by changing the position and orientation of the imaging device.
  • the control unit 102 is realized by using, for example, a CPU (Central Processing Unit), and reads and executes a program stored in the storage unit 101 to control each component included in the camera 100 to perform an imaging function and other operations. Make it work.
  • a CPU Central Processing Unit
  • the control unit 102 may be realized by a dedicated circuit that controls each component included in the camera 100 to exert an imaging function and other functions. That is, the control unit 102 may be realized by software or hardware.
  • the optical system 103 is a component that forms an image of light from an imaging region on the image sensor 104, and is realized by using an optical element including a lens. Further, the optical system 103 may be configured so that the focal length and the angle of view can be changed. Further, a wide-angle lens or an ultra-wide-angle lens such as a fisheye lens may be used for the optical system 103. For example, when an image captured by a camera included in the physical quantity calculation device according to the present disclosure is used in a surveillance system, a wide-angle lens may be used to obtain a wide imaging area.
  • the image sensor 104 receives light collected by the optical system 103 on its light-receiving surface, and converts the received light into an electric signal indicating an image, a CCD (Charge Coupled Devices) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image It is realized by a solid-state image sensor such as a sensor or a MOS (Metal Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Devices
  • CMOS Complementary Metal Oxide Semiconductor
  • the gantry 110 is a component for fixing and supporting the camera 100, which is generating an image used for calculating the amount of sediment by imaging, at a predetermined position, and is realized by, for example, a tripod.
  • the leg portion of the gantry 110 may be adjustable in length and angle.
  • the gantry 110 may be provided with a mechanism for rotating the pan head to pan or tilt the camera 100, an elevator mechanism for moving the camera 100 up and down, and the like.
  • cradle 110 may include a mechanism such as a dolly or crane to support and move camera 100.
  • the imaging devices 10a to 10n do not necessarily have to be fixed. Therefore, the imaging devices 10a to 10n may be configured not to have the gantry 110.
  • the number of imaging devices 10a included in the sediment measurement system 1000 is not particularly limited as long as it is a plurality of fixed cameras, one or more moving cameras, or a combination thereof. Further, the present invention is not limited to a monaural camera, and a compound eye camera such as a stereo camera may be included.
  • FIG. 6 is a block diagram showing a configuration of a control device 200 included in the sediment amount measuring system 1000 according to the embodiment.
  • the control device 200 includes a storage unit 201, a control unit 202, and a timer 203.
  • the control device 200 controls the image pickup devices 10a to 10n and inputs / outputs to and from the user interface 400. Further, the control device 200 issues a sediment amount calculation command to the sediment amount calculation device 300 based on the data received from the imaging devices 10a to 10n.
  • Such a control device 200 is, for example, a computer.
  • the storage unit 201 is the storage device of this computer, and is realized by a hard disk drive, various semiconductor memories, or a combination thereof.
  • the control unit 202 is realized by the CPU of this computer.
  • the timer 203 is a timer provided in the control device 200 referred to by the CPU that realizes the control unit 202.
  • the storage unit 201 stores a program that the control unit 202 reads and executes. Further, the storage unit 201 stores data received from the image pickup devices 10a to 10n and which is a target of processing by the control unit 202.
  • the control unit 202 controls the above-mentioned imaging devices 10a to 10n and the sediment amount calculation device 300 by reading and executing the program stored in the storage unit 201.
  • control unit 202 executes processing for user's commands regarding these controls and processing.
  • One of these processes includes control of shooting of synchronized images by a plurality of cameras 100 included in each of the imaging devices 10a to 10n.
  • one of these processes may include a sediment calculation command.
  • the control unit 202 functionally includes an image pickup control unit 202a, a user instruction acquisition unit 202b, and a sediment amount calculation command unit 202c.
  • the user instruction acquisition unit 202b included in the control unit 202 is a functional component realized by the control unit 202 executing a program for acquiring an instruction from the user.
  • the sediment amount calculation command unit 202c included in the control unit 202 is a functional component realized by the control unit 202 executing a program for the sediment amount calculation command.
  • the imaging control unit 202a, the user instruction acquisition unit 202b, and the sediment amount calculation command unit 202c of the control unit 202 are dedicated circuits for performing imaging control, user instruction acquisition, sediment amount calculation instruction, sediment amount calculation processing, and the like. May be realized by That is, the control unit 202 may be realized by software or hardware.
  • the image capturing control unit 202a causes each of the plurality of image capturing devices 10a to 10n to capture an image of the space A1, which is an image capturing area, at a plurality of different timings.
  • the image capturing control unit 202a images the plurality of image capturing devices 10a to 10n in a state in which each of the plurality of image capturing devices 10a to 10n is in a predetermined position and in a posture facing a predetermined direction. The area is imaged.
  • the user instruction acquisition unit 202b sends the imaging status information provided from the imaging devices 10a to 10n to the user interface 400, and acquires the input from the user.
  • the input from the user is the selection result of the data for which the amount of sediment is calculated, whether or not the amount of sediment calculation can be performed, or a combination thereof.
  • the user instruction acquisition unit 202b outputs whether the sediment amount calculation process is possible or not to the sediment amount calculation command unit 202c, for example.
  • the sediment amount calculation commanding unit 202c causes the sediment amount calculating device 300 to execute the sediment amount calculating process based on whether or not the sediment amount calculating process received from the user instruction acquiring unit 202b.
  • the sediment amount calculation commanding unit 202c may cause the sediment amount calculation device 300 to execute the sediment amount calculation processing based on the selection result of the target data for calculating the sediment amount. A specific example of the processing by the sediment amount calculation command unit 202c will be described later.
  • FIG. 7 is a block diagram showing a configuration of a sediment amount calculation apparatus 300 included in the sediment amount measuring system 1000 according to the embodiment.
  • the sediment amount calculation device 300 includes a storage unit 301 and a processing unit 302.
  • the sediment amount calculation device 300 processes the data received via the control device 200. Specifically, the sediment amount calculation apparatus 300 executes the sediment amount calculation process for the sediment 21 existing in the space A1 captured by the camera 100 included in each of the imaging devices 10a to 10n.
  • the target for the sediment amount calculation device 300 to execute the sediment amount calculation process is, for example, the space A1 after a disaster.
  • the amount of sediment 21 deposited in the space A1 (sediment amount) can be obtained by calculating the difference from the three-dimensional model of the space A1 before the disaster.
  • the target for the sediment amount calculation device 300 to execute the sediment amount calculation process does not have to be the space A1 immediately after the disaster, for example, the space A1 during the sediment removal work.
  • the sediment amount calculation device 300 can calculate the progress of the sediment removal work by sequentially calculating the sediment amount.
  • the target for the sediment amount calculation device 300 to execute the sediment amount calculation process does not have to be the space A1 before and after the disaster, and is not particularly limited.
  • Such a sediment amount calculation device 300 is, for example, a computer.
  • the storage unit 301 is a storage device of this computer, and is realized by a hard disk drive, various semiconductor memories, or a combination thereof.
  • the processing unit 302 is realized by the CPU of this computer.
  • the sediment amount calculation apparatus 300 may be realized by the same computer as the control apparatus 200.
  • the storage unit 301 stores a program that the processing unit 302 reads and executes. Further, in the storage unit 301, the data received from the image pickup devices 10a to 10n via the control device 200 and the data of the three-dimensional model acquired from the external device, which are the data to be processed by the processing unit 302. Is memorized. That is, the storage unit 301 may store the three-dimensional reconstruction result or the attribute information extraction result. Further, as the result of the three-dimensional reconstruction, a three-dimensional model before the disaster may be stored or a three-dimensional model after the disaster may be stored.
  • the processing unit 302 processes the data received from the imaging devices 10a to 10n by reading and executing the program stored in the storage unit 301.
  • One of the processes is the three-dimensional reconstruction of the space A1.
  • the processing unit 302 includes an image acquisition unit 302a, a three-dimensional reconstruction unit 302b, an attribute information extraction unit 302c, a model acquisition unit 302d, an alignment unit 302e, and a difference calculation unit 302f.
  • the image acquisition unit 302a acquires a plurality of images respectively imaged by the plurality of imaging devices 10a to 10n.
  • the image acquisition unit 302a further corresponds to each of the plurality of images together with the plurality of images, and acquires a camera label indicating the camera 100 in which each of the plurality of images is captured.
  • the image acquisition unit 302a may acquire a plurality of images and a camera label, for example, by acquiring an image to which a camera label is attached.
  • Each of the plurality of images may be a still image or a moving image.
  • the plurality of images used for the calibration processing are obtained by being imaged by the plurality of imaging devices 10a to 10n at one corresponding timing (that is, at the same time). It is preferable that the image is an image.
  • the plurality of images acquired by the image acquisition unit 302a are stored in the storage unit 301. Further, the image acquisition unit 302a may store the image and the camera label in the storage unit 301 in advance before receiving the sediment amount calculation command from the control device 200. As a result, the sediment amount calculation device 300 can start the sediment amount calculation process when it is determined that the sediment amount calculation is necessary.
  • the three-dimensional reconstruction unit 302b generates at least one of the first three-dimensional model and the second three-dimensional model from a plurality of images each showing the space A1. More specifically, the three-dimensional reconstruction unit 302b calculates the three-dimensional shape of the space A1 using the plurality of images captured by the plurality of imaging devices 10a to 10n with respect to the space A1. For example, the three-dimensional reconstruction unit 302b generates a three-dimensional model of the space A1 at the first time using the image group at the first time. Further, the three-dimensional reconstruction unit 302b generates a three-dimensional model of the space A1 by using an image group at a time different from the first time. As described above, the three-dimensional reconstruction unit 302b generates the first three-dimensional model and the second three-dimensional model, which are three-dimensional models of the same area and have different times.
  • the three-dimensional reconstruction unit 302b associates a plurality of images captured by the plurality of imaging devices 10a to 10n, and calculates the three-dimensional shape of the space A1 by geometrical calculation from the association.
  • the model for expressing the three-dimensional shape may be expressed by a point group, a voxel, or a mesh.
  • the representation of these three-dimensional models is an example.
  • the representation method of the three-dimensional model is not particularly limited to the above.
  • the attribute information extraction unit 302c includes a plurality of images captured by the plurality of image capture devices 10a to 10n, a three-dimensional model reconstructed by the three-dimensional reconstruction unit 302b, or a three-dimensional model acquired by a model acquisition unit 302d described below. Attribute information is extracted from the model. For example, the attribute information extraction unit 302c estimates the attributes of each point based on the information of the surrounding points with respect to the three-dimensional point cloud, and calculates the estimated attributes as the attribute information. Further, the attribute information extraction unit 302c estimates, for example, the attribute information of the object captured in each image based on the information of the surrounding pixels with respect to the image data, and reconstructs the estimated attribute information in a three-dimensional model. Associate with each minimum composition unit of.
  • the attribute information extraction unit 302c may acquire the three-dimensional model reconstructed by the three-dimensional reconstruction unit 302b, or the plurality of images captured by the plurality of imaging devices 10a to 10n from the storage unit 301. May be acquired, a three-dimensional model acquired from the storage unit 301 may be acquired, or a three-dimensional model may be acquired from a model acquisition unit 302d described below.
  • the model acquisition unit 302d acquires a three-dimensional model from the three-dimensional reconstruction unit 302b and the storage unit 301.
  • the model acquisition unit 302d acquires, for example, a model obtained by reconstructing the pre-disaster space A1 from the storage unit 301 and a model obtained by reconstructing the post-disaster space A1 from the three-dimensional reconstruction unit 302b.
  • the model acquisition unit 302d may acquire two or more three-dimensional models from the storage unit 301.
  • the model acquisition unit 302d acquires a first three-dimensional model showing the space A1 and a second three-dimensional model showing the space A1 and different from the first three-dimensional model.
  • the model acquisition unit 302d acquires a first three-dimensional model showing the space A1 at the first time and a second three-dimensional model showing the space A1 at the second time different from the first time. To do.
  • the model acquisition unit 302d uses the storage unit 301 to extract two three-dimensional models before and after a disaster in the space A1 (that is, a first three-dimensional model indicating the space A1 before the disaster (first time), and A second three-dimensional model showing the space A1 after the disaster (second time) is acquired.
  • a first three-dimensional model indicating the space A1 before the disaster (first time) that is, a first three-dimensional model indicating the space A1 before the disaster (first time)
  • a second three-dimensional model showing the space A1 after the disaster (second time) is acquired.
  • the three-dimensional model acquired by the model acquisition unit 302d may be a model calculated from image data outside the sediment measurement system 1000 or a model calculated from laser measurement outside the sediment measurement system 1000.
  • the method of expressing the three-dimensional model to be acquired may be voxel data, mesh data, or point cloud data.
  • the alignment unit 302e uses the two or more three-dimensional models acquired by the model acquisition unit 302d and the attribute information calculated by the attribute information extraction unit 302c to unify the coordinate system between the three-dimensional models, That is, the process of aligning the three-dimensional models with each other is performed. That is, the alignment unit 302e aligns the first 3D model and the second 3D model based on the attribute information of each of the first 3D model and the second 3D model. Specifically, the alignment unit 302e compares the partial areas, which are partial areas of the space A1 including the three-dimensional model having the same attribute information, based on the attribute information, thereby efficiently calculating the model. You can make a comparison.
  • Alignment unit 302e associates partial models with changing combinations within partial models having the same attribute information.
  • the alignment unit 302e compares the minimum structural unit between the partial models having at least one or more same attribute information, for example, a three-dimensional point in the case of a three-dimensional model represented by a point cloud.
  • the partial model is a set of the minimum structural units indicating a part or all of the area of the three-dimensional model.
  • Alignment unit 302e searches for and associates the points closest to each other between the partial models, and adjusts the position and orientation of the coordinate system so that the difference between the positions of the points becomes small.
  • the alignment unit 302e calculates the coordinate system with the smallest difference by repeatedly calculating while changing the correspondence of the partial models and the correspondence of the points described above, and performs the coordinate conversion to the calculated coordinate system. Calculate the original model.
  • the alignment unit 302e performs alignment (coordinate transformation and size alignment) based on the attribute information. For example, the alignment unit 302e extracts a three-dimensional model (partial model) having the same attribute information in each of the plurality of three-dimensional models. The alignment unit 302e compares the extracted three-dimensional models and aligns them. Further, the alignment unit 302e changes the entire three-dimensional model in accordance with the partial model changed by the alignment. That is, the alignment unit 302e extracts a partial model having attribute information common to each of the first three-dimensional model and the second three-dimensional model from each of the first three-dimensional model and the second three-dimensional model.
  • the respective partial models are aligned by moving the respective partial models so that the coordinates of the corresponding positions of the respective partial models match, and then the first three-dimensional model and the third three-dimensional model are aligned with the movement of the respective partial models.
  • the first three-dimensional model and the second three-dimensional model are aligned by moving the three-dimensional model.
  • the alignment unit 302e can align the three-dimensional model more efficiently than aligning the entire three-dimensional model all at once.
  • the converted model may be stored in the storage unit 301.
  • the mapping of the partial model and the mapping of the minimum structural unit may be random or may be selected based on the feature amount. Further, the association of the partial model and the association of the minimum structural unit are not limited to the above method. In the alignment between the colored models, the information of the color difference may be used for the alignment.
  • the scale of the three-dimensional model may be adjusted to a desired scale for either the pre-disaster or post-disaster three-dimensional model. For example, it may be adjusted to the scale of space A1. Further, the scale of the three-dimensional model may be adjusted from the scale information given from the outside of the sediment amount measurement system 1000. By adjusting the scale of the 3D model, the difference can be calculated on the same scale as the 3D model before the disaster and the 3D model after the disaster. As a result, the amount of earth and sand can be calculated on the scale of the space A1.
  • the difference calculation unit 302f calculates the amount of difference between the first 3D model and the second 3D model, and outputs the attribute information of the difference and the difference information indicating the amount of difference. Specifically, the difference calculation unit 302f calculates difference information between two or more three-dimensional models whose coordinate systems are unified by the alignment unit 302e. The difference calculation unit 302f calculates, for example, the volume of a three-dimensional region covered with a surface in which the surfaces do not overlap or intersect in a mesh model of the same coordinate system.
  • the difference information calculated by the difference calculation unit 302f may include attribute information in a region where the difference is remarkable, for example, information on a mixture contained in earth and sand.
  • the above difference information is an example and is not intended to limit the disclosure.
  • the difference calculation unit 302f outputs, for example, the calculated difference information to the user interface 400. Thereby, the user can confirm the difference information (that is, the amount and attribute of the soil 21 which is the amount of the difference) by operating the user interface 400.
  • the difference calculation unit 302f when the difference calculation unit 302f includes a plurality of pieces of attribute information having different differences, the difference calculation unit 302f classifies the plurality of pieces of attribute information and outputs the plurality of pieces of attribute information, thereby displaying a plurality of pieces of attribute information collectively for each type. Displayed on a device (for example, user interface 400). In this case, for example, the difference calculation unit 302f calculates the amount included in the difference for each type.
  • FIG. 8 is a flowchart showing the alignment process of the three-dimensional model executed by the sediment amount measurement system 1000 according to the embodiment.
  • FIG. 9 is a diagram for explaining the alignment of the two three-dimensional models executed by the alignment unit 302e.
  • the alignment unit 302e included in the sediment amount calculation device 300 in the present embodiment is first labeled with respect to at least two or more three-dimensional models with partial models having the same attribute information, for example, "house”.
  • the partial models are associated with each other (S31). That is, in this case, for example, the two three-dimensional models both include a partial model having attribute information indicating a "house”.
  • the alignment unit 302e first. A partial model having attribute information included in both the first three-dimensional model 500 and the second three-dimensional model 510 is extracted.
  • the alignment unit 302e is included in the first three-dimensional model 500 and is included in the first partial model 501 having attribute information of "house” and the second three-dimensional model 510, and is included in the attribute information of "house”. It is assumed that the second partial model 511 having the above is extracted.
  • the alignment unit 302e associates the first partial model 501 with the second partial model 511.
  • the alignment unit 302e extracts one or more feature points included in the first partial model 501 and one or more feature points included in the second partial model 511, and the extracted first portion.
  • the feature points of the model 501 and the feature points of the extracted second partial model 511 are associated with each other.
  • the feature points extracted here may be arbitrary.
  • feature points are corners in a partial model.
  • the alignment unit 302e associates the same feature points with the feature points of the first partial model 501 and the extracted feature points of the second partial model 511.
  • the alignment unit 302e associates the feature points 520 of the first partial model 501 with the feature points 521 of the extracted second partial model 511.
  • the alignment unit 302e may be a minimum constituent unit between the partial models having at least one or more same attribute information, for example, a three-dimensional model represented by a point group.
  • the three-dimensional points are compared with each other, and the points closest to each other among the points between the partial models are searched and associated (S32).
  • the alignment unit 302e adjusts the position and orientation of the coordinate system of the partial model so that the difference between the positions of the points associated in step S32 becomes small (S33). For example, as shown in FIG. 9C, the alignment unit 302e sets at least one of the first partial model 501 and the second partial model 511 so that the associated feature points are located at the same coordinates. Change. For example, the alignment unit 302e sets at least one of the first partial model 501 and the second partial model 511 so that the feature points 520 and the feature points 521, which are the associated feature points, are located at the same coordinates. To move. Further, the alignment unit 302e changes the entire three-dimensional model in accordance with the change of the partial model. As a result, the alignment unit 302e changes the models showing the same object in the first three-dimensional model 500 and the second three-dimensional model 510 to be positioned at the same position and orientation.
  • the alignment unit 302e may adjust the scale of the three-dimensional model when adjusting the position and orientation. Further, the scale may be adjusted to either one of the two three-dimensional models, or both scales of the two three-dimensional models may be adjusted based on the scale information obtained from the outside.
  • the alignment unit 302e causes the position of the partial model (for example, at least one of the first partial model 501 and the second partial model 511 shown in FIG. 9) executed in step S33. And, it is determined whether or not there is little change in posture (S34). If the change in adjusting the position and orientation is large, the process proceeds to step S32, and if the change is small, the process proceeds to step S35.
  • the partial model for example, at least one of the first partial model 501 and the second partial model 511 shown in FIG. 9
  • the amount of change used as the reference here may be arbitrarily determined in advance. For example, when the amount of change before and after the adjustment when adjusting the position and orientation of the partial model is equal to or greater than the reference amount of change that is arbitrarily determined in advance, the alignment unit 302e next executes step S32. On the other hand, for example, when the change amount before and after the adjustment when adjusting the position and orientation of the partial model is less than the reference change amount, the alignment unit 302e next executes step S35.
  • the amount of change is, for example, the amount of movement of each point. When the entire partial model is rotated with respect to a certain reference point, the change amount may be a rotation angle due to the rotation.
  • the alignment unit 302e compares the entire three-dimensional model from the results of the position and adjustment, and determines whether or not the overall difference is large (S35). If the overall difference is large, the process proceeds to step S36, and if the difference is small, the process proceeds to step S37.
  • the overall difference used as the reference here may be set in advance. For example, when the difference between before and after the adjustment when adjusting the position and orientation of the entire three-dimensional model is equal to or greater than a reference difference that is arbitrarily set in advance, the alignment unit 302e next executes step S36. On the other hand, for example, when the difference between the changes before and after the adjustment when adjusting the position and orientation of the entire three-dimensional model is less than the reference difference, the alignment unit 302e then executes step S37.
  • the difference here is, for example, the amount of points whose coordinates do not match at each three-dimensional point in the two three-dimensional models.
  • the alignment unit 302e determines whether all possible combinations in step S31 and step S32 have been compared (S36). If all combinations are completed, the process proceeds to step S37, and if not, the process proceeds to step S31.
  • the alignment unit 302e extracts and associates a partial model that is not yet compared with the first three-dimensional model 500 and the second three-dimensional model 510, for example. ..
  • step S33 ends, the process proceeds to step S36.
  • step S35 the configuration may not include step S34 and step S35.
  • the alignment unit 302e outputs the coordinate system that minimizes the overall difference and the three-dimensional model after coordinate conversion (S37).
  • FIG. 10 is a sequence diagram showing the processing of the sediment amount measuring system 1000 according to the embodiment.
  • the sediment amount measurement system 1000 starts the sediment amount calculation process when the user gives a processing instruction.
  • the control device 200 sends an image pickup instruction to the image pickup devices 10a to 10n (only the image pickup device 10a is shown in FIG. 10), sends the image pickup images received from the image pickup devices 10a to 10n to the user interface 400 as image pickup information, and
  • the imaging information is presented to (S41).
  • the imaging information is, for example, an image of space A1.
  • the user By operating the user interface 400, the user confirms the imaging information, and whether the imaging devices 10a to 10n can appropriately image the desired space, and whether the imaging information is sufficient to start the process, etc. Is determined, and an instruction for processing is given (S42). Specifically, the user operates the user interface 400 to cause the user interface 400 to transmit information indicating the instruction of the above processing to the control device 200.
  • the user processing instruction transmitted via the user interface 400 is information or a signal indicating whether to start the sediment amount calculation processing or the imaging devices 10a to 10n continue imaging.
  • the user processing instruction may include information for specifying which imaging information is used for the sediment amount calculation processing, or information for specifying the result to be output.
  • the control device 200 determines whether to execute the sediment amount calculation process or the imaging devices 10a to 10n continue imaging based on the information indicating the user's processing instruction received from the user interface 400 (S43). ).
  • the control device 200 transmits the sediment amount calculation command and the captured image to the sediment amount calculation device 300.
  • control device 200 determines that the image capture devices 10a to 10n continue image capture (No in S43)
  • the control device 200 transmits information indicating an instruction to continue image capture to the image capture devices 10a to 10n, and the image capture devices 10a to 10n are informed. Continue imaging.
  • Step S44 is, for example, the processing of steps S31 to S37 shown in FIG.
  • the sediment amount calculation device 300 transmits information indicating the processing result to the control device 200.
  • control device 200 sorts out the processing results received from the sediment amount calculation device 300 based on the user processing instruction, and outputs (transmits) the difference information to the user interface 400 (S45).
  • the user interface 400 presents the difference information received from the control device 200 to the user (S46). Specific examples of the difference information presented to the user will be described later.
  • FIG. 11 is a flowchart showing a calculation process of the amount of sediment, which is executed by the sediment measurement system 1000 according to the embodiment.
  • the image acquisition unit 302a acquires a plurality of images respectively imaged by the plurality of imaging apparatuses 10a to 10n (S51).
  • the three-dimensional reconstruction unit 302b executes the three-dimensional reconstruction process using a plurality of images (S52).
  • the three-dimensional reconstruction unit 302b shows the space A1 and has a first three-dimensional model having attribute information for each area, and the second three-dimensional model having the space A1 and having attribute information for each area.
  • a second three-dimensional model that is different from the first three-dimensional model (for example, the time is different) is generated.
  • the model acquisition unit 302d acquires two or more three-dimensional models from the three-dimensional reconstruction unit 302b or the storage unit 301 (S53). Note that one or more may be acquired from the three-dimensional reconstruction unit 302b, one or more from the storage unit 301, or two or more may be acquired from the storage unit 301.
  • the attribute information extraction unit 302c extracts attribute information from a plurality of images captured by the image pickup devices 10a to 10n, or from a three-dimensional model (S54).
  • step S54 may be performed before step S53, may be performed after step S53, or may be performed in both.
  • the alignment unit 302e performs a process of unifying the coordinates from the two or more three-dimensional models and the attribute information (S55). Specifically, the alignment unit 302e aligns the first three-dimensional model and the second three-dimensional model based on the attribute information of each of the first three-dimensional model and the second three-dimensional model. For example, the alignment unit 302e determines corresponding points that are the same point in the first 3D model and the second 3D model based on the attribute information of each of the first 3D model and the second 3D model. It is detected, and the detected corresponding points are used to align the first three-dimensional model and the second three-dimensional model. The alignment unit 302e can perform the alignment efficiently and accurately by comparing the areas having the same attribute information (that is, the partial models having the same attribute information) in the three-dimensional model. ..
  • the difference calculation unit 302f calculates difference information between two or more models whose coordinate systems are unified by the alignment unit 302e (that is, aligned by the alignment unit 302e) (S56).
  • the difference information includes, for example, difference information indicating the amount of difference and attribute information included in the difference.
  • the difference calculation unit 302f outputs, for example, the calculated difference information to the user interface 400 (more specifically, the user interface 400 via the control device 200).
  • the user interface 400 presents (more specifically, displays) the acquired difference information to the user.
  • FIG. 12 is a diagram showing an example of an image 600 presented when the user interface 400 included in the sediment amount measuring system 1000 according to the embodiment aligns two three-dimensional models.
  • the user interface 400 is realized, for example, by using a mobile terminal such as a smartphone or tablet terminal having a display device and an input device for a touch panel display or the like.
  • the image 600 includes a three-dimensional image 601, an object selection unit 602, and a determination unit 603.
  • the three-dimensional image 601 is an image showing a three-dimensional model after a disaster.
  • the target selection unit 602 is an image for receiving the selection of the partial model having the attribute information that the registration unit 302e preferentially associates.
  • the user touches, for example, the attribute information to be preferentially associated with the alignment unit 302e or the partial model having the attribute information in the three-dimensional image 601 or the target selection unit 602.
  • the user interface 400 informs the control device 200, for example, of the attribute information touched by the user or the information indicating the partial model having the attribute information together with the information indicating the user processing instruction after step S42 shown in FIG. Send.
  • the control device 200 transmits, for example, the attribute information touched by the user or the information indicating the partial model having the attribute information to the sediment amount calculation device 300 together with the sediment amount calculation command and the imaging information.
  • the alignment unit 302e first selects and associates a partial model based on the attribute information touched by the user or the information indicating the partial model having the attribute information.
  • FIG. 13 is a diagram showing an example of difference information presented by the user interface 400 included in the sediment amount measuring system 1000 according to the embodiment.
  • the user interface 400 uses a tablet-type mobile terminal as shown in FIG. 13 to display the result of the amount of sediment, which is an example of the amount of difference calculated.
  • the user interface 400 may display the estimated weight as the calculation result in addition to the volume of the amount of sediment.
  • the user interface 400 may display the mixture of the portion corresponding to the soil using the attribute information obtained by the attribute information extraction unit 302c. As a result, it is possible to efficiently acquire the information necessary for removing the sediment and the mixture. Further, the display method of the mixture is not limited to characters, and may be realized by coloring the corresponding portion on the three-dimensional model or the image.
  • the user interface 400 presents the difference information to the user by displaying the image 610.
  • the image 610 includes a three-dimensional image 611, an emphasis line 612, a difference amount information image 613, and an attribute information image 614.
  • the three-dimensional image 611 is an image showing a three-dimensional model after a disaster.
  • the emphasis line 612 is a line for showing the position, area, etc. of the difference from the 3D model before the disaster in the 3D image 611.
  • the emphasized line 612 is shown by a broken line circle for explanation, but the emphasized line 612 is a solid line, a broken line, a thick line, a color line colored differently from other parts, a rectangle, and a polygon. Etc. may be arbitrary.
  • the difference amount information image 613 is an image for presenting the difference amount to the user.
  • the difference amount information image 613 includes, for example, information indicating the difference volume and the estimated weight of earth and sand.
  • the attribute information image 614 is an image for presenting the attribute information of the partial model included in the difference to the user.
  • the attribute information image 614 includes information indicating "earth and sand", “driftwood”, “signs", "traffic light”, etc. as attribute information of the partial models included in the difference.
  • the attribute information image 614 includes the volume or weight ratio of the portion indicated by the attribute information in the entire difference. In this way, the amount of difference may be displayed for each attribute.
  • the attribute information image 614 includes the first type image 615 and the second type image 616.
  • the first type image 615 is an image for collectively presenting the attributes satisfying the first condition among the plurality of attributes included in the difference.
  • the second type image 616 is an image for collectively presenting the attributes satisfying the second condition among the plurality of attributes included in the difference.
  • the user interface may display the attribute information and the amount of the partial model having the attribute information collectively for each attribute type.
  • the first condition is a natural product and the second condition is an artificial product.
  • These conditions may be arbitrarily set in advance and are not particularly limited.
  • the physical quantity calculation device for example, the sediment measurement system 1000, more specifically, the sediment calculation device 300
  • the same predetermined space for example, space.
  • a three-dimensional model showing A1) and having attribute information for each region for example, for each partial model or for each three-dimensional point constituting the three-dimensional model
  • the first three-dimensional model and the first three-dimensional model has the same predetermined space (for example, space).
  • an acquisition unit for example, model acquisition unit 302d for acquiring, and each of the first three-dimensional model and the second three-dimensional model aligned by the alignment unit Based on the attribute information possessed, the amount of difference between the alignment unit 302e that aligns the first 3D model and the 2nd 3D model and the 1st 3D model and the 2nd 3D model is calculated.
  • the calculation unit (for example, the difference calculation unit 302f) that outputs the attribute information included in the difference and the amount of the difference.
  • the amount of sediment there is a method of calculating the amount of sediment that has flowed into a predetermined space due to the influence of a collapse or the like at a sediment-related disaster site or the like.
  • the amount can be calculated with high accuracy, but there is a problem that the calculation takes time and cost. Therefore, in the physical quantity calculation device according to the present disclosure, for example, in a predetermined space, a three-dimensional model (first three-dimensional model) showing the predetermined space in a state in which there is no object whose amount of earth and sand or the like is to be calculated, The three-dimensional model (second three-dimensional model) showing the predetermined space in the state where the object exists is compared.
  • the difference between the first three-dimensional model and the second three-dimensional model can be easily calculated by appropriately aligning the first three-dimensional model and the second three-dimensional model. Therefore, according to the physical quantity calculation device according to the present disclosure, the processing time for calculating the quantity of the object can be shortened.
  • the physical quantity calculation device may further include a generation unit (for example, a cubic function) that generates at least one of the first three-dimensional model and the second three-dimensional model from a plurality of images each showing a predetermined space.
  • a generation unit for example, a cubic function
  • the original reconstruction unit 302b is provided.
  • the amount of difference can be calculated with a simple configuration such as a camera for generating an image.
  • the calculation unit when the calculation unit includes a plurality of attribute information having different differences from each other, the calculation unit outputs the plurality of attribute information by classifying the plurality of attribute information so that the plurality of attribute information is collectively displayed for each type. For example, it is displayed on the user interface 400).
  • the calculation unit calculates the amount included in the difference for each type.
  • the amount of each type of object included in the difference is displayed on the display device, it is possible to make it easier for the user who confirms the display device to understand the amount of each type included in the difference.
  • the difference amount is at least one of the difference volume and the weight.
  • the physical quantity calculation device can calculate at least one of the difference amount and the volume.
  • the alignment unit extracts, from each of the first 3D model and the second 3D model, a partial model having attribute information that is common to the first 3D model and the second 3D model. Then, after aligning by moving the respective partial models so that the coordinates of the corresponding positions of the respective extracted partial models match, the first three-dimensional model and the first three-dimensional model are adjusted in accordance with the movement of the respective partial models. By moving the second three-dimensional model, the first three-dimensional model and the second three-dimensional model are aligned.
  • the physical quantity calculation device can be used with the first three-dimensional model and the second three-dimensional model without performing processing such as alignment by comparing the shapes of the three-dimensional models. You can align. Therefore, according to this, the processing time of the physical quantity calculation device according to the present disclosure can be further shortened.
  • a physical quantity calculation method is a three-dimensional model that shows the same predetermined space and has attribute information for each region, and includes a first three-dimensional model and a first cubic A first 3D model based on an acquisition step (for example, step S53) for acquiring a second 3D model different from the original model, and attribute information possessed by each of the first 3D model and the second 3D model.
  • the amount of difference between the alignment step (for example, step S55) for aligning and the second three-dimensional model and the difference between the first three-dimensional model and the second three-dimensional model is calculated, and the attribute information and the difference possessed by the difference are calculated.
  • a calculation step for example, step S56 for outputting the difference information indicating the amount of
  • the difference between the first 3D model and the second 3D model can be easily calculated by appropriately aligning the first 3D model and the second 3D model. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the physical quantity can be shortened.
  • a first three-dimensional model showing a predetermined space before the sediment flows in and a second three-dimensional model showing a predetermined space after the sediment flows in are acquired. Then, in the calculating step, the amount of the earth and sand is calculated as the amount of the difference.
  • the amount of earth and sand that becomes a difference can be easily calculated by appropriately aligning the three-dimensional model showing the predetermined space before and after the disaster such that the earth and sand flow into the predetermined space. Therefore, according to the physical quantity calculation method according to the present disclosure, the processing time for calculating the amount of earth and sand can be shortened.
  • each component of the processing unit may be composed of one or a plurality of electronic circuits.
  • Each of the one or more electronic circuits may be a general-purpose circuit or a dedicated circuit.
  • the one or more electronic circuits may include, for example, a semiconductor device, an IC (Integrated Circuit), an LSI (Large Scale Integration), or the like.
  • the IC or LSI may be integrated on one chip or may be integrated on a plurality of chips.
  • IC integrated circuit
  • LSI System LSI
  • VLSI Very Large Scale Integration
  • ULSI Ultra Large Scale Integration
  • FPGA Field Programmable Gate Array
  • the general or specific aspects of the present disclosure may be realized by a system, an apparatus, a method, an integrated circuit, or a computer program.
  • a computer-readable non-transitory recording medium such as an optical disk storing the computer program, an HDD (Hard Disk Drive), or a semiconductor memory.
  • the system, the apparatus, the method, the integrated circuit, the computer program, and the recording medium may be implemented in any combination.
  • the division of the functional block in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. May be.
  • a single piece of hardware or software may process the functions of a plurality of functional blocks having similar functions in parallel or in a time division manner.
  • the order in which the steps in the flowchart are executed is an example for specifically describing the present disclosure, and may be an order other than the above.
  • some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the present disclosure can be applied to a physical quantity calculation device that calculates a difference from a three-dimensional model, for example, a device that calculates the amount of an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

物量算出装置は、所定の空間を示す第1三次元モデルと、当該所定の空間を示し、第1三次元モデルとは異なる第2三次元モデルと、を取得する取得部(モデル取得部(302d))と、第1三次元モデルおよび第2三次元モデルそれぞれが有する属性情報に基づいて、第1三次元モデルと第2三次元モデルとの位置合わせを行う位置合わせ部(302e)と、第1三次元モデルと第2三次元モデルとの差分の量を算出し、当該差分が有する属性情報と当該差分の量を示す差分情報とを出力する算出部(差異算出部(302f))と、を備える。

Description

物量算出装置、および、物量算出方法
 本開示は、物量算出装置、および、物量算出方法に関する。
 所定の空間に位置する物体に関する体積または重量等の量を測定する技術がある(例えば、特許文献1参照)。
 特許文献1に開示されている技術では、崩落現場における崩落発生前後の画像を比較して当該画像の位置合わせをし、位置合わせをした当該画像を用いて三次元モデルを生成し、生成した三次元モデルに基づいて崩落現場の被災量を算出する。
特開2002-328021号公報
 上記被災量等の所定の空間に位置する物体の量を算出する処理には、処理時間が短いことが望まれている。
 本開示は、物体の量を算出する処理時間を短縮できる物量算出装置等を提供する。
 本開示の一態様に係る物量算出装置は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第1三次元モデルと、前記第1三次元モデルとは異なる第2三次元モデルと、を取得する取得部と、前記第1三次元モデルおよび前記第2三次元モデルのそれぞれが有する属性情報に基づいて、前記第1三次元モデルと前記第2三次元モデルとの位置合わせを行う位置合わせ部と、前記位置合わせ部によって位置合わせされた前記第1三次元モデルと前記第2三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える。
 また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第1三次元モデルと、前記第1三次元モデルとは異なる第2三次元モデルと、を取得する取得ステップと、前記第1三次元モデルおよび前記第2三次元モデルのそれぞれが有する属性情報に基づいて、前記第1三次元モデルと前記第2三次元モデルとの位置合わせを行う位置合わせステップと、前記位置合わせステップで位置合わせした前記第1三次元モデルと前記第2三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む。
 なお、本開示は、上記物量算出方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なCD-ROM等の非一時的な記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データまたは信号として実現されてもよい。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信されてもよい。
 本開示によれば、物体の量を算出する処理時間を短縮できる物量算出装置等を提供できる。
図1は、実施の形態に係る土砂量計測システムの概要を説明するための図である。 図2は、実施の形態に係る土砂量計測システムが実行する、属性情報を抽出する処理の概要を説明するための図である。 図3は、実施の形態に係る土砂量計測システムが実行する、土砂量の算出処理の概要を説明するための図である。 図4は、実施の形態に係る土砂量計測システムの構成を示すブロック図である。 図5は、実施の形態に係る土砂量計測システムが備える撮像装置の構成を示すブロック図である。 図6は、実施の形態に係る土砂量計測システムが備える制御装置の構成を示すブロック図である。 図7は、実施の形態に係る土砂量計測システムが備える土砂量算出装置の構成を示すブロック図である。 図8は、実施の形態に係る土砂量計測システムが実行する、三次元モデルの位置合わせの処理を示すフローチャートである。 図9は、位置合わせ部が実行する2つの三次元モデルの位置合わせを説明するための図である。 図10は、実施の形態に係る土砂量計測システムの処理を示すシーケンス図である。 図11は、実施の形態に係る土砂量計測システムが実行する、土砂量の算出処理を示すフローチャートである。 図12は、実施の形態に係る土砂量計測システムが備えるユーザーインタフェースが2つの三次元モデルを位置合わせする際に提示する画像の一例を示す図である。 図13は、実施の形態に係る土砂量計測システムが備えるユーザーインタフェースが提示する差異情報の一例を示す図である。
 (本開示の概要)
 本開示の一態様に係る物量算出装置は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第1三次元モデルと、前記第1三次元モデルとは異なる第2三次元モデルと、を取得する取得部と、前記第1三次元モデルおよび前記第2三次元モデルのそれぞれが有する属性情報に基づいて、前記第1三次元モデルと前記第2三次元モデルとの位置合わせを行う位置合わせ部と、前記位置合わせ部によって位置合わせされた前記第1三次元モデルと前記第2三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える。
 従来、例えば、土砂災害現場等で崩落等の影響で所定の空間に流入した土砂量を計測(算出)する方法がある。レーザー計測による土砂量の算出では、高精度に量を算出できるが、算出に時間およびコストがかかる問題がある。そこで、本開示に係る物量算出装置では、例えば、所定の空間における、土砂等の量を算出したい物体が存在しない状態での当該所定の空間を示す三次元モデル(第1三次元モデル)と、当該物体が存在する状態での当該所定の空間を示す三次元モデル(第2三次元モデル)とを比較する。これによれば、第1三次元モデルと第2三次元モデルとを適切に位置合わせをすることで、簡便に第1三次元モデルと第2三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出装置によれば、物体の量を算出する処理時間を短縮できる。
 また、例えば、本開示の一態様に係る物量算出装置は、さらに、それぞれが前記所定の空間を示す複数の画像から前記第1三次元モデルおよび前記第2三次元モデルのうち少なくとも一方を生成する生成部を備える。
 これによれば、画像を生成するためのカメラ等の簡便な構成で、差分の量を算出できる。
 また、例えば、前記算出部は、前記差分が互いに異なる複数の属性情報を含む場合、前記複数の属性情報を種別ごとに分類して出力することで、前記種別ごとに前記複数の属性情報をまとめて表示装置に表示させる。
 これによれば、差分に含まれる物体の種別が分類されて表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別を理解させやすくできる。
 また、例えば、前記算出部は、前記種別ごとに前記差分に含まれる量を算出する。
 これによれば、差分に含まれる物体の種別ごとの量が表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別ごとの量を理解させやすくできる。
 また、例えば、前記差分の量は、前記差分の体積および重量の少なくとも一方である。
 これによれば、本開示に係る物量算出装置は、差分の量および体積の少なくとも一方を算出できる。
 また、例えば、前記位置合わせ部は、前記第1三次元モデルと前記第2三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、前記第1三次元モデルと前記第2三次元モデルとのそれぞれから抽出し、抽出したそれぞれの前記部分モデルの対応する位置の座標が一致するように、それぞれの前記部分モデルを移動させることで位置合わせした後で、それぞれの前記部分モデルの移動に合わせて前記第1三次元モデルと前記第2三次元モデルとを移動させることで、前記第1三次元モデルと前記第2三次元モデルとを位置合わせする。
 これによれば、本開示に係る物量算出装置は、三次元モデルの形状を比較することによる位置合わせ等の処理時間がかかる処理をせずに第1三次元モデルと第2三次元モデルとの位置合わせをできる。そのため、これによれば、本開示に係る物量算出装置の処理時間がさらに短縮され得る。
 また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第1三次元モデルと、前記第1三次元モデルとは異なる第2三次元モデルと、を取得する取得ステップと、前記第1三次元モデルおよび前記第2三次元モデルのそれぞれが有する属性情報に基づいて、前記第1三次元モデルと前記第2三次元モデルとの位置合わせを行う位置合わせステップと、前記位置合わせステップで位置合わせした前記第1三次元モデルと前記第2三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む。
 これによれば、第1三次元モデルと第2三次元モデルとを適切に位置合わせをすることで、簡便に第1三次元モデルと第2三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出方法によれば、物体の量を算出する処理時間を短縮できる。
 また、例えば、前記取得ステップでは、土砂が流入される前の前記所定の空間を示す前記第1三次元モデルと、前記土砂が流入された後の前記所定の空間を示す前記第2三次元モデルと、を取得し、前記算出ステップでは、前記差分の量として前記土砂の量を算出する。
 これによれば、所定の空間に土砂が流入されるような災害前後の当該所定の空間を示す三次元モデルを適切に位置合わせをすることで、簡便に差分となる土砂の量を算出できる。そのため、本開示に係る物量算出方法によれば、土砂の量を算出する処理時間を短縮できる。
 以下では、本開示の各実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する各実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。
 また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する場合がある。
 (実施の形態)
 [概要]
 図1は、実施の形態に係る土砂量計測システムの概要を説明するための図である。
 実施の形態に係る土砂量計測システム1000(例えば、図4参照)は、所定の三次元空間A1(以下、単に空間A1ともいう)内を撮像(以下、撮影ともいう)するためのカメラ100を複数台備える。具体例を挙げると、空間A1は、土砂21が堆積した道路20上の空間である。別の具体例を挙げると、空間A1は、土砂21または流木等が堆積した河川上の空間である。土砂量計測システム1000は、本開示に係る物量算出装置の一例である。
 複数台のカメラ100のそれぞれは、互いに異なる位置に配置されており、それぞれが共通する三次元空間(例えば、空間A1)を撮像する。このため、空間A1内における複数台のカメラ100の撮像対象の領域は、少なくとも一部に重複する領域を有する。例えば、複数台のカメラ100は、道路20上の土砂21を含む空間A1を一部囲むように、互いに異なる位置に設置される。また、複数台のカメラ100は、それぞれ互いに異なる姿勢をとる。そして、複数台のカメラ100の撮像対象の領域では、少なくとも一部が重複する。撮像対象の領域において少なくとも一部が重複することは、撮像により得られた映像データに基づいて空間A1の三次元モデル(例えば、点群データ)を生成(再構成)するためである。
 なお、撮像の対象となる領域は、複数台のカメラ100のうちの一部のカメラ100で重複していてもよいし、複数台のカメラ100の全てで重複していてもよい。
 また、複数台のカメラ100は、同一カメラによって別々の時刻に撮像する、すなわち移動カメラであってもよい。このため、カメラ100が移動カメラであれば、カメラ100は1つ以上あればよく、個数は限定されない。
 三次元再構成で行う処理(空間A1の三次元モデルを生成する処理)では、このように複数台のカメラ100からそれぞれ得られた複数の映像(以下、映像は、画像ともいう)を用いて空間A1を示す三次元モデル22を算出(生成)する。三次元再構成で行う処理は、例えば、複数台のカメラ100からそれぞれ得られた複数の画像間で対応付けを行い、得られた対応関係から幾何学的な計算を行うことで三次元モデル22を算出する。
 ここで、三次元モデルとは、所定の三次元空間(本実施の形態では、空間A1)の幾何学的な形状が表現されたデータのことである。三次元形状を表現するためのモデルは、例えば、複数の三次元点からなる点群である。また、三次元モデルは、ボクセルで表現されてもよいし、メッシュで表現されていてもよい。
 なお、これら三次元モデルの表現は一例であり、三次元モデルの表現方法を限定するものではない。
 また、三次元モデルを生成するための元となるデータは、画像でなくてもよく、特に限定されない。例えば、三次元モデルを生成するための元となるデータは、LiDAR等の計測器から取得されるデータでもよい。
 LiDARは、物体との距離を測定するためのセンサである。所定の領域についてLiDARを走査(移動および測定)させることで、当該所定の領域に位置する物体の位置を算出できる。
 LiDAR等のこの種の計測器は、電磁波を発し、且つ、発した電磁波が計測対象で反射された反射波を取得することで、三次元モデルを生成する。具体的には、計測器は、電磁波を発してから計測対象で反射して計測器に当該電磁波が戻るまでにかかった時間を計測し、計測した時間と電磁波の波長とを用いて、計測器と計測対象の表面上の点との間の距離を算出する。
 例えば、計測器は、当該計測器の基準点から予め定められた放射状の複数の方向へ電磁波を発する。例えば、計測器は、水平方向周りに第1の角度間隔で電磁波を発し、垂直方向周りに第2の角度間隔で電磁波を発する。このため、計測器は、当該計測器の周りの複数の方向それぞれにおける計測対象との間の距離を算出することで、計測対象上の複数の点の三次元座標を算出することができる。
 計測器は、例えば、電磁波としてのレーザ光を照射する。あるいは、計測器は、例えば、電磁波としてミリ波を出射することで計測対象との間の距離を計測する。
 図2は、実施の形態に係る土砂量計測システム1000が実行する、属性情報を抽出する処理の概要を説明するための図である。具体的には、図2の(a)は、空間A1を撮像することで生成された画像の一例を示す図である。図2の(b)は、空間A1を示す三次元モデルを示す図である。図2の(c)は、図2の(a)に示す画像における「木」の属性情報を有する画素を拡大して示す図である。
 土砂量計測システム1000は、空間A1を複数台のカメラ100により撮像した複数の画像データ、または空間A1を再構成した三次元モデルを用いて、属性情報の抽出を行う。
 ここで、属性情報とは、画像または三次元モデルにおける特定の領域がどのような意味を持つかを認識した結果を示す情報である。属性情報は、例えば、画像における任意の領域に含まれる物体が「木」であるといった属性を示す情報である。また、別の例としては、属性情報は、点群で表現された三次元モデルにおける任意の部分点群が「木」であるといった属性を示す情報である。つまり、「木」、「流木」、「土砂」、「家」等は、それぞれ属性情報の一例である。このように、例えば、三次元モデルは、領域ごとに属性情報を有する。当該領域は、三次元モデルにおける予め定められた範囲でもよいし、三次元モデルを構成する三次元点ごとでもよく、特に限定されない。また、当該領域は、後述する部分モデルごとでもよい。つまり、三次元モデルは、後述する部分モデルごとに、属性情報を有してもよい。
 属性情報を抽出する処理は、例えば、セマンティックセグメンテーションを行うことで実現される。セマンティックセグメンテーションとは、画素、または三次元モデルの最小構成単位に対し、当該画素、または三次元モデルの最小構成単位の周辺の情報を用いて意味のあるラベル付けを行う処理である。
 具体的に例えば、セマンティックセグメンテーションとは、図2の(c)に示すように、所定の三次元空間に存在する「木」が撮像された各画素に「木」というラベルがつけられる処理である。周辺画素の情報を参照することで、各画素のラベル付けを行うことが可能になる。周辺画素の情報は、R(Red)G(Green)B(Blue)の値でもよいし、輝度値でもよいし、画素値の分布でもよいし、勾配でもよい。これによれば、例えば、「木」の属性情報が付与された点群の集合である部分モデルを「木」の属性情報を有する部分モデルとすることができる。
 属性情報の抽出は、例えば、予め定められた「木」等を示すデータからパターン認識等により行われる。ユーザーが後述するユーザーインタフェース400(図4参照)を操作することにより、属性情報と画像または三次元モデルに含まれる物体との対応付けをしてもよい。
 図3は、実施の形態に係る土砂量計測システム1000が実行する、土砂量の算出処理の概要を説明するための図である。具体的には、図3の(a)は、災害前の空間A1を示す三次元モデルを示す図である。また、図3の(b)は、災害後の空間A1を示す三次元モデルを示す図である。また、図3の(c)は、土砂量計測システム1000が実行する差異情報を算出する処理を示す図である。図3の(d)は、土砂量計測システム1000が出力する差異情報の一例を示す図である。
 土砂量計測システム1000は、空間A1を再構成した、災害前の三次元モデル(以下、第1三次元モデルともいう)と、災害後の三次元モデル(以下、第2三次元モデルともいう)とを用いて差異を算出することで土砂21の情報(差異情報)を抽出する。
 土砂量計測システム1000は、2つの三次元モデルにおいて、災害前と災害後とで変化がより顕著な部分を抽出する。差異の算出結果は、差異情報としてユーザーに提示される。
 ここで、差異情報とは、例えば、三次元メッシュモデルにおいて、災害前の三次元モデルと災害後の三次元モデルとで面が重ならない、または交差しない三次元部分領域の体積である。このように算出される差異の量は、例えば、災害後に所定の三次元空間に堆積された土砂の量となる。
 また、差異情報は、2つの三次元モデルにおいて災害前と災害後とで変化がより顕著な部分における、属性情報の抽出によって得られた属性情報、例えば、土砂21の中に含まれる流木またはがれき等の割合といった、互いに異なる複数の属性情報を含む混合物の情報を含んでもよい。
 混合物は、例えば、互いに異なる属性情報を有する複数の部分モデルの集合である。上記の例では、混合物は、土砂である。また、混合物(つまり、土砂)は、「流木」を示す属性情報を有する部分モデル(第1部分モデル)と、「がれき」を示す属性情報を有する部分モデル(第2部分モデル)とから構成される三次元モデルである。差異情報は、例えば、混合物に含まれる1以上の属性情報を含み、当該混合物の体積を差異の量として含み、かつ、当該混合物の体積における第1部分モデルが占める割合と第2部分モデルが占める割合とを示す情報を含む。
 また、属性情報の種別ごとに混合物が複数に分類されてもよい。例えば、混合物が「流木」を示す属性情報を有する部分モデル(第1部分モデル)と、「がれき」を示す属性情報を有する部分モデル(第2部分モデル)と、「標識」を示す属性情報を有する部分モデル(第3部分モデル)と、「信号機」を示す属性情報を有する部分モデル(第4部分モデル)とから構成されるとする。この場合、混合物は、自然物からなる第1部分モデルおよび第2部分モデルからなる混合物(第1混合物)と、人工物からなる第3部分モデルおよび第4部分モデルからなる混合物(第2混合物)と、に分類されてもよい。また、この場合、差異情報は、混合物の体積における第1混合物が占める割合と第2混合物が占める割合とを示す情報を含んでもよい。
 上記したように、差異情報は、例えば、2つの三次元モデルの差分の量を示す差分情報と、当該差分が有する属性情報と、を含む。差分の量は、例えば、当該差分の体積および重量の少なくとも一方である。
 なお、上記は、差異情報の一例であり、差異情報を限定するものではない。
 また、三次元モデルのスケールは、2つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルが所望のスケールに調整されてもよい。例えば、2つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルは、空間A1のスケールに調整されていてもよい。また、2つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルは、土砂量計測システム1000の外部から与えられたスケールの情報からスケールが調整されてもよい。三次元モデルのスケールが同じになるように調整されることで、災害前の三次元モデルと災害後の三次元モデルとを同じスケールで差異を算出できる。これにより、空間A1のスケールで土砂量を算出することができる。
 なお、土砂量計測システム1000は、本開示に係る物量算出装置の一例である。上記した差異情報を算出する方法は、土砂以外の対象、例えば、倉庫の在庫量の算出に用いられてもよいし、施工作業時の作業箇所における施工部材等の算出に用いられてもよい。
 [構成]
 <土砂量計測システム>
 続いて、土砂量計測システム1000の構成について詳細に説明する。
 図4は、実施の形態に係る土砂量計測システム1000の構成を示すブロック図である。
 土砂量計測システム1000は、複数の撮像装置10a~10n(例えば、撮像装置10a、撮像装置10b、~、撮像装置10nまでのn(2以上の整数)台)、制御装置200、土砂量算出装置300、およびユーザーインタフェース400を備える。撮像装置10a~10nは、制御装置200と通信可能に接続されている。また、土砂量算出装置300、およびユーザーインタフェース400は、制御装置200と通信可能に接続されている。
 なお、撮像装置10a~10nは、制御装置200と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。また、土砂量算出装置300、およびユーザーインタフェース400は、制御装置200と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。
 ユーザーインタフェース400は、ユーザーからの操作を受け付けるための受付機器である。ユーザーインタフェース400は、例えば、制御装置200に接続される表示装置、タッチスクリーン、トラックパッド、キーボード、マウス、その他のコントローラ類、またはこれらの組み合わせによって実現される。また、ユーザーインタフェース400は、本開示に係る物量算出装置が算出した属性情報および差分情報を表示するための表示装置の一例である。
 <撮像装置>
 図5は、実施の形態に係る土砂量計測システム1000が備える撮像装置10aの構成を示すブロック図である。なお、以降では、図4に示す撮像装置10a~10nの構成は、本実施の形態では互いに同じであるため、土砂量計測システム1000が備える複数の撮像装置10a~10nのうちの1台の撮像装置について説明する場合には、撮像装置10aについて説明する。つまり、以降において撮像装置10aについて説明している箇所は、他の撮像装置10b~10nについても同様のことがいえる。
 複数の撮像装置10a~10nは、それぞれが空間A1を撮像するための図1に示すカメラ100に相当するカメラを備える装置である。複数の撮像装置10a~10nのそれぞれが取り得る構成は、例えば、互いに共通である。
 なお、ここでいう空間A1とは、複数台のカメラ100それぞれの撮像領域の和集合である。
 撮像装置10a~10nのそれぞれは、カメラ100を有し、架台110を備えてもよい。
 カメラ100は、記憶部101、制御部102、光学系103、およびイメージセンサ104を備える。
 記憶部101には、制御部102が読み出して実行するプログラムが記憶されている。また、記憶部101には、イメージセンサ104を用いて撮影された撮像領域の映像データ、この映像データに付されるタイムスタンプ等のメタ情報、カメラ100のカメラパラメータ、および、適用中のフレームレートまたは解像度等の撮影設定が一時的に記憶される。
 このような記憶部101は、例えばフラッシュメモリ等の書き換え可能な不揮発性の半導体メモリを用いて実現される。また、保存されるデータの書き換えの要否もしくは必要な保存期間等に応じて書き換え不可能なROM(Read-Only Memory)、または、揮発性のRaM(Random access Memory)も記憶部101として用いられ得る。
 なお、土砂量計測システム1000が備える撮像装置の個数は、特に限定されない。例えば、土砂量計測システム1000が備える撮像装置の個数は、複数でもよい。また、土砂量計測システム1000が備える各撮像装置10a~10nの特性は、共通でなくてもよい。また、各撮像装置10a~10nのそれぞれが備えるカメラ100は、モノラルカメラに限定されず、ステレオカメラでもよい。
 また、土砂量計測システム1000が備える撮像装置の個数は、当該撮像装置が位置および姿勢を変更することで複数の視点から空間A1を撮像することができれば、1つでもよい。
 制御部102は、例えばCPU(Central Processing Unit)を用いて実現され、記憶部101に記憶されるプログラムを読み出して実行することで、カメラ100が備える各構成要素を制御して撮像機能およびその他の機能を発揮させる。
 なお、制御部102は、カメラ100が備える各構成要素を制御して撮像機能およびその他の機能を発揮させる専用回路により実現されてもよい。つまり、制御部102は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
 光学系103は、撮像領域からの光をイメージセンサ104上に結像させる構成要素であり、レンズを含む光学素子を用いて実現される。また、光学系103は、焦点距離および画角が変更可能な構成であってもよい。また、光学系103には、広角レンズ、または魚眼レンズのような超広角レンズが用いられてもよい。例えば、本開示に係る物量算出装置が備えるカメラが撮影する映像が監視システムに用いられる場合、広範な撮像領域を得るために広角レンズが用いられることがある。
 イメージセンサ104は、光学系103によって集められた光を受光面で受け、この受けた光を、画像を示す電気信号に変換するCCD(Charge Coupled Devices)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ、またはMOS(Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子で実現される。
 架台110は、土砂量の算出に用いられる映像を撮像によって生成中のカメラ100を、所定の位置で固定し支えるための構成要素であり、例えば三脚で実現される。
 なお、この撮像の準備としてカメラ100の固定位置を調整するために、架台110の脚部分は、長さおよび角度が調整可能であってもよい。
 また、架台110には、カメラ100をパンまたはチルトするために雲台を回転させる機構、および上下に移動させるためのエレベータ機構等が備えられてもよい。あるいは、架台110は、ドリー、またはクレーン等の、カメラ100を支えかつ移動させる機構を含んでもよい。
 なお、撮像装置10a~10nは、必ずしも固定されていなくてもよい。このため、撮像装置10a~10nは、架台110を有しない構成であってもよい。
 なお、土砂量計測システム1000が備える撮像装置10aは、複数の固定カメラ、1つ以上の移動カメラ、またはそれらの組み合わせであれば特に個数は限定されない。また、モノラルカメラに限定されず、ステレオカメラのような複眼カメラが含まれていてもよい。
 <制御装置>
 図6は、実施の形態に係る土砂量計測システム1000が備える制御装置200の構成を示すブロック図である。
 制御装置200は、記憶部201、制御部202、およびタイマー203を備える。
 制御装置200は、撮像装置10a~10nの制御、およびユーザーインタフェース400への入出力をする。また、制御装置200は、土砂量算出装置300に対して各撮像装置10a~10nから受け取ったデータにおける土砂量算出指令を行う。
 このような制御装置200は、例えばコンピュータである。この場合、記憶部201はこのコンピュータの記憶装置であり、ハードディスクドライブもしくは各種の半導体メモリ、またはこれらの組み合わせで実現される。また、制御部202は、このコンピュータのCPUで実現される。
 タイマー203は、制御部202を実現するCPUが参照する、制御装置200に備えられるタイマーである。
 記憶部201には、制御部202が読み出して実行するプログラムが記憶されている。また、記憶部201には、撮像装置10a~10nから受け取ったデータであって、制御部202による処理の対象であるデータが記憶される。
 制御部202は、記憶部201に記憶されるプログラムを読み出して実行することで、上記の撮像装置10a~10nおよび土砂量算出装置300の制御を行う。
 また、制御部202は、これらの制御および処理に関するユーザーからの指令に対する処理を実行する。これらの処理のひとつとして、撮像装置10a~10nがそれぞれ備える複数台のカメラ100による同期映像の撮影の制御が挙げられる。また、これらの処理のひとつには、土砂量算出指令が含まれていてもよい。
 制御部202は、機能的には、撮像制御部202a、ユーザー指示取得部202b、および土砂量算出指令部202cを含む。
 制御部202に含まれるユーザー指示取得部202bは、ユーザーからの指示を取得するためのプログラムを制御部202が実行することで実現される機能的な構成要素である。
 また、制御部202に含まれる土砂量算出指令部202cは、土砂量算出指令のためのプログラムを制御部202が実行することで実現される機能的な構成要素である。
 なお、制御部202の、撮像制御部202a、ユーザー指示取得部202b、および土砂量算出指令部202cは、撮像制御、ユーザー指示取得、土砂量算出指令、および土砂量算出処理等を発揮させる専用回路により実現されてもよい。つまり、制御部202は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
 撮像制御部202aは、複数の撮像装置10a~10nのそれぞれに、撮像領域である空間A1を異なる複数のタイミングで撮像させる。撮像制御部202aは、複数の撮像装置10a~10nのそれぞれが、予め定められた位置にあり、かつ、予め定められた方向を向いた姿勢にある状態で、複数の撮像装置10a~10nに撮像領域を撮像させる。
 ユーザー指示取得部202bは、撮像装置10a~10nから提供された撮像状況情報をユーザーインタフェース400へ送り、ユーザーからの入力を取得する。ユーザーからの入力とは、土砂量の算出を行う対象のデータの選択結果、土砂量算出処理の可否、またはそれらの組み合わせである。ユーザー指示取得部202bは、ユーザーからの入力が土砂量算出処理の可否である場合、土砂量算出処理の可否を、例えば土砂量算出指令部202cに出力する。
 土砂量算出指令部202cは、ユーザー指示取得部202bから受け取った土砂量算出処理の可否等に基づいて、土砂量算出装置300に土砂量算出処理を実行させる。また、土砂量算出指令部202cは、土砂量の算出を行う対象のデータの選択結果に基づいて、土砂量算出装置300に土砂量算出処理を実行させてもよい。土砂量算出指令部202cによる処理については具体例を後述する。
 <土砂量算出装置>
 図7は、実施の形態に係る土砂量計測システム1000が備える土砂量算出装置300の構成を示すブロック図である。
 土砂量算出装置300は、記憶部301および処理部302を備える。
 土砂量算出装置300は、制御装置200を介して受け取ったデータを処理する。具体的には、土砂量算出装置300は、各撮像装置10a~10nが備えるカメラ100が撮像した空間A1内に存在する土砂21に対して土砂量算出処理を実行する。
 土砂量算出装置300が土砂量算出処理を実行する対象は、例えば、災害後の空間A1である。これにより、災害前の空間A1の三次元モデルとの差異を算出することで、空間A1に堆積した土砂21の量(土砂量)を求めることができる。
 また、土砂量算出装置300が土砂量算出処理を実行する対象は、災害直後の空間A1でなくてもよく、例えば、土砂撤去作業中の空間A1でもよい。これにより、土砂量算出装置300は、土砂量を逐次算出することで土砂撤去作業の進捗具合を算出することができる。
 なお、土砂量算出装置300が土砂量算出処理を実行する対象は、災害前後の空間A1でなくてもよく、特に限定されない。
 このような土砂量算出装置300は、例えばコンピュータである。この場合、記憶部301は、このコンピュータの記憶装置であり、ハードディスクドライブもしくは各種の半導体メモリ、またはこれらの組み合わせで実現される。また、処理部302は、このコンピュータのCPUで実現される。なお、土砂量算出装置300は、制御装置200と同じコンピュータにより実現されてもよい。
 記憶部301には、処理部302が読み出して実行するプログラムが記憶されている。また、記憶部301には、制御装置200を介して撮像装置10a~10nから受け取ったデータ、および外部の装置から取得した三次元モデルのデータであって、処理部302による処理の対象であるデータが記憶される。つまり、記憶部301には、三次元再構成結果が記憶されていてもよいし、属性情報抽出結果が記憶されていてもよい。また、三次元再構成結果としては、災害前の三次元モデルが記憶されていてもよいし、災害後の三次元モデルが記憶されていてもよい。
 処理部302は、記憶部301に記憶されるプログラムを読み出して実行することで、撮像装置10a~10nから受け取ったデータの処理を行う。この処理のひとつとして、空間A1の三次元再構成が挙げられる。
 処理部302は、画像取得部302a、三次元再構成部302b、属性情報抽出部302c、モデル取得部302d、位置合わせ部302e、および差異算出部302fを有する。
 画像取得部302aは、複数の撮像装置10a~10nによりそれぞれ撮像された複数の画像を取得する。画像取得部302aは、さらに、複数の画像と共に、当該複数の画像のそれぞれに対応しており、当該複数の画像のそれぞれが撮像されたカメラ100を示すカメララベルを取得する。画像取得部302aは、例えば、カメララベルが付与された画像を取得することで、複数の画像とカメララベルとを取得してもよい。複数の画像のそれぞれは、静止画像であってもよいし、動画像であってもよい。
 なお、校正処理(三次元再構成処理)に利用される複数の画像は、それぞれ、ある対応する1タイミングにおいて(つまり、同時刻において)複数の撮像装置10a~10nにより撮像されることで得られた画像であることが好ましい。画像取得部302aにより取得された複数の画像は、記憶部301に記憶される。また、画像取得部302aは制御装置200から土砂量算出指令を受け取る前に、事前に画像およびカメララベルを記憶部301に記憶していてもよい。これにより、土砂量算出装置300は、土砂量算出が必要と判断された際に、土砂量算出処理を開始できる。
 三次元再構成部302bは、それぞれが空間A1を示す複数の画像から第1三次元モデルおよび第2三次元モデルのうち少なくとも一方を生成する。より具体的には、三次元再構成部302bは、空間A1に対し、複数の撮像装置10a~10nにより撮影された複数の画像を用いて、空間A1の三次元形状を算出する。例えば、三次元再構成部302bは、第1時刻の画像群を用いて当該第1時刻の空間A1の三次元モデルを生成する。また、三次元再構成部302bは、当該第1時刻とは異なる時刻の画像群を用いて空間A1の三次元モデルを生成する。このように、三次元再構成部302bは、同一領域の三次元モデルであって、互いに時刻の異なる第1三次元モデルと第2三次元モデルとを生成する。
 三次元再構成部302bは、例えば、複数の撮像装置10a~10nにより撮影された複数の画像間の対応付けを行い、対応関係から幾何学的な計算により空間A1の三次元形状を算出する。三次元形状を表現するためのモデルは、点群で表現されてもよいし、ボクセルで表現されてもよいし、メッシュで表現されていてもよい。
 なお、これら三次元モデルの表現は、一例である。三次元モデルの表現方法は、上記に特に限定されない。
 属性情報抽出部302cは、複数の撮像装置10a~10nによりそれぞれ撮像された複数の画像、三次元再構成部302bによって再構成された三次元モデル、または後述のモデル取得部302dで取得した三次元モデルに対し、属性情報の抽出を行う。属性情報抽出部302cは、例えば、三次元点群に対し、周囲の点の情報をもとに各点の属性を推定し、推定した属性を属性情報として算出する。また、属性情報抽出部302cは、例えば、画像データに対し、周囲の画素の情報をもとに各画像で撮像された物体の属性情報を推定し、推定した属性情報を再構成した三次元モデルの各最小構成単位と紐付ける。
 また、属性情報抽出部302cは、三次元再構成部302bによって再構成された三次元モデルを取得してもよいし、記憶部301から複数の撮像装置10a~10nによりそれぞれ撮像された複数の画像を取得してもよいし、記憶部301から取得した三次元モデルを取得してもよいし、後述のモデル取得部302dから三次元モデルを取得してもよい。
 モデル取得部302dは、三次元再構成部302b、および記憶部301から三次元モデルを取得する。モデル取得部302dは、例えば、災害前の空間A1を再構成したモデルを記憶部301から取得し、かつ、災害後の空間A1を再構成したモデルを三次元再構成部302bから取得する。
 なお、モデル取得部302dは、記憶部301から2つ以上の三次元モデルを取得してもよい。例えば、モデル取得部302dは、空間A1を示す第1三次元モデルと、空間A1を示し、当該第1三次元モデルとは異なる第2三次元モデルと、を取得する。具体的には、モデル取得部302dは、第1時刻における空間A1を示す第1三次元モデルと、当該第1時刻とが異なる第2時刻における空間A1を示す第2三次元モデルと、を取得する。本実施の形態では、モデル取得部302dは、記憶部301から空間A1における災害前後の2つの三次元モデル(つまり、災害前(第1時刻)における空間A1を示す第1三次元モデル、および、災害後(第2時刻)における空間A1を示す第2三次元モデル)を取得する。これにより、三次元再構成部302bにおいて三次元再構成処理を行わずとも、モデル間の差異を算出することが可能である。
 モデル取得部302dが取得する三次元モデルは、土砂量計測システム1000の外部で画像データから算出されたモデルでもよいし、土砂量計測システム1000の外部でレーザー計測から算出されたモデルでもよい。
 なお、取得する三次元モデルの表現方法は、ボクセルデータでもよいし、メッシュデータでもよいし、点群データでもよい。
 位置合わせ部302eは、モデル取得部302dにより取得した2つ以上の三次元モデルと、属性情報抽出部302cにより算出された属性情報と、を用いて三次元モデル間の座標系を統一する処理、つまり、三次元モデル同士の位置合わせをする処理を行う。つまり、位置合わせ部302eは、第1三次元モデルおよび第2三次元モデルそれぞれが有する属性情報に基づいて、第1三次元モデルと第2三次元モデルとの位置合わせを行う。具体的には、位置合わせ部302eは、属性情報をもとに、同じ属性情報を有する三次元モデルを含む空間A1の一部の領域である部分領域を比較することにより、効率的にモデルの比較を行うことができる。
 位置合わせ部302eは、同じ属性情報を有する部分モデル内で組み合わせを変えながら部分モデル同士を対応付ける。
 次に、位置合わせ部302eは、少なくとも一つ以上の同じ属性情報を有する部分モデル間で最小構成単位、例えば、点群で表現された三次元モデルであれば三次元点の比較を行う。
 ここで、部分モデルとは、三次元モデルの一部または全部の領域を示す最小構成単位の集合である。
 位置合わせ部302eは、部分モデル間で互いに最近傍の点を探索し対応付け、各点の位置の差が小さくなるように座標系の位置姿勢を調整する。位置合わせ部302eは、上記した部分モデルの対応付け、および点の対応付けを変更しながら繰り返し計算することにより、最も差が小さくなる座標系を算出し、算出したその座標系に座標変換した三次元モデルを算出する。
 上記のように、位置合わせ部302eは、属性情報に基づいて位置合わせ(座標変換およびサイズ合わせ)を行う。例えば、位置合わせ部302eは、複数の三次元モデルにおいて、同じ属性情報を有する三次元モデル(部分モデル)を複数の三次元モデルそれぞれで抽出する。位置合わせ部302eは、抽出した三次元モデルを比較して位置合わせをする。さらに、位置合わせ部302eは、位置合わせで変化させた部分モデルに合わせて三次元モデル全体を変化させる。つまり、位置合わせ部302eは、第1三次元モデルと第2三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、第1三次元モデルと第2三次元モデルとのそれぞれから抽出し、抽出したそれぞれの部分モデルの対応する位置の座標が一致するように、それぞれの部分モデルを移動させることで位置合わせした後で、それぞれの部分モデルの移動に合わせて第1三次元モデルと第2三次元モデルとを移動させることで、第1三次元モデルと第2三次元モデルとを位置合わせする。
 これにより、位置合わせ部302eは、三次元モデル全体を一斉に位置合わせさせるよりも効率的に三次元モデルの位置合わせを行うことができる。
 変換後のモデルは、記憶部301に記憶されてもよい。
 部分モデルの対応付け、および最小構成単位の対応付けは、ランダムでもよいし、特徴量をもとにした選び方でもよい。また、部分モデルの対応付け、および最小構成単位の対応付けは、上記の方法に限定されない。なお、色付きモデル同士の位置合わせでは、色の差分の情報が位置合わせに用いられてもよい。
 また、三次元モデルのスケールは、災害前および災害後どちらか一方の三次元モデルが所望のスケールに調整されてもよい。例えば、空間A1のスケールに調整されていてもよい。また、土砂量計測システム1000の外部から与えられたスケールの情報から三次元モデルのスケールが調整されてもよい。三次元モデルのスケールを調整することで、災害前の三次元モデルと災害後の三次元モデルと同じスケールで差異を算出できる。これにより、空間A1のスケールで土砂量を算出することができる。
 差異算出部302fは、第1三次元モデルと第2三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量を示す差分情報とを出力する。具体的には、差異算出部302fは、位置合わせ部302eにより座標系が統一された2つ以上の三次元モデル間の差異情報を算出する。差異算出部302fは、例えば、同じ座標系のメッシュモデルにおいて面が重ならない、または交差しない、面で被覆された三次元領域の体積を算出する。
 差異算出部302fが算出する差異情報には、差異が顕著な領域における属性情報、例えば、土砂に含まれる混合物の情報が含まれていてもよい。なお、上記の差異情報は、一例であり、本開示を限定する主旨ではない。
 差異算出部302fは、例えば、算出した差異情報をユーザーインタフェース400に出力する。これにより、ユーザーは、ユーザーインタフェース400を操作することで、差異情報(つまり、差分の量である土砂21の量および属性)を確認できる。
 また、例えば、差異算出部302fは、差分が互いに異なる複数の属性情報を含む場合、当該複数の属性情報を種別ごとに分類して出力することで、種別ごとに複数の属性情報をまとめて表示装置(例えば、ユーザーインタフェース400)に表示させる。この場合、例えば、差異算出部302fは、種別ごとに差分に含まれる量を算出する。
 [処理手順]
 <位置合わせ処理>
 図8は、実施の形態に係る土砂量計測システム1000が実行する、三次元モデルの位置合わせの処理を示すフローチャートである。図9は、位置合わせ部302eが実行する2つの三次元モデルの位置合わせを説明するための図である。
 本実施の形態における土砂量算出装置300が備える位置合わせ部302eは、まず、少なくとも2つ以上の三次元モデルに対し、同じ属性情報を有する部分モデル同士、例えば、「家」とラベル付けされた部分モデル同士を対応付ける(S31)。つまり、この場合、例えば、2つの三次元モデルは、いずれも「家」を示す属性情報を有する部分モデルを含む。
 例えば、図9の(a)に示すように、第1三次元モデル500と第2三次元モデル510との差分を算出するとする。この場合、位置合わせ部302eは、まず。第1三次元モデル500と第2三次元モデル510とのいずれにも含まれる属性情報を有する部分モデルを抽出する。ここでは、位置合わせ部302eは、第1三次元モデル500に含まれ、「家」の属性情報を有する第1部分モデル501と、第2三次元モデル510に含まれ、「家」の属性情報を有する第2部分モデル511と、を抽出したとする。次に、図9の(b)に示すように、位置合わせ部302eは、第1部分モデル501と第2部分モデル511とを対応付ける。具体的には、位置合わせ部302eは、第1部分モデル501に含まれる1つ以上の特徴点と第2部分モデル511に含まれる1つ以上の特徴点とを抽出し、抽出した第1部分モデル501の特徴点と抽出した第2部分モデル511の特徴点とを対応付ける。ここで抽出する特徴点は、任意でよい。例えば、特徴点は、部分モデルにおける角部である。位置合わせ部302eは、第1部分モデル501の特徴点と抽出した第2部分モデル511の特徴点とで同じ特徴点同士を対応付ける。例えば、位置合わせ部302eは、第1部分モデル501の特徴点520と抽出した第2部分モデル511の特徴点521とを対応付ける。
 再び図8を参照し、ステップS31の次に、位置合わせ部302eは、少なくとも1つ以上の同じ属性情報を有する部分モデル間で最小構成単位、例えば、点群で表現された三次元モデルであれば三次元点を比較し、部分モデル間の各点において互いに最近傍の点を探索し対応付けを行う(S32)。
 次に、位置合わせ部302eは、ステップS32で対応付けた各点の位置の差が小さくなるように、部分モデルの座標系の位置および姿勢を調整する(S33)。例えば、図9の(c)に示すように、位置合わせ部302eは、対応付けられた特徴点同士が同じ座標に位置するように、第1部分モデル501および第2部分モデル511の少なくとも一方を変化させる。例えば、位置合わせ部302eは、対応付けられた特徴点同士である特徴点520と特徴点521とがそれぞれ同じ座標に位置するように、第1部分モデル501および第2部分モデル511の少なくとも一方を移動させる。また、位置合わせ部302eは、部分モデルの変更にあわせて、三次元モデル全体を変更する。これにより、位置合わせ部302eは、第1三次元モデル500と第2三次元モデル510とにおいて同じ物体を示すモデルが同じ位置および姿勢で位置するように変更する。
 なお、位置合わせ部302eは、位置および姿勢の調整時に三次元モデルのスケールを調整してもよい。また、スケールは、2つの三次元モデルのどちらか一方に合わせてもよいし、外部から得たスケールの情報をもとに2つの三次元モデルの両方のスケールを調整してもよい。
 再び図8を参照し、ステップS33の次に、位置合わせ部302eは、ステップS33で実行した部分モデル(例えば、図9に示す第1部分モデル501および第2部分モデル511の少なくとも一方)の位置および姿勢の変化が少ないか否かを判定する(S34)。位置および姿勢を調整時の変化が大きければステップS32へ、変化が小さければステップS35に進む。
 ここで基準とする変化量は、予め任意に定められてよい。例えば、位置合わせ部302eは、部分モデルの位置および姿勢を調整した際の調整前後の変化量が予め任意に定められた基準変化量以上である場合、次にステップS32を実行する。一方、例えば、位置合わせ部302eは、部分モデルの位置および姿勢を調整した際の調整前後の変化量が上記基準変化量未満である場合、次にステップS35を実行する。変化量とは、例えば、各点の移動量である。部分モデル全体をある基準点に対して回転させる場合、変化量は、当該回転による回転角度でもよい。
 次に、位置合わせ部302eは、位置および調整の結果から三次元モデルの全体を比較し、全体の差が大きいか否かを判定する(S35)。全体の差が大きければ、ステップS36へ、差が小さければステップS37に進む。
 ここで基準とする全体の差は、予め任意に定められてよい。例えば、位置合わせ部302eは、三次元モデル全体の位置および姿勢を調整した際の調整前後の差が予め任意に定められた基準差以上である場合、次にステップS36を実行する。一方、例えば、位置合わせ部302eは、三次元モデル全体の位置および姿勢を調整した際の調整前後の変化の差が上記基準差未満である場合、次にステップS37を実行する。ここでの差とは、例えば、2つの三次元モデルにおける各三次元点で座標が一致しない点の量である。
 次に、位置合わせ部302eは、ステップS31、およびステップS32で取りうる全ての組み合わせが比較されたかを判定する(S36)。全組み合わせが終了していればステップS37に進み、終了していなければステップS31に進む。ここで、例えば、ステップS31に進んだ場合、位置合わせ部302eは、例えば、第1三次元モデル500と第2三次元モデル510とで未だ比較していない部分モデルを抽出して対応付けを行う。
 なお、図8に示すステップおよびステップの順序はあくまで一例であって、特に限定されない。例えば、ステップS33を終了した後、ステップS36に進む構成であってもよい。また、ステップS34、およびステップS35を含まない構成であってもよい。
 最後に、位置合わせ部302eは、全体の差が最も小さくなる座標系、および座標変換後の三次元モデルを出力する(S37)。
 <シーケンス図>
 図10は、実施の形態に係る土砂量計測システム1000の処理を示すシーケンス図である。
 土砂量計測システム1000は、ユーザーの処理指示があったときに、土砂量算出処理を開始する。
 制御装置200は、撮像装置10a~10n(図10には、撮像装置10aのみを示す)に撮像指示を送り、撮像装置10a~10nから受け取った撮像映像を撮像情報としてユーザーインタフェース400に送り、ユーザーに撮像情報を提示する(S41)。撮像情報は、例えば、空間A1の画像である。
 ユーザーは、ユーザーインタフェース400を操作することで、撮像情報を確認し、撮像装置10a~10nが所望の空間を適切に撮像できているか、および処理を開始するのに十分な撮像情報であるか等を判断し、処理の指示を行う(S42)。具体的には、ユーザーは、ユーザーインタフェース400を操作することで、上記処理の指示を示す情報をユーザーインタフェース400に制御装置200へ送信させる。
 ユーザーインタフェース400を介して送信されるユーザー処理指示は、土砂量算出処理を開始するか、撮像装置10a~10nが撮像を継続するかを示す情報または信号である。なお、ユーザー処理指示に、どの撮像情報を土砂量算出処理に用いるかを特定する情報、または出力したい結果を指定する情報が含まれていてもよい。
 次に、制御装置200は、ユーザーインタフェース400から受信したユーザーの処理指示を示す情報をもとに、土砂量算出処理を実行するか撮像装置10a~10nが撮像を継続するかを判定する(S43)。制御装置200は、土砂量算出処理を開始すると判定した場合(S43でYes)、土砂量算出指令、および撮像映像を土砂量算出装置300に送信する。
 一方、制御装置200は、撮像装置10a~10nが撮像を継続すると判定した場合(S43でNo)、撮像装置10a~10nに撮像を継続する指示を示す情報を送信し、撮像装置10a~10nに撮像を継続させる。
 次に、土砂量算出装置300は、制御装置200から受信した土砂量算出指令を示す情報を受信した場合、当該情報をもとに、撮像映像を用いて土砂量算出処理を実行する(S44)。ステップS44は、例えば、図9に示すステップS31~ステップS37の処理である。土砂量算出装置300は、土砂量算出処理を完了した後、処理結果を示す情報を制御装置200に送信する。
 次に、制御装置200は、土砂量算出装置300から受け取った処理結果をユーザー処理指示に基づいて整理し、ユーザーインタフェース400に差異情報を出力(送信)する(S45)。
 ユーザーインタフェース400は、制御装置200から受信した差異情報をユーザーに提示する(S46)。ユーザーに提示される差異情報の具体例については、後述する。
 <処理手順まとめ>
 図11は、実施の形態に係る土砂量計測システム1000が実行する、土砂量の算出処理を示すフローチャートである。
 本実施の形態における土砂量算出装置300における土砂量の算出処理では、まず、画像取得部302aは、複数の撮像装置10a~10nによりそれぞれ撮像された複数の画像を取得する(S51)。
 次に、三次元再構成部302bは、複数の画像を用いて三次元再構成処理を実行する(S52)。例えば、三次元再構成部302bは、空間A1を示し、且つ、領域ごとに属性情報を有する第1三次元モデルと、空間A1を示し、且つ、領域ごとに属性情報を有する第2三次元モデルであって、第1三次元モデルとは異なる(例えば、時刻が異なる)第2三次元モデルと、を生成する。
 次に、モデル取得部302dは、三次元再構成部302b、または記憶部301から2つ以上の三次元モデルを取得する(S53)。なお、三次元再構成部302bから一つ以上、記憶部301から一つ以上取得してもよいし、記憶部301から2つ以上取得してもよい。
 次に、属性情報抽出部302cは、撮像装置10a~10nによりそれぞれ撮像された複数の画像、または三次元モデルから属性情報を抽出する(S54)。なお、ステップS54は、ステップS53の前に行われてもよいし、ステップS53の後に行われてもよいし、またはその両方で行われてもよい。
 次に、位置合わせ部302eは、2つ以上の三次元モデルと属性情報とから座標を統一する処理を行う(S55)。具体的には、位置合わせ部302eは、第1三次元モデルおよび第2三次元モデルのそれぞれが有する属性情報に基づいて、第1三次元モデルと第2三次元モデルとの位置合わせを行う。例えば、位置合わせ部302eは、第1三次元モデルおよび第2三次元モデルのそれぞれが有する属性情報に基づいて、第1三次元モデルと第2三次元モデルとで同一の点となる対応点を検出し、検出した対応点を用いて、第1三次元モデルと第2三次元モデルとの位置合わせを行う。位置合わせ部302eは、三次元モデルにおいて同じ属性情報を有する領域同士(つまり、互いに同じ属性情報を有する部分モデル同士)を比較することで、効率的に、かつ精度よく位置合わせを行うことができる。
 次に、差異算出部302fは、位置合わせ部302eにより座標系が統一された(つまり、位置合わせ部302eにより位置合わせされた)2つ以上のモデル間の差異情報を算出する(S56)。差異情報には、例えば、差分の量を示す差分情報と、差分が有する属性情報とが含まれる。また、差異算出部302fは、例えば、算出した差異情報をユーザーインタフェース400(より具体的には、制御装置200を介してユーザーインタフェース400)に出力する。ユーザーインタフェース400は、取得した差異情報をユーザーに提示(より具体的には、表示)する。
 [出力例]
 図12は、実施の形態に係る土砂量計測システム1000が備えるユーザーインタフェース400が2つの三次元モデルを位置合わせする際に提示する画像600の一例を示す図である。
 ユーザーインタフェース400は、例えば、タッチパネルディスプレイ等を表示装置および入力装置を有するスマートフォン、タブレット端末等のモバイル端末を用いて実現される。
 なお、図12に示すようなタブレット型のモバイル端末を用いて、位置合わせに用いる属性をユーザーが任意に選択してもよい。
 例えば、画像600は、三次元画像601と、対象選択部602と、決定部603とを含む。
 三次元画像601は、災害後の三次元モデルを示す画像である。
 対象選択部602は、位置合わせ部302eが優先して対応付ける属性情報を有する部分モデルの選択を受け付けるための画像である。ユーザーは、例えば、三次元画像601または対象選択部602のうち、位置合わせ部302eに優先して対応付けさせたい属性情報または当該属性情報を有する部分モデルをタッチする。ユーザーインタフェース400は、例えば、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報を、例えば、図10に示すステップS42の後にユーザー処理指示を示す情報とあわせて制御装置200に送信する。制御装置200は、例えば、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報を、土砂量算出指令および撮像情報とともに土砂量算出装置300に送信する。位置合わせ部302eは、例えば、ステップS31では、まず、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報に基づいて部分モデルを選択して対応付けをする。
 図13は、実施の形態に係る土砂量計測システム1000が備えるユーザーインタフェース400が提示する差異情報の一例を示す図である。
 ユーザーインタフェース400は、図13に示すようなタブレット型のモバイル端末を用いて、算出した差分の量の一例である土砂量の結果を表示する。ユーザーインタフェース400は、土砂量の体積以外に推定重量を算出結果として表示してもよい。
 また、ユーザーインタフェース400は、属性情報抽出部302cで得た属性情報を用いて土砂に該当する部分の混合物を表示してもよい。これにより、土砂および混合物の撤去に必要な情報を効率的に取得できる。また、混合物の表示方法は文字に限定されず、3次元モデルまたは画像上の該当部分の色付けを行うことで実現してもよい。
 例えば、ユーザーインタフェース400は、画像610を表示することで、ユーザーに差異情報を提示する。例えば、画像610は、三次元画像611と、強調線612と、差分量情報画像613と、属性情報画像614と、を含む。
 三次元画像611は、災害後の三次元モデルを示す画像である。
 強調線612は、三次元画像611において、災害前の三次元モデルとの差分の位置、領域等を示すための線である。図13においては、強調線612を説明のために破線の円で示しているが、強調線612は、実線、破線、太線、他部とは異なる色が付されたカラー線、矩形、多角形等、任意でよい。
 差分量情報画像613は、ユーザーに差分量を提示するための画像である。差分量情報画像613には、例えば、差分の体積および土砂の推定重量を示す情報が含まれる。
 属性情報画像614は、ユーザーに差分に含まれる部分モデルが有する属性情報を提示するための画像である。例えば、属性情報画像614には、差分に含まれる部分モデルの属性情報として、「土砂」、「流木」、「標識」、「信号機」等を示す情報が含まれる。また、本例では、属性情報画像614には、差分全体における、属性情報に示される部分の体積または重量の割合が含まれる。このように、差分の量は、属性ごとに表示されてもよい。
 また、本例では、属性情報画像614は、第1種別画像615と、第2種別画像616と、を含む。
 第1種別画像615は、差分に含まれる複数の属性のうち、第1条件を満たす属性をまとめて提示するための画像である。
 第2種別画像616は、差分に含まれる複数の属性のうち、第2条件を満たす属性をまとめて提示するための画像である。
 これらのように、ユーザーインタフェースは、属性の種別ごとにまとめて属性情報および当該属性情報を有する部分モデルの量を表示してもよい。
 なお、本例では、第1条件は、自然物であり、第2条件は、人工物である。これらの条件は、予め任意に定められてよく、特に限定されない。
 [効果等]
 以上説明したように、本開示の一態様に係る物量算出装置(例えば、土砂量計測システム1000、より具体的には、土砂量算出装置300)は、それぞれが同一の所定の空間(例えば、空間A1)を示し、且つ、領域ごと(例えば、部分モデルごとまたは三次元モデルを構成する三次元点ごと)に属性情報を有する三次元モデルであって、第1三次元モデルと、当該第1三次元モデルとは異なる第2三次元モデルと、を取得する取得部(例えば、モデル取得部302d)と、前記位置合わせ部によって位置合わせされた第1三次元モデルおよび第2三次元モデルのそれぞれが有する属性情報に基づいて、第1三次元モデルと第2三次元モデルとの位置合わせを行う位置合わせ部302eと、第1三次元モデルと第2三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量とを出力する算出部(例えば、差異算出部302f)と、を備える。
 従来、例えば、土砂災害現場等で崩落等の影響で所定の空間に流入した土砂量を算出する方法がある。レーザー計測による土砂量の算出では、高精度に量を算出できるが、算出に時間およびコストがかかる問題がある。そこで、本開示に係る物量算出装置では、例えば、所定の空間における、土砂等の量を算出したい物体が存在しない状態での当該所定の空間を示す三次元モデル(第1三次元モデル)と、当該物体が存在する状態での当該所定の空間を示す三次元モデル(第2三次元モデル)とを比較する。これによれば、第1三次元モデルと第2三次元モデルとを適切に位置合わせをすることで、簡便に第1三次元モデルと第2三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出装置によれば、物体の量を算出する処理時間を短縮できる。
 また、例えば、本開示に係る物量算出装置は、さらに、それぞれが所定の空間を示す複数の画像から第1三次元モデルおよび第2三次元モデルのうち少なくとも一方を生成する生成部(例えば、三次元再構成部302b)を備える。
 これによれば、画像を生成するためのカメラ等の簡便な構成で、差分の量を算出できる。
 また、例えば、算出部は、差分が互いに異なる複数の属性情報を含む場合、当該複数の属性情報を種別ごとに分類して出力することで、種別ごとに複数の属性情報をまとめて表示装置(例えば、ユーザーインタフェース400)に表示させる。
 これによれば、差分に含まれる物体の種別が分類されて表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別を理解させやすくできる。
 また、例えば、算出部は、種別ごとに差分に含まれる量を算出する。
 これによれば、差分に含まれる物体の種別ごとの量が表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別ごとの量を理解させやすくできる。
 また、例えば、差分の量は、差分の体積および重量の少なくとも一方である。
 これによれば、本開示に係る物量算出装置は、差分の量および体積の少なくとも一方を算出できる。
 また、例えば、位置合わせ部は、第1三次元モデルと第2三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、第1三次元モデルと第2三次元モデルとのそれぞれから抽出し、抽出したそれぞれの部分モデルの対応する位置の座標が一致するように、それぞれの部分モデルを移動させることで位置合わせした後で、それぞれの部分モデルの移動に合わせて第1三次元モデルと第2三次元モデルとを移動させることで、第1三次元モデルと第2三次元モデルとを位置合わせする。
 これによれば、本開示に係る物量算出装置は、三次元モデルの形状を比較することによる位置合わせ等の処理時間がかかる処理をせずに第1三次元モデルと第2三次元モデルとの位置合わせをできる。そのため、これによれば、本開示に係る物量算出装置の処理時間がさらに短縮され得る。
 また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第1三次元モデルと、第1三次元モデルとは異なる第2三次元モデルと、を取得する取得ステップ(例えば、ステップS53)と、第1三次元モデルおよび第2三次元モデルそれぞれが有する属性情報に基づいて、第1三次元モデルと第2三次元モデルとの位置合わせを行う位置合わせステップ(例えば、ステップS55)と、第1三次元モデルと第2三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量を示す差分情報とを出力する算出ステップ(例えば、ステップS56)と、を含む。
 これによれば、第1三次元モデルと第2三次元モデルとを適切に位置合わせをすることで、簡便に第1三次元モデルと第2三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出方法によれば、物体の量を算出する処理時間を短縮できる。
 また、例えば、上記取得ステップでは、土砂が流入される前の所定の空間を示す第1三次元モデルと、当該土砂が流入された後の所定の空間を示す第2三次元モデルと、を取得し、上記算出ステップでは、前記差分の量として前記土砂の量を算出する。
 これによれば、所定の空間に土砂が流入されるような災害前後の当該所定の空間を示す三次元モデルを適切に位置合わせをすることで、簡便に差分となる土砂の量を算出できる。そのため、本開示に係る物量算出方法によれば、土砂の量を算出する処理時間を短縮できる。
 (その他の実施の形態)
 以上、本開示に係る物量算出装置等について、上記実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。
 例えば、上記実施の形態では、物量算出装置等が備える処理部は、CPUと制御プログラムとによって実現されると説明した。例えば、当該処理部の構成要素は、それぞれ1つまたは複数の電子回路で構成されてもよい。1つまたは複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。1つまたは複数の電子回路には、例えば、半導体装置、IC(Integrated Circuit)、または、LSI(Large Scale Integration)等が含まれてもよい。ICまたはLSIは、1つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ICまたはLSIと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、または、ULSI(Ultra Large Scale Integration)と呼ばれるかもしれない。また、LSIの製造後にプログラムされるFPGA(Field Programmable Gate Array)も同じ目的で使うことができる。
 また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、または、コンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、HDD(Hard Disk Drive)もしくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアまたはソフトウェアが並列又は時分割に処理してもよい。
 また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
 その他、上記実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。
 本開示は、三次元モデルから差分を算出する物量算出装置に適用でき、例えば、物体の量を算出する装置等に適用できる。
 10a、10b、10n 撮像装置
 20 道路
 21 土砂
 22 三次元モデル
 100 カメラ
 101、201、301 記憶部
 102、202 制御部
 103 光学系
 104 イメージセンサ
 110 架台
 200 制御装置
 202a 撮像制御部
 202b ユーザー指示取得部
 202c 土砂量算出指令部
 203 タイマー
 300 土砂量算出装置
 302 処理部
 302a 画像取得部
 302b 三次元再構成部
 302c 属性情報抽出部
 302d モデル取得部
 302e 位置合わせ部
 302f 差異算出部
 400 ユーザーインタフェース
 500 第1三次元モデル
 501 第1部分モデル
 510 第2三次元モデル
 511 第2部分モデル
 520、521 特徴点
 600、610 画像
 601、611 三次元画像
 602 対象選択部
 603 決定部
 612 強調線
 613 差分量情報画像
 614 属性情報画像
 615 第1種別画像
 616 第2種別画像
 1000 土砂量計測システム
 A1 三次元空間(空間)

Claims (8)

  1.  それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第1三次元モデルと、前記第1三次元モデルとは異なる第2三次元モデルと、を取得する取得部と、
     前記第1三次元モデルおよび前記第2三次元モデルのそれぞれが有する属性情報に基づいて、前記第1三次元モデルと前記第2三次元モデルとの位置合わせを行う位置合わせ部と、
     前記位置合わせ部によって位置合わせされた前記第1三次元モデルと前記第2三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える
     物量算出装置。
  2.  さらに、それぞれが前記所定の空間を示す複数の画像から前記第1三次元モデルおよび前記第2三次元モデルのうち少なくとも一方を生成する生成部を備える
     請求項1に記載の物量算出装置。
  3.  前記算出部は、前記差分が互いに異なる複数の属性情報を含む場合、前記複数の属性情報を種別ごとに分類して出力することで、前記種別ごとに前記複数の属性情報をまとめて表示装置に表示させる
     請求項1または2に記載の物量算出装置。
  4.  前記算出部は、前記種別ごとに前記差分に含まれる量を算出する
     請求項3に記載の物量算出装置。
  5.  前記差分の量は、前記差分の体積および重量の少なくとも一方である
     請求項1~4のいずれか1項に記載の物量算出装置。
  6.  前記位置合わせ部は、前記第1三次元モデルと前記第2三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、前記第1三次元モデルと前記第2三次元モデルとのそれぞれから抽出し、抽出したそれぞれの前記部分モデルの対応する位置の座標が一致するように、それぞれの前記部分モデルを移動させることで位置合わせした後で、それぞれの前記部分モデルの移動に合わせて前記第1三次元モデルと前記第2三次元モデルとを移動させることで、前記第1三次元モデルと前記第2三次元モデルとを位置合わせする
     請求項1~5のいずれか1項に記載の物量算出装置。
  7.  それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第1三次元モデルと、前記第1三次元モデルとは異なる第2三次元モデルと、を取得する取得ステップと、
     前記第1三次元モデルおよび前記第2三次元モデルのそれぞれが有する属性情報に基づいて、前記第1三次元モデルと前記第2三次元モデルとの位置合わせを行う位置合わせステップと、
     前記位置合わせステップで位置合わせした前記第1三次元モデルと前記第2三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む
     物量算出方法。
  8.  前記取得ステップでは、土砂が流入される前の前記所定の空間を示す前記第1三次元モデルと、前記土砂が流入された後の前記所定の空間を示す前記第2三次元モデルと、を取得し、
     前記算出ステップでは、前記差分の量として前記土砂の量を算出する
     請求項7に記載の物量算出方法。
PCT/JP2020/006390 2019-03-04 2020-02-19 物量算出装置、および、物量算出方法 WO2020179438A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20765468.2A EP3936815A4 (en) 2019-03-04 2020-02-19 DEVICE FOR CALCULATING QUANTITY OF OBJECTS AND METHOD FOR CALCULATING QUANTITY OF OBJECTS
CN202080018282.1A CN113544462A (zh) 2019-03-04 2020-02-19 物量计算装置以及物量计算方法
JP2021503526A JP7457971B2 (ja) 2019-03-04 2020-02-19 物量算出装置、および、物量算出方法
US17/459,219 US20210390717A1 (en) 2019-03-04 2021-08-27 Object amount calculation apparatus and object amount calculation method
JP2024032943A JP2024052979A (ja) 2019-03-04 2024-03-05 物量算出装置、および、物量算出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962813351P 2019-03-04 2019-03-04
US62/813,351 2019-03-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/459,219 Continuation US20210390717A1 (en) 2019-03-04 2021-08-27 Object amount calculation apparatus and object amount calculation method

Publications (1)

Publication Number Publication Date
WO2020179438A1 true WO2020179438A1 (ja) 2020-09-10

Family

ID=72338521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006390 WO2020179438A1 (ja) 2019-03-04 2020-02-19 物量算出装置、および、物量算出方法

Country Status (5)

Country Link
US (1) US20210390717A1 (ja)
EP (1) EP3936815A4 (ja)
JP (2) JP7457971B2 (ja)
CN (1) CN113544462A (ja)
WO (1) WO2020179438A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0930484A (ja) * 1995-07-17 1997-02-04 Mitsubishi Precision Co Ltd 海上物件揚収移載装置
JP2002039747A (ja) * 2000-07-24 2002-02-06 Fuji Electric Co Ltd 距離測定装置
JP2002328021A (ja) 2001-04-27 2002-11-15 Hayashi Katsuyoshi ヘリコプター撮影による災害の被災量計測方法
JP2003077011A (ja) * 2002-06-24 2003-03-14 Fujitsu Ltd 3次元形状モデルの表示方法及び装置
JP2004054308A (ja) * 2002-07-16 2004-02-19 Japan Science & Technology Corp 距離画像の統合方法及び距離画像統合装置
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3345808B2 (ja) * 1999-10-29 2002-11-18 富士通株式会社 3次元形状モデルの表示方法及び装置
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP2017062748A (ja) * 2015-09-25 2017-03-30 富士通株式会社 位置合わせ装置、位置合わせ方法および位置合わせプログラム
US9971956B2 (en) * 2016-03-21 2018-05-15 International Business Machines Corporation Detection and presentation of differences between 3D models

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0930484A (ja) * 1995-07-17 1997-02-04 Mitsubishi Precision Co Ltd 海上物件揚収移載装置
JP2002039747A (ja) * 2000-07-24 2002-02-06 Fuji Electric Co Ltd 距離測定装置
JP2002328021A (ja) 2001-04-27 2002-11-15 Hayashi Katsuyoshi ヘリコプター撮影による災害の被災量計測方法
JP2003077011A (ja) * 2002-06-24 2003-03-14 Fujitsu Ltd 3次元形状モデルの表示方法及び装置
JP2004054308A (ja) * 2002-07-16 2004-02-19 Japan Science & Technology Corp 距離画像の統合方法及び距離画像統合装置
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3936815A4

Also Published As

Publication number Publication date
JP2024052979A (ja) 2024-04-12
CN113544462A (zh) 2021-10-22
EP3936815A4 (en) 2022-05-04
EP3936815A1 (en) 2022-01-12
JPWO2020179438A1 (ja) 2020-09-10
JP7457971B2 (ja) 2024-03-29
US20210390717A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
US20140225985A1 (en) Handheld portable optical scanner and method of using
US11290704B2 (en) Three dimensional scanning system and framework
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP7105246B2 (ja) 再構成方法および再構成装置
JP7058277B2 (ja) 再構成方法および再構成装置
WO2014172484A1 (en) Handheld portable optical scanner and method of using
CN111161404A (zh) 一种环形扫描形貌三维重建方法、装置及系统
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
KR101759798B1 (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
JP2021520008A (ja) 車両検査システムとその方法
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP4058293B2 (ja) レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム
CN115937288A (zh) 一种变电站三维场景模型构建方法
JP7160037B2 (ja) 画像処理装置、画像処理方法、並びにプログラム
Inzerillo et al. High quality texture mapping process aimed at the optimization of 3d structured light models
Biasion et al. A new approach to the Terrestrial Laser Scanner workflow: The RTC360 solution
WO2020179438A1 (ja) 物量算出装置、および、物量算出方法
US20220366673A1 (en) Point cloud data processing apparatus, point cloud data processing method, and program
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
Briese et al. Analysis of mobile laser scanning data and multi-view image reconstruction
CN113763545A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
WO2023042604A1 (ja) 寸法計測装置、寸法計測方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20765468

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503526

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020765468

Country of ref document: EP

Effective date: 20211004