WO2020044848A1 - 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット - Google Patents

作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット Download PDF

Info

Publication number
WO2020044848A1
WO2020044848A1 PCT/JP2019/028454 JP2019028454W WO2020044848A1 WO 2020044848 A1 WO2020044848 A1 WO 2020044848A1 JP 2019028454 W JP2019028454 W JP 2019028454W WO 2020044848 A1 WO2020044848 A1 WO 2020044848A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
distribution
drop target
model
distribution information
Prior art date
Application number
PCT/JP2019/028454
Other languages
English (en)
French (fr)
Inventor
駿 川本
真太郎 ▲濱▼田
陽介 梶原
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US17/260,069 priority Critical patent/US20210272315A1/en
Priority to DE112019003049.3T priority patent/DE112019003049T5/de
Priority to CN201980050449.XA priority patent/CN112513563B/zh
Publication of WO2020044848A1 publication Critical patent/WO2020044848A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a work machine transported object specifying device, a work machine, a work machine transported object specifying method, a complementary model production method, and a learning data set.
  • Patent Document 1 discloses a technique for calculating the position of the center of gravity of a load based on the output of a weight sensor provided in the transport vehicle and displaying the loaded state of the load.
  • An object of the present invention is to provide a work machine transportable object specifying device capable of specifying a three-dimensional position of a transported object in a drop target, a work machine, a work machine transportable object specifying method, a complementary model production method, and learning data. To provide a set.
  • a transported object specifying device of a work machine includes: an image acquisition unit configured to obtain a captured image of a dropped object of a transported work machine; and at least one of the dropped objects based on the captured image.
  • a drop target specifying unit that specifies a part of the three-dimensional position
  • a three-dimensional data generation unit that generates depth data that is three-dimensional data representing the depth of the captured image based on the captured image
  • a surface specifying unit that specifies a three-dimensional position of the surface of the transported object in the drop target, Prepare.
  • the transported object specifying device can specify the distribution of the transported object in the drop target.
  • FIG. 1 is an external view of a hydraulic shovel according to one embodiment.
  • FIG. 2 is a schematic block diagram illustrating a configuration of a control device according to the first embodiment. It is a figure showing an example of composition of a neural network. It is an example of guidance information.
  • 5 is a flowchart illustrating a method for displaying guidance information by the control device according to the first embodiment. 5 is a flowchart illustrating a method for learning a feature point identification model according to the first embodiment. It is a flowchart which shows the learning method of the complementary model which concerns on 1st Embodiment. It is a schematic block diagram showing the composition of the control device concerning a 2nd embodiment.
  • FIG. 1 is a diagram illustrating a configuration of a loading dock according to an embodiment.
  • a hydraulic excavator 100 as a loading machine and a dump truck 200 as a transport vehicle are provided.
  • the hydraulic excavator 100 scoops a conveyed object L such as earth and sand from a construction site, and loads it onto the dump truck 200.
  • the dump truck 200 transports the load L loaded by the excavator 100 to a predetermined dumping site.
  • the dump truck 200 includes a vessel 210 that is a container that stores the load L.
  • the vessel 210 is an example of an object to which the cargo L is dropped.
  • FIG. 2 is an external view of a hydraulic shovel according to one embodiment.
  • the hydraulic excavator 100 includes a work implement 110 operated by hydraulic pressure, a revolving unit 120 supporting the work unit 110, and a traveling unit 130 supporting the revolved unit 120.
  • the revolving superstructure 120 is provided with a driver's cab 121 on which an operator rides.
  • the cab 121 is provided in front of the revolving superstructure 120 and on the left side (+ Y side) of the work implement 110.
  • the excavator 100 includes a stereo camera 122, an operation device 123, a control device 124, and a display device 125.
  • the stereo camera 122 is provided above the cab 121.
  • the stereo camera 122 is installed in the front (+ X direction) and above (+ Z direction) inside the cab 121.
  • the stereo camera 122 captures an image of the front (+ X direction) of the cab 121 through a windshield in front of the cab 121.
  • the stereo camera 122 includes at least one pair of cameras.
  • the operating device 123 is provided inside the cab 121.
  • the operation device 123 supplies hydraulic oil to the actuator of the work implement 110 by being operated by an operator.
  • the control device 124 acquires information from the stereo camera 122 and generates guidance information indicating the distribution of the conveyed goods in the vessel 210 of the dump truck 200.
  • the control device 124 is an example of a transported object specifying device.
  • the display device 125 displays the guidance information generated by the control device 124. Note that the excavator 100 according to another embodiment may not necessarily include the stereo camera 122 and the display device 125.
  • the stereo camera 122 includes a right camera 1221 and a left camera 1222.
  • each camera include, for example, a camera using a charge coupled device (CCD) sensor and a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the right camera 1221 and the left camera 1222 are installed at intervals in the left-right direction (Y-axis direction) such that the optical axis is substantially parallel to the floor of the cab 121.
  • the stereo camera 122 is an example of an imaging device.
  • the control device 124 can calculate the distance between the stereo camera 122 and the imaging target by using the image captured by the right camera 1221 and the image captured by the left camera 1222.
  • the image captured by the right camera 1221 is also referred to as a right-eye image.
  • An image captured by the left camera 1222 is also referred to as a left eye image.
  • a combination of images captured by each camera of the stereo camera 122 is also referred to as a stereo image.
  • the stereo camera 122 may be configured by three or more cameras.
  • FIG. 3 is a schematic block diagram illustrating a configuration of the control device according to the first embodiment.
  • the control device 124 includes a processor 91, a main memory 92, a storage 93, and an interface 94.
  • the storage 93 stores a program for controlling the work implement 110.
  • Examples of the storage 93 include an HDD (Hard Disk Drive), a nonvolatile memory, and the like.
  • the storage 93 may be an internal medium directly connected to the bus of the control device 124 or an external medium connected to the control device 124 via the interface 94 or a communication line.
  • the storage 93 is an example of a storage unit.
  • the processor 91 reads the program from the storage 93, expands the program in the main memory 92, and executes processing according to the program. Further, the processor 91 secures a storage area in the main memory 92 according to a program.
  • the interface 94 is connected to the stereo camera 122, the display device 125, and other peripheral devices, and exchanges signals.
  • the main memory 92 is an example of a storage unit.
  • the processor 91 executes a data acquisition unit 1701, a feature point identification unit 1702, a three-dimensional data generation unit 1703, a Bessel identification unit 1704, a surface identification unit 1705, a distribution identification unit 1706, a distribution estimation unit 1707, and guidance information generation.
  • the storage 93 stores a camera parameter CP, a feature point specifying model M1, a complementary model M2, and a Bessel model VD.
  • the camera parameter CP is information indicating the positional relationship between the revolving unit 120 and the right camera 1221 and the positional relationship between the revolving unit 120 and the left camera 1222.
  • the vessel model VD is a three-dimensional model representing the shape of the vessel 210.
  • three-dimensional data representing the shape of the dump truck 200 may be used instead of the vessel model VD.
  • the Bessel model VD is an example of a target model.
  • the program may be for realizing a part of the function to be performed by the control device 124.
  • the program may be such that the function is exhibited by a combination with another program already stored in the storage 93 or a combination with another program mounted on another device.
  • the control device 124 may include a custom LSI (Large Scale Integrated Circuit) such as a PLD (Programmable Logic Device) in addition to or instead of the above configuration.
  • LSI Large Scale Integrated Circuit
  • PLD Physical Driver Deformation
  • GAL Generic Array Logic
  • CPLD Complex Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the data acquisition unit 1701 acquires a stereo image from the stereo camera 122 via the interface 94.
  • the data acquisition unit 1701 is an example of an image acquisition unit.
  • the data acquisition unit 1701 acquires a stereo image from a stereo camera included in another work machine or a stereo camera installed at a construction site. You may.
  • the feature point specifying unit 1702 inputs the right-eye image of the stereo image acquired by the data acquiring unit 1701 to the feature-point identifying model M1 stored in the storage 93, thereby obtaining a plurality of feature points of the vessel 210 in the right-eye image. Identify the location.
  • Examples of the feature points of the vessel 210 include an upper end and a lower end of a front panel of the vessel 210, an intersection between a guard frame of the front panel and a side gate, and an upper end and a lower end of a fixed column of a tail gate. That is, the feature point is an example of the predetermined position of the drop target.
  • the feature point specifying model M1 includes the neural network 140 shown in FIG.
  • FIG. 4 is a diagram illustrating an example of a configuration of a neural network.
  • the feature point specifying model M1 is realized by, for example, a DNN (Deep Neural Network) learned model.
  • the learned model is configured by a combination of the learning model and the learned parameters.
  • the neural network 140 includes an input layer 141, one or more hidden layers 142 (hidden layers), and an output layer 143.
  • Each layer 141, 142, 143 has one or more neurons.
  • the number of neurons in the intermediate layer 142 can be set as appropriate.
  • the output layer 143 can be appropriately set according to the number of feature points.
  • ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ Neurons in adjacent layers are connected to each other, and a weight (connection weight) is set for each connection.
  • the number of connected neurons may be set as appropriate.
  • a threshold is set for each neuron, and the output value of each neuron is determined depending on whether or not the sum of the product of the input value to each neuron and the weight exceeds the threshold.
  • the feature point specifying model M1 is a trained model that is trained to output the position of the feature point of the vessel 210 in the image when the image of the vessel 210 is input.
  • the feature point specifying model M1 uses, for example, a learning data set in which an image of the vessel 210 of the dump truck 200 is used as learning data, and an image in which the position of the feature point is plotted for each feature point of the vessel 210 is used as teacher data. Trained.
  • the teacher data is an image having a value indicating that the pixel related to the plot has a probability of being a feature point of 1 and other pixels having a value indicating that the probability of being a feature point is 0. It should be noted that the pixel related to the plot indicates that the probability of being a feature point is 1, and the other pixels need only be information indicating that the probability of being a feature point is 0, and need not be an image.
  • “learning data” refers to data input to the input layer at the time of training a learning model.
  • “teacher data” is data that is a correct answer for comparison with the value of the output layer of the neural network 140.
  • the “learning data set” refers to a combination of learning data and teacher data.
  • the learned parameters of the feature point specifying model M1 obtained by the learning are stored in the storage 93.
  • the learned parameters include, for example, the number of layers of the neural network 140, the number of neurons in each layer, the connection relationship between neurons, the weight of connection between neurons, and the threshold value of each neuron.
  • As the configuration of the neural network 140 of the feature point specifying model M1 for example, a DNN configuration used for detecting a face organ or a DNN configuration similar to or similar to the DNN configuration used for estimating the posture of a person can be used.
  • the feature point specifying model M1 is an example of a position specifying model. Note that the feature point specifying model M1 according to another embodiment may be trained by unsupervised learning or reinforcement learning.
  • the three-dimensional data generation unit 1703 generates a three-dimensional map representing the depth in the imaging range of the stereo camera 122 by performing stereo measurement using the stereo image and the camera parameters stored in the storage 93. Specifically, the three-dimensional data generation unit 1703 generates point cloud data indicating a three-dimensional position by stereo measurement of a stereo image. Point cloud data is an example of depth data. In another embodiment, the three-dimensional data generation unit 1703 may generate an elevation map generated from the point cloud data as the three-dimensional data instead of the point cloud data.
  • the Bessel specifying unit 1704 specifies the three-dimensional position of the vessel 210 based on the position of each feature point specified by the feature point specifying unit 1702, the point cloud data specified by the three-dimensional data generation unit 1703, and the Bessel model VD. . Specifically, the Bessel specifying unit 1704 determines the three-dimensional position of each feature point based on the position of each feature point specified by the feature point specifying unit 1702 and the point group data specified by the three-dimensional data generation unit 1703. Identify. Next, the vessel specifying unit 1704 specifies the three-dimensional position of the vessel 210 by fitting the Bessel model VD to the three-dimensional position of each feature point. In another embodiment, the vessel identification unit 1704 may identify the three-dimensional position of the vessel 210 based on the elevation map.
  • the surface identification unit 1705 determines the three-dimensional position of the surface of the transported object L on the vessel 210 based on the point cloud data generated by the three-dimensional data generation unit 1703 and the three-dimensional position of the vessel 210 identified by the vessel identification unit 1704. To identify. Specifically, the surface specifying unit 1705 cuts out a portion above the bottom surface of the vessel 210 from the point cloud data generated by the three-dimensional data generation unit 1703, and thereby the three-dimensional position of the surface of the transported object L on the vessel 210. To identify.
  • the distribution specifying unit 1706 determines the transported object L in the vessel 210 based on the three-dimensional position of the bottom surface of the vessel 210 identified by the vessel identifying unit 1704 and the three-dimensional position of the surface of the transported object L identified by the surface identifying unit 1705. Generate a Bessel map showing the distribution of the quantity of The Bessel map is an example of distribution information.
  • the vessel map is, for example, an elevation map of the transported object L based on the bottom surface of the vessel 210.
  • the distribution estimating unit 1707 generates a Bessel map in which values of height data in the Bessel map having no value are complemented. That is, the distribution estimating unit 1707 estimates the three-dimensional position of the portion of the Bessel map that is blocked by the obstacle, and updates the Bessel map. Examples of the obstacle include the work implement 110, the tailgate of the vessel 210, the load L, and the like. Specifically, the distribution estimating unit 1707 generates a Bessel map in which the height data is complemented by inputting the Bessel map into the complement model M2 stored in the storage 93.
  • the complementary model M2 is realized by, for example, a DNN trained model including the neural network 140 shown in FIG.
  • the complementary model M2 is a trained model trained to output a Bessel map having height data in all grids when a Bessel map including a grid having no height data is input.
  • the complementary model M2 learns, for example, a combination of a complete Bessel map in which all grids have height data generated by simulation or the like and an incomplete Bessel map in which some height data has been removed from the Bessel map. Trained as a data set for Note that the complementary model M2 according to another embodiment may be trained by unsupervised learning or reinforcement learning.
  • the guidance information generation unit 1708 generates guidance information from the Bessel map generated by the distribution estimation unit 1707.
  • FIG. 5 is an example of the guidance information.
  • the guidance information generation unit 1708 generates guidance information for displaying a two-dimensional heat map indicating a height distribution from the bottom surface of the vessel 210 to the surface of the conveyed article L, as shown in FIG. 5, for example.
  • the granularity of the vertical and horizontal divisions in the heat map shown in FIG. 5 is an example, and is not limited to this in other embodiments.
  • the heat map according to another embodiment may indicate, for example, a ratio of the height of the conveyed object L to the height of the upper limit of the loading of the vessel 210.
  • the display control unit 1709 outputs a display signal for displaying guidance information to the display device 125.
  • the learning unit 1801 performs a learning process on the feature point specifying model M1 and the complementary model M2.
  • the learning unit 1801 may be provided in a device separate from the control device 124. In this case, the learned model learned in a separate device is recorded in the storage 93.
  • FIG. 6 is a flowchart illustrating a method for displaying guidance information by the control device according to the first embodiment.
  • the data acquisition unit 1701 acquires a stereo image from the stereo camera 122 (Step S1).
  • the feature point specifying unit 1702 inputs the right-eye image of the stereo image acquired by the data acquiring unit 1701 to the feature point identifying model M1 stored in the storage 93, and thereby outputs the plurality of vessels 210 in the right-eye image. Specify the position of the feature point. (Step S2).
  • Examples of the feature points of the vessel 210 include an upper end and a lower end of a front panel of the vessel 210, an intersection between a guard frame of the front panel and a side gate, and an upper end and a lower end of a fixed column of a tail gate.
  • the feature point specifying unit 1702 may specify the positions of a plurality of feature points by inputting the left eye image to the feature point specifying model M1.
  • the three-dimensional data generation unit 1703 generates point cloud data of the entire imaging range of the stereo camera 122 by performing stereo measurement using the stereo image acquired in step S1 and the camera parameters stored in the storage 93 (step S3). .
  • the Bessel specifying unit 1704 specifies the three-dimensional position of the feature point based on the position of each feature point specified in step S2 and the point cloud data generated in step S3 (step S4). For example, the Bessel identifying unit 1704 identifies a three-dimensional position of a feature point by identifying a three-dimensional point corresponding to a pixel on the right-eye image where the feature point is captured, from the point cloud data.
  • the Bessel specification unit 1704 fits the position of each specified feature point to the Bessel model VD stored in the storage 93, and specifies the three-dimensional position of the vessel 210 (Step S5). At this time, based on the three-dimensional position of the vessel 210, the vessel identification unit 1704 may convert the coordinate system of the point cloud data into a vessel coordinate system whose origin is at one corner of the vessel 210.
  • the Bessel coordinate system is, for example, coordinates having an origin at the lower left end of the front panel, an X axis extending in the width direction of the front panel, a Y axis extending in the width direction of the side gate, and a Z axis extending in the height direction of the front panel. It can be represented as a system.
  • the vessel specifying unit 1704 is an example of a drop target specifying unit.
  • the surface specifying unit 1705 includes, among the point group data generated in step S3, a rectangular column region surrounded by the front panel, the side gate, and the tail gate of the vessel 210 specified in step S5 and extending in the height direction of the front panel. By extracting a plurality of three-dimensional points, three-dimensional points corresponding to the background are removed from the point cloud data (step S6).
  • the front panel, the side gate, and the tail gate form the wall of the vessel 210.
  • the surface identifying unit 1705 sets a threshold determined on the X axis, the Y axis, and the Z axis based on the known size of the vessel 210, A three-dimensional point in an area defined from the threshold is extracted.
  • the height of the prism region may be equal to the height of the front panel, or may be higher than the height of the front panel by a predetermined length. By setting the height of the prism region to be higher than the front panel, even if the load L is stacked higher than the height of the vessel 210, the load L can be accurately extracted.
  • the prism region may be a region narrowed inward by a predetermined distance from a region surrounded by the front panel, the side gate, and the tail gate.
  • the vessel model VD is a simple 3D model in which the thicknesses of the front panel, side gates, tail gate, and bottom surface are not accurate, errors in the point cloud data can be reduced.
  • the surface specifying unit 1705 removes, from the plurality of three-dimensional points extracted in step S6, one corresponding to the position of the vessel model VD, thereby determining the three-dimensional position of the surface of the transported object L loaded on the vessel 210. Is specified (step S7).
  • the distribution specifying unit 1706 sets the bottom surface of the vessel 210 as a reference height based on the plurality of three-dimensional points extracted in step S6 and the bottom surface of the vessel 210, and indicates the elevation indicating the height in the height direction of the front panel.
  • a Bessel map which is a map, is generated (step S8).
  • the Bessel map may include a grid without height data. If the point cloud data has been converted to the Bessel coordinate system in step S5, the distribution specifying unit 1706 obtains an elevation map in which the XY plane is set as the reference height and the Z-axis direction is the height direction. Can be generated.
  • the distribution estimating unit 1707 inputs the Bessel map generated in step S7 to the complementary model M2 stored in the storage 93 to generate a Bessel map in which the height data is complemented (step S8).
  • the guidance information generation unit 1708 generates the guidance information shown in FIG. 5 based on the vessel map (Step S9).
  • the display control unit 1709 outputs a display signal for displaying guidance information to the display device 125 (Step S10).
  • the processes of steps S2 to S4 and steps S7 to S10 may not be executed. Also, of the processing by the control device 124 shown in FIG.
  • step S6 instead of the processing in steps S3 and S4, the position of the feature point in the left-eye image is specified by stereo matching from the position of the feature point in the right-eye image, and triangulation is performed. May be used to specify the three-dimensional position of the feature point.
  • point group data is generated only in a prism region surrounded by the front panel, the side gate, and the tail gate of the vessel 210 specified in step S5 and extending in the height direction of the front panel. It may be. In this case, it is not necessary to generate the point cloud data of the entire imaging range, so that the calculation load can be reduced.
  • FIG. 7 is a flowchart illustrating a learning method of the feature point specifying model M1 according to the first embodiment.
  • the data acquisition unit 1701 acquires learning data (Step S101).
  • the learning data in the feature point specifying model M1 is an image showing the vessel 210.
  • the learning data may be obtained from an image captured by the stereo camera 122. Further, the information may be obtained from an image captured by another work machine. An image of a work machine different from the dump truck, for example, a vessel of a wheel loader may be used as the learning data.
  • the learning unit 1801 learns the feature point specifying model M1.
  • the learning unit 1801 learns the feature point specifying model M1 using a combination of the learning data acquired in step S101 and teacher data as an image in which the positions of the feature points of the vessel are plotted as a learning data set (step S102). ).
  • the learning unit 1801 performs arithmetic processing in the forward propagation direction of the neural network 140 using learning data as input. Thereby, the learning unit 1801 obtains an output value output from the output layer 143 of the neural network 140.
  • the learning data set may be stored in the main memory 92 or the storage 93.
  • the learning unit 1801 calculates an error between the value output from the output layer 143 and the teacher data.
  • the output value from the output layer 143 is a value indicating the probability of being a feature point for each pixel
  • the teacher data is information obtained by plotting the positions of the feature points.
  • the learning unit 1801 calculates the weight of the connection between each neuron and the error of each threshold of each neuron by back propagation from the calculated error of the output value. Then, the learning unit 1801 updates the weight of the connection between the neurons and the threshold value of each neuron based on the calculated errors.
  • the learning unit 1801 determines whether or not the output value from the feature point specifying model M1 matches the teacher data (Step S103). If the error between the output value and the teacher data is within a predetermined value, it may be determined that they match. If the output value from the feature point specifying model M1 does not match the teacher data (step S103: NO), the above processing is repeated until the output value from the feature point specifying model M1 matches the teacher data. Thereby, the parameters of the feature point specifying model M1 are optimized, and the feature point specifying model M1 can be learned. When the output value from the feature point identification model M1 matches the value corresponding to the feature point (step S103: YES), the learning unit 1801 determines the feature point as a learned model including parameters optimized by learning. The model M1 is recorded in the storage 93 (step S104).
  • FIG. 8 is a flowchart showing a method for learning a complementary model according to the first embodiment.
  • the data acquisition unit 1701 acquires a complete Bessel map in which all grids have height data as teacher data (step S111).
  • the complete Bessel map is generated by, for example, simulation.
  • the learning unit 1801 generates an incomplete Bessel map, which is learning data, by randomly removing part of the height data of the complete Bessel map (step S112).
  • the learning unit 1801 performs learning of the complementary model M2.
  • the learning unit 1801 learns the complementary model M2 using a combination of the learning data generated in step S112 and the teacher data acquired in step S111 as a learning data set (step S113).
  • the learning unit 1801 performs arithmetic processing in the forward propagation direction of the neural network 140 using learning data as input. Thereby, the learning unit 1801 obtains an output value output from the output layer 143 of the neural network 140.
  • the learning data set may be stored in the main memory 92 or the storage 93.
  • the learning unit 1801 calculates an error between the Bessel map output from the output layer 143 and the complete Bessel map that is the teacher data.
  • the learning unit 1801 calculates the weight of the connection between each neuron and the error of each threshold of each neuron by back propagation from the calculated error of the output value. Then, the learning unit 1801 updates the weight of the connection between the neurons and the threshold value of each neuron based on the calculated errors.
  • the learning unit 1801 determines whether the output value from the complementary model M2 matches the teacher data (Step S114). If the error between the output value and the teacher data is within a predetermined value, it may be determined that they match. If the output value from the complementary model M2 does not match the teacher data (step S114: NO), the above processing is repeated until the output value from the complementary model M2 matches the complete Bessel map. Thereby, the parameters of the complementary model M2 are optimized, and the complementary model M2 can be learned. When the output value from the complementary model M2 matches the teacher data (step S114: YES), the learning unit 1801 records the complementary model M2, which is a learned model including parameters optimized by learning, in the storage 93. (Step S115).
  • the control device 124 specifies the three-dimensional positions of the front surface of the conveyed object L and the bottom surface of the vessel 210 based on the captured image, and based on the three-dimensional positions, specifies the conveyance in the vessel 210.
  • a Bessel map showing the distribution of the quantity of the object L is generated.
  • the control device 124 can specify the distribution of the conveyed goods L in the vessel 210.
  • the operator can recognize the drop position of the load L for loading the load L on the vessel 210 in a well-balanced manner.
  • the control device 124 estimates the distribution of the amount of the load L in the shielded portion of the vessel map that is shielded by the obstacle. Accordingly, the operator can recognize the distribution of the amount of the conveyed object L even in a portion of the vessel 210 that is blocked by an obstacle and cannot be imaged by the stereo camera 122.
  • the control device 124 specifies the distribution of the load L in the vessel 210 based on the type of the load L.
  • FIG. 9 is a schematic block diagram illustrating a configuration of a control device according to the second embodiment.
  • the control device 124 according to the second embodiment further includes a type identification unit 1710.
  • the storage 93 stores a type specifying model M3 and a plurality of complementary models M2 corresponding to the type of the conveyed article L.
  • the type specifying unit 1710 specifies the type of the conveyed article L shown in the image by inputting the image of the conveyed article L to the type specifying model M3.
  • types of conveyed objects include clay, earth and sand, gravel, rock, wood, and the like.
  • the type identification model M3 is realized by, for example, a DNN (Deep Neural Network) learned model.
  • the type specifying model M3 is a trained model that has been trained to output the type of the load L when an image in which the load L is captured is input.
  • a DNN configuration of the type specifying model M3 for example, a DNN configuration of the same type or similar to the DNN configuration used for image recognition can be used.
  • the type identification model M3 is trained using, for example, a combination of an image in which the object L is captured and a label indicating the type of the object L as teacher data.
  • the type identification model M3 is trained using a combination of an image of the object L and label data representing the type of the object L as teacher data.
  • the type identification model M3 may be trained by transfer learning of a general learned image recognition model. Note that the type identification model M3 according to another embodiment may be trained by unsupervised learning or reinforcement learning.
  • the storage 93 stores a complementary model M2 for each type of the load L.
  • the storage 93 stores a complementary model M2 for clay, a complementary model M2 for earth and sand, a complementary model M2 for gravel, a complementary model M2 for rock, and a complementary model M2 for wood.
  • Each of the complementary models M2 is, for example, a combination of a complete Bessel map generated by a simulation or the like corresponding to the type of the conveyed object L and an incomplete Bessel map obtained by removing some height data from the Bessel map. Be trained as
  • FIG. 10 is a flowchart illustrating a method of displaying guidance information by the control device according to the second embodiment.
  • the data acquisition unit 1701 acquires a stereo image from the stereo camera 122 (Step S21).
  • the feature point specifying unit 1702 inputs the right-eye image of the stereo image acquired by the data acquiring unit 1701 to the feature point identifying model M1 stored in the storage 93, and thereby outputs the plurality of vessels 210 in the right-eye image. Specify the position of the feature point. (Step S22).
  • the three-dimensional data generation unit 1703 generates point cloud data of the entire imaging range of the stereo camera 122 by performing stereo measurement using the stereo image acquired in step S21 and the camera parameters stored in the storage 93 (step S23). .
  • the Bessel specifying unit 1704 specifies the three-dimensional position of the feature point based on the position of each feature point specified in step S22 and the point cloud data generated in step S23 (step S24).
  • the Bessel specifying unit 1704 fits the position of each specified feature point to the Bessel model VD stored in the storage 93, and specifies the three-dimensional position of the bottom surface of the vessel 210 (Step S25).
  • the vessel identification unit 1704 arranges the vessel model VD created based on the dimensions of the dump truck 200 to be detected in the virtual space based on the positions of the identified at least three feature points.
  • the surface specifying unit 1705 includes, among the point cloud data generated in step S23, a rectangular column region surrounded by the front panel, side gate, and tail gate of the vessel 210 specified in step S25 and extending in the height direction of the front panel. By extracting a plurality of three-dimensional points, three-dimensional points corresponding to the background are removed from the point cloud data (step S26). The surface specifying unit 1705 removes, from the plurality of three-dimensional points extracted in step S6, one corresponding to the position of the vessel model VD, thereby determining the three-dimensional position of the surface of the transported object L loaded on the vessel 210. Is specified (step S27).
  • the distribution specifying unit 1706 generates a Bessel map, which is an elevation map having the bottom surface of the vessel 210 as a reference height, based on the plurality of three-dimensional points extracted in step S27 and the bottom surface of the vessel 210 (step S28). .
  • the Bessel map may include a grid without height data.
  • the surface specifying unit 1705 specifies an area in which the transported object L appears in the right-eye image based on the three-dimensional position of the surface of the transported object L specified in step S27 (step S29). For example, the surface specifying unit 1705 specifies a plurality of pixels on the right-eye image corresponding to the plurality of three-dimensional points extracted in step S27, and defines an area including the specified plurality of pixels as an area in which the transported object L is captured. And specify.
  • the type specifying unit 1710 specifies the type of the conveyed object L by extracting an area where the conveyed object L is captured from the right-eye image and inputting an image related to the area to the type specifying model M3 (step S30).
  • the distribution estimating unit 1707 generates the Bessel map complementing the height data by inputting the Bessel map generated in Step S28 to the complementary model M2 associated with the type specified in Step S30 (Step S31). ).
  • the guidance information generation unit 1708 generates guidance information based on the vessel map (Step S32).
  • the display control unit 1709 outputs a display signal for displaying guidance information to the display device 125 (Step S33).
  • the control device 124 estimates the distribution of the amount of the transported item L in the shielded portion based on the type of the transported item L. That is, the characteristics (for example, angle of repose, etc.) of the load L loaded on the vessel 210 differ depending on the type of the load L. According to the third embodiment, in the shielding portion according to the type of the load L, The distribution of the load L can be more accurately estimated.
  • control device 124 As described above, one embodiment has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made.
  • the control device 124 according to the above-described embodiment is mounted on the excavator 100, but is not limited thereto.
  • the control device 124 according to another embodiment may be provided in a remote server device.
  • the control device 124 may be realized by a plurality of computers. In this case, a part of the configuration of the control device 124 may be provided in a remote server device. That is, the control device 124 may be implemented as a cargo identification system including a plurality of devices.
  • the object to be dropped according to the above-described embodiment is the vessel 210 of the dump truck 200, but is not limited thereto.
  • the drop target according to another embodiment may be another drop target such as a hopper.
  • the captured image according to the above embodiment is a stereo image, but is not limited to this.
  • the calculation may be performed based on one image instead of the stereo image.
  • the control device 124 can specify the three-dimensional position of the conveyed object L by using, for example, a learned model that generates depth information from one image.
  • control device 124 complements the value of the shaded portion of the Bessel map using the complement model M2, but is not limited thereto.
  • the control device 124 may estimate the height of the shielded portion based on the rate of change or the pattern of change in the height of the transported object L near the shielded portion. For example, when the height of the conveyed article L near the shielded portion is lower as approaching the shielded portion, the control device 124 determines the height of the conveyed article L in the shielded portion based on the rate of change of the height.
  • control device 124 may estimate the height of the transported object L in the shielded portion by performing a simulation in consideration of physical properties such as the angle of repose of the transported object L. Further, the control device 124 according to another embodiment may deterministically estimate the height of the conveyed object L in the shielded portion based on the cellular automaton in which each grid of the Bessel map is regarded as a cell. In addition, the control device 124 according to another embodiment may display information on the Bessel map including a portion where the height data is missing without complementing the Bessel map.
  • FIG. 11A is a diagram illustrating a first example of a method for calculating the amount of a conveyed object in a vessel.
  • FIG. 11B is a diagram illustrating a second example of the calculation method of the amount of the conveyed material in the vessel.
  • the vessel map according to the above-described embodiment is represented by the height from the bottom surface L1 of the vessel 210 to the loading upper limit of the vessel 210 as shown in FIG. 11A, but is not limited thereto.
  • the vessel map according to another embodiment may represent the height from another reference plane L3 to the surface L2 of the conveyed article L based on the bottom surface.
  • FIG. 11A is a diagram illustrating a first example of a method for calculating the amount of a conveyed object in a vessel.
  • FIG. 11B is a diagram illustrating a second example of the calculation method of the amount of the conveyed material in the vessel.
  • the vessel map according to the above-described embodiment is represented by the height from the bottom surface L1
  • the reference plane L3 is a plane that passes through a point parallel to the ground surface and closest to the ground surface among the bottom surfaces. In this case, regardless of the inclination of the vessel 210, the operator can easily recognize the amount of the load L until the vessel 210 is full.
  • the control device 124 generates a vessel map based on the bottom surface of the vessel 210 and the surface of the conveyed object L, but is not limited thereto.
  • the control device 124 may calculate the Bessel map based on the opening surface of the vessel 210, the surface of the conveyed object, and the height from the bottom surface of the vessel 210 to the opening surface. That is, the control device 124 can calculate the vessel map by subtracting the distance from the upper end face of the vessel to the surface of the conveyed article L from the height from the bottom face of the vessel 210 to the opening face.
  • the vessel map according to another embodiment may be based on the opening surface of the vessel 210.
  • the guidance information generation unit 1708 extracts a feature point from a right-eye image using the feature point specification model M1, but is not limited thereto.
  • the guidance information generation unit 1708 may extract a feature point from a left-eye image using the feature point specification model M1.
  • the conveyed object specifying device can specify the distribution of conveyed objects in the object to be dropped.
  • Hydraulic excavator # 110 Work machine # 120: Revolving unit # 121: Operator cab # 122: Stereo camera # 1221: Right camera # 1222: Left camera # 123: Operating device # 124: Control device # 125: Display device # 130: Traveling object # 91: Processor # 92: Main Memory $ 93 Storage $ 94 Interface # 1701 Data acquisition unit # 1702 Feature point specification unit # 1703 Three-dimensional data generation unit # 1704 Vessel specification unit # 1705 Surface specification unit # 1706 Distribution specification unit # 1707 Distribution estimation unit # 1708 Guidance information generation Unit 1709 Display control unit 1710 Type specifying unit 200 Dump truck 210 Vessel 211 Tail gate 212 Side gate 213 Front panel CP Camera parameter D ... Bessel model M1 ... feature points selected models M2 ... complementary model M3 ... type specifying model L ... transported article

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明に係る画像取得部は、撮像装置から、作業機械の運搬物の投下対象が写る撮像画像を取得する。投下対象特定部は、撮像画像に基づいて、投下対象の少なくとも一部の三次元位置を特定する。表面特定部は、投下対象の少なくとも一部の三次元位置と撮像画像とに基づいて、投下対象における運搬物の表面の三次元位置を特定する。

Description

作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット
　本発明は、作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセットに関する。
　本願は、２０１８年８月３１日に日本に出願された特願２０１８－１６３６７１号について優先権を主張し、その内容をここに援用する。
　特許文献１には、運搬車両に設けられた加重センサの出力に基づいて運搬物の重心位置を算出し、運搬物の積載状態を表示する技術が開示されている。
特開２００１－７１８０９号公報
　特許文献１に記載の方法では、運搬車両などの投下対象の重心の位置を特定することができるが、投下対象における運搬物の三次元位置を特定することができない。
　本発明の目的は、投下対象における運搬物の三次元位置を特定することができる作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセットを提供することにある。
　本発明の一態様によれば、作業機械の運搬物特定装置は、作業機械の運搬物の投下対象が写る撮像画像を取得する画像取得部と、前記撮像画像に基づいて、前記投下対象の少なくとも一部の三次元位置を特定する投下対象特定部と、前記撮像画像に基づいて、前記撮像画像の深度を表す三次元データである深度データを生成する三次元データ生成部と、前記投下対象の少なくとも一部の三次元位置に基づいて、前記深度データから前記投下対象に対応する部分を除去することで、前記投下対象における前記運搬物の表面の三次元位置を特定する表面特定部と、を備える。
　上記態様のうち少なくとも１つの態様によれば、運搬物特定装置は、投下対象における運搬物の分布を特定することができる。
一実施形態に係る積込場の構成を示す図である。 一実施形態に係る油圧ショベルの外観図である。 第１の実施形態に係る制御装置の構成を示す概略ブロック図である。 ニューラルネットワークの構成の例を示す図である。 ガイダンス情報の一例である。 第１の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。 第１の実施形態に係る特徴点特定モデルの学習方法を示すフローチャートである。 第１の実施形態に係る補完モデルの学習方法を示すフローチャートである。 第２の実施形態に係る制御装置の構成を示す概略ブロック図である。 第２の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。 ベッセルにおける運搬物の量の計算方法の第１の例を示す図である。 ベッセルにおける運搬物の量の計算方法の第２の例を示す図である。
〈第１の実施形態〉
　以下、図面を参照しながら実施形態について詳しく説明する。
　図１は、一実施形態に係る積込場の構成を示す図である。
　施工現場には、積込機械である油圧ショベル１００と運搬車両であるダンプトラック２００とが配備される。油圧ショベル１００は、施工現場から土砂等の運搬物Ｌをすくい、ダンプトラック２００に積み込む。ダンプトラック２００は、油圧ショベル１００によって積み込まれた運搬物Ｌを所定の排土場に運搬する。ダンプトラック２００は、運搬物Ｌを収容する容器であるベッセル２１０を備える。ベッセル２１０は、運搬物Ｌの投下対象の一例である。
《油圧ショベルの構成》
　図２は、一実施形態に係る油圧ショベルの外観図である。
　油圧ショベル１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。
　旋回体１２０には、オペレータが搭乗する運転室１２１が備えられる。運転室１２１は、旋回体１２０の前方かつ作業機１１０の左側（＋Ｙ側）に備えられる。
《油圧ショベルの制御系》
　油圧ショベル１００は、ステレオカメラ１２２、操作装置１２３、制御装置１２４、表示装置１２５を備える。
　ステレオカメラ１２２は、運転室１２１の上部に設けられる。ステレオカメラ１２２は、運転室１２１内の前方（＋Ｘ方向）かつ上方（＋Ｚ方向）に設置される。ステレオカメラ１２２は、運転室１２１前面のフロントガラスを通して、運転室１２１の前方（＋Ｘ方向）を撮像する。ステレオカメラ１２２は、少なくとも１対のカメラを備える。
　操作装置１２３は運転室１２１の内部に設けられる。操作装置１２３は、オペレータによって操作されることで作業機１１０のアクチュエータに作動油を供給する。
　制御装置１２４は、ステレオカメラ１２２から情報を取得し、ダンプトラック２００のベッセル２１０における運搬物の分布を示すガイダンス情報を生成する。制御装置１２４は、運搬物特定装置の一例である。
　表示装置１２５は、制御装置１２４が生成したガイダンス情報を表示する。
　なお、他の実施形態に係る油圧ショベル１００は、必ずしもステレオカメラ１２２、表示装置１２５を備えなくてもよい。
《ステレオカメラの構成》
　第１の実施形態においては、ステレオカメラ１２２は、右側カメラ１２２１および左側カメラ１２２２を備える。各カメラの例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いたカメラが挙げられる。
　右側カメラ１２２１と左側カメラ１２２２は、それぞれ光軸が運転室１２１の床面に対して略平行となるように、左右方向（Ｙ軸方向）に間隔を空けて設置される。ステレオカメラ１２２は撮像装置の一例である。制御装置１２４は、右側カメラ１２２１が撮像した画像と左側カメラ１２２２が撮像した画像とを用いることで、ステレオカメラ１２２と撮像対象との距離を算出することができる。以下、右側カメラ１２２１が撮像した画像を右目画像ともいう。また、左側カメラ１２２２が撮像した画像を左目画像ともいう。また、ステレオカメラ１２２の各カメラが撮像した画像の組み合わせをステレオ画像ともいう。なお、他の実施形態においては、ステレオカメラ１２２は、３個以上のカメラによって構成されてもよい。
《制御装置の構成》
　図３は、第１の実施形態に係る制御装置の構成を示す概略ブロック図である。
　制御装置１２４は、プロセッサ９１、メインメモリ９２、ストレージ９３、インタフェース９４を備える。
　ストレージ９３には、作業機１１０を制御するためのプログラムが記憶されている。ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、不揮発性メモリ等が挙げられる。ストレージ９３は、制御装置１２４のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介して制御装置１２４に接続される外部メディアであってもよい。ストレージ９３は、記憶部の一例である。
　プロセッサ９１は、ストレージ９３からプログラムを読み出してメインメモリ９２に展開し、プログラムに従って処理を実行する。またプロセッサ９１は、プログラムに従ってメインメモリ９２に記憶領域を確保する。インタフェース９４は、ステレオカメラ１２２、表示装置１２５、およびその他の周辺機器と接続され、信号の授受を行う。メインメモリ９２は、記憶部の一例である。
　プロセッサ９１は、プログラムの実行により、データ取得部１７０１、特徴点特定部１７０２、三次元データ生成部１７０３、ベッセル特定部１７０４、表面特定部１７０５、分布特定部１７０６、分布推定部１７０７、ガイダンス情報生成部１７０８、表示制御部１７０９を備える。また、ストレージ９３には、カメラパラメータＣＰ、特徴点特定モデルＭ１、補完モデルＭ２、ベッセルモデルＶＤが記憶される。カメラパラメータＣＰとは、旋回体１２０と右側カメラ１２２１との位置関係、および旋回体１２０と左側カメラ１２２２との位置関係を示す情報である。ベッセルモデルＶＤは、ベッセル２１０の形状を表す三次元モデルである。なお、他の実施形態においては、ベッセルモデルＶＤに代えて、ダンプトラック２００の形状を表す三次元データを用いてもよい。ベッセルモデルＶＤは、対象モデルの一例である。
　なお、プログラムは、制御装置１２４に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ９３に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１２４は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
　データ取得部１７０１は、インタフェース９４を介してステレオカメラ１２２からステレオ画像を取得する。データ取得部１７０１は、画像取得部の一例である。なお、他の実施形態において油圧ショベル１００がステレオカメラ１２２を備えない場合、データ取得部１７０１は、他の作業機械が備えるステレオカメラや、施工現場に設置されるステレオカメラなどからステレオ画像を取得してもよい。
　特徴点特定部１７０２は、データ取得部１７０１が取得したステレオ画像の右目画像を、ストレージ９３に記憶された特徴点特定モデルＭ１に入力することで、右目画像に写るベッセル２１０の複数の特徴点の位置を特定する。ベッセル２１０の特徴点の例としては、ベッセル２１０のフロントパネルの上端および下端、フロントパネルのガードフレームとサイドゲートとの交点、ならびにテールゲートの固定柱の上端および下端などが挙げられる。つまり、特徴点は、投下対象の所定の位置の一例である。
　特徴点特定モデルＭ１は、図４に示すニューラルネットワーク１４０を含む。図４は、ニューラルネットワークの構成の例を示す図である。特徴点特定モデルＭ１は、例えば、ＤＮＮ（Deep Neural Network）の学習済みモデルによって実現される。学習済みモデルとは、学習モデルと学習済みパラメータの組み合わせによって構成される。
　図４に示すようにニューラルネットワーク１４０は、入力層１４１、１つまたは複数の中間層１４２（隠れ層）、及び出力層１４３を含む。各層１４１、１４２、１４３は、１又は複数のニューロンを備えている。中間層１４２のニューロンの数は、適宜設定することができる。出力層１４３は、特徴点の数に応じて適宜設定することができる。
　互いに隣接する層のニューロン同士は結合されており、各結合には重み（結合荷重）が設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力値が決定される。
　入力層１４１には、ダンプトラック２００のベッセル２１０が写る画像が入力される。出力層１４３には、画像の各画素について特徴点である確率を示す出力値が出力される。つまり、特徴点特定モデルＭ１は、ベッセル２１０が写る画像が入力されると、当該画像におけるベッセル２１０の特徴点の位置を出力するように訓練された学習済みモデルである。特徴点特定モデルＭ１は、例えば、ダンプトラック２００のベッセル２１０が写る画像を学習データとし、ベッセル２１０の特徴点ごとに当該特徴点の位置をプロットした画像を教師データとする学習用データセットを用いて訓練される。教師データは、プロットに係る画素は特徴点である確率が１であることを示す値を有し、他の画素は特徴点である確率が０であることを示す値を有する画像である。なお、プロットに係る画素は特徴点である確率が１であることを示し、他の画素は特徴点である確率が０であることを示す情報であればよく、画像である必要はない。なお、本実施形態において「学習データ」とは、学習モデルの訓練時に入力層に入力されるデータをいう。本実施形態において「教師データ」とは、ニューラルネットワーク１４０の出力層の値と比較するための正解となるデータである。本実施形態において「学習用データセット」とは、学習データと教師データの組み合わせをいう。学習によって得られた特徴点特定モデルＭ１の学習済みパラメータは、ストレージ９３に記憶されている。学習済みパラメータは、例えば、ニューラルネットワーク１４０の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み、及び各ニューロンの閾値を含む。
特徴点特定モデルＭ１のニューラルネットワーク１４０の構成としては、例えば、顔器官検出に用いられるＤＮＮ構成や、人物の姿勢推定に用いられるＤＮＮ構成と同種のまたは類似のＤＮＮ構成を用いることができる。特徴点特定モデルＭ１は、位置特定モデルの一例である。なお、他の実施形態に係る特徴点特定モデルＭ１は、教師なし学習または強化学習によって訓練されたものであってもよい。
　三次元データ生成部１７０３は、ステレオ画像とストレージ９３に記憶されたカメラパラメータとを用いたステレオ計測により、ステレオカメラ１２２の撮像範囲における深度を表す三次元マップを生成する。具体的には、三次元データ生成部１７０３は、ステレオ画像のステレオ計測によって三次元位置を示す点群データを生成する。点群データは、深度データの一例である。なお、他の実施形態においては、三次元データ生成部１７０３は、点群データに代えて、点群データから生成されたエレベーションマップを三次元データとして生成してもよい。
　ベッセル特定部１７０４は、特徴点特定部１７０２が特定した各特徴点の位置と三次元データ生成部１７０３が特定した点群データとベッセルモデルＶＤとに基づいて、ベッセル２１０の三次元位置を特定する。具体的には、ベッセル特定部１７０４は、特徴点特定部１７０２が特定した各特徴点の位置と三次元データ生成部１７０３が特定した点群データとに基づいて、各特徴点の三次元位置を特定する。次に、ベッセル特定部１７０４は、各特徴点の三次元位置にベッセルモデルＶＤをフィッティングさせることで、ベッセル２１０の三次元位置を特定する。なお、他の実施形態においては、ベッセル特定部１７０４は、エレベーションマップに基づいてベッセル２１０の三次元位置を特定してもよい。
　表面特定部１７０５は、三次元データ生成部１７０３が生成した点群データとベッセル特定部１７０４が特定したベッセル２１０の三次元位置とに基づいて、ベッセル２１０上の運搬物Ｌの表面の三次元位置を特定する。具体的には、表面特定部１７０５は、三次元データ生成部１７０３が生成した点群データからベッセル２１０の底面より上の部分を切り出すことで、ベッセル２１０上の運搬物Ｌの表面の三次元位置を特定する。
　分布特定部１７０６は、ベッセル特定部１７０４が特定したベッセル２１０の底面の三次元位置と、表面特定部１７０５が特定した運搬物Ｌの表面の三次元位置とに基づいて、ベッセル２１０における運搬物Ｌの量の分布を示すベッセルマップを生成する。ベッセルマップは分布情報の一例である。ベッセルマップは、例えばベッセル２１０の底面を基準とした運搬物Ｌのエレベーションマップである。
　分布推定部１７０７は、ベッセルマップのうち高さデータの値がない部分について、値を補完したベッセルマップを生成する。すなわち、分布推定部１７０７は、ベッセルマップのうち障害物によって遮蔽された遮蔽部分の三次元位置を推定し、ベッセルマップを更新する。障害物の例としては、作業機１１０、ベッセル２１０のテールゲート、運搬物Ｌなどが挙げられる。
　具体的には、分布推定部１７０７は、ベッセルマップをストレージ９３に記憶された補完モデルＭ２に入力することで、高さデータを補完したベッセルマップを生成する。補完モデルＭ２は、例えば図４に示すニューラルネットワーク１４０を備えるＤＮＮの学習済みモデルによって実現される。補完モデルＭ２は、高さデータを有しないグリッドを含むベッセルマップが入力された場合に、すべてのグリッドが高さデータを有するベッセルマップを出力するように訓練された学習済みモデルである。補完モデルＭ２は、例えば、シミュレーション等によって生成された、すべてのグリッドが高さデータを有する完全ベッセルマップと、当該ベッセルマップから一部の高さデータを除去した不完全ベッセルマップとの組み合わせを学習用データセットとして訓練される。なお、他の実施形態に係る補完モデルＭ２は教師なし学習または強化学習によって訓練されたものであってもよい。
　ガイダンス情報生成部１７０８は、分布推定部１７０７が生成したベッセルマップからガイダンス情報を生成する。
　図５は、ガイダンス情報の一例である。ガイダンス情報生成部１７０８は、例えば図５に示すように、ベッセル２１０の底面から運搬物Ｌの表面までの高さの分布を表す二次元のヒートマップを表示するガイダンス情報を生成する。図５に示すヒートマップにおける縦および横の分割の粒度は一例であり、他の実施形態ではこれに限られない。なお、他の実施形態に係るヒートマップは、例えばベッセル２１０の積載上限に係る高さに対する運搬物Ｌの高さの割合を表すものであってよい。
　表示制御部１７０９は、ガイダンス情報を表示する表示信号を表示装置１２５に出力する。
　学習部１８０１は、特徴点特定モデルＭ１および補完モデルＭ２の学習処理を行う。なお、学習部１８０１は、制御装置１２４と別個の装置に設けられてもよい。この場合、別個の装置において学習された学習済みモデルが、ストレージ９３に記録されることとなる。
《表示方法》
　図６は、第１の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
　まず、データ取得部１７０１は、ステレオカメラ１２２からステレオ画像を取得する（ステップＳ１）。次に、特徴点特定部１７０２は、データ取得部１７０１が取得したステレオ画像の右目画像を、ストレージ９３に記憶された特徴点特定モデルＭ１に入力することで、右目画像に写るベッセル２１０の複数の特徴点の位置を特定する。（ステップＳ２）。ベッセル２１０の特徴点の例としては、ベッセル２１０のフロントパネルの上端および下端、フロントパネルのガードフレームとサイドゲートとの交点、ならびにテールゲートの固定柱の上端および下端などが挙げられる。他の実施形態においては、特徴点特定部１７０２は、左目画像を特徴点特定モデルＭ１に入力することで複数の特徴点の位置を特定してもよい。
　三次元データ生成部１７０３は、ステップＳ１で取得したステレオ画像とストレージ９３に記憶されたカメラパラメータとを用いたステレオ計測により、ステレオカメラ１２２の撮像範囲全体の点群データを生成する（ステップＳ３）。
　ベッセル特定部１７０４は、ステップＳ２で特定した各特徴点の位置とステップＳ３で生成した点群データとに基づいて、特徴点の三次元位置を特定する（ステップＳ４）。例えば、ベッセル特定部１７０４は、点群データから、特徴点が写る右目画像上の画素に対応する三次元点を特定することで、特徴点の三次元位置を特定する。ベッセル特定部１７０４は、特定した各特徴点の位置にストレージ９３に記憶されたベッセルモデルＶＤをフィッティングさせ、ベッセル２１０の三次元位置を特定する（ステップＳ５）。このとき、ベッセル特定部１７０４は、ベッセル２１０の三次元位置に基づいて、点群データの座標系をベッセル２１０の一角を原点とするベッセル座標系に変換してもよい。ベッセル座標系は、例えば、フロントパネルの左下端を原点とし、フロントパネルの幅方向に伸びるＸ軸、サイドゲートの幅方向に伸びるＹ軸、およびフロントパネルの高さ方向に伸びるＺ軸からなる座標系として表すことができる。ベッセル特定部１７０４は、投下対象特定部の一例である。
　表面特定部１７０５は、ステップＳ３で生成した点群データのうち、ステップＳ５において特定されたベッセル２１０のフロントパネル、サイドゲートおよびテールゲートで囲まれ、フロントパネルの高さ方向に伸びる角柱領域内の複数の三次元点を抽出することで、点群データから背景に相当する三次元点を除去する（ステップＳ６）。フロントパネル、サイドゲートおよびテールゲートは、ベッセル２１０の壁部を構成する。ステップＳ５において点群データがベッセル座標系に変換されている場合、表面特定部１７０５は、Ｘ軸、Ｙ軸、およびＺ軸に既知のベッセル２１０のサイズに基づいて定められた閾値を設定し、当該閾値から定義される領域内の三次元点を抽出する。当該角柱領域の高さは、フロントパネルの高さと等しくてもよいし、フロントパネルの高さより所定長さだけ高いものであってもよい。なお、角柱領域の高さがフロントパネルより高くすることで、運搬物Ｌがベッセル２１０の高さより高く積まれた場合においても、運搬物Ｌを正確に抽出することができる。また、角柱領域は、フロントパネル、サイドゲートおよびテールゲートで囲まれた領域より所定距離だけ内側に狭まった領域であってもよい。この場合、ベッセルモデルＶＤが、フロントパネル、サイドゲート、テールゲート、および底面の厚さが正確でない簡易な３Ｄモデルであったとしても、点群データの誤差を少なくすることができる。
　表面特定部１７０５は、ステップＳ６で抽出された複数の三次元点のうち、ベッセルモデルＶＤの位置に対応するものを除去することで、ベッセル２１０に積み込まれた運搬物Ｌの表面の三次元位置を特定する（ステップＳ７）。分布特定部１７０６は、ステップＳ６で抽出した複数の三次元点と、ベッセル２１０の底面とに基づいて、ベッセル２１０の底面を基準高さとし、フロントパネルの高さ方向に係る高さを表すエレベーションマップであるベッセルマップを生成する（ステップＳ８）。当該ベッセルマップは、高さデータを有しないグリッドを含みうる。なお、ステップＳ５において点群データがベッセル座標系に変換されている場合、分布特定部１７０６は、ＸＹ平面を基準高さとし、Ｚ軸方向を高さ方向とするエレベーションマップを求めることでベッセルマップを生成することができる。
　分布推定部１７０７は、ステップＳ７で生成されたベッセルマップをストレージ９３に記憶された補完モデルＭ２に入力することで、高さデータを補完したベッセルマップを生成する（ステップＳ８）。ガイダンス情報生成部１７０８は、ベッセルマップに基づいて、図５に示すガイダンス情報を生成する（ステップＳ９）。表示制御部１７０９は、ガイダンス情報を表示する表示信号を表示装置１２５に出力する（ステップＳ１０）。
　なお、実施形態によっては、図６に示す制御装置１２４による処理のうち、ステップＳ２～ステップＳ４、ステップＳ７～Ｓ１０の処理が実行されなくてもよい。
　また、図６に示す制御装置１２４による処理のうち、ステップＳ３、ステップＳ４の処理に代えて、右目画像における特徴点の位置からステレオマッチングによって、左目画像における特徴点の位置を特定し、三角測量を用いて、特徴点の三次元位置を特定してもよい。そしてステップＳ６の処理に代えて、ステップＳ５において特定されたベッセル２１０のフロントパネル、サイドゲートおよびテールゲートで囲まれ、フロントパネルの高さ方向に伸びる角柱領域内のみの点群データを生成するようにしてもよい。この場合、撮像範囲全体の点群データを生成する必要がないため、計算負荷を少なくすることができる。
《学習方法》
　図７は、第１の実施形態に係る特徴点特定モデルＭ１の学習方法を示すフローチャートである。データ取得部１７０１は、学習データを取得する（ステップＳ１０１）。例えば、特徴点特定モデルＭ１における学習データは、ベッセル２１０が写る画像である。学習データは、ステレオカメラ１２２が撮像する画像から取得してもよい。また、他の作業機械が撮像した画像から取得してもよい。なお、ダンプトラックとは異なる作業機械、例えばホイールローダのベッセルが写る画像を学習データとしてもよい。様々な種類の作業機械のベッセルを学習データとすることで、ベッセル認識のロバスト性を向上することができる。
　次に、学習部１８０１は、特徴点特定モデルＭ１の学習を行う。学習部１８０１は、ステップＳ１０１で取得した学習データと、ベッセルの特徴点の位置をプロットした画像である教師データとの組み合わせを学習用データセットとして、特徴点特定モデルＭ１の学習を行う（ステップＳ１０２）。例えば、学習部１８０１は、学習データを入力として用いて、ニューラルネットワーク１４０の順伝播方向の演算処理を行う。これにより、学習部１８０１は、ニューラルネットワーク１４０の出力層１４３から出力される出力値を得る。なお、学習用データセットは、メインメモリ９２、またはストレージ９３に記憶してもよい。次に、学習部１８０１は、出力層１４３から出力される値と教師データとの誤差を算出する。出力層１４３からの出力値は、各画素について特徴点である確率を表す値であり、教師データは、特徴点の位置をプロットした情報である。学習部１８０１は、算出した出力値の誤差から、バックプロパゲーションにより、各ニューロン間の結合の重み、及び、各ニューロンの閾値のそれぞれの誤差を算出する。そして、学習部１８０１は、算出した各誤差に基づいて、各ニューロン間の結合の重み、及び、各ニューロンの閾値の更新を行う。
　学習部１８０１は、特徴点特定モデルＭ１からの出力値が、教師データと一致するか否かを判定する（ステップＳ１０３）。なお、出力値と、教師データとの誤差が所定値以内であれば、一致すると判定してもよい。特徴点特定モデルＭ１からの出力値が、教師データと一致しない場合（ステップＳ１０３：ＮＯ）、特徴点特定モデルＭ１からの出力値が、教師データと一致するまで、上記の処理を繰り返す。それにより、特徴点特定モデルＭ１のパラメータが最適化され、特徴点特定モデルＭ１を学習させることができる。
　特徴点特定モデルＭ１からの出力値が、特徴点に対応する値と一致する場合（ステップＳ１０３：ＹＥＳ）、学習部１８０１は、学習によって最適化されたパラメータを含む学習済みモデルである特徴点特定モデルＭ１を、ストレージ９３に記録する（ステップＳ１０４）。
　図８は、第１の実施形態に係る補完モデルの学習方法を示すフローチャートである。データ取得部１７０１は、教師データとして、すべてのグリッドが高さデータを有する完全ベッセルマップを取得する（ステップＳ１１１）。完全ベッセルマップは、例えばシミュレーション等によって生成される。学習部１８０１は、完全ベッセルマップの一部の高さデータをランダムに除去することで、学習データである不完全ベッセルマップを生成する（ステップＳ１１２）。
　次に、学習部１８０１は、補完モデルＭ２の学習を行う。学習部１８０１は、ステップＳ１１２で生成した学習データと、ステップＳ１１１で取得した教師データとの組み合わせを学習用データセットとして、補完モデルＭ２の学習を行う（ステップＳ１１３）。例えば、学習部１８０１は、学習データを入力として用いて、ニューラルネットワーク１４０の順伝播方向の演算処理を行う。これにより、学習部１８０１は、ニューラルネットワーク１４０の出力層１４３から出力される出力値を得る。なお、学習用データセットは、メインメモリ９２、またはストレージ９３に記憶してもよい。次に、学習部１８０１は、出力層１４３から出力されるベッセルマップと、教師データである完全ベッセルマップとの誤差を算出する。学習部１８０１は、算出した出力値の誤差から、バックプロパゲーションにより、各ニューロン間の結合の重み、及び、各ニューロンの閾値のそれぞれの誤差を算出する。そして、学習部１８０１は、算出した各誤差に基づいて、各ニューロン間の結合の重み、及び、各ニューロンの閾値の更新を行う。
　学習部１８０１は、補完モデルＭ２からの出力値が、教師データと一致するか否かを判定する（ステップＳ１１４）。なお、出力値と、教師データとの誤差が所定値以内であれば、一致すると判定してもよい。補完モデルＭ２からの出力値が教師データと一致しない場合（ステップＳ１１４：ＮＯ）、補完モデルＭ２からの出力値が完全ベッセルマップと一致するまで、上記の処理を繰り返す。それにより、補完モデルＭ２のパラメータが最適化され、補完モデルＭ２を学習させることができる。
　補完モデルＭ２からの出力値が教師データと一致する場合（ステップＳ１１４：ＹＥＳ）、学習部１８０１は、学習によって最適化されたパラメータを含む学習済みモデルである補完モデルＭ２を、ストレージ９３に記録する（ステップＳ１１５）。
《作用・効果》
　このように、第１の実施形態によれば、制御装置１２４は、撮像画像に基づいて、運搬物Ｌの表面およびベッセル２１０の底面の三次元位置を特定し、これらに基づいてベッセル２１０における運搬物Ｌの量の分布を示すベッセルマップを生成する。これにより、制御装置１２４は、ベッセル２１０における運搬物Ｌの分布を特定することができる。オペレータは、ベッセル２１０における運搬物Ｌの分布を認識することで、ベッセル２１０にバランスよく運搬物Ｌを積み込むための運搬物Ｌの投下位置を認識することができる。
　また、第１の実施形態に係る制御装置１２４は、ベッセルマップのうち障害物によって遮蔽された遮蔽部分における運搬物Ｌの量の分布を推定する。これにより、オペレータは、ベッセル２１０のうち障害物に遮蔽されてステレオカメラ１２２によって撮像できない部分についても、運搬物Ｌの量の分布を認識することができる。
〈第２の実施形態〉
　第２の実施形態に係る制御装置１２４は、運搬物Ｌの種別に基づいてベッセル２１０における運搬物Ｌの分布を特定する。
　図９は、第２の実施形態に係る制御装置の構成を示す概略ブロック図である。
　第２の実施形態に係る制御装置１２４は、種別特定部１７１０をさらに備える。またストレージ９３は、種別特定モデルＭ３と、運搬物Ｌの種別に応じた複数の補完モデルＭ２を記憶する。
　種別特定部１７１０は、運搬物Ｌの画像を種別特定モデルＭ３に入力することで、当該画像に写る運搬物Ｌの種別を特定する。運搬物の種類の例としては、粘土、土砂、礫、岩石、木材などが挙げられる。
　種別特定モデルＭ３は、例えば、ＤＮＮ（Deep Neural Network）の学習済みモデルによって実現される。種別特定モデルＭ３は、運搬物Ｌが写る画像が入力された場合に、運搬物Ｌの種別を出力するように訓練された学習済みモデルである。種別特定モデルＭ３のＤＮＮ構成としては、例えば、画像認識に用いられるＤＮＮ構成と同種のまたは類似のＤＮＮ構成を用いることができる。種別特定モデルＭ３は、例えば、運搬物Ｌが写る画像と、運搬物Ｌの種別を表すラベルとの組み合わせを教師データとして訓練される。種別特定モデルＭ３は、運搬物Ｌが写る画像と、運搬物Ｌの種別を表すラベルデータとの組み合わせを教師データとして訓練される。種別特定モデルＭ３は、一般的な学習済みの画像認識モデルの転移学習により訓練されてよい。なお、他の実施形態に係る種別特定モデルＭ３は、教師なし学習または強化学習によって訓練されたものであってもよい。
　ストレージ９３は、運搬物Ｌの種別ごとに補完モデルＭ２を記憶する。例えば、ストレージ９３は、粘土用の補完モデルＭ２、土砂用の補完モデルＭ２、礫用の補完モデルＭ２、岩石用の補完モデルＭ２、木材用の補完モデルＭ２をそれぞれ記憶する。各補完モデルＭ２は、例えば、運搬物Ｌの種別に応じたシミュレーション等によって生成された完全ベッセルマップと、当該ベッセルマップから一部の高さデータを除去した不完全ベッセルマップとの組み合わせを教師データとして訓練される。
《表示方法》
　図１０は、第２の実施形態に係る制御装置によるガイダンス情報の表示方法を示すフローチャートである。
　まず、データ取得部１７０１は、ステレオカメラ１２２からステレオ画像を取得する（ステップＳ２１）。次に、特徴点特定部１７０２は、データ取得部１７０１が取得したステレオ画像の右目画像を、ストレージ９３に記憶された特徴点特定モデルＭ１に入力することで、右目画像に写るベッセル２１０の複数の特徴点の位置を特定する。（ステップＳ２２）。
　三次元データ生成部１７０３は、ステップＳ２１で取得したステレオ画像とストレージ９３に記憶されたカメラパラメータとを用いたステレオ計測により、ステレオカメラ１２２の撮像範囲全体の点群データを生成する（ステップＳ２３）。
　ベッセル特定部１７０４は、ステップＳ２２で特定した各特徴点の位置とステップＳ２３で生成した点群データとに基づいて、特徴点の三次元位置を特定する（ステップＳ２４）。ベッセル特定部１７０４は、特定した各特徴点の位置にストレージ９３に記憶されたベッセルモデルＶＤをフィッティングさせ、ベッセル２１０の底面の三次元位置を特定する（ステップＳ２５）。例えば、ベッセル特定部１７０４は、特定した少なくとも３つの特徴点の位置に基づいて、仮想空間上に検出対象のダンプトラック２００の寸法に基づいて作成されたベッセルモデルＶＤを配置する。
　表面特定部１７０５は、ステップＳ２３で生成した点群データのうち、ステップＳ２５において特定されたベッセル２１０のフロントパネル、サイドゲートおよびテールゲートで囲まれ、フロントパネルの高さ方向に伸びる角柱領域内の複数の三次元点を抽出することで、点群データから背景に相当する三次元点を除去する（ステップＳ２６）。表面特定部１７０５は、ステップＳ６で抽出された複数の三次元点のうち、ベッセルモデルＶＤの位置に対応するものを除去することで、ベッセル２１０に積み込まれた運搬物Ｌの表面の三次元位置を特定する（ステップＳ２７）。分布特定部１７０６は、ステップＳ２７で抽出した複数の三次元点と、ベッセル２１０の底面とに基づいて、ベッセル２１０の底面を基準高さとするエレベーションマップであるベッセルマップを生成する（ステップＳ２８）。当該ベッセルマップは、高さデータを有しないグリッドを含みうる。
　表面特定部１７０５は、ステップＳ２７で特定した運搬物Ｌの表面の三次元位置に基づいて、右目画像において運搬物Ｌが写る領域を特定する（ステップＳ２９）。例えば、表面特定部１７０５は、ステップＳ２７で抽出された複数の三次元点に対応する右目画像上の複数の画素を特定し、特定された複数の画素からなる領域を、運搬物Ｌが写る領域と特定する。種別特定部１７１０は、右目画像から運搬物Ｌが写る領域を抽出し、当該領域に係る画像を種別特定モデルＭ３に入力することで、運搬物Ｌの種別を特定する（ステップＳ３０）。
　分布推定部１７０７は、ステップＳ２８で生成されたベッセルマップを、ステップＳ３０で特定された種別に関連付けられた補完モデルＭ２に入力することで、高さデータを補完したベッセルマップを生成する（ステップＳ３１）。ガイダンス情報生成部１７０８は、ベッセルマップに基づいてガイダンス情報を生成する（ステップＳ３２）。表示制御部１７０９は、ガイダンス情報を表示する表示信号を表示装置１２５に出力する（ステップＳ３３）。
《作用・効果》
　このように、第２の実施形態によれば、制御装置１２４は、運搬物Ｌの種別に基づいて、遮蔽部分における運搬物Ｌの量の分布を推定する。つまり、運搬物Ｌの種類によって、ベッセル２１０に積み込まれた運搬物Ｌの特性（例えば安息角など）が異なるところ、第３の実施形態によれば、運搬物Ｌの種別に応じて遮蔽部分における運搬物Ｌの分布をより正確に推定することができる。
〈他の実施形態〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
　例えば、上述の実施形態に係る制御装置１２４は、油圧ショベル１００に搭載されるが、これに限られない。例えば、他の実施形態に係る制御装置１２４は、遠隔のサーバ装置に設けられてもよい。また、制御装置１２４は、複数のコンピュータから実現されるものであってもよい。この場合、制御装置１２４の一部の構成が遠隔のサーバ装置に設けられるものであってもよい。すなわち、制御装置１２４は、複数の装置からなる運搬物特定システムとして実装されてもよい。
　また、上述の実施形態に係る投下対象は、ダンプトラック２００のベッセル２１０だが、これに限られない。例えば、他の実施形態に係る投下対象は、ホッパなどの他の投下対象であってもよい。
　また、上述の実施形態に係る撮像画像はステレオ画像であるが、これに限られない。例えば、他の実施形態においては、ステレオ画像に代えて１枚の画像に基づいて計算を行ってもよい。この場合、制御装置１２４は、例えば１枚の画像から深度情報を生成する学習済みモデルを用いることで、運搬物Ｌの三次元位置を特定することができる。
　また、上述の実施形態に係る制御装置１２４は、補完モデルＭ２を用いてベッセルマップの遮蔽部分の値を補完するが、これに限られない。例えば、他の実施形態に係る制御装置１２４は、遮蔽部分の近傍の運搬物Ｌの高さの変化率または変化のパターンに基づいて、遮蔽部分の高さを推定してもよい。例えば、遮蔽部分の近傍の運搬物Ｌの高さが、遮蔽部分に近づくほど低くなっている場合、制御装置１２４は、高さの変化率に基づいて遮蔽部分における運搬物Ｌの高さを近傍の高さより低い値に推定することができる。
　また、他の実施形態に係る制御装置１２４は、運搬物Ｌの安息角等の物理的性質に鑑みたシミュレーションにより、遮蔽部分における運搬物Ｌの高さを推定してもよい。また、他の実施形態に係る制御装置１２４は、ベッセルマップの各グリッドをセルとみなしたセルオートマトンに基づいて、遮蔽部分における運搬物Ｌの高さを決定論的に推定してもよい。
　また、他の実施形態に係る制御装置１２４は、ベッセルマップの補完を行わず、高さデータが欠損した部分を含むベッセルマップに係る情報を表示してもよい。
　図１１Ａは、ベッセルにおける運搬物の量の計算方法の第１の例を示す図である。図１１Ｂは、ベッセルにおける運搬物の量の計算方法の第２の例を示す図である。
　上述の実施形態に係るベッセルマップは、図１１Ａに示すように、ベッセル２１０の底面Ｌ１からベッセル２１０の積載上限に係る高さによって表されるが、これに限られない。
例えば、他の実施形態に係るベッセルマップは、図１１Ｂに示すように、底面を基準とした他の基準面Ｌ３からの運搬物Ｌの表面Ｌ２までの高さを表すものであってもよい。図１１Ｂに示す例では、基準面Ｌ３は、地表に平行かつ底面のうち最も地表に近い点を通る面である。この場合、オペレータは、ベッセル２１０の傾斜に関わらず、ベッセル２１０が満杯になるまでの運搬物Ｌの量を容易に認識することができる。
　また、上述の実施形態に係る制御装置１２４は、ベッセル２１０の底面と運搬物Ｌの表面とに基づいてベッセルマップを生成するが、これに限られない。例えば、他の実施形態に係る制御装置１２４は、ベッセル２１０の開口面と、運搬物の表面と、ベッセル２１０の底面から開口面までの高さとに基づいてベッセルマップを算出してもよい。すなわち、制御装置１２４は、ベッセル２１０の底面から開口面までの高さから、ベッセルの上端面のから運搬物Ｌの表面までの距離を減算することで、ベッセルマップを算出することができる。また、他の実施形態に係るベッセルマップは、ベッセル２１０の開口面を基準としたものであってもよい。
　また、上述した実施形態に係るガイダンス情報生成部１７０８は、特徴点特定モデルＭ１を用いて右目画像から特徴点を抽出するが、これに限られない。例えば、他の実施形態においては、ガイダンス情報生成部１７０８は、特徴点特定モデルＭ１を用いて左目画像から特徴点を抽出してもよい。
　本発明に係る運搬物特定装置は、投下対象における運搬物の分布を特定することができる。
１００…油圧ショベル　１１０…作業機　１２０…旋回体　１２１…運転室　１２２…ステレオカメラ　１２２１…右側カメラ　１２２２…左側カメラ　１２３…操作装置　１２４…制御装置　１２５…表示装置　１３０…走行体　９１…プロセッサ　９２…メインメモリ　９３…ストレージ　９４…インタフェース　１７０１…データ取得部　１７０２…特徴点特定部　１７０３…三次元データ生成部　１７０４…ベッセル特定部　１７０５…表面特定部　１７０６…分布特定部　１７０７…分布推定部　１７０８…ガイダンス情報生成部　１７０９…表示制御部　１７１０…種別特定部　２００…ダンプトラック　２１０…ベッセル　２１１…テールゲート　２１２…サイドゲート　２１３…フロントパネル　ＣＰ…カメラパラメータ　ＶＤ…ベッセルモデル　Ｍ１…特徴点特定モデル　Ｍ２…補完モデル　Ｍ３…種別特定モデル　Ｌ…運搬物

Claims (14)

  1. 　作業機械の運搬物の投下対象が写る撮像画像を取得する画像取得部と、
    　前記撮像画像に基づいて、前記投下対象の少なくとも一部の三次元位置を特定する投下対象特定部と、
    　前記撮像画像に基づいて、前記撮像画像の深度を表す三次元データである深度データを生成する三次元データ生成部と、
    　前記投下対象の少なくとも一部の三次元位置に基づいて、前記深度データから前記投下対象に対応する部分を除去することで、前記投下対象における前記運搬物の表面の三次元位置を特定する表面特定部と、
    　を備える作業機械の運搬物特定装置。
  2. 　前記撮像画像に基づいて、前記投下対象の特徴点の位置を特定する特徴点特定部を備え、
    　前記投下対象特定部は、前記特徴点の位置に基づいて、前記投下対象の少なくとも一部の三次元位置を特定する、
    　請求項１に記載の作業機械の運搬物特定装置。
  3. 　前記投下対象特定部は、前記投下対象の形状を示す三次元モデルである対象モデルと、前記撮像画像とに基づいて、前記投下対象の少なくとも一部の三次元位置を特定する
    　請求項１または請求項２に記載の作業機械の運搬物特定装置。
  4. 　前記表面特定部は、前記深度データのうち、前記投下対象の壁部で囲まれ、前記壁部の高さ方向に伸びる角柱領域内の三次元位置を抽出し、抽出された三次元位置のうち、前記投下対象に対応する部分を除去することで、前記運搬物の表面の三次元位置を特定する
    　請求項１から請求項３のいずれか１項に記載の作業機械の運搬物特定装置。
  5. 　前記投下対象における前記運搬物の表面の三次元位置と、前記投下対象の少なくとも一部の三次元位置とに基づいて、前記投下対象における運搬物の量の分布を示す分布情報を生成する分布特定部を備える
    　請求項１から請求項４のいずれか１項に記載の作業機械の運搬物特定装置。
  6. 　前記分布情報のうち障害物によって遮蔽された遮蔽部分における前記運搬物の量の分布を推定する分布推定部を備える
    　請求項５に記載の作業機械の運搬物特定装置。
  7. 　前記分布推定部は、一部の値が欠損した分布情報を入力することで、前記欠損した値を補完した分布情報を出力する学習済みモデルである補完モデルに、前記分布特定部が生成した前記分布情報を入力することで、前記遮蔽部分の値を補完した分布情報を生成する
    　請求項６に記載の作業機械の運搬物特定装置。
  8. 　前記分布推定部は、前記遮蔽部分の近傍の運搬物の三次元位置の変化率、または変化のパターンに基づいて、前記遮蔽部分の値を補完した分布情報を生成する
    　請求項６に記載の作業機械の運搬物特定装置。
  9. 　前記分布推定部は、前記運搬物の種別に基づいて、前記遮蔽部分における前記運搬物の量の分布を推定する
    　請求項６から請求項８のいずれか１項に記載の作業機械の運搬物特定装置。
  10. 　前記撮像画像は、ステレオカメラによって撮像された、少なくとも第１画像と第２画像を含むステレオ画像である
    　請求項１から請求項９のいずれか１項に記載の作業機械の運搬物特定装置。
  11. 　運搬物を運搬するための作業機と、
    　撮像装置と、
    　請求項１から請求項１０のいずれか１項に記載の運搬物特定装置と、
    　前記運搬物特定装置が特定した前記投下対象における運搬物に関する情報を表示する表示装置と、
    　を備える作業機械。
  12. 　作業機械の運搬物の投下対象が写る撮像画像を取得するステップと、
    　前記撮像画像に基づいて、前記投下対象の少なくとも一部の三次元位置を特定するステップと、
    　前記撮像画像に基づいて、前記撮像画像の深度を表す三次元データである深度データを生成するステップと、
    　前記投下対象の少なくとも一部の三次元位置に基づいて、前記深度データから前記投下対象に対応する部分を除去することで、前記投下対象における前記運搬物の表面の三次元位置を特定するステップと、
    　を備える作業機械の運搬物特定方法。
  13. 　一部の値が欠損した分布情報を入力することで、前記欠損した値を補完した分布情報を出力する補完モデルの生産方法であって、
    　作業機械の投下対象における運搬物の量の分布を示す分布情報と、前記分布情報のうち一部の値が欠損した不完全分布情報とを学習用データセットとして取得するステップと、
    　前記学習用データセットによって、前記不完全分布情報を入力値としたときに、前記分布情報が出力値となるように、前記補完モデルを学習させるステップと
    　を備える補完モデルの生産方法。
  14. 　学習部及び記憶部を備えるコンピュータに用いられ、前記記憶部に記憶される補完モデルを学習させるための学習用データセットであって、
    　作業機械の投下対象における運搬物の量の分布を示す分布情報と、前記分布情報のうち一部の値が欠損した不完全分布情報と、
    を含み、
    　前記学習部によって、前記補完モデルを学習させるための処理に用いられる
    　学習用データセット。
PCT/JP2019/028454 2018-08-31 2019-07-19 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット WO2020044848A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/260,069 US20210272315A1 (en) 2018-08-31 2019-07-19 Transport object specifying device of work machine, work machine, transport object specifying method of work machine, method for producing complementary model, and dataset for learning
DE112019003049.3T DE112019003049T5 (de) 2018-08-31 2019-07-19 Vorrichtung zur bestimmung von fracht, die von baumaschinen getragen wird, baumaschine, verfahren zur bestimmung von fracht, die von baumaschinen getragen wird, verfahren zur erstellung eines interpolationsmodells und datensatz zum lernen
CN201980050449.XA CN112513563B (zh) 2018-08-31 2019-07-19 作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-163671 2018-08-31
JP2018163671A JP7311250B2 (ja) 2018-08-31 2018-08-31 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット

Publications (1)

Publication Number Publication Date
WO2020044848A1 true WO2020044848A1 (ja) 2020-03-05

Family

ID=69645231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028454 WO2020044848A1 (ja) 2018-08-31 2019-07-19 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット

Country Status (5)

Country Link
US (1) US20210272315A1 (ja)
JP (1) JP7311250B2 (ja)
CN (1) CN112513563B (ja)
DE (1) DE112019003049T5 (ja)
WO (1) WO2020044848A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
US11953337B2 (en) * 2021-05-12 2024-04-09 Deere & Company System and method for assisted positioning of transport vehicles for material discharge in a worksite
US11965308B2 (en) 2021-05-12 2024-04-23 Deere & Company System and method of truck loading assistance for work machines
JP2023088646A (ja) * 2021-12-15 2023-06-27 株式会社小松製作所 バケットに保持された掘削物の安息角を算出するための方法、バケットに保持された掘削物の安息角を算出するためのシステム、及び積込機械

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01156606A (ja) * 1987-12-15 1989-06-20 Matsushita Electric Works Ltd 光干渉式形状測定装置
JPH11211438A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 荷台積載体積計測装置
JP2004061300A (ja) * 2002-07-29 2004-02-26 Asahi Shoji Ltd レーザー式角度検出装置、クランク軸のデフレクション計測装置、クランク軸のデフレクション計測方法及びクランク軸
WO2016092684A1 (ja) * 2014-12-12 2016-06-16 株式会社日立製作所 体積推定装置およびそれを用いた作業機械
WO2017208997A1 (ja) * 2016-05-31 2017-12-07 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3091648B2 (ja) * 1994-09-26 2000-09-25 沖電気工業株式会社 隠れマルコフモデルの学習方法
JP3038474B2 (ja) * 1998-09-11 2000-05-08 五洋建設株式会社 土運船における積載土量の計測方法及び装置
JP2005220633A (ja) * 2004-02-06 2005-08-18 Ohbayashi Corp ベルトコンベアの搬送土砂量検出装置およびその検出方法
JP5835881B2 (ja) * 2010-10-06 2015-12-24 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
CN104200657B (zh) * 2014-07-22 2018-04-10 杭州智诚惠通科技有限公司 一种基于视频和传感器的交通流量参数采集方法
JP6567940B2 (ja) * 2015-10-05 2019-08-28 株式会社小松製作所 施工管理システム
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
CN106839977B (zh) * 2016-12-23 2019-05-07 西安科技大学 基于光栅投影双目成像技术的盾构渣土体积实时测量方法
CN106885531B (zh) * 2017-04-20 2018-12-18 河北科技大学 基于二维激光雷达的车斗形容器三维扫描系统标定方法
CN107168324B (zh) * 2017-06-08 2020-06-05 中国矿业大学 一种基于anfis模糊神经网络的机器人路径规划方法
CN108332682A (zh) * 2018-02-06 2018-07-27 黑龙江强粮安装饰工程有限公司 新型粮仓动态储藏容重监控系统及监控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01156606A (ja) * 1987-12-15 1989-06-20 Matsushita Electric Works Ltd 光干渉式形状測定装置
JPH11211438A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 荷台積載体積計測装置
JP2004061300A (ja) * 2002-07-29 2004-02-26 Asahi Shoji Ltd レーザー式角度検出装置、クランク軸のデフレクション計測装置、クランク軸のデフレクション計測方法及びクランク軸
WO2016092684A1 (ja) * 2014-12-12 2016-06-16 株式会社日立製作所 体積推定装置およびそれを用いた作業機械
WO2017208997A1 (ja) * 2016-05-31 2017-12-07 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法

Also Published As

Publication number Publication date
CN112513563B (zh) 2023-01-13
DE112019003049T5 (de) 2021-03-11
US20210272315A1 (en) 2021-09-02
CN112513563A (zh) 2021-03-16
JP7311250B2 (ja) 2023-07-19
JP2020034527A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
WO2020044848A1 (ja) 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット
JP7365122B2 (ja) 画像処理システムおよび画像処理方法
US11414837B2 (en) Image processing system, display device, image processing method, method for generating trained model, and dataset for learning
US11494930B2 (en) Techniques for volumetric estimation
US11417008B2 (en) Estimating a volume of contents in a container of a work vehicle
US9990543B2 (en) Vehicle exterior moving object detection system
CN110805093B (zh) 利用视觉传感器进行反馈回路控制的容器角度感测
US8903689B2 (en) Autonomous loading
EP4186230A1 (en) Drivable surface identification techniques
KR20190120322A (ko) 작업 차량의 동작을 추정하기 위한 방법, 시스템, 학습된 분류 모델의 제조 방법, 학습 데이터, 및 학습 데이터의 제조 방법
US11591776B2 (en) Earth-moving machine sensing and control system
CN104302848A (zh) 用于挖掘机的俯视图系统
US20150046044A1 (en) Method for selecting an attack pose for a working machine having a bucket
US20120114181A1 (en) Vehicle pose estimation and load profiling
JP7283332B2 (ja) 容器計測システム
Guevara et al. Point cloud-based estimation of effective payload volume for earthmoving loaders
JP2014228941A (ja) 地表面３次元サーフェス形状計測装置、走行可能領域検出装置およびそれを搭載した建設機械並びに走行可能領域検出方法
CN117765074A (zh) 一种卡车料斗位姿检测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854918

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19854918

Country of ref document: EP

Kind code of ref document: A1