WO2022190484A1 - 容器計測システム - Google Patents

容器計測システム Download PDF

Info

Publication number
WO2022190484A1
WO2022190484A1 PCT/JP2021/044236 JP2021044236W WO2022190484A1 WO 2022190484 A1 WO2022190484 A1 WO 2022190484A1 JP 2021044236 W JP2021044236 W JP 2021044236W WO 2022190484 A1 WO2022190484 A1 WO 2022190484A1
Authority
WO
WIPO (PCT)
Prior art keywords
container
dimensional
unit
distance image
calculated
Prior art date
Application number
PCT/JP2021/044236
Other languages
English (en)
French (fr)
Inventor
幸広 細
翔 藤原
進軍 邱
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP21930330.2A priority Critical patent/EP4269710A1/en
Priority to US18/264,840 priority patent/US20240112459A1/en
Priority to CN202180092376.8A priority patent/CN116761919A/zh
Publication of WO2022190484A1 publication Critical patent/WO2022190484A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a container measurement system that calculates three-dimensional information of containers.
  • Patent Document 1 describes a technique for calculating three-dimensional information of a container.
  • four characteristic points of the container are photographed by a camera, and the three-dimensional position of each characteristic point is calculated.
  • Patent Document 1 With the technology described in Patent Document 1, it is difficult to stably calculate the three-dimensional information of the feature points when the feature points cannot be properly captured by the camera. As a result, it becomes difficult to stably calculate the three-dimensional information of the container.
  • An object of the present invention is to provide a container measurement system that can accurately calculate three-dimensional information on containers.
  • the container measurement system is provided in a work machine that performs a loading operation to a container, and includes a distance image acquisition unit capable of acquiring a distance image of the container, and a three-dimensional image of the container based on the acquired distance image.
  • a calculation unit that calculates three-dimensional information including positions and three-dimensional shapes; a storage unit that stores a plurality of types of three-dimensional shapes of the containers; the three-dimensional shapes of the containers calculated by the calculation unit; a specifying unit for specifying the calculated type of the container based on the three-dimensional shapes of the plurality of types of containers stored by the unit; and based on the three-dimensional shape of the container of the type specified by the specifying unit.
  • a correction unit that corrects the three-dimensional information of the container calculated by the calculation unit.
  • FIG. 1 is a side view of a transport vehicle and work machine according to one embodiment of the present invention.
  • FIG. 2 is a diagram of the transportation vehicle viewed from the work machine according to one embodiment of the present invention.
  • FIG. 3 is a block diagram of a container measurement system according to one embodiment of the invention.
  • FIG. 4 is a diagram showing three-dimensional information of a container according to one embodiment of the present invention.
  • FIG. 5 is an explanatory diagram of a feature point checking method according to an embodiment of the present invention.
  • FIG. 6 is a diagram showing a first superimposed image of the container measuring system according to one embodiment of the present invention.
  • FIG. 7 is a diagram showing a second superimposed image of the container measuring system according to one embodiment of the present invention.
  • FIG. 8 is a flowchart of container measurement processing according to one embodiment of the present invention.
  • FIG. 1 is a side view of a transport vehicle 10 and a working machine 20 according to this embodiment.
  • transport vehicle 10 is a vehicle having containers 12 .
  • the transport vehicle 10 is a vehicle for transporting an object (loading object) loaded by the working machine 20, and may be a dump truck or a truck.
  • the transport vehicle 10 has a main body 11 and a container 12.
  • the body portion 11 can travel on the ground and supports the container 12 .
  • the body portion 11 has a driver's cab 11a.
  • the container 12 is arranged on the rear side of the transport vehicle 10 relative to the driver's cab 11a.
  • the container 12 is the carrier of the transport vehicle 10.
  • the container 12 has, for example, a box-like shape without a lid (see FIG. 2).
  • the container 12 has a flat portion 13 .
  • the container 12 accommodates objects to be loaded.
  • the object to be loaded contained in the container 12 may be, for example, earth and sand, or waste (industrial waste, etc.).
  • the container 12 may be movable with respect to the body portion 11 or may be fixed to the body portion 11 . Note that the container 12 may not be the loading platform of the transport vehicle 10, and may be placed directly on the ground, for example.
  • the direction from the driver's cab 11a to the container 12 is referred to as the "transporter rearward direction”
  • the direction from the container 12 to the driver's cab 11a is referred to as the "transporter forward direction”.
  • FIG. 2 is a diagram of the transportation vehicle 10 viewed from the work machine 20 according to this embodiment.
  • the planar portion 13 is a planar or substantially planar portion of the container 12 .
  • the planar portion 13 may be planar or substantially planar as a whole.
  • the plane portion 13 may have unevenness or may have a gently curved surface.
  • the plane portion 13 has a floor surface 13a, a rear flap surface 13b, a side flap surface 13c, and a torii gate surface 13d.
  • the floor surface 13 a is the bottom surface (lower surface) of the container 12 .
  • the rear fan plate surface 13b is a side surface of the container 12 on the rear side of the transport vehicle, and protrudes upward from a portion of the floor surface 13a on the rear side of the transport vehicle.
  • the side tilt plate surfaces 13c are the left and right side surfaces of the container 12, and protrude upward from the left and right ends of the floor surface 13a.
  • the torii surface 13d is a side surface of the container 12 on the front side of the transport vehicle, and protrudes upward from a portion of the floor surface 13a on the front side of the transport vehicle.
  • the torii surface 13d protrudes upward from the side flap surface 13c and protrudes upward from the rear flap surface 13b.
  • the work machine 20 is a machine that performs an operation (loading operation) of loading objects into the container 12 .
  • the work machine 20 may, for example, be capable of scooping up an object to be loaded, or may be capable of pinching and grasping an object to be loaded.
  • the work machine 20 is, for example, a construction machine that performs construction work, such as a hydraulic excavator.
  • the working machine 20 has a lower traveling body 21, an upper revolving body 23, and an attachment 25.
  • the lower traveling body 21 causes the work machine 20 to travel.
  • the undercarriage 21 has crawlers, for example.
  • the upper revolving body 23 is rotatably mounted on the lower traveling body 21 .
  • the upper revolving body 23 has a cab 23a.
  • the attachment 25 is a part that moves the object to be loaded.
  • the attachment 25 has a boom 25a, an arm 25b, and a tip attachment 25c.
  • the boom 25a is attached to the upper revolving body 23 so as to be able to rise and fall (rotatable up and down).
  • the arm 25b is rotatably (pushable and pullable) attached to the boom 25a.
  • the tip attachment 25c is provided at the tip of the attachment 25 and rotatably attached to the arm 25b.
  • the tip attachment 25c may be a bucket that scoops up an object to be loaded (e.g. earth and sand), or a device (such as a grapple) that pinches and grips the object to be loaded.
  • the container measurement system is a system that measures three-dimensional information (three-dimensional information) of the container 12 .
  • Three-dimensional information of the container 12 is information including a three-dimensional position (three-dimensional coordinates) and a three-dimensional shape.
  • the container metrology system measures the position, orientation, and shape of container 12 relative to work machine 20 .
  • a predetermined origin reference point
  • work machine 20 is set on work machine 20 .
  • FIG. 3 is a block diagram of the container measurement system 30.
  • the container measurement system 30 includes a distance image acquisition section 40 , a display (display device) 50 , a controller 60 and a data storage section 70 .
  • a distance image acquisition unit (distance image acquisition unit) 40 acquires a distance image D including the container 12 as shown in FIG.
  • the distance image D is an image including distance information (depth information). That is, the distance image D corresponds to the distribution of the distances of the measurement points around the work machine 20 from the origin.
  • a distance image acquisition unit 40 is provided in the work machine 20 .
  • the distance image acquiring unit 40 is arranged at a position where the distance image D of the container 12 and the peripheral portion of the container 12 can be acquired when the working machine 20 performs the loading operation.
  • the distance image acquisition unit 40 may be arranged (installed) inside the cab 23a, or may be arranged outside the cab 23a, and is arranged on the upper surface of the cab 23a in the example shown in FIG. Note that the distance image acquiring unit 40 may automatically track the container 12 so that the distance image D of the container 12 can be acquired.
  • the distance image acquisition section 40 has a two-dimensional information acquisition section 42 and a three-dimensional information acquisition section 43 .
  • the two-dimensional information acquisition unit 42 acquires (captures) two-dimensional information (image) including the container 12 .
  • the two-dimensional information acquisition unit 42 is a camera or the like.
  • the three-dimensional information acquisition unit 43 acquires three-dimensional information (point cloud data) of the container 12 .
  • the three-dimensional information acquisition unit 43 measures distances from the three-dimensional information acquisition unit 43 to each part of the container 12 (details will be described later).
  • the three-dimensional information acquisition unit 43 may include LiDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging), may include a stereo camera, or may include a TOF (Time Of Flight) sensor.
  • the display 50 may be provided in the driver's cab 11 a of the transport vehicle 10 , may be provided in the cab 23 a of the work machine 20 , or may be provided outside the transport vehicle 10 and outside the work machine 20 .
  • the controller 60 performs signal input/output, determination, computation such as calculation, and information storage.
  • the controller 60 has an image processing unit 61, a position coordinate estimation unit 62, a three-dimensional coordinate acquisition unit 63, a coordinate conversion unit 64, a first superimposition unit 65, and a feature point position detection unit 66.
  • the image processing unit 61 preprocesses the image acquired by the two-dimensional information acquisition unit 42 . Preprocessing is processing for removing noise from an image or enhancing edges in the image.
  • the position coordinate estimation unit 62 estimates the shape of the container 12 from the image preprocessed by the image processing unit 61 . Specifically, as shown in FIG. 2, the position coordinate estimation unit 62 extracts (recognizes, recognizes, presume. The position coordinate estimator 62 extracts the feature points F and the links L, for example, by executing a program for extracting a specific shape from the image. For example, this program uses deep learning technology. Thereby, the position coordinate estimation unit 62 acquires two-dimensional information including the image including the container 12, the position of the feature point F in the image, and the position of the link L in the image.
  • the feature point F is a point corresponding to the corner of the plane portion 13.
  • a link L is a line segment connecting the feature points F, and corresponds to a side of the flat portion 13, for example.
  • the position of the feature point F is the position of two points (F1, F2) at the upper end of the torii surface 13d, and the position of two points ( F3, F4), and four corner positions (F5 to F8) of the rear flap plate surface 13b.
  • the position of the lower end of the torii plane 13d may be extracted as the feature point F (see FIG. 1).
  • the positions of the links L respectively correspond to the positions (L1 to L4) of the four sides of the quadrangle above the side gate plate surface 13c of the torii surface 13d.
  • the positions of the links L are the positions of the upper sides (L5, L6) of the side flap surface 13c and the four sides of the rear flap surface 13b (more specifically, the four sides of a quadrangle substantially overlapping the rear flap surface 13b). sides) (L7 to L10), respectively.
  • the three-dimensional coordinate acquisition unit 63 acquires the three-dimensional coordinates of each piece of point cloud data captured by the three-dimensional information acquisition unit 43.
  • the coordinate transformation unit 64 performs perspective projection transformation on the three-dimensional coordinates of each piece of point cloud data to obtain two-dimensional coordinates of each piece of point cloud data.
  • the coordinate system of the two-dimensional coordinates matches the coordinate system of the image acquired by the two-dimensional information acquiring section 42 .
  • the first superimposition unit 65 superimposes the two-dimensional coordinates of each point cloud data acquired by the coordinate conversion unit 64 and the shape of the container 12 estimated by the position coordinate estimation unit 62 . As a result, points corresponding to the feature points F shown in FIG. 2 can be found from the point cloud data.
  • the two-dimensional coordinates of each piece of point cloud data may be superimposed on the estimated shape of the container 12 using a coordinate system such as machine coordinates.
  • Machine coordinates are coordinates with a specific position of work machine 20 as the origin.
  • the coordinate system of machine coordinates is used, the coordinate system of each two-dimensional coordinate of the point cloud data is matched with the coordinate system of machine coordinates, and the coordinate system of the image acquired by the two-dimensional information acquisition unit 42 is changed to the machine coordinate system. to match the coordinate system of (align each other's relative positions).
  • a feature point position detection unit (calculation unit) 66 detects (calculates) the three-dimensional coordinates of the feature points F and the links L shown in FIG. Specifically, the feature point position detection unit 66 detects the three-dimensional coordinates of points corresponding to the feature points F shown in FIG. By doing so, the three-dimensional coordinates of the corner of the plane portion 13 corresponding to the position of the feature point F are calculated. As a result, the three-dimensional information of the link L connecting the feature points F is also calculated. Through this calculation, three-dimensional information of the container 12 (specifically, the feature points F and the links L) is obtained.
  • FIG. 4 shows three-dimensional information of the container 12 detected by the feature point position detection unit 66.
  • FIG. 4 shows three-dimensional information of the container 12 detected by the feature point position detection unit 66.
  • FIG. 4 shows three-dimensional information of the container 12 detected by the feature point position detection unit 66.
  • FIG. 4 shows three-dimensional information of the container 12 detected by the feature point position detection unit 66.
  • FIG. 4 among eight feature points F (F1 to F8), there is an error in the three-dimensional information of the feature point F1, as circled.
  • feature points F F1 to F8
  • the controller 60 includes a container shape detection unit 67, a container identification unit 68, a feature point correction unit 69, a second superimposition unit 71, a third superimposition unit 72, and a display control unit. 73 and .
  • the container shape detection unit 67 detects the three-dimensional shape of the container 12 from the three-dimensional coordinates of the feature points F calculated by the feature point position detection unit 66 and the three-dimensional information of the links L.
  • the container shape detection unit 67 checks each of the eight feature points F (F1 to F8) in the detected three-dimensional shape of the container 12. Then, if there are three or more feature points F with correct three-dimensional coordinates, the container shape detection unit 67 adopts the detected three-dimensional shape of the container 12 . On the other hand, if the number of feature points F with correct three-dimensional coordinates is less than three, the container shape detection unit 67 rejects the detected three-dimensional shape of the container 12 . In this case, the detection (calculation) of the three-dimensional coordinates of the feature point F and the link L by the feature point position detection unit 66 is redone.
  • FIG. 5 is an explanatory diagram of a feature point checking method. As shown in FIG. 5, with the feature point F1 as a reference, the inner product of a vector A directed from the feature point F1 to the feature point F2 and a vector B directed from the feature point F1 to the feature point F3 is taken. Assuming that the angle between the vectors is ⁇ , it is determined whether cos ⁇ is 0 or not.
  • the inner product of a vector C directed from the feature point F2 to the feature point F4 and a vector (-A) directed from the feature point F2 to the feature point F1 (a vector in the opposite direction to the vector A). take. Then, similar determination is made. Such determination is performed for each of the eight feature points F1 to F8.
  • the data storage unit (storage unit) 70 stores in advance the three-dimensional shapes of multiple types of containers.
  • a container identifying unit (identifying unit) 68 identifies the calculated type of the container 12 based on the calculated three-dimensional shape of the container 12 and the three-dimensional shapes of a plurality of types of containers stored in the data storage unit 70. do.
  • the container identifying unit 68 selects a container having a three-dimensional shape that is closest to the calculated three-dimensional shape of the container 12 from among the three-dimensional shapes of a plurality of types of containers stored in the data storage unit 70. , to identify the container type.
  • the three-dimensional shape of the container 12 calculated from the distance image matches the three-dimensional shape of the container 12 among the three-dimensional shapes of the plurality of types of containers stored in the data storage unit 70. There may not be a three-dimensional container that Even in such a case, the type of the container 12 can be preferably specified by selecting a container having a three-dimensional shape that is closest to the calculated three-dimensional shape of the container 12 .
  • a feature point correction unit (correction unit) 69 calculates the cubic shape of the container 12 based on the three-dimensional shape of the specified type of container among the three-dimensional shapes of the plurality of types of containers stored in the data storage unit 70. Correct the original information. By correcting the three-dimensional information of the container 12 in this way, even if the three-dimensional information of the container 12 calculated from the distance image contains an error, the three-dimensional information of the container 12 can be accurately calculated.
  • the three-dimensional information of the container 12 can be used for various controls. For example, it may be used for autopiloting the work machine 20 or may be used for assisting the operation of the work machine 20 . In addition, control for avoiding collision between the working machine 20 and the container 12, control for automatically changing the relative position between the working machine 20 and the container 12, and the relative position between the working machine 20 and the container 12 are controlled by the operator. It may be used for notification control or the like. It may also be used to calculate the trajectory of the tip attachment 25c from the current position of the tip attachment 25c to the position at which the object to be loaded is released (the release position (for example, the unloading position)).
  • the release position for example, the unloading position
  • a second superimposition unit (superimposition unit) 71 superimposes the image preprocessed by the image processing unit 61 and the corrected three-dimensional information of the container 12 to form a first superimposed image.
  • an AR marker 80 is provided as a mark at the corner of the planar portion 13 corresponding to the position of the feature point F5.
  • the second superimposing unit 71 aligns the image with the corrected three-dimensional position of the container 12 with reference to the AR marker 80 . Then, the aligned images are superimposed to form a first superimposed image.
  • the mark for alignment may be a light (such as an LED) that lights up.
  • the image and the corrected three-dimensional position of the container 12 are aligned with the AR marker 80 as a reference.
  • the accuracy of alignment can be improved, and the load required for alignment processing can be reduced.
  • the third superimposing unit (superimposing unit) 72 superimposes the point cloud data acquired by the three-dimensional coordinate acquiring unit 63 and the corrected three-dimensional information of the container 12 to form a second superimposed image. do.
  • the third superimposing unit 72 aligns the point cloud data and the corrected three-dimensional information of the container 12, and then superimposes both to obtain a second superimposed image. Note that alignment may be performed using an AR marker or the like as a mark.
  • the display control unit (display control unit) 73 causes the display 50 to display the first superimposed image created by the second superimposing unit 71 .
  • FIG. 6 is an example of the first superimposed image.
  • the display control unit 73 also causes the display 50 to display the second superimposed image created by the third superimposing unit 72 .
  • FIG. 7 is an example of the second superimposed image.
  • the operator when the operator remotely operates the work machine 20, the operator can perceive the depth up to the container 12 by viewing the first superimposed image and the second superimposed image.
  • FIG. 8 is a flowchart of container measurement processing. Next, operation of the container measuring system 30 will be described with reference to FIG.
  • the controller 60 acquires an image from the two-dimensional information acquisition unit 42 (step S1), and preprocesses the acquired image (step S2). Then, the controller 60 estimates the shape of the container 12 from the preprocessed image using deep learning technology or the like (step S3).
  • the controller 60 acquires point cloud data from the three-dimensional information acquisition unit 43 (step S4), and acquires the three-dimensional coordinates of each of the acquired point cloud data (step S5). Then, the controller 60 performs perspective projection transformation on the three-dimensional coordinates of each piece of point cloud data to obtain two-dimensional coordinates of each piece of point cloud data (step S6).
  • the controller 60 superimposes the two-dimensional coordinates of each piece of point cloud data and the shape of the container 12 (step S7).
  • the controller 60 then calculates the three-dimensional coordinates of the feature point F and the link L (step S8).
  • the controller 60 detects the three-dimensional shape of the container 12 from the three-dimensional coordinates of the feature points F and the three-dimensional information of the links L (step S9).
  • step S10 the controller 60 checks each of the eight feature points F (F1 to F8) (step S10). Then, the controller 60 determines whether or not there are three or more feature points F with correct three-dimensional coordinates (step S11). In step S11, if it is determined that there are not three or more feature points F with correct three-dimensional coordinates (S11: NO), the controller 60 returns to step S8 to determine the three-dimensional coordinates of feature points F and links L. Redo the calculation.
  • step S11 when it is determined in step S11 that there are three or more feature points F with correct three-dimensional coordinates (YES in step S11), the controller 60 stores the calculated three-dimensional shape of the container 12 and the data stored.
  • the type of the container 12 is identified based on the three-dimensional shapes of the plurality of types of containers stored in the unit 70 (step S12). Then, the controller 60 corrects the calculated three-dimensional information of the container 12 based on the three-dimensional shape of the identified type of container (step S13).
  • the controller 60 creates a first superimposed image and a second superimposed image (step S14). Specifically, the controller 60 superimposes the preprocessed image and the corrected three-dimensional information of the container 12 to form a first superimposed image. Further, the controller 60 superimposes the acquired point cloud data and the corrected three-dimensional information of the container 12 to obtain a second superimposed image.
  • controller 60 causes the display 50 to display the first superimposed image and the second superimposed image (step S15). Then, this flow ends.
  • three-dimensional information including the three-dimensional position and three-dimensional shape of the container 12 is calculated based on the obtained distance image of the container 12. be. Then, based on the calculated three-dimensional shape of the container 12 and the three-dimensional shapes of the plurality of types of containers stored in the data storage unit 70, the calculated type of the container 12 is specified. Once the type of the container 12 is specified, the calculated three-dimensional information of the container 12 is corrected based on the three-dimensional shape of the specified type of container. By correcting the three-dimensional information of the container 12 in this way, even if there is an error in the three-dimensional information of the container 12 calculated from the distance image of the container 12, the three-dimensional information of the container 12 can be accurately calculated. can be done.
  • the calculated container 12 type is specified. If there is an error in the three-dimensional information of the container 12 calculated from the distance image of the container 12, the three-dimensional shape of the container 12 calculated from the distance image is included in the three-dimensional shapes of the plurality of types of containers stored in the data storage unit 70. Sometimes there is no container with a three-dimensional shape that matches the original shape. Even in such a case, by selecting a container having a three-dimensional shape that is closest to the calculated three-dimensional shape of the container 12, the calculated type of the container 12 can be preferably specified.
  • the corrected three-dimensional information of the container 12 is superimposed on the distance image to form a superimposed image (the 1 superimposed image, 2nd superimposed image).
  • a superimposed image is then displayed on the display 50 .
  • the operator can recognize the depth feeling up to the container 12 by visually recognizing the superimposed image.
  • the distance image of the container 12 and the corrected three-dimensional position of the container 12 are aligned with the mark (AR marker 80) provided on the container 12 as a reference.
  • the accuracy of alignment can be improved, and the load required for alignment processing can be reduced.
  • the embodiment merely exemplifies a specific example of the present invention, and does not particularly limit the present invention. be. Further, the actions and effects described in the embodiments of the invention are merely enumerations of the most suitable actions and effects resulting from the present invention, and the actions and effects of the present invention are described in the embodiments of the invention. are not limited to those listed.
  • the container measurement system is provided in a work machine that performs a loading operation to a container, and includes a distance image acquisition unit capable of acquiring a distance image of the container, and a three-dimensional image of the container based on the acquired distance image.
  • a calculation unit that calculates three-dimensional information including positions and three-dimensional shapes; a storage unit that stores a plurality of types of three-dimensional shapes of the containers; the three-dimensional shapes of the containers calculated by the calculation unit; a specifying unit for specifying the calculated type of the container based on the three-dimensional shapes of the plurality of types of the containers stored in the unit; and a three-dimensional shape of the container of the type specified by the specifying unit.
  • a correcting unit that corrects the three-dimensional information of the container calculated by the calculating unit based on.
  • the specifying unit selects the three-dimensional shape closest to the three-dimensional shape of the container calculated by the calculation unit from among the plurality of types of three-dimensional shapes of the container stored in the storage unit. By selecting the shape of the container, the calculated type of the container may be specified.
  • the apparatus may further include a superimposing unit that superimposes the three-dimensional information of the container on the distance image to generate a superimposed image, and a display control unit that displays the superimposed image on the display device.
  • a mark provided on the container so as to be included in the distance image is further provided, and the superimposing unit uses the mark as a reference to generate the distance image and the corrected three-dimensional position of the container. and may be aligned with each other.
  • three-dimensional information including the three-dimensional position and three-dimensional shape of the container is calculated based on the obtained range image of the container.
  • the calculated container type is specified based on the calculated three-dimensional shape of the container and the three-dimensional shapes of the plurality of types of containers stored in the storage unit.
  • the calculated three-dimensional information of the container is corrected based on the three-dimensional shape of the specified type of container.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

容器の三次元情報を正確に算出することが可能な容器計測システムを提供する。容器計測システムは、容器への積込作業を行う作業機械に設けられ、容器の距離画像を取得可能な距離画像取得部（４０）と、取得された距離画像に基づいて、容器の三次元位置および三次元形状を含む三次元情報を算出する算出部（６６）と、複数種類の容器の三次元形状を記憶する記憶部（７０）と、算出された容器の三次元形状と、記憶部（７０）が記憶する複数種類の容器の三次元形状とに基づいて、算出された容器の種類を特定する特定部（６８）と、特定された種類の容器の三次元形状に基づいて、算出された容器の三次元情報を補正する補正部（６９）と、を備える。

Description

容器計測システム
　本発明は、容器の三次元情報を算出する容器計測システムに関する。
　例えば特許文献１に、容器の三次元情報を算出する技術が記載されている。同文献に記載の技術では、容器の４つの特徴点をカメラで撮影し、各特徴点の三次元位置が算出される。
特開２０００－０６４３５９号公報
　特許文献１に記載された技術では、特徴点をカメラで適切に撮影できない場合などにおいて、特徴点の三次元情報を安定して算出することが困難である。この結果、容器の三次元情報を安定して算出することが困難になる。
　そこで、公知のディープラーニング技術を用いて特徴点の抽出を行うことで、上記のように特徴点をカメラで適切に撮影できない場合であっても、特徴点の三次元情報を算出することが考えられる。しかし、ディープラーニング技術を用いても、特徴点を正確に抽出することができない場合がある。
　本発明の目的は、容器の三次元情報を正確に算出することが可能な容器計測システムを提供することにある。
　本発明によって提供されるのは、容器計測システムである。当該容器計測システムは、容器への積込作業を行う作業機械に設けられ、前記容器の距離画像を取得可能な距離画像取得部と、取得された前記距離画像に基づいて、前記容器の三次元位置および三次元形状を含む三次元情報を算出する算出部と、複数種類の前記容器の三次元形状を記憶する記憶部と、前記算出部によって算出された前記容器の三次元形状と、前記記憶部が記憶する複数種類の前記容器の三次元形状とに基づいて、前記算出された前記容器の種類を特定する特定部と、前記特定部によって特定された種類の前記容器の三次元形状に基づいて、前記算出部によって算出された前記容器の三次元情報を補正する補正部と、を備える。
図１は、本発明の一実施形態に係る輸送車および作業機械の側面図である。 図２は、本発明の一実施形態に係る作業機械から輸送車を見た図である。 図３は、本発明の一実施形態に係る容器計測システムのブロック図である。 図４は、本発明の一実施形態に係る容器の三次元情報を示す図である。 図５は、本発明の一実施形態に係る特徴点のチェック方法の説明図である。 図６は、本発明の一実施形態に係る容器計測システムの第１重畳画像を示す図である。 図７は、本発明の一実施形態に係る容器計測システムの第２重畳画像を示す図である。 図８は、本発明の一実施形態に係る容器計測処理のフローチャートである。
　以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。
　（輸送車の構成）
　本発明の一実施形態による容器計測システムは、容器の三次元情報を算出するものである。図１は、本実施形態に係る輸送車１０および作業機械２０の側面図である。図１に示すように、輸送車１０は、容器１２を有する車両である。輸送車１０は、作業機械２０によって積み込まれた物（積込対象物）を輸送するための車両であり、ダンプカーでもよく、トラックでもよい。
　輸送車１０は、本体部１１と、容器１２と、を有する。本体部１１は、地上を走行可能であり、容器１２を支持する。本体部１１は、運転室１１ａを有する。容器１２は、運転室１１ａよりも、輸送車１０における後側に配置される。
　容器１２は、輸送車１０の荷台である。容器１２は、例えば蓋を有さない箱形などの形状を有する（図２参照）。容器１２は、平面部１３を備える。容器１２は、積込対象物を収容する。容器１２に収容される積込対象物は、例えば、土砂でもよく、廃棄物（産業廃棄物など）でもよい。容器１２は、本体部１１に対して可動式のものでもよく、本体部１１に固定されてもよい。なお、容器１２は、輸送車１０の荷台でなくてもよく、例えば地面などに直接置かれるものでもよい。
　以下では、輸送車１０に関する方向について、運転室１１ａから容器１２に向かう方向を「輸送車後方向」、容器１２から運転室１１ａに向かう方向を「輸送車前方向」という。
　図２は、本実施形態に係る作業機械２０から輸送車１０を見た図である。図２に示すように、平面部１３は、容器１２のうち、平面状または略平面状の部分である。平面部１３は、全体として平面状または略平面状であればよい。平面部１３は、凹凸を有してもよく、緩やかな曲面を有してもよい。
　平面部１３は、床面１３ａと、後部あおり板面１３ｂと、側部あおり板面１３ｃと、鳥居面１３ｄと、を有する。床面１３ａは、容器１２の底面（下側の面）である。後部あおり板面１３ｂは、容器１２の輸送車後側の側面であり、床面１３ａの輸送車後側の部分から上に突出する。側部あおり板面１３ｃは、容器１２の左右の側面であり、床面１３ａの左右の端部から上に突出する。鳥居面１３ｄは、容器１２の輸送車前側の側面であり、床面１３ａの輸送車前側の部分から上に突出する。鳥居面１３ｄは、側部あおり板面１３ｃよりも上方に突出し、後部あおり板面１３ｂよりも上方に突出している。
　（作業機械の構成）
　図１に示すように、作業機械２０は、容器１２に積込対象物を積み込む作業（積込作業）を行う機械である。作業機械２０は、例えば、積込対象物をすくうことが可能でもよく、積込対象物を挟んで掴むことが可能なものでもよい。作業機械２０は、例えば建設作業を行う建設機械であり、例えば油圧ショベルなどである。
　作業機械２０は、下部走行体２１と、上部旋回体２３と、アタッチメント２５と、を有する。下部走行体２１は、作業機械２０を走行させる。下部走行体２１は、例えばクローラを有する。上部旋回体２３は、下部走行体２１に旋回可能に搭載される。上部旋回体２３は、キャブ２３ａを有する。
　アタッチメント２５は、積込対象物を移動させる部分である。アタッチメント２５は、ブーム２５ａと、アーム２５ｂと、先端アタッチメント２５ｃと、を有する。ブーム２５ａは、上部旋回体２３に起伏可能（上下に回転可能）に取り付けられる。アーム２５ｂは、ブーム２５ａに回転可能（押し引き可能）に取り付けられる。先端アタッチメント２５ｃは、アタッチメント２５の先端部に設けられ、アーム２５ｂに回転可能に取り付けられる。先端アタッチメント２５ｃは、積込対象物（例えば土砂）をすくうバケットでもよく、積込対象物を挟んで掴む装置（グラップルなど）でもよい。
　（容器計測システムの構成）
　容器計測システムは、容器１２の三次元の情報（三次元情報）を計測するシステムである。「容器１２の三次元情報」は、三次元位置（三次元座標）および三次元形状を含む情報である。容器計測システムは、作業機械２０に対する容器１２の位置、方向、および形状を計測する。一例として、作業機械２０に所定の原点（基準点）が設定される。
　図３は、容器計測システム３０のブロック図である。図３に示すように、容器計測システム３０は、距離画像取得部４０と、ディスプレイ（表示装置）５０と、コントローラ６０と、データ格納部７０と、を備える。
　距離画像取得部（距離画像取得部）４０は、図２に示すような、容器１２を含む距離画像Ｄを取得する。距離画像Ｄは、距離の情報（奥行の情報）を含む画像である。すなわち、距離画像Ｄは、作業機械２０の周辺における各測定点の前記原点に対する距離の分布に相当する。距離画像取得部４０は、作業機械２０に設けられる。距離画像取得部４０は、作業機械２０が積込作業を行う際に、容器１２および容器１２の周辺部の距離画像Ｄを取得可能となる位置に配置される。距離画像取得部４０は、例えば、キャブ２３ａの内部に配置（設置）されてもよく、キャブ２３ａの外部に配置されてもよく、図１に示す例ではキャブ２３ａの上面に配置される。なお、距離画像取得部４０は、容器１２の距離画像Ｄを取得できるように、容器１２を自動追尾してもよい。
　図３に示すように、距離画像取得部４０は、二次元情報取得部４２と、三次元情報取得部４３と、を有する。二次元情報取得部４２は、容器１２を含む二次元の情報（画像）を取得する（撮像する）。二次元情報取得部４２は、カメラなどである。
　三次元情報取得部４３は、容器１２の三次元の情報（点群データ）を取得する。三次元情報取得部４３は、三次元情報取得部４３から容器１２の各部（詳細は後述）までの距離を計測する。具体的には例えば、三次元情報取得部４３は、ＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）を備えてもよく、ステレオカメラを備えてもよく、ＴＯＦ（Time Of Flight）センサを備えてもよい。
　ディスプレイ５０は、輸送車１０の運転室１１ａに設けられてもよく、作業機械２０のキャブ２３ａに設けられてもよく、輸送車１０の外部かつ作業機械２０の外部に設けられてもよい。
　コントローラ６０は、信号の入出力、判定、算出などの演算、情報の記憶などを行う。コントローラ６０は、画像処理部６１と、位置座標推定部６２と、三次元座標取得部６３と、座標変換部６４と、第１重畳部６５と、特徴点位置検出部６６と、を有している。
　画像処理部６１は、二次元情報取得部４２が取得した画像の前処理を行う。前処理は、画像からノイズを除去したり、画像内のエッジを強調したりする処理である。
　位置座標推定部６２は、画像処理部６１で前処理された画像から、容器１２の形状を推定する。具体的には、図２に示すように、位置座標推定部６２は、特徴点Ｆ（Ｆ１～Ｆ８）の画像における位置、および、リンクＬ（Ｌ１～Ｌ９）の画像における位置を抽出（認識、推定）する。位置座標推定部６２は、例えば、画像から特定の形状を抽出するプログラムを実行することで、特徴点ＦおよびリンクＬを抽出する。例えば、このプログラムは、ディープラーニング技術を用いたものである。これにより、位置座標推定部６２は、容器１２を含む画像、特徴点Ｆの画像における位置、および、リンクＬの画像における位置を含む二次元情報を取得する。
　図２に示すように、特徴点Ｆは、平面部１３の角に対応する点である。リンクＬは、特徴点Ｆ同士を結んだ線分であり、例えば平面部１３の辺に対応する。図２に示す例では、特徴点Ｆの位置は、鳥居面１３ｄの上端の２点の位置（Ｆ１、Ｆ２）、側部あおり板面１３ｃ・１３ｃの輸送車前側の上端の２点の位置（Ｆ３、Ｆ４）、および、後部あおり板面１３ｂの角の４点の位置（Ｆ５～Ｆ８）にそれぞれ対応する。例えば鳥居面１３ｄの下端が画像に映っている場合は、鳥居面１３ｄ下端の位置が特徴点Ｆとして抽出されてもよい（図１参照）。
　図２に示す例では、リンクＬの位置は、鳥居面１３ｄのうち側部あおり板面１３ｃよりも上側部分の四角形の４辺の位置（Ｌ１～Ｌ４）にそれぞれ対応する。また、リンクＬの位置は、側部あおり板面１３ｃの上辺の位置（Ｌ５、Ｌ６）、および、後部あおり板面１３ｂの４辺（さらに詳しくは、後部あおり板面１３ｂとほぼ重なる四角形の４辺）（Ｌ７～Ｌ１０）にそれぞれ対応する。
　図３に戻って、三次元座標取得部６３は、三次元情報取得部４３が撮像した点群データの各々の三次元座標を取得する。座標変換部６４は、点群データの各々の三次元座標を透視投影変換して、点群データの各々の二次元座標を取得する。この二次元座標の座標系は、二次元情報取得部４２が取得した画像の座標系と一致する。
　第１重畳部６５は、座標変換部６４が取得した点群データの各々の二次元座標と、位置座標推定部６２が推定した容器１２の形状とを重畳させる。これにより、点群データの中から、図２に示す特徴点Ｆに対応する点がわかる。
　なお、機械座標などの座標系を用いて、点群データの各々の二次元座標と、推定した容器１２の形状とを重畳させてもよい。機械座標は、作業機械２０の特定の位置を原点とした座標である。機械座標の座標系を用いる場合、点群データの各々の二次元座標の座標系を、機械座標の座標系に一致させるとともに、二次元情報取得部４２が取得した画像の座標系を、機械座標の座標系に一致させる（互いの相対位置をあわせる）。
　特徴点位置検出部（算出部）６６は、図２に示す特徴点ＦおよびリンクＬの三次元座標を検出（算出）する。具体的には、特徴点位置検出部６６は、第１重畳部６５で容器１２の形状と重畳された点群データのうち、図２に示す特徴点Ｆに対応する点の三次元座標を検出することで、特徴点Ｆの位置に対応する平面部１３の角の三次元座標を算出する。この結果、特徴点ＦをつなぐリンクＬの三次元情報も算出される。この算出により、容器１２（具体的には特徴点ＦおよびリンクＬ）の三次元情報が得られる。
　図４は、特徴点位置検出部６６が検出した容器１２の三次元情報である。図４に示す例では、〇で囲ったように、８つの特徴点Ｆ（Ｆ１～Ｆ８）のうち、特徴点Ｆ１の三次元情報に誤りがある。このように、ディープラーニング技術などを用いても、特徴点を正確に抽出することができない場合がある。
　また、図３に示すように、コントローラ６０は、容器形状検出部６７と、容器特定部６８と、特徴点補正部６９と、第２重畳部７１と、第３重畳部７２と、表示制御部７３と、を有している。
　容器形状検出部６７は、特徴点位置検出部６６が算出した特徴点Ｆの三次元座標、および、リンクＬの三次元情報から、容器１２の三次元形状を検出する。
　容器形状検出部６７は、検出した容器１２の三次元形状において、８つの特徴点Ｆ（Ｆ１～Ｆ８）の各々をチェックする。そして、容器形状検出部６７は、三次元座標が正しい特徴点Ｆが３つ以上であれば、検出した容器１２の三次元形状を採用する。一方、容器形状検出部６７は、三次元座標が正しい特徴点Ｆが３つ未満であれば、検出した容器１２の三次元形状を不採用とする。この場合、特徴点位置検出部６６による、特徴点ＦおよびリンクＬの三次元座標の検出（算出）をやり直す。
　８つの特徴点Ｆをそれぞれチェックする方法は、以下のとおりである。図５は、特徴点のチェック方法の説明図である。図５に示すように、特徴点Ｆ１を基準とし、特徴点Ｆ１から特徴点Ｆ２に向かうベクトルＡと、特徴点Ｆ１から特徴点Ｆ３に向かうベクトルＢとの内積をとる。そして、ベクトル同士の角度をθとすると、ｃｏｓθが０か否かを判定する。
　そして、ｃｏｓθが０であれば、特徴点Ｆ１の三次元座標は正しいと判定し、ｃｏｓθが０でなければ、特徴点Ｆ１の三次元座標は誤っていると判定する。なお、８つの特徴点Ｆの各々の三次元座標の原点は、作業機械２０の任意の位置に設定される。
　次に、特徴点Ｆ２を基準とし、特徴点Ｆ２から特徴点Ｆ４に向かうベクトルＣと、特徴点Ｆ２から特徴点Ｆ１に向かうベクトル（－Ａ）（ベクトルＡとは逆方向のベクトル）との内積をとる。そして、同様の判定を行う。このような判定を、８つの特徴点Ｆ１～Ｆ８の各々で行う。
　図３に戻って、データ格納部（記憶部）７０は、複数種類の容器の三次元形状を予め記憶している。容器特定部（特定部）６８は、算出された容器１２の三次元形状と、データ格納部７０が記憶する複数種類の容器の三次元形状とに基づいて、算出された容器１２の種類を特定する。
　ここで、容器特定部６８は、データ格納部７０が記憶する複数種類の容器の三次元形状の中から、算出された容器１２の三次元形状に最も近い三次元形状の容器を選択することで、容器の種類を特定する。
　距離画像から算出された容器の三次元情報に誤りがある場合、データ格納部７０が記憶する複数種類の容器の三次元形状の中に、距離画像から算出された容器１２の三次元形状に一致する三次元形状の容器がない場合がある。このような場合であっても、算出された容器１２の三次元形状に最も近い三次元形状の容器を選択することで、容器１２の種類を好適に特定することができる。
　特徴点補正部（補正部）６９は、データ格納部７０が記憶する複数種類の容器の三次元形状のうち、特定された種類の容器の三次元形状に基づいて、算出された容器１２の三次元情報を補正する。このように、容器１２の三次元情報を補正することで、距離画像から算出された容器１２の三次元情報に誤りがあっても、容器１２の三次元情報を正確に算出することができる。
　容器１２の三次元情報は、様々な制御に用いることができる。例えば、作業機械２０の自動操縦に用いられてもよく、作業機械２０の操作のアシストに用いられてもよい。また、作業機械２０と容器１２との衝突を回避するための制御や、作業機械２０と容器１２との相対位置を自動的に変える制御、作業機械２０と容器１２との相対位置をオペレータなどに知らせる制御などに用いられてもよい。また、先端アタッチメント２５ｃの現在の位置から、積込対象物を解放する位置（解放位置（例えば排土位置））までの先端アタッチメント２５ｃの軌跡の計算に用いられてもよい。
　第２重畳部（重畳部）７１は、画像処理部６１で前処理された画像と、補正された容器１２の三次元情報とを重畳させて第１重畳画像とする。ここで、図２に示すように、特徴点Ｆ５の位置に対応する平面部１３の角には、ＡＲマーカ８０が目印として設けられている。第２重畳部７１は、ＡＲマーカ８０を基準にして、画像と、補正された容器１２の三次元位置とを位置合わせする。そして、位置合わせした両者を重畳させて第１重畳画像とする。なお、位置合わせのための目印は、点灯するライト（ＬＥＤなど）などであってもよい。
　このように、ＡＲマーカ８０を基準にして、画像と、補正された容器１２の三次元位置とが位置合わせされる。これにより、位置合わせの精度を向上させることができるとともに、位置合わせを行う処理に要する負荷を軽減させることができる。
　図３に戻って、第３重畳部（重畳部）７２は、三次元座標取得部６３が取得した点群データと、補正された容器１２の三次元情報とを重畳させて第２重畳画像とする。第３重畳部７２は、点群データと、補正された容器１２の三次元情報とを位置合わせした上で、両者を重畳させて第２重畳画像とする。なお、ＡＲマーカなどを目印にして位置合わせを行ってもよい。
　表示制御部（表示制御部）７３は、第２重畳部７１で作成された第１重畳画像を、ディスプレイ５０に表示させる。図６は、第１重畳画像の一例である。また、表示制御部７３は、第３重畳部７２で作成された第２重畳画像を、ディスプレイ５０に表示させる。図７は、第２重畳画像の一例である。
　例えば、オペレータが作業機械２０を遠隔操作している場合に、オペレータは、第１重畳画像や第２重畳画像を視認することで、容器１２までの奥行き感を認識することができる。
　（容器計測システムの動作）
　図８は、容器計測処理のフローチャートである。次に、図８を参照して、容器計測システム３０の動作を説明する。
　まず、コントローラ６０は、二次元情報取得部４２から画像を取得し（ステップＳ１）、取得した画像の前処理を行う（ステップＳ２）。そして、コントローラ６０は、前処理された画像から、ディープラーニング技術などを用いて、容器１２の形状を推定する（ステップＳ３）。
　ステップＳ１～Ｓ３と同時に、コントローラ６０は、三次元情報取得部４３から点群データを取得し（ステップＳ４）、取得した点群データの各々の三次元座標を取得する（ステップＳ５）。そして、コントローラ６０は、点群データの各々の三次元座標を透視投影変換して、点群データの各々の二次元座標を取得する（ステップＳ６）。
　次に、コントローラ６０は、点群データの各々の二次元座標と、容器１２の形状とを重畳させる（ステップＳ７）。そして、コントローラ６０は、特徴点ＦおよびリンクＬの三次元座標を算出する（ステップＳ８）。そして、コントローラ６０は、特徴点Ｆの三次元座標、および、リンクＬの三次元情報から、容器１２の三次元形状を検出する（ステップＳ９）。
　次に、コントローラ６０は、８つの特徴点Ｆ（Ｆ１～Ｆ８）の各々をチェックする（ステップＳ１０）。そして、コントローラ６０は、三次元座標が正しい特徴点Ｆが３つ以上であるか否かを判定する（ステップＳ１１）。ステップＳ１１において、三次元座標が正しい特徴点Ｆが３つ以上でないと判定した場合には（Ｓ１１：ＮＯ）、コントローラ６０は、ステップＳ８に戻って、特徴点ＦおよびリンクＬの三次元座標の算出をやり直す。
　一方、ステップＳ１１において、三次元座標が正しい特徴点Ｆが３つ以上であると判定した場合には（ステップＳ１１でＹＥＳ）、コントローラ６０は、算出された容器１２の三次元形状と、データ格納部７０が記憶する複数種類の容器の三次元形状とに基づいて、容器１２の種類を特定する（ステップＳ１２）。そして、コントローラ６０は、特定された種類の容器の三次元形状に基づいて、算出された容器１２の三次元情報を補正する（ステップＳ１３）。
　次に、コントローラ６０は、第１重畳画像と、第２重畳画像とを作成する（ステップＳ１４）。具体的には、コントローラ６０は、前処理された画像と、補正された容器１２の三次元情報とを重畳させて第１重畳画像とする。また、コントローラ６０は、取得した点群データと、補正された容器１２の三次元情報とを重畳させて第２重畳画像とする。
　次に、コントローラ６０は、第１重畳画像や、第２重畳画像をディスプレイ５０に表示させる（ステップＳ１５）。そして、本フローを終了する。
　以上に述べたように、本実施形態に係る容器計測システム３０によれば、取得された容器１２の距離画像に基づいて、容器１２の三次元位置および三次元形状を含む三次元情報が算出される。そして、算出された容器１２の三次元形状と、データ格納部７０が記憶する複数種類の容器の三次元形状とに基づいて、算出された容器１２の種類が特定される。容器１２の種類が特定されると、特定された種類の容器の三次元形状に基づいて、算出された容器１２の三次元情報が補正される。このように、容器１２の三次元情報を補正することで、容器１２の距離画像から算出された容器１２の三次元情報に誤りがあっても、容器１２の三次元情報を正確に算出することができる。
　また、データ格納部７０が記憶する複数種類の容器の三次元形状の中から、算出された容器１２の三次元形状に最も近い三次元形状の容器が選択されることで、算出された容器１２の種類が特定される。容器１２の距離画像から算出された容器１２の三次元情報に誤りがある場合、データ格納部７０が記憶する複数種類の容器の三次元形状の中に、距離画像から算出された容器１２の三次元形状に一致する三次元形状の容器がない場合がある。このような場合であっても、算出された容器１２の三次元形状に最も近い三次元形状の容器を選択することで、算出された容器１２の種類を好適に特定することができる。
　また、取得された容器１２の距離画像と、補正された容器１２の三次元位置とが位置合わせされた上で、補正された容器１２の三次元情報が距離画像に重畳されて重畳画像（第１重畳画像、第２重畳画像）にされる。そして、重畳画像がディスプレイ５０に表示される。例えば、オペレータが作業機械２０を遠隔操作している場合に、オペレータは、重畳画像を視認することで、容器１２までの奥行き感を認識することができる。
　また、容器１２に設けられた目印（ＡＲマーカ８０）を基準にして、容器１２の距離画像と、補正された容器１２の三次元位置とが位置合わせされる。これにより、位置合わせの精度を向上させることができるとともに、位置合わせを行う処理に要する負荷を軽減させることができる。
　以上、本発明の一実施形態について説明したが、当該実施形態は本発明の具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。
　本発明によって提供されるのは、容器計測システムである。当該容器計測システムは、容器への積込作業を行う作業機械に設けられ、前記容器の距離画像を取得可能な距離画像取得部と、取得された前記距離画像に基づいて、前記容器の三次元位置および三次元形状を含む三次元情報を算出する算出部と、複数種類の前記容器の三次元形状を記憶する記憶部と、前記算出部によって算出された前記容器の三次元形状と、前記記憶部に記憶された前記複数種類の前記容器の三次元形状とに基づいて、前記算出された前記容器の種類を特定する特定部と、前記特定部によって特定された種類の前記容器の三次元形状に基づいて、前記算出部によって算出された前記容器の三次元情報を補正する補正部と、を備える。
　上記の構成において、前記特定部は、前記記憶部が記憶している前記複数種類の前記容器の三次元形状の中から、前記算出部によって算出された前記容器の三次元形状に最も近い三次元形状の前記容器を選択することで、前記算出された前記容器の種類を特定するものでもよい。
　上記の構成において、表示装置と、前記距離画像取得部によって取得された前記容器の前記距離画像と、前記補正部によって補正された前記容器の三次元位置とを位置合わせした上で、前記補正された前記容器の三次元情報を前記距離画像に重畳させて重畳画像を生成する重畳部と、前記重畳画像を前記表示装置に表示させる表示制御部と、を更に備えるものでもよい。
　上記の構成において、前記距離画像に含まれるように前記容器に設けられた目印を更に備え、前記重畳部は、前記目印を基準にして、前記距離画像と、補正された前記容器の三次元位置とを位置合わせするものでもよい。
　本発明によると、取得された容器の距離画像に基づいて、容器の三次元位置および三次元形状を含む三次元情報が算出される。そして、算出された容器の三次元形状と、記憶部が記憶する複数種類の容器の三次元形状とに基づいて、算出された容器の種類が特定される。容器の種類が特定されると、特定された種類の容器の三次元形状に基づいて、算出された容器の三次元情報が補正される。このように、容器の三次元情報を補正することで、容器の距離画像から算出された容器の三次元情報に誤りがあっても、容器の三次元情報を正確に算出することができる。

 

Claims (4)

  1. 　容器への積込作業を行う作業機械に設けられ、前記容器の距離画像を取得可能な距離画像取得部と、
    　取得された前記距離画像に基づいて、前記容器の三次元位置および三次元形状を含む三次元情報を算出する算出部と、
    　複数種類の前記容器の三次元形状を記憶する記憶部と、
    　前記算出部によって算出された前記容器の三次元形状と、前記記憶部に記憶された前記複数種類の前記容器の三次元形状とに基づいて、前記算出された前記容器の種類を特定する特定部と、
    　前記特定部によって特定された種類の前記容器の三次元形状に基づいて、前記算出部によって算出された前記容器の三次元情報を補正する補正部と、
    を備える、容器計測システム。
  2. 　請求項１に記載の容器計測システムであって、
    　前記特定部は、前記記憶部が記憶している前記複数種類の前記容器の三次元形状の中から、前記算出部によって算出された前記容器の三次元形状に最も近い三次元形状の前記容器を選択することで、前記算出された前記容器の種類を特定する、容器計測システム。
  3. 　請求項１又は２に記載の容器計測システムであって、
    　表示装置と、
    　前記距離画像取得部によって取得された前記容器の前記距離画像と、前記補正部によって補正された前記容器の三次元位置とを位置合わせした上で、前記補正された前記容器の三次元情報を前記距離画像に重畳させて重畳画像を生成する重畳部と、
    　前記重畳画像を前記表示装置に表示させる表示制御部と、
    を更に備える、容器計測システム。
  4. 　請求項３に記載の容器計測システムであって、
    　前記距離画像に含まれるように前記容器に設けられた目印を更に備え、
    　前記重畳部は、前記目印を基準にして、前記距離画像と、補正された前記容器の三次元位置とを位置合わせする、容器計測システム。

     
PCT/JP2021/044236 2021-03-08 2021-12-02 容器計測システム WO2022190484A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21930330.2A EP4269710A1 (en) 2021-03-08 2021-12-02 Container measurement system
US18/264,840 US20240112459A1 (en) 2021-03-08 2021-12-02 Container measurement system
CN202180092376.8A CN116761919A (zh) 2021-03-08 2021-12-02 容器测量系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-036652 2021-03-08
JP2021036652A JP7452473B2 (ja) 2021-03-08 2021-03-08 容器計測システム

Publications (1)

Publication Number Publication Date
WO2022190484A1 true WO2022190484A1 (ja) 2022-09-15

Family

ID=83227837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044236 WO2022190484A1 (ja) 2021-03-08 2021-12-02 容器計測システム

Country Status (5)

Country Link
US (1) US20240112459A1 (ja)
EP (1) EP4269710A1 (ja)
JP (1) JP7452473B2 (ja)
CN (1) CN116761919A (ja)
WO (1) WO2022190484A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195436A1 (ja) * 2022-04-04 2023-10-12 日立建機株式会社 作業機械

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000064359A (ja) 1998-08-24 2000-02-29 Hitachi Constr Mach Co Ltd 自動運転建設機械
JP2000192514A (ja) * 1998-12-28 2000-07-11 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその運転方法
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
JP2017157016A (ja) * 2016-03-02 2017-09-07 株式会社神戸製鋼所 アタッチメント認識装置
US20200040555A1 (en) * 2018-08-06 2020-02-06 Deere & Company Container angle sensing using vision sensor for feedback loop control
JP2020035380A (ja) * 2018-08-31 2020-03-05 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000064359A (ja) 1998-08-24 2000-02-29 Hitachi Constr Mach Co Ltd 自動運転建設機械
JP2000192514A (ja) * 1998-12-28 2000-07-11 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその運転方法
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
JP2017157016A (ja) * 2016-03-02 2017-09-07 株式会社神戸製鋼所 アタッチメント認識装置
US20200040555A1 (en) * 2018-08-06 2020-02-06 Deere & Company Container angle sensing using vision sensor for feedback loop control
JP2020035380A (ja) * 2018-08-31 2020-03-05 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195436A1 (ja) * 2022-04-04 2023-10-12 日立建機株式会社 作業機械

Also Published As

Publication number Publication date
CN116761919A (zh) 2023-09-15
JP2022136849A (ja) 2022-09-21
JP7452473B2 (ja) 2024-03-19
EP4269710A1 (en) 2023-11-01
US20240112459A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
US7336805B2 (en) Docking assistant
AU2015234395B2 (en) Real-time range map generation
AU2015238768B2 (en) Motion estimation in real-time visual odometry system
CN110837814B (zh) 车辆导航方法、装置及计算机可读存储介质
US20150168136A1 (en) Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
US9678210B2 (en) Error estimation in real-time visual odometry system
JP7160606B2 (ja) 作業機械の制御システム及び方法
EP3943880A1 (en) Item detection device, item detection method, and industrial vehicle
JPH11325880A (ja) 三次元対象物の増分的決定方法
KR20210110671A (ko) 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트
WO2015098344A1 (ja) 鉱山用作業機械
WO2015163028A1 (ja) 鉱山用作業車両用の路面推定装置および路面推定システム
US20220343524A1 (en) Container measurement system
WO2022190484A1 (ja) 容器計測システム
JP6909752B2 (ja) 作業機械の後退支援装置
JP2022045987A (ja) 作業車両の走行補助装置およびこれを備えた作業車両
JP2021024718A (ja) 位置姿勢推定装置
US11879231B2 (en) System and method of selective automation of loading operation stages for self-propelled work vehicles
WO2022065117A1 (ja) 位置検出システム
WO1998020302A1 (fr) Dispositif permettant de detecter un obstacle sur la surface de la voie de deplacement d'un objet en mouvement
US20190102902A1 (en) System and method for object detection
JP2022045986A (ja) 作業車両の走行補助装置およびこれを備えた作業車両
KR20220139031A (ko) 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법
JP2024055422A (ja) 移動体及び移動体の運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930330

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180092376.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18264840

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2021930330

Country of ref document: EP

Effective date: 20230727

NENP Non-entry into the national phase

Ref country code: DE