WO2022065117A1 - 位置検出システム - Google Patents

位置検出システム Download PDF

Info

Publication number
WO2022065117A1
WO2022065117A1 PCT/JP2021/033596 JP2021033596W WO2022065117A1 WO 2022065117 A1 WO2022065117 A1 WO 2022065117A1 JP 2021033596 W JP2021033596 W JP 2021033596W WO 2022065117 A1 WO2022065117 A1 WO 2022065117A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
detection target
mark
posture
detection
Prior art date
Application number
PCT/JP2021/033596
Other languages
English (en)
French (fr)
Inventor
翔 藤原
幸広 細
進軍 邱
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to CN202180063628.4A priority Critical patent/CN116157575A/zh
Priority to EP21872247.8A priority patent/EP4198210A4/en
Priority to US18/245,184 priority patent/US20240018752A1/en
Publication of WO2022065117A1 publication Critical patent/WO2022065117A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a position detection system that detects the position of a detection target with respect to a work machine.
  • a captured image of a drop target (dump truck, etc.) on which a transported object (earth and sand, etc.) held by a work machine is dropped is acquired, and a position-specific model, which is a learned model, and an image are captured. Based on the image, the position of the detection target (such as a loading platform) in the drop target shown in the image is specified.
  • An object of the present invention is to provide a position detection system capable of accurately detecting the position of a detection target.
  • the present invention is a position detection system that detects the position of at least one detection target with respect to a work machine, and is provided on the at least one detection target, and at least one marker capable of acquiring a position and a posture from the outside. And, from the image pickup device that images the at least one detection target so that the at least one mark is included, and the image pickup information that is the information about the at least one mark that has been imaged, the position and posture of the at least one mark.
  • the acquisition unit that acquires the image, the storage device that stores the information on the three-dimensional shape of the at least one detection target, and the mark-related information that is the acquired information on the position and posture of the at least one mark. It has a detection target calculation unit that calculates the position and posture of the at least one detection target based on the information of the three-dimensional shape of at least one detection target.
  • the position detection system detects the position of the detection target with respect to the work machine.
  • the position detection system 1 includes a work machine 2, a dump truck 3, an image pickup device 4, and a measurement device 5.
  • the work machine 2 is a machine that works with the attachment 30, for example, a hydraulic excavator.
  • the work machine 2 has a lower traveling body 21, an upper swivel body 22, a swivel device 24, an attachment 30, and a plurality of cylinders 40.
  • the lower traveling body 21 is a portion for traveling the work machine 2, and is provided with, for example, a crawler.
  • the upper swivel body 22 is rotatably attached to the upper part of the lower traveling body 21.
  • a cab (driver's cab) 23 is provided at the front portion of the upper swivel body 22.
  • the swivel device 24 can swivel the upper swivel body 22 with respect to the lower traveling body 21.
  • the attachment 30 is attached to the upper swing body 22 so as to be rotatable in the vertical direction.
  • the attachment 30 includes a boom 31, an arm 32, and a bucket 33.
  • the boom 31 is attached to the upper swing body 22 so as to be rotatable in the vertical direction.
  • the arm 32 is attached to the boom 31 so as to be rotatable in the vertical direction.
  • the bucket 33 is attached to the arm 32 so as to be rotatable in the vertical direction.
  • the bucket 33 is a part for excavating, holding, dropping, etc. of earth and sand, which is a transported object.
  • the bucket 33 is an example of a tip attachment attached to the arm 32, and the tip attachment is not limited to this, and may be a nibbler, a clamp arm, or the like.
  • the transported object is not limited to earth and sand, and may be rubble, iron scrap, gravel, or the like.
  • the plurality of cylinders 40 can rotate the attachment 30 hydraulically.
  • Each of the plurality of cylinders 40 is a hydraulic telescopic cylinder.
  • the plurality of cylinders 40 include a boom cylinder 41, an arm cylinder 42, and a bucket cylinder 43.
  • the boom cylinder 41 rotationally drives the boom 31 with respect to the upper swing body 22.
  • the base end portion of the boom cylinder 41 is rotatably attached to the upper swing body 22.
  • the tip of the boom cylinder 41 is rotatably attached to the boom 31.
  • the arm cylinder 42 rotates and drives the arm 32 with respect to the boom 31.
  • the base end portion of the arm cylinder 42 is rotatably attached to the boom 31.
  • the tip of the arm cylinder 42 is rotatably attached to the arm 32.
  • the bucket cylinder 43 rotates the bucket 33 with respect to the arm 32.
  • the base end portion of the bucket cylinder 43 is rotatably attached to the arm 32.
  • the tip of the bucket cylinder 43 is rotatably attached to the link member 34 rotatably attached to the bucket 33.
  • the work machine 2 has an angle sensor 52 and at least one tilt angle sensor 60.
  • the angle sensor 52 detects the turning angle of the upper turning body 22 with respect to the lower traveling body 21.
  • the angle sensor 52 may be, for example, an encoder, a resolver, or a gyro sensor.
  • the turning angle of the upper turning body 22 when the front of the upper turning body 22 coincides with the front of the lower traveling body 21 is set to 0 °.
  • the detection signal for the turning angle detected by the angle sensor 52 is input to the controller 11.
  • At least one tilt angle sensor 60 detects the posture of the attachment 30.
  • At least one tilt angle sensor 60 includes a boom tilt angle sensor 61, an arm tilt angle sensor 62, and a bucket tilt angle sensor 63.
  • the detection signals for the tilt angles detected by the tilt angle sensors 61, 62, 63 are input to the controller 11, respectively.
  • the boom tilt angle sensor 61 is attached to the boom 31 and detects the posture of the boom 31.
  • the boom tilt angle sensor 61 is a sensor that acquires the tilt angle of the boom 31 with respect to the horizon or the upper swivel body 22, and may be, for example, a tilt sensor (accelerometer).
  • the boom tilt angle sensor 61 may be a rotation angle sensor that detects the rotation angle of the boom foot pin (boom base end), or may be a stroke sensor that detects the stroke amount of the boom cylinder 41.
  • the arm tilt angle sensor 62 is attached to the arm 32 and detects the posture of the arm 32.
  • the arm tilt angle sensor 62 is a sensor that acquires the tilt angle of the arm 32 with respect to the horizon or the boom 31, and may be, for example, a tilt sensor (accelerometer).
  • the arm tilt angle sensor 62 may be a rotation angle sensor that detects the rotation angle of the arm connecting pin (arm base end), or may be a stroke sensor that detects the stroke amount of the arm cylinder 42.
  • the bucket tilt angle sensor 63 is attached to the link member 34 and detects the posture of the bucket 33.
  • the bucket tilt angle sensor 63 is a sensor that acquires the tilt angle of the bucket 33 with respect to the horizon or the arm 32, and may be, for example, a tilt sensor (accelerometer).
  • the bucket tilt angle sensor 63 may be a rotation angle sensor that detects the rotation angle of the bucket connecting pin (bucket base end), or may be a stroke sensor that detects the stroke amount of the bucket cylinder 43.
  • the dump truck 3 has a driver's cab 26 and a loading platform 27.
  • the loading platform 27 is a portion where earth and sand are dropped, and is a detection target in the present embodiment.
  • the loading platform 27 has four side walls surrounding the cargo bed 27. Of the four side walls, the front wall, which is the side wall located at the innermost side of the work machine 2 arranged behind the loading platform 27, has a back surface 28 which is a surface facing the work machine 2.
  • a plurality of types of dump trucks 3 enter and exit the work site.
  • the loading platform 27 of the plurality of types of dump trucks 3 is an example of a plurality of detection targets.
  • the detection target is not limited to the loading platform 27, and may be, for example, a sediment pit.
  • FIG. 2 which is a perspective view of the dump truck 3 viewed from the work machine 2 side
  • two marks 71 and 71 are provided on the back surface 28.
  • the two marks 71, 71 are arranged at predetermined intervals.
  • Each of the two marks 71, 71 can be obtained from the outside in its position and posture, and is an AR marker in the present embodiment.
  • At least one of the two marks 71, 71 is different for each type of the loading platform 27 of the dump truck 3.
  • the number of marks 71 may be three or more, or may be one.
  • the image pickup apparatus 4 is attached to the work machine 2.
  • the image pickup device 4 may be installed at a place away from the work machine 2.
  • the image pickup apparatus 4 may be, for example, a digital camera.
  • the image pickup apparatus 4 takes an image of the loading platform 27 of the dump truck 3 so that the marks 71 and 71 shown in FIG. 2 are included in the image pickup range.
  • the image pickup information (for example, image data) which is the information about the marks 71, 71 imaged by the image pickup apparatus 4 is input to the controller 11.
  • the measuring device 5 is attached to the work machine 2.
  • the measuring device 5 may be installed at a place away from the work machine 2.
  • the measuring device 5 may be, for example, LIDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging).
  • LIDAR measures the distance to the loading platform 27 of the dump truck 3 by acquiring the three-dimensional point cloud data.
  • the measuring device 5 may be an ultrasonic sensor, a millimeter wave radar, a stereo camera, a range image sensor, an infrared sensor, or the like. Information about the distance to the loading platform 27 measured by the measuring device 5 is input to the controller 11.
  • FIG. 3 which is a block diagram of the position detection system 1, the work machine 2 has a controller 11 and a storage device 13.
  • the controller 11 includes an arithmetic processing unit such as a CPU.
  • the controller 11 includes an acquisition unit, a detection target calculation unit, a specific part calculation unit, an estimation unit, a correction unit, and a specific unit.
  • Each of the acquisition unit, the detection target calculation unit, the specific part calculation unit, the estimation unit, the correction unit, and the specific unit is realized by the arithmetic processing unit executing the control program.
  • the controller 11 automatically operates the swivel device 24 and the attachment 30 based on the detection values of the angle sensor 52 and the plurality of tilt angle sensors 60 (boom tilt angle sensor 61, arm tilt angle sensor 62, and bucket tilt angle sensor 63). It is configured so that it can be made to. That is, the work machine 2 is automatically operated.
  • the controller 11 may be configured to control the operation of the turning device 24 and the attachment 30 so that the assist operation for assisting the operator who operates the work machine 2 is performed.
  • the storage device 13 stores information on the three-dimensional shape of the loading platform 27 of at least one dump truck 3. As described above, in the present embodiment, a plurality of types of dump trucks 3 enter and exit the work site. Therefore, the storage device 13 stores information on the three-dimensional shapes of the loading platforms 27 of the plurality of types of dump trucks 3.
  • the storage device 13 contains information on the three-dimensional shape of the first loading platform 27 (first detection target), which is the loading platform of the first dump truck 3, and the loading platform of the second dump truck 3.
  • the first carrier 27, the second carrier 27, and the third carrier 27 are different types of carriers.
  • the first carrier 27, the second carrier 27 and the third carrier 27 differ from each other in at least one of shape and size.
  • the storage device 13 may store information on the three-dimensional shapes of four or more different types of loading platforms, or may store only information on the three-dimensional shapes of one loading platform 27. 2 Only the information on the three-dimensional shape of the two loading platforms 27 may be stored.
  • the three-dimensional shape information is the coordinates of a plurality of key points, which are a plurality of points preset at positions spaced apart from each other on the loading platform 27, and specifically, reference numeral A in FIG. These are the coordinates of the eight key points A to H indicated by H.
  • the specific unit of the controller 11 identifies the type of the dump truck 3 from the image pickup information regarding the marks 71, 71 imaged by the image pickup device 4. That is, the specific unit of the controller 11 specifies the type of the loading platform 27 from the image pickup information.
  • the specific portion of the controller 11 is a loading platform 27 to which the marks 71, 71 imaged by the imaging device 4 are attached, whichever is the first loading platform 27, the second loading platform 27, or the third loading platform 27. It is specified based on the image pickup information. At least one of the marks 71 and 71 attached to each loading platform 27 is marked with identification information for identifying the type of the loading platform 27.
  • the acquisition unit of the controller 11 acquires the position and posture of the marks 71, 71 as marker information from the image pickup information regarding the marks 71, 71 imaged by the image pickup device 4.
  • each of the marks 71 and 71 is registered in the controller 11 in advance as an AR marker.
  • the AR marker is a sign on which identification information that can be acquired by the acquisition unit can acquire the position and posture of the AR marker.
  • the AR marker is preferably a sign on which identification information capable of specifying the type of the loading platform 27 (type of the detection target) can be specified by the specific unit.
  • the AR marker may be a marker on which the image to be superimposed and displayed on the image in the real space in the AR (Augmented Reality) system and the identification information for designating the position thereof are written.
  • the mark 71 is described with identification information for designating an image in which the three-dimensional coordinate system of the mark 71 can be understood.
  • the acquisition unit of the controller 11 acquires the posture of the mark 71 by acquiring the three-dimensional coordinate system of the mark 71. Specifically, the acquisition unit of the controller 11 obtains the three-dimensional coordinate systems of the marks 71 and 71, that is, the postures of the marks 71 and 71, from the image pickup information about the marks 71 and 71 captured by the image pickup device 4. For example, roll, pitch, yaw) can be obtained.
  • the specific part calculation unit of the controller 11 uses the position and posture of the midpoint 72 as the midpoint information from the data of the two marks 71 and 71 acquired by the acquisition unit, that is, the positions and postures of the two marks 71 and 71. calculate.
  • the midpoint 72 (midpoint portion 72) is a specific portion associated with the loading platform 27.
  • the midpoint 72 is the midpoint of a straight line (line segment) connecting the two marks 71, 71. More specifically, the midpoint 72 is the midpoint of a straight line (line segment) connecting the center point of one mark 71 and the center point of the other mark 71.
  • the specific site calculation unit can calculate, for example, the average value of the coordinates of the center point of one mark 71 and the coordinates of the center point of the other mark 71 as the position of the midpoint 72 (coordinates of the midpoint 72).
  • the specific portion calculation unit can calculate the posture of the midpoint 72 from the posture of one mark 71 and the posture of the other mark 71.
  • the specific part calculation unit is, for example, the three-dimensional coordinate system of one of the marks 71.
  • the other three-dimensional coordinate system of the mark 71, the three-dimensional coordinate system of the midpoint 72, that is, the posture of the midpoint 72 can be obtained.
  • the specific part calculation unit linearly interpolates the posture of one mark 71 (three-dimensional coordinate system of one mark 71) and the posture of the other mark 71 (three-dimensional coordinate system of the other mark 71).
  • the value can be calculated as the posture of the midpoint 72.
  • the specific site is not limited to the midpoint 72.
  • the midpoint information in this embodiment is an example of mark-related information.
  • controller 11 may apply spatial filtering by weighted average to the calculated midpoint information. This makes it possible to reduce noise and emphasize edges.
  • the detection target calculation unit of the controller 11 calculates the position and posture of the loading platform 27 based on the midpoint information calculated by the specific site calculation unit and the three-dimensional shape information of the loading platform 27 stored in the storage device 13. do. That is, the detection target calculation unit specifies where in the space each of the eight key points A to H is located from the position and posture of the midpoint 72. Specifically, the relative position of each key point with respect to the midpoint 72 is defined in advance, and the detection target calculation unit determines the coordinates (x, y, z) and posture (roll, pitch, yaw) of the midpoint 72. The three-dimensional coordinates of each key point can be calculated as a reference.
  • the three-dimensional coordinates of the eight key points A to H represent the position and orientation of the loading platform 27.
  • the information on the three-dimensional shape of the loading platform 27 corresponding to the type specified from the plurality of types is used.
  • the position and posture of the loading platform 27 are determined based on the marker information of the marking 71 and the stored three-dimensional shape information of the loading platform 27. It is calculated. However, when the number of marks 71 is one, the calculated position and posture of the loading platform 27 may vary due to the variation of the acquired posture (three-dimensional coordinate system) of the marks 71. Therefore, it is preferable to calculate the midpoint information from two or more marks 71 to calculate the position and posture of the loading platform 27.
  • the position and orientation of at least one mark 71 acquired from the image pickup information (for example, image data) regarding the imaged mark 71 and the information on the three-dimensional shape of the loading platform 27 stored in the storage device 13 are used. Based on this, the position and posture of the loading platform 27 are calculated. As a result, the position of the loading platform 27 of the dump truck 3 can be accurately detected. Therefore, it is possible to assist the operator who operates the work machine 2 so as to drop the earth and sand on the loading platform 27, and to automatically operate the work machine 2 which operates so as to drop the earth and sand on the loading platform 27 with high accuracy.
  • a plurality of marks 71 are provided on the loading platform 27, and the position and posture of the midpoint 72 are calculated from the positions and postures of the acquired plurality of marks 71. Then, the position and posture of the loading platform 27 are calculated based on the calculated position and posture of the midpoint 72 and the stored information on the three-dimensional shape of the loading platform 27.
  • the calculated position and posture of the loading platform 27 may vary due to the variation of the acquired posture of the mark 71.
  • the dump truck 3 The accuracy of detecting the position of the loading platform 27 can be improved.
  • the specific unit of the controller 11 specifies the type of the loading platform 27 from the image pickup information regarding the imaged mark 71. Then, the detection target calculation unit of the controller 11 calculates the position and posture of the loading platform 27 based on the midpoint information as the mark-related information and the information on the three-dimensional shape of the loading platform 27 corresponding to the specified type. do. As a result, even when a plurality of types of dump trucks 3 enter and exit the work site, the position of the loading platform 27 of the dump truck 3 can be accurately detected.
  • the acquisition unit uses the acquisition unit. From the position and posture of the other mark 71 that can be acquired, the position and posture of the midpoint 72 is estimated as the midpoint information. Specifically, for example, the acquisition unit cannot acquire the data of one of the two marks 71 and 71 (for example, the position of one mark 71) and the data of the other mark 71 (for example, the other mark). When the position and posture of 71) can be acquired, the estimation unit calculates the position of the midpoint 72 by adding the distance from the acquired mark 71 to the midpoint 72 to the position of the acquired mark 71.
  • the posture of the acquired mark 71 is determined as the posture of the midpoint 72.
  • the distance from the mark 71 to the midpoint 72 may be stored in advance in the storage device 13 for each type of the loading platform 27.
  • the detection target calculation unit of the controller 11 calculates the position and posture of the loading platform 27 based on the estimated midpoint information and the stored three-dimensional shape information of the loading platform 27.
  • the estimated midpoint 72 position and orientation is an example of marker-related information.
  • controller 11 may apply spatial filtering by weighted average to the estimated midpoint information. This makes it possible to reduce noise and emphasize edges.
  • the correction unit of the controller 11 corrects the position and posture of the midpoint 72 based on the distance measured by the measuring device 5. Specifically, the correction unit detects the back surface 28 of the loading platform 27 from the point cloud data acquired by the measuring device 5, and corrects the position and posture of the midpoint 72 based on the information on the back surface 28. Specifically, the correction unit calculates the pitch value and the yaw value based on the detected normal vector of the back surface 28. Further, since the midpoint 72 exists on the back surface 28, the correction unit uses the coordinates of the point closest to the midpoint 72 among the points on the back surface 28 as the coordinates of the corrected midpoint 72. As a result, the detection accuracy of the position of the loading platform 27 of the dump truck 3 can be further improved.
  • the controller 11 calibrates the relative relationship between the visual fields of the imaging device 4 and the measuring device 5. That is, the coordinate system of the image pickup device 4 and the coordinate system of the measurement device 5 are matched. As a result, the position and posture of the midpoint 72 can be accurately corrected.
  • FIG. 4 is a flowchart of the position detection process.
  • the controller 11 of the work machine 2 causes the image pickup device 4 to take an image of the loading platform 27 of the dump truck 3 (step S1). At this time, the loading platform 27 is imaged so that the mark 71 is included in the imaging range (in the image data).
  • the controller 11 determines whether or not the mark 71 is recognized (step S2). If the controller 11 determines in step S2 that the mark 71 is not recognized (step S2: NO), the controller 11 returns to step S1.
  • step S2 determines in step S2 that the mark 71 has been recognized (step S2: YES)
  • the controller 11 uses the image pickup information (image data) regarding the mark 71 to indicate the type of the loading platform 27 of the dump truck 3. (Step S3).
  • the controller 11 acquires marker information (position and posture of the mark 71) from the imaging information regarding the mark 71 (step S4).
  • step S5 determines whether or not all the marker information has been acquired. That is, the controller 11 determines whether or not the marker information of each of the two marks 71 is acquired from the image pickup information.
  • step S5 determines that all the marker information has been acquired (step S5: YES)
  • step S6 determines the midpoint information (midpoint 72) from each position and posture of the mark 71. Position and posture) are calculated (step S6).
  • step S7 the controller 11 performs spatial filtering on the calculated midpoint information. Then, the controller 11 corrects the posture of the midpoint 72 in the yaw direction (step S8).
  • step S5 determines whether the controller 11 has not acquired all the marker information (step S5: NO). If it is determined in step S5 that the controller 11 has not acquired all the marker information (step S5: NO), the controller 11 estimates the midpoint information from the acquired marker information (step S5: NO). Step S9). Then, the controller 11 performs spatial filtering on the estimated midpoint information (step S10).
  • the controller 11 causes the measuring device 5 to measure the distance to the loading platform 27 (step S11). Then, the controller 11 performs calibration for matching the coordinate system of the image pickup device 4 with the coordinate system of the measurement device 5 (step S12).
  • step S13 determines whether or not the back surface 28 of the loading platform 27 has been detected from the three-dimensional point cloud data acquired by the measuring device 5 (step S13). If it is determined in step S13 that the back surface 28 of the loading platform 27 has been detected (step S13: YES), the controller 11 corrects the midpoint information (step S14).
  • step S13 determines in step S13 that the back surface 28 of the loading platform 27 has not been detected (step S13: NO), or after step S14, the controller 11 stores the midpoint information and the storage device 13. Based on the information on the three-dimensional shape of the loading platform 27, the position and orientation of the loading platform 27 are calculated as the coordinates of the eight key points A to H (step S15).
  • the controller 11 converts the coordinates of the eight key points A to H into the coordinate system of the work machine 2 (step S16). As a result, the position of the loading platform 27 of the dump truck 3 is accurately detected. After that, the controller 11 ends this flow.
  • the marker information (position and posture of the mark 71) acquired from the image pickup information regarding the imaged mark 71 and the marker information (position and posture of the mark 71) are stored in the storage device 13.
  • the position and posture of the loading platform 27 are calculated based on the information on the three-dimensional shape of the loading platform 27 (detection target).
  • the position of the loading platform 27 of the dump truck 3 can be accurately detected. Therefore, for example, the assist of the operator who operates the work machine 2 so as to drop the earth and sand (carrying object) on the loading platform 27, the automatic operation of the work machine 2 which operates so as to drop the earth and sand on the loading platform 27, etc. are performed with high accuracy. Can be done.
  • a plurality of marks 71 are provided on the loading platform 27, and midpoint information (position and posture of the midpoint 72) is calculated from each position and posture of the acquired marks 71. Then, the position and posture of the loading platform 27 are calculated based on the calculated midpoint information and the stored three-dimensional shape information of the loading platform 27.
  • the position and posture of the loading platform 27 may vary due to the variation of the posture of the mark 71. Therefore, the position and posture of the midpoint 72 are calculated from the positions and postures of the plurality of marks 71, and the position and posture of the loading platform 27 are calculated using the position and posture of the midpoint 72. It is possible to improve the accuracy of detecting the position of the loading platform 27 of 3.
  • the position and posture of the midpoint 72 is estimated from the positions and postures of the acquired marks 71. Then, the position and posture of the loading platform 27 are calculated based on the estimated position and orientation of the midpoint 72 and the stored information on the three-dimensional shape of the loading platform 27. Robustness can be improved by estimating the position and posture of the midpoint 72 when the position of a part of the plurality of marks 71 cannot be acquired.
  • the position and posture of the midpoint 72 are corrected based on the measured distance to the loading platform 27. As a result, the detection accuracy of the position of the loading platform 27 of the dump truck 3 can be further improved.
  • the type of the loading platform 27 is specified from the image pickup information regarding the imaged mark 71. Then, the position and posture of the loading platform 27 are calculated based on the information on the three-dimensional shape of the loading platform 27 of the specified type. As a result, even when a plurality of types of dump trucks 3 enter and exit the work site, the position of the loading platform 27 of the dump truck 3 can be accurately detected.
  • identification of the type of the loading platform 27 of the dump truck 3, acquisition of marker information, calculation of midpoint information, estimation and correction, and calculation of the position and posture of the loading platform 27 of the dump truck 3 are not performed by the controller 11 of the work machine 2.
  • a server (not shown) may perform.
  • one stereo camera may be used as the image pickup device 4 and the measurement device 5. In this case, it is not necessary to prepare the image pickup apparatus 4 and the measuring apparatus 5 separately.
  • the mark-related information is midpoint information, but is not limited to such a specific example.
  • the detection target calculation unit determines the position and orientation of the detection target based on the position and orientation of at least one mark acquired by the acquisition unit and the three-dimensional shape information of the detection target stored in the storage device. It may be configured to calculate.
  • the mark-related information is the position and posture of at least one mark acquired by the acquisition unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Analysis (AREA)

Abstract

位置検出システムは、検出対象（２７）に設けられた目印（７１）と、目印（７１）が含まれるように検出対象（２７）を撮像する撮像装置（４）と、撮像された目印（７１）に関する情報である撮像情報から、目印（７１）の位置および姿勢を取得する取得部と、検出対象（２７）の三次元形状の情報を記憶する記憶装置（１３）と、取得された目印（７１）の位置および姿勢に関する情報である目印関連情報と記憶された検出対象（２７）の三次元形状の情報とに基づいて、検出対象（２７）の位置および姿勢を算出する検出対象算出部と、を有する。

Description

位置検出システム
　本発明は、作業機械に対する検出対象の位置を検出する位置検出システムに関する。
　特許文献１に開示されているように、作業機械が保持した運搬物（土砂など）が投下される投下対象（ダンプトラックなど）の撮像画像を取得し、学習済みモデルである位置特定モデルと撮像画像とに基づいて、画像に写る投下対象における検出対象（荷台など）の位置を特定することが行われている。
　しかしながら、学習済みモデルを用いた画像認識で、検出対象の位置を特定するのは、正確性に欠ける。
特開２０２０－３５３８０号公報
　本発明の目的は、検出対象の位置を精度よく検出することが可能な位置検出システムを提供することである。
　本発明は、作業機械に対する少なくとも一つの検出対象の位置を検出する位置検出システムであって、前記少なくとも一つの検出対象に設けられ、位置および姿勢を外部から取得させることが可能な少なくとも一つの目印と、前記少なくとも一つの目印が含まれるように前記少なくとも一つの検出対象を撮像する撮像装置と、撮像された前記少なくとも一つの目印に関する情報である撮像情報から、前記少なくとも一つの目印の位置および姿勢を取得する取得部と、前記少なくとも一つの検出対象の三次元形状の情報を記憶する記憶装置と、取得された前記少なくとも一つの目印の位置および姿勢に関する情報である目印関連情報と記憶された前記少なくとも一つの検出対象の三次元形状の情報とに基づいて、前記少なくとも一つの検出対象の位置および姿勢を算出する検出対象算出部と、を有する。
位置検出システムの側面図である。 作業機械側からダンプトラックを見た斜視図である。 位置検出システムのブロック図である。 位置検出処理のフローチャートである。
　以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。
　（位置検出システムの構成）
　本実施形態による位置検出システムは、作業機械に対する検出対象の位置を検出するものである。位置検出システム１の側面図である図１に示すように、位置検出システム１は、作業機械２と、ダンプトラック３と、撮像装置４と、計測装置５と、を有している。
　（作業機械の構成）
　図１に示すように、作業機械２は、アタッチメント３０で作業を行う機械であり、例えば油圧ショベルである。作業機械２は、下部走行体２１と、上部旋回体２２と、旋回装置２４と、アタッチメント３０と、複数のシリンダ４０と、を有している。
　下部走行体２１は、作業機械２を走行させる部分であり、例えばクローラを備える。上部旋回体２２は、下部走行体２１の上部に旋回可能に取り付けられる。上部旋回体２２の前部には、キャブ（運転室）２３が設けられている。旋回装置２４は、下部走行体２１に対して上部旋回体２２を旋回させることが可能である。
　アタッチメント３０は、上下方向に回動可能に上部旋回体２２に取り付けられる。アタッチメント３０は、ブーム３１と、アーム３２と、バケット３３と、を備える。ブーム３１は、上下方向に回動可能に上部旋回体２２に取り付けられる。アーム３２は、上下方向に回動可能にブーム３１に取り付けられる。バケット３３は、上下方向に回動可能にアーム３２に取り付けられる。
　バケット３３は、運搬物である土砂の、掘削、保持、投下などを行う部分である。なお、バケット３３は、アーム３２に取り付けられる先端アタッチメントの一例であり、先端アタッチメントはこれに限定されず、ニブラやクランプアーム等であってもよい。また、運搬物は土砂に限定されず、瓦礫や鉄屑、砂利などであってもよい。
　複数のシリンダ４０は、アタッチメント３０を油圧で回動させることが可能である。複数のシリンダ４０のそれぞれは、油圧式の伸縮シリンダである。複数のシリンダ４０は、ブームシリンダ４１と、アームシリンダ４２と、バケットシリンダ４３と、を備える。
　ブームシリンダ４１は、上部旋回体２２に対してブーム３１を回転駆動させる。ブームシリンダ４１の基端部は、上部旋回体２２に回動可能に取り付けられる。ブームシリンダ４１の先端部は、ブーム３１に回動可能に取り付けられる。
　アームシリンダ４２は、ブーム３１に対してアーム３２を回転駆動させる。アームシリンダ４２の基端部は、ブーム３１に回動可能に取り付けられる。アームシリンダ４２の先端部は、アーム３２に回動可能に取り付けられる。
　バケットシリンダ４３は、アーム３２に対してバケット３３を回転駆動させる。バケットシリンダ４３の基端部は、アーム３２に回動可能に取り付けられる。バケットシリンダ４３の先端部は、バケット３３に回動可能に取り付けられたリンク部材３４に、回動可能に取り付けられる。
　また、作業機械２は、角度センサ５２と、少なくとも一つの傾斜角センサ６０と、を有している。
　角度センサ５２は、下部走行体２１に対する上部旋回体２２の旋回角度を検出する。角度センサ５２は、例えば、エンコーダ、レゾルバ、又は、ジャイロセンサであってもよい。本実施形態では、上部旋回体２２の前方が下部走行体２１の前方と一致するときの上部旋回体２２の旋回角度が０°に設定されている。角度センサ５２により検出された旋回角度についての検出信号は、コントローラ１１に入力される。
　少なくとも一つの傾斜角センサ６０は、アタッチメント３０の姿勢を検出する。少なくとも一つの傾斜角センサ６０は、ブーム傾斜角センサ６１と、アーム傾斜角センサ６２と、バケット傾斜角センサ６３と、を備える。これらの傾斜角センサ６１，６２，６３により検出された傾斜角度についての検出信号は、コントローラ１１にそれぞれ入力される。
　ブーム傾斜角センサ６１は、ブーム３１に取り付けられ、ブーム３１の姿勢を検出する。ブーム傾斜角センサ６１は、水平線又は上部旋回体２２に対するブーム３１の傾斜角度を取得するセンサであり、例えば傾斜センサ（加速度センサ）であってもよい。なお、ブーム傾斜角センサ６１は、ブームフットピン（ブーム基端）の回転角度を検出する回転角度センサであってもよく、ブームシリンダ４１のストローク量を検出するストロークセンサであってもよい。
　アーム傾斜角センサ６２は、アーム３２に取り付けられ、アーム３２の姿勢を検出する。アーム傾斜角センサ６２は、水平線又はブーム３１に対するアーム３２の傾斜角度を取得するセンサであり、例えば傾斜センサ（加速度センサ）であってもよい。なお、アーム傾斜角センサ６２は、アーム連結ピン（アーム基端）の回転角度を検出する回転角度センサであってもよく、アームシリンダ４２のストローク量を検出するストロークセンサであってもよい。
　バケット傾斜角センサ６３は、リンク部材３４に取り付けられ、バケット３３の姿勢を検出する。バケット傾斜角センサ６３は、水平線又はアーム３２に対するバケット３３の傾斜角度を取得するセンサであり、例えば傾斜センサ（加速度センサ）であってもよい。なお、バケット傾斜角センサ６３は、バケット連結ピン（バケット基端）の回転角度を検出する回転角度センサであってもよく、バケットシリンダ４３のストローク量を検出するストロークセンサであってもよい。
　（ダンプトラックの構成）
　図１に示すように、ダンプトラック３には、作業機械２が保持する土砂が投下される。ダンプトラック３は、運転室２６と、荷台２７と、を有している。荷台２７は、土砂が投下される部分であり、本実施形態における検出対象である。荷台２７は、周囲を囲う４つの側壁を有している。４つの側壁のうち、荷台２７の後方に配置された作業機械２から見て最も奥側に位置する側壁である前壁は、作業機械２に対向する面である背面２８を有する。本実施形態では、複数種類のダンプトラック３が、作業現場に出入りする。複数種類のダンプトラック３の荷台２７は、複数の検出対象の一例である。なお、検出対象は荷台２７に限定されず、例えば土砂ピットなどでもよい。
　作業機械２側からダンプトラック３を見た斜視図である図２に示すように、背面２８には、２つの目印７１，７１が設けられている。２つの目印７１，７１は、所定の間隔を開けて配置されている。２つの目印７１，７１のそれぞれは、その位置および姿勢を外部から取得させることが可能なものであり、本実施形態では、ＡＲマーカである。２つの目印７１，７１の少なくとも一つは、ダンプトラック３の荷台２７の種類毎に異なっている。なお、目印７１の数は３つ以上であってもよいし、１つであってもよい。
　（撮像装置の構成）
　図１に示すように、撮像装置４は、作業機械２に取り付けられている。なお、撮像装置４は、作業機械２から離れた場所に設置されていてもよい。撮像装置４は、例えばデジタルカメラであってもよい。撮像装置４は、図２に示す目印７１，７１が撮像範囲に含まれるようにダンプトラック３の荷台２７を撮像する。撮像装置４により撮像された目印７１，７１に関する情報である撮像情報（例えば画像データ）は、コントローラ１１に入力される。
　（計測装置の構成）
　図１に示すように、計測装置５は、作業機械２に取り付けられている。なお、計測装置５は、作業機械２から離れた場所に設置されていてもよい。計測装置５は、例えばＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ＲａｎｇｉｎｇまたはＬａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）であってもよい。ＬＩＤＡＲは、三次元点群データを取得することで、ダンプトラック３の荷台２７までの距離を計測する。なお、計測装置５は、超音波センサ、ミリ波レーダ、ステレオカメラ、距離画像センサ、赤外線センサ等であってもよい。計測装置５により計測された荷台２７までの距離に関する情報は、コントローラ１１に入力される。
　（位置検出システムの構成）
　位置検出システム１のブロック図である図３に示すように、作業機械２は、コントローラ１１と、記憶装置１３と、を有している。
　コントローラ１１は、ＣＰＵなどの演算処理装置を含む。コントローラ１１は、取得部と、検出対象算出部と、特定部位算出部と、推定部と、補正部と、特定部と、を備える。取得部、検出対象算出部、特定部位算出部、推定部、補正部、及び特定部のそれぞれは、演算処理装置が制御プログラムを実行することにより実現される。
　コントローラ１１は、角度センサ５２および複数の傾斜角センサ６０（ブーム傾斜角センサ６１、アーム傾斜角センサ６２及びバケット傾斜角センサ６３）の検出値に基づいて、旋回装置２４およびアタッチメント３０を自動で動作させることが可能なように構成されている。つまり、作業機械２は自動運転される。なお、コントローラ１１は、作業機械２を操作するオペレータをアシストするアシスト運転が行われるように旋回装置２４およびアタッチメント３０の動作を制御するように構成されていてもよい。
　記憶装置１３は、少なくとも一つのダンプトラック３の荷台２７の三次元形状の情報を記憶している。上述したように、本実施形態では、複数種類のダンプトラック３が、作業現場に出入りする。よって、記憶装置１３は、複数種類のダンプトラック３の荷台２７の各々の三次元形状の情報を記憶している。
　具体的には、例えば、記憶装置１３は、第１のダンプトラック３の荷台である第１の荷台２７（第１の検出対象）の三次元形状の情報と、第２のダンプトラック３の荷台である第２の荷台２７（第２の検出対象）の三次元形状の情報と、第３のダンプトラック３の荷台である第３の荷台２７（第３の検出対象）の三次元形状の情報と、を記憶している。第１の荷台２７、第２の荷台２７および第３の荷台２７は、互いに異なる種類の荷台である。第１の荷台２７、第２の荷台２７および第３の荷台２７は、形およびサイズの少なくとも一方が互いに異なっている。なお、記憶装置１３は、４つ以上の互いに種類の異なる荷台の三次元形状の情報を記憶していてもよく、一つの荷台２７の三次元形状の情報のみを記憶していてもよく、２つの荷台２７の三次元形状の情報のみを記憶していてもよい。
　本実施形態において、三次元形状の情報は、荷台２７において互いに間隔をおいた位置に予め設定された複数のポイントである複数のキーポイントの座標であり、具体的には、図２に符号Ａ～Ｈで示す８つのキーポイントＡ～Ｈの座標である。
　コントローラ１１の特定部は、撮像装置４で撮像された目印７１，７１に関する撮像情報から、ダンプトラック３の種類を特定する。つまり、コントローラ１１の特定部は、前記撮像情報から荷台２７の種類を特定する。本実施形態では、コントローラ１１の特定部は、撮像装置４で撮像された目印７１，７１が取り付けられた荷台２７が第１の荷台２７、第２の荷台２７および第３の荷台２７の何れであるかを、前記撮像情報に基づいて特定する。各荷台２７に取り付けられた目印７１，７１の少なくとも一方には、その荷台２７の種類を特定するための識別情報が記されている。
　また、コントローラ１１の取得部は、撮像装置４で撮像された目印７１，７１に関する撮像情報から、目印７１，７１の位置および姿勢をマーカ情報として取得する。ここで、目印７１，７１のそれぞれは、ＡＲマーカとして予めコントローラ１１に登録されている。ＡＲマーカは、当該ＡＲマーカの位置および姿勢を取得部が取得することが可能な識別情報が記された標識である。また、ＡＲマーカは、荷台２７の種類（検出対象の種類）を特定部が特定することが可能な識別情報が記された標識であることが好ましい。また、ＡＲマーカは、ＡＲ（拡張現実）システムにおいて現実空間の画像に重畳表示する画像及びその位置を指定するための識別情報が記された標識であってもよい。本実施形態では、目印７１には、目印７１の三次元座標系がわかる画像を指定するための識別情報が記されている。コントローラ１１の取得部は、目印７１の三次元座標系を取得することで、目印７１の姿勢を取得する。具体的には、コントローラ１１の取得部は、撮像装置４で撮像された目印７１，７１に関する撮像情報から、目印７１，７１のそれぞれの三次元座標系、すなわち目印７１，７１のそれぞれの姿勢（例えばロール、ピッチ、ヨー）を取得することができる。
　コントローラ１１の特定部位算出部は、取得部により取得された２つの目印７１，７１のデータ、すなわち、２つの目印７１，７１の位置および姿勢から、中点７２の位置および姿勢を中点情報として算出する。ここで、図２に示すように、中点７２（中点部位７２）は、荷台２７に関連付けられた特定部位である。具体的には、中点７２は、２つの目印７１，７１を結ぶ直線（線分）の中点である。より具体的には、中点７２は、一方の目印７１の中心点と他方の目印７１の中心点とを結ぶ直線（線分）の中点である。特定部位算出部は、例えば、一方の目印７１の中心点の座標と他方の目印７１の中心点の座標の平均値を中点７２の位置（中点７２の座標）として算出することができる。特定部位算出部は、例えば、一方の目印７１の姿勢と他方の目印７１の姿勢から中点７２の姿勢を算出することができる。目印７１，７１のそれぞれの姿勢が上述したように目印７１，７１のそれぞれの三次元座標系により表されている場合には、特定部位算出部は、例えば、一方の目印７１の三次元座標系と他方の目印７１の三次元座標系とから、中点７２の三次元座標系、すなわち中点７２の姿勢を得ることができる。特定部位算出部は、例えば、一方の目印７１の姿勢（一方の目印７１の三次元座標系）と、他方の目印７１の姿勢（他方の目印７１の三次元座標系）と、を線形補間した値を中点７２の姿勢として算出することができる。なお、特定部位は、中点７２に限定されない。本実施形態における中点情報は、目印関連情報の一例である。
　なお、コントローラ１１は、加重平均による空間フィルタリングを、算出した中点情報に施してもよい。これにより、ノイズを軽減したり、エッジを強調したりすることができる。
　コントローラ１１の検出対象算出部は、特定部位算出部によって算出された中点情報と、記憶装置１３に記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を算出する。つまり、検出対象算出部は、中点７２の位置および姿勢から、８つのキーポイントＡ～Ｈの各々が空間のどこに位置しているのかを特定する。具体的には、中点７２に対する各キーポイントの相対位置が予め定義されており、検出対象算出部は、中点７２の座標（ｘ、ｙ、ｚ）及び姿勢（ロール、ピッチ、ヨー）を基準として各キーポイントの三次元座標を算出することができる。８つのキーポイントＡ～Ｈの三次元座標は、荷台２７の位置および姿勢を表している。ここで、荷台２７の位置および姿勢の算出には、複数種類の中から特定された種類に対応する荷台２７の三次元形状の情報が用いられる。
　なお、背面２８に設けられた目印７１の数が１つの場合には、この目印７１のマーカ情報と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。ただし、目印７１の数が１つの場合には、取得された目印７１の姿勢（三次元座標系）がばらつくことで、算出される荷台２７の位置および姿勢がばらつく場合がある。よって、２つ以上の目印７１から中点情報を算出して、荷台２７の位置および姿勢を算出する方が好ましい。
　このように、撮像された目印７１に関する撮像情報（例えば画像データ）から取得された、少なくとも一つの目印７１の位置および姿勢と、記憶装置１３に記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。これにより、ダンプトラック３の荷台２７の位置を精度よく検出することができる。よって、荷台２７に土砂を投下するように作業機械２を操作するオペレータのアシストや、荷台２７に土砂を投下するように動作する作業機械２の自動運転などを、高精度に行うことができる。
　また、本実施形態では、複数の目印７１が荷台２７に設けられており、取得された複数の目印７１の各々の位置および姿勢から、中点７２の位置および姿勢が算出される。そして、算出された中点７２の位置および姿勢と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。１つの目印７１の位置および姿勢を用いて、荷台２７の位置および姿勢を算出する場合、取得された目印７１の姿勢がばらつくことで、算出される荷台２７の位置および姿勢がばらつく場合がある。そこで、複数の目印７１の各々の位置から、中点７２の位置および姿勢を算出し、中点７２の位置および姿勢を用いて、荷台２７の位置および姿勢を算出することで、ダンプトラック３の荷台２７の位置を検出する精度を向上させることができる。
　また、コントローラ１１の特定部は、撮像された目印７１に関する撮像情報から、荷台２７の種類を特定する。そして、コントローラ１１の検出対象算出部は、前記目印関連情報としての中点情報と、特定された種類に対応する荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を算出する。これにより、作業現場に複数種類のダンプトラック３が出入りする場合であっても、ダンプトラック３の荷台２７の位置を精度よく検出することができる。
　ここで、コントローラ１１の推定部は、前記取得部が２つの目印７１，７１のうちの一方の目印７１のデータ（例えば一方の目印７１の位置）を取得できなかった場合に、前記取得部が取得できた他方の目印７１の位置および姿勢から、中点７２の位置および姿勢を中点情報として推定する。具体的には、例えば、取得部が２つの目印７１，７１のうちの一方の目印７１のデータ（例えば一方の目印７１の位置）を取得できずに他方の目印７１のデータ（例えば他方の目印７１の位置および姿勢）を取得できた場合に、推定部は、取得できた目印７１から中点７２までの距離を、取得できた目印７１の位置に加算することで中点７２の位置を算出し、取得できた目印７１の姿勢を中点７２の姿勢として決定する。なお、目印７１から中点７２までの距離は、荷台２７の種類ごとに記憶装置１３に予め記憶されていてもよい。そして、コントローラ１１の検出対象算出部は、推定された中点情報と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を算出する。推定された中点７２の位置および姿勢（推定された中点情報）は、目印関連情報の一例である。
　このように、複数の目印７１の一部の位置を取得できなかった場合に、中点７２の位置および姿勢を推定することで、ロバスト性を向上させることができる。
　なお、コントローラ１１は、加重平均による空間フィルタリングを、推定した中点情報に施してもよい。これにより、ノイズを軽減したり、エッジを強調したりすることができる。
　また、コントローラ１１の補正部は、計測装置５で計測された距離に基づいて、中点７２の位置および姿勢を補正する。具体的には、補正部は、計測装置５により取得される点群データから荷台２７の背面２８を検出し、この背面２８の情報に基づいて、中点７２の位置および姿勢を補正する。具体的には、補正部は、検出した背面２８の法線ベクトルに基づいてピッチの値およびヨーの値を算出する。また、中点７２は背面２８上に存在しているので、補正部は、背面２８上の点のうち中点７２と最も近い点の座標を補正後の中点７２の座標として用いる。これにより、ダンプトラック３の荷台２７の位置の検出精度をさらに向上させることができる。
　なお、コントローラ１１は、撮像装置４と計測装置５との視野の相対関係をキャリブレーションする。つまり、撮像装置４の座標系と計測装置５の座標系とをマッチングする。これにより、中点７２の位置および姿勢を正確に補正することができる。
　（位置検出システムの動作）
　次に、位置検出処理のフローチャートである図４を用いて、位置検出システム１の動作を説明する。
　まず、作業機械２のコントローラ１１は、撮像装置４にダンプトラック３の荷台２７を撮像させる（ステップＳ１）。このとき、目印７１が撮像範囲に（画像データに）含まれるように荷台２７が撮像される。撮像装置４が作業機械２に取り付けられている場合には、作業機械２が荷台２７の後方に配置されることで、撮像装置４は、目印７１が撮像範囲に含まれるように荷台２７を撮像することができる。次に、コントローラ１１は、目印７１を認識したか否かを判定する（ステップＳ２）。コントローラ１１は、ステップＳ２において、目印７１を認識していないと判定した場合には（ステップＳ２：ＮＯ）、ステップＳ１に戻る。
　一方、コントローラ１１は、ステップＳ２において、目印７１を認識したと判定した場合には（ステップＳ２：ＹＥＳ）、コントローラ１１は、目印７１に関する撮像情報（画像データ）からダンプトラック３の荷台２７の種類を特定する（ステップＳ３）。そして、コントローラ１１は、目印７１に関する撮像情報からマーカ情報（目印７１の位置および姿勢）を取得する（ステップＳ４）。
　次に、コントローラ１１は、すべてのマーカ情報を取得したか否かを判定する（ステップＳ５）。即ち、コントローラ１１は、前記撮像情報から２つの目印７１の各々のマーカ情報を取得したか否かを判定する。コントローラ１１は、ステップＳ５において、すべてのマーカ情報を取得したと判定した場合には（ステップＳ５：ＹＥＳ）、コントローラ１１は、目印７１の各々の位置および姿勢から、中点情報（中点７２の位置および姿勢）を算出する（ステップＳ６）。
　次に、コントローラ１１は、算出した中点情報に空間フィルタリングを施す（ステップＳ７）。そして、コントローラ１１は、中点７２のヨー方向の姿勢を補正する（ステップＳ８）。
　一方、ステップＳ５において、コントローラ１１は、すべてのマーカ情報を取得していないと判定した場合には（ステップＳ５：ＮＯ）、コントローラ１１は、取得されたマーカ情報から、中点情報を推定する（ステップＳ９）。そして、コントローラ１１は、推定した中点情報に空間フィルタリングを施す（ステップＳ１０）。
　ステップＳ８の後、または、ステップＳ１０の後に、コントローラ１１は、計測装置５に荷台２７までの距離を計測させる（ステップＳ１１）。そして、コントローラ１１は、撮像装置４の座標系と計測装置５の座標系とをマッチングさせるキャリブレーションを行う（ステップＳ１２）。
　次に、コントローラ１１は、計測装置５が取得した三次元点群データから、荷台２７の背面２８を検出したか否かを判定する（ステップＳ１３）。ステップＳ１３において、荷台２７の背面２８を検出したと判定した場合には（ステップＳ１３：ＹＥＳ）、コントローラ１１は、中点情報を補正する（ステップＳ１４）。
　コントローラ１１は、ステップＳ１３において、荷台２７の背面２８を検出していないと判定した場合（ステップＳ１３：ＮＯ）、または、ステップＳ１４の後に、コントローラ１１は、中点情報と、記憶装置１３に記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢を、８つのキーポイントＡ～Ｈの座標として算出する（ステップＳ１５）。
　次に、コントローラ１１は、８つのキーポイントＡ～Ｈの座標を、それぞれ作業機械２の座標系に座標変換する（ステップＳ１６）。これにより、ダンプトラック３の荷台２７の位置が精度よく検出される。その後、コントローラ１１は、本フローを終了する。
（効果）
　以上に述べたように、本実施形態に係る位置検出システム１によれば、撮像された目印７１に関する撮像情報から取得されたマーカ情報（目印７１の位置および姿勢）と、記憶装置１３に記憶された荷台２７（検出対象）の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。これにより、ダンプトラック３の荷台２７の位置を精度よく検出することができる。よって、例えば、荷台２７に土砂（運搬物）を投下するように作業機械２を操作するオペレータのアシストや、荷台２７に土砂を投下するように動作する作業機械２の自動運転などを、高精度に行うことができる。
　また、複数の目印７１が荷台２７に設けられており、取得された目印７１の各々の位置および姿勢から、中点情報（中点７２の位置および姿勢）が算出される。そして、算出された中点情報と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。１つの目印７１の位置および姿勢を用いて、荷台２７の位置および姿勢を算出する場合、目印７１の姿勢がばらつくことで、算出される荷台２７の位置および姿勢がばらつく場合がある。そこで、複数の目印７１の各々の位置および姿勢から、中点７２の位置および姿勢を算出し、中点７２の位置および姿勢を用いて、荷台２７の位置および姿勢を算出することで、ダンプトラック３の荷台２７の位置を検出する精度を向上させることができる。
　また、複数の目印７１の一部の位置を取得できなかった場合に、取得された目印７１の位置および姿勢から、中点７２の位置および姿勢が推定される。そして、推定された中点７２の位置および姿勢と、記憶された荷台２７の三次元形状の情報とに基づいて、荷台２７の位置および姿勢が算出される。複数の目印７１の一部の位置を取得できなかった場合に、中点７２の位置および姿勢を推定することで、ロバスト性を向上させることができる。
　また、計測された荷台２７までの距離に基づいて、中点７２の位置および姿勢が補正される。これにより、ダンプトラック３の荷台２７の位置の検出精度をさらに向上させることができる。
　また、撮像された目印７１に関する撮像情報から、荷台２７の種類が特定される。そして、特定された種類の荷台２７の三次元形状の情報に基づいて、荷台２７の位置および姿勢が算出される。これにより、作業現場に複数種類のダンプトラック３が出入りする場合であっても、ダンプトラック３の荷台２７の位置を精度よく検出することができる。
　以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。
　例えば、ダンプトラック３の荷台２７の種類の特定、マーカ情報の取得、中点情報の算出、推定および補正、ダンプトラック３の荷台２７の位置および姿勢の算出は、作業機械２のコントローラ１１ではなく、図示しないサーバが行ってもよい。
　また、１つのステレオカメラを撮像装置４および計測装置５として使用してもよい。この場合、撮像装置４と計測装置５とを別々に用意する必要がない。
　前記実施形態では、目印関連情報は、中点情報であるが、このような具体例に限られない。検出対象算出部は、取得部により取得された少なくとも一つの目印の位置および姿勢と、記憶装置に記憶された前記検出対象の三次元形状の情報とに基づいて、前記検出対象の位置および姿勢を算出するように構成されていてもよい。この場合、目印関連情報は、取得部により取得された少なくとも一つの目印の位置および姿勢である。

Claims (5)

  1. 　作業機械に対する少なくとも一つの検出対象の位置を検出する位置検出システムであって、
    　前記少なくとも一つの検出対象に設けられ、位置および姿勢を外部から取得させることが可能な少なくとも一つの目印と、
    　前記少なくとも一つの目印が含まれるように前記少なくとも一つの検出対象を撮像する撮像装置と、
    　撮像された前記少なくとも一つの目印に関する情報である撮像情報から、前記少なくとも一つの目印の位置および姿勢を取得する取得部と、
    　前記少なくとも一つの検出対象の三次元形状の情報を記憶する記憶装置と、
    　取得された前記少なくとも一つの目印の位置および姿勢に関する情報である目印関連情報と、記憶された前記少なくとも一つの検出対象の三次元形状の情報とに基づいて、前記少なくとも一つの検出対象の位置および姿勢を算出する検出対象算出部と、
    を有する位置検出システム。
  2. 　請求項１に記載の位置検出システムであって、
    　前記少なくとも一つの目印は、複数の目印を含み、
    　前記位置検出システムは、前記取得部により取得された前記複数の目印のデータから、前記少なくとも一つの検出対象に関連付けられた特定部位の位置および姿勢を前記目印関連情報として算出する特定部位算出部をさらに有し、
    　前記検出対象算出部は、算出された前記特定部位の位置および姿勢と、記憶された前記少なくとも一つの検出対象の三次元形状の情報とに基づいて、前記少なくとも一つの検出対象の位置および姿勢を算出する、位置検出システム。
  3. 　請求項２に記載の位置検出システムであって、
    　前記複数の目印のうちの一部の目印のデータを前記取得部が取得できなかった場合に、前記取得部により取得された目印の位置および姿勢から、前記特定部位の位置および姿勢を前記目印関連情報として推定する推定部をさらに有し、
    　前記検出対象算出部は、推定された前記特定部位の位置および姿勢と、記憶された前記少なくとも一つの検出対象の三次元形状の情報とに基づいて、前記少なくとも一つの検出対象の位置および姿勢を算出する、位置検出システム。
  4. 　請求項２又は３に記載の位置検出システムであって、
    　前記少なくとも一つの検出対象までの距離を計測する計測装置と、
    　計測された距離に基づいて、前記特定部位の位置および姿勢を補正する補正部と、をさらに有する位置検出システム。
  5. 　請求項１～４のいずれか１項に記載の位置検出システムであって、
    　前記少なくとも一つの検出対象は、検出対象の種類が異なる複数の検出対象を含み、前記複数の検出対象のそれぞれには、前記検出対象の種類ごとに異なる前記少なくとも一つの目印が設けられ、
    　前記記憶装置は、前記複数の検出対象の三次元形状の情報を記憶しており、
    　前記位置検出システムは、前記撮像情報から前記検出対象の種類を特定する特定部をさらに有し、
    　前記検出対象算出部は、前記目印関連情報と、特定された前記検出対象の種類に対応する三次元形状の情報とに基づいて、前記少なくとも一つの検出対象の位置および姿勢を算出する、位置検出システム。
PCT/JP2021/033596 2020-09-25 2021-09-13 位置検出システム WO2022065117A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180063628.4A CN116157575A (zh) 2020-09-25 2021-09-13 位置检测系统
EP21872247.8A EP4198210A4 (en) 2020-09-25 2021-09-13 POSITION DETECTION SYSTEM
US18/245,184 US20240018752A1 (en) 2020-09-25 2021-09-13 Position detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020161059A JP2022054072A (ja) 2020-09-25 2020-09-25 位置検出システム
JP2020-161059 2020-09-25

Publications (1)

Publication Number Publication Date
WO2022065117A1 true WO2022065117A1 (ja) 2022-03-31

Family

ID=80845312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033596 WO2022065117A1 (ja) 2020-09-25 2021-09-13 位置検出システム

Country Status (5)

Country Link
US (1) US20240018752A1 (ja)
EP (1) EP4198210A4 (ja)
JP (1) JP2022054072A (ja)
CN (1) CN116157575A (ja)
WO (1) WO2022065117A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123781A (ja) * 2010-11-19 2012-06-28 Canon Inc 情報処理装置、情報処理システム及び情報処理方法
JP2019020333A (ja) * 2017-07-20 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP2020035380A (ja) 2018-08-31 2020-03-05 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
JP2020118586A (ja) * 2019-01-25 2020-08-06 株式会社豊田中央研究所 移動体
JP2020140696A (ja) * 2019-02-28 2020-09-03 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 掘削機のバケットの位置姿勢を確定するための方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2013409B1 (en) * 2014-09-03 2016-09-27 Fugro N V Spatial positioning of offshore structures.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123781A (ja) * 2010-11-19 2012-06-28 Canon Inc 情報処理装置、情報処理システム及び情報処理方法
JP2019020333A (ja) * 2017-07-20 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP2020035380A (ja) 2018-08-31 2020-03-05 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
JP2020118586A (ja) * 2019-01-25 2020-08-06 株式会社豊田中央研究所 移動体
JP2020140696A (ja) * 2019-02-28 2020-09-03 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 掘削機のバケットの位置姿勢を確定するための方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4198210A4

Also Published As

Publication number Publication date
CN116157575A (zh) 2023-05-23
EP4198210A1 (en) 2023-06-21
EP4198210A4 (en) 2024-02-21
JP2022054072A (ja) 2022-04-06
US20240018752A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
JP5227139B2 (ja) 建設機械
US20150168136A1 (en) Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
JP6995767B2 (ja) 計測システム、作業機械及び計測方法
US6201883B1 (en) Topography measuring device
KR101734057B1 (ko) 정적인 목표를 이용한 드라이브 바이 보정
WO2015182455A1 (ja) 作業機の作動状態検出システム及び作業機
US20090259373A1 (en) Earthmoving Machine Sensor
JP6947659B2 (ja) 建設機械の位置推定装置
CN112673284A (zh) 坐标转换系统及作业机械
JP6219043B2 (ja) ブームの先端位置検出装置
JP7023813B2 (ja) 作業機械
WO2022190484A1 (ja) 容器計測システム
WO2017159744A1 (ja) ショベル
CN110027001A (zh) 用于运行移动的作业机器的方法以及移动的作业机器
JP3897984B2 (ja) 監視カメラのキャリブレーション方法及び道路監視用カメラ
WO2022065117A1 (ja) 位置検出システム
CN115698434A (zh) 信息取得系统及信息取得方法
WO2021019949A1 (ja) 建設機械の作業内容判定システム及び作業判定方法
US11430153B2 (en) Method for detecting an arrangement of at least two cameras of a multi-camera system of a mobile carrier platform relative to one another and method for detecting an arrangement of the camera with respect to an object outside the mobile carrier platform
KR20220010221A (ko) Avm 기반 굴삭기 모니터링 장치 및 그 방법
EP4350082A1 (en) Intrusion detection system
JP2020148564A (ja) 作業車両及び作業車両の位置検出方法
JP6954145B2 (ja) 先端アタッチメント寸法計測装置
US20220333355A1 (en) Control system of construction machinery and method of providing working guide line
JP2024127331A (ja) 作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872247

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18245184

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2021872247

Country of ref document: EP

Effective date: 20230315

NENP Non-entry into the national phase

Ref country code: DE