WO2023282203A1 - 作業機械の制御システム、作業機械、及び作業機械の制御方法 - Google Patents

作業機械の制御システム、作業機械、及び作業機械の制御方法 Download PDF

Info

Publication number
WO2023282203A1
WO2023282203A1 PCT/JP2022/026479 JP2022026479W WO2023282203A1 WO 2023282203 A1 WO2023282203 A1 WO 2023282203A1 JP 2022026479 W JP2022026479 W JP 2022026479W WO 2023282203 A1 WO2023282203 A1 WO 2023282203A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
revolving body
revolving
azimuth angle
dimensional position
Prior art date
Application number
PCT/JP2022/026479
Other languages
English (en)
French (fr)
Inventor
彰吾 厚見
昌司 園山
俊秀 峯後
大樹 菅原
豊久 松田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to KR1020237039543A priority Critical patent/KR20230171035A/ko
Priority to CN202280039151.0A priority patent/CN117396653A/zh
Priority to DE112022002116.0T priority patent/DE112022002116T5/de
Publication of WO2023282203A1 publication Critical patent/WO2023282203A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02—Means for marking measuring points
    • G01C15/06—Surveyors' staffs; Movable markers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude
    • G01S19/54—Determining attitude using carrier phase measurements; using long or short baseline interferometry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators

Definitions

  • the present disclosure relates to a work machine control system, a work machine, and a work machine control method.
  • Patent Document 1 In the technical field related to work machines, there is known a technique for excavating an excavation target based on a target construction surface, as disclosed in Patent Document 1.
  • a technology for excavating an excavation target based on a target construction plane there is a machine guidance technology that presents a guidance image showing the relative position of the target construction plane and the work machine to the operator of the work machine, and a work machine that operates according to the target construction plane.
  • Machine control technology for assisting operator operations is known.
  • GNSS Global Navigation Satellite System
  • the purpose of the present disclosure is to calculate the position and azimuth angle of the work machine when GNSS positioning failure occurs.
  • a control system for a work machine including a traveling body and a revolving body, wherein the revolving body is controlled based on images of a plurality of targets installed outside the work machine and the inclination angle of the revolving body.
  • a work machine control system includes a position/orientation calculator that calculates a position and an azimuth angle.
  • the position and azimuth angle of the work machine are calculated when GNSS positioning failure occurs.
  • FIG. 1 is a perspective view showing a work machine according to the embodiment.
  • FIG. 2 is a schematic diagram showing the working machine according to the embodiment.
  • FIG. 3 is a diagram showing a cab of the work machine according to the embodiment.
  • FIG. 4 is a block diagram showing the control system of the work machine according to the embodiment.
  • FIG. 5 is a schematic diagram for explaining a calculation mode of the position and azimuth angle of the revolving body according to the embodiment.
  • FIG. 6 is a diagram illustrating a plurality of targets installed at a work site according to the embodiment;
  • FIG. 7 is a diagram showing a target according to the embodiment.
  • FIG. 8 is a flowchart showing a method of calculating the position and azimuth angle of the revolving body according to the embodiment.
  • FIG. 1 is a perspective view showing a work machine according to the embodiment.
  • FIG. 2 is a schematic diagram showing the working machine according to the embodiment.
  • FIG. 3 is a diagram showing a
  • FIG. 9 is a schematic diagram for explaining a method of calculating the position and azimuth angle of the revolving body according to the embodiment.
  • FIG. 10 is a schematic diagram for explaining a method of calculating the position and azimuth angle of the revolving body according to the embodiment.
  • FIG. 11 is a flowchart showing a method of calculating the position and azimuth angle of the revolving body after the revolving body performs a revolving motion according to the embodiment.
  • FIG. 12 is a flowchart showing a method of correcting calculation results of the position and azimuth angle of the revolving body according to the embodiment.
  • FIG. 13 is a block diagram of a computer system according to the embodiment.
  • FIG. 1 is a perspective view showing a work machine 1 according to an embodiment.
  • FIG. 2 is a schematic diagram showing the working machine 1 according to the embodiment.
  • FIG. 3 is a diagram showing the cab 2 of the work machine 1 according to the embodiment.
  • the work machine 1 operates at the work site.
  • work machine 1 is a hydraulic excavator.
  • the work machine 1 is appropriately called the hydraulic excavator 1 .
  • the hydraulic excavator 1 includes a traveling body 3, a revolving body 4, a working machine 5, a hydraulic cylinder 6, an operating device 7, an on-vehicle monitor 8, a position sensor 9, an inclination sensor 10, an imaging device 11, and a controller 12 .
  • a three-dimensional site coordinate system (Xg, Yg, Zg) is defined at the work site.
  • a three-dimensional vehicle body coordinate system (Xm, Ym, Zm) is defined for the revolving body 4 .
  • a three-dimensional camera coordinate system (Xc, Yc, Zc) is defined in the imaging device 11 .
  • the site coordinate system is composed of the Xg axis extending north and south from the site reference point Og defined for the work site, the Yg axis extending east and west from the site reference point Og, and the Zg axis extending vertically from the site reference point Og.
  • the vehicle body coordinate system includes an Xm axis extending in the longitudinal direction of the revolving structure 4 from a representative point Om defined on the revolving structure 4, a Ym axis extending in the lateral direction of the revolving structure 4 from the representative point Om, and a Ym axis extending in the lateral direction of the revolving structure 4 from the representative point Om. Zm axis extending in the vertical direction.
  • the +Xm direction is the front of the revolving structure 4
  • the -Xm direction is the rear of the revolving structure 4
  • the +Ym direction is the left of the revolving structure 4
  • the -Ym direction is It is to the right of the revolving body 4
  • the +Zm direction is above the revolving body 4
  • the ⁇ Zm direction is below the revolving body 4 .
  • the camera coordinate system includes an Xc axis extending in the width direction of the camera 13 from the optical center Oc of one camera 13 constituting the imaging device 11, a Yc axis extending in the vertical direction of the camera 13 from the optical center Oc, and a camera It is composed of the Zc axis extending in the direction parallel to the optical axis of the 13 optical system.
  • the traveling body 3 travels while supporting the revolving body 4 .
  • the running body 3 has a pair of crawler belts 3A. Rotation of crawler belt 3A causes traveling body 3 to travel.
  • the running motion of the running body 3 includes forward motion and backward motion.
  • the hydraulic excavator 1 can move around the work site by means of the traveling body 3 .
  • the revolving body 4 is supported by the traveling body 3.
  • the revolving body 4 is arranged above the running body 3 .
  • the revolving body 4 revolves around the revolving axis RX while being supported by the traveling body 3 .
  • the pivot axis RX is parallel to the Zm axis.
  • the turning motion of the turning body 4 includes a left turning motion and a right turning motion.
  • the cab 2 is provided in the revolving body 4 .
  • the working machine 5 is supported by the revolving body 4 .
  • the work machine 5 performs work.
  • the work performed by the work machine 5 includes an excavation work of excavating an excavation target and a loading work of loading the excavated material onto a loading target.
  • the work implement 5 includes a boom 5A, an arm 5B, and a bucket 5C.
  • a base end portion of the boom 5A is rotatably connected to a front portion of the revolving body 4 .
  • the base end of the arm 5B is rotatably connected to the tip of the boom 5A.
  • the base end of the bucket 5C is rotatably connected to the tip of the arm 5B.
  • the hydraulic cylinder 6 operates the working machine 5 .
  • the hydraulic cylinders 6 include a boom cylinder 6A, an arm cylinder 6B, and a bucket cylinder 6C.
  • the boom cylinder 6A raises and lowers the boom 5A.
  • the arm cylinder 6B causes the arm 5B to excavate and dump.
  • the bucket cylinder 6C causes the bucket 5C to excavate and dump.
  • a base end portion of the boom cylinder 6A is connected to the revolving body 4 .
  • a tip portion of the boom cylinder 6A is connected to the boom 5A.
  • a base end of the arm cylinder 6B is connected to the boom 5A.
  • a tip of the arm cylinder 6B is connected to the arm 5B.
  • a base end of the bucket cylinder 6C is connected to the arm 5B.
  • a tip of the bucket cylinder 6C is connected to the bucket 5C.
  • the operating device 7 is arranged in the driver's cab 2 .
  • the operation device 7 is operated to operate at least one of the traveling body 3, the revolving body 4, and the working machine 5.
  • the operating device 7 is operated by an operator in the operator's cab 2 .
  • the operator can operate the operating device 7 while seated on the operator's seat 14 arranged in the operator's cab 2 .
  • the operating device 7 includes a left working lever 7A and a right working lever 7B operated to operate the revolving body 4 and the working machine 5, and a left traveling lever 7C and a right traveling lever operated to operate the traveling body 3. 7D, a left foot pedal 7E and a right foot pedal 7F.
  • the arm 5B By operating the left working lever 7A in the front-rear direction, the arm 5B performs a dump operation or an excavation operation.
  • the revolving body 4 By operating the left working lever 7A in the left-right direction, the revolving body 4 is operated to turn left or right.
  • the bucket 5C By operating the right working lever 7B in the left-right direction, the bucket 5C performs an excavation operation or a dump operation.
  • the boom 5A is lowered or raised.
  • the revolving body 4 rotates to the right or left. You may
  • the crawler belt 3A on the left side of the traveling body 3 moves forward or backward.
  • the crawler belt 3A on the right side of the traveling body 3 moves forward or backward.
  • the left foot pedal 7E is interlocked with the left travel lever 7C.
  • the right foot pedal 7F is interlocked with the right traveling lever 7D.
  • the traveling body 3 may be moved forward or backward by operating the left foot pedal 7E and the right foot pedal 7F.
  • the in-vehicle monitor 8 is arranged in the driver's cab 2.
  • the in-vehicle monitor 8 is arranged on the front right side of the driver's seat 14 .
  • the in-vehicle monitor 8 has a display device 8A and an input device 8B.
  • the display device 8A displays prescribed display data.
  • the display device 8A is exemplified by a flat panel display such as a liquid crystal display (LCD) or an organic electroluminescence display (OELD).
  • LCD liquid crystal display
  • OELD organic electroluminescence display
  • the input device 8B generates input data by being operated by an operator.
  • a button switch, a computer keyboard, and a touch panel are exemplified as the input device 8B.
  • the position sensor 9 detects the position in the field coordinate system.
  • the position sensor 9 detects the position in the field coordinate system using the global navigation satellite system (GNSS).
  • the Global Navigation Satellite System includes the Global Positioning System (GPS). Global navigation satellite systems detect positions defined by latitude, longitude, and altitude coordinate data.
  • the position sensor 9 includes a GNSS receiver that receives GNSS radio waves from GNSS satellites.
  • a position sensor 9 is arranged on the revolving body 4 . In an embodiment the position sensor 9 is arranged in the counterweight of the rotating bed 4 .
  • the position sensor 9 includes a first position sensor 9A and a second position sensor 9B.
  • the first position sensor 9A and the second position sensor 9B are arranged at different positions on the revolving body 4 .
  • the first position sensor 9A and the second position sensor 9B are arranged in the revolving body 4 with an interval in the left-right direction.
  • the first position sensor 9A detects a first positioning position indicating the position where the first position sensor 9A is arranged.
  • the second position sensor 9B detects a second positioning position indicating the position where the second position sensor 9B is arranged.
  • the tilt sensor 10 detects the acceleration and angular velocity of the revolving body 4 .
  • the tilt sensor 10 includes an inertial measurement unit (IMU: Inertial Measurement Unit).
  • IMU Inertial Measurement Unit
  • the tilt sensor 10 is arranged on the revolving body 4 . In the embodiment, the tilt sensor 10 is installed below the driver's cab 2 .
  • the imaging device 11 images the front of the revolving body 4 .
  • the imaging device 11 is arranged on the revolving body 4 .
  • the imaging device 11 is arranged above the driver's cab 2 .
  • the imaging device 11 includes multiple cameras 13 .
  • Camera 13 includes an optical system and an image sensor that receives light via the optical system.
  • a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor is exemplified.
  • Camera 13 includes camera 13A, camera 13B, camera 13C, and camera 13D.
  • a pair of cameras 13 constitute a stereo camera 15 .
  • a pair of cameras 13A and 13C constitute a first stereo camera 15A.
  • a pair of cameras 13B and 13D constitute a second stereo camera 15B.
  • the cameras 13A and 13C of the stereo camera 15A are arranged with an interval in the horizontal direction of the revolving body 4.
  • the cameras 13B and 13D of the stereo camera 15B are arranged with an interval in the horizontal direction of the revolving body 4 .
  • the optical axes of the optical systems of cameras 13A and 13C are substantially parallel to the Xg axis.
  • the optical axes of the optical systems of cameras 13B and 13D are inclined downward toward the front of revolving body 4 .
  • FIG. 4 is a block diagram showing the control system 30 of the work machine 1 according to the embodiment.
  • the hydraulic excavator 1 has a control system 30 .
  • the control system 30 has an in-vehicle monitor 8 , a position sensor 9 , an inclination sensor 10 , an imaging device 11 and a control device 12 .
  • the control device 12 controls the hydraulic excavator 1 .
  • Controller 12 includes a computer system.
  • the control device 12 includes a storage unit 16, a first position/orientation calculation unit 17, a second position/orientation calculation unit 18, an inclination angle calculation unit 19, a switching unit 20, a three-dimensional data calculation unit 21, and a display control unit. It has a section 22 and a correction section 23 .
  • the storage unit 16 stores prescribed storage data.
  • the storage unit 16 stores target data relating to a target 24, which will be described later.
  • a plurality of targets 24 are installed outside the hydraulic excavator 1 .
  • the target data includes three-dimensional positions of each of the multiple targets 24 .
  • the target data includes correlation data indicating the relationship between identification data defined by identification marks 27 of target 24 and the three-dimensional position of target 24 .
  • the first position/azimuth calculator 17 calculates the position and azimuth angle of the revolving structure 4 in the field coordinate system based on the detection data of the position sensor 9 .
  • the position sensor 9 includes a GNSS receiver for receiving GNSS radio waves.
  • the first position/azimuth calculator 17 calculates the position and azimuth angle of the revolving body 4 based on the GNSS radio waves.
  • the azimuth angle of the revolving body 4 is, for example, the azimuth angle of the revolving body 4 based on the Xg axis.
  • the first position/orientation calculator 17 calculates the position of the revolving structure 4 based on at least one of the first measured position detected by the first position sensor 9A and the second measured position detected by the second position sensor 9B. do.
  • the first position/orientation calculator 17 calculates the azimuth angle of the revolving structure 4 based on the relative position between the first measured position detected by the first position sensor 9A and the second measured position detected by the second position sensor 9B. Calculate
  • the second position/azimuth calculation unit 18 calculates the position and azimuth angle of the revolving body 4 in the field coordinate system based on the image acquired by the imaging device 11 .
  • multiple targets 24 are installed outside the excavator 1 .
  • the imaging device 11 images the target 24 .
  • the second position/orientation calculator 18 acquires images of a plurality of targets 24 from the imaging device 11 .
  • the second position/orientation calculator 18 calculates the position and azimuth angle of the revolving superstructure 4 based on images of a plurality of targets 24 installed outside the hydraulic excavator 1 .
  • the tilt angle calculator 19 calculates the tilt angle of the revolving body 4 based on the detection data of the tilt sensor 10 .
  • the inclination angle of the revolving body 4 includes the roll angle and pitch angle of the revolving body 4 .
  • the roll angle is the tilt angle of the revolving body 4 in the tilt direction about the Xg axis.
  • the pitch angle is the tilt angle of the revolving body 4 in the tilt direction about the Yg axis.
  • the tilt angle calculator 19 calculates the roll angle and pitch angle of the revolving structure 4 based on the detection data of the tilt sensor 10 .
  • the switching unit 20 has a first calculation mode in which the first position/orientation calculation unit 17 calculates the position and azimuth angle of the revolving structure 4 , and a second calculation mode in which the second position/orientation calculation unit 18 calculates the position and azimuth angle of the revolving structure 4 . 2 to switch between calculation modes.
  • the three-dimensional data calculation unit 21 calculates the distance between the stereo camera 15 and the imaging target based on a set of images captured by the stereo camera 15 .
  • An excavation target to be excavated by the work machine 5 is exemplified as an imaging target.
  • the three-dimensional data calculation unit 21 calculates three-dimensional data of the imaging target by stereo-processing images of the same imaging target captured by the set of cameras 13 of the stereo camera 15 .
  • the three-dimensional data calculator 21 calculates three-dimensional data in the camera coordinate system.
  • the display control unit 22 controls the display device 8A of the in-vehicle monitor 8.
  • the display control unit 22 causes the display device 8A to display prescribed display data.
  • the correction unit 23 corrects the error of the tilt sensor 10.
  • FIG. 5 is a schematic diagram for explaining a calculation mode of the position and azimuth angle of the revolving body 4 according to the embodiment.
  • the position and azimuth angle of the revolving superstructure 4 are calculated by at least one of the first calculation mode and the second calculation mode.
  • the position of the revolving superstructure 4 includes the position of the representative point Om of the revolving superstructure 4 in the site coordinate system.
  • the azimuth angle of the revolving structure 4 includes the azimuth angle of the vehicle body coordinate system based on the representative point Om of the revolving structure 4 in the field coordinate system.
  • the first calculation mode is a calculation mode for calculating the position and azimuth angle of the revolving body 4 based on GNSS radio waves.
  • the first position/orientation calculator 17 calculates the position and azimuth angle of the revolving body 4 based on the detection data of the position sensor 9 .
  • the second calculation mode is a calculation mode for calculating the position and azimuth angle of the revolving body 4 based on the images of the multiple targets 24 .
  • the second position/azimuth calculator 18 calculates the position and azimuth angle of the revolving body 4 based on the image of the target 24 captured by the imaging device 11 .
  • Poor GNSS positioning includes degraded GNSS positioning accuracy and no positioning. Poor GNSS positioning is exemplified by insufficient strength of GNSS radio waves received by the position sensor 9 or multipath of GNSS radio waves.
  • the multipath of GNSS radio waves means that GNSS radio waves transmitted from GNSS satellites are reflected by the ground, buildings, etc., or reflected or refracted in the ionosphere, and the position sensor 9 receives GNSS radio waves from multiple transmission paths. A phenomenon in which an error occurs in the detected position due to reception.
  • the position and azimuth angle of the revolving body 4 are calculated in the first calculation mode.
  • the position and azimuth angle of the revolving superstructure 4 are calculated in the second calculation mode.
  • the switching unit 20 switches between the first calculation mode and the second calculation mode based on the reception status of GNSS radio waves.
  • the first position/orientation calculation unit 17 can determine whether the reception status of GNSS radio waves is good or bad.
  • the first position/orientation calculator 17 can determine, for example, the strength of the GNSS radio waves.
  • the switching unit 20 switches between the first calculation mode and the second calculation mode based on the reception status of GNSS radio waves by the position sensor 9 .
  • the switching unit 20 switches between the first calculation mode and the second calculation mode based on whether the first position/orientation calculation unit 17 can calculate the position and the azimuth angle of the revolving structure 4 .
  • the first position/azimuth calculator 17 when the GNSS radio wave intensity is insufficient and the GNSS radio wave reception condition is poor, there is a high possibility that the first position/azimuth calculator 17 will be unable to calculate the position and azimuth angle of the revolving body 4 .
  • the first position/orientation calculator 17 when the GNSS radio wave intensity is sufficient and the GNSS radio wave reception condition is good, the first position/orientation calculator 17 is likely to be able to calculate the position and azimuth angle of the revolving body 4 .
  • the switching unit 20 switches from the first calculation mode to the second calculation mode when the GNSS radio wave reception condition changes from a good state to a poor state. Further, when the first position/orientation calculation section 17 changes from a state in which the position and azimuth angle of the revolving structure 4 can be calculated to a state in which the calculation is not possible, the switching section 20 switches from the first calculation mode to the second calculation mode. .
  • the switching unit 20 switches from the second calculation mode to the first calculation mode when the GNSS radio wave reception condition changes from poor to good. Further, when the first position/orientation calculation section 17 changes from a state in which the position and azimuth angle of the revolving structure 4 cannot be calculated to a state in which the calculation is possible, the switching section 20 switches from the second calculation mode to the first calculation mode. .
  • the display control unit 22 causes the display device 8A to display the reception status of GNSS radio waves. As shown in FIG. 5, when the GNSS radio wave reception condition changes from a good state to a poor state, the display control unit 22 causes the display device 8A to display that the GNSS radio wave reception condition is poor. good. Based on the display data displayed on the display device 8A, the operator can recognize that the GNSS radio wave reception condition is poor. In the embodiment, switching from the first calculation mode to the second calculation mode may be performed based on the operation of the input device 8B by the operator. The operator who recognizes that the GNSS radio wave reception condition is poor operates the input device 8B to generate input data for switching from the first calculation mode to the second calculation mode. The switching unit 20 switches from the first calculation mode to the second calculation mode based on the input data from the input device 8B.
  • the display control unit 22 may cause the display device 8A to display that the first calculation mode has been switched to the second calculation mode. This allows the operator to recognize that the first calculation mode has been switched to the second calculation mode.
  • the display control unit 22 causes the display device 8A to display that the reception status of GNSS radio waves is good.
  • the operator can recognize that the GNSS radio wave reception condition is good based on the display data displayed on the display device 8A.
  • Switching from the second calculation mode to the first calculation mode may be performed based on the operation of the input device 8B by the operator.
  • the operator who recognizes that the GNSS radio wave reception condition is good operates the input device 8B to generate input data for switching from the second calculation mode to the first calculation mode.
  • the switching unit 20 switches from the second calculation mode to the first calculation mode based on the input data from the input device 8B.
  • the display control unit 22 may cause the display device 8A to display that the second calculation mode has been switched to the first calculation mode. This allows the operator to recognize that the second calculation mode has been switched to the first calculation mode.
  • FIG. 6 is a diagram showing the target 24 installed at the work site according to the embodiment.
  • the target 24 is arranged outside the hydraulic excavator 1 at the work site.
  • a plurality of targets 24 are arranged around the hydraulic excavator 1 at the work site.
  • Target 24 includes a mark drawn on display board 25 .
  • a ground plate 26 is fixed to the bottom end of the display plate 25 .
  • the display plate 25 is placed on the work site ground via the ground plate 26 .
  • the display board 25 should just be fixed to the work site.
  • Targets 24 may be affixed, for example, to structures at a work site.
  • the target 24 may be erected at the work site using members such as stakes.
  • FIG. 7 is a diagram showing the target 24 according to the embodiment.
  • Target 24 includes an identification mark 27 and a radiation mark 28 arranged around identification mark 27 .
  • Identification mark 27 includes identification data for identifying target 24 .
  • identification mark 27 includes a two-dimensional barcode that identifies target 24 .
  • a reference point Ot is defined on the target 24 .
  • a radial mark 28 extends radially from a reference point Ot of the target 24 .
  • Radial mark 28 has a plurality of lines 28A extending radially from reference point Ot of target 24 .
  • Line 28A includes the edge of radial mark 28.
  • FIG. A reference point Ot of the target 24 is defined at the intersection of the multiple lines 28A.
  • the position of the target 24 is surveyed by a surveying instrument.
  • the survey instrument measures the three-dimensional position of the target 24 in the field coordinate system.
  • the three-dimensional position of target 24 includes the three-dimensional position of reference point Ot.
  • the surveying instrument measures the three-dimensional position of the reference point Ot.
  • the three-dimensional positions of each of the multiple targets 24 measured by the surveying instrument are stored in the storage unit 16 .
  • the storage unit 16 stores correlation data indicating the relationship between the identification data of the target 24 defined by the identification mark 27 and the three-dimensional position of the target 24 measured by the surveying instrument.
  • FIG. 8 is a flowchart showing a method of calculating the position and azimuth angle of the revolving body 4 according to the embodiment.
  • FIG. 9 is a schematic diagram for explaining a method of calculating the position and azimuth angle of the revolving body 4 according to the embodiment.
  • the second position/orientation calculator 18 calculates the position and azimuth angle of the revolving superstructure 4 based on the images of the plurality of targets 24 and the tilt angle of the revolving superstructure 4 .
  • the second position/orientation calculator 18 acquires images of a plurality of targets 24 from the imaging device 11 .
  • the second position/orientation calculator 18 acquires the tilt angle of the revolving body 4 from the tilt angle calculator 19 .
  • the inclination angle of the revolving superstructure 4 includes the roll angle and pitch angle of the revolving superstructure 4 .
  • a plurality of targets 24 are imaged by the imaging device 11 .
  • the imaging device 11 simultaneously images a plurality of targets 24 .
  • three targets 24 are imaged simultaneously by the imaging device 11 .
  • the second position/orientation calculator 18 acquires the images 29 of the three targets 24 captured by the imaging device 11 (step SA1).
  • three targets 24 are arranged in one image 29.
  • the second position/orientation calculator 18 identifies the target 24 based on the identification data defined by the identification mark 27 of the target 24 (step SA2).
  • the second position/orientation calculator 18 identifies the target 24 based on the identification mark 27 in the image 29 .
  • the second position/orientation calculation unit 18 acquires the three-dimensional position of the target 24 from the storage unit 16 based on the identification mark 27 in the image 29 and the correlation data stored in the storage unit 16 (step SA3).
  • the three-dimensional position of the target 24 is measured in advance by a surveying instrument and stored in the storage unit 16.
  • the storage unit 16 also pre-stores correlation data indicating the relationship between the identification data defined by the identification mark 27 of the target 24 and the three-dimensional position of the target 24 . Therefore, the second position/orientation calculator 18 can acquire the three-dimensional position of the target 24 based on the identification mark 27 in the image 29 and the correlation data stored in the storage unit 16 .
  • the second position/orientation calculator 18 acquires the two-dimensional position of the target 24 in the image 29 (step SA4).
  • the two-dimensional position of the target 24 in the image 29 includes the two-dimensional position of the reference point Ot defined on the target 24.
  • target 24 has radial marks 28 that include lines 28A.
  • the second position/orientation calculator 18 calculates the two-dimensional position of the reference point Ot in the image 29 based on the radiation mark 28 in the image 29 .
  • the second position/orientation calculator 18 can calculate the two-dimensional position of the reference point Ot in the image 29 with high accuracy based on the radiation mark 28 .
  • the reference point Ot in the image 29 is appropriately called the reference point Oti.
  • the tilt angle calculation unit 19 acquires the detection data of the tilt sensor 10 when the target 24 is being imaged, and calculates the pitch angle and roll angle of the revolving body 4 when the target 24 is being imaged.
  • the second position/orientation calculator 18 acquires the roll angle and pitch angle of the revolving body 4 when the target 24 is being imaged from the tilt angle calculator 19 (step SA5).
  • the second position/orientation calculator 18 calculates the three-dimensional positions of the three targets 24 acquired in step SA3, the two-dimensional positions of the targets 24 in the image 29 acquired in step SA4, and the roll of the revolving structure 4 acquired in step SA5. Based on the angle and pitch angle, the position and azimuth angle of the camera 13 in the field coordinate system are calculated (step SA6).
  • the second position/azimuth calculator 18 calculates the position and azimuth angle of the camera 13 in the field coordinate system based on the bundle method, which is a kind of block adjustment method in aerial triangulation.
  • Aerial triangulation refers to the use of collinear conditions that indicate the straightness of light and the geometrical properties of aerial photography, based on the coordinates of a known reference point Ot, to measure multiple is a method of calculating the imaging position and imaging direction of each of the images 29 of .
  • the second position/orientation calculation unit 18 calculates the three-dimensional positions of the three reference points Ot, the two-dimensional position of the reference point Oti in the image 29, The roll angle and pitch angle of the revolving body 4 are acquired.
  • the three-dimensional position of the reference point Ot is the three-dimensional position in the field coordinate system.
  • a two-dimensional position of the reference point Oti is a two-dimensional position in the image coordinate system defined in the image 29 .
  • the image coordinate system is represented by a uv coordinate system with the upper left corner of the image 29 as the origin, the u axis in the horizontal direction, and the v axis in the vertical direction.
  • the two-dimensional position of reference point Oti serves as a pass point for joining overlapping portions of multiple images 29 .
  • the three-dimensional position of the reference point Ot in the field coordinate system is P (X, Y, Z)
  • the three-dimensional position of the reference point Ot in the camera coordinate system is Pc (Xc, Yc, Zc)
  • the reference point in the image coordinate system The two-dimensional position of Oti is p (x, y)
  • the position of the optical center Oc in the field coordinate system is O (Xo, Yo, Zo)
  • the rotation matrix indicating the orientation of the camera 13 in the field coordinate system is R
  • the internal parameter matrix is k
  • the second position/orientation calculator 18 converges the three-dimensional positions of the three reference points Ot, the two-dimensional position of the reference point Oti in the image 29, and the roll angle and pitch angle of the revolving body 4 based on the bundle method. By calculating, the position and azimuth angle of the camera 13 in the field coordinate system can be calculated.
  • the second position/azimuth calculator 18 calculates the position and azimuth angle of the revolving body 4 in the field coordinate system based on the position and azimuth angle of the camera 13 calculated in step SA6 (step SA7).
  • the relative position between the optical center Oc of the camera 13 and the representative point Om of the revolving body 4 is known.
  • a transformation matrix for transforming the vehicle body coordinate system based on the representative point Om defined on the revolving body 4 and the camera coordinate system based on the optical center Oc of the camera 13 is known. Therefore, the second position/azimuth calculator 18 calculates the position and azimuth of the camera 13 in the field coordinate system based on the bundle method using the image 29 of the target 24, and calculates the position and azimuth of the camera 13 based on the transformation matrix. and the azimuth angle, the position and azimuth angle of the revolving superstructure 4 in the field coordinate system can be calculated.
  • step SA1 to step SA7 The processing from step SA1 to step SA7 described above is performed when the target 24 is imaged.
  • the position and azimuth angle of the revolving structure 4 are to be calculated after the traveling structure 3 has traveled, the above-described steps SA1 to SA7 are executed again.
  • step SA1 to step SA7 may not be imaged, and at least two targets 24 may be imaged.
  • the second position/orientation calculation unit 18 can calculate the position and azimuth angle of the rotating body 4 based on the image 29 of at least one target 24 without using at least two targets 24 .
  • FIG. 10 is a schematic diagram for explaining a method of calculating the position and azimuth angle of the revolving body 4 according to the embodiment.
  • the second position/azimuth calculation unit 18 moves the revolving superstructure 4 from the first direction D1 to the second direction D2.
  • the position and azimuth angle of the revolving body 4 can be calculated based on the image 29 of at least one target 24 captured by the imaging device 11 .
  • the second position/azimuth calculation unit 18 calculates the azimuth angle of the revolving body 4 before the revolving movement calculated using at least two targets 24 existing in the first direction D1, and one target 24 existing in the second direction D2.
  • a turning angle ⁇ is calculated based on the image 29 of the target 24, the roll angle and pitch angle of the turning body 4 before turning, and the roll angle and pitch angle of the turning body 4 after turning.
  • the second position/orientation calculator 18 calculates the turning angle ⁇ , based on the azimuth angle and turning angle ⁇ of the turning body 4 calculated using at least two targets 24 . 4 can be calculated. Further, when the traveling body 3 is not running, the position of the turning axis RX does not change. can be done.
  • the second position/orientation calculator 18 also calculates at least two images 29 of the target 24 captured by the imaging device 11 before the revolving body 4 performs the revolving motion, and images of the revolving body 4 before the revolving body 4 performs the revolving motion.
  • the position of the turning axis RX, the azimuth angle of the turning body 4 before the turning movement of the turning body 4, and the azimuth angle of the turning body 4 after the turning movement of the turning body 4 are calculated simultaneously.
  • the second position/orientation calculator 18 can calculate the turning angle ⁇ based on the data detected by the tilt sensor 10 .
  • tilt sensor 10 includes an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • An inertial measurement unit (IMU) functions as a turning sensor that detects turning of the turning body 4 .
  • the second position/orientation calculator 18 can calculate the turning angle ⁇ based on the detection data of an inertial measurement unit (IMU).
  • the second position/orientation calculation unit 18 when the revolving superstructure 4 does not travel but makes a revolving motion, Based on the detection data of the tilt sensor 10 that detects the turning of the turning body 4, the position and azimuth angle of the turning body 4 after turning operation can be calculated.
  • FIG. 11 is a flow chart showing a method of calculating the position and azimuth angle of the revolving body 4 after the revolving body 4 performs a revolving motion according to the embodiment.
  • the second position/orientation calculation unit 18 determines whether or not the imaging device 11 has captured an image of the target 24 . That is, the second position/orientation calculator 18 determines whether or not an image of at least one target 24 has been acquired after the swinging body 4 has swung (step SB1).
  • step SB1 When it is determined in step SB1 that at least one image of the target 24 has been acquired (step SB1: Yes), the second position/orientation calculation unit 18 calculates the image 29 of the at least one target 24 and the turning motion before the turning motion. Based on the roll angle and pitch angle of the revolving body 4 and the roll angle and pitch angle of the revolving body 4 after revolving motion, the azimuth angle of the revolving body 4 after revolving motion is calculated (step SB2).
  • step SB3 If it is determined in step SB1 that an image of at least one target 24 cannot be acquired (step SB1: No), the second position/orientation calculation unit 18 calculates a to calculate the position and azimuth angle of the revolving body 4 after the revolving motion (step SB3).
  • the first position/orientation calculation unit 17 cannot calculate the position and azimuth angle of the revolving body 4, and the imaging device 11 images at least two targets 24 before the revolving body 4 performs a revolving motion.
  • the second position/orientation calculator 18 calculates the position and azimuth angle of the revolving superstructure 4 based on the images 29 of at least two targets 24 and the tilt angle of the revolving superstructure 4 .
  • the second position/orientation calculation unit 18 is an image sensor 18 of the revolving superstructure 4 based on at least one image 29 of the target 24 acquired by the imaging device 11 after the revolving superstructure 4 performs a revolving motion or detection data of the tilt sensor 10 after the revolving superstructure 4 performs a revolving motion.
  • Position and azimuth can be calculated.
  • the corrector 23 corrects the error of the tilt sensor 10 .
  • the position and azimuth angle of the revolving superstructure 4 cannot be calculated based on the detection data of the position sensor 9 after the revolving superstructure 4 turns without the traveling superstructure 3 running, and at least one If the position and azimuth angle of the revolving body 4 cannot be calculated based on the images 29 of the two targets 24, the second position and azimuth calculation unit 18 calculates, based on the detection data of the tilt sensor 10 including the IMU, the revolving motion after the revolving motion.
  • the position and azimuth of body 4 can be calculated.
  • the acceleration detected by the tilt sensor 10 is double-integrated over time.
  • the azimuth angle of the revolving superstructure 4 is calculated by calculating the position and integrating the angular velocity detected by the tilt sensor 10 over time.
  • the data detected by the tilt sensor 10 is integrated, there is a possibility that cumulative errors will occur in the calculation results of the position and azimuth angle of the revolving superstructure 4 due to integration and addition. That is, there is a possibility that errors due to integration of acceleration or angular velocity accumulate and the accuracy of calculation of the position and azimuth angle of the revolving structure 4 decreases.
  • the correction unit 23 calculates the can be used to correct errors in the position and azimuth angle of the revolving body 4 .
  • the correction unit 23 causes the second position/orientation calculator 18 to calculate Based on the results, errors in the position and azimuth of the pivot 4 can be corrected.
  • FIG. 12 is a flowchart showing a method for correcting the calculation results of the position and azimuth angle of the revolving body 4 according to the embodiment.
  • the switching unit 20 determines whether or not the first position/orientation calculation unit 17 is in a state capable of calculating the azimuth angle of the revolving body 4 (step SC1).
  • step SC1 When it is determined in step SC1 that the first position/orientation calculation unit 17 is in a state capable of calculating the azimuth angle of the revolving structure 4 (step SC1: Yes), the correction unit 23 causes the first position/orientation calculation unit 17 to Based on the calculated azimuth angle of the revolving structure 4, errors in the position and azimuth angle of the revolving structure 4 are corrected (step SC2).
  • step SC1 When it is determined in step SC1 that the first position/orientation calculation section 17 is unable to calculate the azimuth angle of the revolving structure 4 (step SC1: No), the correction section 23 causes the second position/orientation calculation section 18 to Based on the azimuth angle of the revolving body 4 calculated by , the errors in the position and azimuth angle of the revolving body 4 are corrected (step SC3).
  • FIG. 13 is a block diagram showing a computer system 1000 according to an embodiment.
  • the controller 12 described above includes a computer system 1000 .
  • a computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including non-volatile memory such as ROM (Read Only Memory) and volatile memory such as RAM (Random Access Memory), It has a storage 1003 and an interface 1004 including an input/output circuit.
  • the functions of the control device 12 described above are stored in the storage 1003 as computer programs.
  • the processor 1001 reads a computer program from the storage 1003, develops it in the main memory 1002, and executes the above-described processing according to the program. Note that the computer program may be distributed to the computer system 1000 via a network.
  • a computer program or computer system 1000 acquires images of a plurality of targets 24 installed outside a hydraulic excavator 1 having a traveling structure 3 and a revolving structure 4, and calculates an inclination angle of the revolving structure 4 according to the above-described embodiment. and calculating the position and azimuth angle of the rotating bed 4 based on the images of the plurality of targets 24 and the tilt angle of the rotating bed 4 .
  • the three-dimensional position of the target 24 is acquired by the surveying instrument and stored in the storage unit 16 in advance. Based on the image 29 of the target 24 , the two-dimensional position of the target 24 in the image 29 is calculated by the second position/orientation calculator 18 . As a result, the second position/orientation calculator 18 calculates the position and azimuth angle of the revolving superstructure 4 based on the three-dimensional position of the target 24 , the two-dimensional position of the target 24 , and the tilt angle of the revolving superstructure 4 . be able to.
  • the position and azimuth angle of the camera 13 in the field coordinate system are calculated based on the three-dimensional position of the target 24, the two-dimensional position of the target 24, and the tilt angle of the revolving body 4.
  • the position and azimuth angle of the revolving body 4 are calculated by subjecting the position and azimuth angle of the camera 13 to coordinate transformation. Accordingly, after the position and azimuth angle of the camera 13 are calculated, the second position/azimuth calculator 18 can properly calculate the position and azimuth angle of the revolving body 4 based on the position and azimuth angle of the camera 13. can be done.
  • the three-dimensional position of the target 24 is the three-dimensional position of the reference point Ot defined on the target 24.
  • the two-dimensional position of target 24 in image 29 is the two-dimensional position of reference point Oti in image 29 defined on target 24 .
  • the target 24 includes radial marks 28 extending radially from a reference point Ot of the target 24 .
  • the radiation mark 28 suppresses deterioration in calculation accuracy of the two-dimensional position of the reference point Oti.
  • the target 24 includes identification marks 27 that identify the target 24 .
  • Correlation data indicating the relationship between the identification data of the target 24 defined by the identification mark 27 and the three-dimensional position of the target 24 measured by the surveying instrument is pre-stored in the storage unit 16 .
  • the second position/orientation calculation unit 18 refers to the correlation data stored in the storage unit 16 based on the identification mark 27 in the image 29, thereby calculating the three-dimensional position of the target 24 appearing in the image 29. can be obtained.
  • the tilt angle of the revolving superstructure 4 is calculated based on the detection data of the tilt sensor 10 arranged on the revolving superstructure 4 . As a result, the tilt angle of the revolving body 4 can be calculated with high accuracy.
  • the second position/orientation calculator 18 can efficiently calculate the position and azimuth angle of the revolving body 4 .
  • the second position/orientation calculating unit 18 can efficiently calculate the position and azimuth angle of the revolving structure 4 based on the detection data of the tilt sensor 10 capable of detecting the turning angle ⁇ without using the target 24 .
  • the second position/orientation calculator 18 calculates the position and azimuth angle of the camera 13 in the field coordinate system based on the three reference points Ot.
  • the second position/orientation calculator 18 may calculate the position and azimuth angle of the camera 13 in the field coordinate system based on at least two reference points Ot. That is, the second position/orientation calculation unit 18 converges to calculate the three-dimensional positions of at least two reference points Ot, the two-dimensional position of the reference point Oti in the image 29, and the roll angle and pitch angle of the revolving body 4.
  • the position and azimuth angle of the camera 13 in the field coordinate system may be calculated by .
  • the second position/orientation calculator 18 calculates the position and azimuth angle of the camera 13 in the field coordinate system, and calculates the position and azimuth angle of the revolving body 4 in the field coordinate system.
  • the second position/orientation calculator 18 may calculate the position and azimuth angle of the camera 13 in the vehicle body coordinate system, or may calculate the position and azimuth angle of the camera 13 in the camera coordinate system.
  • the second position/orientation calculator 18 may also calculate the position and azimuth angle of the revolving superstructure 4 in the vehicle body coordinate system, or may calculate the position and azimuth angle of the revolving superstructure 4 in the camera coordinate system.
  • the target 24 is imaged by the stereo camera 15.
  • Target 24 may be imaged by a monocular camera.
  • the in-vehicle monitor 8 has the display device 8A and the input device 8B.
  • a tablet terminal may have a display device 8A and an input device 8B. That is, the display device 8A and the input device 8B may be separated from the hydraulic excavator 1 .
  • the display device 8A and the input device 8B are arranged in the driver's cab 2 . Either or both of the display device 8A and the input device 8B may be arranged outside the cab 2 .
  • the reception status of GNSS radio waves is displayed on the display device 8A.
  • the display control unit 22 may cause the display device 8A to display recommendation display data that recommends switching between the first calculation mode and the second calculation mode, for example.
  • the display control unit 22 displays character data such as "It is recommended to switch from the first calculation mode to the second calculation mode.” may be displayed on the display device 8A.
  • the display control unit 22 displays character data such as "It is recommended to switch from the second calculation mode to the first calculation mode.” It may be displayed on the device 8A.
  • switching between the first calculation mode and the second calculation mode is performed based on the operator's operation of the input device 8B.
  • the reception status of GNSS radio waves may not be displayed on the display device 8A.
  • Switching between the first calculation mode and the second calculation mode may be automatically performed by the control device 12 .
  • the control device 12 For example, when the reception condition of GNSS radio waves changes from a good state to a bad state, the switching unit 20 automatically switches from the first calculation mode to the second calculation mode regardless of the input data from the input device 8B. You can switch. Further, when the reception condition of GNSS radio waves changes from a poor state to a favorable state, the switching unit 20 automatically switches from the second calculation mode to the first calculation mode regardless of the input data from the input device 8B. You can switch.
  • the display control unit 22 may cause the display device 8A to display that the first calculation mode and the second calculation mode have been switched. .
  • the storage unit 16 the first position/orientation calculation unit 17, the second position/orientation calculation unit 18, the tilt angle calculation unit 19, the switching unit 20, the three-dimensional data calculation unit 21, the display control unit 22, and the correction unit
  • Each of the units 23 may be configured by separate hardware.
  • the work machine 1 is a hydraulic excavator having the traveling body 3 and the revolving body 4.
  • the working machine 1 does not have to have the traveling body 3 and the revolving body 4 .
  • the working machine 1 may have a working machine, such as a bulldozer or a wheel loader.
  • SYMBOLS 1 Hydraulic excavator (working machine), 2... Driver's cab, 3... Traveling body, 3A... Crawler, 4... Rotating body, 5... Working machine, 5A... Boom, 5B... Arm, 5C... Bucket, 6... Hydraulic cylinder, 6A... boom cylinder, 6B... arm cylinder, 6C... bucket cylinder, 7... operating device, 7A... left working lever, 7B... right working lever, 7C... left travel lever, 7D... right travel lever, 7E... left foot pedal, 7F... right foot pedal, 8... in-vehicle monitor, 8A... display device, 8B... input device, 9... position sensor, 9A... first position sensor, 9B... second position sensor, 10...
  • tilt sensor 11... imaging device, DESCRIPTION OF SYMBOLS 12... Control apparatus, 13... Camera, 13A... Camera, 13B... Camera, 13C... Camera, 13D... Camera, 14... Driver's seat, 15... Stereo camera, 15A... Stereo camera, 15B... Stereo camera, 16... Storage part, 17 First position/orientation calculation unit 18 Second position/orientation calculation unit 19 Inclination angle calculation unit 20 Switching unit 21 Three-dimensional data calculation unit 22 Display control unit 23 Correction unit 24 Target 25 Display plate 26 Ground plate 27 Identification mark 28 Radiation mark 28A Line 29 Image 30 Control system 1000 Computer system 1001 Processor 1002 Main memory 1003... Storage, 1004... Interface, D1... First direction, D2... Second direction, Oc... Optical center, Ot... Reference point, Og... Field reference point, Om... Representative point, Oti... Reference point, RX... Pivot axis , ⁇ ... turning angle.

Abstract

走行体及び旋回体を備える作業機械の制御システムは、作業機械の外部に設置された複数のターゲットの画像と、旋回体の傾斜角とに基づいて、旋回体の位置及び方位角を算出する位置方位算出部を備える。

Description

作業機械の制御システム、作業機械、及び作業機械の制御方法
　本開示は、作業機械の制御システム、作業機械、及び作業機械の制御方法に関する。
　作業機械に係る技術分野において、特許文献１に開示されているような、目標施工面に基づいて掘削対象を掘削する技術が知られている。目標施工面に基づいて掘削対象を掘削する技術として、目標施工面と作業機との相対位置を示すガイダンス画像を作業機械のオペレータに提示するマシンガイダンス技術と、目標施工面に従って作業機が動作するようにオペレータの操作をアシスト制御するマシンコントロール技術とが知られている。
国際公開第２０１５／１６７０２２号
　目標施工面に基づいて掘削対象を掘削する場合、作業機械の位置及び方位角を算出する必要がある。作業機械の位置及び方位角は、全球測位衛星システム（ＧＮＳＳ：Global　Navigation　Satellite　System）を利用して算出される。ＧＮＳＳの測位不良が発生すると、作業機械の位置及び方位角を算出することが困難となる。
　本開示は、ＧＮＳＳの測位不良が発生した場合において、作業機械の位置及び方位角を算出することを目的とする。
　本開示に従えば、走行体及び旋回体を備える作業機械の制御システムであって、作業機械の外部に設置された複数のターゲットの画像と、旋回体の傾斜角とに基づいて、旋回体の位置及び方位角を算出する位置方位算出部を備える、作業機械の制御システムが提供される。
　本開示によれば、ＧＮＳＳの測位不良が発生した場合において、作業機械の位置及び方位角が算出される。
図１は、実施形態に係る作業機械を示す斜視図である。 図２は、実施形態に係る作業機械を示す模式図である。 図３は、実施形態に係る作業機械の運転室を示す図である。 図４は、実施形態に係る作業機械の制御システムを示すブロック図である。 図５は、実施形態に係る旋回体の位置及び方位角の算出モードを説明するための模式図である。 図６は、実施形態に係る作業現場に設置された複数のターゲットを示す図である。 図７は、実施形態に係るターゲットを示す図である。 図８は、実施形態に係る旋回体の位置及び方位角の算出方法を示すフローチャートである。 図９は、実施形態に係る旋回体の位置及び方位角の算出方法を説明するための模式図である。 図１０は、実施形態に係る旋回体の位置及び方位角の算出方法を説明するための模式図である。 図１１は、実施形態に係る旋回体が旋回動作した後の旋回体の位置及び方位角の算出方法を示すフローチャートである。 図１２は、実施形態に係る旋回体の位置及び方位角の算出結果の補正方法を示すフローチャートである。 図１３は、実施形態に係るコンピュータシステムを示すブロック図である。
　以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
［作業機械］
　図１は、実施形態に係る作業機械１を示す斜視図である。図２は、実施形態に係る作業機械１を示す模式図である。図３は、実施形態に係る作業機械１の運転室２を示す図である。
　作業機械１は、作業現場において稼働する。実施形態において、作業機械１は、油圧ショベルである。以下の説明において、作業機械１を適宜、油圧ショベル１、と称する。
　油圧ショベル１は、走行体３と、旋回体４と、作業機５と、油圧シリンダ６と、操作装置７と、車載モニタ８と、位置センサ９と、傾斜センサ１０と、撮像装置１１と、制御装置１２とを備える。
　図２に示すように、作業現場に３次元の現場座標系（Ｘｇ，Ｙｇ，Ｚｇ）が規定される。旋回体４に３次元の車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）が規定される。撮像装置１１に３次元のカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）が規定される。
　現場座標系は、作業現場に規定された現場基準点Ｏｇから南北に伸びるＸｇ軸、現場基準点Ｏｇから東西に伸びるＹｇ軸、及び現場基準点Ｏｇから上下に伸びるＺｇ軸により構成される。
　車体座標系は、旋回体４に規定された代表点Ｏｍから旋回体４の前後方向に伸びるＸｍ軸、代表点Ｏｍから旋回体４の左右方向に伸びるＹｍ軸、及び代表点Ｏｍから旋回体４の上下方向に伸びるＺｍ軸により構成される。旋回体４の代表点Ｏｍを基準として、＋Ｘｍ方向は旋回体４の前方であり、－Ｘｍ方向は旋回体４の後方であり、＋Ｙｍ方向は旋回体４の左方であり、－Ｙｍ方向は旋回体４の右方であり、＋Ｚｍ方向は旋回体４の上方であり、－Ｚｍ方向は旋回体４の下方である。
　カメラ座標系は、撮像装置１１を構成する１つのカメラ１３の光学中心Ｏｃからカメラ１３の幅方向に伸びるＸｃ軸、光学中心Ｏｃからカメラ１３の上下方向に伸びるＹｃ軸、及び光学中心Ｏｃからカメラ１３の光学系の光軸に平行な方向に伸びるＺｃ軸により構成される。
　走行体３は、旋回体４を支持した状態で走行する。走行体３は、一対の履帯３Ａを有する。履帯３Ａの回転により、走行体３は、走行動作する。走行体３の走行動作は、前進動作及び後進動作を含む。油圧ショベル１は、走行体３により作業現場を移動することができる。
　旋回体４は、走行体３に支持される。旋回体４は、走行体３よりも上方に配置される。旋回体４は、走行体３に支持された状態で旋回軸ＲＸを中心に旋回動作する。旋回軸ＲＸは、Ｚｍ軸に平行である。旋回体４の旋回動作は、左旋回動作及び右旋回動作を含む。運転室２は、旋回体４に設けられる。
　作業機５は、旋回体４に支持される。作業機５は、作業を実施する。実施形態において、作業機５により実施される作業は、掘削対象を掘削する掘削作業及び掘削物を積込対象に積み込む積込作業を含む。
　作業機５は、ブーム５Ａと、アーム５Ｂと、バケット５Ｃとを含む。ブーム５Ａの基端部は、旋回体４の前部に回動可能に連結される。アーム５Ｂの基端部は、ブーム５Ａの先端部に回動可能に連結される。バケット５Ｃの基端部は、アーム５Ｂの先端部に回動可能に連結される。
　油圧シリンダ６は、作業機５を動作させる。油圧シリンダ６は、ブームシリンダ６Ａと、アームシリンダ６Ｂと、バケットシリンダ６Ｃとを含む。ブームシリンダ６Ａは、ブーム５Ａを上げ動作及び下げ動作させる。アームシリンダ６Ｂは、アーム５Ｂを掘削動作及びダンプ動作させる。バケットシリンダ６Ｃは、バケット５Ｃを掘削動作及びダンプ動作させる。ブームシリンダ６Ａの基端部は、旋回体４に連結される。ブームシリンダ６Ａの先端部は、ブーム５Ａに連結される。アームシリンダ６Ｂの基端部は、ブーム５Ａに連結される。アームシリンダ６Ｂの先端部は、アーム５Ｂに連結される。バケットシリンダ６Ｃの基端部は、アーム５Ｂに連結される。バケットシリンダ６Ｃの先端部は、バケット５Ｃに連結される。
　図３に示すように、操作装置７は、運転室２に配置される。操作装置７は、走行体３、旋回体４、及び作業機５の少なくとも一つを動作させるために操作される。操作装置７は、運転室２に搭乗したオペレータに操作される。オペレータは、運転室２に配置された運転シート１４に着座した状態で、操作装置７を操作することができる。
　操作装置７は、旋回体４及び作業機５の動作のために操作される左作業レバー７Ａ及び右作業レバー７Ｂと、走行体３の動作のために操作される左走行レバー７Ｃ及び右走行レバー７Ｄと、左フットペダル７Ｅ及び右フットペダル７Ｆとを含む。
　左作業レバー７Ａが前後方向に操作されることにより、アーム５Ｂがダンプ動作又は掘削動作する。左作業レバー７Ａが左右方向に操作されることにより、旋回体４が左旋回動作又は右旋回操作する。右作業レバー７Ｂが左右方向に操作されることにより、バケット５Ｃが掘削動作又はダンプ動作する。右作業レバー７Ｂが前後方向に操作されることにより、ブーム５Ａが下げ動作又は上げ動作する。なお、左作業レバー７Ａが前後方向に操作されたときに旋回体４が右旋回動作又は左旋回動作し、左作業レバー７Ａが左右方向に操作されたときにアーム５Ｂがダンプ動作又は掘削動作してもよい。
　左走行レバー７Ｃが前後方向に操作されることにより、走行体３の左側の履帯３Ａが前進動作又は後進動作する。右走行レバー７Ｄが前後方向に操作されることにより、走行体３の右側の履帯３Ａが前進動作又は後進動作する。
　左フットペダル７Ｅは、左走行レバー７Ｃと連動する。右フットペダル７Ｆは、右走行レバー７Ｄ連動する。左フットペダル７Ｅ及び右フットペダル７Ｆが操作されることにより、走行体３が前進動作又は後進動作されてもよい。
　車載モニタ８は、運転室２に配置される。車載モニタ８は、運転シート１４の右前方に配置される。車載モニタ８は、表示装置８Ａと、入力装置８Ｂとを有する。
　表示装置８Ａは、規定の表示データを表示する。表示装置８Ａとして、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic　Electroluminescence　Display）のようなフラットパネルディスプレイが例示される。
　入力装置８Ｂは、オペレータに操作されることにより入力データを生成する。入力装置８Ｂとして、ボタンスイッチ、コンピュータ用キーボード、及びタッチパネルが例示される。
　位置センサ９は、現場座標系における位置を検出する。位置センサ９は、全球測位衛星システム（ＧＮＳＳ：Global　Navigation　Satellite　System）を利用して現場座標系における位置を検出する。全地球航法衛星システムは、全地球測位システム（ＧＰＳ：Global　Positioning　System）を含む。全地球航法衛星システムは、緯度、経度、及び高度の座標データで規定される位置を検出する。位置センサ９は、ＧＮＳＳ衛星からＧＮＳＳ電波を受信するＧＮＳＳ受信機を含む。位置センサ９は、旋回体４に配置される。実施形態において、位置センサ９は、旋回体４のカウンタウエイトに配置される。
　位置センサ９は、第１位置センサ９Ａと、第２位置センサ９Ｂとを含む。第１位置センサ９Ａと第２位置センサ９Ｂとは、旋回体４の異なる位置に配置される。実施形態において、第１位置センサ９Ａと第２位置センサ９Ｂとは、旋回体４において左右方向に間隔をあけて配置される。第１位置センサ９Ａは、第１位置センサ９Ａが配置されている位置を示す第１測位位置を検出する。第２位置センサ９Ｂは、第２位置センサ９Ｂが配置されている位置を示す第２測位位置を検出する。
　傾斜センサ１０は、旋回体４の加速度及び角速度を検出する。傾斜センサ１０は、慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）を含む。傾斜センサ１０は、旋回体４に配置される。実施形態において、傾斜センサ１０は、運転室２の下方に設置される。
　撮像装置１１は、旋回体４の前方を撮像する。撮像装置１１は、旋回体４に配置される。実施形態において、撮像装置１１は、運転室２の上部に配置される。撮像装置１１は、複数のカメラ１３を含む。カメラ１３は、光学系と、光学系を介して光を受光するイメージセンサとを含む。イメージセンサとして、ＣＣＤ（Charge　Coupled　Device）センサ又はＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサが例示される。
　実施形態において、カメラ１３は、４つ設けられる。カメラ１３は、カメラ１３Ａと、カメラ１３Ｂと、カメラ１３Ｃと、カメラ１３Ｄとを含む。１組のカメラ１３によりステレオカメラ１５が構成される。実施形態において、１組のカメラ１３Ａ，１３Ｃにより第１のステレオカメラ１５Ａが構成される。１組のカメラ１３Ｂ，１３Ｄにより第２のステレオカメラ１５Ｂが構成される。
　ステレオカメラ１５Ａのカメラ１３Ａとカメラ１３Ｃとは、旋回体４の左右方向に間隔をあけて配置される。ステレオカメラ１５Ｂのカメラ１３Ｂとカメラ１３Ｄとは、旋回体４の左右方向に間隔をあけて配置される。カメラ１３Ａ，１３Ｃの光学系の光軸は、Ｘｇ軸に実質的に平行である。カメラ１３Ｂ，１３Ｄの光学系の光軸は、旋回体４の前方に向かって下方に傾斜する。
［制御システム］
　図４は、実施形態に係る作業機械１の制御システム３０を示すブロック図である。油圧ショベル１は、制御システム３０を備える。制御システム３０は、車載モニタ８と、位置センサ９と、傾斜センサ１０と、撮像装置１１と、制御装置１２とを有する。制御装置１２は、油圧ショベル１を制御する。制御装置１２は、コンピュータシステムを含む。
　制御装置１２は、記憶部１６と、第１位置方位算出部１７と、第２位置方位算出部１８と、傾斜角算出部１９と、切換部２０と、３次元データ算出部２１と、表示制御部２２と、補正部２３とを有する。
　記憶部１６は、規定の記憶データを記憶する。記憶部１６は、後述するターゲット２４に係るターゲットデータを記憶する。ターゲット２４は、油圧ショベル１の外部に複数設置される。ターゲットデータは、複数のターゲット２４のそれぞれの３次元位置を含む。ターゲットデータは、ターゲット２４の識別マーク２７により規定される識別データとターゲット２４の３次元位置との関係を示す相関データを含む。
　第１位置方位算出部１７は、位置センサ９の検出データに基づいて、現場座標系における旋回体４の位置及び方位角を算出する。上述のように、位置センサ９は、ＧＮＳＳ電波を受信するＧＮＳＳ受信機を含む。第１位置方位算出部１７は、ＧＮＳＳ電波に基づいて、旋回体４の位置及び方位角を算出する。旋回体４の方位角は、例えばＸｇ軸を基準とする旋回体４の方位角である。
　第１位置方位算出部１７は、第１位置センサ９Ａにより検出される第１測位位置及び第２位置センサ９Ｂにより検出される第２測位位置の少なくとも一方に基づいて、旋回体４の位置を算出する。第１位置方位算出部１７は、第１位置センサ９Ａにより検出される第１測位位置と第２位置センサ９Ｂにより検出される第２測位位置との相対位置に基づいて、旋回体４の方位角を算出する。
　第２位置方位算出部１８は、撮像装置１１により取得された画像に基づいて、現場座標系における旋回体４の位置及び方位角を算出する。上述のように、油圧ショベル１の外部に複数のターゲット２４が設置される。撮像装置１１は、ターゲット２４を撮像する。第２位置方位算出部１８は、撮像装置１１から複数のターゲット２４の画像を取得する。第２位置方位算出部１８は、油圧ショベル１の外部に設置された複数のターゲット２４の画像に基づいて、旋回体４の位置及び方位角を算出する。
　傾斜角算出部１９は、傾斜センサ１０の検出データに基づいて、旋回体４の傾斜角を算出する。旋回体４の傾斜角は、旋回体４のロール角及びピッチ角を含む。ロール角とは、Ｘｇ軸を中心とする傾斜方向における旋回体４の傾斜角をいう。ピッチ角とは、Ｙｇ軸を中心とする傾斜方向における旋回体４の傾斜角をいう。傾斜角算出部１９は、傾斜センサ１０の検出データに基づいて、旋回体４のロール角及びピッチ角を算出する。
　切換部２０は、第１位置方位算出部１７により旋回体４の位置及び方位角を算出する第１算出モードと、第２位置方位算出部１８により旋回体４の位置及び方位角を算出する第２算出モードとを切り換える。
　３次元データ算出部２１は、ステレオカメラ１５により撮像された１組の画像に基づいて、ステレオカメラ１５と撮像対象との距離を算出する。撮像対象として、作業機５により掘削される掘削対象が例示される。３次元データ算出部２１は、ステレオカメラ１５の１組のカメラ１３が撮像した同一の撮像対象の画像をステレオ処理することにより、撮像対象の３次元データを算出する。３次元データ算出部２１は、カメラ座標系における３次元データを算出する。
　表示制御部２２は、車載モニタ８の表示装置８Ａを制御する。表示制御部２２は、規定の表示データを表示装置８Ａに表示させる。
　補正部２３は、傾斜センサ１０の誤差を補正する。
［算出モード］
　図５は、実施形態に係る旋回体４の位置及び方位角の算出モードを説明するための模式図である。実施形態において、旋回体４の位置及び方位角は、第１算出モード及び第２算出モードの少なくとも一方により算出される。旋回体４の位置は、現場座標系における旋回体４の代表点Ｏｍの位置を含む。旋回体４の方位角は、現場座標系における旋回体４の代表点Ｏｍを基準とする車体座標系の方位角を含む。
　第１算出モードは、ＧＮＳＳ電波に基づいて、旋回体４の位置及び方位角を算出する算出モードである。第１算出モードにおいて、第１位置方位算出部１７は、位置センサ９の検出データに基づいて、旋回体４の位置及び方位角を算出する。
　第２算出モードは、複数のターゲット２４の画像に基づいて、旋回体４の位置及び方位角を算出する算出モードである。第２算出モードにおいて、第２位置方位算出部１８は、撮像装置１１により撮像されたターゲット２４の画像に基づいて、旋回体４の位置及び方位角を算出する。
　ＧＮＳＳの測位不良が発生すると、第１位置方位算出部１７による旋回体４の位置及び方位角の算出が困難になる可能性がある。ＧＮＳＳの測位不良は、ＧＮＳＳの測位精度の低下及び測位不能を含む。ＧＮＳＳの測位不良として、位置センサ９が受信するＧＮＳＳ電波の強度不足又はＧＮＳＳ電波のマルチパスが例示される。ＧＮＳＳ電波のマルチパスとは、ＧＮＳＳ衛星から送信されたＧＮＳＳ電波が、地面や建造物などで反射したり、電離層において反射又は屈折したりして、位置センサ９が複数の伝送経路からＧＮＳＳ電波を受信することにより、検出される位置に誤差が発生する現象をいう。
　ＧＮＳＳの測位不良が発生していない場合、旋回体４の位置及び方位角は、第１算出モードで算出される。ＧＮＳＳの測位不良が発生した場合、旋回体４の位置及び方位角は、第２算出モードで算出される。
　切換部２０は、ＧＮＳＳ電波の受信状況に基づいて、第１算出モードと第２算出モードとを切り換える。第１位置方位算出部１７は、ＧＮＳＳ電波の受信状況の良否を判定することができる。第１位置方位算出部１７は、例えばＧＮＳＳ電波の強度を判定することができる。切換部２０は、位置センサ９によるＧＮＳＳ電波の受信状況に基づいて、第１算出モードと第２算出モードとを切り換える。また、切換部２０は、第１位置方位算出部１７による旋回体４の位置及び方位角の算出の可否に基づいて、第１算出モードと第２算出モードとを切り換える。例えばＧＮＳＳ電波の強度が不足し、ＧＮＳＳ電波の受信状況が不良である場合、第１位置方位算出部１７は、旋回体４の位置及び方位角を算出不可能な状態になる可能性が高い。一方、ＧＮＳＳ電波の強度が充足し、ＧＮＳＳ電波の受信状況が良好である場合、第１位置方位算出部１７は、旋回体４の位置及び方位角を算出可能な状態になる可能性が高い。
　切換部２０は、ＧＮＳＳ電波の受信状況が良好な状態から不良な状態に変化した場合、第１算出モードから第２算出モードに切り換える。また、切換部２０は、第１位置方位算出部１７が旋回体４の位置及び方位角を算出可能な状態から算出不可能な状態に変化した場合、第１算出モードから第２算出モードに切り換える。
　切換部２０は、ＧＮＳＳ電波の受信状況が不良な状態から良好な状態に変化した場合、第２算出モードから第１算出モードに切り換える。また、切換部２０は、第１位置方位算出部１７が旋回体４の位置及び方位角を算出不可能な状態から算出可能な状態に変化した場合、第２算出モードから第１算出モードに切り換える。
　実施形態において、表示制御部２２は、ＧＮＳＳ電波の受信状況を表示装置８Ａに表示させる。図５に示すように、ＧＮＳＳ電波の受信状況が良好な状態から不良な状態に変化した場合、表示制御部２２は、ＧＮＳＳ電波の受信状況が不良であることを表示装置８Ａに表示させてもよい。オペレータは、表示装置８Ａに表示された表示データに基づいて、ＧＮＳＳ電波の受信状況が不良であることを認識することができる。実施形態において、第１算出モードから第２算出モードへの切り換えは、オペレータによる入力装置８Ｂの操作に基づいて実施されてもよい。ＧＮＳＳ電波の受信状況が不良であることを認識したオペレータは、入力装置８Ｂを操作して、第１算出モードから第２算出モードへの切り換えを実施するための入力データを生成する。切換部２０は、入力装置８Ｂからの入力データに基づいて、第１算出モードから第２算出モードに切り換える。
　第１算出モードから第２算出モードに切り換えられた場合、表示制御部２２は、第１算出モードから第２算出モードに切り換えられたことを表示装置８Ａに表示させてもよい。これにより、オペレータは、第１算出モードから第２算出モードに切り換えられたことを認識することができる。
　一方、ＧＮＳＳ電波の受信状況が不良な状態から良好な状態に変化した場合、表示制御部２２は、ＧＮＳＳ電波の受信状況が良好であることを表示装置８Ａに表示させる。オペレータは、表示装置８Ａに表示された表示データに基づいて、ＧＮＳＳ電波の受信状況が良好であることを認識することができる。第２算出モードから第１算出モードへの切り換えは、オペレータによる入力装置８Ｂの操作に基づいて実施されてもよい。ＧＮＳＳ電波の受信状況が良好であることを認識したオペレータは、入力装置８Ｂを操作して、第２算出モードから第１算出モードへの切り換えを実施するための入力データを生成する。切換部２０は、入力装置８Ｂからの入力データに基づいて、第２算出モードから第１算出モードに切り換える。
　第２算出モードから第１算出モードに切り換えられた場合、表示制御部２２は、第２算出モードから第１算出モードに切り換えられたことを表示装置８Ａに表示させてもよい。これにより、オペレータは、第２算出モードから第１算出モードに切り換えられたことを認識することができる。
［ターゲット］
　図６は、実施形態に係る作業現場に設置されたターゲット２４を示す図である。図６に示すように、ターゲット２４は、作業現場において油圧ショベル１の外部に配置される。ターゲット２４は、作業現場において油圧ショベル１の周囲に複数配置される。ターゲット２４は、表示板２５に描かれたマークを含む。実施形態において、表示板２５の下端部に接地板２６が固定される。表示板２５は、接地板２６を介して作業現場の地面に置かれる。なお、表示板２５は、作業現場に固定されていればよい。ターゲット２４は、例えば作業現場の構造物に貼り付けられてもよい。ターゲット２４は、杭のような部材を用いて作業現場に立てられてもよい。
　図７は、実施形態に係るターゲット２４を示す図である。ターゲット２４は、識別マーク２７と、識別マーク２７の周囲に配置される放射マーク２８とを含む。識別マーク２７は、ターゲット２４を識別するための識別データを含む。実施形態において、識別マーク２７は、ターゲット２４を識別する２次元バーコードを含む。ターゲット２４に基準点Ｏｔが規定される。放射マーク２８は、ターゲット２４の基準点Ｏｔから放射方向に伸びる。放射マーク２８は、ターゲット２４の基準点Ｏｔから放射方向に伸びる複数のライン２８Ａを有する。ライン２８Ａは、放射マーク２８のエッジを含む。複数のライン２８Ａの交点にターゲット２４の基準点Ｏｔが規定される。
　ターゲット２４が作業現場に設置された後、ターゲット２４の位置が測量機により測量される。測量機は、現場座標系におけるターゲット２４の３次元位置を測定する。ターゲット２４の３次元位置は、基準点Ｏｔの３次元位置を含む。測量機は、基準点Ｏｔの３次元位置を測定する。測量機により測定された複数のターゲット２４のそれぞれの３次元位置は、記憶部１６に記憶される。記憶部１６は、識別マーク２７により規定されるターゲット２４の識別データと、測量機により測定されたターゲット２４の３次元位置との関係を示す相関データを記憶する。識別マーク２７に基づいてターゲット２４が特定されることにより、特定されたターゲット２４の３次元位置が特定される。
［第２算出モード］
　次に、第２算出モードによる旋回体４の位置及び方位角の算出方法について説明する。図８は、実施形態に係る旋回体４の位置及び方位角の算出方法を示すフローチャートである。図９は、実施形態に係る旋回体４の位置及び方位角の算出方法を説明するための模式図である。
　旋回体４の位置及び方位角を第１算出モードで算出できなくなった場合、旋回体４の位置及び方位角は、第２算出モードで算出される。実施形態において、第２位置方位算出部１８は、複数のターゲット２４の画像と、旋回体４の傾斜角とに基づいて、旋回体４の位置及び方位角を算出する。第２位置方位算出部１８は、撮像装置１１から複数のターゲット２４の画像を取得する。第２位置方位算出部１８は、傾斜角算出部１９から旋回体４の傾斜角を取得する。上述のように、旋回体４の傾斜角は、旋回体４のロール角及びピッチ角を含む。
　複数のターゲット２４が撮像装置１１により撮像される。撮像装置１１は、複数のターゲット２４を同時に撮像する。図９に示すように、３つのターゲット２４が撮像装置１１により同時に撮像される。第２位置方位算出部１８は、撮像装置１１により撮像された３つのターゲット２４の画像２９を取得する（ステップＳＡ１）。
　図９に示すように、１つの画像２９に３つのターゲット２４が配置される。
　第２位置方位算出部１８は、ターゲット２４の識別マーク２７により規定される識別データに基づいて、ターゲット２４を識別する（ステップＳＡ２）。
　第２位置方位算出部１８は、画像２９における識別マーク２７に基づいて、ターゲット２４を特定する。第２位置方位算出部１８は、画像２９における識別マーク２７と、記憶部１６に記憶されている相関データとに基づいて、記憶部１６からターゲット２４の３次元位置を取得する（ステップＳＡ３）。
　上述のように、ターゲット２４の３次元位置は、測量機により事前に測定され、記憶部１６に記憶されている。また、記憶部１６には、ターゲット２４の識別マーク２７により規定される識別データとターゲット２４の３次元位置との関係を示す相関データが予め記憶されている。したがって、第２位置方位算出部１８は、画像２９における識別マーク２７と、記憶部１６に記憶されている相関データとに基づいて、ターゲット２４の３次元位置を取得することができる。
　第２位置方位算出部１８は、画像２９におけるターゲット２４の２次元位置を取得する（ステップＳＡ４）。
　画像２９におけるターゲット２４の２次元位置は、ターゲット２４に規定された基準点Ｏｔの２次元位置を含む。上述のように、ターゲット２４は、ライン２８Ａを含む放射マーク２８を有する。第２位置方位算出部１８は、画像２９における放射マーク２８に基づいて、画像２９における基準点Ｏｔの２次元位置を算出する。第２位置方位算出部１８は、ターゲット２４の画像２９を画像処理することにより、放射マーク２８に基づいて、画像２９における基準点Ｏｔの２次元位置を高精度に算出することができる。以下の説明において、画像２９における基準点Ｏｔを適宜、基準点Ｏｔｉ、と称する。
　傾斜角算出部１９は、ターゲット２４が撮像されているときの傾斜センサ１０の検出データを取得して、ターゲット２４が撮像されているときの旋回体４のピッチ角及びロール角を算出する。第２位置方位算出部１８は、ターゲット２４が撮像されているときの旋回体４のロール角及びピッチ角を傾斜角算出部１９から取得する（ステップＳＡ５）。
　第２位置方位算出部１８は、ステップＳＡ３において取得した３つのターゲット２４の３次元位置と、ステップＳＡ４において取得した画像２９におけるターゲット２４の２次元位置と、ステップＳＡ５において取得した旋回体４のロール角及びピッチ角とに基づいて、現場座標系におけるカメラ１３の位置及び方位角を算出する（ステップＳＡ６）。
　実施形態において、第２位置方位算出部１８は、空中三角測量におけるブロック調整法の一種であるバンドル法に基づいて、現場座標系におけるカメラ１３の位置及び方位角を算出する。空中三角測量（Aerial　Triangulation）とは、光の直進性を示す共線条件及び空中写真の幾何学的性質及びを利用して、既知の基準点Ｏｔの座標に基づいて、複数のカメラ１３による複数の画像２９のそれぞれの撮像位置及び撮像方向を算出する方法をいう。
　第２位置方位算出部１８は、バンドル法に基づいてカメラ１３の位置及び方位角を算出するために、３つの基準点Ｏｔの３次元位置と、画像２９における基準点Ｏｔｉの２次元位置と、旋回体４のロール角及びピッチ角とを取得する。基準点Ｏｔの３次元位置は、現場座標系における３次元位置である。基準点Ｏｔｉの２次元位置は、画像２９に規定される画像座標系における２次元位置である。画像座標系は、画像２９の左上のコーナーを原点とし横方向をｕ軸とし縦方向をｖ軸とするｕｖ座標系で表される。基準点Ｏｔｉの２次元位置は、複数の画像２９の重複部分を結合するためのパスポイントとして機能する。
　例えば、現場座標系における基準点Ｏｔの３次元位置をＰ（Ｘ，Ｙ，Ｚ）、カメラ座標系における基準点Ｏｔの３次元位置をＰｃ（Ｘｃ，Ｙｃ，Ｚｃ）、画像座標系における基準点Ｏｔｉの２次元位置をｐ（ｘ、ｙ）、現場座標系における光学中心Ｏｃの位置をＯ（Ｘｏ，Ｙｏ，Ｚｏ）、現場座標系におけるカメラ１３の姿勢を示す回転行列をＲ、内部パラメータ行列をｋとした場合、以下の（１）式、２（式）、及び（３）式の条件が成立する。
　ｐ　＝　ｋ・Ｐｃ　　　…（１）
　Ｐ　＝　Ｒ・ＰＣ＋Ｏ　　　…（２）
　Ｐ　＝　Ｒ・（ｋ－１・ｐ）　　　…（３）
　第２位置方位算出部１８は、バンドル法に基づいて、３つの基準点Ｏｔの３次元位置と、画像２９における基準点Ｏｔｉの２次元位置と、旋回体４のロール角及びピッチ角とを収束計算することにより、現場座標系におけるカメラ１３の位置及び方位角を算出することができる。
　第２位置方位算出部１８は、ステップＳＡ６において算出したカメラ１３の位置及び方位角に基づいて、現場座標系における旋回体４の位置及び方位角を算出する（ステップＳＡ７）。
　カメラ１３の光学中心Ｏｃと旋回体４の代表点Ｏｍとの相対位置は、既知である。また、旋回体４に規定された代表点Ｏｍを基準とする車体座標系とカメラ１３の光学中心Ｏｃを基準とするカメラ座標系とを変換する変換行列は、既知である。したがって、第２位置方位算出部１８は、ターゲット２４を撮像した画像２９を用いてバンドル法に基づいて現場座標系におけるカメラ１３の位置及び方位角を算出し、変換行列に基づいてカメラ１３の位置及び方位角を座標変換することにより、現場座標系における旋回体４の位置及び方位角を算出することができる。
　上述のステップＳＡ１からステップＳＡ７の処理は、ターゲット２４が撮像された場合に実施される。走行体３が走行動作した後に、旋回体４の位置及び方位角を算出する場合、上述のステップＳＡ１からステップＳＡ７の処理が再度実行される。
　なお、上述のステップＳＡ１からステップＳＡ７の処理において、３つのターゲット２４が撮像されなくてもよく、少なくとも２つのターゲット２４が撮像されればよい。
［旋回動作後の位置及び方位の算出］
　旋回体４の位置及び方位角が算出された後、走行体３が走行動作した場合、旋回体４の位置及び方位角を算出するために、ターゲット２４が撮像される。ターゲット２４が撮像された場合、上述のステップＳＡ１からステップＳＡ７の処理が再度実行される。
　一方、上述のステップＳＡ１からステップＳＡ７の処理により旋回体４の位置及び方位角を算出した後において、走行体３が走行動作せずに旋回体４が旋回動作した場合、第２位置方位算出部１８は、少なくとも２つのターゲット２４を用いること無く、少なくとも１つのターゲット２４の画像２９に基づいて、旋回体４の位置及び方位角を算出することができる。
　図１０は、実施形態に係る旋回体４の位置及び方位角の算出方法を説明するための模式図である。旋回体４が第１方向Ｄ１を向いている状態において、少なくとも２つのターゲット２４が撮像されることにより、上述のステップＳＡ１からステップＳＡ７の処理に従って、旋回体４の位置及び方位が算出される。
　旋回体４の位置及び方位角が算出された後、旋回体４が第１方向Ｄ１から第２方向Ｄ２を向くように旋回して、撮像装置１１により少なくとも１つのターゲット２４が撮像された場合、旋回体４が第２方向Ｄ２を向いているときの旋回体４の方位角は、少なくとも１つのターゲット２４の画像２９に基づいて算出される。第２位置方位算出部１８は、少なくとも２つのターゲット２４を用いて旋回体４の位置及び方位角を算出した後において、旋回体４が第１方向Ｄ１から第２方向Ｄ２を向くように旋回軸ＲＸを中心に旋回動作した場合、撮像装置１１により撮像された少なくとも１つのターゲット２４の画像２９に基づいて、旋回体４の位置及び方位角を算出することができる。
　すなわち、第２位置方位算出部１８は、第１方向Ｄ１に存在する少なくとも２つのターゲット２４を用いて算出した旋回動作する前の旋回体４の方位角と、第２方向Ｄ２に存在する１つのターゲット２４の画像２９と、旋回動作する前の旋回体４のロール角及びピッチ角と、旋回動作した後の旋回体４のロール角及びピッチ角とに基づいて、旋回角θを算出する。第２位置方位算出部１８は、旋回角θを算出することにより、少なくとも２つのターゲット２４を用いて算出した旋回体４の方位角と旋回角θとに基づいて、旋回動作した後の旋回体４の方位角を算出することができる。また、走行体３が走行動作していない場合、旋回軸ＲＸの位置は変化しないので、第２位置方位算出部１８は、算出した旋回角θに基づいて、旋回体４の位置を算出することができる。
　また、第２位置方位算出部１８は、旋回体４が旋回動作する前に撮像装置１１により撮像された少なくとも２つのターゲット２４の画像２９と、旋回体４が旋回動作する前の旋回体４のロール角及びピッチ角と、旋回体４が旋回動作した後に撮像装置１１により撮像された少なくとも１つのターゲット２４の画像２９と、旋回体４が旋回動作した後の旋回体４のロール角及びピッチ角とに基づいて、旋回軸ＲＸの位置と、旋回体４が旋回動作する前の旋回体４の方位角と、旋回体４が旋回動作した後の旋回体４の方位角とを、同時に算出してもよい。
　なお、第２位置方位算出部１８は、傾斜センサ１０の検出データに基づいて、旋回角θを算出することができる。上述のように、傾斜センサ１０は、慣性計測装置（ＩＭＵ）を含む。慣性計測装置（ＩＭＵ）は、旋回体４の旋回を検出する旋回センサとして機能する。第２位置方位算出部１８は、慣性計測装置（ＩＭＵ）の検出データに基づいて、旋回角θを算出することができる。したがって、第２位置方位算出部１８は、３つのターゲット２４を用いて旋回体４の位置及び方位角を算出した後において、走行体３が走行動作せずに旋回体４が旋回動作した場合、旋回体４の旋回を検出する傾斜センサ１０の検出データに基づいて、旋回動作した後の旋回体４の位置及び方位角を算出することができる。
　図１１は、実施形態に係る旋回体４が旋回動作した後の旋回体４の位置及び方位角の算出方法を示すフローチャートである。旋回体４が旋回動作した後、第２位置方位算出部１８は、撮像装置１１がターゲット２４を撮像できたか否かを判定する。すなわち、第２位置方位算出部１８は、旋回体４が旋回動作した後に、少なくとも１つのターゲット２４の画像を取得できたか否かを判定する（ステップＳＢ１）。
　ステップＳＢ１において、少なくとも１つのターゲット２４の画像を取得できたと判定した場合（ステップＳＢ１：Ｙｅｓ）、第２位置方位算出部１８は、少なくとも１つのターゲット２４の画像２９と、旋回動作する前の旋回体４のロール角及びピッチ角と、旋回動作した後の旋回体４のロール角及びピッチ角とに基づいて、旋回動作した後の旋回体４の方位角を算出する（ステップＳＢ２）。
　ステップＳＢ１において、少なくとも１つのターゲット２４の画像を取得できないと判定した場合（ステップＳＢ１：Ｎｏ）、第２位置方位算出部１８は、旋回体４の旋回を検出する傾斜センサ１０の検出データに基づいて、旋回動作した後の旋回体４の位置及び方位角を算出する（ステップＳＢ３）。
　このように、第１位置方位算出部１７が旋回体４の位置及び方位角を算出不可能な状態、且つ、旋回体４が旋回動作する前に撮像装置１１が少なくとも２つのターゲット２４を撮像した場合において、第２位置方位算出部１８は、少なくとも２つのターゲット２４の画像２９と旋回体４の傾斜角とに基づいて、旋回体４の位置及び方位角を算出する。第１位置方位算出部１７が旋回体４の位置及び方位角を算出不可能な状態、且つ、走行体３が走行動作せずに旋回体４が旋回動作した場合において、第２位置方位算出部１８は、旋回体４が旋回動作した後に撮像装置１１により取得された少なくとも１つのターゲット２４の画像２９又は旋回体４が旋回動作した後の傾斜センサ１０の検出データに基づいて、旋回体４の位置及び方位角を算出することができる。
［補正部の処理］
　次に、補正部２３の処理について説明する。補正部２３は、傾斜センサ１０の誤差を補正する。上述のように、走行体３が走行動作せずに旋回体４が旋回動作した後において、位置センサ９の検出データに基づいて旋回体４の位置及び方位角を算出できず、且つ、少なくとも１つのターゲット２４の画像２９に基づいて旋回体４の位置及び方位角を算出できない場合、第２位置方位算出部１８は、ＩＭＵを含む傾斜センサ１０の検出データに基づいて、旋回動作した後の旋回体４の位置及び方位角を算出することができる。傾斜センサ１０の検出データを用いて旋回動作した後の旋回体４の位置及び方位角を算出する場合、傾斜センサ１０により検出された加速度が時間で２重積分されることにより、旋回体４の位置が算出され、傾斜センサ１０により検出された角速度が時間で積分されることにより、旋回体４の方位角が算出される。傾斜センサ１０の検出データが積分されると、積分加算により旋回体４の位置及び方位角の算出結果に累積誤差が発生する可能性がある。すなわち、加速度又は角速度の積分による誤差が蓄積して、旋回体４の位置及び方位角の算出精度が低下する可能性がある。
　ＧＮＳＳ電波の受信状況が良好であり、第１位置方位算出部１７が旋回体４の位置及び方位角を算出可能な状態において、補正部２３は、第１位置方位算出部１７の算出結果に基づいて、旋回体４の位置及び方位角の誤差を補正することができる。
　一方、ＧＮＳＳ電波の受信状況が不良であり、第１位置方位算出部１７が旋回体４の位置及び方位角を算出不可能な状態において、補正部２３は、第２位置方位算出部１８の算出結果に基づいて、旋回体４の位置及び方位角の誤差を補正することができる。
　図１２は、実施形態に係る旋回体４の位置及び方位角の算出結果の補正方法を示すフローチャートである。切換部２０は、第１位置方位算出部１７が旋回体４の方位角を算出可能な状態か否かを判定する（ステップＳＣ１）。
　ステップＳＣ１において、第１位置方位算出部１７が旋回体４の方位角を算出可能な状態であると判定された場合（ステップＳＣ１：Ｙｅｓ）、補正部２３は、第１位置方位算出部１７により算出された旋回体４の方位角に基づいて、旋回体４の位置及び方位角の誤差を補正する（ステップＳＣ２）。
　ステップＳＣ１において、第１位置方位算出部１７が旋回体４の方位角を算出不可能な状態であると判定された場合（ステップＳＣ１：Ｎｏ）、補正部２３は、第２位置方位算出部１８により算出された旋回体４の方位角に基づいて、旋回体４の位置及び方位角の誤差を補正する（ステップＳＣ３）。
［コンピュータシステム］
　図１３は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御装置１２は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサ１００１と、ＲＯＭ（Read　Only　Memory）のような不揮発性メモリ及びＲＡＭ（Random　Access　Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置１２の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
　コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、走行体３及び旋回体４を備える油圧ショベル１の外部に設置された複数のターゲット２４の画像を取得することと、旋回体４の傾斜角を取得することと、複数のターゲット２４の画像と旋回体４の傾斜角とに基づいて、旋回体４の位置及び方位角を算出することと、を実行することができる。
［効果］
　以上説明したように、実施形態によれば、油圧ショベル１の外部に設置された複数のターゲット２４の画像が取得される。また、旋回体４の傾斜角であるロール角及びピッチ角が取得される。複数のターゲット２４の画像と旋回体４の傾斜角とに基づいて、旋回体４の位置及び方位角が算出される。ＧＮＳＳの測位不良が発生した場合においても、ターゲット２４の画像に基づいて、油圧ショベル１の位置及び方位角が算出される。したがって、ＧＮＳＳの測位不良が発生した場合においても、油圧ショベル１は、マシンガイダンス技術又はマシンコントロール技術に基づいて、作業を実施することができる。
　ターゲット２４の３次元位置が測量機により取得され、記憶部１６に予め記憶される。ターゲット２４の画像２９に基づいて、画像２９におけるターゲット２４の２次元位置が第２位置方位算出部１８により算出される。これにより、第２位置方位算出部１８は、ターゲット２４の３次元位置と、ターゲット２４の２次元位置と、旋回体４の傾斜角とに基づいて、旋回体４の位置及び方位角を算出することができる。
　実施形態において、ターゲット２４の３次元位置と、ターゲット２４の２次元位置と、旋回体４の傾斜角とに基づいて、現場座標系におけるカメラ１３の位置及び方位角が算出される。現場座標系におけるカメラ１３の位置及び方位角が算出された後、カメラ１３の位置及び方位角が座標変換されることにより、旋回体４の位置及び方位角が算出される。これにより、第２位置方位算出部１８は、カメラ１３の位置及び方位角が算出された後、カメラ１３の位置及び方位角に基づいて、旋回体４の位置及び方位角を適正に算出することができる。
　ターゲット２４の３次元位置は、ターゲット２４に規定された基準点Ｏｔの３次元位置である。画像２９におけるターゲット２４の２次元位置は、ターゲット２４に規定された画像２９における基準点Ｏｔｉの２次元位置である。基準点Ｏｔ及び基準点Ｏｔｉが用いられることにより、旋回体４の位置及び方位角の算出精度の低下が抑制される。
　ターゲット２４は、ターゲット２４の基準点Ｏｔから放射方向に伸びる放射マーク２８を含む。放射マーク２８により、基準点Ｏｔｉの２次元位置の算出精度の低下が抑制される。
　ターゲット２４は、ターゲット２４を識別する識別マーク２７を含む。識別マーク２７により規定されるターゲット２４の識別データと測量機により測定されたターゲット２４の３次元位置との関係を示す相関データが記憶部１６に予め記憶される。これにより、第２位置方位算出部１８は、画像２９における識別マーク２７に基づいて、記憶部１６に記憶されている相関データを参照することにより、画像２９に写っているターゲット２４の３次元位置を取得することができる。
　旋回体４の傾斜角は、旋回体４に配置された傾斜センサ１０の検出データに基づいて算出される。これにより、旋回体４の傾斜角が高精度に算出される。
　３つのターゲット２４を用いて第２位置方位算出部１８により旋回体４の位置及び方位角が算出された後、走行体３が走行動作せずに旋回体４が旋回動作した場合、少なくとも１つのターゲット２４の画像を取得すれば、第２位置方位算出部１８は、旋回体４の位置及び方位角を効率良く算出することができる。
　３つのターゲット２４を用いて第２位置方位算出部１８により旋回体４の位置及び方位角が算出された後、走行体３が走行動作せずに旋回体４が旋回動作した場合、第２位置方位算出部１８は、ターゲット２４を用いずに、旋回角θを検出可能な傾斜センサ１０の検出データに基づいて、旋回体４の位置及び方位角を効率良く算出することができる。
［その他の実施形態］
　上述の実施形態において、第２位置方位算出部１８は、３つの基準点Ｏｔに基づいて、現場座標系におけるカメラ１３の位置及び方位角を算出することとした。第２位置方位算出部１８は、少なくとも２つの基準点Ｏｔに基づいて、現場座標系におけるカメラ１３の位置及び方位角を算出してもよい。すなわち、第２位置方位算出部１８は、少なくとも２つの基準点Ｏｔの３次元位置と、画像２９における基準点Ｏｔｉの２次元位置と、旋回体４のロール角及びピッチ角とを収束計算することにより、現場座標系におけるカメラ１３の位置及び方位角を算出してもよい。
　上述の実施形態において、第２位置方位算出部１８は、現場座標系におけるカメラ１３の位置及び方位角を算出し、現場座標系における旋回体４の位置及び方位角を算出することとした。第２位置方位算出部１８は、車体座標系におけるカメラ１３の位置及び方位角を算出してもよいし、カメラ座標系におけるカメラ１３の位置及び方位角を算出してもよい。また、第２位置方位算出部１８は、車体座標系における旋回体４の位置及び方位角を算出してもよいし、カメラ座標系における旋回体４の位置及び方位角を算出してもよい。
　上述の実施形態において、ターゲット２４は、ステレオカメラ１５により撮像されることとした。ターゲット２４は、単眼カメラにより撮像されてもよい。
　上述の実施形態において、車載モニタ８が表示装置８Ａ及び入力装置８Ｂを有することとした。例えばタブレット端末が表示装置８Ａ及び入力装置８Ｂを有してもよい。すなわち、表示装置８Ａ及び入力装置８Ｂは、油圧ショベル１から分離されてもよい。また、上述の実施形態において、表示装置８Ａ及び入力装置８Ｂは、運転室２に配置されることとした。表示装置８Ａ及び入力装置８Ｂの一方又は両方が運転室２の外部に配置されてもよい。
　上述の実施形態において、ＧＮＳＳ電波の受信状況が表示装置８Ａに表示されることとした。表示制御部２２は、例えば第１算出モードと第２算出モードとの切り換えを推奨するリコメンド表示データを表示装置８Ａに表示させてもよい。例えば、ＧＮＳＳ電波の受信状況が良好な状態から不良な状態に変化した場合、表示制御部２２は、例えば「第１算出モードから第２算出モードに切り換えることを推奨します」のような文字データを表示装置８Ａに表示させてもよい。ＧＮＳＳ電波の受信状況が不良な状態から良好な状態に変化した場合、表示制御部２２は、例えば「第２算出モードから第１算出モードに切り換えることを推奨します」のような文字データを表示装置８Ａに表示させてもよい。
　上述の実施形態において、第１算出モードと第２算出モードとの切換が、オペレータによる入力装置８Ｂの操作に基づいて実施されることとした。ＧＮＳＳ電波の受信状況が表示装置８Ａに表示されなくてもよい。また、第１算出モードと第２算出モードとの切換は、制御装置１２により自動的に実施されてもよい。例えば、ＧＮＳＳ電波の受信状況が良好な状態から不良な状態に変化した場合、切換部２０は、入力装置８Ｂからの入力データによらずに、第１算出モードから第２算出モードに自動的に切り換えてもよい。また、ＧＮＳＳ電波の受信状況が不良な状態から良好な状態に変化した場合、切換部２０は、入力装置８Ｂからの入力データによらずに、第２算出モードから第１算出モードに自動的に切り換えてもよい。第１算出モードと第２算出モードとが自動的に切り換えられた場合、表示制御部２２は、第１算出モードと第２算出モードとが切り換えられたことを表示装置８Ａに表示させてもよい。
　上述の実施形態において、記憶部１６、第１位置方位算出部１７、第２位置方位算出部１８、傾斜角算出部１９、切換部２０、３次元データ算出部２１、表示制御部２２、及び補正部２３のそれぞれが、別々のハードウエアにより構成されてもよい。
　上述の実施形態において、作業機械１が走行体３及び旋回体４を有する油圧ショベルであることとした。作業機械１は走行体３及び旋回体４を有しなくてもよい。作業機械１は、作業機を有していればよく、例えばブルドーザでもよいしホイールローダでもよい。
　１…油圧ショベル（作業機械）、２…運転室、３…走行体、３Ａ…履帯、４…旋回体、５…作業機、５Ａ…ブーム、５Ｂ…アーム、５Ｃ…バケット、６…油圧シリンダ、６Ａ…ブームシリンダ、６Ｂ…アームシリンダ、６Ｃ…バケットシリンダ、７…操作装置、７Ａ…左作業レバー、７Ｂ…右作業レバー、７Ｃ…左走行レバー、７Ｄ…右走行レバー、７Ｅ…左フットペダル、７Ｆ…右フットペダル、８…車載モニタ、８Ａ…表示装置、８Ｂ…入力装置、９…位置センサ、９Ａ…第１位置センサ、９Ｂ…第２位置センサ、１０…傾斜センサ、１１…撮像装置、１２…制御装置、１３…カメラ、１３Ａ…カメラ、１３Ｂ…カメラ、１３Ｃ…カメラ、１３Ｄ…カメラ、１４…運転シート、１５…ステレオカメラ、１５Ａ…ステレオカメラ、１５Ｂ…ステレオカメラ、１６…記憶部、１７…第１位置方位算出部、１８…第２位置方位算出部、１９…傾斜角算出部、２０…切換部、２１…３次元データ算出部、２２…表示制御部、２３…補正部、２４…ターゲット、２５…表示板、２６…接地板、２７…識別マーク、２８…放射マーク、２８Ａ…ライン、２９…画像、３０…制御システム、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、Ｄ１…第１方向、Ｄ２…第２方向、Ｏｃ…光学中心、Ｏｔ…基準点、Ｏｇ…現場基準点、Ｏｍ…代表点、Ｏｔｉ…基準点、ＲＸ…旋回軸、θ…旋回角。

Claims (20)

  1. 　走行体及び旋回体を備える作業機械の制御システムであって、
    　前記作業機械の外部に設置された複数のターゲットの画像と、前記旋回体の傾斜角とに基づいて、前記旋回体の位置及び方位角を算出する位置方位算出部を備える、
    　作業機械の制御システム。
  2. 　複数の前記ターゲットのそれぞれの３次元位置を記憶する記憶部を備え、
    　前記位置方位算出部は、前記ターゲットの３次元位置と、前記画像における前記ターゲットの２次元位置と、前記旋回体の傾斜角とに基づいて、前記旋回体の位置及び方位角を算出する、
    　請求項１に記載の作業機械の制御システム。
  3. 　前記旋回体に配置され前記ターゲットを撮像する撮像装置を備え、
    　前記位置方位算出部は、前記撮像装置から前記画像を取得する、
    　請求項２に記載の作業機械の制御システム。
  4. 　前記位置方位算出部は、前記ターゲットの３次元位置と、前記ターゲットの２次元位置と、前記旋回体の傾斜角とに基づいて、現場座標系における前記撮像装置の位置及び方位角を算出し、前記撮像装置の位置及び方位角に基づいて、前記旋回体の位置及び方位角を算出する、
    　請求項３に記載の作業機械の制御システム。
  5. 　前記ターゲットの３次元位置及び２次元位置のそれぞれは、前記ターゲットに規定された基準点の３次元位置及び２次元位置を含む、
    　請求項２から請求項４のいずれか一項に記載の作業機械の制御システム。
  6. 　前記ターゲットは、前記ターゲットの基準点から放射方向に伸びる放射マークを含み、
    　前記位置方位算出部は、前記放射マークに基づいて、前記基準点の２次元位置を算出する、
    　請求項５に記載の作業機械の制御システム。
  7. 　前記ターゲットは、識別マークを含み、
    　前記記憶部は、前記識別マークにより規定される識別データと前記ターゲットの３次元位置との関係を示す相関データを記憶し、
    　前記位置方位算出部は、前記画像における前記識別マークに基づいて、前記記憶部から前記ターゲットの３次元位置を取得する、
    　請求項２から請求項６のいずれか一項に記載の作業機械の制御システム。
  8. 　前記旋回体に配置された傾斜センサと、
    　前記傾斜センサの検出データに基づいて前記旋回体の傾斜角を算出する傾斜角算出部と、を備え、
    　前記位置方位算出部は、前記傾斜角算出部から前記旋回体の傾斜角を取得する、
    　請求項１から請求項７のいずれか一項に記載の作業機械の制御システム。
  9. 　前記位置方位算出部は、前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、少なくとも１つのターゲットの画像に基づいて、前記旋回体の位置及び方位角を算出する、
    　請求項１から請求項８のいずれか一項に記載の作業機械の制御システム。
  10. 　前記位置方位算出部は、前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、前記旋回体の旋回を検出する旋回センサの検出データに基づいて、前記旋回体の位置及び方位角を算出する、
    　請求項１から請求項８のいずれか一項に記載の作業機械の制御システム。
  11. 　請求項１から請求項１０のいずれか一項に記載の作業機械の制御システムを備える、
    　作業機械。
  12. 　走行体及び旋回体を備える作業機械の制御方法であって、
    　前記作業機械の外部に設置された複数のターゲットの画像を取得することと、
    　前記旋回体の傾斜角を取得することと、
    　複数の前記ターゲットの画像と前記旋回体の傾斜角とに基づいて、前記旋回体の位置及び方位角を算出することと、を含む、
    　作業機械の制御方法。
  13. 　前記ターゲットの３次元位置を取得することと、
    　前記画像に基づいて前記画像における前記ターゲットの２次元位置を算出することと、を含み、
    　前記旋回体の位置及び方位角は、前記ターゲットの３次元位置と、前記ターゲットの２次元位置と、前記旋回体の傾斜角とに基づいて、算出される、
    　請求項１２に記載の作業機械の制御方法。
  14. 　複数の前記ターゲットの画像は、前記旋回体に配置された撮像装置により取得され、
    　前記ターゲットの３次元位置と、前記ターゲットの２次元位置と、前記旋回体の傾斜角とに基づいて、現場座標系における前記撮像装置の位置及び方位角を算出することを含み、
    　前記旋回体の位置及び方位角は、前記撮像装置の位置及び方位角に基づいて、算出される、
    　請求項１３に記載の作業機械の制御方法。
  15. 　前記ターゲットの３次元位置及び２次元位置のそれぞれは、前記ターゲットに規定された基準点の３次元位置及び２次元位置を含む、
    　請求項１２から請求項１４のいずれか一項に記載の作業機械の制御方法。
  16. 　前記ターゲットは、前記ターゲットの基準点から放射方向に伸びる放射マークを含み、
    　前記放射マークに基づいて、前記基準点の２次元位置が算出される、
    　請求項１５に記載の作業機械の制御方法。
  17. 　前記ターゲットは、識別マークを含み、
    　前記画像における前記識別マークと、前記識別マークにより規定される識別データと前記ターゲットの３次元位置との関係を示す相関データとに基づいて、前記ターゲットの３次元位置が取得される、
    　請求項１２から請求項１６のいずれか一項に記載の作業機械の制御方法。
  18. 　前記旋回体の傾斜角は、前記旋回体に配置された傾斜センサの検出データに基づいて算出される、
    　請求項１２から請求項１６のいずれか一項に記載の作業機械の制御方法。
  19. 　前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、少なくとも１つのターゲットの画像に基づいて、前記旋回体の位置及び方位角が算出される、
    　請求項１２から請求項１８のいずれか一項に記載の作業機械の制御方法。
  20. 　前記旋回体の位置及び方位角を算出した後において、前記旋回体が旋回動作した場合、前記旋回体の旋回を検出する旋回センサの検出データに基づいて、前記旋回体の位置及び方位角が算出される、
    　請求項１２から請求項１８のいずれか一項に記載の作業機械の制御方法。
PCT/JP2022/026479 2021-07-08 2022-07-01 作業機械の制御システム、作業機械、及び作業機械の制御方法 WO2023282203A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020237039543A KR20230171035A (ko) 2021-07-08 2022-07-01 작업 기계의 제어 시스템, 작업 기계, 및 작업 기계의 제어 방법
CN202280039151.0A CN117396653A (zh) 2021-07-08 2022-07-01 作业机械的控制系统、作业机械、以及作业机械的控制方法
DE112022002116.0T DE112022002116T5 (de) 2021-07-08 2022-07-01 Steuersystem für arbeitsmaschine, arbeitsmaschine und verfahren zur steuerung einer arbeitsmaschine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-113849 2021-07-08
JP2021113849A JP2023010052A (ja) 2021-07-08 2021-07-08 作業機械の制御システム、作業機械、及び作業機械の制御方法

Publications (1)

Publication Number Publication Date
WO2023282203A1 true WO2023282203A1 (ja) 2023-01-12

Family

ID=84801682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026479 WO2023282203A1 (ja) 2021-07-08 2022-07-01 作業機械の制御システム、作業機械、及び作業機械の制御方法

Country Status (5)

Country Link
JP (1) JP2023010052A (ja)
KR (1) KR20230171035A (ja)
CN (1) CN117396653A (ja)
DE (1) DE112022002116T5 (ja)
WO (1) WO2023282203A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107717A (ja) * 1995-10-24 1997-04-28 Kubota Corp 作業機械の姿勢制御装置
JP2003064725A (ja) * 2001-08-28 2003-03-05 Maeda Corp 無人化機械土工システム
JP2005003445A (ja) * 2003-06-10 2005-01-06 Shimizu Corp 移動体装置の位置同定システムおよびその位置同定方法
CN106886037A (zh) * 2017-02-27 2017-06-23 立得空间信息技术股份有限公司 适用于弱gnss信号条件的pos数据纠偏方法
WO2018143151A1 (ja) * 2017-01-31 2018-08-09 三井住友建設株式会社 測量用マーカ、及び測量システム
JP2021050544A (ja) * 2019-09-25 2021-04-01 日立建機株式会社 作業機械

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833603B1 (ko) 2015-05-29 2018-02-28 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 제어 시스템 및 작업 기계

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107717A (ja) * 1995-10-24 1997-04-28 Kubota Corp 作業機械の姿勢制御装置
JP2003064725A (ja) * 2001-08-28 2003-03-05 Maeda Corp 無人化機械土工システム
JP2005003445A (ja) * 2003-06-10 2005-01-06 Shimizu Corp 移動体装置の位置同定システムおよびその位置同定方法
WO2018143151A1 (ja) * 2017-01-31 2018-08-09 三井住友建設株式会社 測量用マーカ、及び測量システム
CN106886037A (zh) * 2017-02-27 2017-06-23 立得空间信息技术股份有限公司 适用于弱gnss信号条件的pos数据纠偏方法
JP2021050544A (ja) * 2019-09-25 2021-04-01 日立建機株式会社 作業機械

Also Published As

Publication number Publication date
JP2023010052A (ja) 2023-01-20
CN117396653A (zh) 2024-01-12
KR20230171035A (ko) 2023-12-19
DE112022002116T5 (de) 2024-04-11

Similar Documents

Publication Publication Date Title
US7831362B2 (en) Position measuring system for working machine
US11120577B2 (en) Position measurement system, work machine, and position measurement method
US9976286B2 (en) Work machine and correction method of working equipment parameter for work machine
CN110249203B (zh) 作业机械的测量系统、作业机械以及作业机械的测量方法
JP2008144379A (ja) 遠隔操縦作業機の画像処理システム
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP6918716B2 (ja) 建設機械
JP2003064725A (ja) 無人化機械土工システム
JP2002310652A (ja) 走行式建設機械の位置計測システム
JP7386592B2 (ja) 建設機械の操作補助システム
JP7016297B2 (ja) 作業機械
JP2021038649A (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の画像表示方法
WO2023282203A1 (ja) 作業機械の制御システム、作業機械、及び作業機械の制御方法
CN114787456A (zh) 工程机械的作业辅助装置及作业现场的施工面识别方法
WO2023282204A1 (ja) 作業機械の制御システム、作業機械、及び作業機械の制御方法
AU2020320149B2 (en) Display system, remote operation system, and display method
CN115698434A (zh) 信息取得系统及信息取得方法
JP2009042175A (ja) 施工位置測定システム及び丁張りレスシステム
JP2020197044A (ja) マップ生成システム及びマップ生成方法
JP7065002B2 (ja) 作業機械
JP2022173478A (ja) 建設機械の自動制御システム
JP2020197045A (ja) 表示システムおよび表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837619

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237039543

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237039543

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 112022002116

Country of ref document: DE