WO2020195135A1 - 較正作業支援システム - Google Patents

較正作業支援システム Download PDF

Info

Publication number
WO2020195135A1
WO2020195135A1 PCT/JP2020/003229 JP2020003229W WO2020195135A1 WO 2020195135 A1 WO2020195135 A1 WO 2020195135A1 JP 2020003229 W JP2020003229 W JP 2020003229W WO 2020195135 A1 WO2020195135 A1 WO 2020195135A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
driver
target
machine
information
Prior art date
Application number
PCT/JP2020/003229
Other languages
English (en)
French (fr)
Inventor
健太 中城
靖彦 金成
枝穂 泉
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to EP20777303.7A priority Critical patent/EP3951103A4/en
Priority to US17/274,828 priority patent/US11891783B2/en
Priority to CN202080004790.4A priority patent/CN112639226B/zh
Priority to KR1020217005363A priority patent/KR102509346B1/ko
Publication of WO2020195135A1 publication Critical patent/WO2020195135A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00Testing or calibrating of apparatus or devices covered by the preceding groups
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a calibration work support system that supports the calibration work of an inertial measurement unit attached to a work device provided in a work machine.
  • the hydraulic excavator is a typical work machine and is equipped with an articulated front work machine as a work device.
  • Patent Document 1 includes a stroke sensor for measuring the stroke length of a hydraulic cylinder, a reset sensor for measuring a reset reference point for resetting a stroke length measurement value by the stroke sensor, and hydraulic pressure.
  • a stroke end detection processing unit that detects the stroke end position of the cylinder, a calibration processing unit that calibrates (calibrates) the measured value of the stroke length when the reset reference point and / or the stroke end position is detected, and the initial stage of the hydraulic cylinder.
  • a monitor that displays the entire work machine on which the hydraulic cylinder is mounted, a highlighting processing unit that highlights the moving parts for driving the hydraulic cylinder to be calibrated and displays the driving direction, and Disclosed is a stroke initial calibration work support device for a hydraulic cylinder.
  • IMU Inertial Measurement Unit
  • the IMU is an inertial measurement unit consisting of a gyro sensor and an acceleration sensor, and by combining the two types of sensors, highly accurate and highly responsive posture measurement is realized.
  • the IMU is installed on the surface of the body of the hydraulic excavator and each part of the front work machine (boom, arm, bucket, etc.), and the posture of the front work machine is measured by pre-calibrating the mounting position and mounting angle of the IMU. There is. That is, if the calibration work has not been performed, the attitude information of the front work machine cannot be presented to the driver.
  • the IMU calibration work is a work of matching the measured value measured by the IMU attached to each part of the front work machine with the actual posture of the front work machine.
  • the front work machine is stopped in a certain posture (target measurement posture), and the measured value of the IMU at that time and the position coordinates of the rotating parts (boom pin, arm pin, bucket link pin, etc.) of each part are set to the total station, etc.
  • the measurement values are learned in a plurality of postures.
  • the measurement posture and the number of measurements in the calibration work are defined in the work procedure manual and the like.
  • Patent Document 1 presents operation support information related to the calibration work of the stroke sensor with a built-in cylinder. Specifically, it presents the part to be operated (moving part) and its direction (driving direction), detects the stroke operation with a detection device installed at the stroke end of the cylinder, and notifies the completion of the calibration work. is there.
  • the stroke sensor is used, by using the invention of Patent Document 1, it becomes possible to efficiently carry out the calibration work even if the person is not an expert.
  • Patent Document 1 when the IMU is used as the posture measuring means of the front working machine, the technique of Patent Document 1 using the stroke sensor as the posture measuring means cannot be used. This is because the stroke sensor of Patent Document 1 is built in the cylinder, so that the mounting posture of the sensor is determined in advance, but the mounting posture of the IMU is unknown, and it is necessary to calibrate the mounting posture within the calibration work. Therefore, unlike Patent Document 1, it is not possible to detect the stroke end of the cylinder and determine the completion of the calibration work. Further, in the calibration work of the IMU, it is necessary to take some measurement postures, and according to the support information (moving part and its driving direction) of Patent Document 1, the driver determines whether the front work machine is in the correct measurement posture. I can't judge.
  • An object of the present invention is to provide a calibration work support system that allows a driver operating in the driver's cab to easily determine whether or not the posture of the work device during the calibration work of the IMU matches the target measurement posture. is there.
  • the present application includes a plurality of means for solving the above problems, and one example thereof is a calibration work support system that supports a calibration work of an inertial measurement device attached to a work device provided in a work machine.
  • An input device for inputting machine information including vehicle rating information of a work machine and specification information of the work device, the machine information input from the input device, and the work when calibrating the inertial measurement device.
  • a target posture image which is an image when the work device in the target measurement posture is viewed from a predetermined viewpoint position in a predetermined line-of-sight direction based on predetermined target posture information as the target measurement posture of the device.
  • a control device to be generated and a display device for displaying the target posture image generated by the control device are provided, and the display device is an actual working device viewed from the predetermined viewpoint position in the predetermined line-of-sight direction. It is assumed that the target posture image can be superimposed on the above.
  • the efficiency of the calibration work can be improved.
  • the block diagram of the hydraulic excavator which concerns on embodiment of this invention The overview view in the cab 7 which concerns on embodiment of this invention.
  • the hardware block diagram of the head-mounted display which concerns on embodiment of this invention.
  • the hardware block diagram of the input device which concerns on embodiment of this invention.
  • the functional block diagram of the calibration work support system which concerns on embodiment of this invention.
  • the layout block diagram of the input screen of the input device which concerns on embodiment of this invention.
  • a hydraulic excavator having a bucket as a work tool (attachment) at the tip of the work device will be illustrated as a work machine, but the present invention may be applied to a work machine having an attachment other than the bucket.
  • any work machine equipped with a work device that can use an IMU for posture detection can be applied to work machines other than hydraulic excavators.
  • FIG. 1 is a side view of a hydraulic excavator according to an embodiment of the present invention.
  • the left may be referred to as front
  • the right may be referred to as back
  • the direction from the front to the back of the paper may be referred to as right
  • the direction from the same back to the front may be referred to as left.
  • the hydraulic excavator (working machine) 1 includes a lower traveling body 1e and an upper rotating body 1B rotatably attached to the upper side of the lower traveling body 1e.
  • the upper swivel body 1B includes a swivel frame 10 as a base, a driver's cab 7 arranged on the front left side of the swivel frame 10, and a front work machine rotatably attached to the front center of the swivel frame 10 in the vertical direction.
  • a working device) 1A, a counterweight 6 arranged behind the swivel frame 10, and an engine room 1d installed between the front working machine 1A and the counterweight 6 are provided.
  • the front working machine (working device) 1A is configured by connecting a plurality of front members (boom 1a, arm 1b, and bucket 1c) that rotate in each vertical direction.
  • the base end of the boom 1a is rotatably supported at the front portion of the upper swing body 1B via a boom pin.
  • the base end of the arm 1b is rotatably connected to the tip of the boom 1a via an arm pin, and the base end of the bucket 1c is rotatably connected to the tip of the arm 1b via a bucket pin. ..
  • the boom 1a is driven by the boom cylinder 3a
  • the arm 1b is driven by the arm cylinder 3b
  • the bucket 1c is driven by the bucket cylinder 3c.
  • This front work machine 1A is operated by the driver M who boarded the driver's cab 7.
  • the counterweight 6 is for balancing the weight with the front working machine 1A, and can be formed of, for example, a heavy object having a substantially arcuate horizontal cross section.
  • IMU inertial measurement units
  • FIG. 2 is an overview view of the inside of the driver's cab 7.
  • the same parts as in the previous figure are designated by the same reference numerals, and the description of the same parts may be omitted (the same applies to the later figures).
  • FIG. 2 in the driver's cab 7, there is a driver's seat 7A on which the driver M sits, and four operation levers 7a1 as operation devices for instructing the operation of the vehicle body including the operations of the hydraulic actuators 3a to 3c. ⁇ 7a4 and are provided.
  • the operation lever 7a1 (operation left lever) is for operating the arm cylinder 3b (arm 1b) and the upper swing body 1B (swing hydraulic motor (not shown)), and the operation lever 7a2 (operation right lever) is a boom. It is for operating the cylinder 3a (boom 1a) and the bucket cylinder 3c (bucket 1c).
  • the operating lever 7a3 (running left lever) is for operating the lower traveling body 1e (left traveling hydraulic motor (not shown)), and the operating lever 7a4 (running right lever) is for operating the lower traveling body 1e (right). It is for operating a traveling hydraulic motor (not shown).
  • the driver's cab 7 is supported by a plurality of pillars 16, and a windshield (front window) 13 is embedded between the two pillars 16 on the front side. Further, a two-dimensional marker 7b is attached to the windshield 13 installed in front of the driver's cab 7, and a touch panel type input device 15 is attached to the pillar 16 on the right side when viewed from the driver M seated in the driver's seat 7A. Is installed.
  • the target is based on the vehicle class information of the hydraulic excavator 1, the specification information of the front work machine 1A, the work item information for specifying the target of the calibration work, and the rotation angles of the front members 1a, 1b, 1c.
  • Work procedure information also referred to as target posture information
  • the input device 15 may also serve as a display device.
  • a head-mounted display (hereinafter referred to as HMD) is provided on the head of the driver M who is seated on the driver's seat 7A on the hydraulic excavator 1 and is provided with a transmissive display (half mirror 17G) arranged in front of the driver M. ) 17 is installed.
  • HMD head-mounted display
  • FIG. 3 is a hardware configuration diagram of the HMD 17.
  • the HMD 17 includes a camera 17A as a measuring device that measures the viewpoint position and the line-of-sight direction of the driver M by photographing the two-dimensional marker 7b, and a front working machine 1A that takes a target measuring posture.
  • a display control device 17B that generates a target posture image (also referred to as a support image) that is an image when viewed from the viewpoint position of the driver M in the line-of-sight direction of the driver M, and a target posture image generated by the display control device 17B.
  • a target posture image also referred to as a support image
  • a projector 17E that outputs the image
  • a lens 17F that enlarges / reduces the target attitude image output from the projector 17E
  • a half mirror 17G that is a transmissive display on which the target attitude image that has passed through the lens 17F is projected. While the half mirror 17G functions as a display device for displaying the target posture image, its transparency allows the target posture image to be superimposed on the actual front work machine 1A viewed from the viewpoint position and the line-of-sight direction of the driver M. Has been done.
  • the camera 17A is mounted on the main body of the HMD 17, and the position and the optical axis direction change according to the movement of the driver M's head. Since the half mirror 17G is arranged in front of the pupil of the driver M wearing the HMD 17 and has a structure having both transparency and reflectivity, the driver M has the target posture image projected on the half mirror 17G and the front. The actual scenery (including the actual front working machine 1A) can be visually recognized at the same time.
  • the display control device 17B includes an arithmetic unit 17C (for example, a CPU), a storage device 17D (for example, a semiconductor memory such as a ROM or RAM), a communication interface (I / F) 17H, and an input / output I / F17J. ..
  • the model data of the front working machine 1A which is the basis of the target posture image, is stored in advance for each front member in association with the machine information described later, as well as the internal parameters of the camera 17A and two.
  • the pattern file of the dimension marker 7b is stored.
  • the HMD 17 is connected to the network via the communication I / F17H and can perform data communication with the input device 15.
  • FIG. 4 is a hardware configuration diagram of the input device 15.
  • the input device 15 includes a display (display device) 15A, a touch panel (position input device) 15B attached to the upper surface of the display 15A, and an input control device 15G for controlling the display 15A and the touch panel 15B.
  • the input control device 15G includes an arithmetic unit 15C (for example, a CPU), a storage device 15D (for example, a semiconductor memory such as a ROM or RAM), a communication I / F15H, and an input / output I / F15J. It has.
  • FIG. 5 is a functional block diagram of the calibration work support system according to the embodiment of the present invention.
  • the display control device 17B of the HMD 17 is stored in the storage device 17D by using the information (machine information and work information (see FIG. 7) described later) input to the display 15A (touch panel 15B) of the input device 15 by the driver M.
  • the arithmetic unit 17C By executing the stored program by the arithmetic unit 17C, it functions as each part shown in FIG.
  • FIG. 7 is a diagram showing a machine information input screen (a), a work content input screen (b), and a work procedure input screen (c) displayed on the display 15A of the input device 15.
  • the vehicle class information of the hydraulic excavator 1 and the specification information of each part of the front work machine 1A for example, the boom specifications include a standard boom, a two-piece boom, a high lift boom, etc.
  • a machine information input unit 15a that receives input of "machine information" including the above from the driver M is provided.
  • the vehicle class information and the specification information of each part are configured to be selected by the driver M from the pull-down menu.
  • the work information input unit 15b that receives input of "work information” from the driver M when calibrating the inertial measurement units S1, S2, and S3, respectively. Is provided.
  • the work item information (“work item information”) of the “work information” includes a plurality of front members (boom, arm, attachment) to which the inertial measurement unit is attached. (Bucket)), which front member is the target of the attitude measurement, that is, the target of the calibration work) is input, and the work procedure input screen (c) the work information input unit 15b is filled with "work”.
  • Work procedure information in "Information” is information predetermined as a target measurement posture of the front work machine 1A when calibrating the inertial measurement unit on the front member selected in the work item). Is entered.
  • the information on the work item front member to be measured for posture
  • the information on the work procedure may automatically display a plurality of preset measurement postures in a predetermined order, or the driver M manually inputs the angles of the front members to a plurality of target measurement postures. You may try to take.
  • the machine information and work information input by the driver M from the respective input screens (a), (b), and (c) are transmitted to the HMD 17 via the network.
  • the display control device 17B includes a model selection unit 17a that selects model data of the front work machine 1A corresponding to the target machine from the model data storage unit 17g based on the machine information input by the input device 15.
  • the model coordinate conversion unit 17b that converts the coordinates of the model data based on the machine information and work information input by the input device 15 and the mounting position information of the marker 7b stored in the marker position information storage unit 17j, and the input device.
  • the target measurement posture based on the machine information and work information (the work information includes the target measurement posture) input from 15 and the viewpoint position and line-of-sight direction of the driver M calculated based on the posture of the camera 17A.
  • a camera that calculates the position and orientation of the camera 17A (external parameters of the camera 17A) based on the shape and size of the marker 7b detected by the unit 17e and the internal parameters of the camera 17A stored in the internal parameter storage unit 17i.
  • the attitude estimation unit 17f the model data storage unit 17g that stores model data of a plurality of front working machines 1A according to the vehicle rating and specifications, and the marker that stores information including the shape and size of the marker 7b.
  • Information storage unit 17h internal parameter storage unit 17i that stores internal parameters (for example, focal distance and optical center) of camera 17A, and mounting position information of marker 7b in the driver's cab 7 (for example, root pin of boom 1a). It is provided with a marker position information storage unit 17j in which a position (position based on the position of (boom pin)) is stored.
  • FIG. 6 is a target posture image generation flowchart by the display control device 17B of the HMD 17.
  • the display control device 17B executes the flow of FIG. 6 with the input of the calibration work start instruction from the driver M as a trigger, and projects the target posture image onto the half mirror 17G.
  • the display control device 17B When the display control device 17B inputs a calibration work start instruction from the driver M from the input device 15, the display control device 17B starts the flow of FIG. 6 to acquire machine information (S101) and work information (S102).
  • S101 machine information
  • S102 work information
  • the machine information of S101 the information input by the driver M to the machine information input unit 15a of the input device 15 is input to the input display control device 17B.
  • the machine information includes the vehicle class of the machine to be calibrated (hereinafter referred to as the target machine) and the specifications of each front member (boom 1a, arm 1b, bucket 1c) constituting the front work machine 1A.
  • the work information includes the work item of the calibration work (the front member to which the inertial measurement unit to be calibrated is attached) and the work procedure of the work item (the target measurement posture that the front work machine 1A should take to calibrate the calibration target). Is included.
  • the model selection unit 17a reads out the model data corresponding to the target machine from the model data storage unit 17g based on the machine information acquired in S101.
  • the model data is stored in the model data storage unit 17g in advance in association with the machine information.
  • the model data is stored in units of front members (parts) such as boom 1a, arm 1b, and bucket 1c, and corresponds to various specifications such as standard boom and two-piece boom. That is, the model selection unit 17a reads out the model data corresponding to the input vehicle class and specifications.
  • the model coordinate conversion unit 17b converts the model data of each part read in S103 from the model coordinate system of each part to the front model coordinate system based on the machine information and the work information, and performs the work item and the work.
  • the model data (hereinafter, referred to as front model data) of the entire front working machine 1A having an appropriate target measurement posture defined based on the procedure is generated.
  • FIG. 9 is a diagram showing the relationship between the coordinate system of each part of the front work machine 1A and the front model coordinate system.
  • Front model coordinate system when the longitudinal direction of each portion of the front work device 1A Z-axis (front forward is positive) and left-hand orthogonal coordinate system with the, site model data (x m, y m, z m) target measurement from
  • the conversion of the posture into the front model data (x f , y f , z f ) can be performed by using the following equation (see Equation 1).
  • is the rotation angle of each part associated with the work information acquired by the work information input unit 15b
  • (T x , T y , T z ) represents the translation vector for each part.
  • the translation vector (T x , T y , T z ) is different for each part of the front working machine 1A.
  • Front attachment 1A of the machine to be calibrated work the boom 1a, the arm 1b,
  • the translation vector of the translation vector T S, the bucket 1c of the translation vector T B, the arm 1b of the boom 1a T A are each represented by the following formula (see equation 2).
  • L B is a boom length
  • L S is the arm length
  • theta S represents the arm rotation angle.
  • the model coordinate conversion unit 17b reads out the mounting position information of the marker 7b in the driver's seat 7 (for example, the position based on the position of the root pin (boom pin) of the boom 1a) from the marker position information storage unit 17j in S105. Coordinate conversion from the front model coordinate system to the marker coordinate system with reference to the rotation axis on the base end side of the boom 1a is performed (S106). As a result, the boom 1a root pin position of the actual front work machine 1A and the boom root pin position of the front model data are matched.
  • FIG. 10 is a diagram showing the relationship between the front model coordinate system and the marker coordinate system.
  • the marker coordinate system is a left-hand Cartesian coordinate system in which the center of the marker is the origin and the direction orthogonal to the marker plane is the Z axis (the front of the vehicle body is positive)
  • the marker mounting center position is from the center position of the boom pin of the actual hydraulic excavator 1.
  • the coordinates (x r , y r , z r ) of the front model data after conversion to the marker coordinate system are expressed by the following equations using the distance vector (t x , ty , t z ) up to. It is assumed that the mounting position information of the marker 7b is stored in the marker position information storage unit 17j in advance, and the marker 7b is installed in parallel with the boom root pin.
  • the marker detection unit 17e acquires an image (photographed image) in front of the driver M taken by the camera 17A. Subsequently, the marker detection unit 17e performs image processing such as edge detection on the captured image acquired in S107, reads out information including the shape and size of the marker from the marker information storage unit 17h (S108), and reads the information. Based on this, the marker 7b captured in the captured image is detected (S109).
  • the marker detection unit 17e sets the brightness value of each pixel to 0 or 0 or 0 for the captured RGB image using a threshold value.
  • the threshold processing for converting to 255 the captured image is converted into a binarized image.
  • an edge detection process is performed. A pixel with a large difference in brightness is defined as an edge.
  • edge detection for example, a sobel filter is used to detect horizontal and vertical edges by performing a convolution operation between a binarized image and the kernel of the sobel filter. Further, a linear approximation is performed on the detected edge.
  • the least squares method and Hough transform are used for straight line approximation.
  • straight line approximation the coordinates of the intersection of the approximated straight lines are acquired as the vertices of the marker rectangle.
  • the marker detection unit 17e detects a quadrangular region defined by the four vertices of the marker rectangle acquired from the captured image after image processing (that is, the region in which the marker 7b is captured), and the shape of the quadrangular region and the marker. Pattern matching is performed with the shape (template pattern) of the marker 7b stored in advance as parameter data in the vector format in the information storage unit 17h.
  • the quadrangular region detected in the captured image corresponds to the marker 7b, and the marker 7b appears in the captured image of the camera 17A. Judge that there is.
  • the camera posture estimation unit 17f reads out the internal parameters of the camera 17A in S110, and based on the internal parameters and the shape of the marker 7b detected in S109 (that is, the shape of the marker 7b on the captured image of the camera 17A), the camera 17A
  • the external parameters (posture and position of the camera 17A) are calculated (S111).
  • the posture and position of the camera 17A can be rephrased as the optical axis direction and the mounting position of the camera 17A.
  • the viewpoint position and line-of-sight direction of the driver M can be calculated from the posture and position of the camera 17A.
  • the internal parameters are hardware-specific parameters that do not depend on changes in the position or orientation of the camera 17A, including distortion of the camera 17A, and are stored in advance in the internal parameter storage unit 17i, which is a storage area provided in the storage device 17D. ing.
  • the conversion from the marker coordinate system to the camera coordinate system can be expressed by using an external parameter representing the posture and position of the camera 17A estimated in S111.
  • the conversion from the camera coordinate system to the screen coordinate system can be expressed by using the internal parameters of the camera 17A.
  • the internal parameters include the origin of the screen coordinate system set in the half mirror 17G, the focal length of the camera 17A, the scale factor of the pixels, and the distortion in the radial direction and the circumferential direction of the camera 17A.
  • the conversion from the marker coordinate system to the screen coordinate system can be expressed by a perspective projection matrix by combining the external parameters and the internal parameters of the camera 17A. Since the perspective projection transformation matrix is a 3 ⁇ 4 matrix, the number of unknowns is 12, but the unknowns are constrained by the fact that the constant multiple is negligible and that the vertices of the marker 7b are on the same plane in the marker coordinate system. Is 7 pieces. Therefore, the equation can be solved if there are four combinations of the vertex coordinates of the marker 7b in the camera coordinate system calculated from the captured image of the camera 17A and the vertex coordinates of the marker 7b in the marker coordinate system. That is, the components of the perspective projection matrix can be obtained from the coordinates of the four vertices of the marker 7b in the camera coordinate system detected by the marker detection unit 17e.
  • the perspective projection matrix is a combination of the internal parameters and the external parameters of the camera 17A, and the external parameters of the camera 17A are obtained from the perspective projection matrix obtained from the apex of the marker 7b and the known internal parameters. That is, the position and orientation of the camera 17A can be obtained.
  • the target posture image generation unit 17c uses the perspective projection matrix expressed by using the posture and position of the camera 17A (external parameters of the camera 17A) acquired in S111 and the internal parameters of the camera 17A.
  • the front model data in the marker coordinate system is converted to the screen coordinate system set in the half mirror 17G (perspective projection conversion).
  • the front model data is converted from the three-dimensional marker coordinate system to the two-dimensional screen coordinate system.
  • the image of the front model data converted by perspective projection in this way is the target posture image 24 showing the target measurement posture of the front work machine 1A as seen from the driver M, which is shown on the right side of FIG.
  • the display control unit 17d outputs the target posture image 24 generated by the target posture image generation unit 17c to the projector 17E, whereby the target posture image 24 is projected onto the half mirror 17G (S113).
  • the driver M superimposes the actual front work machine 1A and the target posture image 24 that can be seen through the half mirror 17G.
  • the HDM 17 (half mirror 17G) of the present embodiment functions as a display device configured so that the target posture image 24 can be superimposed on the actual front work machine 1A viewed from the viewpoint position and the line-of-sight direction of the driver M.
  • controller 20 required for the calibration work of the inertial measurement units S1, S2, and S3 will be described. This controller 20 is used every time the target measurement posture is taken by the actual front work machine 1A using the HMD 17.
  • FIG. 11 is a schematic configuration diagram of a system required for calibration work of inertial measurement units S1, S2, and S3.
  • the controller (calibration work control device) 20 that acquires the output signals of the inertial measurement units S1, S2, S3 and controls the calibration work is connected to the front members 1a, 1b, 1c of the front work machine 1A.
  • a pin position measuring device (for example, a total station) 19 for measuring the three-dimensional position coordinates of each of the pins p1 to p6 and the bucket tip p7 (see FIG. 13 described later) is provided.
  • the controller 20 can be mounted on the hydraulic excavator 1 and is connected to the input device 15, the inertial measurement units S1, S2, S2 and the pin position measurement device 19 so as to be capable of data communication.
  • the controller 20 may be configured in the HMD 17 or the input device 15 by installing a program on the display control device of the HMD 17 or the input control device of the input device 15, or a computer independent of the hydraulic excavator 1. It may be configured in.
  • the controller 20 includes an arithmetic unit, a storage device, a communication I / F, and an input / output I / F (none of which are shown), and is a storage device.
  • the controller 20 functions as a measurement instruction receiving unit 20a, a measurement instruction transmitting unit 20b, a measured value acquisition unit 20c, an output signal acquisition unit 20d, and a mounting angle calculation unit 20e, and a configuration information storage unit 20f is stored in a storage area in the storage device. Is secured. A flowchart of processing executed by the controller 20 will be described with reference to FIG. 12 together with a description of each part of the controller 20.
  • FIG. 12 is a flowchart of a calibration work process executed by the controller 20.
  • the driver M touches the calibration work start button on the display 15A after setting the posture of the front work machine 1A to the target measurement posture based on the target posture image 24 displayed on the HMD 17, a measurement instruction signal is output and the controller 20 outputs the measurement instruction signal.
  • the flowchart shown in FIG. 12 is started.
  • the measurement instruction receiving unit 20a of the controller 20 connected to the input device 15 via the electric harness or the like acquires the measurement instruction signal output from the input device 15 (S114).
  • the measurement instruction transmitting unit 20b of the controller 20 triggers the acquisition of the measurement instruction from the input device 15 to send a measurement instruction signal to the pin position measuring device 20 connected to the controller 20 wirelessly.
  • the pin position measuring device 19 is a device capable of measuring an angle and a distance with high accuracy, such as a total station, and the case where the pin position measuring device 19 is a total station will be described below.
  • measurement markers are previously installed on the axial end faces of the pins p1 to p6 and the bucket toe p7 that connect the front members 1a, 1b, and 1c of the front working machine 1A.
  • the total station (pin position measuring device 19) that receives the measurement instruction signal from the controller 20 measures the distance and the angle to each marker. When the measurement is completed, the total station (pin position measuring device 19) transmits the measured value (distance and angle to each marker) to the controller 20, whereby the controller 20 acquires the measured value of the total station (S116). Since the configuration and operation of the total station are known, the description is omitted here.
  • the output signal acquisition unit 20d of the controller 20 acquires the output signals of the inertial measurement units S1 to S3.
  • the mounting angle calculation unit 20e of the controller 20 performs front work based on the measured value of the total station (pin position measuring device 19) acquired in S116 and the output signals of the inertial measurement units S1 to S3 acquired in S117.
  • the mounting angles of the inertial measurement units S1 to S3 for each front member of the machine 1A are calculated (S118), and the mounting angles are recorded in the calibration information storage unit 20f as calibration information (S119).
  • the driver M includes machine information (including vehicle rating information and specification information) and work information (work item information and work procedure information (target measurement posture)) in the input device 15.
  • the display control device 17B generates an image (target posture image 24) when the front work machine 1A in the target measurement posture is viewed from the viewpoint position and the line-of-sight direction of the driver M, and the target posture is generated.
  • the image 24 is projected onto the half mirror 17G of the HMD 17. Since the half mirror 17G of the HMD 17 is transparent, the target posture image 24 is superimposed on the actual front working machine 1A viewed from the viewpoint position and the line-of-sight direction of the driver M at that time (see FIG. 8).
  • the target posture image 24 is also the appearance of the front work machine 1A as seen from the viewpoint position and the line-of-sight direction of the driver M. Therefore, the driver M simply operates the operation levers 7a1 and 7a1 so that the actual front members overlap each front member in the target posture image on the half mirror 17G to operate the actual front work machine 1A.
  • the front work machine 1A can take the target measurement posture required for the calibration work while staying in the driver's cab 7.
  • the front work machine 1A can be operated in the correct target measurement posture while staying in the driver's cab 7. As a result, the procedure of visually checking from the outside of the driver's cab 7 becomes unnecessary, and the workability of the entire calibration work is improved.
  • the HMD 17 mounted on the driver's head is used as a display device, and the camera 17A of the HMD 17 detects the marker 7b on the windshield 16 to estimate the head posture of the driver M.
  • An example of controlling the display of the target posture image 24 on the half mirror 17G is shown.
  • a general display device for example, an LCD display or an organic EL display
  • an optical system such as a lens or a half mirror
  • a display device 18 fixed to the right pillar 13 in the driver's cab 7 can be used.
  • the display control device 17B is housed in the housing of the display device 18.
  • FIG. 15 is a diagram showing the front surface (left in the figure) and the back surface (right in the figure) of the display device 18.
  • a camera 18A is provided on the back surface of the display device 18, and the camera 18A photographs the front of the driver's cab 7 including the front working machine 1A.
  • the target posture image 26 is generated based on the machine information and the work information acquired by the input device 9, as in the above embodiment.
  • the captured image 25 in front of the driver's cab taken by the camera 18A and the front work in which the target measurement posture is taken from the mounting position of the camera 18A toward the optical axis of the camera 18A.
  • target posture image 26 when the model data of the machine 1A is viewed is displayed, and the target posture image 26 is superimposed and displayed on the actual front working machine 1A on the captured image 25.
  • the other parts are the same as those in the previous embodiment, and the description thereof will be omitted.
  • the reference position and direction when the display control device 17B generates the target posture image 26 is the mounting position and the light of the camera 18A mounted on the hydraulic excavator 1 (pillar 13). It is in the axial direction.
  • the display control device 17B takes a target measurement posture based on the machine information input from the input device 15, target posture information (work information), the mounting position of the camera 18A, and the optical axis direction. Is generated as an image (target posture image) 26 when viewed with the camera 18A.
  • the display device 18 is a display arranged in front of the driver M seated in the driver's cab in the driver's cab 7, and superimposes and displays the actual front work machine 1A taken by the camera 18A and the target posture image 26. ..
  • the target posture image 26 is given to the driver so as to overlap with the actual front position regardless of the vehicle class and specifications of the machine to be calibrated, as in the previous embodiment. Can be presented. Therefore, the driver can easily grasp the difference between the target posture image 26 and the current posture of the front work machine 1A while staying in the driver's cab 7. That is, regardless of the skill level of the driver, the front work machine 1A can be operated in the correct measurement posture even while in the driver's cab 7. As a result, the procedure of visually checking from the outside of the driver's cab becomes unnecessary, and workability is improved.
  • the present invention is not limited to the above-described embodiment, and includes various modifications within a range that does not deviate from the gist thereof.
  • the present invention is not limited to the one including all the configurations described in the above-described embodiment, and includes the one in which a part of the configurations is deleted.
  • a part of the configuration according to one embodiment can be added or replaced with the configuration according to another embodiment.
  • the viewpoint position and the line-of-sight direction of the driver M and the mounting position and the optical axis direction of the camera 18A are used as references, but the actual front work machine 1A
  • the target posture image may be generated with reference to the desired viewpoint position and line-of-sight direction as long as the target posture image can be superimposed on the common viewpoint position and line-of-sight direction.
  • each configuration related to the control device for example, display control device 17B, input control device 15G, controller 20 included in the above embodiment, and the functions and execution processing of each configuration include a part or all of them. It may be realized by hardware (for example, the logic for executing each function is designed by an integrated circuit). Further, the configuration related to the above control device may be a program (software) in which each function related to the configuration of the control device is realized by reading and executing by an arithmetic unit (for example, a CPU). Information related to the program can be stored in, for example, a semiconductor memory (flash memory, SSD, etc.), a magnetic storage device (hard disk drive, etc.), a recording medium (magnetic disk, optical disk, etc.), or the like.
  • control lines and information lines are understood to be necessary for the description of the embodiment, but all the control lines and information lines related to the product are not necessarily included. Does not always indicate. In reality, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

油圧ショベルの車格情報とフロント作業機の仕様情報とを含む機械情報を入力するための入力装置と、入力装置から入力された機械情報と、慣性計測装置を較正する際のフロント作業機の目標計測姿勢として予め定められた目標姿勢情報とに基づいて、目標計測姿勢をとったフロント作業機を運転者Mの視点位置及び視線方向で見た場合の画像である目標姿勢画像を生成する表示制御装置と、表示制御装置で生成された目標姿勢画像を表示するHMDとを備え、HMDは、運転者Mの視点位置及び視線方向で見た現実のフロント作業機に目標姿勢画像が重畳するように表示している。

Description

較正作業支援システム
 本発明は、作業機械が備える作業装置に取り付けられた慣性計測装置の較正作業を支援する較正作業支援システムに関する。
 油圧ショベルは、代表的な作業機械であり、作業装置として多関節型のフロント作業機を備えている。このフロント作業機の姿勢を運転者に提示し、油圧ショベルによる掘削作業を支援する表示システムとして、マシンガイダンスがある。正確なマシンガイダンスの実現にはフロント作業機の姿勢を正確に検出する必要がある。
 フロント作業機の姿勢検出に関する技術として、特許文献1には、油圧シリンダのストローク長を計測するストロークセンサと、ストロークセンサによるストローク長の計測値をリセットするリセット基準点を計測するリセットセンサと、油圧シリンダのストロークエンド位置を検出するストロークエンド検出処理部と、リセット基準点および/またはストロークエンド位置を検出した場合に、ストローク長の計測値を校正(較正)する校正処理部と、油圧シリンダの初期校正作業を行う場合、油圧シリンダが搭載される作業機械全体の表示を行うモニタと、校正対象の油圧シリンダを駆動させるための可動部を強調表示するとともに駆動方向を表示する強調表示処理部と、を備えた油圧シリンダのストローク初期校正作業支援装置が開示されている。
国際公開2014/167731号公報
 近年、マシンガイダンスにおけるフロント作業機の姿勢計測手段として、IMU(Inertial Measurement Unit)が利用されている。IMUとはジャイロセンサと加速度センサから成る慣性計測装置であり、その2種類のセンサを組み合わせることで高精度かつ高応答な姿勢計測を実現している。IMUは油圧ショベルの車体およびフロント作業機の各部位(ブーム、アーム、バケットなど)の表面に設置され、IMUの取付け位置および取付け角度を事前に較正することでフロント作業機の姿勢を計測している。すなわち、較正作業が未実施である場合には、運転者にフロント作業機の姿勢情報を提示することはできない。
 ここで、IMUの較正作業とは、フロント作業機の各部位に取り付けられたIMUが計測する計測値と、実際のフロント作業機の姿勢とをマッチングさせる作業である。具体的には、フロント作業機をある姿勢(目標計測姿勢)で停止させ、その時のIMUの計測値と、各部位の回動部(ブームピン、アームピン、バケットリンクピンなど)の位置座標をトータルステーションなどの高精度な測量機器で計測し、その2つの計測値をマシンガイダンスコントローラに学習させるというものである。このとき、較正作業の精度を向上させるため、複数の姿勢で計測値の学習を実施する。また、量産機毎の精度のバラつきを抑えるため、較正作業における計測姿勢および計測回数は、作業手順書等で定められる。
 しかし、機体の車格や仕様が多岐にわたるため、運転室内でフロント作業機を操作する運転者が特定の姿勢にフロント作業機を動かすことは困難である。運転者の視点(運転室から見たフロント作業機の様子)からフロント作業機の姿勢を把握することが難しいということは、マシンガイダンスにおいて、フロント作業機の姿勢情報を様々な視点を用いて提示していることからも明らかである。そのため、従来は、運転室の外からフロント作業機の姿勢を直接目視して、正しい姿勢であるかどうかを確認している。よって、較正作業には直接関係のない、運転室の外から姿勢を確認するという余分な作業が発生しているため、作業性が低下してしまっている。
 上記の特許文献1では、シリンダ内蔵型のストロークセンサの較正作業に関わる操作支援情報を提示している。具体的には、動作させる部位(可動部)とその方向(駆動方向)を提示し、シリンダのストロークエンドに設置される検出装置でストロークの動作を検出し、較正作業の完了を報知するものである。ストロークセンサを使用する場合には、特許文献1の発明を使用することで、熟練者でなくても較正作業を効率的に実施することが可能になる。
 しかしながら、フロント作業機の姿勢計測手段としてIMUを用いる場合、同姿勢計測手段としてストロークセンサを用いる特許文献1の技術を使用することはできない。なぜなら、特許文献1のストロークセンサはシリンダに内蔵されるため、予めセンサの取付け姿勢が決まっているが、IMUは取付け姿勢が不明であり、較正作業内で取付け姿勢を較正する必要がある。そのため、特許文献1のように、シリンダのストロークエンドを検知して較正作業の完了を判断することができない。また、IMUの較正作業では、いくつかの計測姿勢をとる必要があり、特許文献1の支援情報(可動部とその駆動方向)では、フロント作業機が正しい計測姿勢にあるかどうかを運転者は判断することができない。
 本発明の目的は、IMUの較正作業中の作業装置の姿勢が目標計測姿勢と一致しているか否かを、運転室内で操作する運転者が容易に判断できる較正作業支援システムを提供することにある。
 本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、作業機械が備える作業装置に取り付けられた慣性計測装置の較正作業を支援する較正作業支援システムであって、前記作業機械の車格情報と前記作業装置の仕様情報とを含む機械情報を入力するための入力装置と、前記入力装置から入力された前記機械情報と、前記慣性計測装置を較正する際の前記作業装置の目標計測姿勢として予め定められた目標姿勢情報とに基づいて、前記目標計測姿勢をとった前記作業装置を所定の視点位置から所定の視線方向で見た場合の画像である目標姿勢画像を生成する制御装置と、前記制御装置で生成された前記目標姿勢画像を表示する表示装置とを備え、前記表示装置は、前記所定の視点位置から前記所定の視線方向で見た現実の前記作業装置に前記目標姿勢画像を重畳可能に構成されているものとする。
 本発明によれば、IMUの較正作業中の目視による姿勢確認作業が省略されるので、較正作業の効率を向上できる。
本発明の実施形態に係る油圧ショベルの構成図。 本発明の実施形態に係る運転室7内の概観図。 本発明の実施形態に係るヘッドマウントディスプレイのハードウェア構成図。 本発明の実施形態に係る入力装置のハードウェア構成図。 本発明の実施形態に係る較正作業支援システムの機能ブロック図。 ヘッドマウントディスプレイの表示制御装置による目標姿勢画像生成フローチャート。 本発明の実施形態に係る入力装置の入力画面のレイアウト構成図。 本発明の実施形態に係る較正作業支援システムが運転者に提示する支援画像の一例を示す図。 本発明の実施形態に係るフロント部材のモデル座標系とフロント作業機のフロント座標系の関係を示す図。 本発明の実施形態に係るブーム根元ピン位置とマーカ位置の位置関係を示す図。 本発明の実施形態に係る慣性計測装置S1,S2,S3の較正作業に必要なシステムの概略構成図。 本発明の実施形態に係るコントローラが実行する較正作業処理のフローチャート。 本発明の実施形態に係るフロント作業機の各フロント部材に取り付けられたマーカの位置を示す図。 本発明の実施形態の変形例に係る表示装置の取り付け位置を示す図。 本発明の実施形態の変形例に係る較正作業支援システムが運転者に提示する支援画像の一例を示す図。
 以下、本発明の実施の形態について図面を用いて説明する。 
 なお,以下では,作業機械として,作業装置の先端の作業具(アタッチメント)としてバケットを備える油圧ショベルを例示するが,バケット以外のアタッチメントを備える作業機械に本発明を適用してもよい。また,姿勢検出にIMUが利用可能な作業装置を備える作業機械であれば,油圧ショベル以外の作業機械への適用も可能である。
 (全体構成)
 図1は本発明の実施の形態に係る油圧ショベルの側面図である。なお、図中の左を前、右を後ろ、紙面の手前から奥に向かう方向を右、同奥から手前に向かう方向を左と称することがある。この図に示すように、油圧ショベル(作業機械)1は、下部走行体1eと、この下部走行体1eの上側に旋回可能に取り付けられた上部旋回体1Bと、を備えている。
 上部旋回体1Bは、ベースとなる旋回フレーム10と、この旋回フレーム10の前方左側に配置される運転室7と、旋回フレーム10の前方中央に上下方向に回動可能に取り付けられるフロント作業機(作業装置)1Aと、旋回フレーム10の後方に配置されるカウンタウェイト6と、フロント作業機1Aとカウンタウェイト6との間に設置されるエンジンルーム1dと、を備えている。
 フロント作業機(作業装置)1Aは,垂直方向にそれぞれ回動する複数のフロント部材(ブーム1a,アーム1b及びバケット1c)を連結して構成されている。ブーム1aの基端は上部旋回体1Bの前部においてブームピンを介して回動可能に支持されている。ブーム1aの先端にはアームピンを介してアーム1bの基端が回動可能に連結されており,アーム1bの先端にはバケットピンを介してバケット1cの基端が回動可能に連結されている。ブーム1aはブームシリンダ3aによって駆動され,アーム1bはアームシリンダ3bによって駆動され,バケット1cはバケットシリンダ3cによって駆動される。
 このフロント作業機1Aは、運転室7に搭乗した運転者Mによって操作される。カウンタウェイト6は、フロント作業機1Aとの重量バランスを取るためのもので、例えば略円弧状の水平断面を有する重量物で形成できる。
 また、フロント作業機1Aの各フロント部材(ブーム1a、アーム1b、バケット1c)の側面には、それぞれの姿勢を計測するための姿勢計測装置としての慣性計測装置(IMU)S1~S3が取り付けられている。
 図2は運転室7内の概観図である。なお、先の図と同じ部分には同じ符号を付し、同じ部分の説明は省略することがある(後の図においても同様とする)。図2に示すように、運転室7には、運転者Mが着座する運転席7Aと、各油圧アクチュエータ3a~3cの動作を含む車体の動作を指示する操作装置としての4本の操作レバー7a1~7a4と、が設けられている。
 操作レバー7a1(操作左レバー)はアームシリンダ3b(アーム1b)及び上部旋回体1B(旋回油圧モータ(図示せず))を操作するためのものであり,操作レバー7a2(操作右レバー)はブームシリンダ3a(ブーム1a)及びバケットシリンダ3c(バケット1c)を操作するためのものである。また,操作レバー7a3(走行左レバー)は下部走行体1e(左走行油圧モータ(図示せず))を操作するためのものであり,操作レバー7a4(走行右レバー)は下部走行体1e(右走行油圧モータ(図示せず))を操作するためのものである。
 運転室7は複数のピラー16で支持されており、フロント側の2本のピラー16の間にフロントガラス(前窓)13が埋め込まれている。また、運転室7の前方に設置されたフロントガラス13には二次元マーカ7bが取り付けられており、運転席7Aに着座した運転者Mから見て右側のピラー16にはタッチパネル式の入力装置15が取り付けられている。入力装置15では、油圧ショベル1の車格情報と、フロント作業機1Aの仕様情報と、較正作業の対象を特定するための作業項目情報と、各フロント部材1a,1b,1cの回転角により目標計測姿勢を特定するための作業手順情報(目標姿勢情報とも称する)とを入力することができる。なお、入力装置15は表示装置を兼ねても良い。
 油圧ショベル1に搭乗して運転席7Aに着座した運転者Mの頭部には,運転者Mの前方に配置される透過型ディスプレイ(ハーフミラー17G)を備える表示装置としてヘッドマウントディスプレイ(以下HMD)17が装着される。
 図3はHMD17のハードウェア構成図である。図3に示すように、HMD17は、二次元マーカ7bを撮影することで運転者Mの視点位置及び視線方向を計測する計測装置としてのカメラ17Aと、目標計測姿勢をとったフロント作業機1Aを運転者Mの視点位置から運転者Mの視線方向で見た場合の画像である目標姿勢画像(支援画像とも称する)を生成する表示制御装置17Bと、表示制御装置17Bで生成された目標姿勢画像を出力するプロジェクタ17Eと、プロジェクタ17Eから出力される目標姿勢画像を拡大縮小するレンズ17Fと、レンズ17Fを通過した目標姿勢画像が投影される透過型ディスプレイであるハーフミラー17Gとを備えている。ハーフミラー17Gは、目標姿勢画像を表示する表示装置として機能する一方で、その透過性により運転者Mの視点位置及び視線方向で見た現実のフロント作業機1Aに目標姿勢画像を重畳可能に構成されている。
 カメラ17AはHMD17の本体に搭載されており、運転者Mの頭部の動きに合わせて位置及び光軸方向が変化する。ハーフミラー17GはHMD17を装着した運転者Mの瞳の前方に配置され透過性と反射性を併せ持つ構造となっているため、運転者Mはハーフミラー17G上に投影された目標姿勢画像と前方の現実の景色(現実のフロント作業機1Aも含む)を同時に視認することができる。表示制御装置17Bは、演算装置17C(例えばCPU)と、記憶装置17D(例えばROM,RAM等の半導体メモリ)と、通信インターフェース(I/F)17Hと、入出力I/F17Jとを備えている。記憶装置17Dには、予め目標姿勢画像の基となるフロント作業機1Aのモデルデータが、フロント部材毎に、後述する機械情報と対応付けて記憶されているほか、カメラ17Aの内部パラメータや、二次元マーカ7bのパターンファイルが記憶されている。また、HMD17は通信I/F17Hを介してネットワークに接続され、入力装置15とデータ通信を行うことができる。
 図4は入力装置15のハードウェア構成図である。この図に示すように入力装置15は、ディスプレイ(表示装置)15Aと、ディスプレイ15Aの上面に貼り付けられたタッチパネル(位置入力装置)15Bと、ディスプレイ15A及びタッチパネル15Bを制御する入力制御装置15Gを備えている。入力制御装置15Gは、表示制御装置17Bと同様に、演算装置15C(例えばCPU)と、記憶装置15D(例えばROM,RAM等の半導体メモリ)と、通信I/F15Hと、入出力I/F15Jとを備えている。
 図5は本発明の実施の形態に係る較正作業支援システムの機能ブロック図である。HMD17の表示制御装置17Bは、運転者Mによって入力装置15のディスプレイ15A(タッチパネル15B)に入力される情報(後述する機械情報と作業情報(図7参照))を利用して、記憶装置17Dに記憶されたプログラムを演算装置17Cによって実行することにより図5に示した各部として機能する。
 図7は、入力装置15のディスプレイ15Aに表示される機械情報入力画面(a)と、作業内容入力画面(b)と、作業手順入力画面(c)を示す図である。
 機械情報入力画面(a)には、油圧ショベル1の車格情報と、フロント作業機1Aの各部の仕様情報(例えば,ブームの仕様としては,標準ブーム,ツーピースブーム,ハイリフトブーム等がある)とを含む「機械情報」の入力を運転者Mから受け付ける機械情報入力部15aが設けられている。図7の例では、車格情報と各部の仕様情報は、プルダウンメニューから運転者Mが選択するように構成されている。
 作業内容入力画面(b)と作業手順入力画面(c)には、それぞれ、慣性計測装置S1,S2,S3を較正する際の「作業情報」の入力を運転者Mから受け付ける作業情報入力部15bが設けられている。作業内容入力画面(b)の作業情報入力部15bには「作業情報」のうち作業項目の情報(“作業項目情報”は、慣性計測装置が取り付けられた複数のフロント部材(ブーム,アーム,アタッチメント(バケット))のうちどのフロント部材を姿勢計測の対象、すなわち較正作業の対象とするかを規定する情報である)が入力され、作業手順入力画面(c)作業情報入力部15bには「作業情報」のうち作業手順の情報(“作業手順情報”は、作業項目で選択したフロント部材上の慣性計測装置を較正する際にフロント作業機1Aの目標計測姿勢として予め定められた情報である)が入力される。図7の例では、作業項目の情報(姿勢計測の対象となるフロント部材)は、プルダウンメニューから運転者Mが選択するように構成されている。作業手順の情報は、予め設定された複数の計測姿勢を予め定められた順番に自動的に表示しても良いし、運転者Mが各フロント部材の角度を手動入力して複数の目標計測姿勢をとるようにしても良い。
 運転者Mによってそれぞれの入力画面(a),(b),(c)から入力された機械情報と作業情報は、ネットワークを経由してHMD17へと送信される。
 図5において、表示制御装置17Bは、入力装置15で入力される機械情報に基づいてその対象機械に対応するフロント作業機1Aのモデルデータをモデルデータ記憶部17gから選択するモデル選択部17aと、入力装置15で入力される機械情報及び作業情報、並びに、マーカ位置情報記憶部17jに記憶されたマーカ7bの取付位置情報に基づいてモデルデータの座標を変換するモデル座標変換部17bと、入力装置15から入力された機械情報及び作業情報(作業情報には目標計測姿勢を含まれる)と、カメラ17Aの姿勢に基づいて算出される運転者Mの視点位置及び視線方向とに基づいて目標計測姿勢をとっているフロント作業機1Aを運転者Mから見た場合の画像(目標姿勢画像)を生成する目標姿勢画像生成部17cと、目標姿勢画像生成部17cで生成された目標姿勢画像をハーフミラー17Gに投影する表示制御部17dと、マーカ情報記憶部17hから読み出したマーカ7bの形状や大きさを含む情報に基づいてカメラ17Aの撮影画像からマーカ7bを検出するマーカ検出部17eと、マーカ検出部17eが検出したマーカ7bの形状や大きさ、並びに、内部パラメータ記憶部17iに記憶されているカメラ17Aの内部パラメータに基づいてカメラ17Aの位置と姿勢(カメラ17Aの外部パラメータ)を算出するカメラ姿勢推定部17fと、車格や仕様に合わせた複数のフロント作業機1Aのモデルデータが記憶されているモデルデータ記憶部17gと、マーカ7bの形状や大きさを含む情報が記憶されているマーカ情報記憶部17hと、カメラ17Aの内部パラメータ(例えば焦点距離や光学的中心)が記憶されている内部パラメータ記憶部17iと、運転室7内におけるマーカ7bの取り付け位置情報(例えばブーム1aの根元ピン(ブームピン)の位置を基準とした位置)が記憶されたマーカ位置情報記憶部17jとを備えている。
 (HMD17の表示制御装置17Bによる目標姿勢画像生成フローチャート)
 HMD17の表示制御装置17Bによる目標姿勢画像を生成する方法について図6を参照しながら説明する。図6はHMD17の表示制御装置17Bによる目標姿勢画像生成フローチャートである。表示制御装置17Bは、運転者Mからの較正作業の開始指示の入力をトリガーとして図6のフローを実行して目標姿勢画像をハーフミラー17Gに投影する。
 表示制御装置17Bは、運転者Mからの較正作業の開始指示を入力装置15から入力すると図6のフローを開始して、機械情報の取得(S101)と作業情報の取得(S102)を行う。S101の機械情報としては、運転者Mが入力装置15の機械情報入力部15aに入力した情報が入力表示制御装置17Bに入力される。機械情報には、較正作業の対象となる機械(以下対象機械)の車格と、フロント作業機1Aを構成する各フロント部材(ブーム1a、アーム1b、バケット1c)の仕様が含まれる。S102の作業情報としては、機械情報と同様に運転者Mが入力装置15の作業情報入力部15bに入力した情報が表示制御装置17Bに入力される。作業情報には較正作業の作業項目(較正対象の慣性計測装置が取り付けられたフロント部材)と、その作業項目の作業手順(較正対象を較正するためにフロント作業機1Aが取るべき目標計測姿勢)が含まれる。
 S103では、モデル選択部17aは、S101で取得した機械情報を基に、対象機械に対応するモデルデータをモデルデータ記憶部17gから読み出す。前述の通り、モデルデータは、予め機械情報と対応づけられてモデルデータ記憶部17gに記憶されている。モデルデータは、ブーム1a、アーム1b、バケット1cなど、フロント部材(部位)単位で記憶され、標準ブーム、ツーピースブームなど、様々な仕様に対応している。すなわちモデル選択部17aは、入力された車格、仕様に対応するモデルデータを読み出す。
 (モデル座標系からフロントモデル座標系への変換)
 S104では、モデル座標変換部17bは、機械情報と作業情報を基に、S103で読み出した各部位のモデルデータを各部位のモデル座標系からフロントモデル座標系へ座標変換を行い、作業項目及び作業手順に基づいて規定される適切な目標計測姿勢をとったフロント作業機1A全体のモデルデータ(以下、フロントモデルデータと称する)を生成する。
 S104のフロントモデル座標系への変換手法の詳細について図9を参照しながら説明する。図9はフロント作業機1Aの各部の座標系とフロントモデル座標系との関係を示す図である。フロントモデル座標系を、フロント作業機1Aの各部位の長手方向をZ軸(フロント前方が正)とする左手直交座標系とすると、部位モデルデータ(x,y,z)から目標計測姿勢のフロントモデルデータ(x,y,z)への変換は次式(数1参照)を用いて行うことができる。なお、θは、作業情報入力部15bが取得する作業情報に対応づけられる各部位の回転角度であり、(T,T,T)は、各部位毎の並進ベクトルを表す。
Figure JPOXMLDOC01-appb-M000001
 前述の通り、並進ベクトル(T,T,T)は、フロント作業機1Aの部位毎に異なる。較正作業の対象となる機械のフロント作業機1Aが、ブーム1a、アーム1b、バケット1cで構成されるとすると、ブーム1aの並進ベクトルT、アーム1bの並進ベクトルT、バケット1cの並進ベクトルTはそれぞれ次式(数2参照)で表される。ここで、Lはブーム長、Lはアーム長、Lはバケット長、θはブーム回転角度、θはアーム回転角度を表す。
Figure JPOXMLDOC01-appb-M000002
 (フロントモデル座標系からマーカ座標系への変換)
 さらに、モデル座標変換部17bは、S105においてマーカ位置情報記憶部17jから運転席7内のマーカ7bの取付位置情報(例えばブーム1aの根元ピン(ブームピン)の位置を基準とした位置)を読み出し、ブーム1aの基端側の回転軸を基準としたフロントモデル座標系からマーカ座標系への座標変換を行う(S106)。これにより実際のフロント作業機1Aのブーム1a根元ピン位置と、フロントモデルデータのブーム根元ピン位置を合致させる。
 S106のマーカ座標系への変換の詳細について図10を参照しながら説明する。図10はフロントモデル座標系とマーカ座標系との関係を示す図である。マーカ座標系を、マーカ中心を原点とし、マーカ平面と直交する方向をZ軸(車体前方が正)とする左手直交座標系とすると、実際の油圧ショベル1のブームピンの中心位置からマーカ取付中心位置までの距離ベクトル(t,t,t)を用いて、マーカ座標系への変換後のフロントモデルデータの座標(x,y,z)は次式で表される。なお、マーカ7bの取付位置情報は予めマーカ位置情報記憶部17jに記憶されており、マーカ7bはブーム根元ピンと平行に設置されているものとする。
Figure JPOXMLDOC01-appb-M000003
 (マーカの検出)
 S107では、マーカ検出部17eはカメラ17Aが撮影した運転者Mの前方の画像(撮影画像)を取得する。続いてマーカ検出部17eは、S107で取得した撮影画像に対してエッジ検出等の画像処理を行い、マーカ情報記憶部17hからマーカの形状や大きさを含む情報を読み出し(S108)、その情報を基に撮影画像内に写ったマーカ7bを検出する(S109)。
 具体的には,マーカ検出部17eは,カメラ17Aが撮影する撮影画像からマーカ7bを検出するための前処理として、撮影したRGB画像に対して、閾値を用いて各画素の明度値を0または255に変換する閾値処理を行うことで、撮影画像を二値化画像へと変換する。次に、マーカ7bの輪郭を検出するために、エッジ検出処理を行う。明度差が大きな画素をエッジとする。エッジ検出は、例えば、ソーベルフィルタを用いて、二値化画像とソーベルフィルタのカーネルの畳み込み演算を行うことで水平方向と垂直方向のエッジを検出する。さらに、検出したエッジに対して直線近似を行う。直線近似には最小二乗法やハフ変換を用いる。直線近似によって、近似した直線の交点座標をマーカ矩形の頂点として取得する。さらに、マーカ検出部17eは,画像処理後の撮影画像から取得したマーカ矩形の4つの頂点で規定される四角形領域(すなわちマーカ7bが写った領域)を検出し,その四角形領域の形状と、マーカ情報記憶部17hにベクトル形式のパラメータデータとして予め記憶されたマーカ7bの形状(テンプレートパターン)とをパターンマッチングする。そして,マーカ検出部17eは,両者のマッチング率が所定のしきい値を超えた場合,撮影画像内で検出された四角形領域がマーカ7bに該当し,カメラ17Aの撮影画像にマーカ7bが写っていると判定する。
 (マーカ座標系におけるカメラ17Aの位置・姿勢の推定)
 カメラ姿勢推定部17fは、S110でカメラ17Aの内部パラメータを読み出し、その内部パラメータとS109で検出したマーカ7bの形状(すなわちカメラ17Aの撮影画像上のマーカ7bの形状)とに基づいてカメラ17Aの外部パラメータ(カメラ17Aの姿勢と位置)を算出する(S111)。カメラ17Aの姿勢と位置は、カメラ17Aの光軸方向と取り付け位置と換言できる。カメラ17Aの姿勢と位置からは運転者Mの視点位置と視線方向が演算できる。内部パラメータは、カメラ17Aの歪みを含むカメラ17Aの位置や姿勢の変化に依存しないハードウェア固有のパラメータであり、記憶装置17D内に設けられた記憶領域である内部パラメータ記憶部17iに予め記憶されている。
 ここでS111のカメラ17Aの姿勢と位置の推定の詳細について説明する。なお、カメラ17Aの姿勢と位置の推定手法についても、一般に公知であるため、詳細は割愛し手順のみを記述する。
 まず、マーカ座標系からカメラ座標系への変換は、S111で推定するカメラ17Aの姿勢と位置を表す外部パラメータを用いて表現できる。一方、カメラ座標系から画面座標系への変換はカメラ17Aの内部パラメータを用いて表すことができる。ここで、内部パラメータは、ハーフミラー17Gに設定された画面座標系の原点、カメラ17Aの焦点距離、ピクセルのスケールファクタ、カメラ17Aの半径方向および円周方向の歪みを含んでいる。
 したがって、マーカ座標系から画面座標系への変換は、カメラ17Aの外部パラメータと内部パラメータを合わせて透視投影行列で表現できる。透視投影変換行列は3×4の行列であるため、未知数は12個となるが、定数倍が無視できること、マーカ7bの頂点がマーカ座標系での同一平面上にあることを拘束条件として、未知数は7個となる。したがって、カメラ17Aの撮影画像から算出されるカメラ座標系におけるマーカ7bの頂点座標と、マーカ座標系におけるマーカ7bの頂点座標との組み合わせが4組あれば方程式を解くことができる。すなわち、マーカ検出部17eが検出するカメラ座標系におけるマーカ7bの4つの頂点座標から透視投影行列の成分を求めることができる。
 前述の通り、透視投影行列は、カメラ17Aの内部パラメータと外部パラメータが合わさったものであり、マーカ7bの頂点から求めた透視投影行列と、既知である内部パラメータとから、カメラ17Aの外部パラメータ、すなわちカメラ17Aの位置・姿勢を求めることができる。
 (マーカ座標系から画面座標系への変換と目標姿勢画像の生成)
 S112では、目標姿勢画像生成部17cは、S111で取得したカメラ17Aの姿勢と位置(カメラ17Aの外部パラメータ)と、カメラ17Aの内部パラメータとを用いて表現される透視投影行列を利用して、マーカ座標系におけるフロントモデルデータをハーフミラー17Gに設定された画面座標系へ変換する(透視投影変換)。この透視投影変換により、フロントモデルデータは、三次元のマーカ座標系から二次元の画面座標系へと変換される。このように透視投影変換されたフロントモデルデータの画像が、図8の右側に示した、運転者Mから見たフロント作業機1Aの目標計測姿勢を表す目標姿勢画像24である。表示制御部17dは、目標姿勢画像生成部17cで生成された目標姿勢画像24をプロジェクタ17Eへと出力し、これにより目標姿勢画像24がハーフミラー17Gに投影される(S113)。図8の左側には運転者Mがハーフミラー17Gを介して見える現実のフロント作業機1Aと目標姿勢画像24を重畳されている様子を示している。すなわち、本実施形態のHDM17(ハーフミラー17G)は、運転者Mの視点位置及び視線方向で見た現実のフロント作業機1Aに目標姿勢画像24を重畳可能に構成された表示装置として機能する。
 (較正作業)
 次に慣性計測装置S1,S2,S3の較正作業に必要なコントローラ(較正作業制御装置)20について説明する。このコントローラ20はHMD17を利用して実際のフロント作業機1Aで目標計測姿勢をとる毎に利用される。
 図11は慣性計測装置S1,S2,S3の較正作業に必要なシステムの概略構成図である。この図に示すシステムは、慣性計測装置S1,S2,S3の出力信号を取得し、較正作業を司るコントローラ(較正作業制御装置)20と、フロント作業機1Aのフロント部材1a,1b,1cを連結する各ピンp1~p6及びバケット爪先p7(後述する図13参照)の三次元位置座標を計測するピン位置計測装置(例えばトータルステーション)19を備えている。コントローラ20は、油圧ショベル1に搭載することができ、入力装置15、慣性計測装置S1,S2,S2及びピン位置計測装置19とデータ通信可能に接続されている。なお、コントローラ20は、HMD17の表示制御装置や入力装置15の入力制御装置に対してプログラムをインストールすることでHMD17や入力装置15内に構成しても良いし、油圧ショベル1とは独立したコンピュータ内に構成しても良い。
 コントローラ20は、表示制御装置17Bや入力制御装置15Gと同様に、演算装置と、記憶装置と、通信I/Fと、入出力I/F(いずれも図示せず)を備えており、記憶装置内に記憶されたプログラムを演算装置で実行することにより図11中に示した各部として機能する。コントローラ20は、計測指示受信部20a、計測指示送信部20b、計測値取得部20c、出力信号取得部20d、及び取付角度算出部20eとして機能し、記憶装置内の記憶領域に構成情報記憶部20fを確保している。コントローラ20の各部の説明とともにコントローラ20で実行される処理のフローチャートについて図12を用いて説明する。
 図12はコントローラ20が実行する較正作業処理のフローチャートである。 
 運転者MがHMD17に表示される目標姿勢画像24に基づいてフロント作業機1Aの姿勢を目標計測姿勢とした後にディスプレイ15A上の較正作業開始ボタンに触れると計測指示信号が出力され、コントローラ20は図12に示したフローチャートを開始する。フローが開始されると、電気ハーネス等を介して入力装置15と接続されたコントローラ20の計測指示受信部20aは,入力装置15から出力される計測指示信号を取得する(S114)。
 S115では、コントローラ20の計測指示送信部20bは,入力装置15から計測指示を取得したことをトリガーにして、コントローラ20と無線通信可能に接続されたピン位置計測装置20に対して計測指示信号を送信する。ここでピン位置計測装置19は,例えばトータルステーションなどの角度と距離を高精度に計測可能な装置であり、以下ではピン位置計測装置19がトータルステーションの場合について説明する。図13に示すように、フロント作業機1Aの各フロント部材1a,1b,1cを連結する各ピンp1~p6及びバケット爪先p7の軸方向端面には計測用のマーカが予め設置されている。コントローラ20から計測指示信号を受信したトータルステーション(ピン位置計測装置19)は、各マーカまでの距離及び角度を計測する。計測が終了したら、トータルステーション(ピン位置計測装置19)はその計測値(各マーカまでの距離及び角度)をコントローラ20に送信し、これによりコントローラ20がトータルステーションの計測値を取得する(S116)。なお、トータルステーションの構成および動作については公知であるため,ここでは説明を割愛する。
 S117では,コントローラ20の出力信号取得部20dは,慣性計測装置S1~S3の出力信号を取得する。
 S118では、コントローラ20の取付角度算出部20eは,S116で取得したトータルステーション(ピン位置計測装置19)の計測値と,S117で取得した慣性計測装置S1~S3の出力信号とに基づいて,フロント作業機1Aの各フロント部材に対する慣性計測装置S1~S3の取付角度を算出し(S118),それを較正情報として較正情報記憶部20fに記録する(S119)。
 (作用効果)
 上記のように構成した較正作業支援システムでは、運転者Mが入力装置15に機械情報(車格情報及び仕様情報を含む)と作業情報(作業項目情報及び作業手順情報(目標計測姿勢)を含む)を入力すると、表示制御装置17Bは、目標計測姿勢をとったフロント作業機1Aを運転者Mの視点位置及び視線方向で見た場合の画像(目標姿勢画像24)を生成し、その目標姿勢画像24をHMD17のハーフミラー17Gに投影する。HMD17のハーフミラー17Gは透過性があるため、そのときの運転者Mの視点位置及び視線方向で見た現実のフロント作業機1Aに目標姿勢画像24が重畳される(図8参照)。現実のフロント作業機1Aと同様に目標姿勢画像24も運転者Mの視点位置及び視線方向で見たフロント作業機1Aの姿である。そのため、運転者Mは、現実の各フロント部材がハーフミラー17G上の目標姿勢画像における各フロント部材に重なり合うように操作レバー7a1,7a1を操作して現実のフロント作業機1Aを動作させるだけで、運転室7内に居ながらにして較正作業に必要な目標計測姿勢をフロント作業機1Aにとらせることができる。すなわち、慣性計測装置S1,S2,S2の較正作業において運転者Mが運転室7から降りて油圧ショベル1の側方からフロント作業機1Aの姿勢を目視で確認する必要が無くなり、運転者Mの熟練度にかかわらず運転室7に居ながらにして正しい目標計測姿勢にフロント作業機1Aを操作することができる。その結果、運転室7の外から目視で確認する手順が不要になり、較正作業全体の作業性が向上する。
 (変形例)
 次に上記の実施形態の変形例について説明する。上述した実施形態では、表示装置として運転者の頭部に装着するHMD17を用いて、HMD17のカメラ17Aがフロントガラス16上のマーカ7bを検出することで、運転者Mの頭部姿勢を推定し、ハーフミラー17G上での目標姿勢画像24の表示を制御する例を示した。
 その他の例として、HMD17の代わりに、レンズやハーフミラーなどの光学系を持たない一般的な表示装置(例えばLCDディスプレイや有機ELディスプレイ)を用いても良い。具体的には、図14に示すように、運転室7における右側のピラー13に固定される表示装置18が利用可能である。表示装置18の筐体内には表示制御装置17Bが収納されている。
 図15は表示装置18の表面(図中左)と裏面(図中右)を示す図である。表示装置18の裏面にはカメラ18Aが設けられており、このカメラ18Aが、フロント作業機1Aを含む運転室7前方を撮影する。目標姿勢画像26は、上記の実施形態と同じく、入力装置9が取得する機械情報と作業情報を基に生成される。表示ディスプレイ18の表面(図中左)には、カメラ18Aが撮影した運転室前方の撮影画像25と、カメラ18Aの取り付け位置からカメラ18Aの光軸方向に向かって目標計測姿勢をとったフロント作業機1Aのモデルデータを見た場合の画像(目標姿勢画像)26とが表示されており、撮像画像25上の現実のフロント作業機1Aに目標姿勢画像26が重畳表示される。なお、その他の部分については先の実施形態と同一であり説明は省略する。
 上記のように、本変形例では、表示制御装置17Bが目標姿勢画像26を生成する際の基準となる位置及び方向を、油圧ショベル1(ピラー13)に取り付けられたカメラ18Aの取り付け位置及び光軸方向としている。表示制御装置17Bは、入力装置15から入力された機械情報と、目標姿勢情報(作業情報)と、カメラ18Aの取り付け位置及び光軸方向とに基づいて、目標計測姿勢をとったフロント作業機1Aをカメラ18Aで見たときの画像(目標姿勢画像)26として生成する。表示装置18は、運転室7内の運転室に着座した運転者Mの前方に配置されるディスプレイであり、カメラ18Aで撮影した現実のフロント作業機1Aと目標姿勢画像26を重畳表示している。
 このようにシステムを較正しても先の実施形態と同様に、較正作業の対象となる機械の車格や仕様を問わず、実際のフロントの位置と重なるように目標姿勢画像26を運転者に提示することができる。そのため、運転者は運転室7にいながら目標姿勢画像26と現在のフロント作業機1Aの姿勢との差分を容易に把握することができる。すなわち、運転者の熟練度に関わらず、運転室7にいながらも、正しい計測姿勢にフロント作業機1Aを操作することができる。その結果、運転室の外から目視で確認する手順が不要になり、作業性が向上する。
 (その他)
 なお、本発明は、上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。
 また、上記では、目標姿勢画像24,26を生成する際に、運転者Mの視点位置及び視線方向と、カメラ18Aの取り付け位置及び光軸方向を基準としたが、現実のフロント作業機1Aと目標姿勢画像とを共通の視点位置及び視線方向で重ね合わせることができる視点位置及び視線方向であれば、所望の視点位置及び視線方向を基準にして目標姿勢画像を生成しても構わない。
 また、上記の実施形態に含まれる制御装置(例えば、表示制御装置17B、入力制御装置15G、コントローラ20)に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア(例えば各機能を実行するロジックを集積回路で設計する等)で実現しても良い。また、上記の制御装置に係る構成は、演算装置(例えばCPU)によって読み出し・実行されることで当該制御装置の構成に係る各機能が実現されるプログラム(ソフトウェア)としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ(フラッシュメモリ、SSD等)、磁気記憶装置(ハードディスクドライブ等)及び記録媒体(磁気ディスク、光ディスク等)等に記憶することができる。
 また、上記の各実施の形態の説明では、制御線や情報線は、当該実施の形態の説明に必要であると解されるものを示したが、必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
 1…油圧ショベル、1A…フロント作業機、1a…ブーム、1b…アーム、1c…バケット、S1~S3…姿勢計測装置、7…運転室、M…運転者、7b…二次元マーカ、13…フロントガラス、15…入力装置、15A…ディスプレイ、15a…機械情報入力部、15b…作業情報入力部、16…ピラー、17…ヘッドマウントディスプレイ、17A…カメラ、17B…表示制御装置、17C…演算装置、17D…記憶装置、17E…プロジェクタ、17F…レンズ、17G…ハーフミラー、17H…通信I/F、17a…モデル選択部、17b…モデル座標変換部、17c…目標姿勢画像生成部、17d…表示制御部、17e…マーカ検出部、17f…カメラ姿勢推定部、17g…モデルデータ記憶部、17h…マーカ情報記憶部、17i…内部パラメータ記憶部、17j…マーカ位置情報記憶部、18…表示装置、18A…カメラ、24、26…目標姿勢画像、25…前景画像

Claims (4)

  1.  作業機械が備える作業装置に取り付けられた慣性計測装置の較正作業を支援する較正作業支援システムであって、
     前記作業機械の車格情報と前記作業装置の仕様情報とを含む機械情報を入力するための入力装置と、
     前記入力装置から入力された前記機械情報と、前記慣性計測装置を較正する際の前記作業装置の目標計測姿勢として予め定められた目標姿勢情報とに基づいて、前記目標計測姿勢をとった前記作業装置を所定の視点位置から所定の視線方向で見た場合の画像である目標姿勢画像を生成する制御装置と、
     前記制御装置で生成された前記目標姿勢画像を表示する表示装置とを備え、
     前記表示装置は、前記所定の視点位置から前記所定の視線方向で見た現実の前記作業装置に前記目標姿勢画像を重畳可能に構成されていることを特徴とする較正作業支援システム。
  2.  請求項1の較正作業支援システムにおいて、
     前記表示装置は、前記作業機械に搭乗する運転者の前方に配置される透過型ディスプレイであり、
     前記所定の視点位置及び前記所定の視線方向は、前記運転者の視点位置及び視線方向であり、
     前記運転者の視点位置及び視線方向を計測する計測装置をさらに備え、
     前記制御装置は、前記入力装置から入力された前記機械情報と、前記目標姿勢情報と、前記計測装置で計測された前記運転者の視点位置及び視線方向とに基づいて、前記目標計測姿勢をとった前記作業装置を前記運転者の視点位置及び視線方向で見たときの目標姿勢画像を前記目標姿勢画像として生成することを特徴とする較正作業支援システム。
  3.  請求項2の較正作業支援システムにおいて、
     前記表示装置は、前記作業機械に搭乗する運転者が装着する透過型のヘッドマウントディスプレイであり、
     前記計測装置は、前記ヘッドマウントディスプレイに搭載されたカメラであって、前記作業機械の運転室の前方に設置された二次元マーカを撮影するカメラであり、
     前記制御装置は、前記カメラの内部パラメータと、前記カメラの撮影画像上の前記二次元マーカの形状とに基づいて前記運転者の視点位置及び視線方向を演算することを特徴とする較正作業支援システム。
  4.  請求項1の較正作業支援システムにおいて、
     前記所定の視点位置及び前記所定の視線方向は、前記作業機械に取り付けられたカメラの取り付け位置及び光軸方向であり、
     前記制御装置は、前記入力装置から入力された前記機械情報と、前記目標姿勢情報と、前記カメラの取り付け位置及び光軸方向とに基づいて、前記目標計測姿勢をとった前記作業装置を前記カメラで見たときの目標姿勢画像を前記目標姿勢画像として生成し、
     前記表示装置は、前記作業機械に搭乗する運転者の前方に配置されるディスプレイであり、前記カメラで撮影した前記現実の作業装置と前記目標姿勢画像を重畳表示することを特徴とする較正作業支援システム。
PCT/JP2020/003229 2019-03-26 2020-01-29 較正作業支援システム WO2020195135A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20777303.7A EP3951103A4 (en) 2019-03-26 2020-01-29 CALIBRATION OPERATION SUPPORT SYSTEM
US17/274,828 US11891783B2 (en) 2019-03-26 2020-01-29 Calibration work support system
CN202080004790.4A CN112639226B (zh) 2019-03-26 2020-01-29 校正作业支援系统
KR1020217005363A KR102509346B1 (ko) 2019-03-26 2020-01-29 교정 작업 지원 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019059267A JP7153594B2 (ja) 2019-03-26 2019-03-26 較正作業支援システム
JP2019-059267 2019-03-26

Publications (1)

Publication Number Publication Date
WO2020195135A1 true WO2020195135A1 (ja) 2020-10-01

Family

ID=72609812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003229 WO2020195135A1 (ja) 2019-03-26 2020-01-29 較正作業支援システム

Country Status (6)

Country Link
US (1) US11891783B2 (ja)
EP (1) EP3951103A4 (ja)
JP (1) JP7153594B2 (ja)
KR (1) KR102509346B1 (ja)
CN (1) CN112639226B (ja)
WO (1) WO2020195135A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734830B2 (en) * 2020-05-31 2023-08-22 Sketchar , Vab Method of facade plane detection
JP7444094B2 (ja) * 2021-02-05 2024-03-06 コベルコ建機株式会社 遠隔操作支援システムおよび遠隔操作支援方法
US20240141619A1 (en) * 2022-10-28 2024-05-02 Deere & Company Visibility of work implement using augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5111210B1 (ja) * 1970-12-31 1976-04-09
JP2011001775A (ja) * 2009-06-19 2011-01-06 Caterpillar Sarl 建設機械のディスプレイ装置
WO2014167731A1 (ja) 2013-04-12 2014-10-16 株式会社小松製作所 油圧シリンダのストローク初期校正作業支援装置及び油圧シリンダのストローク初期校正作業支援方法
JP2016061054A (ja) * 2014-09-17 2016-04-25 住友重機械工業株式会社 ショベル及びショベルの支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095320B2 (ja) * 2002-03-19 2008-06-04 キヤノン株式会社 センサ較正装置、センサ較正方法、プログラム、記憶媒体
JP5111210B2 (ja) * 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
JP2010089632A (ja) * 2008-10-08 2010-04-22 Caterpillar Japan Ltd 監視対象領域表示システム
US8965642B2 (en) * 2012-10-05 2015-02-24 Komatsu Ltd. Display system of excavating machine and excavating machine
US9135705B2 (en) 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
KR20140066408A (ko) * 2012-11-23 2014-06-02 에스티엑스조선해양 주식회사 비전 센서를 이용한 장비 위치 보정 시스템 및 그 방법
US8918246B2 (en) 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
JP5801333B2 (ja) 2013-02-28 2015-10-28 株式会社東芝 電源回路
JP6253417B2 (ja) * 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
CN107614803B (zh) 2015-10-28 2020-10-16 株式会社小松制作所 作业机械的校正装置、作业机械以及作业机械的校正方法
JP6707344B2 (ja) * 2015-12-25 2020-06-10 株式会社小松製作所 作業車両および作業車両の制御方法
JP6590691B2 (ja) * 2015-12-25 2019-10-16 株式会社小松製作所 作業車両および表示制御方法
WO2018131241A1 (ja) * 2017-01-10 2018-07-19 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
CN108028911B (zh) * 2017-06-28 2021-09-28 株式会社小松制作所 作业机械的显示装置及显示系统
US10907326B2 (en) * 2017-08-11 2021-02-02 Deere & Company Vision system for monitoring a work tool of a work vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5111210B1 (ja) * 1970-12-31 1976-04-09
JP2011001775A (ja) * 2009-06-19 2011-01-06 Caterpillar Sarl 建設機械のディスプレイ装置
WO2014167731A1 (ja) 2013-04-12 2014-10-16 株式会社小松製作所 油圧シリンダのストローク初期校正作業支援装置及び油圧シリンダのストローク初期校正作業支援方法
JP2016061054A (ja) * 2014-09-17 2016-04-25 住友重機械工業株式会社 ショベル及びショベルの支援装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Research Center for Computing and Multimedia Studies", HOSEI UNIVERSITY, JAPAN, 2005, XP055742874, Retrieved from the Internet <URL:https://www.media.hosei.ac.jp/buttetin_archives/von8_06.pdf> *
See also references of EP3951103A4

Also Published As

Publication number Publication date
EP3951103A1 (en) 2022-02-09
US20220018098A1 (en) 2022-01-20
CN112639226A (zh) 2021-04-09
KR20210034070A (ko) 2021-03-29
EP3951103A4 (en) 2022-12-28
KR102509346B1 (ko) 2023-03-14
JP7153594B2 (ja) 2022-10-14
CN112639226B (zh) 2022-03-15
US11891783B2 (en) 2024-02-06
JP2020160777A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
WO2020195135A1 (ja) 較正作業支援システム
US9008371B2 (en) Method and system for ascertaining the position and orientation of a camera relative to a real object
JP5390813B2 (ja) 空間情報表示装置及び支援装置
JP7328889B2 (ja) 作業領域画像検出装置を有する曲げ機械
JP6807781B2 (ja) 表示システム、表示方法、及び遠隔操作システム
WO2018168553A1 (ja) 建設機械
US8306660B2 (en) Device and a method for restoring positional information of robot
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
US9511493B2 (en) Information processing apparatus and method for controlling the same
EP3080550B1 (en) Laser receiver using a smart device
US20050225278A1 (en) Measuring system
JP6826233B2 (ja) 作業機の外形形状測定システム,作業機の外形形状表示システム,作業機の制御システム及び作業機械
US20180178650A1 (en) Projection type display device and projection control method
WO2020003497A1 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
US20180017381A1 (en) Positioning of two bodies by means of an alignment system with a pair of data spectacles
KR20170113000A (ko) 평가 장치
EP3923569B1 (en) Remote operation system and remote operation server
US11718978B2 (en) Work machine system and control method
WO2020183987A1 (ja) 作業機械
KR20160111102A (ko) 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
JP7036559B2 (ja) 杭位置検査装置及び杭位置検査方法
KR20200094941A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
CN113615164B (zh) 远程操作系统以及远程操作服务器
JP2020170482A (ja) 作業指示システム
TW202324009A (zh) 產業機械、用於驗證產業機械之動作之裝置及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777303

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217005363

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020777303

Country of ref document: EP

Effective date: 20211026