WO2020183987A1 - 作業機械 - Google Patents

作業機械 Download PDF

Info

Publication number
WO2020183987A1
WO2020183987A1 PCT/JP2020/004168 JP2020004168W WO2020183987A1 WO 2020183987 A1 WO2020183987 A1 WO 2020183987A1 JP 2020004168 W JP2020004168 W JP 2020004168W WO 2020183987 A1 WO2020183987 A1 WO 2020183987A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
display area
display image
operator
Prior art date
Application number
PCT/JP2020/004168
Other languages
English (en)
French (fr)
Inventor
和重 黒髪
充基 時田
坂本　博史
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to KR1020217005190A priority Critical patent/KR102505529B1/ko
Priority to EP20769317.7A priority patent/EP3940156B1/en
Priority to US17/275,223 priority patent/US11447934B2/en
Priority to CN202080004721.3A priority patent/CN112601867B/zh
Publication of WO2020183987A1 publication Critical patent/WO2020183987A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523—Matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a work machine provided with a display device.
  • Patent Document 1 As a technique for displaying work support information, in Patent Document 1, work support information is displayed on a transparent display installed in front of the driver's cab, and the display position of the work support information on the display device is made to follow the movement of the bucket. , A technique for changing the display mode of work support information in the display device based on the position of the bucket when the bucket moves in the front-rear direction with respect to the driver's cab is disclosed. The closer the bucket is to the driver's cab, the more likely it is that the work support information and the bucket will overlap from the operator's point of view. is there.
  • the display position of the work support information is also moved so as to follow the position of the bucket. That is, since the display position of the work support information always moves while the bucket is moving, there is a high possibility that the movement of the work support information makes the operator who is working feel annoyed. Further, in the method of Patent Document 1, when the display area increases due to an increase in the amount of work support information displayed on the transparent display, the work support information impairs the visibility in the vicinity of the bucket and works support. Displaying information may rather reduce work efficiency.
  • the present invention has been made by paying attention to the above-mentioned problems, and an object of the present invention is to make the operator feel annoyed when displaying work support information on a display device, or to work when the amount of information increases.
  • the purpose is to provide a work machine that can prevent a decrease in efficiency.
  • the present application includes a plurality of means for solving the above problems, and to give an example thereof, a work device attached to a work machine main body, a posture sensor for detecting the posture of the work device, and an attitude sensor provided to an operator.
  • a display device capable of superimposing work support information on an actual image of the work device and a display position of a display image showing the work support information on the display device are determined, and the display image is displayed at the display position.
  • the display control device estimates the line-of-sight direction of the operator based on the posture of the work device detected by the attitude sensor, and determines the estimated line-of-sight direction of the operator.
  • a plurality of display areas are set on the screen of the display device as a reference, and the display position of the display image is calculated so as to be located in the display area corresponding to the type of the display image among the plurality of display areas.
  • the positions of the plurality of display areas on the screen of the display device change due to a change in the line-of-sight direction of the operator, and the display image is located in the display area corresponding to the type of the display image even after the change.
  • the display position of the display image is held, and when the display image deviates from the display area corresponding to the type of the display image after the change, the display image is accommodated in the display area corresponding to the type of the display image.
  • a new display position shall be calculated.
  • the present invention it is possible to prevent the operator from feeling annoyed when displaying the work support information on the display device, and to prevent the work efficiency from being lowered when the amount of information is increased.
  • a hydraulic excavator having a bucket as a work tool (attachment) at the tip of the work device will be illustrated as a work machine, but the present invention may be applied to a work machine having an attachment other than the bucket. Further, as long as it has an articulated work device formed by connecting a plurality of link members (attachments, booms, arms, etc.), it can be applied to work machines other than hydraulic excavators.
  • FIG. 1 shows a side view of a hydraulic excavator which is an example of a work machine according to an embodiment of the present invention.
  • the hydraulic excavator 1 shown in this figure is an articulated front working device 1A configured by connecting a plurality of front members (boom 1a, arm 1b and bucket 1c) that rotate in the vertical direction, and an upper swing body. It is composed of a vehicle body 1B composed of 1d and a lower traveling body 1e.
  • the front working device 1A is attached to the vehicle body 1B (working machine main body), and the upper swing body 1d is provided with a driver's cab 1f.
  • the base end of the boom 1a of the front working device 1A is rotatably supported at the front portion of the upper swing body 1d via a boom pin.
  • the base end of the arm 1b is rotatably connected to the tip of the boom 1a via an arm pin
  • the base end of the bucket 1c is rotatably connected to the tip of the arm 1b via a bucket pin. ..
  • the boom 1a is driven by the boom cylinder 2a
  • the arm 1b is driven by the arm cylinder 2b
  • the bucket 1c is driven by the bucket cylinder 2c.
  • the upper swivel body 1d is driven by the swivel motor 3d (see FIG. 3), and the lower traveling body 1e is driven by the left and right traveling motors 3e and 3f (see FIG. 3).
  • the upper swing body 1d is provided with an engine 4, a pump 5, and a valve (control valve) 6 (see FIG. 3) for operating the hydraulic excavator 1, and the pump 5 is rotationally driven by the engine 4 to drive each actuator.
  • Hydraulic oil is discharged to 2a, 2b, 2c, 3d, 3e, and 3f (see FIG. 3).
  • the valve 6 changes the flow rate and distribution direction of the hydraulic oil according to the operation input from the operation levers 7a, 7b, 7c, 7d (see FIG. 2) provided in the driver's cab 1f, so that each actuator 2a , 2b, 2c, 3d, 3e, 3f are controlled.
  • FIG. 2 shows the inside view of the driver's cab 1f.
  • four operating levers 7a, 7b, 7c, 7d as operating devices for instructing the operation of the vehicle body including the operations of the hydraulic actuators 2a, 2b, 2c, 3d, 3e, 3f, and the operator
  • a transparent display 11 and a monitor 12, which are display devices for displaying the provided work support information, are installed.
  • the transparent display 11 is installed in front of the driver's cab.
  • the liquid crystal screen of the transparent display 11 is transparent, and it is possible to display the work support information on the liquid crystal screen by superimposing it on the actual image of the front work device 1A.
  • the operation lever 7a (operation left lever) is for operating the arm cylinder 2b (arm 1b) and the upper swing body 1d (swing hydraulic motor 3d), and the operation lever 7b (operation right lever) is for boom cylinder 2a (boom). It is for operating 1a) and the bucket cylinder 2c (bucket 1c).
  • the operating lever 7c (running left lever) is for operating the lower traveling body 1e (left traveling hydraulic motor 3e (see FIG. 3)), and the operating lever 7d (running right lever) is for lower traveling body 1e (running right lever). It is for operating the right traveling hydraulic motor 3f).
  • FIG. 3 is a system configuration diagram of a hydraulic excavator according to an embodiment of the present invention.
  • the hydraulic excavator according to the present embodiment displays, as a control device, a main control unit (hereinafter, the control unit may be abbreviated as "C / U") 20 and a GNSSC / U10 for processing a GNSS signal. It is equipped with a transparent display C / U30 and a monitor C / U50 used as a control device.
  • Each of these C / Us 10, 20, 30, and 50 is a control device (controller) including an arithmetic processing unit (for example, a CPU) and a storage device (for example, a semiconductor memory such as a ROM or RAM), and is a storage device.
  • an arithmetic processing unit for example, a CPU
  • storage device for example, a semiconductor memory such as a ROM or RAM
  • the boom pin, arm pin, and bucket pin included in the front work device 1A are provided with angle sensors 8a, 8b, and 8c for detecting the rotation angles of the boom 1a, arm 1b, and bucket 1c.
  • the posture of the front working device 1A can be detected by the detection angles of the angle sensors 8a, 8b, 8c, and the angle sensors 8a, 8b, 8c function as the posture sensor of the front working device 1A.
  • Two GNSS (Global Navigation Satellite System) antennas 9 that receive a navigation signal (satellite signal) for calculating the position of the hydraulic excavator 1 are attached to the upper swing body 1d.
  • the main C / U20 controls the basic system of the hydraulic excavator such as engine control and pump control, and generates work support information based on inputs from various sensors (for example, angle sensors 8a, 8b, 8c). , It is output to the transparent display C / U30 and the monitor C / U50.
  • various sensors for example, angle sensors 8a, 8b, 8c.
  • the GNSSC / U20 calculates the position (coordinate value) of the upper swivel body 1d in the world coordinate system based on the navigation signal received by the GNSS antenna 9, and outputs the calculation result to the main C / U20.
  • Each display control device (transparent display C / U and monitor C / U) 30 and 50 creates a display image including work support information and related information based on the information input from the main C / U 20, and is transparent.
  • the display position of the display image and the related information on the screens of the display 11 and the monitor 12 is determined, and a signal (display control signal) is output to the display devices 11 and 12.
  • a signal display control signal
  • each of the display devices 11 and 12 displays work support information (display image and related information thereof) to the operator based on the signals from the display control devices 30 and 50.
  • the hydraulic excavator 1 of the present embodiment is equipped with a machine guidance function, for example, distance information between the target terrain surface and the tip of the bucket 1c (for example, the tip of a toe) and an angle formed by the bottom surface of the bucket 1c with the target terrain surface.
  • Angle information can be displayed on the display devices 11 and 12 as work support information (display image).
  • FIG. 4 is a functional block diagram of the transparent display C / U30 and shows the flow of processing in the transparent display C / U30.
  • the transparent display C / U30 inputs information from the angle sensors 8a, 8b, 8c, the main C / U20, and the monitor C / U50, and outputs a display control signal generated based on the information to the transparent display 10. There is.
  • the transparent display C / U30 has a display image generation unit 31 that generates a display image to be displayed on the transparent display (display device) 11 as work support information, and a posture of the front work device 1A detected by the angle sensors 8a, 8b, 8c.
  • the display position of the monitor position storage unit 36 that stores the displayed position (representative point position) and the display image (first display image) displayed in the first display area, which is one of the plurality of display areas, is The first present display position storage unit 37 to be stored and the second present in which the display position of the display image (second display image) displayed in the second display area, which is one of the plurality of display areas, is stored.
  • the display position storage unit 38, the display position calculation unit 39 that calculates the display position of the display image in the display area for displaying the display image based on the line-of-sight direction of the operator and the type of the display image, and the display position calculation unit 39.
  • a display control unit 40 that displays the display image at the calculated display position is provided. The functions (processing) of each part of the transparent display C / U30 will be described below.
  • the display image generation unit 31 generates an image (display image) to be displayed on the transparent display 11 as work support information based on the information input from the main C / U 20, and displays the generated image in the display position calculation unit 39 and the display. Output to the control unit 40.
  • FIG. 5 is a diagram showing an example of a display image (work support information) generated by the display image generation unit 31.
  • FIG. 5 shows a distance / angle image 51 showing an angle formed by the distance between the target terrain surface and the tip of the bucket 1c, and an engine abnormality displayed when the main C / U 20 detects an abnormality in the engine 4.
  • the warning image 52 and the fuel remaining amount image 53 showing the fuel remaining amount of the hydraulic excavator are shown.
  • the main C / U20 uses the detection values of the angle sensors 8a, 8b, 8c and the rotation shaft (arm pin) from the base end side rotation shaft (boom pin) to the tip end side of the boom 1a. ), The dimension Lam from the rotation shaft (arm pin) on the base end side of the arm 1b to the rotation shaft (bucket pin) on the tip side, and the rotation shaft (bucket pin) on the base end side of the bucket 1c. ) To the tip (bucket toe), and the coordinates of the tip of the bucket 1c in the vehicle body coordinate system can be calculated.
  • the storage device of the main C / U20 stores the three-dimensional data of the target topographical surface around the hydraulic excavator, and the main C / U20 is based on the three-dimensional data and the coordinates of the tip of the bucket 1c.
  • the distance / angle information between the target terrain surface and the tip of the bucket 1c is calculated and output to the transparent display C / U30.
  • the display image generation unit 31 of the transparent display C / U30 generates the distance / angle image 51 based on the distance / angle information calculated by the main C / U20.
  • FIG. 6 shows the processing flow of the line-of-sight estimation unit 32.
  • the line-of-sight estimation unit 32 first acquires the angles of the front members 1a, 1b, 1c of the front working device 1A based on the outputs from the angle sensors 8a, 8b, 8c (step 32a), and the angles and the fronts are obtained.
  • the position coordinates of the center point in the vehicle width direction at the tip of the bucket 1c are calculated based on the dimensions of the members 1a, 1b, 1c (specifically, the above-mentioned dimensions Lbm, Lam, Lbk) (step 32b).
  • the position coordinates at this time are expressed in the vehicle body coordinate system with reference to a specific point (for example, the midpoint of the central axis of the boom pin) of the upper swing body 1d.
  • the line-of-sight estimation unit 32 calculates the position coordinates (head position) of the head when the operator is seated in the driver's seat (seat) in the driver's cab 1f.
  • a known method can be used as a method for calculating the head position. For example, for the head position, the coordinates at which the head of a standard body type operator is located when assuming a specific seat position and a specific working posture are calculated, and the value is set as the initial value of the head position. be able to.
  • the head position may be estimated more accurately by correcting the initial value using the detection value of a sensor (for example, a stroke sensor) that measures the displacement of the seat position from the reference position. .. It is also possible to detect the head position with higher accuracy by attaching a plurality of characteristic marks such as markers to the operator's helmet and acquiring the position coordinates of each marker with a motion capture system or the like. ..
  • step 32d the line-of-sight estimation unit 32 is shown in FIG. 7 from the position coordinates of the tip of the bucket 1c in the vehicle body coordinate system calculated in step S32b and the head position coordinates of the operator in the vehicle body coordinate system calculated in step S32c.
  • the operator's line-of-sight vector 71 is calculated and output to the display position calculation unit 39 (step 32e).
  • FIG. 7 shows an example of the line-of-sight vector 71 calculated in step 32d.
  • a work machine provided with a front work device 1A such as the hydraulic excavator 1
  • the visual field range setting unit 33 includes a plurality of visual field ranges having a nested structure defined around the operator's line-of-sight direction (for example, an effective visual field (first visual field range), a guided visual field (second visual field range), and outside the visual field range). , Set the type of display image displayed in each of the plurality of display areas (image display areas) set on the display screen of the transparent display (display device) 11 corresponding to each of the plurality of field of view ranges. ..
  • the setting of the plurality of viewing ranges and the setting of the type of the display image to be displayed in each of the plurality of display areas are performed in advance separately from the calculation process of the display position of the display image, and the transparent display C / U30 is stored. It may be stored in the device.
  • the number of times the displayed image (work support information) is referred to by the operator differs depending on the type.
  • a display image in which the operator frequently visually recognizes the displayed information such as a display image related to the machine guidance function (for example, a distance / angle image 51), visually recognizes the target only by moving the line of sight without head movement. It is preferable to classify the image as an image to be displayed in an effective field of view, which is a possible field of view.
  • the display image related to the warning display (for example, the engine abnormality warning image 52) is not visually recognized by the operator more frequently than the display image related to the machine guidance function, but when the display is displayed, the operator It is necessary to immediately perceive its existence and take appropriate measures according to the condition.
  • the display image relating to the vehicle body state and the time (for example, the fuel remaining amount image 53) is less frequently visually recognized by the operator than the above two types of display images, and is used at the start of work or between work. It is expected to be visually recognized under limited conditions. Therefore, in order to reduce the annoyance of entering the visual field during normal work, it is preferable to classify the image as an image to be displayed at a position (outside the visual field range) that does not enter the operator's visual field (effective visual field and guided visual field).
  • the frequency of viewing each displayed image by the operator is taken into consideration, and the information is set to be displayed in the visual field range (display area) according to the characteristics of the information shown by each displayed image. doing.
  • the field of view classification and the types of display images displayed in each field of view in the present embodiment will be described with reference to FIG.
  • FIG. 8 shows a field of view set by the field of view setting unit 33 according to the present embodiment, the size of each field of view (horizontal angle, vertical angle), and the display screen of the transparent display 11 corresponding to each field of view.
  • This is a list showing the relationship between the plurality of display areas set in and the type of display image (display image name) displayed in each display area.
  • the visual field range three ranges of the first visual field range, the second visual field range, and the outside of the visual field range are set.
  • the first visual field range, the second visual field range, and the outside of the visual field range have a nested structure, the outside of the visual field range includes the second visual field range, and the second visual field range includes the first visual field range.
  • each range is set so that there is no overlapping area, and the range included in a certain range is excluded from the certain range.
  • the region in which the display image is displayed in the second visual field range is the region in the second visual field range excluding the first visual field range.
  • the plurality of display areas set on the display screen of the transparent display 11 correspond to the first visual field range, the second visual field range, and the outside of the visual field range, and the display area corresponding to the first visual field range is the first display area.
  • the display area corresponding to the second visual field range is referred to as a second display area
  • the display area corresponding to the outside of the visual field range is referred to as an out-of-field display area.
  • the first field of view is the narrowest field of view centered on the operator's line of sight, and its size is determined in consideration of the effective field of view. Specifically, with the operator's line-of-sight direction as a reference (0 degree), the position passes through the -10 degree position and the +10 degree position on the horizontal plane, and the -5 degree position and the +5 degree position on the vertical plane. The inside of the ellipse passing through is the first visual field range. In the first display area corresponding to the first viewing range, a distance / angle image 51 that displays the distance between the target terrain surface and the tip of the bucket 1c and the angle formed by the target terrain surface and the tip of the bucket 1c is displayed.
  • the second visual field range is a visual field range including the first visual field range, and is a visual field range centered on the operator's line-of-sight direction like the first visual field range.
  • the first visual field range shall be excluded from the second visual field range.
  • the size of the second visual field range (outer contour line) is determined in consideration of the guided visual field. Specifically, the position is -40 degrees on the horizontal plane with the operator's line-of-sight direction as a reference (0 degrees).
  • the second visual field range is the region excluding the first visual field range from the inside of the ellipse that passes through the positions of +40 degrees and passes through the positions of ⁇ 30 degrees and +30 degrees on the vertical plane.
  • a display image related to the warning display is displayed, for example, an engine abnormality warning image 52, a vehicle body abnormality warning icon, a surrounding worker approach warning image, and the like are displayed.
  • the outside of the field of view is a field of view set outside the second field of view, and is a field of view that does not belong to either the first field of view or the second field of view.
  • the area on the screen that does not belong to either the first visual field range or the second visual field range is It is out of the field of view.
  • a display image relating to the vehicle body state and time is displayed in the display area outside the viewing range corresponding to the outside of the viewing range. For example, a vehicle body state icon indicating the state related to various vehicle bodies including the fuel remaining amount image 53 and a time image indicating the current time are displayed.
  • An hour meter image showing the integrated value of the operating time of the hydraulic excavator, a water temperature (water temperature gauge) image showing the temperature of the engine cooling water, an oil temperature (oil temperature gauge) image showing the temperature of the hydraulic oil, and the like are displayed.
  • each field of view has a nested structure, and the narrower the field of view defined by the outer edge (outer contour) of each field of view in a plurality of field of view, the more times (frequency) the operator refers to during work.
  • Set in the display area where the image is displayed That is, the display area (visual field range) closer to the operator's line-of-sight direction is set so that the display image with higher reference frequency is displayed.
  • the size of the visual field range is not limited to the setting shown in the present embodiment, and it is desirable to set the size appropriately in consideration of the importance of the information shown in the displayed image.
  • the operating range storage unit 34 stores the operating range (operating range) of the front working device 1A.
  • the front working device 1A operates by rotating the boom 1a, the arm 1b, and the bucket 1c, respectively. Further, since the boom 1a, the arm 1b, and the bucket 1c are each mechanically restrained and the rotation range is predetermined, the operating range of the front working device 1A can be calculated.
  • the operating range storage unit 34 stores the angles representing the rotation ranges of the boom 1a, the arm 1b, and the bucket 1c, and outputs the values to the out-of-field display area calculation unit 35.
  • the out-of-field display area calculation unit 35 calculates a range in which the line-of-sight direction 71 of the operator seated in the driver's seat can change based on the operation range of the front work device 1A stored in the operation range storage unit 34, and the operator On the screen of the transparent display 11 based on the range in which the line-of-sight direction can be changed and the widest field of view (second field of view) among the plurality of field of view (first field of view, second field of view). Calculates the range in which the visual field range (second visual field range) can move, and shifts the visual field from the screen of the transparent display 11 excluding the range in which the visual field range (second visual field range) can move on the screen. Calculated as an out-of-range display area.
  • the out-of-field display area calculation unit 35 of the present embodiment calculates a display position (out-of-field display area) outside the operator's field of view based on the operating range of the front work device 1A, and calculates the display position. Output to unit 39. Next, a specific process by the out-of-field display area calculation unit 35 will be described with reference to FIG.
  • FIG. 9 shows specific processing by the out-of-field display area calculation unit 35.
  • step 35a when the out-of-field display area calculation unit 35 has the minimum elevation angle within the operating range based on the information of the operating range of the front working device 1A output from the operating range storage unit 34 (In other words, the line-of-sight vector 71 of the operator at the tip (toe) of the bucket 1c (when the tip) is located at the lowest position is calculated.
  • the line-of-sight vector 71 faces below the horizontal plane (that is, when it becomes a depression angle), it is defined as a negative elevation angle, and the sign of the elevation angle is negative.
  • the calculation of the line-of-sight vector 71 is performed based on the processing of steps 32b to 32d by the line-of-sight estimation unit 32 shown in FIG. 6, and the elevation angle of the tip of the bucket 1c is minimized within the operating range of the front working device 1A.
  • the elevation angle of the line-of-sight vector 71 is calculated by setting the position.
  • step 35b the out-of-field display area calculation unit 35 has the largest field of view in the field of view set by the field of view setting unit 33 based on the information from the field of view setting unit 33 (this implementation).
  • the second visual field range is selected, and the process proceeds to step 35c. It can be said that the visual field range selected in step 35b is the outermost visual field range in the visual field range set by the visual field range setting unit 33.
  • step 35c the out-of-field display area calculation unit 35 calculates the intersection of the plane including the display screen of the transparent display 11 and the line-of-sight vector 71 as the gazing point, and further, based on the size of the visual field range selected in step S35b. Then, an ellipse representing the visual field range centered on the gazing point is obtained on the plane including the display screen. That is, this ellipse corresponds to the contour line of the second display range in the current line-of-sight vector 71. This ellipse is defined in the vehicle body coordinate system.
  • the out-of-field display area calculation unit 35 converts the ellipse of the vehicle body coordinate system obtained in step S35c into the screen coordinate system using the position and pixel size of the transparent display 11.
  • the screen coordinate system is a coordinate system used for drawing on the transparent display 11, and a general display uses coordinate values indicating the positions of pixels. Since the area in the ellipse (second display area) obtained at this time can be the field of view of the operator, the out-of-field display area calculation unit 35 stores the area as the in-field display area in step 35e.
  • step 35f the out-of-field display area calculation unit 35 sets the elevation angle of the line-of-sight vector 71 used in the processes of steps 35c to 35e (the elevation angle of the first line-of-sight vector 71 is the minimum value calculated in step S35a) of the front work apparatus 1A. Judge whether it is the maximum value within the operating range of.
  • the maximum value of the elevation angle of the line-of-sight vector 71 within the operating range of the front working device 1A may be calculated when the step S35f is reached for the first time after the start of the flow, or an arbitrary step before reaching the step 35f. Or, the calculation may be performed before the start of the flow of FIG.
  • step 35f If it is determined in step 35f that the elevation angle of the line-of-sight vector 71 is not the maximum value, the line-of-sight vector 71 when 1 [deg] is added to the elevation angle in step 35g is calculated, and steps 35c to 35e are performed again. At this time, in step 35e, the newly calculated in-field display area is stored so as to be added while holding the in-field display area stored so far.
  • the unit angle to be added in step 35g is not limited to 1 [deg], and other values can be appropriately set in consideration of the load due to processing and the like.
  • step 35f if it is determined in step 35f that the elevation angle of the line-of-sight vector 71 is the maximum value, the out-of-field display area is calculated in step 35h.
  • the out-of-field display area is obtained by subtracting the in-field display area from the entire display screen of the transparent display 11.
  • step 35i the out-of-field display area calculation unit 35 outputs the out-of-field display area obtained by the processing up to step 35h to the display position calculation unit 39, and ends a series of processing.
  • the process of limiting the moving direction of the tip of the bucket 1c to the vertical direction has been described, but the work having the front work device 1A having a movable range in the horizontal direction.
  • iterative processing shall be performed in consideration of the operation in the horizontal direction.
  • the display area outside the visual field range does not change. Therefore, the result of the above processing is stored in the storage device in the transparent display C / U or externally. It may be stored in the apparatus and the stored result may be referred to when necessary, and the calculation may not be performed for each processing cycle of the transparent display C / U30.
  • the monitor position storage unit 36 is a position (sometimes referred to as a “representative point”) of a point (sometimes referred to as a “representative point”) on which the details of the display image displayed on the transparent display 11 and related information (related information) are displayed on the monitor 12.
  • the representative point position is stored in the coordinates of the vehicle body coordinate system.
  • the monitor 12 is used as a second display device (another display device) that displays the related information as work support information together with the transparent display 11 (first display device) on which the display image is displayed.
  • the number of representative points on the monitor 12 is not limited to one, and when a plurality of related information is displayed on the monitor 12, a plurality of representative points may be provided so as to correspond to each related information. Further, the representative point on the monitor 12 is not a fixed value, and may be appropriately changed according to the output from the monitor C / U50, for example.
  • the first current display position storage unit 37 and the second current display position storage unit 38 are the first display area (first visual field range) and the second display area (second visual field range) calculated by the display position calculation unit 39 described later. It is a part where the display positions of all the display images in the above are stored, and the storage area is secured in the storage device of the transparent display C / U30.
  • the display position of the display image is stored as a coordinate value in the screen coordinate system set on the display screen of the transparent display 11.
  • each display image stored in the storage units 37 and 38 is updated by updating the coordinate value before the change with the coordinate value after the change.
  • the coordinate values of are always kept up to date.
  • Display position calculation unit 39 transparently displays a plurality of display areas corresponding to a plurality of field of view ranges set by the field of view range setting unit 33 based on the operator's line of sight vector (line of sight direction) 71 estimated by the line of sight estimation unit 32.
  • the display position of the display image is calculated so as to be located in the display area corresponding to the type of the display image among the plurality of display areas set on the screen of the transparent display 11 and set on the screen of the transparent display 11.
  • the display position of the display image calculated by the display position calculation unit 39 is output to the display control unit 40.
  • FIG. 10 is a flowchart showing processing by the display position calculation unit 39 according to the present embodiment.
  • the display position calculation unit 39 selects one display image from one or more display images to be displayed on the transparent display 11, and the selected display image (hereinafter referred to as “selected display image”).
  • the type of image is an image displayed in any of the first display area (first field of view range), the second display area (second field of view range), and the out-of-field display area (outside the field of view). Determine if there is.
  • the display positions of all the display images shall be determined by the flowchart of FIG.
  • step 39b the display position calculation unit 39 determines whether or not the selected display image in step 39a is a display image to be displayed in the region outside the visual field range. If it is determined that the image is displayed in the out-of-field display area, the process proceeds to step 39c to determine the display position (coordinate value of the screen coordinate system) of the display image in the out-of-field display area. (Step 39c).
  • the display position in the display area outside the visual field range at this time may always be the same coordinate value, or may be a coordinate value calculated each time according to the position of the gazing point or the like.
  • the coordinate value determined in step 39c is output to the display control unit 40 as the display position of the selected display image.
  • step 39b when it is determined in step 39b that the image is not displayed in the out-of-field display area (that is, when it is determined that the image is displayed in either the first display area or the second display area), Proceed to step 39e.
  • step 39e and step 39f the display position calculation unit 39 displays the transparent display 11 with respect to the current line-of-sight vector 71, as in steps 35c and 35d (see FIG. 9) of the out-of-field display area calculation unit 35 described above. Calculate the display area on the screen. That is, when the direction of the line-of-sight vector 71 of the operator changes, the position of the display area corresponding to the display area related to the determination result in step 39a on the display screen of the transparent display 11 corresponds to the change of the line-of-sight vector 71. Be changed. In the example of FIG.
  • step 39g the display position calculation unit 39 is outside the display area in which the current display position of the selected display image (the display position at the time of the previous display position calculation) corresponds to the type of the selected display image calculated in step 39f. Determine if it is in. If it is determined that the display area is within the corresponding display area, the current display position is output as it is in step 39h. That is, when the selected display image is located in the display area corresponding to the type of the selected display image even after the change in the visual field range due to the direction movement of the line-of-sight vector 71, the display position calculation unit 39 displays the selected display image. Hold the position.
  • step 39g determines whether or not it is displayed above. If it is determined in step 39g that it is outside the corresponding display area, the process proceeds to step 39i, and the details of the selected display image and related information (referred to as "related information of the selected display image") are displayed on the monitor 12. Judge whether or not it is displayed above.
  • the display position calculation unit 39 sets a new display position so as to be within the display area corresponding to the selected display image. It is determined and output to the display control unit 40 (step 39k). That is, when the selected display image deviates from the display area corresponding to the type of the selected display image after the position of the display area is changed due to the direction movement of the line-of-sight vector 71, the display position calculation unit 39 determines the type of the selected display image. The new display position of the selected display image is calculated so as to fit within the display area corresponding to.
  • an initial display position to be displayed in the corresponding display area is set in advance as a relative position with respect to the gazing point position, and the current gazing point is set.
  • the size of the bucket 1c is stored in advance in the storage device in the transparent display C / U30, and the selected display image and the actual image of the bucket 1c are displayed in the corresponding display area from the current position and size of the bucket 1c.
  • An algorithm that calculates a new display position so as not to overlap may be used.
  • step 39l the display position calculation unit 39 calls the representative point position (coordinate value in the coordinate system set in the monitor 12) on which the related information of the selected display image is displayed on the monitor 12 from the monitor position storage unit 36.
  • the position of the representative point is projected (orthographic projection) on a plane including the display screen of the transparent display 11.
  • step 39m the display position calculation unit 39 obtains a straight line connecting the representative point projected in step 39l and the gazing point (the intersection of the line-of-sight vector 71 and the plane on which the representative point is projected) in the screen coordinate system.
  • the display position calculation unit 39 determines a new display position of the selected display image so as to be within the display area corresponding to the type of the selected display image and on the straight line obtained in step 39 m (step 39n).
  • the new display position is output to the display control unit 40 (step 39o).
  • the display position calculation unit 39 ends the series of processes shown in FIG. 10, and the display position calculation of the corresponding selected display image is performed in the next control cycle. Wait until. However, the display position of the selected display image output to the display control unit 40 in steps 39o, 39k, 39h is stored in the corresponding storage unit of the first current display position storage unit 37 and the second current display position storage unit 38. Will be done.
  • the storage timing of the display position may be any time after the calculation of the display position and before the output to the display control unit 40. When a plurality of display images are displayed on the transparent display 11, the calculation of the display positions of all the display images may be processed in parallel.
  • the display control unit 40 generates a signal for outputting the display image generated by the display image generation unit 31 to the transparent display 11 based on the display position of the display image calculated by the display position calculation unit 39. As a result, the displayed image is displayed at a predetermined display position on the transparent display 11.
  • FIG. 11 is a flowchart of processing executed by the display control unit 40 according to the present embodiment.
  • the display control unit 40 acquires the display image generated by the display image generation unit 31 and the coordinate values calculated by the display position calculation unit 39 as the display position of the display image.
  • step 40b the display control unit 40 determines whether or not the display position acquired in step 40a has been changed from the previous position. At this time, if it is determined that the display position has not changed, the display image is output with the current display position (previous display position) in step 40c. On the other hand, if it is determined that the display position has been changed, the process proceeds to step 40d.
  • step 40d the display control unit 40 determines whether or not the new display position of the display image is a position that can be displayed on the transparent display 11 based on the resolution of the transparent display 11. Here, if it is determined that the display is possible, the display image is output to a new display position, and if it is determined that the display is impossible, the display image remains at the current display position (previous display position). Is output (step 40e), and a series of processes is completed.
  • step 40b the case where the display control unit 40 executes the process of determining whether or not the display position has been changed (step 40b) and the process of determining whether or not the new display position can be displayed (step 40d) has been described.
  • These processes may be performed by the display position calculation unit 39.
  • the display control unit 40 only executes the process of displaying the target display image at the display position calculated by the display position calculation unit 39.
  • the distance / angle image 51 (hereinafter, may be abbreviated as “distance / angle image 51”) of the target terrain surface-bucket 1c tip shown in FIG. 5, the engine abnormality warning image 52, and the fuel residue.
  • the operation when the quantitative image 53 is used as the display image will be described.
  • the distance / angle image 51 is a display image displayed in the first display area
  • the engine abnormality warning image 52 is a display image displayed in the second display area
  • the fuel remaining amount image 53 is a display image displayed in the out-of-field display area.
  • FIG. 12 shows the display state of the transparent display 11 when the boom 1a, arm 1b, and bucket 1c are stationary with rotation angles (hereinafter, referred to as “initial posture”).
  • the distance / angle image 51 and the engine abnormality warning image 52 are defined by an ellipse centered on the gazing point 121 in the display position calculation unit 39, respectively, in the field of view corresponding to each display image set in the field of view setting unit 33.
  • the display position is determined and displayed so as to be within the first display area 122 and the second display area 123).
  • the display position of the fuel remaining amount image 53 is set at a position within the out-of-field display area calculated by the out-of-field display area calculation unit 35 (the out-of-field display area is the display of the transparent display 11). This is an area excluding the first display area 122 and the second display area 123 from the screen).
  • the display positions of the distance / angle image 51 and the engine abnormality warning image 52 are arbitrarily determined within the respective display areas 122 and 123, respectively. Yes (that is, the display position is not constrained by the display position of the related information on the monitor 12).
  • FIG. 13 shows the display state of the transparent display 11 when the bucket 1c position is lowered by 0.25 [m] in the vertical direction from the initial posture state of FIG. It is shown.
  • the movement displacement of the tip (gaze point) of the bucket 1c from that position 131 is small, so the distance / angle image 51 and the engine abnormality warning image 52 are displayed.
  • the positions are still displayed in the respective display areas (first display area 122 and second display area 123), and the display positions are not changed.
  • the display position of the display image is not changed for a minute displacement of the bucket 1c position, the operator may feel troublesome due to the frequent change of the display position of the display image. Can be prevented.
  • FIG. 14 shows the display state of the transparent display 11 when the bucket 1c position is lowered by 1.45 [m] in the vertical direction from the initial posture state of FIG. It is shown.
  • the displacement from the position of the gazing point 131 in the initial posture is large, and the display position 141 of the distance / angle image 51 in the initial posture deviates from the corresponding display area, the first display area 122. Therefore, the display position calculation unit 39 calculates a new display position of the distance / angle image 51 so as to be arranged in the first display area 122 based on the position of the latest gazing point (bucket 1c) 121.
  • the display position is not changed. In this way, only when the display image deviates from the display area set according to the type, the display position is changed to perform the work while maintaining the appropriate display position according to the type of the display image. be able to.
  • FIG. 16 shows the display state when the position of the bucket 1c is moved vertically upward by a certain distance or more from the initial posture state of FIG. It is a thing.
  • the display position calculation unit 39 sets the initial display position 161 of the distance / angle image 51 in the first display area 122 according to the above processing. Calculate the display position.
  • the distance / angle image 51 maintains the display position in the initial posture according to the process of step 40c of the display control unit 40.
  • the new display position 161 of the display image is outside the display screen of the transparent display 11 due to the movement of the gazing point 121, for example, let's sequentially calculate the new display position 161 within the range within the display screen.
  • the display position in the display screen of the transparent display 11 and the minimum distance from the tip of the bucket 1c is calculated as a new display position
  • the transparent display 11 is calculated according to the operation of the bucket 1c.
  • the display position in is frequently switched, which may cause trouble.
  • the bucket 1c position is transparent because the latest display position is continued until the new display position 161 is within the corresponding display area and within the display screen of the transparent display 11. It is possible to prevent the display position from being frequently switched even in the work of being located above the display 11, and it is possible to prevent the operator from feeling annoyed by the frequent switching of the display position, so that the work efficiency can be improved.
  • a display area that changes with the movement of the tip of the bucket 1c (the direction of the operator's line of sight) is set on the transparent display 11, and the tip of the bucket 1c is moved. It was decided to change the display position to the corresponding display area only when the display position of the work support information (display image) deviates from the corresponding display area. As a result, it is possible to shorten the time required to move the line of sight for visually recognizing the work support information, and to reduce the annoyance caused by the frequent change of the display position.
  • the number of work support information to be displayed near the bucket is minimized. This makes it possible to mitigate the decrease in visibility in the vicinity of the bucket due to the increase in displayed information. Further, by displaying a specific display image on the transparent display 11 on a straight line between the gazing point 121 and the monitor 12, it is possible to shorten the time required to move the line of sight from the transparent display 11 to the monitor 12 and improve work efficiency. It is possible.
  • the present invention is not limited to the above-described embodiment, and includes various modifications within a range that does not deviate from the gist thereof.
  • the present invention is not limited to the one including all the configurations described in the above-described embodiment, and includes the one in which a part of the configurations is deleted.
  • a part of the configuration according to one embodiment can be added or replaced with the configuration according to another embodiment.
  • each configuration related to the above-mentioned control device (C / U10, 20, 30, 50), the function of each configuration, the execution process, and the like are part or all of them in hardware (for example, logic for executing each function). May be realized by designing with an integrated circuit, etc.).
  • the configuration related to the above control device may be a program (software) in which each function related to the configuration of the control device is realized by reading and executing by an arithmetic processing unit (for example, a CPU).
  • Information related to the program can be stored in, for example, a semiconductor memory (flash memory, SSD, etc.), a magnetic storage device (hard disk drive, etc.), a recording medium (magnetic disk, optical disk, etc.), or the like.
  • control lines and information lines are understood to be necessary for the description of the embodiment, but all the control lines and information lines related to the product are not necessarily included. Does not always indicate. In reality, it can be considered that almost all configurations are interconnected.
  • Monitor position storage unit 37 ... 1 Current display position storage unit, 38 ... 2nd current display position storage unit, 39 ... Display position calculation unit, 40 ... Display control unit, 50 ... Monitor C / U, 71 ... Line-of-sight vector, 81 ... Field range list, 121 ... Gaze point, 122 ... 1st display area, 123 ... 2nd display area, 121 ... current position of bucket tip (gaze point), 131 ... position of bucket tip (gaze point) in initial posture, 141 ... initial Target terrain surface in posture-Position of distance / angle display at the tip of the bucket

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

姿勢センサで検出されたフロント作業装置の姿勢に基づいてオペレータの視線方向を推定し、その推定したオペレータの視線方向に基づいて透明ディスプレイの画面上に複数の表示領域を設定し、その設定された複数の表示領域のうち表示画像の種類に対応する表示領域に位置するように表示画像の表示位置を演算する。オペレータの視線方向の変化により表示装置上の表示領域の位置が変化した場合、その変化後も表示画像の種類に対応する表示領域内に表示画像が位置するときには表示画像の表示位置を保持し、その変化後には表示画像の種類に対応する表示領域から表示画像が外れるときには対応する表示領域内に再度収まるように表示画像の新たな表示位置を演算する。

Description

作業機械
　本発明は、表示装置を備えた作業機械に関するものである。
　近年、油圧ショベルなどの作業機械においては、モニタ等の表示装置から作業支援情報を出力し、オペレータがその作業支援情報を基に操作を行うこと想定した機能が増加している。そうした機能の一例として、オペレータに施工対象の目標地形情報を提示するマシンガイダンス機能が挙げられる。マシンガイダンス機能を利用する作業中のオペレータの視線は、実際の作業が行われている作業装置の先端部及びその周辺（具体的にはバケットや地形等）と、運転室内の表示装置の画面上に表示された目標地形情報との間を繰り返し往復することが想定される。このとき、視線移動を行う距離が長くなるほど、目標地形情報の視認に要する時間が増加し、作業効率の低下につながると考えられる。
　作業支援情報の表示に関する技術として、特許文献１には、運転室前面に設置された透明ディスプレイ上に作業支援情報を表示し、表示装置における作業支援情報の表示位置をバケットの移動に追従させるとともに、バケットが運転室に対して前後方向に移動した場合、バケットの位置に基づいて表示装置における作業支援情報の表示態様を変更する技術が開示されている。バケットが運転室に近づくほど、オペレータから見て作業支援情報とバケットが重なる可能性が高くなるが、この技術は作業支援情報とバケットの重複による作業車両の操作性低下の防止を図ったものである。
特開２０１７－１１５４９２号公報
　しかしながら、特許文献１の方法では、バケットの位置に追従するように作業支援情報の表示位置も移動する。すなわち、バケットの移動中は常に作業支援情報の表示位置も移動するため、その作業支援情報の移動が作業中のオペレータに煩わしさを感じさせる可能性が高い。また、特許文献１の方法では、透明ディスプレイ上に表示する作業支援情報の量が増加する等してその表示面積が増加した場合、その作業支援情報によってバケット近傍の視認性が損なわれ、作業支援情報を表示することが却って作業効率を低下させる虞がある。
　本発明は上記の問題点に着目してなされたものであり、その目的は、表示装置に作業支援情報を表示するに際して、オペレータに煩わしさを感じさせることや、情報量が増加した場合に作業効率が低下することを防止できる作業機械を提供することにある。
　本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、作業機械本体に取り付けられた作業装置と、前記作業装置の姿勢を検出する姿勢センサと、オペレータに提供される作業支援情報を前記作業装置の実際の像と重ね合わせて表示可能な表示装置と、前記作業支援情報を示す表示画像の前記表示装置における表示位置を決定し、その表示位置に前記表示画像を表示する表示制御装置とを備えた作業機械において、前記表示制御装置は、前記姿勢センサで検出された前記作業装置の姿勢に基づいてオペレータの視線方向を推定し、前記推定されたオペレータの視線方向を基準として前記表示装置の画面上に複数の表示領域を設定し、前記複数の表示領域のうち前記表示画像の種類に対応する表示領域に位置するように前記表示画像の表示位置を演算し、前記オペレータの視線方向の変化により前記表示装置の画面上における前記複数の表示領域の位置が変化した場合に、その変化後も前記表示画像の種類に対応する表示領域内に前記表示画像が位置するときには前記表示画像の表示位置を保持し、その変化後には前記表示画像の種類に対応する表示領域から前記表示画像が外れるときには前記表示画像の種類に対応する表示領域内に収まるように前記表示画像の新たな表示位置を演算するものとする。
　本発明によれば、表示装置に作業支援情報を表示するに際して、オペレータに煩わしさを感じさせることや、情報量が増加した場合に作業効率が低下することを防止できる。
作業機械の一例である油圧ショベルの外観を示す図である。 本実施形態に係る運転室の内観を示す図である。 本実施形態に係る油圧ショベルの全体構成を示す図である。 透明ディスプレイＣ／Ｕの機能ブロックを示す図である。 表示画像の例を示す図である。 視線推定部の処理を示す図である。 視線ベクトルの例を示す図である。 視野範囲リスト（表示範囲リスト）の例を示す図である。 視野範囲外表示領域演算部の処理を示す図である。 表示位置演算部の処理を示す図である。 表示制御部の処理を示す図である。 初期姿勢における透明ディスプレイの表示状態を示す図である。 微操作を行った際の透明ディスプレイの表示状態を示す図である。 一定量以上の操作を行った際の透明ディスプレイの表示状態を示す図である。 モニタに関連情報が表示されている際の透明ディスプレイの表示状態を示す図である。 鉛直上方向にバケット位置を一定以上の距離だけ移動させたときの透明ディスプレイの表示状態を示す図である。
　以下、本発明の実施の形態について図面を用いて説明する。　
　なお、以下では、作業機械として、作業装置の先端の作業具（アタッチメント）としてバケットを備える油圧ショベルを例示するが、バケット以外のアタッチメントを備える作業機械に本発明を適用してもよい。また、複数のリンク部材（アタッチメント，ブーム，アーム等）を連結して構成される多関節型の作業装置を有するものであれば、油圧ショベル以外の作業機械への適用も可能である。
　本発明の実施形態に係る作業機械の一例である油圧ショベルの側面図を図１に示す。この図に示す油圧ショベル１は、垂直方向にそれぞれ回動する複数のフロント部材（ブーム１ａ、アーム１ｂ及びバケット１ｃ）を連結して構成される多関節型のフロント作業装置１Ａと、上部旋回体１ｄ及び下部走行体１ｅからなる車体１Ｂとで構成される。フロント作業装置１Ａは車体１Ｂ（作業機本体）に取り付けられており、上部旋回体１ｄには運転室１ｆが備えられている。
　フロント作業装置１Ａのブーム１ａの基端は上部旋回体１ｄの前部においてブームピンを介して回動可能に支持されている。ブーム１ａの先端にはアームピンを介してアーム１ｂの基端が回動可能に連結されており，アーム１ｂの先端にはバケットピンを介してバケット１ｃの基端が回動可能に連結されている。ブーム１ａはブームシリンダ２ａによって駆動され，アーム１ｂはアームシリンダ２ｂによって駆動され，バケット１ｃはバケットシリンダ２ｃによって駆動される。
　上部旋回体１ｄは旋回モータ３ｄ（図３参照）により駆動され、下部走行体１ｅは左右の走行モータ３ｅ，３ｆ（図３参照）により駆動される。上部旋回体１ｄには、油圧ショベル１を動作するためのエンジン４、ポンプ５、バルブ（コントロールバルブ）６（図３参照）が備えられており、ポンプ５はエンジン４によって回転駆動されて各アクチュエータ２ａ，２ｂ，２ｃ，３ｄ，３ｅ，３ｆに作動油を吐出する（図３参照）。また、バルブ６は運転室１ｆ内に備えられた操作レバー７ａ，７ｂ，７ｃ，７ｄ（図２参照）からの操作入力に応じて作動油の流量及び流通方向を変化させることで、各アクチュエータ２ａ，２ｂ，２ｃ，３ｄ，３ｅ，３ｆの動作を制御する。
　図２は運転室１ｆの内観を示したものである。運転室１ｆには、各油圧アクチュエータ２ａ，２ｂ，２ｃ，３ｄ，３ｅ，３ｆの動作を含む車体の動作を指示する操作装置としての４本の操作レバー７ａ，７ｂ，７ｃ，７ｄと、オペレータに提供される作業支援情報を表示するための表示装置である透明ディスプレイ１１及びモニタ１２とが設置されている。透明ディスプレイ１１は運転室前面に設置されている。透明ディスプレイ１１の液晶画面は透過しており、液晶画面上の作業支援情報をフロント作業装置１Ａの実際の像と重ね合わせて表示することが可能になっている。
　操作レバー７ａ（操作左レバー）はアームシリンダ２ｂ（アーム１ｂ）及び上部旋回体１ｄ（旋回油圧モータ３ｄ）を操作するためのものであり，操作レバー７ｂ（操作右レバー）はブームシリンダ２ａ（ブーム１ａ）及びバケットシリンダ２ｃ（バケット１ｃ）を操作するためのものである。また，操作レバー７ｃ（走行左レバー）は下部走行体１ｅ（左走行油圧モータ３ｅ（図３参照））を操作するためのものであり，操作レバー７ｄ（走行右レバー）は下部走行体１ｅ（右走行油圧モータ３ｆ）を操作するためのものである。
　図３は本発明の実施形態に係る油圧ショベルのシステム構成図である。本実施形態に係る油圧ショベルは、制御装置として、メインコントロールユニット（以下、コントロールユニットを「Ｃ／Ｕ」と略することがある）２０と、ＧＮＳＳ信号を処理するためのＧＮＳＳＣ／Ｕ１０と、表示制御装置として用いる透明ディスプレイＣ／Ｕ３０及びモニタＣ／Ｕ５０とを搭載している。これらのＣ／Ｕ１０，２０，３０，５０は、それぞれ、演算処理装置（例えばＣＰＵ等）と、記憶装置（例えばＲＯＭ，ＲＡＭ等の半導体メモリ）とを備える制御装置（コントローラ）であり、記憶装置に記憶されたプログラムを演算処理装置で実行することで当該プログラムが規定する各種処理を実行可能に構成されている。
　フロント作業装置１Ａが備えるブームピン、アームピン、バケットピンには、ブーム１ａ、アーム１ｂ、バケット１ｃの回動角を検出する角度センサ８ａ、８ｂ、８ｃが設けられている。角度センサ８ａ，８ｂ，８ｃの検出角度によってフロント作業装置１Ａの姿勢の検出が可能であり、角度センサ８ａ，８ｂ，８ｃはフロント作業装置１Ａの姿勢センサとして機能している。上部旋回体１ｄには油圧ショベル１の位置を演算するための航法信号（衛星信号）を受信する２本のＧＮＳＳ（Global Navigation Satellite System／全球測位衛星システム）アンテナ９が取り付けられている。
　メインＣ／Ｕ２０では、エンジン制御やポンプ制御等の油圧ショベルの基本となるシステムの制御を行うとともに、各種センサ（例えば角度センサ８ａ，８ｂ，８ｃ）からの入力に基づいて作業支援情報を生成し、それを透明ディスプレイＣ／Ｕ３０、モニタＣ／Ｕ５０へ出力する。
　ＧＮＳＳＣ／Ｕ２０は、ＧＮＳＳアンテナ９で受信された航法信号を基に世界座標系における上部旋回体１ｄの位置（座標値）を演算し、その演算結果をメインＣ／Ｕ２０に出力する。
　各表示制御装置（透明ディスプレイＣ／Ｕ及びモニタＣ／Ｕ）３０，５０は、メインＣ／Ｕ２０から入力される情報に基づいて作業支援情報が含まれる表示画像とその関連情報の作成と、透明ディスプレイ１１とモニタ１２の画面上における当該表示画像と当該関連情報の表示位置の決定を行い、各表示装置１１，１２に対して信号（表示制御信号）を出力する。そして、各表示装置１１，１２は各表示制御装置３０，５０からの信号に基づき、オペレータに対する作業支援情報（表示画像及びその関連情報）の表示を行う。なお、本実施形態の油圧ショベル１はマシンガイダンス機能を搭載しており、例えば、目標地形面とバケット１ｃ先端部（例えば爪先）との距離情報や、バケット１ｃの底面が目標地形面となす角度（角度情報）を作業支援情報（表示画像）として表示装置１１，１２に表示することができる。
　（透明ディスプレイＣ／Ｕ３０）
　図４は、透明ディスプレイＣ／Ｕ３０の機能ブロック図であり、透明ディスプレイＣ／Ｕ３０内の処理の流れを示している。透明ディスプレイＣ／Ｕ３０は、角度センサ８ａ，８ｂ，８ｃ、メインＣ／Ｕ２０及びモニタＣ／Ｕ５０からの情報を入力し、それらの情報を基に生成した表示制御信号を透明ディスプレイ１０に出力している。
　透明ディスプレイＣ／Ｕ３０は、作業支援情報として透明ディスプレイ（表示装置）１１に表示する表示画像を生成する表示画像生成部３１と、角度センサ８ａ，８ｂ，８ｃで検出されたフロント作業装置１Ａの姿勢に基づいてオペレータの視線方向を推定する視線推定部３２と、オペレータの視線方向の周囲に規定した入れ子構造の複数の視野範囲、及びその複数の視野範囲に対応する複数の表示領域のそれぞれに表示される表示画像の種類を設定する視野範囲設定部３３と、フロント作業装置１Ａの動作し得る範囲を記憶する動作範囲記憶部３４と、透明ディスプレイ１１の画面上で複数の表示領域（視野範囲）が移動し得る範囲を透明ディスプレイ１１の画面上から除いた領域を視野範囲外表示領域として演算する視野範囲外表示領域演算部３５と、透明ディスプレイ１１上の表示画像の関連情報がモニタ１２上で表示される位置（代表点位置）を記憶するモニタ位置記憶部３６と、複数の表示領域のうちの１つである第１表示領域に表示される表示画像（第１表示画像）の表示位置が記憶される第１現在表示位置記憶部３７と、複数の表示領域のうちの１つである第２表示領域に表示される表示画像（第２表示画像）の表示位置が記憶される第２現在表示位置記憶部３８と、オペレータの視線方向と表示画像の種類に基づいて当該表示画像を表示する表示領域における当該表示画像の表示位置を演算する表示位置演算部３９と、表示位置演算部３９で演算された表示位置に当該表示画像を表示する表示制御部４０とを備えている。以下に、透明ディスプレイＣ／Ｕ３０における各部の機能（処理）について説明する。
　（表示画像生成部３１）
　表示画像生成部３１では、作業支援情報として透明ディスプレイ１１に表示する画像（表示画像）をメインＣ／Ｕ２０から入力される情報に基づいて生成し、その生成した画像を表示位置演算部３９及び表示制御部４０に出力する。
　図５は表示画像生成部３１が生成する表示画像（作業支援情報）の例を示す図である。図５は表示画像の例として、目標地形面とバケット１ｃ先端部の距離となす角を示す距離・角度画像５１と、メインＣ／Ｕ２０がエンジン４の異常を検知した場合に表示されるエンジン異常警告画像５２と、油圧ショベルの燃料残量を示す燃料残量画像５３とを示したものである。
　例えば距離・角度画像５１の生成に関して、メインＣ／Ｕ２０は、角度センサ８ａ，８ｂ，８ｃの検出値と、ブーム１ａの基端側の回動軸（ブームピン）から先端側の回動軸（アームピン）までの寸法Ｌｂｍと、アーム１ｂの基端側の回動軸（アームピン）から先端側の回動軸（バケットピン）までの寸法Ｌａｍと、バケット１ｃの基端側の回動軸（バケットピン）から先端部（バケット爪先）までの寸法Ｌｂｋとに基づいて車体座標系におけるバケット１ｃの先端部の座標を演算できる。また、メインＣ／Ｕ２０の記憶装置には、油圧ショベルの周辺の目標地形面の３次元データが記憶されており、メインＣ／Ｕ２０はこの３次元データとバケット１ｃ先端部の座標に基づいて、目標地形面とバケット１ｃ先端部との距離・角度情報を演算し、透明ディスプレイＣ／Ｕ３０に出力する。透明ディスプレイＣ／Ｕ３０の表示画像生成部３１は、メインＣ／Ｕ２０で演算されたその距離・角度情報に基づいて距離・角度画像５１を生成する。
　（視線推定部３２）
　図６は視線推定部３２の処理の流れを示したものである。まず、視線推定部３２は、まず角度センサ８ａ，８ｂ，８ｃからの出力に基づいてフロント作業装置１Ａの各フロント部材１ａ，１ｂ，１ｃの角度を取得し（ステップ３２ａ）、その角度と各フロント部材１ａ，１ｂ，１ｃの寸法（具体的には、上述の寸法Ｌｂｍ，Ｌａｍ，Ｌｂｋ）に基づいてバケット１ｃ先端部における車幅方向の中心点の位置座標を演算する（ステップ３２ｂ）。なお、このときの位置座標は、上部旋回体１ｄの特定の点（例えばブームピンの中心軸の中点）を基準とした車体座標系で表現する。
　次に、視線推定部３２は、ステップ３２ｃにおいて、オペレータが運転室１ｆ内の運転席（座席）に着座したときの頭部の位置座標（頭部位置）を演算する。頭部位置の演算方法としては公知の方法が利用可能である。例えば、頭部位置は、特定の座席位置及び特定の作業姿勢を仮定したときに標準的な体型のオペレータの頭部が位置する座標を演算し、その値を頭部位置の初期値として設定することができる。なお、このとき、基準位置からの座席位置の変位を計測するセンサ（例えばストロークセンサ）の検出値を用いて当該初期値を補正することにより、より正確に頭部位置の推定を行ってもよい。また、マーカーのような特徴的な印をオペレータのヘルメットに複数取り付け、各マーカーの位置座標をモーションキャプチャシステム等で取得することで、さらに高精度な頭部位置の検出を行うことも可能である。
　ステップ３２ｄでは、視線推定部３２は、ステップＳ３２ｂで演算した車体座標系におけるバケット１ｃ先端部の位置座標と、ステップＳ３２ｃで演算した車体座標系におけるオペレータの頭部位置座標とから、図７に示すオペレータの視線ベクトル７１を算出して表示位置演算部３９に出力する（ステップ３２ｅ）。図７はステップ３２ｄで演算される視線ベクトル７１の一例を示したものである。油圧ショベル１のようにフロント作業装置１Ａを備えた作業機械では、オペレータがフロント作業装置１Ａの先端、すなわちバケット１ｃ先端部を注視しながら操作を行うことが想定されるため、ステップＳ３２ｃで演算した頭部位置からステップＳ３２ｂで演算したバケット１ｃ先端部に向かうベクトルを演算することで、作業時のオペレータの視線ベクトル７１を推定することが可能である。
　（視野範囲設定部３３）
　視野範囲設定部３３では、オペレータの視線方向の周囲に規定される入れ子構造の複数の視野範囲（例えば、有効視野（第１視野範囲）、誘導視野（第２視野範囲）、視野範囲外）と、その複数の視野範囲のそれぞれに対応して透明ディスプレイ（表示装置）１１の表示画面上に設定される複数の表示領域（画像表示領域）のそれぞれに表示される表示画像の種類とを設定する。なお、複数の視野範囲の設定と、複数の表示領域のそれぞれに表示する表示画像の種類の設定は、表示画像の表示位置の演算処理とは別に予め行っておき、透明ディスプレイＣ／Ｕ３０の記憶装置に記憶しておいても良い。
　表示画像（作業支援情報）はその種類に応じてオペレータに参照される回数が異なる。例えば、マシンガイダンス機能に関する表示画像（例えば、距離・角度画像５１）のように、オペレータが表示された情報を頻繁に視認する表示画像は、頭部動作を伴わずに視線移動だけで対象を視認可能な視野範囲である有効視野に表示する画像として分類することが好ましい。一方、警告表示に関する表示画像（例えば、エンジン異常警告画像５２）は、マシンガイダンス機能に関する表示画像に比してオペレータが頻繁に視認を行うものではないが、表示がされた場合には、オペレータがその存在を即座に知覚し、状態に応じて適切な対応を行う必要がある。そのため、これらの表示画像はオペレータ注視点の近傍に位置する有効視野に表示する必要性は低く、作業中であってもその存在を知覚することができる誘導視野に表示する画像として分類することが好ましい。また、車体状態や時刻に関する表示画像（例えば、燃料残量画像５３）は、上記２種の表示画像に比してオペレータが視認を行う頻度は低く、作業開始時や作業の合間のように、限られた条件下で視認することが想定される。したがって、通常の作業中に視野に入る煩わしさを低減するために、オペレータの視野（有効視野及び誘導視野）に入らない位置（視野範囲外）へ表示する画像として分類することが好ましい。これらの点を踏まえて、本実施形態では、オペレータが各表示画像を視認する頻度等を考慮し、各表示画像の示す情報の特性に応じた視野範囲（表示領域）に表示されるように設定している。次に図８を用いて本実施形態における視野範囲分類と各視野範囲に表示される表示画像の種類について説明する。
　図８は本実施形態に係る視野範囲設定部３３により設定される視野範囲と、各視野範囲の大きさ（水平角度、垂直角度）と、各視野範囲に対応して透明ディスプレイ１１の表示画面上に設定される複数の表示領域と、各表示領域に表示される表示画像の種類（表示画像名）との関係を示すリストである。本実施形態では、視野範囲として、第１視野範囲、第２視野範囲、視野範囲外の３つの範囲が設定されている。第１視野範囲、第２視野範囲及び視野範囲外は、入れ子構造になっており、視野範囲外は第２視野範囲を内包し、第２視野範囲は第１視野範囲を内包している。但し、各範囲は重複領域が存在しないように設定されており、或る範囲に内包されている範囲は当該或る範囲から除くものとする。例えば、第２視野範囲に表示画像が表示される領域は、第２視野範囲内の領域のうち第１視野範囲を除いた領域となる。透明ディスプレイ１１の表示画面上に設定される複数の表示領域は、第１視野範囲、第２視野範囲及び視野範囲外に対応しており、第１視野範囲に対応する表示領域を第１表示領域、第２視野範囲に対応する表示領域を第２表示領域、視野範囲外に対応する表示領域を視野範囲外表示領域と称する。
　第１視野範囲は、オペレータの視線方向を中心とした最も狭い視野範囲であり、その大きさは有効視野を考慮して決定されている。具体的には、オペレータの視線方向を基準（０度）として、水平面上で－１０度の位置と＋１０度の位置を通過し、かつ、垂直面上で－５度の位置と＋５度の位置を通過する楕円の内部を第１視野範囲としている。第１視野範囲に対応する第１表示領域には、目標地形面とバケット１ｃ先端部の距離と、目標地形面とバケット１ｃ先端部のなす角度を表示する距離・角度画像５１が表示される。
　第２視野範囲は、第１視野範囲を内包する視野範囲であり、第１視野範囲と同様にオペレータの視線方向を中心とする視野範囲である。ただし、第２視野範囲からは第１視野範囲を除くものとする。第２視野範囲の大きさ（外側の輪郭線）は誘導視野を考慮して決定されており、具体的には、オペレータの視線方向を基準（０度）として、水平面上で－４０度の位置と＋４０度の位置を通過し、かつ、垂直面上で－３０度の位置と＋３０度の位置を通過する楕円の内部から第１視野範囲を除いた領域を第２視野範囲としている。第２視野範囲に対応する第２表示領域には、警告表示に関する表示画像が表示され、例えば、エンジン異常警告画像５２、車体異常警告アイコン、周囲作業者接近警告画像等が表示される。
　視野範囲外は、第２視野範囲の外側に設定される視野範囲であり、第１視野範囲及び第２視野範囲のいずれにも属しない視野範囲である。例えば、透明ディスプレイ１１の画面上でオペレータの視線方向に基づいて第１視野範囲と第２視野範囲を決定した場合、第１視野範囲と第２視野範囲のいずれにも属しない画面上の領域が視野範囲外となる。視野範囲外に対応する視野範囲外表示領域には、車体状態や時刻に関する表示画像が表示され、例えば、燃料残量画像５３を含み各種車体に関する状態を示す車体状態アイコン、現在時刻を示す時刻画像、油圧ショベルの稼働時間の積算値を示すアワメータ画像、エンジン冷却水の温度を示す水温（水温計）画像、作動油の温度を示す油温（油温計）画像等が表示される。
　なお、本実施形態では、視野範囲を２つ設定する方法について示したが、情報の特性を踏まえ、３つ以上の視野範囲を設定することも可能である。この場合も各視野範囲は入れ子構造とし、複数の視野範囲において各視野範囲の外縁（外側の輪郭）が規定する面積の狭い視野範囲ほど作業中にオペレータに参照される回数（頻度）が多い表示画像が表示される表示領域に設定する。すなわち、オペレータの視線方向に近い表示領域（視野範囲）ほど参照頻度が多い表示画像が表示されるように設定する。また、オペレータが作業に集中している場合は、誘導視野内への表示であっても表示画像を知覚することが困難であるケースがある。そのため、視野範囲の大きさの設定も本実施形態に示す限りではなく、表示画像の示す情報の重要度等も考慮し、適切な大きさとすることが望ましい。
　（動作範囲記憶部３４）
　動作範囲記憶部３４は、フロント作業装置１Ａの動作し得る範囲（動作範囲）を記憶する。油圧ショベル１では、ブーム１ａ、アーム１ｂ、バケット１ｃがそれぞれ回動をすることで、フロント作業装置１Ａが動作する構成となっている。また、ブーム１ａ、アーム１ｂ、バケット１ｃはそれぞれ機械的な拘束がされており、回動する範囲があらかじめ決められているため、フロント作業装置１Ａの動作範囲を算出できる。動作範囲記憶部３４では、ブーム１ａ、アーム１ｂ、バケット１ｃの回動範囲を表す角度を記憶し、その値を視野範囲外表示領域演算部３５へ出力する。
　（視野範囲外表示領域演算部３５）
　視野範囲外表示領域演算部３５は、動作範囲記憶部３４に記憶されたフロント作業装置１Ａの動作範囲に基づいて運転席に着座したオペレータの視線方向７１が変化し得る範囲を演算し、そのオペレータの視線方向が変化し得る範囲と、複数の視野範囲（第１視野範囲、第２視野範囲）の中で最も面積が広い視野範囲（第２視野範囲）とに基づいて透明ディスプレイ１１の画面上で当該視野範囲（第２視野範囲）が移動し得る範囲を演算し、透明ディスプレイ１１の画面上からその画面上で当該視野範囲（第２視野範囲）が移動し得る範囲を除いた領域を視野範囲外表示領域として演算する。
　本実施形態の視野範囲外表示領域演算部３５では、フロント作業装置１Ａの動作範囲をもとにオペレータの視野範囲外となる表示位置（視野範囲外表示領域）を演算し、それを表示位置演算部３９に出力する。次に視野範囲外表示領域演算部３５による具体的な処理について図９を用いて説明する。
　図９は視野範囲外表示領域演算部３５による具体的な処理を示したものである。まず、ステップ３５ａにおいて、視野範囲外表示領域演算部３５は、動作範囲記憶部３４から出力されるフロント作業装置１Ａの動作範囲の情報に基づいて、その動作範囲内で仰角が最小となる場合（換言すると、バケット１ｃの先端部（爪先）が最も下方に位置する場合）のオペレータの視線ベクトル７１を演算する。なお、視線ベクトル７１が水平面より下を向く場合（すなわち俯角となる場合）は負の仰角として定義し、仰角の符号を負とする。このとき、視線ベクトル７１の演算は、図６に示した視線推定部３２によるステップ３２ｂ～３２ｄの処理に基づいて行い、バケット１ｃ先端部をフロント作業装置１Ａの動作範囲内で仰角が最小となる位置に設定して視線ベクトル７１の仰角を演算する。
　つぎにステップ３５ｂでは、視野範囲外表示領域演算部３５は、視野範囲設定部３３からの情報をもとに、視野範囲設定部３３によって設定される視野範囲のなかで最も大きい視野範囲（本実施形態では第２視野範囲）を選択し、ステップ３５ｃへ進む。なお、ステップ３５ｂで選択される視野範囲は視野範囲設定部３３によって設定される視野範囲のなかで最も外側に位置する視野範囲であると換言できる。
　ステップ３５ｃでは、視野範囲外表示領域演算部３５は、透明ディスプレイ１１の表示画面を含む平面と視線ベクトル７１の交点を注視点として算出し、さらに、ステップＳ３５ｂで選択した視野範囲の大きさに基づいて、表示画面を含む平面上で注視点を中心とした当該視野範囲を表す楕円を求める。すなわち、この楕円が現在の視線ベクトル７１における第２表示範囲の輪郭線に該当する。なお、この楕円は車体座標系で定義される。
　ステップ３５ｄでは、視野範囲外表示領域演算部３５は、ステップＳ３５ｃで求めた車体座標系の楕円を透明ディスプレイ１１の位置や画素サイズを用いて画面座標系へと変換する。画面座標系は、透明ディスプレイ１１上で描画を行うために用いられる座標系であり、一般的なディスプレイでは画素の位置を示す座標値が用いられる。このとき得られた楕円内の領域（第２表示領域）はオペレータの視野範囲となり得るため、視野範囲外表示領域演算部３５は、当該領域をステップ３５ｅにて視野内表示領域として記憶する。
　ステップ３５ｆでは、視野範囲外表示領域演算部３５は、ステップ３５ｃ～３５ｅの処理に用いた視線ベクトル７１の仰角（初回の視線ベクトル７１の仰角はステップＳ３５ａで演算した最小値）がフロント作業装置１Ａの動作範囲内での最大値か否かを判定する。なお、フロント作業装置１Ａの動作範囲内での視線ベクトル７１の仰角の最大値はフローの開始後はじめてステップＳ３５ｆに到達した際に演算しても良いし、ステップ３５ｆに到達する前の任意のステップや図９のフローの開始前に演算しておいても良い。
　ステップ３５ｆで視線ベクトル７１の仰角が最大値ではないと判定された場合は、ステップ３５ｇで仰角に１［ｄｅｇ］加算したときの視線ベクトル７１を演算し、再びステップ３５ｃ～３５ｅを実施する。このとき、ステップ３５ｅでは、これまでに記憶された視野内表示領域を保持したまま、新たに演算された視野内表示領域を加算するように記憶する。なお、ステップ３５ｇで加算する単位角度は１［ｄｅｇ］に限らず、処理による負荷等を考慮して適宜他の値を設定できる。
　一方、ステップ３５ｆで視線ベクトル７１の仰角が最大値であると判定された場合は、ステップ３５ｈにおいて、視野範囲外表示領域を演算する。視野範囲外表示領域は、透明ディスプレイ１１の表示画面の全域から視野内表示領域を減算することによって得られる。
　ステップ３５ｉでは、視野範囲外表示領域演算部３５は、ステップ３５ｈまでの処理によって得られた視野範囲外表示領域を表示位置演算部３９に出力し、一連の処理を終了する。
　なお、本実施形態では、油圧ショベル１を想定し、バケット１ｃ先端部の移動方向を垂直方向に限定した処理について説明を行ったが、水平方向への可動域をもつフロント作業装置１Ａを有する作業機械では、水平方向への動作を考慮した繰り返し処理を行うものとする。また、視野範囲設定部３３で設定された視野範囲の設定値が変更されない限り、視野範囲外表示領域は不変であるため、上記処理の結果を透明ディスプレイＣ／Ｕ内の記憶装置や外部の記憶装置に記憶しておいて、必要なときはその記憶した結果を参照することとし、透明ディスプレイＣ／Ｕ３０の処理周期ごとに演算を行わない構成としてもよい。
　（モニタ位置記憶部３６）
　モニタ位置記憶部３６は、透明ディスプレイ１１に表示されている表示画像の詳細や関連する情報（関連情報）がモニタ１２上で表示される点（「代表点」と称することがある）の位置（代表点位置）を車体座標系の座標で記憶する。本実施形態でモニタ１２は、表示画像が表示される透明ディスプレイ１１（第１表示装置）と共にその関連情報を作業支援情報をとして表示する第２表示装置（他の表示装置）として利用される。なお、モニタ１２上の代表点は１点に限られず、モニタ１２に複数の関連情報が表示される場合には各関連情報と対応するように代表点を複数設けてもよい。また、モニタ１２上の代表点は固定値とせず、例えばモニタＣ／Ｕ５０からの出力に応じて適宜変更を行ってもよい。
　（第１現在表示位置記憶部３７・第２現在表示位置記憶部３８）
　第１現在表示位置記憶部３７及び第２現在表示位置記憶部３８は、後述する表示位置演算部３９が演算した第１表示領域（第１視野範囲）及び第２表示領域（第２視野範囲）における全ての表示画像の表示位置が記憶される部分であり、透明ディスプレイＣ／Ｕ３０の記憶装置内にその記憶領域が確保されている。表示画像の表示位置は、透明ディスプレイ１１の表示画面上に設定される画面座標系における座標値で記憶される。表示位置演算部３９で演算される各表示画像の表示位置が変化した場合は、変化前の座標値を変化後の座標値で更新することにより、記憶部３７，３８に記憶された各表示画像の座標値は常に最新のものに保持される。
　（表示位置演算部３９）
　表示位置演算部３９は、視線推定部３２で推定されたオペレータの視線ベクトル（視線方向）７１に基づいて、視野範囲設定部３３が設定した複数の視野範囲に対応する複数の表示領域を透明ディスプレイ１１の画面上に設定し、透明ディスプレイ１１の画面上に設定されたその複数の表示領域のうち表示画像の種類に対応する表示領域に位置するように表示画像の表示位置を演算する。表示位置演算部３９に演算された表示画像の表示位置は表示制御部４０に出力される。次に本実施形態に係る表示位置演算部３９が実行する処理について図１０を用いて説明する。
　図１０は本実施形態に係る表示位置演算部３９による処理を示すフローチャートである。まずステップ３９ａでは、表示位置演算部３９は、透明ディスプレイ１１に表示する１以上の表示画像の中から１つの表示画像を選択し、その選択された表示画像（以下、「選択表示画像」と称することがある）の種類が第１表示領域（第１視野範囲）、第２表示領域（第２視野範囲）、視野範囲外表示領域（視野範囲外）のいずれの表示領域に表示される画像であるかを判定する。なお、透明ディスプレイ１１に複数の表示画像を表示する場合は、その全ての表示画像の表示位置を図１０のフローチャートによって決定するものとする。
　ステップ３９ｂでは、表示位置演算部３９は、ステップ３９ａの選択表示画像が視野範囲外領域に表示する表示画像であるか否かを判定する。ここで視野範囲外表示領域への表示画像であると判定された場合にはステップ３９ｃへ進み、その表示画像の視野範囲外表示領域内での表示位置（画面座標系の座標値）を決定する（ステップ３９ｃ）。なお、このときの視野範囲外表示領域での表示位置は常に同一の座標値でも良いし、注視点の位置等に応じてその都度演算される座標値でもよい。ステップ３９ｃで決定した座標値はステップ３９ｄにおいて、その選択表示画像の表示位置として表示制御部４０へ出力される。
　一方、ステップ３９ｂで視野範囲外表示領域への表示画像でないと判定された場合（すなわち、第１表示領域と第２表示領域のいずれかに表示される表示画像と判定された場合）には、ステップ３９ｅへと進む。
　ステップ３９ｅ及びステップ３９ｆでは、表示位置演算部３９は、先述の視野範囲外表示領域演算部３５のステップ３５ｃ及びステップ３５ｄ（図９参照）と同様に、現在の視線ベクトル７１に対する透明ディスプレイ１１の表示画面上の表示領域を演算する。すなわち、オペレータの視線ベクトル７１の方向が変化した場合には、ステップ３９ａの判定結果に係る表示領域に対応する表示領域の透明ディスプレイ１１の表示画面上での位置は視線ベクトル７１の変化に応じて変更される。なお、図９の例では第２表示領域（第２視野範囲）のみが演算対象であったが、ここではステップ３９ａでの判定結果に応じて第１表示領域（第１視野範囲）及び第２表示領域（第２視野範囲）のいずれか一方の表示領域が演算対象となる。
　その後、ステップ３９ｇでは、表示位置演算部３９は、選択表示画像の現在の表示位置（前回の表示位置演算時の表示位置）がステップ３９ｆで演算された選択表示画像の種類に対応する表示領域外にあるか否かを判定する。ここで対応する表示領域内であると判定された場合には、ステップ３９ｈにおいて、現在の表示位置をそのまま出力する。すなわち、視線ベクトル７１の方向移動による視野範囲の変化後も、選択表示画像の種類に対応する表示領域内に当該選択表示画像が位置するときには、表示位置演算部３９は、当該選択表示画像の表示位置を保持する。
　一方、ステップ３９ｇの判定で対応する表示領域外であると判定された場合は、ステップ３９ｉへ進み、選択表示画像の詳細や関連する情報（「選択表示画像の関連情報」と称する）がモニタ１２上に表示されているか否かの判定を行う。
　ステップ３９ｉで、選択表示画像の関連情報がモニタ１２に表示されていない場合には、ステップ３９ｊにおいて、表示位置演算部３９は、選択表示画像に対応する表示領域内となるように新しい表示位置を決定し、表示制御部４０へ出力する（ステップ３９ｋ）。すなわち、視線ベクトル７１の方向移動による表示領域の位置の変化後には、選択表示画像の種類に対応する表示領域から当該選択表示画像が外れるときには、表示位置演算部３９は、当該選択表示画像の種類に対応する表示領域内に収まるように当該選択表示画像の新たな表示位置を演算する。なお、新たな表示位置の演算方法としては、例えば、対応する表示領域内へ表示されるような初期表示位置を、注視点位置を基準とした相対位置としてあらかじめ設定しておき、現在の注視点位置から初期表示位置を演算することで新たな表示位置を演算する方法がある。また、バケット１ｃの大きさを透明ディスプレイＣ／Ｕ３０内の記憶装置にあらかじめ記憶しておき、バケット１ｃ現在位置と大きさから、対応する表示領域内で選択表示画像と現実のバケット１ｃの像が重畳しないように新たな表示位置を演算するアルゴリズムを利用してもよい。
　一方、ステップ３９ｉで、選択表示画像の関連情報がモニタ１２に表示されている場合には、ステップ３９ｌへ進む。ステップ３９ｌでは、表示位置演算部３９は、モニタ１２上において選択表示画像の関連情報が表示される代表点位置（モニタ１２に設定された座標系における座標値）をモニタ位置記憶部３６から呼び出し、その代表点位置を透明ディスプレイ１１の表示画面を含む平面上に対して投影（正射影）する。さらにステップ３９ｍで、表示位置演算部３９は、画面座標系において、ステップ３９ｌで投影された代表点と注視点（視線ベクトル７１と代表点を投影した平面との交点）とを結ぶ直線を求める。そして、表示位置演算部３９は、選択表示画像の種類に対応する表示領域内かつステップ３９ｍで得られた直線上となるように当該選択表示画像の新たな表示位置を決定し（ステップ３９ｎ）、その新たな表示位置を表示制御部４０に出力する（ステップ３９ｏ）。このように、モニタ１２上に表示画像の詳細や関連する情報が表示されている場合は、注視点とモニタ１２上の代表点位置とを結ぶ直線上に表示画像を配置することによって、表示画像からモニタ１２への視線移動時間を短縮することが可能となる。
　以上説明したようにステップ３９ｄ，３９ｏ，３９ｋ，３９ｈが完了したら、表示位置演算部３９は図１０に示した一連の処理を終了し、該当する選択表示画像の表示位置演算については次の制御周期まで待機する。ただし、ステップ３９ｏ，３９ｋ，３９ｈで表示制御部４０に出力される選択表示画像の表示位置は、第１現在表示位置記憶部３７及び第２現在表示位置記憶部３８のうち対応する記憶部に記憶される。この表示位置の記憶タイミングは表示位置の演算時以後かつ表示制御部４０への出力時以前であればいつでも良い。なお、透明ディスプレイ１１上に複数の表示画像が表示される場合には、全ての表示画像の表示位置の演算を並列処理しても良い。
　（表示制御部４０）
　表示制御部４０は、表示画像生成部３１で生成された表示画像を、表示位置演算部３９で演算されたその表示画像の表示位置に基づいて、透明ディスプレイ１１へ出力する信号を生成する。これにより表示画像が透明ディスプレイ１１上の決められた表示位置に表示される。
　図１１は本実施形態に係る表示制御部４０が実行する処理のフローチャートである。まず、表示制御部４０は、ステップ４０ａにおいて、表示画像生成部３１で生成された表示画像と、その表示画像の表示位置として表示位置演算部３９で演算された座標値を取得する。
　ステップ４０ｂでは、表示制御部４０は、ステップ４０ａで取得した表示位置が前回の位置から変更されたか否かを判定する。このとき、表示位置の変更が無いと判定された場合は、ステップ４０ｃにおいて、現在表示位置（前回の表示位置）のまま表示画像を出力する。一方、表示位置の変更が有ると判定された場合は、ステップ４０ｄへと進む。
　ステップ４０ｄでは、表示制御部４０は、透明ディスプレイ１１の解像度に基づいて表示画像の新たな表示位置が透明ディスプレイ１１上に表示可能な位置であるか否かの判定を行う。ここで、表示可能であると判定された場合には新たな表示位置に表示画像を出力し、表示不可能であると判定された場合には現在表示位置（前回の表示位置）のまま表示画像を出力し（ステップ４０ｅ）、一連の処理を終了する。
　なお、本実施形態では、表示位置の変更の有無の判定処理（ステップ４０ｂ）と、新たな表示位置の表示可否の判定処理（ステップ４０ｄ）とを表示制御部４０で実行する場合について説明したが、これらの処理は表示位置演算部３９で行っても構わない。この場合には、表示制御部４０は、表示位置演算部３９で演算された表示位置に対象の表示画像を表示する処理のみを実行することとなる。
　（作用・効果）
　上記のように構成された本実施形態に係る油圧ショベルの作用・効果について図面を参照しつつ説明する。ここでは一例として、図５に示す目標地形面－バケット１ｃ先端部の距離・角度画像５１（以下では「距離・角度画像５１」と略することがある）、エンジン異常警告画像５２、及び燃料残量画像５３を表示画像とした場合の動作について説明する。既に説明したとおり、距離・角度画像５１は第１表示領域に、エンジン異常警告画像５２は第２表示領域に、燃料残量画像５３は視野範囲外表示領域に表示される表示画像である。
　１．初期姿勢
　図１２はブーム１ａ、アーム１ｂ、バケット１ｃの回動角がある状態で静止している（以下、「初期姿勢」と称する）ときの透明ディスプレイ１１の表示状態を示したものである。距離・角度画像５１及びエンジン異常警告画像５２は、表示位置演算部３９において、それぞれ視野範囲設定部３３で設定された各表示画像に対応する視野範囲（注視点１２１を中心とする楕円で規定される第１表示領域１２２及び第２表示領域１２３）内となるように表示位置が決定され、表示されている。一方、燃料残量画像５３は、視野範囲外表示領域演算部３５によって演算された視野範囲外表示領域内となる位置に表示位置が設定されている（視野範囲外表示領域は透明ディスプレイ１１の表示画面から第１表示領域１２２，第２表示領域１２３を除外した領域である。）。なお、このとき距離・角度画像５１とエンジン異常警告画像５２は、それらの詳細又は関連する情報がモニタ１２上に表示されていないため、それぞれの表示領域１２２，１２３内で表示位置を任意に決定できる（すなわち、モニタ１２上の関連情報の表示位置による表示位置の拘束を受けない。）。
　２．初期姿勢からバケットを０．２５［ｍ］下げたとき
　図１３は、図１２の初期姿勢状態から、バケット１ｃ位置を鉛直方向に０．２５［ｍ］下げたときの透明ディスプレイ１１の表示状態を示したものである。この場合、初期姿勢での注視点１３１の位置を基準とすると、その位置１３１からのバケット１ｃ先端部（注視点）の移動変位は小さいため、距離・角度画像５１とエンジン異常警告画像５２の表示位置は、いずれも依然としてそれぞれの表示領域（第１表示領域１２２及び第２表示領域１２３）内に表示されており、表示位置の変更はされない。このように、本実施形態ではバケット１ｃ位置の微小な変位に対しては表示画像の表示位置の変更が行われないため、表示画像の頻繁な表示位置の変更によりオペレータが煩わしさを感じることを防止できる。
　３．初期姿勢からバケットを１．４５［ｍ］下げたとき
　図１４は、図１２の初期姿勢状態から、バケット１ｃ位置を鉛直方向に１．４５［ｍ］下げたときの透明ディスプレイ１１の表示状態を示したものである。この場合、初期姿勢での注視点１３１の位置からの変位が大きく、初期姿勢での距離・角度画像５１の表示位置１４１は、対応する表示領域である第１表示領域１２２から外れてしまう。そのため、表示位置演算部３９は、最新の注視点（バケット１ｃ）１２１の位置を基準とした第１表示領域１２２内に配置されるように距離・角度画像５１の新たな表示位置を演算する。一方、エンジン異常警告画像５２は、注視点１２１の移動後も第２表示領域１２３内に収まっていることから、表示位置は変更されない。こうして、表示画像がその種類に応じて設定された表示領域から外れた場合にのみ、その表示位置の変更を行うことにより、表示画像の種類に応じた適切な表示位置を維持したまま作業を行うことができる。
　４．初期姿勢でモニタ１２に関連情報が表示されているとき
　図１５は、図１２の初期姿勢状態において、モニタ１２上にエンジン異常警告画像５２の関連情報であるエンジン異常警告の詳細を示す情報が表示されている場合の表示状態を示したものである。このとき、オペレータは透明ディスプレイ１１上でエンジン異常状態にあることを認知し、より詳細な情報をモニタ１２上で確認することが想定される。そのため、表示位置演算部３９のステップ３９ｌ～３９ｏの処理に従い、注視点１２１とモニタ１２上の代表点とを結ぶ直線１５２上かつ第２表示領域１２３内にエンジン異常警告画像５２を表示する。これにより透明ディスプレイ１１でエンジン異常警告画像５２を認識した後にモニタ１２上の関連情報を確認する際の視線移動の時間を短縮することが可能である。
　５．新たな表示位置が透明ディスプレイ１１の表示画面外のとき
　図１６は、図１２の初期姿勢状態から、鉛直上方向にバケット１ｃの位置を一定以上の距離だけ移動させたときの表示状態を示したものである。このとき、距離・角度画像５１は第１表示領域１２２から外れるため、前述の処理に従い、表示位置演算部３９は、距離・角度画像５１の新たな表示位置１６１として第１表示領域１２２内の初期表示位置を演算する。しかし、その新たな表示位置１６１は透明ディスプレイ１１の表示画面外に位置するため、表示制御部４０のステップ４０ｃの処理に従い、距離・角度画像５１は、初期姿勢時の表示位置を維持する。このように、注視点１２１の移動によって表示画像の新たな表示位置１６１が透明ディスプレイ１１の表示画面外となった場合に、例えば、表示画面内となる範囲で新たな表示位置１６１を逐次演算しようとする（例えば、透明ディスプレイ１１の表示画面内、かつ、バケット１ｃ先端部との距離が最小となる表示位置を新たな表示位置として演算する等）と、バケット１ｃの動作に応じて透明ディスプレイ１１での表示位置が頻繁に切り替わり、煩わしさを招く虞がある。しかしながら、本実施形態では、新たな表示位置１６１が、対応する表示領域内、かつ、透明ディスプレイ１１の表示画面内となるまでの間は、直近の表示位置を継続するため、バケット１ｃ位置が透明ディスプレイ１１の上方に位置するような作業においても表示位置の切り替わりが頻繁に起こることを防止でき、表示位置の頻繁な切り替わりによりオペレータが煩わしさを感じることを防止できるので作業効率を向上できる。
　６．まとめ
　以上に説明したように、本実施形態に係る油圧ショベルでは、バケット１ｃ先端部（オペレータの視線方向）の移動と共に変化する表示領域を透明ディスプレイ１１上に設定し、バケット１ｃ先端部の移動により作業支援情報（表示画像）の表示位置が対応する表示領域から外れた場合にのみ、その表示位置を対応する表示領域内へと変更することとした。これにより、作業支援情報の視認に要する視線移動の時間を短縮するとともに、頻繁に表示位置が変更されることで生じる煩わしさを低減することが可能である。また、視野範囲（表示領域）を複数設定し、表示する作業支援情報の特性に適した視野範囲（表示領域）を選択することにより、バケット近傍に表示する作業支援情報の数を最小限に留めることができ、表示される情報の増加に伴うバケット近傍の視認性低下を緩和することが可能である。さらに、透明ディスプレイ１１における特定の表示画像を、注視点１２１とモニタ１２との直線上に表示することで、透明ディスプレイ１１からモニタ１２への視線移動時間を短縮し、作業効率を向上することが可能である。
　なお、本発明は、上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。
　また、上記の制御装置（Ｃ／Ｕ１０，２０，３０，５０）に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また、上記の制御装置に係る構成は、演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該制御装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ（フラッシュメモリ、ＳＳＤ等）、磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク、光ディスク等）等に記憶することができる。
　また、上記の各実施の形態の説明では、制御線や情報線は、当該実施の形態の説明に必要であると解されるものを示したが、必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
　１Ａ…フロント作業装置，１Ｂ…車体，１ａ…ブーム，１ｂ…アーム，１ｃ…バケット，１ｄ…上部旋回体，１ｅ…下部走行体，１ｆ…運転室，８ａ、８ｂ、８ｃ…角度センサ（姿勢センサ），１１…透明ディスプレイ（表示装置（第１表示装置）），１２…モニタ（他の表示装置（第２表示装置）），２０…メインＣ／Ｕ，３０…透明ディスプレイＣ／Ｕ（表示制御装置），３１…表示画像生成部，３２…視線推定部，３３…視野範囲設定部，３４…動作範囲記憶部，３５…視野範囲外表示領域演算部，３６…モニタ位置記憶部，３７…第１現在表示位置記憶部，３８…第２現在表示位置記憶部，３９…表示位置演算部，４０…表示制御部，５０…モニタＣ／Ｕ，７１…視線ベクトル，８１…視野範囲リスト，１２１…注視点，１２２…第１表示領域，１２３…第２表示領域，１２１…現在のバケット先端部（注視点）の位置，１３１…初期姿勢時のバケット先端部（注視点）の位置，１４１…初期姿勢時の目標地形面‐バケット先端部の距離・角度表示の位置

Claims (5)

  1. 　作業機械本体に取り付けられた作業装置と、
    　前記作業装置の姿勢を検出する姿勢センサと、
    　オペレータに提供される作業支援情報を前記作業装置の実際の像と重ね合わせて表示可能な表示装置と、
    　前記作業支援情報を示す表示画像の前記表示装置における表示位置を決定し、その表示位置に前記表示画像を表示する表示制御装置とを備えた作業機械において、
    　前記表示制御装置は、
    　　前記姿勢センサで検出された前記作業装置の姿勢に基づいてオペレータの視線方向を推定し、
    　　前記推定されたオペレータの視線方向を基準として前記表示装置の画面上に複数の表示領域を設定し、前記複数の表示領域のうち前記表示画像の種類に対応する表示領域に位置するように前記表示画像の表示位置を演算し、
    　　前記オペレータの視線方向の変化により前記表示装置の画面上における前記複数の表示領域の位置が変化した場合に、その変化後も前記表示画像の種類に対応する表示領域内に前記表示画像が位置するときには前記表示画像の表示位置を保持し、その変化後には前記表示画像の種類に対応する表示領域から前記表示画像が外れるときには前記表示画像の種類に対応する表示領域内に収まるように前記表示画像の新たな表示位置を演算することを特徴とする作業機械。
  2. 　請求項１の作業機械において、
    　前記複数の表示領域には、前記オペレータの視線方向の周囲に規定される第１視野範囲に対応する第１表示領域と、前記第１視野範囲を内包する第２視野範囲に対応する第２表示領域とが含まれており、
    　前記第１表示領域には第１の種類の表示画像が表示され、前記第２表示領域内の領域のうち前記第１表示領域を除いた領域には第２の種類の表示画像が表示されることを特徴とする作業機械。
  3. 　請求項１の作業機械において、
    　前記表示制御装置は、前記作業装置の動作し得る範囲と前記複数の表示領域とに基づいて前記表示装置の画面上で前記複数の表示領域が移動し得る範囲を演算し、前記表示装置の画面上から前記表示装置の画面上で前記複数の表示領域が移動し得る範囲を除いた領域を視野範囲外表示領域として演算し、
    　前記視野範囲外表示領域には、第３の種類の表示画像が表示されるように設定されており、
    　前記表示制御装置は、前記視野範囲外表示領域内に位置するように前記第３の種類の表示画像の表示位置を演算することを特徴とする作業機械。
  4. 　請求項１の作業機械において、
    　前記複数の表示領域ごとに前記表示画像の表示位置が予め決定されており、
    　前記表示制御装置は、前記オペレータの視線方向の変化により前記表示装置の表示画面上で前記複数の表示領域の位置が変化した場合に、前記表示画像の種類に対応する表示領域から前記表示画面が外れるときであって、前記表示画像の前記新たな表示位置として演算される前記予め決定された表示位置が前記表示画面の表示領域外のときには、前記表示画像の表示位置を保持することを特徴とする作業機械。
  5. 　請求項１の作業機械において、
    　前記表示画像の関連情報を表示する他の表示装置をさらに備え、
    　前記表示制御装置は、前記他の表示装置上において前記関連情報が表示される位置と、前記オペレータの視線方向と前記表示装置の表示画面との交点とを結ぶ直線上に位置するように前記表示画像の表示位置を演算することを特徴とする作業機械。
PCT/JP2020/004168 2019-03-13 2020-02-04 作業機械 WO2020183987A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217005190A KR102505529B1 (ko) 2019-03-13 2020-02-04 작업 기계
EP20769317.7A EP3940156B1 (en) 2019-03-13 2020-02-04 Work machine
US17/275,223 US11447934B2 (en) 2019-03-13 2020-02-04 Work machine
CN202080004721.3A CN112601867B (zh) 2019-03-13 2020-02-04 作业机械

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019046516A JP7201486B2 (ja) 2019-03-13 2019-03-13 作業機械
JP2019-046516 2019-03-13

Publications (1)

Publication Number Publication Date
WO2020183987A1 true WO2020183987A1 (ja) 2020-09-17

Family

ID=72426216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004168 WO2020183987A1 (ja) 2019-03-13 2020-02-04 作業機械

Country Status (6)

Country Link
US (1) US11447934B2 (ja)
EP (1) EP3940156B1 (ja)
JP (1) JP7201486B2 (ja)
KR (1) KR102505529B1 (ja)
CN (1) CN112601867B (ja)
WO (1) WO2020183987A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220129323A (ko) 2021-03-16 2022-09-23 주식회사 엘지에너지솔루션 전지 모듈 및 이를 포함하는 전지팩

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6253417B2 (ja) * 1981-12-24 1987-11-10 Matsushita Electric Ind Co Ltd
JP3923747B2 (ja) * 2001-04-03 2007-06-06 スズキ株式会社 二輪車用ヘルメットマウントディスプレイシステム及びその表示制御方法
JP2017115492A (ja) 2015-12-25 2017-06-29 株式会社小松製作所 作業車両および表示制御方法
WO2018110045A1 (ja) * 2016-12-14 2018-06-21 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法及び制御プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3455369B2 (ja) * 1996-06-26 2003-10-14 日立建機株式会社 建設機械のフロント制御装置
DE602005024754D1 (de) * 2004-09-28 2010-12-30 Agco Sa Steuersystem für einen Lader.
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
JP6253417B2 (ja) * 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
WO2014185118A1 (ja) * 2014-02-26 2014-11-20 株式会社小松製作所 作業車両
US9297145B2 (en) * 2014-05-01 2016-03-29 Caterpillar Inc. Excavation system providing linkage placement training
US9508137B2 (en) * 2014-05-02 2016-11-29 Cisco Technology, Inc. Automated patron guidance
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization
JP6443677B2 (ja) * 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
JP6590691B2 (ja) * 2015-12-25 2019-10-16 株式会社小松製作所 作業車両および表示制御方法
JP6808377B2 (ja) * 2016-06-27 2021-01-06 住友建機株式会社 ショベルの表示装置
CN110115029B (zh) * 2017-01-10 2021-07-16 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、记录介质
WO2018160921A1 (en) * 2017-03-03 2018-09-07 Caterpillar Trimble Control Technologies Llc Augmented reality display for material moving machines
JP2018150017A (ja) 2017-03-15 2018-09-27 三菱電機株式会社 ヘッドアップディスプレイ装置を制御する表示制御装置
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
SE541180C2 (en) * 2017-04-03 2019-04-23 Cargotec Patenter Ab Driver assistance system for a vehicle provided with a crane using 3D representations
US10521020B2 (en) * 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments
US20190161942A1 (en) * 2017-11-24 2019-05-30 Novatron Oy Controlling earthmoving machines
US10544567B2 (en) * 2017-12-22 2020-01-28 Caterpillar Inc. Method and system for monitoring a rotatable implement of a machine
FR3077900B1 (fr) * 2018-02-12 2020-01-17 Thales Vision peripherique dans une interface homme-machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6253417B2 (ja) * 1981-12-24 1987-11-10 Matsushita Electric Ind Co Ltd
JP3923747B2 (ja) * 2001-04-03 2007-06-06 スズキ株式会社 二輪車用ヘルメットマウントディスプレイシステム及びその表示制御方法
JP2017115492A (ja) 2015-12-25 2017-06-29 株式会社小松製作所 作業車両および表示制御方法
WO2018110045A1 (ja) * 2016-12-14 2018-06-21 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法及び制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3940156A4

Also Published As

Publication number Publication date
US11447934B2 (en) 2022-09-20
EP3940156B1 (en) 2024-07-03
KR20210034064A (ko) 2021-03-29
CN112601867A (zh) 2021-04-02
JP7201486B2 (ja) 2023-01-10
JP2020148005A (ja) 2020-09-17
KR102505529B1 (ko) 2023-03-03
EP3940156A4 (en) 2022-12-21
CN112601867B (zh) 2022-02-25
EP3940156A1 (en) 2022-01-19
US20220049476A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
EP3597831B1 (en) Construction machinery
JP6068730B2 (ja) 作業機械、及び作業機械の作業機パラメータ補正方法
JP5873607B1 (ja) 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法
KR101815268B1 (ko) 건설 기계의 표시 시스템 및 그 제어 방법
JP5841300B1 (ja) 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法
US20180313062A1 (en) Shovel
CN114164888B (zh) 液压挖掘机
JP7151392B2 (ja) 建設機械の遠隔操作装置
KR102244934B1 (ko) 건설 기계
CN112639226B (zh) 校正作业支援系统
JPWO2018043299A1 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
JP6454383B2 (ja) 建設機械の表示システムおよびその制御方法
KR20190034648A (ko) 작업 기계
WO2020183987A1 (ja) 作業機械
US20210395982A1 (en) System and method for work machine
JP7039537B2 (ja) 作業機械
JP2021055302A (ja) 作業機械
JP6860471B2 (ja) 作業機械
JP2021156000A (ja) 作業機械
JP2023150952A (ja) 作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769317

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217005190

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020769317

Country of ref document: EP

Effective date: 20211013