WO2020149409A1 - 作業機械の制御装置、作業機械、及び作業機械の制御方法 - Google Patents

作業機械の制御装置、作業機械、及び作業機械の制御方法 Download PDF

Info

Publication number
WO2020149409A1
WO2020149409A1 PCT/JP2020/001576 JP2020001576W WO2020149409A1 WO 2020149409 A1 WO2020149409 A1 WO 2020149409A1 JP 2020001576 W JP2020001576 W JP 2020001576W WO 2020149409 A1 WO2020149409 A1 WO 2020149409A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work machine
control device
screen
state
Prior art date
Application number
PCT/JP2020/001576
Other languages
English (en)
French (fr)
Inventor
祥人 熊倉
考志 西畑
大毅 有松
健太郎 高山
亮平 長谷川
純己 入江
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to DE112020000195.4T priority Critical patent/DE112020000195T5/de
Priority to KR1020217019105A priority patent/KR102568232B1/ko
Priority to CN202080007685.6A priority patent/CN113272501B/zh
Priority to US17/417,202 priority patent/US11941313B2/en
Publication of WO2020149409A1 publication Critical patent/WO2020149409A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/3604Devices to connect tools to arms, booms or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Definitions

  • the present invention relates to a work machine control device, a work machine, and a work machine control method.
  • the present application claims priority to Japanese Patent Application No. 2019-007383 filed in Japan on January 18, 2019, the content of which is incorporated herein by reference.
  • Patent Document 1 discloses a work machine including a detachable attachment.
  • the attachment is, for example, a bucket, a breaker, or the like.
  • the work machine determines whether or not the attachment has the sensor based on information about the attachment including information about the attachment having a sensor and information about the attachment not having the sensor. Then, when the determination unit determines that the attachment has the sensor, it determines that an abnormality has occurred when the signal from the sensor cannot be received.
  • the operator needs to change the settings of the control device mounted on the work machine.
  • the operator operates the monitor device installed in the cab to change the setting.
  • the operator needs to perform a screen transition of “Bucket Configuration” ⁇ “Bucket Exchange” a plurality of times when changing the settings accompanying the attachment exchange.
  • An object of the present invention is to provide a work machine control device, a work machine, and a work machine control method capable of changing settings by a simple operation.
  • the work machine control device includes a position designation receiving unit that specifies a designation of a position with respect to the state image displayed on the display panel, and a part image that forms a part of the state image.
  • a screen control unit that performs screen control according to the image displayed at the specified position.
  • the setting can be changed by a simple operation.
  • FIG. 1 is a diagram showing a structure of a work machine according to the first embodiment.
  • the work machine 1 which is a hydraulic excavator, excavates earth and sand at a work site or the like to level the ground.
  • a work machine 1 which is a hydraulic excavator includes a lower traveling body 11 for traveling, and an upper revolving body 12 installed above the lower traveling body 11 and capable of revolving.
  • the upper swing body 12 is provided with a driver's cab 12A, a work machine 12B, and two GNSS antennas N1 and N2.
  • the undercarriage 11 has a left crawler track CL and a right crawler track CR.
  • the work machine 1 advances, turns, and moves backward by the rotation of the left crawler belt CL and the right crawler belt CR.
  • the cab 12A is a place where the operator of the work machine 1 boards, operates, and operates.
  • the cab 12A is installed, for example, on the left side portion of the front end portion of the upper swing body 12.
  • the control device 2 is mounted in the cab 12A of the work machine 1.
  • the work machine 12B includes a boom BM, an arm AR, and a bucket BK.
  • the boom BM is attached to the front end of the upper swing body 12.
  • An arm AR is attached to the boom BM.
  • a bucket BK is attached to the arm AR.
  • a boom cylinder SL1 is attached between the upper swing body 12 and the boom BM.
  • the boom BM can be operated with respect to the upper swing body 12 by driving the boom cylinder SL1.
  • An arm cylinder SL2 is attached between the boom BM and the arm AR. By driving the arm cylinder SL2, the arm AR can be operated with respect to the boom BM.
  • a bucket cylinder SL3 is attached between the arm AR and the bucket BK. By driving the bucket cylinder SL3, the bucket BK can operate with respect to the arm AR.
  • the above-described upper swing body 12, boom BM, arm AR, and bucket BK included in the work machine 1 that is a hydraulic excavator are one aspect of the movable portion of the work machine 1.
  • the work machine 1 according to the present embodiment has been described as having the above configuration, but in other embodiments, the work machine 1 does not necessarily have to have all of the above configurations.
  • the work machine 1 according to another embodiment may not include the GNSS antennas N1 and N2.
  • FIG. 2 is a diagram showing a configuration of a driver's cab of the work machine according to the first embodiment.
  • the operator cab 12A is provided with operation levers L1 and L2, foot pedals F1 and F2, and travel levers R1 and R2.
  • the operation lever L1 and the operation lever L2 are arranged on the left and right of the seat ST in the cab 12A.
  • the foot pedal F1 and the foot pedal F2 are arranged in the driver's cab 12A, in front of the seat ST, and on the floor surface.
  • the operation lever L1 arranged on the left side toward the front of the operator's cab is an operation mechanism for performing the swing operation of the upper swing body 12 and the excavation/dump operation of the arm AR.
  • the operation lever L2 arranged on the right side toward the front of the operator's cab is an operation mechanism for performing the excavation/dump operation of the bucket BK and the raising/lowering operation of the boom BM.
  • the traveling levers R1 and R2 are operation mechanisms for controlling the operation of the lower traveling body 11, that is, the traveling control of the work machine 1.
  • the traveling lever R1 arranged on the left side toward the front of the cab corresponds to the rotational drive of the left crawler belt CL of the lower traveling body 11.
  • the traveling lever R2 arranged on the right side toward the front of the cab corresponds to the rotational drive of the right crawler belt CR of the lower traveling body 11.
  • the foot pedals F1 and F2 are interlocked with the travel levers R1 and R2, respectively, and the travel can be controlled by the foot pedals F1 and F2.
  • the control device 2 is installed on the front right side toward the front of the cab.
  • the function of the control device 2 will be described in detail.
  • the control device information providing device 2 may be installed on the front left side or the like toward the front of the cab.
  • FIG. 3 is a diagram showing a functional configuration of the control device 2 according to the first embodiment.
  • the control device 2 includes a CPU 20, a memory 21, a display panel 22, a touch sensor 23, a communication interface 24, and a storage 25.
  • the CPU 20 may have any form as long as it is similar to FPGA, GPU, or the like.
  • the CPU 20 is a processor that controls the entire operation of the control device 2. Various functions of the CPU 20 will be described later.
  • the memory 21 is a so-called main storage device. Instructions and data necessary for the CPU 20 to operate based on a program are loaded in the memory 21.
  • the display panel 22 is a display device capable of visually displaying information, and is, for example, a liquid crystal display or an organic EL display.
  • the touch sensor 23 is an input device formed integrally with the display panel 22 and capable of designating the position of the image displayed on the display panel 22. Note that in other embodiments, the input device is not limited to the touch sensor, and may be an input device other than the touch sensor.
  • the communication interface 24 is a communication interface for communicating with and an external server.
  • the storage 25 is a so-called auxiliary storage device, and is, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.
  • the CPU 20 operates based on a predetermined program, and thus exerts the functions of 200, the position designation receiving unit 201, the type identifying unit 202, and the screen control unit 203.
  • the above-mentioned predetermined program may be a program for realizing a part of the function to be exerted by the control device 2.
  • the program may exert a function by a combination with another program already stored in the storage 25, or a combination with another program installed in another device.
  • the control device 2 may include a custom LSI (Large Scale Integrated Circuit) such as a PLD (Programmable Logic Device) in addition to or instead of the above configuration.
  • PLD Physical Driver Defined Device
  • PAL Programmable Array Logic
  • GAL Generic Array Logic
  • CPLD Complex Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the display processing unit 200 generates a signal for displaying a state image showing the state of the work machine 1 on the display panel 22.
  • the display panel 22 displays the state image based on the signal generated by the display processing unit 200.
  • the state image showing the state of the work machine 1 is, for example, an image showing the operating state of the movable part of the work machine 12B and the positional relationship between the work machine 1 and the surrounding terrain.
  • the state image is sequentially updated and changed as the state of the work machine 1 changes. The operator of the work machine 1 operates and operates the work machine 1 while visually checking the state image displayed on the display panel 22.
  • the position designation receiving unit 201 receives designation of a position for the state image displayed on the display panel 22.
  • the position designation receiving unit 201 acquires the touch position on the display panel 22 through the touch sensor 23.
  • the position designation receiving unit 201 acquires the position of the mouse cursor when the click operation is performed.
  • the type identifying unit 202 identifies the type of the part image displayed at the position designated by the operator by touching, among the part images forming part of the state image.
  • the part images forming the state image and their types will be described later.
  • Touch is, for example, a tap operation of tapping a certain point on the display panel 22.
  • the screen control unit 203 controls the part image displayed at the specified position.
  • the screen control unit 203 performs screen control according to the type specified by the type specifying unit 202.
  • the screen control is not limited to the process of actually reflecting the change of the setting, but includes the process of displaying various menu screens such as the attachment selection menu image M1 described later in the process of changing the setting.
  • control device 2 according to the first embodiment is formed integrally with the display panel 22, but is not limited to this aspect in other embodiments.
  • the control device 2 according to another embodiment may have a mode in which the display panel 22 and the other components are separately configured. That is, the display panel 22 is not an essential component of the control device 2.
  • FIG. 4 is a diagram showing a processing flow of the control device according to the first embodiment.
  • FIG. 5 is a diagram showing an example of a state image according to the first embodiment.
  • a specific flow of processing performed by the control device 2 will be described in detail with reference to FIGS. 4 and 5.
  • the process flow shown in FIG. 4 is executed after the controller 2 is powered on by the operator. It should be noted that the control device 2 may be automatically activated when the power of the work machine 1 is turned on.
  • the display processing unit 200 of the CPU 20 generates a signal to sequentially execute the display and update processing of the state image (step S00).
  • the state image displayed and updated by the signal generated by the display processing unit 200 will be described in detail with reference to FIG.
  • the state image G includes a side view image G1, an overhead view display image G2, a bucket front image G3, and a guidance image G4.
  • the side view image G1, the bird's-eye view image G2, and the bucket front image G3 are all the current operating state of the movable part of the work machine 1, for example, the posture of the boom BM, the arm AR, and the bucket BK, and the surrounding terrain. It is a figure which shows a positional relationship, and has shown the state seen from a respectively different viewpoint.
  • the side view image G1 is a side view image of the work machine 1 and its surrounding terrain, and is a work machine model image G10 showing an operating state of the work machine 1 seen from the side, and a vertical cross section of the surrounding terrain of the work machine 1.
  • a topographic image G11 indicating The bird's-eye view display image G2 is a bird's-eye view image of the work machine 1 and its surrounding terrain.
  • the bucket front image G3 is a front display image of the bucket BK and its surrounding terrain, and is a work machine model image G30 showing the operating state of the bucket BK viewed from the front and a terrain showing a cross section of the surrounding terrain of the bucket BK.
  • an image G31 may be a design surface or an existing terrain.
  • the work machine model images G10 and G20 are configured by a combination of element images that reproduce the positions and postures of the boom BM, the arm AR, and the bucket BK of the work machine 1.
  • the attachment image G101 included in the work machine model image G10 of the side view image G1 is one of the element images that reproduce the position and orientation of the bucket BK.
  • the CPU 20 of the control device 2 uses the sensors attached to each of the cylinders SL1, SL2, SL3 or the angle sensor such as IMU to operate the movable parts of the work machine 1, that is, the upper swing body 12
  • the angle of the boom BM with respect to the arm, the angle of the arm AR with respect to the boom BM, and the angle of the bucket BK with respect to the arm AR are calculated.
  • the position designation receiving unit 201 applies the calculation result of the operation state of each movable unit to each element image of the work machine model images G10, G20, and G30. As a result, the shape of each work machine model G10, G20, G30 changes in conjunction with the actual operation of the movable part of the work machine 1.
  • the storage 25 of the control device 2 has the terrain data acquired as three-dimensional data recorded in advance.
  • the CPU 20 displays each terrain image G11, G21, G31 based on this terrain data and the positioning information of the work machine 1 based on the GPS antennas G1, G2.
  • each movable part of the work machine 1 is recorded in advance.
  • the shape, connection position, size and the like of each movable part of the work machine 1 will be also referred to as specification information below.
  • the CPU 20 calculates the distance d from the cutting edge of the bucket BK to the design surface by combining the specification information of the work machine 1 in addition to the calculation result of the operating state of each movable part and the terrain data.
  • the distance d may be a distance from a portion other than the blade edge of the bucket BK to the design surface.
  • the screen configuration of the state image G is not limited to the mode shown in FIG. 5, and may be displayed in various screen configurations.
  • the state image G shown in FIG. 5 is supposed to include a side view image G1, an overhead view display image G2, and a bucket front image G3 by dividing one screen into three, but in another embodiment, one screen is displayed. May be divided into two to include only the side view image G1 and the overhead view display image G2.
  • the screen configuration may be only the side view image G1, the bird's eye view display image G2, or the bucket front image G3.
  • the mode of such screen division and the type of screen to be displayed may be freely customizable by the operator.
  • the background image G0 is a background common to the side view image G1, the bird's-eye view display image G2, and the bucket front image G3.
  • the guidance image G4 is an aspect of an image showing the positional relationship between the work machine 1 and the surrounding topography, and specifically, is a diagram schematically showing the distance between the blade edge of the bucket BK and the ground. As shown in FIG. 5, the guidance image G4 is composed of a plurality of index images G40 arranged in the vertical direction of the state image G. The index image G40 is displayed in color or colorless, and the lowest index image G40 among the color-displayed index images G40 corresponds to the blade edge position of the bucket BK.
  • the index image G40 with the reference position image G41 corresponds to the design surface.
  • the index image G40 above the index image G40 provided with the reference position image G41 corresponds to a position higher than the design surface.
  • the index image G40 below the index image G40 provided with the reference position image G41 corresponds to a position lower than the design surface.
  • An interval Id between the lowermost one of the index images G40 displayed in color and the index image G40 provided with the reference position image G41 corresponds to the interval between the blade edge of the bucket BK and the design surface. That is, the color-displayed index image G40 is determined based on the above-described calculation result of the interval d.
  • the index image G40 below the index image G40 with the reference position image G41 is displayed in color.
  • the color of the index image G40 when displayed in color is different depending on the distance between the blade edge of the bucket BK and the design surface.
  • the guidance image G4 according to the present embodiment has been described as an image in which the positional relationship between the cutting edge of the bucket BK and the design surface is visually confirmed by the index image G40 as described above, but in other embodiments, the guidance image G4 is used. G4 is not limited to this example.
  • the guidance image G4 according to another embodiment may be a facing compass that guides whether or not the specific surface shown on the design surface and the working machine 12B are facing each other.
  • the position designation receiving unit 201 of the CPU 20 determines whether or not a touch, that is, a position designation for the state image has been received from the operator (step S01). When the touch is not received from the operator (step S01; NO), the CPU 20 returns to step S00 and updates the state image G to reflect the operation state of the work machine 1. On the other hand, when the touch is accepted from the operator (step S01; YES), the position designation accepting unit 201 identifies the position of the touch on the state image displayed on the display panel 22.
  • the type identifying unit 202 of the CPU 20 identifies the type of the part image displayed at the touch position (step S02).
  • the part image is an image forming a part of the state image G displayed on the display panel, and in the present embodiment, the work machine model image G10, the guidance image G4, and the background image G0. is there.
  • the work machine model image G10 is composed of a plurality of subdivided part images
  • an attachment image G101 is one mode of the part images constituting the work machine model.
  • the display position, the display range, and the like of the part image change according to the change of the state of the work machine 1. For example, the display positions of the work machine model image G10 and the attachment image G101 change according to the operation of the work machine 1.
  • the color of the guidance image G4 displayed in the index image G40 changes depending on the positional relationship between the blade edge of the bucket BK and the design surface.
  • the specific processing of the type identifying unit 20 is as follows. First, when the touch position is specified by the position designation receiving unit 201, the type specifying unit 20 acquires coordinate information (X, Y) indicating the position from the position designation receiving unit 201. At the time of acquiring the coordinate information (X, Y), the type identifying unit 20 acquires which position and which part image is arranged in which region in the state image G at that time. Then, the type identifying unit 20 identifies which of the work machine model image G10, the guidance image G4,... Is the part image displayed in the acquired coordinate information (X, Y). In this way, the type identifying unit 20 identifies the type of the part image displayed in the current state image G at the touched position.
  • step S03 the screen control unit 203 performs control according to the type specified in step S02 (step S03).
  • FIGS. 6 to 11 are diagrams for explaining the function of the screen control unit according to the first embodiment.
  • steps S01 to S03 by the screen control unit 203 will be described in detail with reference to FIGS.
  • [Attachment image] 6 and 7 are diagrams for explaining screen control when the type of the part image is the attachment image G101.
  • the state image G is displayed on the display panel 22 (step S10 in FIG. 6).
  • the operator touches the attachment image G101 of the work machine model image G10 included in the side view image G1.
  • the screen control unit 203 transitions the image displayed on the display panel 22 from the state image G to the attachment selection menu image M1 (step S11 in FIG. 6).
  • the attachment image G101 and the transition destination screen are linked, and when the type specifying unit 202 identifies the attachment image G101, the screen control unit 203 transitions to the linked attachment selection menu image M1.
  • selection button images B1, B2, B3 corresponding to a plurality of attachments are displayed.
  • the selection button image B1 corresponds to, for example, the current bucket
  • the selection button B2 corresponds to, for example, the bucket A
  • the selection button B3 corresponds to, for example, a breaker. is there.
  • the operator touches and selects one of the selection button images B1 to B3 displayed on the attachment selection menu image M1 that corresponds to the replacement attachment.
  • the screen control unit 203 transitions the image displayed on the display panel 22 from the attachment selection menu image M1 to the state image G (step S12 in FIG. 7).
  • the state image G displayed in step S12 reflects the attachment settings after replacement. Therefore, the state image G shown in FIG. 7 displays the attachment image G101a showing the position and orientation of the attachment after replacement.
  • FIG. 7 shows an example in which the bucket is changed to a larger size than the bucket BK before screen control.
  • the CPU 20 recalculates the distance d and the distance Id between the blade edge of the attachment and the design surface based on the specification information on the bucket after the replacement.
  • the screen control unit 203 performs a process of changing the currently displayed attachment image to another selected attachment image.
  • step S10 of FIG. 6 the screen control unit 203 may perform the same processing even when a touch on the attachment images included in the overhead view display image G2 and the bucket front image G3 is received.
  • the screen control unit 203 When the operator touches the attachment image G101 included in the state image G, the screen control unit 203 according to another embodiment directly changes the attachment image G101 of the state image G without transitioning to the attachment selection menu image M1. You may change it. In this case, the screen control unit 203 may change the attachment image G101 to another attachment image in order each time a touch is received.
  • the screen control unit 203 is within a predetermined range from the display area of the attachment image G101, even if a region outside the attachment image G101 is touched, the attachment image G101. The same process as when the touch of is accepted may be performed.
  • the screen control unit 203 may transition to an image displaying the dimension information of the attachment. Moreover, you may change to the screen which displays the maximum load amount of an attachment.
  • the screen control unit 203 when the screen control unit 203 according to another embodiment receives a touch of the attachment image G101, the screen control unit 203 transitions to a screen in which images of a plurality of buckets that are candidates for replacement are displayed, and one of the screens is displayed. A mode of accepting a touch may be used.
  • FIG. 8 is a diagram for explaining screen control when the type of the part image is the guidance image G4.
  • the state image G is displayed on the display panel G22 (step S20 in FIG. 8).
  • the screen control unit 203 transitions the image displayed on the display panel 22 from the state image G to the guidance setting menu image M2 (step S21 in FIG. 8).
  • the guidance image G4 and the transition destination screen are linked, and when the type specifying unit 202 identifies the guidance image G4, the screen control unit 203 sets the guidance setting that is the link destination of the guidance image G4. Transition to the menu image M2.
  • the guidance setting menu image M2 it is possible to change the setting of the correspondence relationship between the interval Id of the index image G40 and the interval d from the blade edge of the bucket BK to the design surface through the input forms F1 to F3. Further, in the guidance setting menu image M2, it is possible to change the settings such as the volume and type of the alarm sound from the setting change menu F4 related to the alarm sound.
  • the screen control unit 203 changes the display setting of the positional relationship between the blade edge of the bucket BK and the design surface, which is based on the guidance image G4. By doing so, the operator can change the display setting of the guidance image G4 by a simple and intuitive operation.
  • the screen control unit 203 directly touches the guidance image G4 without transitioning to the guidance setting menu image M2.
  • the setting related to the guidance image G4 may be changed to a predetermined value.
  • the screen control unit 203 is within a predetermined range from the display area of the guidance image G4, even if the area outside the guidance image G4 is touched, the guidance image G4. The same process as when the touch of is accepted may be performed.
  • FIG. 9 is a first diagram for explaining the screen control when the type of the part image is the work machine model image G10 (G20, G30).
  • the state image G is displayed on the display panel G22 (step S30 in FIG. 9).
  • the operator touches the area G10e corresponding to the location where the engine is mounted in the work machine model image G10 included in the side view image G1.
  • the screen control unit 203 causes the state image G to display the information table T1 indicating various kinds of information regarding the engine (step S31 in FIG. 9).
  • the screen control unit 203 displays an information table showing various kinds of information regarding the component.
  • the screen control unit 203 is touched in the work machine model image G10 (G20, G30). Change the display of information about the component according to the position. By doing so, the operator can grasp various kinds of information regarding components such as the engine by a simple and intuitive operation.
  • step S30 of FIG. 9 the screen control unit 203 operates on the area G10e included in the bird's-eye view display image G2 or the bucket front image G3. Similar processing may be performed when a touch is accepted.
  • the screen control unit 203 when the screen control unit 203 according to another embodiment receives a touch on the area G10e within a predetermined range from the area G10e, even when an area outside the area G10e is touched. The same process as in may be performed.
  • FIG. 10 is a second diagram for explaining the screen control when the type of the part image is the work machine model image G10 (G20, G30).
  • the state image G is displayed on the display panel G22 (step S40 in FIG. 10).
  • the display format of the work machine model image G10 of the state image G at this point is "normal display”.
  • the “normal display” is a display format of the work machine model image G10 (G20, G30) that reproduces the appearance of the work machine 1.
  • the screen control unit 203 changes the display mode of the work machine model image G10 (G20, G30) (step S41 in FIG. 10).
  • the display format of the work machine model image G10 (G20, G30) is switched from “normal display” to “transparent display”.
  • the “normal display” is a display format of the work machine model image G10 (G20, G30) that represents the appearance of the work machine 1.
  • the “transparent display” is, for example, a skeleton display or a semi-transparent display.
  • the screen control unit 203 changes the display format of the work machine model image G10 (G20, G30). By doing so, the operator can change the display format of the work machine model image G10 (G20, G30) by a simple and intuitive operation.
  • the screen control unit 203 changes the display format of the work machine model image G10 (G20, G30) to “normal”. It may be returned to "Display”, or if "Transparent Display” was “Skeleton Display”, “Skeleton Display” to “Semi-Transparent Display” (or “Transparent Display” was “Semi-Transparent Display”) In this case, “translucent display” may be changed to "skeleton display”.
  • the screen control unit 203 when the screen control unit 203 according to another embodiment receives a touch on the work machine model image G10, the display format (“normal display” or “skeleton display”) of the work machine model image G10 (G20, G30) is displayed. It is also possible to transition to a menu screen that allows one to be selected from the candidates).
  • step S40 of FIG. 10 the screen control unit 203 also receives a touch on the work machine model image G20 included in the bird's-eye view display image G2 or the work machine model image G30 included in the bucket front image G3. Similar processing may be performed.
  • the screen control unit 203 may display the engine or other components inside the work machine at the time of “transparent display”.
  • the screen control unit 203 may display an information table showing various kinds of information regarding the engine and the like when a touch of a parts image corresponding to the displayed engine portion is received.
  • FIG. 11 is a diagram for explaining screen control when the type of the part image is the background image G0 of the state image G.
  • the state image G is displayed on the display panel G22 (step S50 in FIG. 11).
  • the color of the background image G0 of the state image G at this time is assumed to be set to a standard setting color such as “white”.
  • the operator touches the background image G0 of the state image G.
  • the screen control unit 203 changes the color of the background image G0 (step S51 in FIG. 11).
  • the color of the background image G0 of the state image G is switched from the standard setting color (white) to another setting color such as “blue”.
  • the screen control unit 203 changes the color of the background image G0. By doing so, the operator can change the color of the background image G0 by a simple and intuitive operation.
  • step S51 in FIG. 11 if the operator again receives a touch on the background image G0, the screen control unit 203 may return the display format of the background image G0 to the standard setting color. You may change to a different color.
  • the screen control unit 203 may transition to a menu screen that enables selection of one of the color candidates of the background image G0.
  • the screen control unit 203 may transition to the layout setting screen of the state image G when the touch of the background image G0 is received.
  • the display area of the side view image G1 is “main”
  • the display area of the overhead view image G2 is “sub 1”
  • the display area of the bucket front image G3 is “sub 2”.
  • the operator can arbitrarily assign the type of display image to be displayed for each "main", "sub 1", and "sub 2". For example, the operator can allocate the bird's eye view image G2 to the "main” display area and allocate the side view image G1 to the "sub 1" display area.
  • a solution means of providing a shortcut icon on the top screen is also conceivable.
  • the display panel of the control device 2 mounted in the operator's cab of the work machine is small in size, and the amount of information that can be displayed on one screen is limited. Under such circumstances, providing a dedicated shortcut icon on the top screen further limits the amount of information that can be displayed on one screen.
  • FIG. 12 is a diagram showing an example of a state image according to the second embodiment.
  • the state image G shown in FIG. 12 is an image including various gauge images Gm1, Gm2, and Gm3 showing the internal state of the work machine 1.
  • the gauge image Gm1 is a gauge image showing the engine cooling water temperature.
  • the gauge image Gm2 is a gauge image showing the temperature of the hydraulic oil.
  • the gauge image Gm3 is a gauge image showing the remaining amount of fuel.
  • the state image G may be an image including at least one of Gm1, Gm2, and Gm3.
  • the various gauge images may be other gauge images showing the internal state of the work machine 1, such as a gauge image showing the vehicle speed and the loading amount.
  • FIG. 13 is a diagram for explaining the function of the screen control unit according to the second embodiment.
  • FIG. 13 is a diagram for explaining screen control when the type of touched part image is the gauge image Gm1.
  • the state image G is displayed on the display panel G22 (step S60 in FIG. 13).
  • the operator touches the gauge image Gm1.
  • the screen control unit 203 transitions the image displayed on the display panel 22 from the state image G to the water temperature gauge setting menu image M3 (step S61 in FIG. 13).
  • the water temperature gauge setting menu image M3 is linked to the transition destination screen, and when the type specifying unit 202 specifies the water temperature gauge setting menu image M3, the screen control unit 203 displays the gauge image Gm1. A transition is made to the water temperature gauge setting menu image M3 which is the link destination.
  • the upper limit value, the lower limit value, and the alarm set value of the water temperature displayed in the gauge image Gm1 can be changed through the input forms F5 to F7.
  • the screen control unit 203 receives a touch on another gauge image Gm2 or Gm3, the image displayed on the display panel 22 is changed to a setting menu image corresponding to each gauge image Gm2 or Gm3.
  • the screen control unit 203 changes the display setting for each of the gauge images Gm1, Gm2, and Gm3.
  • control device 2 controls the screen by touching all the part images of the attachment image G101, the guidance image G4, the work machine model image G10, and the background image G0.
  • the control device 2 according to another embodiment is a mode in which the screen control of the above mode is performed for at least one of the attachment image G101, the guidance image G4, the work machine model image G10, and the background image G0. May be.
  • control device 2 is described as performing various screen controls by a normal touch on the state image G, but is limited to this aspect in other embodiments. Not done.
  • control device 2 may receive designations other than taps such as double tap, long press, and swipe for the state image G.
  • different processing may be assigned to each type of operation as follows, for example. ⁇ Tap: Transition to attachment selection menu ⁇ Double tap: Transition to dimension information
  • control device 2 uses the attachment image G101, the guidance image G4, the work machine model image G10, the background image G0, the gauge image Gm1, the gauge image Gm2, and the gauge image Gm3 as part images.
  • the present invention is not limited to this in other embodiments. That is, the control device 2 according to another embodiment may use, as a part image, an image forming a working machine such as a boom, an arm, an upper swing body, a lower traveling body, an engine, a hydraulic oil filter, and a monitor device. In this case, when an image forming the work machine is touched, the screen may change to a screen related to the image forming the work machine.
  • topographic images such as the topographic image G11, the topographic image G21, and the topographic image G31 may be used as the part images.
  • touching the terrain image may cause a transition to a screen displaying information about the terrain or a screen displaying construction information.
  • control device 2 has been described as identifying the type of the touched part image, the present invention is not limited to this in other embodiments. That is, the control device 2 according to another embodiment, when it is not necessary to specify the type of the part image, such as only one kind of the part image is displayed on the display panel 22, a process of specifying the type of the part image. May be omitted. That is, the process of step S02 in FIG. 4 may not be performed.
  • a predetermined image displayed on the display panel 22 or a transition destination screen or setting corresponding to each pixel is linked, the position of the touch is specified by the position designation receiving unit 201, and the specified touch is performed.
  • the image displayed at the position of, or the screen after the setting is changed may be displayed on the screen of the link destination of the pixel. In this case, the process of specifying the type of the part image can be omitted.
  • the transition destination screen or the setting is linked in association with each predetermined coordinate position of the display panel 22, the touch position is specified by the position designation receiving unit 201, and the touch position is specified.
  • the screen after the transition or the setting change may be displayed on the screen of the link destination. Also in this case, the process of specifying the type of the part image can be omitted.
  • the transition destination screen or the setting is linked in association with the combination of the type of the displayed screen and the predetermined coordinate position of the display panel 22, and the position designation accepting unit 201 identifies the touch position.
  • the screen after the transition or the setting change may be displayed on the screen of the link destination corresponding to the specified touch position. In this case, not only the process of specifying the type of the part image can be omitted, but also the screen transition can be finely controlled.
  • the attachment selection is made. It is possible to transit to the menu image M1. Further, when the guidance portion displayed on the display panel 22 is touched, the guidance setting menu M2 can be displayed.
  • control devices 2 according to the first and second embodiments have been described as being mounted on the work machine 1, but the present invention is not limited to this aspect in other embodiments.
  • the control device 2 according to another embodiment may be a terminal device that is installed outside the work machine 1 and remotely monitors the state of the work machine 1.
  • the configuration of the control device 2 may be separately mounted on the work machine 1 and an external terminal device.
  • the control device 2 may be a monitor device for radio control, or may be a smartphone, a tablet terminal, or the like carried by a service person or an administrator of the work machine 1.
  • control device 2 is applicable to various work machines such as a wheel loader and a dump truck in addition to a hydraulic excavator.
  • control device 2 may further have the following functions. For example, when the crawler of the work machine model image G10 is touched in FIG. 6, the control device 2 transitions to a screen for setting a traveling mode such as Hi (high speed mode) and L (low speed mode). Good. Further, when the design surface is touched, the control device 2 may alternately change the display of the design surface and the display of the current topography. Further, when the control device 2 receives a touch of the cutting edge of the work machine model G30, the control device 2 may transition to the setting screen of the cutting edge position of interest.
  • a traveling mode such as Hi (high speed mode) and L (low speed mode).
  • the control device 2 may alternately change the display of the design surface and the display of the current topography. Further, when the control device 2 receives a touch of the cutting edge of the work machine model G30, the control device 2 may transition to the setting screen of the cutting edge position of interest.
  • the screen control unit 203 changes the display format each time a touch in the display area such as SMR and time is received. Processing may be performed.
  • the screen control unit 203 may transition to a permission screen when a touch is accepted.
  • the permission screen for example, the success or failure (YES/NO) of screen transition to the bucket exchange screen and actual screen change such as changing the size of the bucket and changing the background color is accepted.
  • the various processes of the control device 2 described above are stored in a computer-readable recording medium in the form of a program, and the various processes are performed by the computer reading and executing the program.
  • the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer that receives the distribution may execute the program.
  • the above program may be for realizing a part of the above functions. Further, it may be a so-called difference file, a difference program, or the like that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • the setting can be changed by a simple operation.
  • 1 work machine 2 control device, 20 CPU, 200 display processing unit, 201 position specification receiving unit, 202 type specifying unit, 203 screen control unit, 21 memory, 22 display panel, 23 touch sensor, 24 communication interface, 25 storage

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

作業機械の制御装置は、前記表示パネルに表示される前記状態画像に対する位置の指定を特定する位置指定受付部と、前記状態画像の一部を構成するパーツ画像のうち、前記特定された位置に表示される画像に応じた画面制御を行う画面制御部と、を備える。

Description

作業機械の制御装置、作業機械、及び作業機械の制御方法
 本発明は、作業機械の制御装置、作業機械、及び作業機械の制御方法に関する。
 本願は、2019年1月18日に日本に出願された特願2019-007383号について優先権を主張し、その内容をここに援用する。
 特許文献1には、着脱可能なアタッチメントを備える作業機械が開示されている。アタッチメントとは、例えば、バケット、ブレーカ等である。当該作業機械は、センサを有する前記アタッチメントに関する情報と、前記センサを有しない前記アタッチメントに関する情報とを含む前記アタッチメントに関する情報に基づいて、前記アタッチメントが前記センサを有するか否かを判別する。そして、前記アタッチメントが前記センサを有すると前記判別部が判別した場合において、前記センサからの信号を受信できない場合に、異状が発生したと判定する。
特許第6189557号公報
 例えば、作業機械のアタッチメントが交換された際、オペレータは作業機械に搭載されている制御装置の設定変更を行う必要がある。この際、オペレータは、運転室内に搭載されたモニタ装置を操作して設定変更を行う。一例として、特許文献1記載のように、オペレータは、アタッチメント交換に伴う設定変更をする際に、“Bucket Configuration”→“Bucket Exchange”と複数回の画面遷移を行う必要がある。
 アタッチメントが交換された際、オペレータは、モニタ装置を操作してアタッチメントの交換に伴う設定変更を行おうとするが、作業状況によっては、操作レバーやペダルを通じた操作を中断できない場合がある。また、設定変更の操作に時間を要することで作業効率も低下する。そのため、複数回の画面遷移を要さず、簡便に設定変更を行えるシステムが望まれている。
 本発明の目的は、簡便な操作で設定変更を行うことができる作業機械の制御装置、作業機械、及び作業機械の制御方法を提供することにある。
 本発明の一態様によれば、作業機械の制御装置は、前記表示パネルに表示される前記状態画像に対する位置の指定を特定する位置指定受付部と、前記状態画像の一部を構成するパーツ画像のうち、前記特定された位置に表示される画像に応じた画面制御を行う画面制御部と、を備える。
 上記態様によれば、簡便な操作で設定変更を行うことができる。
第1の実施形態に係る作業機械の全体構成を示す図である。 第1の実施形態に係る作業機械の運転室の構成を示す図である。 第1の実施形態に係る作業機械の制御装置の機能構成を示す図である。 第1の実施形態に係る作業機械の制御装置の処理フローを示す図である。 第1の実施形態に係る状態画像の例を示す図である。 第1の実施形態に係る画面制御部の機能を説明するための図である。 第1の実施形態に係る画面制御部の機能を説明するための図である。 第1の実施形態に係る画面制御部の機能を説明するための図である。 第1の実施形態に係る画面制御部の機能を説明するための図である。 第1の実施形態に係る画面制御部の機能を説明するための図である。 第1の実施形態に係る画面制御部の機能を説明するための図である。 第2の実施形態に係る状態画像の例を示す図である。 第2の実施形態に係る画面制御部の機能を説明するための図である。
<第1の実施形態>
 以下、第1の実施形態に係る作業機械の制御装置について、図1~図11を参照しながら詳細に説明する。
(作業機械の構造)
 図1は、第1の実施形態に係る作業機械の構造を示す図である。
 油圧ショベルである作業機械1は、作業現場等において土砂などを掘削、整地する。
 図1に示すように、油圧ショベルである作業機械1は、走行するための下部走行体11と、下部走行体11の上部に設置され旋回可能な上部旋回体12とを有してなる。また、上部旋回体12には、運転室12A、作業機12B、及び、2つのGNSSアンテナN1、N2が設けられている。
 下部走行体11は、左側履帯CLと、右側履帯CRとを有する。作業機械1は、左側履帯CL及び右側履帯CRの回転により前進、旋回、後進する。
 運転室12Aは、作業機械1のオペレータが搭乗し、操作、操縦を行う場所である。運転室12Aは、例えば、上部旋回体12の前端部左側部分に設置される。作業機械1の運転室12Aには、制御装置2が搭載されている。
 作業機12Bは、ブームBM、アームAR及びバケットBKからなる。ブームBMは、上部旋回体12の前端部に装着される。また、ブームBMにはアームARが取り付けられる。また、アームARにはバケットBKが取り付けられる。また、上部旋回体12とブームBMとの間にはブームシリンダSL1が取り付けられる。ブームシリンダSL1を駆動することで上部旋回体12に対しブームBMを動作することができる。ブームBMとアームARとの間にはアームシリンダSL2が取り付けられる。アームシリンダSL2を駆動することで、ブームBMに対しアームARを動作することができる。アームARとバケットBKとの間にはバケットシリンダSL3が取り付けられる。バケットシリンダSL3を駆動することでアームARに対しバケットBKが動作することができる。
 油圧ショベルである作業機械1が具備する上述の上部旋回体12、ブームBM、アームAR及びバケットBKは、作業機械1の可動部の一態様である。
 なお、本実施形態に係る作業機械1は、上述の構成を備えるものとして説明したが、他の実施形態においては、作業機械1は必ずしも上述の構成の全てを備えていなくともよい。例えば、他の実施形態に係る作業機械1は、GNSSアンテナN1、N2を具備しなくともよい。
(運転室の構成)
 図2は、第1の実施形態に係る作業機械の運転室の構成を示す図である。
 図2に示すように、運転室12Aには、操作レバーL1、L2と、フットペダルF1、F2と、走行レバーR1、R2と、が設けられている。
 操作レバーL1及び操作レバーL2は、運転室12A内のシートSTの左右に配置される。また、フットペダルF1及びフットペダルF2は、運転室12A内、シートSTの前方、床面に配置される。
 運転室前方に向かって左側に配置される操作レバーL1は、上部旋回体12の旋回動作、及び、アームARの掘削/ダンプ動作を行うための操作機構である。また、運転室前方に向かって右側に配置される操作レバーL2は、バケットBKの掘削/ダンプ動作、及び、ブームBMの上げ/下げ動作を行うための操作機構である。
 また、走行レバーR1、R2は、下部走行体11の動作制御、すなわち作業機械1の走行制御を行うための操作機構である。運転室前方に向かって左側に配置される走行レバーR1は、下部走行体11の左側履帯CLの回転駆動に対応する。運転室前方に向かって右側に配置される走行レバーR2は、下部走行体11の右側履帯CRの回転駆動に対応する。なお、フットペダルF1、F2は、それぞれ、走行レバーR1、R2と連動しており、フットペダルF1、F2によって、走行制御することもできる。
 制御装置2は、運転室前方に向かって前方右側に設置される。以下、制御装置2の機能について詳細に説明する。なお、他の実施形態においては、制御装置情報提供装置2は、運転室前方に向かって前方左側等に設置されてもよい。
(制御装置の機能構成)
 図3は、第1の実施形態に係る制御装置2の機能構成を示す図である。
 図3に示すように、制御装置2は、CPU20と、メモリ21と、表示パネル22と、タッチセンサ23と、通信インタフェース24と、ストレージ25とを備えている。なお、CPU20は、FPGA、GPU等、これに類するものであれば如何なる態様のものであってもよい。
 CPU20は、制御装置2の動作全体の制御を司るプロセッサである。CPU20が有する各種機能については後述する。
 メモリ21は、いわゆる主記憶装置である。メモリ21には、CPU20がプログラムに基づいて動作するために必要な命令及びデータが展開される。
 表示パネル22は、情報を視認可能に表示可能な表示デバイスであって、例えば、液晶ディスプレイや有機ELディスプレイなどである。
 タッチセンサ23は、表示パネル22と一体に形成され、当該表示パネル22に表示された画像の位置を指定可能な入力デバイスである。
 なお、他の実施形態においては、入力デバイスはタッチセンサに限られず、タッチセンサ以外の入力デバイスであってもよい。
 通信インタフェース24は、及び外部サーバとの間で通信するための通信インタフェースである。
 ストレージ25は、いわゆる補助記憶装置であって、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。
 次に、CPU20が有する機能について詳しく説明する。CPU20は、所定のプログラムに基づいて動作することで、200、位置指定受付部201、種別特定部202及び画面制御部203としての機能を発揮する。
 なお、上記所定のプログラムは、制御装置2に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ25に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置2は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
 表示処理部200は、作業機械1の状態を示す状態画像を表示パネル22に表示させるための信号を生成する。表示パネル22は、表示処理部200が生成する信号に基づいて、状態画像を表示する。作業機械1の状態を示す状態画像とは、例えば、作業機12Bの可動部の動作状態や、作業機械1と周辺地形との位置関係を示す画像である。状態画像は、作業機械1の状態が変化するにつれ、それに合わせて逐次更新されて変化する。作業機械1のオペレータは、表示パネル22に表示された状態画像を視認しながら、作業機械1の操作、操縦を行う。
 位置指定受付部201は、表示パネル22に表示された状態画像に対する位置の指定を受け付ける。本実施形態においては、位置指定受付部201は、表示パネル22へのタッチ位置を、タッチセンサ23を通じて取得する。
 なお、他の実施形態において、タッチセンサ23の代わりにマウスを具備する場合には、位置指定受付部201は、クリック操作がなされた際のマウスカーソルの位置を取得する。
 種別特定部202は、状態画像の一部を構成するパーツ画像のうち、タッチを通じてオペレータに指定された位置に表示されるパーツ画像の種別を特定する。状態画像を構成するパーツ画像及びその種別については後述する。タッチとは、例えば表示パネル22のある点を叩くタップ操作である。
 画面制御部203は、指定された位置に表示されるパーツ画像についての制御を行う。画面制御部203は、種別特定部202によって特定された種別に応じた画面制御を行う。ここで、画面制御とは、実際に設定の変更を反映させる処理に限られず、設定を変更する過程において、後述するアタッチメント選択メニュー画像M1等の各種メニュー画面を表示させる処理を含む。
 なお、第1の実施形態に係る制御装置2は、表示パネル22と一体に形成されているものとしているが他の実施形態においてはこの態様に限定されない。他の実施形態に係る制御装置2は、表示パネル22とそれ以外の構成とが別々に構成されている態様であってもよい。つまり、表示パネル22は、制御装置2の必須の構成ではない。
(制御装置の処理フロー)
 図4は、第1の実施形態に係る制御装置の処理フローを示す図である。
 図5は、第1の実施形態に係る状態画像の例を示す図である。
 以下、図4、図5を参照しながら、制御装置2が行う具体的な処理の流れについて詳細に説明する。
 図4に示す処理フローは、オペレータによって制御装置2に電源が投入された後、実行される。なお、制御装置2は、作業機械1の電源が投入されたことをきっかけに、自動的に起動するものであってもよい。
 CPU20の表示処理部200は、状態画像の表示、更新処理を逐次実行するように信号を生成する(ステップS00)。ここで、表示処理部200が生成する信号によって表示、更新される状態画像について、図5を参照しながら詳しく説明する。
 図5に示すように、状態画像Gは、側面図画像G1、俯瞰表示画像G2、バケット正面画像G3、及び、ガイダンス画像G4を含んで構成される。
 まず、側面図画像G1、俯瞰表示画像G2及びバケット正面画像G3について詳しく説明する。
 側面図画像G1、俯瞰表示画像G2及びバケット正面画像G3は、いずれも現在の作業機械1の可動部の動作状態、例えば、ブームBM、アームAR、及び、バケットBKの姿勢と、周辺地形との位置関係を示す図であって、それぞれ異なる視点から見た状態を示している。
 側面図画像G1は、作業機械1及びその周辺地形の側面図画像であって、側面から見た作業機械1の動作状態を示す作業機械モデル画像G10と、当該作業機械1の周辺地形の縦断面を示す地形画像G11とを含んで構成される。
 俯瞰表示画像G2は、作業機械1及びその周辺地形の俯瞰画像であって、上方から見た作業機械1の動作状態を示す作業機械モデル画像G20と、当該作業機械1の周辺地形の俯瞰図を示す地形画像G21とを含んで構成される。
 バケット正面画像G3は、バケットBK及びその周辺地形の正面表示画像であって、正面から見たバケットBKの動作状態を示す作業機械モデル画像G30と、当該バケットBKの周辺地形の横断面を示す地形画像G31とを含んで構成される。ここでの周辺地形は、設計面であってもよいし、現況地形であってもよい。
 作業機械モデル画像G10、G20は、作業機械1のブームBM、アームAR及びバケットBKの位置、姿勢を再現する要素画像の組み合わせによって構成される。例えば、側面図画像G1の作業機械モデル画像G10に含まれるアタッチメント画像G101は、バケットBKの位置、姿勢を再現する要素画像の一つである。
 ここで、制御装置2のCPU20は、シリンダSL1、SL2、SL3の各々に取り付けられたセンサ、または、IMU等の角度センサを通じて、作業機械1の各可動部の動作状態、即ち、上部旋回体12に対するブームBMの角度、ブームBMに対するアームARの角度、及び、アームARに対するバケットBKの角度を計算する。位置指定受付部201は、各可動部の動作状態の計算結果を、作業機械モデル画像G10、G20、G30の各要素画像に適用する。これにより、作業機械1の可動部の実際の動作と連動して、各作業機械モデルG10、G20、G30の形状が変化する。
 また、制御装置2のストレージ25には、三次元データとして取得された地形データが事前に記録されている。CPU20は、この地形データ、及び、GPSアンテナG1、G2に基づく作業機械1の測位情報に基づいて、各地形画像G11、G21、G31を表示する。
 更に、ストレージ25には、作業機械1の各可動部の形状、連結位置、サイズ等が事前に記録されている。作業機械1の各可動部の形状、連結位置、サイズ等を、以下、諸元情報とも記載する。CPU20は、各可動部の動作状態の計算結果及び地形データに加え、作業機械1の諸元情報を組み合わせて、バケットBKの刃先から設計面までの間隔dを演算する。なお、他の実施形態において、間隔dは、バケットBKの刃先以外の部分から設計面までの間隔であってもよい。
 なお、状態画像Gの画面構成は、図5に示す態様に限定されず、種々の画面構成で表示され得る。例えば、図5に示す状態画像Gは、一画面を三分割して側面図画像G1、俯瞰表示画像G2及びバケット正面画像G3を含むものとされているが、他の実施形態においては、一画面を二分割して側面図画像G1及び俯瞰表示画像G2のみを含むものとされていてもよい。また、側面図画像G1、俯瞰表示画像G2、またはバケット正面画像G3のみの画面構成であってもよい。また、このような画面分割の態様、及び、表示する画面の種別をオペレータによって自由にカスタマイズ可能とされていてもよい。
 背景画像G0は、側面図画像G1、俯瞰表示画像G2及びバケット正面画像G3に共通する背景である。
 次に、ガイダンス画像G4について詳しく説明する。
 ガイダンス画像G4は、作業機械1とその周辺地形との位置関係を示す画像の一態様であって、具体的には、バケットBKの刃先と地面との間隔を模式的に示す図である。
 図5に示すように、ガイダンス画像G4は、状態画像Gの縦方向に配列された複数の指標画像G40で構成される。指標画像G40は有色表示又は無色表示され、有色表示された指標画像G40のうち最も下の指標画像G40がバケットBKの刃先位置に対応する。
 基準位置画像G41が付された指標画像G40は設計面に対応する。状態画像Gにおいて、基準位置画像G41が付された指標画像G40よりも上の指標画像G40は、設計面よりも高い位置に対応する。また、基準位置画像G41が付された指標画像G40よりも下の指標画像G40は、設計面よりも低い位置に対応する。
 有色表示された指標画像G40のうち最も下方のものと基準位置画像G41が付された指標画像G40との間隔Idは、バケットBKの刃先と設計面との間隔に対応する。即ち、上述した間隔dの計算結果に基づき、有色表示される指標画像G40が決定される。
 バケットBKの刃先が設計面よりも下方に位置する場合には、基準位置画像G41が付された指標画像G40よりも下の指標画像G40が有色表示される。
 有色表示される際の指標画像G40の色は、バケットBKの刃先と設計面との距離に応じて異なる色とされる。
 なお、本実施形態に係るガイダンス画像G4は、上記の通り、バケットBKの刃先と設計面との位置関係を、指標画像G40によって視認させるものとして説明したが、他の実施形態においては、ガイダンス画像G4はこの例に限定されない。他の実施形態に係る、ガイダンス画像G4は、設計面に示される特定の面と、作業機12Bとが正対しているか否かをガイドする正対コンパスであってもよい。
 図4に戻り、CPU20の位置指定受付部201は、オペレータからタッチ、即ち、状態画像に対する位置の指定を受け付けたか否かを判定する(ステップS01)。オペレータからタッチを受け付けていない場合(ステップS01;NO)、CPU20は、ステップS00に戻り、作業機械1の動作状態を反映して状態画像Gを更新する。他方、オペレータからタッチを受け付けた場合(ステップS01;YES)、位置指定受付部201は、表示パネル22に表示された状態画像に対するタッチの位置を特定する。
 次に、CPU20の種別特定部202は、タッチの位置に表示されるパーツ画像の種別を特定する(ステップS02)。ここで、パーツ画像とは、表示パネルに表示される状態画像Gの一部を構成する画像であって、本実施形態においては、作業機械モデル画像G10、ガイダンス画像G4、及び、背景画像G0である。また、作業機械モデル画像G10は、更に細分化された複数のパーツ画像からなり、当該作業機械モデルを構成するパーツ画像の一態様として、アタッチメント画像G101がある。パーツ画像は、作業機械1の状態の変化に応じて、表示位置や表示範囲などが変化する。例えば、作業機械モデル画像G10やアタッチメント画像G101は、作業機械1の操作に応じて表示位置が変化する。また、ガイダンス画像G4は、バケットBKの刃先と設計面との位置関係によって、指標画像G40に表示される画像の色が変化する。 種別特定部20の具体的な処理は、以下のとおりである。まず、位置指定受付部201によってタッチの位置が特定された場合、種別特定部20は、当該位置を示す座標情報(X、Y)を位置指定受付部201から取得する。種別特定部20は、座標情報(X、Y)を取得した時点で、その時点における状態画像Gにおいて、どの位置、領域にどのパーツ画像が配置されているかを取得する。そして、種別特定部20は、取得した座標情報(X、Y)に表示されているパーツ画像が作業機械モデル画像G10、ガイダンス画像G4、・・のいずれであるかを特定する。このようにして、種別特定部20は、タッチされた位置において、現時点の状態画像Gに表示されているパーツ画像の種別を特定する。
 次に、画面制御部203は、ステップS02で特定された種別に応じた制御を行う(ステップS03)。
(画面制御部の機能)
 図6~図11は、第1の実施形態に係る画面制御部の機能を説明するための図である。
 以下、図6~図11を参照しながら、画面制御部203によるステップS01~S03の処理について詳しく説明する。
[アタッチメント画像]
 図6及び図7は、パーツ画像の種別がアタッチメント画像G101であった場合の画面制御を説明するための図である。
 まず、表示パネル22には状態画像Gが表示されているものとする(図6のステップS10)。
 この状態において、オペレータが、側面図画像G1に含まれる作業機械モデル画像G10のうちアタッチメント画像G101をタッチしたとする。この場合、画面制御部203は、表示パネル22に表示する画像を、状態画像Gからアタッチメント選択メニュー画像M1に遷移させる(図6のステップS11)。具体的には、アタッチメント画像G101と、遷移先の画面をリンクしておき、画面制御部203は、種別特定部202によってアタッチメント画像G101が特定されると、リンクされたアタッチメント選択メニュー画像M1に遷移させる。
 アタッチメント選択メニュー画像M1では、複数のアタッチメントに対応する選択ボタン画像B1、B2、B3が表示される。ここで、選択ボタン画像B1は、例えば、現在のバケットに対応するものであり、選択ボタンB2は、例えば、バケットAに対応するものであり、選択ボタンB3は、例えば、ブレーカに対応するものである。
 次に、オペレータは、アタッチメント選択メニュー画像M1に表示される選択ボタン画像B1~B3のうち、交換後のアタッチメントに対応するものをタッチして選択する。そうすると、画面制御部203は、表示パネル22に表示する画像を、アタッチメント選択メニュー画像M1から状態画像Gに遷移させる(図7のステップS12)。
 図7に示すように、ステップS12で表示される状態画像Gは、交換後のアタッチメントの設定が反映されたものとなる。したがって、図7に示す状態画像Gには、交換後のアタッチメントの位置、姿勢を示すアタッチメント画像G101aが表示される。なお、図7は、画面制御前のバケットBKよりサイズが大きいバケットに変更された場合の例を示している。CPU20は、交換後のバケットについての諸元情報に基づき、当該アタッチメントの刃先と設計面との間隔d及び間隔Idを再計算する。
 以上のように、タッチされたパーツ画像の種別がアタッチメント画像G101であった場合、画面制御部203は、現在表示中のアタッチメント画像を、選択された他のアタッチメント画像に変更する処理を行う。
 なお、図6のステップS10において、画面制御部203は、俯瞰表示画像G2、バケット正面画像G3に含まれるアタッチメント画像に対するタッチを受け付けた場合にも同様の処理を行ってよい。
 他の実施形態に係る画面制御部203は、オペレータが状態画像Gに含まれるアタッチメント画像G101をタッチした場合に、アタッチメント選択メニュー画像M1に遷移することなく、直接、状態画像Gのアタッチメント画像G101を変更してもよい。この場合、画面制御部203は、タッチを受け付けるたびに、アタッチメント画像G101を他のアタッチメント画像に順番に変更する態様であってもよい。
 また、他の実施形態に係る画面制御部203は、アタッチメント画像G101の表示領域から所定の範囲内であれば、当該アタッチメント画像G101から外れた領域をタッチした場合であっても、当該アタッチメント画像G101に対するタッチを受け付けた場合と同様の処理を行ってよい。
 また、他の実施形態に係る画面制御部203は、側面図画像G1に含まれるアタッチメント画像G101のタッチを受け付けた場合に、アタッチメントの寸法情報を表示する画像に遷移してもよい。また、アタッチメントの最大積載量を表示する画面に遷移してもよい。
 また、他の実施形態に係る画面制御部203は、アタッチメント画像G101のタッチを受け付けた場合に、交換候補となる複数のバケットの画像が表示されている画面に遷移し、それらのうちの一つのタッチを受け付ける態様であってもよい。
[ガイダンス画像]
 図8は、パーツ画像の種別がガイダンス画像G4であった場合の画面制御を説明するための図である。
 まず、表示パネルG22には状態画像Gが表示されているものとする(図8のステップS20)。
 この状態において、オペレータが、ガイダンス画像G4をタッチしたとする。この場合、画面制御部203は、表示パネル22に表示する画像を、状態画像Gからガイダンス設定メニュー画像M2に遷移させる(図8のステップS21)。具体的には、ガイダンス画像G4と、遷移先の画面をリンクしておき、画面制御部203は、種別特定部202によってガイダンス画像G4が特定されると、ガイダンス画像G4のリンク先であるガイダンス設定メニュー画像M2に遷移させる。ガイダンス設定メニュー画像M2では、入力フォームF1~F3を通じて、指標画像G40の間隔Idと、バケットBKの刃先から設計面までの間隔dとの対応関係の設定変更を行うことができる。また、ガイダンス設定メニュー画像M2では、アラーム音に関する設定変更メニューF4からアラーム音の音量、音種等の設定変更を行うことができる。
 以上のように、タッチされたパーツ画像の種別がガイダンス画像G4であった場合、画面制御部203は、ガイダンス画像G4による、バケットBKの刃先と設計面との位置関係の表示設定を変更する。
 このようにすることで、オペレータは、ガイダンス画像G4の表示設定を簡便かつ直感的な操作で変更することができる。
 他の実施形態において、ガイダンス設定メニューM2で入力すべき値が予め決まっている場合は、画面制御部203は、ガイダンス画像G4をタッチした場合に、ガイダンス設定メニュー画像M2に遷移させることなく、直接、ガイダンス画像G4に係る設定を、予め決めていた値に変更してもよい。
 また、他の実施形態に係る画面制御部203は、ガイダンス画像G4の表示領域から所定の範囲内であれば、当該ガイダンス画像G4から外れた領域をタッチした場合であっても、当該ガイダンス画像G4に対するタッチを受け付けた場合と同様の処理を行ってよい。
[作業機械モデル画像 1]
 図9は、パーツ画像の種別が作業機械モデル画像G10(G20、G30)であった場合の画面制御を説明するための第1の図である。
 まず、表示パネルG22には状態画像Gが表示されているものとする(図9のステップS30)。
 この状態において、オペレータが、側面図画像G1に含まれる作業機械モデル画像G10のうちエンジンが搭載されている箇所に対応する領域G10eをタッチしたとする。この場合、画面制御部203は、状態画像Gに、エンジンに関する各種情報を示す情報テーブルT1を表示させる(図9のステップS31)。
 なお、オペレータが、側面図画像G1に含まれる作業機械モデル画像G10のうち、作業機械10のエンジン以外の他の構成部品が搭載されている箇所に対応するパーツ画像をタッチした場合、画面制御部203は、当該構成部品に関する各種情報を示す情報テーブルを表示させる。
 以上のように、タッチされたパーツ画像の種別が作業機械モデル画像G10(G20、G30)であった場合、画面制御部203は、作業機械モデル画像G10(G20、G30)のうちのタッチされた位置に応じた構成部品に関する情報の表示の有無を変更する。
 このようにすることで、オペレータは、エンジン等の構成部品に関する各種情報を、簡便かつ直感的な操作で把握することができる。
 なお、俯瞰表示画像G2又はバケット正面画像G3に領域G10eが含まれる場合には、図9のステップS30において、画面制御部203は、当該俯瞰表示画像G2又はバケット正面画像G3に含まれる領域G10eに対するタッチを受け付けた場合にも同様の処理を行ってよい。
 また、他の実施形態に係る画面制御部203は、領域G10eから所定の範囲内であれば、当該領域G10eから外れた領域をタッチした場合であっても、当該領域G10eに対するタッチを受け付けた場合と同様の処理を行ってよい。
[作業機械モデル画像 2]
 図10は、パーツ画像の種別が作業機械モデル画像G10(G20、G30)であった場合の画面制御を説明するための第2の図である。
 まず、表示パネルG22には状態画像Gが表示されているものとする(図10のステップS40)。なお、この時点における状態画像Gの作業機械モデル画像G10の表示形式は、「通常表示」とされている。「通常表示」とは、作業機械1の外観を再現した作業機械モデル画像G10(G20、G30)の表示形式である。
 この状態において、オペレータが、側面図画像G1に含まれる作業機械モデル画像G10のうちいずれの構成部品にも対応していない位置をタッチしたとする。この場合、画面制御部203は、作業機械モデル画像G10(G20、G30)の表示態様を変更する(図10のステップS41)。図10に示す例では、作業機械モデル画像G10(G20、G30)の表示形式が、「通常表示」から「透過表示」に切り替えられる。「通常表示」とは、作業機械1の外観までを表した作業機械モデル画像G10(G20、G30)の表示形式である。「透過表示」とは、例えば、スケルトン表示、または半透明表示である。
 以上のように、タッチされたパーツ画像の種別が作業機械モデル画像G10であった場合、画面制御部203は、作業機械モデル画像G10(G20、G30)の表示形式を変更する。
 このようにすることで、オペレータは、作業機械モデル画像G10(G20、G30)の表示形式を簡便かつ直感的な操作で変更することができる。
 なお、図10のステップS41の後において、オペレータから、再度、作業機械モデル画像G10のタッチを受け付けた場合、画面制御部203は、作業機械モデル画像G10(G20、G30)の表示形式を「通常表示」に戻してもよいし、「透過表示」が「スケルトン表示」であった場合は、「スケルトン表示」から「半透明表示」(または、「透過表示」が「半透明表示」であった場合は、「半透明表示」から「スケルトン表示)に変更してもよい。
 また、他の実施形態に係る画面制御部203は、作業機械モデル画像G10のタッチを受け付けた場合に、作業機械モデル画像G10(G20、G30)の表示形式(「通常表示」、「スケルトン表示」等)の候補の中から一つを選択可能とするメニュー画面に遷移してもよい。
 なお、図10のステップS40において、画面制御部203は、俯瞰表示画像G2に含まれる作業機械モデル画像G20、又は、バケット正面画像G3に含まれる作業機械モデル画像G30に対するタッチを受け付けた場合にも同様の処理を行ってよい。
 また、他の実施形態に係る画面制御部203は、「透過表示」時に、作業機械内部にあるエンジンまたは他の構成部品を表示してもよい。この場合において、画面制御部203は、表示されたエンジン部分に対応するパーツ画像のタッチを受け付けた場合に、当該エンジン等に関する各種情報を示す情報テーブルを表示させてもよい。
[背景画像]
 図11は、パーツ画像の種別が状態画像Gの背景画像G0であった場合の画面制御を説明するための図である。
 まず、表示パネルG22には状態画像Gが表示されているものとする(図11のステップS50)。なお、この時点における状態画像Gの背景画像G0の色は、例えば、「白」等の標準設定色に設定されていたとする。
 この状態において、オペレータが、状態画像Gの背景画像G0をタッチしたとする。この場合、画面制御部203は、背景画像G0の色を変更する(図11のステップS51)。これにより、状態画像Gの背景画像G0の色が、標準設定色(白)から例えば、「青」等の他の設定色に切り替えられる。
 以上のように、タッチされたパーツ画像の種別が背景画像G0であった場合、画面制御部203は、背景画像G0の色を変更する。
 このようにすることで、オペレータは、背景画像G0の色を簡便かつ直感的な操作で変更することができる。
 なお、図11のステップS51の後において、オペレータから、再度、背景画像G0のタッチを受け付けた場合、画面制御部203は、背景画像G0の表示形式を標準設定色に戻してもよいし、更に異なる色に変更してもよい。
 また、他の実施形態に係る画面制御部203は、背景画像G0のタッチを受け付けた場合に、背景画像G0の色候補の中から一つを選択可能とするメニュー画面に遷移してもよい。
 また、他の実施形態に係る画面制御部203は、背景画像G0のタッチを受け付けた場合に、状態画像Gのレイアウト設定画面に遷移してもよい。ここで、例えば、図5において、側面図画像G1の表示領域を「メイン」、俯瞰表示画像G2の表示領域を「サブ1」、バケット正面画像G3の表示領域を「サブ2」とする。レイアウト設定画面では、各「メイン」、「サブ1」、「サブ2」について表示する表示画像の種類を、オペレータが所望に割り当てることができる。例えば、オペレータは、「メイン」の表示領域に俯瞰表示画像G2を表示するように割り当て、「サブ1」の表示領域に側面図画像G1を割り当てることもできる。
(作用、効果)
 以上のとおり、第1の実施形態に係る制御装置2によれば、オペレータは、状態画像Gを直接タッチすることで、タッチされたパーツ画像に応じた画面制御を行うことができる。したがって、極めて簡便かつ直感的な操作で設定変更を行うことができる。
 なお、例えば、トップ画面にショートカットアイコンを設けるという解決手段も考えられる。しかしながら、通常、作業機械の運転室に搭載される制御装置2の表示パネルは小サイズであり、一画面に表示できる情報量に制約がある。そのような中で、トップ画面に専用のショートカットアイコンを設けると、一画面に表示できる情報量を一層制限してしまうことになる。
 本実施形態に係る制御装置2によれば、状態画像Gに専用のショートカットアイコン等を設けなくともよいので、一画面に含むことのできる情報量を低減させずに済む。
 即ち、制御装置によれば、一画面に表示できる情報量を制限することなく、簡便な操作で設定変更を行うことができる。
<第2の実施形態>
 以下、第2の実施形態に係る制御装置について、図12~図13を参照しながら詳細に説明する。
(状態画像の例)
 図12は、第2の実施形態に係る状態画像の例を示す図である。
 図12に示す状態画像Gは、作業機械1の内部状態を示す各種ゲージ画像Gm1、Gm2、Gm3を含む画像である。具体的には、ゲージ画像Gm1は、エンジン冷却水温度を示すゲージ画像である。また、ゲージ画像Gm2は、作動油温度を示すゲージ画像である。また、ゲージ画像Gm3は、燃料の残量を示すゲージ画像である。なお、状態画像Gは、少なくともGm1、Gm2、Gm3のいずれか一つを含む画像であってもよい。また、各種ゲージ画像は、車速や、積み込み量を示すゲージ画像など、作業機械1の内部状態を示すその他のゲージ画像であってもよい。
 第2の実施形態に係る画面制御部203は、図12に示す状態画像Gに対し、オペレータによるタッチを受け付けた際に、当該タッチ位置で示されるゲージ画像Gm1、Gm2、Gm3のいずれかについての画面制御を行う。
(画面制御部の機能)
 図13は、第2の実施形態に係る画面制御部の機能を説明するための図である。
 図13は、タッチされたパーツ画像の種別が、ゲージ画像Gm1であった場合の画面制御を説明するための図である。
 まず、表示パネルG22には状態画像Gが表示されているものとする(図13のステップS60)。
 この状態において、オペレータが、ゲージ画像Gm1をタッチしたとする。この場合、画面制御部203は、表示パネル22に表示する画像を、状態画像Gから水温ゲージ設定メニュー画像M3に遷移させる(図13のステップS61)。具体的には、水温ゲージ設定メニュー画像M3と、遷移先の画面をリンクしておき、画面制御部203は、種別特定部202によって水温ゲージ設定メニュー画像M3が特定されると、ゲージ画像Gm1のリンク先である水温ゲージ設定メニュー画像M3に遷移させる。水温ゲージ設定メニュー画像M3では、入力フォームF5~F7を通じて、ゲージ画像Gm1で表示する水温の上限値、下限値、アラーム設定値の設定変更を行うことができる。
 同様に、画面制御部203は、他のゲージ画像Gm2、Gm3についてのタッチを受け付けた場合、表示パネル22に表示する画像を、ゲージ画像Gm2、Gm3の各々に応じた設定メニュー画像に遷移させる。
 以上のように、タッチされたパーツ画像の種別が作業機械1の内部状態を示すゲージ画像であった場合、画面制御部203は、ゲージ画像Gm1、Gm2、Gm3それぞれに関する表示設定を変更する。
(変形例)
 以上、第1、第2の実施形態に係る制御装置2について詳しく説明したが、制御装置2の具体的な態様は、上述のものに限定されることはなく、要旨を逸脱しない範囲内において種々の設計変更等を加えることは可能である。
 例えば、第1の実施形態に係る制御装置2は、アタッチメント画像G101、ガイダンス画像G4、作業機械モデル画像G10及び背景画像G0の全てのパーツ画像につき、当該パーツ画像そのものをタッチすることで画面制御を行うことができることを説明したが、他の実施形態においてはこれに限られない。
 即ち、他の実施形態に係る制御装置2は、アタッチメント画像G101、ガイダンス画像G4、作業機械モデル画像G10、背景画像G0のうちの少なくともいずれか一つについて、上記態様の画面制御を行う態様であってもよい。
 また、第1、第2の実施形態に係る制御装置2は、いずれも、状態画像Gに対する通常のタッチにより、各種画面制御を行うものとして説明したが、他の実施形態においてはこの態様に限定されない。
 例えば、他の実施形態に係る制御装置2は、状態画像Gに対するダブルタップ、長押し、スワイプ等、タップ以外の指定を受け付けるものであってよい。この場合において、例えば以下のように、操作の種類ごとに異なる処理が割り当てられていてもよい。
 ・タップ:アタッチメント選択メニューに遷移
 ・ダブルタップ:寸法情報に遷移
 また、第1、第2の実施形態に係る制御装置2は、アタッチメント画像G101、ガイダンス画像G4、作業機械モデル画像G10、背景画像G0、ゲージ画像Gm1、ゲージ画像Gm2、およびゲージ画像Gm3をパーツ画像として説明したが、他の実施形態においてはこれに限られない。
 即ち、他の実施形態に係る制御装置2は、例えば、ブーム、アーム、上部旋回体、下部走行体、エンジン、作動油フィルタ、モニタ装置等の作業機械を構成する画像をパーツ画像としてもよい。この場合、作業機械を構成する画像をタッチすると、作業機械を構成する画像に関連する画面に遷移してもよい。
 また、地形画像G11、地形画像G21、地形画像G31等の地形画像をパーツ画像としてもよい。この場合、地形画像をタッチすると、地形に関する情報を表示する画面や施工情報を表示する画面に遷移してもよい。
 また、第1、第2の実施形態に係る制御装置2は、タッチされたパーツ画像の種別を特定するものとして説明したが、他の実施形態においてはこれに限られない。
 即ち、他の実施形態に係る制御装置2は、パーツ画像が表示パネル22に1種類しか表示されていない等、パーツ画像の種別を特定する必要がない場合は、パーツ画像の種別を特定する処理を省略してもよい。つまり、図4のステップS02の処理を行わなくともよい。
 また、表示パネル22に表示される所定の画像、または画素毎に対応させて遷移先の画面、又は設定をリンクしておき、位置指定受付部201によってタッチの位置を特定し、特定されたタッチの位置に表示された画像、又は画素のリンク先の画面に遷移、又は設定変更後の画面を表示してもよい。この場合、パーツ画像の種別を特定する処理を省略することができる。
 また、表示パネル22の所定の座標位置毎に対応させて遷移先の画面、又は設定をリンクしておき、位置指定受付部201によってタッチの位置を特定し、特定されたタッチの位置に対応するリンク先の画面に遷移、又は設定変更後の画面を表示してもよい。この場合も、パーツ画像の種別を特定する処理を省略することができる。
 更に、表示している画面の種類と、表示パネル22の所定の座標位置との組み合わせに対応させて遷移先の画面、又は設定をリンクしておき、位置指定受付部201によってタッチの位置を特定し、特定されたタッチの位置に対応するリンク先の画面に遷移、又は設定変更後の画面を表示してもよい。この場合、パーツ画像の種別を特定する処理を省略することができるだけでなく、画面の遷移を細かく制御することができる。
 以上のパーツ画像の種別を特定する処理を省略した手法を第1、第2の実施形態に係る制御装置2に用いれば、例えば、表示パネル22に表示されているバケット部分をタッチすると、アタッチメント選択メニュー画像M1に遷移することができる。また、表示パネル22に表示されているガイダンス部分をタッチすると、ガイダンス設定メニューM2に遷移することができる。
 また、第1、第2の実施形態に係る制御装置2は、いずれも作業機械1に搭載されるものとして説明したが、他の実施形態においてはこの態様に限定されない。
 例えば、他の実施形態に係る制御装置2は、作業機械1の外部に設置され、当該作業機械1の状態を遠隔で監視する端末装置であってもよい。また、制御装置2の構成を作業機械1と外部の端末装置に分けて搭載するものであってもよい。
 また、制御装置2は、ラジコン用のモニタ装置であってもよいし、サービスマンや作業機械1の管理者が携帯するスマートフォン、タブレット型端末などであってもよい。
 また、第1、第2の実施形態に係る制御装置2を搭載する作業機械1は、油圧ショベルであるものとして説明したが他の実施形態においてはこの態様に限定されない。
 制御装置2は、油圧ショベルの他、ホイールローダ、ダンプトラックなど種々の作業機械に適用可能である。
 また、他の実施形態に係る制御装置2は、更に、以下のような機能を有してもよい。例えば、制御装置2は、図6において、作業機械モデル画像G10のクローラがタッチされた場合に、例えば、Hi(高速モード)、L(低速モード)等の走行モードを設定する画面に遷移してもよい。また、制御装置2は、設計面がタッチされた場合に、設計面の表示、現況地形の表示を交互に変更してもよい。更に、制御装置2は、作業機械モデルG30の刃先のタッチを受け付けた場合に、着目する刃先位置の設定画面に遷移してもよい。
 また、他の実施形態に係る画面制御部203は、第2の実施形態で説明した機能の他に、SMR、時刻等の表示領域におけるタッチを受け付けた場合に、その都度、表示形式を変更する処理を行ってもよい。
 また、他の実施形態に係る画面制御部203は、タッチを受け付けた場合に、許可画面に遷移してもよい。許可画面では、例えば、バケット交換画面への画面遷移や、例えば、バケットの大きさの変更、背景の色変更等の画面変更を実際に行うことの成否(YES/NO)を受け付ける。これにより、誤ってタッチしてしまった場合にすぐに復帰することができ、利便性を高めることができる。
 なお、上述した制御装置2の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
 上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル、又は差分プログラム等であってもよい。
 以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
 本発明の各態様によれば、簡便な操作で設定変更を行うことができる。
1 作業機械、2 制御装置、20 CPU、200 表示処理部、201 位置指定受付部、202 種別特定部、203 画面制御部、21 メモリ、22 表示パネル、23 タッチセンサ、24 通信インタフェース、25 ストレージ

Claims (12)

  1.  表示パネルに表示される作業機械の状態を示す状態画像に対する位置の指定を特定する位置指定受付部と、
     前記特定された位置に応じた画面制御を行う画面制御部と、
     を備える作業機械の制御装置。
  2.  前記特定された位置に表示されるパーツ画像の種別を特定する種別特定部をさらに備える
     請求項1に記載の作業機械の制御装置。
  3.  前記パーツ画像の種別が前記作業機械の動作状態を示す作業機械モデル画像であった場合、
     前記画面制御理部は、更に、前記作業機械モデル画像を構成するパーツ画像に応じた画面制御を行う
     請求項2に記載の作業機械の制御装置。
  4.  前記パーツ画像の種別が前記作業機械のアタッチメントの状態を示すアタッチメント画像であった場合、
     前記画面制御理部は、アタッチメントの選択を受け付ける画面に遷移する
     請求項3に記載の作業機械の制御装置。
  5.  前記パーツ画像の種別が前記作業機械のアタッチメントの状態を示すアタッチメント画像であった場合、
     前記画面制御部は、現在表示中のアタッチメント画像を他のアタッチメント画像に変更する
     請求項3に記載の作業機械の制御装置。
  6.  前記パーツ画像の種別が前記作業機械の動作状態を示す作業機械モデル画像であった場合、
     前記画面制御部は、前記作業機械モデル画像のうちの前記指定された位置に応じた構成部品に関する情報の表示設定を変更する
     請求項3から請求項5のいずれか一項に記載の作業機械の制御装置。
  7.  前記パーツ画像の種別が前記作業機械の動作状態を示す作業機械モデル画像であった場合、
     前記画面制御部は、前記作業機械モデル画像の表示形式を変更する
     請求項3から請求項6のいずれか一項に記載の作業機械の制御装置。
  8.  前記パーツ画像の種別が前記作業機械と周辺地形との位置関係を示すガイダンス画像であった場合、
     前記画面制御部は、前記ガイダンス画像による前記位置関係の表示設定の変更を受け付ける画面に遷移する
     請求項2から請求項7のいずれか一項に記載の作業機械の制御装置。
  9.  前記パーツ画像の種別が前記作業機械と周辺地形との位置関係を示すガイダンス画像であった場合、
     前記設定変更処理部は、前記ガイダンス画像による前記位置関係の表示設定を変更する
     請求項2から請求項8のいずれか一項に記載の作業機械の制御装置。
  10.  前記パーツ画像の種別が前記作業機械の内部状態を示すゲージ画像であった場合、
     前記画面制御部は、前記ゲージ画像に関する表示設定を変更する
     請求項2から請求項9のいずれか一項に記載の作業機械の制御装置。
  11.  請求項1から請求項10のいずれか一項に記載の作業機械の制御装置を備える
     作業機械。
  12.  前記表示パネルに表示される前記状態画像に対する位置の指定を特定するステップと、
     前記状態画像の一部を構成するパーツ画像のうち、前記特定された位置に表示される画像に応じた画面制御を行うステップと、
     を有する作業機械の制御方法。
PCT/JP2020/001576 2019-01-18 2020-01-17 作業機械の制御装置、作業機械、及び作業機械の制御方法 WO2020149409A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112020000195.4T DE112020000195T5 (de) 2019-01-18 2020-01-17 Steuervorrichtung für eine Arbeitsmaschine, Arbeitsmaschine und Verfahren zur Steuerung einer Arbeitsmaschine
KR1020217019105A KR102568232B1 (ko) 2019-01-18 2020-01-17 작업 기계의 제어 장치, 작업 기계, 및 작업 기계의 제어 방법
CN202080007685.6A CN113272501B (zh) 2019-01-18 2020-01-17 作业机械的控制装置、作业机械以及作业机械的控制方法
US17/417,202 US11941313B2 (en) 2019-01-18 2020-01-17 Working machine control device, working machine, and working machine control method for performing screen control based on identified position

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019007383A JP7202193B2 (ja) 2019-01-18 2019-01-18 作業機械の制御装置、作業機械、及び作業機械の制御方法
JP2019-007383 2019-01-18

Publications (1)

Publication Number Publication Date
WO2020149409A1 true WO2020149409A1 (ja) 2020-07-23

Family

ID=71613369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001576 WO2020149409A1 (ja) 2019-01-18 2020-01-17 作業機械の制御装置、作業機械、及び作業機械の制御方法

Country Status (6)

Country Link
US (1) US11941313B2 (ja)
JP (2) JP7202193B2 (ja)
KR (1) KR102568232B1 (ja)
CN (1) CN113272501B (ja)
DE (1) DE112020000195T5 (ja)
WO (1) WO2020149409A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4350078A1 (de) * 2022-10-06 2024-04-10 BAUER Maschinen GmbH Tiefbaumaschine und verfahren zum betreiben einer tiefbaumaschine
EP4350077A1 (de) * 2022-10-06 2024-04-10 BAUER Maschinen GmbH Tiefbaumaschine und verfahren zum betreiben einer tiefbaumaschine
WO2024106563A1 (ko) * 2022-11-16 2024-05-23 볼보 컨스트럭션 이큅먼트 에이비 건설기계의 표시 시스템

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002173956A (ja) * 2000-12-06 2002-06-21 Komatsu Ltd 油圧ショベルのモニタ装置
JP2008266976A (ja) * 2007-04-19 2008-11-06 Caterpillar Japan Ltd 作業機械の制御装置
JP2011127372A (ja) * 2009-12-18 2011-06-30 Komatsu Ltd 建設機械の稼動モード制御装置
JP2011231489A (ja) * 2010-04-26 2011-11-17 Hitachi Constr Mach Co Ltd 作業機械の表示装置
JP2012173855A (ja) * 2011-02-18 2012-09-10 Nippon Seiki Co Ltd 表示装置
JP2013097519A (ja) * 2011-10-31 2013-05-20 Denso Corp 車両用タッチ式操作入力装置
JP2013115514A (ja) * 2011-11-25 2013-06-10 Nikon Corp 表示制御装置および表示制御プログラム
JP2014222795A (ja) * 2013-05-13 2014-11-27 株式会社タダノ 作業機械の遠隔操作システム
WO2015173935A1 (ja) * 2014-05-15 2015-11-19 株式会社小松製作所 掘削機械の表示システム、掘削機械及び掘削機械の表示方法
JP5893144B1 (ja) * 2014-06-04 2016-03-23 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
JP2018009370A (ja) * 2016-07-14 2018-01-18 株式会社加藤製作所 建設機械
WO2018062374A1 (ja) * 2016-09-30 2018-04-05 住友建機株式会社 ショベル
JP2019001460A (ja) * 2018-07-30 2019-01-10 株式会社ユピテル システム及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3566048B2 (ja) 1997-10-24 2004-09-15 シャープ株式会社 表示入力操作装置
KR100522374B1 (ko) * 2000-11-29 2005-10-18 히다치 겡키 가부시키 가이샤 건설기계의 정보표시장치 및 표시제어장치
US20040210370A1 (en) 2000-12-16 2004-10-21 Gudat Adam J Method and apparatus for displaying an excavation to plan
JP2002275949A (ja) 2001-03-14 2002-09-25 Hitachi Constr Mach Co Ltd 建設機械の情報表示装置及び表示制御装置
KR101009516B1 (ko) 2003-02-24 2011-01-18 바이에리셰 모토렌 베르케 악티엔게젤샤프트 차량 수리 과정의 비주얼화 방법 및 장치
JP4484233B2 (ja) 2009-09-02 2010-06-16 任天堂株式会社 入力座標処理プログラムおよび入力座標処理装置
KR102102133B1 (ko) * 2011-12-26 2020-04-20 스미도모쥬기가이고교 가부시키가이샤 쇼벨의 화상표시장치
JP5480941B2 (ja) * 2012-08-02 2014-04-23 株式会社小松製作所 掘削機械の表示システム及びその制御方法。
KR102123127B1 (ko) * 2013-12-06 2020-06-15 두산인프라코어 주식회사 화면모드 선택 장치 및 방법
CN107406035B (zh) * 2015-03-31 2020-09-25 株式会社小松制作所 工程作业机械
JP6713190B2 (ja) 2015-10-09 2020-06-24 住友重機械工業株式会社 ショベル操作装置及びショベル操作方法
JP2017178300A (ja) 2016-03-25 2017-10-05 日本精機株式会社 車両用情報提供装置
JP7216549B2 (ja) 2016-09-29 2023-02-01 住友建機株式会社 ショベル
KR102157285B1 (ko) 2016-11-09 2020-09-17 가부시키가이샤 고마쓰 세이사쿠쇼 작업 차량 및 작업 차량의 제어 방법
JP6839040B2 (ja) 2017-06-22 2021-03-03 株式会社日立インダストリアルプロダクツ 遠心式流体機械
DE112018001446T5 (de) * 2017-07-14 2019-12-12 Komatsu Ltd. Anzeigesteuerungsvorrichtung, Anzeigesteuerungsverfahren, Programm und Anzeigesystem
JP7073700B2 (ja) 2017-12-08 2022-05-24 ブラザー工業株式会社 画像処理プログラム、情報処理装置および画像処理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002173956A (ja) * 2000-12-06 2002-06-21 Komatsu Ltd 油圧ショベルのモニタ装置
JP2008266976A (ja) * 2007-04-19 2008-11-06 Caterpillar Japan Ltd 作業機械の制御装置
JP2011127372A (ja) * 2009-12-18 2011-06-30 Komatsu Ltd 建設機械の稼動モード制御装置
JP2011231489A (ja) * 2010-04-26 2011-11-17 Hitachi Constr Mach Co Ltd 作業機械の表示装置
JP2012173855A (ja) * 2011-02-18 2012-09-10 Nippon Seiki Co Ltd 表示装置
JP2013097519A (ja) * 2011-10-31 2013-05-20 Denso Corp 車両用タッチ式操作入力装置
JP2013115514A (ja) * 2011-11-25 2013-06-10 Nikon Corp 表示制御装置および表示制御プログラム
JP2014222795A (ja) * 2013-05-13 2014-11-27 株式会社タダノ 作業機械の遠隔操作システム
WO2015173935A1 (ja) * 2014-05-15 2015-11-19 株式会社小松製作所 掘削機械の表示システム、掘削機械及び掘削機械の表示方法
JP5893144B1 (ja) * 2014-06-04 2016-03-23 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
JP2018009370A (ja) * 2016-07-14 2018-01-18 株式会社加藤製作所 建設機械
WO2018062374A1 (ja) * 2016-09-30 2018-04-05 住友建機株式会社 ショベル
JP2019001460A (ja) * 2018-07-30 2019-01-10 株式会社ユピテル システム及びプログラム

Also Published As

Publication number Publication date
JP2021101103A (ja) 2021-07-08
DE112020000195T5 (de) 2021-09-02
KR20210092807A (ko) 2021-07-26
US11941313B2 (en) 2024-03-26
JP2020117875A (ja) 2020-08-06
US20220075584A1 (en) 2022-03-10
KR102568232B1 (ko) 2023-08-17
JP7271597B2 (ja) 2023-05-11
CN113272501B (zh) 2022-11-11
CN113272501A (zh) 2021-08-17
JP7202193B2 (ja) 2023-01-11

Similar Documents

Publication Publication Date Title
JP7271597B2 (ja) 作業機械の制御装置及び作業機械の制御方法
US20220317842A1 (en) Control device, work machine, and control method
AU2014202345B2 (en) Remote control system for drill
KR20150066212A (ko) 화면모드 선택 장치 및 방법
US20210331590A1 (en) Display controller, working machine, and computer readable storage medium
JP5925639B2 (ja) 携帯端末及び携帯端末を備えた作業機操作システム
JP2024045756A (ja) 作業機械用表示制御システム、作業機械用表示システム、作業機械、作業機械用表示制御方法及び作業機械用表示制御プログラム
WO2020054313A1 (ja) 再生装置、分析支援システム及び再生方法
US20230036958A1 (en) Display control system, work machine, and display control method
US20220382296A1 (en) Gnss drive control device, gnss controller, work machine, and gnss drive control method
WO2024048576A1 (ja) 表示制御装置、作業機械、表示制御方法
JP7186270B1 (ja) 作業機械
JP7051674B2 (ja) 表示制御装置、作業機、プログラム、及びその記録媒体
JP7051675B2 (ja) 表示制御装置、作業機、プログラム、及びその記録媒体
JP2018009370A (ja) 建設機械
JP2021155957A (ja) ショベル
WO2022144060A1 (en) Position detection display method and device interface for backhoes
JP2023183992A (ja) 支援システム、遠隔操作支援装置、作業機械、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20741805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217019105

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20741805

Country of ref document: EP

Kind code of ref document: A1