WO2024063060A1 - 自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラム - Google Patents

自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラム Download PDF

Info

Publication number
WO2024063060A1
WO2024063060A1 PCT/JP2023/033963 JP2023033963W WO2024063060A1 WO 2024063060 A1 WO2024063060 A1 WO 2024063060A1 JP 2023033963 W JP2023033963 W JP 2023033963W WO 2024063060 A1 WO2024063060 A1 WO 2024063060A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
machine
section
display
information processing
Prior art date
Application number
PCT/JP2023/033963
Other languages
English (en)
French (fr)
Inventor
創士 尾幡
樹哉 迫
龍之介 宮嵜
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Publication of WO2024063060A1 publication Critical patent/WO2024063060A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions

Definitions

  • the present invention relates to an automatic driving information processing device, an automatic driving information processing method, and an automatic driving information processing program that process information regarding automatic driving of a work machine.
  • Patent Document 1 a working machine that performs automatic operation is described in Patent Document 1 and the like.
  • an object of the present invention is to provide an automatic driving information processing device, an automatic driving information processing method, and an automatic driving information processing program that can easily confirm and input information regarding automatic driving of a work machine. shall be.
  • the automatic driving information processing device of the first means is communicatively connected to a working machine capable of performing automatic driving.
  • the automatic driving information processing device includes a display section and an input section.
  • the display unit displays a display image including information regarding the automatic driving.
  • Information regarding the automatic driving is input to the input unit according to an operation by a worker.
  • the automatic driving information processing method of the second means includes a connection step, a display step, and an input step.
  • the connecting step connects the working machine capable of automatic operation in a communicable manner.
  • the display step displays a display image including information regarding the automatic driving on the display unit.
  • the input step acquires information regarding the automatic operation, which is input through the input unit in response to an operation by a worker.
  • the automatic driving information processing program of the third means causes the computer to execute a connection step, a display step, and an input step.
  • the connecting step connects the working machine capable of automatic operation in a communicable manner.
  • the display step displays a display image including information regarding the automatic driving on the display unit.
  • the input step acquires information regarding the automatic operation, which is input through the input unit in response to an operation by a worker.
  • FIG. 1 is a diagram showing an automatic driving system 1 including an automatic driving information processing device 20 and the like. It is a figure which shows the display image G displayed on the display part 23o shown in FIG. 1, and is a figure which shows a basic screen.
  • 3 is a diagram showing a home screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a home screen of display image G shown in FIG. 2 when a plurality of work machines 10 are connected.
  • FIG. 3 is a diagram showing a teaching top screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a pre-teaching screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a teaching screen of the display image G shown in FIG. 2;
  • FIG. 3 is a diagram showing a teaching screen of the display image G shown in FIG. 2; FIG.
  • FIG. 3 is a diagram showing a trajectory confirmation screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a trajectory change screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a target range setting screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing an initial posture preparation screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a work machine state preparation screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing an automatic driving mode start notification screen of the display image G shown in FIG. 2.
  • 3 is a diagram showing an automatic driving initial setting screen of display image G shown in FIG. 2.
  • FIG. It is a figure which shows the screen before the start of automatic driving of the display image G shown in FIG.
  • FIG. 3 is a diagram showing an operation speed change screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a work count change screen of display image G shown in FIG. 2.
  • FIG. It is a figure which shows the confirmation screen before the start of automatic driving of the display image G shown in FIG.
  • It is a figure which shows the screen during automatic driving of the display image G shown in FIG. 3 is a diagram showing a display setting screen for display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a sensor status confirmation screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing an automatic driving screen including a work phase display section PD and the like of display image G shown in FIG. 2.
  • FIG. It is a figure which shows the simple screen during automatic driving of the display image G shown in FIG.
  • FIG. 3 is a diagram showing a midway end screen of the display image G shown in FIG. 2 .
  • 3 is a diagram showing an emergency stop screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing an emergency stop screen of display image G shown in FIG. 2 according to the work content.
  • FIG. 3 is a diagram showing a connection setting screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing a work selection screen at the time of new connection of display image G shown in FIG. 2;
  • 3 is a diagram showing a sensor status display screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing an accessory operation screen of display image G shown in FIG. 2.
  • FIG. 2 is a diagram showing a midway end screen of the display image G shown in FIG. 2 .
  • 3 is a diagram showing an emergency stop screen of display image G shown in FIG. 2.
  • FIG. 3 is a diagram showing an emergency stop screen of display image G shown in FIG. 2 according to the work content
  • FIG. 2 is a flowchart showing the operation of the automatic driving system 1 shown in FIG. 1.
  • FIG. It is a flowchart which shows the operation
  • the automatic driving system 1 will be explained with reference to FIGS. 1 to 15B.
  • the automatic driving system 1 is a system related to automatic driving of a work machine 10.
  • the automatic driving system 1 includes a work machine 10 and an automatic driving information processing device 20.
  • the work machine 10 is a machine that performs work, for example, a construction machine that performs construction work, and may be an excavator or a crane, for example. In the following, a case where the work machine 10 is a shovel will be described.
  • the work machine 10 is configured to be capable of automatic operation.
  • the work machine 10 may be operated by a worker (operator) in a driver's cab 13a (described later), or may be operated remotely.
  • the number of working machines 10 included in the automatic driving system 1 may be one or more.
  • the work machine 10 includes a machine body 10a and an attachment 15.
  • the machine body 10a is the main body portion of the working machine 10.
  • the machine main body 10a includes a lower traveling body 11 and an upper revolving body 13.
  • the lower traveling body 11 can run on a running surface (such as the ground).
  • the undercarriage 11 may include crawlers or wheels.
  • the upper revolving body 13 is rotatably mounted on the lower traveling body 11.
  • the upper revolving body 13 includes an operator's cab 13a and a status display device 13b.
  • the operator's cab 13a is a part where a worker (operator) can operate the working machine 10.
  • the status display device 13b is a device that displays the status (described later) of the working machine 10.
  • the status display device 13b is, for example, a rotating light, a screen, a light, or the like.
  • the status display device 13b is provided, for example, on the upper surface of the revolving upper structure 13 (for example, on the upper surface of the operator's cab 13a).
  • the attachment 15 is a part that performs work, and includes, for example, a boom 15a, an arm 15b, and a tip attachment 15c.
  • the boom 15a is attached to the upper revolving body 13 so that it can rise and fall.
  • Arm 15b is rotatably attached to boom 15a.
  • the tip attachment 15c is provided at the tip of the attachment 15, and is rotatably attached to the arm 15b.
  • the tip attachment 15c performs work on the work target.
  • the object to be worked on may be soil, sand, stone, wood, metal, resin, waste, or a structure (such as a block).
  • the tip attachment 15c is set to a type corresponding to the workpiece.
  • the tip attachment 15c may be a bucket for scooping or digging work objects such as earth, granules, chips, and powder.
  • the tip attachment 15c may be a lifting magnet that attracts metal (work object) using magnetic force and lifts the metal.
  • the tip attachment 15c may be a device that pinches the workpiece (such as a grapple or a nibbler), or may be a device that crushes the workpiece (such as a breaker).
  • the work machine 10 captures a work object and moves the captured work object to a predetermined position.
  • a specific example of the work performed by the work machine 10 is as follows.
  • the work machine 10 may perform loading work.
  • the work machine 10 equipped with a bucket excavates (captures) soil (work target), discharges the excavated soil onto a transport vehicle (for example, a dump truck), and transports the soil to the vehicle.
  • a transport vehicle for example, a dump truck
  • This is the work of loading the Work machine 10 may perform lifting magnet work.
  • the lifting magnet work is a work in which the work machine 10 equipped with a lifting magnet (an example of the tip attachment 15c) attracts (captures) metal (work target) and moves the captured metal to a predetermined position.
  • the working machine 10 may perform a turning operation.
  • the turning work is a work in which the work machine 10 equipped with a bucket or the like turns soil (work object) upside down.
  • the work machine 10 may also carry out a work of transporting a structure.
  • the work of transporting a structure is a work in which the work machine 10 equipped with the tip attachment 15c capable of gripping a structure (work object) grips the structure and places the gripped structure at a predetermined position.
  • one work machine 10 may be capable of performing multiple types of work. Whether or not the work machine 10 can perform a certain type of work is determined by, for example, the type of the tip attachment 15c, the ability of the work machine 10, and the like.
  • the automatic operation information processing device 20 is a device that processes information regarding automatic operation of the work machine 10.
  • the automatic driving information processing device 20 may have a function of operating the working machine 10 capable of automatic driving.
  • the automatic driving information processing device 20 may have a function of supporting management of the work machine 10 capable of automatic driving.
  • the automatic driving information processing device 20 is communicably connected to the work machine 10.
  • a communicable connection will also be simply referred to as a "connection.”
  • the automatic driving information processing device 20 may include various information processing devices (devices).
  • the automatic driving information processing device 20 includes a server 21 (computer) and an information terminal 23.
  • the server 21 is a computer (controller) that performs input/output of information, calculation (processing), storage of information, etc.
  • the functions of the server 21 are realized by a program stored in a storage section of the server 21 being executed by a calculation section.
  • Server 21 is placed outside work machine 10 and information terminal 23 .
  • Server 21 is connected to work machine 10 .
  • the information terminal 23 is connected to the work machine 10.
  • the information terminal 23 may be connected to the work machine 10 via the server 21 or may be connected to the work machine 10 without going through the server 21.
  • the information terminal 23 is a device that can input and output information.
  • the information terminal 23 may or may not be portable.
  • the information terminal 23 may be a tablet, a smartphone, or a personal computer.
  • the information terminal 23 may also be used as the server 21.
  • the information terminal 23 may be placed outside the work machine 10 or may be placed inside the work machine 10 (for example, may be brought into the work machine 10).
  • the information terminal 23 includes a control section 23c (computer), an input section 23i, and a display section 23o.
  • the control unit 23c is a computer (controller) that performs input/output of signals, calculation (processing), storage of information, etc.
  • the functions of the control section 23c are realized by a program stored in a storage section of the control section 23c being executed by a calculation section.
  • the control unit 23c controls information related to display on the display unit 23o, and causes the display unit 23o to perform display, for example.
  • the control unit 23c controls information related to input from the input unit 23i, and processes information input to the input unit 23i, for example.
  • the control unit 23c may perform other controls such as information communication control. Note that the control unit 23c may be distributed and arranged in a plurality of parts (a distributed system may be configured).
  • the control section 23c may be provided integrally with one or both of the input section 23i and the display section 23o, or may not be provided integrally with the input section 23i and the display section 23o.
  • the input section 23i and the display section 23o may be provided in the information terminal 23, and part or all of the control section 23c may be provided in the server 21 or the like.
  • the input unit 23i may be a touch panel, a mouse, a keyboard, or a device that inputs information based on information on the worker's line of sight, and may input information based on information on the position of the worker's fingers in space. It may also be a device that inputs information based on the information.
  • the display unit 23o displays information regarding automatic driving (display output unit).
  • the display unit 23o may be a monitor (display), a device that projects an image onto an object, or a device that uses AR (Augmented Reality) technology.
  • the image displayed on the display section 23o (the image that the control section 23c causes the display section 23o to display) is referred to as a display image G.
  • Display image G includes information regarding automatic driving.
  • the display image G includes shapes, patterns, colors, characters, symbols, and the like.
  • the display image G includes a GUI (Graphical User Interface).
  • the information terminal 23 may include a portion (output section) that performs output other than display, and may include, for example, an audio output section, a vibration output section, and the like.
  • the work machine 10 is configured to be able to perform automatic operation based on a work plan.
  • the work plan is information regarding the work goal of the work machine 10, and is set in advance (before automatic operation) in the automatic operation information processing device 20.
  • the work plan may include information on a target route for the work machine 10 to travel.
  • the work plan may include information on the target range TA (for example, target acquisition range TA1 and target release range TA3 shown in FIG. 10D) in which the tip attachment 15c performs the work.
  • the work plan may include information on a target path PA (see FIG. 10D) (also referred to as a target trajectory) of a specific part of the attachment 15.
  • the specific portion of the attachment 15 may be, for example, the distal end of the distal attachment 15c, or the base end of the distal attachment 15c (the distal end of the arm 15b).
  • the specific portion of the attachment 15 may be set at only one location, or may be set at multiple locations.
  • the target route PA is information including, for example, information on the positions (coordinates) of a plurality of target points and information on the order of each target point.
  • the work plan may include information on a target trajectory of a specific part of the attachment 15.
  • the above-mentioned "target trajectory" is information in which time information is added to information on the target route PA.
  • the work plan may include information for causing the work machine 10 to perform a certain work (for example, loading work, lifting magnet work, etc.) for multiple cycles.
  • One cycle may include multiple work phases P (see FIGS. 8 and 10D) (operation phases).
  • a specific example of work phase P is as follows. Here, a specific example of the work phase P will be described when the work machine 10 performs the work of capturing a work object and moving the captured work object to a predetermined position by automatic operation. In this case, as shown in FIG.
  • the work phase P includes a capture phase P1 (for example, excavation phase), a lifting turning phase P2 (unloading turning phase), a releasing phase P3 (unloading phase), and a return phase P3 (unloading phase).
  • the capture phase P1 is a phase in which the tip attachment 15c captures a work object (for example, excavates earth and sand) in the target capture range TA1.
  • the target acquisition range TA1 is set to a place where work objects are collected (for example, an earth and sand pile).
  • the lifting and turning phase P2 (see FIG.
  • the release phase P3 is a phase in which the tip attachment 15c releases the work object (for example, removes earth) in the target release range TA3.
  • the target release range TA3 may be set, for example, to a predetermined range above the loading platform of a transport vehicle (such as a dump truck), a predetermined range above a container other than the loading platform, or a predetermined range above the ground. May be set.
  • the return rotation phase P4 is a phase in which the tip attachment 15c moves from the target release range TA3 toward the target acquisition range TA1. For example, in automatic operation, a series of work phases P (one cycle of automatic operation work) including a capture phase P1, a lifting turning phase P2, a release phase P3, and a return turning phase P4 are repeatedly performed.
  • At least a part of the work plan may be set by teaching, or may be set by a method other than teaching (for example, by inputting numerical values).
  • Information set by teaching is called teaching data.
  • the teaching data is set by a worker (operator) operating the working machine 10 shown in FIG. Specifically, for example, a worker rides on the working machine 10 and operates the working machine 10, or a worker remotely controls the working machine 10. For example, by operating the work machine 10, the worker places a specific part of the attachment 15 at a position (route, range, etc.) desired to be set as teaching data. Then, the teaching data is set in the automatic driving information processing device 20 based on the position where the specific part of the attachment 15 is placed.
  • the worker places a specific part of the attachment 15 at a specific position in the range desired to be set as the target range TA (target acquisition range TA1, target release range TA3) shown in FIG. 10D. (See the explanation of FIG. 6 below). The position where the specific part of the attachment 15 shown in FIG. Then, a target range TA shown in FIG. 10D is set based on the position where the specific part of the attachment 15 is placed. For example, by operating the work machine 10, the worker moves a specific part of the attachment 15 along a route desired to be set as the target route PA (see the explanation of FIGS. 4A, 4B, and 4C to be described later). reference).
  • the worker moves a specific portion of the attachment 15 along a route that he or she wants to set as the target trajectory and at a speed that he or she wants to set as the target trajectory. Then, the automatic driving information processing device 20 sets the route (or trajectory) along which the specific portion of the attachment 15 moves as the target route PA (or trajectory).
  • the display image G (see FIGS. 2 to 14D) that the control unit 23c displays on the display unit 23o.
  • Each component (work machine 10, automatic driving information processing device 20, etc.) shown in FIG. 1 will be described with reference to FIG. 1.
  • the display image G shown in FIG. 2 changes variously depending on the situation.
  • the display image G includes various parts (elements such as various selection sections, various display sections, and various setting sections).
  • each part of the display image G is displayed, the manner in which it is displayed, and whether or not it is possible to select or operate using the input unit 23i (active or inactive) vary depending on the situation.
  • the various parts of the display image G parts that are commonly displayed in many situations will be explained first, and then other parts, screen transitions, etc. will be explained.
  • FIG. 2 is a diagram showing the basic screen.
  • the basic screen includes a work selection section A, a work addition section Aadd, a function selection section B, a menu selection section F2A1, an information terminal operation content display section F2A2, a machine status display section F2A3, and a communication status display section F2A4. , is provided.
  • the basic screen also includes a home selection section H, a main display area M, a machine selection section T, and a machine addition section Tadd.
  • the work selection unit A is a part that allows the worker to select the type of work that the work machine 10 performs automatically.
  • the work selection section A is displayed such that the type of work can be selected using the input section 23i.
  • selection is a selection made by the operator operating the input unit 23i. Specifically, for example, when the input section 23i is a touch panel, selection is when the work selection section A is touched. When the input unit 23i is a mouse or a keyboard, the selection may be made by performing an operation (clicking, pressing a predetermined key, etc.) to determine the selection while the cursor is placed on the work selection unit A. Further, the selection may be performed by performing a specific mouse operation or key operation (such as a shortcut key operation) for selecting the work selection section A. In the following, the selection made by the operator operating the input section 23i is also simply referred to as “selection” (the same applies to “selection” and “setting” in sections other than the work selection section A).
  • the selection result of the work type by the work selection unit A can be used for various processes. For example, if part or all of the application software used for automatic driving differs depending on the type of work, the work selection result by the work selection unit A may be used to select which application software to use. good.
  • the work selection section A is an application selection section (application selection section).
  • the type of work and the work machine 10 may be associated with each other. In this case, when narrowing down the work machines 10 associated with a specific type of work from the plurality of work machines 10, the work selection result by the work selection unit A is used to select the type of work to be narrowed down. may be used. Further, for example, when newly connecting the work machine 10 to the information terminal 23, the work selection result by the work selection unit A is used to select which type of work the connected work machine 10 is associated with. (See explanation of FIG. 14B).
  • the position of the work selection section A in the display image G can be set in various ways.
  • the position of the work selection part A in the display image G may be the illustrated position or a position close to the illustrated position (the same applies to other parts).
  • the work selection section A is arranged in the leftmost area (application selection area) of the display image G.
  • the work selection part A may be arranged in the main display area M (see the loading work selection part F3A1 and the lifting magnet work selection part F3A2 in FIG. 3A). Note that the position of the work selection section A may be different from the illustrated position (the same applies to other parts).
  • the work selection section A may include at least one of figures (shapes, patterns, colors, etc.), characters, symbols, and image changes (movements, etc.). Specifically, for example, the work selection section A may include a button-shaped figure, or may include an icon. The work selection section A may include characters (such as "loading" and "lifting magnet") that explain the function of the work selection section A. The same applies to other parts unless otherwise specified.
  • work selection part A (a certain part of display image G)
  • the selected work selection part A and the unselected part are displayed so that the operator can distinguish them (other selectable parts are also displayed). Similar). For example, at least one of changes in graphics, characters, symbols, and images may be different between the selected portion and the unselected portion. Specifically, for example, the brightness of the selected portion may be made higher (brighter) than the brightness of the unselected portion (it may be highlighted).
  • the work selection section A is displayed for each type of work that the working machine 10 performs automatically. Specifically, for example, when the types of work include loading work and lifting magnet work, the work selection section A includes a loading work selection section A1 and a lifting magnet work selection section A2.
  • the loading work selection section A1 is a part for allowing the worker to select loading work as the "type of work”.
  • the lifting magnet work selection section A2 is a part for allowing the operator to select lifting magnet work as the "type of work”.
  • the work addition section Aadd is a section that is selected when a type of work that can be selected in the work selection section A is added.
  • the control unit 23c executes a function of adding a type of work.
  • the work addition part Aadd is arranged at a position continuous with the work selection part A, and specifically, it is arranged at a position below the work selection part A and adjacent to the work selection part A, for example.
  • the function selection section B is a section for allowing the operator to select a function related to automatic driving.
  • the function selection section B is arranged at a position adjacent to the work selection section A (such as on the right side).
  • Function selection section B is displayed for each of a plurality of functions.
  • the function selection section B can select a function corresponding to the type of work selected by the work selection section A.
  • the function selection section B includes a teaching function selection section B1, a loading function selection section B2, and a trajectory confirmation function. It includes a selection section B3, a release range function selection section B4, and a setting section B5.
  • the display image G may include a portion for adding a new selection portion to the function selection portion B (such as a portion similar to the work addition portion Aadd).
  • the function selection section B may include a plurality of button-shaped figures.
  • the menu selection section F2A1 is a section that is selected when a menu screen (not shown) is displayed.
  • the above-mentioned "menu screen” is a screen that allows the operator to select a menu item to be displayed as the display image G (for example, see the description of FIGS. 10B and 10C).
  • the information terminal operation content display section F2A2 displays information indicating what is currently being performed on the information terminal 23 (operation, setting, etc.). Specifically, for example, the information terminal operation content display section F2A2 displays which function is selected in the function selection section B, and what is being performed in the function selected in the function selection section B. In FIG. 2, information such as operation settings) is displayed.
  • the machine status display section F2A3 displays the status of the work machine 10.
  • the machine status display section F2A3 displays the status of the working machine 10 in a way that the operator can distinguish.
  • the state of the working machine 10 displayed on the machine state display section F2A3 may include a state related to automatic operation, or may include a state other than automatic operation.
  • the status of the working machine 10 displayed on the machine status display section F2A3 may include the status of whether the working machine 10 is normal or not.
  • the status of the work machine 10 displayed on the machine status display section F2A3 is an emergency stop, a lever-locked state (a state in which the work machine 10 cannot be operated), automatic operation, and remote control. including at least one of the following.
  • the machine status display section F2A3 may include an image in which a light corresponding to the status of the working machine 10 shines.
  • the status display device 13b (see FIG. 1) that displays the status of the working machine 10 may be mounted on the actual working machine 10.
  • the image on the machine status display section F2A3 shown in FIG. 2 and the display on the status display device 13b of the actual working machine 10 are linked.
  • the lighting or extinguishing state of the revolving light (an example of the status display device 13b) of the actual working machine 10 and the lighting or extinguishing state in the image of the machine status display section F2A3 are linked.
  • the color of the rotating light that is lit on the actual working machine 10 and the color of the graphic of the rotating light that is lit in the image of the machine status display section F2A3 are linked.
  • the image on the machine status display section F2A3 is linked to the display on the status display device 13b of the actual working machine 10.
  • the worker can check the status of the working machine 10 by looking at the image on the machine status display section F2A3 (for example, at hand) of the display image G, without looking at the status display device 13b of the actual working machine 10. Able to differentiate (judge, understand). As a result, the worker who sees the image on the machine status display section F2A3 may be able to call attention to the surroundings of the work machine 10 depending on the state of the work machine 10, operate the information terminal 23, etc. It may be possible to take the following measures.
  • the status of the work machine 10 may be displayed on the machine selection unit T, which will be described later.
  • the machine selection unit T may be the "machine status display unit.”
  • the communication status display section F2A4 displays the communication status of the information terminal 23.
  • the communication status display section F2A4 may display the communication status between the information terminal 23 and the work machine 10, or may display the communication status between the information terminal 23 and the server 21.
  • the communication state includes, for example, "good", “unstable", and "unconnected” states.
  • the communication status display section F2A4 displays the communication status so that the operator can distinguish it.
  • the communication status display unit F2A4 changes at least one of the color and shape of the icon depending on the communication status.
  • the home selection section H is a section that is selected when displaying the home screen (for example, FIG. 3A or 3B).
  • the main display area M occupies a large portion (e.g., more than half) of the display image G. For example, when a work machine 10 is selected in the machine selection section T, the main display area M displays information about the work machine 10 selected in the machine selection section T. Also, for example, when a function is selected in the function selection section B, the main display area M displays information about the function selected in the function selection section B. Specific examples of the main display area M will be described later.
  • the machine selection section T is a section for allowing a worker to select one working machine 10 from a plurality of working machines 10.
  • the machine selection section T is a section for allowing the worker to select the working machine 10 whose information is to be displayed in the main display area M.
  • the machine selection section T is displayed at the top of the display image G, etc.
  • the machine selection section T may include a tab-shaped figure.
  • the machine selection section T may include an icon or the like (not shown).
  • the machine selection portion T may include characters.
  • Machine selection section T displays information for specifying work machine 10.
  • the machine selection section T may display the name of the working machine 10, the number of the working machine 10, etc.
  • the machine selection section T is displayed for each work machine 10. More specifically, the machine selection section T has one tab-shaped figure for one work machine 10.
  • the machine selection section T is displayed so that the operator can distinguish between the selected machine selection section T and the unselected machine selection section T.
  • the selected machine selection section T is displayed (highlighted) with a higher brightness (brighter) than the brightness of the machine selection section T that is not selected.
  • two machine selection sections T are displayed, including a first machine selection section T1 and a second machine selection section T2.
  • the number of machine selection units T may be three or more. Only one machine selection section T may be displayed.
  • the machine selection section T may not be displayed on the display image G in some cases.
  • the image in the machine selection section T changes depending on the state of the work machine 10.
  • the image of the machine selection unit T changes depending on at least one of a state in which automatic operation is in progress, a state in which automatic operation has ended normally, and a state in which automatic operation has come to an emergency stop.
  • the image in the machine selection section T may change depending on the state of the work machine 10 other than the above.
  • the image in the machine selection section T is displayed so that the state of the work machine 10 can be distinguished by the worker. Specifically, for example, the color of the machine selection section T may be different depending on the state of the work machine 10.
  • the image of the machine selection section T is displayed after the state of the work machine 10 has changed, when the machine selection section T corresponding to the work machine 10 whose state has changed is selected (selected), and when it is not selected. (If not selected) and changes.
  • the machine selection section T displays whether or not the machine selection section T corresponding to the working machine 10 whose state has changed is selected so that the operator can distinguish it.
  • the unselected machine selection section T may be displayed in a blinking manner (high brightness images and low brightness images alternate).
  • the selected machine selection section T may be displayed in a non-blinking manner.
  • the second machine selection section T2 becomes a display indicating that the state has changed (automatic operation has ended normally) (for example, turns blue), and also becomes a display indicating that it has not been selected (for example, blinking). do).
  • the display e.g., blue
  • the display e.g., flashing
  • the image of the machine selection section T changes depending on the type of work performed by automatic operation.
  • the image of the machine selection section T is displayed so that the type of work can be distinguished by the worker.
  • the frame image (for example, the color of the frame) of the machine selection section T may be changed depending on the type of work associated with the work machine 10 corresponding to the machine selection section T.
  • a specific example of the transition of the display image G when the selected machine selection part T (the selected working machine 10) is switched is as follows. For example, assume that the first machine selection section T1 is selected and information regarding the working machine 10 corresponding to the first machine selection section T1 is displayed in the main display area M. At this time, the second machine selection section T2 is selected (this selection is assumed to be ⁇ ). Then, information regarding the work machine 10 corresponding to the second machine selection section T2 is displayed in the main display area M. At this time, the content displayed in the main display area M is the content that was last displayed in the main display area M when the second machine selection section T2 was selected before the above selection ( ⁇ ). It is.
  • the machine selection section T other than the second machine selection section T2 (the first machine A case is assumed in which selection section T1) is selected.
  • the content displayed in the main display area M is the screen after the screen transition.
  • the selection ( ⁇ ) is made, if the above-mentioned "state of automatic screen transition" is not completed, the content displayed in the main display area M is "state of automatic screen transition". This is the screen (while the screen is transitioning).
  • the first machine selection section T1 disappears from the display image G
  • the first machine selection section T2 that disappeared The adjacent second machine selection section T2 may be moved to the position where the machine selection section T1 was displayed.
  • a machine selection section T may be added, for example, a machine selection section T may be added at a position adjacent to (for example, adjacent to the right) the machine selection section T that is already displayed. may be added.
  • Unconnected tab U When there is no work machine 10 corresponding to the machine selection section T, an image similar to that of the machine selection section T (unconnected tab U (see FIG. 14B)) may be displayed.
  • the unconnected tab U is displayed so that it can be distinguished from the machine selection section T (the section where the working machine 10 corresponding to the machine selection section T is present) and the operator.
  • the unconnected tab U may include the words "unconnected”. Note that when there is a work machine 10 connected to the information terminal 23, the unconnected tab U may or may not be displayed.
  • settings for connecting the work machine 10 see FIG. 14A) may be performed.
  • the machine addition section Tadd is a section that is selected when a work machine 10 to be connected to the information terminal 23 is added.
  • the machine addition section Tadd is disposed in a position that is continuous with the machine selection section T (for example, to the right, etc.).
  • a new machine selection section T may be added, or a setting for connecting a work machine 10 (see FIG. 14A) may be performed.
  • the machine addition section Tadd may be displayed (or made active) when a work machine 10 to be connected to the information terminal 23 can be added, and may not be displayed (or may be made inactive) when a work machine 10 cannot be added.
  • the machine addition section Tadd may be displayed when the number of connected work machines 10 has not reached the limit, and may not be displayed when the limit has been reached.
  • FIG. 3A is a diagram showing the home screen.
  • the home screen is displayed when the home selection section H is selected.
  • the home screen includes a loading work selection section F3A1 and a lifting magnet work selection section F3A2.
  • Each of the loading work selection section F3A1 and the lifting magnet work selection section F3A2 is displayed in the main display area M, and is, for example, an icon.
  • Function selection section B (see FIG. 2) is not displayed on the home screen.
  • the machine selection section T (see FIG. 2) is not displayed.
  • FIG. 3B is a diagram showing a home screen when there are multiple connected work machines 10.
  • This home screen includes a loading work selection section F3B1, a lifting magnet work selection section F3B2, and a number display section F3B3.
  • the image of the work selection section A (loading work selection section F3B1 and lifting magnet work selection section F3B2) changes for each type of work, depending on the number of connected work machines 10 for each type of work.
  • the image in the work selection section A changes so that the operator can distinguish whether there are connected work machines 10 (zero or not) for each type of work.
  • the brightness of the lifting magnet work selection section F3B2 is lower when the number of connected work machines 10 associated with the lifting magnet work is 0 (dark, grayed out) than when the number of connected work machines 10 associated with the lifting magnet work is greater than 0. do).
  • the number display section F3B3 is a part that shows the number of connected work machines 10 for each type of work.
  • the number display section F3B3 is arranged at a position that overlaps a part (for example, the upper right part) of the image (for example, an icon) of the loading operation selection section F3B1.
  • the work selection section A on the left side of the display image G is also , may vary depending on the number of connected work machines 10. If there is a limit on the number of work machines 10 that can be connected to the information terminal 23, the image in the work selection section A may change depending on whether the number of connected work machines 10 has reached the limit. Good (same as the mechanical addition part Tadd above). Note that the all-machine stop selection section F3B4 will be described later.
  • FIG. 4A is a diagram showing a teaching top screen.
  • the teaching top screen is a screen that is displayed (for example, displayed first) when the teaching function selection section B1 is selected.
  • the teaching top screen includes a new teaching selection section F4A1, a taught operation selection section F4A2, a current situation display section F4A3, and a machine figure display section F4A4.
  • the new teaching selection section F4A1 is selected by the operator when a new teaching is performed.
  • the taught operation selection section F4A2 is selected when the work machine 10 is made to perform automatic driving based on teaching data (for example, teaching data taught in the past) previously set in the automatic driving information processing device 20.
  • the current situation display section F4A3 displays that the state of the work machine 10 is being monitored.
  • the machine figure display section F4A4 includes a figure representing the work machine 10.
  • the image representing the work machine 10 displayed in the machine graphic display section F4A4 may be a three-dimensional image (see FIG. 9A) or a two-dimensional image, and only one work machine 10 may be displayed, or multiple work machines 10 may be displayed (see FIG. 5A).
  • the display mode of the machine graphic display section F4A4 may be changeable (for example, changeable according to an operation). For example, the angle (viewpoint) from which the work machine 10 displayed in the machine graphic display section F4A4 is viewed may be changeable (see the rotatable display section F5B2a in FIG. 5B). For example, the work machine 10 displayed in the machine graphic display section F4A4 may be enlarged and reduced.
  • the machine graphic display section F4A4 may include a graphic of the work site where the work machine 10 performs work (see FIG. 9A). This graphic of the work site may be a three-dimensional image or a two-dimensional image, like the graphic
  • FIG. 4B is a diagram showing the pre-teaching screen.
  • the pre-teaching screen is a screen displayed before teaching is performed.
  • the pre-teaching screen is a screen that is displayed when the new teaching selection section F4A1 is selected on the teaching top screen (FIG. 4A).
  • the pre-teaching screen includes a current status display section F4B1, a teaching start selection section F4B2, and a cancel selection section F4B3.
  • the current status display section F4B1 displays the status related to teaching, and indicates that the teaching is yet to occur.
  • the teaching start selection section F4B2 is a section selected when a new teaching is started.
  • the cancel selection section F4B3 is a section selected when a new teaching is canceled (not started).
  • FIG. 4C is a diagram showing a teaching screen displayed during teaching.
  • the teaching screen includes a current status display section F4C1, a teaching end selection section F4C2, a cancel selection section F4C3, and a machine figure display section F4C4.
  • the current status display section F4C1 displays that teaching is in progress.
  • the teaching end selection section F4C2 is a section selected when teaching is ended. When the teaching end selection unit F4C2 is selected, the teaching data obtained by teaching is set (memorized, saved) in the automatic driving information processing device 20.
  • the cancel selection section F4C3 is a section (cancel button) that is selected when teaching is canceled (cancelled).
  • the cancel selection section F4C3 is selected when the work machine 10 is operated but the data obtained by the operation is not used as teaching data.
  • the machine figure display section F4C4 includes a figure of the working machine 10 (similar to the machine figure display section F4A4 in FIG. 4A).
  • the figure of the working machine 10 displayed on the machine figure display section F4C4 changes according to the movement of the working machine 10 during teaching (swinging, movement of the attachment 15, etc.).
  • the mechanical figure display section F4C4 may include a figure (for example, a curved line) representing the locus (route) of the specific part of the attachment 15 that is being taught (see FIG. 5A). In this case, the graphic representing the locus of the specific part of the attachment 15 is displayed superimposed on the graphic representing the work machine 10.
  • FIG. 5A is a diagram showing a trajectory confirmation screen (route confirmation screen, teaching trajectory confirmation screen).
  • the trajectory confirmation screen is a screen for allowing an operator to confirm a taught trajectory (route).
  • the trajectory confirmation screen is displayed after teaching has been performed.
  • the trajectory confirmation screen is displayed when the trajectory confirmation function selection unit B3 is selected.
  • the trajectory confirmation screen includes a current status display unit F5A1, a trajectory display unit F5A2, a machine graphic display unit F5A3, a teaching completion selection unit F5A4, a trajectory change selection unit F5A5, and a re-teaching selection unit F5A6.
  • the current status display unit F5A1 displays that teaching has been completed.
  • the trajectory display unit F5A2 displays a figure showing the taught trajectory.
  • the trajectory display unit F5A2 displays a figure showing the trajectory by superimposing it on the machine graphic display unit F5A3 including a figure showing the work machine 10.
  • the figure showing the trajectory in the trajectory display unit F5A2 may be a plurality of points or a line.
  • the teaching completion selection section F5A4 is selected when teaching is to be completed. When the teaching completion selection section F5A4 is selected, the taught trajectory is set as teaching data.
  • the trajectory change selection section F5A5 is a section selected when the operator changes the taught trajectory.
  • the re-teaching selection section F5A6 is a section selected when the operator performs teaching again.
  • FIG. 5B is a diagram showing the trajectory change screen (route change screen).
  • the trajectory change screen is a screen that is displayed when the trajectory is changed.
  • the trajectory change screen is a screen that is displayed when the trajectory change selection section F5A5 (see FIG. 5A) is selected.
  • the trajectory change screen includes a current status display section F5B1, a trajectory display section F5B2, a trajectory change section F5B4, a movement direction selection section F5B6, a trajectory change selection section F5B7, a reset selection section F5B8, and a cancel selection section F5B9. and.
  • the current status display section F5B1 displays that the trajectory is to be changed (screen).
  • the trajectory may be modified in various ways.
  • the trajectory display section F5B2 displays a trajectory similarly to the trajectory display section F5A2 shown in FIG. 5A.
  • the trajectory display section F5B2 is displayed from at least one of a viewpoint viewing the working machine 10 from the horizontal direction (for example, right sideways) and a viewpoint viewing it from directly above.
  • the worker can easily grasp the positional relationship between the work machine 10 and the trajectory.
  • the trajectory changing section F5B4 shown in FIG. 5B is a part of the trajectory and is a part to be changed.
  • the trajectory changing unit F5B4 may be one point that makes up the trajectory, or may be a part of the area that makes up the trajectory.
  • the trajectory changing section F5B4 becomes movable (operable) in the display image G.
  • the moving direction selection section F5B6 is a section for moving the trajectory changing section F5B4.
  • the moving direction selection unit F5B6 can operate the trajectory changing unit F5B4 in a plurality of directions (for example, four directions (up, down, forward, back, etc.)).
  • the moving direction selection section F5B6 may include a figure (for example, an arrow).
  • the movement direction selection section F5B6 becomes selectable (active) when the trajectory change section F5B4 is selected, and remains unselectable (inactive) or hidden when the trajectory change section F5B4 is not selected. good.
  • the trajectory changing section F5B4 may be movable in the display image G by an operation different from the operation of the moving direction selection section F5B6.
  • the trajectory changing unit F5B4 may be movable in the display image G by an operation of tapping and dragging a touch panel, or an operation of dragging a mouse cursor.
  • the trajectory change selection section F5B7 is selected when the trajectory change is finalized (determined).
  • the display image G returns to the trajectory confirmation screen (see FIG. 5A).
  • the changed trajectory is set in the information terminal 23 (in the automatic operation information processing device 20) as teaching data used for automatic operation of the work machine 10.
  • the reset selection section F5B8 is selected when returning to the trajectory before change. For example, if multiple parts (for example, multiple points) of the trajectory are changed, all the changed parts may be returned to their pre-change positions when the reset selection section F5B8 is selected.
  • the reset selection section F5B8 when the reset selection section F5B8 is selected, only a portion (for example, one point) of the changed portion (for example, a plurality of points) may return to the position before the change. Specifically, for example, among the changed parts (for example, a plurality of points), the changed parts may be returned to the positions before the change in order from the last changed part.
  • the cancel selection section F5B9 is selected when the change in the trajectory is canceled. If the cancel selection section F5B9 is selected, the display image G returns to the trajectory confirmation screen (see FIG. 5A).
  • FIG. 6 is a diagram showing a target range setting screen.
  • the target range setting screen is a screen for setting the target range TA.
  • the target range setting screen is a release range setting screen (unloading position adjustment screen) that is a screen for setting the range of positions to release the captured work object (target release range TA3).
  • the release range setting screen is a screen for setting the position (unloading position) where excavated soil is loaded into a vehicle.
  • the release range setting screen is displayed when the release range function selection section B4 (unloading position adjustment function selection section) is selected.
  • the "setting" of the release range may be an adjustment (correction) of a preset release range, or may be the setting of a new release range.
  • teaching may be performed and a release range may be set.
  • a release range may be set without teaching.
  • the release range setting screen includes a release range setting method display section F6A1, a setting information display section F6A2, registration selection sections F6A5 and F6A6, a relative position display section F6A7, and a setting completion selection section F6A8.
  • the release range setting method display section F6A1 displays the method for setting the release range (earth removal scheduled area).
  • the release range setting method display section F6A1 displays which position in the release range is to be specified.
  • the release range setting method display section F6A1 displays how to specify the specified positions F6A1a and F6A1b (specific examples will be described later).
  • the setting information display section F6A2 displays information regarding the set designated positions F6A1a and F6A1b.
  • the setting information display section F6A2 may display the coordinates of the designated positions F6A1a and F6A1b, or may display the turning angle of the upper rotating structure 13 with respect to the lower traveling structure 11.
  • the setting information display section F6A2 displays information on each of the plurality of designated positions F6A1a and F6A1b.
  • the registration selection units F6A5 and F6A6 are selected in a predetermined state for registering the specified position, specifically, for example, in a state in which a specific part of the attachment 15 is arranged at the specified position F6A1a and F6A1b. For example, the position of the specific part of the attachment 15 when the registration selection portions F6A5 and F6A6 are selected is registered (set) in the information terminal 23 as the designated position F6A1a and F6A1b.
  • the registration selection sections F6A5 and F6A6 are displayed for each of the plurality of designated positions F6A1a and F6A1b.
  • the release range is a square (for example, a rectangle) when viewed from above.
  • the release range is set by specifying the positions of the two corners F6A1a and F6A1b on the near side when viewed from the work machine 10 in the release range.
  • the release range may be set by specifying three or more designated positions (for example, four points) in the release range.
  • the designated positions are registered in the order of designated position F6A1a and designated position F6A1b.
  • the release range setting method display section F6A1 displays that a specific part of the attachment 15 (the blade edge of the bucket in FIG.
  • the registration selection section F6A5 at the designated position F6A1a is selected.
  • the position of the specified position F6A1a is registered, information on the specified position F6A1a is displayed on the setting information display section F6A2, and the registration selection section F6A5 of the specified position F6A1a becomes inactive.
  • the registration selection section F6A6 at the next specified position F6A1b becomes active.
  • the release range setting method display section F6A1 displays that the bucket cutting edge is to be aligned with the specified position F6A1b.
  • the relative position display section F6A7 displays a figure indicating the relative position between the release range (earth removal planned area) and the work machine 10.
  • the setting completion selection section F6A8 is selected when setting of the release range is completed. For example, the setting completion selection section F6A8 becomes active when all the information for the plurality of specified positions F6A1a and F6A1b is set, and remains inactive until then.
  • the function selection section B may include a section (capture position function selection section) (not shown) that selects a function for setting a capture range.
  • the driving mode of the work machine 10 is set, for example, in a controller of the work machine 10.
  • the driving mode of the work machine 10 may include, for example, a mode in which an operator boards the work machine 10 and operates the work machine 10 (boarding operation mode).
  • the driving mode of the work machine 10 may include a mode in which an operator remotely operates the work machine 10 (remote operation mode).
  • Conditions for starting the automatic driving mode can be set in various ways.
  • the conditions for starting the automatic operation mode are that the work machine 10 is set to the initial position, the engine is turned off, the key is turned off, the remote control is disconnected if it is being operated remotely, and the emergency stop switch is turned off. Includes at least one of the following.
  • the automatic driving mode starting conditions include all of the above conditions.
  • the conditions for starting the automatic operation mode include that the work machine 10 is placed in the initial position.
  • the work machine 10 may be placed in the initial position by an operator's operation (boarding operation or remote control), or may be automatically placed in the initial position.
  • boarding operation or remote control boarding operation or remote control
  • the work machine 10 is brought into the initial posture by an operator's operation.
  • FIG. 7A is a diagram showing the initial posture preparation screen.
  • the initial posture preparation screen is a screen that is displayed when the work machine 10 is placed in the initial posture.
  • the initial posture preparation screen is displayed, for example, after the work plan (for example, teaching data) is finalized.
  • the initial attitude preparation screen includes a notification section F7A1, an initial attitude display section F7A2, an initial attitude preparation completion notification section F7A3, and an initial attitude confirmation selection section F7A4.
  • the notification portion F7A1 is a portion that notifies the operator that the work machine 10 should be placed in the initial posture.
  • the notification section F7A1 notifies the worker that the "initial posture" is the posture displayed on the initial posture display section F7A2.
  • the initial posture display section F7A2 is a section that notifies the worker of the initial posture.
  • the initial attitude display unit F7A2 notifies the initial attitude using a graphic, for example.
  • the initial posture is such that the boom 15a is raised approximately 45 degrees to the ground, the arm 15b is lowered approximately vertically from the boom 15a, and the opening of the tip attachment 15c (bucket) is approximately horizontal.
  • the situation is as follows.
  • the initial posture is a state in which the tip attachment 15c is placed directly above the range (planned excavation area) in which the work target is to be captured.
  • the initial posture preparation completion notification section F7A3 is displayed so that the operator can distinguish whether or not the work machine 10 is in the initial posture.
  • the initial posture preparation completion notification section F7A3 may include an icon, and the color of the icon may change depending on whether the work machine 10 is in the initial posture.
  • the initial posture preparation completion notification section F7A3 may include characters such as "OK” and "NG”.
  • the initial posture confirmation selection section F7A4 is a section (OK button) that is selected when the work machine 10 assumes the initial posture.
  • the initial posture confirmation selection section F7A4 may be inactive when the working machine 10 is not in the initial posture, and may become active when the working machine 10 is in the initial posture.
  • FIG. 7B is a diagram showing the work machine state preparation screen.
  • the work machine state preparation screen is a screen that is displayed when the initial posture confirmation selection section F7A4 (see FIG. 7A) is selected.
  • the work machine state preparation screen is displayed, for example, after the work plan (teaching data) is finalized.
  • the work machine state preparation screen includes a condition notification section F7B1 and a condition confirmation selection section F7B2.
  • the condition notification unit F7B1 notifies (displays) automatic operation mode start conditions other than that the work machine 10 is placed in the initial posture.
  • the condition notification unit F7B1 notifies that the engine is to be turned off (not being driven).
  • the condition notification unit F7B1 notifies that the worker needs to be sufficiently far away from the work machine 10.
  • the condition notification unit F7B1 notifies that the key is turned off (power is turned off).
  • the condition notification unit F7B1 notifies that the connection between the device that performs remote control and the work machine 10 is to be disconnected when the work machine 10 is in a state where remote control is possible (for example, when teaching is performed by remote control). .
  • the condition notification section F7B1 notifies that an emergency stop switch (not shown) is to be powered on.
  • the emergency stop switch is a switch that is held by workers around the working machine 10 and is used to bring the working machine 10 to an emergency stop.
  • the condition confirmation selection section F7B2 is a section (OK button) that is selected when the condition displayed in the condition notification section F7B1 is satisfied.
  • the condition confirmation selection unit F7B2 may become inactive when the automatic driving mode starting condition is not satisfied, and may become active when the automatic driving mode starting condition is satisfied.
  • FIG. 7C is a diagram showing the automatic driving mode start notification screen.
  • the automatic driving mode start notification screen is a screen that is displayed when the automatic driving mode is started.
  • the automatic driving mode start notification screen is a screen that is displayed when the condition notification section F7B1 (see FIG. 7B) is selected.
  • the automatic driving mode start notification screen includes a start notification section F7C1 and a start confirmation selection section F7C2.
  • the start notification section F7C1 is a part that notifies the automatic driving mode to start.
  • the start confirmation selection section F7C2 is a section (OK button) that is selected when it is confirmed that the automatic driving mode will start.
  • a notification section such as the start notification section F7C1, in which the process does not proceed unless the operator performs a confirmation operation (such as pressing the OK button), may be displayed on the display image G at various timings other than when the automatic driving mode starts. May be displayed.
  • a notification section may be displayed, for example, at the start and end of teaching, the start and end of changing the trajectory, and the start and end of various processes described below.
  • the confirmation operation on the notification section may be, for example, an operation of pressing an OK button (operation of selecting a selection section), or an operation of pressing an OK button with a check box checked.
  • FIG. 8 is a diagram showing an automatic driving initial setting screen.
  • the automatic driving initial setting screen is a screen for performing initial settings regarding automatic driving.
  • the automatic operation initial setting screen is displayed after the operation mode of the work machine 10 is switched to the automatic operation mode (for example, first).
  • the automatic operation initial setting screen is displayed when the loading function selection section B2 is selected (for example, first).
  • the automatic driving initial setting screen includes an operation setting section F8A1 and an initial setting completion selection section F8A2.
  • the operation setting section F8A1 is a section for allowing an operator to set automatic operation.
  • the operation setting section F8A1 includes a work frequency setting section C1, a target work amount setting section C2, and an operation speed setting section SS.
  • the initial setting completion selection part F8A2 is a part (OK button) that is selected when the initial setting of automatic driving is completed.
  • the number of work setting section C1 is a part that allows the worker to set the number of times the work is to be performed by automatic operation (the number of times of work, how many cycles to perform automatic operation).
  • "setting”, like “selection”, is a setting made by the operator operating the input unit 23i. "Setting” may be performed in the same way as the specific example of "selection", or may be set by numerical input.
  • the number of operations setting section C1 includes a section (setting value display section) that displays the number of operations.
  • the number of operations setting section C1 may include a portion (input box) into which a numerical value of the number of operations can be input. This input box may also be used as a set value display section (the same applies to the target work amount setting section C2).
  • the number of operations setting section C1 includes a selection section (+ button) for increasing the number of operations and a selection section (- button) for decreasing the number of operations.
  • the target work amount setting unit C2 is a part that allows the worker to set the amount of the work object to be released (target work amount) when the work machine 10 moves and releases the captured work object.
  • the target amount of work may be the mass or volume of the work object.
  • the target amount of work is, for example, the amount of soil to be loaded onto a vehicle during loading work.
  • the target workload setting section C2 includes a section (setting value display section) that displays the target workload.
  • the target workload setting section C2 may include a portion (input box) into which a numerical value of the target workload can be input.
  • the target workload setting section C2 includes a selection section (+ button) for increasing the target workload and a selection section (- button) for decreasing the target workload.
  • the operating speed setting section SS is a section that allows the operator to set the operating speed during automatic operation.
  • the operating speed setting section SS is displayed so that the operating speed for automatic operation can be set from a plurality of operating speeds.
  • the "multiple stages of operating speed” includes the operating speed of the working machine 10 in the teaching data (the operating speed at the time of teaching).
  • the above-mentioned “multiple stages” are three stages (high speed, medium speed, low speed) in the example shown in FIG. 8, and may be two stages, or four stages or more.
  • the fastest operating speed (third speed setting unit SS3) of the multiple stages of operating speed that can be set by the operating speed setting unit SS is the operating speed of the work machine 10 in the teaching data.
  • the operating speed in automatic operation will not be faster than the taught operating speed. Therefore, the operating speed during automatic operation becomes lower than the speed intended by the worker who taught it, and lower than the speed expected by the worker who saw the teaching.
  • the operating speed at the fastest stage may be faster than the operating speed of the work machine 10 in the teaching data.
  • the work efficiency of the work by automatic operation of the work machine 10 can be improved.
  • the working machine 10 can be reliably operated at a slow operating speed, and during automatic operation, the working machine 10 can be efficiently operated at a faster operating speed than the teaching.
  • the operating speed setting unit SS can set the operating speed for automatic operation as follows.
  • the operating speed setting section SS may include a plurality of selection sections capable of selecting the operating speed of automatic operation from a plurality of stages.
  • the operating speed setting section SS includes a first speed setting section SS1 (low speed), a second speed setting section SS2 (medium speed), and a third speed setting section SS3 (high speed).
  • the operating speed setting section SS may be able to set the operating speed of automatic operation by numerical input (not shown, similar to the number of work setting section C1 and the target work amount setting section C2).
  • the operating speed setting unit SS may be able to set a ratio (ratio) of the operating speed of automatic operation to the operating speed in the teaching data.
  • the operating speed setting unit SS may be able to set the ratio of the speed in automatic operation to the fastest operating speed among the plurality of operating speeds (operating speed higher than or equal to the operating speed in the teaching data).
  • the operating speed setting section SS may be able to set the operating speed for each work phase P. More specifically, when there are multiple work phases P in one cycle of automatic operation, the operation speed setting section SS is displayed for each work phase P.
  • one cycle of automatic operation includes four work phases P.
  • the work phase P includes a capturing phase P1 (excavation phase), a lifting turning phase P2 (unloading turning phase), a releasing phase P3 (unloading phase), and a return turning phase P4.
  • a first speed setting section SS1, a second speed setting section SS2, and a third speed setting section SS3 are displayed.
  • a state in which all the multiple operating speeds of each of the multiple work phases P are displayed on the display image G (a state as shown in FIG. 8) is defined as a first speed display state SP1.
  • control unit 23c After the operating speed is set by the operating speed setting unit SS, the control unit 23c commands the work machine 10 to perform automatic operation at the operating speed set by the operating speed setting unit SS.
  • the control unit 23c commands the work machine 10 to perform automatic operation at the operating speed set for each work phase P by the operating speed setting unit SS.
  • FIG. 9A is a diagram showing a screen before starting automatic driving.
  • the screen before starting automatic operation is a screen that is displayed after the initial settings for automatic operation (see FIG. 8) are completed.
  • the screen before starting automatic operation is displayed when the initial setting completion selection section F8A2 (see FIG. 8) is selected.
  • the screen before starting automatic operation may be displayed when the start of automatic operation is canceled (when cancel selection section F9D3 in FIG. 9D is selected), and the setting change (see FIGS. 9B and 9C) is completed. It may be displayed if
  • the screen before the start of automatic operation includes a current situation display section F9A1, a work count display section F9A2, a target work amount display section F9A3, and an operation speed display section F9A4.
  • the current status display section F9A1 displays that preparations are being made to start automatic driving.
  • the number of operations display section F9A2 is a section where the set number of operations is displayed. This "set number of operations” is the number of operations set in the initial setting (see FIG. 8). However, if the number of operations set in the initial settings is changed (see FIG. 9C), the “set number of operations” is the number of operations after the change.
  • the target work amount display section F9A3 is a part where the set target work amount (target earth volume) is displayed. This "set target amount of work” is the number of times of work set in the initial settings (see FIG. 8). However, if the target amount of work set in the initial settings is changed, the "set target amount of work” is the changed target amount of work.
  • the operation speed display unit F9A4 displays the set operation speed.
  • This "set operation speed” is the operation speed in automatic operation that was set in the initial settings ( Figure 8). However, if the operation speed in automatic operation that was set in the initial settings has been changed (see Figure 9B), it is the operation speed after the change.
  • the operation speed display unit F9A4 displays the operation speed for each work phase P.
  • the operation speed in automatic operation will also be simply referred to as the "operation speed”.
  • FIG. 9B is a diagram showing the operating speed change screen.
  • the operating speed change screen is a screen that is displayed when the set operating speed is changed.
  • the operating speed may be changed for each work phase P, or may be performed for the entire cycle (in multiple work phases P at once). In the following, a case where the operating speed is changed for each work phase P will be described.
  • the operating speed change screen includes an operating speed setting section F9BSS and an operating speed display section F9B2.
  • the operating speed setting section F9BSS displays the operating speed in automatic operation that can be set (changeable) from (candidates for) multiple stages of operating speeds for the selected work phase P.
  • the set operating speed is displayed in the operating speed display section F9B2 (same as the operating speed display section F9A4 in FIG. 9A).
  • a work phase P to be changed (for example, acquisition phase P1) is selected from the operation speed display section F9A4 shown in FIG. 9A.
  • the operation speed setting section F9BSS of the selected work phase P is pulled out from the operation speed display section F9A4 of the selected work phase P (acquisition phase P1) (for example, pulled out to the right). ) is displayed.
  • the operating speed can be set (selected) in three stages
  • the first speed setting section F9BSS1 (low speed) and the second speed setting section F9BSS2 medium speed
  • a third speed setting section F9BSS3 (high speed) are displayed.
  • the display of the operating speed setting section F9BSS ends (closes), and the operating speed display section F9A4 shown in FIG. 9A is displayed (the display returns).
  • the operation speed setting section F9BSS of the selected work phase P for example, acquisition phase P1
  • the operation speed of the unselected work phase P is displayed.
  • section F9B2 is selected.
  • the operating speed setting section F9BSS is hidden (closed) and the operating speed display section F9A4 (see FIG. 9A) is displayed (the display returns).
  • the display of the operating speed display section F9B2 changes (opens) to the display of the operating speed setting section F9BSS.
  • the operation speed display section F9A4 displays the operation speed only at the stage set by the operation speed setting section SS in all the work phases P of the plurality of work phases P.
  • the operation speed display section F9B2 displays the operation speed only at the stage set in the operation speed setting section SS in some work phases P (other than the capture phase P1) of the plurality of work phases P. do. Note that it may be possible to transition the display image G to the first speed display state SP1 (return to the initial setting) after entering the second speed display state SP2.
  • FIG. 9C is a diagram showing the number of operations change screen.
  • the number of operations change screen is a screen that is displayed when the set number of operations is changed.
  • the work count change screen includes a work count change section F9C1 and a target work amount display section F9C2.
  • the number of operations change section F9C1 is displayed when the number of operations display section F9A2 shown in FIG. 9A is selected. For example, when the number of operations display section F9A2 is selected, an image is displayed in which the number of operations change section F9C1 shown in FIG. 9C is pulled out (for example, pulled down) from the number of operations display section F9A2.
  • the number of operations change section F9C1 is displayed so that the number of operations can be changed.
  • the number of operations change section F9C1 may include a selection section (+ button) for increasing the number of operations and a selection section (- button) for decreasing the number of operations, and a section where the number of operations after the change can be entered numerically. may be provided.
  • the number of operations change section F9C1 includes a decision selection section (OK button) for deciding to change the number of operations. When this decision selection section is selected, the number of operations change section F9C1 is hidden (closed) and the number of operations display section F9A2 (see FIG. 9A) is displayed (display returns).
  • the target amount of work may be changeable. For example, when the target workload display section F9C2 is selected, a section for changing the target workload (target workload changing section) may be displayed.
  • the operating speed, number of operations, and target amount of work may be changed only when the work machine 10 is not operating automatically (for example, while preparing for automatic operation). It may be possible to change the operating speed, number of operations, and target amount of work while the work machine 10 is operating automatically (simultaneously with the automatic operation).
  • the screen shown in FIG. 9C includes an initial posture preparation completion notification section F9C3, a key state selection section F9C4, an engine state selection section F9C5, a lever lock state selection section F9C6, and a work start selection section F9C7.
  • the initial posture preparation completion notification section F9C3 displays whether the working machine 10 is in the initial posture so that the worker can distinguish it (same as the initial posture preparation completion notification section F7A3 in FIG. 7A). Note that the posture of the work machine 10 is assumed to be the initial posture when the automatic operation mode is set. The worker can confirm that the working machine 10 is maintaining the initial posture using the initial posture preparation completion notification section F9C3.
  • the key state selection section F9C4 is a section selected when switching the key state between on and off.
  • the key state selection section F9C4 is also a section (key state display section) that displays the state of the keys.
  • the engine state selection section F9C5 is a section selected when switching the engine state between on (RUN) (driving state) and off (stopping state).
  • the engine state selection section F9C5 is also a section (engine state display section) that displays the state of the engine.
  • the lever lock state selection unit F9C6 is selected when switching the lever lock state between a locked state (a state in which the working machine 10 cannot be operated) and a released state (a state in which the working machine 10 is operable).
  • the lever lock state selection section F9C6 is also a section (lever lock state display section) that displays the state of the lever lock.
  • the automatic operation start conditions are that the operation mode of the work machine 10 is the automatic operation mode, the work machine 10 is in the initial posture, the key is on, the engine is on, and the lever lock is released. includes at least one of the following.
  • the key is off, the engine is off, the lever lock is locked, and the automatic operation start condition is not satisfied. Therefore, the information terminal 23 is operated by the operator so as to satisfy the automatic operation start conditions.
  • the key state selection section F9C4 is selected and the key is changed from off to on.
  • Engine state selection section F9C5 is selected and the engine is changed from off to on (RUN).
  • the lever lock state selection section F9C6 is selected, and the lever lock is changed from the locked state to the released state.
  • a confirmation screen (similar to FIG. 7C) may be displayed when at least one of the key state selection section F9C4, the engine state selection section F9C5, and the lever lock state selection section F9C6 is operated.
  • a notification may be provided that the state of the work machine 10 changes, such as a notification to start the engine when the engine changes from off to on. Further, the user may be notified that the user should confirm that there are no people around the work machine 10.
  • the condition for turning on the engine may include the key being on.
  • the engine may be turned on automatically when the key is on.
  • the key may also be turned off, or the key may remain on.
  • the work start selection section F9C7 is a section selected when automatic operation is started.
  • the work start selection unit F9C7 may become active when the automatic driving start condition is satisfied, and may be inactive when the automatic driving start condition is not satisfied.
  • FIG. 9D is a diagram showing a confirmation screen before starting automatic operation.
  • the confirmation screen before starting automatic driving is a screen that is displayed before (for example, immediately before) automatic driving starts.
  • the confirmation screen before starting automatic operation is a screen that is displayed when the work start selection section F9C7 (see FIG. 9C) is selected.
  • the automatic driving pre-start confirmation screen includes an automatic driving start notification section F9D1, a start selection section F9D2, and a cancellation selection section F9D3.
  • the automatic driving start notification section F9D1 is a part that notifies (displays) that automatic driving will start.
  • the start selection section F9D2 is a section (OK button) that is selected when automatic driving is started.
  • the cancel selection section F9D3 is a section (cancel button) that is selected when not starting automatic driving.
  • FIG. 10A is a diagram showing a screen during automatic operation (first screen, detailed screen during automatic operation).
  • the automatic operation screen is displayed during automatic operation.
  • the automatic operation screen may be displayed when the working machine 10 is on standby (standby).
  • the automatic operation screen may be displayed when the work machine 10 comes to an emergency stop (during an emergency stop).
  • the automatic operation screen includes a current status display section F10A1, a remaining work count display section F10A2, a target work amount display section F10A3a, and a current work amount display section F10A3b.
  • the automatic driving screen includes a machine information display section F10A4, a viewpoint change selection section F10A5, a simple screen selection section F10A6, a horn operation section F10A7, and a mid-term termination selection section F10A8.
  • the current status display section F10A1 displays that the work machine 10 is working automatically.
  • the remaining number of operations display section F10A2 is a section that displays the remaining number of operations performed by automatic operation.
  • the "remaining number of operations” is the number of completed operations subtracted from the set number of operations (cycle number). Note that a remaining work time display section F11A2 (see FIG. 11) may be displayed.
  • the target work amount display section F10A3a is similar to the target work amount display section F9A3 shown in FIG. 9A.
  • the current amount of work display section F10A3b is a section that displays the amount of the work object that has been worked on (the amount of work that has been done) (for example, the amount of earth that has been loaded).
  • the current amount of work display section F10A3b may display the amount of completed work, or may display contents corresponding to the amount of completed work.
  • the current amount of work display section F10A3b may display the ratio (ratio) of the amount of completed work to the target amount of work.
  • the machine information display section F10A4 is a section that displays information regarding the work machine 10.
  • the machine information display section F10A4 displays information detected by a sensor mounted on the working machine 10 or a sensor arranged outside the working machine 10.
  • the machine information display section F10A4 may display, for example, information on angles related to work (swing angle, angle with respect to the horizontal direction, etc.).
  • the machine information display section F10A4 may display information regarding the amount of the work object, for example, display the amount of the work object (such as the amount of excavated soil) that the work machine 10 captures (excavates) in one cycle. Good too.
  • the viewpoint change selection part F10A5 is a part selected when changing the viewpoint of the figure of the working machine 10 displayed in the main display area M.
  • the viewpoint change selection section F10A5 may be displayed for each viewpoint of the work machine 10 displayed in the main display area M (for example, may include a plurality of buttons).
  • the viewpoint of the work machine 10 displayed in the main display area M may include a viewpoint from which the work machine 10 is viewed diagonally from above (oblique view), a viewpoint from which the work machine 10 is seen from the horizontal direction (see FIG. 5), and a viewpoint from which the work machine 10 is seen from above. It may also include a viewing viewpoint (see FIG. 5).
  • the simple screen selection section F10A6 is a section selected when the display image G is switched to the simple screen (second screen) (FIG. 11) during automatic driving.
  • the horn operation part F10A7 is a part selected when making the working machine 10 sound the horn.
  • the mid-term termination selection part F10A8 is a part selected when terminating automatic driving mid-term (details will be described later).
  • FIG. 10B is a diagram showing the display setting screen.
  • the display setting screen is displayed, for example, when the menu selection section F2A1 (see FIG. 10A) is selected and a predetermined menu item (not shown) is selected.
  • the display setting screen includes a display setting section F10B1.
  • the display setting section F10B1 is a section where settings regarding elements (contents) to be displayed in the main display area M are performed.
  • the display setting section F10B1 is a section for setting the display mode (for example, presence/absence) of an element in the main display area M.
  • the display setting section F10B1 includes, for example, a check box or a switch provided for each element for setting whether or not to display the element.
  • Elements for which the display mode in the main display area M can be set by the display setting unit F10B1 include, for example, the taught trajectory (target route PA in FIG. 10D), the actual work trajectory PB (see FIG. 10D), and the transportation vehicle (dump truck).
  • the detection area includes at least one of a video imaged by an imaging device.
  • the actual work trajectory PB is a trajectory of a specific portion of the attachment 15 when the work machine 10 actually performs work in automatic operation (described later).
  • the above-mentioned "transport vehicle (dump) detection area” is a range of positions where a transport vehicle (dump) into which work objects are loaded is detected.
  • the above-mentioned "video captured by the imaging device” is a video captured by the working machine 10 or an imaging device provided outside the working machine 10 (at a work site, etc.).
  • the image captured by this imaging device may be an image captured by a two-dimensional camera, or may be a three-dimensional image (for example, a point cloud image) captured by a device for acquiring three-dimensional information (for example, LiDAR, a stereo camera, etc.).
  • the elements (content) displayed in the main display area M are a three-dimensional image representing the work machine 10 and a point cloud video.
  • FIG. 10C is a diagram showing the sensor status confirmation screen.
  • the sensor status confirmation screen is displayed, for example, when the menu selection section F2A1 (see FIG. 10A) is selected and a predetermined menu item (not shown) is selected.
  • the sensor status confirmation screen includes a sensor status display section F10C1.
  • the sensor status display section F10C1 displays the status of the work machine 10 or a sensor provided outside the work machine 10.
  • the sensor status display section F10C1 may display, for example, whether the sensor is normal or not, or may display the content acquired by the sensor.
  • the sensor for which the sensor status display section F10C1 displays the status may be an angle sensor of each element of the attachment 15 (boom 15a, arm 15b, tip attachment 15c).
  • the sensor whose status is displayed by the sensor status display unit F10C1 may be an imaging device (LiDAR, camera, etc.), the automatic operation controller of the work machine 10, or a controller other than the automatic operation controller of the work machine 10.
  • FIG. 10D is a diagram showing an automatic operation screen including a work phase display section PD and the like.
  • the automatic operation screen including a work phase display section PD and the like is displayed, for example, when displaying a target route PA (a taught trajectory in FIG. 10B) is selected in the display setting section F10B1 shown in FIG. 10B.
  • the automatic operation screen including a work phase display section PD and the like comprises a target route PA, an actual work trajectory PB, a target range TA, a work phase display section PD, a work phase character display section F10D1, and a legend F10D2.
  • the target route PA is a route aimed at a specific portion of the attachment 15 (for example, the tip of the tip attachment 15c).
  • the target route PA is displayed in the main display area M.
  • the target route PA is displayed as a line.
  • a plurality of types of target routes PA are set so as to correspond to a plurality of work phases P.
  • the target path PA includes an acquisition target path PA1, a lifting turning target path PA2, a release target path PA3, and a return turning target path PA4.
  • Acquisition target path PA1 is the target path PA of acquisition phase P1.
  • the lifting and turning target path PA2 is the target path PA of the lifting and turning phase P2.
  • the release target route PA3 is the target route PA of the release phase P3.
  • the return turning target path PA4 is the target path PA of the return turning phase P4.
  • the display mode of the plurality of types of target routes PA may be changed for each type.
  • the color (for example, at least one of hue, density, brightness, and saturation) of the target route PA may be changed for each type of target route PA.
  • the type of line representing the target route PA may be changed for each type of target route PA.
  • the image (specifically, a line) indicating the target route PA may indicate the direction of the target route PA.
  • the direction of the target route PA is the direction of movement of the specific part of the attachment 15 when the specific part of the attachment 15 is moved along the target route PA.
  • the image showing the target route PA may include an arrow, an animation moving in the direction of the target route PA, or the like.
  • the actual work trajectory PB is the trajectory of the attachment 15 when the work machine 10 actually performs work in automatic operation.
  • the actual work trajectory PB is displayed in the main display area M.
  • the actual work trajectory PB is displayed at a position (trajectory) of the work machine 10 displayed in the main display area M that the attachment 15 has passed.
  • the actual work trajectory PB may be, for example, a trajectory (eg, a line) of a specific portion of the attachment 15 (eg, the tip of the tip attachment 15c), or a trajectory of the entire tip attachment 15c.
  • the actual work trajectory PB and the target route PA are displayed in a superimposed manner. This superimposed display allows the operator to confirm whether or not the specific portion of the attachment 15 is operating along the target route PA (operation meeting the goal of automatic driving).
  • the actual work trajectory PB is displayed so as to be distinguishable from the target route PA.
  • the display mode of the actual work trajectory PB is different from the display mode of the target route PA.
  • the color (for example, hue) of the display of the actual work trajectory PB is different from the color (for example, hue) of the display of the target route PA.
  • the color of the actual work trajectory PB may be a single color or may have a plurality of colors (for example, gradation, etc.).
  • the display mode of the actual work trajectory PB may change depending on the type of work phase P that the work machine 10 is performing (work phase P that is currently being performed) (described later).
  • the actual work trajectory PB may be displayed as an animation. For example, a part of the actual work trajectory PB may be deleted from the display image G when a predetermined condition (trajectory display condition) is no longer satisfied. By erasing a part of the actual work trajectory PB, the problem that the display image G becomes difficult to see due to too many actual work trajectory PB being displayed can be suppressed. Specifically, for example, the actual work trajectory PB of this "certain position" is displayed when a predetermined time (trajectory display time) has elapsed since the specific part of the attachment 15 passed a certain position. may be deleted. This trajectory display time may be a preset constant time, or may be set arbitrarily by the operator.
  • the target range TA is a target range for work performed by automatic operation of the work machine 10.
  • the target range TA is displayed in the main display area M.
  • a plurality of types of target ranges TA are set.
  • the target range TA includes a target acquisition range TA1 and a target release range TA3.
  • the target capture range TA1 is a range (for example, an area to be excavated) in which the work machine 10 (the tip attachment 15c) captures the work object in the capture phase P1.
  • the target release range TA3 is a range (for example, the area scheduled for soil removal) in which the work machine 10 (the tip attachment 15c) releases the work object in the release phase P3.
  • the display mode of the plurality of types of target ranges TA may be changed for each type.
  • the color (for example, hue) of the target range TA may be changed for each type of target range TA.
  • the display mode of each type of target range TA may correspond to the display mode of the target route PA of the type corresponding to the type of target range TA.
  • the display aspect (for example, hue) of the target acquisition range TA1 may be the same (or substantially the same) display aspect (for example, hue) as the acquisition target route PA1.
  • the display mode of the target release range TA3 may be the same (or substantially the same) display mode as the target release route PA3.
  • the acquisition target route PA1 is displayed in orange and the release target route PA3 is displayed in green.
  • the target acquisition range TA1 may be displayed in orange, and the target release range TA3 may be displayed in green.
  • the display mode of each type of target range TA does not have to correspond to the display mode of the target route PA of the type corresponding to the type of target range TA.
  • the work phase display section PD is a display indicating which type of work phase P among the plurality of types of work phases P the work (automatic operation work) that the work machine 10 is performing is.
  • the type of work phase P indicated by the work phase display section PD, and the work phase P of the work being performed by the work machine 10 will also be referred to as the "currently performed work phase P.”
  • the work phase display section PD is a display that allows the worker to easily understand the work phase P that is currently being performed.
  • the work phase display section PD displays the work phase P currently being performed and other types of work phases P so that the worker can distinguish them.
  • the work phase display section PD may include a display of the target route PA.
  • the target route PA is divided into a type of target route PA (e.g., acquisition target route PA1) corresponding to the currently underway work phase P (e.g., acquisition phase P1) and other types of target route PA.
  • the mode of display may be changed.
  • the display mode that can be changed at this time may be the color of the target route PA (for example, at least one of hue, density, brightness, and saturation), or the type of line representing the target route PA.
  • the brightness of the target route PA of the type corresponding to the currently performed work phase P may be increased, and the brightness of the target route PA of other types may be lowered (grayed out).
  • the work phase display section PD may include a display of the actual work trajectory PB.
  • the display mode (for example, hue, etc.) of the actual work trajectory PB may be changed for each type of work phase P currently being performed.
  • the display mode of the actual work trajectory PB may be changed.
  • the work phase display section PD may include a display of the target range TA.
  • the target range TA is divided into a target range TA of the type corresponding to the currently underway work phase P (for example, target acquisition range TA1) and another type of target range TA (for example, target release range TA3).
  • the mode of display may be changed.
  • the display mode that can be changed at this time may be the color inside the target range TA (for example, hue), the color of the outer frame of the target range TA, the type of line indicating the outer frame of the target range TA, or the like.
  • the brightness of the target range TA of the type corresponding to the currently performed work phase P may be increased, and the brightness of the target route PA of other types may be decreased (grayed out).
  • the work phase display unit PD may include an image of the work machine 10. Specifically, the display mode of a part or the whole of the work machine 10 may be changed for each type of work phase P currently being performed. The display mode of a part or the whole of the work machine 10 may be changed each time the type of work phase P currently being performed changes. When the display mode of only a part of the work machine 10 is changed for each type of work phase P currently being performed, the part whose display mode is changed may be only the attachment 15 or only the tip attachment 15c.
  • the color (for example, hue, etc.) of the target route PA may be different for each type of target route PA.
  • the display color of a part or the entire work machine 10 may be made the same or approximately the same as the color of the target route PA of the type corresponding to the work phase P currently being performed.
  • the acquisition target route PA1 is displayed in orange
  • the lifting and turning target route PA2 is displayed in blue
  • the release target route PA3 is displayed in green.
  • the work phase P currently being performed is the capture phase P1
  • part or the entire work machine 10 is displayed in orange.
  • the currently underway work phase P is the lifting and turning phase P2
  • part or all of the work machine 10 is displayed in blue.
  • part or all of the work machine 10 is displayed in green.
  • the work phase display section PD may include a work phase character display section F10D1.
  • the work phase character display section F10D1 displays characters indicating the work phase P that is currently being performed. Even if the display mode (for example, color) of the work phase character display section F10D1 is made the same or substantially the same as the display mode (for example, color) of the target range TA of the type corresponding to the work phase P that is currently being performed. good.
  • the work phase display portion PD may include the entire display image G, or the entire main display area M.
  • the overall display mode (for example, color) of the display image G may be changed for each type of work phase P that is currently being performed, and the overall display mode (for example, color) of the main display area M may be changed. color) may be changed.
  • the display mode (for example, color) of the entire display image G or the entire main display area M is the display mode (for example, color) of the target route PA (or target range TA) of the type that corresponds to the work phase P that is currently being performed. may be the same or substantially the same.
  • the work phase display section PD may display the type of work phase P that will be performed next to the work phase P that is currently being performed, as well as the type of work phase P that is currently being performed. . In this case, the work phase display section PD may display the type of work phase P currently being performed and the type of work phase P to be performed next in a distinguishable manner.
  • the legend F10D2 indicates which type of work phase P the display shown in various ways depending on the type of work phase P (for example, target route PA, etc.) corresponds to.
  • the legend F10D1 shows the relationship between the display modes of the plurality of types of target routes PA and the types of work phases P.
  • the legend F10D2 may indicate the relationship between the hue of the target route PA and the type of work phase P (which color corresponds to which work phase P).
  • the legend F10D1 may indicate the relationship between the display mode (for example, color) of displays other than the target route PA (for example, the target range TA, the actual work trajectory PB, etc.) and the type of work phase P.
  • FIG. 11 is a diagram showing a simple screen (second screen) during automatic operation.
  • the simple screen during automatic operation is a screen that is displayed during automatic operation.
  • the automatic operation simple screen may be displayed when the work machine 10 is on standby (standby).
  • the automatic operation simple screen may be displayed when the work machine 10 comes to an emergency stop (during an emergency stop).
  • the display image G can be displayed by switching between the automatic driving screen (automatic driving detailed screen) (also simply referred to as "details screen”) shown in FIG. 10A and the automatic driving simple screen shown in FIG. 11.
  • the automatic driving simple screen is displayed when the simple screen selection section F10A6 (see FIG. 10A) is selected on the detailed screen (see FIG. 10A).
  • the simple screen during automatic operation may be displayed by selecting the simple screen selection section F10A6 only once (by one action).
  • the automatic driving simple screen may be displayed when a confirmation operation (such as pressing an OK button) is performed after the simple screen selection section F10A6 is selected.
  • the above-mentioned "other work” is a work different from the work performed by the work machine 10 whose information is displayed on the display image G, and specifically, for example, a machine (such as an excavator) that is not connected to the information terminal 23.
  • This includes work at "Other work” may be manual operation or remote control of the machine.
  • a worker may want to grasp the work status of the automatic operation of the work machine 10 in a short viewing time (for example, periodically). For example, a worker may want to know how far the automated driving task has progressed, how much time it will take to complete the task, etc.
  • the amount of information on the detailed screen is large. Therefore, it may be difficult for a worker to check the information he/she wants to check in a short viewing time.
  • the display image G displays a simple screen during automatic driving.
  • the simple screen during automatic operation is displayed so that the operator can grasp the information even in a short viewing time.
  • the amount of information displayed on the simple screen during automatic driving is smaller than the amount of information displayed on the detailed screen.
  • the information regarding automatic driving displayed on the simple screen during automatic driving includes only part of the information regarding automatic driving displayed on the detailed screen.
  • the work site display point cloud video, etc.
  • main display area M shown in FIG. 10A is not displayed on the simple screen during automatic operation, as shown in FIG. Do not show.
  • the worker can obtain information regarding the automatic operation of the working machine 10 even by viewing the display image G for a short time.
  • the worker can perform the task without significantly impairing the efficiency of other tasks.
  • the machine 10 can be monitored (other tasks and automatic operation monitoring can be performed at the same time).
  • the image displayed on the simple screen during automatic driving is simpler than the image displayed on the detailed screen (see FIG. 10A).
  • the information display object displayed on the simple screen during automatic driving may be larger than the information display object displayed on the detailed screen.
  • the above-mentioned "information display object" may be text or a figure (such as an illustration that visually expresses information).
  • the difference in brightness (contrast) between the information display object and the background color of this information display object on the simple screen during automatic driving may be larger than the contrast between the information display object and the background color on the detailed screen.
  • Information displayed as text on the detailed screen may be displayed as a figure on the simple screen during automatic driving (for example, see the current work amount display section F11A3 described later).
  • the simple screen during automatic driving may include parts that are not included in the detailed screen (for example, the remaining work time display section F11A2 and the detailed screen selection section F11A4 described later).
  • the contents (elements, items) displayed on the simple screen during automatic driving may be set by the operator or may be set in advance in the information terminal 23.
  • the contents displayed on the simple screen during automatic driving should include information necessary for the operator to monitor automatic driving, and should preferably be as small as possible (preferably the bare minimum).
  • the simple screen during automatic driving preferably includes a status display section F11A1 and a display showing the progress of the automatic driving work (for example, a remaining work time display section F11A2 and a current work amount display section F11A3).
  • the simple screen during automatic driving also includes a detailed screen selection section F11A4, a key state selection section F11A5a, an engine state selection section F11A5b, a lever lock state selection section F11A5c, a horn operation section F11A7, and an intermediate termination selection section F11A8.
  • the status display section F11A1 is a section that displays the status of the work machine 10.
  • the status display section F11A1 displays the status regarding automatic operation of the work machine 10.
  • the status of the work machine 10 displayed by the status display unit F11A1 includes, for example, at least one of normal operation, standby (a state in which the work by automatic operation has been completed and is on standby), and an emergency stop.
  • the status of the work machine 10 displayed by the status display unit F11A1 may include a state in which a detection operation is in progress (a state in which the work machine 10 detects an object such as a work target and is automatically operating).
  • the status display unit F11A1 displays that the work machine 10 is on standby, the worker can easily notice that the work machine 10 is on standby. Then, by the worker instructing the working machine 10 to perform automatic operation, it is possible to reduce the time during which the working machine 10 is not working (that is, on standby). Therefore, the working efficiency of the working machine 10 can be improved.
  • the worker can easily notice that the work machine 10 is in an emergency stop. Therefore, the worker can take action on the work machine 10 during an emergency stop earlier (for example, in a safer situation).
  • the situation display section F11A1 is preferably displayed in such a way that the worker can easily notice changes in the display of the situation display section F11A1 even if the worker does not gaze at the display image G (for example, using peripheral vision). In this case, the number of times and time the worker views the display image G can be reduced. When the worker visually recognizes the display image G while performing other tasks, the number of times the worker looks at the display image G and the time taken are reduced, so that the efficiency of other tasks can be improved. For example, it is preferable that the ratio of the situation display section F11A1 to the display image G is as large as possible. For example, it is preferable that the contrast between the situation display section F11A1 and the background of the situation display section F11A1 is large.
  • the status display section F11A1 may display characters (words) indicating the status of the work machine 10. This wording is, for example, "in normal operation” (or simply “in operation"), "on standby", “in emergency stop”, etc.
  • the situation display section F11A1 may display different figures (for example, the shape of the face and the color) depending on the situation of the working machine 10. Specifically, for example, the figure (for example, a face figure) when the work machine 10 is in normal operation and on standby may be different from the figure when the work machine 10 is in an emergency stop.
  • the display (for example, characters, graphics) on the status display section F11A1 may be in a different color depending on the status of the working machine 10. Specifically, for example, the display on the status display section F11A1 may be green during normal operation, blue during standby, red during emergency stop, etc.
  • the background color of the status display section F11A1 may be a different color depending on the status of the working machine 10.
  • the display of parts of the display image G other than the status display section F11A1 may change in accordance with changes in the status of the work machine 10 indicated by the status display section F11A1.
  • This "portion other than the status display section F11A1" may be, for example, the entire main display area M, or the outer peripheral part (edge) of the main display area M.
  • the color (background color or edge color) of the main display area M may change in accordance with a change in the status of the work machine 10 indicated by the status display section F11A1.
  • the brightness may change (for example, blink).
  • the status display section F11A1 may be displayed on the details screen (see FIG. 10A).
  • the remaining work time display section F11A2 is a part that displays the remaining time for work by automatic operation.
  • the remaining work time display section F11A2 changes the display (for example, text color, background color, etc.) may be changed.
  • a remaining number of work display section F10A2 may be displayed on the simple screen during automatic operation.
  • the current workload display section F11A3 displays the same content as the current workload display section F10A3b shown in FIG. 10A.
  • the current work amount display section F11A3 shown in FIG. 11 is displayed so that the worker can more easily grasp the information than the current work amount display section F10A3b shown in FIG. 10A.
  • the characters may be displayed larger than in the current work amount display section F10A3b shown in FIG. 10A, and the contrast between the characters and the background color may be greater.
  • the current work amount display section F11A3 may change the display (for example, text color, background color, etc.) according to the current work amount. Furthermore, the current amount of work display section F11A3 shown in FIG.
  • the current work amount display section F11A3 changes the displayed figure into a plurality of stages (for example, five stages) according to this ratio. Specifically, for example, the current work amount display section F11A3 displays a figure showing how much soil has been loaded into the vehicle (dump truck). Note that the figure in the current work amount display section F11A3 may be displayed on the details screen (see FIG. 10A).
  • the detailed screen selection part F11A4 is a part selected when the display image G is switched from the simple screen during automatic driving to the detailed screen (FIG. 10A).
  • the key state selection section F11A5a, the engine state selection section F11A5b, and the lever lock state selection section F11A5c have the same functions as the key state selection section F9C4, the engine state selection section F9C5, and the lever lock state selection section F9C6 shown in FIG. 9C.
  • the horn operation part F11A7 shown in FIG. 11 is a part that is selected when making the working machine 10 sound the horn.
  • the automatic operation simple screen may include a selection section for operating the work machine 10.
  • the mid-term termination selection section F11A8 is a section selected when the automatic driving is terminated mid-term (details will be described later).
  • FIG. 12A is a diagram showing an automatic driving work completion screen.
  • the automatic operation work completion screen is displayed when the automatic operation work is normally completed.
  • the automatic operation work end screen is displayed when the amount of completed work (loaded soil amount) reaches the target amount of work (target amount of soil).
  • the automatic driving work end screen includes an end notification section F12A1, an end selection section F12A2, and a cancellation selection section F12A3.
  • the end notification section F12A1 is a part that notifies the operator that automatic driving is to be ended.
  • the end notification unit F12A1 notifies that the work based on the teaching data on which automatic driving was performed is to be ended.
  • the end selection part F12A2 is a part selected when ending the work based on the teaching data for which automatic driving was being performed.
  • the cancel selection section F12A3 is a section that is selected when the work based on the teaching data that was being performed during automatic operation is not to be terminated. For example, if the cancel selection section F12A3 is selected, the screen may return to the screen before starting automatic operation (see FIG. 9A), and for example, automatic operation may be restarted after the number of operations and target work amount are changed. Good too.
  • the result of the work may be displayed.
  • the result of the work may include, for example, at least one of the amount of work objects that have been worked on, the number of times the work has been done, and the work time.
  • FIG. 12B is a diagram showing a mid-term end screen.
  • the midway termination screen is a screen that is displayed when automatic driving ends midway.
  • the premature termination of automatic operation means that the work by automatic operation ends in a state where the amount of completed work (loaded soil volume) has not reached the target amount of work (target volume of soil).
  • the mid-term termination screen is displayed, for example, when the mid-term termination selection section F10A8 (see FIG. 10A) or F11A8 (see FIG. 11) is selected.
  • the mid-term end screen includes a mid-term end notification section F12B1, an end selection section F12B2, and a cancel selection section F12B3.
  • the mid-term termination notification section F12B1 is a part that notifies that automatic driving will be terminated mid-term.
  • the mid-end notification unit F12B1 notifies that the work will end in the current cycle.
  • the end selection part F12B2 is a part (OK button) that is selected when ending automatic driving midway.
  • the cancel selection part F12B3 is a part (cancel button) that is selected when automatic driving is not terminated midway (automatic driving is continued).
  • this "initial posture” is, for example, the initial posture at the start of automatic driving.
  • this "initial posture” is the posture at the start of the first work phase P (for example, acquisition phase P1 (see FIG. 8)).
  • a specific example of premature termination of automatic driving is as follows. For example, assume that the mid-terminus selection section F11A8 (see FIG. 11) is selected during the release phase P3 (see FIG. 8). At this time, the work machine 10 completes the release phase P3, completes the return rotation phase P4 (see FIG. 8), and stops in the initial posture.
  • a notification indicating that the work is being completed may be displayed from the time when the premature end selection part F11A8 (see FIG. 11) is selected until the working machine 10 assumes the initial posture.
  • FIG. 13A is a diagram showing an emergency stop screen.
  • the emergency stop screen is a screen that is displayed when the work machine 10 makes an emergency stop.
  • the conditions for the work machine 10 to make an emergency stop may include that the emergency stop selection section F13A1 is selected.
  • the emergency stop condition may include that the all-machine stop selection section F13A2 is selected.
  • the emergency stop conditions are conditions other than these, and may include conditions set in the controller of the work machine 10 or the automatic operation information processing device 20.
  • the emergency stop selection section F13A1 is a portion (for example, an emergency (stop button).
  • the emergency stop selection section F13A1 is displayed during automatic operation, and may be displayed at times other than automatic operation.
  • the all-machine stop selection part F13A2 is a part (for example, an all-machine emergency stop button) that is selected when all the working machines 10 connected (already connected) to the information terminal 23 are brought to an emergency stop.
  • the all-machine stop selection section F13A2 When the all-machine stop selection section F13A2 is provided, the following effects can be obtained.
  • the worker selects the machine selection section T corresponding to the work machine 10 he wants to stop, and then selects the emergency stop selection section F13A1.
  • the worker selects the machine selection section T that corresponds to the work machine 10 that he wants to stop. (switch the screen) and select the emergency stop selection section F13A1. Therefore, the operation of selecting the machine selection section T is laborious and takes time.
  • the worker when a plurality of working machines 10 are connected to the information terminal 23, the worker must take a plurality of steps in order to stop all the connected working machines 10. Specifically, the operator needs to repeatedly switch the machine selection section T and select the emergency stop selection section F13A1. For example, in the event of a disaster, when it is desired to immediately bring all connected work machines 10 to an emergency stop, it is undesirable that the emergency stop operation takes a long time. Therefore, an all-machine stop selection section F13A2 is provided. By selecting (for example, pressing) the all-machine stop selection section F13A2, the worker can bring all connected working machines 10 to an emergency stop (all-machine stop function). At this time, the operator can stop all the connected working machines 10 without selecting the machine selection part T (without switching the screen).
  • this all-machine stop selection section F13A2 is always displayed when even one working machine 10 is connected to the information terminal 23. More specifically, even if the content (state) of the display image G changes (transitions) variously, when the work machine 10 is connected to the information terminal 23, the all-machine stop selection unit F13A2 always selects the is preferably displayed. Specifically, for example, when a work machine 10 is selected in the machine selection section T and information regarding the selected work machine 10 is displayed on the display image G, the all-machine stop selection section F13A2 may be displayed. preferable. Furthermore, even on a screen where the work machine 10 is connected to the information terminal 23 but the work machine 10 is not selected in the machine selection section T, as in the home screen shown in FIG.
  • the all-machine stop selection section F3B4 is displayed. It is preferable that it be displayed. Note that when the work machine 10 is not connected to the information terminal 23, the all-machine stop selection section F13A2 shown in FIG. 13A does not need to be displayed (see FIG. 14A).
  • the all-machine stop selection section F13A2 is always displayed at a specific position (always at the same position) on the display image G when at least one work machine 10 is connected to the information terminal 23.
  • This "specific position" is a part of the display image G, and is one specific position in the display image G.
  • the all-machine stop selection section F13A2 is displayed in a part where the display does not change even if the state of the display image G changes.
  • the all-machine stop selection section F13A2 is displayed in a part where the display does not change depending on the selection state of the machine selection section T. In the example shown in FIG.
  • the all-machine stop selection section F13A2 is displayed below the home selection section H, below the work selection section A, and in the lower left part of the display image G.
  • the all-machine stop selection section F13A2 may be displayed at the top of the display image G, or in the area above the machine selection section T (top screen header) (not shown).
  • This all-machine stop selection unit F13A2 is always in a selectable (operable) state when at least one work machine 10 is connected to the information terminal 23.
  • This all-machine stop selection unit F13A2 is always in a state where it is possible to bring all work machines 10 connected to the information terminal 23 into an emergency stop when a work machine 10 is connected to the information terminal 23.
  • this all-machine stop selection unit F13A2 brings all connected working machines 10 to an emergency stop by operating the all-machine stop selection unit F13A2 only once (one action). In this case, the worker can bring the connected work machine 10 to an emergency stop with a simple operation.
  • the all-machine stop selection unit F13A2 may be able to bring all connected working machines 10 to an emergency stop by performing a plurality of operations. For example, if a confirmation operation (such as pressing an OK button) is performed after the all-machine stop selection section F13A2 is selected, the connected work machine 10 may be brought to an emergency stop.
  • the information terminal 23 When this all-machine stop selection section F13A2 is selected, the information terminal 23 simultaneously transmits an emergency stop signal to all connected work machines 10.
  • the machine selection section T displays, for example, as follows.
  • the machine selection section T corresponding to the work machine 10 that has made an emergency stop becomes a display indicating that the work machine 10 has made an emergency stop (emergency stop display).
  • This emergency stop display is displayed so as to be distinguishable (distinguishable by the operator) from the display on the machine selection section T when the work machine 10 is not in an emergency stop.
  • the color of the machine selection section T is green when the working machine 10 has not made an emergency stop, and red when the working machine 10 has made an emergency stop.
  • all the machine selection sections T display an emergency stop display.
  • unselected machine selection sections T display a display indicating that they are not selected (e.g. blinking)
  • selected machine selection sections T display a display indicating that they have been selected (for example, (does not flash).
  • the emergency stop screen includes an emergency stop notification section F13A3.
  • the emergency stop notification part F13A3 is a part that notifies that the work machine 10 has made an emergency stop.
  • the emergency stop notification unit F13A3 may notify the reason for the emergency stop of the work machine 10 (error content).
  • the work machine 10 makes an emergency stop as follows, for example. For example, if emergency stop is selected, work machine 10 may immediately transition to the emergency stop state. In this case, the work machine 10 comes to a standstill during the current work. Further, for example, if an emergency stop is selected, the work machine 10 will stop when the work machine 10 is in an emergency state when the current work (for example, the current work phase P (see FIG. 8) or one cycle of automatic operation) is completed. It may shift to a stopped state and stand still.
  • the current work for example, the current work phase P (see FIG. 8) or one cycle of automatic operation
  • the work machine 10 automatically shifts to the emergency stop state after releasing the work object. You can also stand still. In this case, it is preferable that the work machine 10 releases the workpiece to a position where the workpiece can be stably placed. If an emergency stop is selected while the work machine 10 is holding a work object, a notification corresponding to the type of work described below (see FIG. 13B) may be performed.
  • the emergency stop state is canceled.
  • the emergency stop state may be canceled by turning off the engine of the working machine 10 and disconnecting the information terminal 23 and the working machine 10.
  • return may mean that the emergency stop state is canceled and automatic operation is resumed.
  • the worker selects the machine selection section T corresponding to the work machine 10 that he or she wants to restore, and performs an operation (return operation) to restore the selected work machine 10.
  • an operator performs a return operation one by one.
  • the information terminal 23 may be configured so that a plurality of work machines 10 can be restored at the same time.
  • FIG. 13B is a diagram showing an emergency stop screen depending on the work content.
  • This screen includes an emergency stop notification section F13B1 and a selection section F13B2.
  • the emergency stop notification section F13B1 is displayed when the work machine 10 that performs lifting magnet work makes an emergency stop.
  • the emergency stop notification unit F13B1 notifies the content of the problem.
  • the emergency stop notification unit F13B1 notifies that when the engine is stopped while the magnet is adsorbing a workpiece (metal), the workpiece will fall from the magnet. Moreover, the emergency stop notification unit F13B1 notifies how to avoid the problem. In this example, the emergency stop notification unit F13B1 notifies the user of a method to avoid the workpiece from falling from the magnet. Specifically, the emergency stop notification unit F13B1 notifies that the worker gets on the working machine 10, raises the lever lock (puts it in the locked state), and makes the working machine 10 inoperable state. The emergency stop notification unit F13B1 notifies that the operator turns on the key in the driver's cab 13a and maintains the engine in the on state (starting state).
  • the emergency stop notification section F13B1 notifies that the selection section F13B2 (OK button) is pressed with the lever lock raised and the key turned on.
  • a notification (not shown) to the effect that the automatic driving mode is to be canceled is displayed, and the automatic driving mode is canceled.
  • the lever lock is released, the worker operates the work machine 10, and the work object is lowered.
  • the work machine 10 that performs lifting magnet work comes to an emergency stop is explained, but even if the work machine 10 that performs other types of work comes to an emergency stop, a notification corresponding to the type of work will be displayed. It's okay.
  • FIG. 14A is a diagram showing a connection setting screen.
  • the connection setting screen is a screen that is displayed when settings for connecting the information terminal 23 to the work machine 10 are made.
  • the connection setting screen is displayed, for example, when setting section B5 is selected.
  • the connection setting screen includes a setting item selection section F14A1, a connection setting selection section F14A2, a new connection selection section F14A3, a registered machine selection section F14A4, and a parameter setting selection section F14A5.
  • the setting item selection section F14A1 is a section that is displayed so that one setting item can be selected from a plurality of setting items.
  • the connection setting selection section F14A2 is a part of the setting item selection section F14A1.
  • the connection setting selection section F14A2 is a section selected when setting regarding the connection between the information terminal 23 and the working machine 10 is performed.
  • the new connection selection section F14A3 is a section selected when a new work machine 10 is connected to the information terminal 23.
  • information for specifying the work machine 10 to be connected eg, IP address, registered machine name, etc.
  • the above-mentioned "registered machine name" is the name of the working machine 10 displayed in, for example, the machine selection section T (see FIG. 14B) and the registered machine selection section F14A4.
  • FIG. 14B is a diagram showing a work selection screen when newly connected.
  • the new connection work selection screen includes work selection sections F14BA1 and F14BA2.
  • the work selection units F14BA1 and F14BA2 are parts for selecting, when a new work machine 10 is connected to the information terminal 23, what type of work the connected work machine 10 is associated with.
  • this new connection work selection screen is a work selection screen (app selection screen) associated with the newly connected work machine 10, and is not a home screen (see FIGS. 3A and 3B). On this screen, the number display section F3B3 (see FIG. 3B) is not displayed.
  • the registered machine selection unit F14A4 shown in FIG. 14A is a part that displays information on work machines 10 (registered machines) that have been connected to the automatic driving information processing device 20 (for example, the information terminal 23) in the past.
  • the registered machine selection unit F14A4 displays registered machine names of registered machines.
  • information regarding the registered machine may be notified.
  • the notified information may include the registered machine name, information on the connection between the registered machine and the automatic driving information processing device 20 (for example, the date and time of the previous connection, etc.), and the information at the time of the work at the time of the previous connection. It may also include information (for example, the time of the previous work).
  • the manner in which registered machines are displayed in the registered machine selection section F14A4 may change depending on whether the machine is compatible with the work selected in the work selection section A. For example, when the loading work selection part A1 is selected in the work selection part A, the registered machine selection part F14A4 displays registered machines so that the operator can distinguish whether the machine is compatible with loading work or not. You may do so. Specifically, for example, the registered machine selection unit F14A4 activates (selectable) the registered machine corresponding to the type of work selected in the work selection unit A, and selects the registered machine corresponding to the type of work selected in the work selection unit A. Registered machines that do not support this may be made inactive (unselectable). The registered machine selection unit F14A4 may hide registered machines that do not correspond to the type of work selected by the work selection unit A.
  • the parameter setting selection section F14A5 is a section selected when setting parameters (not shown).
  • the parameters to be set may be parameters related to the work machine 10 or parameters related to automatic operation.
  • FIG. 14C is a diagram showing the sensor status display screen.
  • the sensor status display screen is a screen that displays the status of the sensor.
  • the sensor status display screen includes a sensor status selection section F14C1 and a sensor status display section F14C2.
  • the sensor status selection section F14C1 is a section selected to display the sensor status display screen (the sensor status display section F14C2).
  • the sensor status display section F14C2 displays the status of the working machine 10 or a sensor provided outside the working machine 10, similarly to the sensor status display section F10C1 (see FIG. 10).
  • FIG. 14D is a diagram showing the accessory operation screen.
  • the accessory operation screen is a screen that displays the status of each device (accessory) of the working machine 10, and is a screen that is displayed so that the accessory can be operated (remotely controlled).
  • the accessory operation screen includes an accessory operation selection section F14D1 and an accessory status display setting section F14D2.
  • the accessory operation selection section F14D1 is a section selected to display the accessory operation screen (accessory status display setting section F14D2).
  • the accessory status display setting section F14D2 is a section (accessory status display section) that displays the status of accessories.
  • the accessory status display setting section F14D2 is a section (accessory status setting section) that is displayed so that the status of the accessory can be set (changed).
  • Accessory states that can be displayed and set in the accessory state display setting section F14D2 may include, for example, on/off of lights (boom lights, cab lights, etc.). Accessory states that can be displayed include whether the wiper is operating or not and the operating interval (intermittent, continuous), whether the washer (a device that cleans the window in the driver's cab 13a) is on or off, and whether DPF (Diesel Particulate Filter) regeneration is on or off. good.
  • the display configurable accessory status may include the work mode of work machine 10 (high speed, low speed, fuel economy (ECO)).
  • step S11 the information terminal 23 shown in FIG. 1 is connected to the work machine 10.
  • step S21 the target range TA (see FIG. 10D) is taught (area teaching is performed) (see FIG. 6).
  • step S22 the target route PA (see FIG. 10D) is taught (route teaching is performed) (see FIG. 4C).
  • step S31 the operation mode of the work machine 10 is changed (transitioned) to automatic operation mode. For example, when the automatic operation mode start conditions described above are satisfied (see FIGS. 7A and 7B), the operation mode of the working machine 10 shifts to the automatic operation mode (see FIG. 7C).
  • step S32 automatic operation settings (automatic operation operation settings) are performed. Specifically, as shown in FIG. 8, initial settings regarding automatic driving are performed. Furthermore, as shown in FIGS. 9A, 9B, 9C, and 9D, the operating speed of automatic operation and the like are set.
  • step S41 preparations are made for the start of automatic operation in the work machine 10.
  • the posture of the work machine 10 is changed to a posture in which automatic operation can be started.
  • step S42 the working machine 10 starts automatic operation (see FIGS. 10A, 10B, 10C, 10D, and 11).
  • steps S43, S44, and S45 the following operations are performed.
  • a transport vehicle is detected in the transport vehicle (dump) detection area (step S43)
  • a target route PA (see FIG. 10D) for performing work (for example, earth removal) on the transport vehicle is displayed on the display unit 23o.
  • Step S44 If the worker selects to have the working machine 10 work along this target route PA, the working machine 10 starts working on the transport vehicle (step S45).
  • step S46 the control unit 23c (see FIG. 1) monitors the automatic operation of the working machine 10. For example, as shown in FIGS. 10A and 11, the control unit 23c monitors the status of the automatic driving operation (progress, whether or not the operation is normal, etc.). The control unit 23c also determines whether to terminate the automatic operation midway (if the intermediate termination selection unit F10A8 in FIG. 10A is selected) and whether to emergency stop the automatic operation (if the emergency stop selection unit F13A1 in FIG. 13 is selected). (Taka) etc.
  • step S51 the automatic operation of the work machine 10 is completed, and the automatic operation of the work machine 10 is stopped.
  • the automatic operation work completion screen shown in FIG. 12A is displayed on the display unit 23o.
  • a midway end screen shown in FIG. 12B is displayed on the display unit 23o.
  • step S52 the results of the automatic driving work are displayed on the display unit 23o.
  • the amount of work after the work is completed is displayed on the current amount of work display section F10A3b shown in FIG. 10A, the amount of work done on the current amount of work F11A3 shown in FIG. 11, and the like.
  • step S53 the control unit 23c (see FIG. 1) determines whether to perform the same (or substantially the same) automatic operation as the completed automatic operation. For example, the control unit 23c may make this determination based on input (selection) by the operator. Further, for example, the control unit 23c may automatically make this determination depending on the work situation (for example, the amount of work, number of times, time, etc.). If the control unit 23c performs the same (or substantially the same) automatic operation as the completed automatic operation (YES in step S53), the control unit 23c returns the process flow to step S32. If the control unit 23c does not perform the same (or substantially the same) automatic operation as the completed automatic operation (NO in step S53), the control unit 23c advances the process flow to step S61.
  • the control unit 23c may make this determination based on input (selection) by the operator. Further, for example, the control unit 23c may automatically make this determination depending on the work situation (for example, the amount of work, number of times, time, etc.). If the control unit 23
  • step S61 preparations for terminating the automatic operation mode in the work machine 10 (machine-side termination preparations) are performed.
  • the control unit 23c changes the attitude of the work machine 10 to the initial attitude.
  • step S62 the control unit 23c ends the automatic operation mode of the work machine 10.
  • step S63 the control unit 23c determines whether or not the work on the work machine 10 is to be completed. For example, the control unit 23c determines whether to complete the work in automatic operation of the working machine 10 using the information terminal 23 (for example, whether to complete the work for the day). When the work on the work machine 10 is completed (YES in step S63), the control unit 23c advances the process flow to step S71. If the work on the work machine 10 is not completed (NO in step S63), the control unit 23c returns the process flow to step S21.
  • step S71 the work machine 10 is shut down. Specifically, the engine of work machine 10 is turned off, and the power is turned off.
  • the information terminal 23 may transmit a command to the working machine 10 to shut down the working machine 10. Note that the work machine 10 may be shut down manually by a worker.
  • step S72 the connection between the information terminal 23 and the work machine 10 is disconnected.
  • step S91 the information terminal 23 shown in FIG. 1 transmits an emergency stop signal to all the working machines 10 connected (already connected) to the information terminal 23.
  • step S92 all working machines 10 connected to the information terminal 23 come to an emergency stop.
  • step S93 all work machines 10 already connected to the information terminal 23 are shut down (shutdown is similar to step S71 shown in FIG. 15A).
  • step S94 all work machines 10 already connected to the information terminal 23 are disconnected from the information terminal 23.
  • each operation (display, selection, setting, etc.) of the automatic driving information processing device 20 may be a "step" in the method and program.
  • the selection may be a selection step. More specifically, selecting the work machine 10 in the machine selection unit T (see FIG. 2) may be referred to as a "work machine selection step” or the like.
  • the automatic driving information processing device 20 is communicably connected to the work machine 10 capable of performing automatic driving.
  • the automatic driving information processing device 20 includes a display section 23o and an input section 23i.
  • the display unit 23o displays a display image G including information regarding automatic driving.
  • Information regarding automatic driving is input to the input unit 23i according to the operator's operation.
  • the display image G includes a work selection section A.
  • the work selection section A is displayed for each type of work that the work machine 10 (see FIG. 1; the same applies to the work machine 10 below) performs automatically.
  • the work selection section A displays the type of work so that it can be selected using the input section 23i (see FIG. 1).
  • the display image G includes a function selection section B.
  • Function selection part B displays a plurality of functions corresponding to the type of work selected in work selection part A.
  • the function selection section B displays a plurality of functions so that they can be selected using the input section 23i (see FIG. 1).
  • the display image G includes a machine selection section T and a main display area M.
  • the machine selection section T is displayed for each working machine 10, and the working machine 10 is displayed so that it can be selected by the input section 23i (see FIG. 1).
  • the main display area M displays information regarding the work machine 10 selected by the machine selection section T.
  • the main display area M is a different area from the machine selection section T in the display area of the display section 23o (see FIG. 1).
  • the image of the machine selection unit T changes depending on at least one of a state in which automatic operation is in progress, a state in which automatic operation has ended normally, and a state in which the working machine 10 has come to an emergency stop.
  • the display image G includes an operation speed setting section SS.
  • the operating speed setting section SS displays an operating speed in automatic operation that can be set from a plurality of operating speeds including the operating speed of the working machine 10 in the teaching data using the input section 23i (see FIG. 1).
  • the operating speed of the working machine 10 during automatic operation is equal to or lower than the operating speed in the teaching data. Therefore, the work machine 10 is prevented from automatically operating at a high operating speed that is different from the operator's intention.
  • One cycle of automatic operation includes multiple work phases P.
  • the operating speed setting section SS is displayed so that the operating speed during automatic operation can be set for each work phase P.
  • the display image G is switched between a first speed display state SP1 and a second speed display state SP2 (see FIG. 9A).
  • the first speed display state SP1 is a state in which all stages of the plurality of operation speeds of each of the plurality of work phases P are displayed.
  • the second speed display state SP2 is a state in which the operating speed of only the stage set by the operating speed setting section SS is displayed in at least some of the plurality of work phases P. .
  • one cycle of automatic operation includes a plurality of work phases P.
  • the display image G includes a work phase display section PD that displays in which work phase P the work being performed by the work machine 10 is.
  • the display image G includes an all-machine stop selection unit F13A2 that brings all connected work machines 10 (connected to the automatic driving information processing device 20) to an emergency stop.
  • the all-machine stop selection unit F13A2 brings all connected work machines 10 (connected to the automatic driving information processing device 20) to an emergency stop by performing only one operation.
  • the all-machine stop selection unit F13A2 always selects a specific position of a part of the display image G when the work machine 10 is connected (the work machine 10 is connected to the automatic driving information processing device 20). will be displayed.
  • the display image G includes a machine status display section F2A3 that displays the status of the work machine 10.
  • the image on the machine status display section F2A3 is linked to the display on the status display device 13b (see FIG. 1).
  • the status display device 13b is mounted on the actual working machine 10 and displays the status of the working machine 10.
  • the worker can view the machine status display section F2A3 displayed as the display image G without looking at the status display device 13b of the actual working machine 10. You can understand the status.
  • the display image G can be displayed by switching between a detailed screen (first screen) (see FIG. 10A) and a simple screen during automatic operation (second screen) (see FIG. 11). As shown in FIG. 11, the information regarding automatic driving displayed on the simple screen during automatic driving includes only part of the information regarding automatic driving displayed on the detailed screen (see FIG. 10A).
  • the automatic driving simple screen includes a status display section F11A1 that displays the status related to automatic driving.
  • the status displayed by the status display unit F11A1 includes that the working machine 10 is in automatic operation, that the working machine 10 is on standby, and that the working machine 10 is in an emergency stop.
  • the automatic driving information processing method includes a connection step, a display step, and an input step.
  • the connection step connects the work machine 10 capable of automatic operation in a communicable manner.
  • a display image G including information regarding automatic driving is displayed on the display unit 23o.
  • the input step acquires information regarding automatic driving that is input through the input unit 23i shown in FIG. 1 in response to an operation by a worker.
  • the automatic driving information processing program causes the computer (control unit 23c) to execute a connection step, a display step, an input step.
  • the connection step connects the work machine 10 capable of automatic operation in a communicable manner.
  • a display image G including information regarding automatic driving is displayed on the display unit 23o.
  • the input step acquires information related to automatic driving that is input through the input unit 23i according to the operator's operation.
  • the above embodiment may be modified in various ways.
  • the number of components (such as each part of the display image G) (including modified examples) of the above embodiment may be changed, and some of the components may not be provided.
  • the modified examples of the above embodiments may be combined in various ways.
  • the arrangement of components may be changed.
  • the inclusion relationship of components may be changed in various ways. For example, what is described as a lower-order component included in a certain higher-order component may not be included in this higher-order component, and may be included in another component.
  • what has been described as a plurality of mutually different members or parts may be considered as one member or part.
  • each component may have only a portion of each feature (functionality, location, shape, operation, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業機械の自動運転に関する情報の確認および入力を容易に行えるようにする。自動運転情報処理装置20は、自動運転を行うことが可能な作業機械10と通信可能に接続される。自動運転情報処理装置20は、表示部23oと、入力部23iと、を備える。表示部23oは、自動運転に関する情報を表示する。入力部23iは、作業者の操作に応じて、自動運転に関する情報が入力される。

Description

自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラム
 本発明は、作業機械の自動運転に関する情報を処理する、自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラムに関する。
 例えば特許文献1などに、自動運転を行う作業機械が記載されている。
特開2018-193704号公報
 作業機械の自動運転に関する情報ついて、確認および入力を作業者が容易に行えることが望まれている。
 そこで、本発明は、作業機械の自動運転に関する情報の確認および入力を容易に行うことができる、自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラムを提供することを目的とする。
 第1の手段の自動運転情報処理装置は、自動運転を行うことが可能な作業機械と通信可能に接続される。自動運転情報処理装置は、表示部と、入力部と、を備える。前記表示部は、前記自動運転に関する情報を含む表示画像を表示する。前記入力部は、作業者の操作に応じて、前記自動運転に関する情報が入力される。
 第2の手段の自動運転情報処理方法は、接続ステップと、表示ステップと、入力ステップと、を備える。前記接続ステップは、自動運転を行うことが可能な作業機械と通信可能に接続する。前記表示ステップは、前記自動運転に関する情報を含む表示画像を表示部に表示する。前記入力ステップは、作業者の操作に応じて入力部で入力された、前記自動運転に関する情報を取得する。
 第3の手段の自動運転情報処理プログラムは、接続ステップと、表示ステップと、入力ステップと、をコンピュータに実行させる。前記接続ステップは、自動運転を行うことが可能な作業機械と通信可能に接続する。前記表示ステップは、前記自動運転に関する情報を含む表示画像を表示部に表示する。前記入力ステップは、作業者の操作に応じて入力部で入力された、前記自動運転に関する情報を取得する。
 上記の手段1~3のそれぞれにより、作業機械の自動運転に関する情報の確認および入力を容易に行うことができる。
自動運転情報処理装置20などを含む自動運転システム1を示す図である。 図1に示す表示部23oに表示される表示画像Gを示す図であり、基本画面を示す図である。 図2に示す表示画像Gのホーム画面を示す図である。 図2に示す表示画像Gの、作業機械10が複数接続された場合のホーム画面を示す図である。 図2に示す表示画像Gの教示トップ画面を示す図である。 図2に示す表示画像Gの教示前画面を示す図である。 図2に示す表示画像Gの教示中画面を示す図である。 図2に示す表示画像Gの軌跡確認画面を示す図である。 図2に示す表示画像Gの軌跡変更画面を示す図である。 図2に示す表示画像Gの目標範囲設定画面を示す図である。 図2に示す表示画像Gの初期姿勢準備画面を示す図である。 図2に示す表示画像Gの作業機械状態準備画面を示す図である。 図2に示す表示画像Gの自動運転モード開始通知画面を示す図である。 図2に示す表示画像Gの自動運転初期設定画面を示す図である。 図2に示す表示画像Gの自動運転開始前画面を示す図である。 図2に示す表示画像Gの作動速度変更画面を示す図である。 図2に示す表示画像Gの作業回数変更画面を示す図である。 図2に示す表示画像Gの自動運転開始前確認画面を示す図である。 図2に示す表示画像Gの自動運転中画面を示す図である。 図2に示す表示画像Gの表示設定画面を示す図である。 図2に示す表示画像Gのセンサ状況確認画面を示す図である。 図2に示す表示画像Gの、作業フェーズ表示部PDなどを含む自動運転中画面を示す図である。 図2に示す表示画像Gの自動運転中シンプル画面を示す図である。 図2に示す表示画像Gの自動運転作業終了画面を示す図である。 図2に示す表示画像Gの途中終了画面を示す図である。 図2に示す表示画像Gの非常停止画面を示す図である。 図2に示す表示画像Gの、作業内容に応じた非常停止画面を示す図である。 図2に示す表示画像Gの接続設定画面を示す図である。 図2に示す表示画像Gの新規接続時作業選択画面を示す図である。 図2に示す表示画像Gのセンサ状況表示画面を示す図である。 図2に示す表示画像Gのアクセサリ操作画面を示す図である。 図1に示す自動運転システム1の作動を示すフローチャートである。 図13Aに示す全機停止選択部F13A2が選択されたときの、図1に示す自動運転システム1の作動を示すフローチャートである。
 図1~図15Bを参照して、自動運転システム1について説明する。
 自動運転システム1は、図1に示すように、作業機械10の自動運転に関するシステムである。自動運転システム1は、作業機械10と、自動運転情報処理装置20と、を備える。
 作業機械10は、作業を行う機械であり、例えば建設作業を行う建設機械であり、例えばショベルでもよく、クレーンでもよい。以下では、作業機械10がショベルである場合について説明する。作業機械10は、自動運転可能に構成される。作業機械10は、運転室13a(後述)内の作業者(オペレータ)に操作される場合があってもよく、遠隔操作される場合があってもよい。自動運転システム1に含まれる作業機械10の台数は、1台でもよく、複数台でもよい。作業機械10は、機械本体10aと、アタッチメント15と、を備える。
 機械本体10aは、作業機械10の本体部分である。機械本体10aは、下部走行体11と、上部旋回体13と、を備える。下部走行体11は、走行面(地面など)を走行可能である。下部走行体11は、クローラを備えてもよく、ホイールを備えてもよい。上部旋回体13は、下部走行体11に旋回可能に搭載される。上部旋回体13は、運転室13aと、状態表示装置13bと、を備える。運転室13aは、作業者(オペレータ)が作業機械10を操作することが可能な部分である。状態表示装置13bは、作業機械10の状態(後述)を表示する装置である。状態表示装置13bは、例えば、回転灯、画面、ライトなどである。状態表示装置13bは、例えば、上部旋回体13の上面(例えば運転室13aの上面)などに設けられる。
 アタッチメント15は、作業を行う部分であり、例えば、ブーム15aと、アーム15bと、先端アタッチメント15cと、を備える。ブーム15aは、上部旋回体13に起伏可能に取り付けられる。アーム15bは、ブーム15aに回転可能に取り付けられる。
 先端アタッチメント15cは、アタッチメント15の先端部に設けられ、アーム15bに回転可能に取り付けられる。先端アタッチメント15cは作業対象物に対して作業を行う。作業対象物は、土でもよく、砂でもよく、石でもよく、木材でもよく、金属でもよく、樹脂でもよく、廃棄物でもよく、構造物(ブロックなど)でもよい。先端アタッチメント15cは、作業対象物に対応した種類に設定される。例えば、先端アタッチメント15cは、土状、粒状、チップ状、粉状などの作業対象物をすくう作業や掘削などを行うバケットでもよい。先端アタッチメント15cは、磁力により金属(作業対象物)を吸着し、金属を持ち上げるリフティングマグネットでもよい。先端アタッチメント15cは、作業対象物を挟む装置(グラップル、ニブラなど)でもよく、作業対象物の破砕などを行う装置(ブレーカなど)でもよい。
 (作業機械10の作業の種類)
 例えば、作業機械10は、作業対象物を捕捉し、捕捉した作業対象物を所定位置に移動させる作業を行う。作業機械10が行う作業の具体例は、次の通りである。作業機械10は、積込作業を行ってもよい。積込作業は、バケット(先端アタッチメント15cの一例)を備える作業機械10が、土(作業対象物)を掘削(捕捉)し、掘削した土を輸送車両(例えばダンプ)上で排土し、車両に積み込む作業である。作業機械10は、リフティングマグネット作業を行ってもよい。リフティングマグネット作業は、リフティングマグネット(先端アタッチメント15cの一例)を備える作業機械10が、金属(作業対象物)を吸着(捕捉)し、捕捉した金属を所定位置に移動させる作業である。作業機械10は、天地返し作業を行ってもよい。天地返し作業は、バケットなどを備える作業機械10が、土(作業対象物)の天地返しを行う作業である。作業機械10は、構造物の運搬作業を行ってもよい。構造物の運搬作業は、構造物(作業対象物)を把持可能な先端アタッチメント15cを備える作業機械10が、構造物を把持し、把持した構造物を所定位置に配置する作業である。なお、1台の作業機械10が、複数種類の作業を行うことが可能でもよい。ある種類の作業を作業機械10が行うことが可能か否かは、例えば先端アタッチメント15cの種類、作業機械10の能力などによって決まる。
 自動運転情報処理装置20は、作業機械10の自動運転に関する情報を処理する装置である。自動運転情報処理装置20は、自動運転可能な作業機械10を操作する機能を備えてもよい。自動運転情報処理装置20は、自動運転可能な作業機械10の管理を支援する機能を備えてもよい。自動運転情報処理装置20は、作業機械10と通信可能に接続される。以下、通信可能な接続を、単に「接続」ともいう。自動運転情報処理装置20は、様々な情報処理装置(機器)を備えてもよい。具体的には例えば、自動運転情報処理装置20は、サーバ21(コンピュータ)と、情報端末23と、を備える。
 サーバ21は、情報の入出力、演算(処理)、情報の記憶などを行うコンピュータ(コントローラ)である。例えば、サーバ21の機能は、サーバ21の記憶部に記憶されたプログラムが演算部で実行されることにより実現される。サーバ21は、作業機械10および情報端末23の外部に配置される。サーバ21は、作業機械10に接続される。
 情報端末23は、作業機械10に接続される。情報端末23は、サーバ21を介して作業機械10に接続されてもよく、サーバ21を介さずに作業機械10に接続されてもよい。以下では、主に、自動運転情報処理装置20が作業機械10に接続されることの一例として、情報端末23が作業機械10に接続される場合について説明する。情報端末23は、情報の入出力を行うことが可能な装置である。情報端末23は、携帯可能でもよく、携帯可能でなくてもよい。情報端末23は、タブレットでもよく、スマートフォンでもよく、パーソナルコンピュータでもよい。情報端末23は、サーバ21と兼用されてもよい。情報端末23は、作業機械10の外部に配置されてもよく、作業機械10の内部に配置されてもよい(例えば、持ち込まれてもよい)。情報端末23は、制御部23c(コンピュータ)と、入力部23iと、表示部23oと、を備える。
 制御部23cは、信号の入出力、演算(処理)、情報の記憶などを行うコンピュータ(コントローラ)である。例えば、制御部23cの機能は、制御部23cの記憶部に記憶されたプログラムが演算部で実行されることにより実現される。制御部23cは、表示部23oの表示に関する情報を制御し、例えば、表示部23oに表示を行わせる。制御部23cは、入力部23iの入力に関する情報を制御し、例えば、入力部23iに入力された情報を処理する。制御部23cは、情報通信の制御など、その他の制御を行ってもよい。なお、制御部23cは、複数の部分に分散して配置されてもよい(分散システムを構成してもよい)。制御部23cは、入力部23iおよび表示部23oの一方または両方と一体的に設けられてもよく、一体的に設けられなくてもよい。例えば、入力部23iおよび表示部23oは、情報端末23に設けられ、制御部23cの一部または全部は、サーバ21などに設けられてもよい。
 入力部23iは、作業者の操作に応じて、自動運転に関する情報が入力される。具体的には例えば、入力部23iは、タッチパネルでもよく、マウスでもよく、キーボードでもよく、作業者の視線の情報に基づいて情報を入力する装置でもよく、空間における作業者の指の位置情報に基づいて情報を入力する装置などでもよい。
 表示部23oは、自動運転に関する情報を表示する(表示出力部)。具体的には例えば、表示部23oは、モニタ(ディスプレイ)でもよく、物体に映像を投影する装置でもよく、AR(Augmented Reality)技術を用いたものでもよい。表示部23oが表示する画像(制御部23cが表示部23oに表示させる画像)を、表示画像Gという。表示画像Gは、自動運転に関する情報を含む。表示画像Gは、形状、模様、色彩、文字、記号などを含む。表示画像Gは、GUI(Graphical User Interface)を含む。なお、情報端末23は、表示以外の出力を行う部分(出力部)を備えてもよく、例えば、音声出力部、および振動出力部などを備えてもよい。
 (作業機械10の自動運転)
 作業機械10は、作業計画に基づいて自動運転を行うことが可能に構成される。作業計画は、作業機械10の作業の目標に関する情報であり、自動運転情報処理装置20に予め(自動運転前に)設定されている。作業計画は、作業機械10の走行の目標ルートの情報を含んでもよい。作業計画は、先端アタッチメント15cが作業を行う目標範囲TA(例えば図10Dに示す目標捕捉範囲TA1、目標解放範囲TA3)の情報を含んでもよい。
 (目標経路PA、目標軌道)
 作業計画は、アタッチメント15の特定部位の目標経路PA(図10D参照)(目標軌跡ともいう)の情報を含んでもよい。アタッチメント15の特定部位は、例えば、先端アタッチメント15cの先端部でもよく、先端アタッチメント15cの基端部(アーム15bの先端部)でもよい。アタッチメント15の特定部位は、1か所にのみ設定されてもよく、複数か所に設定されてもよい。目標経路PAは、例えば、複数の目標点の位置の情報(座標)と、各目標点の順序の情報と、を含む情報である。また、作業計画は、アタッチメント15の特定部位の目標軌道の情報を含んでもよい。上記「目標軌道」は、目標経路PAの情報に、時間の情報が付加された情報である。
 (サイクル、作業フェーズP)
 作業計画は、ある作業(例えば積込作業、リフティングマグネット作業など)を複数サイクル、作業機械10に行わせるための情報を含んでもよい。1サイクルは、複数の作業フェーズP(図8および図10D参照)(動作フェーズ)を含んでもよい。作業フェーズPの具体例は、次の通りである。ここでは、作業機械10が、作業対象物を捕捉し、捕捉した作業対象物を所定位置に移動させる作業を自動運転により行う場合の、作業フェーズPの具体例を説明する。この場合、図10Dに示すように、作業フェーズPには、捕捉フェーズP1(例えば掘削フェーズ)と、持上旋回フェーズP2(排土旋回フェーズ)と、解放フェーズP3(排土フェーズ)と、復帰旋回フェーズP4と、がある。捕捉フェーズP1は、先端アタッチメント15cが、目標捕捉範囲TA1で作業対象物を捕捉する(例えば土砂を掘削する)フェーズである。例えば、目標捕捉範囲TA1は、作業対象物が集められた場所など(例えば土砂山など)に設定される。持上旋回フェーズP2(図8参照)は、先端アタッチメント15cが作業対象物を捕捉した状態で、目標捕捉範囲TA1から目標解放範囲TA3に向かって、先端アタッチメント15cが移動するフェーズである。解放フェーズP3は、先端アタッチメント15cが、目標解放範囲TA3で作業対象物を解放する(例えば排土する)フェーズである。目標解放範囲TA3は、例えば輸送車両(ダンプなど)の荷台の上の所定範囲に設定されてもよく、荷台以外の容器の上の所定範囲に設定されてもよく、地面の上の所定範囲に設定されてもよい。復帰旋回フェーズP4は、目標解放範囲TA3から目標捕捉範囲TA1に向かって、先端アタッチメント15cが移動するフェーズである。例えば、自動運転では、捕捉フェーズP1と、持上旋回フェーズP2と、解放フェーズP3と、復帰旋回フェーズP4と、の一連の作業フェーズP(1サイクルの自動運転の作業)が、繰り返し行われる。
 (教示)
 作業計画の少なくとも一部は、教示(ティーチング)により設定されてもよく、教示以外の方法(例えば数値入力など)により設定されてもよい。教示により設定された情報を、教示データという。教示データは、作業者(オペレータ)が、図1に示す作業機械10を操作することで設定される。具体的には例えば、作業者が作業機械10に搭乗して作業機械10を操作する、または、作業者が作業機械10を遠隔操作する。例えば、作業者は、作業機械10を操作することで、教示データとして設定したい位置(経路、範囲など)に、アタッチメント15の特定部位を配置する。そして、アタッチメント15の特定部位が配置された位置に基づいて、自動運転情報処理装置20に教示データが設定される。例えば、作業者は、作業機械10を操作することで、図10Dに示す目標範囲TA(目標捕捉範囲TA1、目標解放範囲TA3)として設定したい範囲の特定の位置に、アタッチメント15の特定部位を配置する(後述する図6の説明を参照)。図1に示すアタッチメント15の特定部位が配置された位置は、作業機械10の姿勢を検出する姿勢センサ(図示なし)の検出結果に基づいて算出される。そして、アタッチメント15の特定部位が配置された位置に基づいて、図10Dに示す目標範囲TAが設定される。例えば、作業者は、作業機械10を操作することで、目標経路PAとして設定したい経路に沿うように、アタッチメント15の特定部位を移動させる(後述する図4A、図4B、および図4Cの説明を参照)。例えば、作業者は、作業機械10を操作することで、目標軌道として設定したい経路に沿って、目標軌道として設定したい速度で、アタッチメント15の特定部位を移動させる。そして、自動運転情報処理装置20は、アタッチメント15の特定部位が移動した経路(または軌道)を、目標経路PA(または軌道)として設定する。
 (作動)
 以下、図1に示す自動運転情報処理装置20の作動、自動運転情報処理方法、および自動運転情報処理プログラムについて説明する。以下では、主に、制御部23cが表示部23oに表示させる表示画像G(図2~図14D参照)について説明する。図1に示す各構成要素(作業機械10、自動運転情報処理装置20など)については、図1を参照して説明する。図2に示す表示画像Gは、状況に応じて様々に変わる。表示画像Gは、様々な部分(各種選択部、各種表示部、各種設定部などの要素)を備える。表示画像Gの各部分の表示の有無、表示の態様、および、入力部23iにより選択や操作などが可能か否か(アクティブか非アクティブか)などは、状況に応じて様々に変わる。以下では、表示画像Gの各部分のうち、多くの状況で共通して表示される部分をまず説明し、その後、その他の部分および画面遷移などを説明する。
 図2は、基本画面を示す図である。基本画面は、作業選択部Aと、作業追加部Aaddと、機能選択部Bと、メニュー選択部F2A1と、情報端末作動内容表示部F2A2と、機械状態表示部F2A3と、通信状態表示部F2A4と、を備える。また、基本画面は、ホーム選択部Hと、主表示領域Mと、機械選択部Tと、機械追加部Taddと、を備える。
 作業選択部Aは、作業機械10が自動運転で行う作業の種類を、作業者に選択させるための部分である。作業選択部Aは、作業の種類を入力部23iにより選択可能に表示される。
 この「選択」は、作業者が入力部23iを操作することによる選択である。具体的には例えば、入力部23iがタッチパネルの場合、選択は、作業選択部Aがタッチされることである。入力部23iがマウスまたはキーボードである場合、選択は、作業選択部A上にカーソルが配置された状態で、選択を決定する操作(クリック、所定キーの押し下げなど)が行われることでもよい。また、選択は、作業選択部Aを選択するための特定のマウス操作またはキー操作(ショートカットキー操作など)が行わることでもよい。以下では、作業者が入力部23iを操作することによる選択を、単に「選択」ともいう(作業選択部A以外の部分の「選択」および「設定」なども同様)。
 作業選択部Aによる作業の種類の選択結果は、様々な処理に用いることが可能である。例えば、自動運転に用いられるアプリケーションソフトの一部または全部が、作業の種類によって異なる場合に、どのアプリケーションソフトを用いるかを選択するために、作業選択部Aによる作業の選択結果が用いられてもよい。この場合、作業選択部Aは、アプリケーション選択部(アプリ選択部)である。また、例えば、作業の種類と作業機械10とが関連付けられる場合がある。この場合に、複数の作業機械10から、特定の種類の作業に関連付けられている作業機械10を絞り込む際に、絞り込みたい作業の種類を選択するために、作業選択部Aによる作業の選択結果が用いられてもよい。また、例えば、情報端末23に作業機械10を新規接続する際に、接続する作業機械10をどの種類の作業に関連付けるかを選択するために、作業選択部Aによる作業の選択結果が用いられてもよい(図14Bの説明を参照)。
 作業選択部Aの、表示画像Gにおける位置は、様々に設定可能である。表示画像Gにおける作業選択部Aの位置は、図示した位置または図示した位置に近い位置でもよい(他の部分も同様)。図2に示す例では、作業選択部Aは、表示画像Gの左端の領域(アプリ選択領域)に配置される。作業選択部Aは、主表示領域Mに配置されてもよい(図3Aの積込作業選択部F3A1、リフティングマグネット作業選択部F3A2参照)。なお、作業選択部Aの位置は、図示した位置とは異なる位置でもよい(他の部分も同様)。
 作業選択部Aは、図形(形状、模様、色彩など)、文字、記号、画像の変化(動きなど)、の少なくともいずれかを含んでもよい。具体的には例えば、作業選択部Aは、ボタンのような形状(ボタン形状)の図形を含んでもよく、アイコンを含んでもよい。作業選択部Aは、作業選択部Aの機能を説明する文字(「積込み」「リフティングマグネット」など)を含んでもよい。図形、文字、記号などを有することは、特に断らない限り、他の部分も同様である。
 作業選択部A(表示画像Gのある部分)が選択されたとき、選択された作業選択部Aと選択されていない部分とを作業者が区別可能に表示される(他の選択可能な部分も同様)。例えば、図形、文字、記号、および画像の変化の少なくともいずれかが、選択された部分と、選択されていない部分とで相違してもよい。具体的には例えば、選択されていない部分の明度に比べ、選択された部分の明度が高く(明るく)されてもよい(ハイライトされてもよい)。
 作業選択部Aは、作業機械10が自動運転で行う作業の種類ごとに表示される。具体的には例えば、作業の種類として、積込作業とリフティングマグネット作業とがある場合、作業選択部Aは、積込作業選択部A1と、リフティングマグネット作業選択部A2と、を備える。積込作業選択部A1は、「作業の種類」として、積込作業を作業者に選択させるための部分である。リフティングマグネット作業選択部A2は、「作業の種類」として、リフティングマグネット作業を作業者に選択させるための部分である。
 作業追加部Aaddは、作業選択部Aで選択可能な作業の種類が追加されるときに選択される部分である。作業追加部Aaddが選択されたとき、制御部23cは、作業の種類を追加する機能を実行する。例えば、作業追加部Aaddは、作業選択部Aと連続した位置に配置され、具体的には例えば作業選択部Aよりも下かつ作業選択部Aと隣接した位置に配置される。
 機能選択部Bは、自動運転に関する機能を、作業者に選択させるための部分である。例えば、機能選択部Bは、作業選択部Aと隣接した位置(右隣りなど)に配置される。機能選択部Bは、複数の機能ごとに表示される。機能選択部Bは、作業選択部Aで選択された作業の種類に対応した機能を選択可能である。具体的には例えば、作業選択部Aで選択された作業の種類が、積込作業である場合、機能選択部Bは、教示機能選択部B1と、積込機能選択部B2と、軌跡確認機能選択部B3と、解放範囲機能選択部B4と、設定部B5と、を備える。各選択部が選択された場合の自動運転情報処理装置20の作動は後述する。なお、機能選択部Bに新たな選択部を追加するための部分(作業追加部Aaddと同様の部分など)が表示画像Gに設けられてもよい。例えば、機能選択部Bは、複数のボタン形状の図形などを含んでもよい。
 メニュー選択部F2A1は、メニュー画面(図示なし)が表示される場合に選択される部分である。上記「メニュー画面」は、表示画像Gとして表示させるメニュー項目(例えば図10Bおよび図10Cの説明を参照)を、作業者に選択させる画面である。
 情報端末作動内容表示部F2A2は、情報端末23で現在行われていること(操作、設定など)が何であるかを示す情報を表示する。具体的には例えば、情報端末作動内容表示部F2A2は、機能選択部Bで選択されている機能がどの機能であるか、機能選択部Bで選択されている機能において何が行われているか(図2では運転設定)などの情報を表示する。
 機械状態表示部F2A3は、作業機械10の状態を表示する。機械状態表示部F2A3は、作業機械10の状態を、作業者が区別可能に表示する。例えば、機械状態表示部F2A3に表示される作業機械10の状態は、自動運転に関する状態を含んでもよく、自動運転以外の状態を含んでもよい。例えば、機械状態表示部F2A3に表示される作業機械10の状態は、作業機械10が正常か否かの状態を含んでもよい。具体的には例えば、機械状態表示部F2A3に表示される作業機械10の状態は、非常停止、レバーロックが掛かっている状態(作業機械10が作動できない状態)、自動運転中、および、遠隔操作中、の少なくともいずれかを含む。この場合、機械状態表示部F2A3に表示される作業機械10の状態が「自動運転」、「遠隔手動」、または「油圧ロック」の場合は作業機械10が正常であることを表してもよい。また、機械状態表示部F2A3に表示される作業機械10の状態が、「非常停止」の場合は作業機械10が正常でないことを表してもよい。具体的には例えば、機械状態表示部F2A3は、作業機械10の状態に対応するライトが光るような画像を含んでもよい。
 例えば、作業機械10の状態を表示する状態表示装置13b(図1参照)が、実機の作業機械10に搭載される場合がある。この場合に、図2に示す機械状態表示部F2A3の画像と、実機の作業機械10の状態表示装置13bの表示と、が連動する。具体的には例えば、実機の作業機械10の回転灯(状態表示装置13bの一例)の点灯または消灯の状態と、機械状態表示部F2A3の画像における点灯または消灯の状態と、が連動する。例えば、実機の作業機械10において点灯している回転灯の色と、機械状態表示部F2A3の画像において点灯している回転灯の図形の色と、が連動する。
 ここで、実機の作業機械10の状態表示装置13bと作業者との相対位置(例えば角度など)によっては、作業者が状態表示装置13bを目視することが困難な場合がある。また、作業者から離れた位置に実機の作業機械10がある場合、作業者が状態表示装置13bを目視することが不可能または困難な場合がある。このような場合、作業者が、状態表示装置13bを目視して作業機械10の状態を区別(判断、把握)することは、不可能または困難である。一方、本実施形態では、機械状態表示部F2A3の画像が、実機の作業機械10の状態表示装置13bの表示に連動する。この場合、作業者は、実機の作業機械10の状態表示装置13bを見なくても、表示画像Gの(例えば手元の)機械状態表示部F2A3の画像を見ることで、作業機械10の状態を区別(判断、把握)できる。その結果、機械状態表示部F2A3の画像を見た作業者は、作業機械10の状態に応じて、作業機械10の周囲への注意喚起を行うことができてもよく、情報端末23の操作などの対応を行うことができてもよい。
 なお、後述する機械選択部Tに作業機械10の状態が表示されてもよい。この場合、機械選択部Tは、「機械状態表示部」でもよい。
 通信状態表示部F2A4は、情報端末23の通信状態を表示する。通信状態表示部F2A4は、情報端末23と作業機械10との通信状態を表示してもよく、情報端末23とサーバ21との通信状態を表示してもよい。通信状態は、例えば、「良好」、「不安定」、および「未接続」の各状態を含む。通信状態表示部F2A4は、通信状態を作業者が区別可能に表示する。例えば、通信状態表示部F2A4は、通信状態に応じて、アイコンの色彩および図形の少なくともいずれかを変える。
 ホーム選択部Hは、ホーム画面(例えば図3A、または図3B)を表示する際に選択される部分である。
 主表示領域Mは、表示画像Gの大部分(例えば半分以上)を占める部分である。例えば、主表示領域Mは、機械選択部Tで作業機械10が選択されている場合に、機械選択部Tで選択された作業機械10に関する情報を表示する。また、例えば、主表示領域Mは、機能選択部Bで機能が選択されている場合、機能選択部Bで選択された機能に関する情報を表示する。主表示領域Mの具体例は後述する。
 機械選択部Tは、複数の作業機械10から1台の作業機械10を、作業者に選択させるための部分である。例えば、機械選択部Tは、主表示領域Mに情報を表示させる作業機械10を作業者に選択させるための部分である。例えば、機械選択部Tは、表示画像Gの上部などに表示される。機械選択部Tは、タブのような形状(タブ形状)の図形を含んでもよい。機械選択部Tは、アイコンなどを含んでもよい(図示なし)。機械選択部Tは、文字を含んでもよい。機械選択部Tは、作業機械10を特定するための情報を表示する。例えば、機械選択部Tは、作業機械10の名称を表示してもよく、作業機械10の番号などを表示してもよい。機械選択部Tは、作業機械10ごとに表示される。さらに詳しくは、機械選択部Tは、1台の作業機械10に対して、1つのタブ形状の図形を有する。
 機械選択部Tは、上記の作業選択部Aと同様に、選択されている機械選択部Tと選択されていない機械選択部Tとを作業者が区別可能に表示される。具体的には例えば、選択されていない機械選択部Tの明度に比べ、選択されている機械選択部Tの明度が高く(明るく)表示される(ハイライトされる)。図2に示す例では、機械選択部Tは、2つ表示され、第1機械選択部T1と、第2機械選択部T2と、を備える。機械選択部Tの数は、3以上でもよい。機械選択部Tは、1つのみ表示される場合があってもよい。機械選択部Tが表示画像Gに表示されない場合があってもよい。
 (作業機械10の状態に応じた機械選択部Tの変化)
 機械選択部Tの画像は、作業機械10の状態に応じて変わる。例えば、機械選択部Tの画像は、自動運転が実行中である状態、自動運転が正常に終了した状態、および、自動運転が非常停止した状態、の少なくともいずれかに応じて変わる。機械選択部Tの画像は、上記以外の作業機械10の状態に応じて変わってもよい。機械選択部Tの画像は、作業機械10の状態を作業者が区別可能に表示される。具体的には例えば、作業機械10の状態ごとに、機械選択部Tの色彩が相違してもよい。
 (選択の有無に応じた機械選択部Tの変化)
 機械選択部Tの画像は、作業機械10の状態が変化した後、状態が変化した作業機械10に対応する機械選択部Tが選択された場合と(選択済みの場合)、選択されていない場合(未選択の場合)と、で変わる。機械選択部Tは、状態が変化した作業機械10に対応する機械選択部Tが選択されたか否かを作業者が区別可能に表示する。具体的には例えば、未選択の機械選択部Tは、点滅するように(明度が高い画像と低い画像とが交互に変わるように)表示されてもよい。選択済みの機械選択部Tは、点滅しないように表示されてもよい。さらに具体的には例えば、未選択の第2機械選択部T2に対応する作業機械10の状態が変化した(例えば自動運転が正常終了)とする。このとき、第2機械選択部T2が、状態が変化した(自動運転が正常終了した)ことを示す表示になる(例えば青色になる)とともに、未選択であることを示す表示になる(例えば点滅する)。そして、第2機械選択部T2が選択済みになると、状態が変化した(自動運転が正常終了した)ことを示す表示(例えば青色)は維持され、未選択であることを示す表示(例えば点滅)が終了し、選択済みであることを示す表示になる(例えば点滅が止まる)。
 (作業の種類に応じた機械選択部Tの表示)
 機械選択部Tの画像は、自動運転による作業の種類に応じて変わる。機械選択部Tの画像は、作業の種類を作業者が区別可能に表示される。具体的には例えば、機械選択部Tに対応する作業機械10に関連付けられた作業の種類に応じて、機械選択部Tの枠の画像(例えば枠の色)が変えられてもよい。
 (機械選択部Tの切り替え)
 選択されている機械選択部T(選択されている作業機械10)が切り換えられたときの表示画像Gの遷移の具体例は、次の通りである。例えば、第1機械選択部T1が選択され、第1機械選択部T1に対応する作業機械10に関する情報が、主表示領域Mに表示されているとする。このとき、第2機械選択部T2が選択される(この選択をαとする)。すると、第2機械選択部T2に対応する作業機械10に関する情報が、主表示領域Mに表示される。このとき、主表示領域Mに表示される内容は、上記の選択(α)よりも前に第2機械選択部T2が選択されていたときに、最後に主表示領域Mに表示されていた内容である。ただし、自動的に画面遷移する状態(通信接続中、自動運転の途中終了後に初期姿勢になるまで待機中、など)のときに、第2機械選択部T2以外の機械選択部T(第1機械選択部T1)が選択される場合が想定される。この場合、選択(α)が行われる前に、上記「自動的に画面遷移する状態」が終わった場合は、主表示領域Mに表示される内容は、画面遷移後の画面である。また、選択(α)が行われたときに、上記「自動的に画面遷移する状態」が終わっていない場合は、主表示領域Mに表示される内容は、「自動的に画面遷移する状態」(画面遷移中)の画面である。
 (その他の機械選択部Tなどの表示)
 情報端末23に接続されている作業機械10が0台の場合は、機械選択部Tは表示されなくてもよい。情報端末23に接続されている作業機械10が1台の場合は、機械選択部Tは表示されなくてもよく、表示されてもよい。情報端末23と作業機械10との接続が切断された場合、接続が切断された作業機械10に対応する機械選択部Tが消されてもよい。第1機械選択部T1が表示画像Gから消えた場合に、消える第1機械選択部T1に隣接(例えば右に隣接)していた第2機械選択部T2があった場合は、消えた第1機械選択部T1が表示されていた位置に、隣接していた第2機械選択部T2が移動してもよい。接続されている作業機械10の台数が増えた場合、機械選択部Tが追加されてもよく、例えば既に表示されている機械選択部Tに隣接(例えば右に隣接)する位置に機械選択部Tが追加されてもよい。
 (未接続タブU)
 機械選択部Tに対応する作業機械10が存在しない場合に、機械選択部Tと同様の画像(未接続タブU(図14B参照))が表示されてもよい。未接続タブUは、機械選択部T(機械選択部Tに対応する作業機械10が存在する部分)と作業者が区別可能に表示される。例えば、未接続タブUは、「未接続」の文字を含んでもよい。なお、情報端末23に接続されている作業機械10が存在する場合に、未接続タブUが表示されてもよく、表示されなくてもよい。未接続タブUが選択された場合に、作業機械10を接続する設定(図14A参照)が行われてもよい。
 機械追加部Taddは、情報端末23に接続する作業機械10が追加されるときに選択される部分である。例えば、機械追加部Taddは、機械選択部Tと連続する位置(例えば右隣りなど)に配置される。機械追加部Taddが選択された場合、新しい機械選択部Tが追加されてもよく、作業機械10を接続する設定(図14A参照)が行われてもよい。機械追加部Taddは、情報端末23に接続する作業機械10を追加可能な状態のときに表示され(またはアクティブとされ)、追加不可能な状態のときに表示されなくても(または非アクティブとされても)よい。具体的には例えば、機械追加部Taddは、情報端末23に接続可能な作業機械10の台数に制限がある場合に、接続済みの作業機械10の台数が、制限台数に達していない場合に表示され、制限台数に達している場合に表示されなくてもよい。
 以下では、図3A~図14Dを参照して、表示画像Gの各部分(要素)のうち、主に図2を参照して説明した部分とは異なる部分、および、表示画像Gの遷移の具体例を説明する。なお、各画面の遷移、各画面が表示される条件などは、様々に変更可能である。
 図3Aは、ホーム画面を示す図である。ホーム画面は、ホーム選択部Hが選択されたときに表示される。ホーム画面は、積込作業選択部F3A1と、リフティングマグネット作業選択部F3A2と、を備える。積込作業選択部F3A1およびリフティングマグネット作業選択部F3A2のそれぞれは、主表示領域Mに表示され、例えばアイコンである。ホーム画面では、機能選択部B(図2参照)は表示されない。図3Aに示す例では、機械選択部T(図2参照)は表示されない。
 図3Bは、接続済みの作業機械10が複数ある場合のホーム画面を示す図である。このホーム画面は、積込作業選択部F3B1と、リフティングマグネット作業選択部F3B2と、台数表示部F3B3と、を備える。
 作業選択部A(積込作業選択部F3B1およびリフティングマグネット作業選択部F3B2)の画像は、作業の種類ごとの接続済みの作業機械10の数に応じて、作業の種類ごとに変わる。例えば、作業選択部Aの画像は、作業の種類ごとの接続済み作業機械10の有無(0台か否か)を作業者が区別可能に変わる。具体的には例えば、リフティングマグネット作業選択部F3B2の明度は、リフティングマグネット作業に関連付けられた接続済みの作業機械10の台数が0よりも多い場合に比べ、0である場合に低い(暗い、グレーアウトする)。台数表示部F3B3は、作業の種類ごとの接続済みの作業機械10の台数を示す部分である。例えば、台数表示部F3B3は、積込作業選択部F3B1の画像(例えばアイコン)の一部(例えば右上部分)と重なる位置に配置される。なお、主表示領域Mに表示される作業選択部A(積込作業選択部F3B1、リフティングマグネット作業選択部F3B2)と同様に、表示画像Gの左側部分(アプリ選択領域)の作業選択部Aも、接続済みの作業機械10の数に応じて変わってもよい。情報端末23に接続可能な作業機械10の台数に制限がある場合に、作業選択部Aの画像は、接続済みの作業機械10の台数が制限台数に達しているか否かに応じて変わってもよい(上記の機械追加部Taddと同様)。なお、全機停止選択部F3B4については後述する。
 以下では、主に、情報端末23が、積込作業を行う作業機械10と接続されている場合について説明する。
 (教示機能)
 図4Aは、教示トップ画面(ティーチングトップ画面)を示す図である。教示トップ画面は、教示機能選択部B1が選択された場合に表示(例えば最初に表示)される画面である。教示トップ画面は、新規教示選択部F4A1と、教示済み動作選択部F4A2と、現在の状況の表示部F4A3と、機械図形表示部F4A4と、を備える。新規教示選択部F4A1は、新規に教示が行われる場合に、作業者に選択される。教示済み動作選択部F4A2は、自動運転情報処理装置20に予め設定された教示データ(例えば、過去に教示された教示データ)に基づいて作業機械10に自動運転を行わせる場合に選択される。現在の状況の表示部F4A3は、作業機械10の状態が監視されていることを表示する。機械図形表示部F4A4は、作業機械10を表す図形を含む。機械図形表示部F4A4に表示される作業機械10を表す画像は、三次元画像(図9A参照)でも二次元画像でもよく、作業機械10が1つのみ表示されても、複数表示(図5A参照)されてもよい。機械図形表示部F4A4の表示態様は、変更可能(例えば操作に応じて変更可能)でもよい。例えば、機械図形表示部F4A4に表示される作業機械10を見る角度(視点)が、変更可能でもよい(図5Bの回転可能表示部F5B2aを参照)。例えば、機械図形表示部F4A4に表示される作業機械10が、拡大および縮小可能でもよい。機械図形表示部F4A4は、作業機械10が作業を行う作業現場の図形(図9A参照)を含んでもよい。この作業現場の図形は、作業機械10の図形と同様に、三次元画像でも二次元画像でもよい。
 図4Bは、教示前画面を示す図である。教示前画面は、教示が行われる前に表示される画面である。教示前画面は、教示トップ画面(図4A)で新規教示選択部F4A1が選択された場合に表示される画面である。教示前画面は、現在の状況の表示部F4B1と、教示開始選択部F4B2と、キャンセル選択部F4B3と、を備える。現在の状況の表示部F4B1は、教示に関する状態を表示し、教示前であることを表示する。教示開始選択部F4B2は、新規の教示が開始される場合に選択される部分である。キャンセル選択部F4B3は、新規の教示がキャンセルされる(開始しない)場合に選択される部分である。
 図4Cは、教示中に表示される教示中画面を示す図である。教示中画面は、現在の状況の表示部F4C1と、教示終了選択部F4C2と、キャンセル選択部F4C3と、機械図形表示部F4C4と、を備える。現在の状況の表示部F4C1は、教示中であることを表示する。教示終了選択部F4C2は、教示が終了される場合に選択される部分である。教示終了選択部F4C2が選択された場合、教示により得られた教示データが、自動運転情報処理装置20に設定(記憶、保存)される。キャンセル選択部F4C3は、教示がキャンセルされる(取り消される)場合に選択される部分(キャンセルボタン)である。例えば、キャンセル選択部F4C3は、作業機械10が操作されたが、操作によって得られたデータを、教示データとして用いないときに選択される。機械図形表示部F4C4は、作業機械10の図形を含む(図4Aの機械図形表示部F4A4と同様)。機械図形表示部F4C4に表示された作業機械10の図形は、教示中の作業機械10の動き(旋回、アタッチメント15の移動など)に応じて変化する。機械図形表示部F4C4は、教示中のアタッチメント15の特定部位の軌跡(経路)を表す図形(例えば曲線)を含んでもよい(図5A参照)。この場合、アタッチメント15の特定部位の軌跡を表す図形は、作業機械10を表す図形に重畳して表示される。
 (軌跡確認機能)
 図5Aは、軌跡確認画面(経路確認画面、ティーチング軌跡確認画面)を示す図である。軌跡確認画面は、教示された軌跡(経路)を作業者に確認させるための画面である。軌跡確認画面は、教示が行われた後に表示される。軌跡確認画面は、軌跡確認機能選択部B3が選択されたときに表示される。軌跡確認画面は、現在の状況の表示部F5A1と、軌跡表示部F5A2と、機械図形表示部F5A3と、教示完了選択部F5A4と、軌跡変更選択部F5A5と、再教示選択部F5A6と、を備える。現在の状況の表示部F5A1は、教示済みであることを表示する。軌跡表示部F5A2は、教示された軌跡を示す図形を表示する。軌跡表示部F5A2は、作業機械10を表す図形を含む機械図形表示部F5A3に重畳して、軌跡を示す図形を表示する。軌跡表示部F5A2の軌跡を示す図形は、複数の点でもよく、線でもよい。教示完了選択部F5A4は、教示を完了する場合に選択される。教示完了選択部F5A4が選択された場合、教示された軌跡が教示データとして設定される。軌跡変更選択部F5A5は、教示した軌跡を作業者が変更する場合に選択される部分である。再教示選択部F5A6は、作業者が教示を再度行う場合に選択される部分である。
 図5Bは、軌跡変更画面(経路変更画面)を示す図である。軌跡変更画面は、軌跡が変更される際に表示される画面である。軌跡変更画面は、軌跡変更選択部F5A5(図5A参照)が選択されたときに表示される画面である。軌跡変更画面は、現在の状況の表示部F5B1と、軌跡表示部F5B2と、軌跡変更部F5B4と、移動方向選択部F5B6と、軌跡変更選択部F5B7と、リセット選択部F5B8と、キャンセル選択部F5B9と、を備える。現在の状況の表示部F5B1は、軌跡を変更する状態(画面)であることを表示する。
 軌跡は様々な方法により変更されてもよい。ここでは、軌跡の変更方法の一例を説明する。軌跡表示部F5B2は、図5Aに示す軌跡表示部F5A2と同様に、軌跡を表示する。軌跡表示部F5B2は、作業機械10を水平方向(例えば真横)から見る視点、および、真上から見る視点の少なくともいずれかの視点により表示される。この場合、作業者は、作業機械10と軌跡との位置関係を把握しやすい。また、作業者が軌跡を変更する際に、どの方向に変更すべきかを作業者に把握させやすい。図5Bに示す軌跡変更部F5B4は、軌跡の一部であって変更の対象となる部分である。例えば、軌跡変更部F5B4は、軌跡を構成する1点でもよく、軌跡を構成する一部の領域でもよい。軌跡変更部F5B4が選択されると、軌跡変更部F5B4が表示画像Gにおいて移動可能(操作可能)となる。移動方向選択部F5B6は、軌跡変更部F5B4を移動させるための部分である。移動方向選択部F5B6は、複数方向(例えば4方向(上下前後など))に軌跡変更部F5B4を操作可能である。移動方向選択部F5B6は、図形(例えば矢印など)を含んでもよい。移動方向選択部F5B6は、軌跡変更部F5B4が選択されたときに選択可能(アクティブ)になり、軌跡変更部F5B4が選択されていないときに選択不可能(非アクティブ)または非表示になってもよい。なお、軌跡変更部F5B4は、移動方向選択部F5B6の操作とは異なる操作により表示画像Gにおいて移動可能でもよい。例えば、軌跡変更部F5B4は、タッチパネルをタップした状態でドラッグする操作、または、マウスカーソルをドラッグする操作などによって表示画像Gにおいて移動可能でもよい。
 軌跡変更選択部F5B7は、軌跡の変更が確定(決定)されるときに選択される。軌跡変更選択部F5B7が選択された場合、表示画像Gは、軌跡確認画面(図5A参照)に戻る。軌跡の変更が確定した場合、変更後の軌跡が、作業機械10の自動運転に使用される教示データとして情報端末23に(自動運転情報処理装置20に)設定される。リセット選択部F5B8は、変更前の軌跡に戻されるときに選択される。例えば、軌跡の複数の部分(例えば複数点)が変更された場合は、リセット選択部F5B8が選択されたときに、変更されたすべての部分が変更前の位置に戻ってもよい。例えば、リセット選択部F5B8が選択されたときに、変更された部分(例えば複数点)のうち一部(例えば1点)のみが変更前の位置に戻ってもよい。具体的には例えば、変更された部分(例えば複数点)のうち最後に変更された部分から順に、変更された部分が、変更前の位置に戻ってもよい。キャンセル選択部F5B9は、軌跡の変更が取り消される場合に選択される。キャンセル選択部F5B9が選択された場合は、表示画像Gは、軌跡確認画面(図5A参照)に戻る。
 (目標範囲調整機能)
 図6は、目標範囲設定画面を示す図である。目標範囲設定画面は、目標範囲TAを設定するための画面である。図6に示す例では、目標範囲設定画面は、捕捉した作業対象物を解放する位置の範囲(目標解放範囲TA3)を設定するための画面である解放範囲設定画面(排土位置調整画面)である。例えば、解放範囲設定画面は、掘削された土を車両に積み込む位置(排土位置)を設定するための画面である。解放範囲設定画面は、解放範囲機能選択部B4(排土位置調整機能選択部)が選択されたときに表示される。解放範囲の「設定」は、予め設定された解放範囲の調整(補正)でもよく、新たな解放範囲の設定でもよい。例えば、教示が行われ、さらに解放範囲が設定されてもよい。また、例えば、教示が行われず、解放範囲が設定されてもよい。解放範囲設定画面は、解放範囲設定方法表示部F6A1と、設定情報表示部F6A2と、登録選択部F6A5、F6A6と、相対位置表示部F6A7と、設定完了選択部F6A8と、を備える。
 解放範囲設定方法表示部F6A1は、解放範囲(排土予定エリア)の設定方法を表示する。解放範囲設定方法表示部F6A1は、解放範囲のうちどの位置を指定するかを表示する。解放範囲設定方法表示部F6A1は、指定位置F6A1a、F6A1bの指定を、どのように行うべきかを表示する(具体例は後述)。設定情報表示部F6A2は、設定された指定位置F6A1a、F6A1bに関する情報を表示する。設定情報表示部F6A2は、指定位置F6A1a、F6A1bの座標を表示してもよく、下部走行体11に対する上部旋回体13の旋回角度を表示してもよい。設定情報表示部F6A2は、複数の指定位置F6A1a、F6A1bのそれぞれの情報を表示する。登録選択部F6A5、F6A6は、指定位置を登録するための所定状態、具体的には例えば、アタッチメント15の特定部位が指定位置F6A1a、F6A1bに配置された状態で選択される。例えば、登録選択部F6A5、F6A6が選択されたときの、アタッチメント15の特定部位の位置が、指定位置F6A1a、F6A1bの位置として、情報端末23に登録(設定)される。登録選択部F6A5、F6A6は、複数の指定位置F6A1a、F6A1bごとに表示される。
 解放範囲(排土予定エリア)の設定方法の具体例は、次の通りである。この例では、解放範囲は、上から見て四角形(例えば長方形)である。解放範囲のうち、作業機械10から見て手前側の2つの角の指定位置F6A1a、F6A1bの位置が指定されることで、解放範囲が設定される。なお、解放範囲の3点以上(例えば4点など)の指定位置が指定されることで解放範囲が設定されてもよい。この例では、指定位置F6A1a、指定位置F6A1bの順に、指定位置が登録される。指定位置F6A1aの登録時には、解放範囲設定方法表示部F6A1は、アタッチメント15の特定部位(図6ではバケットの刃先)を指定位置F6A1aに合わせることを表示する。作業者は、作業機械10を操作し、アタッチメント15の特定部位を指定位置F6A1aに合わせる。この状態で、指定位置F6A1aの登録選択部F6A5が選択される。すると、指定位置F6A1aの位置が登録され、指定位置F6A1aの情報が設定情報表示部F6A2に表示され、指定位置F6A1aの登録選択部F6A5が、非アクティブになる。そして、次の指定位置F6A1bの登録選択部F6A6が、アクティブになる。次に、指定位置F6A1aの登録時と同様に、指定位置F6A1bの登録が行われる。このとき、解放範囲設定方法表示部F6A1は、バケット刃先を指定位置F6A1bに合わせることを表示する。
 相対位置表示部F6A7は、解放範囲(排土予定エリア)と作業機械10との相対位置を示す図形を表示する。設定完了選択部F6A8は、解放範囲の設定が完了されるときに選択される。例えば、設定完了選択部F6A8は、複数の指定位置F6A1a、F6A1bのすべての情報が設定されたときにアクティブになり、それまでは非アクティブである。
 なお、解放範囲と同様に、作業機械10が作業対象物を捕捉する捕捉範囲(目標捕捉範囲TA1(図10D参照)、例えば掘削予定エリア)が設定されてもよい。機能選択部Bは、捕捉範囲を設定する機能を選択する部分(捕捉位置機能選択部)(図示なし)を備えてもよい。
 (自動運転の準備)
 自動運転で用いられる作業計画(例えば教示データ)が確定すると、作業機械10の運転モードを自動運転モード(作業機械10が自動運転するモード)に変更するための準備が行われる。作業機械10の運転モードは、例えば作業機械10のコントローラに設定される。作業機械10の運転モードは、例えば、作業者が作業機械10に搭乗して作業機械10を操作するモード(搭乗操作モード)を含んでもよい。作業機械10の運転モードは、作業者が作業機械10を遠隔操作するモード(遠隔操作モード)を含んでもよい。
 自動運転モードが開始される条件(自動運転モード開始条件)は、様々に設定可能である。例えば、自動運転モード開始条件は、作業機械10が初期姿勢にされる、エンジンがオフ、キーがオフ、遠隔操作されていた場合は遠隔操作の接続が切られる、および、非常停止スイッチの電源が入れられる、の少なくともいずれかを含む。ここでは、自動運転モード開始条件が、上記のすべての条件を含む場合について説明する。
 自動運転モード開始条件は、作業機械10が初期姿勢にされることを含む。作業機械10は、作業者の操作(搭乗操作または遠隔操作)により初期姿勢になってもよく、自動的に初期姿勢になってもよい。ここでは、作業機械10が作業者の操作により初期姿勢にされる場合について説明する。
 図7Aは、初期姿勢準備画面を示す図である。初期姿勢準備画面は、作業機械10が初期姿勢にされる際に表示される画面である。初期姿勢準備画面は、例えば作業計画(例えば教示データ)が確定した後に表示される。初期姿勢準備画面は、通知部F7A1と、初期姿勢表示部F7A2と、初期姿勢準備完了通知部F7A3と、初期姿勢確認選択部F7A4と、を備える。通知部F7A1は、作業機械10を初期姿勢にすべきであることを作業者に通知する部分である。通知部F7A1は、「初期姿勢」が初期姿勢表示部F7A2に表示した姿勢であることを作業者に通知する。初期姿勢表示部F7A2は、初期姿勢がどのような姿勢であるかを作業者に通知する部分である。初期姿勢表示部F7A2は、例えば、初期姿勢を図形により通知する。図示した例では、初期姿勢は、ブーム15aが地面に対して約45度上げられた状態、ブーム15aからアーム15bが略鉛直に下げられた状態、先端アタッチメント15c(バケット)の開口部が略水平とされた状態である。さらに、初期姿勢は、先端アタッチメント15cが、作業対象物を捕捉する範囲(掘削予定エリア)の真上に配置された状態である。初期姿勢準備完了通知部F7A3は、作業機械10が初期姿勢になったか否かを作業者が区別可能に表示される。例えば、初期姿勢準備完了通知部F7A3は、アイコンを含んでもよく、作業機械10が初期姿勢になったか否かに応じてアイコンの色が変わってもよい。初期姿勢準備完了通知部F7A3は、「OK」「NG」などの文字を含んでもよい。初期姿勢確認選択部F7A4は、作業機械10が初期姿勢になったときに選択される部分(OKボタン)である。初期姿勢確認選択部F7A4は、作業機械10が初期姿勢になっていないときは非アクティブであり、作業機械10が初期姿勢になったときにアクティブになってもよい。
 図7Bは、作業機械状態準備画面を示す図である。作業機械状態準備画面は、初期姿勢確認選択部F7A4(図7A参照)が選択されたときに表示される画面である。作業機械状態準備画面は、例えば作業計画(教示データ)が確定した後に表示される。作業機械状態準備画面は、条件通知部F7B1と、条件確認選択部F7B2と、を備える。条件通知部F7B1は、作業機械10が初期姿勢にされること以外の、自動運転モード開始条件を通知(表示)する。条件通知部F7B1は、エンジンをオフ(駆動していない状態)にすることを通知する。条件通知部F7B1は、作業機械10から作業者が十分離れる必要があることを通知する。条件通知部F7B1は、キーをオフ(電源がオフの状態)にすることを通知する。条件通知部F7B1は、作業機械10が遠隔操作可能な状態である場合(例えば遠隔操作により教示を行った場合など)に、遠隔操作を行う装置と作業機械10との接続を切ることを通知する。条件通知部F7B1は、非常停止スイッチ(図示なし)の電源を入れることを通知する。非常停止スイッチは、作業機械10の周囲の作業者に所持され、作業機械10を非常停止させるためのスイッチである。条件確認選択部F7B2は、条件通知部F7B1に表示された条件が満たされた状態で選択される部分(OKボタン)である。条件確認選択部F7B2は、自動運転モード開始条件が満たされない場合に非アクティブになり、自動運転モード開始条件が満たされた場合にアクティブになってもよい。
 図7Cは、自動運転モード開始通知画面を示す図である。自動運転モード開始通知画面は、自動運転モードが開始されるときに表示される画面である。自動運転モード開始通知画面は、条件通知部F7B1(図7B参照)が選択されたときに表示される画面である。自動運転モード開始通知画面は、開始通知部F7C1と、開始確認選択部F7C2と、を備える。開始通知部F7C1は、自動運転モードを開始することを通知する部分である。開始確認選択部F7C2は、自動運転モードを開始することが確認されたときに選択される部分(OKボタン)である。
 開始通知部F7C1のように、作業者が確認操作(OKボタンを押すなど)をしなければ処理が進まないような通知部が、自動運転モードの開始時以外の様々なタイミングで表示画像Gに表示されてもよい。このような通知部は、例えば、教示の開始、終了、軌跡の変更の開始、終了、ならびに、後述する様々な処理の開始、および終了のときに表示されてもよい。通知部での確認操作は、具体的には例えば、OKボタンを押す操作(選択部を選択する操作)でもよく、チェックボックスにチェックを入れた状態でOKボタンを押す操作などでもよい。
 (初期設定)
 図8は、自動運転初期設定画面を示す図である。自動運転初期設定画面は、自動運転に関する初期設定を行うための画面である。例えば、自動運転初期設定画面は、作業機械10の運転モードが自動運転モードに切り換わった後に(例えば最初に)表示される。例えば、自動運転初期設定画面は、積込機能選択部B2が選択されたときに(例えば最初に)表示される。自動運転初期設定画面は、動作設定部F8A1と、初期設定完了選択部F8A2と、を備える。動作設定部F8A1は、自動運転の設定を作業者に行わせるための部分である。動作設定部F8A1は、作業回数設定部C1と、目標作業量設定部C2と、作動速度設定部SSと、を備える。初期設定完了選択部F8A2は、自動運転の初期設定が完了されるときに選択される部分(OKボタン)である。
 作業回数設定部C1は、自動運転による作業を行う回数(作業回数、自動運転を何サイクル行うか)を作業者に設定させる部分である。上記のように、「設定」は、「選択」と同様に、作業者が入力部23iを操作することによる設定である。「設定」は、「選択」の具体例と同様に行われてもよく、数値入力による設定などでもよい。作業回数設定部C1は、作業回数を表示する部分(設定値表示部)を備える。作業回数設定部C1は、作業回数の数値を入力可能な部分(入力ボックス)を備えてもよい。この入力ボックスは、設定値表示部と兼用されてもよい(目標作業量設定部C2も同様)。作業回数設定部C1は、作業回数を増やす選択部(+ボタン)と、作業回数を減らす選択部(-ボタン)と、を備える。
 目標作業量設定部C2は、作業機械10が、捕捉した作業対象物を移動させ解放する作業において、解放する作業対象物の量(目標作業量)を作業者に設定させる部分である。例えば、目標作業量は、作業対象物の質量でもよく、体積でもよい。目標作業量は、例えば、積込作業において車両に積み込む土量などである。目標作業量設定部C2は、目標作業量を表示する部分(設定値表示部)を備える。目標作業量設定部C2は、目標作業量の数値を入力可能な部分(入力ボックス)を備えてもよい。目標作業量設定部C2は、目標作業量を増やす選択部(+ボタン)と、目標作業量を減らす選択部(-ボタン)と、を備える。
 作動速度設定部SSは、自動運転での作動速度を、作業者に設定させる部分である。作動速度設定部SSは、複数段階の作動速度から、自動運転での作動速度を設定可能に表示される。上記「複数段階の作動速度」は、教示データにおける作業機械10の作動速度(ティーチング時の作動速度)を含む。上記「複数段階」は、図8に示す例では3段階(高速、中速、低速)であり、2段階でもよく、4段階以上でもよい。
 作動速度設定部SSで設定可能な複数段階の作動速度のうち、最も速い段階の作動速度(第3速度設定部SS3)は、教示データにおける作業機械10の作動速度であることが好ましい。この場合、自動運転での作動速度が、教示された作動速度よりも速くなることはない。よって、自動運転での作動速度が、教示した作業者の意図した速度以下になり、教示を見た作業者が想定した速度以下になる。
 作動速度設定部SSで設定可能な複数段階の作動速度のうち、最も速い段階の作動速度(第3速度設定部SS3)は、教示データにおける作業機械10の作動速度よりも速くてもよい。この場合、作業機械10の自動運転による作業の作業効率を向上させることができる。例えば、教示の際には遅い作動速度で確実に作業機械10の操作が行われ、自動運転では教示よりも速い作動速度で効率良く作業機械10を作動させることができる。
 作動速度設定部SSは、自動運転の作動速度を次のように設定可能である。作動速度設定部SSは、自動運転の作動速度を、複数段階から選択可能な、複数の選択部を備えてもよい。図8に示す例では、作動速度設定部SSは、第1速度設定部SS1(低速)と、第2速度設定部SS2(中速)と、第3速度設定部SS3(高速)と、を備える。作動速度設定部SSは、自動運転の作動速度を、数値入力により設定可能でもよい(図示なし、作業回数設定部C1、および目標作業量設定部C2と同様)。作動速度設定部SSは、教示データにおける作動速度に対する、自動運転の作動速度の割合(比率)を設定可能でもよい。作動速度設定部SSは、複数段階の作動速度のうち最も速い段階の作動速度(教示データにおける作動速度以上の作動速度)に対する、自動運転での速度の割合(比率)を設定可能でもよい。
 作動速度設定部SSは、作業フェーズPごとに作動速度を設定可能でもよい。さらに詳しくは、1サイクルの自動運転に複数の作業フェーズPがある場合、作動速度設定部SSは、作業フェーズPごとに表示される。図8に示す例では、1サイクルの自動運転は、4つの作業フェーズPを備える。具体的には例えば、作業フェーズPは、捕捉フェーズP1(掘削フェーズ)と、持上旋回フェーズP2(排土旋回フェーズ)と、解放フェーズP3(排土フェーズ)と、復帰旋回フェーズP4と、を備える。そして、4つの作業フェーズPそれぞれについて、第1速度設定部SS1、第2速度設定部SS2、および第3速度設定部SS3が表示される。
 複数の作業フェーズPのそれぞれの、複数段階の作動速度のすべての段階が表示画像Gに表示された状態(図8に示すような状態)を、第1速度表示状態SP1とする。
 作動速度設定部SSにより作動速度が設定された後、制御部23cは、作動速度設定部SSで設定された作動速度で自動運転を行うように、作業機械10に指令する。制御部23cは、作動速度設定部SSで作業フェーズPごとに設定された作動速度で自動操縦を行うように作業機械10に指令する。
 (自動運転開始前の設定)
 図9Aは、自動運転開始前画面を示す図である。自動運転開始前画面は、自動運転の初期設定(図8参照)が完了した後に表示される画面である。自動運転開始前画面は、初期設定完了選択部F8A2(図8参照)が選択されたときに表示される。自動運転開始前画面は、自動運転の開始がキャンセルされた場合(図9Dのキャンセル選択部F9D3が選択された場合)に表示されてもよく、設定変更(図9B、および図9C参照)が完了した場合に表示されてもよい。自動運転開始前画面は、現在の状況の表示部F9A1と、作業回数表示部F9A2と、目標作業量表示部F9A3と、作動速度表示部F9A4と、を備える。
 現在の状況の表示部F9A1は、自動運転を開始するための準備を行っている状態であることを表示する。作業回数表示部F9A2は、設定された作業回数が表示される部分である。この「設定された作業回数」は、初期設定(図8参照)で設定された作業回数である。ただし、初期設定で設定された作業回数が変更(図9C参照)された場合は、「設定された作業回数」は、変更後の作業回数である。目標作業量表示部F9A3は、設定された目標作業量(目標土量)が表示される部分である。この「設定された目標作業量」は、初期設定(図8参照)で設定された作業回数である。ただし、初期設定で設定された目標作業量が変更された場合は、「設定された目標作業量」は、変更後の目標作業量である。
 作動速度表示部F9A4は、設定された作動速度を表示する。この「設定された作動速度」は、初期設定(図8)で設定された、自動運転での作動速度である。ただし、初期設定で設定された、自動運転での作動速度が変更(図9B参照)された場合は、変更後の作動速度である。作動速度表示部F9A4は、作業フェーズPごとに作動速度を表示する。以下では、特に断らない限り、自動運転での作動速度を、単に「作動速度」ともいう。
 図9Bは、作動速度変更画面を示す図である。作動速度変更画面は、設定された作動速度が変更されるときに表示される画面である。作動速度の変更は、作業フェーズPごとに行われてもよく、サイクル全体で(複数の作業フェーズPで一括して)行われてもよい。以下では、作業フェーズPごとに作動速度が変更される場合について説明する。作動速度変更画面は、作動速度設定部F9BSSと、作動速度表示部F9B2と、を備える。作動速度設定部F9BSSは、選択された作業フェーズPについて、複数段階の作動速度(の候補)から、自動運転での作動速度を設定可能(変更可能)に表示される。一方、選択されていない作業フェーズPについては、作動速度表示部F9B2に、設定された作動速度が表示される(図9Aの作動速度表示部F9A4と同様)。
 作動速度設定部F9BSSの操作および画像の具体例を説明する。図9Aに示す作動速度表示部F9A4から、変更対象の作業フェーズP(例えば捕捉フェーズP1)が選択される。このとき、選択された作業フェーズP(捕捉フェーズP1)の作動速度表示部F9A4から、図9Bに示すように、選択された作業フェーズPの作動速度設定部F9BSSが引き出される(例えば右に引き出される)ような画像が表示される。例えば、作動速度が3段階に設定(選択)可能である場合は、選択された作業フェーズP(捕捉フェーズP1)について、第1速度設定部F9BSS1(低速)と、第2速度設定部F9BSS2(中速)と、第3速度設定部F9BSS3(高速)と、が表示される。作動速度設定部F9BSSで作動速度が設定された場合、作動速度設定部F9BSSの表示が終了し(閉じ)、図9Aに示す作動速度表示部F9A4が表示される(表示が戻る)。
 図9Bに示すように、選択されている作業フェーズP(例えば捕捉フェーズP1)の作動速度設定部F9BSSが表示されている(開いている)時に、選択されていなかった作業フェーズPの作動速度表示部F9B2が選択される場合が想定される。この場合、選択されていた作業フェーズP(捕捉フェーズP1)について、作動速度設定部F9BSSが非表示となり(閉じられ)、作動速度表示部F9A4(図9A参照)が表示される(表示が戻る)。一方、新たに選択された作業フェーズPについて、作動速度表示部F9B2の表示が、作動速度設定部F9BSSの表示に変わる(開く)。
 図9Aおよび図9Bに示すように、複数の作業フェーズPの少なくとも一部の作業フェーズPで、作動速度設定部SS(図8、図9B参照)で設定された段階のみの作動速度が表示される状態を、第2速度表示状態SP2とする。さらに詳しくは、図9Aに示す例では、作動速度表示部F9A4は、複数の作業フェーズPのすべての作業フェーズPで、作動速度設定部SSで設定された段階のみの作動速度を表示する。図9Bに示す例では、作動速度表示部F9B2は、複数の作業フェーズPの一部の作業フェーズP(捕捉フェーズP1以外)で、作動速度設定部SSで設定された段階のみの作動速度を表示する。なお、第2速度表示状態SP2の状態になった後に、第1速度表示状態SP1の状態に表示画像Gを遷移させる(初期設定に戻る)ことが可能でもよい。
 図9Cは、作業回数変更画面を示す図である。作業回数変更画面は、設定された作業回数が変更されるときに表示される画面である。作業回数変更画面は、作業回数変更部F9C1と、目標作業量表示部F9C2と、を備える。作業回数変更部F9C1は、図9Aに示す作業回数表示部F9A2が選択されたときに表示される。例えば、作業回数表示部F9A2が選択されたとき、作業回数表示部F9A2から、図9Cに示す作業回数変更部F9C1が引き出される(例えば下に引き出される)ような画像が表示される。作業回数変更部F9C1は、作業回数を変更可能に表示される。例えば、作業回数変更部F9C1は、作業回数を増やす選択部(+ボタン)と、作業回数を減らす選択部(-ボタン)と、を備えてもよく、変更後の作業回数を数値入力可能な部分を備えてもよい。作業回数変更部F9C1は、作業回数の変更を決定するための決定選択部(OKボタン)を備える。この決定選択部が選択されると、作業回数変更部F9C1が非表示となり(閉じ)、作業回数表示部F9A2(図9A参照)が表示される(表示が戻る)。作業回数変更部F9C1が表示されているときに、表示画像Gの他の部分(例えば、目標作業量表示部F9C2など)が選択された場合も同様に、作業回数変更部F9CT1が非表示となり、作業回数表示部F9A2(図9A参照)が表示される(表示が戻る)。
 作業回数変更部F9C1による作業回数の変更と同様に、目標作業量が変更可能でもよい。例えば、目標作業量表示部F9C2が選択されたときに、目標作業量を変更する部分(目標作業量変更部)が表示されてもよい。
 作動速度、作業回数、および目標作業量の変更は、作業機械10が自動運転していないときに(例えば自動運転の準備中に)のみ可能でもよい。作動速度、作業回数、および目標作業量の変更は、作業機械10が自動運転しているときに(自動運転と同時に)行うことが可能でもよい。
 図9Cに示す画面は、初期姿勢準備完了通知部F9C3と、キー状態選択部F9C4と、エンジン状態選択部F9C5と、レバーロック状態選択部F9C6と、作業開始選択部F9C7と、を備える。初期姿勢準備完了通知部F9C3は、作業機械10が初期姿勢であるか否かを作業者が区別可能に表示する(図7Aの初期姿勢準備完了通知部F7A3と同様)。なお、作業機械10の姿勢は、自動運転モードにするときに初期姿勢になっていることが想定される。作業者は、作業機械10が初期姿勢を維持していることを初期姿勢準備完了通知部F9C3で確認できる。キー状態選択部F9C4は、キーの状態をオンとオフとに切り替えるときに選択される部分である。キー状態選択部F9C4は、キーの状態を表示する部分(キー状態表示部)でもある。エンジン状態選択部F9C5は、エンジンの状態を、オン(RUN)(駆動している状態)と、オフ(停止している状態)と、に切り替えるときに選択される部分である。エンジン状態選択部F9C5は、エンジンの状態を表示する部分(エンジン状態表示部)でもある。レバーロック状態選択部F9C6は、レバーロックの状態を、ロック状態(作業機械10が作動できない状態)と解除状態(作業機械10が作動可能な状態)とに切り替えるときに選択される。レバーロック状態選択部F9C6は、レバーロックの状態を表示する部分(レバーロック状態表示部)でもある。
 自動運転が開始される条件(自動運転開始条件)は、様々に設定可能である。例えば、自動運転開始条件は、作業機械10の運転モードが自動運転モードである、作業機械10が初期姿勢である、キーがオンである、エンジンがオンである、および、レバーロックが解除状態である、の少なくともいずれかを含む。図9Cに示す例では、キーがオフ、エンジンがオフ、レバーロックがロック状態であり、自動運転開始条件が満たされていない状態である。そのため、自動運転開始条件を満たすように、情報端末23が作業者に操作される。具体的には例えば、キー状態選択部F9C4が選択され、キーがオフからオンに変えられる。エンジン状態選択部F9C5が選択され、エンジンがオフからオン(RUN)に変えられる。レバーロック状態選択部F9C6が選択され、レバーロックがロック状態から解除状態に変えられる。キー状態選択部F9C4、エンジン状態選択部F9C5、レバーロック状態選択部F9C6の少なくともいずれかの操作時に、確認画面(図7Cと同様)が表示されてもよい。例えば、エンジンがオフからオンに変わるときに、エンジンをかけることが通知されるなど、作業機械10の状態が変化することが通知されてもよい。また、作業機械10の周囲に人がいないことを確認すべきであることが通知されてもよい。
 キーの状態とエンジンの状態との関係は、様々に設定可能である。例えば、エンジンがオンになる条件は、キーがオンであることを含んでもよい。キーがオンになると自動的にエンジンがオンになってもよい。エンジンがオンからオフに切り替わるときに、キーもオフになってもよく、キーはオンのままでもよい。
 作業開始選択部F9C7は、自動運転が開始されるときに選択される部分である。例えば、作業開始選択部F9C7は、自動運転開始条件が満たされるとアクティブになり、自動運転開始条件が満たされていないときは非アクティブでもよい。
 図9Dは、自動運転開始前確認画面を示す図である。自動運転開始前確認画面は、自動運転が開始される前(例えば直前)に表示される画面である。自動運転開始前確認画面は、作業開始選択部F9C7(図9C参照)が選択された場合に表示される画面である。自動運転開始前確認画面は、自動運転開始通知部F9D1と、開始選択部F9D2と、キャンセル選択部F9D3とを備える。自動運転開始通知部F9D1は、自動運転を開始することを通知(表示)する部分である。開始選択部F9D2は、自動運転が開始されるときに選択される部分(OKボタン)である。キャンセル選択部F9D3は、自動運転を開始させないときに選択される部分(キャンセルボタン)である。
 (自動運転中)
 図10Aは、自動運転中画面(第一画面、自動運転中詳細画面)を示す図である。自動運転中画面は、自動運転中に表示される。自動運転中画面は、作業機械10が待機している時(待機中)に表示されてもよい。自動運転中画面は、作業機械10が非常停止した時(非常停止中)に表示されてもよい。自動運転中画面は、現在の状況の表示部F10A1と、作業残り回数表示部F10A2と、目標作業量表示部F10A3aと、現作業量表示部F10A3bと、を備える。自動運転中画面は、機械情報表示部F10A4と、視点変更選択部F10A5と、シンプル画面選択部F10A6と、警笛操作部F10A7と、途中終了選択部F10A8と、を備える。現在の状況の表示部F10A1は、作業機械10が自動運転により作業中であることを表示する。作業残り回数表示部F10A2は、自動運転による作業の残り回数を表示する部分である。この「作業の残り回数」は、設定された作業回数(サイクル数)から、完了した作業回数を引いた回数である。なお、作業残り時間表示部F11A2(図11参照)が表示されてもよい。目標作業量表示部F10A3aは、図9Aに示す目標作業量表示部F9A3と同様である。現作業量表示部F10A3bは、作業済みの作業対象物の量(作業済み作業量)(例えば積込済みの土量)に関する表示を行う部分である。現作業量表示部F10A3bは、作業済み作業量を表示してもよく、作業済み作業量に応じた内容を表示してもよい。現作業量表示部F10A3bは、目標作業量に対する、作業済み作業量の割合(比率)を表示してもよい。
 機械情報表示部F10A4は、作業機械10に関する情報を表示する部分である。例えば、機械情報表示部F10A4は、作業機械10に搭載されたセンサ、または、作業機械10の外部に配置されたセンサにより検出された情報を表示する。機械情報表示部F10A4は、例えば、作業に関する角度の情報(旋回角度、水平方向に対する角度など)を表示してもよい。機械情報表示部F10A4は、作業対象物の量に関する情報を表示してもよく、例えば、1サイクルで作業機械10が捕捉(掘削)する作業対象物の量(掘削土量など)を表示してもよい。視点変更選択部F10A5は、主表示領域Mに表示される作業機械10の図形などの視点を変更するときに選択される部分である。視点変更選択部F10A5が選択されるごとに、主表示領域Mに表示される作業機械10の視点が切り替わってもよい。視点変更選択部F10A5は、主表示領域Mに表示される作業機械10の視点ごとに表示されてもよい(例えば複数のボタンを備えてもよい)。主表示領域Mに表示される作業機械10の視点は、作業機械10を斜め上から見る視点(斜めビュー)を含んでもよく、水平方向から見る視点(図5参照)を含んでもよく、上から見る視点(図5参照)を含んでもよい。
 シンプル画面選択部F10A6は、表示画像Gが自動運転中シンプル画面(第二画面)(図11)に切り換えられるときに選択される部分である。警笛操作部F10A7は、作業機械10に警笛を鳴らさせるときに選択される部分である。途中終了選択部F10A8は、自動運転を途中終了(詳細は後述)させるときに選択される部分である。
 図10Bは、表示設定画面を示す図である。表示設定画面は、例えば、メニュー選択部F2A1(図10A参照)が選択され、図示しない所定のメニュー項目が選択された場合などに表示される。表示設定画面は、表示設定部F10B1を備える。表示設定部F10B1は、主表示領域Mに表示される要素(内容)に関する設定が行われる部分である。表示設定部F10B1は、主表示領域Mへの要素の表示の態様(例えば有無)を設定するための部分である。表示設定部F10B1は、例えば、表示の有無を設定する要素ごとに設けられたチェックボックス、またはスイッチなどを備える。表示設定部F10B1により主表示領域Mへの表示の態様を設定可能な要素は、例えば、教示された軌跡(図10Dの目標経路PA)、実作業軌跡PB(図10D参照)、輸送車両(ダンプ)検知エリア、撮像装置が撮像した映像、の少なくともいずれかを含む。実作業軌跡PBは、作業機械10が自動運転により実際に作業したときの、アタッチメント15の特定部位の軌跡である(後述)。上記「輸送車両(ダンプ)検知エリア」は、作業対象物が積み込まれる輸送車両(ダンプ)が検知された位置の範囲である。上記「撮像装置が撮像した映像」は、作業機械10または作業機械10の外部(作業現場など)に設けられた撮像装置が撮像した映像である。この撮像装置が撮像した映像は、二次元カメラが撮像した映像でもよく、三次元情報を取得する装置(例えばLiDAR、ステレオカメラなど)が撮像した三次元の映像(例えば点群映像)でもよい。なお、図10Bに示す例では、主表示領域Mに表示されている要素(内容)は、作業機械10を表す三次元画像、および点群映像である。
 図10Cは、センサ状況確認画面を示す図である。センサ状況確認画面は、例えば、メニュー選択部F2A1(図10A参照)が選択され、図示しない所定のメニュー項目が選択された場合などに表示される。センサ状況確認画面は、センサ状況表示部F10C1を備える。センサ状況表示部F10C1は、作業機械10または作業機械10の外部に設けられたセンサの状況を表示する。センサ状況表示部F10C1は、例えばセンサが正常か否かを表示してもよく、センサが取得した内容を表示してもよい。センサ状況表示部F10C1が状況を表示するセンサは、アタッチメント15の各要素(ブーム15a、アーム15b、先端アタッチメント15c)の角度センサでもよい。センサ状況表示部F10C1が状況を表示するセンサは、撮像装置(LiDAR、カメラなど)でもよく、作業機械10の自動運転コントローラでもよく、作業機械10の自動運転コントローラ以外のコントローラでもよい。
 図10Dは、作業フェーズ表示部PDなどを含む自動運転中画面を示す図である。作業フェーズ表示部PDなどを含む自動運転中画面は、例えば、図10Bに示す表示設定部F10B1で、目標経路PA(図10Bでは教示軌跡)を表示することが選択された場合などに表示される。作業フェーズ表示部PDなどを含む自動運転中画面は、目標経路PAと、実作業軌跡PBと、目標範囲TAと、作業フェーズ表示部PDと、作業フェーズ文字表示部F10D1と、凡例F10D2と、を備える。
 目標経路PAは、上記のように、アタッチメント15の特定部位(例えば先端アタッチメント15cの先端部など)の目標とする経路である。目標経路PAは、主表示領域Mに表示される。目標経路PAは、線で表示される。例えば、目標経路PAは、複数の作業フェーズPと対応するように、複数種類設定される。具体的には例えば、目標経路PAは、捕捉目標経路PA1と、持上旋回目標経路PA2と、解放目標経路PA3と、復帰旋回目標経路PA4と、を備える。捕捉目標経路PA1は、捕捉フェーズP1の目標経路PAである。持上旋回目標経路PA2は、持上旋回フェーズP2の目標経路PAである。解放目標経路PA3は、解放フェーズP3の目標経路PAである。復帰旋回目標経路PA4は、復帰旋回フェーズP4の目標経路PAである。
 複数種類の目標経路PA(捕捉目標経路PA1、持上旋回目標経路PA2、解放目標経路PA3、および復帰旋回目標経路PA4)の表示の態様は、種類ごとに変えられてもよい。例えば、目標経路PAの色(例えば、色相、濃度、明度、および彩度の少なくともいずれか)が、目標経路PAの種類ごとに変えられてもよい。例えば、目標経路PAの種類ごとに、目標経路PAを表す線の種類(太さ、実線、破線など)が変えられてもよい。
 目標経路PAを示す画像(具体的には線)は、目標経路PAの向きを示してもよい。目標経路PAの向きは、目標経路PAに沿ってアタッチメント15の特定部位を移動させるときの、特定部位の移動の向きである。例えば、目標経路PAを示す画像は、矢印を含んでもよく、目標経路PAの向きに動くアニメーションなどを含んでもよい。
 実作業軌跡PBは、作業機械10が自動運転により実際に作業したときの、アタッチメント15の軌跡である。実作業軌跡PBは、主表示領域Mに表示される。実作業軌跡PBは、主表示領域Mに表示される作業機械10の、アタッチメント15が通過した位置(軌跡)に表示される。実作業軌跡PBは、例えば、アタッチメント15の特定部位(例えば先端アタッチメント15cの先端部)の軌跡(例えば線)でもよく、先端アタッチメント15c全体の軌跡でもよい。
 実作業軌跡PBと目標経路PAとは、重畳表示される。この重畳表示により、アタッチメント15の特定部位が、目標経路PAに沿った動作(自動運転の目標に合った動作)をしているか否かを、作業者に確認させることができる。
 実作業軌跡PBは、目標経路PAと区別可能に表示される。実作業軌跡PBの表示の態様は、目標経路PAの表示の態様と相違する。例えば、実作業軌跡PBの表示の色(例えば色相)は、目標経路PAの表示の色(例えば色相)と相違する。実作業軌跡PBの色は、単色でもよく、複数の色(例えばグラデーションなど)を有してもよい。実作業軌跡PBの表示の態様は、作業機械10が行っている作業フェーズP(現在行われている作業フェーズP)の種類ごとに変化してもよい(後述)。
 実作業軌跡PBは、アニメーションにより表示されてもよい。例えば、実作業軌跡PBの一部は、所定の条件(軌跡表示条件)が満たされなくなったときに表示画像Gから消されてもよい。実作業軌跡PBの一部が消されることで、実作業軌跡PBの表示が多くなりすぎて表示画像Gが見にくくなる、という問題が抑制される。具体的には例えば、実作業軌跡PBは、アタッチメント15の特定部位がある位置を通過した時から、所定の時間(軌跡表示時間)経過した時に、この「ある位置」の実作業軌跡PBの表示が消されてもよい。この軌跡表示時間は、予め設定された一定時間でもよく、作業者が任意に設定可能でもよい。
 目標範囲TAは、作業機械10の自動運転による作業の目標となる範囲である。目標範囲TAは、主表示領域Mに表示される。目標範囲TAは、複数種類設定される。具体的には例えば、目標範囲TAは、目標捕捉範囲TA1と、目標解放範囲TA3と、を備える。目標捕捉範囲TA1は、作業機械10が(先端アタッチメント15cが)、捕捉フェーズP1において作業対象物を捕捉する範囲(例えば掘削予定エリア)である。目標解放範囲TA3は、作業機械10が(先端アタッチメント15cが)、解放フェーズP3において作業対象物を解放する範囲(例えば排土予定エリア)である。
 複数種類の目標範囲TA(目標捕捉範囲TA1、目標解放範囲TA3)の表示の態様は、種類ごとに変えられてもよい。例えば、目標範囲TAの種類ごとに、目標範囲TAの色(例えば色相)が変えられてもよい。各種類の目標範囲TAの表示の態様は、目標範囲TAの種類に対応する種類の目標経路PAの表示の態様と対応してもよい。具体的には例えば、目標捕捉範囲TA1の表示の態様(例えば色相)は、捕捉目標経路PA1と同じ(または略同じ)表示の態様(例えば色相)とされてもよい。また、例えば、目標解放範囲TA3の表示の態様は、解放目標経路PA3と同じ(または略同じ)表示の態様とされてもよい。さらに具体的には、捕捉目標経路PA1がオレンジ色、解放目標経路PA3が緑色で表示されているとする。このとき、目標捕捉範囲TA1がオレンジ色、目標解放範囲TA3が緑色で表示されてもよい。なお、各種類の目標範囲TAの表示の態様は、目標範囲TAの種類に対応する種類の目標経路PAの表示の態様と対応しなくてもよい。
 作業フェーズ表示部PDは、作業機械10が行っている作業(自動運転の作業)が、複数種類の作業フェーズPのうち、どの種類の作業フェーズPであるかを示す表示である。以下では、作業フェーズ表示部PDが示す作業フェーズPの種類であって、作業機械10が行っている作業の作業フェーズPを、「現在行われている作業フェーズP」などともいう。作業フェーズ表示部PDは、現在行われている作業フェーズPを、作業者に容易に把握させるための表示である。作業フェーズ表示部PDは、現在行われている作業フェーズPと、その他の種類の作業フェーズPと、を作業者が区別可能に表示する。
 作業フェーズ表示部PDは、目標経路PAの表示を含んでもよい。具体的には、現在行われている作業フェーズP(例えば捕捉フェーズP1)に対応する種類の目標経路PA(例えば捕捉目標経路PA1)と、その他の種類の目標経路PAとで、目標経路PAの表示の態様が変えられてもよい。このとき変えられる表示の態様は、目標経路PAの色(例えば、色相、濃度、明度、および彩度の少なくともいずれか)でもよく、目標経路PAを表す線の種類でもよい。具体的には例えば、現在行われている作業フェーズPに対応する種類の目標経路PAの明度が高くされ、それ以外の種類の目標経路PAの明度が低く(グレーアウト)されてもよい。
 作業フェーズ表示部PDは、実作業軌跡PBの表示を含んでもよい。具体的には、実作業軌跡PBの表示の態様(例えば色相など)が、現在行われている作業フェーズPの種類ごとに変えられてもよい。現在行われている作業フェーズPの種類が変わるごとに、実作業軌跡PBの表示の態様が変えられてもよい。
 作業フェーズ表示部PDは、目標範囲TAの表示を含んでもよい。具体的には、現在行われている作業フェーズPに対応する種類の目標範囲TA(例えば目標捕捉範囲TA1)と、その他の種類の目標範囲TA(例えば目標解放範囲TA3)とで、目標範囲TAの表示の態様が変えられてもよい。このとき変えられる表示の態様は、目標範囲TAの内部の色(例えば色相など)でもよく、目標範囲TAの外枠の色でもよく、目標範囲TAの外枠を示す線の種類などでもよい。具体的には例えば、現在行われている作業フェーズPに対応する種類の目標範囲TAの明度が高くされ、それ以外の種類の目標経路PAの明度が低く(グレーアウト)されてもよい。
 作業フェーズ表示部PDは、作業機械10の画像を含んでもよい。具体的には、作業機械10の一部または全体の表示の態様が、現在行われている作業フェーズPの種類ごとに変えられてもよい。現在行われている作業フェーズPの種類が変わるごとに、作業機械10の一部または全体の表示の態様が変えられてもよい。現在行われている作業フェーズPの種類ごとに、作業機械10の一部のみの表示の態様が変えられる場合、表示の態様が変えられる部分は、アタッチメント15のみでもよく、先端アタッチメント15cのみでもよい。
 例えば、上記のように、目標経路PAの色(例えば色相など)が、目標経路PAの種類ごとに相違してもよい。この場合に、作業機械10の一部または全体の表示の色が、現在行われている作業フェーズPに対応する種類の目標経路PAの色と、同じまたは略同じにされてもよい。具体的には例えば、捕捉目標経路PA1がオレンジ色、持上旋回目標経路PA2が青色、解放目標経路PA3が緑色で表示されているとする。このとき、現在行われている作業フェーズPが捕捉フェーズP1の場合、作業機械10の一部または全体がオレンジ色で表示される。現在行われている作業フェーズPが持上旋回フェーズP2の場合、作業機械10の一部または全体が青色で表示される。現在行われている作業フェーズPが解放フェーズP3の場合、作業機械10の一部または全体が緑色で表示される。
 作業フェーズ表示部PDは、作業フェーズ文字表示部F10D1を含んでもよい。作業フェーズ文字表示部F10D1は、現在行われている作業フェーズPを示す文字の表示である。作業フェーズ文字表示部F10D1の表示の態様(例えば色)が、現在行われている作業フェーズPに対応する種類の目標範囲TAの表示の態様(例えば色)と、同じまたは略同じにされてもよい。
 作業フェーズ表示部PDは、表示画像Gの全体を含んでもよく、主表示領域M全体を含んでもよい。具体的には、現在行われている作業フェーズPの種類ごとに、表示画像Gの全体の表示の態様(例えば色)が変えられてもよく、主表示領域Mの全体の表示の態様(例えば色)が変えられてもよい。表示画像G全体または主表示領域M全体の表示の態様(例えば色)が、現在行われている作業フェーズPに対応する種類の目標経路PA(または目標範囲TA)の表示の態様(例えば色)と、同じまたは略同じにされてもよい。
 作業フェーズ表示部PDは、現在行われている作業フェーズPの種類を示す表示と同様に、現在行われている作業フェーズPの次に行われる作業フェーズPの種類を示す表示を行ってもよい。この場合、作業フェーズ表示部PDは、現在行われている作業フェーズPの種類と、次に行われる作業フェーズPの種類と、とを区別可能に表示してもよい。
 凡例F10D2は、作業フェーズPの種類に応じて様々な態様で示される表示(例えば目標経路PAなど)が、どの作業フェーズPの種類に対応するかを示す。例えば、図10Dに示す例では、凡例F10D1は、複数種類の目標経路PAの表示の態様と、作業フェーズPの種類と、の関係を示す。例えば、凡例F10D2は、目標経路PAの色相と、作業フェーズPの種類と、の関係(どの色が、どの作業フェーズPに対応するか)を示してもよい。なお、凡例F10D1は、目標経路PA以外の表示(例えば目標範囲TA、実作業軌跡PBなど)の表示の態様(例えば色)と、作業フェーズPの種類と、の関係を示してもよい。
 (自動運転中のシンプル画面表示)
 図11は、自動運転中シンプル画面(第二画面)を示す図である。自動運転中シンプル画面は、自動運転中に表示される画面である。自動運転中シンプル画面は、作業機械10が待機している時(待機中)に表示されてもよい。自動運転中シンプル画面は、作業機械10が非常停止した時(非常停止中)に表示されてもよい。表示画像Gは、図10Aに示す自動運転中画面(自動運転中詳細画面)(単に「詳細画面」ともいう)と、図11に示す自動運転中シンプル画面と、を切り替えて表示可能である。例えば、自動運転中シンプル画面は、詳細画面(図10A参照)において、シンプル画面選択部F10A6(図10A参照)が選択されたときに表示される。自動運転中シンプル画面は、シンプル画面選択部F10A6が1回選択されるのみで(ワンアクションで)表示されてもよい。自動運転中シンプル画面は、シンプル画面選択部F10A6が選択された後、確認操作(OKボタンを押すなど)が行われた場合に、表示されてもよい。
 作業者が「他の作業」を行っている場合などに、作業者が表示画像Gを注視できない場合が想定される。上記「他の作業」は、表示画像Gに情報が表示されている作業機械10での作業とは異なる作業であり、具体的には例えば、情報端末23に接続されていない機械(ショベルなど)での作業などである。「他の作業」は、機械の手動操作や遠隔操作などでもよい。作業者が、「他の作業」を行いながら、短い視認時間で(例えば定期的に)、作業機械10の自動運転の作業状況を把握したい場合がある。例えば、作業者は、自動運転の作業が、どれくらい進んだか、あとどれくらいで完了するか、などを把握したい場合がある。しかし、表示画像Gを注視できない作業者にとっては、詳細画面(図10A参照)の情報量は多い。そのため、作業者が、確認したい情報をわずかな視認時間で確認することは、難しい場合がある。
 そこで、表示画像Gは、自動運転中シンプル画面を表示する。自動運転中シンプル画面は、詳細画面(図10A参照)に比べ、短い視認時間でも作業者が情報を把握できるように表示される。具体的には、自動運転中シンプル画面に表示される情報量は、詳細画面に表示される情報量よりも少ない。自動運転中シンプル画面に表示される自動運転に関する情報は、詳細画面に表示される自動運転に関する情報の一部のみを含む。具体的には例えば、図10Aに示す機械情報表示部F10A4、主表示領域Mに表示される作業現場の表示(点群映像など)は、図11に示すように、自動運転中シンプル画面には表示されない。表示画像Gとして自動運転中シンプル画面が表示されるので、作業者は、短い時間の表示画像Gの視認でも、作業機械10の自動運転に関する情報を取得できる。その結果、例えば、作業者が他の作業(例えば機械の手動操作や遠隔操作など)を行いながら表示画像Gを視認する場合でも、作業者は、他の作業の効率を大きく損なうことなく、作業機械10の監視を行える(他の作業と自動運転の監視の両立ができる)。
 自動運転中シンプル画面に表示される画像は、詳細画面(図10A参照)に表示される画像よりもシンプル(簡素)であることが好ましい。例えば、自動運転中シンプル画面に表示される情報表示物は、詳細画面に表示される情報表示物よりも大きくてもよい。上記「情報表示物」は、文字でもよく、図形(情報を視覚的に表現するイラストなど)でもよい。自動運転中シンプル画面での、情報表示物と、この情報表示物の背景色と、の明度の相違(コントラスト)は、詳細画面での情報表示物と背景色とのコントラストよりも大きくてもよい。詳細画面では文字で表示されていた情報が、自動運転中シンプル画面では図形で表示されてもよい(例えば後述する現作業量表示部F11A3を参照)。なお、自動運転シンプル画面は、詳細画面にはない部分(例えば後述する作業残り時間表示部F11A2、詳細画面選択部F11A4など)を含んでもよい。
 自動運転中シンプル画面に表示される内容(要素、項目)は、作業者により設定可能でもよく、情報端末23に予め設定されてもよい。自動運転中シンプル画面に表示される内容は、作業者が自動運転を監視するのに必要な情報を含み、かつ、できるだけ少ないことが好ましい(必要最低限であることが好ましい)。例えば、自動運転中シンプル画面は、状況表示部F11A1と、自動運転の作業の進行状況を表す表示(例えば、作業残り時間表示部F11A2と、現作業量表示部F11A3と、)を備えることが好ましい。また、自動運転中シンプル画面は、詳細画面選択部F11A4と、キー状態選択部F11A5aと、エンジン状態選択部F11A5bと、レバーロック状態選択部F11A5cと、警笛操作部F11A7と、途中終了選択部F11A8と、を備える。
 状況表示部F11A1は、作業機械10の状況を表示する部分である。状況表示部F11A1は、作業機械10の自動運転に関する状況を表示する。状況表示部F11A1が表示する作業機械10の状況は、例えば、正常作業中、待機中(自動運転による作業が終了し、待機している状態)、および、非常停止中の少なくともいずれかを含む。状況表示部F11A1が表示する作業機械10の状況は、検知動作中(作業機械10が作業対象物などの物体を検知して自動運転している状態)などを含んでもよい。
 作業機械10が待機中であることを状況表示部F11A1が表示した場合、作業者は、作業機械10が待機中であることに容易に気付くことができる。そして、作業者が、この作業機械10に自動運転を行うように指令することで、作業機械10が作業をしていない(すなわち待機中の)時間を削減することができる。よって、作業機械10の作業効率を向上させることができる。
 作業機械10が非常停止中であることを状況表示部F11A1が表示した場合、作業者は、作業機械10が非常停止中であることに容易に気付くことができる。よって、作業者は、非常停止中の作業機械10に対する対処をより早期に(例えばより安全な状況で)行うことができる。
 状況表示部F11A1は、作業者が表示画像Gを注視しなくても(例えば周辺視でも)、作業者が、状況表示部F11A1の表示の変化に気づきやすいように表示されることが好ましい。この場合、作業者が表示画像Gを見る回数や時間を減らすことができる。作業者が他の作業を行いながら表示画像Gを視認する場合は、作業者が表示画像Gを見る回数や時間が減る結果、他の作業の作業効率を向上させることができる。例えば、表示画像Gに占める状況表示部F11A1の割合は、できるだけ大きいことが好ましい。例えば、状況表示部F11A1と、状況表示部F11A1の背景と、のコントラストが大きいことが好ましい。
 状況表示部F11A1は、作業機械10の状況を示す文字(文言)を表示してもよい。この文言は、例えば、「正常作業中」(または単に「作業中」)、「待機中」、「非常停止中」などである。状況表示部F11A1は、作業機械10の状況ごとに異なる図形(例えば、顔の形状および、色彩)を表示してもよい。具体的には例えば、作業機械10が正常作業中および待機中のときの図形(例えば顔の図形)と、作業機械10が非常停止中のときの図形と、が異なってもよい。状況表示部F11A1の表示(例えば文字、図形)は、作業機械10の状況ごとに異なる色でもよい。具体的には例えば、状況表示部F11A1の表示は、正常作業中は緑、待機中は青、非常停止中は赤、などでもよい。状況表示部F11A1の背景色は、作業機械10の状況ごとに異なる色でもよい。
 表示画像Gのうち状況表示部F11A1以外の部分の表示が、状況表示部F11A1が示す作業機械10の状況の変化に応じて、変化してもよい。この「状況表示部F11A1以外の部分」は、例えば、主表示領域M全体でもよく、主表示領域Mの外周部分(縁)でもよい。具体的には例えば、状況表示部F11A1が示す作業機械10の状況の変化に応じて、主表示領域Mの色(背景色、または、縁の色)が変化してもよく、主表示領域Mの明度が変化(例えば点滅など)してもよい。なお、状況表示部F11A1は、詳細画面(図10A参照)に表示されてもよい。
 作業残り時間表示部F11A2は、自動運転による作業の残り時間を表示する部分である。作業機械10の状況に応じて状況表示部F11A1の表示を変化させてもよいのと同様に、作業残り時間表示部F11A2は、自動運転による作業の残り時間に応じて、表示(例えば文字色、背景色など)を変化させてもよい。なお、自動運転中シンプル画面において、作業残り回数表示部F10A2(図10A参照)が表示されてもよい。
 現作業量表示部F11A3は、図10Aに示す現作業量表示部F10A3bと同様の内容を表示する。図11に示す現作業量表示部F11A3は、図10Aに示す現作業量表示部F10A3bよりも、作業者が容易に情報を把握できるように表示される。例えば、図11に示す現作業量表示部F11A3では、図10Aに示す現作業量表示部F10A3bに比べ、文字が大きく表示されてもよく、文字と背景色とのコントラストが大きくてもよい。現作業量表示部F11A3は、現作業量に応じて、表示(例えば文字色、背景色など)を変化させてもよい。さらに、図11に示す現作業量表示部F11A3は、目標作業量に対する、作業済み作業量の割合(比率)を示す図形を表示する。現作業量表示部F11A3は、この割合(比率)に応じて、表示する図形を複数段階(例えば5段階など)に変化させる。具体的には例えば、現作業量表示部F11A3は、車両(ダンプ)に土がどれだけ積み込まれたかを示す図形を表示する。なお、現作業量表示部F11A3の図形は、詳細画面(図10A参照)に表示されてもよい。詳細画面選択部F11A4は、表示画像Gを、自動運転中シンプル画面から詳細画面(図10A)に切り換えられるときに選択される部分である。
 キー状態選択部F11A5a、エンジン状態選択部F11A5b、およびレバーロック状態選択部F11A5cは、図9Cに示す、キー状態選択部F9C4、エンジン状態選択部F9C5、およびレバーロック状態選択部F9C6と同様の機能をそれぞれ有する。図11に示す警笛操作部F11A7は、作業機械10に警笛を鳴らさせるときに選択される部分である。このように、自動運転中シンプル画面は、作業機械10の操作のための選択部を備えてもよい。途中終了選択部F11A8は、自動運転を途中終了(詳細は後述)させるときに選択される部分である。
 (自動運転作業終了)
 図12Aは、自動運転作業終了画面を示す図である。自動運転作業終了画面は、自動運転による作業が正常終了するときに表示される。例えば、自動運転作業終了画面は、作業済み作業量(積込土量)が、目標作業量(目標土量)に達したときに表示される。自動運転作業終了画面は、終了通知部F12A1と、終了選択部F12A2と、キャンセル選択部F12A3と、を備える。終了通知部F12A1は、自動運転を終了することを作業者に通知する部分である。終了通知部F12A1は、自動運転が行われていた教示データでの作業を終了することを通知する。終了選択部F12A2は、自動運転が行われていた教示データでの作業を終了させるときに選択される部分である。キャンセル選択部F12A3は、自動運転が行われていた教示データでの作業を終了させないときに選択される部分である。例えば、キャンセル選択部F12A3が選択された場合、自動運転開始前画面(図9A参照)などに戻ってもよく、例えば、作業回数および目標作業量などが変更された後に、自動運転が再開されてもよい。
 自動運転による作業が終了するときに、作業の結果(結果表示部)が表示されてもよい。作業の結果は、例えば、作業済みの作業対象物の量、作業回数、および、作業時間の少なくともいずれかを含んでもよい。
 図12Bは、途中終了画面を示す図である。途中終了画面は、自動運転が途中終了するときに表示される画面である。自動運転の途中終了は、作業済みの作業量(積込土量)が、目標作業量(目標土量)に達していない状態で自動運転による作業が終了することである。途中終了画面は、例えば、途中終了選択部F10A8(図10A参照)、F11A8(図11参照)が選択されたときに表示される。途中終了画面は、途中終了通知部F12B1と、終了選択部F12B2と、キャンセル選択部F12B3と、を備える。途中終了通知部F12B1は、自動運転を途中終了することを通知する部分である。途中終了通知部F12B1は、現サイクルで作業終了することを通知する。終了選択部F12B2は、自動運転を途中終了させるときに選択される部分(OKボタン)である。キャンセル選択部F12B3は、自動運転を途中終了させない(自動運転を継続させる)ときに選択される部分(キャンセルボタン)である。
 自動運転が途中終了したとき、作業機械10は、初期姿勢になるまで自動運転を継続し、初期姿勢になった状態で停止する。この「初期姿勢」は、例えば自動運転開始時の初期姿勢などである。この「初期姿勢」は、複数の作業フェーズP(図8参照)が設定される場合は、最初の作業フェーズP(例えば捕捉フェーズP1(図8参照))の開始時の姿勢などである。自動運転の途中終了の具体例は、次の通りである。例えば、解放フェーズP3(図8参照)の最中に、途中終了選択部F11A8(図11参照)が選択されたとする。このとき、作業機械10は、解放フェーズP3を完了させ、復帰旋回フェーズP4(図8参照)を完了させ、初期姿勢になった状態で停止する。途中終了選択部F11A8(図11参照)が選択されてから、作業機械10が初期姿勢になるまでの間、作業終了中である通知(途中終了中表示部)が表示されてもよい。
 (非常停止)
 図13Aは、非常停止画面を示す図である。非常停止画面は、作業機械10が非常停止した場合に表示される画面である。
 作業機械10が非常停止する条件(非常停止条件)は、非常停止選択部F13A1が選択されたことを含んでもよい。非常停止条件は、全機停止選択部F13A2が選択されたことを含んでもよい。非常停止条件は、これら以外の条件であって、作業機械10のコントローラまたは自動運転情報処理装置20に設定された条件を含んでもよい。
 非常停止選択部F13A1は、主表示領域Mに情報が表示されている作業機械10(選択されている機械選択部Tに対応する作業機械10)を非常停止させるときに選択される部分(例えば非常停止ボタン)である。非常停止選択部F13A1は、自動運転時に表示され、自動運転時以外の時に表示されてもよい。
 全機停止選択部F13A2は、情報端末23に接続されている(接続済みの)すべての作業機械10を非常停止させるときに選択される部分(例えば全機非常停止ボタン)である。
 全機停止選択部F13A2が設けられる場合、次の効果が得られる。例えば、作業機械10を情報端末23から停止させるために、作業者が、停止させたい作業機械10に対応する機械選択部Tを選択し、非常停止選択部F13A1を選択する場合が想定される。この場合、作業者が停止させたい作業機械10と、機械選択部Tで選択されている作業機械10とが異なる場合、作業者は、停止させたい作業機械10に対応する機械選択部Tを選択し(画面を切り替え)、非常停止選択部F13A1を選択する必要がある。そのため、機械選択部Tを選択する操作の手間が発生し、操作に時間がかかる。また、情報端末23に複数の作業機械10が接続されている場合に、接続済みのすべての作業機械10を停止させる場合は、作業者は、複数のステップを踏まなければならない。具体的には、作業者は、機械選択部Tの切り換えと、非常停止選択部F13A1の選択と、を繰り返す必要がある。例えば災害発生時などに、接続済みのすべての作業機械10をすぐに非常停止させたい時に、非常停止のための操作に時間がかかることは好ましくない。そこで、全機停止選択部F13A2が設けられる。作業者は、全機停止選択部F13A2を選択する(例えば押す)ことで、接続済みのすべての作業機械10を非常停止させることができる(全機停止機能)。このとき、作業者は、機械選択部Tを選択しなくても(画面を切り替えなくても)、接続済みのすべての作業機械10を停止させることができる。
 この全機停止選択部F13A2は、情報端末23に1台でも作業機械10が接続されているときには、常に表示されることが好ましい。さらに詳しくは、表示画像Gの内容(状態)が様々に変化(遷移)しても、作業機械10が情報端末23に接続されているときに常に、全機停止選択部F13A2は、表示画像Gに表示されることが好ましい。具体的には例えば、機械選択部Tで作業機械10が選択され、選択された作業機械10に関する情報が表示画像Gに表示されている状態で、全機停止選択部F13A2が表示されることが好ましい。また、例えば図3Bに示すホーム画面のように、情報端末23に作業機械10が接続されているが、機械選択部Tで作業機械10が選択されていない画面でも、全機停止選択部F3B4が表示されることが好ましい。なお、情報端末23に作業機械10が接続されていないときには、図13Aに示す全機停止選択部F13A2は表示されなくてもよい(図14Aを参照)。
 この全機停止選択部F13A2は、情報端末23に1台でも作業機械10が接続されているときに常に、表示画像Gの特定位置に(常に同じ位置に)表示されることが好ましい。この「特定位置」は、表示画像Gの一部分の位置であり、表示画像G中の特定の1か所の位置である。例えば、全機停止選択部F13A2は、表示画像Gの状態が変化しても、表示が変化しない部分などに表示される。具体的には例えば、全機停止選択部F13A2は、機械選択部Tの選択状態によって変化しない部分などに表示される。図13Aに示す例では、全機停止選択部F13A2は、ホーム選択部Hの下に表示され、作業選択部Aの下に表示され、表示画像Gにおける左下部分に表示される。例えば、全機停止選択部F13A2は、表示画像Gの上部に表示されてもよく、機械選択部Tよりも上の領域(画面上部ヘッダー)に表示されてもよい(図示なし)。
 この全機停止選択部F13A2は、情報端末23に1台でも作業機械10が接続されているときに常に、選択(操作)可能な状態である。この全機停止選択部F13A2は、情報端末23に作業機械10が接続されているときに常に、情報端末23に接続されているすべての作業機械10を非常停止させることが可能な状態である。
 この全機停止選択部F13A2は、1回のみの全機停止選択部F13A2の操作(ワンアクション)により、接続済みのすべての作業機械10を非常停止させることが好ましい。この場合、作業者は、簡易な操作により、接続済みの作業機械10を非常停止させることができる。なお、全機停止選択部F13A2は、複数回の操作により、接続済みのすべての作業機械10を非常停止させることが可能でもよい。例えば、全機停止選択部F13A2が選択された後、確認操作(OKボタンを押すなど)が行われた場合に、接続済みの作業機械10が非常停止してもよい。
 この全機停止選択部F13A2が選択されたとき、情報端末23は、接続済みのすべての作業機械10に対して、同時に非常停止信号を送信する。
 作業機械10(1台または複数台の作業機械10)が非常停止したとき、機械選択部Tは、例えば次のように表示される。非常停止した作業機械10に対応する機械選択部Tは、非常停止したことを示す表示(非常停止表示)になる。この非常停止表示は、作業機械10が非常停止していないときの機械選択部Tの表示と区別可能に(作業者が区別可能に)表示される。具体的には例えば、機械選択部Tの色は、作業機械10が非常停止していないときは緑色、作業機械10が非常停止したときは赤色などとなる。情報端末23に接続された作業機械10が複数台であり、全機非常停止した場合は、全ての機械選択部T(例えば第1機械選択部T1および第2機械選択部T2)が非常停止表示になる。上記のように、未選択の機械選択部Tは、未選択であることを示す表示(例えば点滅)になり、選択済みの機械選択部Tは、選択済みであることを示す表示になる(例えば点滅しない)。
 非常停止画面は、非常停止通知部F13A3を備える。非常停止通知部F13A3は、作業機械10が非常停止したことを通知する部分である。非常停止通知部F13A3は、作業機械10が非常停止した理由(エラー内容)を通知してもよい。
 非常停止選択部F13A1または全機停止選択部F13A2が選択された場合(以下「非常停止が選択された場合」ともいう)、作業機械10は、例えば次のように非常停止する。例えば、非常停止が選択された場合、作業機械10は、直ちに非常停止状態に移行してもよい。この場合、この作業機械10は、現在の作業の途中で静止する。また、例えば、非常停止が選択された場合、作業機械10は、現在行っている作業(例えば現在行っている作業フェーズP(図8参照)または1サイクルの自動運転)が終了したときに、非常停止状態に移行し、静止してもよい。また、例えば、作業機械10が作業対象物を保持している状態の時に非常停止が選択された場合、この作業機械10は、自動運転により、作業対象物を解放した後、非常停止状態に移行し、静止してもよい。この場合、作業機械10は、作業対象物を安定して配置できるような位置に、作業対象物を解放することが好ましい。作業機械10が作業対象物を保持している状態の時に非常停止が選択された場合、下記の作業の種類に対応した通知(図13B参照)が行われてもよい。
 作業機械10が非常停止した後、例えば次のように復帰させられる。「復帰」は、非常停止状態が解除されることでもよい。具体的には例えば、復帰は、作業機械10のエンジンを切り、情報端末23と作業機械10との接続状態を切ることで、非常停止状態が解除されることでもよい。また「復帰」は、非常停止状態が解除され、さらに自動運転が再開されることでもよい。例えば、作業者は、復帰させたい作業機械10に対応する機械選択部Tを選択し、選択した作業機械10を復帰させる操作(復帰操作)を行う。複数台(例えば全機)の作業機械10が非常停止した場合は、作業者は、1台ずつ復帰操作を行う。なお、複数台の作業機械10が同時に復帰できるように情報端末23が構成されてもよい。
 図13Bは、作業内容に応じた非常停止画面を示す図である。この画面は、非常停止通知部F13B1と、選択部F13B2と、を備える。
 ここで、作業機械10が非常停止したとき、例えば、エンジンをオフにする、自動運転モードを解除して手動操作可能な動作モードに変えるなど、作業機械10の状態が変えられる場合が想定される。しかし、作業内容、作業機械10の構成、先端アタッチメント15cの種類などの状況によっては、作業機械10の状態が変わると問題が生じる場合がある。そのため、問題を回避できるような通知が行われることが好ましい。以下、この通知の具体例を説明する。非常停止通知部F13B1は、リフティングマグネット作業を行う作業機械10が非常停止した場合に表示される。非常停止通知部F13B1は、問題の内容を通知する。具体的には、非常停止通知部F13B1は、マグネットが作業対象物(金属)を吸着している状態で、エンジンが停止すると、マグネットから作業対象物が落下することを通知する。また、非常停止通知部F13B1は、問題の回避方法を通知する。この例では、非常停止通知部F13B1は、マグネットから作業対象物が落下することを回避する方法を通知する。具体的には、非常停止通知部F13B1は、作業者が作業機械10に搭乗し、レバーロックを上げ(ロック状態にし)、作業機械10を操作不可能な状態にすることを通知する。非常停止通知部F13B1は、作業者が運転室13a内のキーをオンにし、エンジンがオンの状態(かかった状態)を維持することを通知する。非常停止通知部F13B1は、レバーロックを上げ、キーをオンにした状態で、選択部F13B2(OKボタン)を押すことを通知する。選択部F13B2が選択されると、自動運転モードを解除する旨の通知(図示なし)が表示され、自動運転モードが解除される。その後、例えば、レバーロックが解除され、作業者が作業機械10を操作し、作業対象物が降ろされる。上記の例では、リフティングマグネット作業を行う作業機械10が非常停止した場合について説明したが、他の種類の作業を行う作業機械10が非常停止した場合も、作業の種類に対応した通知が表示されてもよい。
 (設定)
 図14Aは、接続設定画面を示す図である。接続設定画面は、情報端末23が作業機械10に接続するための設定が行われるときに表示される画面である。接続設定画面は、例えば、設定部B5が選択されたときに表示される。接続設定画面は、設定項目選択部F14A1と、接続設定選択部F14A2と、新規接続選択部F14A3と、登録済み機械選択部F14A4と、パラメータ設定選択部F14A5と、を備える。
 設定項目選択部F14A1は、複数の設定項目から1つの設定項目を選択可能に表示される部分である。接続設定選択部F14A2は、設定項目選択部F14A1の一部である。接続設定選択部F14A2は、情報端末23と作業機械10との接続に関する設定が行われる時に選択される部分である。新規接続選択部F14A3は、新たな作業機械10が情報端末23に接続されるときに選択される部分である。新たな作業機械10が接続されるときには、例えば、接続先の作業機械10を特定するための情報(例えばIPアドレス、登録機械名称など)が設定される。上記「登録機械名称」は、例えば、機械選択部T(図14B参照)、および、登録済み機械選択部F14A4などに表示される、作業機械10の名称である。
 図14Bは、新規接続時作業選択画面を示す図である。新規接続時作業選択画面は、作業選択部F14BA1、F14BA2を備える。作業選択部F14BA1、F14BA2は、新たな作業機械10が情報端末23に接続されるときに、接続される作業機械10をどの種類の作業に関連付けるかを選択するための部分である。なお、この新規接続時作業選択画面は、新たに接続される作業機械10に関連付ける作業選択画面(アプリ選択画面)であり、ホーム画面(図3A、図3B参照)ではない。この画面では、台数表示部F3B3(図3B参照)は表示されない。
 図14Aに示す登録済み機械選択部F14A4は、過去に自動運転情報処理装置20(例えば情報端末23)に接続された作業機械10(登録済み機械)の情報を表示する部分である。例えば、登録済み機械選択部F14A4は、登録済み機械の、登録機械名称を表示する。登録済み機械選択部F14A4から登録済み機械が選択された場合、登録済み機械に関する情報が通知されてもよい。通知される情報は、登録機械名称を含んでもよく、登録済み機械と自動運転情報処理装置20との接続の情報(例えば前回の接続日時など)を含んでもよく、前回の接続時の作業時の情報(例えば前回の作業時間など)を含んでもよい。
 登録済み機械選択部F14A4に表示される登録済み機械の表示の態様は、作業選択部Aで選択された作業に対応した機械か否かによって変わってもよい。例えば、作業選択部Aで積込作業選択部A1が選択された場合、登録済み機械選択部F14A4は、積込作業に対応した機械か否かを作業者が区別可能に、登録済み機械の表示を行ってもよい。具体的には例えば、登録済み機械選択部F14A4は、作業選択部Aで選択された作業の種類に対応した登録済み機械をアクティブ(選択可能)とし、作業選択部Aで選択された作業の種類に対応しない登録済み機械を非アクティブ(選択不可能)としてもよい。登録済み機械選択部F14A4は、作業選択部Aで選択された作業の種類に対応しない登録済み機械を非表示としてもよい。
 パラメータ設定選択部F14A5は、パラメータの設定(図示なし)が行われる場合に選択される部分である。設定されるパラメータは、作業機械10に関するパラメータでもよく、自動運転に関するパラメータでもよい。
 図14Cは、センサ状況表示画面を示す図である。センサ状況表示画面は、センサの状況を表示する画面である。センサ状況表示画面は、センサ状況選択部F14C1と、センサ状況表示部F14C2と、を備える。センサ状況選択部F14C1は、センサ状況表示画面を(センサ状況表示部F14C2を)表示させるために選択される部分である。センサ状況表示部F14C2は、センサ状況表示部F10C1(図10参照)と同様に、作業機械10、または作業機械10の外部に設けられたセンサの状況を表示する。
 図14Dは、アクセサリ操作画面を示す図である。アクセサリ操作画面は、作業機械10の各機器(アクセサリ)の状態を表示する画面であり、アクセサリを操作(遠隔操作)可能に表示される画面である。アクセサリ操作画面は、アクセサリ操作選択部F14D1と、アクセサリ状態表示設定部F14D2と、を備える。アクセサリ操作選択部F14D1は、アクセサリ操作画面を(アクセサリ状態表示設定部F14D2を)表示するために選択される部分である。アクセサリ状態表示設定部F14D2は、アクセサリの状態を表示する部分(アクセサリ状態表示部)である。アクセサリ状態表示設定部F14D2は、アクセサリの状態を設定(変更)可能に表示される部分(アクセサリ状態設定部)である。アクセサリ状態表示設定部F14D2で、表示および設定可能なアクセサリの状態(表示設定可能アクセサリ状態)は、例えば、ライト(ブームライト、キャブライトなど)のオンオフを含んでもよい。表示設定可能アクセサリ状態は、ワイパーの作動の有無および作動間隔(間欠、連続)、ウォッシャー(運転室13aの窓を洗浄する装置)のオンオフ、ならびに、DPF(Diesel particulate filter)再生のオンオフを含んでもよい。表示設定可能アクセサリ状態は、作業機械10の作業モード(高速、低速、省燃費(ECO))を含んでもよい。
 (作動の具体例)
 図15Aに示すフローチャートを参照して、図1に示す自動運転情報処理装置20の作動(主に制御部23cの作動)、自動運転情報処理方法、および自動運転情報処理プログラムの、さらなる具体例を説明する。以下では、特に断らない限り、自動運転情報処理装置20の作動(作業、処理)の順に沿って説明する。なお、作動の順は様々に変更可能である。また、図15Aに示すステップS11~S72については、図15Aを参照して説明する。
 ステップS11では、図1に示す情報端末23が、作業機械10に接続される。
 ステップS21では、目標範囲TA(図10D参照)が教示される(エリアティーチングが行われる)(図6参照)。
 ステップS22では、目標経路PA(図10D参照)が教示される(経路ティーチングが行われる)(図4C参照)。
 ステップS31では、作業機械10の運転モードが、自動運転モードに変更される(移行する)。例えば上記の自動運転モード開始条件が満たされた場合に(図7A、図7B参照)、作業機械10の運転モードが、自動運転モードに移行する(図7C参照)。
 ステップS32では、自動運転の設定(自動運転動作設定)が行われる。具体的には、図8に示すように、自動運転に関する初期設定が行われる。また、図9A、図9B、図9C、および図9Dに示すように、自動運転の作動速度などが設定される。
 ステップS41では、作業機械10での、自動運転の開始の準備が行われる。例えば、作業機械10の姿勢が、自動運転を開始可能な姿勢に変えられる。
 ステップS42では、作業機械10は、自動運転を開始する(図10A、図10B、図10C、図10D、および図11参照)。
 ステップS43、S44、およびS45では、次の作動が行われる。輸送車両(ダンプ)検知エリアにおいて、輸送車両が検知された場合(ステップS43)、輸送車両に対する作業(例えば排土)を行うための目標経路PA(図10D参照)が、表示部23oに表示される(ステップS44)。この目標経路PAに従って作業機械10を作業させることが、作業者に選択された場合、作業機械10は、輸送車両に対する作業を開始する(ステップS45)。
 ステップS46では、制御部23c(図1参照)は、作業機械10の自動運転を監視する。例えば、制御部23cは、図10A、および図11などに示すように、自動運転の作業の状況(進捗状況、正常作業中か否かなど)を監視する。また、制御部23cは、自動運転を途中終了するか(図10Aの途中終了選択部F10A8が選択されたか)、および、自動運転を非常停止するか(図13の非常停止選択部F13A1が選択されたか)などを監視する。
 ステップS51では、作業機械10の自動運転の作業が完了し、作業機械10の自動運転の動作が停止する。自動運転が正常終了した場合は、図12Aに示す自動運転作業終了画面が表示部23oに表示される。なお、自動運転が途中終了した場合は、図12Bに示す途中終了画面が表示部23oに表示される。
 ステップS52では、自動運転の作業による成果が表示部23oに表示される。例えば、図10Aに示す現作業量表示部F10A3b、および、図11に示す現作業量表示部F11A3などに、作業完了後の作業量などが表示される。
 ステップS53では、制御部23c(図1参照)は、完了した自動運転と同じ(または略同じ)自動運転を行うか否かを判定する。例えば、制御部23cは、作業者による入力(選択)に応じてこの判定を行ってもよい。また、例えば、制御部23cは、作業の状況(例えば作業の量、回数、時間など)に応じて、この判定を自動的に行ってもよい。制御部23cは、完了した自動運転と同じ(または略同じ)自動運転を行う場合(ステップS53でYESの場合)、処理のフローをステップS32に戻す。制御部23cは、完了した自動運転と同じ(または略同じ)自動運転を行わない場合(ステップS53でNOの場合)、処理のフローをステップS61に進ませる。
 ステップS61では、作業機械10での、自動運転モードを終了するための準備(機械側終了準備)が行われる。例えば、制御部23cは、作業機械10の姿勢を、初期姿勢に変える。
 ステップS62では、制御部23cは、作業機械10の自動運転モードを終了させる。
 ステップS63では、制御部23cは、作業機械10での作業を完了するか否かを判定する。例えば、制御部23cは、情報端末23を用いた作業機械10の自動運転での作業を完了するか否か(例えばその日の作業を完了させるか否か)を判定する。制御部23cは、作業機械10での作業を完了する場合(ステップS63でYESの場合)、処理のフローをステップS71に進ませる。制御部23cは、作業機械10での作業を完了しない場合(ステップS63でNOの場合)、処理のフローをステップS21に戻す。
 ステップS71では、作業機械10がシャットダウンされる。具体的には、作業機械10のエンジンがオフにされ、電源がオフにされる。例えば、情報端末23は、作業機械10をシャットダウンさせる指令を、作業機械10に送信してもよい。なお、作業機械10は、作業者の手動操作によりシャットダウンされてもよい。
 ステップS72では、情報端末23と作業機械10との接続が切断される。
 (全機非常停止の処理)
 図15Bに示すフローチャートを参照して、図13Aに示す全機停止選択部F13A2が選択されたときの、図1に示す自動運転情報処理装置20(主に制御部23c)の処理の具体例を説明する。以下では、特に断らない限り、作動(作業、処理)の順に沿って説明する。なお、作動の順は様々に変更可能である。
 図13Aに示す全機停止選択部F13A2が選択されたときには、図15Aに示すどの処理が行われている場合でも、図15Bに示す全機非常停止の処理が行われる(割り込まれる)。以下では、図15Bに示すステップS91~ステップS94については、図15Bを参照して説明する。
 ステップS91では、図1に示す情報端末23は、情報端末23に接続されている(接続済みの)すべての作業機械10に非常停止信号を送信する。
 ステップS92では、情報端末23に接続済みのすべての作業機械10が、非常停止する。
 ステップS93では、情報端末23に接続済みのすべての作業機械10がシャットダウンされる(シャットダウンについては図15Aに示すステップS71と同様)。
 ステップS94では、情報端末23に接続済みのすべての作業機械10と、情報端末23と、の接続が切断される。
 なお、自動運転情報処理装置20の各作動(表示、選択、設定など)を、方法およびプログラムにおける「ステップ」としてもよい。具体的には例えば、選択を、選択ステップなどとしてもよい。さらに具体的には、機械選択部T(図2参照)で作業機械10が選択されることを、「作業機械選択ステップ」などとしてもよい。
 (第1の発明の効果)
 図1に示す自動運転情報処理装置20による効果は、次の通りである。
 [構成1]自動運転情報処理装置20は、自動運転を行うことが可能な作業機械10と通信可能に接続される。自動運転情報処理装置20は、表示部23oと、入力部23iと、を備える。表示部23oは、自動運転に関する情報を含む表示画像Gを表示する。入力部23iは、作業者の操作に応じて、自動運転に関する情報が入力される。
 上記[構成1]により、作業者は、自動運転情報処理装置20により、作業機械10の自動運転に関する情報の確認および入力を容易に行うことができる。
 (第2の発明の効果)
 [構成2]図2に示すように、表示画像Gは、作業選択部Aを備える。作業選択部Aは、作業機械10(図1参照、作業機械10について以下同様)が自動運転で行う作業の種類ごとに表示される。作業選択部Aは、作業の種類を入力部23i(図1参照)により選択可能に表示される。
 上記[構成2]により、作業者は、作業機械10の作業の種類を容易に選択できる。
 (第3の発明の効果)
 [構成3]作業選択部Aの表示は、作業の種類ごとの接続済みの作業機械10の数に応じて、作業の種類ごとに変わる。
 上記[構成3]により、作業者は、接続されている作業機械10の数を、作業の種類ごとに、容易に把握することができる。
 (第4の発明の効果)
 [構成4]表示画像Gは、機能選択部Bを備える。機能選択部Bは、作業選択部Aで選択された作業の種類に対応した複数の機能ごとに表示される。機能選択部Bは、複数の機能を入力部23i(図1参照)により選択可能に表示される。
 上記[構成4]により、作業者は、作業選択部Aで選択した作業の種類に応じた機能を、容易に選択できる。
 (第5の発明の効果)
 [構成5]表示画像Gは、機械選択部Tと、主表示領域Mと、を備える。機械選択部Tは、作業機械10ごとに表示され、作業機械10を入力部23i(図1参照)により選択可能に表示される。主表示領域Mは、機械選択部Tで選択された作業機械10に関する情報を表示する。主表示領域Mは、表示部23o(図1参照)の表示領域のうち機械選択部Tとは異なる領域である。
 上記[構成5]により、作業者は、主表示領域Mに情報が表示される作業機械10を容易に選択できる。
 (第6の発明の効果)
 [構成6]機械選択部Tの画像は、作業機械10の状態に応じて変わる。
 上記[構成6]により、作業者は、機械選択部Tを確認することで、作業機械10の状態を容易に把握できる。
 (第7の発明の効果)
 [構成7]機械選択部Tの画像は、自動運転が実行中である状態、自動運転が正常に終了した状態、および、作業機械10が非常停止した状態の少なくともいずれかに応じて変わる。
 上記[構成7]により、作業者は、機械選択部Tを確認することで、自動運転が実行中である状態、自動運転が正常に終了した状態、および、作業機械10が非常停止した状態の少なくともいずれかの状態を容易に把握できる。
 (第8の発明の効果)
 [構成8]機械選択部Tの画像は、作業機械10の状態が変化した後、状態が変化した作業機械10に対応する機械選択部Tが選択されていない場合と選択された場合とで変わる。
 上記[構成8]により、作業者は、機械選択部Tを確認する事で、状態が変化した作業機械10に対応する機械選択部Tを選択したか否かを容易に把握できる。その結果、作業者は、状態が変化した作業機械10の情報を、主表示領域Mで確認したか否かを容易に把握できる。
 (第9の発明の効果)
 自動運転は、作業者が作業機械10を操作することで設定される教示データに基づいて行われる。
 [構成9]図8に示すように、表示画像Gは、作動速度設定部SSを備える。作動速度設定部SSは、教示データにおける作業機械10の作動速度を含む複数段階の作動速度から、自動運転での作動速度を、入力部23i(図1参照)により設定可能に表示される。
 上記[構成9]により、作業者は、自動運転での作業機械10の作動速度を、容易に設定できる。
 (第10の発明の効果)
 [構成10]複数段階の作動速度(上記[構成9])のうち最も速い段階の作動速度は、教示データにおける作業機械10の作動速度である。
 上記[構成10]では、自動運転での作業機械10の作動速度は、教示データにおける作動速度以下である。よって、作業者の意図とは異なる速い作動速度で作業機械10が自動運転を行うことが抑制される。
 (第11の発明の効果)
 [構成11]1サイクルの自動運転は、複数の作業フェーズPを含む。作動速度設定部SSは、自動運転での作動速度を作業フェーズPごとに設定可能に表示される。
 上記[構成11]により、作業者は、自動運転での作業機械10の作動速度を、作業フェーズPごとに、容易に設定できる。
 (第12の発明の効果)
 [構成12]表示画像Gは、第1速度表示状態SP1と、第2速度表示状態SP2(図9A参照)と、に切り替わる。第1速度表示状態SP1は、複数の作業フェーズPのそれぞれの複数段階の作動速度のすべての段階を表示する状態である。図9Aに示すように、第2速度表示状態SP2は、複数の作業フェーズPの少なくとも一部の作業フェーズPで、作動速度設定部SSで設定された段階のみの作動速度を表示する状態である。
 上記[構成12]により、図8に示す第1速度表示状態SP1に比べ、図9Aに示す第2速度表示状態SP2での表示が簡素になる。よって、作業者は、図8に示す作動速度設定部SSで設定された作動速度を容易に把握できる。
 (第13の発明の効果)
 [構成13]図10Dに示すように、1サイクルの自動運転は、複数の作業フェーズPを含む。表示画像Gは、作業機械10が行っている作業が、どの作業フェーズPであるかを表示する作業フェーズ表示部PDを備える。
 上記[構成13]により、作業者は、作業機械10が行っている作業が、どの作業フェーズPであるかを容易に把握できる。
 (第14の発明の効果)
 [構成14]図13Aに示すように、表示画像Gは、接続済みの(自動運転情報処理装置20に接続済みの)すべての作業機械10を非常停止させる全機停止選択部F13A2を備える。
 上記[構成14]により、作業者は、簡易な操作で、自動運転情報処理装置20に接続済みのすべての作業機械10を非常停止させることができる。
 (第15の発明の効果)
 [構成15]全機停止選択部F13A2は、1回のみの操作により、接続済みの(自動運転情報処理装置20に接続済みの)すべての作業機械10を非常停止させる。
 上記[構成15]により、作業者は、より簡易な操作で、自動運転情報処理装置20に接続済みのすべての作業機械10を非常停止させることができる。
 (第16の発明の効果)
 [構成16]全機停止選択部F13A2は、作業機械10が接続されている(自動運転情報処理装置20に作業機械10が接続されている)ときに常に、表示画像Gの一部の特定位置に表示される。
 上記[構成16]により、作業者は、表示画像Gのどの位置に全機停止選択部F13A2があるかを容易に把握することができる。その結果、作業者は、容易に、自動運転情報処理装置20に接続済みのすべての作業機械10を非常停止させることができる。
 (第17の発明の効果)
 [構成17]図2に示すように、表示画像Gは、作業機械10の状態を表示する機械状態表示部F2A3を備える。機械状態表示部F2A3の画像は、状態表示装置13b(図1参照)の表示に連動する。状態表示装置13bは、実機の作業機械10に搭載されるとともに、作業機械10の状態を表示するものである。
 上記[構成17]により、作業者は、実機の作業機械10の状態表示装置13bを見なくても、表示画像Gとして表示された機械状態表示部F2A3を見ることで、実機の作業機械10の状態を把握することができる。
 (第18の発明の効果)
 [構成18]表示画像Gは、詳細画面(第一画面)(図10A参照)と、自動運転中シンプル画面(第二画面)(図11参照)と、を切り替えて表示可能である。図11に示すように、自動運転中シンプル画面に表示される自動運転に関する情報は、詳細画面(図10A参照)に表示される自動運転に関する情報の一部のみを含む。
 上記[構成18]により、作業者が詳細画面(図10A参照)を視認する場合に比べ、作業者が自動運転中シンプル画面を視認する場合、作業者は、自動運転に関する情報を容易に(例えば短い視認時間で)取得することができる。
 (第19の発明の効果)
 [構成19]自動運転中シンプル画面は、自動運転に関する状況を表示する状況表示部F11A1を備える。状況表示部F11A1が表示する状況は、作業機械10が自動運転による作業中であることと、作業機械10が待機中であることと、作業機械10が非常停止中であることと、を含む。
 上記[構成19]により、作業者は、作業機械10の状況を容易に(例えば短い視認時間で)把握することができる。
 (第20の発明の効果)
 [構成20]自動運転情報処理方法は、接続ステップと、表示ステップと、入力ステップと、を備える。接続ステップは、自動運転を行うことが可能な作業機械10と通信可能に接続する。表示ステップは、自動運転に関する情報を含む表示画像Gを表示部23oに表示する。入力ステップは、作業者の操作に応じて図1に示す入力部23iで入力された、自動運転に関する情報を取得する。
 上記[構成20]により、作業者は、作業機械10の自動運転に関する情報の確認および入力を容易に行うことができる。
 (第21の発明の効果)
 [構成21]自動運転情報処理プログラムは、接続ステップと、表示ステップと、入力ステップと、コンピュータ(制御部23c)に実行させる。接続ステップは、自動運転を行うことが可能な作業機械10と通信可能に接続する。表示ステップは、自動運転に関する情報を含む表示画像Gを表示部23oに表示する。入力ステップは、作業者の操作に応じて入力部23iで入力された、自動運転に関する情報を取得する。
 上記[構成21]により、作業者は、作業機械10の自動運転に関する情報の確認および入力を容易に行うことができる。
 (変形例)
 上記実施形態は様々に変形されてもよい。例えば、上記実施形態の構成要素(表示画像Gの各部分など)(変形例を含む)の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、上記実施形態の変形例どうしが様々に組み合わされてもよい。例えば、構成要素の配置は変更されてもよい。例えば、構成要素の包含関係は様々に変更されてもよい。例えば、ある上位の構成要素に含まれる下位の構成要素として説明したものが、この上位の構成要素に含まれなくてもよく、他の構成要素に含まれてもよい。例えば、互いに異なる複数の部材や部分として説明したものが、一つの部材や部分とされてもよい。例えば、一つの部材や部分として説明したものが、互いに異なる複数の部材や部分に分けて設けられてもよい。例えば、表示画像Gの遷移の順序が変更されてもよい。例えば、互いに異なる画面の構成要素として説明した要素が、同一の画面に表示されてもよい。例えば、各構成要素は、各特徴(作用機能、配置、形状、作動など)の一部のみを有してもよい。
 10 作業機械
 13b 状態表示装置
 20 自動運転情報処理装置
 23c 制御部
 23i 入力部
 23o 表示部
 A 作業選択部
 B 機能選択部
 F2A3 機械状態表示部
 F3B4、F13A2 全機停止選択部
 F11A1 状況表示部
 G 表示画像
 M 主表示領域
 P 作業フェーズ
 PD 作業フェーズ表示部
 SS 作動速度設定部
 SP1 第1速度表示状態
 SP2 第2速度表示状態
 T 機械選択部

Claims (21)

  1.  自動運転を行うことが可能な作業機械と通信可能に接続される自動運転情報処理装置であって、
     前記自動運転に関する情報を含む表示画像を表示する表示部と、
     作業者の操作に応じて、前記自動運転に関する情報が入力される入力部と、
     を備える、
     自動運転情報処理装置。
  2.  請求項1に記載の自動運転情報処理装置であって、
     前記表示画像は、
     前記作業機械が前記自動運転で行う作業の種類ごとに表示され、前記作業の種類を前記入力部により選択可能に表示される作業選択部
     を備える、
     自動運転情報処理装置。
  3.  請求項2に記載の自動運転情報処理装置であって、
     前記作業選択部の表示は、前記作業の種類ごとの接続済みの前記作業機械の数に応じて、前記作業の種類ごとに変わる、
     自動運転情報処理装置。
  4.  請求項2または3に記載の自動運転情報処理装置であって、
     前記表示画像は、
     前記作業選択部で選択された前記作業の種類に対応した複数の機能ごとに表示され、前記複数の機能を前記入力部により選択可能に表示される機能選択部
     を備える、
     自動運転情報処理装置。
  5.  請求項1~4のいずれか1項に記載の自動運転情報処理装置であって、
     前記表示画像は、
     前記作業機械ごとに表示され、前記作業機械を前記入力部により選択可能に表示される機械選択部と、
     前記機械選択部で選択された前記作業機械に関する情報を表示し、前記表示部の表示領域のうち前記機械選択部とは異なる領域である主表示領域と、
     を備える、
     自動運転情報処理装置。
  6.  請求項5に記載の自動運転情報処理装置であって、
     前記機械選択部の画像は、前記作業機械の状態に応じて変わる、
     自動運転情報処理装置。
  7.  請求項6に記載の自動運転情報処理装置であって、
     前記機械選択部の画像は、前記自動運転が実行中である状態、前記自動運転が正常に終了した状態、および、前記作業機械が非常停止した状態の少なくともいずれかに応じて変わる、
     自動運転情報処理装置。
  8.  請求項6または7に記載の自動運転情報処理装置であって、
     前記機械選択部の画像は、前記作業機械の状態が変化した後、状態が変化した前記作業機械に対応する前記機械選択部が選択されていない場合と選択された場合とで変わる、
     自動運転情報処理装置。
  9.  請求項1~8のいずれか1項に記載の自動運転情報処理装置であって、
     前記自動運転は、作業者が前記作業機械を操作することで設定される教示データに基づいて行われ、
     前記表示画像は、
     前記教示データにおける前記作業機械の作動速度を含む複数段階の作動速度から、前記自動運転での作動速度を、前記入力部により設定可能に表示される作動速度設定部
     を備える、
     自動運転情報処理装置。
  10.  請求項9に記載の自動運転情報処理装置であって、
     前記複数段階の作動速度のうち最も速い段階の作動速度は、前記教示データにおける前記作業機械の作動速度である、
     自動運転情報処理装置。
  11.  請求項9または10に記載の自動運転情報処理装置であって、
     1サイクルの前記自動運転は、複数の作業フェーズを含み、
     前記作動速度設定部は、前記自動運転での作動速度を前記作業フェーズごとに設定可能に表示される、
     自動運転情報処理装置。
  12.  請求項11に記載の自動運転情報処理装置であって、
     前記表示画像は、
     前記複数の作業フェーズのそれぞれの複数段階の作動速度のすべての段階を表示する第1速度表示状態と、
     前記複数の作業フェーズの少なくとも一部の前記作業フェーズで、前記作動速度設定部で設定された段階のみの作動速度を表示する第2速度表示状態と、
     に切り替わる、
     自動運転情報処理装置。
  13.  請求項1~12のいずれか1項に記載の自動運転情報処理装置であって、
     1サイクルの前記自動運転は、複数の作業フェーズを含み、
     前記表示画像は、前記作業機械が行っている作業が、どの前記作業フェーズであるかを表示する作業フェーズ表示部を備える、
     自動運転情報処理装置。
  14.  請求項1~13のいずれか1項に記載の自動運転情報処理装置であって、
     前記表示画像は、接続済みのすべての前記作業機械を非常停止させる全機停止選択部を備える、
     自動運転情報処理装置。
  15.  請求項14に記載の自動運転情報処理装置であって、
     前記全機停止選択部は、1回のみの操作により、接続済みのすべての前記作業機械を非常停止させる、
     自動運転情報処理装置。
  16.  請求項14または15に記載の自動運転情報処理装置であって、
     前記全機停止選択部は、前記作業機械が接続されているときに常に、前記表示画像の一部の特定位置に表示される、
     自動運転情報処理装置。
  17.  請求項1~16のいずれか1項に記載の自動運転情報処理装置であって、
     前記表示画像は、前記作業機械の状態を表示する機械状態表示部を備え、
     前記機械状態表示部の画像は、実機の前記作業機械に搭載されるとともに前記作業機械の状態を表示する状態表示装置の表示に連動する、
     自動運転情報処理装置。
  18.  請求項1~17のいずれか1項に記載の自動運転情報処理装置であって、
     前記表示画像は、第一画面と、第二画面と、を切り替えて表示可能であり、
     前記第二画面に表示される前記自動運転に関する情報は、前記第一画面に表示される前記自動運転に関する情報の一部のみを含む、
     自動運転情報処理装置。
  19.  請求項18に記載の自動運転情報処理装置であって、
     前記第二画面は、前記自動運転に関する状況を表示する状況表示部を備え、
     前記状況表示部が表示する前記状況は、
     前記作業機械が前記自動運転による作業中であることと、
     前記作業機械が待機中であることと、
     前記作業機械が非常停止中であることと、
     を含む、
     自動運転情報処理装置。
  20.  自動運転を行うことが可能な作業機械と通信可能に接続する接続ステップと、
     前記自動運転に関する情報を含む表示画像を表示部に表示する表示ステップと、
     作業者の操作に応じて入力部で入力された、前記自動運転に関する情報を取得する入力ステップと、
     を備える、
     自動運転情報処理方法。
  21.  自動運転を行うことが可能な作業機械と通信可能に接続する接続ステップと、
     前記自動運転に関する情報を含む表示画像を表示部に表示させる表示ステップと、
     作業者の操作に応じて入力部で入力された、前記自動運転に関する情報を取得する入力ステップと、
     をコンピュータに実行させる、
     自動運転情報処理プログラム。
PCT/JP2023/033963 2022-09-21 2023-09-19 自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラム WO2024063060A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022-150258 2022-09-21
JP2022150258 2022-09-21
JP2023-031113 2023-03-01
JP2023031113 2023-03-01

Publications (1)

Publication Number Publication Date
WO2024063060A1 true WO2024063060A1 (ja) 2024-03-28

Family

ID=90454577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/033963 WO2024063060A1 (ja) 2022-09-21 2023-09-19 自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2024063060A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11181820A (ja) * 1997-12-18 1999-07-06 Kobe Steel Ltd 油圧作業機械の自動運転装置
JP2001125645A (ja) * 1999-08-19 2001-05-11 Fujita Corp 作業機械
WO2019172424A1 (ja) * 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
WO2021020464A1 (ja) * 2019-07-31 2021-02-04 住友重機械工業株式会社 ショベル

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11181820A (ja) * 1997-12-18 1999-07-06 Kobe Steel Ltd 油圧作業機械の自動運転装置
JP2001125645A (ja) * 1999-08-19 2001-05-11 Fujita Corp 作業機械
WO2019172424A1 (ja) * 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
WO2021020464A1 (ja) * 2019-07-31 2021-02-04 住友重機械工業株式会社 ショベル

Similar Documents

Publication Publication Date Title
US8437920B2 (en) Dual monitor information display system and method for an excavator
US7010367B2 (en) Operator interface for a work machine
CN111788358B (zh) 挖土机
JP2016194237A (ja) 作業機械
WO2024063060A1 (ja) 自動運転情報処理装置、自動運転情報処理方法、および、自動運転情報処理プログラム
JP2024026790A (ja) 建設機械の制御方法
WO2021059730A1 (ja) 動作教示システム
WO2023084996A1 (ja) 管理システム
JP2002128463A (ja) 建設機械のモニタ装置
WO2022080027A1 (ja) 作業車両
JP2019151142A (ja) 周辺監視装置、作業機械、周辺監視の制御方法及び表示装置
WO2020166673A1 (ja) ショベル
KR20230035397A (ko) 작업 기계의 장애물 통지 시스템 및 작업 기계의 장애물 통지 방법
AU2017218995B2 (en) System and method for swing control
WO2022144060A1 (en) Position detection display method and device interface for backhoes
JP2023074223A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP7438999B2 (ja) 作業機械用表示制御システム、作業機械用表示システム、作業機械、作業機械用表示制御方法及び作業機械用表示制御プログラム
JP2023074224A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
JP2023074222A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
US20230030108A1 (en) Method For Controlling Work Machine, Work Machine Control Program, And Work Machine Control System
US11661722B2 (en) System and method for customized visualization of the surroundings of self-propelled work vehicles
WO2023195489A1 (ja) 建設機械の操作装置及び操作装置を用いた建設機械の操作システム
US20230407603A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
JP2023010087A (ja) 作業機械
KR20230173580A (ko) 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23868181

Country of ref document: EP

Kind code of ref document: A1