WO2023190843A1 - 支援装置、作業機械、プログラム - Google Patents

支援装置、作業機械、プログラム Download PDF

Info

Publication number
WO2023190843A1
WO2023190843A1 PCT/JP2023/013128 JP2023013128W WO2023190843A1 WO 2023190843 A1 WO2023190843 A1 WO 2023190843A1 JP 2023013128 W JP2023013128 W JP 2023013128W WO 2023190843 A1 WO2023190843 A1 WO 2023190843A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
shape
construction
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/013128
Other languages
English (en)
French (fr)
Inventor
竜次 續木
孝介 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to CN202380024944.XA priority Critical patent/CN118829759A/zh
Priority to DE112023001708.5T priority patent/DE112023001708T5/de
Priority to JP2024512781A priority patent/JPWO2023190843A1/ja
Publication of WO2023190843A1 publication Critical patent/WO2023190843A1/ja
Priority to US18/828,239 priority patent/US20250003197A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool

Definitions

  • the present disclosure relates to a support device for a working machine, etc.
  • an acquisition unit that acquires data regarding the shape of a part of the construction target that has already been constructed;
  • An assistance device comprising: an estimation section that estimates a target shape of the construction target based on data acquired by the acquisition section.
  • an acquisition unit that acquires data regarding the shape of a part of the construction target that has already been constructed; an estimation unit that estimates a target shape of the construction target based on the data acquired by the acquisition unit; Working machinery is provided.
  • support equipment an acquisition step of acquiring data regarding the shape of a part of the construction target that has already been constructed; performing an estimation step of estimating a target shape of the construction target based on the data obtained in the acquisition step; program will be provided.
  • data regarding the target shape of the construction target can be acquired more easily.
  • FIG. 2 is a diagram showing an example of a configuration related to remote control of an excavator.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of an excavator. It is a figure which shows typically an example of the estimation method of the target shape of the construction object in slope surface work. It is a figure which shows typically an example of the estimation method of the target shape of the construction object in bed excavation work.
  • FIG. 2 is a functional block diagram showing a first example of a functional configuration related to estimation of a target shape of a construction target.
  • FIG. 2 is a flowchart schematically showing a first example of processing related to estimation of a target shape of a construction target.
  • FIG. 3 is a diagram illustrating an example of display content on a display device, showing a topographical shape around an excavator. It is a figure which shows an example of the display content of a display device showing the estimation result of the target shape of a construction target. It is a figure which shows the estimation result of the target shape of a construction target, and shows another example of the display content of a display device.
  • FIG. 1 is a diagram showing an example of an operation support system.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an information processing device. It is a functional block diagram which shows the 2nd example of the functional structure regarding estimation of the target shape of a construction target.
  • 12 is a flowchart schematically showing a second example of processing related to estimation of a target shape of a construction target.
  • FIG. 1 and 2 are side views showing an example of the shovel 100.
  • FIG. 2 is a top view showing an example of the shovel 100.
  • FIG. 3 is a diagram showing an example of a configuration related to remote control of an excavator.
  • the direction on the shovel 100 or the direction seen from the shovel 100 may be described by defining the direction in which the attachment AT extends (upward direction in FIG. 2) as seen from the top of the shovel 100 as "front".
  • the excavator 100 includes a lower traveling body 1, an upper rotating body 3, an attachment AT including a boom 4, an arm 5, and a bucket 6, and a cabin 10.
  • the lower traveling body 1 causes the excavator 100 to travel using the crawler 1C.
  • the crawler 1C includes a left crawler 1CL and a right crawler 1CR.
  • the crawler 1CL is hydraulically driven by a travel hydraulic motor 1ML.
  • the crawler 1CL is hydraulically driven by a travel hydraulic motor 1MR.
  • the lower traveling body 1 can self-propel.
  • the upper rotating body 3 is rotatably mounted on the lower traveling body 1 via the rotating mechanism 2.
  • the upper rotating structure 3 turns with respect to the lower traveling structure 1 by hydraulically driving the turning mechanism 2 by the turning hydraulic motor 2M.
  • the boom 4 is attached to the center of the front part of the upper revolving body 3 so that it can be raised and raised about a rotation axis along the left-right direction.
  • the arm 5 is attached to the tip of the boom 4 so as to be rotatable about a rotation axis extending in the left-right direction.
  • the bucket 6 is attached to the tip of the arm 5 so as to be rotatable about a rotation axis extending in the left-right direction.
  • the bucket 6 is an example of an end attachment, and is used, for example, in excavation work.
  • the bucket 6 is attached to the tip of the arm 5 in such a manner that it can be replaced as appropriate depending on the work content of the shovel 100. That is, instead of the bucket 6, a bucket of a different type than the bucket 6, such as a relatively large bucket, a slope bucket, a dredging bucket, etc., may be attached to the tip of the arm 5. Further, an end attachment of a type other than the bucket, such as an agitator, a breaker, a crusher, etc., may be attached to the tip of the arm 5. Furthermore, a preliminary attachment such as a quick coupling or a tiltrotator may be provided between the arm 5 and the end attachment.
  • the boom 4, arm 5, and bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively.
  • the cabin 10 is a control room where an operator boards and operates the shovel 100.
  • the cabin 10 is mounted, for example, on the front left side of the upper revolving body 3.
  • the excavator 100 moves the lower traveling body 1 (that is, the pair of left and right crawlers 1CL, 1CR), the upper revolving body 3, the boom 4, the arm 5, the bucket 6, etc. to operate the driven element of.
  • the lower traveling body 1 that is, the pair of left and right crawlers 1CL, 1CR
  • the upper revolving body 3 that is, the pair of left and right crawlers 1CL, 1CR
  • the boom 4 the arm 5, the bucket 6, etc. to operate the driven element of.
  • the shovel 100 may be configured to be remotely controlled from outside the shovel 100.
  • the interior of the cabin 10 may be unmanned. The following description will proceed on the premise that the operator's operations include at least one of an operator's operation on the operating device 26 by an operator in the cabin 10 and a remote control by an external operator.
  • the remote control includes a mode in which the shovel 100 is operated by an operation input regarding the actuator of the shovel 100 performed by the remote control support device 300.
  • the remote operation support device 300 is provided, for example, in a management center or the like that manages the work of the excavator 100 from the outside. Further, the remote operation support device 300 may be a portable operation terminal, in which case the operator can remotely control the excavator 100 while directly checking the working status of the excavator 100 from around the excavator 100. can.
  • the excavator 100 transmits an image representing the surroundings including the front of the excavator 100 (hereinafter referred to as "surrounding image") based on a captured image output by the imaging device 40 (described later) to the remote operation support device through the communication device 60 (described later). 300. Then, the remote operation support device 300 may display the image (surrounding image) received from the excavator 100 on the display device. Further, various information images (information screens) displayed on the output device 50 (display device) inside the cabin 10 of the excavator 100 may be similarly displayed on the display device of the remote operation support device 300.
  • an operator using the remote operation support device 300 can, for example, remotely operate the shovel 100 while checking the display contents such as an image or information screen showing the surroundings of the shovel 100 displayed on the display device. I can do it. Then, the excavator 100 operates the actuators to operate the lower traveling structure 1, the upper rotating structure 3, and the boom 4 in response to a remote control signal indicating the content of the remote control received from the remote control support device 300 through the communication device 60. , arm 5, and bucket 6 may be driven.
  • the remote control may include, for example, a mode in which the shovel 100 is operated by external voice input or gesture input to the shovel 100 by a person (for example, a worker) around the shovel 100.
  • the excavator 100 receives sounds uttered by surrounding workers, etc. through an audio input device (for example, a microphone), a gesture input device (for example, an imaging device), etc. mounted on the excavator 100. Recognizes gestures etc. performed by Then, the excavator 100 operates the actuator according to the content of the recognized voice or gesture, and moves the lower traveling body 1 (left and right crawlers 1C), the upper rotating body 3, the boom 4, the arm 5, the bucket 6, etc.
  • the driven element may also be driven.
  • the excavator 100 may automatically operate the actuator regardless of the contents of the operator's operation.
  • the excavator 100 has a function to automatically operate at least some of the driven elements such as the lower traveling body 1, the upper revolving body 3, the boom 4, the arm 5, and the bucket 6 (“automatic operation function” or “MC (Machine Control function).
  • the automatic operation function includes, for example, a function that automatically operates a driven element (actuator) other than the driven element (actuator) to be operated in response to an operator's operation on the operating device 26 or remote control (a "semi-automatic operation function”). ” or “operation support type MC function”). Furthermore, the automatic operation function includes a function that automatically operates at least a part of a plurality of driven elements (actuators) on the premise that there is no operator operation on the operating device 26 or remote control (a "fully automatic operation function” or a "full automatic operation function”). Fully automatic MC function) may be included. In the excavator 100, when the fully automatic driving function is enabled, the interior of the cabin 10 may be unmanned.
  • the semi-automatic driving function, fully automatic driving function, etc. may include a mode in which the operation details of a driven element (actuator) that is a target of automatic driving are automatically determined according to predefined rules.
  • the excavator 100 autonomously makes various judgments, and based on the judgment results, autonomously determines the operation of the driven element (actuator) that is the target of automatic driving. (“autonomous driving function") may be included.
  • a remote monitoring support device having the same functions as remote operation support device 300 may be provided.
  • the remote monitoring support device is, for example, the information processing device 200 described below.
  • the supervisor who is the user of the remote monitoring support device can monitor the working status of the excavator 100 while checking the peripheral image displayed on the display device of the remote monitoring support device. For example, if the supervisor determines that it is necessary from a safety perspective, the supervisor may intervene in the operator's operation of the excavator 100 and bring it to an emergency stop by inputting a predetermined input using the input device of the remote monitoring support device. be able to.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the shovel 100.
  • the path through which mechanical power is transmitted is a double line
  • the path through which high-pressure hydraulic oil that drives the hydraulic actuator flows is a solid line
  • the path through which pilot pressure is transmitted is a broken line
  • the path through which electrical signals are transmitted is shown. Each route is indicated by a dotted line.
  • the excavator 100 includes a hydraulic drive system for hydraulically driving the driven elements, an operation system for operating the driven elements, a user interface system for exchanging information with the user, a communication system for communicating with the outside, a control system for various controls, etc. Contains each component of.
  • the hydraulic drive system of the excavator 100 includes hydraulic pressure for hydraulically driving each of the driven elements such as the lower traveling body 1 (left and right crawlers 1C), the upper rotating body 3, and the attachment AT, as described above. Includes actuator HA. Further, the hydraulic drive system of the excavator 100 according to the present embodiment includes an engine 11, a regulator 13, a main pump 14, and a control valve 17.
  • the hydraulic actuator HA includes travel hydraulic motors 1ML and 1MR, a swing hydraulic motor 2M, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, and the like.
  • the excavator 100 part or all of the hydraulic actuator HA may be replaced with an electric actuator.
  • the excavator 100 may be a hybrid excavator or an electric excavator.
  • the engine 11 is the prime mover of the excavator 100 and is the main power source in the hydraulic drive system.
  • the engine 11 is, for example, a diesel engine that uses light oil as fuel.
  • the engine 11 is mounted, for example, at the rear of the upper revolving structure 3.
  • the engine 11 rotates at a predetermined target rotation speed under direct or indirect control by a controller 30, which will be described later, and drives the main pump 14 and the pilot pump 15.
  • the regulator 13 controls (adjusts) the discharge amount of the main pump 14 under the control of the controller 30.
  • the regulator 13 adjusts the angle of the swash plate (hereinafter referred to as "tilt angle") of the main pump 14 in accordance with a control command from the controller 30.
  • the main pump 14 supplies hydraulic oil to the control valve 17 through a high-pressure hydraulic line.
  • the main pump 14 is, for example, mounted at the rear of the upper revolving structure 3, like the engine 11.
  • the main pump 14 is driven by the engine 11 as described above.
  • the main pump 14 is, for example, a variable displacement hydraulic pump, and as described above, the stroke length of the piston is adjusted by adjusting the tilt angle of the swash plate by the regulator 13 under the control of the controller 30, and the stroke length of the piston is adjusted.
  • the flow rate and discharge pressure are controlled.
  • the control valve 17 drives the hydraulic actuator HA in accordance with the contents of the operator's operation on the operating device 26 or remote control, or the operation command corresponding to the automatic operation function.
  • the control valve 17 is mounted, for example, in the center of the upper revolving body 3.
  • the control valve 17 is connected to the main pump 14 via a high-pressure hydraulic line, and controls the hydraulic fluid supplied from the main pump 14 according to an operator's operation or an operation command corresponding to an automatic operation function. , selectively supplying each hydraulic actuator.
  • the control valve 17 includes a plurality of control valves (also referred to as "direction switching valves") that control the flow rate and flow direction of the hydraulic oil supplied from the main pump 14 to each of the hydraulic actuators HA.
  • the operating system of the excavator 100 includes a pilot pump 15, an operating device 26, a hydraulic control valve 31, a shuttle valve 32, and a hydraulic control valve 33.
  • the pilot pump 15 supplies pilot pressure to various hydraulic devices via the pilot line 25.
  • the pilot pump 15 is, for example, mounted at the rear of the upper revolving structure 3, like the engine 11.
  • the pilot pump 15 is, for example, a fixed capacity hydraulic pump, and is driven by the engine 11 as described above.
  • pilot pump 15 may be omitted.
  • the relatively high pressure hydraulic oil discharged from the main pump 14 may be reduced in pressure by a predetermined pressure reducing valve, and then the relatively low pressure hydraulic oil may be supplied as pilot pressure to various hydraulic devices.
  • the operating device 26 is provided near the cockpit of the cabin 10 and is used by the operator to operate various driven elements. Specifically, the operating device 26 is used for an operator to operate the hydraulic actuator HA that drives each driven element, and as a result, the operator operates the driven element to be driven by the hydraulic actuator HA. can be realized.
  • the operating device 26 includes a pedal device and a lever device for operating each driven element (hydraulic actuator HA).
  • the operating device 26 is of a hydraulic pilot type. Specifically, the operating device 26 utilizes hydraulic oil supplied from the pilot pump 15 through the pilot line 25 and a pilot line 25A branching from the pilot line 25, and applies pilot pressure according to the operation content to the pilot line 27A on the secondary side. Output to. Pilot line 27A is connected to one inlet port of shuttle valve 32 and connected to control valve 17 via pilot line 27, which is connected to an outlet port of shuttle valve 32. Thereby, a pilot pressure can be input to the control valve 17 via the shuttle valve 32 in accordance with the operation contents regarding various driven elements (hydraulic actuator HA) in the operating device 26. Therefore, the control valve 17 can drive each hydraulic actuator HA according to the operation performed on the operating device 26 by an operator or the like.
  • the operating device 26 may be electrical.
  • the pilot line 27A, shuttle valve 32, and hydraulic control valve 33 are omitted.
  • the operating device 26 outputs an electrical signal (hereinafter referred to as an "operating signal") according to the content of the operation, and the operating signal is taken into the controller 30.
  • the controller 30 outputs a control command according to the content of the operation signal, that is, a control signal according to the content of the operation on the operating device 26 to the hydraulic control valve 31.
  • pilot pressure corresponding to the operation details of the operating device 26 is inputted from the hydraulic control valve 31 to the control valve 17, and the control valve 17 drives each hydraulic actuator HA according to the operation details of the operating device 26. be able to.
  • control valves built into the control valve 17 and driving the respective hydraulic actuators HA may be of an electromagnetic solenoid type.
  • the operation signal output from the operation device 26 may be directly input to the control valve 17, that is, to an electromagnetic solenoid type control valve.
  • part or all of the hydraulic actuator HA may be replaced with an electric actuator.
  • the controller 30 may output a control command according to the operation content of the operating device 26 or the remote control content specified by the remote control signal to the electric actuator or a driver driving the electric actuator.
  • the operating device 26 may be omitted.
  • the hydraulic control valve 31 is provided for each driven element (hydraulic actuator HA) to be operated by the operating device 26 and for each drive direction of the driven element (hydraulic actuator HA) (for example, the raising direction and lowering direction of the boom 4). . That is, two hydraulic control valves 31 are provided for each double-acting hydraulic actuator HA.
  • the hydraulic control valve 31 is provided, for example, in the pilot line 25B between the pilot pump 15 and the control valve 17, and is configured to be able to change its flow path area (that is, the cross-sectional area through which hydraulic oil can flow). good. Thereby, the hydraulic control valve 31 can output a predetermined pilot pressure to the secondary side pilot line 27B using the hydraulic oil of the pilot pump 15 supplied through the pilot line 25B.
  • the hydraulic control valve 31 can indirectly apply a predetermined pilot pressure according to the control signal from the controller 30 to the control valve 17 through the shuttle valve 32 between the pilot line 27B and the pilot line 27. . Therefore, the controller 30 can cause the hydraulic control valve 31 to supply pilot pressure to the control valve 17 according to the operation command corresponding to the automatic operation function, thereby realizing operation of the excavator 100 according to the automatic operation function.
  • the controller 30 may control the hydraulic control valve 31 to realize remote control of the excavator 100, for example. Specifically, the controller 30 outputs to the hydraulic control valve 31 a control signal corresponding to the content of the remote operation specified by the remote operation signal received from the remote operation support device 300, using the communication device 60. Thereby, the controller 30 can cause the hydraulic control valve 31 to supply pilot pressure corresponding to the content of the remote control to the control valve 17, and realize the operation of the shovel 100 based on the operator's remote control.
  • the controller 30 causes the hydraulic control valve 31 to directly supply pilot pressure according to the operation details (operation signal) of the operating device 26 to the control valve 17, and The operation of the excavator 100 based on the above can be realized.
  • the shuttle valve 32 has two inlet ports and one outlet port, and outputs the hydraulic oil having the higher pilot pressure of the pilot pressures input to the two inlet ports to the outlet port.
  • the shuttle valve 32 is provided for each driven element (hydraulic actuator HA) to be operated by the operating device 26 and for each drive direction of the driven element (hydraulic actuator HA).
  • One of the two inlet ports of the shuttle valve 32 is connected to the pilot line 27A on the secondary side of the operating device 26 (specifically, the above-mentioned lever device or pedal device included in the operating device 26), and the other is It is connected to the pilot line 27B on the secondary side of the hydraulic control valve 31.
  • the outlet port of shuttle valve 32 is connected to the pilot port of the corresponding control valve of control valve 17 through pilot line 27 .
  • the corresponding control valve is a control valve that drives a hydraulic actuator that is operated by the above-mentioned lever device or pedal device connected to one inlet port of the shuttle valve 32. Therefore, these shuttle valves 32 each control the higher of the pilot pressure in the pilot line 27A on the secondary side of the operating device 26 and the pilot pressure on the pilot line 27B on the secondary side of the hydraulic control valve 31, respectively. It can act on the pilot port of the control valve.
  • the controller 30 controls the corresponding control valve by causing the hydraulic control valve 31 to output a pilot pressure higher than the pilot pressure on the secondary side of the operating device 26, regardless of the operator's operation on the operating device 26. be able to. Therefore, the controller 30 controls the operation of the driven elements (lower traveling structure 1, upper rotating structure 3, attachment AT) regardless of the operation state of the operating device 26 by the operator, and realizes a remote control function and an automatic driving function. can do.
  • the hydraulic control valve 33 is provided in the pilot line 27A that connects the operating device 26 and the shuttle valve 32.
  • the hydraulic control valve 33 is configured to be able to change its flow path area, for example.
  • the hydraulic control valve 33 operates according to a control signal input from the controller 30.
  • the controller 30 can forcibly reduce the pilot pressure output from the operating device 26 when the operating device 26 is being operated by the operator. Therefore, even when the operating device 26 is being operated, the controller 30 can forcibly suppress or stop the operation of the hydraulic actuator corresponding to the operation of the operating device 26.
  • the controller 30 can reduce the pilot pressure output from the operating device 26 to be lower than the pilot pressure output from the hydraulic control valve 31, for example, even when the operating device 26 is being operated. I can do it.
  • the controller 30 applies a desired pilot pressure to the pilot port of the control valve in the control valve 17, for example, regardless of the operation details of the operating device 26. It can be made to work reliably. Therefore, by controlling the hydraulic control valve 33 in addition to the hydraulic control valve 31, for example, the controller 30 can more appropriately realize the remote control function and automatic operation function of the excavator 100.
  • the user interface system of excavator 100 includes an operating device 26, an output device 50, and an input device 52.
  • the output device 50 outputs various information to the user of the excavator 100 (for example, the operator in the cabin 10 or an external remote control operator) and the people around the excavator 100 (for example, a worker or a driver of a work vehicle). Output.
  • the output device 50 includes a lighting device and a display device 50A (see FIG. 5) that output various information in a visual manner.
  • the lighting equipment is, for example, a warning light (indicator lamp) or the like.
  • the display device 50A is, for example, a liquid crystal display or an organic EL (Electroluminescence) display.
  • lighting equipment and a display device 50A may be provided inside the cabin 10 and output various information visually to an operator inside the cabin 10.
  • the lighting equipment and the display device 50A may be provided, for example, on the side surface of the revolving upper structure 3, and may output various information visually to workers and the like around the excavator 100.
  • the output device 50 includes a sound output device that outputs various information in an auditory manner.
  • the sound output device includes, for example, a buzzer, a speaker, and the like.
  • the sound output device is, for example, provided inside or outside the cabin 10 and outputs various information audibly to the operator inside the cabin 10 and the people (workers, etc.) around the excavator 100. good.
  • the output device 50 may include a device that outputs various information using a tactile method such as vibration of the cockpit.
  • the input device 52 accepts various inputs from the user of the excavator 100, and signals corresponding to the accepted inputs are taken into the controller 30.
  • the input device 52 is provided inside the cabin 10 , for example, and receives input from an operator inside the cabin 10 . Further, the input device 52 may be provided, for example, on a side surface of the revolving upper structure 3, and may receive input from a worker or the like around the excavator 100.
  • the input device 52 includes an operation input device that accepts mechanical input from the user.
  • the operation input device may include a touch panel mounted on the display device, a touch pad installed around the display device, a button switch, a lever, a toggle, a knob switch provided on the operation device 26 (lever device), etc. .
  • the input device 52 may include a voice input device that accepts voice input from the user.
  • the audio input device includes, for example, a microphone.
  • the input device 52 may include a gesture input device that accepts gesture input from the user.
  • the gesture input device includes, for example, an imaging device that captures an image of a gesture performed by a user.
  • the input device 52 may include a biometric input device that receives biometric input from the user.
  • the biometric input includes, for example, input of biometric information such as a user's fingerprint or iris.
  • the communication system of the excavator 100 includes a communication device 60.
  • the communication device 60 is connected to an external communication line and communicates with a device provided separately from the excavator 100.
  • Devices provided separately from the excavator 100 may include devices external to the excavator 100 as well as portable terminal devices (portable terminals) brought into the cabin 10 by the user of the excavator 100.
  • the communication device 60 may include, for example, a mobile communication module that complies with standards such as 4G ( 4th Generation) and 5G ( 5th Generation). Further, the communication device 60 may include, for example, a satellite communication module. Further, the communication device 60 may include, for example, a WiFi communication module, a Bluetooth (registered trademark) communication module, or the like. Furthermore, the communication device 60 may include a plurality of communication devices depending on the communication lines to be connected.
  • the communication device 60 communicates with external devices such as the information processing device 200 and the remote operation support device 300 in the work site through a local communication line built at the work site.
  • the local communication line is, for example, a local 5G (so-called local 5G) mobile communication line built at a work site or a local area network (LAN) using WiFi 6.
  • the communication device 60 communicates with an information processing device 200, a remote operation support device 300, etc. located outside the work site through a wide area communication line that includes the work site, that is, a wide area network (WAN).
  • a wide area network includes, for example, a wide area mobile communication network, a satellite communication network, an Internet network, and the like.
  • the control system of excavator 100 includes a controller 30. Further, the control system of the excavator 100 according to the present embodiment includes an operating pressure sensor 29, an imaging device 40, and sensors S1 to S5.
  • the controller 30 performs various controls regarding the shovel 100.
  • the controller 30 may be realized by arbitrary hardware or a combination of arbitrary hardware and software.
  • the controller 30 includes an auxiliary storage device 30A, a memory device 30B, a CPU (Central Processing Unit) 30C, and an interface device 30D, which are connected via a bus B1.
  • auxiliary storage device 30A a memory device 30B
  • CPU Central Processing Unit
  • interface device 30D an interface device 30D
  • the auxiliary storage device 30A is a non-volatile storage means, and stores installed programs as well as necessary files, data, etc.
  • the auxiliary storage device 30A is, for example, an EEPROM (Electrically Erasable Programmable Read-Only Memory) or a flash memory.
  • the memory device 30B loads the program in the auxiliary storage device 30A so that it can be read by the CPU 30C.
  • the memory device 30B is, for example, an SRAM (Static Random Access Memory).
  • the CPU 30C executes a program loaded into the memory device 30B, and implements various functions of the controller 30 according to instructions of the program.
  • the interface device 30D functions as a communication interface for connecting to a communication line inside the excavator 100, for example.
  • the interface device 30D may include a plurality of different types of communication interfaces depending on the type of communication line to be connected.
  • the interface device 30D functions as an external interface for reading data from and writing data to the recording medium.
  • the recording medium is, for example, a dedicated tool that is connected to a connector installed inside the cabin 10 with a detachable cable.
  • the recording medium may be a general-purpose recording medium such as an SD memory card or a USB (Universal Serial Bus) memory.
  • programs for realizing various functions of the controller 30 can be provided by, for example, a portable recording medium and installed in the auxiliary storage device 30A of the controller 30. Further, the program may be downloaded from another computer outside the excavator 100 through the communication device 60 and installed in the auxiliary storage device 30A.
  • controller 30 may be realized by another controller (control device). That is, the functions of the controller 30 may be realized in a distributed manner by a plurality of controllers.
  • the operating pressure sensor 29 detects the pilot pressure on the secondary side (pilot line 27A) of the hydraulic pilot type operating device 26, that is, the pilot pressure corresponding to the operating state of each driven element (hydraulic actuator) in the operating device 26. To detect. A detection signal of pilot pressure corresponding to the operating state of each driven element (hydraulic actuator HA) in the operating device 26 by the operating pressure sensor 29 is taken into the controller 30.
  • the operating device 26 is an electric type, the operating pressure sensor 29 is omitted. This is because the controller 30 can grasp the operating state of each driven element through the operating device 26 based on the operating signal taken in from the operating device 26.
  • the imaging device 40 acquires images around the excavator 100.
  • the imaging device 40 also generates three-dimensional data (hereinafter simply referred to as "the object's three-dimensional shape") representing the position and external shape of the object around the shovel 100 within the imaging range (angle of view) based on the acquired image and distance-related data described below. "original data”) may be obtained (generated).
  • the three-dimensional data of objects around the shovel 100 is, for example, coordinate information data of a point group representing the surface of the object, distance image data, and the like.
  • the imaging device 40 includes a camera 40F that images the front of the upper revolving structure 3, a camera 40B that images the rear of the upper revolving structure 3, and a camera 40L that images the left side of the upper revolving structure 3. , and a camera 40R that images the right side of the upper rotating body 3.
  • the imaging device 40 can image the entire circumference of the excavator 100, that is, the range covering the angular direction of 360 degrees, when the excavator 100 is viewed from above.
  • the operator visually recognizes peripheral images such as captured images of the cameras 40B, 40L, and 40R and processed images generated based on the captured images through the output device 50 (display device 50A) and the display device for remote control. The left, right, and rear sides of the rotating body 3 can be confirmed.
  • the operator can check the operation of the attachment AT including the bucket 6 by visually checking peripheral images such as images captured by the camera 40F and processed images generated based on the captured images through the remote control display device.
  • the excavator 100 can be remotely controlled.
  • the cameras 40F, 40B, 40L, and 40R may be collectively or individually referred to as "camera 40X.”
  • the camera 40X is, for example, a monocular camera.
  • the camera 40X acquires data regarding distance (depth) in addition to two-dimensional images, such as a stereo camera, a TOF (Time Of Flight) camera, etc. (hereinafter collectively referred to as a "3D camera"). It may be possible.
  • Output data (for example, image data, three-dimensional data of objects around the excavator 100, etc.) of the imaging device 40 (camera 40X) is taken into the controller 30 through a one-to-one communication line or an in-vehicle network.
  • the controller 30 can monitor objects around the excavator 100 based on the output data of the camera 40X.
  • the controller 30 can determine the surrounding environment of the excavator 100 based on the output data of the camera 40X.
  • the controller 30 can determine the posture state of the attachment AT shown in the captured image based on the output data of the camera 40X (camera 40F).
  • the controller 30 can determine the attitude state of the body of the excavator 100 (the upper revolving body 3) based on the output data of the camera 40X, with reference to objects around the excavator 100.
  • the cameras 40F, 40B, 40L, and 40R may be omitted.
  • the camera 40F and the camera 40L may be omitted. This is because it is relatively easy for the operator in the cabin 10 to check the front and left side of the excavator 100.
  • a distance sensor may be provided in the upper revolving body 3. The distance sensor is attached to the upper part of the upper revolving body 3, for example, and acquires data regarding the distance and direction of surrounding objects with respect to the shovel 100 as a reference.
  • the distance sensor may acquire (generate) three-dimensional data (for example, coordinate information data of a point group) of objects around the shovel 100 within the sensing range based on the acquired data.
  • the distance sensor is, for example, LIDAR (Light Detection and Ranging).
  • the distance sensor may be, for example, a millimeter wave radar, an ultrasonic sensor, an infrared sensor, or the like.
  • the sensor S1 is attached to the boom 4 and detects the attitude angle (hereinafter referred to as "boom angle") around the rotation axis of the base end corresponding to the connection part of the boom 4 with the upper revolving structure 3.
  • the sensor S1 includes, for example, a rotary potentiometer, a rotary encoder, an acceleration sensor, an angular acceleration sensor, a 6-axis sensor, an IMU (Inertial Measurement Unit), and the like.
  • the same may be applied to the sensor S2 and the sensor S4.
  • the sensor S1 may include a cylinder sensor that detects the extended/contracted position of the boom cylinder 7.
  • a detection signal of the boom angle by the sensor S1 is taken into the controller 30. Thereby, the controller 30 can grasp the attitude state of the boom 4.
  • the sensor S2 is attached to the arm 5 and detects the posture angle (hereinafter referred to as "arm angle") around the rotation axis of the base end of the arm 5, which corresponds to the connection part with the boom 4.
  • the arm angle detection signal from the sensor S2 is taken into the controller 30. Thereby, the controller 30 can grasp the posture state of the arm 5.
  • the sensor S3 is attached to the bucket 6 and detects the attitude angle (hereinafter referred to as "arm angle") around the rotation axis of the base end corresponding to the connection part with the arm 5 of the bucket 6.
  • a detection signal of the arm angle by the sensor S3 is taken into the controller 30. Thereby, the controller 30 can grasp the attitude state of the bucket 6.
  • the sensor S4 detects the inclination state of the aircraft body (for example, the upper rotating body 3) with respect to a predetermined reference plane (for example, a horizontal plane).
  • the sensor S4 is attached to the revolving upper structure 3, and measures the inclination angle of the excavator 100 (i.e., the revolving upper structure 3) about two axes in the front-rear direction and the left-right direction (hereinafter, "front-rear inclination angle” and “lateral inclination angle”). ”) is detected.
  • a detection signal corresponding to the inclination angle (front/rear inclination angle and left/right inclination angle) detected by the sensor S ⁇ b>4 is taken into the controller 30 . Thereby, the controller 30 can grasp the tilting state of the aircraft body (upper rotating body 3).
  • the sensor S5 is attached to the revolving upper structure 3 and outputs detection information regarding the turning state of the revolving upper structure 3.
  • the sensor S5 detects, for example, the turning angular velocity and turning angle of the upper rotating body 3.
  • the sensor S5 includes, for example, a gyro sensor, a resolver, a rotary encoder, and the like. Detection information regarding the turning state detected by the sensor S5 is taken into the controller 30. Thereby, the controller 30 can grasp the turning state such as the turning angle of the upper rotating body 3.
  • the senor S4 includes a gyro sensor, a 6-axis sensor, an IMU, etc. that can detect angular velocity around three axes
  • the turning state for example, turning angular velocity
  • sensor S5 may be omitted.
  • at least some of the sensors S1 to S5 may be omitted.
  • target shape estimation function [Overview of target shape estimation function]
  • FIG. 5 is a diagram schematically showing an example of a method for estimating the target shape of a construction target in slope work.
  • FIG. 6 is a diagram schematically showing an example of a method for estimating a target shape in bed excavation work.
  • the construction target is an object that the excavator 100 forms on the ground or the like through construction work.
  • the construction work includes, for example, slope work, floor digging work, land leveling work, and the like.
  • the construction targets include, for example, horizontal surfaces, slopes, ditches, and embankments.
  • the target shape of the construction target is the target shape of the construction target that is expected to be finally realized by the work of the excavator 100.
  • the target shape of the construction target is, for example, a target construction surface formed as a plane. Further, the target shape of the construction target may be a target construction surface formed by a curved surface with a predetermined curvature.
  • the shovel 100 (controller 30) estimates the target shape of the construction target based on the shape of a part of the construction target that has been constructed by the operation of the shovel by a skilled person.
  • the estimated target shape of the construction target may be the entire target shape of the construction target, or the target shape of a partial area of the construction target that is wider than some of the areas that have already been constructed. It's okay.
  • the shovel used by the skilled person for construction work on the target may be the shovel 100 or another shovel different from the shovel 100.
  • the expert is, for example, an operator who has relatively long experience in operating a shovel and has a relatively high level of experience in operating a shovel.
  • a partially constructed area 501 of the slope to be constructed is formed.
  • the area 501 is constructed in advance based on the operation of a shovel by a skilled person.
  • the excavator 100 uses the imaging device 40 to image the shape of the region 501, and acquires shape data of the region 501 based on the output of the imaging device 40.
  • the excavator 100 (controller 30) estimates a target construction surface 502 corresponding to the target shape of the construction target based on the shape data of the area 501.
  • the controller 30 estimates the target construction surface 502 by extending the planar shape of the region 501 in the width direction of the slope, or by duplicating and arranging them in the width direction, and acquires data regarding the target construction surface 502. .
  • this estimation method may be referred to as a "first estimation method" for the target shape of the work object.
  • the controller 30 performs machine learning using a teacher data set that is a combination of data on the shape of a part of the slope to be constructed that has already been constructed and data on the shape of the target construction surface of the slope to be constructed.
  • a trained model may also be used.
  • the controller 30 estimates the target construction surface 502 based on the output data of the learned model by applying the shape data of the region 501 as input data to the trained model, and the data of the target construction surface 502. can be obtained.
  • the groove 601 is constructed in advance based on the operation of a shovel by a skilled person.
  • the excavator 100 uses the imaging device 40 to image the shape of the groove 601, and acquires shape data of the groove 601 based on the output of the imaging device 40.
  • the shovel 100 estimates a target construction surface 602 corresponding to the target shape of the groove to be constructed based on the shape data of the groove 601.
  • the target construction surface 602 includes a target construction surface corresponding to the side surfaces at both ends in the width direction of the groove, a target construction surface corresponding to the side surfaces at both ends in the length direction of the groove, and a target construction surface corresponding to the bottom of the groove.
  • the controller 30 estimates the target construction surface 602 using the first estimation method. Specifically, the controller 30 creates the target construction surface 602 by extending the shape of the side surfaces at both widthwise ends of the groove 601 in the length direction of the groove to be constructed, or by duplicating and arranging them in the length direction. The target construction surface corresponding to the side surfaces at both ends in the width direction of the groove may be estimated. In addition, the controller 30 extends the shape of the bottom of the groove 601 in the length direction of the groove to be constructed, or duplicates and arranges them in the length direction, so that the shape corresponds to the bottom of the groove in the target construction surface 602. The target construction surface may be estimated.
  • the controller 30 also adjusts the length of the groove on the target construction surface 602 by using the shape of both end faces in the length direction of the groove 601 as is or by offsetting the position in the length direction of the groove to be constructed.
  • the target construction surface corresponding to the side surfaces at both ends in the horizontal direction may be estimated.
  • the controller 30 may estimate the target construction surface 602 using a second estimation method. Specifically, the controller 30 performs machine learning using a teacher data set that is a combination of data on the shape of a part of the groove to be constructed that has already been constructed and data on the shape of the target construction surface of the groove to be constructed. A trained model may also be used. In this case, the controller 30 uses the shape data of the groove 601 as input data and applies the learned model to estimate the target construction surface 602 based on the output data of the learned model, and calculates the data of the target construction surface 602. can be obtained.
  • the controller 30 estimates the target shape of the construction target based on the shape data of a part of the construction target that has already been constructed by operating a shovel by an expert, and calculates the data regarding the target shape. can be obtained. Thereby, the controller 30 can more easily acquire data regarding the target shape of the construction target. Therefore, since there is no need to prepare data regarding the target shape in advance, there is no need for the user to manually input parameters regarding the target shape, for example. For example, even at small-scale construction sites where there is no system or funding to prepare data on the target shape in advance, it is possible to acquire data on the target shape and adopt technology related to machine guidance and machine control. Work efficiency can be improved.
  • the target shape estimation function is applied to the excavator 100 operated by an operator in the cabin 10 or a remote operator.
  • the excavator 100 can support the operator's operation using the machine guidance function and the operation support type MC function based on the data regarding the target shape estimated by the target shape estimation function.
  • the target shape estimation function may be applied to the excavator 100 that operates with a fully automatic operation function (fully automatic MC function). In this case, the excavator 100 can automatically perform construction so that the work target has the target shape using the fully automatic operation function based on the data regarding the target shape estimated by the target shape estimation function.
  • FIG. 7 is a functional block diagram showing a first example of a functional configuration related to estimating the target shape of the construction target.
  • the excavator 100 includes a support device 150.
  • the support device 150 supports the work of the excavator 100.
  • the support device 150 includes a controller 30, an imaging device 40, a display device 50A, an input device 52, and a communication device 60.
  • the controller 30 includes, as functional units, a terrain shape acquisition unit 301, a target shape estimation unit 302, a display processing unit 303, a target shape modification unit 304, a target shape data storage unit 305, and a work support control unit 306. include.
  • the topographical shape acquisition unit 301 acquires data regarding the topographical shape of the location where the construction target is formed around the excavator 100, including a part of the construction target that has already been constructed, based on the output of the imaging device 40 and the distance sensor. get.
  • the data regarding the topographic shape includes, for example, both partially constructed locations and unconstructed locations of the construction target.
  • the data regarding the topographic shape may be, for example, image data or three-dimensional data.
  • the target shape estimation unit 302 estimates the target shape of the construction target using the first estimation method described above based on the data acquired by the terrain shape acquisition unit 301, and acquires data regarding the target shape of the construction target. .
  • the display processing unit 303 causes the display device 50A to display the target shape of the construction target as the estimation result of the target shape estimation unit 302. Further, when the excavator 100 is remotely controlled or monitored, the display processing unit 303 transmits image data of the target shape of the construction target as the estimation result of the target shape estimating unit 302 to the remote operation support device 300 via the communication device 60. It may also be sent to a remote monitoring support device. Thereby, the display processing unit 303 can display the target shape of the construction target as the estimation result of the target shape estimating unit 302 on the remote operation support device 300 or the display device of the remote operation support device. This allows the user (operator) to visually confirm data regarding the target shape of the construction target.
  • the display processing unit 303 also causes the display device 50A to display the target shape of the construction target as the estimation result of the target shape estimating unit 302 and the current topographic shape based on the output of the imaging device 40 so that they can be compared. (See FIGS. 10 and 11). Similarly, the display processing unit 303 sends an image to the remote operation support device 300 or the It may also be transmitted to a remote monitoring support device. Thereby, the user (operator) can determine whether an appropriate target shape has been generated (estimated) by comparing the current topographic shape and the target shape of the construction target.
  • the target shape modification unit 304 modifies data regarding the target shape of the construction target as the estimation result of the target shape estimation unit 302, in response to a predetermined input from the user (operator). Input from the user is accepted by the input device 52. Further, when the excavator 100 is remotely operated or monitored, input from the user is received from the remote operation support device 300 or the remote monitoring support device through the communication device 60. For example, in a three-dimensional orthogonal coordinate system, the target shape modification unit 304 performs translational movement in directions along each of the X-axis, Y-axis, and Z-axis, and Data regarding the target shape of the construction target is corrected using a total of six degrees of freedom including rotational movement. Further, the target shape modification unit 304 may modify data regarding the target shape of the construction target with a total of 9 degrees of freedom including expansion or reduction in directions along each of the X-axis, Y-axis, and Z-axis. .
  • the target shape data storage unit 305 stores data regarding the target shape of the construction target. Specifically, data regarding the target shape of the construction target as an estimation result by the target shape estimation unit 302 or data regarding the target shape of the construction target as a modification result by the target shape modification unit 304 may be stored.
  • the work support control unit 306 performs control to support work related to the construction of the construction target based on data regarding the target shape of the construction target.
  • the work support control unit 306 performs control regarding machine guidance based on data regarding the target shape of the construction target. Specifically, the work support control unit 306 notifies the operator of information such as the distance between the target shape and the work area such as the toe or back of the bucket 6 through the output device 50 such as the display device 50A and the communication device 60. You may do so.
  • the work support control unit 306 may perform control related to machine control (automatic driving function) based on data related to the target shape of the construction target. Specifically, the work support control unit 306 controls the hydraulic control valve 31 to support the operator's operation, or to target the work area such as the toe or back of the bucket 6 regardless of the operator's operation. Attachment AT or the like may be operated so as to move along a trajectory that follows the shape.
  • FIG. 8 is a flowchart schematically showing a first example of processing related to estimating the target shape of the construction target.
  • FIG. 9 is a diagram illustrating an example of display content (screen 900) on display device 50A, showing the topographical shape around shovel 100.
  • FIGS. 10 and 11 are diagrams illustrating an example and other examples of the display contents of the display device 50A, which represent the estimation results of the target shape of the construction target. Specifically, FIG. 10 is a diagram showing the display contents of the display device 50A when the target shape of the construction target as the estimation result is appropriate, and FIG. 11 shows the display content of the display device 50A when the target shape of the construction target as the estimation result is It is a figure which shows the display content of 50 A of display devices when inappropriate.
  • the flowchart in FIG. 8 is started, for example, when a predetermined input from a user (operator, supervisor, etc.) is received through the input device 52 or the communication device 60.
  • step S102 an example of an acquisition step
  • the terrain shape acquisition unit 301 acquires image data around the shovel 100 based on the output of the imaging device 40, or images around the shovel 100 based on the image data.
  • step S102 Upon completion of the process in step S102, the controller 30 proceeds to step S104.
  • step S104 the display processing unit 303 displays an image representing the topographic shape around the excavator 100 at the location where the construction target is formed on the display device 50A, remote operation support device 300, etc. based on the data acquired in step S102. (See Figure 9).
  • images 901 to 903 are displayed on a screen 900 of the display device 50A.
  • the image 901 is an image representing the topographical shape around the shovel 100 where the construction target (in this example, a slope) is to be formed. Specifically, in the image 901, the terrain shape around the excavator 100 is expressed by three-dimensional mesh data. This allows the user to recognize the current topographical shape of the location where the construction target is to be formed.
  • the image 902 is an icon for operation to execute the process of estimating the target shape of the construction target. Thereby, the user can execute the process of estimating the target shape of the construction target by operating the icon of the image 902 through the input device 52 or the like (see step S106 in FIG. 8).
  • Image 903 is an icon for operation to end the process of the flowchart in FIG. 8 and return to a predetermined screen. The same applies to images 1004 and 1104, which will be described later. Thereby, the process of the flowchart of FIG. 8 can be stopped midway.
  • step S104 the controller 30 proceeds to step S106.
  • step S106 the controller 30 determines whether an operation has been performed through the input device 52 or the like to execute a process of estimating the target shape of the construction target.
  • the controller 30 proceeds to step S108 when an operation is performed to perform the process of estimating the target shape of the construction target, and otherwise proceeds to step S108 (for example, when the image 903 is operated or after a certain period of time has elapsed), the controller 30 proceeds to step S108. is not performed), the processing of the current flowchart ends.
  • steps S104 and S106 may be omitted.
  • step S108 the target shape estimating unit 302 estimates the target shape of the construction target using the first estimation method described above based on the data acquired in step S102, and estimates the target shape of the construction target using the first estimation method described above. Obtain data regarding the target shape.
  • step S108 Upon completion of the process in step S108, the controller 30 proceeds to step S110.
  • step S110 the target shape of the construction target based on the estimation result in step S108 is displayed on the display device 50A, the remote operation support device 300 (display device), etc. (see FIGS. 10 and 11).
  • a screen 1000 includes images 1001 to 1005.
  • a screen 1100 includes images 1101 to 1105.
  • Images 1001 and 1101, like image 901 in FIG. 9, are images representing the topographical shape around the shovel 100 at a location where a construction target (in this example, a slope) is to be formed.
  • Images 1002 and 1102 are images representing the target shape (target construction surface) of the construction target, respectively.
  • Images 1003 and 1103 are icons for operation to confirm the target shape (target construction surface) of the construction target to the current display content.
  • Images 1004 and 1104 are icons for operation to move to a screen for modifying the target shape of the construction target from the current display content.
  • the target shape of the construction target (image 1002) is appropriately estimated with respect to the current topographical shape around the excavator 100 (image 1001). Therefore, by operating the icon of the image 1003 through the input device 52, the remote operation support device 300, etc., the user can determine the target shape of the construction target based on the data of the current display content.
  • the target shape of the construction target (image 1102) is estimated in a form that does not match the current shape of the area around the shovel 100 at all. Therefore, the user can modify the target shape of the construction target by operating the operation icon in the image 1104 through the input device 52, the remote operation support device 300, or the like.
  • step S110 the controller 30 proceeds to step S112.
  • step S112 the controller 30 determines whether an operation has been performed to modify the target shape of the construction target through the input device 52, the remote operation support device 300 (input device), or the like.
  • the process proceeds to step S114, and when the operation to determine the target shape of the construction target is performed, the process advances to step S116.
  • step S114 the target shape modification unit 304 modifies data regarding the target shape of the construction target in response to input from the user through the input device 52 or the remote operation support device 300.
  • step S114 Upon completion of the process in step S114, the controller 30 proceeds to step S116.
  • step S116 the controller 30 determines the target shape and stores data regarding the target shape in the target shape data storage unit 305.
  • step S116 the controller 30 ends the process of the current flowchart.
  • the support device 150 estimates the target shape of the construction target based on the shape of some parts that have been constructed by the operation of the shovel by a skilled person, and further collects data regarding the target shape of the construction target. can be easily obtained.
  • the support device 150 can modify the target shape of the construction target as the estimation result in response to input from the user.
  • the shovel 100 may be a component of the operation support system SYS.
  • the operation support system SYS includes a shovel 100 and an information processing device 200.
  • the operation support system SYS uses the information processing device 200 to cooperate with the excavator 100 and provides support regarding the operation of the excavator 100.
  • the number of excavators 100 included in the operation support system SYS may be one or multiple.
  • the excavator 100 is a work machine to which operation support is provided in the operation support system SYS.
  • the information processing device 200 cooperates with the shovel 100 by communicating with the shovel 100, and provides support regarding the operation of the shovel 100.
  • the information processing device 200 is, for example, a server installed in a management office within the work site of the excavator 100 or a management center that manages the operating status of the excavator 100, etc. located at a location different from the work site of the excavator 100. It is a terminal device for management purposes.
  • the management terminal device may be a stationary terminal device such as a desktop PC (Personal Computer), or a portable terminal device such as a tablet terminal, smartphone, or laptop PC. terminal).
  • workers at the work site, supervisors who supervise work, managers who manage the work site, and the like can carry the portable information processing device 200 and move around the work site.
  • the operator can, for example, bring the portable information processing device 200 into the cabin of the excavator 100.
  • the information processing device 200 acquires data regarding the operating state from the excavator 100, for example. Thereby, the information processing device 200 can grasp the operating state of the shovel 100 and monitor whether there is any abnormality in the shovel 100 or the like. Further, the information processing device 200 can display data regarding the operating state of the excavator 100 for the user to confirm through a display device 208, which will be described later.
  • the information processing device 200 transmits to the shovel 100, for example, various data such as programs and reference data used in processing by the controller 30, etc. of the shovel 100.
  • the excavator 100 can perform various processes related to the operation of the excavator 100 using various data downloaded from the information processing device 200.
  • FIG. 5 is a block diagram showing an example of the hardware configuration of the information processing device 200.
  • the functions of the information processing device 200 are realized by arbitrary hardware or a combination of arbitrary hardware and software.
  • the information processing device 200 includes an external interface 201, an auxiliary storage device 202, a memory device 203, a CPU 204, a high-speed arithmetic device 205, a communication interface 206, an input device 207, and and a display device 208.
  • the external interface 201 functions as an interface for reading data from and writing data to the recording medium 201A.
  • the recording medium 201A includes, for example, a flexible disk, a CD (Compact Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray (registered trademark) Disc), an SD memory card, a USB memory, and the like.
  • the information processing device 200 can read various data used in processing through the recording medium 201A, store it in the auxiliary storage device 202, and install programs that implement various functions.
  • the information processing device 200 may obtain various data and programs used in processing from an external device through the communication interface 206.
  • the auxiliary storage device 202 stores various installed programs, as well as files, data, etc. necessary for various processes.
  • the auxiliary storage device 202 includes, for example, an HDD (Hard Disc Drive), an SSD (Solid State Disc), a flash memory, and the like.
  • the memory device 203 reads and stores the program from the auxiliary storage device 202 when there is an instruction to start the program.
  • the memory device 203 includes, for example, DRAM (Dynamic Random Access Memory) and SRAM.
  • the CPU 204 executes various programs loaded from the auxiliary storage device 202 to the memory device 203, and implements various functions related to the information processing device 200 according to the programs.
  • the high-speed arithmetic unit 205 works in conjunction with the CPU 204 and performs arithmetic processing at a relatively high speed.
  • the high-speed calculation device 205 includes, for example, a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), and the like.
  • the high-speed calculation device 205 may be omitted depending on the required speed of calculation processing.
  • the communication interface 206 is used as an interface for communicably connecting to an external device. Thereby, the information processing device 200 can communicate with an external device such as the excavator 100, for example, through the communication interface 206. Furthermore, the communication interface 206 may have a plurality of types of communication interfaces depending on the communication method with the connected device.
  • the input device 207 receives various inputs from the user.
  • the input device 207 includes, for example, an operation input device that accepts mechanical operation input from the user.
  • the operation input device includes, for example, a button, a toggle, a lever, and the like.
  • the operation input device includes, for example, a touch panel mounted on the display device 208, a touch pad provided separately from the display device 208, and the like.
  • the input device 207 includes, for example, a voice input device that can accept voice input from a user.
  • the voice input device includes, for example, a microphone that can collect the user's voice.
  • the input device 207 includes, for example, a gesture input device that can accept gesture input from the user.
  • the gesture input device includes, for example, a camera that can capture images of the user's gestures.
  • the input device 207 includes, for example, a biometric input device that can accept biometric input from a user.
  • the biometric input device includes, for example, a camera that can acquire image data that includes information about a user's fingerprint or iris.
  • the display device 208 displays information screens and operation screens for the user.
  • display device 208 includes the above-mentioned remote control display device.
  • the display device 208 is, for example, a liquid crystal display, an organic EL (Electroluminescence) display, or the like.
  • the remote operation support device 300 may also be realized by arbitrary hardware or a combination of arbitrary hardware and software, and a similar hardware configuration may be adopted.
  • the remote operation support device 300 is mainly configured with a computer including a CPU, a memory device, an auxiliary storage device, an interface device, an input device, and a display device.
  • the memory device is, for example, SRAM or DRAM.
  • the auxiliary storage device is, for example, an HDD, SSD, EEPROM, flash memory, or the like.
  • the interface device includes an external interface for connecting to an external recording medium and a communication interface for communicating with the outside, such as the shovel 100.
  • the input device includes, for example, a lever-type operation input device.
  • the operator can use the operation input device to perform operation input regarding the actuator of the shovel 100, and the remote operation support device 300 can use the communication interface to transmit a signal corresponding to the operation input to the shovel 100. can. Therefore, the operator can remotely control the excavator 100 using the remote control support device.
  • FIG. 14 is a functional block diagram showing a second example of a functional configuration related to estimating the target shape of the construction target.
  • the excavator 100 includes a support device 150.
  • the support device 150 includes a controller 30, an imaging device 40, a display device 50A, an input device 52, and a communication device 60, as in the first example (FIG. 7) described above.
  • the controller 30 includes, as functional units, a terrain shape acquisition unit 301, a target shape estimation unit 302, a display processing unit 303, a target shape modification unit 304, a target shape data storage unit 305, and a work support control unit 306. It includes a trained model storage section 307 and a transmission section 308.
  • the trained model storage unit 307 stores the trained model LM.
  • the learned model LM is used to estimate the target shape of the construction target by the second estimation method described above.
  • the trained model LM is distributed from the information processing device 200.
  • the target shape estimation unit 302 estimates the target shape of the construction target using the second estimation method described above based on the data acquired by the terrain shape acquisition unit 301, and acquires data regarding the target shape of the construction target. . Specifically, the target shape estimating unit 302 uses the data acquired by the terrain shape acquiring unit 301 as input data and applies the learned model LM to estimate the construction target based on the output data of the learned model LM. The target shape may be estimated.
  • the transmitter 308 transmits information about the combination of the data acquired by the terrain shape acquisition unit 301 and the data related to the target shape of the construction target stored (registered) in the target shape data storage unit 305 corresponding to this data. It is transmitted to the processing device 200.
  • the information processing device 200 includes a teacher data storage unit 2001, a machine learning unit 2002, a learned model storage unit 2003, and a distribution unit 2004 as functional units related to estimation of the target shape of the construction target.
  • the teacher data storage unit 2001 stores (registers) teacher data for generating the trained model LM. Further, the teacher data storage unit 2001 may include teacher data for relearning or additionally learning and updating the trained model LM.
  • the teacher data is a combination of data regarding the topographical shape of the construction target, including some completed locations, and data regarding the target shape of the construction target.
  • the latter training data includes data acquired by the terrain shape acquisition unit 301 received from the excavator 100 (transmission unit 308) and the finally determined target shape of the construction target corresponding to this data.
  • the latter training data includes data acquired by the terrain shape acquisition unit 301 received from the excavator 100 (transmission unit 308) and the finally determined target shape of the construction target corresponding to this data.
  • the machine learning unit 2002 performs machine learning on a predetermined model using the teacher data set in the teacher data storage unit 2001 to generate a learned model LM.
  • the machine learning unit 2002 may update the trained model LM by relearning or additionally learning the trained model LM using the teacher data set in the teacher data storage unit 2001.
  • the trained model storage unit 2003 stores (registers) the trained model LM generated by the machine learning unit 2002. Further, the trained model LM in the trained model storage unit 2003 may be updated by relearning or additional learning by the machine learning unit 2002.
  • the distribution unit 2004 distributes the learned model LM to the excavator 100.
  • steps S202 and S204 are the same as steps S102 and S104 in FIG. 8, so a description thereof will be omitted.
  • step S204 Upon completion of the process in step S204, the controller 30 proceeds to step S206.
  • step S206 the controller 30 determines whether or not an operation for estimating the target shape of the construction target has been performed through the input device 52 or the like, as in the case of step S106 in FIG. If the controller 30 performs an operation to perform the process of estimating the target shape of the construction target, the process proceeds to step S208, and otherwise ends the process of the current flowchart.
  • step S208 the target shape estimating unit 302 estimates the target shape of the construction target using the second estimation method described above based on the data acquired in step S102, and calculates data regarding the target shape of the construction target. get.
  • step S208 Upon completion of the process in step S208, the controller 30 proceeds to step S210.
  • steps S210 to S216 is the same as steps S110 to S116 in FIG. 8, so the explanation will be omitted.
  • step S216 Upon completion of the process in step S216, the controller 30 proceeds to step S218.
  • step S2108 the transmitter 308 transmits the data acquired in step S202 and the data on the target shape of the construction target determined in step S216 to the information processing device 200. Specifically, the transmitting unit 308 transmits data regarding the current topographical shape of the location where the construction target is formed, including a part of the construction target that has already been constructed, and the finally determined construction target. and the data regarding the target shape are transmitted to the information processing device 200.
  • step S216 the controller 30 ends the process of the current flowchart.
  • step S216 may be omitted, and the transmitting unit 308 may transmit data for multiple times in this flowchart to the information processing apparatus 200 as a batch process.
  • the support device 150 uses the learned model LM based on the data regarding the current topographical shape of the location where the construction target is formed, including the part of the construction target that has already been constructed.
  • the target shape of the construction target can be estimated using
  • the information processing device 200 performs learning using teacher data that is a combination of data regarding the topographical shape including a part of the construction target that has already been constructed, and data regarding the target shape of the construction target.
  • the completed model LM can be updated.
  • the result of modification of the target shape of the construction target by the target shape modification unit 304 can be reflected in the learned model LM. Therefore, the accuracy of estimating the target shape of the construction target using the learned model LM can be improved.
  • processing related to the construction work as preprocessing and processing related to estimating the target shape may be executed as a series of processes.
  • the topographical shape acquisition unit 301 can acquire data regarding the topographical shape including a portion of the construction target that has already been constructed, based on the data of the locus of the work site.
  • the target shape estimating unit 302 may estimate the target shape of the construction target based on the data of the trajectory of the work site. Further, in this case, the target shape modification unit 304 may modify (correct) data regarding the target shape of the construction target as the estimation result of the target shape estimation unit 302, based on the data of the locus of the work site.
  • some or all of the functions of the support device 150 may be transferred to the remote operation support device 300.
  • part or all of the functions of the support device 150 may be transferred to the information processing device 200.
  • part or all of the functional units of the information processing device 200 related to the target shape estimation function may be transferred to the excavator 100.
  • the support device includes an acquisition unit that acquires data regarding the shape of a part of the construction target that has already been constructed, and estimates a target shape of the construction target based on the data acquired by the acquisition unit.
  • An estimator is provided.
  • the support device is, for example, the support device 150.
  • the acquisition unit is, for example, the terrain shape acquisition unit 301.
  • the estimator is, for example, the target shape estimator 302.
  • the support device can more easily acquire data regarding the target shape of the construction target.
  • the estimation unit uses a learned model that has been machine learned using training data based on a combination of the shape of a part of the construction target that has already been constructed and the target shape of the construction target.
  • the target shape of the construction target may be estimated.
  • the learned model is, for example, the learned model LM.
  • the support device can acquire data regarding the target shape of the construction target from the shape of a part of the construction target that has already been constructed.
  • the estimating unit estimates the target shape of the construction target by replicating or extending the shape of a part of the construction target in a direction that corresponds to the construction target. Good too.
  • the support device can acquire data regarding the target shape of the construction target from the shape of a part of the construction target that has already been constructed.
  • the estimation unit estimates the target shape of the construction target based on data regarding the trajectory of the work part when the work machine performs construction work on a part of the construction target that has already been constructed. You may.
  • the working machine is, for example, a shovel 100, and the working parts are the toe and back of the bucket 6 of the shovel 100.
  • the support device can acquire data regarding the target shape of the construction target from the shape of a part of the construction target that has already been constructed.
  • the support device may include a display unit that displays the target shape of the construction target as the estimation result by the estimation unit.
  • the display section is, for example, a display device 50A.
  • the support device can have the user visually confirm the target shape of the construction target as the estimation result. Therefore, user convenience can be improved.
  • the support device may include a correction unit that corrects the target shape of the construction target as the estimation result of the estimation unit in response to input from the user.
  • the modification unit is, for example, the target shape modification unit 304.
  • the user can operate the support device to correct the target shape of the construction target.
  • the support device generates a learned model using a combination of the modification unit, the data acquired by the acquisition unit, and the data of the target shape of the construction target as the modification result by the modification unit as training data.
  • the information processing apparatus may also include an updating section that updates the information.
  • the updating unit is, for example, the machine learning unit 2002.
  • the modification results by the modification unit can be reflected in the trained model. Therefore, the accuracy of estimating the target shape of the construction target using the learned model can be improved.
  • the work machine may include the above-mentioned support device.
  • the working machine can more easily estimate and obtain the target shape of the construction target using the support device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

施工対象の目標形状に関するデータをより容易に取得することが可能な技術を提供する。本開示の一実施形態に係る支援装置１５０は、施工対象のうちの施工済みの箇所の形状に関する画像データを取得する地形形状取得部３０１と、地形形状取得部３０１により取得される画像データに基づき、施工対象の目標形状を推定する目標形状推定部３０２と、ユーザからの入力に応じて、目標形状推定部３０２の推定結果の施工対象の目標形状を修正する目標形状修正部３０４と、を備える。

Description

支援装置、作業機械、プログラム
　本開示は、作業機械の支援装置等に関する。
　施工対象の目標形状のデータを用いて、オペレータの操作支援を行ったり、自動で施工を行ったりする、作業機械のマシンガイダンスやマシンコントロールに関する技術が知られている（例えば、特許文献１参照）。
特開２０１６－０８４６６３号公報
　しかしながら、マシンガイダンスやマシンコントロールに関する技術では、施工対象の目標形状のデータを予め準備したり、目標形状に関するパラメータをオペレータ等が手動で入力したりする必要が生じる。そのため、例えば、小規模の作業現場では導入が困難であったり、オペレータに手間が生じたりする可能性がある。
　そこで、上記課題に鑑み、施工対象の目標形状に関するデータをより容易に取得することが可能な技術を提供することを目的とする。
　上記目的を達成するため、本開示の一実施形態では、
　施工対象のうちの一部の施工済みの箇所の形状に関するデータを取得する取得部と、
　前記取得部により取得されるデータに基づき、前記施工対象の目標形状を推定する推定部と、を備える
　支援装置が提供される。
　また、本開示の他の実施形態では、
　施工対象のうちの一部の施工済みの箇所の形状に関するデータを取得する取得部と、
　前記取得部により取得されるデータに基づき、前記施工対象の目標形状を推定する推定部と、を備える、
　作業機械が提供される。
　また、本開示の更に他の実施形態では、
　支援装置に、
　施工対象のうちの一部の施工済みの箇所の形状に関するデータを取得する取得ステップと、
　前記取得ステップで取得されるデータに基づき、前記施工対象の目標形状を推定する推定ステップと、を実行させる、
　プログラムが提供される。
　上述の実施形態によれば、施工対象の目標形状に関するデータをより容易に取得することができる。
ショベルの一例を示す側面図である。 ショベルの一例を示す上面図である。 ショベルの遠隔操作に関する構成の一例を示す図である。 ショベルのハードウェア構成の一例を示すブロック図である。 法面作業における施工対象の目標形状の推定方法の一例を模式的に示す図である。 床掘作業における施工対象の目標形状の推定方法の一例を模式的に示す図である。 施工対象の目標形状の推定に関する機能構成の第１例を示す機能ブロック図である。 施工対象の目標形状の推定に関する処理の第１例を概略的に示すフローチャートである。 ショベルの周辺の地形形状を表す、表示装置の表示内容の一例を示す図である。 施工対象の目標形状の推定結果を表す、表示装置の表示内容の一例を示す図である。 施工対象の目標形状の推定結果を表す、表示装置の表示内容の他の例を示す図である。 稼働支援システムの一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 施工対象の目標形状の推定に関する機能構成の第２例を示す機能ブロック図である。 施工対象の目標形状の推定に関する処理の第２例を概略的に示すフローチャートである。
　以下、図面を参照して実施形態について説明する。
　［ショベルの概要］
　まず、図１～図３を参照して、本実施形態に係るショベル１００の概要について説明をする。
　図１、図２は、ショベル１００の一例を示す側面図である。図２は、ショベル１００の一例を示す上面図である。図３は、ショベルの遠隔操作に関する構成の一例を示す図である。以下、ショベル１００の上面視でアタッチメントＡＴが延び出す方向（図２の上方向）を"前"と規定して、ショベル１００における方向、或いは、ショベル１００から見た方向を説明する場合がある。
　図１、図２に示すように、ショベル１００は、下部走行体１と、上部旋回体３と、ブーム４、アーム５、及び、バケット６を含むアタッチメントＡＴと、キャビン１０とを備える。
　下部走行体１は、クローラ１Ｃを用いて、ショベル１００を走行させる。クローラ１Ｃは、左側のクローラ１ＣＬ及び右側のクローラ１ＣＲを含む。クローラ１ＣＬは、走行油圧モータ１ＭＬで油圧駆動される。同様に、クローラ１ＣＬは、走行油圧モータ１ＭＲで油圧駆動される。これにより、下部走行体１は、自走することができる。
　上部旋回体３は、旋回機構２を介して下部走行体１に旋回可能に搭載される。例えば、上部旋回体３は、旋回油圧モータ２Ｍで旋回機構２が油圧駆動されることにより、下部走行体１に対して旋回する。
　ブーム４は、左右方向に沿う回転軸を中心として俯仰可能なように、上部旋回体３の前部中央に取り付けられる。アーム５は、左右方向に沿う回転軸を中心として回転可能なように、ブーム４の先端に取り付けられる。バケット６は、左右方向に沿う回転軸を中心として回転可能なように、アーム５の先端に取り付けられる。
　バケット６は、エンドアタッチメントの一例であり、例えば、掘削作業に用いられる。
　バケット６は、ショベル１００の作業内容に応じて、適宜交換可能な態様で、アーム５の先端に取り付けられている。つまり、アーム５の先端には、バケット６に代えて、バケット６とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム５の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム５と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。
　ブーム４、アーム５、及び、バケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９により油圧駆動される。
　キャビン１０は、オペレータが搭乗し、ショベル１００を操作するための操縦室である。キャビン１０は、例えば、上部旋回体３の前部左側に搭載される。
　例えば、ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、下部走行体１（即ち、左右の一対のクローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させる。
　また、ショベル１００は、キャビン１０に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル１００の外部から遠隔操作（リモート操作）が可能に構成されてもよい。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータの操作装置２６に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。
　例えば、図３に示すように、遠隔操作には、遠隔操作支援装置３００で行われるショベル１００のアクチュエータに関する操作入力によって、ショベル１００が操作される態様が含まれる。
　遠隔操作支援装置３００は、例えば、ショベル１００の作業を外部から管理する管理センタ等に設けられる。また、遠隔操作支援装置３００は、可搬型の操作端末であってもよく、この場合、オペレータは、ショベル１００の周辺からショベル１００の作業状況を直接確認しながらショベル１００の遠隔操作を行うことができる。
　ショベル１００は、例えば、後述の通信装置６０を通じて、後述の撮像装置４０が出力する撮像画像に基づくショベル１００の前方を含む周辺の様子を表す画像（以下、「周辺画像」）を遠隔操作支援装置３００に送信してよい。そして、遠隔操作支援装置３００は、ショベル１００から受信される画像（周辺画像）を表示装置に表示させてよい。また、ショベル１００のキャビン１０の内部の出力装置５０（表示装置）に表示される各種の情報画像（情報画面）は、同様に、遠隔操作支援装置３００の表示装置にも表示されてよい。これにより、遠隔操作支援装置３００を利用するオペレータは、例えば、表示装置に表示されるショベル１００の周辺の様子を表す画像や情報画面等の表示内容を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、通信装置６０により遠隔操作支援装置３００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。
　また、遠隔操作には、例えば、ショベル１００の周囲の人（例えば、作業者）のショベル１００に対する外部からの音声入力やジェスチャ入力等によって、ショベル１００が操作される態様が含まれてよい。具体的には、ショベル１００は、自機に搭載される音声入力装置（例えば、マイクロフォン）やジェスチャ入力装置（例えば、撮像装置）等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル１００は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してもよい。
　また、ショベル１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル１００は、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素の少なくとも一部を自動で動作させる機能（「自動運転機能」或いは「ＭＣ（Machine Control：マシンコントロール）機能」）を実現することができる。
　自動運転機能には、例えば、オペレータの操作装置２６に対する操作や遠隔操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能（「半自動運機能」或いは「操作支援型ＭＣ機能」）が含まれる。また、自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作がない前提で、複数の被駆動要素（アクチュエータ）の少なくとも一部を自動で動作させる機能（「完全自動運転機能」或いは「全自動型ＭＣ機能」）が含まれてよい。ショベル１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（アクチュエータ）の動作内容が決定される態様（「自律運転機能」）が含まれてもよい。
　また、ショベル１００の作業が遠隔監視されてもよい。この場合、遠隔操作支援装置３００と同様の機能を有する遠隔監視支援装置が設けられてもよい。遠隔監視支援装置は、例えば、後述の情報処理装置２００である。これにより、遠隔監視支援装置のユーザである監視者は、遠隔監視支援装置の表示装置に表示される周辺画像を確認しながら、ショベル１００の作業の状況を監視することができる。また、例えば、監視者は、安全性の観点から必要と判断した場合、遠隔監視支援装置の入力装置を用いて、所定の入力を行うことによって、ショベル１００のオペレータによる操作に介入し緊急停止させることができる。
　［ショベルのハードウェア構成］
　次に、図４を参照して、ショベル１００のハードウェア構成について説明する。
　図４は、ショベル１００のハードウェア構成の一例を示すブロック図である。
　尚、図４では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。
　ショベル１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。
　　＜油圧駆動系＞
　図４に示すように、ショベル１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。
　油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。
　尚、ショベル１００は、油圧アクチュエータＨＡの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００は、ハイブリッドショベルや電動ショベルであってもよい。
　エンジン１１は、ショベル１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。
　尚、エンジン１１に代えて、或いは、加えて、他の原動機（例えば、電動機）等がショベル１００に搭載されてもよい。
　レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。
　メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量や吐出圧が制御される。
　コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、或いは、自動運転機能に対応する操作指令に応じて、油圧アクチュエータＨＡを駆動する。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作、或いは、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。
　　＜操作系＞
　図４に示すように、ショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。
　パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。
　尚、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給されてよい。
　操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。具体的には、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられ、その結果として、油圧アクチュエータＨＡの駆動対象の被駆動要素のオペレータによる操作を実現することができる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。
　例えば、図４に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐するパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータＨＡ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。
　また、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。
　また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータＨＡを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。
　また、上述の如く、油圧アクチュエータＨＡの一部又は全部は電動アクチュエータに置換されてもよい。この場合、コントローラ３０は、操作装置２６の操作内容や遠隔操作信号で規定される遠隔操作の内容に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。また、ショベル１００が遠隔操作される場合、操作装置２６は省略されてもよい。
　油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向（例えば、ブーム４の上げ方向及び下げ方向）ごとに設けられる。つまり、複動式である油圧アクチュエータＨＡごとに、２つの油圧制御弁３１が設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。よって、コントローラ３０は、油圧制御弁３１から自動運転機能に対応する操作指令に応じたパイロット圧をコントロールバルブ１７に供給させ、自動運転機能によるショベル１００の動作を実現することができる。
　また、コントローラ３０は、例えば、油圧制御弁３１を制御し、ショベル１００の遠隔操作を実現してもよい。具体的には、コントローラ３０は、通信装置６０によって、遠隔操作支援装置３００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベル１００の動作を実現することができる。
　また、操作装置２６が電気式の場合、コントローラ３０は、油圧制御弁３１から操作装置２６の操作内容（操作信号）に応じたパイロット圧を直接的にコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。
　シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、遠隔操作機能や自動運転機能を実現することができる。
　油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、ショベル１００の遠隔操作機能や自動運転機能をより適切に実現することができる。
　　＜ユーザインタフェース系＞
　図４に示すように、ショベル１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。
　出力装置５０は、ショベル１００のユーザ（例えば、キャビン１０のオペレータや外部の遠隔操作のオペレータ）やショベル１００の周辺の人（例えば、作業者や作業車両の運転者）等に向けて各種情報を出力する。
　例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置５０Ａ（図５参照）等を含む。照明機器は、例えば、警告灯（インジケータランプ）等である。表示装置５０Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。例えば、図２に示すように、照明機器や表示装置５０Ａは、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置５０Ａは、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。
　また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置を含む。音出力装置には、例えば、ブザーやスピーカ等が含まれる。音出力装置は、例えば、キャビン１０の内部及び外部の少なくとも一方に設けられ、キャビン１０の内部のオペレータやショベル１００の周囲の人（作業者等）に聴覚的な方法で各種情報を出力してよい。
　また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。
　入力装置５２は、ショベル１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。入力装置５２は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周辺の作業者等からの入力を受け付けてもよい。
　例えば、入力装置５２は、ユーザからの機械的な操作による入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。
　また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。
　また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。
　また、例えば、入力装置５２は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。
　　＜通信系＞
　図４に示すように、本実施形態に係るショベル１００の通信系は、通信装置６０を含む。
　通信装置６０は、外部の通信回線に接続し、ショベル１００と別に設けられる装置と通信を行う。ショベル１００と別に設けられる装置には、ショベル１００の外部にある装置の他、ショベル１００のユーザによってキャビン１０に持ち込まれる可搬型の端末装置（携帯端末）が含まれてもよい。通信装置６０は、例えば、４Ｇ（4th Generation）や５Ｇ（5th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、ＷｉＦｉ通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。また、通信装置６０は、接続対象の通信回線に合わせて、複数の通信装置を含んでもよい。
　例えば、通信装置６０は、作業現場に構築される局所的な通信回線を通じて、作業現場内の情報処理装置２００や遠隔操作支援装置３００等の外部装置と通信を行う。局所的な通信回線は、例えば、作業現場に構築される局所的な５Ｇ（いわゆるローカル５Ｇ）による移動体通信回線やＷｉＦｉ６によるローカルネットワーク（ＬＡＮ：Local Area Network）である。
　また、例えば、通信装置６０は、作業現場を含む広域の通信回線、即ち、広域ネットワーク（ＷＡＮ：Wide Area Network）を通じて、作業現場の外部にある情報処理装置２００や遠隔操作支援装置３００等と通信を行う。広域ネットワークは、例えば、広域の移動体通信網や衛星通信網やインターネット網等を含む。
　　＜制御系＞
　図４に示すように、ショベル１００の制御系は、コントローラ３０を含む。また、本実施形態に係るショベル１００の制御系は、操作圧センサ２９と、撮像装置４０と、センサＳ１～Ｓ５とを含む。
　コントローラ３０は、ショベル１００に関する各種制御を行う。
　コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図４に示すように、コントローラ３０は、バスＢ１で接続される、補助記憶装置３０Ａ、メモリ装置３０Ｂ、ＣＰＵ（Central Processing Unit）３０Ｃ、及びインタフェース装置３０Ｄを含む。
　補助記憶装置３０Ａは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置３０Ａは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリ等である。
　メモリ装置３０Ｂは、例えば、プログラムの起動指示があった場合に、補助記憶装置３０ＡのプログラムをＣＰＵ３０Ｃが読み込み可能なようにロードする。メモリ装置３０Ｂは、例えば、ＳＲＡＭ（Static Random Access Memory）である。
　ＣＰＵ３０Ｃは、例えば、メモリ装置３０Ｂにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ３０の各種機能を実現する。
　インタフェース装置３０Ｄは、例えば、ショベル１００の内部の通信回線に接続するための通信インタフェースとして機能する。インタフェース装置３０Ｄは、接続する通信回線の種類に合わせて、複数の異なる種類の通信インタフェースを含んでよい。
　また、インタフェース装置３０Ｄは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのための外部インタフェースとして機能する。記録媒体は、例えば、キャビン１０の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、ＳＤメモリカードやＵＳＢ（Universal Serial Bus）メモリ等の汎用の記録媒体であってもよい。これにより、コントローラ３０の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供され、コントローラ３０の補助記憶装置３０Ａにインストールされうる。また、プログラムは、通信装置６０を通じて、ショベル１００の外部の他のコンピュータからダウンロードされ、補助記憶装置３０Ａにインストールされてもよい。
　尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。
　操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。
　尚、操作装置２６が電気式である場合、操作圧センサ２９は省略される。コントローラ３０は、操作装置２６から取り込まれる操作信号に基づき、操作装置２６を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。
　撮像装置４０は、ショベル１００の周辺の画像を取得する。また、撮像装置４０は、取得した画像及び後述の距離に関するデータに基づき、撮像範囲（画角）内におけるショベル１００の周辺の物体の位置及び外形を表す三次元データ（以下、単に「物体の三次元データ」）を取得（生成）してもよい。ショベル１００の周辺の物体の三次元データは、例えば、物体の表面を表す点群の座標情報のデータや距離画像データ等である。
　例えば、図２に示すように、撮像装置４０は、上部旋回体３の前方を撮像するカメラ４０Ｆ、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、撮像装置４０は、ショベル１００の上面視において、ショベル１００を中心とする全周、即ち３６０度の角度方向に亘る範囲を撮像することができる。また、オペレータは、出力装置５０（表示装置５０Ａ）や遠隔操作用表示装置を通じて、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体３の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作用表示装置を通じて、カメラ４０Ｆの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、バケット６を含むアタッチメントＡＴの動作を確認しながら、ショベル１００を遠隔操作することができる。以下、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを包括的に、或いは、個別に、「カメラ４０Ｘ」と称する場合がある。
　カメラ４０Ｘは、例えば、単眼カメラである。また、カメラ４０Ｘは、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）カメラ等（以下、包括的に「３Ｄカメラ」）のように、二次元の画像に加えて、距離（深度）に関するデータを取得可能であってもよい。
　撮像装置４０（カメラ４０Ｘ）の出力データ（例えば、画像データやショベル１００の周辺の物体の三次元データ等）は、一対一の通信線や車載ネットワークを通じて、コントローラ３０に取り込まれる。これにより、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体に関する監視を行うことができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺環境を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘ（カメラ４０Ｆ）の出力データに基づき、撮像画像に映るアタッチメントＡＴの姿勢状態を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体を基準として、ショベル１００の機体（上部旋回体３）の姿勢状態を判断することができる。
　尚、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの一部が省略されてもよい。例えば、ショベル１００の遠隔操作が行われない場合、カメラ４０Ｆやカメラ４０Ｌは、省略されてもよい。ショベル１００の前方や左側方の様子は、キャビン１０のオペレータから見て、比較的確認しやすいからである。また、撮像装置４０（カメラ４０Ｘ）に代えて、或いは、加えて、距離センサが上部旋回体３に設けられてもよい。距離センサは、例えば、上部旋回体３の上部に取り付けられ、ショベル１００を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内におけるショベル１００の周辺の物体の三次元データ（例えば、点群の座標情報のデータ）を取得（生成）してもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detection and Ranging）である。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。
　センサＳ１は、ブーム４に取り付けられ、ブーム４の上部旋回体３との連結部に相当する基端の回転軸回りの姿勢角度（以下、「ブーム角度」）を検出する。センサＳ１は、例えば、ロータリポテンショメータ、ロータリエンコーダ、加速度センサ、角加速度センサ、６軸センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等を含む。以下、センサＳ２、センサＳ４についても同様であってよい。また、センサＳ１は、ブームシリンダ７の伸縮位置を検出するシリンダセンサを含んでもよい。以下、センサＳ２についても同様であってもよい。センサＳ１によるブーム角度の検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、ブーム４の姿勢状態を把握することができる。
　センサＳ２は、アーム５に取り付けられ、アーム５のブーム４との連結部に相当する基端の回転軸回りの姿勢角度（以下、「アーム角度」）を検出する。センサＳ２によるアーム角度の検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、アーム５の姿勢状態を把握することができる。
　センサＳ３は、バケット６に取り付けられ、バケット６のアーム５との連結部に相当する基端の回転軸回りの姿勢角度（以下、「アーム角度」）を検出する。センサＳ３によるアーム角度の検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、バケット６の姿勢状態を把握することができる。
　センサＳ４は、所定の基準面（例えば、水平面）に対する機体（例えば、上部旋回体３）の傾斜状態を検出する。センサＳ４は、例えば、上部旋回体３に取り付けられ、ショベル１００（即ち、上部旋回体３）の前後方向及び左右方向の２軸回りの傾斜角度（以下、「前後傾斜角」及び「左右傾斜角」）を検出する。センサＳ４により検出される傾斜角度（前後傾斜角及び左右傾斜角）に対応する検出信号は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、機体（上部旋回体３）の傾斜状態を把握することができる。
　センサＳ５は、上部旋回体３に取り付けられ、上部旋回体３の旋回状態に関する検出情報を出力する。センサＳ５は、例えば、上部旋回体３の旋回角速度や旋回角度を検出する。センサＳ５は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含む。センサＳ５により検出される旋回状態に関する検出情報は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、上部旋回体３の旋回角度等の旋回状態を把握することができる。
　尚、センサＳ４に３軸回りの角速度を検出可能なジャイロセンサ、６軸センサ、ＩＭＵ等が含まれる場合、センサＳ４の検出信号に基づき上部旋回体３の旋回状態（例えば、旋回角速度）が検出されてもよい。この場合、センサＳ５は、省略されてもよい。また、撮像装置４０や距離センサの出力に基づき、上部旋回体３やアタッチメントＡＴ等の姿勢状態を把握することが可能な場合、センサＳ１～Ｓ５の少なくとも一部は省略されてもよい。
　［目標形状推定機能の概要］
　次に、図１～図４に加えて、図５、図６を参照して、ショベル１００の施工対象の目標形状の推定に関する機能（以下、便宜的に「目標形状推定機能」）の概要について説明する。
　図５は、法面作業における施工対象の目標形状の推定方法の一例を模式的に示す図である。図６は、床掘作業における目標形状の推定方法の一例を模式的に示す図である。
　施工対象は、ショベル１００が施工作業によって地面等に形成する対象物である。施工作業は、例えば、法面作業、床掘作業、整地作業等である。施工対象は、例えば、水平面、法面、溝、盛土等である。
　施工対象の目標形状は、ショベル１００の作業によって最終的に実現が期待される、施工対象の目標となる形状である。施工対象の目標形状は、例えば、平面として形成される目標施工面である。また、施工対象の目標形状は、所定の曲率の曲面で形成される目標施工面であってもよい。
　本実施形態では、ショベル１００（コントローラ３０）は、施工対象のうちの、熟練者によるショベルの操作により施工済みの一部の箇所の形状に基づき、施工対象の目標形状を推定する。推定される施工対象の目標形状は、施工対象の全体の目標形状であってもよいし、施工対象の部分領域であって、施工済みの一部の箇所よりも広い部分領域の目標形状であってもよい。熟練者が施工対象の施工作業に利用するショベルは、ショベル１００であってもよいし、ショベル１００と異なる他のショベルであってもよい。熟練者は、例えば、ショベルの操作の経験が相対的に長く、ショベルの操作に関する経験値が相対的に高いオペレータである。
　例えば、図５に示すように、法面作業において、施工対象の法面のうちの一部の施工済みの領域５０１が形成されている。領域５０１は、上述の如く、熟練者によるショベルの操作に基づき予め施工される。
　まず、ショベル１００（コントローラ３０）は、撮像装置４０を用いて、領域５０１の形状を撮像し、撮像装置４０の出力に基づき、領域５０１の形状データを取得する。
　続いて、ショベル１００（コントローラ３０）は、領域５０１の形状データに基づき、施工対象の目標形状に相当する目標施工面５０２を推定する。
　例えば、コントローラ３０は、領域５０１の平面形状を法面の幅方向に延ばしたり、幅方向に複製して並べたりすることにより、目標施工面５０２を推定し、目標施工面５０２に関するデータを取得する。以下、この推定方法を作業対象の目標形状の「第１の推定方法」と称する場合がある。
　また、コントローラ３０は、施工対象の法面の一部の施工済みの箇所の形状のデータと、施工対象の法面の目標施工面の形状データとの組み合わせによる教師データセットにより機械学習がされた学習済みモデルを用いてもよい。この場合、コントローラ３０は、領域５０１の形状データを入力データとして、学習済みモデルに適用することにより、学習済みモデルの出力データに基づき、目標施工面５０２を推定し、目標施工面５０２のデータを取得することができる。
　また、例えば、図６に示すように、床掘作業において、施工対象の溝のうちの一部の施工済みの溝６０１が形成されている。溝６０１は、上述の如く、熟練者によるショベルの操作に基づき予め施工される。
　まず、ショベル１００（コントローラ３０）は、撮像装置４０を用いて、溝６０１の形状を撮像し、撮像装置４０の出力に基づき、溝６０１の形状データを取得する。
　続いて、ショベル１００（コントローラ３０）は、溝６０１の形状データに基づき、施工対象の溝の目標形状に相当する目標施工面６０２を推定する。目標施工面６０２は、溝の幅方向の両端の側面に相当する目標施工面、溝の長さ方向の両端の側面に相当する目標施工面、及び溝の底部に相当する目標施工面を含む。
　例えば、コントローラ３０は、第１の推定方法によって、目標施工面６０２を推定する。具体的には、コントローラ３０は、溝６０１の幅方向の両端の側面の形状を施工対象の溝の長さ方向に延ばしたり、長さ方向に複製して並べたりすることにより、目標施工面６０２のうちの溝の幅方向の両端の側面に相当する目標施工面を推定してよい。また、コントローラ３０は、溝６０１の底部の形状を施工対象の溝の長さ方向に延ばしたり、長さ方向に複製して並べたりすることにより、目標施工面６０２のうちの溝の底部に相当する目標施工面を推定してよい。また、コントローラ３０は、溝６０１の長さ方向の両端面の形状をそのまま用いたり、施工対象の溝の長さ方向で位置をオフセットさせたりすることにより、目標施工面６０２のうちの溝の長さ方向の両端の側面に相当する目標施工面を推定してよい。
　また、コントローラ３０は、第２の推定方法によって、目標施工面６０２を推定してもよい。具体的には、コントローラ３０は、施工対象の溝の一部の施工済みの箇所の形状のデータと、施工対象の溝の目標施工面の形状データとの組み合わせによる教師データセットにより機械学習がされた学習済みモデルを用いてもよい。この場合、コントローラ３０は、溝６０１の形状データを入力データとして、学習済みモデルを適用することにより、学習済みモデルの出力データに基づき、目標施工面６０２を推定し、目標施工面６０２のデータを取得することができる。
　このように、本実施形態では、コントローラ３０は、熟練者によるショベルの操作によって施工済みの、施工対象の一部の箇所の形状データに基づき、施工対象の目標形状を推定し、目標形状に関するデータを取得することができる。これにより、コントローラ３０は、施工対象の目標形状に関するデータをより容易に取得することができる。そのため、目標形状に関するデータを予め準備する必要がないことから、例えば、目標形状に関するパラメータをユーザ自ら手動で入力するような手間を生じることがない。また、例えば、目標形状に関するデータを予め準備するような体制や資金が確保されていないような小規模の施工現場でも、目標形状に関するデータを取得し、マシンガイダンスやマシンコントロールに関する技術を採用して作業効率を向上させることができる。
　例えば、目標形状推定機能は、キャビン１０のオペレータや遠隔操作のオペレータにより操作されるショベル１００に適用される。この場合、ショベル１００は、目標形状推定機能により推定した目標形状に関するデータに基づき、マシンガイダンス機能や操作支援型のＭＣ機能を用いて、オペレータの操作を支援することができる。また、目標形状推定機能は、完全自動運転機能（全自動型ＭＣ機能）により動作するショベル１００に適用されてもよい。この場合、ショベル１００は、目標形状推定機能により推定した目標形状に関するデータに基づき、完全自動運転機能によって、作業対象が目標形状になるように自動で施工を行うことができる。
　［施工対象の目標形状の推定に関する機能構成の第１例］
　次に、図１～図６に加えて、図７を参照して、施工対象の目標形状の推定に関する機能構成の第１例について説明する。
　図７は、施工対象の目標形状の推定に関する機能構成の第１例を示す機能ブロック図である。
　図７に示すように、ショベル１００は、支援装置１５０を含む。
　支援装置１５０は、ショベル１００の作業を支援する。支援装置１５０は、コントローラ３０と、撮像装置４０と、表示装置５０Ａと、入力装置５２と、通信装置６０とを含む。
　コントローラ３０は、機能部として、地形形状取得部３０１と、目標形状推定部３０２と、表示処理部３０３と、目標形状修正部３０４と、目標形状データ記憶部３０５と、作業支援制御部３０６とを含む。
　地形形状取得部３０１は、撮像装置４０や距離センサの出力に基づき、施工対象のうちの一部の施工済みの箇所を含む、ショベル１００の周辺の施工対象が形成される場所の地形形状に関するデータを取得する。地形形状に関するデータには、例えば、施工対象のうちの一部の施工済みの箇所と、未施工の箇所の双方が含まれる。地形形状に関するデータは、例えば、画像データであってもよいし、三次元データであってもよい。
　目標形状推定部３０２は、地形形状取得部３０１により取得されるデータに基づき、上述の第１の推定方法を用いて、施工対象の目標形状を推定し、施工対象の目標形状に関するデータを取得する。
　表示処理部３０３は、目標形状推定部３０２の推定結果としての施工対象の目標形状を表示装置５０Ａに表示させる。また、ショベル１００の遠隔操作や遠隔監視がされる場合、表示処理部３０３は、目標形状推定部３０２の推定結果としての施工対象の目標形状の画像データを、通信装置６０を通じて遠隔操作支援装置３００や遠隔監視支援装置に送信してもよい。これにより、表示処理部３０３は、遠隔操作支援装置３００や遠隔操作支援装置の表示装置に目標形状推定部３０２の推定結果としての施工対象の目標形状を表示させることができる。これにより、ユーザ（オペレータ）は、施工対象の目標形状に関するデータを視覚的に確認することができる。
　また、表示処理部３０３は、目標形状推定部３０２の推定結果としての施工対象の目標形状と、撮像装置４０の出力に基づく現在の地形形状とを比較可能なように表示装置５０Ａに表示させてもよい（図１０、図１１参照）。同様に、表示処理部３０３は、目標形状推定部３０２の推定結果としての施工対象の目標形状と、撮像装置４０の出力に基づく現在の地形形状とを比較可能な画像を遠隔操作支援装置３００や遠隔監視支援装置に送信してもよい。これにより、ユーザ（オペレータ）は、現在の地形形状と、施工対象の目標形状とを比較することで、適切な目標形状が生成（推定）されたかどうかを判断することができる。　
　目標形状修正部３０４は、ユーザ（オペレータ）からの所定の入力に応じて、目標形状推定部３０２の推定結果としての施工対象の目標形状に関するデータを修正する。ユーザからの入力は、入力装置５２により受け付けられる。また、ショベル１００の遠隔操作や遠隔監視がされる場合、ユーザからの入力は、通信装置６０を通じて、遠隔操作支援装置３００や遠隔監視支援装置から受け付けられる。例えば、目標形状修正部３０４は、三次元の直交座標系において、Ｘ軸、Ｙ軸、及びＺ軸のそれぞれに沿う方向での並進移動、及びＸ軸、Ｙ軸、及びＺ軸のそれぞれの軸回りの回転移動の合計６自由度で、施工対象の目標形状に関するデータを修正する。また、目標形状修正部３０４は、Ｘ軸、Ｙ軸、及びＺ軸のそれぞれに沿う方向での拡大或いは縮尺を加えた合計９自由度で、施工対象の目標形状に関するデータを修正してもよい。
　目標形状データ記憶部３０５には、施工対象の目標形状に関するデータが記憶される。具体的には、目標形状推定部３０２の推定結果としての施工対象の目標形状に関するデータ或いは目標形状修正部３０４による修正結果としての施工対象の目標形状に関するデータが記憶されてよい。
　作業支援制御部３０６は、施工対象の目標形状に関するデータに基づき、施工対象の施工に関する作業を支援するための制御を行う。
　例えば、作業支援制御部３０６は、施工対象の目標形状に関するデータに基づき、マシンガイダンスに関する制御を行う。具体的には、作業支援制御部３０６は、バケット６の爪先や背面等の作業部位と、目標形状との距離等の情報を表示装置５０Ａ等の出力装置５０や通信装置６０を通じて、オペレータに通知してよい。
　また、作業支援制御部３０６は、施工対象の目標形状に関するデータに基づき、マシンコントロール（自動運転機能）に関する制御を行ってもよい。具体的には、作業支援制御部３０６は、油圧制御弁３１を制御し、オペレータの操作を支援するように、或いは、オペレータの操作に依らず、バケット６の爪先や背面等の作業部位が目標形状に沿う軌道で移動するように、アタッチメントＡＴ等を動作させてよい。
　［施工対象の目標形状の推定に関する処理の第１例］
　次に、図１～図７に加えて、図８～図１１を参照して、施工対象の目標形状の推定に関する処理の第１例について説明する。
　図８は、施工対象の目標形状の推定に関する処理の第１例を概略的に示すフローチャートである。図９は、ショベル１００の周辺の地形形状を表す、表示装置５０Ａの表示内容の一例（画面９００）を示す図である。図１０、図１１は、施工対象の目標形状の推定結果を表す、表示装置５０Ａの表示内容の一例及び他の例を示す図である。具体的には、図１０は、推定結果としての施工対象の目標形状が適切である場合の表示装置５０Ａの表示内容を示す図であり、図１１は、推定結果としての施工対象の目標形状が不適切である場合の表示装置５０Ａの表示内容を示す図である。
　図８のフローチャートは、例えば、入力装置５２や通信装置６０を通じて、ユーザ（オペレータや監視者等）からの所定の入力が受け付けられると開始される。
　図８に示すように、ステップＳ１０２（取得ステップの一例）にて、地形形状取得部３０１は、撮像装置４０の出力に基づき、ショベル１００の周辺の画像データ或いはその画像データに基づくショベル１００の周辺の様子を表す三次元データを取得する。
　コントローラ３０は、ステップＳ１０２の処理が完了すると、ステップＳ１０４に進む。
　ステップＳ１０４にて、表示処理部３０３は、ステップＳ１０２で取得されるデータに基づき、施工対象が形成される場所のショベル１００の周辺の地形形状を表す画像を表示装置５０Ａや遠隔操作支援装置３００等に表示させる（図９参照）。
　例えば、図９に示すように、表示装置５０Ａの画面９００には、画像９０１～９０３が表示される。
　画像９０１は、施工対象（本例では、法面）が形成される場所のショベル１００の周辺の地形形状を表す画像である。具体的には、画像９０１では、ショベル１００の周辺の地形形状が三次元的なメッシュデータによって表現されている。これにより、ユーザは、施工対象が形成される場所の現在の地形形状を認識することができる。
　画像９０２は、施工対象の目標形状を推定する処理を実行させるための操作用のアイコンである。これにより、ユーザは、入力装置５２等を通じて、画像９０２のアイコンを操作することで、施工対象の目標形状を推定する処理を実行させることができる（図８のステップＳ１０６参照）。
　画像９０３は、図８のフローチャートの処理を終了し、所定の画面に戻るための操作用のアイコンである。以下、後述の画像１００４，１１０４についても同様である。これにより、図８のフローチャートの処理を途中で中止することができる。
　図８に戻り、コントローラ３０は、ステップＳ１０４の処理が完了すると、ステップＳ１０６に進む。
　ステップＳ１０６にて、コントローラ３０は、入力装置５２等を通じて、施工対象の目標形状を推定する処理を実行させる操作がされたか否かを判定する。コントローラ３０は、施工対象の目標形状を推定する処理を実行させる操作がされた場合、ステップＳ１０８に進み、それ以外の場合（例えば、画像９０３の操作がされる場合や一定時間を超えても操作がされない場合）、今回のフローチャートの処理を終了する。
　尚、ステップＳ１０４，Ｓ１０６の処理は、省略されてもよい。
　ステップＳ１０８（推定ステップの一例）にて、目標形状推定部３０２は、ステップＳ１０２で取得されるデータに基づき、上述の第１の推定方法を用いて、施工対象の目標形状を推定し、施工対象の目標形状に関するデータを取得する。
　コントローラ３０は、ステップＳ１０８の処理が完了すると、ステップＳ１１０に進む。
　ステップＳ１１０にて、ステップＳ１０８の推定結果の施工対象の目標形状を表示装置５０Ａや遠隔操作支援装置３００（表示装置）等に表示させる（図１０、図１１参照）。
　例えば、図１０に示すように、画面１０００には、画像１００１～１００５を含む。同様に、図１１に示すように、画面１１００には、画像１１０１～１１０５を含む。
　画像１００１，１１０１は、それぞれ、図９の画像９０１と同様、施工対象（本例では、法面）が形成される場所のショベル１００の周辺の地形形状を表す画像である。
　画像１００２，１１０２は、それぞれ、施工対象の目標形状（目標施工面）を表す画像である。
　画像１００３，１１０３は、それぞれ、施工対象の目標形状（目標施工面）を現在の表示内容に確定させるための操作用のアイコンである。
　画像１００４，１１０４は、それぞれ、施工対象の目標形状を現在の表示内容から修正するための画面に移行するための操作用のアイコンである。
　画面１０００では、施工対象の目標形状（画像１００２）が現在のショベル１００の周辺の地形形状（画像１００１）に対して適切に推定されている。そのため、ユーザは、入力装置５２や遠隔操作支援装置３００等を通じて、画像１００３のアイコンを操作することで、施工対象の目標形状を現在の表示内容のデータで確定させることができる。
　一方、画面１１００では、施工対象の目標形状（画像１１０２）が現在のショベル１００の周辺の形状と全く適合しない形で推定されている。そのため、ユーザは、入力装置５２や遠隔操作支援装置３００等を通じて、画像１１０４の操作用アイコンを操作することで、施工対象の目標形状を修正することができる。
　図８に戻り、コントローラ３０は、ステップＳ１１０の処理が完了すると、ステップＳ１１２に進む。
　ステップＳ１１２にて、コントローラ３０は、入力装置５２や遠隔操作支援装置３００（入力装置）等を通じて、施工対象の目標形状を修正するための操作がされたか否かを判定する。コントローラ３０は、施工対象の目標形状を修正するための操作がされた場合、ステップＳ１１４に進み、施工対象の目標形状を確定させるための操作がされた場合、ステップＳ１１６に進む。
　ステップＳ１１４にて、目標形状修正部３０４は、入力装置５２や遠隔操作支援装置３００を通じたユーザからの入力に応じて、施工対象の目標形状に関するデータを修正する。
　コントローラ３０は、ステップＳ１１４の処理が完了すると、ステップＳ１１６に進む。
　ステップＳ１１６にて、コントローラ３０は、目標形状を確定させ、目標形状に関するデータを目標形状データ記憶部３０５に記憶させる。
　コントローラ３０は、ステップＳ１１６の処理が完了すると、今回のフローチャートの処理を終了する。
　このように、本例では、支援装置１５０は、熟練者によるショベルの操作により施工済みの一部の箇所の形状に基づき、施工対象の目標形状を推定し、施工対象の目標形状に関するデータをより容易に取得ことができる。
　また、本例では、支援装置１５０は、ユーザからの入力に応じて、推定結果としての施工対象の目標形状を修正することができる。
　［稼働支援システムの概要］
　次に、図１～図３に加えて、図１２を参照して、稼働支援システムＳＹＳについて説明する。
　図１２に示すように、ショベル１００は、稼働支援システムＳＹＳの構成要素であってもよい。具体的には、稼働支援システムＳＹＳは、ショベル１００と、情報処理装置２００とを含む。
　稼働支援システムＳＹＳは、情報処理装置２００を用いて、ショベル１００と連携し、ショベル１００の稼働に関する支援を行う。
　稼働支援システムＳＹＳに含まれるショベル１００は、１台であってもよいし、複数台であってもよい。
　ショベル１００は、稼働支援システムＳＹＳにおいて、稼働に関する支援の対象の作業機械である。
　情報処理装置２００は、ショベル１００と通信を行うことにより相互に連携し、ショベル１００の稼働に関する支援を行う。
　情報処理装置２００は、例えば、ショベル１００の作業現場内の管理事務所、或いは、ショベル１００の作業現場とは異なる場所にある、ショベル１００の稼働状況等を管理する管理センタ等に設置されるサーバや管理用の端末装置である。管理用の端末装置は、例えば、デスクトップ型のＰＣ（Personal Computer）等の定置型の端末装置であってもよいし、タブレット端末、スマートフォン、ラップトップ型のＰＣ等の可搬型の端末装置（携帯端末）であってもよい。後者の場合、作業現場の作業者や作業を監督する監督者や作業現場を管理する管理者等は、可搬型の情報処理装置２００を所持して作業現場内を移動することができる。また、後者の場合、オペレータは、例えば、可搬型の情報処理装置２００をショベル１００のキャビンに持ち込むことができる。
　情報処理装置２００は、例えば、ショベル１００から稼働状態に関するデータを取得する。これにより、情報処理装置２００は、ショベル１００の稼働状態を把握し、ショベル１００の異常の有無等を監視することができる。また、情報処理装置２００は、後述の表示装置２０８を通じて、ショベル１００の稼働状態に関するデータを表示し、ユーザに確認させることができる。
　また、情報処理装置２００は、例えば、ショベル１００にコントローラ３０等の処理で利用されるプログラムや参照データ等の各種データをショベル１００に送信する。これにより、ショベル１００は、情報処理装置２００からダウンロードされる各種データを用いて、ショベル１００の稼働に関する各種の処理を行うことができる。
　［稼働支援システムのハードウェア構成］
　次に、図１～図４、図１２に加えて、図１３を参照して、稼働支援システムＳＹＳのハードウェア構成について説明する。
　尚、ショベル１００のハードウェア構成は、図４と同様であるため、説明を省略する。
　図５は、情報処理装置２００のハードウェア構成の一例を示すブロック図である。
　情報処理装置２００の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図５に示すように、情報処理装置２００は、バスＢ２で接続される、外部インタフェース２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、高速演算装置２０５、通信インタフェース２０６、入力装置２０７、及び表示装置２０８を含む。
　外部インタフェース２０１は、記録媒体２０１Ａからデータの読み取りや記録媒体２０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体２０１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、ＳＤメモリカード、ＵＳＢメモリ等が含まれる。これにより、情報処理装置２００は、記録媒体２０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置２０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。
　尚、情報処理装置２００は、通信インタフェース２０６を通じて、外部装置から処理で利用する各種データやプログラムを取得してもよい。
　補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置２０２は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Disc）やフラッシュメモリ等を含む。
　メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。メモリ装置２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭを含む。
　ＣＰＵ２０４は、補助記憶装置２０２からメモリ装置２０３にロードされた各種プログラムを実行し、プログラムに従って情報処理装置２００に関する各種機能を実現する。
　高速演算装置２０５は、ＣＰＵ２０４と連動し、相対的に高い速度で演算処理を行う。高速演算装置２０５は、例えば、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を含む。
　尚、高速演算装置２０５は、必要な演算処理の速度に応じて、省略されてもよい。
　通信インタフェース２０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、情報処理装置２００は、通信インタフェース２０６を通じて、例えば、ショベル１００等の外部機器と通信することができる。また、通信インタフェース２０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。
　入力装置２０７は、ユーザから各種入力を受け付ける。
　入力装置２０７は、例えば、ユーザからの機械的な操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置２０８に実装されるタッチパネル、表示装置２０８とは別に設けられるタッチパッド等を含む。
　また、入力装置２０７は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。
　また、入力装置２０７は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。
　また、入力装置２０７は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。
　表示装置２０８は、ユーザに向けて、情報画面や操作画面を表示する。例えば、表示装置２０８には、上述の遠隔操作用表示装置が含まれる。表示装置２０８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。
　尚、遠隔操作支援装置３００についても、情報処理装置２００と同様、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現され、同様のハードウェア構成が採用されてよい。例えば、遠隔操作支援装置３００は、情報処理装置２００（図６）と同様、ＣＰＵ、メモリ装置、補助記憶装置、インタフェース装置、入力装置、及び表示装置を含むコンピュータを中心に構成される。メモリ装置は、例えば、ＳＲＡＭやＤＲＡＭ等である。補助記憶装置は、例えば、ＨＤＤやＳＳＤやＥＥＰＲＯＭやフラッシュメモリ等である。インタフェース装置は、外部の記録媒体と接続するための外部インタフェースやショベル１００等の外部と通信を行う通信インタフェースを含む。入力装置は、例えば、レバー式の操作入力装置を含む。これにより、オペレータは、操作入力装置を用いて、ショベル１００のアクチュエータに関する操作入力を行い、遠隔操作支援装置３００は、通信インタフェースを用いて、操作入力に対応する信号をショベル１００に送信することができる。そのため、オペレータは、遠隔操作支援装置を利用したショベル１００の遠隔操作を行うことができる。
　［施工対象の目標形状の推定に関する機能構成の第２例］
　次に、図１～図４、図１２、図１３に加えて、図１４を参照して、施工対象の目標形状の推定に関する機能構成の第２例について説明する。
　以下、上述の第１例（図７）と異なる部分を中心に説明し、上述の第１例と同じ或いは対応する内容の説明を簡略化或いは省略する場合がある。
　図１４は、施工対象の目標形状の推定に関する機能構成の第２例を示す機能ブロック図である。
　図１４に示すように、ショベル１００は、支援装置１５０を含む。
　支援装置１５０は、上述の第１例（図７）の場合と同様、コントローラ３０と、撮像装置４０と、表示装置５０Ａと、入力装置５２と、通信装置６０とを含む。
　コントローラ３０は、機能部として、地形形状取得部３０１と、目標形状推定部３０２と、表示処理部３０３と、目標形状修正部３０４と、目標形状データ記憶部３０５と、作業支援制御部３０６と、学習済みモデル記憶部３０７と、送信部３０８とを含む。
　学習済みモデル記憶部３０７には、学習済みモデルＬＭが記憶される。
　学習済みモデルＬＭは、上述の第２の推定方法によって、施工対象の目標形状を推定するために用いられる。学習済みモデルＬＭは、情報処理装置２００から配信される。
　目標形状推定部３０２は、地形形状取得部３０１により取得されるデータに基づき、上述の第２の推定方法を用いて、施工対象の目標形状を推定し、施工対象の目標形状に関するデータを取得する。具体的には、目標形状推定部３０２は、地形形状取得部３０１により取得されるデータを入力データとして、学習済みモデルＬＭを適用することにより、学習済みモデルＬＭの出力データに基づき、施工対象の目標形状を推定してよい。
　送信部３０８は、地形形状取得部３０１により取得されるデータと、このデータに対応する、目標形状データ記憶部３０５に記憶（登録）された施工対象の目標形状に関するデータとの組み合わせのデータを情報処理装置２００に送信する。
　情報処理装置２００は、施工対象の目標形状の推定に関する機能部として、教師データ記憶部２００１と、機械学習部２００２と、学習済みモデル記憶部２００３と、配信部２００４と、を含む。
　教師データ記憶部２００１には、学習済みモデルＬＭを生成するための教師データが記憶（登録）される。また、教師データ記憶部２００１には、学習済みモデルＬＭを再学習或いは追加学習し更新するための教師データが含まれてもよい。教師データは、施工対象の一部の施工済みの箇所を含む地形形状に関するデータと、施工対象の目標形状に関するデータとの組み合わせのデータである。
　例えば、後者の教師データには、ショベル１００（送信部３０８）から受信される、地形形状取得部３０１により取得されたデータと、このデータに対応する、最終的に確定された施工対象の目標形状に関するデータとの組み合わせが含まれる。
　機械学習部２００２は、教師データ記憶部２００１の教師データセットを用いて、所定のモデルに機械学習をさせて、学習済みモデルＬＭを生成する。
　また、機械学習部２００２は、教師データ記憶部２００１の教師データセットを用いて、学習済みモデルＬＭを再学習或いは追加学習させて、学習済みモデルＬＭを更新してもよい。
　学習済みモデル記憶部２００３には、機械学習部２００２により生成される、学習済みモデルＬＭが記憶（登録）される。また、学習済みモデル記憶部２００３の学習済みモデルＬＭは、機械学習部２００２による再学習や追加学習によって更新されてもよい。
　配信部２００４は、学習済みモデルＬＭをショベル１００に配信する。
　［施工対象の目標形状の推定に関する処理の第２例］
　次に、図１～図４、図１２～図１４に加えて、図１５を参照して、施工対象の目標形状の推定に関する処理の第２例について説明する。
　以下、上述の第１例（図８）と異なる部分を中心に説明し、上述の第１例と同じ或いは対応する内容の説明を簡略化或いは省略する場合がある。
　図１４に示すように、ステップＳ２０２，Ｓ２０４の処理は、図８のステップＳ１０２，Ｓ１０４と同じであるため、説明を省略する。
　コントローラ３０は、ステップＳ２０４の処理が完了すると、ステップＳ２０６に進む。
　ステップＳ２０６にて、コントローラ３０は、図８のステップＳ１０６の場合と同様、入力装置５２等を通じて、施工対象の目標形状を推定する処理を実行させる操作がされたか否かを判定する。コントローラ３０は、施工対象の目標形状を推定する処理を実行させる操作がされた場合、ステップＳ２０８に進み、それ以外の場合、今回のフローチャートの処理を終了する。
　ステップＳ２０８にて、目標形状推定部３０２は、ステップＳ１０２で取得されるデータに基づき、上述の第２の推定方法を用いて、施工対象の目標形状を推定し、施工対象の目標形状に関するデータを取得する。
　コントローラ３０は、ステップＳ２０８の処理が完了すると、ステップＳ２１０に進む。
　ステップＳ２１０～Ｓ２１６の処理は、図８のステップＳ１１０～Ｓ１１６と同じであるため、説明を省略する。
　コントローラ３０は、ステップＳ２１６の処理が完了すると、ステップＳ２１８に進む。
　ステップＳ２１８にて、送信部３０８は、ステップＳ２０２で取得されたデータと、ステップＳ２１６で確定された施工対象の目標形状のデータとを情報処理装置２００に送信する。具体的には、送信部３０８は、施工対象のうちの一部が施工済みの箇所を含む、施工対象が形成される場所の現在の地形形状に関するデータと、最終的に確定された、施工対象の目標形状に関するデータとの組み合わせを情報処理装置２００に送信する。
　コントローラ３０は、ステップＳ２１６の処理が完了すると、今回のフローチャートの処理を終了する。
　尚、ステップＳ２１６の処理は省略され、送信部３０８は、バッチ処理として、本フローチャートの複数回分のデータをまとめて情報処理装置２００に送信してもよい。
　このように、本例では、支援装置１５０は、施工対象のうちの一部が施工済みの箇所を含む、施工対象が形成される場所の現在の地形形状に関するデータに基づき、学習済みモデルＬＭを用いて、施工対象の目標形状を推定することができる。
　また、本例では、情報処理装置２００は、施工対象のうちの一部が施工済みの箇所を含む地形形状に関するデータと、施工対象の目標形状に関するデータとの組み合わせの教師データを用いて、学習済みモデルＬＭを更新することができる。これにより、目標形状修正部３０４による施工対象の目標形状の修正結果を学習済みモデルＬＭに反映させることができる。そのため、学習済みモデルＬＭによる施工対象の目標形状の推定精度を向上させることができる。
　［他の実施形態］
　次に、他の実施形態について説明する。
　上述の実施形態は、適宜、その内容が組み合わせられてもよいし、変形や変更が加えられてもよい。
　例えば、上述の実施形態では、ショベル１００によって、施工対象の一部の箇所の施工作業が行われる場合、前処理としての施工作業に関する処理と、目標形状の推定に関する処理（図８、図１５参照）とは一連の処理として実行されてもよい。この場合、前処理としての施工作業に関する処理において、或いは、この処理と並列な処理において、施工作業時のバケット６の爪先や背面等の作業部位の軌跡が補助記憶装置３０Ａ等に記録されてもよい。これにより、地形形状取得部３０１は、作業部位の軌跡のデータに基づき、施工対象のうちの一部の施工済みの箇所を含む地形形状に関するデータを取得することができる。作業部位の軌跡のデータは、施工済みの箇所のショベル１００から見た相対的な地形形状を表していると考えられるからである。また、この場合、目標形状推定部３０２は、作業部位の軌跡のデータに基づき、施工対象の目標形状を推定してもよい。また、この場合、目標形状修正部３０４は、作業部位の軌跡のデータに基づき、目標形状推定部３０２の推定結果としての施工対象の目標形状に関するデータを修正（補正）してもよい。
　また、上述の実施形態やその変形例では、支援装置１５０の機能の一部又は全部は、遠隔操作支援装置３００に移管されてもよい。
　また、上述の実施形態やその変形例では、支援装置１５０の機能の一部又は全部は、情報処理装置２００に移管されてもよい。
　また、上述の実施形態やその変形例では、目標形状推定機能に関する情報処理装置２００の機能部の一部又は全部は、ショベル１００に移管されてもよい。
　［作用］
　次に、本実施形態に係る支援装置の作用について説明する。
　本実施形態では、支援装置は、施工対象のうちの一部の施工済みの箇所の形状に関するデータを取得する取得部と、取得部により取得されるデータに基づき、施工対象の目標形状を推定する推定部と、を備える。支援装置は、例えば、支援装置１５０である。取得部は、例えば、地形形状取得部３０１である。推定部は、例えば、目標形状推定部３０２である。
　これにより、施工対象のうちの一部の箇所の施工を実施するだけで、施工対象の目標形状に関するデータを取得することができる。そのため、支援装置は、施工対象の目標形状に関するデータをより容易に取得することができる。
　また、本実施形態では、推定部は、施工対象のうちの一部の施工済みの箇所の形状と、施工対象の目標形状との組み合わせによる教師データにより機械学習がされた学習済みモデルを用いて、施工対象の目標形状を推定してもよい。学習済みモデルは、例えば、学習済みモデルＬＭである。
　これにより、支援装置は、施工対象のうちの一部の施工済みの箇所の形状から施工対象の目標形状に関するデータを取得することができる。
　また、本実施形態では、推定部は、施工対象のうちの一部の施工済みの箇所の形状を、施工対象に応じた方向に複製する又は延ばすことにより、施工対象の目標形状を推定してもよい。
　これにより、支援装置は、施工対象のうちの一部の施工済みの箇所の形状から施工対象の目標形状に関するデータを取得することができる。
　また、本実施形態では、推定部は、作業機械が施工対象のうちの一部の施工済みの箇所の施工作業を行ったときの作業部位の軌跡に関するデータに基づき、施工対象の目標形状を推定してもよい。作業機械は、例えば、ショベル１００であり、作業部位は、ショベル１００のバケット６の爪先や背面である。
　これにより、支援装置は、施工対象のうちの一部の施工済みの箇所の形状から施工対象の目標形状に関するデータを取得することができる。
　また、本実施形態では、支援装置は、推定部による推定結果としての施工対象の目標形状を表示する表示部を備えてもよい。表示部は、例えば、表示装置５０Ａである。
　これにより、支援装置は、推定結果としての施工対象の目標形状をユーザに視覚的に確認してもらうことができる。そのため、ユーザの利便性を向上させることができる。
　また、本実施形態では、支援装置は、ユーザからの入力に応じて、推定部の推定結果としての施工対象の目標形状を修正する修正部を備えてもよい。修正部は、例えば、目標形状修正部３０４である。
　これにより、ユーザは、推定結果としての施工対象の目標形状が不適切である場合に、支援装置を操作し、施工対象の目標形状を修正させることができる。
　また、本実施形態では、支援装置は、修正部と、取得部により取得されるデータ、及び修正部による修正結果としての施工対象の目標形状のデータとの組み合わせを教師データとして、学習済みモデルを更新する更新部と、を備えてもよい。更新部は、例えば、機械学習部２００２である。
　これにより、学習済みモデルに修正部による修正結果を反映させることができる。そのため、学習済みモデルを用いた、施工対象の目標形状の推定精度を向上させることができる。
　また、本実施形態では、作業機械は、上述の支援装置を備えてもよい。
　これにより、作業機械は、支援装置を用いて、より容易に施工対象の目標形状を推定し、取得することができる。
　以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
　最後に、本願は、２０２２年３月３１日に出願した日本国特許出願２０２２－０５８４１６号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。
１　下部走行体
１Ｃ，１ＣＬ，１ＣＲ　クローラ
１ＭＬ，１ＭＲ　走行油圧モータ
２　旋回機構
２Ｍ　旋回油圧モータ
３　上部旋回体
４　ブーム
５　アーム
６　バケット
７　ブームシリンダ
８　アームシリンダ
９　バケットシリンダ
１０　キャビン
１１　エンジン
１３　レギュレータ
１４　メインポンプ
１５　パイロットポンプ
１７　コントロールバルブ
２６　操作装置
２９　操作圧センサ
３０　コントローラ
４０　撮像装置
５０　出力装置
５０Ａ　表示装置
５２　入力装置
６０　通信装置
１００　ショベル
１５０　支援装置
２００　情報処理装置
２０６　通信インタフェース
２０７　入力装置
２０８　表示装置
３００　遠隔操作支援装置
３０１　地形形状取得部
３０２　目標形状推定部
３０３　表示処理部
３０４　目標形状修正部
３０５　目標形状データ記憶部
３０６　作業支援制御部
３０７　学習済みモデル記憶部
３０８　送信部
２００１　教師データ記憶部
２００２　機械学習部
２００３　学習済みモデル記憶部
２００４　配信部
ＡＴ　アタッチメント
ＨＡ　油圧アクチュエータ
ＬＭ　学習済みモデル
Ｓ１～Ｓ５　センサ
ＳＹＳ　稼働支援システム

Claims (9)

  1. 　施工対象のうちの一部の施工済みの箇所の形状に関するデータを取得する取得部と、
    　前記取得部により取得されるデータに基づき、前記施工対象の目標形状を推定する推定部と、を備える、
    　支援装置。
  2. 　前記推定部は、施工対象のうちの一部の施工済みの箇所の形状と、施工対象の目標形状との組み合わせによる教師データにより機械学習がされた学習済みモデルを用いて、施工対象の目標形状を推定する、
    　請求項１に記載の支援装置。
  3. 　前記推定部は、施工対象のうちの一部の施工済みの箇所の形状を、施工対象に応じた方向に複製する又は延ばすことにより、施工対象の目標形状を推定する、
    　請求項１に記載の支援装置。
  4. 　前記推定部は、作業機械が施工対象のうちの一部の施工済みの箇所の施工作業を行ったときの作業部位の軌跡に関するデータに基づき、施工対象の目標形状を推定する、
    　請求項１乃至３の何れか一項に記載の支援装置。
  5. 　前記推定部による推定結果としての施工対象の目標形状を表示する表示部を備える、
    　請求項１乃至４の何れか一項に記載の支援装置。
  6. 　ユーザからの入力に応じて、前記推定部の推定結果としての施工対象の目標形状を修正する修正部を備える、
    　請求項１乃至５の何れか一項に記載の支援装置。
  7. 　ユーザからの入力に応じて、前記推定部の推定結果としての施工対象の目標形状を修正する修正部と、
    　前記取得部により取得されるデータ、及び前記修正部による修正結果としての施工対象の目標形状のデータとの組み合わせを教師データとして、前記学習済みモデルを更新する更新部と、を備える、
    　請求項２に記載の支援装置。
  8. 　施工対象のうちの一部の施工済みの箇所の形状に関するデータを取得する取得部と、
    　前記取得部により取得されるデータに基づき、前記施工対象の目標形状を推定する推定部と、を備える、
    　作業機械。
  9. 　支援装置に、
    　施工対象のうちの一部の施工済みの箇所の形状に関するデータを取得する取得ステップと、
    　前記取得ステップで取得されるデータに基づき、前記施工対象の目標形状を推定する推定ステップと、を実行させる、
    　プログラム。
PCT/JP2023/013128 2022-03-31 2023-03-30 支援装置、作業機械、プログラム Ceased WO2023190843A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380024944.XA CN118829759A (zh) 2022-03-31 2023-03-30 支援装置、施工机械及程序
DE112023001708.5T DE112023001708T5 (de) 2022-03-31 2023-03-30 Unterstützungsvorrichtung, arbeitsmaschine und programm
JP2024512781A JPWO2023190843A1 (ja) 2022-03-31 2023-03-30
US18/828,239 US20250003197A1 (en) 2022-03-31 2024-09-09 Supporting device, work machine, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-058416 2022-03-31
JP2022058416 2022-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/828,239 Continuation US20250003197A1 (en) 2022-03-31 2024-09-09 Supporting device, work machine, and program

Publications (1)

Publication Number Publication Date
WO2023190843A1 true WO2023190843A1 (ja) 2023-10-05

Family

ID=88202840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013128 Ceased WO2023190843A1 (ja) 2022-03-31 2023-03-30 支援装置、作業機械、プログラム

Country Status (5)

Country Link
US (1) US20250003197A1 (ja)
JP (1) JPWO2023190843A1 (ja)
CN (1) CN118829759A (ja)
DE (1) DE112023001708T5 (ja)
WO (1) WO2023190843A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005024144A1 (ja) * 2003-09-02 2005-03-17 Komatsu Ltd. 施工目標指示装置
JP2019166626A (ja) * 2018-03-26 2019-10-03 ファナック株式会社 制御装置及び機械学習装置
JP2021095718A (ja) * 2019-12-16 2021-06-24 住友重機械工業株式会社 ショベル、情報処理装置
JP2021181732A (ja) * 2020-05-20 2021-11-25 住友重機械工業株式会社 ショベル

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6297468B2 (ja) 2014-10-28 2018-03-20 住友建機株式会社 ショベル
WO2016205695A1 (en) 2015-06-19 2016-12-22 Faller Douglas V Methods and compositions for treating herpesvirus induced conditions
JP6718399B2 (ja) * 2017-02-21 2020-07-08 日立建機株式会社 作業機械
US11352769B1 (en) * 2021-06-25 2022-06-07 Built Robotics Inc. Online machine learning for calibration of autonomous earth moving vehicles
US11346080B1 (en) * 2021-06-25 2022-05-31 Built Robotics Inc. Online machine learning for determining soil parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005024144A1 (ja) * 2003-09-02 2005-03-17 Komatsu Ltd. 施工目標指示装置
JP2019166626A (ja) * 2018-03-26 2019-10-03 ファナック株式会社 制御装置及び機械学習装置
JP2021095718A (ja) * 2019-12-16 2021-06-24 住友重機械工業株式会社 ショベル、情報処理装置
JP2021181732A (ja) * 2020-05-20 2021-11-25 住友重機械工業株式会社 ショベル

Also Published As

Publication number Publication date
JPWO2023190843A1 (ja) 2023-10-05
DE112023001708T5 (de) 2025-02-20
US20250003197A1 (en) 2025-01-02
CN118829759A (zh) 2024-10-22

Similar Documents

Publication Publication Date Title
JP7726614B2 (ja) ショベル
JPWO2020175645A1 (ja) 表示装置、ショベル、情報処理装置
JPWO2019244574A1 (ja) 掘削機、情報処理装置
JP7683996B2 (ja) ショベル、ショベルの制御装置
US20250179762A1 (en) Assistance device, work machine, and assistance system
JP7798253B2 (ja) 作業機械、情報処理装置
US20250019937A1 (en) Assistance device, work machine, and recording medium
JP2024018270A (ja) 作業支援システム、作業機械、投影装置、制御装置
JP7655504B2 (ja) ショベル
US20250215668A1 (en) Work machine, remote operation assisting device, and assisting system
US20250215663A1 (en) Excavator, display apparatus, and remote operation assistance apparatus
JP7799952B2 (ja) 支援装置、作業機械、プログラム
JP7798248B2 (ja) 支援装置、作業機械、プログラム
JP2024099211A (ja) ショベル
US20250003197A1 (en) Supporting device, work machine, and program
JP2023183992A (ja) 支援システム、遠隔操作支援装置、作業機械、プログラム
US20240209589A1 (en) Shovel
US12624527B2 (en) Work machine and remote operation support device
JP7858967B2 (ja) ショベル、制御装置
JP2026082120A (ja) 作業支援システム、作業機械
JP2024076741A (ja) 作業機械、情報処理装置、プログラム
CN118257316A (zh) 挖土机
JP2026004734A (ja) ショベル、エンドアタッチメントの交換方法
WO2025047781A1 (ja) 作業機械
WO2025225557A1 (ja) 作業機械、操作支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780851

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380024944.X

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2024512781

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112023001708

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 112023001708

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23780851

Country of ref document: EP

Kind code of ref document: A1