WO2021192483A1 - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 Download PDF

Info

Publication number
WO2021192483A1
WO2021192483A1 PCT/JP2021/000330 JP2021000330W WO2021192483A1 WO 2021192483 A1 WO2021192483 A1 WO 2021192483A1 JP 2021000330 W JP2021000330 W JP 2021000330W WO 2021192483 A1 WO2021192483 A1 WO 2021192483A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
work machine
control device
operator
work
Prior art date
Application number
PCT/JP2021/000330
Other languages
English (en)
French (fr)
Inventor
佐々木　均
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to CN202180023578.7A priority Critical patent/CN115362295B/zh
Priority to US17/910,606 priority patent/US20230279640A1/en
Priority to EP21775552.9A priority patent/EP4101994A4/en
Publication of WO2021192483A1 publication Critical patent/WO2021192483A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network

Definitions

  • the present invention relates to a technique for supporting the remote control of each of a plurality of work machines by an operator through a remote control device.
  • an object of the present invention is to provide a technique capable of facilitating the work of the same work machine when the same work machine is remotely controlled by different operators or through different remote control devices.
  • the remote control support server of the present invention is a remote control support server for supporting the remote control of a work machine by an operator through a remote control device.
  • the remote control device is different from the first remote control device.
  • the first support processing element for confirming the possibility of remote control of the work machine by the operator of the second remote control device, and
  • the remote control stop command of the work machine is issued from the first remote control device.
  • the operation of the engine of the work machine is stopped, while the first support processing element confirms that the operator of the second remote control device may remotely control the work machine.
  • the second support processing element that continues the operation of the engine of the work machine even after receiving the remote control stop command of the work machine from the first remote control device. It has.
  • the remote control support system of the present invention is composed of the remote control support server of the present invention, the first remote control device, and the second remote control device.
  • remote control support server constituting the remote control support system
  • the remote control of the work machine through the first remote control device is stopped by one operator.
  • the operation of the engine of the work machine is stopped.
  • "Possibility of remote control” is a concept that includes that the operator of the second remote control device schedules remote control for the work machine and / or expresses the intention of remote control. be.
  • the remote control of the work machine through the first remote control device is stopped by one operator, there is another operator who may continuously remotely control the same work machine through the second remote control device. In this case, the operation of the engine of the work machine is continued without being stopped. Therefore, the other operator can immediately operate the work machine through the second remote control device without restarting the engine of the work machine that was previously operated by the first remote control device to warm up the work machine. It can be operated remotely. Therefore, when the same work machine is remotely controlled by different operators or through different remote control devices, the work of the work machine can be facilitated.
  • the first support processing element acquires image data representing the operating state and surrounding environment of the work machine acquired through the image pickup device, and communicates with the second remote control device. Based on the above, after outputting the work environment image corresponding to the captured image data to the output interface of the second remote control device, whether or not the operator of the second remote control device can remotely control the work machine is possible. It is preferable to confirm.
  • another operator is made to recognize the operating state and the surrounding environment of the work machine remotely controlled by one operator through the first remote control device, and the other operator is made to recognize the second remote. It is possible to make a decision as to whether or not to continuously and remotely control the same work machine through the operating device. Since other operators can take over the remote control of the work machine after recognizing the operating status of the work machine and the surrounding environment, the work machine can be remotely controlled immediately without any discomfort. Therefore, when the same work machine is remotely controlled by different operators or through different remote control devices, the work of the work machine can be facilitated.
  • Explanatory drawing about the structure of the remote control support system as one Embodiment of this invention Explanatory drawing about the structure of the remote control device. Explanatory drawing about composition of work machine. Explanatory drawing about the 1st function of a remote control support system. Explanatory drawing about the 2nd function of a remote control support system. Explanatory drawing about work environment image.
  • the remote control support system as an embodiment of the present invention shown in FIG. 1 is composed of a remote control support server 10 and a remote control device 20 (client) for remotely controlling the work machine 40. There is.
  • the remote control support server 10, the remote control device 20, the work machine 40, and the client 60 are configured to enable network communication with each other.
  • the mutual communication network of the remote control support server 10 and the remote control device 20 and the mutual communication network of the remote control support server 10 and the work machine 40 may be the same or different.
  • the remote control support server 10 includes a database 102, a first support processing element 121, and a second support processing element 122.
  • the database 102 stores and holds captured image data and the like.
  • the database 102 may be configured by a database server separate from the remote control support server 10.
  • Each assistive processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
  • the remote control device 20 functions as at least one of a “first remote control device” and a “second remote control device”.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the remote control device 20 may be composed of a mobile information terminal such as a smartphone or a tablet terminal.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
  • the traveling lever may also serve as a traveling pedal.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operation lever (bucket lever) of the bucket operation device is operated to move the bucket cylinder 446 of the work machine 40.
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but in any form that the operator can sit in, such as a low back chair without a headrest or a chair without a backrest. It may be.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the left side operating lever 2111 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. May function as a swivel lever.
  • the right operating lever 2112 provided in front of the right frame of the seat St shown in FIG. 2 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a bucket lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the shutoff lever 1113 provided below the left operation lever 2112 in front of the left frame of the seat St prevents the work machine 40 from moving even if each operation lever 2110, 2111, or 2112 is operated when it is raised. While locking, it functions as an operating lever to release the lock when lowered.
  • the image output device 221 is a central image output device 2210 having a substantially rectangular screen arranged in front of the sheet St, diagonally forward left, and diagonally forward right, respectively, and a left image. It is composed of an output device 2211 and a right image output device 2212.
  • the shapes and sizes of the screens (image display areas) of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be the same or different.
  • the left image output device 2211 so that the screen of the central image output device 2210 and the screen of the left image output device 2211 form an inclination angle ⁇ 1 (for example, 120 ° ⁇ ⁇ 1 ⁇ 150 °).
  • the right edge of is adjacent to the left edge of the central image output device 2210.
  • the right image output device 2212 so that the screen of the central image output device 2210 and the screen of the right image output device 2212 form an inclination angle ⁇ 2 (for example, 120 ° ⁇ ⁇ 2 ⁇ 150 °).
  • the left edge of is adjacent to the right edge of the central image output device 2210.
  • the inclination angles ⁇ 1 and ⁇ 2 may be the same or different.
  • the screens of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be parallel to the vertical direction or inclined with respect to the vertical direction. At least one of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be composed of a plurality of divided image output devices.
  • the central image output device 2210 may be composed of a pair of vertically adjacent image output devices having a substantially rectangular screen.
  • the image output devices 2210 to 2212 may further include a speaker (audio output device).
  • the work machine 40 includes an actual machine control device 400, an actual machine input interface 41, an actual machine output interface 42, a work mechanism 440, and an engine 460.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 3, is mounted on a crawler type lower traveling body 410 and a lower traveling body 410 so as to be able to turn via a turning mechanism 430.
  • the upper swivel body 420 and the like are provided.
  • a cab 424 (driver's cab) is provided on the front left side of the upper swing body 420.
  • a work mechanism 440 is provided at the front center portion of the upper swing body 220.
  • the actual machine input interface 41 includes an actual machine operation mechanism 411 and an actual machine imaging device 412.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the actual image pickup device 412 is installed inside, for example, the cab 424, and images an environment including at least a part of the work mechanism 440 through the front window and the pair of left and right side windows. Some or all of the front and side windows may be omitted.
  • the actual device output interface 42 includes an actual device wireless communication device 422.
  • the work mechanism 440 is rotatably connected to the boom 441 undulatingly mounted on the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is equipped with a bucket 445 and.
  • the work mechanism 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the engine 460 is a drive source for the work machine 40 and can drive the main pump and the pilot pump.
  • hydraulic oil is supplied from the main pump to the plurality of directional control valves, and primary pressure oil is supplied from the pilot pump to the actual machine operating mechanism 411. Secondary pressure oil is supplied to the directional control valve according to the movement according to the remote control command of the actual machine operation mechanism 411, and hydraulic oil is supplied to the hydraulic cylinder according to the operation of the directional control valve.
  • the swivel mechanism 430 and the work mechanism 440 operate. From this point onward, the state in which the engine 460 is operating is referred to as ON, and the state in which the engine 460 is stopped is referred to as OFF.
  • the operator determines whether or not there is a first designated operation through the remote input interface 210 (FIG. 4 / STEP211).
  • the "first designated operation” is, for example, an operation such as tapping or swiping on the remote input interface 210 for the operator to specify the work machine 40 intended for remote control.
  • the "second designated operation" is, for example, a schedule including a scheduled start time (first scheduled start time) and a scheduled end time (first scheduled end time) of the remote control of the work machine 40 designated by the first designated operation. Operations such as key touch, tap, and swipe on the remote input interface 210 for setting.
  • This schedule may be registered in the database 102 in advance.
  • the schedule may be set by a terminal device such as a smartphone, a tablet terminal or a personal computer.
  • the designated operation information includes a remote identifier for identifying the remote control device 20, an actual machine identifier for identifying the work machine 40 designated by the first designated operation, and a remote control set by the second designated operation.
  • a schedule including the first scheduled start time and the first scheduled end time is included.
  • the designated operation information is received by the remote control support server 10 (FIG. 4 / C110), the designated operation information is registered in the database 102 (FIG. 4 / STEP110).
  • a preparation completion notification indicating that the remote control is ready is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 4 / STEP214). ..
  • the designated trigger it is detected that the operator presses the ready button that configures the remote input interface 210, or that the operator is seated in the seat St. However, if the designated trigger is generated at a time equal to or longer than a predetermined time (for example, 10 minutes before) from the first scheduled start time, the preparation completion notification may not be transmitted.
  • the readiness notification includes a remote identifier.
  • the first support processing element 121 stores or registers the actual machine in the database 102 in association with the remote identifier included in the preparation completion notification.
  • the preparation completion notification is transmitted to the work machine 40 identified by the identifier (FIG. 4 / C111).
  • the engine 460 of the working machine 40 is switched from ON to OFF by the actual machine control device 400 (FIG. 4 / C410).
  • STEP410 the primary pressure oil supplied from the pilot pump is supplied to the directional control valve as the secondary pressure oil in response to the remote control command (by adjusting the operation mode of the actual machine operation mechanism 411 by the actuator). Therefore, the work machine 40 including the swivel mechanism 430 and the work mechanism 440 is in an operable state.
  • the actual machine control device 400 acquires the captured image through the actual machine image pickup device 412 (FIG. 4 / STEP411).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control support server 10 through the actual device wireless communication device 422 (FIG. 4 / STEP412).
  • the work environment image data corresponding to the captured image is transmitted to the remote control device 20 by the second support processing element 122 (FIG. 4 / C111).
  • FIG. 4 / STEP112 The work environment image data is not only the captured image data itself, but also image data representing a simulated work environment image generated based on the captured image.
  • the remote control device 20 When the remote control device 20 receives the work environment image data through the remote wireless communication device 222 (FIG. 4 / C210), the remote control device 200 transmits the work environment image corresponding to the work environment image data to the image output device 221. It is output (Fig. 4 / STEP215).
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP216), and the remote control command corresponding to the operation mode supports the remote control through the remote wireless communication device 222. It is transmitted to the server 10 (FIG. 4 / STEP217).
  • the operation mode may not be recognized until the first scheduled start time is reached, or even if the operation mode is recognized, the remote control command may not be transmitted to the remote control support server 10.
  • the remote control command when the remote control command is received by the second support processing element 122, the remote control command is transmitted to the work machine 40 by the second support processing element 122 (FIG. 4 /). C113).
  • the operation of the work mechanism 440 and the like is controlled (FIG. 4 / STEP414).
  • the remote control of the work machine 40 is started.
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the operator determines whether or not there is a third designated operation through the remote input interface 210 (FIG. 4 / STEP218).
  • the "second designated operation” is an operation such as tapping on the remote input interface 210 for stopping the operation of the engine 460 of the work machine 40, for example, switching the IGN switch from ON to OFF.
  • the third designated operation is an operation for stopping the operation of the engine 460 of the work machine 40 after a specified time
  • the remote control stop notification is a command for stopping the operation of the engine 460 of the work machine 40 after a specified time.
  • the remote control of the work machine 40 by the first remote control device can be continued for a designated time after the third designated operation is performed (see FIG. 4 / STEP 216 ⁇ STEP 217 ⁇ ... ⁇ STEP 414).
  • the remote control support server 10 When the remote control support server 10 receives the remote control stop notification (FIG. 4 / C114), the process described later is executed using FIG. When the remote control support server 10 does not receive the remote control stop notification, the processing after the reception of the captured image data (see FIG. 4 / C112) and the transmission of the work environment image data (see FIG. 4 / STEP112) is repeated. ..
  • the operator determines the presence or absence of the first designated operation through the remote input interface 210 (FIG. 5 / STEP221).
  • the processing after the determination of the presence / absence of the first designated operation (FIG. 5 / STEP221) is repeated.
  • the determination result is affirmative (FIG. 5 / STEP221 ... YES)
  • the operator determines whether or not there is a second designated operation through the remote input interface 210 in the remote control device 20 as the second remote control device. (Fig. 5 / STEP222).
  • the "second designated operation" is, for example, a schedule including a scheduled start time (second scheduled start time) and a scheduled end time (second scheduled end time) of the remote control of the work machine 40 designated by the first designated operation. Operations such as key touch, tap, and swipe on the remote input interface 210 for setting.
  • the designated operation information includes a remote identifier for identifying the remote control device 20, an actual machine identifier for identifying the work machine 40 designated by the first designated operation, and a remote control set by the second designated operation.
  • a schedule including a second scheduled start time and a second scheduled end time is included.
  • the designated operation information is received by the remote control support server 10 (FIG. 5 / C120)
  • the designated operation information is registered in the database 102 (FIG. 5 / STEP120).
  • the operator of the remote control device 20 as the second remote control device is selected by the first support processing element 121 (FIG. 5 / STEP121).
  • the remote control schedule of the work machine 40 is referred to, and the operator or the remote control device that remotely controls the work machine 40 is selected next to the first remote control device.
  • the operator who remotely controls the work machine 40 next to the first remote control device is the operator who operates the second remote control device, the vacancy information is transmitted (FIG. 5 / STEP122).
  • the remote control device 200 When the remote control device 20 receives the free information through the remote wireless communication device 222 (FIG. 5 / C221), the remote control device 200 displays a screen for confirming the intention of remote control on the image output device 221. Is output to (Fig. 5 / STEP224). For example, a screen confirming that the remote control of the work machine 40 is to be started is output to the image output device 221. A work environment image (moving image) corresponding to the work environment image data over the past fixed period may also be output to the image output device 221.
  • the remote control device 200 determines whether or not there is a manifestation of intention operation through the remote input interface 210 (FIG. 5 / STEP225). For example, a selection operation by tapping one of the buttons constituting the intention confirmation screen output to the image output device 221 corresponds to the intention display operation. For example, when the presence or absence of the manifestation of intention operation is determined within the designated period, the determination result is determined to be positive. When the determination result is positive, the remote control device 200 transmits a positive intention confirmation result to the remote control support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP226). On the other hand, when it is continuously determined that there is no manifestation of intention operation over a specified period, the determination result is negative.
  • the remote control device 200 transmits a negative intention confirmation result to the remote control support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP226).
  • the fuel consumption is such that the engine 460 of the work machine 40 is turned off for the first time. It is set as a time that exceeds the fuel consumption when the engine continues to be ON from the scheduled time to the second scheduled start time.
  • the second support processing element 122 determines whether the intention confirmation result is positive or negative. (Fig. 5 / STEP2123). When the intention confirmation result is negative (FIG. 5 / STEP123 ... NO), the engine operation stop command is transmitted to the work machine 40 by the second support processing element 122 (FIG. 5 / STEP128). When the engine operation stop command is received in the working machine 40 through the actual wireless communication device 422 (FIG. 5 / C422), the actual machine control device 400 switches the engine 460 of the working machine 40 from ON to OFF (FIG. 5). / STEP422).
  • the primary pressure oil is no longer supplied from the pilot pump to the actual machine operation mechanism 411, and even if the actual machine operation mechanism 411 is moved in response to the remote control command, the swivel mechanism 430 and the work mechanism 440 cannot operate. become.
  • the engine operation continuation command is transmitted to the work machine 40 by the second support processing element 122 (FIG. 5 / STEP124). ..
  • the engine operation continuation command is received in the working machine 40 through the actual wireless communication device 422 (FIG. 5 / C421), the actual machine control device 400 keeps the engine 460 of the working machine 40 ON (FIG. 5 /). STEP421). As a result, the state in which the primary pressure oil is supplied from the pilot pump to the actual machine operating mechanism 411 is continued.
  • the second support processing element 122 transmits the remote control enable notification to the remote control device 20 as the second remote control device (FIG. 5 / STEP126).
  • the remote control device 200 receives the remote control enable notification through the remote wireless communication device 222 (FIG. 5 / C222)
  • the notification is output to the image output device 221 (FIG. 5 / STEP227).
  • the work machine 40 can be remotely controlled by the remote control device 20 as the second remote control device according to the flowchart shown in FIG. 4 (FIG. 4 / STEP411 ⁇ STEP412 ⁇ C112 ⁇ STEP112 ⁇ C210 ⁇ STEP215 ⁇ .
  • STEP216 ⁇ STEP217 ⁇ C113 ⁇ C412 ⁇ STEP414) it is not necessary for the engine 460 to be switched from OFF to ON ( see FIG. 4 / STEP4 10).
  • the first support processing element 121 further confirms the scheduled start time of remote control of the work machine 40 by the operator of the second remote control device, and the second support processing element 122 further remotely controls the work machine 40 from the first remote control device.
  • the stop notification remote control stop command
  • the operation of the engine 460 of the work machine 40 is performed on the condition that the time interval until the scheduled remote control start time is equal to or less than the specified time interval. It may be continued (see FIG. 5 / STEP124).
  • the work support server 40 having the configuration, when the remote control of the work machine 40 through the first remote control device is stopped by one operator, the same work machine 40 is continuously remotely controlled through the second remote control device. If there is another operator who may exist, but the time interval until the scheduled start time (second scheduled start time) of the remote control by the other operator is long enough to exceed the specified time, the engine of the work machine 40 The operation of 460 is stopped. Therefore, it is possible to avoid a situation in which the engine of the work machine 40 operates for an excessively long period of time without being remotely controlled.
  • the remote control of the work machine 40 through the first remote control device is stopped by one operator, another operator who may continuously remotely control the same work machine 40 through the second remote control device If it exists and the time interval until the scheduled remote control start time by the other operator is short enough not to exceed the designated time interval, the operation of the engine 460 of the work machine 40 is continued without being stopped. Therefore, the other operator does not have to restart the engine 460 of the work machine 40, which has been the target of operation of the first remote control device, to warm up the operation through the second remote control device, and immediately perform the work.
  • the machine 40 can be operated remotely. Therefore, when the same work machine 40 is remotely controlled by different operators or through different remote control devices, the work of the work machine 40 can be facilitated.
  • the second assistive processing element 122 may continue or stop the operation of the engine of the work machine 40 according to a designated time interval determined so that the lower the ambient temperature of the work machine 40 is, the longer it is continuously or stepwise. ..
  • the availability information is transmitted to the remote control device 20 of the selected operator (see FIG. 5 / STEP122), but the operator or remote control of the work machine 40 next to the first remote control device is performed.
  • second scheduled start time is greater than or equal to the specified time from the scheduled end time of remote control of the work machine 40 by the first remote control device (first scheduled end time)
  • first scheduled end time You may not send the free information.
  • the fuel consumption when the engine of the work machine 40 is turned off at the first scheduled end time and turned on again at the second scheduled start time is such that the engine of the work machine 40 is turned off for the first time. It is a time that exceeds the fuel consumption when the engine is kept ON from the scheduled time to the second scheduled start time.
  • the first support processing element 122 acquires the captured image data representing the operating state of the work machine and the surrounding environment acquired through the imaging device, and based on the communication with the second remote control device, the working environment corresponding to the captured image data. After outputting the image to the remote output interface 220 of the second remote control device, it is confirmed whether or not the operator of the second remote control device can remotely control the work machine 40.
  • the operating state and the surrounding environment of the work machine 40 remotely controlled by one operator through the first remote control device are made to be recognized by another operator, and the other operator is made to recognize the same work machine 40 through the second remote control device. It is possible to make a decision as to whether or not to continue remote control. Since other operators can take over the remote control of the work machine 40 after recognizing the operating status and the surrounding environment of the work machine 40, it is possible to immediately start and continue the remote control of the work machine 40 without any discomfort. can. Therefore, when the same work machine 40 is remotely controlled by different operators or through different remote control devices 20, the work of the work machine 40 can be facilitated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Operation Control Of Excavators (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

一のオペレータにより第１遠隔操作装置としての一の遠隔操作装置２０を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置としての他の遠隔操作装置２０を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在する場合、当該作業機械４０のエンジン４６０の動作が停止されずに継続される。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械４０のエンジン４６０を再起動させて暖機運転をさせることなく、直ちに当該作業機械４０を遠隔操作することができる。

Description

遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
　本発明は、オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための技術に関する。
　建設機械等の作業機械に搭載されているカメラ（実機撮像装置）を通じて取得された撮像画像を、遠隔操作装置を構成するモニタに表示させることにより、当該遠隔操作装置を通じて作業機械の遠隔操作を支援する技術が提案されている（例えば、特許文献１参照）。遠隔操作装置を通じた作業機械の遠隔操作が終了した際、当該作業機械のエンジン（原動機）の動作が停止される。
特開２０１９－１７６４０１号公報
　しかし、一のオペレータによる一の遠隔操作装置を通じた作業機械の遠隔操作が終了した後、短時間で他のオペレータが他の遠隔操作装置を通じて同じ作業機械の遠隔操作を試みる場合、当該作業機械のエンジンの再起動が必要になり、その分だけ作業機械による作業の円滑性が損なわれる可能性がある。
　そこで、本発明は、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる技術を提供することを目的とする。
　本発明の遠隔操作支援サーバは、
　オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
　第１遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記第１遠隔操作装置による前記作業機械の遠隔操作が終了することを認識した場合、前記第１遠隔操作装置とは異なる第２遠隔操作装置との通信に基づき、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認する第１支援処理要素と、
　前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性がないことが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信したことに応じて前記作業機械のエンジンの動作を停止させる一方、前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性があることが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後も前記作業機械のエンジンの動作を継続させる第２支援処理要素と、
を備えている。
　本発明の遠隔操作支援システムは、本発明の遠隔操作支援サーバと、前記第１遠隔操作装置および前記第２遠隔操作装置と、により構成されている。
　当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ（以下「遠隔操作支援サーバ等」という。）によれば、一のオペレータにより第１遠隔操作装置を通じた作業機械の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作する可能性がある他のオペレータが存在しない場合、当該作業機械のエンジンの動作が停止される。「遠隔操作可能性がある」とは、第２遠隔操作装置のオペレータが作業機械に対して遠隔操作の予定を入れていること、および／または、遠隔操作の意思を表わすことを包含する概念である。
　その一方、一のオペレータにより第１遠隔操作装置を通じた作業機械の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作する可能性がある他のオペレータが存在する場合、当該作業機械のエンジンの動作が停止されずに継続される。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械のエンジンを再起動させて暖機運転をさせることなく、直ちに当該作業機械を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる。
　本発明の作業支援サーバ等において、前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械の動作状態および周辺環境を表わす撮像画像データを取得し、前記第２遠隔操作装置との通信に基づき、前記撮像画像データに応じた作業環境画像を前記第２遠隔操作装置の出力インターフェースに出力させたうえで、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認することが好ましい。
　当該構成の作業支援サーバ等によれば、一のオペレータにより第１遠隔操作装置を通じて遠隔操作されている作業機械の動作状態および周辺環境を他のオペレータに認識させ、当該他のオペレータに第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作するか否かを意思決定させることができる。他のオペレータは作業機械の動作状況および周辺環境を認識したうえで、当該作業機械の遠隔操作を引き継ぐことができるため、違和感なく直ちに当該作業機械を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの第１機能に関する説明図。 遠隔操作支援システムの第２機能に関する説明図。 作業環境画像に関する説明図。
　（遠隔操作支援システムの構成）
　図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０（クライアント）と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０、作業機械４０およびクライアント６０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
　（遠隔操作支援サーバの構成）
　遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔操作装置２０は、「第１遠隔操作装置」および「第２遠隔操作装置」のうち少なくとも一方として機能する。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。遠隔操作装置２０は、スマートフォンまたはタブレット端末など、携帯情報端末により構成されていてもよい。
　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　シートＳｔの左側フレームの前方において左側操作レバー２１１２の下方に設けられている遮断レバー１１１３は、上げられた場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。
　画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
　図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
　中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、エンジン４６０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体２２０の前方中央部には作業機構４４０が設けられている。
　実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。
　実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
　作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　エンジン４６０は、作業機械４０の駆動源であり、メインポンプおよびパイロットポンプを駆動しうる。エンジン４６０が稼働している状態では、メインポンプから複数の方向制御弁に対して作動油が供給され、かつ、パイロットポンプから一次圧油が実機操作機構４１１に供給される。実機操作機構４１１の遠隔操作指令に応じた動きに応じて二次圧油が方向制御弁に対して供給され、当該方向制御弁の動作に応じた油圧シリンダに対して作動油が供給されることにより、旋回機構４３０および作業機構４４０が動作する。なお、これ以降では、エンジン４６０が稼働している状態をＯＮ、エンジン４６０が停止している状態をＯＦＦと呼ぶ。
　（第１機能）
　前記構成の遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　第１遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２１１）。「第１指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップまたはスワイプなどの操作である。
　当該判定結果が否定的である場合（図４／ＳＴＥＰ２１１‥ＮＯ）、第１指定操作の有無の判定処理（図４／ＳＴＥＰ２１１）が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１１‥ＹＥＳ）、第１遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ２１２）。「第２指定操作」は、例えば、第１指定操作により指定された作業機械４０の遠隔操作の開始予定時刻（第１開始予定時刻）および終了予定時刻（第１終了予定時刻）を含むスケジュールを設定するための遠隔入力インターフェース２１０におけるキータッチ、タップまたはスワイプなどの操作である。このスケジュールは予めデータベース１０２に登録されていてもよい。スケジュールは、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置により設定されてもよい。
　当該判定結果が否定的である場合（図４／ＳＴＥＰ２１２‥ＮＯ）、第１指定操作の有無の判定（図４／ＳＴＥＰ２１１）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して指定操作情報が送信される（図４／ＳＴＥＰ２１３）。指定操作情報には、遠隔操作装置２０を識別するための遠隔識別子と、第１指定操作により指定された作業機械４０を識別するための実機識別子と、第２指定操作により設定された遠隔操作の第１開始予定時刻および第１終了予定時刻を含むスケジュールと、が含まれている。
　遠隔操作支援サーバ１０において、指定操作情報が受信された場合（図４／Ｃ１１０）、当該指定操作情報がデータベース１０２に登録される（図４／ＳＴＥＰ１１０）。
　遠隔操作装置２０において、指定トリガに応じて、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して、遠隔操作の準備ができた旨の準備完了通知が送信される（図４／ＳＴＥＰ２１４）。指定トリガとしては、オペレータが遠隔入力インターフェース２１０を構成する準備完了ボタンを押すこと、または、オペレータがシートＳｔに着席したことなどが検知される。ただし、第１開始予定時刻よりも所定時間（例えば１０分前など）以上前の時刻に指定トリガがあった場合、準備完了通知は送信されなくてもよい。準備完了通知には、遠隔識別子が含まれている。
　遠隔操作支援サーバ１０において、準備完了通知が受信された場合、第１支援処理要素１２１により、当該準備完了通知に含まれている遠隔識別子に関連付けられてデータベース１０２に記憶保持または登録されている実機識別子により識別される作業機械４０に対して、当該準備完了通知が送信される（図４／Ｃ１１１）。
　作業機械４０において、実機無線通信機器４２２を通じて準備完了通知が受信された場合（図４／Ｃ４１０）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられる（図４／ＳＴＥＰ４１０）。これにより、例えば、パイロットポンプから供給される一次圧油が、遠隔操作指令に応じて（実機操作機構４１１の操作態様がアクチュエータにより調節されることにより）二次圧油として方向制御弁に供給されうるので、旋回機構４３０および作業機構４４０を含めて作業機械４０が動作可能な状態になる。
　さらに、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１１）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ４１２）。
　遠隔操作支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１１）、第２支援処理要素１２２により撮像画像に応じた作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。作業環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて作業環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１５）。
　これにより、例えば、図６に示されているように、作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる作業環境画像が画像出力装置２２１に出力される。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１７）。第１開始予定時刻になるまで操作態様が認識されないようにしてもよく、または、操作態様が認識されたとしても遠隔操作指令が遠隔操作支援サーバ１０に対して送信されないようにしてもよい。
　遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第２支援処理要素１２２により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１３）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて遠隔操作指令が受信された場合（図４／Ｃ４１２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。これにより、作業機械４０の遠隔操作が開始される。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第３指定操作の有無が判定される（図４／ＳＴＥＰ２１８）。「第２指定操作」は、例えば、ＩＧＮスイッチをＯＮからＯＦＦに切り替えるなど、作業機械４０のエンジン４６０の動作を停止させるための遠隔入力インターフェース２１０におけるタップなどの操作である。
　当該判定結果が否定的である場合（図５／ＳＴＥＰ２１８‥ＮＯ）、遠隔無線通信機器２２２を通じた作業環境画像データの受信（図４／Ｃ２１０参照）および当該作業環境画像データに応じた作業環境画像の画像出力装置２２１における出力（図４／ＳＴＥＰ２１２参照）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２１８‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して遠隔操作停止通知（または遠隔操作停止指令）が送信される（図４／ＳＴＥＰ２１９）。遠隔操作停止通知には、作業機械４０を識別するための実機識別子が含まれている。
　第３指定操作が、作業機械４０のエンジン４６０の動作を指定時間後に停止させるための操作であり、遠隔操作停止通知が、作業機械４０のエンジン４６０の動作を指定時間後に停止させるための指令であってもよい。この場合、第３指定操作があってから指定時間にわたり、第１遠隔操作装置による作業機械４０の遠隔操作が継続可能になる（図４／ＳＴＥＰ２１６→ＳＴＥＰ２１７→‥→ＳＴＥＰ４１４参照）。
　遠隔操作支援サーバ１０において、遠隔操作停止通知が受信された場合（図４／Ｃ１１４）、図５を用いて後述する処理が実行される。遠隔操作支援サーバ１０において、遠隔操作停止通知が受信されなかった場合、撮像画像データの受信（図４／Ｃ１１２参照）および作業環境画像データの送信（図４／ＳＴＥＰ１１２参照）以降の処理が繰り返される。
　（第２機能）
　前記構成の遠隔操作支援システムの第２機能について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　第２遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図５／ＳＴＥＰ２２１）。
　当該判定結果が否定的である場合（図５／ＳＴＥＰ２２１‥ＮＯ）、第１指定操作の有無の判定（図５／ＳＴＥＰ２２１）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２１‥ＹＥＳ）、第２遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２２２）。「第２指定操作」は、例えば、第１指定操作により指定された作業機械４０の遠隔操作の開始予定時刻（第２開始予定時刻）および終了予定時刻（第２終了予定時刻）を含むスケジュールを設定するための遠隔入力インターフェース２１０におけるキータッチ、タップまたはスワイプなどの操作である。
　当該判定結果が否定的である場合（図５／ＳＴＥＰ２２２‥ＮＯ）、第１指定操作の有無の判定（図５／ＳＴＥＰ２２１）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して指定操作情報が送信される（図５／ＳＴＥＰ２２３）。指定操作情報には、遠隔操作装置２０を識別するための遠隔識別子と、第１指定操作により指定された作業機械４０を識別するための実機識別子と、第２指定操作により設定された遠隔操作の第２開始予定時刻および第２終了予定時刻を含むスケジュールと、が含まれている。
　遠隔操作支援サーバ１０において、指定操作情報が受信された場合（図５／Ｃ１２０）、当該指定操作情報がデータベース１０２に登録される（図５／ＳＴＥＰ１２０）。
　遠隔操作支援サーバ１０において、第１支援処理要素１２１により第２遠隔操作装置としての遠隔操作装置２０のオペレータが選定される（図５／ＳＴＥＰ１２１）。例えば、データベース１０２への問い合わせにより、作業機械４０の遠隔操作のスケジュールを参照し、第１遠隔操作装置の次に作業機械４０を遠隔操作するオペレータまたは遠隔操作装置が選定される。第１遠隔操作装置の次に作業機械４０を遠隔操作するオペレータが、第２遠隔操作装置を操作するオペレータである場合には、当該空き情報が送信される（図５／ＳＴＥＰ１２２）。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて当該空き情報が受信された場合（図５／Ｃ２２１）、遠隔制御装置２００により、遠隔操作の意思の有無を確認するための画面が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２４）。例えば、作業機械４０の遠隔操作を開始することを確認する画面が画像出力装置２２１に出力される。過去一定期間にわたる作業環境画像データに応じた作業環境画像（動画）が併せて画像出力装置２２１に出力されてもよい。
　遠隔制御装置２００により、遠隔入力インターフェース２１０を通じた意思表示操作の有無が判定される（図５／ＳＴＥＰ２２５）。例えば、画像出力装置２２１に出力された意思確認画面を構成するボタンのうち一方のタップなどによる選択操作が意思表示操作に該当する。例えば、指定期間内に意思表示操作の有が判定される場合に当該判定結果が肯定的であると判定される。判定結果が肯定的である場合に、遠隔制御装置２００により、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して肯定的な意思確認結果が送信される（図５／ＳＴＥＰ２２６）。その一方、指定期間にわたって連続的に意思表示操作の無が判定される場合には、判定結果が否定的となる。当該判定結果が否定的である場合に、遠隔制御装置２００により、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して否定的な意思確認結果が送信される（図５／ＳＴＥＰ２２６）。指定期間は、例えば、作業機械４０のエンジン４６０を第１終了予定時刻にＯＦＦとし、第２開始予定時刻に再びＯＮとする場合の燃料消費量が、作業機械４０のエンジン４６０を当該第１終了予定時刻から当該第２開始予定時刻までＯＮのまま継続する場合の燃料消費量を上回る時間として設定される。
　遠隔操作支援サーバ１０において、意思確認結果が受信された場合（図５／Ｃ１２２）、第２支援処理要素１２２により、当該意思確認結果が肯定的であるか又は否定的であるかが判定される（図５／ＳＴＥＰ２１２３）。当該意思確認結果が否定的である場合（図５／ＳＴＥＰ１２３‥ＮＯ）、第２支援処理要素１２２により、エンジン動作停止指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２８）。作業機械４０において、実機無線通信機器４２２を通じてエンジン動作停止指令が受信された場合（図５／Ｃ４２２）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられる（図５／ＳＴＥＰ４２２）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給されなくなり、遠隔操作指令に応じて実機操作機構４１１が動かされたとしても旋回機構４３０および作業機構４４０が動作不可能な状態になる。
　その一方、当該意思確認結果が肯定的である場合（図５／ＳＴＥＰ１２３‥ＹＥＳ）、第２支援処理要素１２２により、エンジン動作継続指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２４）。作業機械４０において、実機無線通信機器４２２を通じてエンジン動作継続指令が受信された場合（図５／Ｃ４２１）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮに維持される（図５／ＳＴＥＰ４２１）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給される状態が継続される。
　さらに、この場合、第２支援処理要素１２２により、遠隔操作可能通知が第２遠隔操作装置としての遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２６）。第２遠隔操作装置において、遠隔制御装置２００により遠隔無線通信機器２２２を通じて遠隔操作可能通知が受信された場合（図５／Ｃ２２２）、当該通知が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２７）。これにより、図４に示されているフローチャートにしたがって、第２遠隔操作装置としての遠隔操作装置２０により作業機械４０が遠隔操作されうる（図４／ＳＴＥＰ４１１→ＳＴＥＰ４１２→Ｃ１１２→ＳＴＥＰ１１２→Ｃ２１０→ＳＴＥＰ２１５→ＳＴＥＰ２１６→ＳＴＥＰ２１７→Ｃ１１３→Ｃ４１２→ＳＴＥＰ４１４）。ただし、エンジン４６０がＯＦＦからＯＮに切り替えられる必要はない（図４／ＳＴＥＰ４１０参照）。
　（効果）
　当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ１０によれば、一のオペレータにより第１遠隔操作装置としての一の遠隔操作装置２０を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置としての他の遠隔操作装置２０を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在しない場合、当該作業機械４０のエンジン４６０の動作が停止される（図５／ＳＴＥＰ２２５‥ＮＯ→ＥＮＤ、Ｃ１２２→ＳＴＥＰ１２８→Ｃ４２２→ＳＴＥＰ４２２参照）。
　その一方、一のオペレータにより第１遠隔操作装置としての一の遠隔操作装置２０を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置としての他の遠隔操作装置２０を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在する場合、当該作業機械４０のエンジン４６０の動作が停止されずに継続される（図５／ＳＴＥＰ２２５‥ＹＥＳ→ＳＴＥＰ２２６→Ｃ１２２→ＳＴＥＰ１２４→Ｃ４２１→ＳＴＥＰ４２１参照）。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械４０のエンジン４６０を再起動させて暖機運転をさせることなく、直ちに当該作業機械４０を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置２０を通じて同一の作業機械４０が遠隔操作される際、当該作業機械４０の作業の円滑化を図ることができる。
（本発明の他の実施形態）
　第１支援処理要素１２１が、第２遠隔操作装置のオペレータによる作業機械４０の遠隔操作開始予定時刻をさらに確認し、第２支援処理要素１２２が、第１遠隔操作装置から作業機械４０の遠隔操作停止通知（遠隔操作停止指令）を受信した後（図４／Ｃ１１４参照）、当該遠隔操作開始予定時刻までの時間間隔が指定時間間隔以下であることを要件として作業機械４０のエンジン４６０の動作を継続させてもよい（図５／ＳＴＥＰ１２４参照）。
　当該構成の作業支援サーバ４０によれば、一のオペレータにより第１遠隔操作装置を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在するものの、当該他のオペレータによる遠隔操作の開始予定時刻（第２開始予定時刻）までの時間間隔が指定時間を超える程度に長い場合、当該作業機械４０のエンジン４６０の動作が停止される。このため、遠隔操作がされないまま作業機械４０のエンジンが過度に長期間にわたって動作している事態が回避されうる。
　その一方、一のオペレータにより第１遠隔操作装置を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在し、かつ、当該他のオペレータによる遠隔操作開始予定時刻までの時間間隔が指定時間間隔を超えない程度に短い場合、当該作業機械４０のエンジン４６０の動作が停止されずに継続される。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械４０のエンジン４６０を再起動させて暖機運転をさせることなく、直ちに当該作業機械４０を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械４０が遠隔操作される際、当該作業機械４０の作業の円滑化を図ることができる。
　第２支援処理要素１２２が、作業機械４０の環境温度が低いほど、連続的または段階的に長くなるように定まる指定時間間隔にしたがって、作業機械４０のエンジンの動作を継続または停止させてもよい。
　この場合、一のオペレータにより第１遠隔操作装置を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータによる遠隔操作開始予定時刻までの時間間隔が比較的長い場合であっても、当該作業機械の環境温度が低いほど長時間にわたりエンジンの動作が継続される。このため、比較的早期に作業機械のエンジンの動作が停止されてしまったため、エンジンの再起動後に比較的長時間にわたって暖機運転をする必要性を低減させ、早期に作業機械４０の遠隔操作の開始を可能とすることができる。よって、異なるオペレータによりまたは異なる遠隔操作装置２０を通じて同一の作業機械４０が遠隔操作される際、当該作業機械４０の作業の円滑化を図ることができる。
　前記実施形態では、選定されたオペレータの遠隔操作装置２０に対して空き情報が送信されるが（図５／ＳＴＥＰ１２２参照）、第１遠隔操作装置の次に作業機械４０を遠隔操作するオペレータまたは遠隔操作装置による遠隔操作の開始予定時刻（第２開始予定時刻）が、第１遠隔操作装置による作業機械４０の遠隔操作の終了予定時刻（第１終了予定時刻）から指定時間以上ある場合には、当該空き情報を送信しないようにしてもよい。例えば、指定時間は、作業機械４０のエンジンを当該第１終了予定時刻にＯＦＦとし、当該第２開始予定時刻に再びＯＮとする場合の燃料消費量が、作業機械４０のエンジンを当該第１終了予定時刻から当該第２開始予定時刻までＯＮのまま継続する場合の燃料消費量を上回る時間である。
　第１支援処理要素１２２が、撮像装置を通じて取得された作業機械の動作状態および周辺環境を表わす撮像画像データを取得し、第２遠隔操作装置との通信に基づき、撮像画像データに応じた作業環境画像を第２遠隔操作装置の遠隔出力インターフェース２２０に出力させたうえで、第２遠隔操作装置のオペレータによる作業機械４０の遠隔操作可能性の有無を確認する。
　この場合、一のオペレータにより第１遠隔操作装置を通じて遠隔操作されている作業機械４０の動作状態および周辺環境を他のオペレータに認識させ、当該他のオペレータに第２遠隔操作装置を通じて同じ作業機械４０を続けて遠隔操作するか否かを意思決定させることができる。他のオペレータは作業機械４０の動作状況および周辺環境を認識したうえで、当該作業機械４０の遠隔操作を引き継ぐことができるため、違和感なく直ちに当該作業機械４０の遠隔操作を開始かつ継続することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置２０を通じて同一の作業機械４０が遠隔操作される際、当該作業機械４０の作業の円滑化を図ることができる。
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置（第１遠隔操作装置、第２遠隔操作装置）、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２１２‥オペレータ状態センサ、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１‥実機入力インターフェース、４２‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構（作業機構）、４４５‥バケット（作業部）、４６０‥エンジン。 

Claims (6)

  1. 　オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
    　第１遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記第１遠隔操作装置による前記作業機械の遠隔操作が終了することを認識した場合、前記第１遠隔操作装置とは異なる第２遠隔操作装置との通信に基づき、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認する第１支援処理要素と、
    　前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性がないことが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信したことに応じて前記作業機械のエンジンの動作を停止させる一方、前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性があることが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後も前記作業機械のエンジンの動作を継続させる第２支援処理要素と、
    を備えていることを特徴とする遠隔操作支援サーバ。
  2. 　請求項１記載の作業支援サーバにおいて、
    　前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械の動作状態および周辺環境を表わす撮像画像データを取得し、前記第２遠隔操作装置との通信に基づき、前記撮像画像データに応じた作業環境画像を前記第２遠隔操作装置の出力インターフェースに出力させたうえで、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認することを特徴とする作業支援サーバ。
  3. 　請求項１または２記載の作業支援サーバにおいて、
    　前記第１支援処理要素が、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無に加えて、当該遠隔操作可能性がある場合の遠隔操作開始予定時刻を認識し、
    　前記第２支援処理要素が、前記第１支援処理要素により、前記オペレータによる前記作業機械の遠隔操作可能性があることおよび遠隔操作開始予定時刻が確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後、当該遠隔操作開始予定時刻までの時間間隔が指定時間間隔以下であることを要件として前記作業機械のエンジンの動作を継続させることを特徴とする作業支援サーバ。
  4. 　請求項３記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、前記作業機械の環境温度が低いほど、連続的または段階的に長くなるように定まる前記指定時間間隔にしたがって、前記作業機械のエンジンの動作を継続または停止させることを特徴とする作業支援サーバ。
  5. 　請求項１～４のうちいずれか１項に記載の作業支援サーバと、前記第１遠隔操作装置および前記第２遠隔操作装置と、により構成されていることを特徴とする作業支援システム。
  6. 　オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援方法であって、
    　第１遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記第１遠隔操作装置による前記作業機械の遠隔操作が終了することを認識した場合、前記第１遠隔操作装置とは異なる第２遠隔操作装置との通信に基づき、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認する第１支援処理と、
    　前記第１支援処理の実行により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性がないことが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信したことに応じて前記作業機械のエンジンの動作を停止させる一方、前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性があることが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後も前記作業機械のエンジンの動作を継続させる第２支援処理と、を含んでいることを特徴とする遠隔操作支援サーバ。
     
     
PCT/JP2021/000330 2020-03-23 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 WO2021192483A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180023578.7A CN115362295B (zh) 2020-03-23 2021-01-07 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
US17/910,606 US20230279640A1 (en) 2020-03-23 2021-01-07 Remote operation assistance server, remote operation assistance system, and remote operation assistance method
EP21775552.9A EP4101994A4 (en) 2020-03-23 2021-01-07 REMOTE ASSISTANCE SERVER, REMOTE ASSISTANCE SYSTEM AND REMOTE ASSISTANCE METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-051871 2020-03-23
JP2020051871A JP7363627B2 (ja) 2020-03-23 2020-03-23 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Publications (1)

Publication Number Publication Date
WO2021192483A1 true WO2021192483A1 (ja) 2021-09-30

Family

ID=77847898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000330 WO2021192483A1 (ja) 2020-03-23 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Country Status (5)

Country Link
US (1) US20230279640A1 (ja)
EP (1) EP4101994A4 (ja)
JP (1) JP7363627B2 (ja)
CN (1) CN115362295B (ja)
WO (1) WO2021192483A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001182091A (ja) * 1999-12-28 2001-07-03 Hitachi Constr Mach Co Ltd 自動運転ショベルおよびショベルの自動運転方法
JP2004239166A (ja) * 2003-02-06 2004-08-26 Kobelco Contstruction Machinery Ltd 建設機械のエンジン制御装置
JP2010273344A (ja) * 2010-05-24 2010-12-02 Komatsu Ltd 作業機械の管理装置
US20150054629A1 (en) * 2013-08-26 2015-02-26 Wacker Neuson Production Americas Llc System for controlling remote operation of ground working devices
JP2016212503A (ja) * 2015-04-30 2016-12-15 鹿島建設株式会社 作業機械の運転支援画像作成方法及びシステム
JP2019176401A (ja) 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械の遠隔操作システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011208568A (ja) * 2010-03-30 2011-10-20 Kobelco Cranes Co Ltd 作業機械のエンジン制御装置
CN107110035B (zh) * 2014-10-06 2020-07-10 日立建机株式会社 作业机械
US10711430B2 (en) * 2016-04-19 2020-07-14 Cpac Systems Ab Control unit in working machine for identifying human operation of implement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001182091A (ja) * 1999-12-28 2001-07-03 Hitachi Constr Mach Co Ltd 自動運転ショベルおよびショベルの自動運転方法
JP2004239166A (ja) * 2003-02-06 2004-08-26 Kobelco Contstruction Machinery Ltd 建設機械のエンジン制御装置
JP2010273344A (ja) * 2010-05-24 2010-12-02 Komatsu Ltd 作業機械の管理装置
US20150054629A1 (en) * 2013-08-26 2015-02-26 Wacker Neuson Production Americas Llc System for controlling remote operation of ground working devices
JP2016212503A (ja) * 2015-04-30 2016-12-15 鹿島建設株式会社 作業機械の運転支援画像作成方法及びシステム
JP2019176401A (ja) 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械の遠隔操作システム

Also Published As

Publication number Publication date
US20230279640A1 (en) 2023-09-07
EP4101994A1 (en) 2022-12-14
EP4101994A4 (en) 2023-07-12
CN115362295A (zh) 2022-11-18
JP7363627B2 (ja) 2023-10-18
JP2021147978A (ja) 2021-09-27
CN115362295B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
JP7341396B2 (ja) 遠隔操作支援サーバおよび遠隔操作支援システム
WO2021024553A1 (ja) 作業機械
WO2021192491A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US11993922B2 (en) Remote operation system
WO2021192483A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
CN115552501A (zh) 远程操作辅助装置以及远程操作辅助方法
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
WO2021166477A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US20220303472A1 (en) Image capturing function control system and image capturing function control method
JP2021099017A (ja) 遠隔操作装置および遠隔操作システム
WO2023233800A1 (ja) 遠隔操作システム
JP7287047B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
US20220298748A1 (en) Remote operation support system and remote operation support method
US20240141616A1 (en) Remote operation assistance server and remote operation asistance system
US20230003002A1 (en) Remote operation device and remote operation system
JP2022121138A (ja) 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
JP2024064635A (ja) 操作状態切替装置、作業機械および操作状態切替システム
JP2023113702A (ja) 作業機械
JP2021086224A (ja) 作業支援サーバおよび作業支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775552

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021775552

Country of ref document: EP

Effective date: 20220907

NENP Non-entry into the national phase

Ref country code: DE