WO2021166477A1 - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 Download PDF

Info

Publication number
WO2021166477A1
WO2021166477A1 PCT/JP2021/000414 JP2021000414W WO2021166477A1 WO 2021166477 A1 WO2021166477 A1 WO 2021166477A1 JP 2021000414 W JP2021000414 W JP 2021000414W WO 2021166477 A1 WO2021166477 A1 WO 2021166477A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
work machine
condition
engine
control device
Prior art date
Application number
PCT/JP2021/000414
Other languages
English (en)
French (fr)
Inventor
龍一 廣瀬
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP21756623.1A priority Critical patent/EP4071311B1/en
Priority to US17/791,746 priority patent/US20230031436A1/en
Priority to CN202180013659.9A priority patent/CN115066910A/zh
Publication of WO2021166477A1 publication Critical patent/WO2021166477A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/003—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
    • E02F9/2062—Control of propulsion units
    • E02F9/2066—Control of propulsion units of the type combustion engines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/40—Force or pressure sensors
    • B60N2210/42—Strain gauges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00—Communication or electronic aspects
    • B60N2230/20—Wireless data transmission
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • E02F9/268—Diagnosing or detecting failure of vehicles with failure correction follow-up actions

Definitions

  • the present invention relates to a technique for supporting remote control of a work machine by an operator through a remote control device.
  • An emergency stop system for construction machinery has been proposed that can grasp the status of the machine and determine whether or not it is an emergency stop even during an emergency stop (see, for example, Patent Document 2).
  • power is supplied to each electronic device when the ignition switch is closed.
  • the work machine stop command for stopping the operation of the work machine and the engine for the first electronic device are stopped while the electric power is being supplied to each electronic device.
  • An engine stop command can be issued.
  • a new remote control system for work machines has been proposed that can quickly and easily identify the location of an abnormality when an abnormality occurs in the communication means (see, for example, Patent Document 3).
  • the device diagnosed as having an abnormality is a device that does not affect the operation of the hydraulic system and the engine system
  • the work machine is controlled to the standby state. Therefore, when the device is a video / audio device, it is possible to avoid a situation in which the operator operates the work machine in a state where the video cannot be viewed. Further, when the standby state elapses for a predetermined time, the engine of the work machine is stopped, so that an unexpected situation can be avoided in a situation where the standby state may continue for a long period of time.
  • JP-A-2006-233615 Japanese Unexamined Patent Publication No. 2008-248627 Japanese Unexamined Patent Publication No. 2015-192163
  • an object of the present invention is to provide a technique capable of improving the work efficiency of a work machine remotely controlled by an operator through a remote control device.
  • the remote control support server of the present invention The first condition that the engine stop command of the work machine was issued through the input interface of the remote control device based on the communication with the remote control device for remotely controlling the work machine, and the operator of the remote control device.
  • the first support processing element that recognizes the satisfaction of the second condition that the intention to stop the engine of the work machine is highly likely to be reflected in the engine stop command, and When it is recognized that the first condition and the second condition are satisfied by the first support processing element, the work mechanism is based on communication with the work machine without stopping the operation of the engine of the work machine. When it is recognized that the first condition is satisfied but the second condition is not satisfied by the first support processing element while executing the first stop processing for stopping the operation of the above operation, the operation is performed.
  • a second support processing element that executes a second stop process for stopping the operation of the work mechanism and the engine of the work machine based on the communication with the machine. It has.
  • the engine when the first condition is satisfied, that is, when the engine stop command of the work machine is given through the input interface of the remote control device, the engine operates in principle. Although it is stopped, the operation of the engine is not stopped exceptionally.
  • the engine is stopped.
  • the operation of the engine is stopped according to the command.
  • the engine operation command is issued. Despite the fact that it was there, the engine operation continues without being stopped. As a result, the operator releases the operation stop state of the work mechanism in that state, and the work by the work machine can be resumed quickly, so that the work efficiency using the work machine can be improved.
  • Explanatory drawing about the structure of the remote control support system as one Embodiment of this invention. Explanatory drawing about the structure of the remote control device. Explanatory drawing about the structure of the work machine. Explanatory drawing about the 1st function of a remote control support system. Explanatory drawing about the 2nd function of a remote control support system. Explanatory drawing about work environment image.
  • the remote control support system as an embodiment of the present invention shown in FIG. 1 is composed of a remote control support server 10 and a work machine 40.
  • the remote control device 20 (client) for remotely controlling the work machine 40 may be a component of the remote control system.
  • the remote control support server 10, the remote control device 20, and the work machine 40 are configured to enable network communication with each other.
  • the mutual communication network of the remote control support server 10 and the remote control device 20 and the mutual communication network of the remote control support server 10 and the work machine 40 may be the same or different.
  • the remote control support server 10 includes a database 102, a first support processing element 121, and a second support processing element 122.
  • the database 102 stores and holds captured image data and the like.
  • the database 102 may be configured by a database server separate from the remote control support server 10.
  • Each assistive processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the remote control support server 10 may be configured by the remote control device 20. In this case, the remote control device 200 includes a first support processing element 121 and a second support processing element 122.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
  • the remote control device 20 functions as at least one of a “first client” and a “second client”.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the remote input interface 210 includes a remote control mechanism 211 and an operator status sensor 212.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
  • the traveling lever may also serve as a traveling pedal.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operation lever (bucket lever) of the bucket operation device is operated to move the bucket cylinder 446 of the work machine 40.
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but in any form that the operator can sit in, such as a low back chair without a headrest or a chair without a backrest. It may be.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the left side operating lever 2111 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. May function as a swivel lever.
  • the right operating lever 2112 provided in front of the right frame of the seat St shown in FIG. 2 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a bucket lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the shutoff lever 2113 provided below the left operation lever 2111 in front of the left frame of the seat St prevents the work machine 40 from moving even if each operation lever 2110, 2111, or 2112 is operated when it is raised. While locking, it functions as an operating lever to release the lock when lowered.
  • the operator state sensor 212 is composed of a part of the seat St (for example, a seating portion, an armrest or a backrest) or a load sensor (for example, a strain gauge) provided on a support member of the seat St. It can be determined whether the operator is seated or absent from the seat St according to the magnitude or presence / absence of the load detected by the load sensor.
  • the operator status sensor 212 may be configured by a contact sensor or a load sensor provided in at least a part of the operating levers constituting the remote control mechanism 211.
  • the operator state sensor 212 may be configured by an imaging sensor for recognizing a human face or facial expression seated on the seat St.
  • the image output device 221 is a central image output device 2210 having substantially rectangular screens arranged in front of the sheet St, diagonally forward left, and diagonally forward right, respectively, and a left image. It is composed of an output device 2211 and a right image output device 2212.
  • the shapes and sizes of the screens (image display areas) of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be the same or different.
  • the left image output device 2211 so that the screen of the central image output device 2210 and the screen of the left image output device 2211 form an inclination angle ⁇ 1 (for example, 120 ° ⁇ ⁇ 1 ⁇ 150 °).
  • the right edge of is adjacent to the left edge of the central image output device 2210.
  • the right image output device 2212 so that the screen of the central image output device 2210 and the screen of the right image output device 2212 form an inclination angle ⁇ 2 (for example, 120 ° ⁇ ⁇ 2 ⁇ 150 °).
  • the left edge of is adjacent to the right edge of the central image output device 2210.
  • the inclination angles ⁇ 1 and ⁇ 2 may be the same or different.
  • the screens of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be parallel to the vertical direction or inclined with respect to the vertical direction. At least one of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be composed of a plurality of divided image output devices.
  • the central image output device 2210 may be composed of a pair of vertically adjacent image output devices having a substantially rectangular screen.
  • the image output devices 2210 to 2212 may further include a speaker (audio output device).
  • the work machine 40 includes an actual machine control device 400, an actual machine input interface 41, an actual machine output interface 42, a work mechanism 440, and an engine 460.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a swivel mechanism 430. It is equipped with an upper swivel body 420 and. A cab 424 (driver's cab) is provided on the front left side of the upper swing body 420. A work mechanism 440 is provided at the front center portion of the upper swing body 420.
  • a crawler excavator construction machine
  • the actual machine input interface 41 includes an actual machine operation mechanism 411, an actual machine imaging device 412, and a positioning device 414.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the actual image pickup device 412 is installed inside, for example, the cab 424, and images an environment including at least a part of the work mechanism 440 through the front window and the pair of left and right side windows. Some or all of the front and side windows may be omitted.
  • the positioning device 414 is composed of GPS and, if necessary, a gyro sensor and the like.
  • the actual device output interface 42 includes an actual device wireless communication device 422.
  • the work mechanism 440 is rotatably connected to the boom 441 undulatingly mounted on the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is equipped with a bucket 445 and.
  • the work mechanism 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • hydraulic oil can be supplied from the main pump to a plurality of directional control valves, and primary pressure oil can be supplied from the pilot pump to the actual machine operating mechanism 411. Secondary pressure oil is supplied to the directional control valve according to the movement according to the remote control command of the actual machine operation mechanism 411, and hydraulic oil is supplied to the hydraulic cylinder according to the operation of the directional control valve. As a result, the swivel mechanism 430 and the work mechanism 440 operate.
  • the operator determines whether or not there is a designated operation through the remote input interface 210 (FIG. 4 / STEP210).
  • the "designated operation” is, for example, an operation such as tapping on the remote input interface 210 for the operator to specify the work machine 40 intended for remote control. If the determination result is negative (FIG. 4 / STEP210 ... NO), the processing after the determination of the presence / absence of the designated operation is repeated. On the other hand, if the determination result is affirmative (FIG. 4 / STEP210 ... YES), an environment confirmation request is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 4 / STEP212).
  • the first support processing element 121 transmits the environment confirmation request to the corresponding work machine 40 (FIG. 4 / C110).
  • the actual machine control device 400 acquires the captured image through the actual machine imaging device 412 (FIG. 4 / STEP410).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 20 through the actual device wireless communication device 422 (FIG. 4 / STEP412).
  • the remote control support server 10 when the captured image data is received by the first support processing element 121 (FIG. 4 / C111), the environment image data corresponding to the captured image is transmitted to the remote control device 20 by the second support processing element 122. (Fig. 4 / STEP110).
  • the environmental image data is not only the captured image data itself, but also image data representing a simulated environmental image generated based on the captured image.
  • the remote control device 20 When the remote control device 20 receives the environmental image data through the remote wireless communication device 222 (FIG. 4 / C210), the remote control device 200 outputs the environmental image corresponding to the environmental image data to the image output device 221. (Fig. 4 / STEP214).
  • an environmental image in which the boom 441, the arm 443, and the bucket 445, which are a part of the working mechanism 440, are reflected is output to the image output device 221.
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP216), and the remote control command corresponding to the operation mode supports the remote control through the remote wireless communication device 222. It is transmitted to the server 10 (FIG. 4 / STEP218).
  • the remote control command when the remote control command is received by the second support processing element 122, the remote control command is transmitted to the work machine 40 by the first support processing element 121 (FIG. 4 / C112).
  • the actual machine control device 400 receives a remote control command through the actual machine wireless communication device 422 (FIG. 4 / C412), the operation of the work mechanism 440 and the like is controlled (FIG. 4 / STEP414).
  • the remote control of the work machine 40 is started.
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 420 is swiveled, and then the soil is dropped from the bucket 445.
  • the operator determines whether or not there is a first designated operation through the remote input interface 210 (FIG. 5 / STEP 220).
  • the "first designated operation” is an operation such as tapping on the remote input interface 210 for starting the engine 460 of the work machine 40, such as switching the IGN switch from OFF to ON. If the determination result is negative (FIG. 5 / STEP220 ... NO), the processing after the determination of the presence / absence of the first designated operation is repeated. On the other hand, if the determination result is affirmative (FIG. 5 / STEP220 ... YES), an engine operation command is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP222).
  • the engine operation command includes a work machine identifier for identifying the work machine 40 designated through the remote input interface 210.
  • the engine operation command is transmitted to the work machine 40 identified by the work machine identifier by the first support processing element 121 (FIG. 5 / C120). ..
  • the engine 460 of the work machine 40 is switched from ON to OFF by the actual machine control device 400, and the work is performed.
  • the mechanism 440 is switched from an inoperable locked state to an operable unlocked state in response to an operation command (FIG. 5 / STEP420).
  • the primary pressure oil supplied from the pilot pump is supplied to the directional control valve as the secondary pressure oil in response to the remote control command (by adjusting the operation mode of the actual machine operation mechanism 411 by the actuator). Therefore, the working mechanism 440 is in an operable state as described above (see FIG. 4 / STEP216 ⁇ STEP218 ⁇ ... ⁇ STEP412 and FIG. 6).
  • the operator determines whether or not there is a second designated operation through the remote input interface 210 (FIG. 5 / STEP223).
  • the "second designated operation” is an operation such as tapping on the remote input interface 210 for stopping the operation of the engine 460 of the work machine 40, such as switching the IGN switch from ON to OFF. If the determination result is negative (FIG. 5 / STEP223 ... NO), the processing after the determination of the presence / absence of the first designated operation is repeated. On the other hand, if the determination result is affirmative (FIG. 5 / STEP223 ... YES), an engine stop command is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP224).
  • the engine operation command includes a work machine identifier for identifying the work machine 40 designated through the remote input interface 210.
  • the operator status request is transmitted to the remote control device 20 by the first support processing element 121 (FIG. 5 / STEP121).
  • the reception of the engine stop command is synonymous with the fact that the first condition is satisfied.
  • the remote control device 200 When the remote control device 20 receives the operator status request through the remote wireless communication device 222 (FIG. 5 / C221), the remote control device 200 detects the operator status based on the output signal of the operator status sensor 212 (FIG. 5 / C221). FIG. 5 / STEP225). For example, whether or not the operator is seated on the seat St, or whether or not the operator is present at a designated location that should exist when the remote control mechanism 211 is operated is detected as the operator state. Then, the detected operator state is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP226).
  • the operator status is detected by the remote control device 200 based on the output signal of the operator status sensor 212 even if there is no operator status request. (FIG. 5 / STEP225), the operator state detected to the remote control support server 10 may be transmitted together with the engine stop command through the remote wireless communication device 222 (FIG. 5 / STEP226).
  • the first support processing element 121 determines whether or not the second condition is satisfied based on the operator state (FIG. 5 / C122). 5 / STEP122). That is, it is determined whether or not the operator does not exist at the designated place that should exist when operating the remote control mechanism 211.
  • the second support processing element 122 causes the first stop command to be the work machine 40. Is transmitted to (Fig. 5 / STEP124).
  • the actual machine control device 400 keeps the engine 460 of the working machine 40 ON, while the working mechanism.
  • the 440 is switched from the unlocked state to the locked state (FIG. 5 / STEP421).
  • the supply of primary pressure oil from the pilot pump to the actual machine operation mechanism 411 is prohibited by the interruption of the corresponding hydraulic circuit, so that the work mechanism 440 cannot operate even if there is a remote control command. Become in a state.
  • the second support processing element 122 causes the first condition.
  • a stop command is transmitted to the work machine 40 (FIG. 5 / STEP126).
  • the engine 460 of the working machine 40 is switched from ON to OFF by the actual machine control device 400, and the engine 460 of the working machine 40 is switched from ON to OFF.
  • the working mechanism 440 is switched from the unlocked state to the locked state (FIG. 5 / STEP422).
  • the primary pressure oil is not supplied from the pilot pump to the actual machine operation mechanism 411, and even if the actual machine operation mechanism 411 is moved in response to the remote control command, the work mechanism 440 (and the swivel mechanism 430) cannot operate. It becomes a state.
  • the intention, and by extension, the intention to interrupt the remote control is reflected in the engine stop command. Therefore, in this case, when the operation of the engine 460 is stopped according to the engine stop command, the operation stop state of the work mechanism 440 (including the turning mechanism 430) is erroneously released by a third party other than the operator, and the work is performed. The situation where the work by the machine 40 is restarted is surely avoided (see FIG. 5 / STEP122 ... NO ⁇ STEP126 ⁇ ... STEP422).
  • the second condition that is, if the operator does not exist at the designated location when operating the remote control mechanism 211 in the remote control device 20, the operator intends to stop the engine 460. As a result, it is unlikely that the intention to suspend remote control is reflected in the engine stop command. Therefore, in this case, even though the engine operation command is given, the operation of the engine 460 is continued without being stopped, so that the operator releases the operation stop state of the work machine 40 in that state, and the work machine 40 is released. Since the work according to the above can be resumed quickly, the work efficiency using the work machine 40 can be improved (see FIG. 5 / STEP122 ... YES ⁇ STEP124 ⁇ ... STEP421).
  • the remote control device 20 is defined as not present at a designated location when the operator operates the remote control mechanism 211 as a second condition, but as another embodiment, an alternative Objectively or additionally, the emergency stop switch provided in the remote control device 20 has been operated, (c) an operation abnormality has occurred in the remote control device 20, the remote control support server 10 or the work machine 40, and , (D) At least one of the interruptions in communication in the remote control device 20, the remote control support server 10, or the work machine 40 may be defined as the second condition.
  • the first support processing element 121 is remote based on the output signal from the sensor for detecting that the operator is in contact with or applying a load to the designated structure provided at the designated location in the remote control device 20.
  • the operating device 20 recognizes the sufficiency of the second condition that the operator does not exist at the designated position when operating the remote control mechanism 211.
  • the operator in the remote control device 20 When the operator in the remote control device 20 is in contact with or applies a load to a designated structure provided at a designated place when operating the remote control mechanism 211, the operator intends to stop the engine 460, and by extension, It is unlikely that the intention to suspend remote control is reflected in the engine stop command. Therefore, in this case, despite the engine operation command, the operation of the engine 460 is continued without being stopped, so that the operator releases the operation stop state of the work mechanism in that state, and the work machine 40 releases the operation stop state. Since the work can be resumed quickly, the work efficiency using the work machine can be improved.
  • the first support processing element 121 recognizes the sufficiency of the second condition based on the output signal from the sensor 212 for detecting that the operator is seated on the seat St as the designated structure and applies a load. ..
  • the first support processing element 121 is based on an output signal from an imaging sensor for recognizing a human face or facial expression seated on a seat St provided at a designated location in the remote control device 20, and the operator in the remote control device 20 Recognize the sufficiency of the second condition that it does not exist at the designated location when operating the remote control mechanism 211.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Selective Calling Equipment (AREA)

Abstract

遠隔操作装置を通じてオペレータにより遠隔操作される作業機械の作業効率の向上を図りうる技術を提供する。第１条件が満たされている場合、すなわち、遠隔操作装置２０の遠隔入力インターフェース２１を通じて作業機械４０のエンジン停止指令があった場合、原則的にはエンジン４６０の動作が停止されるものの、例外的にエンジン４６０の動作は停止されない。具体的には、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在していない場合、エンジン４６０の動作が停止される。その一方、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在している場合、エンジン動作指令があったにもかかわらず、エンジン４６０の動作が停止されずに継続される。

Description

遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
　本発明は、オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための技術に関する。
　油圧ショベル等の作業機械において、ゲートロックレバーが操作されて作動停止装置による遮断が解除された後における誤動作を防止することができる作業機械の操作回路が提案されている（例えば、特許文献１参照）。
　非常停止時にも機械の状況把握および非常停止か否かを判断できる建設機械の非常停止システムが提案されている（例えば、特許文献２参照）。このシステムによれば、イグニッションスイッチが閉状態であれば各電子機器に電力が供給される。また、第２の電子機器は、各電子機器に電力が供給されたままの状態で、作業機停止手段に作業機の動作を停止させる作業機停止指令および第１の電子機器にエンジンを停止させるエンジン停止指令を行うことができる。
　通信手段に異常が発生した場合、その異常発生箇所を迅速かつ容易に特定できる新規な作業機械の遠隔操縦システムが提案されている（例えば、特許文献３参照）。このシステムによれば、異常が発生したと診断された機器が油圧システムおよびエンジンシステムの動作に影響を与えない機器である場合、作業機械を待機状態に制御する。このため、当該機器が映像音声機器である場合、映像を見ることができない状態でオペレータが作業機械を操作するような事態が回避される。さらに、待機状態が所定時間経過した場合、作業機械のエンジンが停止されため、待機状態が長期間にわたり継続する可能性がある状況で不測の事態が発生することが回避される。
特開２００６－２３３６１５号公報 特開２００８－２４８６２７号公報 特開２０１５－１９２１６３号公報
　しかし、オペレータが作業機械の遠隔操作を継続する意思があるにもかかわらず、予期せぬ理由でエンジン停止指令があり、作業機械のエンジンが停止された場合、オペレータがエンジンを再始動させる必要があり、その分だけ作業効率が低下する可能性がある。
　そこで、本発明は、遠隔操作装置を通じてオペレータにより遠隔操作される作業機械の作業効率の向上を図りうる技術を提供することを目的とする。
　本発明の遠隔操作支援サーバは、
　作業機械を遠隔操作するための遠隔操作装置との通信に基づき、前記遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があったという第１条件、および、前記遠隔操作装置のオペレータの前記作業機械のエンジンを停止させる意思が前記エンジン停止指令に反映されている蓋然性が高いという第２条件の充足性を認識する第１支援処理要素と、
　前記第１支援処理要素により前記第１条件および前記第２条件が満たされていると認識された場合、前記作業機械との通信に基づき、前記作業機械のエンジンの動作を停止させずに作業機構の動作を停止させるための第１停止処理を実行する一方、前記第１支援処理要素により前記第１条件が満たされている一方で第２条件が満たされていないと認識された場合、前記作業機械との通信に基づき、前記作業機械の作業機構およびエンジンのそれぞれの動作を停止させるための第２停止処理を実行する第２支援処理要素と、
を備えている。
　当該構成の遠隔操作支援サーバによれば、第１条件が満たされている場合、すなわち、遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があった場合、原則的にはエンジンの動作が停止されるものの、例外的にエンジンの動作は停止されない。
　具体的には、第２条件が満たされていない場合、すなわち、当該オペレータによりエンジンを停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が高い場合、エンジン停止指令にしたがってエンジンの動作が停止される。これにより、オペレータ以外の第三者により誤って作業機構の動作停止状態が解除され、作業機械による作業が再開される事態が確実に回避される。
　その一方、第２条件が満たされている場合、すなわち、当該オペレータによりエンジンを停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い場合、エンジン動作指令があったにもかかわらず、エンジンの動作が停止されずに継続される。これにより、その状態でオペレータにより作業機構の動作停止状態が解除され、作業機械による作業が迅速に再開されうるので、作業機械を用いた作業効率の向上が図られる。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの第１機能に関する説明図。 遠隔操作支援システムの第２機能に関する説明図。 作業環境画像に関する説明図。
　（遠隔操作支援システムの構成）
　図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０と、により構成されている。作業機械４０を遠隔操作するための遠隔操作装置２０（クライアント）が遠隔操作システムの構成要素であってもよい。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
　（遠隔操作支援サーバの構成）
　遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。遠隔操作支援サーバ１０が、遠隔操作装置２０により構成されていてもよい。この場合、遠隔制御装置２００が、第１支援処理要素１２１および第２支援処理要素１２２を備えている。
　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔操作装置２０は、「第１クライアント」および「第２クライアント」のうち少なくとも一方として機能する。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１と、オペレータ状態センサ２１２と、を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　シートＳｔの左側フレームの前方において左側操作レバー２１１１の下方に設けられている遮断レバー２１１３は、上げられた場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。
　オペレータ状態センサ２１２は、本実施形態では、シートＳｔの一部（例えば、着座部、ひじ掛けもしくは背もたれ）またはシートＳｔの支持部材に設けられた荷重センサ（例えば、ひずみゲージ）により構成されている。当該荷重センサにより検知される荷重の大小または有無に応じてオペレータがシートＳｔに着席しているか離席しているかが判定されうる。そのほか、遠隔操作機構２１１を構成する各操作レバーのうち少なくとも一部に設けられた接触センサまたは荷重センサによりオペレータ状態センサ２１２が構成されていてもよい。シートＳｔに着座した人間の顔または表情を認識するための撮像センサによりオペレータ状態センサ２１２が構成されていてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
　図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
　中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、エンジン４６０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。
実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。

　実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
　作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　エンジン４６０がＯＮである状態で、メインポンプから複数の方向制御弁に対して作動油が供給され、かつ、パイロットポンプから一次圧油が実機操作機構４１１に供給されうる。実機操作機構４１１の遠隔操作指令に応じた動きに応じて二次圧油が方向制御弁に対して供給され、当該方向制御弁の動作に応じた油圧シリンダに対して作動油が供給されることにより、旋回機構４３０および作業機構４４０が動作する。
　（第１機能）
　前記構成の遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。
　遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１１０）。
　作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４１０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４１２）。
　遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。
　これにより、例えば、図６に示されているように、作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる環境画像が画像出力装置２２１に出力される。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。
　遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１２）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて遠隔操作指令が受信された場合（図４／Ｃ４１２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。これにより、作業機械４０の遠隔操作が開始される。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　（第２機能）
　前記構成の遠隔操作支援システムの第２機能について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図５／ＳＴＥＰ２２０）。「第１指定操作」は、例えば、ＩＧＮスイッチをＯＦＦからＯＮに切り替えるなど、作業機械４０のエンジン４６０を始動させるための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２０‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対してエンジン動作指令が送信される（図５／ＳＴＥＰ２２２）。当該エンジン動作指令には、遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれている。
　遠隔操作支援サーバ１０において、エンジン動作指令が受信された場合、第１支援処理要素１２１により当該作業機械識別子により識別される作業機械４０に対してエンジン動作指令が送信される（図５／Ｃ１２０）。
　作業機械４０において、実機無線通信機器４２２を通じてエンジン動作指令が受信された場合（図５／Ｃ４２０）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられ、かつ、作業機構４４０が動作指令に応じて動作不可能なロック状態から動作可能なロック解除状態に切り替えられる（図５／ＳＴＥＰ４２０）。これにより、例えば、パイロットポンプから供給される一次圧油が、遠隔操作指令に応じて（実機操作機構４１１の操作態様がアクチュエータにより調節されることにより）二次圧油として方向制御弁に供給されうるので、前記のように作業機構４４０が動作可能な状態になる（図４／ＳＴＥＰ２１６→ＳＴＥＰ２１８→‥→ＳＴＥＰ４１２および図６参照）。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２２３）。「第２指定操作」は、例えば、ＩＧＮスイッチをＯＮからＯＦＦに切り替えるなど、作業機械４０のエンジン４６０の動作を停止させるための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２３‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２３‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対してエンジン停止指令が送信される（図５／ＳＴＥＰ２２４）。当該エンジン動作指令には、遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれている。
　遠隔操作支援サーバ１０において、エンジン停止指令が受信された場合（図５／Ｃ１２１）、第１支援処理要素１２１により遠隔操作装置２０に対してオペレータ状態要求が送信される（図５／ＳＴＥＰ１２１）。エンジン停止指令が受信されたことは、第１条件が満たされていることと同義である。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じてオペレータ状態要求が受信された場合（図５／Ｃ２２１）、遠隔制御装置２００により、オペレータ状態センサ２１２の出力信号に基づき、オペレータ状態が検知される（図５／ＳＴＥＰ２２５）。例えば、オペレータがシートＳｔに着座しているか否か等、オペレータが遠隔操作機構２１１を操作する際に存在すべき指定箇所に存在しているか否かがオペレータ状態として検知される。そして、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して検知されたオペレータ状態が送信される（図５／ＳＴＥＰ２２６）。
　第２指定操作が判定されたと判定された場合（図５／ＳＴＥＰ２２３‥ＹＥＳ）、オペレータ状態要求がなくても、遠隔制御装置２００により、オペレータ状態センサ２１２の出力信号に基づき、オペレータ状態が検知され（図５／ＳＴＥＰ２２５）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して検知されたオペレータ状態が、エンジン停止指令とともに送信されてもよい（図５／ＳＴＥＰ２２６）。
　遠隔操作支援サーバ１０において、オペレータ状態が受信された場合（図５／Ｃ１２２）、当該オペレータ状態に基づき、第１支援処理要素１２１により第２条件が満たされているか否かが判定される（図５／ＳＴＥＰ１２２）。すなわち、オペレータが遠隔操作機構２１１を操作する際に存在すべき指定箇所に存在していないか否かが判定される。
　当該判定結果が肯定的である場合、すなわち、第１条件および第２条件が満たされている場合（図５／ＳＴＥＰ１２２‥ＹＥＳ）、第２支援処理要素１２２により、第１停止指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２４）。
　作業機械４０において、実機無線通信機器４２２を通じて第１停止指令が受信された場合（図５／Ｃ４２１）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮに維持される一方、作業機構４４０がロック解除状態からロック状態に切り替えられる（図５／ＳＴＥＰ４２１）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給されることが該当する油圧回路の遮断によって禁止されるので、遠隔操作指令があったとしても作業機構４４０が動作不可能な状態になる。
　当該判定結果が否定的である場合、すなわち、第１条件が満たされている一方で第２条件が満たされていない場合（図５／ＳＴＥＰ１２２‥ＮＯ）、第２支援処理要素１２２により、第１停止指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２６）。
　作業機械４０において、実機無線通信機器４２２を通じて第２停止指令が受信された場合（図５／Ｃ４２２）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられ、かつ、作業機構４４０がロック解除状態からロック状態に切り替えられる（図５／ＳＴＥＰ４２２）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給されなくなり、遠隔操作指令に応じて実機操作機構４１１が動かされたとしても作業機構４４０（および旋回機構４３０）が動作不可能な状態になる。
（効果）
　当該構成の遠隔操作支援サーバ１０によれば、第１条件が満たされている場合、すなわち、遠隔操作装置２０の遠隔入力インターフェース２１を通じて作業機械４０のエンジン停止指令があった場合、原則的にはエンジン４６０の動作が停止されるものの、例外的にエンジン４６０の動作は停止されない。
　具体的には、第２条件が満たされていない場合、すなわち、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在している場合、当該オペレータによりエンジン４６０を停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が高い。よって、この場合、エンジン停止指令にしたがってエンジン４６０の動作が停止されることにより、オペレータ以外の第三者により誤って作業機構４４０（旋回機構４３０を含む。）の動作停止状態が解除され、作業機械４０による作業が再開される事態が確実に回避される（図５／ＳＴＥＰ１２２‥ＮＯ→ＳＴＥＰ１２６→‥ＳＴＥＰ４２２参照）。
　その一方、第２条件が満たされている場合、すなわち、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在していない場合、当該オペレータによりエンジン４６０を停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い。よって、この場合、エンジン動作指令があったにもかかわらず、エンジン４６０の動作が停止されずに継続されることにより、その状態でオペレータにより作業機械４０の動作停止状態が解除され、作業機械４０による作業が迅速に再開されうるので、作業機械４０を用いた作業効率の向上が図られる（図５／ＳＴＥＰ１２２‥ＹＥＳ→ＳＴＥＰ１２４→‥ＳＴＥＰ４２１参照）。
　（本発明の他の実施形態）
　前記実施形態では、（ａ）遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在していないことが第２条件として定義されていたが、他の実施形態として、代替的または付加的に、遠隔操作装置２０に設けられた非常停止スイッチが操作されたこと、（ｃ）遠隔操作装置２０または遠隔操作支援サーバ１０または作業機械４０において動作の異常が発生したこと、および、（ｄ）遠隔操作装置２０または遠隔操作支援サーバ１０または作業機械４０において通信の途絶が発生したことのうち少なくとも１つが第２条件として定義されていてもよい。
　第１支援処理要素１２１が、遠隔操作装置２０において指定箇所に設けられた指定構造物にオペレータが接触しているまたは荷重をかけていることを検知するためのセンサからの出力信号に基づき、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在していないという第２条件の充足性を認識する。
　遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に設けられた指定構造物に接触しているまたは荷重をかけている場合、当該オペレータによりエンジン４６０を停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い。よって、この場合、エンジン動作指令があったにもかかわらず、エンジン４６０の動作が停止されずに継続されることにより、その状態でオペレータにより作業機構の動作停止状態が解除され、作業機械４０による作業が迅速に再開されうるので、作業機械を用いた作業効率の向上が図られる。
　第１支援処理要素１２１が、指定構造物としてのシートＳｔにオペレータが着座して荷重をかけていることを検知するためのセンサ２１２からの出力信号に基づき、第２条件の充足性を認識する。第１支援処理要素１２１が、遠隔操作装置２０において指定箇所に設けられたシートＳｔに着座した人間の顔または表情を認識するための撮像センサからの出力信号に基づき、遠隔操作装置２０においてオペレータが遠隔操作機構２１１を操作する際の指定箇所に存在していないという第２条件の充足性を認識する。
　遠隔操作装置２０においてオペレータがシートＳｔに着座していない場合、当該オペレータによりエンジンを停止させる意思、ひいては、遠隔操作を中断する意思がエンジン停止指令に反映されている蓋然性が低い。よって、この場合、エンジン動作指令があったにもかかわらず、エンジン４６０の動作が停止されずに継続されることにより、その状態でオペレータにより作業機構の動作停止状態が解除され、作業機械４０による作業が迅速に再開されうるので、作業機械４０を用いた作業効率の向上が図られる。
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２１２‥オペレータ状態センサ、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥下部走行体、４２０‥上部旋回体、４２４‥キャブ（運転室）、４４０‥作業機構（作業機構）、４４５‥バケット（作業部）、４６０‥エンジン。
 

Claims (7)

  1. 　作業機械を遠隔操作するための遠隔操作装置との通信に基づき、前記遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があったという第１条件、および、前記遠隔操作装置のオペレータの前記作業機械のエンジンを停止させる意思が前記エンジン停止指令に反映されている蓋然性が高いという第２条件の充足性を認識する第１支援処理要素と、
    　前記第１支援処理要素により前記第１条件および前記第２条件が満たされていると認識された場合、前記作業機械との通信に基づき、前記作業機械のエンジンの動作を停止させずに作業機構の動作を停止させるための第１停止処理を実行する一方、前記第１支援処理要素により前記第１条件が満たされている一方で第２条件が満たされていないと認識された場合、前記作業機械との通信に基づき、前記作業機械の作業機構およびエンジンのそれぞれの動作を停止させるための第２停止処理を実行する第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
  2. 　請求項１記載の遠隔操作支援サーバにおいて、
    　前記第２条件は、
    （ａ）オペレータが前記遠隔操作機構を操作する際の指定箇所に存在していないこと、
    （ｂ）前記遠隔操作装置に設けられた非常停止スイッチが操作されたこと、
    （ｃ）遠隔操作装置または操作支援サーバまたは作業機械において動作の異常が発生したこと、および、
    （ｄ）遠隔操作装置または操作支援サーバまたは作業機械において通信の途絶が発生したこと、のうち少なくともいずれか１つであることを特徴とする遠隔支援サーバ
  3. 　請求項２記載の遠隔操作支援サーバにおいて、
    　前記第１支援処理要素が、前記遠隔操作装置において前記指定箇所に設けられた指定構造物に前記オペレータが接触しているまたは荷重をかけていることを検知するためのセンサからの出力信号に基づき、（ａ）前記遠隔操作装置においてオペレータが前記遠隔操作機構を操作する際の指定箇所に存在していないという前記第２条件の充足性を認識することを特徴とする遠隔操作支援サーバ。
  4. 　請求項３記載の遠隔操作支援サーバにおいて、
    　前記第１支援処理要素が、前記指定構造物としてのシートに前記オペレータが着座して荷重をかけていることを検知するための前記センサからの出力信号に基づき、前記第２条件の充足性を認識することを特徴とする遠隔操作支援サーバ。
  5. 　請求項２記載の遠隔操作支援サーバにおいて、
    　前記第１支援処理要素が、前記遠隔操作装置において前記指定箇所に設けられたシートに着座した人間の顔または表情を認識するための撮像センサからの出力信号に基づき、（ａ）前記遠隔操作装置においてオペレータが前記遠隔操作機構を操作する際の指定箇所に存在していないという前記第２条件の充足性を認識することを特徴とする遠隔操作支援サーバ。
  6. 　請求項１～５のうちいずれか１項に記載の遠隔操作支援サーバと、前記作業機械と、により構成されている遠隔操作支援システム。
  7. 　作業機械を遠隔操作するための遠隔操作装置との通信に基づき、前記遠隔操作装置の入力インターフェースを通じて前記作業機械のエンジン停止指令があったという第１条件、および、前記遠隔操作装置のオペレータの前記作業機械のエンジンを停止させる意思が前記エンジン停止指令に反映されている蓋然性が高いという第２条件の充足性を認識する第１支援処理と、
    　前記第１支援処理の実行により前記第１条件および第２条件が満たされていると認識された場合、前記作業機械との通信に基づき、前記作業機械のエンジンの動作を停止させずに作業機構の動作を停止させるための第１停止処理を実行する一方、前記第１支援処理の実行により前記第１条件が満たされている一方で第２条件が満たされていないと認識された場合、前記作業機械との通信に基づき、前記作業機械の作業機構およびエンジンのそれぞれの動作を停止させるための第２停止処理を実行する第２支援処理と、を実行することを特徴とする遠隔操作支援方法。
     
PCT/JP2021/000414 2020-02-18 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 WO2021166477A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21756623.1A EP4071311B1 (en) 2020-02-18 2021-01-07 Remote operation assistance server, remote operation assistance system, and remote operation assistance method
US17/791,746 US20230031436A1 (en) 2020-02-18 2021-01-07 Remote operation assistance server, remote operation assistance system, and remote operation assistance method
CN202180013659.9A CN115066910A (zh) 2020-02-18 2021-01-07 远程操作支援服务器、远程操作支援系统及远程操作支援方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-025723 2020-02-18
JP2020025723A JP7447531B2 (ja) 2020-02-18 2020-02-18 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Publications (1)

Publication Number Publication Date
WO2021166477A1 true WO2021166477A1 (ja) 2021-08-26

Family

ID=77390729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000414 WO2021166477A1 (ja) 2020-02-18 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Country Status (5)

Country Link
US (1) US20230031436A1 (ja)
EP (1) EP4071311B1 (ja)
JP (1) JP7447531B2 (ja)
CN (1) CN115066910A (ja)
WO (1) WO2021166477A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2579075B (en) * 2018-11-19 2021-06-16 Caterpillar Inc Work machine with sensor enabled user control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006233615A (ja) 2005-02-25 2006-09-07 Hitachi Constr Mach Co Ltd 作業機械の操作回路
JP2008248627A (ja) 2007-03-30 2008-10-16 Komatsu Ltd 建設機械の非常停止システムおよび建設機械
JP2011208568A (ja) * 2010-03-30 2011-10-20 Kobelco Cranes Co Ltd 作業機械のエンジン制御装置
JP2013064332A (ja) * 2011-09-15 2013-04-11 Denso Corp 車両用制御装置
JP2015192163A (ja) 2014-03-27 2015-11-02 日立建機株式会社 作業機械の遠隔操縦システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6923285B1 (en) * 2000-02-01 2005-08-02 Clark Equipment Company Attachment control device
JP2004224133A (ja) * 2003-01-21 2004-08-12 Kobelco Contstruction Machinery Ltd 建設機械の動力制御装置
JP2004239165A (ja) * 2003-02-06 2004-08-26 Kobelco Contstruction Machinery Ltd 建設機械のエンジン制御装置
JP4673599B2 (ja) * 2004-10-26 2011-04-20 川崎重工業株式会社 作業支援装置およびその作業支援方法
JP5103028B2 (ja) * 2007-01-29 2012-12-19 トヨタ紡織株式会社 車両用シート
JP2010059887A (ja) * 2008-09-04 2010-03-18 Denso Corp エンジン制御システム
JP5779973B2 (ja) * 2011-05-16 2015-09-16 コベルコ建機株式会社 ハイブリッド作業機械
JP5620434B2 (ja) * 2012-05-02 2014-11-05 株式会社オプティム オペレータシステム、オペレータサーバ、リモートサポート方法、オペレータサーバ用プログラム、サポート対象電化製品、及び、サポート作業画面表示装置
CN105074174B (zh) * 2013-03-26 2018-11-02 株式会社电装 跨座式车辆的发动机控制装置
JP2016069963A (ja) * 2014-09-30 2016-05-09 日立建機株式会社 建設機械
KR20170048493A (ko) * 2014-10-06 2017-05-08 히다찌 겐끼 가부시키가이샤 작업 기계
JP6654258B2 (ja) * 2017-02-08 2020-02-26 アルプスアルパイン株式会社 認証システム、携帯機、登録方法、およびプログラム
US20180272978A1 (en) * 2017-03-27 2018-09-27 GM Global Technology Operations LLC Apparatus and method for occupant sensing
US10407877B2 (en) * 2017-05-17 2019-09-10 Caterpillar Inc. Method and system for controlling a machine operating at a worksite
US10922903B2 (en) * 2017-07-11 2021-02-16 Waymo Llc Methods and systems for providing remote assistance to a stopped vehicle
JP7175680B2 (ja) * 2018-08-31 2022-11-21 株式会社小松製作所 表示制御装置、表示制御システム、および表示制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006233615A (ja) 2005-02-25 2006-09-07 Hitachi Constr Mach Co Ltd 作業機械の操作回路
JP2008248627A (ja) 2007-03-30 2008-10-16 Komatsu Ltd 建設機械の非常停止システムおよび建設機械
JP2011208568A (ja) * 2010-03-30 2011-10-20 Kobelco Cranes Co Ltd 作業機械のエンジン制御装置
JP2013064332A (ja) * 2011-09-15 2013-04-11 Denso Corp 車両用制御装置
JP2015192163A (ja) 2014-03-27 2015-11-02 日立建機株式会社 作業機械の遠隔操縦システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4071311A4

Also Published As

Publication number Publication date
EP4071311A1 (en) 2022-10-12
EP4071311B1 (en) 2024-09-18
EP4071311A4 (en) 2023-08-23
US20230031436A1 (en) 2023-02-02
JP2021132266A (ja) 2021-09-09
JP7447531B2 (ja) 2024-03-12
CN115066910A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7247769B2 (ja) 遠隔操作システム
JP6775602B2 (ja) 作業車両および作業車両の制御システム
WO2021024553A1 (ja) 作業機械
WO2021166477A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US11993922B2 (en) Remote operation system
EP4130400B1 (en) Remote operation assistance device and remote operation assistance method
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2022157923A (ja) ショベル
JP7528539B2 (ja) 遠隔操作支援システム
JP7510895B2 (ja) 作業機械の表示システム
WO2021166476A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
EP3896233B1 (en) Work machine
WO2021192483A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2022144495A (ja) 遠隔操作支援システムおよび遠隔操作支援方法
US20220303472A1 (en) Image capturing function control system and image capturing function control method
WO2024090225A1 (ja) 操作状態切替装置、作業機械および操作状態切替システム
JP7528892B2 (ja) 作業支援システムおよび作業支援複合システム
JP7529092B2 (ja) 作業機械
WO2024202271A1 (ja) 作業機械
JP2022152970A (ja) ショベル、ショベルの管理システム
JP2020159050A (ja) 作業機械
KR20160118563A (ko) 건설기계의 엔진 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21756623

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021756623

Country of ref document: EP

Effective date: 20220708

NENP Non-entry into the national phase

Ref country code: DE