WO2020194884A1 - 遠隔操作システムおよび遠隔操作サーバ - Google Patents

遠隔操作システムおよび遠隔操作サーバ Download PDF

Info

Publication number
WO2020194884A1
WO2020194884A1 PCT/JP2019/047071 JP2019047071W WO2020194884A1 WO 2020194884 A1 WO2020194884 A1 WO 2020194884A1 JP 2019047071 W JP2019047071 W JP 2019047071W WO 2020194884 A1 WO2020194884 A1 WO 2020194884A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
control device
notification
work machine
server
Prior art date
Application number
PCT/JP2019/047071
Other languages
English (en)
French (fr)
Inventor
真輝 大谷
佐々木　均
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to CN201980094527.6A priority Critical patent/CN113614317B/zh
Priority to EP19921240.8A priority patent/EP3922775B1/en
Priority to US17/438,642 priority patent/US11885101B2/en
Publication of WO2020194884A1 publication Critical patent/WO2020194884A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/69—Coordinated control of the position or course of two or more vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network

Definitions

  • the present invention relates to a system for remotely controlling a work machine or the like.
  • Patent Document 1 A technique for remotely controlling a work machine has been proposed (see, for example, Patent Document 1).
  • the remote control entity of the work machine is switched from one operator who operates one remote control device to another operator who operates another remote control device, the work according to the remote control mode by the one operator.
  • the remote control mode by the other operator may become inappropriate, and the operating state of the work machine may become unstable.
  • an object of the present invention is to provide a system capable of avoiding instability of the operating state of the work machine when switching the remote control main body of the work machine.
  • the remote control system of the present invention includes a work machine having an operating mechanism and an imaging device for imaging an environment including at least a part of the operating mechanism, an operating mechanism for remotely controlling the working machine, and the working machine.
  • a plurality of remote control devices having an image output device for displaying an image captured by the image pickup device, and a remote control server having an intercommunication function with each of the plurality of remote control devices.
  • the remote control system of the present invention includes a state detector that detects that the first remote control device among the plurality of remote control devices is in a designated state of at least one of the work machine and the operator, and the state.
  • the detector detects that at least one of the working machine and the operator is in the designated state
  • the detector includes a first client control device that transmits a first notification according to the designated state.
  • the first server calculation in which the remote control server receives the first notification and selects a second remote control device different from the first remote control device among the plurality of remote control devices based on the first notification.
  • a second notification corresponding to the first notification is transmitted to the processing element and the second remote operation device or the second client control device of the second remote operation device, and the remote operation authority of the work machine is given. It is characterized by including a second server arithmetic processing element that executes a process for changing from the first remote control device to the second remote control device.
  • the remote control server of the present invention is a remote control server having an intercommunication function with each of a plurality of remote control devices for remotely controlling a work machine, and is the first remote control of the plurality of remote control devices.
  • the device detects that at least one of the working machine and the operator is in the designated state, the first notification sent from the first remote control device according to the designated state is sent.
  • the first server arithmetic processing element that receives and selects a second remote control device different from the first remote control device from the plurality of remote control devices based on the first notification, and the second remote control device.
  • a second server calculation that sends a second notification in response to the first notification to the address and executes a process for changing the remote control authority of the work machine from the first remote control device to the second remote control device. It is characterized by having a processing element.
  • Explanatory drawing which concerns on the structure of the remote control system as one Embodiment of this invention.
  • Explanatory drawing about the structure of the work machine Explanatory drawing about the structure of the 1st remote control device.
  • the remote control system as an embodiment of the present invention shown in FIG. 1 includes a first remote control device 10, a second remote control device 20, a remote control server 30, and a work machine 40. There is.
  • the remote control subject of the common work machine 40 can be switched between the first remote control device 10 and the second remote control device 20 by the remote control server 30.
  • the work machine 40 includes a work machine control device 400, an image pickup device 401, a wireless communication device 402, and an operation mechanism 440.
  • the work machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and targets the data. Executes the arithmetic processing according to.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a turning mechanism 430. It is equipped with an upper swivel body 420 and. A cab (driver's cab) 422 is provided on the front left side of the upper swing body 420. A work attachment 440 is provided at the front center portion of the upper swing body 420.
  • a crawler excavator construction machine
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is provided with a bucket 445 connected to the.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are configured by a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the image pickup apparatus 401 is installed inside, for example, the cab 422, and images an environment including at least a part of the operating mechanism 440 through the front window of the cab 422.
  • An actual machine side operation lever corresponding to an operation lever (described later) constituting the first remote control device 10 and a signal corresponding to the operation mode of each operation lever are received from the remote control room, and the actual machine operation lever is received based on the received signal.
  • a drive mechanism or a robot for moving the cab 422 is provided.
  • the first remote control device 10 includes a first client control device 100, a first input interface 110, and a first output interface 120.
  • the first client control device 100 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data. Performs arithmetic processing according to the software.
  • the first input interface 110 includes a first operation mechanism 111 and a state detector 112.
  • the first output interface 120 includes a first image output device 121 and a first wireless communication device 122.
  • At least a part of the components of the first remote control device 10 may be composed of a terminal 25 that can be carried by an operator, such as a smartphone or a tablet terminal.
  • the storage place of the terminal 25 may be provided in the first remote control device 10.
  • the first operation mechanism 111 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410.
  • the travel lever may also serve as a travel pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442.
  • the operating lever (arm lever) of the arm operating device is operated to move the arm cylinder 444.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 446.
  • Each operating lever constituting the first operating mechanism 111 is arranged around the seat 1100 for the operator to sit on, for example, as shown in FIG.
  • the seat 1100 is in the form of a high back chair with armrests, but may be in any form in which the operator can sit, such as a low back chair without a headrest or a chair without a backrest.
  • a pair of left and right traveling levers 1110 corresponding to the left and right crawlers are arranged side by side in front of the seat 1100.
  • One operating lever may also serve as a plurality of operating levers.
  • the right operating lever 1111 provided in front of the right frame of the seat 1100 shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
  • the left side operating lever 1112 provided in front of the left side frame of the seat 1100 shown in FIG. 3 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the first image output device 121 includes a right diagonal front image output device 1211 and a front image output device 1212 arranged diagonally forward to the right, forward, and diagonally forward to the left of the sheet 1100. It is composed of a left oblique forward image output device 1213.
  • the image output devices 1211 to 1213 may further include a speaker (audio output device).
  • the state detector 112 detects that one or both of the states of the work machine 40 and the first operator of the first remote control device 10 are in the designated state. For example, it is detected as a designated state that the help button constituting the input interface 11 is pressed. The first operator presses the help button when he / she feels uneasy about the remote control of the work machine 40 through the environment image displayed on the first image output device 121 or the image showing the operating state of the work machine 40. Can be done.
  • the help button may be a push-down physical button provided on the first remote control device 10 to detect the press, or a virtual button may be displayed on a touch panel such as the terminal device 25 to press the virtual button position. It may be detected.
  • the specified state may be detected not only from the above help button but also from information related to the lack of skill of the first operator for the operation, deterioration of work efficiency due to fatigue of the first operator, poor physical condition, and the like.
  • At least one of physiological information such as the mode of movement of the line of sight of the first operator, the mode of vocalization, the mode of movement of a predetermined body part such as a finger, hand, arm or shoulder, brain wave, sweating amount, heart rate and blood pressure is detected. It may be detected as a designated state that the psychological state or physiological state of the first operator estimated according to a predetermined algorithm based on the detection result is the designated psychological state or the designated physiological state.
  • the designated state can be detected based on the operation mode by detecting that the operation of the first operator deviates from a predetermined operation such as excavation operation. Specifically, it is detected or operated whether the line-of-sight direction detected by the line-of-sight detection sensor that detects the movement of the line-of-sight of the first operator deviates from the line-of-sight direction assumed in the line-of-sight direction assumed by a predetermined operation. It is possible to detect whether the operation of the lever or the operation pedal deviates from the operation expected in the predetermined operation, and it is possible to detect the specified state depending on the presence or absence and frequency of the deviation.
  • a predetermined operation such as excavation operation.
  • the operation mode may be detected by the vocalization mode of the first operator.
  • the surrounding workers may not be called at an appropriate timing, or a person requiring communication such as a site supervisor may be required. It is possible to detect a situation in which the user is not in contact at an appropriate timing, and it is possible to detect a designated state depending on the appropriateness of the vocalization mode.
  • the specified state can be detected from the fact that the values of brain wave, sweating amount, heart rate, blood pressure, etc. deviate from the normal values.
  • the operating state of the working machine 40 detected by the sensor provided in the working machine 40 and received through the first wireless communication device 122 is the designated operating state.
  • it may be detected as a designated state that the inclination angle or the inclination angular velocity with respect to the horizontal plane of the lower traveling body 410 or the upper turning body 420 detected by the inclination sensor provided in the work machine 40 becomes equal to or more than the threshold value.
  • the inclination angle and the inclination angular velocity tend to be higher than the threshold value, and the specified state can be detected by detecting this state. ..
  • the construction plan it may be detected as a designated state that the work status is deviated by the work machine 40 remotely controlled by the first operator.
  • a construction plan stored in a storage device constituting the first client control element 100 it is configured by GPS or the like even though it is a time zone during which a predetermined work is being performed in a certain area.
  • a state in which another work (for example, excavation work before the finishing work) different from the finishing work after finishing the work) may be detected as a designated state.
  • the second remote control device 20 includes a second client control device 200, a second input interface 210, and a second output interface 220.
  • the second client control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and targets the data. Performs arithmetic processing according to the software.
  • the second input interface 210 includes a second operation mechanism 211.
  • the second output interface 220 includes a second image output device 221 and a second wireless communication device 222.
  • the detailed configuration of the second remote control device 20 is almost the same as the configuration of the first remote control device 10 except that the state detector 112 is omitted and the functions of the second client control device 200 described later. Therefore, the description thereof will be omitted (see FIG. 3).
  • the remote control server 30 includes a first server arithmetic processing element 31 and a second server arithmetic processing element 32.
  • the first server arithmetic processing element 31 receives the first notification, and selects a second remote control device 20 different from the first remote control device 10 among the plurality of remote control devices based on the first notification.
  • the second server arithmetic processing element 32 transmits the second notification in response to the first notification to the second remote control device 20, and gives the remote control authority of the work machine 40 from the first remote control device 10 to the second remote control.
  • a process for changing to the device 20 is executed.
  • a predetermined operation is performed by the first operator (FIG. 4 / STEP102).
  • the predetermined operation is, for example, the operation of the button or the operation lever constituting the first input interface 11 or the first operation mechanism 111.
  • the first client control device 100 transmits an operation start command from the first remote control device 10 to the work machine 40 via the remote control server 30 through the first wireless communication device 122 ( FIG. 4 / STEP104).
  • the work machine control device 400 receives an operation start command from the remote control server 30 through the wireless communication device 402 (FIG. 4 / STEP402). In response to this, the work machine control device 400 outputs a command to the image pickup device 401, and the image pickup device 401 acquires the captured image in response to the command (FIG. 4 / STEP404). The work machine control device 400 transmits the captured image data representing the captured image to the first remote control device 10 via the remote control server 30 through the wireless communication device 402 (FIG. 4 / STEP406).
  • the first client control device 100 receives the captured image data from the remote control server 30 through the first wireless communication device 122 (FIG. 4 / STEP106).
  • the first client control device 100 displays an environment image (all or part of the captured image itself or a simulated environment image generated based on the captured image) on the first image output device 111 according to the captured image data.
  • the first image is an environmental image including the boom 441, the arm 443, the bucket 445, and the arm cylinder 444, which are a part of the work attachment 440 as the operating mechanism. It is displayed on the output device 121.
  • the first operation mechanism 111 is operated by the first operator (FIG. 4 / STEP110), and accordingly, the operation is performed by the first client control device 100 through the first wireless communication device 122.
  • An operation command according to the mode is transmitted to the work machine 40 via the remote control server 30 (FIG. 4 / STEP112).
  • the work machine control device 400 receives an operation command from the remote control server 30 through the wireless communication device 402 (FIG. 4 / STEP408).
  • the operation of the work attachment 440 and the like is controlled by the work machine control device 400 (FIG. 4 / STEP410).
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the state detector 112 determines whether or not the state detector 112 has detected the designated state of the first operator and / or the work machine 40 (FIG. 5 / STEP114). If the determination result is negative (FIG. 5 / STEP114 ... YES), the reception of the captured image data and the output of the environmental image, the operation of the first operation mechanism 111, and the transmission of the operation command corresponding thereto are repeated. (See FIG. 4 / STEP 106, 108, 110 and 112).
  • the first client control device 100 remotely controls the first notification according to the state detection result through the first wireless communication device 122. It is transmitted to the server 30 (FIG. 5 / STEP116).
  • the "first notification" includes an environmental image showing the environment of the work machine 40 immediately before the specified state is detected, audio information as necessary, a construction plan, an operating state and type of the work machine 40, and the like. Contains information necessary for operation.
  • the first notification is received by the first server arithmetic processing element 31 through the wireless communication device (FIG. 5 / STEP302).
  • the first server arithmetic processing element 31 selects a second remote control device 20 different from the first remote control device 10 among the plurality of remote control devices based on the first notification (FIG. 5 / STEP304). For example, for each operator, whether or not remote control is in progress, if remote control is in progress, the period until the end of remote control, the number of remote control experiences, the number of times remote control is taken over from another operator, and remote control. The number of times the operation was handed over to another operator on the way, the state of the work machine at the time of remote control handing over, and the contents of the remote control (location and work contents of the remotely controlled work machine, etc.) are registered in the database. ing.
  • the remote control device operated by the operator is preferentially selected as the second remote control device 20. Additional or alternative, the operator who is not remotely controlling another work machine and who takes over the remote control of the work machine in that state more often, the more the remote control device operated by the operator becomes. 2
  • the remote control device 20 may be preferentially selected. When selecting as the second operator, these indexes are quantified as scores, and the remote control device of one or more operators whose score is equal to or higher than the reference value is selected as the second remote control device 20.
  • the second server arithmetic processing element 32 transmits a second notification in response to the first notification to the selected one or more second remote control devices 20 through the wireless communication device (FIG. 5 / STEP306). .. Similar to the first notification, the "second notification" includes an environmental image showing the environment of the work machine 40 immediately before the specified state is detected, and if necessary, audio information, a construction plan, and the operating state and type of the work machine 40. In addition to the information necessary for remote control of the work machine 40, a message to request the takeover of the remote control may be included.
  • the second client control device 200 receives the second notification through the second wireless communication device 222 (FIG. 5 / STEP202).
  • the second client control device 200 displays the second notification information corresponding to the second notification on the second image output device 211 (FIG. 5 / STEP204).
  • an environmental image of the work machine 40 see FIG. 6
  • the second client control device 200 determines whether or not the second operator approves (or accepts or rejects) the takeover of the remote control through the operation of the second input interface 210 (FIG. 5 / STEP206). If the determination result is negative (FIG. 5 / STEP206 ... NO), the process in the second client control device 200 ends. On the other hand, if the determination result is affirmative (FIG. 5 / STEP206 ... YES), the second client control device 200 transmits a third notification to the remote control server 30 through the second wireless communication device 222. (Fig. 5 / STEP208).
  • the "third notification" includes the fact that the second operator has consented to take over the remote control of the work machine 40, and an identifier for identifying the second remote control device 20.
  • the second server arithmetic processing element 32 receives the third notification through the wireless communication device (FIG. 5 / STEP306).
  • the second server arithmetic processing element 32 transmits a fourth notification in response to the third notification to the first remote control device 10 through the wireless communication device (FIG. 5 / STEP308).
  • the "fourth notification" includes the second operator who has consented to take over the remote control or the second remote control device 20 thereof, as well as the location and work contents of the work device remotely controlled by the second operator.
  • the third notification is a notification indicating that the second operator does not have the consent
  • the second server arithmetic processing element 32 is configured not to change the remote control authority of the work machine 40 to the second remote control device 20. You may be.
  • the first client control device 100 receives the fourth notification through the first wireless communication device 122 (FIG. 5 / STEP118).
  • the first client control device 100 displays the fourth notification information corresponding to the fourth notification on the first image output device 111 (FIG. 5 / STEP120).
  • a list of second operators (candidates for operation) who have consented to remote control of the work machine 40 is displayed on the second image output device 211 as fourth notification information together with attributes such as the content of the remote control experience.
  • the first client control device 100 recognizes the second operator as an operation subject candidate designated by the first operator through the first input interface 210 (FIG. 5 / STEP122).
  • the first client control device 100 transmits a fifth notification according to the TAC result to the remote control server 30 through the first wireless communication device 122 (FIG. 5 / STEP124).
  • the "fifth notification" includes an identifier for identifying the second operator designated by the first operator.
  • the second server arithmetic processing element 32 receives the fifth notification through the wireless communication device (FIG. 5 / STEP312).
  • the second server arithmetic processing element 32 transmits a sixth notification to the second remote control device 20 of the second operator designated by the first operator through the wireless communication device (FIG. 5 / STEP316).
  • the "sixth notification” includes a determination result of whether or not to take over the operation.
  • the second client control device 200 receives the sixth notification through the second wireless communication device 222 (FIG. 5 / STEP210). If the determination result included in the "sixth notification" is negative (FIG. 5 / STEP212 ... NO), the process in the second client control device 200 ends. If the determination result included in the "sixth notification" is affirmative, the second remote control device 20 is allowed to transmit the operation command to the work machine 40.
  • the second remote control device 20 enables remote control of the work machine 40 as a new first remote control device 10 (see FIG. 4). That is, when the sixth notification is a notification that the remote control authority has been changed, the second client control device 200 acquires the remote control authority of the work machine 40 from the first remote control device 10.
  • the second server arithmetic processing element 32 executes a process for changing the remote control authority of the work machine 40 from the first remote control device 10 to the second remote control device 20 (FIG. 5 / STEP316). ). For example, transmission of an operation command by the first remote control device 10 to the work machine 40 is prohibited (FIG. 5 / STEP126). The first remote control device 10 is newly in a state where the remote control of the industrial machine can be taken over by the second remote control device 20. Then, the second remote control device 20 acquires the operation authority of the work machine 40 (FIG. 5 / STEP214).
  • the operator of the second remote control device 20 can switch the remote control main body of the work machine 40.
  • the necessary information can be provided (see FIG. 5 / STEP204).
  • the remote control main body of the work machine 40 is switched on the condition that the first operator and the second operator each approve the takeover of the remote control of the work machine 40 (see FIG. 5 / STEP206, STEP122 and STEP314). ), as another embodiment, the remote control entity of the work machine 40 may be switched without the approval by one or both of the first operator and the second operator.
  • a terminal (PC, smartphone) that is attached to the second remote control device 20 and has the functions of the second input interface 210 and the second output interface 220 in cooperation with the second remote control device 20 outside the second remote control device 20. , Tablet, etc.), and the terminal may be provided with a function of transmitting and receiving information such as a second notification, a third notification, a sixth notification, a second input interface 210, and a second output interface function.
  • the second operator can receive the information from the remote server 30 and perform the operation takeover operation even in a place away from the place where the second remote control device 20 is installed.
  • the second notification and the sixth notification transmitted from the remote server 30 can be received by e-mail, SNS, or the like, and the second operator confirms the information necessary for remote control of the work machine 40 from the notification information.
  • the process of obtaining the sixth notification can be performed at a place away from the second remote control device 20. After confirming that it is confirmed that the operation will be taken over, the user can head to the second remote control device 20.
  • the "second notification" of the above-described embodiment is configured to include information necessary for remote control of the work machine 40 immediately before the designated state is detected, but the "second notification" only detects the designated state. Alternatively, only the minimum information may be included as information, and the information necessary for the remote control of the work machine 40 immediately before the specified state is detected may be separately transmitted to the second remote control device 20.
  • the second operator who operates the second remote control device 20 is notified only that there is the first remote control device 10 that has detected the designated state.
  • the remote server 30 is configured to acquire the information necessary for the remote operation of the work machine 40 immediately before detecting the designated state. With such a configuration, more detailed information can be provided to the second operator who can afford to perform the takeover operation.
  • the first operator and the second operator directly discuss with each other by e-mail, chat, telephone, etc. to perform the takeover operation.
  • a second operator to perform may be selected.
  • the fourth notification which is list information of the second operator (candidate for operation subject) who has consented to the remote control of the work machine 40, is transmitted to each second operator who has consented to the remote control of the work machine 40. You may.
  • the first server arithmetic processing element 31 is a second candidate for changing the remote control authority of the work machine 40 from the first remote control device 10 based on the third notification transmitted from the plurality of second remote control devices 20.
  • Candidates for the remote control device 20 may be selected.
  • one second remote control as a change destination of the remote control authority of the work machine 40 based on a plurality of third notifications transmitted from each of the plurality of second remote control devices 20.
  • Device 20 can be selected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業機械の遠隔操作主体の切り替えに際して、当該作業機械の動作状態の不安定を回避しうるシステムを提供する。第１遠隔操作装置１０を通じて作業機械４０が遠隔操作されている際に、当該作業機械４０または第１オペレータのうち一方または両方の状態が指定状態になった場合、当該指定状態に応じた第１通知が遠隔操作サーバ３０に送信される。遠隔操作サーバ３０において、当該第１通知の内容に鑑みて適当な第２遠隔操作装置２０が、当該作業機械４０の遠隔操作主体として選定される。

Description

遠隔操作システムおよび遠隔操作サーバ
　本発明は、作業機械等を遠隔操作するためのシステムに関する。
　作業機械を遠隔操作する技術が提案されている（例えば、特許文献１参照）。
特開２０１６－０７６８０１号公報
　しかし、作業機械の遠隔操作主体が、一の遠隔操作装置を操作する一のオペレータから他の遠隔操作装置を操作する他のオペレータに切り替えられる場合、当該一のオペレータによる遠隔操作態様に応じた作業機械の動作状態に鑑みて、当該他のオペレータによる遠隔操作態様が不適当になり、ひいては作業機械の動作状態が不安定になる可能性がある。
　そこで、本発明は、作業機械の遠隔操作主体の切り替えに際して、当該作業機械の動作状態の不安定を回避しうるシステムを提供することを目的とする。
　本発明の遠隔操作システムは、作動機構および当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械と、前記作業機械を遠隔操作するための操作機構および前記作業機械の前記撮像装置により撮像された撮像画像を表示する画像出力装置を有している複数の遠隔操作装置と、前記複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバと、を備えている。
　本発明の遠隔操作システムは、前記複数の遠隔操作装置のうち第１遠隔操作装置が、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることを検知する状態検知器と、前記状態検知器により前記作業機械および前記オペレータのうち少なくとも一方の状態が前記指定状態であることが検知された場合、当該指定状態に応じた第１通知を送信する第１クライアント制御装置と、を備え、前記遠隔操作サーバが、前記第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、前記第２遠隔操作装置または前記第２遠隔操作装置が有する第２クライアント制御装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする。
　また、本発明の遠隔操作サーバは、作業機械を遠隔操作するための複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバであって、前記複数の遠隔操作装置のうち第１遠隔操作装置により、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることが検知されたことに応じて、前記第１遠隔操作装置から送信される、当該指定状態に応じた第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、前記第２遠隔操作装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする。
本発明の一実施形態としての遠隔操作システムの構成に関する説明図。 作業機械の構成に関する説明図。 第１遠隔操作装置の構成に関する説明図。 本発明の一実施形態としての遠隔操作システムの第１機能に関する説明図。 本発明の一実施形態としての遠隔操作システムの第２機能に関する説明図。 環境画像に関する説明図。
　（構成）
　図１に示されている本発明の一実施形態としての遠隔操作システムは、第１遠隔操作装置１０と、第２遠隔操作装置２０と、遠隔操作サーバ３０と、作業機械４０と、を備えている。共通の作業機械４０の遠隔操作主体は、遠隔操作サーバ３０により第１遠隔操作装置１０および第２遠隔操作装置２０の間で切り替え可能である。
　（作業機械の構成）
　作業機械４０は、作業機械制御装置４００と、撮像装置４０１と、無線通信機器４０２と、作動機構４４０と、を備えている。作業機械制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２２が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。　
　撮像装置４０１は、例えばキャブ４２２の内部に設置され、キャブ４２２のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。
　第１遠隔操作装置１０を構成する操作レバー（後述）に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ４２２に設けられている。　
　（第１遠隔操作装置の構成）
　第１遠隔操作装置１０は、第１クライアント制御装置１００と、第１入力インターフェース１１０と、第１出力インターフェース１２０と、を備えている。第１クライアント制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第１入力インターフェース１１０は、第１操作機構１１１と、状態検知器１１２と、を備えている。第１出力インターフェース１２０は、第１画像出力装置１２１と、第１無線通信機器１２２と、を備えている。
　第１遠隔操作装置１０の少なくとも一部の構成要素（例えば、第１操作機構１１１を除く構成要素）が、スマートホンまたはタブレット端末など、オペレータにより携帯可能な端末２５により構成されていてもよい。この場合、端末２５の置き場を第１遠隔操作装置１０に設けてもよい。
　第１操作機構１１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ４４６を動かすために操作される。
　第１操作機構１１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシート１１００の周囲に配置されている。シート１１００は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。
　シート１１００の前方に左右のクローラに応じた左右一対の走行レバー１１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシート１１００の右側フレームの前方に設けられている右側操作レバー１１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシート１１００の左側フレームの前方に設けられている左側操作レバー１１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。　
　第１画像出力装置１２１は、例えば図３に示されているように、シート１１００の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置１２１１、前方画像出力装置１２１２および左斜め前方画像出力装置１２１３により構成されている。当該画像出力装置１２１１～１２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。
　状態検知器１１２は、作業機械４０および第1遠隔操作装置１０の第１オペレータのうち一方または両方の状態が指定状態であることを検知する。例えば、入力インターフェース１１を構成するヘルプボタンが押されたことが指定状態として検知される。第１オペレータは、第１画像出力装置１２１に表示されている環境画像または作業機械４０の動作状態を表わす画像を通じて、作業機械４０の遠隔操作に不安を覚えた等の場合にヘルプボタンを押すことができる。
　当該ヘルプボタンは、第1遠隔操作装置１０に設けられた押し下げ可能な物理ボタンで
押下を検出するものでもよいし、端末装置２５のようなタッチパネル上に仮想ボタンを表示し仮想ボタン位置の押下を検出するものでもよい。
　上記ヘルプボタンのみならず、当該操作に対する第１オペレータのスキル不足や、第１オペレータの疲労による作業効率の低下、体調不良等、に関連する情報から指定状態を検知してもよい。
　第１オペレータの視線の動きの態様、発声態様、指、手、腕または肩などの所定身体部位の動作態様、脳波、発汗量、心拍数および血圧などの生理情報のうち少なくとも１つが検知され、当該検知結果に基づいて所定のアルゴリズムにしたがって推定される当該第１オペレータの心理状態または生理状態が指定心理状態または指定生理状態であることが指定状態として検知されてもよい。
　この場合、例えば、掘削動作等の所定の操作に対して第１オペレータの操作が逸脱していることを検出することで動作態様に基づいて指定状態を検知することができる。具体的に、第１オペレータの視線の動きを検出する視線検出センサで検出される視線方向が所定の操作で想定される視線方向で想定される視線方向から逸脱しているかを検出したり、操作レバーや操作ペダルの操作が所定の操作で想定される操作と逸脱しているかを検出したりすることができ、逸脱の有無や頻度によって指定状態を検知することができる。
　動作態様は第１オペレータの発声態様により検知してもよい。例えば、作業機械４０が周囲作業者に向けて第１オペレータの音声を送るスピーカを搭載する場合には当該周囲作業者に対する声掛けを適切なタイミングで行わなかったり、現場監督者等の要通信者に対して適切なタイミングで連絡をしていなかったりする状況を検知することができ、発声態様の適切性により指定状態を検知することができる。
　また、脳波、発汗量、心拍数および血圧等の値が正常値から逸脱していることからも指定状態を検知することができる。
　作業機械４０に設けられたセンサにより検知され、第１無線通信機器１２２を通じて受信された作業機械４０の動作状態が指定動作状態であることが指定状態として検知されてもよい。例えば、作業機械４０に設けられている傾斜センサにより検知された下部走行体４１０または上部旋回体４２０の水平面に対する傾斜角度または傾斜角速度が閾値以上になったことが指定状態として検知されてもよい。
　この場合、例えば、遠隔操作の操作スキルに乏しいオペレータによる操作では当該傾斜角度や傾斜角速度が閾値以上になる頻度が高くなりがちであり、この状態を検出することで指定状態を検知することができる。
　施工計画に鑑みて、第１オペレータにより遠隔操作されている作業機械４０により作業状況が乖離していることが指定状態として検知されてもよい。例えば、第１クライアント制御要素１００を構成する記憶装置に記憶保持されている施工計画によれば、あるエリアにおいて所定の作業を実施している時間帯であるにもかかわらず、ＧＰＳ等により構成される測位装置および撮像装置４０１により、作業機械４０が当該エリアとは異なるエリアにおいて所定の作業をしている状態、または、作業機械４０が当該エリアにいるものの所定の作業（例えば、所定領域の掘削を終えた後の仕上げ作業）とは異なる他の作業（例えば、仕上げ作業前の掘削作業）を実施している状態が指定状態として検知されてもよい。
　（第２遠隔操作装置の構成）　第２遠隔操作装置２０は、第２クライアント制御装置２００と、第２入力インターフェース２１０と、第２出力インターフェース２２０と、を備えている。第２クライアント制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第２入力インターフェース２１０は、第２操作機構２１１を備えている。第２出力インターフェース２２０は、第２画像出力装置２２１と、第２無線通信機器２２２と、を備えている。　

　第２遠隔操作装置２０の詳細な構成は、状態検知器１１２が省略されていること、および、後述する第２クライアント制御装置２００の機能のほかは第１遠隔操作装置１０の構成とほぼ同様であるため、説明を省略する（図３参照）。
　（遠隔操作サーバの構成）　遠隔操作サーバ３０は、第１サーバ演算処理要素３１と、第２サーバ演算処理要素３２と、を備えている。第１サーバ演算処理要素３１は、第１通知を受信し、当該第１通知に基づいて複数の遠隔操作装置のうち第１遠隔操作装置１０とは異なる第２遠隔操作装置２０を選定する。第２サーバ演算処理要素３２は、第２遠隔操作装置２０に宛てて第１通知に応じた第２通知を送信し、作業機械４０の遠隔操作権限を第１遠隔操作装置１０から第２遠隔操作装置２０に変更するための処理を実行する。
　（機能）
　第１遠隔操作装置１０において、第１オペレータにより所定の操作が行われる（図４／ＳＴＥＰ１０２）。所定の操作は、例えば、第１入力インターフェース１１または第１操作機構１１１を構成するボタンまたは操作レバーの操作である。これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、第１遠隔操作装置１０から遠隔操作サーバ３０を経由して作業機械４０に対して操作開始指令が送信される（図４／ＳＴＥＰ１０４）。
　作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて遠隔操作サーバ３０から操作開始指令が受信される（図４／ＳＴＥＰ４０２）。これに応じて、作業機械制御装置４００が撮像装置４０１に指令を出力し、当該指令に応じて撮像装置４０１により撮像画像が取得される（図４／ＳＴＥＰ４０４）。作業機械制御装置４００により、無線通信機器４０２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作サーバ３０を経由して第１遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４０６）。
　第１遠隔操作装置１０において、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて遠隔操作サーバ３０から撮像画像データが受信される（図４／ＳＴＥＰ１０６）。第１クライアント制御装置１００により、撮像画像データに応じた環境画像（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像）が第１画像出力装置１１１に表示される（図４／ＳＴＥＰ１０８）。これにより、例えば、図６に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が第１画像出力装置１２１に表示される。
　第１遠隔操作装置１０において、第１オペレータにより第１操作機構１１１が操作され（図４／ＳＴＥＰ１１０）、これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該操作態様に応じた操作指令が遠隔操作サーバ３０を経由して作業機械４０に対して送信される（図４／ＳＴＥＰ１１２）。
　作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて遠隔操作サーバ３０から操作指令が受信される（図４／ＳＴＥＰ４０８）。これに応じて、作業機械制御装置４００により、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４１０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。　
　第１遠隔操作装置１０において、状態検知器１１２により第１オペレータおよび／または作業機械４０の指定状態が検知されたか否かが判定される（図５／ＳＴＥＰ１１４）。当該判定結果が否定的である場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、撮像画像データの受信および環境画像の出力、ならびに、第１操作機構１１１の操作およびこれに応じた操作指令の送信が繰り返される（図４／ＳＴＥＰ１０６、１０８、１１０および１１２参照）。
　その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該状態検知結果に応じた第１通知が遠隔操作サーバ３０に対して送信される（図５／ＳＴＥＰ１１６）。「第１通知」には、指定状態を検知した直前における作業機械４０の環境を表わす環境画像および必要に応じて音声情報、施工計画、作業機械４０の動作状態および種類など、作業機械４０の遠隔操作に際して必要な情報が含まれている。
　遠隔操作サーバ３０において、第１サーバ演算処理要素３１により、無線通信機器を通じて第１通知が受信される（図５／ＳＴＥＰ３０２）。
　第１サーバ演算処理要素３１により、当該第１通知に基づいて複数の遠隔操作装置のうち第１遠隔操作装置１０とは異なる第２遠隔操作装置２０が選定される（図５／ＳＴＥＰ３０４）。例えば、各オペレータについて、遠隔操作中であるか否か、遠隔操作中である場合には遠隔操作終了までの期間、遠隔操作の経験回数、遠隔操作を途中で他のオペレータから引き継いだ回数、遠隔操作を途中で他のオペレータに引き継がせた回数、遠隔操作引継ぎの際の作業機械の状態、および、遠隔操作の内容（遠隔操作された作業機械の所在地および作業内容など）などがデータベースに登録されている。
　そして、例えば、当該データベースの検索により、他の作業機械を遠隔操作中ではないオペレータであって、指定状態との近似度が高い状態の作業機械を遠隔操作した経験回数が多いオペレータであるほど、当該オペレータが操作する遠隔操作装置が第２遠隔操作装置２０として優先的に選定される。付加的または代替的に、他の作業機械を遠隔操作中ではないオペレータであって、当該状態の作業機械の遠隔操作の引継ぎ回数が多いオペレータであるほど、当該オペレータが操作する遠隔操作装置が第２遠隔操作装置２０として優先的に選定されてもよい。第２オペレータとしての選定に際してはこれらの指標がスコアとして数値化され、当該スコアが基準値以上である一または複数のオペレータの遠隔操作装置が第２遠隔操作装置２０として選定される。
　上記に加えて、複数の第２オペレータの作業内容（掘削・積込や平地整地、平地整形、のり面整地およびのり面成型）に応じた技能レベルあらかじめ登録しておき、引継ぎの操作に要求される操作の技能レベルが高いオペレータを上位に選定するようにしてもよい。　第２サーバ演算処理要素３２により、無線通信機器を通じて、当該選定された一または複数の第２遠隔操作装置２０に宛てて第１通知に応じた第２通知が送信される（図５／ＳＴＥＰ３０６）。「第２通知」には、第１通知と同様に、指定状態を検知した直前における作業機械４０の環境を表わす環境画像および必要に応じて音声情報、施工計画、作業機械４０の動作状態および種類など、作業機械４０の遠隔操作に際して必要な情報のほか、当該遠隔操作の引継ぎを依頼する旨のメッセージが含まれていてもよい。
　第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて第２通知が受信される（図５／ＳＴＥＰ２０２）。第２クライアント制御装置２００により、当該第２通知に応じた第２通知情報が第２画像出力装置２１１に表示される（図５／ＳＴＥＰ２０４）。例えば、作業機械４０の環境画像（図６参照）および作業機械４０の上部旋回体４２０の水平面に対する傾斜角度などの動作状況を表わす画像が第２通知情報として第２画像出力装置２１１に表示される。
　第２クライアント制御装置２００により、第２入力インターフェース２１０の操作を通じて第２オペレータにより遠隔操作の引継ぎの承諾の有無（あるいは承諾および拒否の別）が判定される（図５／ＳＴＥＰ２０６）。当該判定結果が否定的である場合（図５／ＳＴＥＰ２０６‥ＮＯ）、第２クライアント制御装置２００における処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２０６‥ＹＥＳ）、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて第３通知が遠隔操作サーバ３０に宛てて送信される（図５／ＳＴＥＰ２０８）。「第３通知」には、第２オペレータが作業機械４０の遠隔操作の引継ぎを承諾した旨のほか、第２遠隔操作装置２０を識別するための識別子が含まれている。
　第２サーバ演算処理要素３２により、無線通信機器を通じて第３通知が受信される（図５／ＳＴＥＰ３０６）。第２サーバ演算処理要素３２により、無線通信機器を通じて、第１遠隔操作装置１０に宛てて第３通知に応じた第４通知が送信される（図５／ＳＴＥＰ３０８）。「第４通知」には、遠隔操作の引継ぎを承諾した第２オペレータまたはその第２遠隔操作装置２０のほか、第２オペレータが遠隔操作した作業装置の所在地および作業内容などが含まれている。第３通知が第２オペレータによる当該承諾が無いことを表わす通知である場合、第２サーバ演算処理要素３２により、作業機械４０の遠隔操作権限を第２遠隔操作装置２０に変更しないように構成されていてもよい。
　第１遠隔操作装置１０において、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて第４通知が受信される（図５／ＳＴＥＰ１１８）。第１クライアント制御装置１００により、当該第４通知に応じた第４通知情報が第１画像出力装置１１１に表示される（図５／ＳＴＥＰ１２０）。例えば、作業機械４０の遠隔操作を承諾した第２オペレータ（操作主体候補）の一覧が、その遠隔操作経験の内容などの属性と共に第４通知情報として第２画像出力装置２１１に表示される。
　第１クライアント制御装置１００により、第１入力インターフェース２１０を通じて第１オペレータにより指定された操作主体候補としての第２オペレータが認識される（図５／ＳＴＥＰ１２２）。第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該センＴＡＣ結果に応じた第５通知が遠隔操作サーバ３０に宛てて送信される（図５／ＳＴＥＰ１２４）。「第５通知」には、第１オペレータにより指定された第２オペレータを識別するための識別子が含まれている。
　遠隔操作サーバ３０において、第２サーバ演算処理要素３２により、無線通信機器を通じて第５通知が受信される（図５／ＳＴＥＰ３１２）。
　第２サーバ演算処理要素３２により、無線通信機器を通じて、第１オペレータにより指定された第２オペレータの第２遠隔操作装置２０に対して第６通知が送信される（図５／ＳＴＥＰ３１６）。「第６通知」には操作の引継ぎをするか否かの判定結果が含まれる。第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて第６通知が受信される（図５／ＳＴＥＰ２１０）。「第６通知」に含まれている判定結果が否定的である場合（図５／ＳＴＥＰ２１２‥ＮＯ）、第２クライアント制御装置２００における処理が終了する。「第６通知」に含まれている判定結果が肯定的である場合、第２遠隔操作装置２０から操作指令の作業機械４０への送信が許容される。第２遠隔操作装置２０は、新たな第１遠隔操作装置１０として、作業機械４０の遠隔操作が可能になる（図４参照）。すなわち、第２クライアント制御装置２００が、第６通知が遠隔操作権限の変更があった旨の通知である場合、作業機械４０の遠隔操作権限を第１遠隔操作装置１０から取得する。
　これに応じて、第２サーバ演算処理要素３２により、作業機械４０の遠隔操作権限を第１遠隔操作装置１０から第２遠隔操作装置２０に変更するための処理が実行される（図５／ＳＴＥＰ３１６）。例えば、第１遠隔操作装置１０による操作指令の作業機械４０への送信が禁止される（図５／ＳＴＥＰ１２６）。当該第１遠隔操作装置１０は、新たに第２遠隔操作装置２０に対して業機械の遠隔操作の引継ぎが可能な状態になる。そして第２遠隔操作装置２０が作業機械４０の操作権限を取得する（図５／ＳＴＥＰ２１４）。
　作業機械４０の第２遠隔操作装置２０による引継ぎ操作が完了する（図５／ＳＴＥＰ２１６）と、作業機械４０の遠隔操作権限を復元する処理が実行される（図５／ＳＴＥＰ３１８）。例えば、第１遠隔操作装置１０から操作指令の作業機械４０への送信が回復される（図５／ＳＴＥＰ１２８）。そして第２遠隔操作装置２０による操作指令の作業機械４０への送信が禁止される（図５／ＳＴＥＰ２１８）。
　（効果）
　当該構成の遠隔操作システムによれば、第１遠隔操作装置１０を通じて作業機械４０が遠隔操作されている際に、当該作業機械４０または第１オペレータのうち一方または両方の状態が指定状態になった場合、当該指定状態に応じた第１通知に鑑みて適当な第２遠隔操作装置２０が、当該作業機械４０の遠隔操作主体として選定されうる（図５参照）。よって、作業機械４０の遠隔操作主体の切り替えに際して、当該作業機械４０の動作状態の不安定を回避しうる。
　また、第２通知に応じた通知情報が第２遠隔操作装置２０を構成する画像出力装置２２１に表示されるので、第２遠隔操作装置２０のオペレータに対して作業機械４０の遠隔操作主体の切り替えに際して必要な情報を提供することができる（図５／ＳＴＥＰ２０４参照）。
　（本発明の他の実施形態）
　前記実施形態では、第１オペレータおよび第２オペレータのそれぞれによる作業機械４０の遠隔操作の引継ぎの承認を要件として作業機械４０の遠隔操作主体が切り替えられたが（図５／ＳＴＥＰ２０６、ＳＴＥＰ１２２およびＳＴＥＰ３１４参照）、他の実施形態として、第１オペレータおよび第２オペレータのうち一方または両方による当該承認がなくても作業機械４０の遠隔操作主体が切り替えられてもよい。
　第２遠隔操作装置２０に付随して、第２遠隔操作装置２０の外部に第２遠隔操作装置２０と連携して第２入力インターフェース２１０および第２出力インターフェース２２０の機能を有する端末（ＰＣ、スマートフォン、タブレット等）を備え、当該端末に第２通知、第３通知、第６通知等の情報の送受信機能と、第２入力インターフェース２１０と、第２出力インターフェース機能を担わせるようにしてもよい。
　この場合、例えば、第２遠隔操作装置２０を設置している場所から離れている場所においても第２オペレータが遠隔サーバ３０からの情報を受信し操作引継ぎ操作を行うことが出来る。具体的に、遠隔サーバ３０から送信される第２通知および第６通知はメールやＳＮＳ等で受信することができ、第２オペレータは通知情報から作業機械４０の遠隔操作に際して必要な情報を確認することで操作引継ぎ操作の承諾を判断し、遠隔サーバ３０に対して承諾の有無を通知することができる。また、第６通知（操作引継ぎをするか否かの情報）を得るまでの処理を第２遠隔操作装置２０から離れた場所で行うことができる。操作の引継ぎを行うことが確定したことを確認してから第２遠隔操作装置２０に向かうことができる。
　前記実施形態の「第２通知」には、指定状態を検知した直前における作業機械４０の遠隔操作に際して必要な情報を含む構成であるが、「第２通知」には指定状態を検知したことのみ又は最低限の情報のみを情報として含め、指定状態を検知した直前における作業機械４０の遠隔操作に際して必要な情報は別途第２遠隔操作装置２０に送信するようにしてもよい。
　この場合、例えば、第２遠隔操作装置２０を操作する第２オペレータには、指定状態を検知した第１遠隔操作装置１０があることのみが通知される。次いで第２オペレータが操作引継ぎを検討するに際して遠隔サーバ３０より指定状態を検知した直前における作業機械４０の遠隔操作に際して必要な情報を取得するように構成する。このような構成であれば、引継ぎ操作を行うことのできる余裕のある第２オペレータに対してより詳細な情報を提供することができる。
　前記実施形態において第２オペレータの候補者が多数でない場合や、スコアが基準値以上である候補者を絞り込み第１オペレータと第２オペレータとがメールや、チャット、電話等により直接話し合って引継ぎ操作を行う第２オペレータを選定してもよい。このような場合、作業機械４０の遠隔操作を承諾した第２オペレータ（操作主体候補）の一覧情報である第４通知を、作業機械４０の遠隔操作を承諾した各第２オペレータに送信するようにしてもよい。
　第１サーバ演算処理要素３１が、複数の第２遠隔操作装置２０から送信される第３通知に基づき、作業機械４０の遠隔操作権限の第１遠隔操作装置１０からの変更先の候補として第２遠隔操作装置２０の候補を選定してもよい。当該構成の遠隔操作システムによれば、複数の第２遠隔操作装置２０のそれぞれから送信される複数の第３通知に基づき、作業機械４０の遠隔操作権限の変更先としての一の第２遠隔操作装置２０が選定されうる。
１０‥第１遠隔操作装置、２０‥第２遠隔操作装置、２１‥第２入力インターフェース、２２‥第２出力インターフェース、２５‥端末装置、３０‥遠隔操作サーバ、３１‥第１サーバ演算処理要素、３２‥第２サーバ演算処理要素、４０‥作業機械、１００‥第１クライアント制御装置、１１０‥第１入力インターフェース、１１１‥第１操作機構、１１２‥状態検知器、１２０‥第１出力インターフェース、１２１‥第１画像出力装置、１２２‥第１無線通信機器、２００‥第２クライアント制御装置、２１０‥第２入力インターフェース、２１１‥第２操作機構、２２０‥第２出力インターフェース、２２１‥第２画像出力装置、２２２‥第２無線通信機器、４０１‥撮像装置、４０２‥無線通信機器、４４０‥作業アタッチメント（作動機構）。
 

Claims (8)

  1. 　作動機構を有している作業機械と、前記作業機械を遠隔操作するための操作機構を有している複数の遠隔操作装置と、前記複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバと、を備えている遠隔操作システムであって、
    　前記複数の遠隔操作装置のうち第１遠隔操作装置が、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることを検知する状態検知器と、前記状態検知器により前記作業機械および前記オペレータのうち少なくとも一方の状態が前記指定状態であることが検知された場合、当該指定状態に応じた第１通知を送信する第１クライアント制御装置と、を備え、
    　前記遠隔操作サーバが、前記第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、前記第２遠隔操作装置または前記第２遠隔操作装置が有する第２クライアント制御装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする遠隔操作システム。
  2. 　請求項１記載の遠隔操作システムにおいて、
    　前記作業機械は、当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有し、
    　前記複数の遠隔操作装置のそれぞれが、前記撮像装置により撮像された前記作業機械の環境を表わす環境画像を表示する画像出力装置を有し、
    　前記第２クライアント制御装置が、前記第２通知を受信し、前記第２通知に応じた通知情報を前記画像出力装置に出力させることを特徴とする遠隔操作システム。
  3. 　請求項１または２記載の遠隔操作システムにおいて、
    　前記画像出力装置が、前記第２遠隔操作装置との連携機能を有する端末装置の構成要素であることを特徴とする遠隔操作システム。
  4. 　請求項１～３のうちいずれか１項に記載の遠隔操作システムにおいて、
    　前記第２クライアント制御装置が、前記第２通知を受信したことに応じて、前記遠隔操作サーバに対して、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更することの承諾の有無を表わす通知を第３通知として送信し、
    　前記第２サーバ演算処理要素が、前記第３通知が、前記承諾が無いことを表わす通知である場合、前記作業機械の遠隔操作権限を前記第２遠隔操作装置に変更しないことを特徴とする遠隔操作システム。
  5. 　請求項４記載の遠隔操作システムにおいて、
    　前記第３通知は、前記第２遠隔操作装置との連携機能を有する端末装置により送信可能であることを特徴とする遠隔操作システム。
  6. 　請求項４または５記載の遠隔操作システムにおいて、
    　前記第１サーバ演算処理要素が、複数の前記第２遠隔操作装置から送信される前記第３通知に基づき、前記作業機械の遠隔操作権限の前記第１遠隔操作装置からの変更先の候補として前記第２遠隔操作装置の候補を選定することを特徴とする遠隔操作システム。
  7. 　請求項６記載の遠隔操作システムにおいて、
    　前記第１サーバ演算処理要素が、前記候補の中から一の前記第２遠隔操作装置を選定し、
    　前記第２サーバ演算処理要素が、前記複数の第２遠隔操作装置のそれぞれに対して前記遠隔操作サーバから前記遠隔操作権限の変更の有無を表わす通知を第６通知として通知し、
    　前記第２クライアント制御装置が、前記第６通知が前記遠隔操作権限の変更があった旨の通知である場合、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から取得することを特徴とする遠隔操作システム。
  8. 　作業機械を遠隔操作するための複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバであって、
    　前記複数の遠隔操作装置のうち第１遠隔操作装置により、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることが検知されたことに応じて、前記第１遠隔操作装置から送信される、当該指定状態に応じた第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、
    　前記第２遠隔操作装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする遠隔操作サーバ。
     
PCT/JP2019/047071 2019-03-27 2019-12-02 遠隔操作システムおよび遠隔操作サーバ WO2020194884A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980094527.6A CN113614317B (zh) 2019-03-27 2019-12-02 远程操作系统以及远程操作服务器
EP19921240.8A EP3922775B1 (en) 2019-03-27 2019-12-02 Remote operation system and remote operation server
US17/438,642 US11885101B2 (en) 2019-03-27 2019-12-02 Remote operation system and remote operation server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-059760 2019-03-27
JP2019059760A JP7287047B2 (ja) 2019-03-27 2019-03-27 遠隔操作システムおよび遠隔操作サーバ

Publications (1)

Publication Number Publication Date
WO2020194884A1 true WO2020194884A1 (ja) 2020-10-01

Family

ID=72609372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047071 WO2020194884A1 (ja) 2019-03-27 2019-12-02 遠隔操作システムおよび遠隔操作サーバ

Country Status (5)

Country Link
US (1) US11885101B2 (ja)
EP (1) EP3922775B1 (ja)
JP (1) JP7287047B2 (ja)
CN (1) CN113614317B (ja)
WO (1) WO2020194884A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301723A (ja) * 2005-04-15 2006-11-02 Toyota Motor Corp 遠隔操作システム
JP2016076801A (ja) 2014-10-03 2016-05-12 ヤンマー株式会社 遠隔監視システム
JP2018501684A (ja) * 2014-11-17 2018-01-18 ヤンマー株式会社 作業機の遠隔操作のための表示システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3364419B2 (ja) * 1997-10-29 2003-01-08 新キャタピラー三菱株式会社 遠隔無線操縦システム並びに遠隔操縦装置，移動式中継局及び無線移動式作業機械
US9715008B1 (en) * 2013-03-20 2017-07-25 Bentley Systems, Incorporated Visualization of 3-D GPR data in augmented reality
KR101632855B1 (ko) * 2013-12-11 2016-06-22 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 관리 방법, 관리용 컴퓨터 프로그램 및 관리 시스템
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization
KR102250821B1 (ko) * 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법
WO2017043108A1 (ja) * 2015-09-10 2017-03-16 富士フイルム株式会社 投写型表示装置及び投写制御方法
US10242562B2 (en) 2017-02-22 2019-03-26 Thames Technology Holdings, Inc. Control systems with modular configurable devices
JP6807781B2 (ja) * 2017-03-13 2021-01-06 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
US20210140147A1 (en) * 2017-06-13 2021-05-13 Volvo Construction Equipment Ab A working machine provided with an image projection arrangement
EP3779067A4 (en) * 2018-03-27 2021-04-07 Sumitomo Heavy Industries, Ltd. EXCAVATOR
CN112041510A (zh) * 2018-06-19 2020-12-04 住友建机株式会社 挖掘机、信息处理装置
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム
WO2020095945A1 (ja) * 2018-11-08 2020-05-14 住友建機株式会社 ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
EP3934241A4 (en) * 2019-02-28 2022-04-20 Sumitomo Heavy Industries, Ltd. DISPLAY DEVICE, EXCAVATOR, INFORMATION PROCESSING DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301723A (ja) * 2005-04-15 2006-11-02 Toyota Motor Corp 遠隔操作システム
JP2016076801A (ja) 2014-10-03 2016-05-12 ヤンマー株式会社 遠隔監視システム
JP2018501684A (ja) * 2014-11-17 2018-01-18 ヤンマー株式会社 作業機の遠隔操作のための表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3922775A4

Also Published As

Publication number Publication date
EP3922775A4 (en) 2022-04-13
EP3922775B1 (en) 2023-07-12
JP7287047B2 (ja) 2023-06-06
JP2020161996A (ja) 2020-10-01
EP3922775A1 (en) 2021-12-15
US20220186466A1 (en) 2022-06-16
CN113614317B (zh) 2022-12-09
US11885101B2 (en) 2024-01-30
CN113614317A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
WO2021111677A1 (ja) 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
JP2019005819A (ja) 遠隔操作型移動ロボットおよびロボット制御システム
JP2020200660A (ja) 遠隔操作システムおよび遠隔操作サーバ
EP3923594B1 (en) Remote operation system
JP7287262B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP7318258B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2020194884A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
WO2020250557A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2021099017A (ja) 遠隔操作装置および遠隔操作システム
JP2021086227A (ja) 作業支援サーバおよび作業支援システム
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021192483A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US11993922B2 (en) Remote operation system
JP7415480B2 (ja) 作業支援サーバおよび作業支援システム
JP7441733B2 (ja) 実機状態監視システムおよび実機状態監視方法
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
JP2021086226A (ja) 作業支援サーバおよび作業支援システム
JP2021103193A (ja) 作業支援サーバおよび作業支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921240

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019921240

Country of ref document: EP

Effective date: 20210906

NENP Non-entry into the national phase

Ref country code: DE