WO2021256104A1 - 遠隔操作支援装置および遠隔操作支援方法 - Google Patents

遠隔操作支援装置および遠隔操作支援方法 Download PDF

Info

Publication number
WO2021256104A1
WO2021256104A1 PCT/JP2021/017099 JP2021017099W WO2021256104A1 WO 2021256104 A1 WO2021256104 A1 WO 2021256104A1 JP 2021017099 W JP2021017099 W JP 2021017099W WO 2021256104 A1 WO2021256104 A1 WO 2021256104A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
work machine
remote control
machine
preparation
Prior art date
Application number
PCT/JP2021/017099
Other languages
English (en)
French (fr)
Inventor
涼太 羽馬
真輝 大谷
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP21825744.2A priority Critical patent/EP4142302A4/en
Priority to CN202180042645.XA priority patent/CN115699796A/zh
Priority to US18/007,810 priority patent/US20230272596A1/en
Publication of WO2021256104A1 publication Critical patent/WO2021256104A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Definitions

  • the present invention relates to a remote control support device and a remote control support system that support remote work performed by an operator operating a work machine by operating the remote control device.
  • a remote control system for a work machine has been known to be characterized in that the work machine is controlled to a standby state when an abnormality occurs (see, for example, Patent Document 1).
  • Patent Document 1 when an abnormality occurs in the remote control system, the work machine is controlled to the standby state, so that it is possible to avoid a situation in which the operator operates the work machine.
  • the second work which is performed as a target of remote control, may be performed.
  • an operator who performs the first work by remote control of the first work machine tries to prepare for the second work by the second work machine in parallel with the first work, the work of the first work is performed. Not only is the efficiency reduced, but the preparation for the second work is also insufficient. Further, if the second work is started without preparation, the work efficiency at the start of the second work is lowered.
  • the present invention when the target of remote control is selectively switched to a plurality of work machines for work, the present invention may be moved to a position suitable for performing a predetermined work in advance, or the work machine may be used in advance. It is an object of the present invention to provide an attitude control device for changing a posture suitable for performing a predetermined work.
  • the present invention has a first support processing element.
  • the first support processing element acquires schedule information, which is information including the contents of the first work, which is the work performed by the first work machine, from the database in which the schedule information is stored, and is the first based on the schedule information.
  • the first support processing element determines whether or not the preparation conditions are satisfied based on the schedule information, and if the determination is affirmative, the work machine is scheduled to perform the determination.
  • a preparation signal which is a control signal for starting preparation for the work being performed, is transmitted to the work machine.
  • the work machine to be remotely controlled has been started to be controlled in advance to move to a position suitable for work or to be in a posture suitable for work in advance. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the work machine which has not been prepared in advance, so that the work efficiency can be improved.
  • An explanatory diagram regarding the configuration of a remote control support system as an embodiment of the remote control support device having the configuration according to the present invention Explanatory diagram of database configuration. Explanatory drawing about the configuration of a remote control device. Explanatory drawing about the structure of the work machine. An explanatory diagram regarding the function of the first support processing element as an embodiment of the remote control support device having the configuration according to the present invention. The explanatory view about the function of the 2nd support processing element as one Embodiment of the remote control support device of the structure which concerns on this invention. An explanatory diagram of preparation control as another embodiment of the present invention. An explanatory diagram of preparation control as another embodiment of the present invention. An explanatory diagram of preparation control as another embodiment of the present invention. An explanatory diagram of preparation control as another embodiment of the present invention.
  • An explanatory diagram of preparation control as another embodiment of the present invention An explanatory diagram of preparation control as another embodiment of the present invention.
  • An explanatory diagram of preparation control as another embodiment of the present invention An explanatory diagram of preparation control as another embodiment of the present invention.
  • An explanatory diagram of preparation control as another embodiment of the present invention An explanatory diagram of preparation control as another embodiment of the present invention.
  • the remote control support system as an embodiment of the remote control support device 100 having the configuration according to the present invention shown in FIG. 1 is a remote control support server 10 and a remote control device 20 for remotely controlling a work machine 40. And, it is composed of.
  • the remote control support server 10, the remote control device 20, and the work machine 40 are configured to enable network communication with each other.
  • the mutual communication network of the remote control support server 10 and the remote control device 20 and the mutual communication network of the remote control support server 10 and the work machine 40 may be the same or different.
  • the number of the work machines 40 may be one or a plurality.
  • the operator interrupts the remote control of the first work machine 40A, which is mainly the target of remote control, and the operator interrupts the remote control of the first work machine 40A, and is the target of remote control.
  • the first work machine 40A and the second work machine 40B may exist at the same work site or may exist at different work sites.
  • the type of the work machine 40 may be the same type of work machine or a different type of work machine.
  • the operator can remotely control the first work machine 40A and mainly perform slope forming work. Then, when a dump truck, which is a cooperative work machine 50, occasionally comes near the second work machine 40B, the operator changes the work machine to be remotely controlled from the first work machine 40A every time the dump truck comes. 2 By switching to the work machine 40B, it is possible to carry out the loading work, which is the work of loading the earth and sand into the dump truck.
  • the first work machine 40A and the second work machine 40B may exist at the same work site (the first work machine 40A and the second work machine 40B exist in the work site A), and different operations are performed. It may exist at the site (the first work machine 40A exists in the work site A, and the second work machine 40B exists in the work site B different from the work site A).
  • the remote control is a concept that means that the operator operates the work machine 40 from a position away from the work machine 40 without getting on the work machine 40.
  • the operator is a concept that refers to a person who operates the remote control device 20 to operate the work machine 40.
  • the remote control support server 10 includes a remote control support device 100, a database 110, and a server wireless communication device 122.
  • the remote control support device 100 includes a first support processing element 101 and a second support processing element 102.
  • Each support processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the database 110 contains the attributes of the work machine 40, the operation schedule of the work machine 40, the position information of the work site where the work machine 40 operates, and the work object which is the object of the work performed by the work machine 40 at the work site.
  • Location information of the work target area 80 which is an existing area, The captured image data that captures the environment of the work site where the work machine 40 operates, the image data of the collaborative work machine 50, and the like are stored and retained.
  • the database 110 may store, as an attribute of the work machine 40, information that the work machine 40 is a hydraulic excavator, information on a manufacturer name, information on a serial number, and the like.
  • the database 110 as the operation schedule of the work machine 40, the contents of the work performed by the work machine 40, the start time of the work performed by the work machine 40, the end time of the work performed by the work machine 40, and the time when the work machine 40 is not used. Information and the like may be stored and retained.
  • the database 110 captures the attributes of the work machine 40, the attributes of the work machine 40, the operation schedule of the work machine 40, the position information of the work site where the work machine 40 operates, and the environment of the work site where the work machine 40 operates.
  • the captured image data and the like may be linked and stored.
  • the database 110 contains the attributes of each work machine 40 and the attributes of each work machine 40.
  • the operation schedule, the position information of the work site where each work machine 40 operates, the captured image data which captured the environment of the work site where each work machine 40 operates, and the like are stored and retained.
  • the database 110 as information about the first work machine 40A, the operator name using the first work machine 40A, the position information of the work site where the first work machine 40A is used, and the first.
  • Information on the end time and time (12:00 and 18:00) of the work name of one work and the time when the first work machine 40A is not used (12:00 to 13:00) is associated and stored.
  • the database 110 contains information about the second work machine 40B, such as the operator name using the second work machine 40B, the position information of the work site where the second work machine 40B is used, and the second work machine 40B.
  • Work name (groove excavation work), start time (13:00) of the second work performed by the second work machine 40B, end time time (18:00) of the work name of the second work performed by the second work machine 40B, Information about the time when the second work machine 40B is not used (10:00 to 13:00) is associated and stored.
  • the first support processing element 101 relates to the start time of the first work from the database 110.
  • the first work machine 40A reads out the information and moves the first work machine 40A to a position suitable for the first work or a posture suitable for the first work by the start time of the first work.
  • a command signal can be sent to.
  • the first support processing element 101 reads the information regarding the start time of the second work from the database 110, and places the second work machine 40B at a position suitable for the second work by the start time of the second work.
  • a command signal can be transmitted to the second work machine 40B so as to be moved to the second work machine or to be in a posture suitable for the second work.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operating lever (traveling lever) of the traveling operating device is operated to move the lower traveling body 450.
  • the travel lever may also serve as a travel pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operation lever (bucket lever) of the bucket operation device is operated to move the bucket cylinder 446 of the work machine 40.
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but can be seated by the operator, such as in the form of a low back chair without headrests or in the form of a chair without backrests. It may be a seating portion of any form.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the left side operating lever 2111 provided in front of the left side frame of the seat St shown in FIG. 3 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. May function as a swivel lever.
  • the right operating lever 2112 provided in front of the right frame of the seat St shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a bucket lever.
  • the lever pattern may be arbitrarily changed by an operation instruction of the operator.
  • the image output device 221 is, for example, as shown in FIG. 3, a central image output device 2210 having a substantially rectangular screen arranged in front of the sheet St, diagonally forward left, and diagonally forward right, respectively, on the left side. It is composed of an image output device 2211 and a right image output device 2212.
  • the shapes and sizes of the screens (image display areas) of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be the same or different.
  • the left image output device 2211 so that the screen of the central image output device 2210 and the screen of the left image output device 2211 form an inclination angle ⁇ 1 (for example, 120 ° ⁇ ⁇ 1 ⁇ 150 °).
  • the right edge of is adjacent to the left edge of the central image output device 2210.
  • the right image output device 2212 so that the screen of the central image output device 2210 and the screen of the right image output device 2212 form an inclination angle ⁇ 2 (for example, 120 ° ⁇ ⁇ 2 ⁇ 150 °).
  • the left edge of is adjacent to the right edge of the central image output device 2210.
  • the inclination angles ⁇ 1 and ⁇ 2 may be the same or different.
  • the screens of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be parallel to the vertical direction or tilted with respect to the vertical direction. At least one of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be configured by the image output device divided into a plurality of parts.
  • the central image output device 2210 may be composed of a pair of vertically adjacent image output devices having a substantially rectangular screen.
  • the image output device 221 center image output device 2210, left image output device 2211, and right image output device 2212
  • the work machine 40 refers to a work vehicle that can be operated at the work site.
  • the work machine 40 includes at least one of the construction machines capable of pushing or excavating the earth and sand.
  • Construction machinery is, for example, a hydraulic excavator with a bucket, a bulldozer with blades.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 4, is mounted on a crawler type lower traveling body 450 and a lower traveling body 450 so as to be able to turn via a turning mechanism 430.
  • the upper swivel body 460 and the above are provided.
  • a cab 424 (driver's cab) is provided on the front left side of the upper swing body 460.
  • An actuating mechanism 440 is provided at the front center portion of the upper swivel body 460.
  • the actual machine input interface 410 includes an actual machine operation mechanism 411, an actual machine image pickup device 412, an actual machine positioning device 414, and a cooperative positioning device 416.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the actual image pickup device 412 is installed inside the cab 424, for example, and is partitioned by a pair of left and right pillars 4240 (“L” and “R” are included in the code when distinguishing the left and right) on the front side of the cab 424.
  • the environment including at least a part of the operating mechanism 440 is imaged through the front window and the pair of left and right side windows. Some or all of the front and side windows may be omitted.
  • the actual positioning device 414 is a device that detects the position of the work machine 40, and is configured by, for example, a GNSS receiver (GNNS: Global Navigation Satellite System).
  • the cooperative positioning device 416 has a function of specifying the position of the cooperative work machine 50, which will be described later.
  • the cooperative positioning device 416 can be configured by, for example, a camera or a sensor (distance measuring sensor) capable of acquiring information on the work environment in addition to the actual machine image pickup device 412 and the actual machine image pickup device 412.
  • the cooperative positioning device 416 identifies the position of the cooperative work machine 50 with respect to the work machine 40 by detecting the shape and the size of the shape of the cooperative work machine 50 from these cameras and sensors. It was
  • the actual device output interface 420 includes an actual device wireless communication device 422. Information about the position of the work machine 40 detected by the actual machine positioning device 414 is transmitted to the remote control support server 10 through the actual machine wireless communication device 422.
  • the work attachment as the actuating mechanism 440 is rotatable to the boom 441 undulatingly mounted on the upper swing body 460, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is equipped with a bucket 445, which is connected to a bucket 445.
  • the actuating mechanism 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are configured by a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 460 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about a horizontal axis with respect to the arm 443.
  • the cooperative work machine 50 is a work machine that cooperates with the work machine 40.
  • the cooperative work machine 50 is a dump truck provided with a loading platform.
  • the linked work machine 50 has a linked control device 500, a linked input interface 510, a linked output interface 520, and a linked operating mechanism 540 (for example, a loading platform).
  • the cooperative work machine 50 is operated by boarding an operator different from the operator who remotely controls the work machine 40 by the remote control device 20.
  • the cooperative work machine 50 includes a loading platform, a vehicle body that supports the loading platform, and a traveling device that supports and travels on the vehicle body.
  • the loading platform can be loaded with earth and sand.
  • the cooperative work machine 50 is, for example, a rear dump type, and is provided with a gate at the rear of the loading platform that opens when the front of the loading platform is raised high and the loading platform is tilted backward.
  • the traveling device has wheels, and the cooperative work machine 50 can travel by rotating the wheels.
  • the first support process of the present embodiment will be described with reference to the flowchart shown in FIG.
  • the first support process is a process executed in order to move the work machine 40 to a position suitable for work in advance or to make the work machine 40 in a posture suitable for work in advance.
  • the operator determines whether or not the first designated operation is performed through the remote input interface 210 (FIG. 5 / STEP211).
  • the "first designated operation” is, for example, an operation such as tapping, pushing, pinching, and swiping in the remote input interface 210 for the operator to designate the work machine 40 intended for remote control in the image output device 221.
  • the "first designated operation” there is an example of an operation such as tapping, pushing, pinching, and swiping in the remote input interface 210 for designating the work intended by the operator in the image output device 221. If the determination result is negative (FIG. 5 / STEP211 ... NO), the process ends. On the other hand, if the determination result is affirmative (FIG. 5 / STEP211 ... YES), a preparation request is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP212).
  • the remote control support server 10 When the remote control support server 10 receives the preparation request (FIG. 5 / STEP111 ... YES), the first support processing element 101 reads the schedule information from the database 110 and acquires it (FIG. 5 / STEP112). On the other hand, if the determination result is negative (FIG. 5 / STEP111 ... NO), the determination process of STEP111 is repeated.
  • the first support processing element 101 determines whether or not the preparation condition, which is a condition for making the work machine 40 prepare for the work scheduled to be performed by the work machine 40, is satisfied. Judgment (STEP113).
  • the first support processing element 101 acquires information about the current time of the first work machine 40A, and the current time is a predetermined time (for example, 10 o'clock) than the start time of the first work (for example, 10 o'clock). For example, it is determined whether or not the time is 10 minutes earlier.
  • the current time is the start of the first work with respect to the start time (for example, 10 o'clock) of the first work (for example, the slope forming work performed by the first work machine 40A in the morning).
  • the time is t1 (for example, 9:50), which is a predetermined time before the time
  • the first support processing element 101 determines that the preparation condition is satisfied.
  • the current time is a time point (for example, 9) before the time t1 which is a predetermined time before the start time (for example, 10 o'clock) of the first work (for example, the slope forming work performed in the morning).
  • the determination result becomes negative (FIG. 5 / STEP113 ... NO), and the first support processing element 101 repeats the determination process of STEP113.
  • the first support processing element 101 acquires information about the current time of the second work machine 40B, and the current time is predetermined from the start time of the second work (for example, 13:00).
  • An example of determining whether or not it is a time point before the time (for example, 10 minutes) can be given.
  • the current time is the time point of t3 shown in FIG. 2 (for example, 12:50), and the start time of the second work (for example, the loading work that the operator interrupts the first work and performs at any time) ( For example, when the time t3 (for example, 12:50) is a predetermined time (for example, 10 minutes) before (13:00), the first support processing element 101 determines that the preparation condition is satisfied.
  • the current time is only a predetermined time (for example, 10 minutes) from the start time (for example, 13:00) of the second work (for example, the loading work that the operator interrupts the first work and performs at any time). If the time is before the time t3 of t3, which is the previous time (for example, 12:40), the judgment result is negative (FIG. 5 / STEP113 ... NO), and the first support is provided.
  • the processing element 101 repeats the determination process of STEP 113.
  • the first support processing element 101 transmits a preparation command to the work machine 40 (STEP 114).
  • the determination result is negative (FIG. 5 / STEP113 ... NO)
  • the first support processing element 101 repeats the determination process.
  • the work machine 40 When the preparation signal is received in the work machine 40 (FIG. 5 / STEP411 ... YES), the work machine 40 is a control for starting the preparation of the work scheduled to be performed by the work machine 40. Control is performed (Fig. 5 / STEP412). On the other hand, if the determination result is negative (FIG. 5 / STEP411 ... NO), the determination process of STEP411 is repeated.
  • the work machine 40 starts control for moving to a position suitable for work in advance and for taking a posture suitable for work in advance. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the work machine which has not been prepared in advance, so that the work efficiency can be improved.
  • the first work machine 40A waiting in the vicinity of the work target area 80 will perform the slope forming work in the work target area 80 (for example, the slope 80A). If so, the first work machine 40A is directed toward the area where the work target area 80 (for example, slope 80A) ((north latitude w, east longitude z)) at the work site ((north latitude XX, east longitude YY)) exists. Start running.
  • the preparation control an example in which the first work machine 40A travels toward the work target area 80 (for example, the slope 80A) is shown, but the example of the preparation control is not limited to this example.
  • the first work machine 40A after moving to the work target area 80 operates in advance in the direction in which the work target area 80 (for example, the slope 80A) exists.
  • An example is given in which the upper swivel body 460A is swiveled in order to direct the 440A.
  • preparation control an example in which the first work machine 40A performs preparation control is shown, but the example of preparation control is not limited to this example.
  • preparation control when excavation work is scheduled to be performed in the groove 80B for the second work machine 40B waiting in the vicinity of the groove 80B, the second work machine 40B is set to the work site ( In (North latitude AA, East longitude BB)), there is an example of starting traveling toward the groove 80B ((North latitude a, East longitude b)), which is an area where a hole to be excavated exists.
  • preparation control an example in which the second work machine 40B moves toward the groove 80B is shown, but the example of preparation control is not limited to this example.
  • preparation control there is an example in which the second working machine 40B turns the upper swivel body 460B with respect to the lower traveling body 450 in order to previously direct the actuating mechanism 440B in the direction in which the groove 80B exists.
  • the second working machine 40B has shown an example in which the upper swing body 460B is swiveled with respect to the lower traveling body 450 in order to previously direct the actuating mechanism 440B in the direction in which the groove 80B exists.
  • the example of control is not limited to this example.
  • the lower part of the second work machine 40B is run in order to perform the work of digging the groove 80B in the direction in which the second work machine 40B exists.
  • Preparation control is performed in which the body 450 is operated to move the position of the second work machine 40B to the vicinity of the position of the groove 80B.
  • the position of the actuating mechanism 440B can be previously positioned on the proximal end side of the groove 80B. (Note that one end of the groove 80B on the side closer to the second working machine 40B is referred to as the base end side.)
  • the operator immediately excavates the base end side of the groove 80B using the actuating mechanism 440B (bucket 445B) after the target of remote control is switched from the first work machine 40A to the second work machine 40B. be able to.
  • the upper swivel body 460B may be swiveled with respect to the lower traveling body 450B, and the operation mechanism 440B may be controlled to be surely directed in the direction in which the groove 80B exists.
  • the work machine 40 sends a preparation end signal, which is a signal including a signal for notifying the operator that the work preparation is completed, to the remote control support server 10 through the actual wireless communication device 422. It is transmitted (Fig. 5 / STEP413).
  • the first support processing element 101 when the first support processing element 101 receives the preparation end signal (FIG. 5 / STEP115 ... YES), the first support processing element 101 transmits the preparation end signal to the remote control device 20 (FIG. 5 / STEP116). On the other hand, when the determination result is negative (FIG. 5 / STEP115 ... NO), the first support processing element 101 repeats the determination process of STEP115.
  • the remote control device 200 when the remote control device 200 receives the preparation completion signal (FIG. 5 / STEP 213 ... YES), it is a control for notifying the operator of information regarding the completion of the work performed by the work machine 40. A certain notification control is performed (FIG. 5 / STEP214). For example, the remote control device 200 executes a control process for displaying a text message "Preparation of the work machine 40 is completed" on the image output device 221 as notification control. Of course, the example of the text message displayed on the image output device 221 is not limited to this example.
  • notification control an example in which a text message is displayed on the image output device 221 is shown, but the example of notification control is not limited to this example.
  • notification control there is an example of sending a voice message "Preparation of the work machine 40 is completed" from the speaker provided in the image output device 221.
  • voice message sent from the speaker included in the image output device 221 is not limited to this example.
  • the second support process of the present embodiment will be described with reference to the flowchart shown in FIG.
  • the second support process is a process for assisting the operator to actually remotely control the work machine 40 by using the remote control mechanism 211.
  • the remote control device 200 determines whether or not there is a second designated operation through the remote input interface 210 by the operator (FIG. 6 / STEP221).
  • the "second designated operation” is, for example, an operation such as tapping, pushing, pinching, and swiping in the remote input interface 210 for the operator to specify the work machine 40 intended for remote control in the image output device 221. If the determination result is negative (FIG. 6 / STEP221 ... NO), the remote control device 200 repeats the processing after the determination of the presence / absence of the designated operation. On the other hand, when the determination result is affirmative (FIG. 6 / STEP221 ... YES), the remote control device 200 transmits an environment confirmation request to the remote control support server 10 through the remote wireless communication device 222 (FIG. 6). 6 / STEP222).
  • the second support processing element 102 transmits the environment confirmation request to the corresponding work machine 40 (FIG. 6 / C10).
  • the actual machine control device 400 acquires the captured image through the actual machine image pickup device 412 (FIG. 6 / STEP421).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control support server 10 through the actual device wireless communication device 422 (FIG. 6 / STEP422).
  • the second support processing element 102 When the second support processing element 102 receives the captured image data in the remote control support server 10 (FIG. 6 / C11), the second support processing element 102 transmits the captured image data to the remote control device 20 (FIG. 6 / C11). FIG. 6 / STEP121).
  • the second support processing element 102 may transmit environmental image data representing a simulated environmental image generated based on the captured image to the remote control device 20 instead of the captured image data.
  • the second support processing element 102 transmits a command for dividing and displaying the captured image data to the central image output device 2210, the left image output device 2211, and the right image output device 2212 to the remote control device 20. You may.
  • the remote control device 200 when the remote control device 200 receives the captured image data through the remote wireless communication device 222 (FIG. 6 / C21), the remote control device 200 controls the central image of the captured image according to the captured image data.
  • the divided display mode in the output device 2210, the left image output device 2211, and the right image output device 2212 is controlled (FIG. 6 / STEP223).
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 6 / STEP 224), and the remote control device 200 corresponds to the operation mode through the remote wireless communication device 222.
  • the remote control command is transmitted to the remote control support server 10 (FIG. 6 / STEP 225).
  • the second support processing element 102 When the second support processing element 102 receives the remote control command in the remote control support server 10, the second support processing element 102 transmits the remote control command to the work machine 40 (FIG. 6 / C12). ..
  • the operation of the operating mechanism 440, etc. is controlled (FIG. 6 / STEP423).
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 460 is swiveled, and then the soil is dropped from the bucket 445.
  • the first support processing element 101 transmits a preparation signal to the work machine 40 based on schedule information (for example, information regarding a work start time) has been described. Not limited.
  • the first support processing element 101 acquires information regarding the distance between the second work machine 40B and the cooperative work machine 50, and the first support processing element 101 transmits a preparation signal to the second work machine 40B.
  • schedule information for example, information regarding a work start time
  • the database 110 uses the first work (slope forming work) performed by the first work machine 40A and the second work performed by the second work machine 40B after 13:00 as the operation schedule of the work machine 40.
  • the work for example, the groove excavation work that the operator interrupts the first work and performs at any time
  • the work is stored in memory.
  • the remote control device 20 it is determined whether or not the first work is being executed (FIG. 7 / STEP231). As an example in which the first work is being executed, communication is established in which the current time is a predetermined time (13:00 to 18:00) and the remote control device 20 can remotely control the first work machine 40A. It can be mentioned that there is. If the determination result is negative (FIG. 7 / STEP231 ... NO), the process ends. On the other hand, if the determination result is affirmative (FIG. 5 / STEP231 ... YES), a preparation request is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP212).
  • the actual machine control device 400 When the request for distance information is received in the second work machine 40B (FIG. 7 / STEP414 ... YES), the actual machine control device 400 has information regarding the distance between the second work machine 40B and the cooperative work machine 50 (FIG. 7 / STEP414 ... YES). Hereinafter, the distance information and the like will be acquired as appropriate. On the other hand, if the determination result is negative (FIG. 7 / STEP414 ... NO), the determination process is repeated.
  • the cooperative positioning device 416 (for example, a camera or a sensor of the actual machine image pickup device 412 or the like) measures the distance between the second work machine 40B and the cooperative work machine 50, thereby controlling the actual machine. 400 acquires distance information (FIG. 7 / STEP415).
  • the distance information is acquired by using the cooperative positioning device 416 (a camera or a sensor such as an actual image pickup device 412)
  • the example in which the distance information is acquired is not limited to this example.
  • the first support processing element 101 works using the camera, the sensor, or one of them.
  • Distance information can be acquired by specifying the positions of the machine 40 and the cooperative work machine 50 and calculating the distance between the coordinates where the second work machine 40B exists and the coordinates where the cooperative work machine 50 exists.
  • the first support processing element 101 is positioned by the actual machine positioning device 414.
  • the coordinates where the second work machine 40B exists and the cooperation work machine 50 An example is given in which distance information is acquired by calculating the distance between the coordinate where is present and.
  • the actual positioning device 414 acquires the information regarding the coordinate position of the second work machine 40B (for example, the position of the world coordinates in the GNSS). Then, the actual machine control device 400 transmits the information regarding the coordinate position to the remote control support server 10 through the actual machine wireless communication device 422. As a result, the remote control support server 10 acquires the position information of the second work machine 40B.
  • the remote control support server 10 obtains the information regarding the coordinate position of the second work machine 40B.
  • the example to be acquired is not limited to this example.
  • the database 110 stores and holds the local coordinates of the work site of the second work machine 40B in advance, and the actual machine positioning is performed.
  • the device 414 determines at which coordinate the second working machine 40B is located in the local coordinates.
  • the cooperative positioning device 416 acquires the information regarding the coordinate position of the cooperative work machine 50 (for example, the position of the world coordinates in GNSS). Then, the cooperation control device transmits information about the coordinate position to the remote control support server 10 through the cooperation wireless communication device. As a result, the remote control support server 10 acquires the position information of the cooperative work machine 50.
  • the remote control support server 10 acquires the information regarding the coordinate position of the collaborative work machine 50.
  • the example is not limited to this example.
  • the database 110 stores and holds the local coordinates of the work site of the collaborative work machine 50 in advance, and the collaborative work machine 50
  • the positioning device possessed by the machine determines at which coordinate the cooperative work machine 50 is located in the local coordinates.
  • the first support processing element 101 compares the coordinates of the second work machine 40B with the coordinates of the cooperative work machine 50 acquired as described above, and the distance between the two coordinates.
  • the distance information may be acquired by calculating.
  • the actual machine control device 400 transmits the distance information to the remote control support server 10 through the actual machine wireless communication device 422 (FIG. 7 / STEP 416).
  • the first support processing element 101 acquires the distance information in the remote control support server 10 (FIG. 7 / STEP118 ... YES)
  • the first support processing element 101 determines whether or not the cooperative work machine 50 has entered the reference area. (Fig. 7 / STEP119). On the other hand, if the determination result of STEP 118 is negative (FIG. 7 / STEP 118 ... NO), the processing before the determination is repeated.
  • the first support processing element 101 reads the schedule information from the database 110 and works in cooperation with the second work machine 40B during the time from the start time to the end time of the first work by the first work machine 40A. It is determined whether or not the cooperative work machine 50, which is a work machine that performs the above-mentioned work, has moved from the outside to the inside of the reference area AR determined based on the position where the second work machine 40B exists.
  • the first support process is performed.
  • Element 101 repeats the determination process.
  • the first support processing element 101 outputs an environmental image of the work site captured by the actual image pickup device 412 included in the second work machine 40B to the central image output device 2210 and the left side image output.
  • a command for split display to the device 2211 and the right image output device 2212 may be transmitted to the remote control device 20.
  • the second work machine 40B since the second work machine 40B does not perform preparatory control (turning), a part of the work target area 80 (for example, the sand hill 80C) in the second work machine 40B is not photographed.
  • the first The support processing element 101 drives the lower traveling body 450 to excavate a preparation signal (for example, a work target area 80 (for example, a groove 80B)) with respect to the second work machine 40B, and retracts the second work machine 40B.
  • a command signal for turning the upper swivel body 460 so as to direct the actuating mechanism 440 in the direction in which the groove 80B is scheduled to be excavated is transmitted (FIG. 7 / STEP124).
  • the preparation control (FIG. 7 / STEP432) starts in the second work machine 40B as shown in FIG. 9B. Then, the second working machine 40B drives the lower traveling body 450 to retract the second working machine 40B, or directs the operating mechanism 440 in the direction in which the groove 80B is scheduled to be excavated. Or turn.
  • the first support processing element 101 outputs an environmental image of the work site captured by the actual image pickup device 412 included in the second work machine 40B to the central image output device 2210 and the left side image output.
  • a command for split display to the device 2211 and the right image output device 2212 may be transmitted to the remote control device 20.
  • the second work machine 40B is performing preparatory control (swivel)
  • the groove 80B is photographed and the groove 80B is displayed on the central image output device 2210.
  • the cooperative work machine 50 is displayed on the left image output device 2211.
  • the work machine 40 sends a preparation end signal, which is a signal including a signal for notifying the operator that the work preparation is completed, to the remote control support server 10 through the actual wireless communication device 422. It is transmitted (Fig. 7 / STEP433).
  • the first support processing element 101 when the first support processing element 101 receives the preparation end signal (FIG. 7 / STEP125 ... YES), the first support processing element 101 transmits the preparation end signal to the remote control device 20. On the other hand, if the determination result is negative (FIG. 7 / STEP125 ... NO), the determination process of STEP125 is repeated.
  • the remote control device 200 when the remote control device 200 receives the preparation completion signal (FIG. 7 / STEP233 ... YES), it is a control for notifying the operator of information regarding the completion of preparation for the work performed by the work machine 40. A certain preparation end display control is performed (FIG. 7 / STEP234). On the other hand, if the determination result is negative (FIG. 7 / STEP233 ... NO), the determination process of STEP233 is repeated.
  • the remote control support device 100 and the remote control support system according to the present invention can be applied to such a case as well.
  • the notification control (FIG. 5 / STEP214) in the remote control device 20
  • the operator interrupts the first work performed by using the first work machine 40A and performs the first work by using the second work machine 40B. You can start the second work.
  • the notification control (FIG. 5 / STEP214) is performed, the cooperative work machine 50 is displayed on the left side image output device 2211, so that the operator uses the second work machine 40B. 2 It is possible to surely confirm that it is time to start the work.
  • the operator performs the second work. 1
  • the database 110 is performed by using the first work (slope forming work) and the second work machine 40B performed by using the first work machine 40A after 13:00 as the operation schedule of the work machine 40.
  • the second work (for example, the loading work that the operator interrupts the first work and performs at any time) can be performed.
  • the first support processing element 101 does not transmit the preparation signal to the second work machine 40B until the cooperative work machine 50 moves from the outside to the inside of the reference area AR.
  • the first work machine 40A is used.
  • the second work machine 40B interrupts the second work last time. Since the position and posture of the time are maintained, the operator can operate without discomfort.
  • the first support processing element 101 sends a preparation signal to the second work machine 40B to put the second work machine 40B in the preparation posture. As a result, the operator can smoothly start the second work performed by using the second work machine 40B.
  • the first support processing element performs preparation control
  • An example of transmitting a signal to the second work machine 40B has been shown, but the example in which the first support processing element performs preparatory control is not limited to this example.
  • the second support processing element has the reference area AR set outside the first reference area AR1 and the first reference area AR1. It includes the reference area AR2, and determines whether or not the cooperative work machine 50 has entered the first reference area AR1 from the second reference area AR2. If the determination is positive, the signal is different from the preparation signal.
  • An example of controlling the transmission of a target preparation signal, which is a signal can be given.
  • the cooperative work machine 50 is located in the area of the second reference area AR2.
  • the second work machine 40B drives the lower traveling body 450 to retract the second work machine 40B, or directs the operation mechanism 440 in the direction in which the work target area 80 (for example, the groove 80B, the sand hill 80C) is located.
  • the upper swivel body 460 is swiveled.
  • the first support processing element sends a target preparation signal to the second work machine 40B. Send.
  • the target preparation signal is a control signal for extending the boom 441, the arm 443, and the bucket 445 to ground the bucket 445 at a position where the groove 80B is scheduled to be excavated.
  • the second work machine 40B waits for the operating mechanism 440 toward the position where the groove 80B is scheduled to be excavated, so that the operator can quickly start the loading work. can. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the second work machine 40B which has not been prepared in advance, so that the work efficiency can be improved.
  • the remote control support device 100 and the remote control support system according to the present invention can be applied to such a case as well.
  • the reference area AR is determined to be circular with respect to the position where the second work machine 40B exists is shown, but the method of determining the reference area is not limited to this example.
  • the cooperative work machine 50 performs the cooperative work with the second work machine 40B from the position where the second work machine 40B exists.
  • the shape is set so as to eccentrically expand toward the entrance / exit of the work site where the entry / exit is performed.
  • the reference area AR has a shape that expands eccentrically toward the entrance / exit of the work site, so that the entrance / exit where the collaborative work machine 50 is most likely to enter at the work site. Is surely included in the reference area, and the reference area AR is set to be narrow for other parts, so that a rational reference area AR can be set.
  • the probability that the work machine 40 unrelated to the preparation control is mistaken for the cooperative work machine 50 can be reduced, so that the probability that the preparation control of the second work machine 40B is started due to the misidentification can be reduced, and the work efficiency can be improved. Can be raised.
  • the first support processing element 101 transmits a preparation signal to the work machine 40.
  • the example in which the assist processing element 101 transmits a preparation signal to the work machine 40 is not limited to this example.
  • the first support processing element 101 transmits a preparation signal to the work machine 40, as shown in FIG. 13, when the cooperative work machine 50 moves from the inside to the outside of the reference area AR, An example is given in which the first support processing element 101 transmits a preparation signal to the second work machine 40B.
  • the first support processing element 101 when the cooperative work machine 50 moves from the inside to the outside of the reference area AR, the first support processing element 101 transmits a preparation signal to the work machine 40B. do.
  • the work machine 40B turns upward so as to direct the actuating mechanism 440 toward the groove 80B in order to perform excavation work again.
  • the body 460 can be turned and waited. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the second work machine 40B which has not been prepared in advance, so that the work efficiency can be improved.
  • the remote control support device 100 and the remote control support system according to the present invention can be applied to such a case as well.
  • the first support processing element 101 transmits a preparation signal to the second work machine 40B according to the distance between the second work machine 40B and the cooperative work machine 50.
  • the example in which the first support processing element 101 transmits a preparation signal is not limited to this example.
  • the first support processing element 101 transmits a preparation signal to the first work machine 40A according to the distance between the first work machine 40A and the cooperative work machine 50.
  • the remote control support device 100 and the remote control support system according to the present invention can be applied to such a case as well.
  • the second work performed by using the second work machine 40B the work of excavating the groove 80B and loading the excavated earth and sand into the cooperative work machine 50 is shown, but an example of the second work is this example. Not limited to.
  • the second work there is an example of the work of loading and unloading the transported material loaded on the loading platform of the cooperative work machine 50.
  • the cargo is, for example, earth and sand, which is unloaded by being scooped up using a bucket.
  • the transported object may be a structure (for example, a reinforcing bar).
  • the reinforcing bars are loaded and unloaded by being gripped using a grapple, which is an example of the actuating mechanism 440.
  • the remote control support device 100 and the remote control support system according to the present invention can be applied to such a case as well.
  • the example of the transported object mounted on the loading platform of the cooperative work machine 50 shows an example of a structure, but the example of the transported object mounted on the loading platform of the cooperative work machine 50 is this. Not limited to examples.
  • the material handling material mounted on the loading platform of the collaborative work machine 50 is wood.
  • the wood loaded on the loading platform of the cooperative work machine 50 is unloaded from the loading platform of the cooperative work machine 50 by being transported while being gripped by using a grapple which is an example of the operating mechanism 440. ..
  • the remote control support device 100 and the remote control support system according to the present invention can be applied to such a case as well.
  • the first support processing element determines that the preparation condition is satisfied when the current time is a time before the start time of the work performed by the work machine. Is preferable.
  • the first support processing element determines whether or not the preparation condition is satisfied based on the schedule information including the time, so that the work machine is already at the time when the operator starts the work. , It has been moved to a position suitable for work, or it is in a posture suitable for work. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the work machine which has not been prepared in advance, so that the work efficiency can be improved.
  • the first support processing element includes the start time of the second work stored in the database in the time from the start time to the end time of the first work stored in the database. In this case, it is preferable to make the determination when the preparation conditions are satisfied.
  • At least the contents of the first work which is the work performed by remotely controlling the first work machine, the start time of the first work, and the remote control of the second work machine are stored in the database.
  • Schedule information including the content of the second work to be performed and the start time of the second work is stored.
  • the first support processing element is scheduled to perform the first work stored in the database during the time zone in which the second work stored in the database is scheduled to be performed. It is determined that the preparation condition is satisfied when the time zone is included. As a result, even if it becomes necessary for the operator to perform the second work using the second work machine while the operator is performing the first work using the first work machine, the second work machine can be used.
  • the second work start time By the second work start time, control for moving to a position suitable for the second work in advance and for taking a posture suitable for the second work has been started in advance. Therefore, the operator can immediately start the second work as compared with the case where the work is performed by operating the second work machine that has not been prepared in advance, so that the work efficiency of the second work can be improved. ..
  • the first support processing element transmits a preparation signal, which is a signal including a signal for driving the lower traveling body of the work machine, to the work machine.
  • the first support processing element transmits a preparation signal for driving the lower traveling body to the work machine, so that the work machine is placed in a position suitable for work in advance. You can run and move. As a result, the work machine to be remotely controlled has been moved to a position suitable for work in advance. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the work machine that has not been moved in advance, so that the work efficiency can be improved.
  • a preparation signal which is a signal including a signal for turning the upper swivel body of the work machine, to the work machine.
  • the first support processing element transmits a preparation signal for turning the upper swivel body to the work machine, so that the work machine sets a direction suitable for the work in advance. You can face and wait. As a result, the work machine to be remotely controlled stands by in advance facing the direction suitable for the work. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the work machine that has not turned in advance, so that the work efficiency can be improved.
  • the first support processing element transmits a preparation signal, which is a signal including a signal for operating the operating mechanism of the working machine, to the working machine.
  • the first support processing element transmits a preparation signal for operating the operating mechanism to the working machine, so that the working machine is in a posture suitable for work in advance.
  • the actuating mechanism can be actuated and stand by.
  • the work machine to be remotely controlled stands by in a posture suitable for work in advance. For example, if you want to stand by in a safer position, you can send a preparation signal to stand by in a position where the bucket is grounded. Also, for example, if you want to start work more quickly, you can send a preparation signal to stand by in a posture that raises the bucket. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the work machine which is not in the posture suitable for the work in advance, so that the work efficiency can be improved.
  • the first support processing element is a machine in which the operator interrupts the remote control of the first work machine and works in cooperation with the second work machine to be remotely controlled at any time. It is preferable to make the determination that the preparation condition is satisfied when a certain cooperative work machine moves from the outside to the inside of the reference area determined based on the position where the second work machine exists.
  • the first support processing element determines that the preparation condition is satisfied when the collaborative work machine moves from the outside to the inside of the reference area, so that the work is not scheduled to be performed. Even when the collaborative work machine approaches the second work machine, the second work machine can be moved to a position suitable for the collaborative work in advance, or can be in a posture suitable for the collaborative work in advance. Control has started. Therefore, the operator can immediately start the second work as compared with the case where the second work is performed by operating the second work machine that has not been prepared in advance, so that the work efficiency can be improved.
  • the first support processing element is a collaborative work machine which is a machine that performs work in cooperation with the second work machine during the time from the start time to the end time of the first work. It is preferable to make the determination that the preparation condition is satisfied when the second work machine moves from the outside to the inside of the reference area determined based on the position where the second work machine exists.
  • the first support processing element is a reference area in which the cooperative work machine is determined based on the position where the second work machine is present during the time from the start time to the end time of the first work. It is determined that the above preparation condition is satisfied when moving from the outside to the inside.
  • the operator continues the first work while the second work machine is. , It is moved to a position suitable for the second work in advance, or it is in a posture suitable for the second work in advance. Therefore, the operator can continue the first work until just before the time when the second work is started. Therefore, the operator can continue the first work until just before the time when the second work is started, and then switch the operation to the ready second work machine and start the second work, so that the operator can start the work.
  • Efficiency can be increased.
  • the second work machine can be moved to a position suitable for the second work as much as possible even if it is not in time to move to the position suitable for the second work by the start time of the second work machine. Can be done. Further, the second work machine can be in a posture suitable for the second work as much as possible even if the preparation posture suitable for the second work is not in time until the start time of the second work machine. Therefore, the operator can start the second work a little earlier than the case where the second work is performed by operating the second work machine which is not prepared at all, so that the work efficiency can be improved to some extent. can.
  • the reference area is eccentric from the position where the second work machine exists toward the entrance / exit of the work site where the collaborative work machine enters and exits to perform collaborative work with the second work machine. It is preferable that the shape is set so as to expand.
  • the reference area has a shape that expands eccentrically toward the entrance / exit of the work site. Since the reference area is surely included in the reference area and the reference area is set to be narrow for the other parts, a rational reference area can be set. As a result, the probability of misidentifying an unrelated work machine as a cooperative work machine can be reduced, so that the probability of starting the preparation control of the second work machine due to the misidentification can be reduced, and the work efficiency can be improved.
  • the remote control support device has a second support processing element, and the second support processing element describes an operation mode of a remote control mechanism operated to remotely control the work machine. It is preferable to recognize and execute a process for transmitting a remote control command according to the operation mode.
  • the work machine is remotely controlled according to the operation mode of the remote control mechanism.
  • the operator can actually remotely control the work machine prepared by the second support processing of the second support processing element. Therefore, the operator can start the work immediately as compared with the case where the work is performed by operating the work machine which has not been prepared in advance, so that the work efficiency can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)

Abstract

オペレータが作業機械を遠隔操作して作業を行う場合に、予め作業機械を当該作業機械が行うことが予定されている作業に適した位置に移動したり、姿勢に変更したりしておく遠隔操作支援装置を提供することを目的とする。かかる目的を達成するため、本発明は、第１支援処理要素を有し、当該第１支援処理要素は、スケジュール情報をデータベースから取得し、当該スケジュール情報に基づいて、当該作業機械が行うことが予定されている作業の準備を当該作業機械に開始させるための条件である準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、当該作業機械が行うことが予定されている作業の準備を開始させるための制御信号である準備信号を前記作業機械に送信するための処理である第１支援処理を実行する。

Description

遠隔操作支援装置および遠隔操作支援方法
　本発明は、オペレータが遠隔操作装置を操作することにより作業機械を操作して行う遠隔作業を支援する遠隔操作支援装置および遠隔操作支援システムに関する。
　従来、作業機械の遠隔操作システムにおいて、異常が発生した場合に作業機械を待機状態に制御することを特徴とするものが知られている（例えば、特許文献１参照）。
特開２０１５－１９２１６３号公報
　特許文献１のものでは、遠隔操作システムに異常が発生した場合には、作業機械を待機状態に制御するので、オペレータが作業機械を操作するような事態を回避ができる。
　ところで、作業機械の遠隔操作システムにおいて、第１の作業機械を遠隔操作の対象として行う第１作業と、遠隔操作の対象を第１作業機械から第２の作業機械に切替えて第２の作業機械を遠隔操作の対象として行う第２作業と、を行う場合がある。第２の作業にスムーズに取り掛かるためには、当該第２作業の開始直前の状況に応じて第２の作業機械の位置や姿勢を変更する準備が必要となる。しかし、第１の作業機械の遠隔操作による第１作業を行うオペレータが当該第１作業に加えて第２の作業機械による第２作業の準備を並行して行おうとすると、当該第１作業の作業効率が低下してしまうばかりか第２作業の準備も不十分になってしまう。また、準備なしで第２作業に取り掛かり始めると、第２作業の開始時の作業効率が低下してしまう。
　そこで、本発明はかかる背景に鑑みて、遠隔操作の対象を複数の作業機械に選択的に切り替えて作業する際に、予め所定の作業を行うのに適した位置に移動したり、予め作業機械を所定の作業を行うのに適した姿勢に変更したりしておく姿勢制御装置を提供することを目的とする。
かかる目的を達成するため本発明は、第１支援処理要素を有する。第１支援処理要素は、第１作業機械が行う作業である第１作業の内容を含む情報であるスケジュール情報を当該スケジュール情報が記憶されているデータベースから取得し、当該スケジュール情報に基づいて、第１作業の準備を当該第１作業機械に開始させるための条件である準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、第１作業の準備を開始させるための制御信号である準備信号を第１作業機械に送信するための処理である第１支援処理を実行することを特徴とする。
　（作用効果）
　本発明によれば、第１支援処理要素は、スケジュール情報に基づいて、準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、当該作業機械が行うことが予定されている作業の準備を開始させるための制御信号である準備信号を前記作業機械に送信する。これにより、遠隔操作の対象となる作業機械は、予め作業に適した位置に移動したり、予め作業に適した姿勢になったりするための制御が開始されている。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
本発明に係る構成の遠隔操作支援装置の一実施形態としての遠隔操作支援システムの構成に関する説明図。 データベースの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 本発明に係る構成の遠隔操作支援装置の一実施形態としての第1支援処理要素の機能に関する説明図。 本発明に係る構成の遠隔操作支援装置の一実施形態としての第２支援処理要素の機能に関する説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。 本発明の別実施形態としての準備制御の説明図。
　（遠隔操作支援システムの構成）
　図１に示されている本発明に係る構成の遠隔操作支援装置１００の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０、および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０、作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
　また、作業機械４０の台数は、1台でもよいし、複数台でもよい。また、作業機械４０が複数台存在する場合、オペレータが、主に遠隔操作の対象とする第１作業機械４０Ａと、当該オペレータが、第１作業機械４０Ａの遠隔操作を中断し、遠隔操作の対象を第１作業機械４０Ａから切り替えることにより、遠隔操作の対象となる第２作業機械４０Ｂと、が存在してもよい。第１作業機械４０Ａと、第２作業機械４０Ｂと、は、同一の作業現場に存在してもよいし、異なる作業現場に存在してもよい。また、作業機械４０の種類は、同型の作業機械でもよいし、異なる種類の作業機械でもよい。
　例えば、オペレータは、第１作業機械４０Ａを遠隔操作して、主に法面形成作業を行うことができる。そして、第２作業機械４０Ｂの近くに連携作業機械５０であるダンプカーが時々来た場合、当該オペレータは、当該ダンプカーが来るたびに、遠隔操作の対象となる作業機械を第１作業機械４０Ａから第２作業機械４０Ｂに切り替ることで、土砂を当該ダンプカーに積み込む作業である積込作業を行うことができる。第１作業機械４０Ａと第２作業機械４０Ｂとは、同一の作業現場に存在してもよい（第１作業機械４０Ａと第２作業機械４０Ｂとが作業現場Ａ内に存在する）し、異なる作業現場に存在していてもよい（第１作業機械４０Ａは作業現場Ａ内に存在し、第２作業機械４０Ｂは作業現場Ａとは異なる作業現場Ｂ内に存在する）。
　また、遠隔操作とは、オペレータが、作業機械４０に搭乗せずに、作業機械４０と離れた位置から作業機械４０を操作することを意味する概念である。
　また、オペレータとは、遠隔操作装置２０を操作して作業機械４０の操縦を行う者を指す概念である。
　（遠隔操作支援サーバの構成）
　遠隔操作支援サーバ１０は、遠隔操作支援装置１００と、データベース１１０及びサーバ無線通信機器１２２と、を備えている。遠隔操作支援装置１００は、第１支援処理要素１０１と、第２支援処理要素１０２と、を備えている。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
　データベース１１０は、作業機械４０の属性、作業機械４０の稼働スケジュール、作業機械４０が稼働する作業現場の位置情報、当該作業現場において、当該作業機械４０が行う作業の対象物である作業対象物が存在するエリアである作業対象エリア８０の位置情報、
作業機械４０が稼働する作業現場の環境を撮像した撮像画像データ、連携作業機械５０の画像データ等を記憶保持する。
　また、データベース１１０は、作業機械４０の属性として、作業機械４０は、油圧ショベルであるという情報、メーカー名に関する情報、製造番号の情報等を記憶保持してもよい。
　また、データベース１１０は、作業機械４０の稼働スケジュールとして、作業機械４０が行う作業の内容、作業機械４０が行う作業の開始時刻、作業機械４０が行う作業の終了時刻、作業機械４０を使用しない時刻に関する情報等を記憶保持してもよい。
　また、データベース１１０は、作業機械４０の属性と、作業機械４０の属性、作業機械４０の稼働スケジュール、作業機械４０が稼働する作業現場の位置情報、作業機械４０が稼働する作業現場の環境を撮像した撮像画像データ等を紐づけて記憶保持してもよい。
　また、作業機械４０が複数台存在する場合（例えば、第１作業機械４０Ａと、第２作業機械４０Ｂと、が存在する場合）、データベース１１０は、各作業機械４０の属性、各作業機械４０の稼働スケジュール、各作業機械４０が稼働する作業現場の位置情報、各作業機械４０が稼働する作業現場の環境を撮像した撮像画像データ等を記憶保持する。
　例えば、図２に示すように、データベース１１０は、第１作業機械４０Ａに関する情報として、第１作業機械４０Ａを使用するオペレータ名、第１作業機械４０Ａが使用される作業現場の位置情報、第１作業機械４０Ａが行う第１作業の作業名（法面形成）、第１作業機械４０Ａが行う第の１作業の作業名の開始時刻（１０時、１３時）、第１作業機械４０Ａが行う第１作業の作業名の終了時刻時刻（１２時、１８時）、第１作業機械４０Ａを使用しない時刻（１２時乃至１３時）に関する情報を紐づけて、記憶保持する。
　また、データベース１１０は、第２作業機械４０Ｂに関する情報として、第２作業機械４０Ｂを使用するオペレータ名、第２作業機械４０Ｂが使用される作業現場の位置情報、第２作業機械４０Ｂが行う第２作業の作業名（溝掘削作業）、第２作業機械４０Ｂが行う第２作業の開始時刻（１３時）、第２作業機械４０Ｂが行う第２作業の作業名の終了時刻時刻（１８時）、第２作業機械４０Ｂを使用しない時刻（１０時乃至１３時、）に関する情報を紐づけて、記憶保持する。
　これにより、データベース１１０には、少なくとも第１作業の開始時刻、第２作業の開始時刻に関する情報が記憶保持されているので、第１支援処理要素１０１は、データベース１１０から第１作業の開始時刻に関する情報を読み出して、第１作業機械４０Ａを第１作業の開始時刻までに、第１作業に適した位置に移動させたり、第１作業に適した姿勢になったりするように第１作業機械４０Ａに指令信号を送信することができる。
　また、同様に、第１支援処理要素１０１は、データベース１１０から第２作業の開始時刻に関する情報を読み出して、第２作業機械４０Ｂを第２作業の開始時刻までに、第２作業に適した位置に移動させたり、第２作業に適した姿勢になったりするように第２作業機械４０Ｂに指令信号を送信することができる。
　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。
　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４５０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる。任意の形態の着座部であってもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　画像出力装置２２１は、例えば、図３に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
　図３に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図３に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
　中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１（中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２）は、スピーカー（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０とは、作業現場において稼働可能な作業車両をいう。作業機械４０は、土砂を押土又は掘削を実施可能な建設機械の少なくとも一方を含む。建設機械は、例えば、バケットを有する油圧ショベル、ブレードを有するブルドーザーである。
　作業機械４０は、例えば、クローラショベル（建設機械）であり、図４に示されているように、クローラ式の下部走行体４５０と、下部走行体４５０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４６０と、を備えている。上部旋回体４６０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４６０の前方中央部には作動機構４４０が設けられている。
　実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、実機測位装置４１４と、連携測位装置４１６、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４の前側にある左右一対のピラー４２４０（左右を区別する場合には「Ｌ」および「Ｒ」を符号に含ませる。）により区画されているフロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機測位装置４１４は、作業機械４０の位置を検出する装置であり、例えば、ＧＮＳＳ受信機（ＧＮＮＳ：Global Navigation Satellite System）により構成される。
　連携測位装置４１６は、後述する連携作業機械５０の位置を特定する機能を有する。連携測位装置４１６は、例えば、実機撮像装置４１２および実機撮像装置４１２の他に作業環境に関する情報を取得可能なカメラやセンサ（測距センサ）により構成することができる。連携測位装置４１６は、これらのカメラやセンサから連携作業機械５０の形状および形状の大きさを検出することにより、作業機械４０に対する連携作業機械５０の位置を特定する。　
　実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。実機測位装置４１４により検出される作業機械４０の位置に関する情報は、実機無線通信機器４２２を通じて、遠隔操作支援サーバ１０に送信される。
　作動機構４４０としての作業アタッチメントは、上部旋回体４６０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作動機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４６０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　（連携作業機械の構成）
　連携作業機械５０は、作業機械４０と協働する作業機械である。例えば、連携作業機械５０は、荷台を備えたダンプカーである。連携作業機械５０は、連携制御装置５００、連携入力インターフェース５１０、連携出力インターフェース５２０、連携作動機構５４０（例えば、荷台）を有する。
　また、連携作業機械５０は、遠隔操作装置２０により作業機械４０を遠隔操作するオペレータとは別のオペレータが搭乗することにより操作される。
　また、連携作業機械５０は、荷台と、荷台を支持する車体と、車体を支持して走行する走行装置とを備える。
　荷台は、土砂を積載可能である。連携作業機械５０は、例えば、リアダンプ方式であり、荷台の前方を高く上げ荷台を後方に傾けた際に開くゲートを荷台の後部に備えている。
　走行装置は、車輪を有しており、車輪が回転することにより、連携作業機械５０は走行可能である。
　（機能）
　前記構成の遠隔操作支援システムの機能について図５及び図６に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　図５に示されているフローチャートを用いて、本実施形態の第１支援処理について説明する。第１支援処理は、作業機械４０を予め作業に適した位置に移動させたり、作業機械４０を予め作業に適した姿勢にさせたりするために実行される処理である。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図５／ＳＴＥＰ２１１）。「第１指定操作」は、例えば、画像出力装置２２１において、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップ、プッシュ、ピンチ、スワイプなどの操作である。
　「第１指定操作」の他の例として、画像出力装置２２１において、オペレータが意図する作業を指定するための遠隔入力インターフェース２１０におけるタップ、プッシュ、ピンチ、スワイプなどの操作の例が挙げられる。当該判定結果が否定的である場合（図５／ＳＴＥＰ２１１‥ＮＯ）、処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２１１‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して準備要求が送信される（図５／ＳＴＥＰ２１２）。
　遠隔操作支援サーバ１０において、準備要求が受信された場合（図５／ＳＴＥＰ１１１‥ＹＥＳ）、第１支援処理要素１０１は、データベース１１０からスケジュール情報を読み出して取得する（図５／ＳＴＥＰ１１２）。その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ１１１‥ＮＯ）、ＳＴＥＰ１１１の判定処理が繰り返される。
　第１支援処理要素１０１は、取得したスケジュール情報に基づいて、作業機械４０に当該作業機械４０が行うことが予定されている作業について準備をさせるための条件である準備条件を満たすか否かを判定する（ＳＴＥＰ１１３）。
　ＳＴＥＰ１１３において、例えば、第１支援処理要素１０１は、第１作業機械４０Ａについて、現在の時刻に関する情報を取得し、現在の時刻が第１作業の開始時刻（例えば、１０時）よりも所定時間（例えば、１０分）だけ前の時点であるか否かを判定する。
　図２に示されるように第１作業（例えば、第１作業機械４０Ａが午前中に行う法面形成作業）の開始時刻（例えば、１０時）に対して、現在の時刻が第１作業の開始時刻よりも所定時間だけ前の時刻ｔ１（例えば、９時５０分）である場合、第１支援処理要素１０１は、準備条件を満たすと判定する。その一方、現在の時刻が、第１作業（例えば、午前中に行う法面形成作業）の開始時刻（例えば、１０時）よりも所定時間だけ前の時刻ｔ１よりも前の時点（例えば、９時４０分）である場合には、当該判定結果が否定的（図５／ＳＴＥＰ１１３‥ＮＯ）となり、第１支援処理要素１０１は、ＳＴＥＰ１１３の判定処理を繰り返す。
　ＳＴＥＰ１１３の他の例として、第１支援処理要素１０１が、第２作業機械４０Ｂについて、現在の時刻に関する情報を取得し、現在の時刻が第２作業の開始時刻（例えば、１３時）よりも所定時間（例えば、１０分）だけ前の時点であるか否かを判定する例が挙げられる。現在の時刻が、図２に示したｔ３の時点（例えば、１２時５０分）であり、第２作業（例えば、オペレータが第1作業を中断して、随時行う積込作業）の開始時刻（例えば、１３時）よりも所定時間（例えば、１０分）だけ前の時刻ｔ３（例えば、１２時５０分）である場合、第１支援処理要素１０１は、準備条件を満たすと判定する。その一方、現在の時刻が、第２作業（例えば、オペレータが第1作業を中断して、随時行う積込作業）の開始時刻（例えば、１３時）よりも所定時間（例えば、１０分）だけ前の時刻であるｔ３の時刻ｔ３よりも前の時点（例えば、１２時４０分）である場合には、当該判定結果が否定的である場合（図５／ＳＴＥＰ１１３‥ＮＯ）となり、第１支援処理要素１０１は、ＳＴＥＰ１１３の判定処理を繰り返す。
　ＳＴＥＰ１１３における判定が肯定的な場合（図５／ＳＴＥＰ１１３‥ＹＥＳ）、第１支援処理要素１０１は、準備指令を作業機械４０に対して送信する（ＳＴＥＰ１１４）。その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ１１３‥ＮＯ）、第１支援処理要素１０１は、当該判定処理を繰り返す。
　上述した、ＳＴＥＰ１１２乃至ＳＴＥＰ１１４の処理が、本実施形態における第１支援処理の概念である
　作業機械４０において、準備信号が受信された場合（図５／ＳＴＥＰ４１１‥ＹＥＳ）、作業機械４０は、当該作業機械４０が行うことが予定されている作業の準備を開始するための制御である準備制御を行う（図５／ＳＴＥＰ４１２）。その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ４１１‥ＮＯ）、ＳＴＥＰ４１１の判定処理が繰り返される。
　ＳＴＥＰ４１２において、作業機械４０は、予め作業に適した位置に移動したり、予め作業に適した姿勢になったりするための制御を開始する。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　例えば、ＳＴＥＰ４１２において、作業対象エリア８０(例えば、法面８０Ａ)付近で待機している第１作業機械４０Ａが作業対象エリア８０(例えば、法面８０Ａ)で法面形成作業を行うことが予定されている場合、第１作業機械４０Ａは、作業現場（（北緯ＸＸ、東経ＹＹ））における作業対象エリア８０(例えば、法面８０Ａ)（（北緯w、東経ｚ））が存在するエリアへ向かって走行を開始する。
　準備制御の例として、第１作業機械４０Ａが、作業対象エリア８０(例えば、法面８０Ａ)へ向かって走行する例を示したが、準備制御の例は、この例に限られない。他の準備制御の例として、作業対象エリア８０(例えば、法面８０Ａ)に移動後の第１作業機械４０Ａが、作業対象エリア８０(例えば、法面８０Ａ)が存在する方向へ、予め作動機構４４０Ａを向けるために上部旋回体４６０Ａを旋回させる例が挙げられる。
　準備制御の例として、第１作業機械４０Ａが、準備制御を行う例を示したが、準備制御の例は、この例に限られない。例えば、他の準備制御の例として、溝８０Ｂ付近で待機している第２作業機械４０Ｂについて、溝８０Ｂで掘削作業を行うことが予定されている場合、第２作業機械４０Ｂは、作業現場（（北緯ＡＡ、東経ＢＢ））において、掘削作業の対象となる孔が存在するエリアである溝８０Ｂ（（北緯a、東経b））へ向かって走行を開始する例が挙げられる。
　準備制御の例として、第２作業機械４０Ｂが、溝８０Ｂへ向かって移動する例を示したが、準備制御の例は、この例に限られない。他の準備制御の例として、第２作業機械４０Ｂが、溝８０Ｂが存在する方向へ、予め作動機構４４０Ｂを向けるために上部旋回体４６０Ｂを下部走行体４５０に対して旋回させる例が挙げられる。
　準備制御の例として、第２作業機械４０Ｂが、溝８０Ｂが存在する方向へ、予め作動機構４４０Ｂを向けるために上部旋回体４６０Ｂを下部走行体４５０に対して旋回させる例を示したが、準備制御の例は、この例に限られない。準備制御の他の例として、第２作業機械４０Ｂが、溝８０Ｂの長さを延長させるために、溝８０Ｂを第２作業機械４０Ｂが存在する方向へ掘り進める制御例が挙げられる。
　この例では、図８Ａに示すように、既に溝８０Ｂが掘削された状態において、溝８０Ｂを第２作業機械４０Ｂが存在する方向へ掘り進める作業を行うために、第２作業機械４０Ｂの下部走行体４５０を稼働させて、第２作業機械４０Ｂの位置を溝８０Ｂの位置付近に移動させる準備制御が行われる。これにより、予め作動機構４４０Ｂの位置を溝８０Ｂの基端側に位置させることができる。（なお、溝８０Ｂにおける第２作業機械４０Ｂに近い側の一端を基端側という。）
　これにより、オペレータは、遠隔操作の対象が第1作業機械４０Ａから第２作業機械４０Ｂに切り替わった後、すぐに、溝８０Ｂの基端側について、作動機構４４０Ｂ（バケット４４５Ｂ）を用いて掘削することができる。
　また、この場合、上部旋回体４６０Ｂを下部走行体４５０Ｂに対して旋回させて、作動機構４４０Ｂが、確実に溝８０Ｂが存在する方向へ向けられる制御を実行してもよい。
　作業機械４０は、作業の準備が終了すると、実機無線通信機器４２２を通じて、遠隔操作支援サーバ１０に、作業の準備が完了したことをオペレータに報知するための信号を含む信号である準備終了信号を送信する（図５／ＳＴＥＰ４１３）。
　遠隔操作支援サーバ１０において、第１支援処理要素１０１は、準備終了信号を受信すると（図５／ＳＴＥＰ１１５‥ＹＥＳ）、準備終了信号を遠隔操作装置２０へ送信する（図５／ＳＴＥＰ１１６）。その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ１１５‥ＮＯ）、第１支援処理要素１０１は、ＳＴＥＰ１１５の判定処理を繰り返す。
　遠隔操作装置２０において、遠隔制御装置２００は、準備終了信号を受信すると（図５／ＳＴＥＰ２１３‥ＹＥＳ）、作業機械４０が行う作業の準備が完了したことに関する情報をオペレータに報知するための制御である報知制御を行う（図５／ＳＴＥＰ２１４）。例えば、遠隔制御装置２００は、報知制御として、「作業機械４０の準備が終了しました。」というテキストメッセージを画像出力装置２２１に表示するための制御処理を実行する。勿論、画像出力装置２２１に表示されるテキストメッセージの例は、この例に限られない。
　報知制御の例として、テキストメッセージが画像出力装置２２１に表示される例を示したが、報知制御の例は、この例に限られない。例えば、他の報知制御の例として、画像出力装置２２１が備えるスピーカーから、「作業機械４０の準備が終了しました。」という音声メッセージを流す例が挙げられる。勿論、画像出力装置２２１が備えるスピーカーから流される音声メッセージの例は、この例に限られない。
　その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ２１３‥ＮＯ）、ＳＴＥＰ２１３の判定処理が繰り返される。
　図６に示されているフローチャートを用いて、本実施形態の第２支援処理について説明する。第２支援処理は、オペレータが遠隔操作機構２１１を用いて作業機械４０を実際に遠隔操作することを支援するための処理である。
　遠隔操作装置２０において、遠隔制御装置２００は、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無を判定する（図６／ＳＴＥＰ２２１）。「第２指定操作」は、例えば、画像出力装置２２１において、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップ、プッシュ、ピンチ、スワイプなどの操作である。当該判定結果が否定的である場合（図６／ＳＴＥＰ２２１‥ＮＯ）、遠隔制御装置２００は、指定操作の有無の判定以降の処理を繰り返す。その一方、当該判定結果が肯定的である場合（図６／ＳＴＥＰ２２１‥ＹＥＳ）、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求を送信する（図６／ＳＴＥＰ２２２）。
　遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第２支援処理要素１０２は、当該環境確認要求を該当する作業機械４０に対して送信する（図６／Ｃ１０）。
　作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図６／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図６／ＳＴＥＰ４２１）。実機制御装置４００は、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データを遠隔操作支援サーバ１０に対して送信する（図６／ＳＴＥＰ４２２）。
　遠隔操作支援サーバ１０において、第２支援処理要素１０２が撮像画像データを受信した場合（図６／Ｃ１１）、第２支援処理要素１０２は、撮像画像データを遠隔操作装置２０に対して送信する（図６／ＳＴＥＰ１２１）。第２支援処理要素１０２は、撮像画像データに代えて、撮像画像に基づいて生成された模擬的な環境画像を表わす環境画像データを遠隔操作装置２０に対して送信してもよい。この際、第２支援処理要素１０２は、撮像画像データを、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２に分割表示するための指令を遠隔操作装置２０に対して送信してもよい。
　遠隔操作装置２０において、遠隔制御装置２００が、遠隔無線通信機器２２２を通じて撮像画像データを受信した場合（図６／Ｃ２１）、遠隔制御装置２００により、撮像画像データに応じた撮像画像の、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２における分割表示態様が制御される（図６／ＳＴＥＰ２２３）。
　遠隔操作装置２０において、遠隔制御装置２００は、遠隔操作機構２１１の操作態様を認識し（図６／ＳＴＥＰ２２４）、かつ、遠隔制御装置２００は、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令を遠隔操作支援サーバ１０に対して送信する（図６／ＳＴＥＰ２２５）。
　遠隔操作支援サーバ１０において、第２支援処理要素１０２が当該遠隔操作指令を受信した場合、第２支援処理要素１０２は、当該遠隔操作指令を作業機械４０に対して送信する（図６／Ｃ１２）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図６／Ｃ４２）、作動機構４４０、等の動作が制御される（図６／ＳＴＥＰ４２３）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４６０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　（本発明の他の実施形態）
　前記実施形態において、第１支援処理要素１０１がスケジュール情報（例えば、作業の開始時刻に関する情報）に基づいて、作業機械４０に対して準備信号を送信する例を説明したが、そのような例に限定されない。例えば、第１支援処理要素１０１が、第２作業機械４０Ｂと、連携作業機械５０と、の距離に関する情報を取得して、第１支援処理要素１０１が、準備信号を第２作業機械４０Ｂに送信する例が挙げられる。
　当該他の実施形態について、図２および図７を用いて説明する。なお、前記実施形態と同一である処理フローについては、前記実施形態と同一のＳＴＥＰ番号を付し、適宜説明を省略する。
　図２に示したように、データベース１１０は、作業機械４０の稼働スケジュールとして、１３時以降において第１作業機械４０Ａにより行う第１作業（法面形成作業）と第２作業機械４０Ｂにより行う第２作業（例えば、オペレータが第１作業を中断して、随時行う溝掘削作業）とを記憶保持している。
　遠隔操作装置２０において、第１作業が実行されているか否かが判定される（図７／ＳＴＥＰ２３１）。第１作業が実行されている例としては、現在の時刻が所定の時刻（１３時～１８時）であって遠隔操作装置２０により第１作業機械４０Ａの遠隔操作が可能な通信が確立していることが挙げられる。当該判定結果が否定的である場合（図７／ＳＴＥＰ２３１‥ＮＯ）、処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２３１‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して準備要求が送信される（図５／ＳＴＥＰ２１２）。
　遠隔操作支援サーバ１０において、準備要求が受信された場合（図７／ＳＴＥＰ１２１‥ＹＥＳ）、第１支援処理要素１０１は、第２作業機械４０Ｂに対して、当該第２作業機械４０Ｂと連携作業機械５０との距離に関する情報を要求する（図７／ＳＴＥＰ１１７）。その一方、当該判定結果が否定的である場合（図７／ＳＴＥＰ１２１‥ＮＯ）、ＳＴＥＰ１２１の判定処理が繰り返される。
　第２作業機械４０Ｂにおいて、距離情報の要求が受信された場合（図７／ＳＴＥＰ４１４‥ＹＥＳ）、実機制御装置４００は、当該第２作業機械４０Ｂと、連携作業機械５０と、の距離に関する情報（以下、適宜、距離情報などという。）を取得する。その一方、当該判定結果が否定的である場合（図７／ＳＴＥＰ４１４‥ＮＯ）、当該判定処理が繰り返される。
　ここで、距離情報については、連携測位装置４１６（例えば、実機撮像装置４１２等のカメラやセンサ）が、第２作業機械４０Ｂと、連携作業機械５０と、の距離を測ることで、実機制御装置４００が距離情報を取得する（図７／ＳＴＥＰ４１５）。
　また、距離情報が、連携測位装置４１６（実機撮像装置４１２等のカメラやセンサ）を用いて取得される例を示したが、距離情報が、取得される例は、この例に限られない。例えば、第２作業機械４０Ｂが存在する作業現場にカメラやセンサが配置されている場合には、第１支援処理要素１０１が、当該カメラおよび当該センサまたはこれらのうちの一方を使用して、作業機械４０および連携作業機械５０の位置を特定し、第２作業機械４０Ｂが存在する座標と、連携作業機械５０が存在する座標と、の距離を演算することにより、距離情報を取得するができる。
　また、連携作業機械５０に当該連携作業機械５０の位置を検出する測位装置（例えば、ＧＮＳＳ受信機）が搭載されている場合には、第１支援処理要素１０１は、実機測位装置４１４が測位した第２作業機械４０Ｂの位置情報と、当該連携作業機械５０が有する測位装置が測位した連携作業機械５０の位置情報と、に基づいて、第２作業機械４０Ｂが存在する座標と、連携作業機械５０が存在する座標と、の距離を演算することにより、距離情報を取得する例が挙げられる。
　第２作業機械４０Ｂの位置情報については、実機測位装置４１４（例えば、ＧＮＳＳ受信機）が、第２作業機械４０Ｂの座標位置（例えば、ＧＮＳＳにおける世界座標の位置）に関する情報を取得する。そして、実機制御装置４００が、当該座標位置に関する情報を、実機無線通信機器４２２を通じて、遠隔操作支援サーバ１０に対して送信する。これにより、遠隔操作支援サーバ１０は、第２作業機械４０Ｂの位置情報を取得する。
　また、第２作業機械４０Ｂの座標位置に関する情報が、ＧＮＳＳにおける世界座標の位置を用いて取得される例を示したが、遠隔操作支援サーバ１０が、第２作業機械４０Ｂの座標位置に関する情報を取得する例は、この例に限られない。例えば、遠隔操作支援サーバ１０が、第２作業機械４０Ｂの位置情報を取得する他の例として、データベース１１０が、予め第２作業機械４０Ｂの作業現場に関するローカル座標を記憶保持しておき、実機測位装置４１４が、当該ローカル座標において、第２作業機械４０Ｂがどの座標に位置するかを測位する例が挙げられる。
　一方、連携作業機械５０の位置情報については、連携測位装置４１６が、連携作業機械５０の座標位置（例えば、ＧＮＳＳにおける世界座標の位置）に関する情報を取得する。そして、連携制御装置が、当該座標位置に関する情報を、連携無線通信機器を通じて、遠隔操作支援サーバ１０に対して送信する。これにより、遠隔操作支援サーバ１０は、連携作業機械５０の位置情報を取得する。
　また、連携作業機械５０の座標位置に関する情報が、ＧＮＳＳにおける世界座標の位置を用いて取得される例を示したが、遠隔操作支援サーバ１０が、連携作業機械５０の座標位置に関する情報を取得する例は、この例に限られない。例えば、遠隔操作支援サーバ１０が、連携作業機械５０の位置情報を取得する他の例として、データベース１１０が、予め連携作業機械５０の作業現場に関するローカル座標を記憶保持しておき、連携作業機械５０が有する測位装置が、当該ローカル座標において、連携作業機械５０がどの座標に位置するかを測位する例が挙げられる。
　上述のように、第１支援処理要素１０１が、第２作業機械４０Ｂの存在する座標と、上述のようにして取得した連携作業機械５０の存在する座標と、を照らし合わせて、両座標の距離を演算することで、距離情報が取得してもよい。
　作業機械４０において、距離情報が取得されると、実機制御装置４００は、実機無線通信機器４２２を通じて距離情報を遠隔操作支援サーバ１０に送信する（図７／ＳＴＥＰ４１６）。
　遠隔操作支援サーバ１０において、第１支援処理要素１０１が距離情報を取得すると（図７／ＳＴＥＰ１１８‥ＹＥＳ）、第１支援処理要素１０１は、連携作業機械５０が基準エリアに入ったか否かを判定する（図７／ＳＴＥＰ１１９）。その一方、ＳＴＥＰ１１８の判定結果が否定的である場合（図７／ＳＴＥＰ１１８‥ＮＯ）、当該判定以前の処理が繰り返される。
　ＳＴＥＰ１１９において、第１支援処理要素１０１は、データベース１１０からスケジュール情報を読み出して、第１作業機械４０Ａによる第１作業の開始時刻から終了時刻までの時間に、第２作業機械４０Ｂと連携して作業を行う作業機械である連携作業機械５０が、第２作業機械４０Ｂが存在する位置を基準として定まる基準エリアＡＲの外から内へ移動したか否かを判定する。
　例えば、図８Ａに示すように、第２作業機械４０Ｂが溝掘削作業を行う場合において、連携作業機械５０が基準エリアＡＲの外に位置する場合（図７／ＳＴＥＰ１１９‥ＮＯ）、第１支援処理要素１０１は、当該判定処理を繰り返す。
　また、この場合、図８Ｂに示すように、第１支援処理要素１０１は、第２作業機械４０Ｂが備える実機撮像装置４１２が撮像した作業現場の環境画像を、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２に分割表示するための指令を遠隔操作装置２０に対して送信してもよい。この場合、第２作業機械４０Ｂは、準備制御（旋回）をしていないので、第２作業機械４０Ｂにおける作業対象エリア８０の一部（例えば、砂山８０Ｃ）は撮影されない。
　他方、図９Ａに示すように、第２作業機械４０Ｂが積込作業を行う場合において、連携作業機械５０が基準エリアＡＲの外から内へ移動した場合（図７／ＳＴＥＰ１１９‥ＹＥＳ）、第１支援処理要素１０１は、第２作業機械４０Ｂに対して準備信号（例えば、作業対象エリア８０（例えば、溝８０Ｂ）を掘削すべく下部走行体４５０を駆動させて第２作業機械４０Ｂを後退させたり、溝８０Ｂの掘削を予定している方向へ作動機構４４０を向けるように、上部旋回体４６０を旋回させたりするための指令信号）を送信する（図７／ＳＴＥＰ１２４）。
　第２作業機械４０Ｂにおいて、実機制御装置４００が準備信号を受信すると（図７／ＳＴＥＰ４３１‥ＹＥＳ）、図９Ｂに示すように、第２作業機械４０Ｂにおいて、準備制御（図７／ＳＴＥＰ４３２）が開始され、第２作業機械４０Ｂは、下部走行体４５０を駆動させて第２作業機械４０Ｂを後退させたり、溝８０Ｂの掘削を予定している方向へ作動機構４４０を向けるように、上部旋回体４６０を旋回させたりする。
　また、この場合、図９Ｂに示すように、第１支援処理要素１０１は、第２作業機械４０Ｂが備える実機撮像装置４１２が撮像した作業現場の環境画像を、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２に分割表示するための指令を遠隔操作装置２０に対して送信してもよい。この場合、第２作業機械４０Ｂは、準備制御（旋回）をしているので、溝８０Ｂが撮影され、当該溝８０Ｂが、中央画像出力装置２２１０に表示される。また、連携作業機械５０が左側画像出力装置２２１１に表示される。
　作業機械４０は、作業の準備が終了すると、実機無線通信機器４２２を通じて、遠隔操作支援サーバ１０に、作業の準備が完了したことをオペレータに報知するための信号を含む信号である準備終了信号を送信する（図７／ＳＴＥＰ４３３）。
　遠隔操作支援サーバ１０において、第１支援処理要素１０１は、準備終了信号を受信すると（図７／ＳＴＥＰ１２５‥ＹＥＳ）、準備終了信号を遠隔操作装置２０へ送信する。その一方、当該判定結果が否定的である場合（図７／ＳＴＥＰ１２５‥ＮＯ）、ＳＴＥＰ１２５の判定処理が繰り返される。
　遠隔操作装置２０において、遠隔制御装置２００は、準備終了信号を受信すると（図７／ＳＴＥＰ２３３‥ＹＥＳ）、作業機械４０が行う作業の準備が終了したことに関する情報をオペレータに報知するための制御である準備終了表示制御を行う（図７／ＳＴＥＰ２３４）。その一方、当該判定結果が否定的である場合（図７／ＳＴＥＰ２３３‥ＮＯ）、ＳＴＥＰ２３３の判定処理が繰り返される。
　このようなケースにも、本発明にかかる遠隔操作支援装置１００および遠隔操作支援システムを適用することができる。遠隔操作装置２０において、報知制御（図５／ＳＴＥＰ２１４）が行われることにより、オペレータが第１作業機械４０Ａを使用して行う第１作業を中断して、第２作業機械４０Ｂを使用して行う第２作業に取り掛かることができる。図９Ｂに示すように、報知制御（図５／ＳＴＥＰ２１４）が行われた場合に連携作業機械５０が左側画像出力装置２２１１に表示されるため、オペレータは第２作業機械４０Ｂを使用して行う第２作業に取り掛かるタイミングであることを確実に確認することができる。
　また、第２作業機械４０Ｂを使用して行う第２作業（作動機構４４０を使用して溝８０Ｂを掘削し、掘削した土砂を連携作業機械５０に積込する動作）の完了後に、オペレータが第１作業機械４０Ａを使用して行う第１作業に戻ると、遠隔操作装置２０において、再び第１作業が実行されているか否かが判定される（図７／ＳＴＥＰ２３１）。このように、データベース１１０は、作業機械４０の稼働スケジュールとして、１３時以降において第１作業機械４０Ａを使用して行う第１作業（法面形成作業）と第２作業機械４０Ｂを使用して行う第２作業（例えば、オペレータが第1作業を中断して、随時行う積込作業）とを行うことができる。
　しかも、連携作業機械５０が基準エリアＡＲの外から内へ移動するまでの間は、第１支援処理要素１０１が第２作業機械４０Ｂに対して準備信号を送信しないので、第１作業機械４０Ａを使用して行う第１作業を途中の任意のタイミングで中断し第２作業機械４０Ｂを使用して第２作業以外の作業をする場合には、第２作業機械４０Ｂは前回第２作業を中断したときの位置や姿勢が保たれているので、オペレータは違和感なく操作をすることができる。連携作業機械５０が基準エリアＡＲの外から内へ移動した後には、第１支援処理要素１０１が第２作業機械４０Ｂに対して準備信号を送信することにより第２作業機械４０Ｂを準備姿勢とすることで、オペレータは第２作業機械４０Ｂを使用して行う第２作業にスムーズに取りかかることができる。
　前記実施形態において、第１支援処理要素が準備制御を行う例として、連携作業機械５０が、基準エリアＡＲの外から内へ移動したか否かを判定し、当該判定が肯定的な場合、準備信号を第２作業機械４０Ｂに送信する例を示したが、第１支援処理要素が準備制御を行う例は、この例に限られない。第１支援処理要素が準備制御を行う例の他の例として、第１支援処理要素が、基準エリアＡＲが、第１基準エリアＡＲ１と、第１基準エリアＡＲ１よりも外側に設定された第２基準エリアＡＲ２と、を含んでおり、連携作業機械５０が第２基準エリアＡＲ２から第１基準エリアＡＲ１に進入したか否かを判定し、当該判定が肯定的な場合に、準備信号とは異なる信号である目標準備信号を送信する制御を行う例が挙げられる。
　例えば、図１０に示すように、第２作業機械４０Ｂが溝８０Ｂの掘削及び掘削した土砂の積込作業を行う場合において、連携作業機械５０が、第２基準エリアＡＲ２のエリア内に位置する場合、第２作業機械４０Ｂは、下部走行体４５０を駆動させて第２作業機械４０Ｂを後退させたり、作業対象エリア８０（例えば、溝８０Ｂ、砂山８０Ｃ）が位置する方向へ作動機構４４０を向けるように、上部旋回体４６０を旋回させたりする。
　そして、図１１に示すように、連携作業機械５０が第２基準エリアＡＲ２から第１基準エリアＡＲ１に進入した場合、第１支援処理要素は、第２作業機械４０Ｂに対して、目標準備信号を送信する。
　例えば、目標準備信号とは、ブーム４４１、アーム４４３、バケット４４５を伸ばして溝８０Ｂの掘削を予定している位置にバケット４４５を接地させるための制御信号である。
　これにより、図１１に示すように、第２作業機械４０Ｂは、作動機構４４０を溝８０Ｂの掘削を予定している位置に向けて待機することで、オペレータは、素早く積込作業に取り掛かることができる。従って、オペレータは、予め準備をしていない第２作業機械４０Ｂを操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　このようなケースにも、本発明にかかる遠隔操作支援装置１００および遠隔操作支援システムを適用することができる。
　前記実施形態において、基準エリアＡＲが、第２作業機械４０Ｂが存在する位置を基準として円形に定まる例を示したが、基準エリア定め方はこの例に限定されない。
　例えば、図１２に示すように、基準エリアＡＲの定め方の他の例として、基準エリアＡＲは、第２作業機械４０Ｂが存在する位置から連携作業機械５０が第２作業機械４０Ｂと連携作業をするために出入りする作業現場の出入口に向けて偏心して広がる形状になるように設定される例が挙げられる。
　かかる構成によれば、基準エリアＡＲは、作業現場の出入口に向けて偏心して広がる形状をしているので、作業現場において、連携作業機械５０が入ってくる可能性が一番高い部分である出入口を確実に基準エリアに含み、且つ、それ以外の部分については基準エリアＡＲが狭くなるように設定されるので、合理的な基準エリアＡＲを設定することができる。これにより、準備制御とは関係ない作業機械４０を連携作業機械５０と誤認する確率を減らせるので、誤認により第２作業機械４０Ｂの準備制御が開始される確率を減らすことができ、作業効率を上げることができる。
　前記実施形態において、連携作業機械５０が、基準エリアＡＲの外から内へと移動した場合に、第１支援処理要素１０１が、作業機械４０に準備信号を送信する例を示したが、第１支援処理要素１０１が作業機械４０に準備信号を送信する例は、この例に限定されない。
　例えば、第１支援処理要素１０１が作業機械４０に準備信号を送信する他の例として、図１３に示すように、連携作業機械５０が、基準エリアＡＲの内から外へと移動した場合に、第１支援処理要素１０１が、第２作業機械４０Ｂに準備信号を送信する例が挙げられる。
　かかる構成によれば、第１支援処理要素１０１は、連携作業機械５０が、基準エリアＡＲの内から外へと移動した場合に、第１支援処理要素１０１が、作業機械４０Ｂに準備信号を送信する。これにより、連携作業機械５０が荷台に積み込まれた土砂を運搬するために発進した後、作業機械４０Ｂは、再び掘削作業をするために、溝８０Ｂの方へ作動機構４４０を向けるように上部旋回体４６０を旋回させて待機することができる。従って、オペレータは、予め準備をしていない第２作業機械４０Ｂを操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　このようなケースにも、本発明にかかる遠隔操作支援装置１００および遠隔操作支援システムを適用することができる。
　前記実施形態において、第１支援処理要素１０１が、第２作業機械４０Ｂと、連携作業機械５０と、の距離に応じて、準備信号を第２作業機械４０Ｂに対して送信する例を示したが、第１支援処理要素１０１が、準備信号を送信する例は、この例に限られない。
　例えば、第１支援処理要素１０１が、第１作業機械４０Ａと、連携作業機械５０と、の距離に応じて、準備信号を第１作業機械４０Ａに対して送信する例が挙げられる。
　このようなケースにも、本発明にかかる遠隔操作支援装置１００および遠隔操作支援システムを適用することができる。
　前記実施形態において、第２作業機械４０Ｂを使用して行う第２作業として溝８０Ｂを掘削し掘削した土砂を連携作業機械５０に積込む作業を示したが、第２作業の例は、この例に限られない。
　例えば、第２作業として、連携作業機械５０の荷台に搭載されてきた運搬物を積み下ろしする作業の例が挙げられる。運搬物は、例えば土砂であり、バケットを使用して掬われることにより積み下ろしされる。
　また、運搬物は、構造物（例えば、鉄筋）でもよい。例えば、鉄筋は、作動機構４４０の一例であるグラップルを用いて把持されることにより積み下ろしされる。
　このようなケースにも、本発明にかかる遠隔操作支援装置１００および遠隔操作支援システムを適用することができる。
　前記実施形態において、連携作業機械５０の荷台に搭載されてきた運搬物の例が、構造物である例を示したが、連携作業機械５０の荷台に搭載されてきた運搬物の例は、この例に限られない。
　例えば、連携作業機械５０の荷台に搭載されてきた運搬物が、木材である例が挙げられる。例えば、この場合、連携作業機械５０の荷台に搭載されてきた木材は、作動機構４４０の一例であるグラップルを使用して把持されつつ運搬されることにより、連携作業機械５０の荷台から積み下ろしされる。
　このようなケースにも、本発明にかかる遠隔操作支援装置１００および遠隔操作支援システムを適用することができる。
　また、本発明においては、前記第１支援処理要素は、現在の時刻が、前記作業機械が行う作業の開始時刻よりも前の時刻である場合に前記準備条件が満たされると前記判定をすることが好ましい。
　（作用効果）
　かかる構成によれば、第１支援処理要素は、時刻を含むスケジュール情報に基づいて、準備条件が満たされるか否かについて判定を行うので、オペレータが作業を開始する時刻には、すでに作業機械は、作業に適した位置に移動していたり、作業に適した姿勢になったりしている。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　また、本発明においては、第１支援処理要素は、データベースに記憶されている第１作業の開始時刻から終了時刻までの時間に、前記データベースに記憶されている第２作業の開始時刻が含まれる場合に前記準備条件が満たされると前記判定をすることが好ましい。
　（作用効果）
　かかる構成によれば、データベースには、少なくとも、第1作業機械を遠隔操作して行う作業である第1作業の内容と、当該第1作業の開始時刻と、第２作業機械を遠隔操作して行う作業である第２作業の内容と、当該第２作業の開始時刻と、を含むスケジュール情報が記憶されている。当該スケジュール情報に基づいて、第１支援処理要素は、データベースに記憶されている第２作業を行うことが予定されている時間帯が、前記データベースに記憶されている第１作業を行うことが予定されている時間帯に含まれている場合に準備条件が満たされると判定する。これにより、オペレータが第１作業機械を用いて第１作業をしている途中に、第２作業機械を用いて第２作業をすることが必要になった場合においても、第２作業機械は、第２作業開始時刻までに、予め第２作業に適した位置に移動したり、予め第２作業に適した姿勢になったりするための制御が開始されている。従って、オペレータは、予め準備をしていない第２作業機械を操作して作業を行う場合と比較してすぐに第２作業に取り掛かることができるので、第２作業の作業効率を上げることができる。
　また、本発明においては、第１支援処理要素は、前記作業機械の下部走行体を駆動させるための信号を含む信号である準備信号を前記作業機械に送信することが好ましい。
　（作用効果）
　かかる構成によれば、準備条件が満たされる場合、第１支援処理要素は、下部走行体を駆動させるための準備信号を前記作業機械に送信するので、作業機械は、予め作業に適した位置に走行して移動することができる。これにより、遠隔操作の対象となる作業機械は、予め作業に適した位置に移動している。従って、オペレータは、予め移動をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　また、本発明においては、前記作業機械の上部旋回体を旋回させるための信号を含む信号である準備信号を前記作業機械に送信することが好ましい。
　（作用効果）
　かかる構成によれば、準備条件が満たされる場合、第１支援処理要素は、上部旋回体を旋回させるための準備信号を前記作業機械に送信するので、作業機械は、予め作業に適した方向を向いて待機することができる。これにより、遠隔操作の対象となる作業機械は、予め作業に適した方向を向いて待機している。従って、オペレータは、予め旋回をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　また、本発明においては、前記第１支援処理要素は、前記作業機械の作動機構を作動させるための信号を含む信号である準備信号を前記作業機械に送信することが好ましい。
　（作用効果）
　かかる構成によれば、準備条件が満たされる場合、第１支援処理要素は、作動機構を作動させるための準備信号を前記作業機械に送信するので、作業機械は、予め作業に適した姿勢となるように作動機構を作動させて待機することができる。これにより、遠隔操作の対象となる作業機械は、予め作業に適した姿勢となって待機している。例えば、より安全な姿勢で待機させたいのであれば、バケットを接地させる姿勢で待機するように準備信号を送信すればよい。また、例えば、より素早く作業に取り掛かりたいのであれば、バケットを上げる姿勢で待機するように準備信号を送信すればよい。従って、オペレータは、予め作業に適した姿勢となっていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　また、本発明においては、前記第１支援処理要素は、オペレータが前記第1作業機械の遠隔操作を中断して、随時遠隔操作の対象とする第２作業機械と連携して作業を行う機械である連携作業機械が、前記第２作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をすることが好ましい。
　（作用効果）
　かかる構成によれば、第１支援処理要素は、連携作業機械が、基準エリアの外から内へ移動した場合に準備条件を満たすと判定するので、作業を行うことが予定されている時間帯以外に連携作業機械が第２作業機械に近づいてきた場合であっても、第２作業機械は、予め連携作業に適した位置に移動したり、予め連携作業に適した姿勢になったりするための制御が開始されている。従って、オペレータは、予め準備をしていない第２作業機械を操作して第２作業を行う場合と比較してすぐに第２作業に取り掛かることができるので、作業効率を上げることができる。
　また、本発明においては、前記第１支援処理要素は、第１作業の開始時刻から終了時刻までの時間に、前記第２作業機械と連携して作業を行う機械である連携作業機械が、前記第２作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をすることが好ましい。
　（作用効果）
　かかる構成によれば、前記第１支援処理要素は、前記第１作業の開始時刻から終了時刻までの時間に、連携作業機械が、前記第２作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと判定する。これにより、オペレータが第１作業を行っている最中に、連携作業機械が、第２作業機械に近づいてきた場合であっても、オペレータが第1作業を続ける一方で、第２作業機械は、予め第２作業に適した位置に移動したり、予め第２作業に適した姿勢になったりしている。従って、オペレータは第２作業に取り掛かる時点の直前まで第１作業を続けることができる。よって、オペレータは、第２作業に取り掛かる時点の直前まで第１作業を続けてから、準備が整った第２作業機械に操作を切り替えて、第２作業に取り掛かることができるので、オペレータは、作業効率を上げることができる。
　これにより、第２作業機械は、第２作業機械開始時点までに第２作業に適した位置に移動することが間に合わない場合であっても、少しでも第２作業に適した位置に移動することができる。また、第２作業機械は、第２作業機械開始時点まで第２作業に適した準備姿勢となるのが間に合わない場合であっても、少しでも第２作業に適した姿勢になることができる。従って、オペレータは、まったく準備をしていない第２作業機械を操作して第２作業を行う場合と比較して、少しだけ早く第２作業に取り掛かることができるので、いくらか作業効率を上げることができる。
　また、本発明においては、前記基準エリアは、前記第２作業機械が存在する位置から前記連携作業機械が前記第２作業機械と連携作業をするために出入りする作業現場の出入口に向けて偏心して広がる形状になるように設定されることが好ましい。
　（作用効果）
　かかる構成によれば、前記基準エリアは、作業現場の出入口に向けて偏心して広がる形状をしているので、作業現場において、連携作業機械が入ってくる可能性が一番高い部分である出入口を確実に基準エリアに含み、且つ、それ以外の部分については基準エリアが狭くなるように設定されるので、合理的な基準エリアを設定することができる。これにより、関係ない作業機械を連携作業機械と誤認する確率を減らせるので、誤認により第２作業機械の準備制御が開始される確率を減らすことができ、作業効率を上げることができる。
　また、本発明においては、前記遠隔操作支援装置は、第２支援処理要素を有し、前記第２支援処理要素は、前記作業機械を遠隔操作するために操作された遠隔操作機構の操作態様を認識し、当該操作態様に応じた遠隔操作指令を送信するための処理を実行することが好ましい。
　（作用効果）
　かかる構成によれば、作業機械は、遠隔操作機構の操作態様に応じた遠隔操作がなされる。これにより、オペレータは、第２支援処理要素の第２支援処理により準備が整った作業機械を実際に遠隔操作することができる。従って、オペレータは、予め準備をしていない作業機械を操作して作業を行う場合と比較してすぐに作業に取り掛かることができるので、作業効率を上げることができる。
　１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４０Ａ‥第１作業機械、４０Ｂ‥第２作業機械、５０‥連携作業機械、１００‥遠隔操作支援装置、１０１‥第１支援処理要素、１０２‥第２支援処理要素、１１０‥データベース、１２２‥サーバ無線通信機器、４５０‥下部走行体、４６０‥上部旋回体、４４０‥作動機構、ＡＲ‥基準エリア、２１１‥遠隔操作機構。

Claims (11)

  1. 　オペレータによる遠隔操作の対象となる第１作業機械に当該作業機械が行う作業の準備を開始させる制御を実行するために用いられる遠隔操作支援装置であって、
    　前記遠隔操作支援装置は、第１支援処理要素を有し、
    　前記第１支援処理要素は、前記第１作業機械が行う作業である第１作業の内容を含む情報であるスケジュール情報を当該スケジュール情報が記憶されているデータベースから取得し、当該スケジュール情報に基づいて、前記第１作業の準備を当該第１作業機械に開始させるための条件である準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、前記第１作業の準備を開始させるための制御信号である準備信号を前記第１作業機械に送信するための処理である第１支援処理を実行する、
    　ことを特徴とする遠隔操作支援装置。
  2. 　請求項１に記載の遠隔操作支援装置であって、
    　前記第１支援処理要素は、現在の時刻が前記第１作業の開始時刻よりも前の時刻である場合に前記準備条件が満たされると前記判定をする、
    　ことを特徴とする遠隔操作支援装置。
  3. 　請求項１又は請求項２に記載の遠隔操作支援装置であって、
    　前記第１支援処理要素は、前記データベースに記憶されている第１作業の開始時刻から終了時刻までの時間に、前記データベースに記憶されている第２作業の開始時刻が含まれる場合に前記準備条件が満たされると前記判定をする、
    　ことを特徴とする遠隔操作支援装置。
  4. 　請求項１から請求項３の何れか１項に記載の遠隔操作支援装置であって、
    　前記第１支援処理要素は、前記第１作業機械の下部走行体を駆動させるための信号を含む信号である準備信号を前記作業機械に送信する、
    　ことを特徴とする遠隔操作支援装置。
  5. 　請求項１から請求項４の何れか１項に記載の遠隔操作支援装置であって、
    　前記第１支援処理要素は、前記第１作業機械の上部旋回体を旋回させるための信号を含む信号である準備信号を前記作業機械に送信する、
    ことを特徴とする遠隔操作支援装置。
  6. 　請求項１から請求項５の何れか１項に記載の遠隔操作支援装置であって、
    　前記第１支援処理要素は、前記第１作業機械の作動機構を作動させるための信号を含む信号である準備信号を前記第１作業機械に送信する、
    ことを特徴とする遠隔操作支援装置。
  7. 　請求項１に記載の遠隔操作支援装置であって、
    　前記第１支援処理要素は、前記オペレータが前記第１作業機械の遠隔操作を中断して、随時遠隔操作の対象とする第２作業機械と連携して作業を行う機械である連携作業機械が、前記第２作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をする、
    　ことを特徴とする遠隔操作支援装置。
  8. 　請求項７に記載の遠隔操作支援装置であって、
    　前記第１支援処理要素は、第１作業の開始時刻から終了時刻までの時間に、前記第２作業機械と連携して作業を行う機械である連携作業機械が、前記第２作業機械が存在する位置を基準として定まる基準エリアの外から内へ移動した場合に前記準備条件を満たすと前記判定をする、
    　ことを特徴とする遠隔操作支援装置。
  9. 　請求項７又は請求項８に記載の遠隔操作支援装置であって、
    　前記基準エリアは、前記第２作業機械が存在する位置から前記連携作業機械が前記第２作業機械と連携作業をするために出入りする作業現場の出入口に向けて偏心して広がる形状になるように設定される、
    　ことを特徴とする遠隔操作支援装置。
  10. 　請求項１から請求項９の何れか１項に記載の遠隔操作支援装置であって、
    　第２支援処理要素を有し、
    　前記第２支援処理要素は、前記作業機械を遠隔操作するために操作された遠隔操作機構の操作態様を認識し、当該操作態様に応じた遠隔操作指令を送信するための処理を実行する
    　ことを特徴とする遠隔操作支援装置。
  11. 　オペレータによる遠隔操作の対象となる第１作業機械に当該作業機械が行う作業の準備を開始させる制御を実行するために用いられる遠隔操作支援方法であって、
    前記第１作業機械が行う作業である第１作業の内容を含む情報であるスケジュール情報を当該スケジュール情報が記憶されているデータベースから取得し、当該スケジュール情報に基づいて、前記第１作業の準備を当該第１作業機械に開始させるための条件である準備条件が満たされるか否かについて判定を行い、当該判定が肯定的な場合、前記第１作業の準備を開始させるための制御信号である準備信号を前記第１作業機械に送信するための処理である第１支援処理工程を含む、
    遠隔操作支援方法。
PCT/JP2021/017099 2020-06-18 2021-04-28 遠隔操作支援装置および遠隔操作支援方法 WO2021256104A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21825744.2A EP4142302A4 (en) 2020-06-18 2021-04-28 DEVICE FOR SUPPORTING A REMOTE CONTROL AND METHOD FOR SUPPORTING A REMOTE CONTROL
CN202180042645.XA CN115699796A (zh) 2020-06-18 2021-04-28 远程操作辅助装置及远程操作辅助方法
US18/007,810 US20230272596A1 (en) 2020-06-18 2021-04-28 Remote operation assistance device and remote operation assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-105538 2020-06-18
JP2020105538A JP2021197714A (ja) 2020-06-18 2020-06-18 遠隔操作支援装置および遠隔操作支援システム

Publications (1)

Publication Number Publication Date
WO2021256104A1 true WO2021256104A1 (ja) 2021-12-23

Family

ID=79196105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017099 WO2021256104A1 (ja) 2020-06-18 2021-04-28 遠隔操作支援装置および遠隔操作支援方法

Country Status (5)

Country Link
US (1) US20230272596A1 (ja)
EP (1) EP4142302A4 (ja)
JP (1) JP2021197714A (ja)
CN (1) CN115699796A (ja)
WO (1) WO2021256104A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005307483A (ja) * 2004-04-19 2005-11-04 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP2015192163A (ja) 2014-03-27 2015-11-02 日立建機株式会社 作業機械の遠隔操縦システム
JP2018135679A (ja) * 2017-02-21 2018-08-30 株式会社小松製作所 作業車両および作業車両の制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610122B1 (ko) * 2014-09-16 2016-04-08 현대자동차 주식회사 차량 텔레매틱스 장치의 원격제어 방법 및 그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005307483A (ja) * 2004-04-19 2005-11-04 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP2015192163A (ja) 2014-03-27 2015-11-02 日立建機株式会社 作業機械の遠隔操縦システム
JP2018135679A (ja) * 2017-02-21 2018-08-30 株式会社小松製作所 作業車両および作業車両の制御方法

Also Published As

Publication number Publication date
JP2021197714A (ja) 2021-12-27
EP4142302A1 (en) 2023-03-01
EP4142302A4 (en) 2023-10-04
US20230272596A1 (en) 2023-08-31
CN115699796A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN112639210B (zh) 装载机械的控制装置及控制方法
JP7404414B2 (ja) 作業機械制御装置および制御方法
JP7274831B2 (ja) 作業機械
JP7301875B2 (ja) ショベル、ショベルの制御装置
CN118007731A (zh) 挖土机及挖土机的管理系统
US20210254312A1 (en) Control device and control method for work machine
JPH05297942A (ja) 土工事の自動搬送システム
JP2016079677A (ja) 領域制限掘削制御装置及び建設機械
EP4116041A1 (en) Remote operation assistance device and remote operation assistance method
WO2021256104A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
JP2022171025A (ja) 積込機械の制御装置及び制御方法
CN114829710A (zh) 挖土机、远程操作支援装置
JP7453128B2 (ja) 施工支援システムおよび施工支援方法
JP7310595B2 (ja) 作業支援サーバおよび作業支援システム
EP4368781A2 (en) Work machine and information processing device
EP4060129B1 (en) Remote operation support system and remote operation support method
WO2022064969A1 (ja) 自動積込システム
AU2021223406B2 (en) Work machine and remote operation system for work machine
JP7283283B2 (ja) 作業機械
WO2024106536A1 (ja) 積込機械の制御装置、遠隔制御装置および制御方法
EP4075795A1 (en) Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method
CN112204198B (zh) 作业机械的显示系统及其控制方法
WO2021106279A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825744

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021825744

Country of ref document: EP

Effective date: 20221122

NENP Non-entry into the national phase

Ref country code: DE