WO2021166476A1 - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 Download PDF

Info

Publication number
WO2021166476A1
WO2021166476A1 PCT/JP2021/000400 JP2021000400W WO2021166476A1 WO 2021166476 A1 WO2021166476 A1 WO 2021166476A1 JP 2021000400 W JP2021000400 W JP 2021000400W WO 2021166476 A1 WO2021166476 A1 WO 2021166476A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
index value
end effector
control device
support
Prior art date
Application number
PCT/JP2021/000400
Other languages
English (en)
French (fr)
Inventor
真輝 大谷
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Publication of WO2021166476A1 publication Critical patent/WO2021166476A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to a technique for supporting remote control of a work machine using a remote control device.
  • a display system has been proposed that allows an operator to effectively perceive the perspective of a work site in remote control of a work machine (see, for example, Patent Document 1). According to this display system, a free viewpoint image of the object is displayed based on the image data including the three-dimensional data of the object at the work site and the viewpoint position data of the worker.
  • the operator can recognize the relative position between the end effector such as the bucket of the excavator car and the loading platform of the dump truck in the surrounding area. It can be difficult.
  • an object of the present invention is to provide a technique capable of intuitively recognizing the relative positional relationship between an end effector of a work machine and an object around the end effector of the work machine by an operator who remotely controls the work machine. And.
  • the remote control support server of the present invention To support remote control using a remote control device of a work machine having a lower traveling body, an upper rotating body capable of turning with respect to the lower traveling body, and a movable work attachment of an end effector with respect to the upper rotating body. It is a remote control support server of The first support process that recognizes an index value representing at least one of the distance between the upper swing body and the end effector and the swing angle of the upper swing body with respect to the lower traveling body based on the communication with the work machine. Elements and A second support processing element that outputs an indicator representing the index value recognized by the first support processing element to an output interface constituting the remote control device based on communication with the remote control device. It has.
  • the length of the distance between the end effector of the work machine and the upper swing body and / or the upper swing body with respect to the lower traveling body is passed through the indicator output to the output interface constituting the remote control device.
  • the turning angle of the remote control device can be intuitively recognized by the operator of the remote control device.
  • the operator of the remote control device can intuitively check the length of the distance between the end effector of the work machine and the upper swivel body and / or the time change mode of the swivel angle of the upper swivel body with respect to the lower traveling body. Can be recognized by.
  • Explanatory drawing about the structure of the remote control support system as one Embodiment of this invention.
  • Explanatory drawing about the structure of the remote control device Explanatory drawing about the structure of the work machine.
  • Explanatory drawing about the 2nd function of a remote control support system Explanatory drawing regarding the distance between the end effector of the work machine and the upper swing body.
  • Explanatory drawing about the 1st indicator which represents the 1st index value.
  • Explanatory drawing about the turning angle of the upper turning body with respect to the lower running body of a work machine Explanatory drawing about the 2nd indicator which represents the 2nd index value.
  • Explanatory drawing about the 1st operating environment of a work machine Explanatory drawing about the 1st operating environment of a work machine.
  • Explanatory drawing regarding the first display mode of an environment image and an indicator Explanatory drawing about the 2nd operating environment of a work machine. Explanatory drawing regarding the 2nd display mode of an environment image and an indicator. Explanatory drawing about the 3rd operating environment of a work machine. Explanatory drawing regarding the 3rd display mode of an environment image and an indicator. Explanatory drawing about the 4th operating environment of a work machine. Explanatory drawing regarding the 4th display mode of an environment image and an indicator. Explanatory drawing about the 5th operating environment of a work machine. Explanatory drawing regarding the 5th display mode of an environment image and an indicator. Explanatory drawing about the sixth operating environment of a work machine. Explanatory drawing regarding the sixth display mode of an environment image and an indicator.
  • the remote control support system as an embodiment of the present invention shown in FIG. 1 is composed of a remote control support server 10 and a remote control device 20 (client) for remotely controlling the work machine 40. There is.
  • the remote control support server 10, the remote control device 20, and the work machine 40 are configured to enable network communication with each other.
  • the mutual communication network of the remote control support server 10 and the remote control device 20 and the mutual communication network of the remote control support server 10 and the work machine 40 may be the same or different.
  • the remote control support server 10 includes a database 102, a first support processing element 121, and a second support processing element 122.
  • the database 102 stores and holds captured image data and the like.
  • the database 102 may be configured by a database server separate from the remote control support server 10.
  • Each assistive processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the remote control support server 10 may be configured by the remote control device 20. In this case, the remote control device 200 may include a first support processing element 121 and a second support processing element 122.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
  • the traveling lever may also serve as a traveling pedal.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operation lever (bucket lever) of the bucket operation device is operated to move the end effector cylinder 446 of the work machine 40.
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but in any form that the operator can sit in, such as a low back chair without a headrest or a chair without a backrest. It may be.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the left side operating lever 2111 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. May function as a swivel lever.
  • the right operating lever 2112 provided in front of the right frame of the seat St shown in FIG. 2 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a bucket lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the image output device 221 is a central image output device 2210 having substantially rectangular screens arranged in front of the sheet St, diagonally forward left, and diagonally forward right, respectively, and a left image. It is composed of an output device 2211 and a right image output device 2212.
  • the shapes and sizes of the screens (image display areas) of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be the same or different.
  • the left image output device 2211 so that the screen of the central image output device 2210 and the screen of the left image output device 2211 form an inclination angle ⁇ 1 (for example, 120 ° ⁇ ⁇ 1 ⁇ 150 °).
  • the right edge of is adjacent to the left edge of the central image output device 2210.
  • the right image output device 2212 so that the screen of the central image output device 2210 and the screen of the right image output device 2212 form an inclination angle ⁇ 2 (for example, 120 ° ⁇ ⁇ 2 ⁇ 150 °).
  • the left edge of is adjacent to the right edge of the central image output device 2210.
  • the inclination angles ⁇ 1 and ⁇ 2 may be the same or different.
  • the screens of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be parallel to the vertical direction or inclined with respect to the vertical direction. At least one of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be composed of a plurality of divided image output devices.
  • the central image output device 2210 may be composed of a pair of vertically adjacent image output devices having a substantially rectangular screen.
  • the image output devices 2210 to 2212 may further include a speaker (audio output device).
  • the working machine 40 includes an actual machine control device 400, an actual machine input interface 41, an actual machine output interface 42, and an operating mechanism 440.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler type riff mug (construction machine), and as shown in FIG. 2, the crawler type lower traveling body 410 and the lower traveling body 410 can be swiveled via a swivel mechanism 430. It is equipped with an upper swivel body 420, which is mounted. A cab 424 (driver's cab) is provided on the front left side of the upper swing body 420. A work attachment 440 is provided at the front center portion of the upper swing body 420.
  • the actual machine input interface 41 includes an actual machine operation mechanism 411, an actual machine image pickup device 412, and a state sensor 414.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the actual image pickup device 412 is installed inside, for example, the cab 424, and images an environment including at least a part of the operating mechanism 440 through the front window and the pair of left and right side windows. Some or all of the front and side windows may be omitted.
  • the state sensor 414 includes the rotation angle of the boom 441 with respect to the upper swing body 420, the rotation angle of the arm 443 with respect to the tip of the boom 441, the rotation angle of the end effector 445 with respect to the tip of the arm 443, and the rotation mechanism 430. It is composed of an angle sensor (for example, a rotary encoder) for measuring each of the turning angles.
  • an angle sensor for example, a rotary encoder
  • the actual device output interface 42 includes an actual device wireless communication device 422.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It includes an electromagnet or an end effector 445 composed of magnets connected to the magnet.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and an end effector cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the end effector 445 may be composed of a grapple or a nibbler.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the end effector cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the end effector 445 and the arm 443 so as to rotate the end effector 445 about the horizontal axis with respect to the arm 443.
  • the operator determines whether or not there is a designated operation through the remote input interface 210 (FIG. 4 / STEP210).
  • the "designated operation” is, for example, an operation such as tapping on the remote input interface 210 for the operator to specify the work machine 40 intended for remote control. If the determination result is negative (FIG. 4 / STEP210 ... NO), the processing after the determination of the presence / absence of the designated operation is repeated. On the other hand, if the determination result is affirmative (FIG. 4 / STEP210 ... YES), an environment confirmation request is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 4 / STEP212).
  • the first support processing element 121 transmits the environment confirmation request to the corresponding work machine 40 (FIG. 4 / C110).
  • the actual machine control device 400 acquires the captured image through the actual machine imaging device 412 (FIG. 4 / STEP410).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 20 through the actual device wireless communication device 422 (FIG. 4 / STEP411).
  • the remote control support server 10 when the captured image data is received by the first support processing element 121 (FIG. 4 / C111), the environment image data corresponding to the captured image is transmitted to the remote control device 20 by the second support processing element 122. (Fig. 4 / STEP110).
  • the environmental image data is not only the captured image data itself, but also image data representing a simulated environmental image generated based on the captured image.
  • the remote control device 20 When the remote control device 20 receives the environmental image data through the remote wireless communication device 222 (FIG. 4 / C210), the remote control device 200 outputs the environmental image corresponding to the environmental image data to the image output device 221. (Fig. 4 / STEP224).
  • the image output device 221 shows an environmental image in which the arm 443 and the end effector 445, which are a part of the work attachment 440, and the dump truck 50 and its loading platform 52 are reflected. Is output to.
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP216), and the remote control command corresponding to the operation mode supports the remote control through the remote wireless communication device 222. It is transmitted to the server 10 (FIG. 4 / STEP218).
  • the remote control command when the remote control command is received by the second support processing element 122, the remote control command is transmitted to the work machine 40 by the first support processing element 121 (FIG. 4 / C112).
  • the operation of the work attachment 440 and the like is controlled (FIG. 4 / STEP412).
  • the magnetic force generated by the electromagnet which is the end effector 445, attracts iron scraps accumulated at a predetermined location, and after the upper swivel body 420 is swiveled, the magnetic force generated by the electromagnet as the end effector 445 is generated.
  • the work of dropping the iron scraps from the end effector 445 onto the loading platform 52 of the dump car 50 is executed.
  • the first index value and the second index value are measured by the actual machine control device 400 using the state sensor 414 constituting the actual machine input interface 41 (FIG. 5 / STEP420).
  • the "first index value” is an index value representing the distance between the upper swing body 420 and the end effector 445, and is the rotation angle of the boom 441 with respect to the upper swing body 420, the rotation angle of the arm 443 with respect to the tip of the boom 441, and the like. And, it is measured according to forward kinematics based on the output signal of the state sensor 414 indicating the rotation angle of the end effector 445 with respect to the tip of the arm 443.
  • the "second index value” is an index value indicating the turning angle of the upper turning body 420 with respect to the lower traveling body 410, and is measured based on the turning angle of the turning mechanism 430 or the output signal of the state sensor 414 showing the turning angle. NS.
  • the actual device control device 400 transmits the measured values of the first index value and the second index value or the measured values this time to the remote control support server 10 by using the actual device wireless communication device 422 (FIG. 5 / STEP422). ).
  • the first support processing element 121 transmits an indicator output command (FIG. 5 / C120).
  • the "indicator output command” is a command for causing the image output device 221 of the remote control device 20 to output an indicator representing each measured value of the first index value and the second index value.
  • the remote control device 20 When the remote control device 20 receives the indicator output command from the remote wireless communication device 222 (FIG. 5 / C220), the remote control device 200 represents the first indicator M1 and the second index value.
  • the 2 indicator M2 is output and displayed on the image output device 221 (FIG. 5 / STEP220).
  • the operator determines whether or not there is a first designated operation through the remote input interface 210 (FIG. 4 / STEP221).
  • the "first designated operation” is, for example, an operation of the remote control mechanism 211 that constitutes the remote input interface 210 for initiating the interaction between the end effector 445 and the object (adsorbing an object such as iron scrap). If the determination result is negative (FIG. 4 / STEP221 ... NO), the processing after the output of the indicator is repeated. On the other hand, when the determination result is affirmative (FIG. 4 / STEP221 ... YES), the first operation command for initiating the interaction between the end effector 445 and the object is the remote operation support server 10 through the remote wireless communication device 222. Is transmitted to (Fig. 4 / STEP222).
  • the first operation command is received by the first support processing element 121 in the remote control support server 10
  • the first operation command is transmitted to the work machine 40 by the second support processing element 122 (FIG. 4). / C121).
  • the first output command is sent to the remote control device 20 by the second support processing element 122.
  • the "first output command” is for causing the image output device 221 of the remote control device 20 to output the indicator so that the indicators representing the measured values of the first index value and the second index value represent the first reference value. It is a command of.
  • the first index value at the time of the first reference time when the first designated operation is performed by the remote control device 200 is output and displayed on the image output device 223 (FIG. 5 / STEP223).
  • the operator determines whether or not there is a second designated operation through the remote input interface 210 (FIG. 4 / STEP224).
  • the "second designated operation” is, for example, an operation of the remote control mechanism 211 that constitutes the remote input interface 210 for terminating the interaction between the end effector 445 and the object (releasing the object such as iron scrap). If the determination result is negative (FIG. 4 / STEP224 ... NO), the processing after the output of the indicator is repeated. On the other hand, when the determination result is affirmative (FIG. 4 / STEP224 ... YES), the remote control support server 10 issues a second operation command for terminating the interaction between the end effector 445 and the object through the remote wireless communication device 222. Is transmitted to (Fig. 4 / STEP225).
  • the second operation command is transmitted to the work machine 40 by the second support processing element 122 (FIG. 4). / C122).
  • the actual machine control device 400 when the actual machine control device 400 receives the second operation command through the actual machine wireless communication device 422 (FIG. 4 / C422), the generation of magnetic force is stopped by the electromagnet as the end effector 445 (FIG. 4). / STEP426). As a result, for example, the iron scrap is released by stopping the magnetic force generated by the electromagnet which is the end effector 445.
  • the second output command is sent to the remote control device 20 by the second support processing element 122.
  • the "second output command” is for causing the image output device 221 of the remote control device 20 to output the indicator so that the indicators representing the measured values of the first index value and the second index value represent the second reference value. It is a command of.
  • the first index value at the time of the second reference time when the second designated operation is performed by the remote control device 200 is output and displayed on the image output device 223 (FIG. 5 / STEP226).
  • the upper swing body 420 and the end effector 445 are so close to each other that the first index value is closer to the lower limit value.
  • the inner peripheral edge of the first indicator M1 coincides with the inner circle M12 representing the upper limit value of the first index value, and the outer peripheral edge thereof. Is represented by a substantially annular figure approaching the outer circle M11 representing the lower limit.
  • the first index value is the first time point when the end effector 445 starts interacting with the object (adsorbing an object such as iron scrap) and / or.
  • the inner peripheral edge of the first indicator M1 coincides with the inner circle M12 representing the lower limit of the first index value, and the outer peripheral edge thereof Is represented by a substantially annular figure approaching the intermediate circle M10 representing the interval (first reference interval and / or second reference interval).
  • the upper swing body 420 and the end effector 445 are separated so that the first index value is closer to the upper limit value.
  • the inner peripheral edge of the first indicator M1 coincides with the inner circle M12 representing the upper limit value of the first index value, and the outer peripheral edge thereof. Is represented by a substantially annular figure approaching the inner circle M12.
  • the second index value is the lower part at the second time point when the end effector 445 ends the interaction with the object (releases the object such as iron scrap). It represents the turning angle of the upper turning body 420 with respect to the traveling body 410.
  • the second indicator M2 is represented by a rectangle whose ends correspond to the gauge M22 representing the second reference value of the second index value. (That is, the rectangle is not displayed).
  • the second index value is clockwise from the second time point when the end effector 445 ends the interaction with the object (releases the object such as iron scrap). Alternatively, it represents the turning angle of the upper turning body 420 with respect to the lower running body 410 in a state of turning clockwise.
  • the second indicator M2 is represented by a rectangle whose ends correspond to the gauge M22 representing the second reference value of the second index value. (That is, the rectangle is not displayed).
  • the second index value is the lower running at the first time point when the end effector 445 starts interacting with the object (adsorbing an object such as iron scrap). It represents the turning angle of the upper swinging body 420 with respect to the body 410.
  • one end of the second indicator M2 coincides with the gauge M22 representing the second reference value of the second index value
  • the second indicator M2 It is represented by a rectangle corresponding to the gauge M21 representing the first reference value of the index value.
  • the second index value is counterclockwise from the first time point when the end effector 445 starts interacting with the object (adsorbs an object such as iron scrap). Alternatively, it represents the turning angle of the upper turning body 420 with respect to the lower running body 410 in a state of turning counterclockwise.
  • the second turning state S22 as shown on the left side of FIG. 7B, one end of the second indicator M2 coincides with the gauge M22 representing the second reference value of the second index value, and the second index It is represented by a rectangle separated from the gauge M21 representing the first reference value of the value toward the gauge M22.
  • the second index value turns counterclockwise or counterclockwise from the first time point when the end effector 445 starts interacting with the object (adsorbing an object such as iron scrap), and the end effector 445 interacts with the object.
  • the end adsorbed an object such as iron scrap
  • one end of the second indicator M2 coincides with the gauge M22 representing the reference value of the second index value.
  • it is represented by a rectangle separated toward the gauge M20 on the opposite side of the gauge M21 representing the second reference value of the second index value.
  • the states shown in FIG. 8A correspond to the second working state S12 (see the center of FIG. 6A) and the first turning state S21 (see the left end of FIG. 7A). Therefore, in this state, as shown in FIG. 8B, the first indicator M1 (see the center of FIG. 6B) corresponding to the second working state S12 and the first turning state S21 are superimposed on the working environment image.
  • the second indicator M2 (see the left end of FIG. 7B) is displayed.
  • the states shown in FIG. 9A correspond to the second working state S12 (see the center of FIG. 6A) and the second turning state S22 (see the center left of FIG. 7A). Therefore, in this state, as shown in FIG. 9B, the first indicator M1 (see the center of FIG. 6B) corresponding to the second working state S12 and the second turning state S22 are superimposed on the working environment image.
  • the second indicator M2 (see the center left side of FIG. 7B) is displayed.
  • the states shown in FIG. 10A correspond to the second working state S12 (see the center of FIG. 6A) and the third turning state S23 (see the center right of FIG. 7A). Therefore, in this state, as shown in FIG. 10B, the first indicator M1 (see the center of FIG. 6B) corresponding to the second working state S12 and the third turning state S23 are superimposed on the working environment image.
  • the second indicator M2 (see the right side of the center of FIG. 7B) is displayed.
  • the states shown in FIG. 11A correspond to the second working state S12 (see the center of FIG. 6A) and the fourth turning state S24 (see the left end of FIG. 7A). Therefore, in this state, as shown in FIG. 11B, the first indicator M1 (see the center of FIG. 6B) corresponding to the second working state S12 and the fourth turning state S24 are superimposed on the working environment image.
  • the second indicator M2 (see the left end of FIG. 7B) is displayed.
  • the states shown in FIG. 12A correspond to the first working state S11 (see the left end of FIG. 6A) and the first turning state S21 (see the left end of FIG. 7A). Therefore, in this state, as shown in FIG. 12B, the first indicator M1 (see the left side of FIG. 6B) corresponding to the first working state S11 and the first turning state S21 are superimposed on the working environment image.
  • the second indicator M2 (see the left end of FIG. 7B) is displayed.
  • the states shown in FIG. 13A correspond to the third working state S13 (see the right end of FIG. 6A) and the first turning state S21 (see the left end of FIG. 7A). Therefore, in this state, as shown in FIG. 13B, the first indicator M1 (see the right side of FIG. 6B) corresponding to the second working state S12 and the first turning state S21 are superimposed on the working environment image.
  • the second indicator M2 (see the left end of FIG. 7B) is displayed.
  • the work machine is passed through the indicators M1 and M2 output to the remote output interface 220 (image output device 221) constituting the remote control device 20.
  • the operator of the remote control device 20 can intuitively recognize the length of the distance between the end effector 445 of 40 and the upper swing body 420 and / or the swing angle of the upper swing body 420 with respect to the lower traveling body 410 (FIG. 6B). , FIG. 7B, FIG. 8B, FIG. 9B, FIG. 10B, FIG. 11B, FIG. 12B and FIG. 13B).
  • the length of the interval between the end effector 445 of the work machine 40 and the upper swing body 21 and / or the time change mode of the turning angle of the upper swing body 420 with respect to the lower traveling body 410 is intuitively understood. Can be recognized by the operator of the remote control device 20 (see FIGS. 8B, 9B, 10B, 11B, 12B and 13B).
  • the first support processing element 121 recognizes the index value at at least one of the start time and the end time of the interaction between the end effector (for example, the magnet 445) and the object as the reference index value based on the communication with the work machine 40. ..
  • the index value at the start time (first time point) of the interaction between the end effector 445 and the object (for example, iron scrap) is recognized as the first reference index value
  • the first indicator M1 represents the first reference index value M11.
  • the indicators M1 and M2 are output to the image output device 221 so that the second indicator M2 represents the second index reference value M21 (see the center of FIG. 6B and the right side of the center of FIG. 7B).
  • the index value at the end point (second time point) of the interaction between the end effector 445 and the object is recognized as the second reference index value
  • the first indicator M1 represents the second reference index value M12.
  • the indicators M1 and M2 are output to the image output device 221 so that the second indicator M2 represents the second index reference value M22 (see the center of FIG. 6B and the left end of FIG. 7B).
  • the remote output interface 220 By comparing the indicators M1 and M2 representing the current index values with reference to the indicators M1 and M2 representing the reference index values M11, M12, M21 and M22 output to the remote output interface 220 (image output device 221). Based on at least one of the start and end points of the interaction between the end effector 445 and the object, the length of the distance between the current end effector 445 and the upper swing body 420 and / or the upper turn with respect to the lower traveling body 410. The deviation of the turning angle of the body 420 can be intuitively recognized by the operator of the remote control device 20.
  • the second support processing element 122 causes the remote output interface 220 to output a reference gauge representing at least one of the upper limit value and the lower limit value of the index value together with the indicator.
  • Reference gauges M11 and M12 representing at least one of the upper limit value and the lower limit value of the first index value M1 are output to the remote output interface 220 (image output device 221).
  • the first index value represented by the first indicator M1 is the upper limit value and / or the lower limit thereof.
  • the operator of the remote control device 20 can intuitively recognize how close the value is (see the left side and the right side of FIG. 6B).

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Manipulator (AREA)

Abstract

作業機械のエンドエフェクタとその周囲にある物体との相対的な位置関係を、当該作業機械を遠隔操作するオペレータに直感的に認識させることができる技術を提供する。遠隔操作装置２０を構成する遠隔出力インターフェース２２０（画像出力装置２２１）に出力されるインジケータＭ１、Ｍ２を通じて、作業機械４０のエンドエフェクタ４４５と上部旋回体４２０との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度を直感的に当該遠隔操作装置２０のオペレータに認識させることができる。また、インジケータＭ１、Ｍ２の時間変化態様を通じて、作業機械４０のエンドエフェクタ４４５と上部旋回体２１との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度の時間変化態様を直感的に当該遠隔操作装置２０のオペレータに認識させることができる。

Description

遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
　本発明は、遠隔操作装置を用いた作業機械の遠隔操作を支援する技術に関する。
　作業現場の２次元画像が表示装置に表示される場合、作業者は作業現場の遠近感を知覚し難い。その結果、作業者は遠隔操作を円滑に実施することができず、作業機械の作業効率が低下する可能性がある。作業機械の遠隔操作において、作業現場の遠近感を作業者に効果的に知覚させることができる表示システムが提案されている（例えば、特許文献１参照）。この表示システムによれば、作業現場における対象物の３次元データを含む画像データと、作業者の視点位置データとに基づいて、対象物の自由視点画像が表示される。
特開２０１８－１５２７３８号公報
　しかし、オペレータの任意の視点に応じた画像が表示されるだけでは、例えば、当該オペレータがショベルカーのバケットなどのエンドエフェクタと周囲にあるダンプカーの荷台等との相対的な位置を認識することが困難になる場合がある。
　そこで、本発明は、作業機械のエンドエフェクタとその周囲にある物体との相対的な位置関係を、当該作業機械を遠隔操作するオペレータに直感的に認識させることができる技術を提供することを目的とする。
　本発明の遠隔操作支援サーバは、
　下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援サーバであって、
　前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔、および、前記下部走行体に対する前記上部旋回体の旋回角度のうち少なくとも一方を表わす指標値を認識する第１支援処理要素と、
　前記遠隔操作装置との通信に基づき、前記第１支援処理要素により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第２支援処理要素と、
を備えている。
　当該構成の遠隔操作支援サーバによれば、遠隔操作装置を構成する出力インターフェースに出力されるインジケータを通じて、作業機械のエンドエフェクタと上部旋回体との間隔の長短および／または下部走行体に対する上部旋回体の旋回角度を直感的に当該遠隔操作装置のオペレータに認識させることができる。また、インジケータの時間変化態様を通じて、作業機械のエンドエフェクタと上部旋回体との間隔の長短および／または下部走行体に対する上部旋回体の旋回角度の時間変化態様を直感的に当該遠隔操作装置のオペレータに認識させることができる。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの第１機能に関する説明図。 遠隔操作支援システムの第２機能に関する説明図。 作業機械のエンドエフェクタ－上部旋回体の間隔に関する説明図。 第１指標値を表わす第１インジケータに関する説明図。 作業機械の下部走行体に対する上部旋回体の旋回角度に関する説明図。 第２指標値を表わす第２インジケータに関する説明図。 作業機械の第１動作環境に関する説明図。 環境画像およびインジケータの第１表示態様に関する説明図。 作業機械の第２動作環境に関する説明図。 環境画像およびインジケータの第２表示態様に関する説明図。 作業機械の第３動作環境に関する説明図。 環境画像およびインジケータの第３表示態様に関する説明図。 作業機械の第４動作環境に関する説明図。 環境画像およびインジケータの第４表示態様に関する説明図。 作業機械の第５動作環境に関する説明図。 環境画像およびインジケータの第５表示態様に関する説明図。 作業機械の第６動作環境に関する説明図。 環境画像およびインジケータの第６表示態様に関する説明図。
　（遠隔操作支援システムの構成）
　図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０（クライアント）と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
　（遠隔操作支援サーバの構成）
　遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。遠隔操作支援サーバ１０は、遠隔操作装置２０により構成されていてもよい。この場合、遠隔制御装置２００が、第１支援処理要素１２１および第２支援処理要素１２２を備えていてもよい。
　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のエンドエフェクタシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
　図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
　中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えばクローラ式のリフマグ（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。
実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、状態センサ４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。状態センサ４１４は、上部旋回体４２０に対するブーム４４１の回動角度、ブーム４４１の先端に対するアーム４４３の回動角度、および、アーム４４３の先端に対するエンドエフェクタ４４５の回動角度、ならびに、旋回機構４３０の旋回角度のそれぞれを測定するための角度センサ（例えば、ロータリーエンコーダ）により構成されている。

　実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されている電磁石またはマグネットにより構成されているエンドエフェクタ４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびエンドエフェクタシリンダ４４６が装着されている。エンドエフェクタ４４５は、グラップルまたはニブラにより構成されていてもよい。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。エンドエフェクタシリンダ４４６は、作動油の供給を受けることにより伸縮してエンドエフェクタ４４５をアーム４４３に対して水平軸回りに回動させるように当該エンドエフェクタ４４５と当該アーム４４３との間に介在する。
　（第１機能）
　前記構成の遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。
　遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１１０）。
　作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４１０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４１１）。
　遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２２４）。
　これにより、例えば、図８Ｂに示されているように、作業アタッチメント４４０の一部であるアーム４４３およびエンドエフェクタ４４５、ならびに、ダンプカー５０およびその荷台５２が映り込んでいる環境画像が画像出力装置２２１に出力される。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。
　遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１２）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４１２）。これにより、例えば、エンドエフェクタ４４５である電磁石が発生する磁力により所定の箇所に積まれている鉄屑を吸着し、上部旋回体４２０を旋回させたうえでエンドエフェクタ４４５としての電磁石の磁力発生を停止させることにより当該エンドエフェクタ４４５から当該鉄屑をダンプカー５０の荷台５２に落とす作業が実行される。
　（第２機能）
　前記構成の遠隔操作支援システムの第２機能について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいても「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　作業機械４０において、実機制御装置４００により、実機入力インターフェース４１を構成する状態センサ４１４を用いて、第１指標値および第２指標値が測定される（図５／ＳＴＥＰ４２０）。「第１指標値」は、上部旋回体４２０とエンドエフェクタ４４５との間隔を表わす指標値であり、上部旋回体４２０に対するブーム４４１の回動角度、ブーム４４１の先端に対するアーム４４３の回動角度、および、アーム４４３の先端に対するエンドエフェクタ４４５の回動角度を表わす状態センサ４１４の出力信号に基づき、順運動学にしたがって測定される。「第２指標値」は、下部走行体４１０に対する上部旋回体４２０の旋回角度を表わす指標値であり、旋回機構４３０の旋回角度または回動角度を表わす状態センサ４１４の出力信号に基づいて測定される。
　実機制御装置４００により、実機無線通信機器４２２を用いて、第１指標値および第２指標値のそれぞれの測定値または今回測定値が遠隔操作支援サーバ１０に対して送信される（図５／ＳＴＥＰ４２２）。
　遠隔操作支援サーバ１００において、第１指標値および第２指標値の測定値が受信された場合（図５／Ｃ１２０）、第１支援処理要素１２１により、インジケータ出力指令が送信される（図５／ＳＴＥＰ１２０）。「インジケータ出力指令」は、第１指標値および第２指標値のそれぞれの測定値を表わすインジケータを遠隔操作装置２０の画像出力装置２２１に出力させるための指令である。
　遠隔操作装置２０において、遠隔無線通信機器２２２によりインジケータ出力指令が受信された場合（図５／Ｃ２２０）、遠隔制御装置２００により第１指標値を表わす第１インジケータＭ１および第２指標値を表わす第２インジケータＭ２が画像出力装置２２１に出力表示される（図５／ＳＴＥＰ２２０）。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２２１）。「第１指定操作」は、例えば、エンドエフェクタ４４５と物体との相互作用を開始させる（鉄屑等の物体を吸着させる）ための遠隔入力インターフェース２１０を構成する遠隔操作機構２１１の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２２１‥ＮＯ）、インジケータの出力以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２２１‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、エンドエフェクタ４４５と物体との相互作用を開始させる第１操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２２）。
　遠隔操作支援サーバ１０において、第１支援処理要素１２１により第１操作指令が受信された場合、第２支援処理要素１２２により、当該第１操作指令が作業機械４０に対して送信される（図４／Ｃ１２１）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて第１操作指令が受信された場合（図４／Ｃ４２１）、エンドエフェクタ４４５としての電磁石により磁力が発生される（図４／ＳＴＥＰ４２４）。これにより、例えば、エンドエフェクタ４４５である電磁石が発生する磁力により所定の箇所に積まれている鉄屑が吸着される。
　さらに、遠隔操作支援サーバ１０において、第１支援処理要素１２１により第１操作指令が受信された場合（図４／Ｃ１２１）、第２支援処理要素１２２により、第１出力指令が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１２１）。「第１出力指令」は、第１指標値および第２指標値のそれぞれの測定値を表わすインジケータが第１基準値を表わすように当該インジケータを遠隔操作装置２０の画像出力装置２２１に出力させるための指令である。
　遠隔操作装置２０において、遠隔無線通信機器２２２により第１出力指令が受信された場合（図５／Ｃ２２１）、遠隔制御装置２００により、第１指定操作があった第１基準時点における第１指標値を表わす第１インジケータＭ１および第２指標値を表わす第２インジケータＭ２のうち少なくとも一方が画像出力装置２２３に出力表示される（図５／ＳＴＥＰ２２３）。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ２２４）。「第２指定操作」は、例えば、エンドエフェクタ４４５と物体との相互作用を終了させる（鉄屑等の物体を釈放させる）ための遠隔入力インターフェース２１０を構成する遠隔操作機構２１１の操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２２４‥ＮＯ）、インジケータの出力以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２２４‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、エンドエフェクタ４４５と物体との相互作用を終了させる第２操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２５）。
　遠隔操作支援サーバ１０において、第１支援処理要素１２１により第２操作指令が受信された場合、第２支援処理要素１２２により、当該第２操作指令が作業機械４０に対して送信される（図４／Ｃ１２２）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて第２操作指令が受信された場合（図４／Ｃ４２２）、エンドエフェクタ４４５としての電磁石により磁力の発生が停止される（図４／ＳＴＥＰ４２６）。これにより、例えば、エンドエフェクタ４４５である電磁石が発生する磁力の停止により鉄屑が釈放される。
　さらに、遠隔操作支援サーバ１０において、第１支援処理要素１２１により第２操作指令が受信された場合（図４／Ｃ１２１）、第２支援処理要素１２２により、第２出力指令が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１２２）。「第２出力指令」は、第１指標値および第２指標値のそれぞれの測定値を表わすインジケータが第２基準値を表わすように当該インジケータを遠隔操作装置２０の画像出力装置２２１に出力させるための指令である。
　遠隔操作装置２０において、遠隔無線通信機器２２２により第２出力指令が受信された場合（図５／Ｃ２２２）、遠隔制御装置２００により、第２指定操作があった第２基準時点における第１指標値を表わす第１インジケータＭ１および第２指標値を表わす第２インジケータＭ２のうち少なくとも一方が画像出力装置２２３に出力表示される（図５／ＳＴＥＰ２２６）。
　（第１インジケータの表示態様）
　例えば、図６Ａ左側に示されている第１作業状態Ｓ１１においては、第１指標値がその下限値に近接しているほどに上部旋回体４２０とエンドエフェクタ４４５とが接近している。第１作業状態Ｓ１１においては、図６Ｂ左側に示されているように、第１インジケータＭ１は、その内周縁が第１指標値の上限値を表わす内側円Ｍ１２に一致し、かつ、その外周縁が当該下限値を表わす外側円Ｍ１１に接近している略円環状の図形により表わされている。
　図６Ａ中央に示されている第２作業状態Ｓ１２においては、第１指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点、および／または、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を釈放した）第２時点における上部旋回体４２０とエンドエフェクタ４４５との間隔を表わしている。第２作業状態Ｓ１２においては、図６Ｂ中央に示されているように、第１インジケータＭ１は、その内周縁が第１指標値の下限値を表わす内側円Ｍ１２に一致し、かつ、その外周縁が当該間隔（第１基準間隔および／または第２基準間隔）を表わす中間円Ｍ１０に接近している略円環状の図形により表わされている。
　図６Ａ右側に示されている第３作業状態Ｓ１３においては、第１指標値がその上限値に近接しているほどに上部旋回体４２０とエンドエフェクタ４４５とが離間している。第３作業状態Ｓ１３においては、図６Ｂ右側に示されているように、第１インジケータＭ１は、その内周縁が第１指標値の上限値を表わす内側円Ｍ１２に一致し、かつ、その外周縁が当該内側円Ｍ１２に接近している略円環状の図形により表わされている。
　（第２インジケータの表示態様）
　例えば、図７Ａ左端に示されている第１旋回状態Ｓ２１においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を釈放した）第２時点における下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第１旋回状態Ｓ２１においては、図７Ｂ左端に示されているように、第２インジケータＭ２は、その両端が第２指標値の第２基準値を表わすゲージＭ２２に一致する矩形により表わされている（すなわち、当該矩形は表示されていない）。
　図７Ａ中央左側に示されている第２旋回状態Ｓ２２においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を釈放した）第２時点から時計回りまたは右回りに旋回した状態における下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第２旋回状態Ｓ２２においては、図７Ｂ中央左側に示されているように、第２インジケータＭ２は、その両端が第２指標値の第２基準値を表わすゲージＭ２２に一致する矩形により表わされている（すなわち、当該矩形は表示されていない）。
　図７Ａ中央右側に示されている第３旋回状態Ｓ２３においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点おける下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第３旋回状態Ｓ２３においては、図７Ｂ中央右側に示されているように、第２インジケータＭ２は、その一端が第２指標値の第２基準値を表わすゲージＭ２２に一致し、かつ、第２指標値の第１基準値を表わすゲージＭ２１に一致する矩形により表わされている。
　図７Ａ左端に示されている第４旋回状態Ｓ２４においては、第２指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点から反時計回りまたは左回りに旋回した状態における下部走行体４１０に対する上部旋回体４２０の旋回角度を表わしている。第２旋回状態Ｓ２２においては、図７Ｂ左側に示されているように、第２インジケータＭ２は、その一端が第２指標値の第２基準値を表わすゲージＭ２２に一致し、かつ、第２指標値の第１基準値を表わすゲージＭ２１からゲージＭ２２寄りに離間した矩形により表わされている。
　第２指標値が、エンドエフェクタ４４５が物体と相互作用を開始した（鉄屑等の物体を吸着した）第１時点から反時計回りまたは左回りに旋回し、エンドエフェクタ４４５が物体と相互作用を終了した（鉄屑等の物体を吸着した）前回の第２時点を超えた（オーバーランした）場合、第２インジケータＭ２は、その一端が第２指標値の基準値を表わすゲージＭ２２に一致し、かつ、第２指標値の第２基準値を表わすゲージＭ２１の反対側にあるゲージＭ２０寄りに離間した矩形により表わされている。
　（実施例）
　図８Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第１旋回状態Ｓ２１（図７Ａ左端参照）に相当する。このため、この状態では、図８Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第１旋回状態Ｓ２１に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。
　図９Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第２旋回状態Ｓ２２（図７Ａ中央左側参照）に相当する。このため、この状態では、図９Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第２旋回状態Ｓ２２に応じた第２インジケータＭ２（図７Ｂ中央左側参照）が表示される。
　図１０Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第３旋回状態Ｓ２３（図７Ａ中央右側参照）に相当する。このため、この状態では、図１０Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第３旋回状態Ｓ２３に応じた第２インジケータＭ２（図７Ｂ中央右側参照）が表示される。
　図１１Ａに示されている状態は、第２作業状態Ｓ１２（図６Ａ中央参照）および第４旋回状態Ｓ２４（図７Ａ左端参照）に相当する。このため、この状態では、図１１Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ中央参照）および第４旋回状態Ｓ２４に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。
　図１２Ａに示されている状態は、第１作業状態Ｓ１１（図６Ａ左側参照）および第１旋回状態Ｓ２１（図７Ａ左端参照）に相当する。このため、この状態では、図１２Ｂに示されているように、作業環境画像に重畳されて第１作業状態Ｓ１１に応じた第１インジケータＭ１（図６Ｂ左側参照）および第１旋回状態Ｓ２１に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。
　図１３Ａに示されている状態は、第３作業状態Ｓ１３（図６Ａ右側参照）および第１旋回状態Ｓ２１（図７Ａ左端参照）に相当する。このため、この状態では、図１３Ｂに示されているように、作業環境画像に重畳されて第２作業状態Ｓ１２に応じた第１インジケータＭ１（図６Ｂ右側参照）および第１旋回状態Ｓ２１に応じた第２インジケータＭ２（図７Ｂ左端参照）が表示される。
（効果）
　当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ１０によれば、遠隔操作装置２０を構成する遠隔出力インターフェース２２０（画像出力装置２２１）に出力されるインジケータＭ１、Ｍ２を通じて、作業機械４０のエンドエフェクタ４４５と上部旋回体４２０との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度を直感的に当該遠隔操作装置２０のオペレータに認識させることができる（図６Ｂ、図７Ｂ、図８Ｂ、図９Ｂ、図１０Ｂ、図１１Ｂ、図１２Ｂおよび図１３Ｂ参照）。また、インジケータＭ１、Ｍ２の時間変化態様を通じて、作業機械４０のエンドエフェクタ４４５と上部旋回体２１との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度の時間変化態様を直感的に当該遠隔操作装置２０のオペレータに認識させることができる（図８Ｂ、図９Ｂ、図１０Ｂ、図１１Ｂ、図１２Ｂおよび図１３Ｂ参照）。
　第１支援処理要素１２１が、作業機械４０との通信に基づき、エンドエフェクタ（例えばマグネット４４５）と物体との相互作用の開始時点および終了時点のうち少なくとも一方における指標値を基準指標値として認識する。エンドエフェクタ４４５と物体（例えば、鉄屑）との相互作用の開始時点（第１時点）における指標値が第１基準指標値として認識され、第１インジケータＭ１が第１基準指標値Ｍ１１を表わし、かつ、第２インジケータＭ２が第２指標基準値Ｍ２１を表わすように、当該インジケータＭ１、Ｍ２が画像出力装置２２１に出力される（図６Ｂ中央および図７Ｂ中央右側参照）。エンドエフェクタ４４５と物体（例えば、鉄屑）との相互作用の終了時点（第２時点）における指標値が第２基準指標値として認識され、第１インジケータＭ１が第２基準指標値Ｍ１２を表わし、かつ、第２インジケータＭ２が第２指標基準値Ｍ２２を表わすように、当該インジケータＭ１、Ｍ２が画像出力装置２２１に出力される（図６Ｂ中央および図７Ｂ左端参照）。
　遠隔出力インターフェース２２０（画像出力装置２２１）に出力される基準指標値Ｍ１１、Ｍ１２、Ｍ２１、Ｍ２２を表わすインジケータＭ１、Ｍ２を基準として、現在の指標値を表わすインジケータＭ１、Ｍ２を対比することにより、エンドエフェクタ４４５と物体との相互作用の開始時点および終了時点のうち少なくとも一方の時点を基準として、現在のエンドエフェクタ４４５と上部旋回体４２０との間隔の長短および／または下部走行体４１０に対する上部旋回体４２０の旋回角度の偏差を、遠隔操作装置２０のオペレータに直感的に認識させることができる。
　第２支援処理要素１２２が、指標値の上限値および下限値のうち少なくとも一方を表わす参照ゲージをインジケータとともに遠隔出力インターフェース２２０に出力させる。第１指標値Ｍ１の上限値および下限値のうち少なくとも一方を表わす参照ゲージＭ１１、Ｍ１２が遠隔出力インターフェース２２０（画像出力装置２２１）に出力される。
　遠隔出力インターフェース２２０（画像出力装置２２１）に出力される第１インジケータＭ１および参照ゲージＭ１１、Ｍ１２を対比することにより、当該第１インジケータＭ１により表わされる第１指標値がその上限値および／または下限値にどの程度接近しているかを、遠隔操作装置２０のオペレータに直感的に認識させることができる（図６Ｂ左側および右側参照）。
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥下部走行体、４２０‥上部旋回体、４２４‥キャブ（運転室）、４４０‥作業アタッチメント（作動機構）、４４５‥マグネット（エンドエフェクタ）。
 

Claims (5)

  1. 　下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援サーバであって、
    　前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔、および、前記下部走行体に対する前記上部旋回体の旋回角度のうち少なくとも一方を表わす指標値を認識する第１支援処理要素と、
    　前記遠隔操作装置との通信に基づき、前記第１支援処理要素により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
  2. 　請求項１記載の遠隔操作支援サーバにおいて、
    　前記第１支援処理要素が、前記作業機械との通信に基づき、前記エンドエフェクタと物体との相互作用の開始時点および終了時点のうち少なくとも一方における前記指標値を基準指標値として認識することを特徴とする遠隔操作支援サーバ。
  3. 　請求項１または２記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記指標値の上限値および下限値のうち少なくとも一方を表わす参照ゲージを前記インジケータとともに前記出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
  4. 　請求項１～３のうちいずれか１項に記載の遠隔操作支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする遠隔操作支援システム。
  5. 　下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援方法であって、
    　前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔、および、前記下部走行体に対する前記上部旋回体の旋回角度のうち少なくとも一方を表わす指標値を認識する第１支援処理と、
    　前記遠隔操作装置との通信に基づき、前記第１支援処理により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第２支援処理と、を実行することを特徴とする遠隔操作支援方法。
     
PCT/JP2021/000400 2020-02-18 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 WO2021166476A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020025641A JP7310637B2 (ja) 2020-02-18 2020-02-18 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2020-025641 2020-02-18

Publications (1)

Publication Number Publication Date
WO2021166476A1 true WO2021166476A1 (ja) 2021-08-26

Family

ID=77390701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000400 WO2021166476A1 (ja) 2020-02-18 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Country Status (2)

Country Link
JP (1) JP7310637B2 (ja)
WO (1) WO2021166476A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114536384A (zh) * 2022-03-25 2022-05-27 徐州徐工挖掘机械有限公司 抓料机以及抓料机的控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010265620A (ja) * 2009-05-13 2010-11-25 Hitachi Constr Mach Co Ltd 建設機械の干渉防止装置
JP2019173444A (ja) * 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械操縦装置
WO2020022454A1 (ja) * 2018-07-27 2020-01-30 住友建機株式会社 作業機械

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010265620A (ja) * 2009-05-13 2010-11-25 Hitachi Constr Mach Co Ltd 建設機械の干渉防止装置
JP2019173444A (ja) * 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械操縦装置
WO2020022454A1 (ja) * 2018-07-27 2020-01-30 住友建機株式会社 作業機械

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114536384A (zh) * 2022-03-25 2022-05-27 徐州徐工挖掘机械有限公司 抓料机以及抓料机的控制方法

Also Published As

Publication number Publication date
JP2021130927A (ja) 2021-09-09
JP7310637B2 (ja) 2023-07-19

Similar Documents

Publication Publication Date Title
JP7070047B2 (ja) 旋回式作業機械の旋回制御装置
JP6071786B2 (ja) 作業機械の周囲監視装置
WO2021111677A1 (ja) 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
JPWO2012157379A1 (ja) 作業機械の周囲監視装置
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2021166476A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US11993922B2 (en) Remote operation system
WO2021230090A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
WO2022168443A1 (ja) 作業支援システムおよび作業支援複合システム
JP7310595B2 (ja) 作業支援サーバおよび作業支援システム
WO2020129832A1 (ja) 作業機械用周辺監視装置
WO2021166477A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
WO2022195988A1 (ja) 遠隔操作支援サーバおよび遠隔操作支援システム
JP2020117994A (ja) 作業機械
JP2019214824A (ja) 作業機械
JP7508815B2 (ja) 作業支援サーバ、作業支援方法
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US12031297B2 (en) Work machine
JP2023139409A (ja) 作業機械
JP2022144495A (ja) 遠隔操作支援システムおよび遠隔操作支援方法
JP2022144491A (ja) 撮像機能制御システムおよび撮像機能制御方法
JP2021086224A (ja) 作業支援サーバおよび作業支援システム
JP2016169595A (ja) 作業機械の周囲監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21757075

Country of ref document: EP

Kind code of ref document: A1