WO2023234025A1 - 遠隔操作支援システムおよび遠隔操作装置 - Google Patents

遠隔操作支援システムおよび遠隔操作装置 Download PDF

Info

Publication number
WO2023234025A1
WO2023234025A1 PCT/JP2023/018398 JP2023018398W WO2023234025A1 WO 2023234025 A1 WO2023234025 A1 WO 2023234025A1 JP 2023018398 W JP2023018398 W JP 2023018398W WO 2023234025 A1 WO2023234025 A1 WO 2023234025A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote
turning
remote control
image
machine
Prior art date
Application number
PCT/JP2023/018398
Other languages
English (en)
French (fr)
Inventor
将大 森田
政樹 永井
雄一 栗田
卓 伊藤
Original Assignee
国立大学法人広島大学
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人広島大学, コベルコ建機株式会社 filed Critical 国立大学法人広島大学
Publication of WO2023234025A1 publication Critical patent/WO2023234025A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices

Definitions

  • the present invention relates to technology for remotely controlling working machines such as hydraulic excavators.
  • an object of the present invention is to provide a system and the like that can improve the consistency between the operating direction of a remote control mechanism by an operator and the turning direction of a remote work machine intended by the operator.
  • the remote operation support system of the present invention includes: Each of the two different operation directions of the remote control mechanism and each of the two mutually opposite turning directions of the work machine in the work site image acquired through the imaging device present at the work site and output by the remote image output device outputting a turning command to the working machine according to the operating direction of the remote operating mechanism while adjusting the correspondence between the operating direction of the remote operating mechanism and the turning direction of the working machine so that the death,
  • a turning command to the working machine according to the operating direction of the remote operating mechanism while adjusting the correspondence between the operating direction of the remote operating mechanism and the turning direction of the working machine so that the death
  • the designated condition expressed is satisfied, switching of the correspondence relationship between the operation direction of the remote control mechanism and the turning direction of the working machine is permitted.
  • a turning command corresponding to the operating direction of the remote controlling mechanism is output to the working machine while the correspondence between the operating direction of the remote controlling mechanism and the turning direction of the working machine is adjusted. be done.
  • each of the two different operation directions of the remote control mechanism is aligned with each of the two mutually opposite turning directions of the work machine in the work site image output by the remote image output device. .
  • the correspondence between the operating direction of the remote control mechanism and the turning direction of the working machine may be switched or changed, but specified conditions must be met for the switching.
  • “Specified conditions” means that, in view of at least one of the operation amount of the remote control mechanism and the turning angle of the work machine, it is necessary to maintain the turning direction of the work machine in accordance with the previous operation direction of the remote control mechanism. This is a condition that indicates that the value is low. For this reason, even though this necessity is high, the correspondence between the operating direction of the remote control mechanism and the turning direction of the working machine is switched, and the operator's intention, which is reflected in the operating direction of the remote control mechanism, is changed. It is possible to avoid a situation where the turning direction of the working machine does not match the actual turning direction of the working machine. As a result, the consistency between the operating direction of the remote control mechanism by the operator and the turning direction of the working machine intended by the operator is improved.
  • FIG. 1 is an explanatory diagram regarding the configuration of a remote control system and a remote control support system.
  • FIG. 2 is an explanatory diagram regarding the configuration of a remote control device.
  • FIG. 3 is an explanatory diagram illustrating an example of an actual machine environment image.
  • FIG. 3 is an explanatory diagram regarding the relative turning angle of the working machine with respect to the imaging direction of the imaging device.
  • FIG. 3 is an explanatory diagram regarding the output form of correspondence information.
  • FIG. 1 shows an imaging device 10, a remote control device 20, and a work machine 40 that is a target of remote control by the remote control device 20, which are present at a work site.
  • the imaging device 10, the remote control device 20, and the work machine 40 are configured to be able to communicate with each other via network.
  • the mutual communication network of the imaging device 10 and the remote control device 20 and the mutual communication network of the imaging device 10 and the working machine 40 may be the same or different.
  • the imaging device 10 is attached to a structure such as a support that is installed at a work site where one or more work machines 40 are present.
  • the imaging device 10 may be mounted on an unmanned aircraft.
  • the imaging device 10 has a function of transmitting a captured image to an external device.
  • one imaging device 10 may be arranged at one work site, or a plurality of imaging devices 10 may be arranged.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, a remote output interface 220, and a remote wireless communication device 224.
  • the remote control device 200 is configured with an arithmetic processing device (for example, a single-core processor and/or a multi-core processor, or a processor core that constitutes this), reads necessary data and software from a storage device such as a memory, and processes the data as a target.
  • the calculation process according to the software is executed as follows.
  • the remote control device 200 constitutes a "remote operation support system.”
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes a remote image output device 221.
  • the remote control mechanism 211 includes a travel operating device, a turning operating device, a boom operating device, an arm operating device, and a bucket operating device.
  • Each operating device has an operating lever that is rotated.
  • the operating lever (traveling lever) of the traveling operating device is operated to move the lower traveling body 41 of the working machine 40.
  • the travel lever may also serve as a travel pedal.
  • a travel pedal may be provided that is fixed to the base or lower end of the travel lever.
  • the operating lever (swing lever) of the swing operating device is operated to move a hydraulic swing motor that constitutes the swing mechanism 43 of the work machine 40 .
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operating lever (arm lever) of the arm operating device is operated to move the arm cylinder 444 of the work machine 40.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 446 of the work machine 40.
  • the operation levers constituting the remote control mechanism 211 are arranged, for example, around the seat St on which the operator is seated, as shown in FIG.
  • the seat St is a seating part in any form on which the operator can sit, such as a high-back chair with an armrest, a low-back chair without a headrest, or a chair without a backrest. It may be.
  • a pair of left and right travel levers 2110 corresponding to the left and right crawlers forming the lower traveling body 41 are arranged side by side in front of the seat St.
  • One operating lever may also serve as multiple operating levers.
  • the left operating lever 2111 provided in front of the left frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-back direction, and when operated in the left-right direction It may also function as a pivot lever.
  • the right operating lever 2112 provided in front of the right frame of the seat St shown in FIG. It may function as a bucket lever in some cases.
  • the lever pattern may be arbitrarily changed according to an operator's operation instruction.
  • the remote image output device 221 includes, for example, as shown in FIG. 2, a central remote image output device 2210 having substantially rectangular screens disposed in front of the seat St, diagonally to the left, and diagonally to the right.
  • the main image output device 221A includes a left remote image output device 2211 and a right remote image output device 2212, and an auxiliary image output device 221B arranged above the main image output device 221A.
  • the shapes and sizes of the screens (image display areas) of central remote image output device 2210, left side remote image output device 2211, and right side remote image output device 2212 may be the same or different.
  • the left remote image is displayed so that the screen of the central remote image output device 2210 and the screen of the left remote image output device 2211 form an inclination angle ⁇ 1 (for example, 120° ⁇ 1 ⁇ 150°).
  • the right edge of output device 2211 is adjacent to the left edge of central remote image output device 2210.
  • the right remote image is displayed such that the screen of the central remote image output device 2210 and the screen of the right remote image output device 2212 form an inclination angle ⁇ 2 (e.g., 120° ⁇ 2 ⁇ 150°).
  • the left edge of output device 2212 is adjacent to the right edge of central remote image output device 2210.
  • the inclination angles ⁇ 1 and ⁇ 2 may be the same or different.
  • the screens of the central remote image output device 2210, the left remote image output device 2211, and the right remote image output device 2212 may be parallel to the vertical direction, or may be inclined to the vertical direction.
  • At least one image output device among the central remote image output device 2210, the left side remote image output device 2211, and the right side remote image output device 2212 may be constituted by a plurality of divided image output devices.
  • the central remote image output device 2210 may include a pair of vertically adjacent image output devices each having a substantially rectangular screen.
  • the auxiliary image output device 221B has one or more screens, and the vertical and horizontal widths of each screen are the same as those of the central remote image output device 2210, the left remote image output device 2211, and the right remote image output device 2212. configured smaller than.
  • the remote image output device 221 may be configured by a single image output device that is curved or bent so as to surround the sheet St.
  • a single image output device may be constituted by, for example, central remote image output device 2210.
  • the remote image output device 221 may be constituted by two image output devices (for example, the central remote image output device 2210 and the left remote image output device 2211 or the right remote image output device 2212).
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG.
  • the upper revolving body 42 is provided with an upper revolving body 42.
  • a cab 45 (operator's cab) is provided at the front left side of the upper revolving body 42.
  • a working mechanism 44 is provided at the front central portion of the upper revolving body 42 .
  • the working mechanism 44 includes a boom 441 mounted on the upper revolving body 42 so as to be able to raise and lower, and an arm 443 that is rotatably connected to the tip of the boom 441. and an attachment 445 (for example, a bucket) rotatably connected to the tip of the arm 443.
  • the working mechanism 44 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, each of which is an extendable hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper revolving body 42 so as to expand and contract when supplied with hydraulic oil and rotate the boom 441 in the up-and-down direction.
  • the arm cylinder 444 is interposed between the arm 443 and the boom 441 so as to expand and contract when supplied with hydraulic oil and rotate the arm 443 around a horizontal axis with respect to the boom 441 .
  • the bucket cylinder 446 is interposed between the attachment 445 and the arm 443 so as to expand and contract when supplied with hydraulic oil and rotate the attachment 445 around a horizontal axis relative to the arm 443 .
  • the work machine 40 includes a real machine control device 400, a real machine input interface 410, a real machine output interface 420, and a real machine wireless communication device 422.
  • the actual machine control device 400 is composed of an arithmetic processing device (a single-core processor or a multi-core processor, or a processor core constituting this processor), reads necessary data and software from a storage device such as a memory, and processes the data into the software. Execute the arithmetic processing accordingly.
  • the real machine input interface 410 includes a real machine operating mechanism 411 and a real machine sensor group 414.
  • the actual machine operating mechanism 411 includes a plurality of operating levers arranged around a seat arranged inside the cab 45 in the same manner as the remote operating mechanism 211.
  • the cab 45 is provided with a drive mechanism or a robot that receives a signal corresponding to the operating mode of the remote control lever and moves the actual control lever based on the received signal.
  • the actual imaging device 412 is installed inside the cab 45, for example, and images the environment including at least a portion of the working mechanism 44 (for example, the attachment 445) through the front window. Some or all of the front window and side windows may be omitted.
  • the actual machine sensor group 414 includes a turning angle sensor for measuring the turning angle of the upper rotating structure 42 with respect to the lower traveling structure 41 and an attitude angle sensor for measuring the attitude angle representing the attitude of the working mechanism 44. It is composed of various sensors for measuring 40 operating conditions.
  • the operation mode of the remote control mechanism 211 is recognized by the remote control device 200, and a remote control command corresponding to the operation mode is transmitted to the work machine 40 through the remote wireless communication device 224. .
  • the actual machine control device 400 receives an operation command through the actual machine wireless communication device 422, the operation of the working mechanism 44, etc. is controlled. For example, an operation is performed in which the attachment 445 scoops up dirt in front of the working machine 40, the upper rotating body 42 is rotated, and then the dirt is dropped from the attachment 445.
  • This function includes a function of adjusting the correspondence between the operating direction of the remote control mechanism 211 and the turning direction of the work machine 40.
  • the operating directions of the remote control mechanism 211 are two different operating directions (leftward and rightward or forward and backward directions) of the left operating lever 2111 or the right operating lever 2112, which function as a turning lever. (See Figure 2).
  • the turning directions of the work machine 40 are two mutually opposite turning directions of the upper revolving structure 42 with respect to the lower traveling structure 41 (see FIG. 3).
  • the remote control mechanism 211 is not limited to the left control lever 2111 and the right control lever 2112, which can accept both left and right operations, but also controls that can accept operations in individual operation directions corresponding to left and right operations. It may be configured by mounting a plurality of levers, sticks, buttons, etc. The embodiment will be described below on the assumption that the left operating lever 2111 is operated in two different operating directions (leftward and rightward).
  • a count number t of a timer representing a period during which switching of the correspondence between the operation direction of the remote control mechanism 211 and the turning direction of the work machine 40 is suspended is set to "0" (FIG. 4/STEP 101).
  • the actual machine environment image captured through the real machine imaging device 412 is transmitted from the work machine 40 to the remote control device 20 by the real machine wireless communication device 424, and thereby the real machine environment image is acquired by the remote control device 200 (FIG. 4 /STEP102).
  • the actual machine environment image shows, through a window frame defining the cab 45, a boom 441, an arm 443, and an attachment 445, which are part of the working mechanism 44, in front of the cab 45, and This is an image that includes earth and sand, materials, and/or buildings.
  • the actual environment image may be a simulated image generated based on data of the captured image.
  • a work site image captured through an imaging device 10 existing at the work site is transmitted from the imaging device 10 to the remote control device 20, and the remote control device 200 acquires the work site image (FIG. 4/ STEP 104).
  • the work site image includes the work machine 40 that is the object of remote control through the remote control device 20, and the surrounding soil, materials, and/or structures. It is an image.
  • the work site image may be a captured image itself or a simulated image generated based on data of the captured image.
  • the imaging device 10 is mounted on an unmanned aircraft, the work site image may be a bird's-eye view image.
  • an actual machine environment image (see FIG. 5) and a work site image ( (see FIG. 6) is switched.
  • the actual machine environment image and the work site image acquired by the remote control device 200 can be output selectively between the main image output device 221A and at least one of the plurality of screens of the auxiliary image output device 221B.
  • the output destination of the actual machine environment image and work site image output according to the selection operation is switched between the main image output device 221A and the auxiliary image output device 221B.
  • the actual environment image or work site image output to the main image output device 221A may be output only to the central remote image output device 2210, or the image is divided into the central remote image output device 2210 and the left remote image output device 2211. , the divided images may be respectively displayed on the right remote image output device. Note that when switching between the actual machine environment image and the work site image, the output of the actual machine environment image or the work site image to the auxiliary image output device 221B may be omitted.
  • a relative azimuth angle ⁇ representing the turning azimuth of the working machine 40 with respect to the imaging direction (optical axis direction) of the imaging device 10 is recognized (FIG. 4/STEP 106).
  • the difference ⁇ between the turning azimuth angle ⁇ representing the front of the upper revolving structure 42 of the working machine 40 with respect to the azimuth corresponds to the relative azimuth angle ⁇ .
  • the imaging azimuth ⁇ is transmitted from the imaging device 10 or the database to the remote control device 20, and the turning azimuth ⁇ is detected through the actual machine sensor group 414, and then transmitted from the work machine 40 via the actual machine wireless communication device 424.
  • the remote control device 200 recognizes the imaging azimuth ⁇ , the turning azimuth ⁇ , and the relative azimuth ⁇ .
  • the relative azimuth ⁇ is determined by image analysis of the work site image including the work machine 40 captured by the imaging device 10 or by inputting it into a learning model (learned model) constructed using machine learning. May be requested.
  • the azimuth angle representing the front of the revolving upper structure 42 with respect to the specified direction (for example, upward) in the coordinate system of the work site image may be recognized as the relative azimuth angle ⁇ .
  • the relative azimuth angle ⁇ is within the first relative azimuth angle range ⁇ 1 (-180° ⁇ -90°- ⁇ , 90°+ ⁇ 180° (0° ⁇ 5° to 10)), that is, when the front of the upper revolving structure 42 of the working machine 40 faces toward you when viewed from the imaging device 10, the operating direction of the remote control mechanism 211 and the turning direction of the working machine 40. is adjusted to the "first correspondence relationship".
  • ⁇ is set to a minute angle including 0.
  • the right direction as the first operating direction of the left operating lever 2111 corresponds to the counterclockwise direction as the first turning direction of the upper rotating body 42 relative to the lower traveling body 41 when viewed from above.
  • the left direction as the second operating direction of the left operating lever 2111 corresponds to the clockwise direction as the second turning direction of the upper rotating body 42 relative to the lower traveling body 41 when viewed from above. .
  • the relative azimuth angle ⁇ is included in the second relative azimuth angle range ⁇ 2 (-90°+ ⁇ 90° ⁇ (0° ⁇ 5° to 10)) shown in FIG. That is, when the front of the upper rotating body 42 of the working machine 40 faces toward the back when viewed from the imaging device 10, the operating direction of the remote control mechanism 211 and the turning direction of the working machine 40 are in a "second correspondence relationship". be adjusted.
  • ⁇ is set to a minute angle including 0.
  • the right direction as the first operating direction of the left operating lever 2111 corresponds to the clockwise direction as the second turning direction of the upper rotating body 42 relative to the lower traveling body 41 when viewed from above.
  • the left direction as the second operating direction of the left operating lever 2111 corresponds to the counterclockwise direction as the first turning direction of the upper rotating structure 42 relative to the lower traveling structure 41 when viewed from above. There is.
  • the timer count number t is set to "0" (FIG. 4/STEP 101). Reference) The subsequent series of processes are repeated.
  • the “specified condition” is to maintain the turning direction of the working machine 40 according to the previous operating direction of the remote controlling mechanism 211 in view of at least one of the operating amount of the remote controlling mechanism 211 and the turning angle of the working machine 40. This is a condition that indicates that the necessity is low.
  • the amount of operation of the remote control mechanism 211 is less than or equal to a threshold value (for example, 0° ⁇ (0° ⁇ 5° to 10°)).
  • a threshold value for example, 0° ⁇ (0° ⁇ 5° to 10°
  • the turning angular velocity ⁇ d ⁇ /dt of the working machine 40 (of the upper rotating body 42 relative to the lower traveling body 41) is a reference value (for example, ⁇ (0 ⁇ 0.1°s ⁇ 1 ⁇ 1°s -1 )) or less is defined as a specified condition.
  • the condition that the relative azimuth angle ⁇ is outside both the first relative azimuth angle range ⁇ 1 and the second relative azimuth angle range ⁇ 2 shown in FIG. 7 (-90°- ⁇ -90° + ⁇ , 90°- ⁇ 90°+ ⁇ ), or the relative azimuth angle ⁇ is included in the relative azimuth range near the boundary of the first relative azimuth range ⁇ 1 and the second relative azimuth range ⁇ 2.
  • the timer count number t is increased by "1" (FIG. 4/STEP 114), and then the timer count number t is increased. It is determined whether or not it is greater than or equal to a predetermined value t0 (FIG. 4/STEP 116). If it is determined that the timer count number t is less than the predetermined value t0 (FIG. 4/STEP 116...NO), a series of processes starting from the actual machine environment image acquisition process (see FIG. 4/STEP 102) are repeated.
  • the predetermined value t0 determines that it is not necessary to maintain the turning direction of the work machine 40 according to the previous operation direction of the remote control mechanism 211, provided that the specified condition has been continued for a period of more than the predetermined value t0. This is set from the perspective of improving the accuracy of Since the operation amount of the remote control mechanism 211 is below the threshold value and/or the turning angular velocity of the work machine 40 is below the reference value, and it is clear that the operator has no intention of turning the work machine 40, the work machine It is determined that there is little need to maintain the turning direction of 40.
  • the predetermined value t0 may be adaptively set based on the operation amount of the remote control mechanism 211 and/or the turning angle (or turning angular velocity) of the work machine 40.
  • the upper rotating body 42 is rotated in the first rotating direction (counterclockwise when viewed from above) relative to the lower traveling body 41.
  • Such a turning command is transmitted from the remote control device 20 to the work machine 40.
  • the actual machine control device 400 controls the operation of the turning mechanism 43, and the upper rotating body 42 turns with respect to the lower traveling body 41 in the first turning direction.
  • the amount of rotation of the upper rotating structure 42 may be controlled depending on the amount of operation of the left operating lever 2111.
  • the upper rotating body 42 is rotated in the second rotation direction (clockwise direction when viewed from above) relative to the lower traveling body 41.
  • Such a turning command is transmitted from the remote control device 20 to the work machine 40. Accordingly, the operation of the turning mechanism 43 is controlled by the actual machine control device 400, and the upper rotating body 42 is turned in the second turning direction with respect to the lower traveling body 41.
  • the correspondence relationship between the operating direction of the remote control mechanism 211 and the turning direction of the working machine 40 is determined. It is switched to the "second correspondence relationship" (FIG. 4/STEP 122).
  • the upper rotating body 42 is rotated in the second rotation direction (clockwise direction when viewed from above) relative to the lower traveling body 41.
  • a turning command is transmitted from the remote control device 20 to the work machine 40. Accordingly, the operation of the turning mechanism 43 is controlled by the actual machine control device 400, and the upper rotating body 42 is turned in the second turning direction with respect to the lower traveling body 41.
  • the upper rotating body 42 is rotated in the first rotating direction (counterclockwise when viewed from above) relative to the lower traveling body 41.
  • a turning command to cause the work machine 40 to rotate is transmitted from the remote control device 20 to the work machine 40.
  • the actual machine control device 400 controls the operation of the turning mechanism 43, and the upper rotating body 42 turns with respect to the lower traveling body 41 in the first turning direction.
  • the operation direction of the remote control mechanism 211 and The correspondence relationship with the turning direction of the work machine 40 cannot be switched to either the "first correspondence relationship" or the "second correspondence relationship.” That is, the turning direction of the working machine 40 is determined only based on the operating direction of the remote control mechanism 211, and the relative azimuth angle ⁇ is not considered.
  • the upper rotating body 42 is rotated in the second rotating direction (clockwise when viewed from above) relative to the lower traveling body 41.
  • a turning command to cause the work machine 40 to rotate is transmitted from the remote control device 20 to the work machine 40. Accordingly, the operation of the turning mechanism 43 is controlled by the actual machine control device 400, and the upper rotating body 42 is turned in the second turning direction with respect to the lower traveling body 41.
  • the upper rotating body 42 is rotated in the first rotating direction (counterclockwise when viewed from above) relative to the lower traveling body 41.
  • a turning command to cause the work machine 40 to rotate is transmitted from the remote control device 20 to the work machine 40.
  • the actual machine control device 400 controls the operation of the turning mechanism 43, and the upper rotating body 42 turns with respect to the lower traveling body 41 in the first turning direction.
  • the correspondence between the operating direction of the remote control mechanism and the turning direction of the work machine may be switched or changed (Fig. 4/STEP 120..1 ⁇ STEP 121 and Fig. 4/STEP 120..2 ⁇ STEP 122).
  • specified conditions must be satisfied for the switching.
  • the "specified condition” refers to the rotation of the working machine 40 according to the previous operating direction of the remote operating mechanism 211, taking into account at least one of the operating amount of the remote operating mechanism and the turning angle of the working machine. This condition indicates that there is little need to maintain direction.
  • the correspondence relationship between the operating direction of the remote operating mechanism 211 and the turning direction of the work machine 40 is switched, and the operator who is reflected in the operating direction of the remote operating mechanism 211 It is possible to avoid a situation in which the intended turning direction of the working machine 40 and the actual turning direction of the working machine 40 do not match. For example, even if the relative azimuth angle ⁇ transitions from a state included in the first relative azimuth angle range ⁇ 1 to a state included in the second relative azimuth angle range ⁇ 2, if the specified condition is not met, the remote The correspondence relationship between the operating direction of the operating mechanism 211 and the turning direction of the work machine 40 is maintained at the first correspondence relationship without being switched from the first correspondence relationship to the second correspondence relationship.
  • the remote control device 200 constitutes the remote operation support system, but in another embodiment, the remote control device 20 may include a computer (such as a server computer) existing outside the remote control device 20 to configure the remote operation support system. You can leave it there.
  • a computer such as a server computer
  • Correspondence information regarding the correspondence between the operating direction of the remote control mechanism 211 and the turning direction of the work machine 40 may be output to the remote image output device 221.
  • an image M21 in the shape of a rightward straight arrow representing the first operating direction an image M22 in the shape of a leftward straight arrow representing the second operating direction, and an image M22 in the shape of a circular arc arrow representing the first turning direction.
  • the image M41 and the arc arrow-shaped image M42 representing the second turning direction may be outputted superimposed on the work site image.
  • Image M21 and image M22 are output along with an illustration image representing remote control mechanism 211.
  • the image M41 and the image M42 are output with their display positions and orientations adjusted according to the relative azimuth angle ⁇ around the image of the attachment 445 in the work site image.
  • the image M41 is arranged on the left side with the arc arrow pointing to the left across the image of the attachment 445, and the image M42 is arranged on the right side with the arc arrow pointing to the right.
  • the counterclockwise tilt of the image M41 and the image M42 is changed according to the relative azimuth angle ⁇ , and the display position of the attachment 445 with respect to the image changes to the relative azimuth. It is changed in the counterclockwise direction according to the angle ⁇ . Image M41 and image M42 are corrected so that the length in the vertical direction in the work site image is reduced.
  • the correspondence relationship between the operating direction of the remote control mechanism 211 and the turning direction of the work machine 40 is a "second correspondence relationship", and the image M21 and the image M41 are colored with the first color, and the image M22 and The image M42 is colored with a second color different from the first color.
  • the correspondence relationship between the operation direction of the remote control mechanism 211 and the turning direction of the working machine 40 is the "first correspondence relationship”
  • the image M21 and the image M42 are colored with the first color
  • the image M22 and Image M41 is colored with the second color.
  • the diagram including the images M21, M22, M41, and M42 may be output to the remote image output device 221 separately from the work site image. Text indicating whether the corresponding relationship is a "first correspondence relationship” or a "second correspondence relationship” may be output to the remote image output device 221.
  • the operator can visually recognize the correspondence between the operating direction of the remote control mechanism 211 and the turning direction of the working machine 40 through the correspondence information output by the remote image output device 221.
  • the designated condition includes at least one of the condition that the operation amount of the remote control mechanism 211 is below a threshold value, and the condition that the turning angular velocity according to the time series of the turning angle of the working machine 40 is below a reference value.
  • a threshold value the condition that the operation amount of the remote control mechanism 211 is below a threshold value
  • the condition that the turning angular velocity according to the time series of the turning angle of the working machine 40 is below a reference value Preferably.
  • the specified conditions are appropriately defined in consideration of the following matters (1) and (2). That is, (1) if the amount of operation of the remote control mechanism 211 exceeds the threshold value, there is a probability that the operator intends to maintain the turning direction of the work machine 40 according to the direction of operation of the remote control mechanism 211 up to that point. expensive. Furthermore, (2) if the turning angular velocity of the working machine 40 exceeds the reference value, there is a high probability that the turning of the working machine 40 is maintained due to inertia. Therefore, as described above, a situation is avoided in which the turning direction of the work machine 40 intended by the operator, which is reflected in the operating direction of the remote control mechanism 211, does not match the actual turning direction of the work machine 40. sell.
  • the remote image output device 221 switches and outputs the work site image and the real machine environment image acquired through the real machine imaging device 412 mounted on the work machine 40,
  • the sub-designation condition that the work site image is output by the remote image output device 221 is satisfied, switching of the correspondence relationship between the operation direction of the remote control mechanism 211 and the turning direction of the work machine 40 may be allowed. preferable.
  • the remote operation support system with this configuration, while the actual machine environment image is being output to the remote image output device 221, the work site image is not output. In this state, there is little or no need to match each of the two different operation directions of the remote control mechanism 211 with the turning direction of the work machine 40 in the work site image output by the remote image output device 221. Therefore, in this state, it is possible to avoid a situation where the switching of the turning direction of the work machine 40 in response to the turning command according to the operating direction of the remote control mechanism 211 is allowed in vain.
  • the remote image output device it is preferable to cause the remote image output device to output correspondence information regarding the correspondence between the operation direction of the remote control mechanism 211 and the turning direction of the work machine 40.
  • the operator can recognize the correspondence between the operation direction of the remote operation mechanism 211 and the turning direction of the work machine 40 through the correspondence information output by the remote image output device 221. .
  • the remote control device 20 of the present invention includes a remote control device 200, a remote control mechanism 211, and a remote image output device 221, which constitute the remote control support system configured as described above.
  • Imaging device 20 Remote control device 40. Working machine 41. Lower traveling body 42. Upper revolving body 44. Working mechanism 200.. Remote control device (remote operation support system) 210...Remote input interface 211...Remote operation mechanism 220...Remote output interface 221...Remote image output device 222...Remote sound output device 400...Real device control device 410...Real device input interface 420 VietnameseReal device output interface 445..Attachment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

オペレータによる遠隔操作機構の操作方向と、当該オペレータが意図する遠隔にある作業機械の旋回方向と、の整合性の向上を図りうるシステム等を提供する。遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が調整されながら当該遠隔操作機構２１１の操作方向に応じた旋回指令が作業機械４０に対して出力される。遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が切り替えられる場合があるが、当該切り替えのためには指定条件が満たされている必要がある。「指定条件」とは、前記のように、遠隔操作機構の操作量および作業機械の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いことを表わす条件である。

Description

遠隔操作支援システムおよび遠隔操作装置
　本発明は、油圧ショベル等の作業機械を遠隔操作するための技術に関する。
　ラジコンショベルにおいて、搭乗操作時と同様の操作感覚での操作を実現するため、オペレータおよび作業機械の絶対方位角（基準方位角）がなす角度を算出し、レバー入力方位と同じ方向に作業機械の先端部が移動するように当該作業機械の動作を制御する技術が提案されている（例えば、特許文献１参照）。
実開平０２－０５４８６０号公報
　しかし、当該先行技術によれば、オペレータが肉眼で作業機械を視認しながら手元にあるラジコンを用いて操作することが想定されており、オペレータが遠隔地にある作業機械をモニタで視認しながら遠隔操作することは想定されていない。また、作業機械の向きとレバーの操作方向とが一致して当該作業機械の旋回方向が入れ替わった後も、操作が継続された場合、作業機械に振動が生じ、あるいは、その動作が停止する可能性がある。
　そこで、本発明は、オペレータによる遠隔操作機構の操作方向と、当該オペレータが意図する遠隔にある作業機械の旋回方向と、の整合性の向上を図りうるシステム等を提供することを目的とする。
　本発明の遠隔操作支援システムは、
　遠隔操作機構の異なる２つの操作方向のそれぞれと、作業現場に存在する撮像装置を通じて取得され、遠隔画像出力装置により出力される作業現場画像における作業機械の相互に反対向きの２つの旋回方向のそれぞれと、が整合するように、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係を調整しながら前記遠隔操作機構の操作方向に応じた旋回指令を前記作業機械に対して出力し、
　前記遠隔操作機構の操作量および前記作業機械の旋回角のうち少なくとも一方に鑑みて、前記遠隔操作機構のそれまでの操作方向に応じた前記作業機械の旋回方向を維持する必要性が低いことを表わす指定条件が満たされている場合、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係の切り替えを許容する。
　当該構成の遠隔操作支援システムによれば、遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が調整されながら当該遠隔操作機構の操作方向に応じた旋回指令が作業機械に対して出力される。これにより、遠隔操作機構の異なる２つの操作方向のそれぞれと、遠隔画像出力装置により出力される作業現場画像における作業機械の相互に反対向きの２つの旋回方向のそれぞれとの整合が図られている。
　当該整合のため、遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が切り替えられるまたは変更される場合があるが、当該切り替えのためには指定条件が満たされている必要がある。「指定条件」とは、遠隔操作機構の操作量および作業機械の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構のそれまでの操作方向に応じた作業機械の旋回方向を維持する必要性が低いことを表わす条件である。このため、当該必要性が高いにもかかわらず、遠隔操作機構の操作方向および作業機械の旋回方向との対応関係が切り替えられてしまい、遠隔操作機構の操作方向に反映されているオペレータが意図する作業機械の旋回方向と、当該作業機械の実際の旋回方向とが整合しなくなる事態が回避されうる。この結果、オペレータによる遠隔操作機構の操作方向と、当該オペレータが意図する作業機械の旋回方向との整合性の向上が図られている。
遠隔操作システムおよび遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作システムの機能に関する説明図。 実機環境画像の例示説明図。 作業現場画像の例示説明図。 撮像装置の撮像方向に対する作業機械の相対的な旋回角に関する説明図。 対応関係情報の出力形態に関する説明図。
　図１には、作業現場に存在する撮像装置１０と、遠隔操作装置２０と、当該遠隔操作装置２０による遠隔操作対象である作業機械４０と、が示されている。撮像装置１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。撮像装置１０および遠隔操作装置２０の相互通信ネットワークと、撮像装置１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
　（撮像装置の構成）
　撮像装置１０は、一または複数の作業機械４０が存在する作業現場に設置されている支柱等の構造物に取り付けられている。撮像装置１０は、無人飛行機に搭載されていてもよい。撮像装置１０は、撮像機能のほか、撮像画像の外部機器への送信機能を有している。撮像装置１０は、一の作業現場に一の撮像装置１０が配置されていてもよく、複数の撮像装置１０が配置されていてもよい。
　（遠隔操作装置の構成）
　図１に示されているように、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、遠隔無線通信機器２２４と、を備えている。遠隔制御装置２００は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。本実施形態では、遠隔制御装置２００が「遠隔操作支援システム」を構成している。
　遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
　シートＳｔの前方に下部走行体４１を構成する左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成される主画像出力装置２２１Ａと、主画像出力装置２２１Ａの上部に配置された補助画像出力装置２２１Ｂにより構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および、右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
　図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角θ１およびθ２は同じであっても相違していてもよい。
　中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
　補助画像出力装置２２１Ｂは、一又は複数の画面を有しており、各画面の縦幅及び横幅は中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面よりも小さく構成される。
　遠隔画像出力装置２２１が、シートＳｔを取り囲むように湾曲または屈曲した単一の画像出力装置によって構成されていてもよい。単一の画像出力装置が、例えば、中央遠隔画像出力装置２２１０により構成されていてもよい。遠隔画像出力装置２２１が、２つの画像出力装置（例えば、中央遠隔画像出力装置２２１０および左側遠隔画像出力装置２２１１または右側遠隔画像出力装置２２１２）によって構成されていてもよい。
　（作業機械の構成）

　作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回可能に搭載されている上部旋回体４２と、を備えている。上部旋回体４２の前方左側部にはキャブ４５（運転室）が設けられている。上部旋回体４２の前方中央部には作業機構４４が設けられている。
　図３に示されているように、作業機構としての作業機構４４は、上部旋回体４２に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているアタッチメント４４５（例えば、バケット）と、を備えている。作業機構４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してアタッチメント４４５をアーム４４３に対して水平軸回りに回動させるように当該アタッチメント４４５と当該アーム４４３との間に介在する。
図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、実機無線通信機器４２２と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　図１に示されているように、実機入力インターフェース４１０は、実機操作機構４１１と、実機センサ群４１４と、を備えている。実機操作機構４１１は、キャブ４５の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４５に設けられている。実機撮像装置４１２は、例えば、キャブ４５の内部に設置され、フロントウィンドウ越しに作業機構４４の少なくとも一部（例えば、アタッチメント４４５）を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機センサ群４１４は、下部走行体４１に対する上部旋回体４２の旋回角を測定するための旋回角センサ、および、作業機構４４の姿勢を表わす姿勢角を測定するための姿勢角センサなど、作業機械４０の動作状況を測定するためのさまざまなセンサにより構成されている。

　（遠隔操作装置による作業機械の遠隔操作）
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が作業機械４０に対して送信される。そして、作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合、作業機構４４等の動作が制御される。例えば、アタッチメント４４５により作業機械４０の前方の土砂をすくい、上部旋回体４２を旋回させたうえでアタッチメント４４５から当該土砂を落とす作業が実行される。
　（機能）
　前記構成の遠隔操作支援システム、ひいては遠隔制御装置２００の機能について図４に示されているフローチャートを用いて説明する。当該機能には、遠隔操作機構２１１の操作方向と、作業機械４０の旋回方向との対応関係を調整する機能が含まれている。遠隔操作機構２１１の操作方向とは、具体的には、旋回レバーとして機能する左側操作レバー２１１１または右側操作レバー２１１２の異なる２つの操作方向（左方向および右方向または前方向および後方向）である（図２参照）。作業機械４０の旋回方向とは、具体的には、下部走行体４１に対する上部旋回体４２の相互に反対向きの２つの旋回方向である（図３参照）。遠隔操作機構２１１は、左操作と右操作の両方を受け付け可能である左側操作レバー２１１１や右側操作レバー２１１２に限られず、左操作および右操作に対応する個別の操作方向について操作を受付可能な操作レバーやスティック、ボタン等が複数搭載されることで構成されてもよい。以下、実施形態では、左側操作レバー２１１１が異なる２つの操作方向（左方向および右方向）に操作される構成を前提として説明する。
　遠隔操作機構２１１の操作方向と、作業機械４０の旋回方向との対応関係の切り替えを保留する期間を表わすタイマのカウント数ｔが「０」に設定される（図４／ＳＴＥＰ１０１）。
　実機撮像装置４１２を通じて撮像された実機環境画像が、実機無線通信機器４２４により作業機械４０から遠隔操作装置２０に対して送信され、これにより遠隔制御装置２００により実機環境画像が取得される（図４／ＳＴＥＰ１０２）。実機環境画像は、例えば図５に示されているように、キャブ４５を画定する窓枠を通じて、キャブ４５の前方において、作業機構４４の一部であるブーム４４１、アーム４４３およびアタッチメント４４５、ならびに、土砂、資材および／または建造物などなどが映り込んでいる画像である。実機環境画像は、撮像画像そのもののほか、当該撮像画像のデータに基づいて生成された模擬的な画像であってもよい。
　作業現場に存在する撮像装置１０を通じて撮像された作業現場画像が、当該撮像装置１０から遠隔操作装置２０に対して送信され、これにより遠隔制御装置２００により作業現場画像が取得される（図４／ＳＴＥＰ１０４）。作業現場画像は、例えば図６に示されているように、遠隔操作装置２０を通じた遠隔操作対象である作業機械４０およびその周辺の存在する土砂、資材および／または建造物などが映り込んでいる画像である。作業現場画像は、撮像画像そのもののほか、当該撮像画像のデータに基づいて生成された模擬的な画像であってもよい。撮像装置１０が無人飛行機に搭載されている場合、作業現場画像が鳥瞰画像であってもよい。
　本実施形態では、オペレータによる遠隔入力インターフェース２１０を通じた選択操作に応じて、遠隔画像出力装置２２１の主画像出力装置２２１Ａに出力される画像として、実機環境画像（図５参照）および作業現場画像（図６参照）が切り替えられる。具体的に、遠隔制御装置２００が取得した実機環境画像および作業現場画像は、主画像出力装置２２１Ａと補助画像出力装置２２１Ｂの複数の画面の少なくとも１つとの間にて択一的に出力可能であり、当該選択操作に応じて出力された実機環境画像および作業現場画像の出力先が主画像出力装置２２１Ａおよび補助画像出力装置２２１Ｂとの間で切り替えられる。主画像出力装置２２１Ａに出力される実機環境画像または作業現場画像は、中央遠隔画像出力装置２２１０のみに出力されてもよく、画像が分割されて中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置に分割した画像がそれぞれ表示可能なように構成されてもよい。なお、実機環境画像および作業現場画像の切り替えに際して、補助画像出力装置２２１Ｂへの実機環境画像または作業現場画像の出力が省略されてもよい。
　撮像装置１０の撮像方向（光軸方向）に対する、作業機械４０の旋回方位を表わす相対方位角γが認識される（図４／ＳＴＥＰ１０６）。例えば、図７に示されているように、作業現場における実空間座標系または世界座標系における基準方位（図７の上方向）に対する撮像装置１０の撮像方向を表わす撮像方位角θと、当該基準方位に対する作業機械４０の上部旋回体４２の前方を表わす旋回方位角φと、の差分θ－φが相対方位角γに相当する。
　例えば、撮像方位角θが撮像装置１０またはデータベースから遠隔操作装置２０に対して送信され、かつ、旋回方位角φが実機センサ群４１４を通じて検知されたうえで実機無線通信機器４２４を通じて作業機械４０から遠隔操作装置２０に対して送信されることにより、遠隔制御装置２００により当該撮像方位角θおよび当該旋回方位角φ、ひいては相対方位角γが認識される。そのほか、撮像装置１０により撮像された作業機械４０を含む作業現場画像が画像解析されるまたは機械学習を用いて構築された学習モデル（学習済みモデル）に入力されることにより、相対方位角γが求められてもよい。
　作業現場画像が鳥瞰画像である場合、当該作業現場画像の座標系において指定方向（例えば、上方向）に対する上部旋回体４２の前方を表わす方位角が相対方位角γとして認識されてもよい。
　相対方位角γが、図７に示されている第１相対方位角範囲Γ１（－１８０°＜γ≦－９０°－δ、９０°＋δ≦γ≦１８０°（０°≦δ≦５°～１０））に含まれている場合、すなわち、撮像装置１０からみて作業機械４０の上部旋回体４２の前方が手前側に向いている場合、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向とは「第１対応関係」に調整される。δは０を含む微小な角度が設定される。第１対応関係において、左側操作レバー２１１１の第１操作方向としての右方向と、下部走行体４１に対する上部旋回体４２の上面視の第１旋回方向としての反時計回り方向と、が対応している。第１対応関係において、左側操作レバー２１１１の第２操作方向としての左方向と、下部走行体４１に対する上部旋回体４２の上面視の第２旋回方向としての時計回り方向と、が対応している。
　相対方位角γが、図７に示されている第２相対方位角範囲Γ２（－９０°＋δ≦γ≦９０°－δ（０°≦δ≦５°～１０））に含まれている場合、すなわち、撮像装置１０からみて作業機械４０の上部旋回体４２の前方が奥側に向いている場合、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向とは「第２対応関係」に調整される。δは０を含む微小な角度が設定される。第２対応関係において、左側操作レバー２１１１の第１操作方向としての右方向と、下部走行体４１に対する上部旋回体４２の上面視の第２旋回方向としての時計回り方向と、が対応している。第２対応関係において、左側操作レバー２１１１の第２操作方向としての左方向と、下部走行体４１に対する上部旋回体４２の上面視の第１旋回方向としての反時計回り方向と、が対応している。
　続いて、主画像出力装置２２１Ａに出力されている画像が、実機環境画像（図５参照）および作業現場画像（図６参照）のいずれであるかが判定される（図４／ＳＴＥＰ１１０）。
　主画像出力装置２２１Ａに出力されている画像が「実機環境画像」であると判定された場合（図４／ＳＴＥＰ１１０‥２）、タイマカウント数ｔの「０」への設定処理（図４／ＳＴＥＰ１０１参照）以降の一連の処理が繰り返される。
主画像出力装置２２１Ａに出力されている画像が「作業現場画像」であると判定された場合（図４／ＳＴＥＰ１１０‥１）、指定条件が満足されているか否かが判定される（図４／ＳＴＥＰ１１２）。「指定条件」は、遠隔操作機構２１１の操作量および作業機械４０の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いことを表わす条件である。例えば、遠隔操作機構２１１の操作量（左側操作レバー２１１１の左右方向への傾動角または変位量）が閾値（例えば、０°±ε（０°＜ε≦５°～１０°））以下であるという条件、および／または、作業機械４０の（下部走行体４１に対する上部旋回体４２の）旋回角速度ω＝ｄφ／ｄｔが基準値（例えば、δω（０＜δω≦０．１°ｓ-1～１°ｓ-1））以下であるという条件が指定条件として定義されている。

　そのほか、相対方位角γが、図７に示されている第１相対方位角範囲Γ１および第２相対方位角範囲Γ２の両方から外れているという条件（－９０°－δ＜γ＜－９０°＋δ、９０°－δ＜γ＜９０°＋δの場合）、または、相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２の境界付近の相対方位角範囲に含まれているという条件（γ＝－９０°±δ、９０°±δの場合）が指定条件に含まれていてもよい。当該条件が指定条件に含まれている場合、遠隔操作機構２１１の操作量が閾値以下であるという条件、および、作業機械４０の旋回角速度ωが基準値以下であるという条件のうち一方が指定条件に含まれていなくてもよい。
　指定条件が満たされていないと判定された場合（図４／ＳＴＥＰ１１２‥ＮＯ）、タイマカウント数ｔの「０」への設定処理（図４／ＳＴＥＰ１０１参照）以降の一連の処理が繰り返される。すなわち、この場合、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係は切り替えられない。
　その一方、指定条件が満たされていると判定された場合（図４／ＳＴＥＰ１１２‥ＹＥＳ）、タイマカウント数ｔが「１」だけ増加され（図４／ＳＴＥＰ１１４）、その上でタイマカウント数ｔが所定値ｔ０以上であるか否かが判定される（図４／ＳＴＥＰ１１６）。タイマカウント数ｔが所定値ｔ０未満であると判定された場合（図４／ＳＴＥＰ１１６‥ＮＯ）、実機環境画像の取得処理（図４／ＳＴＥＰ１０２参照）以降の一連の処理が繰り返される。所定値ｔ０は、指定条件が所定値ｔ０以上に亘って継続されたことを条件として遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いという判断の確度を向上させる観点から設定されている。遠隔操作機構２１１の操作量が閾値以下である、および／または、作業機械４０の旋回角速度が基準値以下であり、オペレータにより作業機械４０を旋回させる意思がないことが明確であるので、作業機械４０の旋回方向を維持する必要性が低いとの判断がされる。例えば、所定値ｔ０は、遠隔操作機構２１１の操作量および／または作業機械４０の旋回角（もしくは旋回角速度）に基づいて適応的に設定されてもよい。　タイマカウント数ｔが所定値ｔ０以上であると判定された場合（図４／ＳＴＥＰ１１６‥ＹＥＳ）、相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２のいずれに含まれているかが判定される（図４／ＳＴＥＰ１２０）。
　相対方位角γが第１相対方位角範囲Γ１に含まれていると判定された場合（図４／ＳＴＥＰ１２０‥１）、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が「第１対応関係」に切り替えられる（図４／ＳＴＥＰ１２１）。
　これにより、左側操作レバー２１１１が第１操作方向（右方向）に操作された場合、下部走行体４１に対して上部旋回体４２を第１旋回方向（上面視で反時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第１旋回方向に旋回される。上部旋回体４２の旋回量の多少は、左側操作レバー２１１１の操作量の多少に応じて制御されてもよい。
　また、左側操作レバー２１１１が第２操作方向（左方向）に傾動または変位された場合、下部走行体４１に対して上部旋回体４２を第２旋回方向（上面視で時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第２旋回方向に旋回される。
　相対方位角γが第２相対方位角範囲Γ２に含まれていると判定された場合（図４／ＳＴＥＰ１２０‥２）、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が「第２対応関係」に切り替えられる（図４／ＳＴＥＰ１２２）。
　これにより、左側操作レバー２１１１が第１操作方向（右方向）に操作された場合、下部走行体４１に対して上部旋回体４２を第２旋回方向（上面視で時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第２旋回方向に旋回される。
　また、左側操作レバー２１１１が第２操作方向（左方向）に傾動または変位された場合、下部走行体４１に対して上部旋回体４２を第１旋回方向（上面視で反時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第１旋回方向に旋回される。
　相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２のどちらにも含まれていないと判定された場合（図４／ＳＴＥＰ１２０‥３）、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係は、「第１対応関係」および「第２対応関係」のどちらにも切り替えられない。すなわち、遠隔操作機構２１１の操作方向に基づいてのみ作業機械４０の旋回方向が決定され、相対方位角γは考慮しない。
　この場合、例えば、左側操作レバー２１１１が第１操作方向（右方向）に操作された場合、下部走行体４１に対して上部旋回体４２を第２旋回方向（上面視で時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第２旋回方向に旋回される。
　また、左側操作レバー２１１１が第２操作方向（左方向）に傾動または変位された場合、下部走行体４１に対して上部旋回体４２を第１旋回方向（上面視で反時計回り方向）に旋回させるような旋回指令が、遠隔操作装置２０から作業機械４０に対して送信される。これに応じて、実機制御装置４００により旋回機構４３の動作が制御され、下部走行体４１に対して上部旋回体４２が第１旋回方向に旋回される。
　なお、図７に示されている相対方位角γが第１相対方位角範囲Γ１および第２相対方位角範囲Γ２のどちらにも含まれていない角度範囲について、第１相対方位角範囲Γ１および第２相対方位角範囲Γ２の何れか一方に含まれるものとして構成してもよい。
（作用効果）
　当該機能を発揮する本発明の一実施形態としての遠隔制御装置２００（遠隔操作支援システム）によれば、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が調整されながら当該遠隔操作機構２１１の操作方向に応じた旋回指令が作業機械４０に対して出力される（図４／ＳＴＥＰ１２０‥１→ＳＴＥＰ１２１および図４／ＳＴＥＰ１２０‥２→ＳＴＥＰ１２２参照）。これにより、遠隔操作機構２１１の異なる２つの操作方向のそれぞれと、遠隔画像出力装置２２１により出力される作業現場画像における作業機械４０の相互に反対向きの２つの旋回方向のそれぞれとの整合が図られている。
　当該整合のため、遠隔操作機構の操作方向と作業機械の旋回方向との対応関係が切り替えられるまたは変更される場合があるが（図４／ＳＴＥＰ１２０‥１→ＳＴＥＰ１２１および図４／ＳＴＥＰ１２０‥２→ＳＴＥＰ１２２参照）、当該切り替えのためには指定条件が満たされている必要がある（図４／ＳＴＥＰ１１２参照）。「指定条件」とは、前記のように、遠隔操作機構の操作量および作業機械の旋回角のうち少なくとも一方に鑑みて、遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向を維持する必要性が低いことを表わす条件である。
　このため、当該必要性が高いにもかかわらず、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向との対応関係が切り替えられてしまい、遠隔操作機構２１１の操作方向に反映されているオペレータが意図する作業機械４０の旋回方向と、当該作業機械４０の実際の旋回方向とが整合しなくなる事態が回避されうる。例えば、相対方位角γが第１相対方位角範囲Γ１に含まれている状態から第２相対方位角範囲Γ２に含まれている状態に遷移した場合でも、指定条件が満たされていなければ、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向との対応関係が第１対応関係から第２対応関係に切り替えられずに第１対応関係に維持される。同様に、相対方位角γが第２相対方位角範囲Γ２に含まれている状態から第１相対方位角範囲Γ１に含まれている状態に遷移した場合でも、指定条件が満たされていなければ、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向との対応関係が第２対応関係から第１対応関係に切り替えられずに第２対応関係に維持される。この結果、オペレータによる遠隔操作機構２１１の操作方向と、当該オペレータが意図する作業機械４０の旋回方向との整合性の向上が図られている。
　（本発明の他の実施形態）
　前記実施形態では、遠隔制御装置２００により遠隔操作支援システムが構成されていたが、他の実施形態として、遠隔操作装置２０の外部に存在するコンピュータ（サーバコンピュータなど）により遠隔操作支援システムが構成されていてもよい。
　遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係に関する対応関係情報が遠隔画像出力装置２２１に出力されてもよい。例えば、図８に示されているように、第１操作方向を表わす右向き直線矢印状の画像Ｍ２１、第２操作方向を表わす左向き直線矢印状の画像Ｍ２２、第１旋回方向を表わす円弧矢印状の画像Ｍ４１および第２旋回方向を表わす円弧矢印状の画像Ｍ４２が、作業現場画像に重畳されて出力されてもよい。画像Ｍ２１および画像Ｍ２２は遠隔操作機構２１１を表わすイラスト画像と並んで出力される。
　画像Ｍ４１および画像Ｍ４２は作業現場画像におけるアタッチメント４４５の画像の周囲に相対方位角γに応じて表示位置と向きが調整されて出力される。相対方位角γ＝０°の場合には、アタッチメント４４５の画像を挟んで左側には円弧矢印を左側に向けて画像Ｍ４１が配置され、右側には円弧矢印を右側に向けて画像Ｍ４２が配置される。相対方位角γ＝０°からγ＝－１８０°まで変化する過程においては、画像Ｍ４１と画像Ｍ４２は相対方位角γに応じて時計回りに傾きが変化され、アタッチメント４４５の画像に対する表示位置が相対方位角γに応じて時計回り方向に変化される。例えば、図８に示されているように、画像Ｍ４１の円弧矢印が奥側に向かい画像Ｍ２２の円弧矢印が手前側に向かうように表示位置と傾きが変化される。相対方位角γ＝－１８０°の場合にはアタッチメント４４５の画像を挟んで左側には円弧矢印を左側に向けて画像Ｍ４２が配置され、右側には円弧矢印を右側に向けて画像Ｍ４１が配置される。相対方位角γ＝０°からγ＝１８０°まで変化する過程においては、画像Ｍ４１と画像Ｍ４２は相対方位角γに応じて反時計回り傾きが変化され、アタッチメント４４５の画像に対する表示位置が相対方位角γに応じて反時計回り方向に変化される。画像Ｍ４１と画像Ｍ４２は、作業現場画像における縦方向の長さが小さくなるように補正される。
　図８においては、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係は「第２対応関係」にあり、画像Ｍ２１と画像Ｍ４１が第一の色により着色され、画像Ｍ２２と画像Ｍ４２に第一の色とは異なる第二の色により着色されている。また、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係が「第１対応関係」にある場合には、画像Ｍ２１と画像Ｍ４２が第一の色により着色され、画像Ｍ２２と画像Ｍ４１が第二の色により着色される。そのほか、画像Ｍ２１、Ｍ２２、Ｍ４１およびＭ４２が含まれているダイヤグラムが、作業現場画像とは別個に遠隔画像出力装置２２１に出力されてもよい。当該対応関係が「第１対応関係」および「第２対応関係」のいずれであるかを示すテキストが遠隔画像出力装置２２１に出力されてもよい。
　この場合、遠隔画像出力装置２２１により出力される対応関係情報を通じて、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向の対応関係を視覚的にオペレータに認識させることができる。
　前記構成の遠隔操作支援システムにおいて、
　前記指定条件が、遠隔操作機構２１１の操作量が閾値以下であるという条件、および、作業機械４０の旋回角の時系列に応じた旋回角速度が基準値以下であるという条件のうち少なくとも一方を含んでいることが好ましい。
　当該構成の遠隔操作支援システムによれば、次の事項（１）および（２）に鑑みて適当に指定条件が定義されている。すなわち、（１）遠隔操作機構２１１の操作量が閾値を超えている場合、遠隔操作機構２１１のそれまでの操作方向に応じた作業機械４０の旋回方向の維持をオペレータが意図している蓋然性が高い。また、（２）作業機械４０の旋回角速度が基準値を超えている場合、作業機械４０の旋回が慣性により維持されている蓋然性が高い。よって、前記のように、遠隔操作機構２１１の操作方向に反映されている、オペレータが意図する作業機械４０の旋回方向と、当該作業機械４０の実際の旋回方向とが整合しなくなる事態が回避されうる。
　前記構成の遠隔操作支援システムにおいて、
　遠隔画像出力装置２２１により作業現場画像と、作業機械４０に搭載されている実機撮像装置４１２を通じて取得された実機環境画像と、が切り替えられて出力され、
　遠隔画像出力装置２２１により作業現場画像が出力されているという副指定条件が満たされている場合、遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係の切り替えを許容することが好ましい。
　当該構成の遠隔操作支援システムによれば、遠隔画像出力装置２２１に実機環境画像が出力されている状態では、作業現場画像は出力されない。この状態では、遠隔操作機構２１１の異なる２つの操作方向のそれぞれと、遠隔画像出力装置２２１により出力される作業現場画像における作業機械４０の旋回方向との整合を図る必要性は低いまたはない。よって、この状態で遠隔操作機構２１１の操作方向に応じた旋回指令における作業機械４０の旋回方向の切り替えが無駄に許容される事態が回避されうる。
　前記構成の遠隔操作支援システムにおいて、
　遠隔操作機構２１１の操作方向と作業機械４０の旋回方向との対応関係に関する対応関係情報を前記遠隔画像出力装置に出力させることが好ましい。
　当該構成の遠隔操作支援システムによれば、遠隔画像出力装置２２１により出力される対応関係情報を通じて、遠隔操作機構２１１の操作方向および作業機械４０の旋回方向の対応関係をオペレータに認識させることができる。
　本発明の遠隔操作装置２０は、前記構成の遠隔操作支援システムを構成する遠隔制御装置２００と、遠隔操作機構２１１と、遠隔画像出力装置２２１と、を備えている。
　１０‥撮像装置
　２０‥遠隔操作装置
　４０‥作業機械
　４１‥下部走行体
　４２‥上部旋回体
　４４‥作業機構
２００‥遠隔制御装置（遠隔操作支援システム）
２１０‥遠隔入力インターフェース
２１１‥遠隔操作機構
２２０‥遠隔出力インターフェース
２２１‥遠隔画像出力装置
２２２‥遠隔音響出力装置
４００‥実機制御装置
４１０‥実機入力インターフェース
４２０‥実機出力インターフェース
４４５‥アタッチメント。
 

Claims (5)

  1. 　遠隔操作機構の異なる２つの操作方向のそれぞれと、作業現場に存在する撮像装置を通じて取得され、遠隔画像出力装置により出力される作業現場画像における作業機械の相互に反対向きの２つの旋回方向のそれぞれと、が整合するように、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係を調整しながら前記遠隔操作機構の操作方向に応じた旋回指令を前記作業機械に対して出力し、
    　前記遠隔操作機構の操作量および前記作業機械の旋回角のうち少なくとも一方に鑑みて、前記遠隔操作機構のそれまでの操作方向に応じた前記作業機械の旋回方向を維持する必要性が低いことを表わす指定条件が満たされている場合、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係の切り替えを許容する
    遠隔操作支援システム。
  2. 　請求項１に記載の遠隔操作支援システムにおいて、
    　前記指定条件が、前記遠隔操作機構の操作量が閾値以下であるという条件、および、前記作業機械の旋回角の時系列に応じた旋回角速度が基準値以下であるという条件のうち少なくとも一方を含んでいる
    遠隔操作支援システム。
  3. 　請求項２に記載の遠隔操作支援システムにおいて、
    　前記遠隔画像出力装置により前記作業現場画像と、前記作業機械に搭載されている実機撮像装置を通じて取得された実機環境画像と、が切り替えられて出力され、
    　前記遠隔画像出力装置により前記作業現場画像が出力されているという副指定条件が満たされている場合、前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係の切り替えを許容する
    遠隔操作支援システム。
  4. 　請求項１に記載の遠隔操作支援システムにおいて、
    　前記遠隔操作機構の操作方向と前記作業機械の旋回方向との対応関係に関する対応関係情報を前記遠隔画像出力装置に出力させる
    遠隔操作支援システム。
  5. 　請求項１～４のうちいずれか1項に記載の遠隔操作支援システムを構成する遠隔制御装置と、前記遠隔操作機構と、前記遠隔画像出力装置と、を備えている
    遠隔操作装置。
     
PCT/JP2023/018398 2022-06-01 2023-05-17 遠隔操作支援システムおよび遠隔操作装置 WO2023234025A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022089499A JP2023176917A (ja) 2022-06-01 2022-06-01 遠隔操作支援システムおよび遠隔操作装置
JP2022-089499 2022-06-01

Publications (1)

Publication Number Publication Date
WO2023234025A1 true WO2023234025A1 (ja) 2023-12-07

Family

ID=89026529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018398 WO2023234025A1 (ja) 2022-06-01 2023-05-17 遠隔操作支援システムおよび遠隔操作装置

Country Status (2)

Country Link
JP (1) JP2023176917A (ja)
WO (1) WO2023234025A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0254860U (ja) * 1988-10-13 1990-04-20
JP2007092398A (ja) * 2005-09-29 2007-04-12 Kubota Corp 旋回作業機
WO2019189589A1 (ja) * 2018-03-30 2019-10-03 住友建機株式会社 ショベル

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0254860U (ja) * 1988-10-13 1990-04-20
JP2007092398A (ja) * 2005-09-29 2007-04-12 Kubota Corp 旋回作業機
WO2019189589A1 (ja) * 2018-03-30 2019-10-03 住友建機株式会社 ショベル

Also Published As

Publication number Publication date
JP2023176917A (ja) 2023-12-13

Similar Documents

Publication Publication Date Title
US10508417B2 (en) Construction information display device and method for displaying construction information
JP7070047B2 (ja) 旋回式作業機械の旋回制御装置
US20140326471A1 (en) Motor Grader Cross Slope Control With Articulation Compensation
JP7247769B2 (ja) 遠隔操作システム
JP6581136B2 (ja) 作業機械
US11447929B2 (en) Construction machine
EP4036325A1 (en) Excavator and excavator display device
WO2020194883A1 (ja) 遠隔操作システム
WO2023234025A1 (ja) 遠隔操作支援システムおよび遠隔操作装置
CN113544337B (zh) 作业机械用操作机构以及具备该操作机构的作业机械
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2020154850A (ja) 作業機械
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
JP7367606B2 (ja) 遠隔操作支援装置および遠隔操作支援方法
JP7225935B2 (ja) 遠隔操作システム
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
JP7441733B2 (ja) 実機状態監視システムおよび実機状態監視方法
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7363560B2 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2022230939A1 (ja) 表示制御装置、表示制御方法および作業機械
JP2022144491A (ja) 撮像機能制御システムおよび撮像機能制御方法
JP7444094B2 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
US20220298748A1 (en) Remote operation support system and remote operation support method
WO2021124858A1 (ja) 遠隔操作装置および遠隔操作システム
JPH05202532A (ja) 多関節建設機械の作業機操作装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23815784

Country of ref document: EP

Kind code of ref document: A1