WO2022195988A1 - 遠隔操作支援サーバおよび遠隔操作支援システム - Google Patents

遠隔操作支援サーバおよび遠隔操作支援システム Download PDF

Info

Publication number
WO2022195988A1
WO2022195988A1 PCT/JP2021/045780 JP2021045780W WO2022195988A1 WO 2022195988 A1 WO2022195988 A1 WO 2022195988A1 JP 2021045780 W JP2021045780 W JP 2021045780W WO 2022195988 A1 WO2022195988 A1 WO 2022195988A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote
real space
space area
remote operation
operation support
Prior art date
Application number
PCT/JP2021/045780
Other languages
English (en)
French (fr)
Inventor
有輝 森田
真輝 大谷
祐介 澤田
佑介 上村
洋一郎 山▲崎▼
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to CN202180095647.5A priority Critical patent/CN117043732A/zh
Priority to EP21931730.2A priority patent/EP4279667A1/en
Priority to US18/278,209 priority patent/US20240141616A1/en
Publication of WO2022195988A1 publication Critical patent/WO2022195988A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Definitions

  • the present invention relates to technology for informing workers of the state of a working machine.
  • the blind spot area from the driver's seat of the work machine (hydraulic excavator) is calculated based on information on the posture and movement of the work machine. , which determines the visibility level for an obstacle based on the blind spot area and the positional relationship between the obstacle and the working machine, and corrects the warning level according to the visibility level (for example, Patent Document 2). reference).
  • JP 2019-156533 A Japanese Patent No. 6581139
  • the present invention provides a system and the like that can reduce the psychological burden on an operator who remotely operates a working machine when changing the image range acquired by the actual imaging device mounted on the working machine. intended to
  • the remote operation support server of the present invention is A server for supporting remote control of a work machine using a remote control device, A captured image representing the environment of the working machine is obtained through an actual imaging device mounted on the working machine, and a working environment image corresponding to the captured image is displayed on a remote image output device constituting the remote control device.
  • a first support processing element The first support processing element recognizes the future change of the real space area reflected in the work environment image displayed on the remote image output device, and a remote output interface constituting the remote control device, a second support processing element for outputting a notice representing a future change in the real space area; It has
  • the advance notice representing the future change of the real space area reflected in the working environment image displayed on the remote image output device is sent to the remote output interface constituting the remote operation device. output.
  • the space occupation mode of the real space area reflected in the work environment image can change. Then, it is possible for the operator, who has come into contact with the notice, to grasp in advance the future change mode of the real space area reflected in the work environment image. Therefore, immediately after that, according to the notice, when the space occupation mode of the real space area reflected in the work environment image displayed on the remote image output device changes, the operator's psychological burden is reduced. reduction.
  • FIG. 2 is an explanatory diagram regarding functions of the remote operation support system according to the first embodiment; Explanatory drawing about a work environment image. Explanatory drawing about the 1st displacement mode of a virtual sound source. Explanatory drawing about the 2nd displacement mode of a virtual sound source.
  • FIG. 7 is an explanatory diagram regarding functions of a remote operation support system according to the second embodiment;
  • the remote operation support system shown in FIG. 1 includes a remote operation support server 10 , a remote control device 20 , and a working machine 40 remotely controllable through the remote control device 20 . Only one of remote operation device 20 and work machine 14 may be a component of the remote operation support system.
  • Remote operation support server 10, remote operation device 20, and work machine 40 are configured to be able to communicate with each other through a network.
  • the mutual communication network between remote operation support server 10 and remote operation device 20 and the mutual communication network between remote operation support server 10 and work machine 40 may be the same or different.
  • the remote operation support server 10 includes a database 102 , a first support processing element 121 and a second support processing element 122 .
  • the database 102 stores and holds captured image data and the like.
  • the database 102 may be configured by a database server separate from the remote operation support server 10 .
  • Each support processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core that constitutes it), reads necessary data and software from a storage device such as memory, and processes the data into the software. Accordingly, arithmetic processing, which will be described later, is executed.
  • the remote control device 20 includes a remote control device 200 , a remote input interface 210 and a remote output interface 220 .
  • the remote control device 200 is configured by an arithmetic processing device (single-core processor or multi-core processor or a processor core constituting this), reads necessary data and software from a storage device such as a memory, and uses the data as a target for the software. Execute the arithmetic processing accordingly.
  • the remote input interface 210 includes a remote control mechanism 211.
  • Remote output interface 220 includes remote image output device 221 , remote audio output device 222 , and remote wireless communication device 224 .
  • the remote control mechanism 211 includes a traveling operating device, a turning operating device, a boom operating device, an arm operating device, and a bucket operating device.
  • Each operating device has an operating lever that receives a rotating operation.
  • An operating lever (running lever) of the operating device for running is operated to move the lower running body 410 of the work machine 40 .
  • the travel lever may also serve as a travel pedal.
  • a traction pedal may be provided that is fixed to the base or lower end of the traction lever.
  • a control lever (swing lever) of the swing operation device is operated to move a hydraulic swing motor that constitutes the swing mechanism 430 of the work machine 40 .
  • An operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40 .
  • An operating lever (arm lever) of the arm operating device is operated to move the arm cylinder 444 of the working machine 40 .
  • An operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 446 of
  • each control lever that constitutes the remote control mechanism 211 is arranged around the seat St on which the operator sits.
  • the seat St is in the form of a high-back chair with armrests, a low-back chair without a headrest, or a chair without a backrest. may be
  • a pair of left and right travel levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may serve as a plurality of operating levers.
  • the left operation lever 2111 provided in front of the left frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the longitudinal direction, and when operated in the lateral direction. function as a pivot lever.
  • the right operation lever 2112 provided in front of the right frame of the seat St shown in FIG. It may function as a bucket lever in some cases.
  • the lever pattern may be arbitrarily changed by an operator's operation instruction.
  • the remote image output device 221 includes a central remote image output device 2210 having substantially rectangular screens arranged in front, diagonally forward left, and diagonally forward right of the sheet St. It consists of a left remote image output device 2211 and a right remote image output device 2212 .
  • the shapes and sizes of the respective screens (image display areas) of the central remote image output device 2210, the left remote image output device 2211 and the right remote image output device 2212 may be the same or different.
  • the left remote image is tilted such that the screen of the central remote image output device 2210 and the screen of the left remote image output device 2211 form an inclination angle ⁇ 1 (for example, 120° ⁇ 1 ⁇ 150°).
  • the right edge of output device 2211 is adjacent to the left edge of central remote image output device 2210 .
  • the right remote image is tilted such that the screen of the central remote image output device 2210 and the screen of the right remote image output device 2212 form an inclination angle ⁇ 2 (eg, 120° ⁇ 2 ⁇ 150°).
  • the left edge of output device 2212 is adjacent to the right edge of central remote image output device 2210 .
  • the tilt angles ⁇ 1 and ⁇ 2 may be the same or different.
  • the respective screens of the central remote image output device 2210, the left remote image output device 2211, and the right remote image output device 2212 may be parallel to the vertical direction or may be inclined with respect to the vertical direction.
  • At least one remote image output device among the central remote image output device 2210, the left remote image output device 2211 and the right remote image output device 2212 may be composed of a plurality of divided remote image output devices.
  • the central remote image output device 2210 may comprise a pair of vertically adjacent remote image output devices having substantially rectangular screens.
  • the remote sound output device 222 is composed of one or more speakers, for example, as shown in FIG. , a left sound output device 2221 and a right sound output device 2222 .
  • the specifications of the central sound output device 2220, the left sound output device 2221, and the right sound output device 2222 may be the same or different.
  • the remote sound output device 222 implements a virtual sound source V ss which is a positionally displaceable sound around the seat St.
  • the working machine 40 includes a real machine control device 400 , a real machine input interface 41 , a real machine output interface 42 , and a working mechanism 440 .
  • the actual machine control device 400 includes an image processing device 30 .
  • the image processing device 30 comprises a state detection element 31 , an image prediction element 32 and an image compression element 34 .
  • Each of the components of actual machine control device 400 and image processing device 30 is configured by an arithmetic processing device (single-core processor or multi-core processor, or a processor core constituting this), and reads necessary data and software from a storage device such as a memory. It reads the data and executes arithmetic processing on the data according to the software.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. and an upper revolving body 420 .
  • a cab 424 (driver's cab) is provided on the front left side of the upper swing body 420 .
  • a work mechanism 440 is provided in the front central portion of the upper swing body 420 .
  • the real machine input interface 41 includes a real machine operation mechanism 411 , a real machine imaging device 412 , and a real machine peripheral monitoring device 414 .
  • the actual machine operating mechanism 411 includes a plurality of operating levers arranged around a seat arranged inside the cab 424 in the same manner as the remote operating mechanism 211 .
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal corresponding to the operation mode of the remote control lever and moves the actual machine control lever based on the received signal.
  • the actual machine imaging device 412 is installed inside the cab 424, for example, and images the environment including at least part of the working mechanism 440 through the front window and the pair of left and right side windows. Some or all of the front window and side windows may be omitted.
  • the actual machine surroundings monitoring device 414 monitors real space areas (for example, the right side area, the left side area and/or the rear area of the cab 424) that cannot be captured by the actual machine imaging device 412 in a basic attitude (for example, an attitude in which the optical axis is directed forward). and/or blind spots) for detecting the presence of target objects (eg, workers, other work machines and/or vehicles).
  • target objects eg, workers, other work machines and/or vehicles.
  • the real machine output interface 42 includes a real machine wireless communication device 422 .
  • a working mechanism 440 as a working mechanism includes a boom 441 attached to the upper rotating body 420 so as to be able to rise and fall, and an arm 443 rotatably connected to the tip of the boom 441. and a bucket 445 rotatably connected to the tip of the arm 443 .
  • the working mechanism 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are configured by telescopic hydraulic cylinders.
  • the boom cylinder 442 is interposed between the boom 441 and the upper slewing body 420 so as to expand and contract when supplied with hydraulic oil and rotate the boom 441 in the hoisting direction.
  • the arm cylinder 444 is interposed between the arm 443 and the boom 441 so as to expand and contract when supplied with hydraulic oil to rotate the arm 443 about the horizontal axis with respect to the boom 441 .
  • the bucket cylinder 446 is interposed between the bucket 445 and the arm 443 so as to expand and contract when supplied with hydraulic oil to rotate the bucket 445 with respect to the arm 443 about the horizontal axis.
  • FIG. 4 is a flow chart for explaining the functions of the remote operation support system having the above configuration.
  • the block "C ⁇ " is used for simplification of the description, means transmission and/or reception of data, and processing in the branch direction is executed on the condition of transmission and/or reception of the data. It means a conditional branch.
  • an environment confirmation request is transmitted to the remote operation support server 10 through the remote wireless communication device 224 (FIG. 4/STEP 210). For example, it may be determined that the operator performs a designated operation through the remote input interface 210 as a requirement for starting transmission of the environment confirmation request.
  • the “specifying operation” is, for example, an operation such as tapping on the remote input interface 210 for specifying the work machine 40 intended for remote operation by the operator.
  • the first support processing element 121 transmits the environment confirmation request to the relevant work machine 40 (FIG. 4/C10).
  • actual device control device 400 acquires a captured image through actual device imaging device 412, and through actual device wireless communication device 422. , the captured image data representing the captured image is transmitted to the remote operation support server 10 (FIG. 4/STEP 410).
  • the working environment image data corresponding to the captured image is transmitted to the remote control device 20 by the second support processing element 122.
  • the work environment image data is image data representing a simulated work environment image generated based on the captured image as well as the captured image data itself.
  • the remote control device 200 When the remote operation device 20 receives the working environment image data through the remote wireless communication device 224 (FIG. 4/C21), the remote control device 200 outputs the working environment image corresponding to the working environment image data to the remote image output device 221. (FIG. 4/STEP 212).
  • the actual machine control device 400 determines whether or not the working machine 40 is in the specified state (FIG. 4/STEP 411). At this time, it may be determined which one of a plurality of predetermined different designated states the designated state corresponds to.
  • the “specified state” is set in advance so that the actual machine control device 400 causes the actual machine imaging device 412 to perform its pan function and/or tilt function and zoom function in response to the work machine 40 being in the designated state. It is programmed.
  • the specified state may be defined as a state in which the presence of a target object is detected in the blind spot area of the actual imaging device 412 in a normal posture by the actual peripheral monitoring device 414 .
  • the left area of the cab 424 is a blind spot area for the actual imaging device 412 in a normal posture. and its optical axis is directed downward (or upward) by the tilt function as required.
  • the right side area of the cab 424 is a blind spot area for the actual imaging device 412 in a normal posture. direction, and its optical axis is directed downward (or upward) by a tilt function if necessary.
  • the specified state may be defined as a state in which the presence of a specified type of target object is detected in the real space area to be imaged by the actual imaging device 412 .
  • the zoom-in function of the actual imaging device 412 increases the display magnification of the image area containing the target object.
  • the zoom-out function of the actual imaging device 412 reduces the display magnification of the image area containing the target object.
  • pan and/or tilt functions may be controlled to adjust the position of the target object in the captured image.
  • a state in which it is detected that the displacement amount and/or the displacement speed of the target object in the real space area to be imaged by the real imaging device 412 is equal to or greater than a predetermined value may be defined as the specified state.
  • the pan function and/or tilt function of the actual imaging device 412 adjusts the optical axis of the actual imaging device 412 so as to follow the target object. Orientation is changed.
  • the actual machine control device 400 controls the attitude change function (pan function and/or tilt function) of the actual machine imaging device 412 according to the specified state. ) and/or the control mode of the zoom function is recognized, and the recognition result is transmitted to the remote operation support server 10 through the actual wireless communication device 422 (FIG. 4/STEP 412).
  • the correspondence relationship between the specified state (type) and the control mode of the attitude change function and/or the zoom function of the actual imaging device 412 may be stored in the storage device or database 102 that constitutes the actual device control device 400 .
  • the subsequent processing is executed without recognizing the control mode such as the zoom function of the actual imaging device 412 .
  • the second support processing element 122 When the remote operation support server 10 receives the control mode of the attitude change function and/or the zoom function of the actual imaging device 412 (FIG. 4/C12), the second support processing element 122 generates the captured image (and thus the work environment image). ) is recognized and transmitted to the work machine 40 (FIG. 4/STEP 112).
  • the panning function of the actual imaging device 412 changes the direction of the optical axis to the left or right
  • the second support processing element 122 recognizes that the real space area reflected in the captured image is similarly displaced to the left or right.
  • the second support processing element 122 recognizes that the real space area reflected in the captured image is similarly displaced vertically.
  • the second support processing element 122 recognizes that the real space area reflected in the captured image is enlarged.
  • the zoom magnification is reduced by the zoom-out function of the actual imaging device 412, the second support processing element 122 recognizes that the real space area reflected in the captured image is reduced.
  • remote control device 20 When remote control device 20 receives a change in the real space area through remote wireless communication device 224 (FIG. 4/C22), remote control device 200 outputs a notice indicating the change through remote output interface 220. (FIG. 4/STEP 214).
  • the remote sound output device The virtual sound source V ss realized by 222 is controlled to be displaced leftward (the same direction as the displacement direction of the real space area).
  • the virtual sound source Vss in addition to or instead of displacing the virtual sound source Vss , as shown in FIG. Icon A1 may be output.
  • the designated icon may be output so as to move in the same direction as the virtual sound source V ss on the remote image output device 221 .
  • control is performed so that the sound gradually becomes stronger and/or the frequency of the sound gradually becomes higher with the localized virtual sound source Vss .
  • An arrow-shaped figure or icon A2 pointing to the outside of the image area S may be output.
  • the designated icon may be output so as to be enlarged or reduced in accordance with the enlargement or reduction of the real space area or the image area in the remote image output device 221 .
  • the virtual sound source V ss realized by the remote sound output device 222 is localized.
  • the sound is controlled so that it becomes progressively weaker and/or the frequency of the sound becomes progressively lower.
  • the remote image output device 221 displays an image area to be reduced by zooming out and/or an arrow-shaped figure pointing inward of the image area.
  • icon A2 may be output.
  • the remote control device 200 transmits a notice that the notice has been outputted through the remote output interface 220 to the remote operation support server 10 through the remote wireless communication device 224 (FIG. 4/STEP 216). .
  • the second support processing element 122 transmits the advance notice output completion notice to the work machine 40 (FIG. 4/C14).
  • the actual machine control device 400 changes the posture of the actual imaging device 412 and/or Alternatively, the zoom function is controlled (FIG. 4/STEP 414).
  • the optical axis direction changes from the front of the work machine 40 to the left oblique front by controlling the panning function of the actual machine imaging device 412
  • the real space area reflected in the work environment image is shifted from the front area of the work machine 40 to the left. Change to oblique front area.
  • the optical axis direction changes from the forward horizontal direction to the forward obliquely downward direction by controlling the tilt function of the actual imaging device 412
  • the real space area reflected in the work environment image changes to a lower area than before. .
  • the zoom-in function of the actual imaging device 412 controls the zoom-in function of the actual imaging device 412 to reduce the zoom magnification, the real space area reflected in the working environment image is reduced (or the image area is enlarged). Also, by controlling the zoom-out function of the actual imaging device 412 to increase the zoom magnification, the real space area reflected in the work environment image is enlarged (or the image area is reduced).
  • the remote control device 200 recognizes the operation mode of the remote operation mechanism 211, and transmits a remote operation command corresponding to the operation mode to the remote operation support server 10 through the remote wireless communication device 224. (FIG. 4/STEP 220).
  • the remote operation command when the remote operation command is received by the second support processing element 122, the remote operation command is transmitted to the work machine 40 by the first support processing element 121 (FIG. 4/ C16).
  • the actual machine control device 400 when the actual machine control device 400 receives an operation command through the actual machine wireless communication device 422 (FIG. 4/C46), the operation of the working mechanism 440 and the like is controlled (FIG. 4/STEP 420). For example, an operation of scooping soil in front of the work machine 40 with the bucket 445 and removing the soil from the bucket 445 after rotating the upper rotating body 420 is performed.
  • the operator who is in contact with the virtual sound source Vss displaced according to the displacement mode of the real space area and/or the arrow-shaped icon image A1 representing the displacement mode of the real space area, sees the real object reflected in the work environment image. It is possible to grasp in advance that the spatial region will be displaced according to the displaced mode in the future (see FIG. 6).
  • the space occupation mode of the real space area reflected in the working environment image can change according to changes in the optical axis direction of the real machine imaging device 412 (see FIG. 5). Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the working environment image displayed on the remote image output device 221 is displaced as previously announced.
  • the operator who is in contact with the virtual sound source V ss that emits a sound whose intensity and/or frequency changes according to the expansion/contraction of the real space region and/or the arrow-shaped icon image A2 representing the expansion/contraction of the real space region it is possible to grasp in advance that the real space area reflected in the work environment image will be enlarged or reduced in accordance with the aspect of enlargement or reduction in the future (see FIG. 7).
  • the space occupation mode of the real space area reflected in the work environment image can be enlarged or reduced according to changes in the imaging magnification of the real imaging device 412 or the like. Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the work environment image displayed on the remote image output device 221 is enlarged or reduced as previously announced.
  • first support processing element 121 and the second support processing element 122 are configured by the remote operation support server 10, but as another embodiment, the first A support processing element 121 and/or a second support processing element 122 may be configured.
  • the actual machine control device 400 controls the attitude change function and/or the zoom function of the actual machine imaging device 412 according to the designated state. is recognized (see FIG. 4/STEP 411 . . . YES ⁇ STEP 412), but as another embodiment, the remote operation support server 10 or the second support processing element 122 can change the attitude of the actual imaging device 412 according to the designated state and /or Control aspects of the zoom function may be recognized.
  • a series of processes may be executed according to the flowchart shown in FIG. 8 instead of the flowchart shown in FIG.
  • the block "C ⁇ " is used for simplification of the description, means transmission and/or reception of data, and processing in the branch direction is executed on the condition of transmission and/or reception of the data. It means a conditional branch.
  • the same reference numerals are used for the same processing as in FIG. 4, and the description thereof is omitted.
  • the actual machine control device 400 transmits the designated state to the remote operation support server 10 through the actual machine wireless communication device 422 ( FIG. 8/STEP 413).
  • the second support processing element 122 When the remote operation support server 10 receives the designated state (FIG. 8/C13), the second support processing element 122 performs the attitude change function (pan function and/or tilt function) of the actual imaging device 412 according to the designated state. function) and/or control aspects of the zoom function are recognized (FIG. 8/STEP 111). Furthermore, the second support processing element 122 recognizes the change mode of the real space region reflected in the captured image (and thus the work environment image) according to the control mode of the attitude change function and/or the zoom function of the actual imaging device 412. After that, it is transmitted to the working machine 40 (FIG. 8/STEP 112).
  • the second support processing element 122 causes the actual imaging device 412 to A control command for the attitude change function and/or the zoom function is generated and transmitted to work machine 40 (FIG. 8/STEP 114).
  • the actual machine control device 400 When the work machine 40 receives a control command through the actual wireless communication device 422 (FIG. 8/C44), the actual machine control device 400 performs the attitude change function and/or the zoom function of the actual imaging device 412 according to the control command. controlled (FIG. 8/STEP 414).
  • the actual machine control device 400 controls the attitude change function and/or the zoom function of the actual machine imaging device 412 according to the designated state. is recognized (FIG. 4/STEP 411 . . . . . . . . , STEP 412). Control aspects of functions may be recognized.
  • the pan function and/or tilt function of the actual imaging device 412 continuously displaces the real space region reflected in the captured image and the corresponding work environment image.
  • a plurality of actual imaging devices having an imaging area are mounted on the work machine 40, and the actual imaging device that acquires the captured image serving as the basis of the working environment image is switched from one actual imaging device to another actual imaging device.
  • the real space area reflected in the work environment image may be discontinuously displaced.
  • one real-machine imaging device may be switched to another real-machine imaging device whose imaging region is the real-space region where the target object is detected by the real-machine peripheral monitoring device 414 .
  • the advance notice output by the remote output interface 220 reduces the psychological burden on the operator even when the work environment image output to the remote image output device 221 is discontinuously displaced or changed. .
  • the pan function and/or tilt function of the actual imaging device 412 continuously displaces the real space region reflected in the captured image and the corresponding work environment image.
  • the real space area reflected in the work environment image may be displaced and/or scaled by image processing when the work environment image is generated by the 1 support processing element 121 .
  • the psychological burden on the operator can be reduced. be done.
  • the zoom-in and zoom-out of the actual imaging device 412 are announced by the intensity of the sound (sound pressure level) and/or the frequency level emitted from the virtual sound source Vss (see FIG. 7).
  • the real imaging device 412 has only a panning function, and before and after the change in the panning angle is announced by the left and right displacement of the virtual sound source Vss (see FIG. 6), the real imaging device 412 may be heralded by up and down displacements of the virtual source Vss .
  • the actual imaging device 412 has only a tilt function, and before and after the change in the tilt angle is announced by the vertical displacement of the virtual sound source Vss , the actual imaging device 412 zooms in. and zoom out may be heralded by left and right displacements of the virtual sound source Vss .
  • the second support processing element recognizes a future change mode of the real space area reflected in the work environment image in accordance with the specified state detected by the actual machine surroundings monitoring device mounted on the work machine. is preferred.
  • the real space area reflected in the work environment image will be displaced in the future according to the displaced mode, and the operator who has come into contact with the advance notice of the displaced output location will be able to perform the work. It is possible to let the operator know in advance that the machine is in the specified state. Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the work environment image displayed on the remote image output device is displaced as previously announced.
  • the second support processing element recognizes a future displacement mode of the real space area as a future change mode of the real space area, and is configured by the remote output interface according to the future displacement mode of the real space area. It is preferable to displace the output location of the previous notice.
  • the operator who has received a notice of the displacement of the output part, can grasp in advance that the real space area reflected in the working environment image will be displaced in accordance with the displacement mode in the future. be able to. For example, depending on changes in the optical axis direction of the actual imaging device, switching of one actual imaging device corresponding to the working environment image among a plurality of actual imaging devices, image processing by the first support processing element, etc., the working environment image The space occupation mode of the reflected real space area can be displaced. Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the work environment image displayed on the remote image output device is displaced as previously announced.
  • the second support processing element further recognizes a future expansion/contraction mode of the real space area as a future change mode of the real space area, and is configured by the remote output interface according to the future displacement mode of the real space area.
  • the remote output interface displaces the output point of the notice according to a future expansion/contraction mode of the real space area.
  • the remote operation support server having this configuration, when the operator comes into contact with the advance notice in which the output location is displaced in two steps, the real space area reflected in the work environment image is displaced in the future according to the first displacement mode, and It is possible to grasp in advance that the expansion/contraction is performed according to the second displacement mode. Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the work environment image displayed on the remote image output device is displaced and enlarged/reduced according to the notice.
  • the second support processing element displaces a virtual sound source that emits sound as the announcement to a remote sound output device constituting the remote output interface.
  • the operator who comes in contact with the advance notice of the displacement of the virtual sound source is notified that the real space area reflected in the work environment image will be displaced in the future in accordance with the displacement mode (and will be enlarged or reduced). ) can be grasped in advance.
  • the virtual sound source is displaced to the right (left, up, down)
  • the operator can understand that the real space area reflected in the work environment image is immediately displaced to the right (left, up, down). .
  • the notice is conveyed to the operator not visually but aurally, it is possible to avoid distracting the operator's visual attention to the work environment image. Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the work environment image displayed on the remote image output device is displaced as previously announced.
  • the second support processing element determines a future image of the real space area in accordance with a mode of switching from one of the plurality of real imaging devices mounted on the work machine to another real imaging device. It is preferable to recognize the future displacement mode of the real space area as the change mode.
  • the operator who has come into contact with the notice that the output mode will change, is informed that the expansion/contraction mode in the future of the real space area reflected in the work environment image is derived from the switching of the actual imaging device, and the output mode is changed. It is possible to grasp in advance that it will change according to the change of the mode. Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the work environment image displayed on the remote image output device is enlarged or reduced as previously announced.
  • the second support processing element recognizes a future expansion/reduction mode of the real space area as a future change mode of the real space area, and according to the future expansion/reduction mode of the real space area, the notification is sent to the remote output interface. It is preferable to change the output mode of .
  • the operator who comes in contact with the notice that the output mode will change, is notified that the future expansion/contraction mode of the real space area reflected in the work environment image will change in accordance with the change in the output mode.
  • the second support processing element changes at least one of sound pressure level and frequency level of the sound as the notice to the remote sound output device constituting the remote output interface.
  • the remote operation support server having this configuration, an operator who has come into contact with an announcement as sound in which the sound pressure level and/or the frequency level changes is notified that the real space area reflected in the work environment image will change in the future. It is possible to grasp in advance that the image will be enlarged or reduced accordingly. For example, when the sound pressure gradually increases, the operator can be made aware in advance that the real space area will shrink. On the other hand, when the sound pressure gradually decreases, the operator can be made aware in advance that the real space area will expand. At this time, since the notice is conveyed to the operator not visually but aurally, it is possible to avoid distracting the operator's visual attention to the work environment image. Therefore, it is possible to reduce the psychological burden on the operator when the real space area reflected in the work environment image displayed on the remote image output device is enlarged or reduced as previously announced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

作業機械に搭載されている実機撮像装置により取得される画像範囲を変化させる際、当該作業機械を遠隔操作するオペレータの心理的負担の軽減を図ることができるシステム等を提供する。遠隔画像出力装置２２１に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔出力インターフェース２２０に出力される。実空間領域の変位態様に応じて変位する仮想音源Ｖssおよび／または実空間領域の変位態様を表わす矢印状のアイコン画像Ａ１に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる。

Description

遠隔操作支援サーバおよび遠隔操作支援システム
　本発明は、作業機械の状態を作業者に報知する技術に関する。
　安全性の向上と作業効率の向上を実現させたクレーンを提供する観点から、カメラが撮影した画像における被写体（例えばサブフック）を追従し、当該被写体を含んだ箇所を切り出して表示装置に表示する技術が提案されている（例えば、特許文献１参照）。
　作業機械の周囲に存在する障害物に関して過不足の無い適切な警報を発する観点から、作業機械（油圧ショベル）の姿勢および動作の情報に基づいて当該作業機械の運転席からの死角領域を算出し、当該死角領域と、障害物と作業機械との位置関係に基づいて障害物に対する視認レベルを決定し、当該視認レベルに応じて警報レベルを補正する技術が提案されている（例えば、特許文献２参照）。
特開２０１９－１５６５３３号公報 特許第６５８１１３９号公報
　しかし、作業機械が遠隔操作される場合、当該作業機械に搭載されている実機撮像装置により取得され、オペレータに対して提供される画像範囲が対象物の追従等のために急に変化した際、当該オペレータに不安などの心理的負担を増大させてしまう可能性がある。
　そこで、本発明は、作業機械に搭載されている実機撮像装置により取得される画像範囲を変化させる際、当該作業機械を遠隔操作するオペレータの心理的負担の軽減を図ることができるシステム等を提供することを目的とする。
　本発明の遠隔操作支援サーバは、
　遠隔操作装置を用いた作業機械の遠隔操作を支援するためのサーバであって、
　前記作業機械に搭載されている実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第１支援処理要素と、
　前記第１支援処理要素により前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、前記実空間領域の未来の変化態様を表わす予告を出力させる第２支援処理要素と、
を備えている。
　当該構成の遠隔操作支援サーバによれば、遠隔画像出力装置に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔操作装置を構成する遠隔出力インターフェースに出力される。例えば、実機撮像装置の光軸方向および／または撮影倍率のほか、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第１支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変化しうる。そして、当該予告に接したオペレータに、作業環境画像に映り込んでいる実空間領域の未来の変化態様を事前に把握させることができる。このため、その直後に当該予告通りの態様にしたがって、遠隔画像出力装置に表示されている作業環境画像に映り込んでいる実空間領域の空間占有態様が変化した際の当該オペレータの心理的負担の軽減が図られる。
遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 第１実施形態の遠隔操作支援システムの機能に関する説明図。 作業環境画像に関する説明図。 仮想音源の第１変位態様に関する説明図。 仮想音源の第２変位態様に関する説明図。 第２実施形態の遠隔操作支援システムの機能に関する説明図。
　（遠隔操作支援システムの構成）
　図１に示されている遠隔操作支援システムは、遠隔操作支援サーバ１０と、遠隔操作装置２０と、遠隔操作装置２０を通じて遠隔操作可能な作業機械４０と、により構成されている。遠隔操作装置２０および作業機械１４のうち一方のみが、遠隔操作支援システムの構成要素であってもよい。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
　（遠隔操作支援サーバの構成）
　遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
　図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
　中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの遠隔画像出力装置が、複数に分割された遠隔画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の遠隔画像出力装置により構成されていてもよい。
　遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。遠隔音響出力装置２２２は、シートＳｔの周りで位置の変位が可能な音響である仮想音源Ｖssを実現する。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、画像処理装置３０を備えている。画像処理装置３０は、状態検知要素３１と、画像予測要素３２と、画像圧縮要素３４と、を備えている。実機制御装置４００および画像処理装置３０の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。
　実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機周辺監視装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機周辺監視装置４１４は、基本姿勢（例えば、光軸が前方に向けられている姿勢）の実機撮像装置４１２では撮像できない実空間領域（例えば、キャブ４２４の右側領域、左側領域および／もしくは後方領域および／または死角領域）における対象物体（例えば、作業員、他の作業機械および／または車両など）の存在を検知するための測距センサ等により構成されている。
　実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
　図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　（機能）
　図４は前記構成の遠隔操作支援システムの機能について説明するフローチャートである。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　遠隔操作装置２０において、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１０）。例えば、オペレータにより遠隔入力インターフェース２１０を通じて指定操作があったことが、環境確認要求の送信開始要件として定められていてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。
　遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。
　作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００により実機撮像装置４１２を通じて撮像画像が取得され、かつ、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ４１０）。
　遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。作業環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。
　遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。
　これにより、例えば、図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる作業環境画像が遠隔画像出力装置２２１（特に、中央遠隔画像出力装置２２１０）に出力される。
　作業機械４０において、実機制御装置４００により、当該作業機械４０が指定状態にあるか否かが判定される（図４／ＳＴＥＰ４１１）。この際、当該指定状態が、あらかじめ定められた異なる複数の指定状態のうちいずれの指定状態に該当するかが判定されてもよい。「指定状態」は、作業機械４０が指定状態になったことに応じて実機制御装置４００が実機撮像装置４１２にそのパン機能および／またはチルト機能、ならびに、ズーム機能を発揮させるようにあらかじめ設定またはプログラムされている状態である。
　例えば、実機周辺監視装置４１４により、通常姿勢にある実機撮像装置４１２の死角領域で対象物体の存在が検知された状態が指定状態として定義されていてもよい。キャブ４２４の左側領域は通常姿勢にある実機撮像装置４１２の死角領域であり、当該左側領域に対象物体の存在が検知された場合、実機撮像装置４１２のパン機能によりその光軸が左方向に向けられ、必要に応じてチルト機能によりその光軸が下方（または上方）に向けられる。同様に、キャブ４２４の右側領域は通常姿勢にある実機撮像装置４１２の死角領域であり、当該右側領域に対象物体の存在が検知された場合、実機撮像装置４１２のパン機能によりその光軸が右方向に向けられ、必要に応じてチルト機能によりその光軸が下方（または上方）に向けられる。
　例えば、実機撮像装置４１２の撮像対象となる実空間領域において指定種類の対象物体の存在が検知された状態が指定状態として定義されていてもよい。第１指定種類の対象物体（例えば、作業員等の人間）の存在が検知された場合、実機撮像装置４１２のズームイン機能により、当該対象物体が含まれている画像領域の表示倍率が増大される。第２指定種類の対象物体（例えば、他の作業機械）の存在が検知された場合、実機撮像装置４１２のズームアウト機能により、当該対象物体が含まれている画像領域の表示倍率が低減される。実機撮像装置４１２のズーム機能とともに、撮像画像における対象物体の位置を調節するためにパン機能および／またはチルト機能が制御されてもよい。
　例えば、実機撮像装置４１２の撮像対象となる実空間領域において対象物体の変位量および／または変位速度が所定値以上であることが検知された状態が指定状態として定義されていてもよい。対象物体（例えば、バケット４４５）の変位量が所定値を超えた場合、実機撮像装置４１２のパン機能および／またはチルト機能により、当該対象物体に追従するように当該実機撮像装置４１２の光軸の向きが変更される。
　作業機械４０が指定状態にあると判定された場合（図４／ＳＴＥＰ４１１‥ＹＥＳ）、実機制御装置４００により、当該指定状態に応じた実機撮像装置４１２の姿勢変更機能（パン機能および／またはチルト機能）ならびに／またはズーム機能の制御態様が認識され、かつ、実機無線通信機器４２２を通じて当該認識結果が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ４１２）。指定状態（の種類）および実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様との対応関係は、実機制御装置４００を構成する記憶装置またはデータベース１０２に格納されていてもよい。
　作業機械４０が指定状態にないと判定された場合（図４／ＳＴＥＰ４１１‥ＮＯ）、実機撮像装置４１２のズーム機能等の制御態様が認識されることはなく後続の処理が実行される。
　遠隔操作支援サーバ１０において、実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が受信された場合（図４／Ｃ１２）、第２支援処理要素１２２により、撮像画像（ひいては作業環境画像）に映り込む実空間領域の変化態様が認識されたうえで、作業機械４０に対して送信される（図４／ＳＴＥＰ１１２）。実機撮像装置４１２のパン機能により光軸の向きが左右に変化する場合、第２支援処理要素１２２により、撮像画像に映り込む実空間領域が同様に左右に変位することが認識される。実機撮像装置４１２のチルト機能により光軸の向きが上下に変化する場合、第２支援処理要素１２２により、撮像画像に映り込む実空間領域が同様に上下に変位することが認識される。実機撮像装置４１２のズームイン機能によりズーム倍率が増大する場合、第２支援処理要素１２２により、撮像画像に映り込む実空間領域が拡大されることが認識される。実機撮像装置４１２のズームアウト機能によりズーム倍率が低減する場合、第２支援処理要素１２２により、撮像画像に映り込む実空間領域が縮小されることが認識される。
　遠隔操作装置２０において、遠隔無線通信機器２２４を通じて実空間領域の変化態様が受信された場合（図４／Ｃ２２）、遠隔制御装置２００により、遠隔出力インターフェース２２０を通じて当該変化態様を表わす予告が出力される（図４／ＳＴＥＰ２１４）。
　これにより、例えば、撮像画像に映り込んでいる実空間領域が左方向に変位することが当該実空間領域の変化態様として認識された場合、図６に示されているように、遠隔音響出力装置２２２により実現される仮想音源Ｖssが左方向（実空間領域の変位方向と同じ方向）に変位するように制御される。この場合、仮想音源Ｖssの変位に加えてまたは代えて、図６に示されているように、遠隔画像出力装置２２１に左向き（実空間領域の変位方向と同じ向き）の矢印状の図形またはアイコンＡ１が出力されてもよい。また、指定のアイコンが遠隔画像出力装置２２１において仮想音源Ｖssと同一方向に動かされるように出力されてもよい。
　また、例えば、撮像画像に映り込んでいる実空間領域が縮小されることが当該実空間領域の変化態様として認識された場合、図７に示されているように、遠隔音響出力装置２２２により実現される仮想音源Ｖssが定位された状態で音響が徐々に強くなるように、かつ／または、音響の周波数が徐々に高くなるように制御される。この場合、仮想音源Ｖssの強弱および／または周波数の高低に加えてまたは代えて、図７に示されているように、遠隔画像出力装置２２１にズームインにより拡大される画像領域Ｓおよび／または当該画像領域Ｓの外側に向かう矢印状の図形またはアイコンＡ２が出力されてもよい。また、指定のアイコンが遠隔画像出力装置２２１において実空間領域または画像領域の拡縮に応じて拡縮されるように出力されてもよい。
　これとは逆に、撮像画像に映り込んでいる実空間領域が拡大されることが当該実空間領域の変化態様として認識された場合、遠隔音響出力装置２２２により実現される仮想音源Ｖssが定位された状態で音響が徐々に弱くなるように、かつ／または、音響の周波数が徐々に低くなるように制御される。この場合、仮想音源Ｖssの強弱および／または周波数の高低に加えてまたは代えて、遠隔画像出力装置２２１にズームアウトにより縮小される画像領域および／または当該画像領域の内側に向かう矢印状の図形またはアイコンＡ2が出力されてもよい。
　その後、遠隔制御装置２００により、遠隔出力インターフェース２２０を通じて予告が出力されたことを示す予告出力済通知が、遠隔無線通信機器２２４を通じて遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１６）。
　遠隔操作支援サーバ１０において、予告出力済通知が受信された場合、第２支援処理要素１２２により、当該予告出力済通知が作業機械４０に対して送信される（図４／Ｃ１４）。
　作業機械４０において、実機無線通信機器４２２を通じて予告出力済通知が受信された場合（図４／Ｃ４４）、実機制御装置４００により、指定状態に応じた形態で実機撮像装置４１２の姿勢変更機能および／またはズーム機能が制御される（図４／ＳＴＥＰ４１４）。
　これにより、実機撮像装置４１２を通じて取得される撮像画像、ひいては遠隔画像出力装置２２１において出力される作業環境画像に映り込んでいる実空間領域が変化する（図４／ＳＴＥＰ４１０→‥→ＳＴＥＰ２１２、図５参照）。
　例えば、実機撮像装置４１２のパン機能の制御により光軸方向が作業機械４０の前方から左斜め前方に変化する場合、作業環境画像に映り込んでいる実空間領域が作業機械４０の前方領域から左斜め前方領域に変化する。また、実機撮像装置４１２のチルト機能の制御により光軸方向が前方水平方向から前方斜め下方に変化する場合、作業環境画像に映り込んでいる実空間領域がそれまでよりも下方の領域に変化する。
　例えば、実機撮像装置４１２のズームイン機能が制御されてズーム倍率が低減されることにより、作業環境画像に映り込んでいる実空間領域が縮小される（または画像領域が拡大される）。また、実機撮像装置４１２のズームアウト機能が制御されてズーム倍率が増大されることにより、作業環境画像に映り込んでいる実空間領域が拡大される（または画像領域が縮小される）。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２０）。
　遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１６）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４６）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４２０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
（作用効果）
　当該構成の遠隔操作支援システムによれば、遠隔画像出力装置２２１に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔出力インターフェース２２０に出力される。
　具体的には、実空間領域の変位態様に応じて変位する仮想音源Ｖssおよび／または実空間領域の変位態様を表わす矢印状のアイコン画像Ａ１に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる（図６参照）。例えば、実機撮像装置４１２の光軸方向の変化などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変位しうる（図５参照）。このため、当該予告通りに遠隔画像出力装置２２１に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
　さらに、実空間領域の拡縮態様に応じて強弱および／または周波数の高低が変化する音響を発する仮想音源Ｖssおよび／または実空間領域の拡縮態様を表わす矢印状のアイコン画像Ａ２に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該拡縮態様にしたがって拡縮されることを事前に把握させることができる（図７参照）。例えば、実機撮像装置４１２の撮影倍率の変化などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が拡大または縮小されうる。このため、当該予告通りに遠隔画像出力装置２２１に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
　（本発明の他の実施形態）
　前記実施形態では、遠隔操作支援サーバ１０により第１支援処理要素１２１および第２支援処理要素１２２が構成されていたが、他の実施形態として、作業機械４０および／または遠隔操作装置２０により第１支援処理要素１２１および／または第２支援処理要素１２２が構成されていてもよい。
　前記実施形態では、作業機械４０が指定状態であることが認識されたことに応じて、実機制御装置４００により当該指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されたが（図４／ＳＴＥＰ４１１‥ＹＥＳ→ＳＴＥＰ４１２参照）、他の実施形態として、遠隔操作支援サーバ１０または第２支援処理要素１２２により指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されてもよい。
　この場合、図４に示されているフローチャートに代えて図８に示されているフローチャートにしたがって一連の処理が実行されてもよい。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図８において図４と共通する処理については同一符号を用いるとともにその説明を省略する。

　作業機械４０が指定状態にあると判定された場合（図８／ＳＴＥＰ４１１‥ＹＥＳ）、実機制御装置４００により、当該指定状態が実機無線通信機器４２２を通じて遠隔操作支援サーバ１０に対して送信される（図８／ＳＴＥＰ４１３）。
　遠隔操作支援サーバ１０において、指定状態が受信された場合（図８／Ｃ１３）、第２支援処理要素１２２により、当該指定状態に応じた実機撮像装置４１２の姿勢変更機能（パン機能および／またはチルト機能）ならびに／またはズーム機能の制御態様が認識される（図８／ＳＴＥＰ１１１）。さらに、第２支援処理要素１２２により、実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様に応じた、撮像画像（ひいては作業環境画像）に映り込む実空間領域の変化態様が認識されたうえで、作業機械４０に対して送信される（図８／ＳＴＥＰ１１２）。
　その後、遠隔操作支援サーバ１０において、遠隔操作装置２０から予告出力済通知が受信された場合（図８／Ｃ１５）、第２支援処理要素１２２により、指定状態に応じた形態で実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御指令が生成され、かつ、作業機械４０に対して送信される（図８／ＳＴＥＰ１１４）。
　作業機械４０において、実機無線通信機器４２２を通じて制御指令が受信された場合（図８／Ｃ４４）、実機制御装置４００により、当該制御指令にしたがって実機撮像装置４１２の姿勢変更機能および／またはズーム機能が制御される（図８／ＳＴＥＰ４１４）。
　これにより、実機撮像装置４１２を通じて取得される撮像画像、ひいては遠隔画像出力装置２２１において出力される作業環境画像に映り込んでいる実空間領域が変化する（図４／ＳＴＥＰ４１０→‥→ＳＴＥＰ２１２、図５参照）。
　前記実施形態では、作業機械４０が指定状態であることが認識されたことに応じて、実機制御装置４００により当該指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されたが（図４／ＳＴＥＰ４１１‥ＹＥＳ→ＳＴＥＰ４１２参照）、他の実施形態として、遠隔操作装置２０または遠隔制御装置２００により指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されてもよい。
　前記実施形態では、実機撮像装置４１２のパン機能および／またはチルト機能により、撮像画像およびこれに応じた作業環境画像に映り込む実空間領域が連続的に変位したが、他の実施形態として、異なる撮像領域を有する複数の実機撮像装置が作業機械４０に搭載され、作業環境画像の基礎となる撮像画像を取得する実機撮像装置が、一の実機撮像装置から他の実機撮像装置に切り替えられることにより、作業環境画像に映り込む実空間領域が不連続的に変位してもよい。例えば、一の実機撮像装置が、実機周辺監視装置４１４により対象物体が検知された実空間領域を撮像領域とする他の実機撮像装置に切り替えられてもよい。この場合も、遠隔出力インターフェース２２０により出力される予告によって、遠隔画像出力装置２２１に出力されている作業環境画像が不連続的に変位または変化した場合でもオペレータにかかる心理的負担の軽減が図られる。
　前記実施形態では、実機撮像装置４１２のパン機能および／またはチルト機能により、撮像画像およびこれに応じた作業環境画像に映り込む実空間領域が連続的に変位したが、他の実施形態として、第１支援処理要素１２１による作業環境画像の生成時における画像処理によって、作業環境画像に映り込む実空間領域が変位してもよく、かつ／または、拡縮されてもよい。この場合も、遠隔出力インターフェース２２０により出力される予告によって、遠隔画像出力装置２２１に出力されている作業環境画像が変位した場合および／または拡縮された場合でもオペレータにかかる心理的負担の軽減が図られる。
　前記実施形態では、実機撮像装置４１２のズームインおよびズームアウトが、仮想音源Ｖｓｓから発せられる音響の強弱（音圧の高低）および／または周波数の高低により予告された（図７参照）。他の実施形態として、実機撮像装置４１２がパン機能のみを有しており、パン角度の変更が仮想音源Ｖｓｓの左右への変位により予告される前後において（図６参照）、実機撮像装置４１２のズームインおよびズームアウトが、仮想音源Ｖｓｓの上下への変位により予告されてもよい。同様に、他の実施形態として、実機撮像装置４１２がチルト機能のみを有しており、チルト角度の変更が仮想音源Ｖｓｓの上下への変位により予告される前後において、実機撮像装置４１２のズームインおよびズームアウトが、仮想音源Ｖｓｓの左右への変位により予告されてもよい。
　前記構成の遠隔操作支援サーバにおいて、
　前記第２支援処理要素が、前記作業機械に搭載されている実機周辺監視装置により検知された指定状態に応じて、前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識する
ことが好ましい。
　当該構成の遠隔操作支援サーバによれば、出力箇所が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することに加えて、作業機械が指定状態にあることを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
　前記構成の遠隔操作支援サーバにおいて、
　前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、前記実空間領域の未来の変位態様にしたがって、前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる
ことが好ましい。
　当該構成の遠隔操作支援サーバによれば、出力箇所が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる。例えば、実機撮像装置の光軸方向の変化、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第１支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変位しうる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
　前記構成の遠隔操作支援サーバにおいて、
　前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様をさらに認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる前または後に、前記実空間領域の未来の拡縮態様にしたがって前記遠隔出力インターフェースに前記予告の出力箇所を変位させる
ことが好ましい。
　当該構成の遠隔操作支援サーバによれば、出力箇所が２段階にわたり変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において第１変位態様にしたがって変位することおよび第２変位態様にしたがって拡縮されることを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位し、かつ、拡縮された際の当該オペレータの心理的負担の軽減が図られる。
　前記構成の遠隔操作支援サーバにおいて、
　前記第２支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響を発する仮想音源を変位させる
ことが好ましい。
　当該構成の遠隔操作支援サーバによれば、仮想音源が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位すること（さらには拡縮されること）を事前に把握させることができる。例えば、仮想音源が右（左、上、下）に変位した場合、作業環境画像に映り込む実空間領域が直後に右（左、上、下）に変位することをオペレータに把握させることができる。この際、予告は視覚ではなく聴覚を通じてオペレータに伝えられるため、当該オペレータの作業環境画像に対する視覚的注意を散漫させる事態が回避される。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
　前記構成の遠隔操作支援サーバにおいて、
　前記第２支援処理要素が、前記作業機械に搭載されている複数の前記実機撮像装置のうち一の実機撮像装置から他の実機撮像装置への切り替え態様に応じて、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する
ことが好ましい。
　当該構成の遠隔操作支援サーバによれば、出力態様が変化する予告に接したオペレータに、作業環境画像に映り込む実空間領域の未来における拡縮態様が、実機撮像装置の切り替えに由来して当該出力態様の変化に応じて変化することを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
　前記構成の遠隔操作支援サーバにおいて、
　前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様を認識し、前記実空間領域の未来の拡縮態様にしたがって、前記遠隔出力インターフェースに前記予告の出力態様を変化させる
ことが好ましい。
　当該構成の遠隔操作支援サーバによれば、出力態様が変化する予告に接したオペレータに、作業環境画像に映り込む実空間領域の未来における拡縮態様が当該出力態様の変化に応じて変化することを事前に把握させることができる。例えば、実機撮像装置の撮影倍率、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第１支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が拡大または縮小されうる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
　前記構成の遠隔操作支援サーバにおいて、
　前記第２支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響の音圧の高低および周波数の高低のうち少なくとも一方を変化させる
ことが好ましい。
　当該構成の遠隔操作支援サーバによれば、音圧の高低および／または周波数の高低が変化する音響としての予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変化態様に応じて拡縮されることを事前に把握させることができる。例えば、音圧が徐々に高くなる場合、実空間領域が縮小することをオペレータに事前に把握させることができる。一方、音圧が徐々に低くなる場合、実空間領域が拡大することをオペレータに事前に把握させることができる。この際、予告は視覚ではなく聴覚を通じてオペレータに伝えられるため、当該オペレータの作業環境画像に対する視覚的注意を散漫させる事態が回避される。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置、２２２‥遠隔音響出力装置、４００‥実機制御装置、４１０‥下部走行体、４２０‥上部旋回体、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）。
 

Claims (9)

  1. 　遠隔操作装置を用いた作業機械の遠隔操作を支援するためのサーバであって、
    　前記作業機械に搭載されている実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第１支援処理要素と、
    　前記第１支援処理要素により前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、前記実空間領域の未来の変化態様を表わす予告を出力させる第２支援処理要素と、
    を備えている遠隔操作支援サーバ。
  2. 　請求項１に記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記作業機械に搭載されている実機周辺監視装置により検知された指定状態に応じて、前記作業環境画像に映り込んでいる前記実空間領域の未来の変化態様を認識する
    遠隔操作支援サーバ。
  3. 　請求項１または２に記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる
    遠隔操作支援サーバ。
  4. 　請求項３に記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様をさらに認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる前または後に、前記実空間領域の未来の拡縮態様にしたがって前記遠隔出力インターフェースに前記予告の出力箇所を変位させる
    遠隔操作支援サーバ。
  5. 　請求項３または４に記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響を発する仮想音源を変位させる
    遠隔操作支援サーバ。
  6. 　請求項３～５のうちいずれか１項に記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記作業機械に搭載されている複数の前記実機撮像装置のうち一の実機撮像装置から他の実機撮像装置への切り替え態様に応じて、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する
    遠隔操作支援サーバ。
  7. 　請求項１～６のうちいずれか１項に記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様を認識し、前記実空間領域の未来の拡縮態様にしたがって、前記遠隔出力インターフェースに前記予告の出力態様を変化させる
    遠隔操作支援サーバ。
  8. 　請求項１～７のうちいずれか１項に記載の遠隔操作支援サーバにおいて、
    　前記第２支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響の音圧の高低および周波数の高低のうち少なくとも一方を変化させる
    遠隔操作支援サーバ。
  9. 　請求項１～８のうちいずれか１項に記載の遠隔操作支援サーバと、前記遠隔操作装置および前記作業機械のうち少なくとも一方と、により構成されている遠隔操作支援システム。
PCT/JP2021/045780 2021-03-19 2021-12-13 遠隔操作支援サーバおよび遠隔操作支援システム WO2022195988A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180095647.5A CN117043732A (zh) 2021-03-19 2021-12-13 远程操作支援服务器及远程操作支援系统
EP21931730.2A EP4279667A1 (en) 2021-03-19 2021-12-13 Remote operation assistance server and remote operation assistance system
US18/278,209 US20240141616A1 (en) 2021-03-19 2021-12-13 Remote operation assistance server and remote operation asistance system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-045675 2021-03-19
JP2021045675A JP2022144601A (ja) 2021-03-19 2021-03-19 遠隔操作支援サーバおよび遠隔操作支援システム

Publications (1)

Publication Number Publication Date
WO2022195988A1 true WO2022195988A1 (ja) 2022-09-22

Family

ID=83320041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045780 WO2022195988A1 (ja) 2021-03-19 2021-12-13 遠隔操作支援サーバおよび遠隔操作支援システム

Country Status (5)

Country Link
US (1) US20240141616A1 (ja)
EP (1) EP4279667A1 (ja)
JP (1) JP2022144601A (ja)
CN (1) CN117043732A (ja)
WO (1) WO2022195988A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286590A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 画像表示方法および画像表示装置
JP2008294724A (ja) * 2007-05-24 2008-12-04 Panasonic Corp 画像受信装置
JP2013109687A (ja) * 2011-11-24 2013-06-06 Kyocera Corp 携帯端末装置、プログラムおよび表示制御方法
WO2016174977A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2019156533A (ja) 2018-03-09 2019-09-19 株式会社タダノ クレーン
JP6581139B2 (ja) 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JP2020077173A (ja) * 2018-11-07 2020-05-21 コベルコ建機株式会社 建設機械の遠隔操作装置
JP2020200659A (ja) * 2019-06-10 2020-12-17 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286590A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 画像表示方法および画像表示装置
JP2008294724A (ja) * 2007-05-24 2008-12-04 Panasonic Corp 画像受信装置
JP2013109687A (ja) * 2011-11-24 2013-06-06 Kyocera Corp 携帯端末装置、プログラムおよび表示制御方法
WO2016174977A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6581139B2 (ja) 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JP2019156533A (ja) 2018-03-09 2019-09-19 株式会社タダノ クレーン
JP2020077173A (ja) * 2018-11-07 2020-05-21 コベルコ建機株式会社 建設機械の遠隔操作装置
JP2020200659A (ja) * 2019-06-10 2020-12-17 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Also Published As

Publication number Publication date
JP2022144601A (ja) 2022-10-03
US20240141616A1 (en) 2024-05-02
EP4279667A1 (en) 2023-11-22
CN117043732A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP5779244B2 (ja) 作業機械の周囲監視装置
JP5546427B2 (ja) 作業機械の周囲監視装置
EP2717570A1 (en) Device for monitoring area around working machine
WO2016158265A1 (ja) 作業機械
WO2019189430A1 (ja) 建設機械
JP6071786B2 (ja) 作業機械の周囲監視装置
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
EP3739131B1 (en) Construction machine
JP6917167B2 (ja) 建設機械用俯瞰画像表示装置
JP7318258B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
WO2021230090A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
EP4050164A1 (en) Work assisting server and method for selecting imaging device
WO2022195988A1 (ja) 遠隔操作支援サーバおよび遠隔操作支援システム
JP2021099017A (ja) 遠隔操作装置および遠隔操作システム
JP2018121221A (ja) 作業機械用周辺監視システム
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
WO2021166476A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
CN112433502A (zh) 基于5g通讯和vr双环视技术的平地机远程遥控系统及方法
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US11939744B2 (en) Display system, remote operation system, and display method
US20230150358A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931730

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021931730

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 18278209

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2021931730

Country of ref document: EP

Effective date: 20230818

WWE Wipo information: entry into national phase

Ref document number: 202180095647.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE