WO2021166475A1 - 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 Download PDF

Info

Publication number
WO2021166475A1
WO2021166475A1 PCT/JP2021/000337 JP2021000337W WO2021166475A1 WO 2021166475 A1 WO2021166475 A1 WO 2021166475A1 JP 2021000337 W JP2021000337 W JP 2021000337W WO 2021166475 A1 WO2021166475 A1 WO 2021166475A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
image output
output device
designated
control device
Prior art date
Application number
PCT/JP2021/000337
Other languages
English (en)
French (fr)
Inventor
真輝 大谷
裕介 藤原
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to CN202180014247.7A priority Critical patent/CN115088251A/zh
Priority to EP21757735.2A priority patent/EP4075795A4/en
Priority to US17/794,089 priority patent/US20230056724A1/en
Publication of WO2021166475A1 publication Critical patent/WO2021166475A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Definitions

  • the present invention relates to a remote control support server for supporting work by the worker using the work machine by communicating with a client assigned to the worker of the work machine.
  • the pair of left and right pillars on the front side of the driver's cab are reflected in the captured image displayed on the image output device constituting the remote control device, and the image is reflected.
  • the left and right bezels of the output device and the pair of pillars may be misunderstood by the operator.
  • the present invention provides a remote control device and the like that can reduce the possibility that the pair of pillars in the driver's cab reflected in the captured image and the bezel of the image output device on which the pillars are displayed are confused by the operator.
  • the purpose is to provide.
  • the remote control device of the present invention A remote control mechanism operated by an operator to remotely control a work machine, One or more image output devices arranged around the remote control mechanism, and Equipped with a remote control device,
  • the remote control device designates an image captured by an actual image pickup device mounted inside the driver's cab of the work machine, which indicates the state in front of the driver's cab, among the one or a plurality of image output devices.
  • the captured image showing the state in front of the driver's cab acquired by the actual machine imager mounted inside the driver's cab of the work machine is displayed on the designated image output device. Therefore, the operator can operate the remote control mechanism while grasping the state in front of the driver's cab of the work machine or the actual machine to be remotely controlled through the captured image displayed on the designated image output device.
  • Driver's cab means a space in which the operator boarded to operate the work machine directly instead of remotely, and also means a space corresponding to the space although the operator does not actually board. ..
  • the designated image output device is designated so that the entire designated portion that is a part of at least one pillar constituting the driver's cab, which overlaps the designated image area extending in a band shape between the left and right bezels, is displayed.
  • the display mode of the captured image in the image output device is variably controlled. This makes it possible to clearly distinguish the left and right bezels of the designated image output device and a part of the at least one of the pillars in the designated image area extending laterally at least between the left and right bezels. Therefore, it is possible to reduce the possibility that the pair of pillars in the driver's cab reflected in the captured image and the bezel of the image output device on which the pillars are displayed are misidentified or confused by the operator.
  • Explanatory drawing about the structure of the remote control support system as one Embodiment of this invention.
  • Explanatory drawing about the structure of the remote control device Explanatory drawing about the structure of the work machine.
  • Explanatory drawing about function of remote control support system Explanatory drawing which concerns on the 1st display mode of the captured image.
  • Explanatory drawing which concerns on the 2nd display mode of the captured image Explanatory drawing which concerns on the 3rd display mode of the captured image.
  • the remote control support system as an embodiment of the present invention shown in FIG. 1 is composed of a remote control support server 10 and a remote control device 20 for remotely controlling the work machine 40.
  • the remote control support server 10, the remote control device 20, and the work machine 40 are configured to enable network communication with each other.
  • the mutual communication network of the remote control support server 10 and the remote control device 20 and the mutual communication network of the remote control support server 10 and the work machine 40 may be the same or different.
  • the remote control support server 10 includes a database 102, a first support processing element 121, and a second support processing element 122.
  • the database 102 stores and holds captured image data and the like.
  • the database 102 may be configured by a database server separate from the remote control support server 10.
  • Each assistive processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the remote control device 20 includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
  • the traveling lever may also serve as a traveling pedal.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operation lever (bucket lever) of the bucket operation device is operated to move the bucket cylinder 446 of the work machine 40.
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but in any form that the operator can sit in, such as a low back chair without a headrest or a chair without a backrest. It may be.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the left side operating lever 2111 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. May function as a swivel lever.
  • the right operating lever 2112 provided in front of the right frame of the seat St shown in FIG. 2 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a bucket lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the image output device 221 is a central image output device 2210 having substantially rectangular screens arranged in front of the sheet St, diagonally forward left, and diagonally forward right, respectively, and a left image. It is composed of an output device 2211 and a right image output device 2212.
  • the shapes and sizes of the screens (image display areas) of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be the same or different.
  • the left image output device 2211 so that the screen of the central image output device 2210 and the screen of the left image output device 2211 form an inclination angle ⁇ 1 (for example, 120 ° ⁇ ⁇ 1 ⁇ 150 °).
  • the right edge of is adjacent to the left edge of the central image output device 2210.
  • the right image output device 2212 so that the screen of the central image output device 2210 and the screen of the right image output device 2212 form an inclination angle ⁇ 2 (for example, 120 ° ⁇ ⁇ 2 ⁇ 150 °).
  • the left edge of is adjacent to the right edge of the central image output device 2210.
  • the inclination angles ⁇ 1 and ⁇ 2 may be the same or different.
  • the screens of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be parallel to the vertical direction or inclined with respect to the vertical direction. At least one of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be composed of a plurality of divided image output devices.
  • the central image output device 2210 may be composed of a pair of vertically adjacent image output devices having a substantially rectangular screen.
  • the image output devices 2210 to 2212 may further include a speaker (audio output device).
  • the working machine 40 includes an actual machine control device 400, an actual machine input interface 41, an actual machine output interface 42, and an operating mechanism 440.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a swivel mechanism 430. It is equipped with an upper swivel body 420 and. A cab 424 (driver's cab) is provided on the front left side of the upper swing body 420. A work attachment 440 is provided at the front center portion of the upper swing body 420.
  • a crawler excavator construction machine
  • the actual machine input interface 41 includes an actual machine operation mechanism 411 and an actual machine imaging device 412.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the actual image pickup device 412 is installed inside the cab 424, for example, and is partitioned by a pair of left and right pillars 4240 (“L” and “R” are included in the code when distinguishing the left and right) on the front side of the cab 424.
  • the environment including at least a part of the operating mechanism 440 is imaged through the front window and the pair of left and right side windows. Some or all of the front and side windows may be omitted.
  • the actual device output interface 42 includes an actual device wireless communication device 422.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is provided with a bucket 445, which is connected to a bucket 445.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the operator OP determines whether or not there is a designated operation through the remote input interface 210 (FIG. 4 / STEP202).
  • the "designation operation” is, for example, an operation such as tapping on the remote input interface 210 for the operator OP to specify the work machine 40 intended for remote control in the bird's-eye view work environment image. If the determination result is negative (FIG. 4 / STEP202 ... NO), the processing after the determination of the presence / absence of the designated operation is repeated. On the other hand, if the determination result is affirmative (FIG. 4 / STEP202 ... YES), an environment confirmation request is transmitted to the remote control support server 10 through the remote wireless communication device 222 (FIG. 4 / STEP204).
  • the first support processing element 121 transmits the environment confirmation request to the corresponding work machine 40 (FIG. 4 / C10).
  • the actual machine control device 400 acquires the captured image through the actual machine imaging device 412 (FIG. 4 / STEP402).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 20 through the actual device wireless communication device 422 (FIG. 4 / STEP404).
  • the captured image data is transmitted to the remote control device 20 by the second support processing element 122.
  • the captured image data may be transmitted to the remote control device 20.
  • environmental image data representing a simulated environmental image generated based on the captured image may be transmitted to the remote control device 20.
  • the command of the divided display mode in the image output devices 2210 to 2212 of the captured image corresponding to the captured image data by the second support processing element 122 may be transmitted to the remote control device 20.
  • the remote control device 200 uses the remote control device 200 to output the three image output devices 2210 to the captured image according to the captured image data.
  • the split display mode in 2212 is controlled (FIG. 4 / STEP206).
  • FIG. 5 shows the central image output device 2210, the left image output device 2211, and the right image output device 2212 when viewed from a direction perpendicular to the screen of the central image output device 2210.
  • the bucket 445 as a working unit is included and extends laterally between the left bezel 2210L and the right bezel 2210R.
  • the divided display mode of the image pickup apparatus is controlled so that all of the designated portion PPL of the left pillar 4240L and the designated portion PPR of the right pillar 4240R that overlap the designated image area R are displayed.
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP208), and the remote control command corresponding to the operation mode supports the remote control through the remote wireless communication device 222. It is transmitted to the server 10 (FIG. 4 / STEP210).
  • the operation of the work attachment 440 and the like is controlled (FIG. 4 / STEP406).
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 420 is swiveled, and then the soil is dropped from the bucket 445.
  • the actual image pickup device 412 mounted inside the cab 424 of the work machine 40 has been acquired.
  • An captured image showing the state in front of the cab 424 is displayed on the central image output device 2210 (designated image output device) (see FIG. 4 / STEP402 ⁇ STEP404 ⁇ C11 ⁇ STEP102 ⁇ C21 ⁇ STEP206, FIG. 5). Therefore, the operator grasps the state in front of the work machine 40 or the cab 424 of the actual machine to be remotely controlled through the captured image displayed on the central image output device 2210 (designated image output device), and the remote control mechanism. 211 can be operated (see FIG. 4 / STEP208 ⁇ STEP210 ⁇ C12 ⁇ C42 ⁇ STEP406, FIG. 5).
  • the central image output device 2210 (designated image output device) one of each of the pair of pillars 4240L and 4240R constituting the cab 424 overlapping the designated image area R extending in a band shape between the left and right bezels 2210L and 2210R.
  • the display mode of the captured image in the central image output device 2210 is variably controlled so that all of the designated portions PPL and PPR, which are the units, are displayed (see FIG. 5).
  • the left and right bezels 2210L and 2210R of the central image output device 2210 (designated image output device) and some PPLs and PPRs of the pillars 4240L and 4240R are laterally at least between the left and right bezels 2210L and 2210R. It becomes clearly identifiable in the extending designated image area R. Therefore, it is possible to reduce the possibility that the pair of pillars of the cab 424 reflected in the captured image and the bezels 2210L and 2210R of the central image output device 2210 on which the pillars are displayed are misidentified or confused by the operator.
  • the left bezel 2210L of the central image output device 2210 is as if it were the left pillar 4240L constituting the cab 424.
  • the possibility of misidentification or confusion by the operator is reduced (see FIG. 5).
  • the right bezel 2210R of the central image output device 2210 appears to be the right pillar 4240R constituting the cab 424. The possibility of misidentification or confusion by the operator is reduced.
  • the central image output device 2210 arranged in the front center of the remote control mechanism 211 is defined as the designated image output device, but additionally or alternatively, diagonally to the left diagonally forward of the remote control mechanism 211.
  • the left image output device 2211 arranged and / or the right image output device 2212 arranged diagonally forward to the right may be defined as the designated image output device.
  • the image output device 221 is composed of three image output devices 2210, 2211 and 2212 (or an image output device group), but as another embodiment, the image output device 221 is one image. It may be composed of only an output device (for example, a central image output device 2210), or may be composed of two or four or more image output devices.
  • the bucket 445 was defined as a working unit, but additionally or alternatively, other components of the working attachment 440 (acting mechanism) (eg, boom 441 and / or arm 443) as the working unit. It may be defined.
  • the remote control device 20 may further include a line-of-sight detection device that detects the line of sight of the operator.
  • the remote control device 200 has a second designated period (for example, 1 second) of the operator detected by the line-of-sight detection device in the central image output device 2210 (designated image output device).
  • An image region extending in a lateral strip shape including a part or all of the orbit Tr beyond the line of sight over (1 minute) may be defined as the designated image region R.
  • the remote control device 200 displays the central image output device so that all of the designated portions PPL and PPR of at least one of the pillars 4240L and 4240R overlapping the designated image area R are displayed.
  • the display mode of the captured image on the 2210 may be variably controlled.
  • the bucket 445 in the real space uses at least one of the pillars 4240L, 4240R, the designated portion PPL, PPR, and the object in the line of sight of the operator, which are reflected in the captured image, as indexes.
  • Spatial recognition including recognition of the position, direction, posture, size, shape of the work unit) and the distance from the work object, etc. becomes possible.
  • the pair of pillars of the cab 424 reflected in the captured image and the bezel of the image output device on which the pillars are displayed can be reduced from being mistaken or confused by the operator. Spatial recognition accuracy is improved.
  • the designated image area R may be defined in various other forms.
  • the remote control device 200 includes a part or all of the position orbits of the bucket 445 (working unit) over the first designated period (for example, 1 second to 1 minute) in the central image output device 2210 (designated image output device).
  • the strip-shaped extending image area may be defined as the designated image area R.
  • the remote control device 200 first designates the work unit (for example, bucket 445) of the operation mechanism (for example, work attachment 440) constituting the work machine 40 in the designated image output device (for example, the central image output device 2210).
  • An image region extending in a band shape in a direction parallel to the displacement direction over a period may be defined as a designated image region R.
  • the display mode of the captured image in the central image output device 2210 is controlled so that the entire designated portion PPL of the left pillar 4240L and the designated portion PPR of the right pillar 4240R that overlap the designated image area R are displayed.
  • the remote control device 200 is in a direction parallel to the displacement direction ahead of the line of sight over the second designated period of the operator detected by the line-of-sight detection device in the designated image output device (for example, the central image output device 2210).
  • An image area extending in a strip shape may be defined as a designated image area R.
  • the remote control device 200 may variably control the display mode of the captured image in the central image output device 2210 (designated image output device) according to the difference in the operation mode by the operator in the remote control mechanism 211.
  • the remote control device 20 when the state of the work machine 40 changes in response to the operation of the remote control mechanism 211 by the operator, the front state of the cab 424 shown by the captured image changes.
  • the central image output device 2210 (designated image output device)
  • the display mode of the captured image is variably controlled so that the designated image area R includes all of the designated portions PPL and PPR of at least one of the pillars 4240L and 4240R. ..
  • the pair of pillars 4240L and 4240R of the cab 424 reflected in the captured image that changes according to the operation of the remote control mechanism 211, and the bezel 2210L and 2210R of the central image output device 2210 displaying the pillars 4240L and 4240R. , Is less likely to be misidentified or confused by the operator.
  • the remote control device 200 has a turning operation for turning the upper turning body 420 on which the cab 424 is mounted with respect to the lower traveling body 410 in the remote control mechanism 211 (see FIG. 3), a pair of left and right pillars.
  • the designated portion PPL (or PPR) of one pillar 4240L (or 4240R) in the turning direction of the upper swing body 420 is larger than the designated portion PPR (or PPL) of the other pillar 4240R (or 4240L).
  • the display mode of the captured image may be variably controlled so as to be displayed on the central image output device 2210 (designated image output device) in a biased manner.
  • FIG. 7 shows.
  • the front view of the cab 424 shown by the captured image is totally displaced in the direction opposite to the turning direction (see the black arrow) (see the white arrow).
  • the captured image displayed on the central image output device 2210 at least a part of the designated portion PPL of the left pillar 4240L is not displayed, but the designated portion PPR of the right pillar 4240R is displayed. All are displayed.
  • the area of the right pillar 4240R is larger than the area of the left pillar 4240L.
  • the designated image area R is defined according to the embodiment of FIG. 5, but may be defined according to FIG. 6 or other embodiments.
  • the area of the left pillar 4240L is larger than the area of the right pillar 4240R.
  • the designated image area R is defined according to the embodiment of FIG. 6, but may be defined according to FIG. 5 or other embodiments.
  • one pillar 4240L or 4240R of the cab 424 reflected in the turning direction and the bezel 2210L or 2210R of the central image output device 2210 displaying the pillar 4240L or 4240R according to the turning operation of the remote control mechanism 211. And are reduced in the possibility of being misidentified or confused by the operator.
  • the operator's line of sight or attention moves to the right side of the central image output device 2210, and when the upper swivel body 420 turns to the left, the operator's line of sight or attention moves to the center image output device 2210.
  • the control of the display mode is particularly meaningful because it tends to move to the left side of.
  • the remote control device 200 divides and displays the captured image on the right image output device 2212, the central image output device 2210, and the left image output device 2211, and outputs the right image output device 2212, the central image output device 2210, and the left image output device 2211.
  • the divided display mode of the captured image in the device 2211 is variably controlled.
  • the left bezel 2210L of the central image output device 2210 is the left pillar 4240L constituting the driver's cab 424.
  • the possibility of misidentification or confusion by the operator is reduced.
  • the operator's line of sight moves between the central image output device 2210 and the right image output device 2212, whether the right bezel 2210R of the central image output device 2210 is the right pillar 4240R constituting the driver's cab 424. As such, the possibility of misidentification or confusion by the operator is reduced.
  • the remote control device 200 designates an image area extending in a strip shape including a work unit 445 of the operating mechanism 440 constituting the work machine 40 in the designated image output device (for example, the central image output device 2210).
  • the display mode of the captured image in the designated image output device is variably controlled so that the entire designated portion of at least one of the pillars 4240L and 4240R is displayed.
  • the position, direction, and posture of the work unit 445 in the real space are indexed by each of the designated portion of at least one pillar 4240L and 4240R reflected in the captured image and the work unit 445 of the operation mechanism 440 constituting the work machine 40.
  • the remote control device 200 designates an image area extending in a strip shape including a part or all of the position orbits of the working unit over the first designated period in the designated image output device (for example, the central image output device 2210).
  • the display mode of the captured image in the designated image output device is variably controlled so that the entire designated portion of at least one of the pillars 4240L and 4240R is displayed as the image area.
  • the remote control device 200 uses an image area extending in a band shape in a direction parallel to the displacement direction of the working unit 445 over the first designated period as the designated image area.
  • the display mode of the captured image in the designated image output device is variably controlled so that the entire designated portion of at least one of the pillars 4240L and 4240R is displayed.
  • the remote control device further includes a line-of-sight detection device that detects the line-of-sight of the operator, and the remote control device 200 is the second designation of the operator detected by the line-of-sight detection device in the designated image output device (for example, the central image output device 2210).
  • a strip-extending image region that includes part or all of the orbit ahead of the line of sight over a period of time is designated as the designated image region, so that at least one of the designated parts of the pillars 4240L and 4240R is displayed.
  • the display mode of the captured image in the designated image output device is variably controlled.
  • the position, direction, posture, size of the working unit 445 in the real space using at least one of the pillars 4240L and 4240R specified in the captured image and an object in front of the operator's line of sight as an index or a mark.
  • Spatial recognition including recognition of the shape and the distance from the work object etc. becomes possible.
  • the figure reduces the possibility that the pair of pillars 4240L and 4240R of the driver's cab 424 reflected in the captured image and the bezel 2210L and 2210R of the image output device on which the pillars are displayed are misidentified or confused by the operator. Therefore, the spatial recognition accuracy by the operator can be improved.
  • the remote control device 200 extends in a band shape in a direction parallel to the displacement direction of the tip of the line of sight over the second designated period of the operator detected by the line-of-sight detection device in the designated image output device (for example, the central image output device 2210).
  • the display mode of the captured image in the designated image output device is variably controlled so that the existing image area is set as the designated image area and the entire designated portion of at least one of the pillars 4240L and 4240R is displayed.
  • the remote control device 200 variably controls the display mode of the captured image in the designated image output device according to the difference in the operation mode by the operator in the remote control mechanism.
  • the designated image is displayed in the designated image output device.
  • the display mode of the captured image is variably controlled so that the region includes the entire designated portion of at least one pillar.
  • the operator misidentifies the pair of pillars 4240L and 4240R of the driver's cab 424 and the bezel 2210L and 2210R of the image output device on which the pillars are displayed, which are reflected in the captured image that changes according to the operation of the remote control mechanism. Or the possibility of being confused is reduced.
  • the remote control device 200 has a turning operation for turning the upper turning body 420 on which the driver's cab 424 is mounted with respect to the lower traveling body 410 in the remote control mechanism 211, the pair of left and right pillars 4240L and 4240R Among them, the captured image in the designated image output device so that one pillar in the turning direction of the upper swivel body 41 is displayed on the designated image output device (for example, the central image output device 2210) more heavily than the other pillar.
  • the display mode of is variably controlled.
  • the upper turning body 420 of the work machine 40 turns with respect to the lower traveling body 410, so that the state in front of the driver's cab 424 shown by the captured image is overall.
  • one pillar 4240L (4240R) in the turning direction in the designated image area in the designated image output device (for example, the central image output device 2210) is replaced by the other pillar 4240R (4240L). ) Is displayed more heavily.
  • the captured image displayed on the designated image output device at least a part of the designated portion of the other pillar 4240R (4240L) is not displayed, but the entire designated portion of the one pillar 4240L (4240R) is displayed. Will be done.
  • the area of one pillar 4240L (4240R) in the designated image output device corresponds to the area of the other pillar 4240R (4240L) (corresponding to the other pillar).
  • the display mode of the captured image in the designated image output device may be controlled so as to be larger than the number of pixels constituting the image region.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

中央画像出力装置２２１０（指定画像出力装置）においてキャブ４２４を構成する一対のピラー４２４０Ｌおよび４２４０Ｒのそれぞれの指定部分ＰＰＬおよびＰＰＲの全部が表示されるように、中央画像出力装置２２１０（指定画像出力装置）における撮像画像の表示態様が可変に制御される。指定部分ＰＰＬ、ＰＰＲは、左右のベゼル２２１０Ｌ、２２１０Ｒの間で帯状に延在する指定画像領域Ｒに重なるピラー４２４０Ｌ、４２４０Ｒの一部である。

Description

遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
　本発明は、作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための遠隔操作支援サーバに関する。
　作業機械に搭載されている実機撮像装置により撮像された作業現場の様子を示す撮像画像を、遠隔操作装置を構成する側縁において隣接するように配置された画像出力装置に表示させる技術が提案されている（例えば、特許文献１参照）。
特開２０１８－２０７２４４号公報
　しかし、実機撮像装置が運転室の内部に配置されている場合、当該運転室の前側にある左右一対のピラーが遠隔操作装置を構成する画像出力装置に表示される撮像画像に映り込み、当該画像出力装置の左右のベゼルと当該一対のピラーとがオペレータにより誤認混同される可能性がある。
　そこで、本発明は、撮像画像に映り込む運転室の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認混同される可能性の低減を図りうる遠隔操作装置等を提供することを目的とする。
　本発明の遠隔操作装置は、
　作業機械を遠隔操作するためにオペレータにより操作される遠隔操作機構と、
　前記遠隔操作機構の周囲に配置された一または複数の画像出力装置と、
　遠隔制御装置と、を備え、
　前記遠隔制御装置が、前記作業機械の運転室の内部に搭載されている実機撮像装置により取得された、前記運転室の前方の様子を示す撮像画像を前記一または複数の画像出力装置のうち指定画像出力装置に表示させ、かつ、前記指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする。
　当該構成の遠隔操作装置によれば、作業機械の運転室の内部に搭載されている実機撮像装置により取得された、運転室の前方の様子を示す撮像画像が指定画像出力装置に表示される。このため、オペレータは、指定画像出力装置に表示される撮像画像を通じて、遠隔操作対象である作業機械または実機の運転室の前方の様子を把握しながら、遠隔操作機構を操作することができる。「運転室」は、作業機械を遠隔操作ではなく直接的に操作するためにオペレータが搭乗する空間を意味するほか、実際にはオペレータが搭乗することはないものの当該空間に相当する空間を意味する。
　さらに、指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、運転室を構成する少なくとも一方のピラーの一部である指定部分の全部が表示されるように、指定画像出力装置における撮像画像の表示態様が可変に制御される。これにより、指定画像出力装置の左右のベゼルと、当該少なくとも一方のピラーの一部とが、少なくとも当該左右のベゼルの間で横に延在する指定画像領域において明確に識別可能になる。よって、撮像画像に映り込む運転室の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られる。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの機能に関する説明図。 撮像画像の第１表示態様に関する説明図。 撮像画像の第２表示態様に関する説明図。 撮像画像の第３表示態様に関する説明図。 撮像画像の第４表示態様に関する説明図。 撮像画像の第５表示態様に関する説明図。
　（遠隔操作支援システムの構成）
　図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。
　（遠隔操作支援サーバの構成）
　遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。
　図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。
　中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。
実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４の前側にある左右一対のピラー４２４０（左右を区別する場合には「Ｌ」および「Ｒ」を符号に含ませる。）により区画されているフロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。

　実機出力インターフェース４２は、実機無線通信機器４２２を備えている。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　（機能）
　前記構成の遠隔操作支援システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２０２）。「指定操作」は、例えば、鳥瞰作業環境画像において、オペレータＯＰが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２０２‥ＮＯ）、指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２０２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２０４）。
　遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。
　作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４０４）。
　遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０２）。撮像画像データに代えて、撮像画像に基づいて生成された模擬的な環境画像を表わす環境画像データが遠隔操作装置２０に対して送信されてもよい。この際、第２支援処理要素１２２により撮像画像データに応じた撮像画像の、画像出力装置２２１０～２２１２における分割表示態様の指令が遠隔操作装置２０に対して送信されてもよい。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて撮像画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、撮像画像データに応じた撮像画像の、３つの画像出力装置２２１０～２２１２における分割表示態様が制御される（図４／ＳＴＥＰ２０６）。
　これにより、例えば、図５に示されているように、キャブ４２４を構成する左側ピラー４２４０Ｌおよび右側ピラー４２４０Ｒに加えて、当該ピラー４２４０の前方に作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる撮像画像が横方向に３分割され、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれに表示される。図５では、中央画像出力装置２２１０の画面に対して垂直な方向から臨んだ際の、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２が示されている。
　例えば、図５に示されているように、指定画像出力装置としての中央画像出力装置２２１０において、作業部としてのバケット４４５を含み、左側ベゼル２２１０Ｌおよび右側ベゼル２２１０Ｒの間で横方向に延在する指定画像領域Ｒに重なる、左側ピラー４２４０Ｌの指定部分ＰＰＬおよび右側ピラー４２４０Ｒの指定部分ＰＰＲのそれぞれの全部が表示されるように、当該撮像装置の分割表示態様が制御されている。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０８）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１０）。
　遠隔操作支援サーバ１０において、第２支援処理要素１２２により第２当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
（効果）
　当該構成の遠隔操作支援システム、ならびに、これを構成する遠隔操作支援サーバ１０および遠隔操作装置２０によれば、作業機械４０のキャブ４２４の内部に搭載されている実機撮像装置４１２により取得された、キャブ４２４の前方の様子を示す撮像画像が中央画像出力装置２２１０（指定画像出力装置）に表示される（図４／ＳＴＥＰ４０２→ＳＴＥＰ４０４→Ｃ１１→ＳＴＥＰ１０２→Ｃ２１→ＳＴＥＰ２０６、図５参照）。このため、オペレータは、中央画像出力装置２２１０（指定画像出力装置）に表示される撮像画像を通じて、遠隔操作対象である作業機械４０または実機のキャブ４２４の前方の様子を把握しながら、遠隔操作機構２１１を操作することができる（図４／ＳＴＥＰ２０８→ＳＴＥＰ２１０→Ｃ１２→Ｃ４２→ＳＴＥＰ４０６、図５参照）。
　さらに、中央画像出力装置２２１０（指定画像出力装置）において左右のベゼル２２１０Ｌ、２２１０Ｒの間で帯状に延在する指定画像領域Ｒに重なる、キャブ４２４を構成する一対のピラー４２４０Ｌおよび４２４０Ｒのそれぞれの一部である指定部分ＰＰＬおよびＰＰＲの全部が表示されるように、中央画像出力装置２２１０（指定画像出力装置）における撮像画像の表示態様が可変に制御される（図５参照）。
　これにより、中央画像出力装置２２１０（指定画像出力装置）の左右のベゼル２２１０Ｌ、２２１０Ｒと、当該ピラー４２４０Ｌ、４２４０Ｒの一部ＰＰＬ、ＰＰＲとが、少なくとも当該左右のベゼル２２１０Ｌ、２２１０Ｒの間で横に延在する指定画像領域Ｒにおいて明確に識別可能になる。よって、撮像画像に映り込むキャブ４２４の一対のピラーと、当該ピラーが表示される中央画像出力装置２２１０のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られる。
　特に、中央画像出力装置２２１０および左側画像出力装置２２１１の間でオペレータの視線が移動する際に、中央画像出力装置２２１０の左側ベゼル２２１０Ｌが、キャブ４２４を構成する左側ピラー４２４０Ｌであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる（図５参照）。同様に、中央画像出力装置２２１０および右側画像出力装置２２１２の間でオペレータの視線が移動する際に、中央画像出力装置２２１０の右側ベゼル２２１０Ｒが、キャブ４２４を構成する右側ピラー４２４０Ｒであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる。
　さらに、撮像画像に映り込んでいるピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲおよび作業機械４０を構成する作業アタッチメント４４０（作動機構）のバケット４４５（作業部）のそれぞれを指標として、実空間における当該バケット４４５の位置、方向、姿勢、大きさ、形状および作業対象物である地面等との間隔の認識を含む空間認識が可能になる。前記のように撮像画像に映り込むキャブ４２４の一対のピラー４２４０Ｌ、４２４０Ｒと、当該ピラー４２４０Ｌ、４２４０Ｒが表示される中央画像出力装置２２１０のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。
　（本発明の他の実施形態）
　前記実施形態では、遠隔操作機構２１１の前方中央に配置されている中央画像出力装置２２１０が指定画像出力装置として定義されていたが、付加的または代替的に、遠隔操作機構２１１の左斜め前方に配置されている左側画像出力装置２２１１および／または右斜め前方に配置されている右側画像出力装置２２１２が指定画像出力装置として定義されていてもよい。
　前記実施形態では、画像出力装置２２１が、３つの画像出力装置２２１０、２２１１および２２１２（または画像出力装置群）により構成されていたが、他の実施形態として、画像出力装置２２１が、一の画像出力装置（例えば、中央画像出力装置２２１０）のみにより構成されていてもよく、２つまたは４つ以上の画像出力装置により構成されていてもよい。
　前記実施形態では、バケット４４５が作業部として定義されていたが、付加的または代替的に、作業アタッチメント４４０（作動機構）の他の構成要素（例えばブーム４４１および／またはアーム４４３）が作業部として定義されていてもよい。
　遠隔操作装置２０が、オペレータの視線を検知する視線検知装置をさらに備えていてもよい。この場合、遠隔制御装置２００が、図６に示されているように、中央画像出力装置２２１０（指定画像出力装置）において当該視線検知装置により検知されたオペレータの第２指定期間（例えば、１秒～１分）にわたる視線の先の軌道Ｔｒの一部または全部が含まれている、横方向に帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。そして、遠隔制御装置２００が、図６に示されているように、指定画像領域Ｒに重なる少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲの全部が表示されるように、中央画像出力装置２２１０（指定画像出力装置）における撮像画像の表示態様を可変に制御してもよい。
　当該構成の遠隔操作装置によれば、撮像画像に映り込んでいる少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲおよびオペレータの視線の先にある物体等を指標として、実空間におけるバケット４４５（作業部）の位置、方向、姿勢、大きさ、形状および作業対象物等との間隔の認識を含む空間認識が可能になる。前記のように撮像画像に映り込むキャブ４２４の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。
　指定画像領域Ｒは、そのほか様々な形態で定義されていてもよい。例えば、遠隔制御装置２００が、中央画像出力装置２２１０（指定画像出力装置）においてバケット４４５（作業部）の第１指定期間（例えば、１秒～１分）にわたる位置軌道の一部または全部が含まれている、帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。
　さらに、遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において作業機械４０を構成する作動機構（例えば、作業アタッチメント４４０）の作業部（例えば、バケット４４５）の第１指定期間にわたる変位方向に対して平行な方向に帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。これにより、例えば、図９に示されているように、中央画像出力装置２２１０においてバケット４４５（作業部）の第１指定期間にわたる変位方向（太矢印参照）に対して平行な方向（ここでは右斜め上方）に帯状に延在する画像領域が指定画像領域Ｒとして定義されている。そして、当該指定画像領域Ｒに重なる左側ピラー４２４０Ｌの指定部分ＰＰＬおよび右側ピラー４２４０Ｒの指定部分ＰＰＲの全部が表示されるように、中央画像出力装置２２１０における撮像画像の表示態様が制御される。
　さらに、遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において前記視線検知装置により検知されたオペレータの第２指定期間にわたる視線の先の変位方向に対して平行な方向に帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。
　遠隔制御装置２００が、遠隔操作機構２１１におけるオペレータによる操作態様の相違に応じて、中央画像出力装置２２１０（指定画像出力装置）における撮像画像の表示態様を可変に制御してもよい。
　当該構成の遠隔操作装置２０によれば、オペレータによる遠隔操作機構２１１の操作に応じて、作業機械４０の状態が変化することにより撮像画像により示されているキャブ４２４の前方の様子が変化した場合でも、中央画像出力装置２２１０（指定画像出力装置）において指定画像領域Ｒに少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲの全部が含まれるように撮像画像の表示態様が可変に制御される。これにより、遠隔操作機構２１１の操作に応じて変化する撮像画像に映り込むキャブ４２４の一対のピラー４２４０Ｌ、４２４０Ｒと、当該ピラー４２４０Ｌ、４２４０Ｒが表示される中央画像出力装置２２１０のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られる。
　遠隔制御装置２００が、遠隔操作機構２１１においてキャブ４２４が搭載されている上部旋回体４２０を下部走行体４１０に対して旋回させるための旋回操作があった場合（図３参照）、左右一対のピラー４２４０Ｌ、４２４０Ｒのうち、上部旋回体４２０の旋回方向にある一方のピラー４２４０Ｌ（または４２４０Ｒ）の指定部分ＰＰＬ（またはＰＰＲ）が他方のピラー４２４０Ｒ（または４２４０Ｌ）の指定部分ＰＰＲ（またはＰＰＬ）よりも偏重的に中央画像出力装置２２１０（指定画像出力装置）に表示されるように撮像画像の表示態様を可変に制御してもよい。
　当該構成の遠隔操作装置２０によれば、オペレータによる遠隔操作機構２１１の旋回操作に応じて、作業機械４０の上部旋回体４２０が下部走行体４１０に対して右旋回した場合、図７に示されているように、撮像画像により示されているキャブ４２４の前方の様子が全体的に当該旋回方向（黒矢印参照）の反対方向（白矢印参照）に変位する。この場合、図７に示されているように、中央画像出力装置２２１０に表示される撮像画像において、左側ピラー４２４０Ｌの指定部分ＰＰＬの少なくとも一部が表示されないものの、右側ピラー４２４０Ｒの指定部分ＰＰＲの全部が表示される。これにより、中央画像出力装置２２１０に表示される撮像画像において、左側ピラー４２４０Ｌの面積よりも右側ピラー４２４０Ｒの面積が大きくなっている。図７では指定画像領域Ｒは、図５の実施形態にしたがって定義されているが、図６またはその他の実施形態にしたがって定義されていてもよい。
　同様に、オペレータによる遠隔操作機構２１１の旋回操作に応じて、作業機械４０の上部旋回体４２０が下部走行体４１０に対して左旋回した場合、図８に示されているように、撮像画像により示されているキャブ４２４の前方の様子が全体的に当該旋回方向（黒矢印参照）の反対方向（白矢印参照）に変位する。この場合、図８に示されているように、中央画像出力装置２２１０に表示される撮像画像において、左側ピラー４２４０Ｌの指定部分ＰＰＲの少なくとも一部が表示されないものの、右側ピラー４２４０Ｒの指定部分ＰＰＲの全部が表示される。これにより、中央画像出力装置２２１０に表示される撮像画像において、右側ピラー４２４０Ｒの面積よりも左側ピラー４２４０Ｌの面積が大きくなっている。図８では指定画像領域Ｒは、図６の実施形態にしたがって定義されているが、図５またはその他の実施形態にしたがって定義されていてもよい。
　その結果、遠隔操作機構２１１の旋回操作に応じて、当該旋回方向に映り込むキャブ４２４の一方のピラー４２４０Ｌまたは４２４０Ｒと、当該ピラー４２４０Ｌまたは４２４０Ｒが表示される中央画像出力装置２２１０のベゼル２２１０Ｌまたは２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られる。上部旋回体４２０の右旋回時には、オペレータの視線の先または注意が中央画像出力装置２２１０の右側に寄り、上部旋回体４２０の左旋回時には、オペレータの視線の先または注意が中央画像出力装置２２１０の左側に寄る傾向があるため、当該表示態様の制御は特に有意義である。
　遠隔制御装置２００が、右側画像出力装置２２１２、中央画像出力装置２２１０および左側画像出力装置２２１１に撮像画像を分割して表示させ、かつ、右側画像出力装置２２１２、中央画像出力装置２２１０および左側画像出力装置２２１１における撮像画像の分割表示態様を可変に制御する。
　中央画像出力装置２２１０および左側画像出力装置２２１１の間でオペレータの視線が移動する際に、中央画像出力装置２２１０の左側ベゼル２２１０Ｌが、運転室４２４を構成する左側ピラー４２４０Ｌであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる。同様に、中央画像出力装置２２１０および右側画像出力装置２２１２の間でオペレータの視線が移動する際に、中央画像出力装置２２１０の右側ベゼル２２１０Ｒが、運転室４２４を構成する右側ピラー４２４０Ｒであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる。
　遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において作業機械４０を構成する作動機構４４０の作業部４４５が含まれている、帯状に延在する画像領域を指定画像領域として、少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分の全部が表示されるように、指定画像出力装置における撮像画像の表示態様を可変に制御する。
　撮像画像に映り込んでいる少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分および作業機械４０を構成する作動機構４４０の作業部４４５のそれぞれを指標として、実空間における当該作業部４４５の位置、方向、姿勢、大きさ、形状および作業対象物等との間隔の認識を含む空間認識が可能になるように撮像画像に映り込む運転室４２４の一対のピラー４２４０Ｌ、４２４０Ｒと、当該ピラーが表示される指定画像出力装置のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。
　遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において作業部の第１指定期間にわたる位置軌道の一部または全部が含まれている、帯状に延在する画像領域を指定画像領域として、少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分の全部が表示されるように、指定画像出力装置における撮像画像の表示態様を可変に制御する。
　遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において作業部４４５の第１指定期間にわたる変位方向に対して平行な方向に帯状に延在する画像領域を指定画像領域として、少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分の全部が表示されるように、指定画像出力装置における撮像画像の表示態様を可変に制御する。
　遠隔操作装置が、オペレータの視線を検知する視線検知装置をさらに備え、遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において視線検知装置により検知されたオペレータの第２指定期間にわたる視線の先の軌道の一部または全部が含まれている、帯状に延在する画像領域を指定画像領域として、少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分の全部が表示されるように、指定画像出力装置における撮像画像の表示態様を可変に制御する。
　撮像画像に映り込んでいる少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分およびオペレータの視線の先にある物体等を指標または目印として、実空間における当該作業部４４５の位置、方向、姿勢、大きさ、形状および作業対象物等との間隔の認識を含む空間認識が可能になる。のように撮像画像に映り込む運転室４２４の一対のピラー４２４０Ｌ、４２４０Ｒと、当該ピラーが表示される画像出力装置のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。
　遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において視線検知装置により検知されたオペレータの第２指定期間にわたる視線の先の変位方向に対して平行な方向に帯状に延在する画像領域を指定画像領域として、少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分の全部が表示されるように、指定画像出力装置における撮像画像の表示態様を可変に制御する。
　遠隔制御装置２００が、遠隔操作機構におけるオペレータによる操作態様の相違に応じて、指定画像出力装置における撮像画像の表示態様を可変に制御する。
　オペレータによる遠隔操作機構２１１の操作に応じて、作業機械４０の動作状態が変化することにより撮像画像により示されている運転室４２４の前方の様子が変化した場合でも、指定画像出力装置において指定画像領域に少なくとも一方のピラーの指定部分の全部が含まれるように撮像画像の表示態様が可変に制御される。これにより、遠隔操作機構の操作に応じて変化する撮像画像に映り込む運転室４２４の一対のピラー４２４０Ｌ、４２４０Ｒと、当該ピラーが表示される画像出力装置のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られる。
　遠隔制御装置２００が、遠隔操作機構２１１において運転室４２４が搭載されている上部旋回体４２０を下部走行体４１０に対して旋回させるための旋回操作があった場合、左右一対のピラー４２４０Ｌ、４２４０Ｒのうち、上部旋回体４１の旋回方向にある一方のピラーが他方のピラーよりも偏重的に指定画像出力装置（例えば、中央画像出力装置２２１０）に表示されるように、指定画像出力装置における撮像画像の表示態様を可変に制御する。
　オペレータによる遠隔操作機構２１１の旋回操作に応じて、作業機械４０の上部旋回体４２０が下部走行体４１０に対して旋回することにより撮像画像により示されている運転室４２４の前方の様子が全体的に当該旋回方向の反対方向に変位した場合、指定画像出力装置（例えば、中央画像出力装置２２１０）において指定画像領域に当該旋回方向にある一方のピラー４２４０Ｌ（４２４０Ｒ）が、他方のピラー４２４０Ｒ（４２４０Ｌ）よりも偏重的に表示される。これにより、例えば、指定画像出力装置に表示される撮像画像において、他方のピラー４２４０Ｒ（４２４０Ｌ）の指定部分の少なくとも一部が表示されないものの、一方のピラー４２４０Ｌ（４２４０Ｒ）の指定部分の全部が表示される。また、指定画像出力装置における一方のピラー４２４０Ｌ（４２４０Ｒ）の面積（当該一方のピラーに相当する画像領域を構成する画素数）が、他方のピラー４２４０Ｒ（４２４０Ｌ）の面積（当該他方のピラーに相当する画像領域を構成する画素数）よりも大きくなるように、指定画像出力装置における撮像画像の表示態様が制御されてもよい。その結果、遠隔操作機構２１１の旋回操作に応じて、当該旋回方向に映り込む運転室４２４の一方のピラー４２４０Ｌ（４２４０Ｒ）と、当該ピラーが表示される画像出力装置のベゼル２２１０Ｌ（２２１０Ｒ）と、がオペレータにより誤認または混同される可能性の低減が図られる。
１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥下部走行体、４２０‥上部旋回体、４２４‥キャブ（運転室）、４４０‥作業アタッチメント（作動機構）、４４５‥バケット（作業部）、２２１０‥中央画像出力装置（指定画像出力装置）、２２１１‥左側画像出力装置、２２１２‥右側画像出力装置、４２４０Ｌ‥左側ピラー、４２４０Ｒ‥右側ピラー、ＰＰＬ、ＰＰＲ‥ピラーの指定部分。
 

Claims (12)

  1. 　作業機械を遠隔操作するためにオペレータにより操作される遠隔操作機構と、
    　前記遠隔操作機構の周囲に配置された一または複数の画像出力装置と、
    　遠隔制御装置と、を備え、
    　前記遠隔制御装置が、前記作業機械の運転室の内部に搭載されている実機撮像装置により取得された、前記運転室の前方の様子を示す撮像画像を前記一または複数の画像出力装置のうち指定画像出力装置に表示させ、かつ、前記指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  2. 　請求項１記載の遠隔操作装置において、
    　前記遠隔操作機構の前方に配置されている前記指定画像出力装置としての中央画像出力装置と、前記中央ディスプレイの左右側縁のそれぞれに隣接して、前記遠隔操作機構の左斜め前方および右斜め前方のそれぞれに配置されている左側画像出力装置および右側画像出力装置と、を前記複数の画像出力装置として備え、
    　前記遠隔制御装置が、前記右側画像出力装置、前記中央画像出力装置および前記左側画像出力装置に前記撮像画像を分割して表示させ、かつ、前記右側画像出力装置、前記中央画像出力装置および前記左側画像出力装置における前記撮像画像の分割表示態様を可変に制御することを特徴とする遠隔操作装置。
  3. 　請求項１または２記載の遠隔操作装置において、
    　前記遠隔制御装置が、前記指定画像出力装置において前記作業機械を構成する作動機構の作業部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  4. 　請求項３記載の遠隔操作装置において、
    　前記遠隔制御装置が、前記指定画像出力装置において前記作業部の第１指定期間にわたる位置軌道の一部または全部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  5. 　請求項４記載の遠隔操作装置において、
    　前記遠隔制御装置が、前記指定画像出力装置において前記作業部の前記第１指定期間にわたる変位方向に対して平行な方向に帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  6. 　請求項１～５のうちいずれか１項に記載の遠隔操作装置において、
    　前記オペレータの視線を検知する視線検知装置をさらに備え、
    　前記遠隔制御装置が、前記指定画像出力装置において前記視線検知装置により検知された前記オペレータの第２指定期間にわたる視線の先の軌道の一部または全部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  7. 　請求項６記載の遠隔操作装置において、
    　前記遠隔制御装置が、前記指定画像出力装置において前記視線検知装置により検知された前記オペレータの前記第２指定期間にわたる視線の先の変位方向に対して平行な方向に帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  8. 　請求項１～７のうちいずれか１項に記載の遠隔操作装置において、
    　前記遠隔制御装置が、前記遠隔操作機構における前記オペレータによる操作態様の相違に応じて、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  9. 　請求項８記載の遠隔操作装置において、
    　前記遠隔制御装置が、前記遠隔操作機構において前記運転室が搭載されている上部旋回体を下部走行体に対して旋回させるための旋回操作があった場合、前記左右一対のピラーのうち、前記上部旋回体の旋回方向にある一方のピラーが他方のピラーよりも偏重的に前記指定画像出力装置に表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
  10. 　遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
    　前記作業機械を構成する運転室の内部に搭載されている実機撮像装置により取得された前記運転室の前方の様子を示す撮像画像を、前記作業機械との通信に基づいて取得する第１支援処理要素と、
    　前記遠隔操作装置との通信に基づき、前記遠隔操作装置を構成する一または複数の画像出力装置のうち指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御する第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
  11. 　請求項１～９のうちいずれか１項に記載の遠隔操作装置と、請求項１０記載の遠隔操作支援サーバと、により構成されていることを特徴とする遠隔操作支援システム。
  12. 　遠隔操作装置を通じた作業機械の遠隔操作を支援するための方法であって、
    　前記作業機械を構成する運転室の内部に搭載されている実機撮像装置により取得された前記運転室の前方の様子を示す撮像画像を、前記作業機械との通信に基づいて取得する第１支援処理と、
    　前記遠隔操作装置との通信に基づき、前記遠隔操作装置を構成する一または複数の画像出力装置のうち指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御する第２支援処理と、を含んでいることを特徴とする遠隔操作支援方法。
     
     
PCT/JP2021/000337 2020-02-18 2021-01-07 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 WO2021166475A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180014247.7A CN115088251A (zh) 2020-02-18 2021-01-07 远程操作装置、远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
EP21757735.2A EP4075795A4 (en) 2020-02-18 2021-01-07 REMOTE OPERATION DEVICE, REMOTE ASSISTANCE SERVER, REMOTE ASSISTANCE SYSTEM AND REMOTE ASSISTANCE METHOD
US17/794,089 US20230056724A1 (en) 2020-02-18 2021-01-07 Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020025720A JP7363560B2 (ja) 2020-02-18 2020-02-18 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2020-025720 2020-02-18

Publications (1)

Publication Number Publication Date
WO2021166475A1 true WO2021166475A1 (ja) 2021-08-26

Family

ID=77390735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000337 WO2021166475A1 (ja) 2020-02-18 2021-01-07 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Country Status (5)

Country Link
US (1) US20230056724A1 (ja)
EP (1) EP4075795A4 (ja)
JP (1) JP7363560B2 (ja)
CN (1) CN115088251A (ja)
WO (1) WO2021166475A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013691A1 (ja) * 2015-10-15 2016-01-28 株式会社小松製作所 位置計測システム及び位置計測方法
JP2018207244A (ja) 2017-05-31 2018-12-27 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
WO2019003431A1 (ja) * 2017-06-30 2019-01-03 株式会社小松製作所 撮像装置、建設機械および撮像システム
JP2019007139A (ja) * 2017-06-20 2019-01-17 コベルコ建機株式会社 建設機械遠隔操作システム
JP2019167733A (ja) * 2018-03-23 2019-10-03 コベルコ建機株式会社 建設機械

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891087B2 (ja) * 2017-09-29 2021-06-18 株式会社小松製作所 作業車両、表示装置、および障害判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013691A1 (ja) * 2015-10-15 2016-01-28 株式会社小松製作所 位置計測システム及び位置計測方法
JP2018207244A (ja) 2017-05-31 2018-12-27 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
JP2019007139A (ja) * 2017-06-20 2019-01-17 コベルコ建機株式会社 建設機械遠隔操作システム
WO2019003431A1 (ja) * 2017-06-30 2019-01-03 株式会社小松製作所 撮像装置、建設機械および撮像システム
JP2019167733A (ja) * 2018-03-23 2019-10-03 コベルコ建機株式会社 建設機械

Also Published As

Publication number Publication date
EP4075795A4 (en) 2023-06-14
JP7363560B2 (ja) 2023-10-18
US20230056724A1 (en) 2023-02-23
CN115088251A (zh) 2022-09-20
EP4075795A1 (en) 2022-10-19
JP2021130932A (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JPWO2016158265A1 (ja) 作業機械
KR20130138227A (ko) 작업 기계의 주위 감시 장치
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
CN113615164A (zh) 远程操作系统以及远程操作服务器
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
EP4130400A1 (en) Remote operation assistance device and remote operation assistance method
CN114730440A (zh) 作业支援服务器、作业支援方法及作业支援系统
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
US20230167626A1 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
EP4060129B1 (en) Remote operation support system and remote operation support method
EP4279667A1 (en) Remote operation assistance server and remote operation assistance system
WO2023026568A1 (ja) 遠隔操作システムおよび遠隔操作複合システム
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
EP4130403A1 (en) Image processing device and image processing method
JP2023032997A (ja) 遠隔操作システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757735

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021757735

Country of ref document: EP

Effective date: 20220713

NENP Non-entry into the national phase

Ref country code: DE