WO2020250557A1 - 遠隔操作システムおよび遠隔操作サーバ - Google Patents

遠隔操作システムおよび遠隔操作サーバ Download PDF

Info

Publication number
WO2020250557A1
WO2020250557A1 PCT/JP2020/016053 JP2020016053W WO2020250557A1 WO 2020250557 A1 WO2020250557 A1 WO 2020250557A1 JP 2020016053 W JP2020016053 W JP 2020016053W WO 2020250557 A1 WO2020250557 A1 WO 2020250557A1
Authority
WO
WIPO (PCT)
Prior art keywords
environmental information
remote control
work machine
information
control device
Prior art date
Application number
PCT/JP2020/016053
Other languages
English (en)
French (fr)
Inventor
佑介 船原
佐々木　均
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US17/611,704 priority Critical patent/US20220213666A1/en
Priority to EP20823703.2A priority patent/EP3951096A4/en
Priority to CN202080041703.2A priority patent/CN113994051A/zh
Publication of WO2020250557A1 publication Critical patent/WO2020250557A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0215—Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices

Definitions

  • the present invention relates to a system for remotely controlling a work machine or the like.
  • the present invention has an appropriate form from the viewpoint that the operator appropriately grasps the environment of the work machine according to the operation state of the work machine by the operator while reducing the data communication load for outputting the environmental information.
  • the purpose is to provide a system that can avoid an excessive decrease in the amount of environmental information.
  • the remote operation server of the present invention is a remote operation server having a mutual communication function with each of a work machine and a remote operation device for remotely operating the work machine, and the operating state of the remote operation device by an operator or the said.
  • the state recognition element that recognizes the operating state of the work machine and the environmental data that represents the environment of the work machine that is output by the information output device that constitutes the remote control device and that is acquired by the environment recognition device that the work machine has.
  • Each of the plurality of environmental information factors that determine the amount of information of the corresponding environmental information is the operating state of the remote control device or the work machine recognized by the state recognition element so that the amount of the environmental data is reduced. It is characterized in that it includes an environmental information control processing element that executes an environmental information control process for adjusting in a different manner according to a difference in the operating state of the above.
  • the remote control system of the present invention is characterized in that it is composed of a work machine, a remote control device for remotely controlling the work machine, and the remote control server.
  • Explanatory drawing about the structure of the remote control system as one Embodiment of this invention Explanatory drawing about the structure of the work machine. Explanatory drawing about the structure of the remote control device. The explanatory view about the function of the remote control system as one Embodiment of this invention. Explanatory drawing about control mode of environmental information factor in a normal state. The explanatory view about the 1st control mode of the environmental information factor corresponding to the environmental information control process. The explanatory view about the 2nd control mode of the environmental information factor corresponding to the environmental information control process. The explanatory view about the 3rd control mode of the environmental information factor corresponding to the environmental information control process. Explanatory drawing about environmental information in a normal state. Explanatory drawing about environmental information at the time of environmental information control processing.
  • the remote control system as an embodiment of the present invention shown in FIG. 1 includes a remote control device 10, a remote control server 20, and a work machine 40.
  • the work machine 40 includes a slave control device 400, an environment recognition device 401, a wireless communication device 402, and an operating mechanism 440.
  • the slave control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a swivel mechanism 430.
  • the upper swivel body 420 is provided.
  • a cab (driver's cab) 422 is provided on the front left side of the upper swivel body 420.
  • a work attachment 440 is provided at the front center portion of the upper swivel body 220.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is provided with a bucket 445 connected to the.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the environment recognition device 401 is installed inside the cab 422, for example, and is composed of an image pickup device that images the environment including at least a part of the operating mechanism 440 through the front window of the cab 422.
  • the environment recognition device 401 may include an acoustic input device configured by a microphone or the like.
  • the actual machine side operation lever corresponding to the operation lever (described later) constituting the remote control device 10 and the signal corresponding to the operation mode of each operation lever are received from the remote control room, and the actual machine operation lever is moved based on the received signal.
  • a drive mechanism or a robot is provided in the cab 422.
  • the remote control device 10 includes a master control device 100, an input interface 110, and an output interface 120. At least a part of the remote control device 10 may be composed of a mobile terminal device such as a smartphone, a tablet terminal or a notebook PC.
  • the master control device 100 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the input interface 110 includes an operation mechanism 111 and an operation state detector 112.
  • the output interface 120 includes an information output device 121 and a wireless communication device 122.
  • the operation mechanism 111 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, a bucket operation device, and a cutoff operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410.
  • the travel lever may also serve as a travel pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442.
  • the operating lever (arm lever) of the arm operating device is operated to move the arm cylinder 444.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 446.
  • the operation lever (cutoff lever) of the shutoff operation device is locked so that the work machine 40 does not move even if each operation lever such as the traveling lever is operated, and is operated to release the lock.
  • Each operating lever constituting the operating mechanism 111 is arranged around the seat 1100 for the operator to sit on, for example, as shown in FIG.
  • the seat 1100 is in the form of a high back chair with armrests, but may be in any form in which the operator can sit, such as a low back chair without a headrest or a chair without a backrest.
  • a pair of left and right traveling levers 1110 corresponding to the left and right crawlers are arranged side by side in front of the seat 1100.
  • One operating lever may also serve as a plurality of operating levers.
  • the right operation lever 1111 provided in front of the right frame of the seat 1100 shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
  • the left side operating lever 1112 provided in front of the left side frame of the seat 1100 shown in FIG. 3 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the shutoff lever 1113 provided below the left operation lever 1112 in front of the left frame of the seat 1100 prevents the work machine 40 from moving even if each operation lever 1110, 1111 or 1112 is operated when it is raised. While locking, it functions as an operating lever to release the lock when lowered.
  • the information output device 121 includes a right diagonal front image output device 1211, a front image output device 1212, and a left diagonally forward image output device 1211 arranged diagonally forward to the right, forward, and diagonally forward to the left of the sheet 1100. It is composed of an oblique forward image output device 1213.
  • the information output device 121 may further include a speaker (audio output device) arranged inside or around the sheet 1100.
  • the operation state detector 112 detects the operation state of the operation device 400 for operating the work machine 200 by the operator. For example, a sensor that outputs a signal according to the amount of deformation or displacement of the urging mechanism composed of a spring or an elastic member that acts to restore the operation lever to the original position and posture corresponding to the operation amount 0.
  • An operation state detector 112 with an arithmetic processing device that estimates that the swivel lever has been operated to swivel the upper swivel body 220 at a speed counterclockwise when viewed from above based on the output signal of the sensor. Is configured.
  • a pressure-sensitive sensor or a contact sensor is provided on at least one operating lever constituting the operating mechanism 111, and the sensor is operated by an arithmetic processing unit that estimates that the at least one operating lever is gripped by the operator.
  • the state detector 112 may be configured.
  • a pressure-sensitive sensor or a contact sensor may be provided on the seat 1100, and the operation state detector 112 may be configured by the sensor and an arithmetic processing unit that estimates that the operator is seated on the seat 1100.
  • a pilot pressure sensor that outputs a signal corresponding to the pilot pressure according to the amount of operation of the actual machine side operating lever provided on the work machine 40, and an upper swing body 420 viewed from above based on the output signal of the pilot pressure sensor.
  • the operation state detector 112 may be configured by an arithmetic processing device that estimates that the swivel lever has been operated in order to swivel at a speed counterclockwise.
  • the remote control server 20 includes a state recognition element 21 and an environment information control processing element 22.
  • the state recognition element 21 recognizes the operation state of the remote control device 10 (or the operation mechanism 111 constituting the remote control device 10) or the operation state of the work machine 40 by the operator.
  • the environmental information control processing element 22 executes the environmental information control processing in different modes according to the difference in the operating state of the remote control device 10 or the operating state of the work machine 40 recognized by the state recognition element 21.
  • the "environmental information control process” adjusts each of a plurality of environmental information factors that determine the amount of environmental information output by the information output device 121 of the remote control device 10 so that the amount of the environmental data is reduced. It is an arithmetic process to do.
  • the operation mechanism 111 is operated by the operator (FIG. 4 / STEP 102), and in response to this, the master control device 100 issues an operation command according to the operation mode to the remote control server through the wireless communication device 122. It is transmitted to 20 (Fig. 4 / STEP104).
  • an operation command is received from the remote control device 10 by the state recognition element 21, and the operation command is transmitted to the work machine 40 (FIG. 4 / STEP202).
  • the slave control device 400 receives the operation command through the wireless communication device 402 (FIG. 4 / STEP402). In response to this, the operation of the work attachment 440 and the like is controlled by the slave control device 400 (FIG. 4 / STEP404). For example, the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the captured image is acquired as environmental information by the environment recognition device 401 (Fig. 4 / STEP406).
  • voice information may be acquired as environmental information.
  • the master control device 100 transmits an operation start command from the remote control device 10 to the work machine 40 via the remote control server 20 through the wireless communication device 122, which is regarded as a trigger for starting the acquisition of environmental information. You may.
  • the operation start command is output, for example, in response to the operation of the buttons or operation levers constituting the input interface 110 or the operation mechanism 111 in the remote control device 10 in a predetermined mode.
  • the environmental information acquired by the environment recognition device 401 is transmitted from the work machine 40 and received by the remote control server 20.
  • the environment information control processing element 22 executes the environment information control processing (FIG. 4 / STEP206).
  • the "environmental information control process” adjusts each of a plurality of environmental information factors that determine the amount of environmental information output by the information output device 121 of the remote control device 10 so that the amount of the environmental data is reduced. It is an arithmetic process to do. Specifically, the plurality of environmental information factors are adjusted in different manners so that the decrease in the amount of information according to the "low environmental information factor" is larger than that of the "high environmental information factor” among the plurality of environmental information factors. It is an arithmetic process to do. The high environment information factor and the low environment information factor are classified in different modes according to the difference in the operation state of at least one of the operation command from the remote control device 10 and the operation state of the work machine 40 in response to the operation command. Environment information control processing is executed.
  • the environmental information control process may be executed by the environmental information control process element 22 only when the necessity of the execution process is determined and the determination result is affirmative. For example, it may be determined whether the operation state of the operation mechanism 111 in response to the operation command is the designated operation state that is the target of the environment information control processing. Whether the operation state according to the operation command of the work machine 40 is recognized by the communication between the remote control server 20 and the work machine 40, and the operation state of the work machine 40 is the designated operation state that is the target of the environmental information control process. Whether or not it may be determined.
  • the environment information control processing element 22 may recognize the communication speed between the remote control server 20 and the remote control device 10 or the work machine 40, and then determine whether or not the communication speed is less than the reference value. ..
  • FIG. 5A in a normal state, that is, in a state where the environmental information control process is not executed, the values of the four environmental information factors X1 to X4 that determine the amount of information of the environmental information are normalized with reference to the lower limit value Q1.
  • the situation which is the reference value Q2 at the time is shown.
  • the four environmental information factors X1 to X4 are, for example, the resolution, the frame rate, the number of dimensions of the pixel value, and the width of the output image range.
  • the environmental information includes voice
  • a plurality of environmental information factors include at least one of a sampling frequency, a quantization bit rate, and a sound frequency band.
  • FIGS. 5B to 5D shows a target value or a command value of each of the four environmental information factors X1 to X4 when the operation state is each of the first to third designated operation states.
  • the environmental information factors X1 and X2 are reduced from the reference value Q2, and the environmental information factors X3 and X4 are maintained at the reference value Q2 (see FIG. 5B).
  • the environmental information factors X3 and X4 correspond to the "high environmental information factor”
  • the environmental information factors X1 and X2 are adjusted so that the decrease in the amount of environmental information is larger than that of the high environmental information factor.
  • the environmental information factors X3 and X4 are reduced more than the reference value Q2, the environmental information factor X3 has a larger amount of decrease than the environmental information factor X4, and the environmental information factors X1 and X2 are the reference values Q2. Is maintained at (see FIG. 5C).
  • the environmental information factors X1 and X2 correspond to the "high environmental information factor”
  • the environmental information factors X3 and X4 are adjusted so that the decrease in the amount of information of the environmental information is larger than that of the high environmental information factor.
  • the environmental information factor X4 corresponds to the "high environmental information factor (or the primary low environmental information factor)", and the environmental information factor X3 has a larger decrease in the amount of environmental information than the high environmental information factor.
  • the environmental information factor X4 corresponds to the "low environmental information factor (or secondary low environmental information factor)" adjusted to.
  • the environmental information factor X2 is reduced from the reference value Q2, the environmental information factor X3 is increased from the reference value Q2, and the environmental information factors X1 and X4 are maintained at the reference value Q2 (FIG. See 5D).
  • the environmental information factor X3 corresponds to the "high environmental information factor”
  • the environmental information factors X1, X2 and X4 are adjusted so that the amount of information of the environmental information decreases more than the high environmental information factor.
  • the environmental information factors X1 and X4 correspond to the "high environmental information factor (or the primary low environmental information factor)”
  • the environmental information factor X2 has a larger decrease in the amount of environmental information than the high environmental information factor.
  • the low environmental information factor (or secondary low environmental information factor) adjusted to be.
  • each of the plurality of environmental information factors may be adjusted as shown in Table 1 according to the remote control state of the work machine 40.
  • the shutoff lever up + lever grip (state B) is a state in which the operator has no intention of operating the work machine 40 as in the state A, but the operator grips the operation lever to alleviate the reduction of the environmental information factor.
  • it is the state of the environmental information factor that is adjusted when confirming that the truck for transporting earth and sand moves to a predetermined position. Since no work such as excavation is performed, the frame rate can be reduced.
  • the resolution is lowered. This is to reduce the unsightlyness and discomfort of the screen due to the screen moving at high speed.
  • the image range can be increased to ensure visibility in the turning direction.
  • the rough excavation operation (state E) is a state in which the work speed is emphasized and excavation is performed from the planned excavation surface to the surface separated from the planned surface.
  • the frame rate is maintained, but reducing other environmental information factors does not pose a problem in terms of work. It is desirable not to reduce the image range when performing work that involves movement such as turning.
  • the finish excavation operation (state F) is, for example, a state in which the earth and sand area remaining from the planned surface of excavation after rough excavation is excavated with an emphasis on accuracy. In this state, it is desirable not to reduce the environmental information factor.
  • the communication load is forced to be reduced, the environmental information factor is reduced without affecting the workability by maintaining the frame rate while reducing the image range when the bucket or the like is in operation. Further, when the operation of the bucket or the like is sluggish, for example, when the operator confirms the work surface, the image range is maintained while reducing the frame rate.
  • ground leveling work operation (combination of states D and E) is also assumed as a combination of the above states. It is desirable that the image range is reduced when only the leveling work is performed by the bucket, but not when the running operation is also performed.
  • the environment information control processing element 22 transmits an environment information control command to the work machine 40 (FIG. 4 / STEP208).
  • the environmental information control command includes data for specifying the regulation mode of a plurality of factors in addition to the normal state or the designated operation state (whether or not the environmental information control process is executed).
  • the slave control device 400 receives the environmental information control command through the wireless communication device 402 (FIG. 4 / STEP408).
  • the slave control device 400 adjusts the amount of environmental data representing the captured image according to the environmental information control command, and then transmits the data to the remote control server 30 (FIG. 4 / STEP410).
  • the remote control server 20 environmental data is received from the work machine 40 by the environmental information control processing element 22, and the environmental data is transmitted to the remote control device 10 (FIG. 4 / STEP210).
  • the master control device 100 receives the environmental data through the wireless communication device 122 (FIG. 4 / STEP106).
  • Environmental information according to the environmental data (all or part of the captured image itself or a simulated environmental image generated based on the captured image, and all or part of the recorded sound itself or based on this) by the master control device 100. (Simulated environmental voice generated in this way) is output to the information output device 121 (FIG. 4 / STEP108).
  • the environmental information including the boom 441, the arm 443, the bucket 445, and the arm cylinder 444, which are a part of the work attachment 440 as the operating mechanism, is provided. It is output to each of the high information output device 121 and the low information output device 221.
  • the environmental information factor X1 is "the same output image range as the normal state" and the environmental information factor X2 is "resolution”, in the first designated operation state (see FIG. 5B), a part of the environmental information (for example, the center).
  • a single image area in the information output device 121 may be specified by the "output image range (or the same output image range as in the normal state)" as an environmental information factor, or a plurality of image areas may be specified.
  • An image area in which the spread mode (specified by the shape, size, center of gravity, etc.) in the information output device 121 may be specified in chronological order by the "output image range" as an environmental information factor may be specified, and the bucket 445 may be specified.
  • An image area in which the spreading mode of the information output device 121 changes in time series, such as an image area including the above, may be specified.
  • the environmental information factor X3 is the "number of dimensions of the pixel value" and the environmental information factor X4 is the "frame rate", in the second designated operation state (see FIG. 5C), for example, the frame rate of the environmental information is reduced. (24 to 30 FPS ⁇ 2 to 10 FPS, etc.) And the two-dimensional (four-dimensional when the hue is represented by a three-dimensional vector such as an RGB value) including the hue and brightness value in the normal state is the brightness value.
  • Environmental information having a one-dimensional pixel value including only (grayscale) is output to the information output device 121.
  • the environmental information for a predetermined number of times before the previous time may be output from the information output device 121.
  • the resolution of the current environmental image as environmental information is lower than the resolution of the previous environmental image
  • the previous or previous multiple environmental images are output and displayed on the information output device. You may.
  • each of the plurality of environmental information factors that determine the amount of information of the environmental information is adjusted by executing the "environmental information control process". .. Specifically, the amount of information reduction of one or more low environmental information factors is larger than the amount of information reduction of one or more high environmental information factors (meaning the amount of information reduction of environmental information due to changes in the environmental information factors). The amount of environmental data is reduced so that is larger (see FIG. 4 / STEP206, FIGS. 5A to 5D).
  • the amount of data is adjusted so that the amount of information degradation of the low environmental information factor is relatively larger than the amount of information degradation of the high environmental information factor, the amount of data is reduced, and the communication load of environmental data is reduced. It is planned.
  • the amount of data is adjusted so that the amount of information reduction of the high environmental information factor is relatively smaller than the amount of information reduction of the low environmental information factor, the amount of data is excessively reduced, and eventually the amount of environmental information is reduced. Excessive reduction of the amount of information can be avoided.
  • the high environmental information factor and the low environmental information factor are classified in different manners so that one low environmental information factor becomes a high environmental information factor with respect to the other low environmental information factor, and the environmental information control process is executed, the operation is performed.
  • the range of regulation modes of multiple environmental information factors is expanded. Therefore, while reducing the data communication load for outputting environmental information, it is more precise and appropriate from the viewpoint that the operator appropriately grasps the environment of the work machine 40 according to the operating state of the work machine 40 by the operator. It is possible to avoid an excessive decrease in the amount of environmental information in the form.
  • the environmental information control processing is executed by the environmental information control processing element 22 on the condition that the communication speed of at least one of the remote control device 10 and the work machine 40 is lower than the reference value, the communication load of the environmental data is reduced. In a situation where there is little need to take measures, it is possible to avoid an excessive reduction in the amount of environmental data, and thus an excessive reduction in the amount of environmental information.
  • a plurality of the environmental information control processes are performed according to the difference in the operation state (the operation command according to the operation state of the operation mechanism 111 by the operator and at least one state of the operation state of the work machine 40 according to the operation command).
  • Each of the environmental information factors is regulated in different ways. Specifically, the high environmental information factor and the low environmental information factor are classified and executed in different modes according to the difference (see FIGS. 5A to 5D). Therefore, while reducing the data communication load for outputting environmental information, the environment is in an appropriate form from the viewpoint that the operator appropriately grasps the environment of the work machine 40 according to the remote control state of the work machine 40 by the operator. It is possible to avoid an excessive decrease in the amount of information (see FIGS. 6A to 6B).
  • the environment information control processing element 22 constituting the remote control server 20 receives the environment data from the work machine 40 in the same manner as in the normal state, and then executes the environment information control processing.
  • the amount of environmental data transmitted to the remote control device 10 may be increased or decreased.
  • the remote control server 20 or the environmental information control processing element 22 is configured by the master control device 100, and the remote control device 10 and the work machine 40 communicate with each other directly or via a wireless communication base station. May be good.
  • the master controller 100 and the remote control server 20 can communicate with each other through a communication circuit in a common processor or a communication circuit connecting separate processors.
  • the remote control server 20 or the environmental information control processing element 22 is configured by the slave control device 400, and the remote control device 10 and the work machine 40 communicate with each other directly or via a wireless communication base station. May be good.
  • the slave control device 400 and the remote control server 20 can communicate with each other through a communication circuit in a common processor or a communication circuit connecting separate processors.
  • a plurality of environmental information factors are classified and adjusted into a high environmental information factor and a low environmental information factor, but in another embodiment, the plurality of environmental information factors are at least one of the remote control devices 10. It may be uniformly adjusted without being classified into a high environmental information factor and a low environmental information factor according to the designated operation state of the work machine 40 or at least one designated operation state of the work machine 40. That is, all of the plurality of environmental information factors may be controlled so that the amount of decrease from the reference value Q2 is the same.
  • the operation command is transmitted from the remote control device 10 to the work machine 40 via the remote control server 20 (see FIG. 4 / STEP104 ⁇ STEP202 ⁇ STEP402), but as another embodiment, the operation is performed.
  • the command may be transmitted from the remote control device 10 to the work machine 40 via the wireless communication base station.
  • the environmental information control processing element 22 may recognize the operation command or the operation state of the remote control device 10 in response to the operation command.
  • the operating state of the working machine 40 in response to the operation command may be recognized by the environmental information control processing element 22 based on the communication result between the remote control server 20 and the working machine 40.
  • the environmental data is transmitted from the work machine 40 to the remote control device 10 via the remote control server 20 (see FIG. 4 / STEP410 ⁇ STEP210 ⁇ STEP106), but as another embodiment, the environment Data may be transmitted from the work machine 40 to the remote control device 10 via the wireless communication base station.
  • the execution of the environmental information control process is permitted through the input interface 110.
  • the environment information control process may be executed on the condition that.
  • the environmental data may include "internal environment data" representing the operating state of the work machine 40 in addition to “external environment data” representing the external environment of the work machine 40.
  • data representing the angle is acquired as environmental data by an angle sensor or the like provided on the work attachment 440 and detecting an angle representing the posture of the boom and the arm. For example, when the crawler crane as the work machine 40 is suspended, the amount of data of the environmental data can be reduced by omitting the data representing the angles of the boom and the arm from the environmental data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械の操作状態に応じて当該オペレータが作業機械の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうるシステム等を提供する。遠隔操作システムまたはこれを構成する遠隔操作サーバ２０によれば、「環境情報制御処理」が実行されることにより、一または複数の高環境情報因子の情報低下量（当該環境情報因子の変化による環境情報の情報低下量を意味する。）よりも一または複数の低環境情報因子の情報低下量が大きくなるように環境データのデータ量が低減される。当該環境情報制御処理は、操作状態の相違に応じて、高環境情報因子および低環境情報因子を異なる態様で区分して実行される。

Description

遠隔操作システムおよび遠隔操作サーバ
　本発明は、作業機械等を遠隔操作するためのシステムに関する。
　建設機械等の作業機械の遠隔操作に際して、作業機械による円滑な作業のためには通信を途絶させないことが必須である。オペレータによる作業機械の遠隔操作の意思がないと推察される状態（例えば、乗降遮断レバーが上がっている状態）において、当該オペレータに対して提供される映像の情報量が制限され、あるいは、作業機械を基準とする複数の異なる方位の映像のうち作業機械の上部旋回体の旋回方向に応じた方位の映像のみが選択的に提供される方法が提案されている（例えば、特許文献１参照）。
特開２０１７－０９２９０８号公報
　しかし、前記のような状態で、映像の情報量の制限または特定方位の映像が選択的に出力されるだけではオペレータによる作業機械の環境の把握が困難になる可能性がある。
　そこで、本発明は、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械の操作状態に応じて当該オペレータが作業機械の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうるシステム等を提供することを目的とする。
　本発明の遠隔操作サーバは、作業機械および当該作業機械を遠隔操作するための遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバであって、オペレータによる前記遠隔操作装置の操作状態または前記作業機械の動作状態を認識する状態認識要素と、前記遠隔操作装置を構成する情報出力装置において出力される、前記作業機械が有する環境認識装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように、前記状態認識要素により認識された前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて異なる態様で調節するための環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする。
　本発明の遠隔操作システムは、作業機械と、当該作業機械を遠隔操作するための遠隔操作装置と、前記遠隔操作サーバと、により構成されていることを特徴とする。
本発明の一実施形態としての遠隔操作システムの構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作装置の構成に関する説明図。 本発明の一実施形態としての遠隔操作システムの機能に関する説明図。 通常状態における環境情報因子の制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第１制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第２制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第３制御態様に関する説明図。 通常状態における環境情報に関する説明図。 環境情報制御処理時における環境情報に関する説明図。
　（構成）
　図１に示されている本発明の一実施形態としての遠隔操作システムは、遠隔操作装置１０と、遠隔操作サーバ２０と、作業機械４０と、を備えている。
　（作業機械の構成）
　作業機械４０は、スレーブ制御装置４００と、環境認識装置４０１と、無線通信機器４０２と、作動機構４４０と、を備えている。スレーブ制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２２が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　環境認識装置４０１は、例えばキャブ４２２の内部に設置され、キャブ４２２のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する撮像装置により構成されている。環境認識装置４０１は、マイクロフォンなどにより構成されている音響入力装置を備えていてもよい。
　遠隔操作装置１０を構成する操作レバー（後述）に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ４２２に設けられている。
　（遠隔操作装置の構成）
　遠隔操作装置１０は、マスタ制御装置１００と、入力インターフェース１１０と、出力インターフェース１２０と、を備えている。遠隔操作装置１０の少なくとも一部がスマートホン、タブレット端末またはノートＰＣなどのモバイル端末装置により構成されていてもよい。マスタ制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　入力インターフェース１１０は、操作機構１１１と、操作状態検知器１１２と、を備えている。出力インターフェース１２０は、情報出力装置１２１と、無線通信機器１２２と、を備えている。
　操作機構１１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、遮断操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ４４６を動かすために操作される。
　遮断操作装置の操作レバー（遮断レバー）は、前記した走行レバー等の各操作レバーが操作されても作業機械４０が動かないようにロックする一方、当該ロックを解除するために操作される。
　操作機構１１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシート１１００の周囲に配置されている。シート１１００は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。
　シート１１００の前方に左右のクローラに応じた左右一対の走行レバー１１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシート１１００の右側フレームの前方に設けられている右側操作レバー１１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシート１１００の左側フレームの前方に設けられている左側操作レバー１１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　シート１１００の左側フレームの前方において左側操作レバー１１１２の下方に設けられている遮断レバー１１１３は、上げられた場合に各操作レバー１１１０、１１１１、１１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。
　情報出力装置１２１は、例えば図３に示されているように、シート１１００の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置１２１１、前方画像出力装置１２１２および左斜め前方画像出力装置１２１３により構成されている。当該情報出力装置１２１は、シート１１００の内部または周囲に配置されたスピーカ（音声出力装置）をさらに備えていてもよい。
　操作状態検知器１１２は、オペレータによる作業機械２００を動作させるための操作装置４００の操作状態を検知する。例えば、操作レバーを操作量０に対応する元の位置および姿勢に復元させるように作用するばねまたは弾性部材により構成される付勢機構の変形量または変位量に応じた信号を出力するセンサと、当該センサの出力信号に基づいて上部旋回体２２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器１１２が構成されている。
　操作機構１１１を構成する少なくとも一の操作レバーに感圧センサまたは接触センサが設けられ、当該センサと、当該少なくとも一の操作レバーがオペレータにより握られていることを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。シート１１００に感圧センサまたは接触センサが設けられ、当該センサと、オペレータが当該シート１１００に着座していることを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。
　作業機械４０に設けられている実機側操作レバーの操作量に応じたパイロット圧に応じた信号を出力するパイロット圧センサと、当該パイロット圧センサの出力信号に基づいて上部旋回体４２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。
　（遠隔操作サーバの構成）
　遠隔操作サーバ２０は、状態認識要素２１と、環境情報制御処理要素２２と、を備えている。状態認識要素２１は、オペレータによる遠隔操作装置１０（またはこれを構成する操作機構１１１）の操作状態または作業機械４０の動作状態を認識する。
　環境情報制御処理要素２２は、状態認識要素２１により認識された遠隔操作装置１０の操作状態または作業機械４０の動作状態の相違に応じて異なる態様で環境情報制御処理を実行する。「環境情報制御処理」は、遠隔操作装置１０の情報出力装置１２１において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。
　（機能）
　遠隔操作装置１０において、オペレータにより操作機構１１１が操作され（図４／ＳＴＥＰ１０２）、これに応じて、マスタ制御装置１００により、無線通信機器１２２を通じて、当該操作態様に応じた動作指令が遠隔操作サーバ２０に対して送信される（図４／ＳＴＥＰ１０４）。
　遠隔操作サーバ２０において、状態認識要素２１により動作指令が遠隔操作装置１０から受信され、かつ、当該動作指令が作業機械４０に対して送信される（図４／ＳＴＥＰ２０２）。
　作業機械４０において、スレーブ制御装置４００により無線通信機器４０２を通じて動作指令が受信される（図４／ＳＴＥＰ４０２）。これに応じて、スレーブ制御装置４００により、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　作業機械４０において、環境認識装置４０１により環境情報として撮像画像が取得される（図４／ＳＴＥＰ４０６）。この際、環境情報として音声情報が取得されてもよい。マスタ制御装置１００により、無線通信機器１２２を通じて、遠隔操作装置１０から遠隔操作サーバ２０を経由して作業機械４０に対して操作開始指令が送信されたことが、環境情報の取得開始のトリガとされてもよい。操作開始指令は、例えば、遠隔操作装置１０において、入力インターフェース１１０または操作機構１１１を構成するボタンまたは操作レバーが所定態様で操作されたことに応じて出力される。環境認識装置４０１により取得された環境情報は、作業機械４０から送信され、遠隔操作サーバ２０により受信される。
　遠隔操作サーバ２０において、環境情報制御処理要素２２により、環境情報制御処理が実行される（図４／ＳＴＥＰ２０６）。「環境情報制御処理」は、遠隔操作装置１０の情報出力装置１２１において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。具体的には、複数の環境情報因子のうち「高環境情報因子」よりも「低環境情報因子」に応じた当該情報量の低下が大きくなるように、複数の環境情報因子を異なる態様で調節するための演算処理である。遠隔操作装置１０からの動作指令および当該動作指令に応じた作業機械４０の動作状態のうち少なくとも一方である操作状態の相違に応じて、高環境情報因子および低環境情報因子を異なる態様で区分して環境情報制御処理が実行される。
　環境情報制御処理は、その実行処理の要否を判定し当該判定結果が肯定的である場合に限って、環境情報制御処理要素２２により、環境情報制御処理が実行されるようにしてもよい。例えば、動作指令に応じた操作機構１１１の操作状態が、環境情報制御処理の対象である指定操作状態であるかが判定されてもよい。遠隔操作サーバ２０と作業機械４０との通信によって当該作業機械４０の動作指令に応じた動作状態が認識され、作業機械４０の動作状態が、環境情報制御処理の対象である指定動作状態であるか否かが判定されてもよい。環境情報制御処理要素２２により、遠隔操作サーバ２０と遠隔操作装置１０または作業機械４０との通信速度が認識されたうえで、当該通信速度が基準値未満であるか否かが判定されてもよい。
　図５Ａには、通常状態、すなわち、環境情報制御処理が実行されない状態において、環境情報の情報量を定める４つの環境情報因子Ｘ１～Ｘ４のそれぞれの値が、下限値Ｑ１を基準として正規化された際の基準値Ｑ２である状況が示されている。環境情報が画像である場合、４つの環境情報因子Ｘ１～Ｘ４は、例えば、解像度、フレームレート、画素値の次元数および出力画像範囲の広さである。環境情報に音声が含まれている場合、例えば、複数の環境情報因子には、サンプリング周波数、量子化ビット数および音の周波数帯のうち少なくとも１つが含まれる。図５Ｂ～図５Ｄのそれぞれには、操作状態が第１～第３指定操作状態のそれぞれである場合における、４つの環境情報因子Ｘ１～Ｘ４のそれぞれの目標値または指令値が示されている。
　第１指定操作状態では、環境情報因子Ｘ１およびＸ２が基準値Ｑ２よりも低減され、環境情報因子Ｘ３およびＸ４が基準値Ｑ２に維持されている（図５Ｂ参照）。この場合、環境情報因子Ｘ３およびＸ４が「高環境情報因子」に相当し、環境情報因子Ｘ１およびＸ２が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。
　第２指定操作状態では、環境情報因子Ｘ３およびＸ４が基準値Ｑ２よりも低減され、環境情報因子Ｘ３のほうが環境情報因子Ｘ４よりも当該低下量が大きく、環境情報因子Ｘ１およびＸ２が基準値Ｑ２に維持されている（図５Ｃ参照）。この場合、環境情報因子Ｘ１およびＸ２が「高環境情報因子」に相当し、環境情報因子Ｘ３およびＸ４が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子Ｘ４が「高環境情報因子（または１次低環境情報因子）」に相当し、環境情報因子Ｘ３が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子（または２次低環境情報因子）」に相当する。
　第３指定操作状態では、環境情報因子Ｘ２が基準値Ｑ２よりも低減され、環境情報因子Ｘ３が基準値Ｑ２よりも増大され、環境情報因子Ｘ１およびＸ４が基準値Ｑ２に維持されている（図５Ｄ参照）。この場合、環境情報因子Ｘ３が「高環境情報因子」に相当し、環境情報因子Ｘ１、Ｘ２およびＸ４が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子Ｘ１およびＸ４が「高環境情報因子（または１次低環境情報因子）」に相当し、環境情報因子Ｘ２が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子（または２次低環境情報因子）」に相当する。
　例えば、作業機械４０の遠隔操作状態の別に応じて、表１に示されているように複数の環境情報因子のそれぞれが調節されてもよい。
Figure JPOXMLDOC01-appb-T000001
　表１において、遮断レバー上がり（状態Ａ）は、オペレータによる作業機械４０の操作意思がない状態であり、環境情報因子を低減させる。視野を保持するために画像範囲については維持してもよい。
　遮断レバー上がり＋レバー握り（状態Ｂ）は、状態Ａ同様オペレータによる作業機械４０の操作意思がない状態であるものの、オペレータが操作レバーを握ることにより環境情報因子の低減を緩和した状態である。例えば、土砂運搬用のトラックが所定位置に移動することを確認するときに調整される環境情報因子の状態である。掘削等の作業を行わないのでフレームレートを落とすことが出来る。
　上部旋回体の旋回操作（状態Ｃ）を行う際には、解像度を下げている。これは画面が高速で移動することによる画面の見辛さや不快感を低減するためである。一方、画像範囲については増大可能とすることで旋回方向の視界性を確保できるようにしている。
　下部走行体の並進操作（状態Ｄ）を行う際には、移動方向を主として精度の高い情報が必要であり、環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には画像範囲の維持を優先することで走行方向の視界性を確保できるようにしている。
　粗掘削操作（状態Ｅ）は、掘削の計画面から離間した面までを作業速度を重視して掘削する状態である。フレームレートは維持するが、そのほかの環境情報因子を低減しても作業上は問題とはならない。旋回等の移動が伴う作業を行う際には画像範囲を低減しないことが望ましい。
　仕上げ掘削操作（状態Ｆ）は、例えば、粗掘削され掘削の計画面から残った土砂領域を、精度を重視して掘削する状態である。この状態では環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には、バケット等の稼働時には画像範囲を低減しながらフレームレートを維持することで作業性に影響を与えず環境情報因子を低減させる。また例えばオペレータが作業面を確認するときなどバケット等の稼働が低調な時はフレームレートを低減しながら画像範囲を維持するようにする。
　また、上記の状態の組合せとして整地作業操作（状態Ｄおよび状態Ｅの組合せ）も想定される。バケットによる均し作業のみを行う際には画像範囲を低減するが、走行操作も行う場合には画像範囲を低減しないことが望ましい。
　続いて、遠隔操作サーバ２０において、環境情報制御処理要素２２により環境情報制御指令が作業機械４０に対して送信される（図４／ＳＴＥＰ２０８）。環境情報制御指令には、通常状態または指定操作状態の別（環境情報制御処理の実行有無の別）のほか、複数の因子の調節態様を特定するためのデータが含まれている。
　作業機械４０において、スレーブ制御装置４００により、無線通信機器４０２を通じて環境情報制御指令が受信される（図４／ＳＴＥＰ４０８）。スレーブ制御装置４００により、撮像画像を表わす環境データのデータ量が環境情報制御指令にしたがって調節されたうえで遠隔操作サーバ３０に対して送信される（図４／ＳＴＥＰ４１０）。
　遠隔操作サーバ２０において、環境情報制御処理要素２２により環境データが作業機械４０から受信され、かつ、当該環境データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ２１０）。
　遠隔操作装置１０において、マスタ制御装置１００により、無線通信機器１２２を通じて環境データが受信される（図４／ＳＴＥＰ１０６）。マスタ制御装置１００により、環境データに応じた環境情報（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像、さらには収録音声そのものの全部または一部またはこれに基づいて生成された模擬的な環境音声）が情報出力装置１２１に出力される（図４／ＳＴＥＰ１０８）。
　これにより、通常状態では、例えば図６Ａに示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境情報が高情報出力装置１２１および低情報出力装置２２１のそれぞれに出力される。環境情報因子Ｘ１が「通常状態と同じ出力画像範囲」であり、環境情報因子Ｘ２が「解像度」である場合、第１指定操作状態（図５Ｂ参照）では、環境情報の一部（例えば、中央の矩形状領域）が通常状態と同様の解像度を有し、その他の部分（例えば、当該一部の領域を矩形枠状に取り囲む領域）の解像度が通常状態よりも低い解像度を有する環境情報が情報出力装置１２１に出力される。また、環境情報因子Ｘ１が「出力画像範囲」であり、環境情報因子Ｘ２が「解像度」である場合、第１指定操作状態では、環境情報の一部のみが通常状態よりも解像度が低下された状態で情報出力装置１２１に出力される（図６Ｂ参照）。
　環境情報因子としての「出力画像範囲（または通常状態と同じ出力画像範囲）」により情報出力装置１２１における単一の画像領域が指定されてもよく、複数の画像領域が指定されてもよい。環境情報因子としての「出力画像範囲」により情報出力装置１２１における広がり態様（形状、サイズおよび重心位置などにより特定される。）が時系列的に一定の画像領域が指定されてもよく、バケット４４５を包含する画像領域等、情報出力装置１２１における広がり態様が時系列的に変化する画像領域が指定されてもよい。
　環境情報因子Ｘ３が「画素値の次元数」であり、環境情報因子Ｘ４が「フレームレート」である場合、第２指定操作状態（図５Ｃ参照）では、例えば、環境情報のフレームレートが低減され（２４～３０ＦＰＳ→２～１０ＦＰＳなど）、かつ、通常状態における色相および輝度値を含む２次元（色相がＲＧＢ値などの３次元ベクトルで表現される場合は４次元）の画素値が、輝度値（グレースケール）のみを含む１次元の画素値を有する環境情報が情報出力装置１２１に出力される。
　今回の環境情報の情報量が前回の環境情報の情報量よりも低下する場合、今回の環境情報に加えて前回以前の所定回数分の環境情報が情報出力装置１２１から出力されてもよい。例えば、環境情報としての今回の環境画像の解像度が前回の環境画像の解像度よりも低下する場合、今回の環境画像に加えて前回または前回以前の複数回分の環境画像が情報出力装置に出力表示されてもよい。
　（効果）
　当該構成の遠隔操作システムまたはこれを構成する遠隔操作サーバ２０によれば、「環境情報制御処理」が実行されることにより、環境情報の情報量を定める複数の環境情報因子のそれぞれが調節される。具体的には、一または複数の高環境情報因子の情報低下量（当該環境情報因子の変化による環境情報の情報低下量を意味する。）よりも一または複数の低環境情報因子の情報低下量が大きくなるように環境データのデータ量が低減される（図４／ＳＴＥＰ２０６、図５Ａ～図５Ｄ参照）。低環境情報因子の情報低下量が高環境情報因子の情報低下量よりも相対的に大きくなるようにデータ量が調節される分だけ、当該データ量の低減、ひいては環境データの通信負荷の低減が図られる。その一方、高環境情報因子の情報低下量が低環境情報因子の情報低下量よりも相対的に小さくなるようにデータ量が調節される分だけ、当該データ量の過度な低減、ひいては環境情報の情報量の過度な低減が回避されうる。
　一の低環境情報因子が他の低環境情報因子に対する高環境情報因子となるような高環境情報因子および低環境情報因子が異なる態様で区分されて、環境情報制御処理が実行される場合、操作状態の相違に応じて、複数の環境情報因子の調節態様の幅が拡張される。このため、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械４０の操作状態に応じて当該オペレータが作業機械４０の環境を適当に把握する観点からさらに緻密に適当な形態で環境情報の情報量の過度の低下を回避しうる。
　遠隔操作装置１０および作業機械４０のうち少なくとも一方の通信速度が基準値を下回ったことを要件として、環境情報制御処理要素２２により環境情報制御処理が実行される場合、環境データの通信負荷の低減を図る必要性が低い状況で当該環境データのデータ量の過度な低減、ひいては環境情報の情報量の過度な低減が回避されうる。
　当該環境情報制御処理は、操作状態（オペレータによる操作機構１１１の操作状態に応じた動作指令および当該動作指令に応じた作業機械４０の動作状態のうち少なくとも一方の状態）の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節される。具体的には、当該相違に応じて、高環境情報因子および低環境情報因子を異なる態様で区分して実行される（図５Ａ～図５Ｄ参照）。よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械４０の遠隔操作状態に応じて当該オペレータが作業機械４０の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうる（図６Ａ～図６Ｂ参照）。
　（本発明の他の実施形態）
　他の実施形態において、遠隔操作サーバ２０を構成する環境情報制御処理要素２２によって、作業機械４０から環境データが通常状態と同様に受信されたうえで、環境情報制御処理が実行されることにより、遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。
　他の実施形態において、遠隔操作サーバ２０または環境情報制御処理要素２２がマスタ制御装置１００によって構成され、遠隔操作装置１０および作業機械４０が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素２２と同様の機能を有するマスタ制御装置１００によって環境情報制御処理が実行されることにより、作業機械４０から遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。マスタ制御装置１００および遠隔操作サーバ２０は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。
　他の実施形態において、遠隔操作サーバ２０または環境情報制御処理要素２２がスレーブ制御装置４００によって構成され、遠隔操作装置１０および作業機械４０が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素２２と同様の機能を有するスレーブ制御装置４００によって環境情報制御処理が実行されることにより、作業機械４０から遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。スレーブ制御装置４００および遠隔操作サーバ２０は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。
　前記実施形態では、複数の環境情報因子が、高環境情報因子および低環境情報因子に区分されて調節されたが、他の実施形態として、複数の環境情報因子が、遠隔操作装置１０の少なくとも一の指定操作状態または作業機械４０の少なくとも一の指定動作状態に応じて高環境情報因子および低環境情報因子に区分されずに一様に調節されてもよい。すなわち、複数の環境情報因子のすべてが、基準値Ｑ２からの低下量が同一になるように制御されてもよい。
　前記実施形態では、動作指令が遠隔操作装置１０から遠隔操作サーバ２０を経由して作業機械４０に対して送信されたが（図４／ＳＴＥＰ１０４→ＳＴＥＰ２０２→ＳＴＥＰ４０２参照）、他の実施形態として、動作指令が遠隔操作装置１０から無線通信基地局を介して作業機械４０に対して送信されてもよい。この場合、遠隔操作サーバ２０と遠隔操作装置１０との通信結果に基づき、環境情報制御処理要素２２によって動作指令またはこれに応じた遠隔操作装置１０の操作状態が認識されてもよい。あるいは、遠隔操作サーバ２０と作業機械４０との通信結果に基づき、環境情報制御処理要素２２によって動作指令に応じた作業機械４０の動作状態が認識されてもよい。
　前記実施形態では、環境データが作業機械４０から遠隔操作サーバ２０を経由して遠隔操作装置１０に対して送信されたが（図４／ＳＴＥＰ４１０→ＳＴＥＰ２１０→ＳＴＥＰ１０６参照）、他の実施形態として、環境データが作業機械４０から無線通信基地局を介して遠隔操作装置１０に対して送信されてもよい。
　前記実施形態において、環境情報制御処理が実行された場合の環境情報の情報量の低下態様が情報出力装置１２１に出力されたうえで、入力インターフェース１１０を通じて当該環境情報制御処理の実行が容認されたことを要件として、当該環境情報制御処理が実行されてもよい。
　環境データには、作業機械４０の外部環境を表わす「外部環境データ」に加えて、作業機械４０の動作状態を表わす「内部環境データ」が含まれていてもよい。この場合、作業アタッチメント４４０に設けられ、ブームおよびアームの姿勢を表わす角度を検知する角度センサなどにより当該角度を表わすデータが環境データとして取得される。例えば、作業機械４０としてのクローラクレーンが吊り作業をしている場合、ブームおよびアームの角度を表わすデータが環境データから省略されることにより、当該環境データのデータ量の低減が図られる。
１０‥遠隔操作装置、２０‥遠隔操作サーバ、２１‥状態認識要素、２２‥環境情報制御処理要素、４０‥作業機械、１００‥マスタ制御装置、１１０‥入力インターフェース、１１１‥操作機構、１１２‥操作状態検知器、１２０‥出力インターフェース、１２１‥情報出力装置、１２２‥無線通信機器、４００‥スレーブ制御装置、４０１‥環境認識装置、４０２‥無線通信機器、４４０‥作業アタッチメント（作動機構）。 

Claims (5)

  1. 　作業機械および当該作業機械を遠隔操作するための遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバであって、
    　オペレータによる前記遠隔操作装置の操作状態または前記作業機械の動作状態を認識する状態認識要素と、
    　前記遠隔操作装置を構成する情報出力装置において出力される、前記作業機械が有する環境認識装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように、前記状態認識要素により認識された前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて異なる態様で調節するための環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする遠隔操作サーバ。
  2. 　請求項１記載の遠隔操作サーバにおいて、
    　前記環境情報制御処理要素が、前記複数の環境情報因子のうち、前記状態認識要素により認識された前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて定まる高環境情報因子および低環境情報因子を異なる態様で区分して、当該高環境情報因子に応じた前記環境情報の情報量の低下よりも、当該低環境情報因子に応じた前記環境情報の情報量の低下が大きくなるように前記環境情報制御処理を実行することを特徴とする遠隔操作サーバ。
  3. 　請求項２記載の遠隔操作サーバにおいて、
    　前記環境情報制御処理要素が、一の前記低環境情報因子が他の前記低環境情報因子に対する前記高環境情報因子となるような前記高環境情報因子および前記低環境情報因子を異なる態様で区分して、前記環境情報制御処理を実行することを特徴とする遠隔操作サーバ。
  4. 　請求項１～３のうちいずれか１項に記載の遠隔操作サーバにおいて、
    　前記環境情報制御処理要素が、前記遠隔操作装置および前記作業機械のうち少なくとも一方の通信速度が基準値を下回ったことを要件として、前記環境情報制御処理を実行することを特徴とする遠隔操作サーバ。
  5. 　作業機械と、当該作業機械を遠隔操作するための遠隔操作装置と、前記作業機械および前記遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバと、により構成され、
    　前記遠隔操作サーバが、
    　オペレータによる前記遠隔操作装置の操作状態または前記作業機械の動作状態を認識する状態認識要素と、
    　前記遠隔操作装置を構成する情報出力装置において出力される、前記作業機械が有する環境認識装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように、前記状態認識要素により認識された前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて異なる態様で調節するための環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする遠隔操作システム。 
PCT/JP2020/016053 2019-06-10 2020-04-09 遠隔操作システムおよび遠隔操作サーバ WO2020250557A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/611,704 US20220213666A1 (en) 2019-06-10 2020-04-09 Remote operation system and remote operation server
EP20823703.2A EP3951096A4 (en) 2019-06-10 2020-04-09 REMOTE OPERATING SYSTEM AND REMOTE OPERATING SERVER
CN202080041703.2A CN113994051A (zh) 2019-06-10 2020-04-09 远程操作系统以及远程操作服务器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-108275 2019-06-10
JP2019108275A JP7310338B2 (ja) 2019-06-10 2019-06-10 遠隔操作システムおよび遠隔操作サーバ

Publications (1)

Publication Number Publication Date
WO2020250557A1 true WO2020250557A1 (ja) 2020-12-17

Family

ID=73743828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016053 WO2020250557A1 (ja) 2019-06-10 2020-04-09 遠隔操作システムおよび遠隔操作サーバ

Country Status (5)

Country Link
US (1) US20220213666A1 (ja)
EP (1) EP3951096A4 (ja)
JP (1) JP7310338B2 (ja)
CN (1) CN113994051A (ja)
WO (1) WO2020250557A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144601A (ja) * 2021-03-19 2022-10-03 コベルコ建機株式会社 遠隔操作支援サーバおよび遠隔操作支援システム
JP2023149698A (ja) * 2022-03-31 2023-10-13 日立建機株式会社 作業機械及び遠隔操作型作業機械システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
JP2003076978A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2017092908A (ja) 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398137B2 (en) * 2004-08-25 2008-07-08 Caterpillar Inc. System and method for remotely controlling machine operations using mapping information
JP5787092B2 (ja) * 2012-01-25 2015-09-30 トヨタ自動車株式会社 移動体情報処理システム
US20170277163A1 (en) * 2014-11-28 2017-09-28 Komatsu Ltd. Communication System and Work Vehicle
CN205116262U (zh) * 2015-11-04 2016-03-30 邵阳学院 可远程操控的挖掘机
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
JP2003076978A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2017092908A (ja) 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム

Also Published As

Publication number Publication date
EP3951096A1 (en) 2022-02-09
US20220213666A1 (en) 2022-07-07
JP7310338B2 (ja) 2023-07-19
JP2020200659A (ja) 2020-12-17
CN113994051A (zh) 2022-01-28
EP3951096A4 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
WO2020250558A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP6909641B2 (ja) 表示システム
WO2020250557A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
KR20180111966A (ko) 작업 기계
JP6947101B2 (ja) 遠隔操作システム及び主操作装置
EP3923594B1 (en) Remote operation system
JP7099358B2 (ja) 作業機械用表示システム
JP7376440B2 (ja) 遠隔操作装置および遠隔操作システム
US11939744B2 (en) Display system, remote operation system, and display method
US20220303472A1 (en) Image capturing function control system and image capturing function control method
US20220298748A1 (en) Remote operation support system and remote operation support method
JP7310595B2 (ja) 作業支援サーバおよび作業支援システム
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2023190843A1 (ja) 支援装置、作業機械、プログラム
JP2021086226A (ja) 作業支援サーバおよび作業支援システム
CN114787453A (zh) 远程操作装置及远程操作系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20823703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020823703

Country of ref document: EP

Effective date: 20211102

NENP Non-entry into the national phase

Ref country code: DE