WO2020250558A1 - 遠隔操作システムおよび遠隔操作サーバ - Google Patents

遠隔操作システムおよび遠隔操作サーバ Download PDF

Info

Publication number
WO2020250558A1
WO2020250558A1 PCT/JP2020/016056 JP2020016056W WO2020250558A1 WO 2020250558 A1 WO2020250558 A1 WO 2020250558A1 JP 2020016056 W JP2020016056 W JP 2020016056W WO 2020250558 A1 WO2020250558 A1 WO 2020250558A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
environmental information
work machine
information
work
Prior art date
Application number
PCT/JP2020/016056
Other languages
English (en)
French (fr)
Inventor
佑介 船原
佐々木　均
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to US17/611,688 priority Critical patent/US20220316181A1/en
Priority to CN202080041900.4A priority patent/CN113994052B/zh
Priority to EP20821983.2A priority patent/EP3951094B1/en
Publication of WO2020250558A1 publication Critical patent/WO2020250558A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction

Definitions

  • the present invention relates to a system for remotely controlling a work machine or the like.
  • each of the plurality of operators while reducing the data communication load for outputting environmental information, each of the plurality of operators appropriately grasps the environment of the work machine according to the remote control skills of the plurality of operators. It is an object of the present invention to provide a system or the like that can avoid an excessive decrease in the amount of environmental information in an appropriate form from the viewpoint of
  • the remote control server of the present invention has a remote communication function with each of a plurality of work machines and a plurality of remote control devices for remotely controlling one work machine to be remotely controlled among the plurality of work machines.
  • State recognition in which the operation server recognizes an index value indicating at least one of the level of remote control skill of each operator of the plurality of remote control devices and the level of difficulty of the work content through the one work machine.
  • Communication resource allocation processing for allocating communication resources for mutual communication with the one work machine to each of the plurality of remote control devices based on the element and the index value recognized by the state recognition element.
  • Each of the plurality of environmental information factors that determine the amount of information is adjusted in a different manner according to the difference in the communication resources allocated by the communication resource allocation processing element so that the amount of the environmental data is reduced. It is characterized by having an environment information control processing element for executing the environment information control processing for the purpose.
  • the remote control system of the present invention comprises a plurality of work machines, a plurality of remote control devices for remotely controlling one work machine to be remotely controlled among the plurality of work machines, and the remote control server. It is characterized by being configured.
  • Explanatory drawing about the structure of the remote control system as one Embodiment of this invention Explanatory drawing about the structure of the work machine. Explanatory drawing about the structure of the remote control device. The explanatory view about the function of the remote control system as one Embodiment of this invention. Explanatory drawing about allocation mode of communication resource to each remote control device. Explanatory drawing about allocation mode of communication resource to each remote control device. Explanatory drawing about control mode of environmental information factor in a normal state. The explanatory view about the 1st control mode of the environmental information factor corresponding to the environmental information control process. The explanatory view about the 2nd control mode of the environmental information factor corresponding to the environmental information control process.
  • the explanatory view about the 3rd control mode of the environmental information factor corresponding to the environmental information control process Explanatory drawing about environmental information in a normal state. Explanatory drawing about environmental information at the time of environmental information control processing. Explanatory drawing about time series of communication speed in work site of work machine.
  • the remote control system as an embodiment of the present invention shown in FIG. 1 includes a plurality of remote control devices 10, a remote control server 20, and a plurality of work machines 40.
  • Each of the plurality of work machines 40 includes a slave control device 400, an environment recognition device 401, a wireless communication device 402, and an operating mechanism 440.
  • the slave control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a swivel mechanism 430.
  • the upper swivel body 420 is provided.
  • a cab (driver's cab) 422 is provided on the front left side of the upper swivel body 420.
  • a work attachment 440 is provided at the front center portion of the upper swivel body 220.
  • the plurality of work machines 40 may include a plurality of types of work machines such as a crawler excavator and a crawler crane.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is provided with a bucket 445 connected to the.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the environment recognition device 401 is installed inside the cab 422, for example, and is composed of an image pickup device that images the environment including at least a part of the operating mechanism 440 through the front window of the cab 422.
  • the environment recognition device 401 may include an acoustic input device configured by a microphone or the like.
  • the actual machine side operation lever corresponding to the operation lever (described later) constituting the remote control device 10 and the signal corresponding to the operation mode of each operation lever are received from the remote control room, and the actual machine operation lever is moved based on the received signal.
  • a drive mechanism or a robot is provided in the cab 422.
  • Each of the plurality of remote control devices 10 includes a master control device 100, an input interface 110, and an output interface 120. At least a part of the remote control device 10 may be composed of a mobile terminal device such as a smartphone, a tablet terminal or a notebook PC.
  • the master control device 100 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the input interface 110 includes an operation mechanism 111 and an operation state detector 112.
  • the output interface 120 includes an information output device 121 and a wireless communication device 122.
  • the operation mechanism 111 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, a bucket operation device, and a cutoff operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410.
  • the travel lever may also serve as a travel pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442.
  • the operating lever (arm lever) of the arm operating device is operated to move the arm cylinder 444.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 446.
  • the operation lever (cutoff lever) of the shutoff operation device is locked so that the work machine 40 does not move even if each operation lever such as the traveling lever is operated, and is operated to release the lock.
  • Each operating lever constituting the operating mechanism 111 is arranged around the seat 1100 for the operator to sit on, for example, as shown in FIG.
  • the seat 1100 is in the form of a high back chair with armrests, but may be in any form in which the operator can sit, such as a low back chair without a headrest or a chair without a backrest.
  • a pair of left and right traveling levers 1110 corresponding to the left and right crawlers are arranged side by side in front of the seat 1100.
  • One operating lever may also serve as a plurality of operating levers.
  • the right operation lever 1111 provided in front of the right frame of the seat 1100 shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
  • the left side operating lever 1112 provided in front of the left side frame of the seat 1100 shown in FIG. 3 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the shutoff lever 1113 provided below the left operation lever 1112 in front of the left frame of the seat 1100 prevents the work machine 40 from moving even if each operation lever 1110, 1111 or 1112 is operated when it is raised. While locking, it functions as an operating lever to release the lock when lowered.
  • the information output device 121 includes a right diagonal front image output device 1211, a front image output device 1212, and a left diagonally forward image output device 1211 arranged diagonally forward to the right, forward, and diagonally forward to the left of the sheet 1100. It is composed of an oblique forward image output device 1213.
  • the information output device 121 may further include a speaker (audio output device) arranged inside or around the sheet 1100.
  • the operation state detector 112 detects the operation state of the operation device 400 for operating the work machine 200 by the operator. For example, a sensor that outputs a signal according to the amount of deformation or displacement of the urging mechanism composed of a spring or an elastic member that acts to restore the operation lever to the original position and posture corresponding to the operation amount 0.
  • An operation state detector 112 with an arithmetic processing device that estimates that the swivel lever has been operated to swivel the upper swivel body 220 at a speed counterclockwise when viewed from above based on the output signal of the sensor. Is configured.
  • a pressure-sensitive sensor or a contact sensor is provided on at least one operating lever constituting the operating mechanism 111, and the sensor is operated by an arithmetic processing unit that estimates that the at least one operating lever is gripped by the operator.
  • the state detector 112 may be configured.
  • a pressure-sensitive sensor or a contact sensor may be provided on the seat 1100, and the operation state detector 112 may be configured by the sensor and an arithmetic processing unit that estimates that the operator is seated on the seat 1100.
  • a pilot pressure sensor that outputs a signal corresponding to the pilot pressure according to the amount of operation of the actual machine side operating lever provided on the work machine 40, and an upper swing body 420 viewed from above based on the output signal of the pilot pressure sensor.
  • the operation state detector 112 may be configured by an arithmetic processing device that estimates that the swivel lever has been operated in order to swivel at a speed counterclockwise.
  • the remote control server 20 includes a state recognition element 21, a communication resource allocation processing element 22, and an environment information control processing element 23.
  • the state recognition element 21 can communicate with the remote control device 10 and the work machine 40.
  • a database server may be provided separately or integrally with the remote control server 20, and the database server and the remote control server 20 may be configured to be communicable.
  • the state recognition element 21 is based on communication with at least one of the remote control device 10, the work machine 40, and the database server, and is a remote control target and a level of remote control skill of each operator of the plurality of remote control devices 10. Recognize index values that represent at least one of the difficulty levels of the work content through the work machine.
  • the state recognition element 21 is based on communication with either one of the remote control device 10 and the work machine 40, and the operation state of the remote control device 10 (or the operation mechanism 111 constituting the remote control device 111) and the operation of the work machine 40 by the operator. Recognize at least one of the states.
  • the communication resource allocation processing element 22 executes the communication resource allocation processing based on the index value recognized by the state recognition element 21.
  • the “communication resource allocation process” is an arithmetic process for allocating communication resources for mutual communication with one work machine 40 to each of the plurality of remote control devices 10.
  • the environmental information control processing element 23 executes the environmental information control processing for adjusting in a different manner according to the difference in the communication resources allocated to each of the plurality of remote control devices 10 by the communication resource allocation processing element 22. ..
  • the environmental information control processing element 23 executes the environmental information control processing in a different manner according to the difference in the operating state of the remote control device 10 or the operating state of the work machine 40 recognized by the state recognition element 21.
  • the "environmental information control process" adjusts each of a plurality of environmental information factors that determine the amount of environmental information output by the information output device 121 of the remote control device 10 so that the amount of the environmental data is reduced. It is an arithmetic process to do.
  • the index value xi is the number of executions for each of a plurality of different tasks (the higher the number of executions, the higher the skill), the average execution time for each of a plurality of different tasks (the shorter the average execution time, the higher the skill), and It is scored and evaluated based on factors such as the number of operation mistakes (the fewer mistakes, the higher the skill).
  • the index value yj is based on factors such as the average execution time of each work (the longer the average execution time, the higher the difficulty level) and the frequency of operation of the operation mechanism 111 by each operator (the higher the frequency, the higher the difficulty level). , Scored and evaluated.
  • the first operator P1 performs work Q1 (difficulty level y1) in the time zones t0 to t1, and then performs work Q2 (difficulty level y2) in the time zones t1 to t1.
  • the second operator P2 performs work Q2 (difficulty level y2) in the time zones t0 to t1, and then performs work Q1 (difficulty level y1) in the time zones t1 to t3.
  • the third operator P3 consistently performs the work Q1 (difficulty level y1) in the time zones t0 to t3.
  • the fourth operator P4 performs the work Q2 (difficulty level y2) only in the time zones t2 to t3.
  • the index value zi is a decreasing function with skill xi as the main variable (the higher the skill xi, the smaller the index value zi), while the index value zi is an increasing function with the work difficulty level yi as the main variable (work difficulty level yi is). The higher the value, the larger the index value zi).
  • the index value zi is evaluated according to, for example, the relational expression (1).
  • the communication resource allocation processing element 22 executes the communication resource allocation processing based on the index value recognized by the state recognition element 21.
  • the “communication resource allocation process” is an arithmetic process for allocating communication resources for mutual communication with one work machine 40 to each of the plurality of remote control devices 10.
  • the communication resource allocation process is executed so that the total ⁇ Bi of the communication resource Bi allocated to each remote control device 10 is equal to or less than the maximum value Bmax of the communication resource (Fig. 4 / STEP204).
  • the communication resource Bi allocated to the remote control device 10 operated by the operator Pi is the index value zi, the total ⁇ zi of the index value zi of each operator to which the communication resource is allocated at the same time point or the same period, and the communication resource. It is set according to the relational expression (2) based on the maximum value Bmax of.
  • Bi Bmax ⁇ zi / ( ⁇ zi + ⁇ ) (2).
  • the relational expression ⁇ is an adjustment coefficient. For example, when the total value ⁇ yi of the work difficulty level yi is equal to or more than the reference value, it is set to “0”, and when the total value ⁇ yi of the work difficulty level yi is lower than the reference value. Is set to a positive value that increases stepwise or continuously as the lower portion increases.
  • FIG. 5 shows each period [t0, t1] when work is performed by each of the four operators Pi through separate work machines 40 through separate remote control devices 10 as shown in Table 1. ], [T1, t2] and [t2, t3], the mode of allocating the communication resource Bi to each remote control device 10 is shown.
  • the time change mode of the communication resource B1 is shown by the alternate long and short dash line
  • the time change mode of the communication resource B2 is shown by the alternate long and short dash line
  • the time change mode of the communication resource B3 is shown by the solid line
  • the time change mode of is shown by a broken line.
  • the communication resource Bi is, for example, a communication speed (communication capacity per unit time).
  • the communication resource B3 is maintained constant during the period [t0, t1] and the period [t1, t2].
  • Each of the communication resources B1, B2 and B3 is lower in the period [t2, t3] than in the period [t1, t2], which is a remote control in which a part of the communication resources is operated by the fourth operator P4. This is because it was also assigned to the device 10.
  • the operation mechanism 111 is operated by the operator (FIG. 4 / STEP 102), and in response to this, the master control device 100 issues an operation command according to the operation mode to the remote control server through the wireless communication device 122. It is transmitted to 20 (Fig. 4 / STEP104).
  • an operation command is received from the remote control device 10 by the state recognition element 21, and the operation command is transmitted to the work machine 40 (FIG. 4 / STEP206).
  • the slave control device 400 receives the operation command through the wireless communication device 402 (FIG. 4 / STEP402). In response to this, the operation of the work attachment 440 and the like is controlled by the slave control device 400 (FIG. 4 / STEP404). For example, the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the captured image is acquired as environmental information by the environment recognition device 401 (Fig. 4 / STEP406).
  • voice information may be acquired as environmental information.
  • the master control device 100 transmits an operation start command from the remote control device 10 to the work machine 40 via the remote control server 20 through the wireless communication device 122, which is regarded as a trigger for starting the acquisition of environmental information. You may.
  • the operation start command is output, for example, in response to the operation of the buttons or operation levers constituting the input interface 110 or the operation mechanism 111 in the remote control device 10 in a predetermined mode.
  • the environmental information acquired by the environment recognition device 401 is transmitted from the work machine 40 and received by the remote control server 20.
  • the environment information control process is executed by the environment information control process element 23 (FIG. 4 / STEP210).
  • the "environmental information control process” adjusts each of a plurality of environmental information factors that determine the amount of environmental information output by the information output device 121 of the remote control device 10 so that the amount of the environmental data is reduced. It is an arithmetic process to do. Specifically, the plurality of environmental information factors are adjusted in different manners so that the decrease in the amount of information according to the "low environmental information factor" is larger than that of the "high environmental information factor” among the plurality of environmental information factors. It is an arithmetic process to do.
  • the environmental information control process may be executed by the environmental information control process element 23 only when the necessity of the execution process is determined and the determination result is affirmative. For example, it may be determined whether the operation state of the operation mechanism 111 in response to the operation command is the designated operation state that is the target of the environment information control processing. Whether the operation state according to the operation command of the work machine 40 is recognized by the communication between the remote control server 20 and the work machine 40, and the operation state of the work machine 40 is the designated operation state that is the target of the environmental information control process. Whether or not it may be determined.
  • the environment information control processing element 23 may recognize the communication speed between the remote control server 20 and the remote control device 10 or the work machine 40, and then determine whether or not the communication speed is less than the reference value. ..
  • Environmental information control processing is executed in different modes according to the difference in the communication resources allocated to the remote control device 10. For example, as the number of communication resources allocated to the remote control device 10 increases, the number of environmental information factors classified as high environmental information factors decreases, while the communication resources allocated to the remote control device 10, for example, decrease.
  • the high environmental information factor and the low environmental information factor are classified in different modes and the environmental information control process is executed so that the smaller the number, the larger the number of the environmental information factors classified into the high environmental information factor.
  • the high environmental information factor and the low environmental information factor differ according to the difference in the operation state of at least one of the operation command from the remote control device 10 and the operation state of the work machine 40 in response to the operation command. It is divided and the environment information control process is executed.
  • FIG. 7A in the normal state, that is, in the state where the environmental information control process is not executed, the values of the four environmental information factors X1 to X4 that determine the amount of information of the environmental information are normalized with respect to the lower limit value Q1.
  • the environmental information is an image
  • the four environmental information factors X1 to X4 are, for example, the resolution, the frame rate, the number of dimensions of the pixel value, and the width of the output image range.
  • the environmental information includes voice
  • a plurality of environmental information factors include at least one of a sampling frequency, a quantization bit rate, and a sound frequency band.
  • FIGS. 7B to 7D shows a target value or a command value of each of the four environmental information factors X1 to X4 when the operation state is each of the first to third designated operation states.
  • the environmental information factors X1 and X2 are reduced from the reference value Q2, and the environmental information factors X3 and X4 are maintained at the reference value Q2 (see FIG. 7B).
  • the environmental information factors X3 and X4 correspond to the "high environmental information factor”
  • the environmental information factors X1 and X2 are adjusted so that the decrease in the amount of environmental information is larger than that of the high environmental information factor.
  • the environmental information factors X3 and X4 are reduced more than the reference value Q2, the environmental information factor X3 has a larger reduction amount than the environmental information factor X4, and the environmental information factors X1 and X2 are the reference values Q2. Is maintained at (see FIG. 7C).
  • the environmental information factors X1 and X2 correspond to the "high environmental information factor”
  • the environmental information factors X3 and X4 are adjusted so that the decrease in the amount of information of the environmental information is larger than that of the high environmental information factor.
  • the environmental information factor X4 corresponds to the "high environmental information factor (or the primary low environmental information factor)", and the environmental information factor X3 has a larger decrease in the amount of environmental information than the high environmental information factor.
  • the environmental information factor X4 corresponds to the "low environmental information factor (or secondary low environmental information factor)" adjusted to.
  • the environmental information factor X2 is reduced from the reference value Q2, the environmental information factor X3 is increased from the reference value Q2, and the environmental information factors X1 and X4 are maintained at the reference value Q2 (FIG. See 7D).
  • the environmental information factor X3 corresponds to the "high environmental information factor”
  • the environmental information factors X1, X2 and X4 are adjusted so that the amount of information of the environmental information decreases more than the high environmental information factor.
  • the environmental information factors X1 and X4 correspond to the "high environmental information factor (or the primary low environmental information factor)”
  • the environmental information factor X2 has a larger decrease in the amount of environmental information than the high environmental information factor.
  • the low environmental information factor (or secondary low environmental information factor) adjusted to be.
  • each of the plurality of environmental information factors may be adjusted as shown in Table 2 according to the remote control state of the work machine 40.
  • the shutoff lever up + lever grip (state B) is a state in which the operator has no intention of operating the work machine 40 as in the state A, but the operator grips the operation lever to alleviate the reduction of the environmental information factor.
  • it is the state of the environmental information factor that is adjusted when confirming that the truck for transporting earth and sand moves to a predetermined position. Since no work such as excavation is performed, the frame rate can be reduced.
  • the resolution is lowered. This is to reduce the unsightlyness and discomfort of the screen due to the screen moving at high speed.
  • the image range can be increased to ensure visibility in the turning direction.
  • the rough excavation operation (state E) is a state in which the work speed is emphasized and excavation is performed from the planned excavation surface to the surface separated from the planned surface.
  • the frame rate is maintained, but reducing other environmental information factors does not pose a workplace problem. It is desirable not to reduce the image range when performing work that involves movement such as turning.
  • the finish excavation operation (state F) is, for example, a state in which the earth and sand area remaining from the planned surface of excavation after rough excavation is excavated with an emphasis on accuracy. In this state, it is desirable not to reduce the environmental information factor.
  • the communication load is forced to be reduced, the environmental information factor is reduced without affecting the workability by maintaining the frame rate while reducing the image range when the bucket or the like is in operation. Further, when the operation of the bucket or the like is sluggish, for example, when the operator confirms the work surface, the image range is maintained while reducing the frame rate.
  • ground leveling work operation (combination of states D and E) is also assumed as a combination of the above states. It is desirable that the image range is reduced when only the leveling work is performed by the bucket, but not when the running operation is also performed.
  • the environmental information control processing element 23 transmits an environmental information control command to the work machine 40 (FIG. 4 / STEP212).
  • the environmental information control command includes data for specifying the regulation mode of a plurality of factors in addition to the normal state or the designated operation state (whether or not the environmental information control process is executed).
  • the slave control device 400 receives the environmental information control command through the wireless communication device 402 (FIG. 4 / STEP408).
  • the slave control device 400 adjusts the amount of environmental data representing the captured image according to the environmental information control command, and then transmits the data to the remote control server 30 (FIG. 4 / STEP410).
  • the environment data is received from the work machine 40 by the environment information control processing element 23, and the environment data is transmitted to the remote control device 10 (FIG. 4 / STEP214).
  • the master control device 100 receives the environmental data through the wireless communication device 122 (FIG. 4 / STEP106).
  • the master control device 100 outputs environmental information (all or part of the captured image itself or simulated environmental information generated based on the captured image) to the information output device 121 (FIG. 4 / STEP108). ).
  • the environmental information including the boom 441, the arm 443, the bucket 445 and the arm cylinder 444 which are a part of the work attachment 440 as an operating mechanism is provided. It is output to each of the high information output device 121 and the low information output device 221.
  • the environmental information factor X1 is "the same output image range as the normal state" and the environmental information factor X2 is "resolution”, in the first designated operation state (see FIG. 7B), a part of the environmental information (for example, the center). (Rectangular area) has the same resolution as the normal state, and the resolution of other parts (for example, the area surrounding the part of the area in a rectangular frame) is lower than the normal state.
  • the output device 121 It is output to the output device 121. Further, when the environmental information factor X1 is the "output image range" and the environmental information factor X2 is the “resolution”, in the first designated operation state, the resolution of only a part of the environmental information is lower than that in the normal state. It is output to the information output device 121 in the state (see FIG. 8B).
  • a single image area in the information output device 121 may be specified by the "output image range (or the same output image range as in the normal state)" as an environmental information factor, or a plurality of image areas may be specified.
  • An image area in which the spread mode (specified by the shape, size, center of gravity, etc.) in the information output device 121 may be specified in chronological order by the "output image range" as an environmental information factor may be specified, and the bucket 445 may be specified.
  • An image area in which the spreading mode of the information output device 121 changes in time series, such as an image area including the above, may be specified.
  • the environmental information factor X3 is the "number of dimensions of the pixel value" and the environmental information factor X4 is the "frame rate", in the second designated operation state (see FIG. 5C), for example, the frame rate of the environmental information is reduced. (24 to 30 FPS ⁇ 2 to 10 FPS, etc.) And the two-dimensional (four-dimensional when the hue is represented by a three-dimensional vector such as an RGB value) including the hue and brightness value in the normal state is the brightness value.
  • Environmental information having a one-dimensional pixel value including only (grayscale) is output to the information output device 121.
  • the environmental information for a predetermined number of times before the previous time may be output from the information output device 121.
  • the resolution of the current environmental image as environmental information is lower than the resolution of the previous environmental image
  • the previous or previous multiple environmental images are output and displayed on the information output device. You may.
  • the communication resource allocation process is executed according to the index value (see FIG. 4 / STEP204, FIGS. 5 and 6).
  • the "index value” is a value indicating at least one of the level of the remote control skill of each operator of the plurality of remote control devices 10 and the level of difficulty of the work content through one work machine to be remotely controlled. (See relational expression (1)). Therefore, communication resources are allocated to each remote control device in an appropriate manner in consideration of one or both of the level of the remote control skill of each operator and the level of difficulty of the work content through the work machine 40.
  • each of the plurality of environmental information factors that determine the amount of environmental information is adjusted. Specifically, the amount of information reduction of one or more low environmental information factors is larger than the amount of information reduction of one or more high environmental information factors (meaning the amount of information reduction of environmental information due to changes in the environmental information factors).
  • the amount of environmental data is reduced so that is larger (see FIG. 4 / STEP210, FIGS. 7A to 7D).
  • Amount of information reduction of low environmental information factor ⁇ BR> E The amount of data is reduced by the amount adjusted so that it is relatively larger than the amount of information reduction of high environmental information factor, and as a result, the communication load of environmental data Is reduced.
  • the amount of data is adjusted so that the amount of information reduction of the high environmental information factor is relatively smaller than the amount of information reduction of the low environmental information factor, the amount of data is excessively reduced, and eventually the amount of environmental information is reduced. Excessive reduction of the amount of information can be avoided.
  • the high environmental information factor and the low environmental information factor are classified in different manners so that one low environmental information factor becomes a high environmental information factor with respect to the other low environmental information factor, and the environmental information control process is executed, the operation is performed. Since the range of adjustment modes of a plurality of environmental information factors is expanded according to the difference in the state, the data communication load for outputting the environmental information is reduced, and the operation state of the work machine by the operator is increased. From the viewpoint of the operator appropriately grasping the environment of the work machine, it is possible to avoid an excessive decrease in the amount of environmental information in a more precise and appropriate form.
  • each of the plurality of environmental information factors is adjusted in a different manner according to the difference in the mode of allocating communication resources to each remote control device. Further, the environmental information control process is performed according to the difference in the operation state (the state of at least one of the operation command according to the operation state of the operation mechanism 111 by the operator and the operation state of the work machine 40 according to the operation command). , Each of the multiple environmental information factors is regulated in different ways. Specifically, the high environmental information factor and the low environmental information factor are classified and executed in different modes according to the difference (see FIGS. 7A to 7D).
  • the environment is in an appropriate form from the viewpoint that the operator appropriately grasps the environment of the work machine 40 according to the remote control state of the work machine 40 by the operator. It is possible to avoid an excessive decrease in the amount of information (see FIGS. 8A to 8B).
  • the work content (work difficulty) for each time zone is recognized (FIG. 4 / STEP202) and the communication resource allocation process is executed (FIG. 4 / STEP204), but the work is performed as another embodiment.
  • the communication speed for each time zone at the work site may be added to the content (work difficulty). For example, as shown in FIG. 9, the average value A of the communication speeds of the work machine 40 with the remote control server 20 for the past 30 days for each time zone is recorded.
  • the environmental information control processing element 23 constituting the remote control server 20 receives the environmental data from the work machine 40 in the same manner as in the normal state, and then executes the environmental information control processing.
  • the amount of environmental data transmitted to the remote control device 10 may be increased or decreased.
  • the remote control server 20 or the environmental information control processing element 23 is configured by the master control device 100, and the remote control device 10 and the work machine 40 communicate with each other directly or via a wireless communication base station. May be good.
  • the master controller 100 and the remote control server 20 can communicate with each other through a communication circuit in a common processor or a communication circuit connecting separate processors.
  • the remote control server 20 or the environmental information control processing element 23 is configured by the slave control device 400, and the remote control device 10 and the work machine 40 communicate with each other directly or via a wireless communication base station. May be good.
  • the slave control device 400 and the remote control server 20 can communicate with each other through a communication circuit in a common processor or a communication circuit connecting separate processors.
  • a plurality of environmental information factors are classified and adjusted into a high environmental information factor and a low environmental information factor, but in another embodiment, the plurality of environmental information factors are at least one of the remote control devices 10. It may be uniformly adjusted without being classified into a high environmental information factor and a low environmental information factor according to the designated operation state of the work machine 40 or at least one designated operation state of the work machine 40. That is, all of the plurality of environmental information factors may be controlled so that the amount of decrease from the reference value Q2 is the same.
  • the operation command is transmitted from the remote control device 10 to the work machine 40 via the remote control server 20 (see FIG. 4 / STEP104 ⁇ STEP204 ⁇ STEP402), but as another embodiment, the operation is performed.
  • the command may be transmitted from the remote control device 10 to the work machine 40 via the wireless communication base station.
  • the environmental information control processing element 23 may recognize the operation command or the operation state of the remote control device 10 in response to the operation command.
  • the operating state of the working machine 40 in response to the operation command may be recognized by the environmental information control processing element 23 based on the communication result between the remote control server 20 and the working machine 40.
  • the environmental data is transmitted from the work machine 40 to the remote control device 10 via the remote control server 20 (see FIG. 4 / STEP410 ⁇ STEP214 ⁇ STEP106), but as another embodiment, the environment Data may be transmitted from the work machine 40 to the remote control device 10 via the wireless communication base station.
  • the execution of the environmental information control process is permitted through the input interface 110.
  • the environment information control process may be executed on the condition that.
  • the communication resource allocation processing element 22 outputs the index values zi (or xi and yi) recognized by the state recognition element 21 to the designated output device, and for each of the plurality of remote control devices 10 input through the designated input device.
  • the communication resource allocation process may be executed by recognizing the mode of allocating the communication resource.
  • the designated output device and the designated input device may constitute a terminal device managed by a manager (supervisor), such as a smartphone, a tablet terminal, or a notebook PC.
  • the index value output to the designated output device can support the examination and consideration by the manager (supervisor) regarding the allocation of communication resources to each of the plurality of remote control devices 10. Further, through the designated input device, it becomes possible to allocate appropriate communication resources to each remote control device 10 according to the examination result to the manager.
  • the environmental data may include "internal environment data" representing the operating state of the work machine 40 in addition to “external environment data” representing the external environment of the work machine 40.
  • data representing the angle is acquired as environmental data by an angle sensor or the like provided on the work attachment 440 and detecting an angle representing the posture of the boom and the arm. For example, when the crawler crane as the work machine 40 is suspended, the amount of data of the environmental data can be reduced by omitting the data representing the angles of the boom and the arm from the environmental data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

環境情報出力のためのデータ通信負荷の低減を図りながらも、複数のオペレータのそれぞれの遠隔操作スキル等に応じて当該複数のオペレータのそれぞれが作業機械の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうるシステム等を提供する。遠隔操作システムまたはこれを構成する遠隔操作サーバ２０によれば、オペレータのスキル等に応じて「通信資源割当処理」が実行されることにより、通信資源が複数の遠隔操作装置１０に対して割り当てられる。「環境情報制御処理」が実行されることにより、一または複数の高環境情報因子の情報低下量（当該環境情報因子の変化による環境情報の情報低下量を意味する。）よりも一または複数の低環境情報因子の情報低下量が大きくなるように環境データのデータ量が低減される。当該環境情報制御処理は、割り当て資源の相違に応じて異なる態様で実行される。

Description

遠隔操作システムおよび遠隔操作サーバ
　本発明は、作業機械等を遠隔操作するためのシステムに関する。
　建設機械等の作業機械の遠隔操作に際して、作業機械による円滑な作業のためには通信を途絶させないことが必須である。オペレータによる作業機械の遠隔操作の意思がないと推察される状態（例えば、乗降遮断レバーが上がっている状態）において、当該オペレータに対して提供される映像の情報量が制限され、あるいは、作業機械を基準とする複数の異なる方位の映像のうち作業機械の上部旋回体の旋回方向に応じた方位の映像のみが選択的に提供される方法が提案されている（例えば、特許文献１参照）。
特開２０１７－０９２９０８号公報
　しかし、前記のような状態で、映像の情報量の制限または特定方位の映像が選択的に出力されるだけではオペレータによる作業機械の環境の把握が困難になる可能性がある。
　そこで、本発明は、環境情報出力のためのデータ通信負荷の低減を図りながらも、複数のオペレータのそれぞれの遠隔操作スキル等に応じて当該複数のオペレータのそれぞれが作業機械の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうるシステム等を提供することを目的とする。
　本発明の遠隔操作サーバは、複数の作業機械および当該複数の作業機械のうち遠隔操作対象となる一の作業機械を遠隔操作するための複数の遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバであって、前記複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低および前記一の作業機械を通じた作業内容の難易度の高低のうち少なくとも一方を表わす指標値を認識する状態認識要素と、前記状態認識要素により認識された前記指標値に基づき、前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てるための通信資源割当処理を実行する通信資源割当処理要素と、前記遠隔操作装置を構成する情報出力装置において出力される、前記作業機械が有する環境認識装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように、前記通信資源割当処理要素により割り当てられた通信資源の相違に応じて異なる態様で調節するための環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする。
　本発明の遠隔操作システムは、複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械を遠隔操作するための複数の遠隔操作装置と、前記遠隔操作サーバと、により構成されていることを特徴とする。
本発明の一実施形態としての遠隔操作システムの構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作装置の構成に関する説明図。 本発明の一実施形態としての遠隔操作システムの機能に関する説明図。 各遠隔操作装置に対する通信資源の割り当て態様に関する説明図。 各遠隔操作装置に対する通信資源の割り当て態様に関する説明図。 通常状態における環境情報因子の制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第１制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第２制御態様に関する説明図。 環境情報制御処理に応じた環境情報因子の第３制御態様に関する説明図。 通常状態における環境情報に関する説明図。 環境情報制御処理時における環境情報に関する説明図。 作業機械の作業現場における通信速度の時系列に関する説明図。
　（構成）
　図１に示されている本発明の一実施形態としての遠隔操作システムは、複数の遠隔操作装置１０と、遠隔操作サーバ２０と、複数の作業機械４０と、を備えている。
　（作業機械の構成）
　複数の作業機械４０のそれぞれは、スレーブ制御装置４００と、環境認識装置４０１と、無線通信機器４０２と、作動機構４４０と、を備えている。スレーブ制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２２が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。複数の作業機械４０には、クローラショベルおよびクローラクレーンなど、複数種類の作業機械が含まれていてもよい。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　環境認識装置４０１は、例えばキャブ４２２の内部に設置され、キャブ４２２のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する撮像装置により構成されている。環境認識装置４０１は、マイクロフォンなどにより構成されている音響入力装置を備えていてもよい。
　遠隔操作装置１０を構成する操作レバー（後述）に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ４２２に設けられている。
　（遠隔操作装置の構成）
　複数の遠隔操作装置１０のそれぞれは、マスタ制御装置１００と、入力インターフェース１１０と、出力インターフェース１２０と、を備えている。遠隔操作装置１０の少なくとも一部がスマートホン、タブレット端末またはノートＰＣなどのモバイル端末装置により構成されていてもよい。マスタ制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　入力インターフェース１１０は、操作機構１１１と、操作状態検知器１１２と、を備えている。出力インターフェース１２０は、情報出力装置１２１と、無線通信機器１２２と、を備えている。
　操作機構１１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、遮断操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ４４６を動かすために操作される。
　遮断操作装置の操作レバー（遮断レバー）は、前記した走行レバー等の各操作レバーが操作されても作業機械４０が動かないようにロックする一方、当該ロックを解除するために操作される。
　操作機構１１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシート１１００の周囲に配置されている。シート１１００は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。
　シート１１００の前方に左右のクローラに応じた左右一対の走行レバー１１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシート１１００の右側フレームの前方に設けられている右側操作レバー１１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシート１１００の左側フレームの前方に設けられている左側操作レバー１１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　シート１１００の左側フレームの前方において左側操作レバー１１１２の下方に設けられている遮断レバー１１１３は、上げられた場合に各操作レバー１１１０、１１１１、１１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。
　情報出力装置１２１は、例えば図３に示されているように、シート１１００の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置１２１１、前方画像出力装置１２１２および左斜め前方画像出力装置１２１３により構成されている。当該情報出力装置１２１は、シート１１００の内部または周囲に配置されたスピーカ（音声出力装置）をさらに備えていてもよい。
　操作状態検知器１１２は、オペレータによる作業機械２００を動作させるための操作装置４００の操作状態を検知する。例えば、操作レバーを操作量０に対応する元の位置および姿勢に復元させるように作用するばねまたは弾性部材により構成される付勢機構の変形量または変位量に応じた信号を出力するセンサと、当該センサの出力信号に基づいて上部旋回体２２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器１１２が構成されている。
　操作機構１１１を構成する少なくとも一の操作レバーに感圧センサまたは接触センサが設けられ、当該センサと、当該少なくとも一の操作レバーがオペレータにより握られていることを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。シート１１００に感圧センサまたは接触センサが設けられ、当該センサと、オペレータが当該シート１１００に着座していることを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。
　作業機械４０に設けられている実機側操作レバーの操作量に応じたパイロット圧に応じた信号を出力するパイロット圧センサと、当該パイロット圧センサの出力信号に基づいて上部旋回体４２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。
　（遠隔操作サーバの構成）
　遠隔操作サーバ２０は、状態認識要素２１と、通信資源割当処理要素２２と、環境情報制御処理要素２３と、を備えている。状態認識要素２１は、遠隔操作装置１０、作業機械４０と通信可能である。また、遠隔操作サーバ２０とは別個にまたは一体的にデータベースサーバを設け、当該データベースサーバと遠隔操作サーバ２０とが通信可能に構成されていてもよい。
　状態認識要素２１は、遠隔操作装置１０、作業機械４０およびデータベースサーバのうち少なくとも１つとの通信に基づき、複数の遠隔操作装置１０のそれぞれのオペレータの遠隔操作スキルの高低および遠隔操作対象である一の作業機械を通じた作業内容の難易度の高低のうち少なくとも一方を表わす指標値を認識する。状態認識要素２１は、遠隔操作装置１０および作業機械４０のうちいずれか一方との通信に基づき、オペレータによる遠隔操作装置１０（またはこれを構成する操作機構１１１）の操作状態および作業機械４０の動作状態のうち少なくとも一方を認識する。
　通信資源割当処理要素２２は、状態認識要素２１により認識された指標値に基づき、通信資源割当処理を実行する。「通信資源割当処理」は、複数の遠隔操作装置１０のそれぞれに対して一の作業機械４０との相互通信のための通信資源を割り当てるための演算処理である。
　環境情報制御処理要素２３は、通信資源割当処理要素２２により複数の遠隔操作装置１０のそれぞれに対して割り当てられた通信資源の相違に応じて異なる態様で調節するための環境情報制御処理を実行する。環境情報制御処理要素２３は、状態認識要素２１により認識された遠隔操作装置１０の操作状態または作業機械４０の動作状態の相違に応じて異なる態様で環境情報制御処理を実行する。「環境情報制御処理」は、遠隔操作装置１０の情報出力装置１２１において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。
　（機能）
　状態認識要素２１により、遠隔操作装置１０、作業機械４０およびデータベースサーバのうち少なくとも１つとの通信に基づき、複数の遠隔操作装置１０のそれぞれのオペレータの遠隔操作スキルの高低および遠隔操作対象である一の作業機械を通じた作業内容の難易度の高低を表わす指標値を認識する（図４／ＳＴＥＰ２０２）。一の遠隔操作装置１０との相互通信により、当該一の遠隔操作装置１０を操作するオペレータが状態認識要素２１により識別されうる。データベースサーバとの通信により、当該データベースに紹介することにより当該オペレータに対して割り当てられている作業内容が状態認識要素２１により認識されうる。
　各オペレータＰｉ（ｉ＝１，２，‥，Ｎ）の遠隔操作スキルの高低を表わす指標値ｘｉおよび各作業Ｔｊ（ｊ＝１，２，‥，Ｍ）の難易度の高低を表わす指標値ｙｊは、データベースサーバ、または遠隔操作装置１０（マスタ制御装置１００）もしくは作業機械４０（スレーブ制御装置４００）を構成する記憶装置に記憶保持されている。指標値ｘｉは、複数の異なる作業のそれぞれについて遂行回数（遂行回数が多いほどスキルが高い）、複数の異なる作業のそれぞれについての平均遂行時間（平均遂行時間が短いほどスキルが高い）、および、操作ミスの回数（ミスが少ないほどスキルが高い）などの要素に基づき、スコア化されて評価されたものである。指標値ｙｊは、各作業の平均遂行時間（平均遂行時間が長いほど難易度が高い）、および、各オペレータによる操作機構１１１の操作頻度（頻度が高いほど難易度が高い）などの要素に基づき、スコア化されて評価されたものである。
　表１には、スキルｘｉを有するオペレータＰｉ（ｉ＝１～４）のそれぞれが、時間帯ｔ０～ｔ３において遂行する作業内容およびその難易度が示されている。第１オペレータＰ１は、時間帯ｔ０～ｔ１において作業Ｑ１（難易度ｙ１）を遂行し、続いて時間帯ｔ１～ｔ１において作業Ｑ２（難易度ｙ２）を遂行する。第２オペレータＰ２は、時間帯ｔ０～ｔ１において作業Ｑ２（難易度ｙ２）を遂行し、続いて時間帯ｔ１～ｔ３において作業Ｑ１（難易度ｙ１）を遂行する。第３オペレータＰ３は、時間帯ｔ０～ｔ３において一貫して作業Ｑ１（難易度ｙ１）を遂行する。第４オペレータＰ４は、時間帯ｔ２～ｔ３においてのみ作業Ｑ２（難易度ｙ２）を遂行する。
　指標値ｚｉは、スキルｘｉを主変数とする減少関数である（スキルｘｉが高いほど指標値ｚｉが小さくなる）一方、作業難易度ｙｉを主変数とする増加関数である（作業難易度ｙｉが高いほど指標値ｚｉが大きくなる）。指標値ｚｉは、例えば、関係式（１）にしたがって評価される。
　ｚｉ＝ｙｉ／ｘｉ　‥（１）。
Figure JPOXMLDOC01-appb-T000001
　通信資源割当処理要素２２は、状態認識要素２１により認識された指標値に基づき、通信資源割当処理を実行する。「通信資源割当処理」は、複数の遠隔操作装置１０のそれぞれに対して一の作業機械４０との相互通信のための通信資源を割り当てるための演算処理である。
　各遠隔操作装置１０に対して割り当てられる通信資源Ｂｉの合計ΣＢｉが通信資源の最大値Ｂmax以下になるように通信資源割当処理が実行される（図４／ＳＴＥＰ２０４）。例えば、オペレータＰｉが操作する遠隔操作装置１０に対して割り当てられる通信資源Ｂｉは、指標値ｚｉ、同一時点または同一期間において通信資源の割り当て対象になる各オペレータの指標値ｚｉの合計Σｚｉおよび通信資源の最大値Ｂmaxに基づき、関係式（２）にしたがって設定される。
　Ｂｉ＝Ｂmax・ｚｉ／（Σｚｉ＋δ）　‥（２）。
　関係式δは調整係数であり、例えば、作業難易度ｙｉの合計値Σｙｉが基準値以上である場合には「０」に設定され、作業難易度ｙｉの合計値Σｙｉが基準値を下回る場合には、当該下回り分が大きいほど段階的または連続的に大きくなる正値に設定される。
　図５には、表１に示されているように４人のオペレータＰｉのそれぞれにより、別個の遠隔操作装置１０を通じて別個の作業機械４０を通じて作業が遂行される場合の、各期間［ｔ０，ｔ１］、［ｔ１，ｔ２］および［ｔ２，ｔ３］における各遠隔操作装置１０に対する通信資源Ｂｉの割り当て態様が示されている。図６には、通信資源Ｂ１の時間変化態様が一点鎖線で示され、通信資源Ｂ２の時間変化態様が二点鎖線で示され、通信資源Ｂ３の時間変化態様が実線で示され、通信資源Ｂ４の時間変化態様が破線で示されている。通信資源Ｂｉは、例えば通信速度（単位時間当たりの通信容量）である。
　期間［ｔ０，ｔ１］では、Ｂ１＜Ｂ３＜Ｂ２の大小関係がある。これは、第１オペレータＰ１および第３オペレータＰ３のそれぞれが共通の第１作業Ｑ１を遂行するものの、第１オペレータＰ１のスキルｘ１が第３オペレータＰ３のスキルｘ３よりも高いためである。また、第２オペレータＰ２のスキルｘ２が第３オペレータＰ３のスキルｘ３よりもやや高い一方で、第１作業Ｑ１の難易度ｙ１が第２作業Ｑ２の難易度ｙ２よりも高いためである。ΣＢｉ＝Ｂ１＋Ｂ２＋Ｂ３が通信資源の最大値Ｂmaxを下回っているが、これは、作業難易度ｙｉの合計値Σｙｉ＝２ｙ１＋ｙ２が基準値を下回っている（関係式（２）でδ＞０である）ためである。
　期間［ｔ１，ｔ２］では、Ｂ２＜Ｂ３＜Ｂ１の大小関係がある。これは、第２オペレータＰ２および第３オペレータＰ３のそれぞれが共通の第１作業Ｑ１を遂行するものの、第２オペレータＰ２のスキルｘ２が第３オペレータＰ３のスキルｘ３よりも高いためである。また、第１オペレータＰ１のスキルｘ２が第３オペレータＰ３のスキルｘ３よりも高い一方で、第１作業Ｑ１の難易度ｙ１が第２作業Ｑ２の難易度ｙ２よりも高いためである。ΣＢｉ＝Ｂ１＋Ｂ２＋Ｂ３が通信資源の最大値Ｂmaxを下回っているが、これは、作業難易度ｙｉの合計値Σｙｉ＝ｙ１＋２ｙ２が基準値を下回っている（関係式（２）でδ＞０である）ためである。通信資源Ｂ３は、期間［ｔ０，ｔ１］および期間［ｔ１，ｔ２］において一定に維持されている。
　期間［ｔ２，ｔ３］では、Ｂ２＜Ｂ３＜Ｂ１＜Ｂ４の大小関係がある。これは、期間［ｔ１，ｔ２］に関する前記理由に加えて、第１オペレータＰ１および第３オペレータＰ３のそれぞれが共通の第１作業Ｑ１を遂行するものの、第１オペレータＰ１のスキルｘ１が第４オペレータＰ４のスキルｘ４よりも高いためである。ΣＢｉ＝Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４が通信資源の最大値Ｂmaxと等しいが、これは、作業難易度ｙｉの合計値Σｙｉ＝２ｙ１＋２ｙ２が基準値以上である（関係式（２）でδ＝０である）ためである。通信資源Ｂ１、Ｂ２およびＢ３のそれぞれは、期間［ｔ１，ｔ２］よりも期間［ｔ２，ｔ３］において低下しているが、これは、通信資源の一部が第４オペレータＰ４が操作する遠隔操作装置１０に対しても割り当てられたためである。
　遠隔操作装置１０において、オペレータにより操作機構１１１が操作され（図４／ＳＴＥＰ１０２）、これに応じて、マスタ制御装置１００により、無線通信機器１２２を通じて、当該操作態様に応じた動作指令が遠隔操作サーバ２０に対して送信される（図４／ＳＴＥＰ１０４）。
　遠隔操作サーバ２０において、状態認識要素２１により動作指令が遠隔操作装置１０から受信され、かつ、当該動作指令が作業機械４０に対して送信される（図４／ＳＴＥＰ２０６）。
　作業機械４０において、スレーブ制御装置４００により無線通信機器４０２を通じて動作指令が受信される（図４／ＳＴＥＰ４０２）。これに応じて、スレーブ制御装置４００により、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　作業機械４０において、環境認識装置４０１により環境情報として撮像画像が取得される（図４／ＳＴＥＰ４０６）。この際、環境情報として音声情報が取得されてもよい。マスタ制御装置１００により、無線通信機器１２２を通じて、遠隔操作装置１０から遠隔操作サーバ２０を経由して作業機械４０に対して操作開始指令が送信されたことが、環境情報の取得開始のトリガとされてもよい。操作開始指令は、例えば、遠隔操作装置１０において、入力インターフェース１１０または操作機構１１１を構成するボタンまたは操作レバーが所定態様で操作されたことに応じて出力される。環境認識装置４０１により取得された環境情報は、作業機械４０から送信され、遠隔操作サーバ２０により受信される。
　遠隔操作サーバ２０において、環境情報制御処理要素２３により環境情報制御処理が実行される（図４／ＳＴＥＰ２１０）。「環境情報制御処理」は、遠隔操作装置１０の情報出力装置１２１において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。具体的には、複数の環境情報因子のうち「高環境情報因子」よりも「低環境情報因子」に応じた当該情報量の低下が大きくなるように、複数の環境情報因子を異なる態様で調節するための演算処理である。
　環境情報制御処理は、その実行処理の要否を判定し当該判定結果が肯定的である場合に限って、環境情報制御処理要素２３により、環境情報制御処理が実行されるようにしてもよい。例えば、動作指令に応じた操作機構１１１の操作状態が、環境情報制御処理の対象である指定操作状態であるかが判定されてもよい。遠隔操作サーバ２０と作業機械４０との通信によって当該作業機械４０の動作指令に応じた動作状態が認識され、作業機械４０の動作状態が、環境情報制御処理の対象である指定動作状態であるか否かが判定されてもよい。環境情報制御処理要素２３により、遠隔操作サーバ２０と遠隔操作装置１０または作業機械４０との通信速度が認識されたうえで、当該通信速度が基準値未満であるか否かが判定されてもよい。
　遠隔操作装置１０に対して割り当てられた通信資源の相違に応じて、異なる態様で環境情報制御処理が実行される。例えば、遠隔操作装置１０に対して割り当てられた通信資源が多いほど高環境情報因子に区分される環境情報因子の数が少なくなる一方、例えば、遠隔操作装置１０に対して割り当てられた通信資源が少ないほど高環境情報因子に区分される環境情報因子の数が多くなるように、高環境情報因子および低環境情報因子が異なる態様で区分されて環境情報制御処理が実行される。
　さらに、遠隔操作装置１０からの動作指令および当該動作指令に応じた作業機械４０の動作状態のうち少なくとも一方である操作状態の相違に応じて、高環境情報因子および低環境情報因子が異なる態様で区分されて環境情報制御処理が実行される。
　図７Ａには、通常状態、すなわち、環境情報制御処理が実行されない状態において、環境情報の情報量を定める４つの環境情報因子Ｘ１～Ｘ４のそれぞれの値が、下限値Ｑ１を基準として正規化された際の基準値Ｑ２である状況が示されている。環境情報が画像である場合、４つの環境情報因子Ｘ１～Ｘ４は、例えば、解像度、フレームレート、画素値の次元数および出力画像範囲の広さである。環境情報に音声が含まれている場合、例えば、複数の環境情報因子には、サンプリング周波数、量子化ビット数および音の周波数帯のうち少なくとも１つが含まれる。図７Ｂ～図７Ｄのそれぞれには、操作状態が第１～第３指定操作状態のそれぞれである場合における、４つの環境情報因子Ｘ１～Ｘ４のそれぞれの目標値または指令値が示されている。
　第１指定操作状態では、環境情報因子Ｘ１およびＸ２が基準値Ｑ２よりも低減され、環境情報因子Ｘ３およびＸ４が基準値Ｑ２に維持されている（図７Ｂ参照）。この場合、環境情報因子Ｘ３およびＸ４が「高環境情報因子」に相当し、環境情報因子Ｘ１およびＸ２が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。
　第２指定操作状態では、環境情報因子Ｘ３およびＸ４が基準値Ｑ２よりも低減され、環境情報因子Ｘ３のほうが環境情報因子Ｘ４よりも当該低下量が大きく、環境情報因子Ｘ１およびＸ２が基準値Ｑ２に維持されている（図７Ｃ参照）。この場合、環境情報因子Ｘ１およびＸ２が「高環境情報因子」に相当し、環境情報因子Ｘ３およびＸ４が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子Ｘ４が「高環境情報因子（または１次低環境情報因子）」に相当し、環境情報因子Ｘ３が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子（または２次低環境情報因子）」に相当する。
　第３指定操作状態では、環境情報因子Ｘ２が基準値Ｑ２よりも低減され、環境情報因子Ｘ３が基準値Ｑ２よりも増大され、環境情報因子Ｘ１およびＸ４が基準値Ｑ２に維持されている（図７Ｄ参照）。この場合、環境情報因子Ｘ３が「高環境情報因子」に相当し、環境情報因子Ｘ１、Ｘ２およびＸ４が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子Ｘ１およびＸ４が「高環境情報因子（または１次低環境情報因子）」に相当し、環境情報因子Ｘ２が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子（または２次低環境情報因子）」に相当する。
　例えば、作業機械４０の遠隔操作状態の別に応じて、表２に示されているように複数の環境情報因子のそれぞれが調節されてもよい。
Figure JPOXMLDOC01-appb-T000002
　表２において、遮断レバー上がり（状態Ａ）は、オペレータによる作業機械４０の操作意思がない状態であり、環境情報因子を低減させる。視野を保持するために画像範囲については維持してもよい。
　遮断レバー上がり＋レバー握り（状態Ｂ）は、状態Ａ同様オペレータによる作業機械４０の操作意思がない状態であるものの、オペレータが操作レバーを握ることにより環境情報因子の低減を緩和した状態である。例えば、土砂運搬用のトラックが所定位置に移動することを確認するときに調整される環境情報因子の状態である。掘削等の作業を行わないのでフレームレートを落とすことが出来る。
　上部旋回体の旋回操作（状態Ｃ）を行う際には、解像度を下げている。これは画面が高速で移動することによる画面の見辛さや不快感を低減するためである。一方、画像範囲については増大可能とすることで旋回方向の視界性を確保できるようにしている。
　下部走行体の並進操作（状態Ｄ）を行う際には、移動方向を主として精度の高い情報が必要であり、環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には画像範囲の維持を優先することで走行方向の視界性を確保できるようにしている。
　粗掘削操作（状態Ｅ）は、掘削の計画面から離間した面までを作業速度を重視して掘削する状態である。フレームレートは維持するが、そのほかの環境情報因子を低減しても作業場問題とはならない。旋回等の移動が伴う作業を行う際には画像範囲を低減しないことが望ましい。
　仕上げ掘削操作（状態Ｆ）は、例えば、粗掘削され掘削の計画面から残った土砂領域を、精度を重視して掘削する状態である。この状態では環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には、バケット等の稼働時には画像範囲を低減しながらフレームレートを維持することで作業性に影響を与えず環境情報因子を低減させる。また例えばオペレータが作業面を確認するときなどバケット等の稼働が低調な時はフレームレートを低減しながら画像範囲を維持するようにする。
　また、上記の状態の組合せとして整地作業操作（状態Ｄおよび状態Ｅの組合せ）も想定される。バケットによる均し作業のみを行う際には画像範囲を低減するが、走行操作も行う場合には画像範囲を低減しないことが望ましい。
　続いて、遠隔操作サーバ２０において、環境情報制御処理要素２３により環境情報制御指令が作業機械４０に対して送信される（図４／ＳＴＥＰ２１２）。環境情報制御指令には、通常状態または指定操作状態の別（環境情報制御処理の実行有無の別）のほか、複数の因子の調節態様を特定するためのデータが含まれている。
　作業機械４０において、スレーブ制御装置４００により、無線通信機器４０２を通じて環境情報制御指令が受信される（図４／ＳＴＥＰ４０８）。スレーブ制御装置４００により、撮像画像を表わす環境データのデータ量が環境情報制御指令にしたがって調節されたうえで遠隔操作サーバ３０に対して送信される（図４／ＳＴＥＰ４１０）。
　遠隔操作サーバ２０において、環境情報制御処理要素２３により環境データが作業機械４０から受信され、かつ、当該環境データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ２１４）。
　遠隔操作装置１０において、マスタ制御装置１００により、無線通信機器１２２を通じて環境データが受信される（図４／ＳＴＥＰ１０６）。マスタ制御装置１００により、環境データに応じた環境情報（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境情報）が情報出力装置１２１に出力される（図４／ＳＴＥＰ１０８）。
　これにより、通常状態では、例えば図８Ａに示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境情報が高情報出力装置１２１および低情報出力装置２２１のそれぞれに出力される。環境情報因子Ｘ１が「通常状態と同じ出力画像範囲」であり、環境情報因子Ｘ２が「解像度」である場合、第１指定操作状態（図７Ｂ参照）では、環境情報の一部（例えば、中央の矩形状領域）が通常状態と同様の解像度を有し、その他の部分（例えば、当該一部の領域を矩形枠状に取り囲む領域）の解像度が通常状態よりも低い解像度を有する環境情報が情報出力装置１２１に出力される。また、環境情報因子Ｘ１が「出力画像範囲」であり、環境情報因子Ｘ２が「解像度」である場合、第１指定操作状態では、環境情報の一部のみが通常状態よりも解像度が低下された状態で情報出力装置１２１に出力される（図８Ｂ参照）。
　環境情報因子としての「出力画像範囲（または通常状態と同じ出力画像範囲）」により情報出力装置１２１における単一の画像領域が指定されてもよく、複数の画像領域が指定されてもよい。環境情報因子としての「出力画像範囲」により情報出力装置１２１における広がり態様（形状、サイズおよび重心位置などにより特定される。）が時系列的に一定の画像領域が指定されてもよく、バケット４４５を包含する画像領域等、情報出力装置１２１における広がり態様が時系列的に変化する画像領域が指定されてもよい。
　環境情報因子Ｘ３が「画素値の次元数」であり、環境情報因子Ｘ４が「フレームレート」である場合、第２指定操作状態（図５Ｃ参照）では、例えば、環境情報のフレームレートが低減され（２４～３０ＦＰＳ→２～１０ＦＰＳなど）、かつ、通常状態における色相および輝度値を含む２次元（色相がＲＧＢ値などの３次元ベクトルで表現される場合は４次元）の画素値が、輝度値（グレースケール）のみを含む１次元の画素値を有する環境情報が情報出力装置１２１に出力される。
　今回の環境情報の情報量が前回の環境情報の情報量よりも低下する場合、今回の環境情報に加えて前回以前の所定回数分の環境情報が情報出力装置１２１から出力されてもよい。例えば、環境情報としての今回の環境画像の解像度が前回の環境画像の解像度よりも低下する場合、今回の環境画像に加えて前回または前回以前の複数回分の環境画像が情報出力装置に出力表示されてもよい。
　（効果）
　当該構成の遠隔操作システムまたはこれを構成する遠隔操作サーバ２０によれば、指標値に応じて、通信資源割当処理が実行される（図４／ＳＴＥＰ２０４、図５および図６参照）。「指標値」は、複数の遠隔操作装置１０のそれぞれのオペレータの遠隔操作スキルの高低および遠隔制御対象となる一の作業機械を通じた作業内容の難易度の高低のうち少なくとも一方を表わす値である（関係式（１）参照）。このため、各オペレータの遠隔操作スキルの高低および作業機械４０を通じた作業内容の難易度の高低のうち一方または両方に鑑みて、適当な形態で各遠隔操作装置に対して通信資源が割り当てられる。
　また、「環境情報制御処理」が実行されることにより、環境情報の情報量を定める複数の環境情報因子のそれぞれが調節される。具体的には、一または複数の高環境情報因子の情報低下量（当該環境情報因子の変化による環境情報の情報低下量を意味する。）よりも一または複数の低環境情報因子の情報低下量が大きくなるように環境データのデータ量が低減される（図４／ＳＴＥＰ２１０、図７Ａ～図７Ｄ参照）。低環境情報因子の情報低下量・BR>ェ高環境情報因子の情報低下量よりも相対的に大きくなるようにデータ量が調節される分だけ、当該データ量の低減、ひいては環境データの通信負荷の低減が図られる。その一方、高環境情報因子の情報低下量が低環境情報因子の情報低下量よりも相対的に小さくなるようにデータ量が調節される分だけ、当該データ量の過度な低減、ひいては環境情報の情報量の過度な低減が回避されうる。
　よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータの遠隔操作スキルおよび作業内容の難易度に鑑みて、当該オペレータが作業機械の環境を適当に把握するために適当な形態で環境情報の情報量の過度の低下が回避されうる。
　一の低環境情報因子が他の低環境情報因子に対する高環境情報因子となるような高環境情報因子および低環境情報因子が異なる態様で区分されて、環境情報制御処理が実行される場合、操作状態の相違に応じて、複数の環境情報因子の調節態様の幅が拡張されるので、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械の操作状態に応じて当該オペレータが作業機械の環境を適当に把握する観点からさらに緻密に適当な形態で環境情報の情報量の過度の低下が回避されうる。
　当該環境情報制御処理は、各遠隔操作装置に対する通信資源の割り当て態様の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節される。さらに、当該環境情報制御処理は、操作状態（オペレータによる操作機構１１１の操作状態に応じた動作指令および当該動作指令に応じた作業機械４０の動作状態のうち少なくとも一方の状態）の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節される。具体的には、当該相違に応じて、高環境情報因子および低環境情報因子を異なる態様で区分して実行される（図７Ａ～図７Ｄ参照）。よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械４０の遠隔操作状態に応じて当該オペレータが作業機械４０の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうる（図８Ａ～図８Ｂ参照）。
　（本発明の他の実施形態）
　前記実施形態では、時間帯ごとの作業内容（作業難易度）を認識し（図４／ＳＴＥＰ２０２）通信資源割当処理を実行する（図４／ＳＴＥＰ２０４）ようにしていたが、他の実施形態として作業内容（作業難易度）に対して作業現場における時間帯ごとの通信速度を加味するようにしてもよい。例えば図９のように作業機械４０の遠隔操作サーバ２０との時間帯ごとの過去３０日の通信速度の平均値Ａが記録されている。現在の通信速度Ｂと通信速度の平均値Ａを鑑みて作業を行う時間帯の通信速度に余裕があると判定すると通信速度による難易度変化はないと判定する一方、通信速度に余裕がないと判定すると通信速度の低下により作業難易度に対して必要なスキルを多く求める必要があると判定するようにしてもよい。
　他の実施形態において、遠隔操作サーバ２０を構成する環境情報制御処理要素２３によって、作業機械４０から環境データが通常状態と同様に受信されたうえで、環境情報制御処理が実行されることにより、遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。
　他の実施形態において、遠隔操作サーバ２０または環境情報制御処理要素２３がマスタ制御装置１００によって構成され、遠隔操作装置１０および作業機械４０が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素２３と同様の機能を有するマスタ制御装置１００によって環境情報制御処理が実行されることにより、作業機械４０から遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。マスタ制御装置１００および遠隔操作サーバ２０は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。
　他の実施形態において、遠隔操作サーバ２０または環境情報制御処理要素２３がスレーブ制御装置４００によって構成され、遠隔操作装置１０および作業機械４０が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素２３と同様の機能を有するスレーブ制御装置４００によって環境情報制御処理が実行されることにより、作業機械４０から遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。スレーブ制御装置４００および遠隔操作サーバ２０は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。
　前記実施形態では、複数の環境情報因子が、高環境情報因子および低環境情報因子に区分されて調節されたが、他の実施形態として、複数の環境情報因子が、遠隔操作装置１０の少なくとも一の指定操作状態または作業機械４０の少なくとも一の指定動作状態に応じて高環境情報因子および低環境情報因子に区分されずに一様に調節されてもよい。すなわち、複数の環境情報因子のすべてが、基準値Ｑ２からの低下量が同一になるように制御されてもよい。
　前記実施形態では、動作指令が遠隔操作装置１０から遠隔操作サーバ２０を経由して作業機械４０に対して送信されたが（図４／ＳＴＥＰ１０４→ＳＴＥＰ２０４→ＳＴＥＰ４０２参照）、他の実施形態として、動作指令が遠隔操作装置１０から無線通信基地局を介して作業機械４０に対して送信されてもよい。この場合、遠隔操作サーバ２０と遠隔操作装置１０との通信結果に基づき、環境情報制御処理要素２３によって動作指令またはこれに応じた遠隔操作装置１０の操作状態が認識されてもよい。あるいは、遠隔操作サーバ２０と作業機械４０との通信結果に基づき、環境情報制御処理要素２３によって動作指令に応じた作業機械４０の動作状態が認識されてもよい。
　前記実施形態では、環境データが作業機械４０から遠隔操作サーバ２０を経由して遠隔操作装置１０に対して送信されたが（図４／ＳＴＥＰ４１０→ＳＴＥＰ２１４→ＳＴＥＰ１０６参照）、他の実施形態として、環境データが作業機械４０から無線通信基地局を介して遠隔操作装置１０に対して送信されてもよい。
　前記実施形態において、環境情報制御処理が実行された場合の環境情報の情報量の低下態様が情報出力装置１２１に出力されたうえで、入力インターフェース１１０を通じて当該環境情報制御処理の実行が容認されたことを要件として、当該環境情報制御処理が実行されてもよい。
　通信資源割当処理要素２２が、状態認識要素２１により認識された指標値ｚｉ（またはｘｉおよびｙｉ）を指定出力装置に出力し、指定入力装置を通じて入力された複数の遠隔操作装置１０のそれぞれに対して通信資源を割り当てる態様を認識することで前記通信資源割当処理を実行してもよい。指定出力装置および指定入力装置は、スマートホン、タブレット端末またはノートＰＣなど、マネージャ（監督者）が管理する端末装置を構成していてもよい。指定出力装置に出力される指標値により、複数の遠隔操作装置１０のそれぞれに対する通信資源の割り当てに関するマネージャ（監督者）による検討および考察が支援されうる。また、指定入力装置を通じて、当該マネージャに当該検討結果に応じた各遠隔操作装置１０に対する適切な通信資源の割り当てが可能になる。
　環境データには、作業機械４０の外部環境を表わす「外部環境データ」に加えて、作業機械４０の動作状態を表わす「内部環境データ」が含まれていてもよい。この場合、作業アタッチメント４４０に設けられ、ブームおよびアームの姿勢を表わす角度を検知する角度センサなどにより当該角度を表わすデータが環境データとして取得される。例えば、作業機械４０としてのクローラクレーンが吊り作業をしている場合、ブームおよびアームの角度を表わすデータが環境データから省略されることにより、当該環境データのデータ量の低減が図られる。
１０‥遠隔操作装置、２０‥遠隔操作サーバ、２１‥状態認識要素、２２‥通信資源割当処理要素、２３‥環境情報制御処理要素、４０‥作業機械、１００‥マスタ制御装置、１１０‥入力インターフェース、１１１‥操作機構、１１２‥操作状態検知器、１２０‥出力インターフェース、１２１‥情報出力装置、１２２‥無線通信機器、４００‥スレーブ制御装置、４０１‥環境認識装置、４０２‥無線通信機器、４４０‥作業アタッチメント（作動機構）。 

Claims (7)

  1. 　複数の作業機械および当該複数の作業機械のうち遠隔操作対象となる一の作業機械を遠隔操作するための複数の遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバであって、
    　前記複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低および前記一の作業機械を通じた作業内容の難易度の高低のうち少なくとも一方を表わす指標値を認識する状態認識要素と、
    　前記状態認識要素により認識された前記指標値に基づき、前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てるための通信資源割当処理を実行する通信資源割当処理要素と、
    　前記遠隔操作装置を構成する情報出力装置において出力される、前記作業機械が有する環境認識装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように、前記通信資源割当処理要素により割り当てられた通信資源の相違に応じて異なる態様で調節するための環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする遠隔操作サーバ。
  2. 　請求項１記載の遠隔操作サーバにおいて、
    　前記状態認識要素が、オペレータによる前記遠隔操作装置の操作状態または前記作業機械の動作状態を認識し、
    　前記環境情報制御処理要素が、前記複数の環境情報因子のそれぞれを、前記状態認識要素により認識された前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて異なる態様で調節するように前記環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする遠隔操作サーバ。
  3. 　請求項２記載の遠隔操作サーバにおいて、
    　前記環境情報制御処理要素が、前記複数の環境情報因子のうち、前記状態認識要素により認識された前記遠隔操作装置の操作状態または前記作業機械の動作状態の相違に応じて定まる高環境情報因子および低環境情報因子を異なる態様で区分して、当該高環境情報因子に応じた前記環境情報の情報量の低下よりも、当該低環境情報因子に応じた前記環境情報の情報量の低下が大きくなるように前記環境情報制御処理を実行することを特徴とする遠隔操作サーバ。
  4. 　請求項３記載の遠隔操作サーバにおいて、
    　前記環境情報制御処理要素が、一の前記低環境情報因子が他の前記低環境情報因子に対する前記高環境情報因子となるような前記高環境情報因子および前記低環境情報因子を異なる態様で区分して、前記環境情報制御処理を実行することを特徴とする遠隔操作サーバ。
  5. 　請求項１～４のうちいずれか１項に記載の遠隔操作サーバにおいて、
    　前記環境情報制御処理要素が、前記遠隔操作装置および前記作業機械のうち少なくとも一方の通信速度が基準値を下回ったことを要件として、前記環境情報制御処理を実行することを特徴とする遠隔操作サーバ。
  6. 　請求項１～５のうちいずれか１項に記載の遠隔操作サーバにおいて、
    　前記通信資源割当処理要素が、前記状態認識要素により認識された前記指標値を指定出力装置に出力し、指定入力装置を通じて入力された前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てる態様を認識することで前記通信資源割当処理を実行することを特徴とする遠隔操作サーバ。
  7. 　複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械を遠隔操作するための複数の遠隔操作装置と、前記複数の作業機械および前記複数の遠隔操作装置のそれぞれとの相互通信機能を有する遠隔操作サーバと、により構成され、
    　前記遠隔操作サーバが、
    　前記複数の遠隔操作装置のそれぞれのオペレータの遠隔操作スキルの高低および前記一の作業機械を通じた作業内容の難易度の高低のうち少なくとも一方を表わす指標値を認識する状態認識要素と、
    　前記状態認識要素により認識された前記指標値に基づき、前記複数の遠隔操作装置のそれぞれに対して前記一の作業機械との相互通信のための通信資源を割り当てるための通信資源割当処理を実行する通信資源割当処理要素と、
    　前記遠隔操作装置を構成する情報出力装置において出力される、前記作業機械が有する環境認識装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように、前記通信資源割当処理要素により割り当てられた通信資源の相違に応じて異なる態様で調節するための環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする遠隔操作システム。 
PCT/JP2020/016056 2019-06-10 2020-04-09 遠隔操作システムおよび遠隔操作サーバ WO2020250558A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/611,688 US20220316181A1 (en) 2019-06-10 2020-04-09 Remote operation system and remote operation server
CN202080041900.4A CN113994052B (zh) 2019-06-10 2020-04-09 远程操作系统及远程操作服务器
EP20821983.2A EP3951094B1 (en) 2019-06-10 2020-04-09 Remote operation system and remote operation server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019108276A JP7247769B2 (ja) 2019-06-10 2019-06-10 遠隔操作システム
JP2019-108276 2019-06-10

Publications (1)

Publication Number Publication Date
WO2020250558A1 true WO2020250558A1 (ja) 2020-12-17

Family

ID=73742512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016056 WO2020250558A1 (ja) 2019-06-10 2020-04-09 遠隔操作システムおよび遠隔操作サーバ

Country Status (5)

Country Link
US (1) US20220316181A1 (ja)
EP (1) EP3951094B1 (ja)
JP (1) JP7247769B2 (ja)
CN (1) CN113994052B (ja)
WO (1) WO2020250558A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4079977A1 (en) * 2021-03-29 2022-10-26 Kobelco Construction Machinery Co., Ltd. Remote operation system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022143729A (ja) 2021-03-18 2022-10-03 コベルコ建機株式会社 遠隔操作システム
JP2022154888A (ja) 2021-03-30 2022-10-13 コベルコ建機株式会社 遠隔操作装置
JP2023003680A (ja) 2021-06-24 2023-01-17 コベルコ建機株式会社 表示装置
WO2023112217A1 (ja) * 2021-12-15 2023-06-22 日本電気株式会社 映像送信システム、映像送信装置、および映像送信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
JP2003076978A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2017092908A (ja) 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002188183A (ja) 2000-10-12 2002-07-05 Komatsu Ltd 作機機械の管理装置
US20070179640A1 (en) * 2006-01-31 2007-08-02 Caterpillar Inc. Environmental monitoring system for a machine environment
JP2008146292A (ja) * 2006-12-08 2008-06-26 Shin Caterpillar Mitsubishi Ltd 訪問計画作成方法
JP5208074B2 (ja) * 2009-08-27 2013-06-12 日立建機株式会社 作業機械の遠隔管理システム
CN102385374A (zh) * 2011-10-24 2012-03-21 三一重工股份有限公司 一种远程控制系统、远程控制方法及工程机械
DE112018001447T5 (de) 2017-07-14 2019-12-12 Komatsu Ltd. Topographische informationsübertragungsvorrichtung, bauverwaltungssystem und topographisches informationsübertragungsverfahren
CN108830453B (zh) * 2018-05-07 2021-10-08 中国科学院力学研究所 一种远程操作效果的评估方法及系统
US11112791B2 (en) * 2019-05-02 2021-09-07 Valeo Schalter Und Sensoren Gmbh Selective compression of image data during teleoperation of a vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
JP2003076978A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2017092908A (ja) 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4079977A1 (en) * 2021-03-29 2022-10-26 Kobelco Construction Machinery Co., Ltd. Remote operation system

Also Published As

Publication number Publication date
CN113994052A (zh) 2022-01-28
EP3951094A1 (en) 2022-02-09
US20220316181A1 (en) 2022-10-06
CN113994052B (zh) 2023-09-05
EP3951094B1 (en) 2023-08-09
JP2020200660A (ja) 2020-12-17
EP3951094A4 (en) 2022-06-15
JP7247769B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
WO2020250558A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
WO2020250557A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
WO2019088065A1 (ja) 作業機械
EP3951079A1 (en) Shovel
JPWO2020071314A1 (ja) ショベル
EP3923594B1 (en) Remote operation system
JP2023174887A (ja) 作業機械、情報処理装置
JP7099358B2 (ja) 作業機械用表示システム
JP2021179105A (ja) 作業機械の遠隔操作支援システム
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
WO2021246190A1 (ja) 実機状態監視システムおよび実機状態監視方法
US20220290401A1 (en) Display system, remote operation system, and display method
WO2022091820A1 (ja) 建設作業計画支援装置
JP7310595B2 (ja) 作業支援サーバおよび作業支援システム
WO2023228758A1 (ja) 建設機械、建設機械の支援システム
JP2022144491A (ja) 撮像機能制御システムおよび撮像機能制御方法
US20220298748A1 (en) Remote operation support system and remote operation support method
WO2023190843A1 (ja) 支援装置、作業機械、プログラム
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021230090A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
WO2020194884A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2024068678A (ja) 作業機械及び情報処理装置
JP2024018270A (ja) 作業支援システム、作業機械、投影装置、制御装置
JP2023176917A (ja) 遠隔操作支援システムおよび遠隔操作装置
JP2021147978A (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20821983

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020821983

Country of ref document: EP

Effective date: 20211102

NENP Non-entry into the national phase

Ref country code: DE