WO2026004201A1 - 制御装置及び遠隔操作システム - Google Patents
制御装置及び遠隔操作システムInfo
- Publication number
- WO2026004201A1 WO2026004201A1 PCT/JP2025/004141 JP2025004141W WO2026004201A1 WO 2026004201 A1 WO2026004201 A1 WO 2026004201A1 JP 2025004141 W JP2025004141 W JP 2025004141W WO 2026004201 A1 WO2026004201 A1 WO 2026004201A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- quality
- transmission
- control unit
- remote control
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Definitions
- FIG. 17 is a diagram showing an example configuration of a conventional remote control system S.
- the remote control system S includes an object to be controlled 1 and a remote control device 2.
- the object to be controlled 1 is, for example, a vehicle, and transmits image data captured by a central camera installed in the vehicle to the remote control device 2.
- the remote control device 2 can issue a warning to the operator and adjust the data capacity of the buffer.
- the mechanism by which the remote control device 2 issues a warning to the operator is measured by the amount of image data buffered within the remote control device 2.
- the present invention aims to provide technology that can reduce the impact of remote control on the object being controlled.
- One aspect of the present invention is a control device that includes a quality management unit that acquires the transmission quality of the transmission path between an operation target and a remote control device that remotely controls the operation target and determines whether the acquired transmission quality satisfies quality requirements, and a transmission control unit that, if the transmission quality does not satisfy the quality requirements, notifies at least the remote control device or controls the operation target.
- One aspect of the present invention is a control device that includes a quality management unit that acquires the transmission quality of a transmission path between an operation target and a remote control device that remotely operates the operation target and determines whether the acquired transmission quality satisfies quality requirements; a transmission control unit that, if the transmission quality does not satisfy the quality requirements, at least notifies the remote control device or controls the operation target; and a processing device that executes processing to improve operability for at least one of information collected by the operation target or operation information by the remote control device, wherein the quality management unit is a control device that determines whether the transmission quality, including the transmission quality between the operation target and the processing device, the transmission quality between the remote control device and the processing device, and the processing time by the processing device, satisfies the quality requirements.
- One aspect of the present invention is a control device that includes a quality management unit that acquires the transmission quality of the transmission path between an operation target and a remote control device that remotely controls the operation target, and determines a quality level according to the acquired transmission quality, and a transmission control unit that notifies information indicating the quality level to either the operation target, the remote control device, a device provided on the transmission path, or a processing device that executes processing to improve operability between the operation target and the remote control device.
- One aspect of the present invention is a remote control system comprising: a quality management unit that acquires the transmission quality of a transmission path between an operation target and a remote control device that remotely controls the operation target and determines a quality level according to the acquired transmission quality; a transmission control unit that notifies information indicating at least the quality level determined by the quality management unit; and a processing unit that executes processing to improve operability of at least one of the information collected by the operation target or the operation information by the remote control device based on the information indicating the quality level notified by the transmission control unit, or a management unit that controls settings on the transmission path.
- This invention makes it possible to reduce the impact of remote control on the object being controlled.
- FIG. 1 is a diagram for explaining an overview of a remote control system according to the present invention
- 1 is a diagram illustrating an example of the configuration of a remote control system according to a first embodiment.
- FIG. 10 is a diagram illustrating an example of the configuration of a remote control system according to a second embodiment.
- FIG. 10 is a diagram illustrating an example of the configuration of a remote control system according to a third embodiment.
- FIG. 10 is a diagram illustrating an example of the configuration of a remote control system according to a fourth embodiment.
- FIG. 13 is a diagram for explaining an overview of a remote control system according to a fifth embodiment.
- FIG. 13 is a diagram illustrating a configuration example of a remote control system in application example 1 of the fifth embodiment.
- FIG. 10 is a diagram illustrating an example of a quality level determination table.
- FIG. 10 is a diagram illustrating an example of an operation control table.
- FIG. 13 is a diagram illustrating a configuration example of a remote control system in an application example 2 of the fifth embodiment.
- FIG. 10 is a diagram showing an example of a control table used to determine video capacity.
- FIG. 13 is a diagram illustrating a configuration example of a remote control system in an application example 3 of the fifth embodiment.
- FIG. 13 is a diagram for explaining an overview of a remote control system according to a sixth embodiment.
- FIG. 22 is a diagram illustrating a configuration example of a remote control system in application example 1 of the sixth embodiment.
- FIG. 23 is a diagram illustrating an example of a control table according to the sixth embodiment.
- FIG. 23 is a diagram illustrating a configuration example of a remote control system in application example 2 of the sixth embodiment.
- FIG. 1 is a diagram illustrating an example of the configuration of a conventional remote
- Fig. 1 is a diagram for explaining the overview of the remote control system 100 according to the present invention.
- the remote control system 100 is a system for remotely operating, from one point, equipment or the like located at a different point.
- the remote control system 100 is not particularly limited as long as it is used for tasks such as remote arm operation, remote surgery, remote construction, and remote inspection, as long as it remotely operates equipment to be operated.
- the remote control system 100 comprises a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40, and a processing device 50.
- the remote control device 10, the operation target 20, the quality control unit 30, the transmission control unit 40, and the processing device 50 are connected via a transmission network NW.
- the transmission network NW may be a network of any configuration, such as the Internet.
- the transmission network NW may also be a wireless network.
- the transmission network NW may also be equipped with relay devices such as switches or routers with data transfer functions, and servers with data processing functions. There is no particular limit to the number of remote control devices 10, operation targets 20, quality control units 30, transmission control units 40, and processing devices 50.
- the quality control unit 30 and the transmission control unit 40 are provided in one or more housings and function as a control device.
- the control device comprises a CPU (Central Processing Unit), memory, auxiliary storage device, etc. connected by a bus, and executes a program. By executing the program, the control device functions as a device comprising the quality control unit 30 and the transmission control unit 40.
- the control device may be realized using hardware such as an ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), or FPGA (Field Programmable Gate Array).
- the program may also be recorded on a computer-readable recording medium.
- Examples of computer-readable recording media include portable media such as flexible disks, optical magnetic disks, ROMs (Read Only Memory), and CD-ROMs, as well as storage devices such as hard disks built into computer systems.
- the program may also be transmitted and received via telecommunications lines.
- the remote control device 10 is a device that controls an operation target 20 installed at a different location.
- the remote control device 10 includes, for example, an output device 11 and an operation input device 12.
- the output device 11 is a device that outputs information obtained from the operation target 20 and management results obtained by the quality control unit 30.
- the output device 11 is a device that can output information that affects the five senses (e.g., images, sounds, smells, etc.) such as a monitor or speaker.
- the operation input device 12 is a device for inputting instructions to the operation target 20.
- the operation input device 12 is an operation device such as a controller, mouse, or keyboard.
- the operation target 20 is remotely operated by the remote control device 10.
- the operation target 20 includes, for example, an information collection device 21 and a drive device 22.
- the information collection device 21 is a device that collects information in response to instructions from the remote control device 10.
- the information collection device 21 is not particularly limited as long as it is a device that can collect the state of the operation target, such as image data, sound information, haptic information, taste information, or database information, and display it on the remote control device 10 side.
- the driving device 22 is a device that drives in response to instructions from the remote control device 10.
- the driving device 22 may be, for example, a robot, drone, car, or a physically stationary server or electrical appliance, as long as it can be remotely controlled.
- the quality management unit 30 collects the communication quality between the remote control device 10 and the operation target 20.
- the sections managed by the quality management unit 30 are, for example, the following sections.
- (Section 1) A section between the information collection device 21 and the output device 11.
- (Section 2) A section including the section between the information collection device 21 and the processing device 50 and the section between the processing device 50 and the output device 11 (information collection device 21 ⁇ processing device 50 ⁇ output device 11).
- (Section 3) A section that combines the section between the operation input device 12 and the processing device 50 and the section between the processing device 50 and the drive device 22 (operation input device 12 ⁇ processing device 50 ⁇ drive device 22)
- the quality control unit 30 collects transmission quality taking into account the processing time of the processing device 50.
- Information collected by the quality control unit 30 includes, for example, delay information, information indicating usage status such as overload or congestion, and availability information such as failures.
- the information collected by the quality control unit 30 may include bandwidth volume, packet loss rate, and transmission quality. When collecting transmission time, Ping or the like may be used, or information within packets of transmitted information may be used.
- the processing time of the processing device 50 may be collected directly from the processing device 50, or may be obtained using an external time measurement device.
- the quality control unit 30 uses quality requirements from a separately maintained operation system to determine whether the transmission quality obtained based on the collected information satisfies the quality requirements.
- Transmission quality is, for example, transmission time, transmission time fluctuation, power in the optical transmission section, or data error rate. Note that transmission quality may also include bandwidth and packet loss rate.
- the quality requirement is a condition related to transmission time, and that the time between the information collection device 21 and the output device 11 must be within 100 ms. If the results collected by the quality control unit 30 show that the transmission time between the information collection device 21 and the processing device 50 is 40 ms, the processing time by the processing device 50 is 40 ms, and the transmission time between the processing device 50 and the output device 11 is 40 ms, then the total transmission time will be 120 ms. In this case, the quality control unit 30 will consider this to be a state of degraded quality, as it does not meet the quality requirement. Similarly, the load state of the processing device 50, the packet transmission success rate (error rate), and fluctuations in transmission time may also be quality requirements.
- the quality management unit 30 determines that the quality requirements are not met, it notifies the transmission control unit 40 of a quality assessment result indicating that the quality is degraded. For example, if the quality management unit 30 determines that the quality requirements are met, it notifies the transmission control unit 40 of a quality assessment result indicating that the quality is good. Note that if the quality requirements are met, the network environment is not particularly bad, so the quality management unit 30 does not need to notify the quality assessment result.
- the transmission control unit 40 receives the quality assessment results notified by the quality management unit 30 as input. Based on the received quality assessment results, the transmission control unit 40 reflects the information contained in the quality assessment results. For example, the transmission control unit 40 may reflect the information from the information collection device 21 to the output device 11, or may reflect the information from the operation input device 12 to the drive device 22.
- the method of reflecting the information may involve the transmission control unit 40 notifying the output device 11 or drive device 22 that is the notification target individually, or if the information passes through the processing device 50 when being transmitted, the information may be added by the processing device 50.
- the transmission control unit 40 determines that the quality is degraded, it displays "degraded quality” on the display image of the output device 11. Furthermore, if the transmission control unit 40 determines that the quality is good, it displays "good quality” on the display image of the output device 11.
- control to lower the operating state of the drive device 22 may be, for example, an emergency stop of the drive device 22 or a slowing down of the operating speed.
- the transmission control unit 40 performs control to increase the operating state of the drive device 22.
- Control to increase the operating state of the drive device 22 may involve, for example, increasing the operating speed of the drive device 22.
- Processing by the transmission control unit 40 may be performed by the processing device 50 to directly affect the operation, or notification and control may be performed using a separate means. Note that the transmission control unit 40 performs at least either notification or control (including both notification and control).
- the processing device 50 performs processing to improve operability when notifying the remote control device 10 of information (e.g., images, audio/haptic information, etc.) acquired by the operation target 20.
- information e.g., images, audio/haptic information, etc.
- the processing to improve operability performed on the information acquired by the operation target 20 may be, for example, processing to process images and display operation procedure instructions or image judgment results, converting information into other means of communication and displaying or notifying, or predicting actions and notifying early, etc.
- the processing device 50 performs processing to improve operability on information collected by the information collection device 21, for example, and displays the processed information on the output device 11.
- the processing device 50 performs image processing on video captured by a camera to improve operability, and displays the processed video on the output device 11.
- the camera may be equipped with a video compression function.
- the video compression function may be implemented in a separate device.
- a display that identifies the operation target may be added to the video, information instructing the next operation may be added, or supplementary information required for operation may be displayed by referencing a database. It is not necessary to perform processing in the processing device 50 to improve operability on the information collected by the information collection device 21.
- the processing device 50 performs processing to improve operability when notifying the operation target 20 (for example, control of a moving part such as a robot arm) of operation information from the remote control device 10.
- the processing to improve operability when notifying the operation target 20 of operation information from the remote control device 10 may be, for example, processing to convert the operation information into motor operation information, or processing to predict operations and notify them early.
- the processing device 50 performs processing to improve operability on information input from the operation input device 12, for example, and transmits the processed operation information to the drive device 22 for control.
- Processing to improve operability for information input from the operation input device 12 may include emergency stops for safety reasons, or speed control to improve operability (such as multiplying or dividing the amount of movement for the same input, or adjusting the acceleration from stop to operation or operation to stop).
- input information from multiple operation input devices 12 may be integrated, or control may be based on information from other external factors. Operativity control does not have to be performed. It is not necessary to perform processing in the processing device 50 to improve operability for information input from the operation input device 12.
- the processing device 50 may be the same device as the operation target 20, the same device as the remote control device 10, or an independent device.
- the remote control system 100 of the present invention uses the above configuration to accurately grasp network delays and processing times, and is able to notify the operator and control the operation target under conditions where quality requirements are not met. Note that the configuration shown in Figure 1 is just one example, and the above effects can be achieved even if the remote control system 100 does not include some of the components. Specific embodiments will be described below.
- (First embodiment) 2 is a diagram showing an example of the configuration of a remote operation system 100a according to the first embodiment.
- the remote operation system 100a includes a remote operation device 10, an operation target 20, a quality management unit 30, and a transmission control unit 40.
- the remote operation device 10, the operation target 20, the quality management unit 30, and the transmission control unit 40 are connected via a transmission network NW.
- the numbers of the remote operation devices 10, the operation target 20, the quality management unit 30, and the transmission control unit 40 are not particularly limited.
- the remote control system 100a does not include a processing device 50.
- the remote control system 100a will be described as controlling a driving device 22.
- the output device 11 included in the remote control device 10 is a monitor, and the operation input device 12 is a controller.
- the information collection device 21 included in the operation target 20 is a camera, and the driving device 22 is a robot. Therefore, the remote control system 100a will be described using a robot as an example.
- the operation input device 12 accepts input of instructions for the drive device 22, which is the operation target 20.
- the operation input device 12 transmits the input operation information to the drive device 22 via the transmission network NW.
- the robot which is the driving device 22, performs operations according to the operation information transmitted from the operation input device 12.
- [Pattern 1] Measures transmission time, and displays a message on the monitor screen indicating quality degradation when quality deteriorates.
- the quality control unit 30 measures the transmission time between the operation input device 12 and the drive device 22.
- the quality control unit 30 compares the acquired transmission time with the value indicated by the quality requirement to determine whether the acquired transmission time satisfies the quality requirement. If the acquired transmission time is less than the value indicated by the quality requirement, the quality control unit 30 determines that the transmission time satisfies the quality requirement. On the other hand, if the acquired transmission time is equal to or greater than the value indicated by the quality requirement, the quality control unit 30 determines that the transmission time does not satisfy the quality requirement.
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality determination result indicating that the transmission time satisfies the quality requirements.
- the quality control unit 30 determines that the acquired transmission time does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the transmission time does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays on the screen of the output device 11, which is a monitor, that the state is in a "degraded quality state.”
- the quality control unit 30 may measure the transmission time at any time while instructions are being sent from the operation input device 12 to the drive device 22. Furthermore, the quality control unit 30 may measure the transmission delay not just once, but continuously every time a predetermined time has elapsed.
- [Pattern 2] Measures transmission time, and if quality deteriorates, brings the operation of moving parts (arms, rollers, etc.) to an emergency stop, or slows down the speed of the operation of moving parts.
- the processing is basically the same as in pattern 1. If the quality control unit 30 determines that the acquired transmission time does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of a quality judgment result indicating that the transmission time does not satisfy the quality requirements. The transmission control unit 40 performs control based on the quality judgment result notified from the quality control unit 30.
- the transmission control unit 40 emergency stops the operation of the drive device 22, or stops the operation of moving parts such as arms and rollers provided in the drive device 22, which is a robot, or slows the speed of the movement of the moving parts.
- the transmission control unit 40 may gradually slow the speed of the movement of the moving parts each time a quality judgment result indicating that the transmission time does not satisfy the quality requirements is obtained.
- the processing device 50 may control the screen display on the output device 11 and the operation of the drive device 22 at different times, or may perform these operations at the same time.
- Pattern 4 When the information acquired in patterns 1 to 3 is transmission time fluctuation
- the quality control unit 30 measures the transmission time fluctuation between the operation input device 12 and the drive device 22. The quality control unit 30 determines whether the measured transmission time fluctuation satisfies the quality requirements. If the measured transmission time fluctuation is less than the value indicated by the quality requirements, the quality control unit 30 determines that the transmission time fluctuation satisfies the quality requirements. On the other hand, if the measured transmission time fluctuation is equal to or greater than the value indicated by the quality requirements, the quality control unit 30 determines that the transmission time fluctuation does not satisfy the quality requirements.
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality determination result indicating that the transmission time fluctuation satisfies the quality requirements.
- the quality control unit 30 determines that the measured transmission time fluctuation does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the transmission time fluctuation does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays on the screen of the output device 11, which is a monitor, that the state is in a "degraded quality state.”
- Pattern 5 When the information acquired in Patterns 1 to 3 is the power of an optical transmission line section or the error rate of packets or signals.
- Pattern 1 will be described as an example.
- the quality control unit 30 measures the power of the optical transmission line section between the operation input device 12 and the drive device 22.
- the quality control unit 30 determines whether the acquired power of the optical transmission line section satisfies the quality requirements. If the power of the optical transmission line section is equal to or greater than the value indicated by the quality requirements, the quality control unit 30 determines that the power of the optical transmission line section satisfies the quality requirements. On the other hand, if the acquired power of the optical transmission line section is less than the value indicated by the quality requirements, the quality control unit 30 determines that the power of the optical transmission line section does not satisfy the quality requirements.
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality determination result indicating that the power of the optical transmission line section satisfies the quality requirements.
- the quality control unit 30 determines that the acquired power of the optical transmission line section does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the power of the optical transmission line section does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays the "quality degradation state" on the screen of the output device 11, which is a monitor.
- the quality control unit 30 measures the error rate (packet loss) of packets or signals between the operation input device 12 and the drive device 22. The quality control unit 30 determines whether the acquired packet or signal error rate satisfies the quality requirements. If the packet or signal error rate is less than the value indicated by the quality requirements, the quality control unit 30 determines that the packet or signal error rate satisfies the quality requirements. On the other hand, if the acquired packet or signal error rate is equal to or greater than the value indicated by the quality requirements, the quality control unit 30 determines that the packet or signal error rate does not satisfy the quality requirements.
- the error rate packet loss
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality determination result indicating that the error rate of the packets or signals meets the quality requirements.
- the quality control unit 30 determines that the error rate of the acquired packets or signals does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the error rate of the packets or signals does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays on the screen of the output device 11, which is a monitor, that the state is in a "degraded quality state.”
- the control device includes a quality management unit 30 that acquires the transmission quality of the transmission path between the remote control device 10 and the operation target 20 and determines whether the acquired transmission quality satisfies the quality requirements, and a transmission control unit 40 that at least notifies the operation target 20 or controls the remote control device 10 if the transmission quality does not satisfy the quality requirements.
- the quality management unit 30 acquires the transmission quality in the section between the remote control device 10 and the operation target 20, either the transmission time, transmission time fluctuation, power in the optical transmission section, or the data error rate, and compares the acquired transmission quality with the quality requirements. This makes it possible to more accurately grasp the delay that occurs in communication between the remote control device 10 and the operation target 20 via the transmission network NW. As a result, if the quality requirements specified in the remote control system 100 are not met, it becomes possible to notify the operator and control the operation target 20 so that operations that satisfy safety, immediacy, and accuracy can be achieved.
- the transmission control unit 40 notifies the remote control device 10 of information indicating that the transmission quality does not satisfy the quality requirements. This allows the user operating the remote control device 10 to be notified in real time that the transmission quality is poor. This allows the user to respond immediately, and makes it possible to reduce the impact of remote control on the object being operated.
- the transmission control unit 40 performs control to lower the operating state of the operation target 20 if the transmission quality does not satisfy the quality requirements.
- Control to lower the operating state of the operation target 20 includes, for example, performing an emergency stop or slowing down the operating speed of a moving part. This makes it possible to reduce the impact of remote control on the operation target.
- the quality control unit 30 may be configured to determine whether or not the quality requirements are satisfied by combining multiple transmission qualities. For example, the quality control unit 30 may determine whether or not the quality requirements are satisfied based on two transmission qualities: the power of the optical transmission line section and the error rate of packets or signals. In such a configuration, when the quality requirements are satisfied for each of the two transmission qualities: the power of the optical transmission line section and the error rate of packets or signals, the quality control unit 30 may or may not notify the transmission control unit 40 of a quality determination result indicating that the quality requirements are satisfied.
- the quality management unit 30 notifies the transmission control unit 40 of a quality judgment result indicating that the quality requirements are not met. For example, taking the two transmission qualities of the power of the optical transmission line section and the error rate of packets or signals as an example, the quality management unit 30 will notify the transmission control unit 40 of a quality judgment result indicating that the quality requirements are met if the total value of the power meets the quality requirements and the total value of the error rate of packets or signals meets the quality requirements. On the other hand, in all other cases, the quality management unit 30 will notify the transmission control unit 40 of a quality judgment result indicating that the quality requirements are not met. This configuration makes it possible to deal with situations where one transmission quality meets the quality requirements but the network environment does not meet the quality requirements for another reason.
- the quality control unit 30 may be configured to determine whether or not the quality requirements are satisfied by combining any of the above-described patterns 1 to 5. A specific method is as shown in Modification 1 of the second embodiment.
- the remote control system does not include a processing device.
- a configuration in which the remote control system includes a processing device is described.
- the remote control system includes a processing device, whether or not the quality requirements are satisfied is determined taking into account the processing time of the processing device.
- FIG. 3 is a diagram showing an example configuration of a remote control system 100b in the second embodiment.
- the remote control system 100b includes a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40, and a processing device 50.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40, and processing device 50 are connected via a transmission network NW. Furthermore, there is no particular limit to the number of remote control devices 10, operation target 20, quality control unit 30, transmission control unit 40, and processing device 50.
- Pattern 4 When the information acquired in patterns 1 to 3 is the fluctuation between transmission time and processing time:
- pattern 1 will be described as an example.
- the quality control unit 30 measures the transmission time fluctuation between the operation input device 12 and the processing device 50 and the transmission time fluctuation between the processing device 50 and the drive device 22. Furthermore, the quality control unit 30 measures the fluctuation of the processing time by the processing device 50. Then, the quality control unit 30 calculates the sum of the fluctuations for each measured time. The quality control unit 30 compares the calculated sum of the fluctuations with the value indicated by the quality requirement to determine whether the calculated sum of the fluctuations satisfies the quality requirement.
- the quality control unit 30 determines that the sum of the fluctuations satisfies the quality requirement. On the other hand, if the calculated sum of the fluctuations is equal to or greater than the value indicated by the quality requirement, the quality control unit 30 determines that the sum of the fluctuations does not satisfy the quality requirement.
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality judgment result indicating that the total value of fluctuations satisfies the quality requirements.
- the quality control unit 30 determines that the calculated total value of fluctuations does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the total value of fluctuations does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays on the screen of the output device 11, which is a monitor, that the state is in a "degraded quality state.”
- Pattern 5 When the information acquired in Patterns 1 to 3 is the power of an optical transmission line section, the packet or signal error rate, or the processing load of the processing device 50.
- Pattern 1 will be described as an example.
- the quality control unit 30 measures the power of the optical transmission line section between the operation input device 12 and the processing device 50, and the power of the optical transmission line section between the processing device 50 and the driving device 22. Then, the quality control unit 30 calculates the sum of the measured power values for each section. The quality control unit 30 compares the calculated power sum with the value indicated by the quality requirement to determine whether the calculated power sum satisfies the quality requirement.
- the quality control unit 30 determines that the calculated total power value satisfies the quality requirement. On the other hand, if the calculated total power value is equal to or greater than the value indicated by the quality requirement, the quality control unit 30 determines that the calculated total power value does not satisfy the quality requirement.
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality determination result indicating that the total power value satisfies the quality requirements.
- the quality control unit 30 determines that the calculated total power value does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the total power value does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays the message "quality degradation state" on the screen of the output device 11, which is a monitor.
- the quality control unit 30 measures the packet or signal error rate (packet loss) between the operation input device 12 and the processing device 50, and the packet or signal error rate (packet loss) between the processing device 50 and the drive device 22. The quality control unit 30 then calculates the total value of the packet or signal error rates measured for each section. The quality control unit 30 compares the calculated total value of the packet or signal error rates with the value indicated by the quality requirement, and determines whether the calculated total value of the packet or signal error rates satisfies the quality requirement.
- the quality control unit 30 determines that the calculated total error rate of packets or signals satisfies the quality requirement. On the other hand, if the calculated total error rate of packets or signals is equal to or greater than the value indicated by the quality requirement, the quality control unit 30 determines that the calculated total error rate of packets or signals does not satisfy the quality requirement.
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality judgment result indicating that the total value of the packet or signal error rates satisfies the quality requirements.
- the quality control unit 30 determines that the calculated total value of the packet or signal error rate does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the total value of the packet or signal error rate does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays the message "quality degradation state" on the screen of the output device 11, which is a monitor.
- the quality control unit 30 acquires the processing load on the processing device 50.
- the quality control unit 30 determines whether the acquired processing load satisfies the quality requirements. If the acquired processing load is less than the value indicated by the quality requirements, the quality control unit 30 determines that the processing load satisfies the quality requirements. On the other hand, if the acquired processing load is equal to or greater than the value indicated by the quality requirements, the quality control unit 30 determines that the processing load does not satisfy the quality requirements.
- the quality control unit 30 may or may not notify the transmission control unit 40 of the quality determination result indicating that the processing load satisfies the quality requirements.
- the quality control unit 30 determines that the acquired processing load does not satisfy the quality requirements, the quality control unit 30 notifies the transmission control unit 40 of the quality judgment result indicating that the processing load does not satisfy the quality requirements.
- the transmission control unit 40 performs control based on the quality judgment result notified by the quality control unit 30. For example, the transmission control unit 40 displays on the screen of the output device 11, which is a monitor, that the processing load is in a "degraded quality state.”
- the remote control system 100b configured as described above, if a processing device 50 is provided, the sum of the transmission time between the remote control device 10 and the processing device 50, the transmission time between the operation target 20 and the processing device 50, and the processing time by the processing device 50 is used as the transmission quality.
- This makes it possible to obtain transmission quality by taking into account the processing time for information sent from the remote control device 10 to the operation target 20, or for information sent from the operation target 20 to the remote control device 10. Then, if the quality requirements specified in the remote control system 100a are not met, it becomes possible to notify the operator and control the operation target 20 so that operations that satisfy safety, immediacy, and accuracy can be achieved.
- the quality control unit 30 may be configured to determine whether a quality requirement is satisfied by combining multiple transmission qualities. For example, the quality control unit 30 may select two or more transmission qualities from the power of the optical transmission line section, the error rate of packets or signals, or the processing load of the processing device 50, and determine whether the quality requirement is satisfied by the selected two or more transmission qualities. When configured in this manner, if the quality requirement is satisfied by each of the selected two or more transmission qualities, the quality control unit 30 may or may not notify the transmission control unit 40 of a quality determination result indicating that the quality requirement is satisfied.
- the quality management unit 30 notifies the transmission control unit 40 of a quality judgment result indicating that the quality requirements are not met. For example, taking two transmission qualities, the power of the optical transmission line section and the error rate of packets or signals, the quality management unit 30 will notify the transmission control unit 40 of a quality judgment result indicating that the quality requirements are met if the total value of the power meets the quality requirements and the total value of the error rate of packets or signals meets the quality requirements. On the other hand, in all other cases, the quality management unit 30 will notify the transmission control unit 40 of a quality judgment result indicating that the quality requirements are not met. This configuration makes it possible to deal with situations where one transmission quality meets the quality requirements but the network environment does not meet the quality requirements for another reason.
- the quality control unit 30 may be configured to determine whether or not the quality requirements are satisfied by combining any of the above-described patterns 1 to 5. A specific method is as shown in Modification 1 of the second embodiment.
- FIG. 4 is a diagram showing an example configuration of a remote control system 100c according to the third embodiment.
- the remote control system 100c includes a remote control device 10, an operation target 20, a quality control unit 30, and a transmission control unit 40.
- the remote control device 10, operation target 20, quality control unit 30, and transmission control unit 40 are connected via a transmission network NW. Furthermore, there is no particular limit to the number of remote control devices 10, operation target 20, quality control unit 30, and transmission control unit 40.
- the remote control system 100c includes processing devices in both the remote control device 10 and the operation target 20.
- the output device 11 included in the remote control device 10 is a monitor
- the operation input device 12 is a controller
- the processing device 13 is a server.
- the processing device 23 included in the operation target 20 is a server.
- the remote control system 100c covers all inter-server communication between networks, such as cloud processing, server access, or browsing.
- Processing device 13 communicates with processing device 23 via transmission network NW in response to user operations. Processing device 13 requests processing or information provision from processing device 23. Processing device 13 may display information obtained from processing device 23 on a monitor.
- Processing device 23 communicates with processing device 13 via transmission network NW in response to user operations. Processing device 23 performs processing in response to requests from processing device 13.
- the processing performed by the quality control unit 30 and the transmission control unit 40 under these circumstances is basically the same as pattern 1, pattern 4, and pattern 5 shown in the second embodiment. Below, we will mainly explain the differences from the second embodiment.
- [Pattern 1] Transmission time and processing time are measured, and if quality deteriorates, a message indicating this is displayed on the monitor screen.
- the quality control unit 30 measures the transmission time between the processing device 13 and the processing device 23. Furthermore, the quality control unit 30 measures the processing time by the processing device 23. Then, the quality control unit 30 calculates the total time of each measured time. The quality control unit 30 compares the calculated total time with the value indicated by the quality requirement to determine whether the calculated total time satisfies the quality requirement. The subsequent processing is the same as in the second embodiment.
- Pattern 4 When the information acquired in Pattern 1 is the fluctuation between transmission time and processing time In Pattern 4, the quality control unit 30 measures the fluctuation in transmission time between the processing device 13 and the processing device 23. Furthermore, the quality control unit 30 measures the fluctuation in processing time by the processing device 23. Then, the quality control unit 30 calculates the sum of the fluctuations for each measured time. The quality control unit 30 compares the calculated sum of fluctuations with the value indicated by the quality requirement to determine whether the calculated sum of fluctuations satisfies the quality requirement. The subsequent processing is the same as in the second embodiment.
- Pattern 5 When the information acquired in pattern 1 is the power of an optical transmission line section, the error rate of packets or signals, or the processing load of the processing device 50 When acquiring the power of an optical transmission line section, it is assumed that the processing device 13 and the processing device 23 are connected by an optical transmission line. In pattern 5, the quality control unit 30 measures the power of the optical transmission line section between the processing device 13 and the processing device 23. The subsequent processing is the same as in the second embodiment.
- the quality control unit 30 measures the error rate (packet loss) of packets or signals between the processing device 13 and the processing device 23. The quality control unit 30 determines whether the error rate of the acquired packets or signals satisfies the quality requirements. Subsequent processing is the same as in the second embodiment.
- the quality control unit 30 acquires the processing load on the processing device 23.
- the quality control unit 30 determines whether the acquired processing load satisfies the quality requirements. Subsequent processing is the same as in the second embodiment.
- FIG. 5 is a diagram showing an example configuration of a remote control system 100d according to the fourth embodiment.
- the remote control system 100d includes remote control devices 10-1 to 10-2, an operation target 20, a quality control unit 30, and a transmission control unit 40.
- the remote control devices 10-1 to 10-2, the operation target 20, the quality control unit 30, and the transmission control unit 40 are connected via a transmission network NW.
- NW transmission network
- the remote control system 100d includes multiple remote control devices 10-1 to 10-2.
- the remote control devices 10-1 and 10-2 may be installed at different geographical locations, or may be installed within the same base.
- the output device 11-1 included in the remote control device 10-1 is a monitor
- the operation input device 12-1 is a controller.
- the output device 11-2 included in the remote control device 10-2 is a monitor
- the operation input device 12-2 is a controller.
- the processing device 23 included in the operation target 20 is a server.
- the remote control system 100d covers all uses in which a server and multiple remote control devices 10 are connected across a network, such as online games, collaborative work, remote conferences, and webinars.
- the processing performed by the quality control unit 30 and the transmission control unit 40 under these circumstances is basically the same as pattern 1, pattern 4, and pattern 5 shown in the second embodiment. Below, we will mainly explain the differences from the second embodiment.
- [Pattern 1] Transmission time and processing time are measured, and if quality deteriorates, a message indicating this is displayed on the monitor screen.
- the quality control unit 30 measures the transmission time between the remote control device 10-1 and the processing device 23, and the transmission time between the remote control device 10-2 and the processing device 23. Furthermore, the quality control unit 30 measures the processing time by the processing device 23. Then, the quality control unit 30 calculates the total time of each measured time. The quality control unit 30 compares the calculated total time with the value indicated by the quality requirement to determine whether the calculated total time satisfies the quality requirement. The subsequent processing is the same as in the second embodiment.
- Pattern 4 When the information acquired in Pattern 1 is the fluctuation in transmission time and processing time In Pattern 4, the quality control unit 30 measures the transmission time fluctuation between the remote control device 10-1 and the processing device 23, and the transmission time fluctuation between the remote control device 10-2 and the processing device 23. Furthermore, the quality control unit 30 measures the fluctuation in the processing time by the processing device 23. Then, the quality control unit 30 calculates the sum of the fluctuations for each measured time. The quality control unit 30 compares the calculated sum of fluctuations with the value indicated by the quality requirement, and determines whether the calculated sum of fluctuations satisfies the quality requirement. The subsequent processing is the same as in the second embodiment.
- Pattern 5 the information acquired is the power of the optical transmission line section, the packet or signal error rate, or the processing load of the processing device 50.
- the quality control unit 30 measures the power of the optical transmission line section between the remote control device 10-1 and the processing device 23, and the power of the optical transmission line section between the remote control device 10-2 and the processing device 23.
- the quality control unit 30 then calculates the sum of the measured power of each optical transmission line section.
- the quality control unit 30 compares the calculated sum of the power of each optical transmission line section with the value indicated by the quality requirement to determine whether the calculated sum of the power of each optical transmission line section satisfies the quality requirement.
- the subsequent processing is the same as in the second embodiment.
- the quality control unit 30 measures the error rate (packet loss) of packets or signals between the processing device 13 and the processing device 23. The quality control unit 30 determines whether the error rate of the acquired packets or signals satisfies the quality requirements. Subsequent processing is the same as in the second embodiment.
- the quality control unit 30 acquires the processing load on the processing device 23.
- the quality control unit 30 determines whether the acquired processing load satisfies the quality requirements. Subsequent processing is the same as in the second embodiment.
- the remote control system 100d configured as described above can achieve the same effects as the first embodiment even in an environment where multiple remote control devices 10 exist.
- the quality control unit 30 may be configured to determine whether a quality requirement is satisfied by combining multiple transmission qualities. For example, the quality control unit 30 may select two or more transmission qualities from the power of the optical transmission line section, the error rate of packets or signals, or the processing load of the processing device 50, and determine whether the quality requirement is satisfied by the selected two or more transmission qualities. When configured in this manner, if the quality requirement is satisfied by each of the selected two or more transmission qualities, the quality control unit 30 may or may not notify the transmission control unit 40 of a quality determination result indicating that the quality requirement is satisfied.
- the quality management unit 30 notifies the transmission control unit 40 of a quality judgment result indicating that the quality requirements are not met. For example, taking two transmission qualities, the power of the optical transmission line section and the error rate of packets or signals, the quality management unit 30 will notify the transmission control unit 40 of a quality judgment result indicating that the quality requirements are met if the total value of the power meets the quality requirements and the total value of the error rate of packets or signals meets the quality requirements. On the other hand, in all other cases, the quality management unit 30 will notify the transmission control unit 40 of a quality judgment result indicating that the quality requirements are not met. This configuration makes it possible to deal with situations where one transmission quality meets the quality requirements but the network environment does not meet the quality requirements for another reason.
- the quality control unit 30 may be configured to determine whether or not the quality requirements are satisfied by combining any of the above-described patterns 1, 4, and 5. A specific method is as shown in Modification 1 common to the third and fourth embodiments.
- FIG. 6 is a diagram for explaining the overview of the remote control system 200 in the fifth embodiment.
- the remote control system 200 is a system that remotely controls equipment, etc. located at a different location from one location.
- the remote control system 200 is not particularly limited as long as it is used for tasks that remotely control equipment to be operated, such as remote arm operation, remote surgery, remote construction, remote inspection, etc.
- the remote control system 200 comprises a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40, and a processing device 50.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40, and processing device 50 are connected via a transmission network NW.
- the remote control device 10, operation target 20, processing device 50, and transmission network NW have been explained in Figure 1, so explanations will be omitted.
- the quality control unit 30 and transmission control unit 40 are provided in one or more housings and function as a control device C.
- This section describes an example of control that is executed by the remote control device 10, the operation target 20, or the processing device 50 when the quality changes from good to degraded.
- the processing device 50 changes the operation information from the controller to the robot or adds information to the operation information to control the robot's operation (for example, control to slow down operation or stop operation). In this way, when the quality state changes from good to degraded, it is assumed that the communication environment is poor. Therefore, the processing device 50 controls the robot's operation by changing the operation information from the controller to operation information that lowers the robot's operating status or by adding information to the operation information that lowers the robot's operating status.
- Control example 2 when quality changes from good to deteriorated When the operation input device 12 in the remote control device 10 is a controller and the drive device 22 in the operation target 20 is a robot, the controller controls the operation of the robot (for example, control to slow down the operation or stop the operation). If the quality state changes from good to degraded, it is assumed that the communication environment is poor. Therefore, the controller controls the operation of the robot by transmitting operation information to the robot that includes a control instruction to lower the operating state of the robot.
- the image capacity is, for example, the resolution, the number of pixels, the compression rate, the color tone, or the image frame rate. In other words, the camera performs control to reduce at least one of the resolution, the number of pixels, the compression rate, the color tone, or the image frame rate to a value lower than normal.
- the processing device 50 changes the operation information from the controller to the robot or adds information to the operation information to control the robot's operation (e.g., control to return to normal operation).
- Control to return the robot to normal operation includes control to release the stopped state and control to return the speed of operation (e.g., arm movement) to a normal state.
- the processing device 50 controls the robot's operation by changing the operation information from the controller to operation information that improves the robot's operating status, or by adding information to the operation information that improves the robot's operating status.
- the controller controls the robot's operation (for example, controls to return to normal operation).
- the controller controls the robot's operation by changing the operation information for the robot to operation information that improves the robot's operating state, or by adding information to the operation information that improves the robot's operating state.
- the camera performs control to restore or increase the image capacity (for example, resolution, number of pixels, compression rate, color tone, or image frame rate) to the normal state.
- the camera performs control to restore at least one of the resolution, number of pixels, compression rate, color tone, or image frame rate to the normal state or to increase it from a lowered state.
- the processing device 50 controls the display to add information indicating that the quality has improved to the video information from the camera to the monitor.
- the processing device 50 may control the display to delete information indicating that the quality has deteriorated that is displayed on the monitor.
- the drive device 22 in the operation target 20 is a robot
- the processing device 50 may control the display to add information indicating that the operating state of the robot (e.g., control of arm operation) has been normalized.
- the processing device 50 may control the display to delete information indicating the operating state of the robot that is displayed on the monitor.
- the monitor controls the display to add information indicating that the quality has improved to the video information output from the camera.
- the monitor may control the display to delete the displayed information indicating that the quality has deteriorated.
- the monitor may control the display to add information indicating that the robot's operating state (e.g., control of arm operation) has been normalized to the video information output from the camera.
- the monitor may control the display to delete the displayed information indicating the robot's operating state.
- control executed when the quality changes from good to degraded, or from degraded to good is an example and is not limiting.
- the information indicating the transmission quality may be, for example, a quality level that expresses the transmission quality in multiple stages.
- the quality level may be defined by the transmission time (end-to-end delay), the amount of bandwidth, and the packet loss rate.
- the information indicating the transmission quality is determined by the quality management unit 30 when the quality is determined.
- the quality control unit 30 performs the same processing as described in Figure 1. Furthermore, when making a quality assessment, the quality control unit 30 determines a quality level based on the transmission time (end-to-end delay), bandwidth, and packet loss rate. The quality control unit 30 may determine the lowest quality level among the quality levels obtained for the transmission time (end-to-end delay), bandwidth, and packet loss rate as the quality level when making a quality assessment.
- the quality control unit 30 may determine the quality level based on the average value of the quality levels for each item, or may determine the highest quality level as the quality level at the time of quality judgment. As described above, when the quality control unit 30 determines the quality level using information on two or more of transmission time, bandwidth amount, and packet loss rate, it may determine the quality level based on the statistical value of the quality level for each item. Furthermore, the elements by which the quality control unit 30 determines the quality level may be one or more of transmission time (end-to-end delay), bandwidth amount, or packet loss rate. Any number of quality levels may be used as long as they are two or more.
- the above-described configuration makes it possible to improve operability even when quality changes. Note that the configuration shown in FIG. 6 is an example, and the above-described effects can be achieved even if the remote control system 200 does not include some of the components. Application examples are described below.
- FIG. 7 is a diagram showing an example configuration of a remote control system 200a in application example 1 of the fifth embodiment.
- the remote control system 200a includes a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40a, and a processing device 50.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40a, and processing device 50 are connected via a transmission network NW.
- NW transmission network
- the number of remote control devices 10, operation target 20, quality control unit 30, and transmission control unit 40a is not particularly limited.
- the quality control unit 30 and transmission control unit 40a are provided in one or more housings and function as a control device Ca.
- the output device 11 included in the remote control device 10 is a monitor
- the operation input device 12 is a controller
- the information collection device 21 included in the operation target 20 is a camera
- the drive device 22 is a robot. Therefore, in the remote control system 200a, a robot will be used as an example.
- the quality control unit 30 performs the processing described in FIG. 6. For example, the quality control unit 30 stores the quality level determination table shown in FIG. 8 and determines the quality level by referencing the stored quality level determination table. The quality control unit 30 includes information indicating the determined quality level in the quality determination result and notifies the transmission control unit 40a.
- Figure 8 shows an example of a quality level determination table.
- the quality level determination table has multiple records that represent information related to quality levels. Each record has values for quality level, end-to-end delay, bandwidth, and packet loss rate.
- the quality level represents the level of transmission quality in communication via the transmission network NW, which is determined according to the associated values for end-to-end delay, bandwidth, and packet loss rate.
- quality levels are "1", "2", and "3". The higher the quality level number, the better the quality. Note that the number of quality levels is not limited to three.
- the end-to-end delay represents the transmission time required for communication between the remote control device 10 and the operation target 20. Note that if a processing device 50 is included in the communication between the remote control device 10 and the operation target 20, the end-to-end delay also includes the processing time by the processing device 50.
- the bandwidth represents the bandwidth used in the communication between the remote control device 10 and the operation target 20.
- the packet loss rate represents the proportion of packet loss in the communication between the remote control device 10 and the operation target 20.
- the end-to-end delay T item in the quality level determination table has the values "200 ms ⁇ T", “100 ms ⁇ T ⁇ 200 ms", and "T ⁇ 100 ms" registered, with each value corresponding to a quality level of "1", "2", or "3".
- the quality level determination table shown in Figure 8 indicates that if the end-to-end delay T is greater than 200 ms (200 ms ⁇ T), the quality level is "1", if the end-to-end delay T is greater than 100 ms and less than or equal to 200 ms (100 ms ⁇ T ⁇ 200 ms), the quality level is "2", and if the end-to-end delay T is less than or equal to 100 ms (T ⁇ 100 ms), the quality level is "3".
- the bandwidth amount B item in the quality level determination table has the values "B ⁇ 10Mbps”, “10Mbps ⁇ B ⁇ 100Mbps”, and "100Mbps ⁇ B” registered, with each value corresponding to a quality level of "1", "2", or "3".
- the quality level determination table shown in Figure 8 indicates that when bandwidth amount B is 10Mbps or less (B ⁇ 10Mbps), the quality level is "1", when bandwidth amount B is greater than 10Mbps and less than or equal to 100Mbps (10Mbps ⁇ B ⁇ 100Mbps), the quality level is "2”, and when bandwidth amount B is greater than 100Mbps (100Mbps ⁇ B), the quality level is "3".
- the packet loss rate L item in the quality level determination table has the values "1% ⁇ L ⁇ 10%", “0.1% ⁇ L ⁇ 1%", and "L ⁇ 0.1%” registered, with each value corresponding to a quality level of "1", "2", or "3".
- the quality level determination table shown in Figure 8 indicates that if the packet loss rate L is higher than 1% and less than or equal to 10% (1% ⁇ L ⁇ 10%), the quality level is "1", if the packet loss rate L is higher than 0.1% and less than or equal to 1% (0.1% ⁇ L ⁇ 1%), the quality level is "2", and if the packet loss rate L is less than or equal to 0.1% (L ⁇ 0.1%), the quality level is "3".
- the quality control unit 30 determines the quality level based on at least one of the transmission time, bandwidth, and packet loss rate collected during quality assessment. Therefore, the quality control unit 30 does not necessarily need to collect all of the transmission time, bandwidth, and packet loss rate. When determining the quality level using information on two or more of the transmission time, bandwidth, and packet loss rate, the quality control unit 30 determines the quality level using the quality level statistics for each item, as described above.
- the quality control unit 30 may determine the quality level corresponding to the item with the highest priority as the quality level at the time of quality assessment.
- the quality control unit 30 includes information indicating the quality level determined by one of the above methods in the quality assessment result and notifies the transmission control unit 40a.
- the transmission control unit 40a acquires the quality assessment results notified by the quality management unit 30 and notifies the processing device 50 of information indicating the quality level contained in the acquired quality assessment results.
- the transmission control unit 40a may also notify the processing device 50 of the quality assessment results.
- the processing device 50 performs the same processing as the processing device 50 shown in any of the first to fourth embodiments described above. Furthermore, when the processing device 50 acquires information indicating the quality level from the transmission control unit 40a, it determines the operation of the robot, which is the driving device 22, according to the quality level indicated by the information indicating the quality level. Then, according to the determined robot operation, the processing device 50 modifies the input operation information or transmits processed operation information in which information has been added to the operation information to the robot (driving device 22). Processed operation information means either the modified operation information or the operation information to which information has been added.
- the processing device 50 stores, for example, a movement control table as shown in FIG. 9, and controls the movement of the robot by referring to the stored movement control table.
- FIG. 9 is a diagram showing an example of a movement control table.
- the movement control table has multiple records that represent information about the movement of the robot. Each record has a quality level and a control content value.
- the movement control table is associated with a control content corresponding to the quality level.
- the control content represents the control content of the robot's movement. Note that, since a robot is used as an example of the driving device 22 here, the movement control table registers the control content of the robot's movement, but it is sufficient that the movement control table registers control content corresponding to the control target.
- the control content items in the operation control table are registered with the values “emergency stop,” “50% operation speed,” and “normal operation,” with each value corresponding to a quality level of "1,” "2,” or “3.”
- the operation control table shown in Figure 9 indicates that a quality level of "1” will cause the robot to make an emergency stop, a quality level of "2” will cause the robot's operation speed to be controlled to 50%, and a quality level of "3" will cause the robot to operate normally.
- the operations shown in the operation control table in Figure 9 are just an example, and the operation speed does not have to be 50%.
- the operation speed may be controlled in two stages with multiple quality levels.
- the operation control table does not need to include an emergency stop as a control content.
- the operation control table may register a control content that switches to the robot's automatic operation function (self-propelled mode/hazard avoidance mode).
- the processing device 50 when the processing device 50 receives information indicating a quality level (e.g., quality level "1") from the transmission control unit 40a, it changes the operation information input from the controller, which is the operation input device 12, to an emergency stop, or transmits processed operation information to the robot with information added to the operation information indicating an emergency stop.
- the robot makes an emergency stop in accordance with the processed operation information sent from the processing device 50.
- speed information is added to the operation information (e.g., if information indicating that the movement speed is to be controlled to 50% is added to the operation information)
- the robot processes the input information from the controller based on the added speed information and reflects it in its movement.
- the robot's operating speed can be adjusted when the network quality state changes during remote operation. This means that after the robot's operating speed is reduced when the quality state changes from good to degraded, the operating speed can be returned to normal when the quality recovers (when the quality state changes from degraded to good). Therefore, even if the network quality state changes, it is possible to control the operating state to the optimal state according to the quality state.
- the robot can be made to perform a specific action. This can prevent serious accidents caused by incorrect operation.
- the destination to which the transmission control unit 40a notifies the information indicating the quality level may be the remote control device 10, the operation target 20, or a relay device or server provided in the transmission network NW.
- the operation is basically the same as the above-mentioned process, except that the entity performing the process is different.
- the transmission control unit 40a acquires the quality assessment result notified from the quality management unit 30 and notifies the operation input device 12 (e.g., controller) of the remote control device 10 of information indicating the quality level included in the acquired quality assessment result.
- the transmission control unit 40a may also notify the operation input device 12 (e.g., controller) of the quality assessment result.
- the operation input device 12 e.g., controller
- acquires information indicating the quality level from the transmission control unit 40a it determines the operation of the robot, which is the drive unit 22, according to the quality level indicated in the information indicating the quality level.
- the operation input device 12 (e.g., controller) then transmits operation information according to the determined robot operation to the robot (drive unit 22).
- the operation input device 12 may store, for example, the operation control table shown in FIG. 9 and control the operation of the robot by referring to the stored operation control table.
- the operation input device 12 e.g., a controller
- receives information indicating a quality level e.g., quality level "1”
- receives information indicating a quality level e.g., quality level "1”
- receives information indicating a quality level e.g., quality level "1”
- the operation information e.g., quality level "1”
- the robot makes an emergency stop in accordance with the operation information transmitted from the transmission control unit 40a.
- the operation information includes speed information (e.g., if the operation information includes information indicating that the operation speed is to be controlled to 50%)
- the robot controls its operation to achieve the operation speed instructed by the operation information.
- the remote operation system 200a does not need to include a processing device 50.
- the operation input device 12 e.g., a controller
- the operation input device 12 e.g., a controller
- the processing device 50 transmits the processed operation information to the operation target 20 (e.g., a robot).
- the relay device or server provided within the transmission network NW may add or change information related to remote operation in accordance with the information indicating the quality level.
- the relay device or server may store an operation control table and control the operation of the robot by referring to the stored operation control table.
- the relay device or server provided within the transmission network NW may control the operation of the robot. This configuration allows the receiving side to operate in accordance with the network quality without changing the processing device 50.
- FIG. 10 is a diagram showing an example configuration of a remote control system 200b in application example 2 of the fifth embodiment.
- the remote control system 200b includes a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40b, and a processing device 50.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40b, and processing device 50 are connected via a transmission network NW.
- NW transmission network
- the number of remote control devices 10, operation target 20, quality control unit 30, and transmission control unit 40b is not particularly limited.
- the quality control unit 30 and transmission control unit 40b are provided in one or more housings and function as a control device Cb.
- the output device 11 included in the remote control device 10 is a monitor
- the operation input device 12 is a controller
- the information collection device 21 included in the operation target 20 is a camera
- the drive device 22 is a robot. Therefore, in the remote control system 200b, a camera will be used as an example.
- the quality control unit 30 performs the same processing as that shown in Application Example 1.
- the quality control unit 30 includes information indicating the determined quality level in the quality assessment result and notifies the transmission control unit 40b.
- the transmission control unit 40b acquires the quality assessment results notified by the quality management unit 30, and notifies the camera, which is the information collection device 21, of information indicating the quality level contained in the acquired quality assessment results.
- the transmission control unit 40b may also notify the information collection device 21 of the quality assessment results.
- the camera collects information about the surroundings. For example, the camera captures images of the surroundings. When the camera acquires information indicating the quality level from the transmission control unit 40b, it determines the image capacity according to the quality level indicated by the information indicating the quality level. Specifically, the camera holds multiple control tables as shown in FIG. 11, and determines the image capacity by referencing any one of the multiple control tables held, or any combination of the multiple control tables.
- Figure 11 shows an example of a control table used to determine video capacity.
- A in Figure 11 shows a resolution control table
- B in Figure 11 shows a compression rate control table
- C in Figure 11 shows a color tone control table
- D in Figure 11 shows an image frame rate control table. Note that each table shown in Figure 11 is an example. Details of each table are explained below.
- the resolution control table has multiple records representing information regarding the resolution of the camera. Each record has a quality level and a resolution value.
- the resolution control table is associated with a resolution corresponding to the quality level.
- the resolution field in the resolution control table contains the values "720 ⁇ 480,””1280 ⁇ 720,” and "1920 ⁇ 1080,” and each value is associated with a quality level of "1,""2,” or "3.” That is, the resolution control table shown in FIG.
- 11A indicates that a quality level of "1” causes the camera to capture images at a resolution of "720 ⁇ 480,” a quality level of "2” causes the camera to capture images at a resolution of "1280 ⁇ 720,” and a quality level of "3” causes the camera to capture images at a resolution of "1920 ⁇ 1080.”
- the compression rate control table has multiple records representing information related to the camera's compression rate. Each record has a quality level and a compression rate value.
- the compression rate control table is associated with a resolution corresponding to the quality level.
- the resolution field in the compression rate control table contains the values "standard image quality (30%),”"high image quality (60%),” and “highest image quality (100%),” and each value is associated with a quality level of "1,""2,” or "3.” That is, the compression rate control table shown in FIG.
- 11B indicates that a quality level of "1” causes the camera to capture images with a compression rate of standard image quality (30%), a quality level of "2” causes the camera to capture images with a compression rate of high image quality (60%), and a quality level of "3” causes the camera to capture images with a compression rate of highest image quality (100%).
- the color tone control table has multiple records representing information about the color tone of the camera. Each record has a quality level and a color tone value.
- the color tone control table corresponds to a quality level.
- the color tone item in the color tone control table has the values "grayscale,”"8-bitcolor,” and "24-bit color” registered, and each value corresponds to a quality level of "1,""2," or "3.” That is, the color tone control table shown in FIG. 11C indicates that a quality level of "1” causes the camera to capture images in grayscale, a quality level of "2” causes the camera to capture images in 8-bit color, and a quality level of "3" causes the camera to capture images in 24-bit color.
- the image frame rate control table has a plurality of records representing information related to the camera's frame rate. Each record has a quality level and an image frame rate value.
- the image frame rate control table is associated with an image frame rate corresponding to the quality level.
- the image frame rate field in the image frame rate control table contains the values "10 fps,”"30fps,” and "60 fps,” and each value is associated with a quality level of "1,""2,” or "3.” That is, the image frame rate control table shown in FIG.
- 11D indicates that a quality level of "1" causes the camera to capture images at a frame rate of 10 fps, a quality level of "2” causes the camera to capture images at a frame rate of 30 fps, and a quality level of "3” causes the camera to capture images at a frame rate of 60 fps.
- the camera captures the surrounding image based on the determined image capacity.
- the camera transmits the captured image to the processing device 50 or the output device 11.
- the camera may be configured in advance to use which table to determine the image capacity, or may switch between tables depending on the time of day or season.
- This configuration allows the amount of information to be transmitted to be adjusted remotely according to the network quality. This makes it possible to change to an optimal method of transmitting information according to the quality, even if the network quality changes. For example, if the network quality is poor, the amount of information to be transmitted can be reduced by lowering the video quality. Furthermore, if the network quality improves, the amount of information to be transmitted can be increased by restoring the video quality. This makes it possible to improve operability when the transmission quality of communications, including the transmission network, fluctuates.
- the destination to which the transmission control unit 40b notifies the information indicating the quality level may be the remote control device 10, the operation target 20, or a relay device or server provided in the transmission network NW.
- the operation is basically the same as the above-mentioned process, except that the entity performing the process is different.
- the relay device or server provided within the transmission network NW may add or change information related to remote operation in accordance with the information indicating the quality level.
- the relay device or server may store multiple control tables as shown in FIG. 11 and perform image processing on the video transmitted from the camera by referring to the stored multiple control tables.
- the relay device or server provided within the transmission network NW may perform image processing on the video. This configuration allows the receiving side to operate according to the network quality without changing the camera's functions.
- FIG. 12 is a diagram showing an example configuration of a remote control system 200c in application example 3 of the fifth embodiment.
- the remote control system 200c includes a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40c, and a processing device 50.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40c, and processing device 50 are connected via a transmission network NW.
- NW transmission network
- the number of remote control devices 10, operation target 20, quality control unit 30, and transmission control unit 40c is not particularly limited.
- the quality control unit 30 and transmission control unit 40c are provided in one or more housings and function as a control device Cc.
- the output device 11 included in the remote control device 10 is a monitor
- the operation input device 12 is a controller
- the information collection device 21 included in the operation target 20 is a camera
- the drive device 22 is a robot. Therefore, in the remote control system 200c, a monitor will be used as an example.
- the quality control unit 30 performs the same processing as that shown in Application Example 1.
- the quality control unit 30 includes information indicating the determined quality level in the quality assessment result and notifies the transmission control unit 40c.
- the transmission control unit 40c acquires the quality assessment results notified by the quality management unit 30 and notifies the processing device 50 of information indicating the quality level contained in the acquired quality assessment results.
- the transmission control unit 40c may also notify the processing device 50 of the quality assessment results.
- the processing device 50 performs the same processing as the processing device 50 shown in any of the first to fourth embodiments described above. Furthermore, when the processing device 50 acquires information indicating the quality level from the transmission control unit 40c, it performs image processing so that the acquired information indicating the quality level can be displayed on the image obtained from the information collection device 21.
- the processing device 50 displays the processed image on the monitor, which is the output device 11.
- the processing device 50 may display the quality level value on the image obtained from the information collection device 21, or may display a sentence indicating the quality level, or may display the robot operation status or video quality status controlled in Application Example 1 or Application Example 2. Furthermore, when the quality becomes good, the processing device 50 may perform display control so as to delete information indicating that the quality has deteriorated that is displayed on the monitor.
- the quality status and control status can be displayed on the monitor screen of the remote control device 10. Therefore, when there is a change in the network quality status, the current system status can be accurately communicated to the operator, reducing anxiety and comfort regarding operation.
- the destination to which the transmission control unit 40c notifies the information indicating the quality level may be the remote control device 10, the operation target 20, or a relay device or server provided in the transmission network NW.
- the operation is basically the same as the above-mentioned process, except that the entity performing the process is different.
- the transmission control unit 40c acquires the quality judgment result notified from the quality management unit 30 and notifies the output device 11 (e.g., a monitor) of the remote control device 10 of information indicating the quality level contained in the acquired quality judgment result.
- the transmission control unit 40c may also notify the output device 11 (e.g., a monitor).
- the output device 11 e.g., a monitor
- the output device 11 acquires information indicating the quality level from the transmission control unit 40c, it performs display control on the image obtained from the information collection device 21 in accordance with the information indicating the quality level.
- the output device 11 may display the quality level value on the image obtained from the information collection device 21, or may display a sentence indicating the quality level, or may display the robot operation status or video quality status controlled in Application Example 1 or Application Example 2.
- the output device 11 e.g., a monitor
- the driving device 22 of the operation target 20 is a robot
- the output device 11 may perform display control to delete the displayed information indicating the robot's operating state, instead of additionally displaying information indicating that the robot's operating state has normalized.
- the relay device or server provided within the transmission network NW may add or change information related to remote operation in accordance with the information indicating the quality level. For example, the relay device or server performs image processing on an image obtained from the information collection device 21 so that information indicating the quality status and control status can be displayed.
- the relay device or server displays the processed image on a monitor, which is the output device 11.
- the relay device or server provided within the transmission network NW may perform image processing. This configuration allows the receiving side to operate in accordance with the network quality without modifying the processing device 50.
- the transmission quality changes is described as either a change from a good quality state to a degraded quality state or a change from a degraded quality state to a good quality state.
- the case where the transmission quality changes is not limited to this.
- the quality degradation state may be divided into multiple levels, and the quality management unit 30 may determine that the transmission quality has changed when the level in the degraded quality state changes.
- the level in the degraded quality state is, for example, the quality level described in the embodiment. Therefore, the quality management unit 30 determines that the transmission quality has changed when the quality level changes. As described above, the larger the quality level number, the better the quality.
- the quality management unit 30 determines that the quality has improved. On the other hand, if the quality level changes from "3" to "1” or "2,” the quality management unit 30 determines that the quality has deteriorated. If the quality improves, the same processing is performed as when the quality has changed from a degraded quality state to a good quality state. If the quality has deteriorated, the same processing is performed as when the quality has changed from a good quality state to a degraded quality state.
- controlling the transmission network or the processing device according to the transmission quality may further reduce the impact of remote control on the operation target and improve operability when the transmission quality in communications including a transmission network fluctuates. Therefore, in the sixth embodiment, a configuration will be described that can further reduce the impact of remote control on the operation target and improve operability when the transmission quality in communications including a transmission network fluctuates.
- Figure 13 is a diagram for explaining the overview of the remote control system 300 in the sixth embodiment.
- the remote control system 300 is a system that remotely operates equipment, etc. located at a different location from one location.
- the remote control system 300 is not particularly limited as long as it is used for tasks that remotely operate equipment to be operated, such as remote arm operation, remote surgery, remote construction, remote inspection, etc.
- the remote control system 300 comprises a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40d, a processing device 50d, and a management device 60.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40d, processing device 50d, and management device 60 are connected via a transmission network NW.
- the remote control device 10, operation target 20, quality control unit 30, and transmission network NW have the same configuration as shown in the fifth embodiment. In the following explanation, differences from the configuration shown in the fifth embodiment will be explained each time.
- the quality control unit 30 and transmission control unit 40d are provided in one or more housings and function as a control device Cd.
- the transmission control unit 40d performs the same processing as the transmission control unit 40 in the fifth embodiment.
- the transmission control unit 40d notifies the remote control device 10, the operation target 20, the processing device 50d, or the management device 60 of information indicating the transmission quality.
- the transmission control unit 40d causes the device to which the information indicating the transmission quality has been notified to execute processing according to the transmission quality.
- control executed by the remote control device 10, the operation target 20, or the processing device 50d when the quality changes from a good quality state to a degraded quality state is the same as in the fifth embodiment. Also, the control executed by the remote control device 10, the operation target 20, or the processing device 50d when the quality changes from a degraded quality state to a good quality state is the same as in the fifth embodiment.
- the information indicating the transmission quality notified by the transmission control unit 40d is the same as the information shown in the fifth embodiment, and may be, for example, a quality level that expresses the transmission quality in multiple stages.
- the quality level may be defined by the transmission time (end-to-end delay), bandwidth, and packet loss rate.
- the information indicating the transmission quality is determined by the quality management unit 30 when the quality is determined.
- the transmission control unit 40d may add additional information to the information indicating transmission quality if the quality level is below a predetermined threshold.
- the additional information is additional information used to determine the control content in the management device 60, and is, for example, information indicating the cause of the decrease in quality level among end-to-end delay, bandwidth amount, or packet loss rate, and information indicating the delay of each section (transmission path delay or processing time).
- each section refers to section 1' connecting the remote control device 10 and the operation target 20, section 2' connecting the operation target 20 and processing device 50d, and section 2' connecting the operation target 20 and processing device 50d and the remote control device 10, etc.
- the management device 60 controls the settings of the transmission network NW or the processing device 50d based on the information indicating the transmission quality (which may include additional information) notified from the transmission control unit 40d. If the management device 60 is a user device provided by a user, it is the device that submits the application, and if it is an operator device operated by a system administrator, etc., it is an EMS (Element Management System) device, portal device, or orchestrator.
- EMS lement Management System
- the processing device 50d Before receiving control from the management device 60, the processing device 50d performs the same processing as the processing device 50 shown in any of the first to fifth embodiments. When control is executed by the management device 60, the processing device 50d performs operations in accordance with the control from the management device 60.
- the above configuration makes it possible to further improve operability even when quality changes.
- the configuration shown in FIG. 13 is just one example, and the above effects can be achieved even if the remote control system 200 does not include some of the components. Application examples are described below.
- FIG. 14 is a diagram showing an example configuration of a remote control system 300a in application example 1 of the sixth embodiment.
- the remote control system 300a includes a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40d, a processing device 50d, and a management device 60.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40d, processing device 50d, and management device 60 are connected via a transmission network NW.
- NW transmission network
- the remote control system 300a does not necessarily have to include the processing device 50d.
- the quality control unit 30 performs the processing described in FIG. 6.
- the quality control unit 30 holds the quality level determination table shown in FIG. 8 and determines the quality level by referencing the held quality level determination table.
- the quality control unit 30 includes information indicating the determined quality level in the quality determination result and notifies the transmission control unit 40d.
- the transmission control unit 40d acquires the quality assessment result notified by the quality management unit 30 and notifies the management device 60 of information indicating the quality level included in the acquired quality assessment result.
- the transmission control unit 40a may also notify the management device 60 of the quality assessment result.
- the transmission control unit 40d adds additional information to the information indicating the transmission quality if the quality level is below a set threshold.
- the management device 60 acquires information indicating the transmission quality (which may include additional information) notified by the transmission control unit 40d, and changes the settings of the transmission network NW based on the acquired information indicating the transmission quality.
- the settings of the transmission network NW include, for example, QoS (Quality of Service) settings such as the contracted bandwidth, the network guaranteed bandwidth, the service priority, and the packet ToS (Type of Service) value, or the service grade used. Note that the management device 60 may temporarily suspend communication if it determines that improvement is difficult based on the information indicating the transmission quality.
- the management device 60 receives information indicating a quality level (e.g., quality level "2") and additional information (information indicating that the bandwidth is 50 Mbps) from the transmission control unit 40d, it will increase the guaranteed bandwidth setting of the transmission network NW to 100 Mbps.
- a quality level e.g., quality level "2”
- additional information information indicating that the bandwidth is 50 Mbps
- the management device 60 when the management device 60 receives information indicating a quality level (e.g., quality level "2") and additional information (information indicating a packet loss rate of 0.5%) from the transmission control unit 40d, it changes the QoS settings for the communication from which the quality level was obtained (e.g., changing to high priority packets).
- a quality level e.g., quality level "2”
- additional information information indicating a packet loss rate of 0.5%) from the transmission control unit 40d
- the management device 60 may determine that improvement is difficult and control the bandwidth settings in the transmission network NW on a best-effort basis.
- the quality level e.g., quality level "1”
- additional information information indicating that the processing time bandwidth in the processing device 50d is 500 ms
- the control of the transmission network NW by the management device 60 may be set as a control table.
- the management device 60 stores the control table shown in FIG. 15.
- FIG. 15 is a diagram showing an example of a control table in the sixth embodiment.
- the control table has multiple records that represent information about the control content by the management device 60. Each record has values for quality level, additional information, and control content.
- the control table associates control content that corresponds to a combination of quality level and additional information, or to quality level alone. As mentioned above, there are cases where additional information is not notified from the transmission control unit 40d. Therefore, the control table also registers control content that corresponds to quality level alone. In the control table, a value of "-" is registered in places where no additional information is registered.
- the management device 60 If the management device 60 holds a control table, it selects a record corresponding to the information indicating the transmission quality notified by the transmission control unit 40d. The management device 60 executes the control content registered in the selected record on the transmission network NW.
- FIG. 16 is a diagram showing an example configuration of a remote control system 300b in application example 2 of the sixth embodiment.
- the remote control system 300b includes a remote control device 10, an operation target 20, a quality control unit 30, a transmission control unit 40d, a processing device 50d, and a management device 60.
- the remote control device 10, operation target 20, quality control unit 30, transmission control unit 40d, processing device 50d, and management device 60 are connected via a transmission network NW. Furthermore, there is no particular limit to the number of remote control devices 10, operation target 20, quality control unit 30, and transmission control unit 40d.
- the management device 60 acquires information indicating the transmission quality (which may include additional information) notified by the transmission control unit 40d, and changes the settings of the processing device 50d based on the acquired information indicating the transmission quality.
- the settings of the processing device 50d include resource allocation such as the number of CPU cores, shared or dedicated resource types, accelerator functions, etc. Note that the management device 60 may temporarily suspend communication if it determines that improvement is difficult based on the information indicating the transmission quality.
- the management device 60 when the management device 60 receives information indicating the quality level (e.g., quality level "2") and additional information (information indicating that the processing time bandwidth in the processing device 50d is 150 ms) from the transmission control unit 40d, it increases the amount of CPU resources allocated to the processing device 50d by three cores, or switches the server resources to dedicated mode (migrates). Note that the values shown here are just examples and may be set as appropriate.
- the quality level e.g., quality level "2”
- additional information information indicating that the processing time bandwidth in the processing device 50d is 150 ms
- the management device 60 may determine that improvement is difficult and may control the number of cores in the resources of the processing device 50d to a minimum or to a shared mode.
- the quality level e.g., quality level "1”
- additional information information indicating that the processing time bandwidth in the processing device 50d is 500 ms
- the control by the management device 60 over the processing device 50d may be set as a control table.
- the control table is the table shown in FIG. 15.
- the management device 60 When the management device 60 holds a control table, it selects a record corresponding to the information indicating the transmission quality notified by the transmission control unit 40d.
- the management device 60 executes the control content registered in the selected record over the processing device 50d.
- the settings in the processing device 50d can be adjusted. Therefore, even if the network quality fluctuates, it is possible to control the communication state to a more optimal state according to the quality condition.
- the remote control systems 300a, 300b configured as described above include a quality management unit 30 that acquires the transmission quality of the transmission path between the remote control device 10 and the operation target 20 and determines a quality level according to the acquired transmission quality, a transmission control unit 40d that notifies information indicating at least the quality level, and a management device 60 that controls the processing device 50d or settings in the transmission network NW based on the information indicating the quality level notified by the transmission control unit 40d.
- remote control systems 300a and 300b control the transmission network NW or processing device 50d according to the transmission quality. This makes it possible to reduce the impact of remote control on the operation target and improve operability when the transmission quality in communications including the transmission network fluctuates, through control that differs from that of the first to fifth embodiments.
- the management device 60 has been described separately for controlling the settings of the transmission network NW and the processing device 50d, but the management device 60 may control the settings of both the transmission network NW and the processing device 50d. In this case, the management device 60 may execute the processes shown in (Application Example 1 of the Sixth Embodiment) and (Application Example 2 of the Sixth Embodiment).
- the transmission control unit 40d is configured to notify the information indicating the transmission quality to any one of the remote operation device 10, the operation target 20, the processing device 50d, or the management device 60.
- the transmission control unit 40d may notify multiple notification destinations of the information indicating the transmission quality.
- the transmission control unit 40d may notify one of the remote operation device 10, the operation target 20, or the processing device 50d, and the management device 60 of the information indicating the transmission quality.
- the device that has been notified of the information indicating the transmission quality operates in accordance with the notified information indicating the transmission quality.
- the processing device may be provided in the control device shown in the first to sixth embodiments.
- This invention can be applied to systems that operate remote devices.
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Selective Calling Equipment (AREA)
Abstract
操作対象と、操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前伝送品質が品質要件を満たすか否かを判定する品質管理部と、伝送品質が品質要件を満たさない場合に、少なくとも遠隔操作装置に対する通知、又は、操作対象に対して制御を行う伝達制御部と、を備える制御装置。
Description
本発明は、制御装置及び遠隔操作システムに関する。
本願は、2024年6月28日に、日本に出願されたPCT/JP2024/023496号と、2024年10月4日に、日本に出願されたPCT/JP2024/035573号に基づき優先権を主張し、その内容をここに援用する。
本願は、2024年6月28日に、日本に出願されたPCT/JP2024/023496号と、2024年10月4日に、日本に出願されたPCT/JP2024/035573号に基づき優先権を主張し、その内容をここに援用する。
従来、操作対象と遠隔操作装置を備え、遠隔操作装置を用いて操作対象を操作する遠隔操作システムが提案されている(例えば、特許文献1参照)。図17は、従来の遠隔操作システムSの構成例を示す図である。遠隔操作システムSは、操作対象1と遠隔操作装置2を備える。操作対象1は、例えば車両であり、車両に備えられる中央カメラによって撮像された画像データを遠隔操作装置2に送信する。
遠隔操作装置2は、画像データの受信の遅延時間が所定時間を超えた場合、警告をオペレータに通知してバッファのデータ容量を調整可能である。遠隔操作装置2が、オペレータに警告を通知する仕組みは、遠隔操作装置2内の画像データバッファ量で計測されている。
しかしながら、従来の技術では、定常的に遅延が発生している場合には、画像データの受信の遅延時間が遅くなった場合であっても、オペレータへ警告を通知することができない。このような場合、オペレータに表示される画像の更新が不安定になってしまう。その結果、操作対象を遠隔操作しにくくなるという問題があった。このような問題は、画像データに限らず、操作対象と遠隔操作装置との間で伝送路を介して行われる通信で生じる遅延全体に生じる問題である。
上記事情に鑑み、本発明は、操作対象に対する遠隔操作の影響を低減することができる技術の提供を目的としている。
本発明の一態様は、操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質が品質要件を満たすか否かを判定する品質管理部と、前記伝送品質が品質要件を満たさない場合に、少なくとも前記遠隔操作装置に対する通知、又は、前記操作対象に対して制御を行う伝達制御部と、を備える制御装置である。
本発明の一態様は、操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質が品質要件を満たすか否かを判定する品質管理部と、前記伝送品質が品質要件を満たさない場合に、少なくとも前記遠隔操作装置に対する通知、又は、前記操作対象に対して制御を行う伝達制御部と、前記操作対象で収集した情報、又は、前記遠隔操作装置による操作情報の少なくともいずれかに対して操作性を高める処理を実行する処理装置と、を備え、前記品質管理部は、前記操作対象と前記処理装置との間における伝送品質と、前記遠隔操作装置と前記処理装置との間における伝送品質と、前記処理装置による処理時間とを含む前記伝送品質が品質要件を満たすか否かを判定する、制御装置である。
本発明の一態様は、操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質に応じた品質レベルを決定する品質管理部と、前記操作対象、前記遠隔操作装置、前記伝送路に備えられる装置、又は、前記操作対象と前記遠隔操作装置との間で操作性を高める処理を実行する処理装置のいずれかに対して、前記品質レベルを示す情報を通知する伝達制御部と、を備える制御装置。
本発明の一態様は、操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質に応じた品質レベルを決定する品質管理部と、前記品質管理部によって決定された少なくとも前記品質レベルを示す情報を通知する伝達制御部と、前記伝達制御部から通知された前記品質レベルを示す情報に基づいて、前記操作対象で収集した情報、又は、前記遠隔操作装置による操作情報の少なくともいずれかに対して操作性を高める処理を実行する処理装置、又は、前記伝送路における設定を制御する管理装置と、を備える遠隔操作システムである。
本発明により、操作対象に対する遠隔操作の影響を低減することが可能となる。
以下、本発明の一実施形態を、図面を参照しながら説明する。
(全体構成と概要)
まず具体例を挙げて説明する前に、本発明における遠隔操作システム100の概要について図1を用いて説明する。図1は、本発明における遠隔操作システム100の概要を説明するための図である。遠隔操作システム100は、ある地点から異なる地点に配置されている機器等を遠隔で操作するシステムである。遠隔操作システム100は、例えば遠隔アーム操作、遠隔手術、遠隔工事、遠隔点検等の操作対象の機器を遠隔で操作する作業であれば特に限定されない。
まず具体例を挙げて説明する前に、本発明における遠隔操作システム100の概要について図1を用いて説明する。図1は、本発明における遠隔操作システム100の概要を説明するための図である。遠隔操作システム100は、ある地点から異なる地点に配置されている機器等を遠隔で操作するシステムである。遠隔操作システム100は、例えば遠隔アーム操作、遠隔手術、遠隔工事、遠隔点検等の操作対象の機器を遠隔で操作する作業であれば特に限定されない。
遠隔操作システム100は、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40と、処理装置50を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40及び処理装置50は、伝送網NWを介して接続される。伝送網NWは、どのように構成されたネットワークであってもよく、例えばインターネットである。なお、伝送網NWは、無線によるネットワークであってもよい。また、伝送網NWには、データ転送機能を有するスイッチ又はルータ等の中継装置やデータ処理機能を有するサーバが備えられていてもよい。また、遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40及び処理装置50の台数は特に限定されない。
品質管理部30及び伝達制御部40は、1又は複数の筐体に備えられて制御装置として機能する。以下の実施形態においても同様である。制御装置は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、プログラムを実行する。プログラムの実行によって、制御装置は、品質管理部30及び伝達制御部40を備える装置として機能する。なお、制御装置の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。また、プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、プログラムは、電気通信回線を介して送受信されてもよい。
遠隔操作装置10は、異なる地点に設置された操作対象20を操作する装置である。遠隔操作装置10には、例えば出力装置11と、操作入力装置12が含まれる。出力装置11は、操作対象20から得られる情報や、品質管理部30により得られる管理結果を出力する装置である。出力装置11は、例えばモニタ、スピーカ等の五感に影響を与える出力(例えば、映像、音、匂いなど)が可能な装置である。操作入力装置12は、操作対象20に対する指示を入力するための装置である。操作入力装置12は、例えばコントローラ、マウス、キーボード等の操作装置である。
操作対象20は、遠隔操作装置10により遠隔で操作される。操作対象20には、例えば情報収集装置21と、駆動装置22が含まれる。情報収集装置21は、遠隔操作装置10からの指示に応じて情報を収集する装置である。情報収集装置21は、例えば画像データ、音情報、力触覚情報、味覚情報又はデータベース情報等、操作対象の状態を収集して遠隔操作装置10側で表現することができる装置であれば特に限定されない。
駆動装置22は、遠隔操作装置10からの指示に応じて駆動する装置である。駆動装置22は、例えば遠隔で制御可能なものであれば、ロボット、ドローン、車、物理的に動きがないサーバ又は電化製品のいずれであってもよい。
品質管理部30は、遠隔操作装置10と操作対象20との間の伝達品質を収集する。図1に示す例では、品質管理部30が管理する区間は、例えば以下の区間である。
(区間1)情報収集装置21と出力装置11との区間
(区間2)情報収集装置21と処理装置50との間と、処理装置50と出力装置11との間を合わせた区間(情報収集装置21⇔処理装置50⇔出力装置11)
(区間3)操作入力装置12と処理装置50との間と、処理装置50と駆動装置22との間を合わせた区間(操作入力装置12⇔処理装置50⇔駆動装置22)
(区間1)情報収集装置21と出力装置11との区間
(区間2)情報収集装置21と処理装置50との間と、処理装置50と出力装置11との間を合わせた区間(情報収集装置21⇔処理装置50⇔出力装置11)
(区間3)操作入力装置12と処理装置50との間と、処理装置50と駆動装置22との間を合わせた区間(操作入力装置12⇔処理装置50⇔駆動装置22)
なお、品質管理部30は、処理装置50を含む区間においては、処理装置50の処理時間も加味して伝達品質を収集する。品質管理部30により収集する情報は、例えば遅延情報、過負荷状態又は輻輳状態等の使用状況を示す情報や、故障等の可用性情報等がある。なお、品質管理部30により収集する情報には、帯域量及びパケットロス率も伝達品質も含まれてもよい。伝送時間を収集する場合には、Ping等を用いてもよいし、伝送された情報のパケット内情報を使ってもよい。処理装置50の処理時間を収集する方法は、処理装置50から直接収集する方法であってもよいし、外部の時間計測装置により取得する方法であってもよい。
品質管理部30は、別途保有している操作システムからの品質要件を用いて、収集した各情報に基づいて得られる伝達品質が品質要件を満たすか否かを判定する。伝達品質は、例えば伝送時間、伝送時間揺らぎ、光伝送区間のパワー又はデータのエラー率のいずれかである。なお、伝達品質には、帯域量及びパケットロス率が含まれてもよい。
例えば、品質要件が伝送時間に関する条件であり、情報収集装置21と出力装置11との間が100ms以内であることとする。ここで品質管理部30において収集した結果が、情報収集装置21と処理装置50との区間の伝送時間が40msであり、処理装置50による処理時間が40msであり、処理装置50と出力装置11との区間の伝送時間が40msであった場合、全体の伝送時間は120msとなる。この場合、品質管理部30は、品質要件を満たさないため品質劣化状態とみなす。同様に、処理装置50の負荷状態、パケットの伝達成功率(エラー率)、伝送時間の揺らぎを品質要件としてもよい。
品質管理部30は、例えば、品質要件を満たさないと判定した場合に、品質劣化状態であることを示す品質判定結果を伝達制御部40に通知する。品質管理部30は、例えば、品質要件を満たすと判定した場合に、品質良好状態であることを示す品質判定結果を伝達制御部40に通知する。なお、品質要件を満たす場合に、特にネットワーク環境が悪い状態ではないため、品質管理部30は品質判定結果を通知しなくてもよい。
伝達制御部40は、品質管理部30から通知された品質判定結果を入力とする。伝達制御部40は、入力した品質判定結果に基づいて、品質判定結果に含まれる情報を反映する。例えば、伝達制御部40は、情報収集装置21から出力装置11への情報に反映させてもよいし、操作入力装置12から駆動装置22への情報に反映させてもよい。
情報の反映方法は、伝達制御部40が、通知対象となる出力装置11又は駆動装置22に個別に通知してもよいし、情報伝達時に処理装置50を通過する場合には処理装置50において情報を付加させてもよい。
伝達制御部40は、例えば、品質劣化状態とみなした場合には、出力装置11の表示映像に「品質劣化状態」の表示を行う。また、伝達制御部40は、例えば、品質良好状態とみなした場合には、出力装置11の表示映像に「品質良好状態」の表示を行う。
また、伝達制御部40は、例えば、遠隔操作装置10が駆動装置22を制御している状況において品質判定結果が品質要件を満たさないことを示している場合には、駆動装置22の稼働状態を下げるような制御を行う。駆動装置22の稼働状態を下げるような制御は、例えば駆動装置22を緊急停止させることであってもよいし、操作速度を遅くさせることであってもよい。
伝達制御部40は、例えば、遠隔操作装置10が駆動装置22を制御している状況において品質判定結果が品質要件を満たすことを示している場合には、駆動装置22の稼働状態を上げるような制御を行う。駆動装置22の稼働状態を上げるような制御は、例えば駆動装置22の操作速度を早くさせることであってもよい。伝達制御部40による処理は、処理装置50で処理して操作に直接作用させてもよいし、別手段を使って通知及び制御してもよい。なお、伝達制御部40は、少なくとも通知又は制御のいずれか(通知及び制御両方を含む)を実行する。
処理装置50は、操作対象20で取得した情報(例えば、画像、音声・力触覚情報等)を遠隔操作装置10に通知する際に操作性を高める処理を行う。ここで、操作対象20で取得した情報に対して行う操作性を高める処理とは、例えば画像を加工して操作手順の指示や画像判断結果を表示させる処理であってもよいし、情報を他の伝達手段に変換して表示又は通知させる処理であってもよいし、動作を予測して早めに通知する処理等であってもよい。
処理装置50は、例えば情報収集装置21で収集した情報に対して操作性を高めるための処理を行い、処理後の情報を出力装置11で表現させる。例えば、情報収集装置21で収集した情報が映像等の視覚情報である場合、処理装置50はカメラで撮影した映像に対して操作性を高めるための画像処理を行い、画像処理後の映像を出力装置11に表示させる。なお、カメラには映像圧縮機能が備えられていてもよい。映像圧縮機能は、別装置に実装されていてもよい。操作性を高めるための画像処理としては、視覚情報で実施する場合には、映像に操作対象を判別する表示を追加したり、次の操作を指示する情報を追加したり、操作に必要な補足情報を、データベースを参照して表示させたりしてもよい。なお、処理装置50における情報収集装置21で収集した情報に対する操作性を高めるための処理は、実施しなくてもよい。
また、処理装置50は、遠隔操作装置10による操作情報を操作対象20(例えばロボットのアーム等の可動部制御)に通知する際に操作性向上のための処理を行う。ここで、遠隔操作装置10による操作情報を操作対象20に通知する際に操作性向上のための処理とは、例えば操作情報をモータ動作情報に変換する処理であってもよいし、動作を予測して早めに通知する処理等であってもよい。
処理装置50は、例えば操作入力装置12から入力された情報に対して操作性を高めるための処理を行い、処理後の操作情報を駆動装置22に伝達して制御する。操作入力装置12から入力された情報に対する操作性を高める処理としては、安全性を考慮した緊急停止や、操作性を高めるための速度制御(同じ入力であっても移動量を乗算したり除算したり、停止→動作や、動作→停止の加速度調整を行うなど)をしてもよい。また、複数の操作入力装置12の入力情報を統合したり、他の外部要因の情報をもとに制御してもよい。操作性制御は、実施しなくてもよい。なお、処理装置50における操作入力装置12から入力された情報に対する操作性を高めるための処理は、実施しなくてもよい。処理装置50は、操作対象20と同一の装置でもよいし、遠隔操作装置10と同一でもよいし、独立してもよい。
本発明における遠隔操作システム100では、上記の構成によりネットワーク遅延や処理時間を正確に把握し、品質要件に満たない条件下においては、操作者への通知や操作対象の制御が可能になる。なお、図1で示した構成は、一例であり、遠隔操作システム100においては一部の構成を備えない場合であっても上記効果を得ることができる。以下、具体的な実施形態を用いて説明する。
(第1の実施形態)
図2は、第1の実施形態における遠隔操作システム100aの構成例を示す図である。遠隔操作システム100aは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40を備える。遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40の台数は特に限定されない。
図2は、第1の実施形態における遠隔操作システム100aの構成例を示す図である。遠隔操作システム100aは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40を備える。遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40の台数は特に限定されない。
図2に示すように、遠隔操作システム100aは、処理装置50を備えない。遠隔操作システム100aでは、駆動装置22を制御する場合について説明する。一具体例として、遠隔操作装置10に含まれる出力装置11がモニタであり、操作入力装置12がコントローラであるとする。また、一具体例として、操作対象20に含まれる情報収集装置21がカメラであり、駆動装置22がロボットであるとする。したがって、遠隔操作システム100aでは、ロボットを一例として説明する。
操作入力装置12は、操作対象20である駆動装置22に対する指示の入力を受け付ける。操作入力装置12は、入力された操作情報を、伝送網NWを介して駆動装置22に送信する。
駆動装置22であるロボットは、操作入力装置12から送信された操作情報に応じた動作を行う。
このような状況下における品質管理部30及び伝達制御部40の処理について5つのパターンを説明する。
[パターン1]
・伝送時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、操作入力装置12と駆動装置22との間の伝送時間を計測する。品質管理部30は、取得した伝送時間と、品質要件で示す値とを比較することで取得した伝送時間が品質要件を満たすか否かを判定する。品質管理部30は、取得した伝送時間が、品質要件で示される値未満である場合、伝送時間が品質要件を満たすと判定する。一方、品質管理部30は、取得した伝送時間が、品質要件で示される値以上である場合、伝送時間が品質要件を満たさないと判定する。
・伝送時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、操作入力装置12と駆動装置22との間の伝送時間を計測する。品質管理部30は、取得した伝送時間と、品質要件で示す値とを比較することで取得した伝送時間が品質要件を満たすか否かを判定する。品質管理部30は、取得した伝送時間が、品質要件で示される値未満である場合、伝送時間が品質要件を満たすと判定する。一方、品質管理部30は、取得した伝送時間が、品質要件で示される値以上である場合、伝送時間が品質要件を満たさないと判定する。
品質管理部30が、取得した伝送時間が品質要件を満たすと判定した場合には、品質管理部30は伝送時間が品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、取得した伝送時間が品質要件を満たさないと判定した場合には、品質管理部30は伝送時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
品質管理部30による伝送時間の計測は、操作入力装置12から駆動装置22への指示が行われている間であればどのタイミングで行われてもよい。また、品質管理部30による伝送遅延の計測は、1回だけではなく、所定の時間経過するたびに継続的に実行されてもよい。
[パターン2]
・伝送時間を計測し、品質劣化時に可動部(アームやローラ等)の動作を緊急停止させる、又は、可動部の動作の速度を遅くする。
パターン2では、基本的にはパターン1と同様の処理を行う。品質管理部30が、取得した伝送時間が品質要件を満たさないと判定した場合には、品質管理部30は伝送時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、可動部の動作の速度を遅くさせる。なお、伝達制御部40は、伝送時間が品質要件を満たさないことを示す品質判定結果が得られるたびに、徐々に可動部の動作の速度を遅くさせてもよい。
・伝送時間を計測し、品質劣化時に可動部(アームやローラ等)の動作を緊急停止させる、又は、可動部の動作の速度を遅くする。
パターン2では、基本的にはパターン1と同様の処理を行う。品質管理部30が、取得した伝送時間が品質要件を満たさないと判定した場合には、品質管理部30は伝送時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、可動部の動作の速度を遅くさせる。なお、伝達制御部40は、伝送時間が品質要件を満たさないことを示す品質判定結果が得られるたびに、徐々に可動部の動作の速度を遅くさせてもよい。
[パターン3]
・パターン1とパターン2を組み合わせた場合
パターン3では、基本的にはパターン1と同様の処理を行う。品質管理部30が、取得した伝送時間が品質要件を満たさないと判定した場合には、品質管理部30は伝送時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は、パターン1のように「品質劣化状態」であることをモニタである出力装置11に画面表示させつつ、パターン2のように駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、動作の速度を遅くさせる。
・パターン1とパターン2を組み合わせた場合
パターン3では、基本的にはパターン1と同様の処理を行う。品質管理部30が、取得した伝送時間が品質要件を満たさないと判定した場合には、品質管理部30は伝送時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は、パターン1のように「品質劣化状態」であることをモニタである出力装置11に画面表示させつつ、パターン2のように駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、動作の速度を遅くさせる。
処理装置50は、出力装置11に画面表示させる制御と駆動装置22の動作の制御とを異なるタイミングで実行してもよいし、同じタイミングで実行してもよい。
[パターン4]
・パターン1からパターン3で取得する情報が伝送時間揺らぎの場合
ここでは一例としてパターン1の場合を例に説明する。パターン4では、品質管理部30は、操作入力装置12と駆動装置22との間の伝送時間揺らぎを計測する。品質管理部30は、計測した伝送時間揺らぎが、品質要件を満たすか否かを判定する。品質管理部30は、計測した伝送時間揺らぎが、品質要件で示される値未満である場合、伝送時間揺らぎが品質要件を満たすと判定する。一方、品質管理部30は、計測した伝送時間揺らぎが、品質要件で示される値以上である場合、伝送時間揺らぎが品質要件を満たさないと判定する。
・パターン1からパターン3で取得する情報が伝送時間揺らぎの場合
ここでは一例としてパターン1の場合を例に説明する。パターン4では、品質管理部30は、操作入力装置12と駆動装置22との間の伝送時間揺らぎを計測する。品質管理部30は、計測した伝送時間揺らぎが、品質要件を満たすか否かを判定する。品質管理部30は、計測した伝送時間揺らぎが、品質要件で示される値未満である場合、伝送時間揺らぎが品質要件を満たすと判定する。一方、品質管理部30は、計測した伝送時間揺らぎが、品質要件で示される値以上である場合、伝送時間揺らぎが品質要件を満たさないと判定する。
品質管理部30が、計測した伝送時間揺らぎが品質要件を満たすと判定した場合には、品質管理部30は伝送時間揺らぎが品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、計測した伝送時間揺らぎが品質要件を満たさないと判定した場合には、品質管理部30は伝送時間揺らぎが品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
[パターン5]
・パターン1からパターン3で取得する情報が光伝送路区間のパワー、又は、パケットや信号のエラー率の場合
ここでは一例としてパターン1の場合を例に説明する。光伝送路区間のパワーを取得する場合には、操作入力装置12と駆動装置22との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、操作入力装置12と駆動装置22との間の光伝送路区間のパワーを計測する。品質管理部30は、取得した光伝送路区間のパワーが、品質要件を満たすか否かを判定する。品質管理部30は、光伝送路区間のパワーが、品質要件で示される値以上である場合、光伝送路区間のパワーが品質要件を満たすと判定する。一方、品質管理部30は、取得した光伝送路区間のパワーが、品質要件で示される値未満である場合、光伝送路区間のパワーが品質要件を満たさないと判定する。
・パターン1からパターン3で取得する情報が光伝送路区間のパワー、又は、パケットや信号のエラー率の場合
ここでは一例としてパターン1の場合を例に説明する。光伝送路区間のパワーを取得する場合には、操作入力装置12と駆動装置22との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、操作入力装置12と駆動装置22との間の光伝送路区間のパワーを計測する。品質管理部30は、取得した光伝送路区間のパワーが、品質要件を満たすか否かを判定する。品質管理部30は、光伝送路区間のパワーが、品質要件で示される値以上である場合、光伝送路区間のパワーが品質要件を満たすと判定する。一方、品質管理部30は、取得した光伝送路区間のパワーが、品質要件で示される値未満である場合、光伝送路区間のパワーが品質要件を満たさないと判定する。
品質管理部30が、取得した光伝送路区間のパワーが品質要件を満たすと判定した場合には、品質管理部30は光伝送路区間のパワーが品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、取得した光伝送路区間のパワーが品質要件を満たさないと判定した場合には、品質管理部30は光伝送路区間のパワーが品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
同様に、パターン5では、品質管理部30は、操作入力装置12と駆動装置22との間のパケット又は信号のエラー率(パケットロス)を計測する。品質管理部30は、取得したパケット又は信号のエラー率が、品質要件を満たすか否かを判定する。品質管理部30は、パケット又は信号のエラー率が、品質要件で示される値未満である場合、パケット又は信号のエラー率が品質要件を満たすと判定する。一方、品質管理部30は、取得したパケット又は信号のエラー率が、品質要件で示される値以上である場合、パケット又は信号のエラー率が品質要件を満たさないと判定する。
品質管理部30が、取得したパケット又は信号のエラー率が品質要件を満たすと判定した場合には、品質管理部30はパケット又は信号のエラー率が品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、取得したパケット又は信号のエラー率が品質要件を満たさないと判定した場合には、品質管理部30はパケット又は信号のエラー率が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
以上のように構成された遠隔操作システム100aによれば、制御装置は、遠隔操作装置10と操作対象20との間の伝送路における伝送品質を取得し、取得した伝送品質が品質要件を満たすか否かを判定する品質管理部30と、伝送品質が品質要件を満たさない場合に、少なくとも操作対象20に対する通知、又は、遠隔操作装置10に対して制御を行う伝達制御部40と、を備える。
これにより、遠隔操作装置10と操作対象20との間の伝送路における伝送品質(例えば、ネットワーク遅延)を正確に把握し、遠隔操作システム100で規定されている品質要件を満たさない場合においては、安全、即時性及び正確性を満たす操作が実現できるよう操作者への通知、又は、操作対象20に対する制御の少なくともいずれかを行うことができる。このように、操作対象に対する遠隔操作の影響を低減することが可能になる。
また、遠隔操作システム100aでは、品質管理部30が、遠隔操作装置10と操作対象20との間の区間における伝送時間、伝送時間揺らぎ、光伝送区間のパワー又はデータのエラー率のいずれかを伝送品質として取得し、取得した伝送品質と品質要件とを比較する。これにより、遠隔操作装置10と操作対象20との間で伝送網NWを介して行われる通信で生じる遅延をより正確に把握することができる。その結果、遠隔操作システム100で規定されている品質要件を満たさない場合においては、安全、即時性及び正確性を満たす操作が実現できるよう操作者への通知や、操作対象20に対する制御が可能になる。
また、遠隔操作システム100aでは、伝達制御部40が、伝送品質が品質要件を満たさない場合に、伝送品質が品質要件を満たさないことを示す情報を遠隔操作装置10に対して通知する。これにより、遠隔操作装置10を操作するユーザに対して、リアルタイムに伝送品質が悪いことを通知することができる。したがって、ユーザは即座に対応することができ、操作対象に対する遠隔操作の影響を低減することが可能になる。
また、遠隔操作システム100aでは、伝達制御部40が、伝送品質が品質要件を満たさない場合に、操作対象20の稼働状態を下げるような制御を行う。操作対象20の稼働状態を下げるような制御として、例えば緊急停止させる、又は、可動部の動作の速度を遅くする等の制御が行われる。そのため、操作対象に対する遠隔操作の影響を低減することが可能になる。
(第1の実施形態における変形例1)
上述したパターン5において、品質管理部30は、複数の伝送品質を組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。例えば、品質管理部30は、光伝送路区間のパワー、及び、パケットや信号のエラー率の2つの伝送品質により品質要件を満たすか否かを判定してもよい。このように構成される場合、品質管理部30は、光伝送路区間のパワー、及び、パケットや信号のエラー率の2つの伝送品質それぞれで品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
上述したパターン5において、品質管理部30は、複数の伝送品質を組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。例えば、品質管理部30は、光伝送路区間のパワー、及び、パケットや信号のエラー率の2つの伝送品質により品質要件を満たすか否かを判定してもよい。このように構成される場合、品質管理部30は、光伝送路区間のパワー、及び、パケットや信号のエラー率の2つの伝送品質それぞれで品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30は、光伝送路区間のパワー、及び、パケットや信号のエラー率の2つの伝送品質で品質要件を満たさない場合に、品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。例えば、光伝送路区間のパワーとパケットや信号のエラー率の2つの伝送品質を例にすると、品質管理部30はパワーの合計値が品質要件を満たし、かつ、パケット又は信号のエラー率の合計値が品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知する。一方、品質管理部30はそれ以外の場合には、品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。このように構成されることによって、1つの伝送品質が品質要件を満たす状況であって、別の理由でネットワーク環境が品質要件を満たさない場合においても対応することができる。
(第1の実施形態における変形例2)
品質管理部30は、上述したパターン1~パターン5のいずれかを組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。具体的な方法としては、第2の実施形態における変形例1で示したとおりである。
品質管理部30は、上述したパターン1~パターン5のいずれかを組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。具体的な方法としては、第2の実施形態における変形例1で示したとおりである。
(第2の実施形態)
第1の実施形態では、遠隔操作システムが、処理装置を備えない構成を示した。これに対して、第2の実施形態では、遠隔操作システムが、処理装置を備える場合の構成について説明する。遠隔操作システムが、処理装置を備える場合には、処理装置による処理時間も加味して品質要件を満たすか否かが判定される。
第1の実施形態では、遠隔操作システムが、処理装置を備えない構成を示した。これに対して、第2の実施形態では、遠隔操作システムが、処理装置を備える場合の構成について説明する。遠隔操作システムが、処理装置を備える場合には、処理装置による処理時間も加味して品質要件を満たすか否かが判定される。
図3は、第2の実施形態における遠隔操作システム100bの構成例を示す図である。遠隔操作システム100bは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40と、処理装置50を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40及び処理装置50は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40及び処理装置50の台数は特に限定されない。
図3に示すように、遠隔操作システム100bは、処理装置50を備える。遠隔操作システム100bでは、駆動装置22を制御する場合について説明する。一具体例として、遠隔操作装置10に含まれる出力装置11がモニタであり、操作入力装置12がコントローラであるとする。また、一具体例として、操作対象20に含まれる情報収集装置21がカメラであり、駆動装置22がロボットであるとする。また、一具体例として、処理装置50がサーバであるとする。したがって、遠隔操作システム100bでは、ロボットを一例として説明する。
操作入力装置12は、操作対象20である駆動装置22に対する指示の入力を受け付ける。操作入力装置12は、入力された操作情報を、伝送網NWを介して処理装置50に送信する。
処理装置50は、操作入力装置12から送信された操作情報を入力とする。処理装置50は、入力した操作情報に対して操作性を高めるための処理を行う。そして、処理装置50は、処理後の操作情報を駆動装置22に送信する。
駆動装置22であるロボットは、処理装置50から送信された処理後の操作情報に応じた動作を行う。
このような状況下における品質管理部30及び伝達制御部40の処理について5つのパターンを説明する。
[パターン1]
・伝送時間及び処理時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、操作入力装置12と処理装置50との間の伝送時間と、処理装置50と駆動装置22との間の伝送時間を計測する。さらに、品質管理部30は、処理装置50による処理時間を計測する。その後、品質管理部30は、計測した各時間の合計時間を算出する。品質管理部30は、算出した合計時間と、品質要件で示される値とを比較することで、算出した合計時間が品質要件を満たすか否かを判定する。品質管理部30は、算出した合計時間が、品質要件で示される値未満である場合、合計時間が品質要件を満たすと判定する。一方、品質管理部30は、算出した合計時間が、品質要件で示される値以上である場合、合計時間が品質要件を満たさないと判定する。
・伝送時間及び処理時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、操作入力装置12と処理装置50との間の伝送時間と、処理装置50と駆動装置22との間の伝送時間を計測する。さらに、品質管理部30は、処理装置50による処理時間を計測する。その後、品質管理部30は、計測した各時間の合計時間を算出する。品質管理部30は、算出した合計時間と、品質要件で示される値とを比較することで、算出した合計時間が品質要件を満たすか否かを判定する。品質管理部30は、算出した合計時間が、品質要件で示される値未満である場合、合計時間が品質要件を満たすと判定する。一方、品質管理部30は、算出した合計時間が、品質要件で示される値以上である場合、合計時間が品質要件を満たさないと判定する。
品質管理部30が、算出した合計時間が品質要件を満たすと判定した場合には、品質管理部30は合計時間が品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、算出した合計時間が品質要件を満たさないと判定した場合には、品質管理部30は合計時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
品質管理部30による伝送時間及び処理時間の計測は、操作入力装置12から駆動装置22への指示が行われている間であればどのタイミングで行われてもよい。また、品質管理部30による伝送時間及び処理時間の計測は、1回だけではなく、所定の時間経過するたびに継続的に実行されてもよい。
[パターン2]
・伝送時間及び処理時間を計測し、品質劣化時に可動部(アームやローラ等)の動作を緊急停止させる、又は、可動部の動作の速度を遅くする。
パターン2では、基本的にはパターン1と同様の処理を行う。品質管理部30が、算出した合計時間が品質要件を満たさないと判定した場合には、品質管理部30は合計時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、可動部の動作の速度を遅くさせる。なお、伝達制御部40は、合計時間が品質要件を満たさないことを示す品質判定結果が得られるたびに、徐々に可動部の動作の速度を遅くさせてもよい。
・伝送時間及び処理時間を計測し、品質劣化時に可動部(アームやローラ等)の動作を緊急停止させる、又は、可動部の動作の速度を遅くする。
パターン2では、基本的にはパターン1と同様の処理を行う。品質管理部30が、算出した合計時間が品質要件を満たさないと判定した場合には、品質管理部30は合計時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、可動部の動作の速度を遅くさせる。なお、伝達制御部40は、合計時間が品質要件を満たさないことを示す品質判定結果が得られるたびに、徐々に可動部の動作の速度を遅くさせてもよい。
[パターン3]
・パターン1とパターン2を組み合わせた場合
パターン3では、基本的にはパターン1と同様の処理を行う。品質管理部30が、算出した合計時間が品質要件を満たさないと判定した場合には、品質管理部30は合計時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は、パターン1のように「品質劣化状態」であることをモニタである出力装置11に画面表示させつつ、パターン2のように駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、動作の速度を遅くさせる。
・パターン1とパターン2を組み合わせた場合
パターン3では、基本的にはパターン1と同様の処理を行う。品質管理部30が、算出した合計時間が品質要件を満たさないと判定した場合には、品質管理部30は合計時間が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は、パターン1のように「品質劣化状態」であることをモニタである出力装置11に画面表示させつつ、パターン2のように駆動装置22の動作を緊急停止させる、又は、ロボットである駆動装置22が備えるアームやローラのような可動部の動作を停止、又は、動作の速度を遅くさせる。
処理装置50は、出力装置11に画面表示させる制御と駆動装置22の動作の制御とを異なるタイミングで実行してもよいし、同じタイミングで実行してもよい。
[パターン4]
・パターン1からパターン3で取得する情報が伝送時間と処理時間の揺らぎの場合
ここでは一例としてパターン1の場合を例に説明する。パターン4では、品質管理部30は、操作入力装置12と処理装置50との間の伝送時間揺らぎと、処理装置50と駆動装置22との間の伝送時間揺らぎを計測する。さらに、品質管理部30は、処理装置50による処理時間の揺らぎを計測する。その後、品質管理部30は、計測した各時間の揺らぎの合計値を算出する。品質管理部30は、算出した揺らぎの合計値と、品質要件で示される値とを比較することで、算出した揺らぎの合計値が品質要件を満たすか否かを判定する。品質管理部30は、算出した揺らぎの合計値が、品質要件で示される値未満である場合、揺らぎの合計値が品質要件を満たすと判定する。一方、品質管理部30は、算出した揺らぎの合計値が、品質要件で示される値以上である場合、揺らぎの合計値が品質要件を満たさないと判定する。
・パターン1からパターン3で取得する情報が伝送時間と処理時間の揺らぎの場合
ここでは一例としてパターン1の場合を例に説明する。パターン4では、品質管理部30は、操作入力装置12と処理装置50との間の伝送時間揺らぎと、処理装置50と駆動装置22との間の伝送時間揺らぎを計測する。さらに、品質管理部30は、処理装置50による処理時間の揺らぎを計測する。その後、品質管理部30は、計測した各時間の揺らぎの合計値を算出する。品質管理部30は、算出した揺らぎの合計値と、品質要件で示される値とを比較することで、算出した揺らぎの合計値が品質要件を満たすか否かを判定する。品質管理部30は、算出した揺らぎの合計値が、品質要件で示される値未満である場合、揺らぎの合計値が品質要件を満たすと判定する。一方、品質管理部30は、算出した揺らぎの合計値が、品質要件で示される値以上である場合、揺らぎの合計値が品質要件を満たさないと判定する。
品質管理部30が、算出した揺らぎの合計値が品質要件を満たすと判定した場合には、品質管理部30は揺らぎの合計値が品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、算出した揺らぎの合計値が品質要件を満たさないと判定した場合には、品質管理部30は揺らぎの合計値が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
[パターン5]
・パターン1からパターン3で取得する情報が光伝送路区間のパワー、パケットや信号のエラー率、又は、処理装置50の処理負荷の場合
ここでは一例としてパターン1の場合を例に説明する。光伝送路区間のパワーを取得する場合には、操作入力装置12と処理装置50との間と、処理装置50と駆動装置22との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、操作入力装置12と処理装置50との間の光伝送路区間のパワーと、処理装置50と駆動装置22との間の光伝送路区間のパワーを計測する。その後、品質管理部30は、計測した各区間のパワーの合計値を算出する。品質管理部30は、算出したパワーの合計値と、品質要件で示される値とを比較することで、算出したパワーの合計値が品質要件を満たすか否かを判定する。
・パターン1からパターン3で取得する情報が光伝送路区間のパワー、パケットや信号のエラー率、又は、処理装置50の処理負荷の場合
ここでは一例としてパターン1の場合を例に説明する。光伝送路区間のパワーを取得する場合には、操作入力装置12と処理装置50との間と、処理装置50と駆動装置22との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、操作入力装置12と処理装置50との間の光伝送路区間のパワーと、処理装置50と駆動装置22との間の光伝送路区間のパワーを計測する。その後、品質管理部30は、計測した各区間のパワーの合計値を算出する。品質管理部30は、算出したパワーの合計値と、品質要件で示される値とを比較することで、算出したパワーの合計値が品質要件を満たすか否かを判定する。
品質管理部30は、算出したパワーの合計値が、品質要件で示される値未満である場合、算出したパワーの合計値が品質要件を満たすと判定する。一方、品質管理部30は、算出したパワーの合計値が、品質要件で示される値以上である場合、算出したパワーの合計値が品質要件を満たさないと判定する。
品質管理部30が、算出したパワーの合計値が品質要件を満たすと判定した場合には、品質管理部30はパワーの合計値が品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、算出したパワーの合計値が品質要件を満たさないと判定した場合には、品質管理部30はパワーの合計値が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
同様に、パターン5では、品質管理部30は、操作入力装置12と処理装置50との間のパケット又は信号のエラー率(パケットロス)と、処理装置50と駆動装置22との間のパケット又は信号のエラー率(パケットロス)を計測する。その後、品質管理部30は、計測した各区間のパケット又は信号のエラー率の合計値を算出する。品質管理部30は、算出したパケット又は信号のエラー率の合計値と、品質要件で示される値とを比較することで、算出したパケット又は信号のエラー率の合計値が品質要件を満たすか否かを判定する。
品質管理部30は、算出したパケット又は信号のエラー率の合計値が、品質要件で示される値未満である場合、算出したパケット又は信号のエラー率の合計値が品質要件を満たすと判定する。一方、品質管理部30は、算出したパケット又は信号のエラー率の合計値が、品質要件で示される値以上である場合、算出したパケット又は信号のエラー率の合計値が品質要件を満たさないと判定する。
品質管理部30が、算出したパケット又は信号のエラー率の合計値が品質要件を満たすと判定した場合には、品質管理部30はパケット又は信号のエラー率の合計値が品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、算出したパケット又は信号のエラー率の合計値が品質要件を満たさないと判定した場合には、品質管理部30はパケット又は信号のエラー率の合計値が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
同様に、パターン5では、品質管理部30は、処理装置50における処理負荷を取得する。品質管理部30は、取得した処理負荷が、品質要件を満たすか否かを判定する。品質管理部30は、取得した処理負荷が、品質要件で示される値未満である場合、処理負荷が品質要件を満たすと判定する。一方、品質管理部30は、取得した処理負荷が、品質要件で示される値以上である場合、処理負荷が品質要件を満たさないと判定する。
品質管理部30が、取得した処理負荷が品質要件を満たすと判定した場合には、品質管理部30は処理負荷が品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30が、取得した処理負荷が品質要件を満たさないと判定した場合には、品質管理部30は処理負荷が品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。伝達制御部40は、品質管理部30から通知された品質判定結果に基づく制御を行う。例えば、伝達制御部40は「品質劣化状態」であることをモニタである出力装置11に画面表示させる。
以上のように構成された遠隔操作システム100bによれば、処理装置50が備えられる場合には、遠隔操作装置10と処理装置50との間の伝送時間と、操作対象20と処理装置50との間の伝送時間と、処理装置50による処理時間の合計値を伝送品質として用いる。これにより、遠隔操作装置10から操作対象20に対して送信する情報、又は、操作対象20から遠隔操作装置10に対して送信する情報に対する処理時間も加味して伝送品質を取得することができる。そして、遠隔操作システム100aで規定されている品質要件を満たさない場合においては、安全、即時性及び正確性を満たす操作が実現できるよう操作者への通知や、操作対象20に対する制御が可能になる。
(第2の実施形態における変形例1)
上述したパターン5において、品質管理部30は、複数の伝送品質を組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。例えば、品質管理部30は、光伝送路区間のパワー、パケットや信号のエラー率、又は、処理装置50の処理負荷のいずれか2つ以上の伝送品質を選択して、選択した2つ以上の伝送品質により品質要件を満たすか否かを判定してもよい。このように構成される場合、品質管理部30は、選択した2つ以上の伝送品質それぞれで品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
上述したパターン5において、品質管理部30は、複数の伝送品質を組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。例えば、品質管理部30は、光伝送路区間のパワー、パケットや信号のエラー率、又は、処理装置50の処理負荷のいずれか2つ以上の伝送品質を選択して、選択した2つ以上の伝送品質により品質要件を満たすか否かを判定してもよい。このように構成される場合、品質管理部30は、選択した2つ以上の伝送品質それぞれで品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30は、選択した2つ以上の伝送品質のいずれかで品質要件を満たさない場合に、品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。例えば、光伝送路区間のパワーとパケットや信号のエラー率の2つの伝送品質を例にすると、品質管理部30はパワーの合計値が品質要件を満たし、かつ、パケット又は信号のエラー率の合計値が品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知する。一方、品質管理部30はそれ以外の場合には、品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。このように構成されることによって、1つの伝送品質が品質要件を満たす状況であって、別の理由でネットワーク環境が品質要件を満たさない場合においても対応することができる。
(第2の実施形態における変形例2)
品質管理部30は、上述したパターン1~パターン5のいずれかを組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。具体的な方法としては、第2の実施形態における変形例1で示したとおりである。
品質管理部30は、上述したパターン1~パターン5のいずれかを組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。具体的な方法としては、第2の実施形態における変形例1で示したとおりである。
(第3の実施形態)
第3の実施形態では、処理装置が遠隔操作装置側に備えられる構成について説明する。
第3の実施形態では、処理装置が遠隔操作装置側に備えられる構成について説明する。
図4は、第3の実施形態における遠隔操作システム100cの構成例を示す図である。遠隔操作システム100cは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40を備える。遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40の台数は特に限定されない。
図4に示すように、遠隔操作システム100cは、遠隔操作装置10と操作対象20の両方に処理装置を備える。一具体例として、遠隔操作装置10に含まれる出力装置11がモニタであり、操作入力装置12がコントローラであり、処理装置13がサーバであるとする。また、一具体例として、操作対象20に含まれる処理装置23がサーバであるとする。遠隔操作システム100cでは、クラウド処理、サーバアクセス又はブラウジング等のネットワーク間でサーバ間通信を行うもの全てを対象とする。
処理装置13は、ユーザの操作に応じて伝送網NWを介して処理装置23との間で通信を行う。処理装置13は、処理装置23に対して処理や情報提供を要求する。処理装置13は、処理装置23から得られた情報をモニタに表示させてもよい。
処理装置23は、ユーザの操作に応じて伝送網NWを介して処理装置13との間で通信を行う。処理装置23は、処理装置13からの要求に応じた処理を行う。
このような状況下における品質管理部30及び伝達制御部40の処理は、基本的には第2の実施形態で示したパターン1、パターン4及びパターン5と同様である。以下、第2の実施形態と異なる点を中心に説明する。
[パターン1]
・伝送時間及び処理時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、処理装置13と処理装置23との間の伝送時間を計測する。さらに、品質管理部30は、処理装置23による処理時間を計測する。その後、品質管理部30は、計測した各時間の合計時間を算出する。品質管理部30は、算出した合計時間と、品質要件で示される値とを比較することで、算出した合計時間が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
・伝送時間及び処理時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、処理装置13と処理装置23との間の伝送時間を計測する。さらに、品質管理部30は、処理装置23による処理時間を計測する。その後、品質管理部30は、計測した各時間の合計時間を算出する。品質管理部30は、算出した合計時間と、品質要件で示される値とを比較することで、算出した合計時間が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
[パターン4]
・パターン1で取得する情報が伝送時間と処理時間の揺らぎの場合
パターン4では、品質管理部30は、処理装置13と処理装置23との間の伝送時間揺らぎを計測する。さらに、品質管理部30は、処理装置23による処理時間の揺らぎを計測する。その後、品質管理部30は、計測した各時間の揺らぎの合計値を算出する。品質管理部30は、算出した揺らぎの合計値と、品質要件で示される値とを比較することで、算出した揺らぎの合計値が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
・パターン1で取得する情報が伝送時間と処理時間の揺らぎの場合
パターン4では、品質管理部30は、処理装置13と処理装置23との間の伝送時間揺らぎを計測する。さらに、品質管理部30は、処理装置23による処理時間の揺らぎを計測する。その後、品質管理部30は、計測した各時間の揺らぎの合計値を算出する。品質管理部30は、算出した揺らぎの合計値と、品質要件で示される値とを比較することで、算出した揺らぎの合計値が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
[パターン5]
・パターン1で取得する情報が光伝送路区間のパワー、パケットや信号のエラー率の場合、又は、処理装置50の処理負荷の場合
光伝送路区間のパワーを取得する場合には、処理装置13と処理装置23との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、処理装置13と処理装置23との間の光伝送路区間のパワーを計測する。その後の処理は、第2の実施形態と同様である。
・パターン1で取得する情報が光伝送路区間のパワー、パケットや信号のエラー率の場合、又は、処理装置50の処理負荷の場合
光伝送路区間のパワーを取得する場合には、処理装置13と処理装置23との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、処理装置13と処理装置23との間の光伝送路区間のパワーを計測する。その後の処理は、第2の実施形態と同様である。
同様に、パターン5では、品質管理部30は、処理装置13と処理装置23との間のパケット又は信号のエラー率(パケットロス)を計測する。品質管理部30は、取得したパケット又は信号のエラー率が、品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
同様に、パターン5では、品質管理部30は、処理装置23における処理負荷を取得する。品質管理部30は、取得した処理負荷が、品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
以上のように構成された遠隔操作システム100cによれば、サーバ間で通信を行う環境においても第1の実施形態と同様の効果を得ることができる。
第4の実施形態では、遠隔操作装置が複数備えられる構成について説明する。
図5は、第4の実施形態における遠隔操作システム100dの構成例を示す図である。遠隔操作システム100dは、遠隔操作装置10-1~10-2と、操作対象20と、品質管理部30と、伝達制御部40を備える。遠隔操作装置10-1~10-2、操作対象20、品質管理部30及び伝達制御部40は、伝送網NWを介して接続される。また、遠隔操作装置10-1~10-2、操作対象20、品質管理部30及び伝達制御部40の台数は特に限定されない。
図5に示すように、遠隔操作システム100dは、複数の遠隔操作装置10-1~10-2を備える。例えば、遠隔操作装置10-1と遠隔操作装置10-2とは、地理的に異なる地点に設置されていてもよいし、同一拠点内に設置されていてもよい。一具体例として、遠隔操作装置10-1に含まれる出力装置11-1がモニタであり、操作入力装置12-1がコントローラであるとする。また、一具体例として、遠隔操作装置10-2に含まれる出力装置11-2がモニタであり、操作入力装置12-2がコントローラであるとする。また、一具体例として、操作対象20に含まれる処理装置23がサーバであるとする。遠隔操作システム100dでは、オンラインゲーム、協調作業、遠隔会議、ウェビナー等のネットワーク間で、サーバと複数の遠隔操作装置10が接続する使い方全てを対象とする。
このような状況下における品質管理部30及び伝達制御部40の処理は、基本的には第2の実施形態で示したパターン1、パターン4及びパターン5と同様である。以下、第2の実施形態と異なる点を中心に説明する。
[パターン1]
・伝送時間及び処理時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、遠隔操作装置10-1と処理装置23との間の伝送時間と、遠隔操作装置10-2と処理装置23との間の伝送時間を計測する。さらに、品質管理部30は、処理装置23による処理時間を計測する。その後、品質管理部30は、計測した各時間の合計時間を算出する。品質管理部30は、算出した合計時間と、品質要件で示される値とを比較することで、算出した合計時間が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
・伝送時間及び処理時間を計測し、品質劣化時にモニタに品質劣化状態の旨を画面表示する。
パターン1では、品質管理部30は、遠隔操作装置10-1と処理装置23との間の伝送時間と、遠隔操作装置10-2と処理装置23との間の伝送時間を計測する。さらに、品質管理部30は、処理装置23による処理時間を計測する。その後、品質管理部30は、計測した各時間の合計時間を算出する。品質管理部30は、算出した合計時間と、品質要件で示される値とを比較することで、算出した合計時間が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
[パターン4]
・パターン1で取得する情報が伝送時間と処理時間の揺らぎの場合
パターン4では、品質管理部30は、遠隔操作装置10-1と処理装置23との間の伝送時間揺らぎと、遠隔操作装置10-2と処理装置23との間の伝送時間揺らぎを計測する。さらに、品質管理部30は、処理装置23による処理時間の揺らぎを計測する。その後、品質管理部30は、計測した各時間の揺らぎの合計値を算出する。品質管理部30は、算出した揺らぎの合計値と、品質要件で示される値とを比較することで、算出した揺らぎの合計値が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
・パターン1で取得する情報が伝送時間と処理時間の揺らぎの場合
パターン4では、品質管理部30は、遠隔操作装置10-1と処理装置23との間の伝送時間揺らぎと、遠隔操作装置10-2と処理装置23との間の伝送時間揺らぎを計測する。さらに、品質管理部30は、処理装置23による処理時間の揺らぎを計測する。その後、品質管理部30は、計測した各時間の揺らぎの合計値を算出する。品質管理部30は、算出した揺らぎの合計値と、品質要件で示される値とを比較することで、算出した揺らぎの合計値が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
[パターン5]
・パターン1で取得する情報が光伝送路区間のパワー、パケットや信号のエラー率の場合、又は、処理装置50の処理負荷の場合
光伝送路区間のパワーを取得する場合には、遠隔操作装置10-1と処理装置23との間と、遠隔操作装置10-2と処理装置23との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、遠隔操作装置10-1と処理装置23との間の光伝送路区間のパワーと、遠隔操作装置10-2と処理装置23との間の光伝送路区間のパワーを計測する。その後、品質管理部30は、計測した各光伝送路区間のパワーの合計値を算出する。品質管理部30は、算出した各光伝送路区間のパワーの合計値と、品質要件で示される値とを比較することで、算出した各光伝送路区間のパワーの合計値が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
・パターン1で取得する情報が光伝送路区間のパワー、パケットや信号のエラー率の場合、又は、処理装置50の処理負荷の場合
光伝送路区間のパワーを取得する場合には、遠隔操作装置10-1と処理装置23との間と、遠隔操作装置10-2と処理装置23との間が光伝送路で接続されていることが前提となる。パターン5では、品質管理部30は、遠隔操作装置10-1と処理装置23との間の光伝送路区間のパワーと、遠隔操作装置10-2と処理装置23との間の光伝送路区間のパワーを計測する。その後、品質管理部30は、計測した各光伝送路区間のパワーの合計値を算出する。品質管理部30は、算出した各光伝送路区間のパワーの合計値と、品質要件で示される値とを比較することで、算出した各光伝送路区間のパワーの合計値が品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
同様に、パターン5では、品質管理部30は、処理装置13と処理装置23との間のパケット又は信号のエラー率(パケットロス)を計測する。品質管理部30は、取得したパケット又は信号のエラー率が、品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
同様に、パターン5では、品質管理部30は、処理装置23における処理負荷を取得する。品質管理部30は、取得した処理負荷が、品質要件を満たすか否かを判定する。その後の処理は、第2の実施形態と同様である。
以上のように構成された遠隔操作システム100dによれば、遠隔操作装置10が複数存在する環境においても第1の実施形態と同様の効果を得ることができる。
(第3の実施形態及び第4の実施形態に共通する変形例1)
上述したパターン5において、品質管理部30は、複数の伝送品質を組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。例えば、品質管理部30は、光伝送路区間のパワー、パケットや信号のエラー率、又は、処理装置50の処理負荷のいずれか2つ以上の伝送品質を選択して、選択した2つ以上の伝送品質により品質要件を満たすか否かを判定してもよい。このように構成される場合、品質管理部30は、選択した2つ以上の伝送品質それぞれで品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
上述したパターン5において、品質管理部30は、複数の伝送品質を組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。例えば、品質管理部30は、光伝送路区間のパワー、パケットや信号のエラー率、又は、処理装置50の処理負荷のいずれか2つ以上の伝送品質を選択して、選択した2つ以上の伝送品質により品質要件を満たすか否かを判定してもよい。このように構成される場合、品質管理部30は、選択した2つ以上の伝送品質それぞれで品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知してもよいし、通知しなくてもよい。
一方、品質管理部30は、選択した2つ以上の伝送品質のいずれかで品質要件を満たさない場合に、品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。例えば、光伝送路区間のパワーとパケットや信号のエラー率の2つの伝送品質を例にすると、品質管理部30はパワーの合計値が品質要件を満たし、かつ、パケット又は信号のエラー率の合計値が品質要件を満たす場合に、品質要件を満たすことを示す品質判定結果を伝達制御部40に通知する。一方、品質管理部30はそれ以外の場合には、品質要件を満たさないことを示す品質判定結果を伝達制御部40に通知する。このように構成されることによって、1つの伝送品質が品質要件を満たす状況であって、別の理由でネットワーク環境が品質要件を満たさない場合においても対応することができる。
(第3の実施形態及び第4の実施形態に共通する変形例2)
品質管理部30は、上述したパターン1、パターン4又はパターン5のいずれかを組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。具体的な方法としては、第3の実施形態及び第4の実施形態に共通する変形例1で示したとおりである。
品質管理部30は、上述したパターン1、パターン4又はパターン5のいずれかを組み合わせて品質要件を満たすか否かを判定するように構成されてもよい。具体的な方法としては、第3の実施形態及び第4の実施形態に共通する変形例1で示したとおりである。
(第5の実施形態)
上述した第1の実施形態から第4の実施形態では、品質判定結果に基づいて遠隔操作システムで規定されている品質要件を満たさない場合においては、安全、即時性及び正確性を満たす操作が実現できるよう操作者への通知、又は、操作対象に対する制御の少なくともいずれかを行うことができる。しかしながら、第1の実施形態から第4の実施形態では、伝送網を含む通信における伝送品質が変動した場合に操作性を高めることができない場合があった。例えば、第1の実施形態から第4の実施形態では、伝送網を含む通信における伝送品質が変動した場合に、モニタに情報を付加する具体的な方法や、ロボット等の駆動装置を制御する具体的な方法に関する具体的な構成については記載されていない。そこで、第5の実施形態では、伝送網を含む通信における伝送品質が変動した場合において操作性を高めることができる構成について説明する。
上述した第1の実施形態から第4の実施形態では、品質判定結果に基づいて遠隔操作システムで規定されている品質要件を満たさない場合においては、安全、即時性及び正確性を満たす操作が実現できるよう操作者への通知、又は、操作対象に対する制御の少なくともいずれかを行うことができる。しかしながら、第1の実施形態から第4の実施形態では、伝送網を含む通信における伝送品質が変動した場合に操作性を高めることができない場合があった。例えば、第1の実施形態から第4の実施形態では、伝送網を含む通信における伝送品質が変動した場合に、モニタに情報を付加する具体的な方法や、ロボット等の駆動装置を制御する具体的な方法に関する具体的な構成については記載されていない。そこで、第5の実施形態では、伝送網を含む通信における伝送品質が変動した場合において操作性を高めることができる構成について説明する。
まず具体例を挙げて説明する前に、第5の実施形態における遠隔操作システム200の概要について図6を用いて説明する。図6は、第5の実施形態における遠隔操作システム200の概要を説明するための図である。遠隔操作システム200は、ある地点から異なる地点に配置されている機器等を遠隔で操作するシステムである。遠隔操作システム200は、例えば遠隔アーム操作、遠隔手術、遠隔工事、遠隔点検等の操作対象の機器を遠隔で操作する作業であれば特に限定されない。
遠隔操作システム200は、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40と、処理装置50を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40及び処理装置50は、伝送網NWを介して接続される。遠隔操作装置10、操作対象20、処理装置50及び伝送網NWについては、図1で説明したため説明を省略する。品質管理部30及び伝達制御部40は、1又は複数の筐体に備えられて制御装置Cとして機能する。
伝達制御部40は、図1で説明した処理と同様の処理を行う。さらに、伝達制御部40は、伝送品質が変動した場合に、遠隔操作装置10、操作対象20又は処理装置50のいずれかに対して伝送品質を示す情報を通知する。これにより、伝達制御部40は、伝送品質を示す情報の通知先の装置において、伝送品質に応じた処理を実行させる。ここで伝送品質が変動した場合とは、品質管理部30から通知される品質判定結果が変化した場合である。例えば、品質管理部30から通知される品質判定結果が、品質良好状態から品質劣化状態に変化した場合、又は、品質劣化状態から品質良好状態に変化した場合である。
品質良好状態から品質劣化状態に変化した場合に、遠隔操作装置10、操作対象20又は処理装置50のいずれかで実行される制御の一例について説明する。
(品質良好状態から品質劣化状態に変化した場合の制御例1)
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、処理装置50はコントローラからロボットへの操作情報を変更、又は、操作情報に情報を付加して、ロボットの動作制御(例えば、動作減速又は操作停止させる制御)を行う。このように、品質良好状態から品質劣化状態に変化した場合、通信環境が悪いことが想定される。そこで、処理装置50は、コントローラからロボットへの操作情報を、ロボットの稼働状態を下げるような操作情報に変更、又は、操作情報にロボットの稼働状態を下げるような情報を付加することでロボットの動作を制御する。
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、処理装置50はコントローラからロボットへの操作情報を変更、又は、操作情報に情報を付加して、ロボットの動作制御(例えば、動作減速又は操作停止させる制御)を行う。このように、品質良好状態から品質劣化状態に変化した場合、通信環境が悪いことが想定される。そこで、処理装置50は、コントローラからロボットへの操作情報を、ロボットの稼働状態を下げるような操作情報に変更、又は、操作情報にロボットの稼働状態を下げるような情報を付加することでロボットの動作を制御する。
(品質良好状態から品質劣化状態に変化した場合の制御例2)
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、コントローラはロボットの動作制御(例えば、動作減速又は操作停止させる制御)を行う。品質良好状態から品質劣化状態に変化した場合、通信環境が悪いことが想定される。そこで、コントローラは、ロボットへの操作情報として、ロボットの稼働状態を下げるような制御指示を含む操作情報をロボットに送信することでロボットの動作を制御する。
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、コントローラはロボットの動作制御(例えば、動作減速又は操作停止させる制御)を行う。品質良好状態から品質劣化状態に変化した場合、通信環境が悪いことが想定される。そこで、コントローラは、ロボットへの操作情報として、ロボットの稼働状態を下げるような制御指示を含む操作情報をロボットに送信することでロボットの動作を制御する。
(品質良好状態から品質劣化状態に変化した場合の制御例3)
・操作対象20における情報収集装置21がカメラである場合、カメラは映像容量を低くする制御を行う。映像容量は、例えば、解像度、画素数、圧縮率、色調又は画像フレームレート等である。すなわち、カメラは、解像度、画素数、圧縮率、色調又は画像フレームレートの少なくともいずれかを通常時よりも低くする制御を行う。
・操作対象20における情報収集装置21がカメラである場合、カメラは映像容量を低くする制御を行う。映像容量は、例えば、解像度、画素数、圧縮率、色調又は画像フレームレート等である。すなわち、カメラは、解像度、画素数、圧縮率、色調又は画像フレームレートの少なくともいずれかを通常時よりも低くする制御を行う。
(品質良好状態から品質劣化状態に変化した場合の制御例4)
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、処理装置50はカメラからモニタへの映像情報に、品質が劣化した旨を示す情報を追加表示する制御を行う。なお、操作対象20における駆動装置22がロボットである場合、処理装置50はカメラからモニタへの映像情報に、ロボットの動作状態(例えば、アーム動作の制御を行っている)を示す情報を追加表示する制御を行ってもよい。
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、処理装置50はカメラからモニタへの映像情報に、品質が劣化した旨を示す情報を追加表示する制御を行う。なお、操作対象20における駆動装置22がロボットである場合、処理装置50はカメラからモニタへの映像情報に、ロボットの動作状態(例えば、アーム動作の制御を行っている)を示す情報を追加表示する制御を行ってもよい。
(品質良好状態から品質劣化状態に変化した場合の制御例5)
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、モニタはカメラから出力された映像情報に、品質が劣化した旨を示す情報を追加表示する制御を行う。なお、操作対象20における駆動装置22がロボットである場合、モニタはカメラから出力された映像情報に、ロボットの動作状態(例えば、アーム動作の制御を行っている)を示す情報を追加表示する制御を行ってもよい。
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、モニタはカメラから出力された映像情報に、品質が劣化した旨を示す情報を追加表示する制御を行う。なお、操作対象20における駆動装置22がロボットである場合、モニタはカメラから出力された映像情報に、ロボットの動作状態(例えば、アーム動作の制御を行っている)を示す情報を追加表示する制御を行ってもよい。
次に品質劣化状態から品質良好状態に変化した場合に、遠隔操作装置10、操作対象20又は処理装置50のいずれかで実行される制御の一例について説明する。
(品質劣化状態から品質良好状態に変化した場合の制御例1)
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、処理装置50はコントローラからロボットへの操作情報を変更、又は、操作情報に情報を付加して、ロボットの動作制御(例えば、通常時の動作に戻す制御)を行う。ロボットを通常時の動作に戻す制御には、停止状態を解除する制御や、動作(例えば、アーム動作等)の速度を正常時の状態に戻す制御等が含まれる。このように、品質劣化状態から品質良好状態に変化した場合、通信環境が良くなったことが想定される。そこで、処理装置50は、コントローラからロボットへの操作情報を、ロボットの稼働状態を上げるような操作情報に変更、又は、操作情報にロボットの稼働状態を上げるような情報を付加することでロボットの動作を制御する。
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、処理装置50はコントローラからロボットへの操作情報を変更、又は、操作情報に情報を付加して、ロボットの動作制御(例えば、通常時の動作に戻す制御)を行う。ロボットを通常時の動作に戻す制御には、停止状態を解除する制御や、動作(例えば、アーム動作等)の速度を正常時の状態に戻す制御等が含まれる。このように、品質劣化状態から品質良好状態に変化した場合、通信環境が良くなったことが想定される。そこで、処理装置50は、コントローラからロボットへの操作情報を、ロボットの稼働状態を上げるような操作情報に変更、又は、操作情報にロボットの稼働状態を上げるような情報を付加することでロボットの動作を制御する。
(品質劣化状態から品質良好状態に変化した場合の制御例2)
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、コントローラはロボットの動作制御(例えば、通常時の動作に戻す制御)を行う。品質劣化状態から品質良好状態に変化した場合、通信環境が良くなったことが想定される。そこで、コントローラは、ロボットへの操作情報として、ロボットの稼働状態を上げるような操作情報に変更、又は、操作情報にロボットの稼働状態を上げるような情報を付加することでロボットの動作を制御する。
・遠隔操作装置10における操作入力装置12がコントローラであり、操作対象20における駆動装置22がロボットである場合、コントローラはロボットの動作制御(例えば、通常時の動作に戻す制御)を行う。品質劣化状態から品質良好状態に変化した場合、通信環境が良くなったことが想定される。そこで、コントローラは、ロボットへの操作情報として、ロボットの稼働状態を上げるような操作情報に変更、又は、操作情報にロボットの稼働状態を上げるような情報を付加することでロボットの動作を制御する。
(品質劣化状態から品質良好状態に変化した場合の制御例3)
・操作対象20における情報収集装置21がカメラである場合、カメラは映像容量(例えば、解像度、画素数、圧縮率、色調又は画像フレームレート等)を正常時に戻す、又は、高くする制御を行う。すなわち、カメラは、解像度、画素数、圧縮率、色調又は画像フレームレートの少なくともいずれかを通常時に戻す、又は、低くした状態よりも高くする制御を行う。
・操作対象20における情報収集装置21がカメラである場合、カメラは映像容量(例えば、解像度、画素数、圧縮率、色調又は画像フレームレート等)を正常時に戻す、又は、高くする制御を行う。すなわち、カメラは、解像度、画素数、圧縮率、色調又は画像フレームレートの少なくともいずれかを通常時に戻す、又は、低くした状態よりも高くする制御を行う。
(品質劣化状態から品質良好状態に変化した場合の制御例4)
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、処理装置50はカメラからモニタへの映像情報に、品質が良好になった旨を示す情報を追加表示する制御を行う。ここで、処理装置50は、品質が良好になった旨を示す情報を追加表示する代わりに、モニタに表示されている品質が劣化した旨を示す情報を削除するように表示制御を行ってもよい。なお、操作対象20における駆動装置22がロボットである場合、処理装置50はロボットの動作状態(例えば、アーム動作の制御)を正常化した旨を示す情報を追加表示する制御を行ってもよい。ここで、処理装置50は、ロボットの動作状態が正常化した旨を示す情報を追加表示する代わりに、モニタに表示されているロボットの動作状態を示す情報を削除するように表示制御を行ってもよい。
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、処理装置50はカメラからモニタへの映像情報に、品質が良好になった旨を示す情報を追加表示する制御を行う。ここで、処理装置50は、品質が良好になった旨を示す情報を追加表示する代わりに、モニタに表示されている品質が劣化した旨を示す情報を削除するように表示制御を行ってもよい。なお、操作対象20における駆動装置22がロボットである場合、処理装置50はロボットの動作状態(例えば、アーム動作の制御)を正常化した旨を示す情報を追加表示する制御を行ってもよい。ここで、処理装置50は、ロボットの動作状態が正常化した旨を示す情報を追加表示する代わりに、モニタに表示されているロボットの動作状態を示す情報を削除するように表示制御を行ってもよい。
(品質劣化状態から品質良好状態に変化した場合の制御例5)
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、モニタはカメラから出力された映像情報に、品質が良好になった旨を示す情報を追加表示する制御を行う。ここで、モニタは、品質が良好になった旨を示す情報を追加表示する代わりに、表示している品質が劣化した旨を示す情報を削除するように表示制御を行ってもよい。なお、操作対象20における駆動装置22がロボットである場合、モニタはカメラから出力された映像情報に、ロボットの動作状態(例えば、アーム動作の制御)を正常化した旨を示す情報を追加表示する制御を行ってもよい。ここで、モニタは、ロボットの動作状態が正常化した旨を示す情報を追加表示する代わりに、表示しているロボットの動作状態を示す情報を削除するように表示制御を行ってもよい。
・遠隔操作装置10における出力装置11がモニタであり、操作対象20における情報収集装置21がカメラである場合、モニタはカメラから出力された映像情報に、品質が良好になった旨を示す情報を追加表示する制御を行う。ここで、モニタは、品質が良好になった旨を示す情報を追加表示する代わりに、表示している品質が劣化した旨を示す情報を削除するように表示制御を行ってもよい。なお、操作対象20における駆動装置22がロボットである場合、モニタはカメラから出力された映像情報に、ロボットの動作状態(例えば、アーム動作の制御)を正常化した旨を示す情報を追加表示する制御を行ってもよい。ここで、モニタは、ロボットの動作状態が正常化した旨を示す情報を追加表示する代わりに、表示しているロボットの動作状態を示す情報を削除するように表示制御を行ってもよい。
なお、上述した品質良好状態から品質劣化状態に変化した場合、又は、品質劣化状態から品質良好状態に変化した場合に実行される制御は一例であり、これに限定されない。
伝送品質を示す情報は、例えば伝送品質を複数の段階で表す品質レベルであってもよい。品質レベルは、伝送時間(エンドツーエンド遅延)、帯域量及びパケットロス率それぞれで定義されてもよい。伝送品質を示す情報は、品質管理部30において品質判定時に決定される。
品質管理部30は、図1で説明した処理と同様の処理を行う。さらに、品質管理部30は、品質判定時に、伝送時間(エンドツーエンド遅延)、帯域量及びパケットロス率それぞれの項目に基づく品質レベルを決定する。品質管理部30は、伝送時間(エンドツーエンド遅延)、帯域量及びパケットロス率それぞれで得られる品質レベルの中で、最も低い品質レベルを、品質判定時の品質レベルとして決定してもよい。
品質管理部30は、品質レベルを決定する際に、各項目における品質レベルの平均値で品質レベルを決定してもよいし、最も高い品質レベルを、品質判定時の品質レベルとして決定してもよい。以上のように、品質管理部30は、伝送時間、帯域量及びパケットロス率のうちいずれか2つ以上の情報を用いて品質レベルを決定する場合、各項目における品質レベルの統計値で品質レベルを決定すればよい。また、品質管理部30が品質レベルを決定する要素は、伝送時間(エンドツーエンド遅延)、帯域量又はパケットロス率のうち1つ以上であればよい。品質レベルは2段階以上であれば何段階でもよい。
第5の実施形態における遠隔操作システム200では、上記の構成により品質が変化した場合においても操作性を高めることが可能になる。なお、図6で示した構成は、一例であり、遠隔操作システム200においては一部の構成を備えない場合であっても上記効果を得ることができる。以下、適用例について説明する。
(第5の実施形態の適用例1)
第5の実施形態の適用例1として、品質の変動に応じて駆動装置22の動作状態を制御する構成について説明する。
第5の実施形態の適用例1として、品質の変動に応じて駆動装置22の動作状態を制御する構成について説明する。
図7は、第5の実施形態の適用例1における遠隔操作システム200aの構成例を示す図である。遠隔操作システム200aは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40aと、処理装置50を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40a及び処理装置50は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40aの台数は特に限定されない。品質管理部30及び伝達制御部40aは、1又は複数の筐体に備えられて制御装置Caとして機能する。
遠隔操作システム200aでは、駆動装置22を制御する場合について説明する。一具体例として、遠隔操作装置10に含まれる出力装置11がモニタであり、操作入力装置12がコントローラであるとする。また、一具体例として、操作対象20に含まれる情報収集装置21がカメラであり、駆動装置22がロボットであるとする。したがって、遠隔操作システム200aでは、ロボットを一例として説明する。
品質管理部30は、図6で説明した処理を行う。例えば、品質管理部30は、図8に示す品質レベル判定テーブルを保持し、保持している品質レベル判定テーブルを参照して品質レベルを決定する。品質管理部30は、決定した品質レベルを示す情報を、品質判定結果に含めて伝達制御部40aに通知する。
図8は、品質レベル判定テーブルの一例を示す図である。品質レベル判定テーブルは、品質レベルに関する情報を表す複数のレコードを有する。レコードは、品質レベル、エンドツーエンド遅延、帯域量及びパケットロス率の値を有する。品質レベルは、対応付けられたエンドツーエンド遅延、帯域量及びパケットロス率それぞれの値に応じて決定される伝送網NWを介した通信における伝送品質のレベルを表す。図8に示す例では、品質レベルとして“1”、“2”、“3”が示されている。品質レベルの数字が大きい値になるほど品質が良いことを示す。なお、品質レベルの段階は3段階に限定されない。
エンドツーエンド遅延は、遠隔操作装置10と操作対象20との間の通信に要する伝送時間を表す。なお、遠隔操作装置10と操作対象20との間の通信において処理装置50が含まれる場合、エンドツーエンド遅延には処理装置50による処理時間も含まれる。帯域量は、遠隔操作装置10と操作対象20との間の通信で使用されている帯域を表す。パケットロス率は、遠隔操作装置10と操作対象20との間の通信におけるパケットロスの割合を表す。
図8に示す例では、品質レベル判定テーブルのエンドツーエンド遅延Tの項目には、“200ms<T”、“100ms<T≦200ms”及び“T≦100ms”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図8に示す品質レベル判定テーブルには、エンドツーエンド遅延Tが200msより高い(200ms<T)場合には品質レベルが“1”であり、エンドツーエンド遅延Tが100msより高く、かつ、200ms以下(100ms<T≦200ms)である場合には品質レベルが“2”であり、エンドツーエンド遅延Tが100ms以下(T≦100ms)である場合には品質レベルが“3”であることが示されている。
また、図8に示す例では、品質レベル判定テーブルの帯域量Bの項目には、“B≦10Mbps”、“10Mbps<B≦100Mbps”及び“100Mbps<B”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図8に示す品質レベル判定テーブルには、帯域量Bが10Mbps以下(B≦10Mbps)である場合には品質レベルが“1”であり、帯域量Bが10Mbpsより高く、かつ、100Mbps以下(10Mbps<B≦100Mbps)である場合には品質レベルが“2”であり、帯域量Bが100Mbpsより高い(100Mbps<B)場合には品質レベルが“3”であることが示されている。
また、図8に示す例では、品質レベル判定テーブルのパケットロス率Lの項目には、“1%<L≦10%”、“0.1%<L≦1%”及び“L≦0.1%”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図8に示す品質レベル判定テーブルには、パケットロス率Lが1%より高く、かつ、10%以下(1%<L≦10%)である場合には品質レベルが“1”であり、パケットロス率Lが0.1%より高く、かつ、1%以下(0.1%<L≦1%)である場合には品質レベルが“2”であり、パケットロス率Lが0.1以下(L≦0.1%)である場合には品質レベルが“3”であることが示されている。
品質管理部30は、品質判定時に収集している伝送時間、帯域量及びパケットロス率の少なくともいずれかに基づいて品質レベルを決定する。そのため、品質管理部30は、伝送時間、帯域量及びパケットロス率の全てを必ずしも収集する必要はない。品質管理部30は、伝送時間、帯域量及びパケットロス率のうちいずれか2つ以上の情報を用いて品質レベルを決定する場合、上述したように各項目における品質レベルの統計値で品質レベルを決定する。
例えば、伝送時間における品質レベルが“1”であり、帯域量における品質レベルが“3”であり、パケットロス率における品質レベルが“2”である場合、品質管理部30は最も低い品質レベルである品質レベル“1”を、品質判定時の品質レベルとして決定してもよい。又は、品質管理部30は、各項目における品質レベルの平均値である品質レベル“2”を、品質判定時の品質レベルとして決定してもよい。又は、品質管理部30は、最も高い品質レベルである品質レベル“3”を、品質判定時の品質レベルとして決定してもよい。いずれの条件で品質レベルを決定するのかについては予め設定されていてもよい。
また、伝送時間(エンドツーエンド遅延)、帯域量及びパケットロス率の中で優先順位が設定されている場合、品質管理部30は優先順位が最も高い項目に対応する品質レベルを、品質判定時の品質レベルとして決定してもよい。品質管理部30は、上記のいずれかの方法により決定した品質レベルを示す情報を品質判定結果に含めて伝達制御部40aに通知する。
伝達制御部40aは、品質管理部30から通知された品質判定結果を取得し、取得した品質判定結果に含まれる品質レベルを示す情報を処理装置50に通知する。なお、伝達制御部40aは、品質判定結果を処理装置50に通知してもよい。
処理装置50は、上述した第1の実施形態から第4の実施形態のいずれかに示す処理装置50と同様の処理を行う。さらに、処理装置50は、伝達制御部40aから品質レベルを示す情報を取得した場合には、品質レベルを示す情報で示される品質レベルに応じて、駆動装置22であるロボットの動作を決定する。そして、処理装置50は、決定したロボットの動作に応じて、入力した操作情報の変更、又は、操作情報に情報を付加した処理後の操作情報をロボット(駆動装置22)に送信する。処理後の操作情報は、変更された操作情報、又は、情報が付加された操作情報のいずれかを意味する。
処理装置50は、例えば、図9に示す動作制御テーブルを保持し、保持している動作制御テーブルを参照してロボットの動作を制御する。図9は、動作制御テーブルの一例を示す図である。動作制御テーブルは、ロボットの動作に関する情報を表す複数のレコードを有する。レコードは、品質レベル及び制御内容の値を有する。動作制御テーブルには、品質レベルに応じた制御内容が対応付けられている。制御内容は、ロボットの動作の制御内容を表す。なお、ここでは駆動装置22としてロボットを例に説明しているため、動作制御テーブルにはロボットの動作の制御内容が登録されているが、動作制御テーブルには制御対象に応じた制御内容が登録されればよい。
図9に示す例では、動作制御テーブルの制御内容の項目には、“緊急停止”、“動作速度50%”及び“通常動作”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図9に示す動作制御テーブルには、品質レベルが“1”の場合にはロボットを緊急停止させ、品質レベルが“2”の場合にはロボットの動作速度を50%に制御させ、品質レベルが“3”の場合にはロボットを通常動作させることが示されている。
なお、図9に示す動作制御テーブルに示す動作は一例であり、動作速度は50%である必要はない。複数の品質レベルで操作速度を2段階に制御してもよい。動作制御テーブルには、緊急停止が制御内容してなくてもよい。また、動作制御テーブルにおいて、緊急停止の代わりに、ロボットの自動動作機能(自走モード・危険回避モード)へ切り替える制御内容が登録されてもよい。
例えば、処理装置50は、伝達制御部40aから品質レベルを示す情報(例えば、品質レベル“1”)を取得した場合、操作入力装置12であるコントローラから入力された操作情報を緊急停止に変更、又は、操作情報に緊急停止させることを示す情報を付加した処理後の操作情報をロボットに送信する。ロボットは、処理装置50から送信された処理後の操作情報に応じて緊急停止する。なお、ロボットは、操作情報に速度情報が付加されている場合(例えば、操作情報に、動作速度を50%に制御することを示す情報が付加されている場合)は、付加されている速度情報をベースにコントローラからの入力情報を処理して動作に反映する。
このように構成されることによって、遠隔操作においてネットワークの品質状態が変化した場合においてロボットの動作速度を調整することができる。これにより、品質良好状態から品質劣化状態になってロボットの動作速度を下げた後に、品質がした回復(品質劣化状態から品質良好状態になった)場合に動作速度を通常の速度に戻すことができる。そのため、ネットワークの品質状態が変動した場合であっても、品質状態に応じた最適な動作状態に制御することが可能になる。
さらに、遠隔操作においてネットワークの品質が劣化した場合に、ロボットに対して特定の動作を実行させる。これにより、誤操作による重大な事故を未然に防止することができる。
(適用例1の変形例1)
伝達制御部40aが品質レベルを示す情報を通知する先は、遠隔操作装置10であってもよいし、操作対象20であってもよいし、伝送網NW内に備えられる中継装置又はサーバであってもよい。この場合の動作は、処理を行う主体が異なるだけで基本的な動作は上述した処理と同じである。
伝達制御部40aが品質レベルを示す情報を通知する先は、遠隔操作装置10であってもよいし、操作対象20であってもよいし、伝送網NW内に備えられる中継装置又はサーバであってもよい。この場合の動作は、処理を行う主体が異なるだけで基本的な動作は上述した処理と同じである。
例えば、伝達制御部40aが品質レベルを示す情報を通知する先が、遠隔操作装置10である場合の処理の一例について説明する。伝達制御部40aは、品質管理部30から通知された品質判定結果を取得し、取得した品質判定結果に含まれる品質レベルを示す情報を遠隔操作装置10の操作入力装置12(例えば、コントローラ)に通知する。なお、伝達制御部40aは、品質判定結果を操作入力装置12(例えば、コントローラ)に通知してもよい。操作入力装置12(例えば、コントローラ)は、伝達制御部40aから品質レベルを示す情報を取得した場合には、品質レベルを示す情報で示される品質レベルに応じて、駆動装置22であるロボットの動作を決定する。そして、操作入力装置12(例えば、コントローラ)は、決定したロボットの動作に応じた操作情報をロボット(駆動装置22)に送信する。
操作入力装置12(例えば、コントローラ)は、例えば、図9に示す動作制御テーブルを保持し、保持している動作制御テーブルを参照してロボットの動作を制御すればよい。例えば、操作入力装置12(例えば、コントローラ)は、伝達制御部40aから品質レベルを示す情報(例えば、品質レベル“1”)を取得した場合、緊急停止させる指示を含む操作情報をロボットに送信する。ロボットは、伝達制御部40aから送信された操作情報に応じて緊急停止する。なお、ロボットは、操作情報に速度情報が含まれている場合(例えば、操作情報に、動作速度を50%に制御することを示す情報が含まれている場合)は、操作情報で指示された動作速度となるように動作を制御する。このように、操作入力装置12(例えば、コントローラ)から操作対象20(例えば、ロボット)を直接制御する場合には、遠隔操作システム200aは処理装置50を備えていなくてもよい。なお、処理装置50において、操作情報に対する処理が必要な場合には、操作入力装置12(例えば、コントローラ)は操作情報を処理装置50に送信する。処理装置50は、処理後の操作情報を操作対象20(例えば、ロボット)に送信する。
(適用例1の変形例2)
伝達制御部40aが、品質レベルを示す情報を伝送網NW内に備えられる中継装置又はサーバに通知する場合、伝送網NW内に備えられる中継装置又はサーバは品質レベルを示す情報に応じて遠隔操作に関わる情報を付加又は変更してもよい。例えば、中継装置又はサーバは、動作制御テーブルを保持し、保持している動作制御テーブルを参照してロボットの動作を制御すればよい。すなわち、処理装置50によるロボットの動作制御に代わって、伝送網NW内に備えられる中継装置又はサーバがロボットの動作を制御すればよい。このように構成されることによって、処理装置50を変更することなく、受信側にネットワークの品質に応じた動作をさせることができる。
伝達制御部40aが、品質レベルを示す情報を伝送網NW内に備えられる中継装置又はサーバに通知する場合、伝送網NW内に備えられる中継装置又はサーバは品質レベルを示す情報に応じて遠隔操作に関わる情報を付加又は変更してもよい。例えば、中継装置又はサーバは、動作制御テーブルを保持し、保持している動作制御テーブルを参照してロボットの動作を制御すればよい。すなわち、処理装置50によるロボットの動作制御に代わって、伝送網NW内に備えられる中継装置又はサーバがロボットの動作を制御すればよい。このように構成されることによって、処理装置50を変更することなく、受信側にネットワークの品質に応じた動作をさせることができる。
(第5の実施形態の適用例2)
第5の実施形態の適用例2として、品質の変動に応じて情報収集装置21の動作状態を制御する構成について説明する。
第5の実施形態の適用例2として、品質の変動に応じて情報収集装置21の動作状態を制御する構成について説明する。
図10は、第5の実施形態の適用例2における遠隔操作システム200bの構成例を示す図である。遠隔操作システム200bは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40bと、処理装置50を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40b及び処理装置50は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40bの台数は特に限定されない。品質管理部30及び伝達制御部40bは、1又は複数の筐体に備えられて制御装置Cbとして機能する。
遠隔操作システム200bでは、情報収集装置21を制御する場合について説明する。一具体例として、遠隔操作装置10に含まれる出力装置11がモニタであり、操作入力装置12がコントローラであるとする。また、一具体例として、操作対象20に含まれる情報収集装置21がカメラであり、駆動装置22がロボットであるとする。したがって、遠隔操作システム200bでは、カメラを一例として説明する。
品質管理部30は、適用例1で示した処理と同様の処理を行う。品質管理部30は、決定した品質レベルを示す情報を、品質判定結果に含めて伝達制御部40bに通知する。
伝達制御部40bは、品質管理部30から通知された品質判定結果を取得し、取得した品質判定結果に含まれる品質レベルを示す情報を情報収集装置21であるカメラに通知する。なお、伝達制御部40bは、品質判定結果を情報収集装置21に通知してもよい。
カメラは、周囲の情報を収集する。例えば、カメラは、周囲を撮像する。カメラは、伝達制御部40bから品質レベルを示す情報を取得した場合には、品質レベルを示す情報で示される品質レベルに応じて、映像容量を決定する。具体的には、カメラは、図11に示す複数の制御テーブルを保持し、保持している複数の制御テーブルのいずれか1つ、又は、複数の制御テーブルのいずれかを組み合わせて参照して映像容量を決定する。
図11は、映像容量を決定するために用いる制御テーブルの一例を示す図である。図11の(A)は解像度制御テーブルを表し、図11の(B)は圧縮率制御テーブルを表し、図11の(C)は色調制御テーブルを表し、図11の(D)は画像フレームレート制御テーブルを表す。なお、図11に示す各テーブルは一例である。以下、各テーブルの詳細について説明する。
[解像度制御テーブルの詳細]
解像度制御テーブルは、カメラの解像度に関する情報を表す複数のレコードを有する。レコードは、品質レベル及び解像度の値を有する。解像度制御テーブルには、品質レベルに応じた解像度が対応付けられている。図11の(A)に示す例では、解像度制御テーブルの解像度の項目には、“720×480”、“1280×720”及び“1920×1080”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(A)に示す解像度制御テーブルには、品質レベルが“1”の場合には解像度“720×480”でカメラの撮影を実行させ、品質レベルが“2”の場合には解像度“1280×720”でカメラの撮影を実行させ、品質レベルが“3”の場合には解像度“1920×1080”でカメラの撮影を実行させることが示されている。
解像度制御テーブルは、カメラの解像度に関する情報を表す複数のレコードを有する。レコードは、品質レベル及び解像度の値を有する。解像度制御テーブルには、品質レベルに応じた解像度が対応付けられている。図11の(A)に示す例では、解像度制御テーブルの解像度の項目には、“720×480”、“1280×720”及び“1920×1080”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(A)に示す解像度制御テーブルには、品質レベルが“1”の場合には解像度“720×480”でカメラの撮影を実行させ、品質レベルが“2”の場合には解像度“1280×720”でカメラの撮影を実行させ、品質レベルが“3”の場合には解像度“1920×1080”でカメラの撮影を実行させることが示されている。
[圧縮率制御テーブルの詳細]
圧縮率制御テーブルは、カメラの圧縮率に関する情報を表す複数のレコードを有する。レコードは、品質レベル及び圧縮率の値を有する。圧縮率制御テーブルには、品質レベルに応じた解像度が対応付けられている。図11の(B)に示す例では、圧縮率制御テーブルの解像度の項目には、“標準画質(30%)”、“高画質(60%)”及び“最高画質(100%)”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(B)に示す圧縮率制御テーブルには、品質レベルが“1”の場合には圧縮率を標準画質(30%)としてカメラの撮影を実行させ、品質レベルが“2”の場合には圧縮率を高画質(60%)としてカメラの撮影を実行させ、品質レベルが“3”の場合には圧縮率を最高画質(100%)としてカメラの撮影を実行させることが示されている。
圧縮率制御テーブルは、カメラの圧縮率に関する情報を表す複数のレコードを有する。レコードは、品質レベル及び圧縮率の値を有する。圧縮率制御テーブルには、品質レベルに応じた解像度が対応付けられている。図11の(B)に示す例では、圧縮率制御テーブルの解像度の項目には、“標準画質(30%)”、“高画質(60%)”及び“最高画質(100%)”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(B)に示す圧縮率制御テーブルには、品質レベルが“1”の場合には圧縮率を標準画質(30%)としてカメラの撮影を実行させ、品質レベルが“2”の場合には圧縮率を高画質(60%)としてカメラの撮影を実行させ、品質レベルが“3”の場合には圧縮率を最高画質(100%)としてカメラの撮影を実行させることが示されている。
[色調制御テーブルの詳細]
色調制御テーブルは、カメラの色調に関する情報を表す複数のレコードを有する。レコードは、品質レベル及び色調の値を有する。色調制御テーブルには、品質レベルに応じた色調が対応付けられている。図11の(C)に示す例では、色調制御テーブルの色調の項目には、“グレースケール”、“8ビットカラー”及び“24ビットカラー”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(C)に示す色調制御テーブルには、品質レベルが“1”の場合にはグレースケールでカメラの撮影を実行させ、品質レベルが“2”の場合には8ビットカラーでカメラの撮影を実行させ、品質レベルが“3”の場合には24ビットカラーでカメラの撮影を実行させることが示されている。
色調制御テーブルは、カメラの色調に関する情報を表す複数のレコードを有する。レコードは、品質レベル及び色調の値を有する。色調制御テーブルには、品質レベルに応じた色調が対応付けられている。図11の(C)に示す例では、色調制御テーブルの色調の項目には、“グレースケール”、“8ビットカラー”及び“24ビットカラー”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(C)に示す色調制御テーブルには、品質レベルが“1”の場合にはグレースケールでカメラの撮影を実行させ、品質レベルが“2”の場合には8ビットカラーでカメラの撮影を実行させ、品質レベルが“3”の場合には24ビットカラーでカメラの撮影を実行させることが示されている。
[画像フレームレート制御テーブルの詳細]
画像フレームレート制御テーブルは、カメラのフレームレートに関する情報を表す複数のレコードを有する。レコードは、品質レベル及び画像フレームレートの値を有する。画像フレームレート制御テーブルには、品質レベルに応じた画像フレームレートが対応付けられている。図11の(D)に示す例では、画像フレームレート制御テーブルの画像フレームレートの項目には、“10fps”、“30fps”及び“60fps”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(D)に示す画像フレームレート制御テーブルには、品質レベルが“1”の場合にはフレームレート10fpsでカメラの撮影を実行させ、品質レベルが“2”の場合にはフレームレート30fpsでカメラの撮影を実行させ、品質レベルが“3”の場合にはフレームレート60fpsでカメラの撮影を実行させることが示されている。
画像フレームレート制御テーブルは、カメラのフレームレートに関する情報を表す複数のレコードを有する。レコードは、品質レベル及び画像フレームレートの値を有する。画像フレームレート制御テーブルには、品質レベルに応じた画像フレームレートが対応付けられている。図11の(D)に示す例では、画像フレームレート制御テーブルの画像フレームレートの項目には、“10fps”、“30fps”及び“60fps”の各値が登録されており、各値には品質レベル“1”、“2”、“3”が対応付けられている。すなわち、図11の(D)に示す画像フレームレート制御テーブルには、品質レベルが“1”の場合にはフレームレート10fpsでカメラの撮影を実行させ、品質レベルが“2”の場合にはフレームレート30fpsでカメラの撮影を実行させ、品質レベルが“3”の場合にはフレームレート60fpsでカメラの撮影を実行させることが示されている。
カメラは、決定した映像容量に基づいて周囲の映像を撮像する。カメラは、撮像した映像を処理装置50又は出力装置11に送信する。なお、カメラにおいて、いずれのテーブルを用いて映像容量を決定するのかは予め設定されていてもよいし、時間帯又は時期に応じて切り替えて使用してもよい。
このように構成されることによって、遠隔操作においてネットワークの品質状態に応じて、送信する情報量を調整することができる。これにより、ネットワークの品質状態の変化があっても、品質状態に応じた最適な情報の伝達の仕方に変更することができる。例えば、ネットワークの品質状態が悪い場合には、映像の品質を落とすなどして送信する情報量を減らすことができる。また、例えば、ネットワークの品質状態が良くなった場合には、映像の品質を元に戻すなどして送信する情報量を増やすことができる。そのため、伝送網を含む通信における伝送品質が変動した場合において操作性を高めることが可能になる。
(適用例2の変形例1)
伝達制御部40bが品質レベルを示す情報を通知する先は、遠隔操作装置10であってもよいし、操作対象20であってもよいし、伝送網NW内に備えられる中継装置又はサーバであってもよい。この場合の動作は、処理を行う主体が異なるだけで基本的な動作は上述した処理と同じである。
伝達制御部40bが品質レベルを示す情報を通知する先は、遠隔操作装置10であってもよいし、操作対象20であってもよいし、伝送網NW内に備えられる中継装置又はサーバであってもよい。この場合の動作は、処理を行う主体が異なるだけで基本的な動作は上述した処理と同じである。
(適用例2の変形例2)
伝達制御部40bが、品質レベルを示す情報を伝送網NW内に備えられる中継装置又はサーバに通知する場合、伝送網NW内に備えられる中継装置又はサーバは品質レベルを示す情報に応じて遠隔操作に関わる情報を付加又は変更してもよい。例えば、中継装置又はサーバは、図11に示す複数の制御テーブルを保持し、保持している複数の制御テーブルを参照してカメラから送信された映像に対して画像処理を行ってもよい。すなわち、カメラによる制御に代わって、伝送網NW内に備えられる中継装置又はサーバが映像に対して画像処理を行えばよい。このように構成されることによって、カメラの機能を変更することなく、受信側にネットワークの品質に応じた動作をさせることができる。
伝達制御部40bが、品質レベルを示す情報を伝送網NW内に備えられる中継装置又はサーバに通知する場合、伝送網NW内に備えられる中継装置又はサーバは品質レベルを示す情報に応じて遠隔操作に関わる情報を付加又は変更してもよい。例えば、中継装置又はサーバは、図11に示す複数の制御テーブルを保持し、保持している複数の制御テーブルを参照してカメラから送信された映像に対して画像処理を行ってもよい。すなわち、カメラによる制御に代わって、伝送網NW内に備えられる中継装置又はサーバが映像に対して画像処理を行えばよい。このように構成されることによって、カメラの機能を変更することなく、受信側にネットワークの品質に応じた動作をさせることができる。
(第5の実施形態の適用例3)
第5の実施形態の適用例3として、品質の変動に応じて出力装置11の表示を制御する構成について説明する。
第5の実施形態の適用例3として、品質の変動に応じて出力装置11の表示を制御する構成について説明する。
図12は、第5の実施形態の適用例3における遠隔操作システム200cの構成例を示す図である。遠隔操作システム200cは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40cと、処理装置50を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40c及び処理装置50は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40cの台数は特に限定されない。品質管理部30及び伝達制御部40cは、1又は複数の筐体に備えられて制御装置Ccとして機能する。
遠隔操作システム200cでは、出力装置11を制御する場合について説明する。一具体例として、遠隔操作装置10に含まれる出力装置11がモニタであり、操作入力装置12がコントローラであるとする。また、一具体例として、操作対象20に含まれる情報収集装置21がカメラであり、駆動装置22がロボットであるとする。したがって、遠隔操作システム200cでは、モニタを一例として説明する。
品質管理部30は、適用例1で示した処理と同様の処理を行う。品質管理部30は、決定した品質レベルを示す情報を、品質判定結果に含めて伝達制御部40cに通知する。
伝達制御部40cは、品質管理部30から通知された品質判定結果を取得し、取得した品質判定結果に含まれる品質レベルを示す情報を処理装置50に通知する。なお、伝達制御部40cは、品質判定結果を処理装置50に通知してもよい。
処理装置50は、上述した第1の実施形態から第4の実施形態のいずれかに示す処理装置50と同様の処理を行う。さらに、処理装置50は、伝達制御部40cから品質レベルを示す情報を取得した場合には、取得した品質レベルを示す情報を、情報収集装置21から得られる画像に表示可能に画像処理を行う。処理装置50は、画像処理後の画像を出力装置11であるモニタに表示させる。なお、処理装置50は、情報収集装置21から得られる画像に品質レベルの値を表示してもよいし、品質レベルを示す趣旨の文章で表示してもよいし、適用例1又は適用例2で制御したロボット動作状態又は映像品質状態を表示してもよい。また、処理装置50は、品質が良好になった場合、モニタに表示されている品質が劣化した旨を示す情報を削除するように表示制御を行ってもよい。
このように構成されることによって、遠隔操作においてネットワークの品質状態が変化した際、遠隔操作装置10のモニタの画面に、品質状態や制御状態を表示することができる。したがって、ネットワークの品質状態の変化があった場合に、操作者に現在のシステムの状態を正確に伝達し、操作に関わる不安や快適性を向上できることが可能になる。
(適用例3の変形例1)
伝達制御部40cが品質レベルを示す情報を通知する先は、遠隔操作装置10であってもよいし、操作対象20であってもよいし、伝送網NW内に備えられる中継装置又はサーバであってもよい。この場合の動作は、処理を行う主体が異なるだけで基本的な動作は上述した処理と同じである。
伝達制御部40cが品質レベルを示す情報を通知する先は、遠隔操作装置10であってもよいし、操作対象20であってもよいし、伝送網NW内に備えられる中継装置又はサーバであってもよい。この場合の動作は、処理を行う主体が異なるだけで基本的な動作は上述した処理と同じである。
例えば、伝達制御部40cが品質レベルを示す情報を通知する先が、遠隔操作装置10である場合の処理の一例について説明する。伝達制御部40cは、品質管理部30から通知された品質判定結果を取得し、取得した品質判定結果に含まれる品質レベルを示す情報を遠隔操作装置10の出力装置11(例えば、モニタ)に通知する。なお、伝達制御部40cは、品質判定結果を出力装置11(例えば、モニタ)に通知してもよい。出力装置11(例えば、モニタ)は、伝達制御部40cから品質レベルを示す情報を取得した場合には、情報収集装置21から得られる画像に対して品質レベルを示す情報に応じた表示制御を行う。例えば、出力装置11(例えば、モニタ)は、情報収集装置21から得られる画像に品質レベルの値を表示してもよいし、品質レベルを示す趣旨の文章で表示してもよいし、適用例1又は適用例2で制御したロボット動作状態又は映像品質状態を表示してもよい。なお、ここで、出力装置11(例えば、モニタ)は、品質が良好になった旨を示す情報を追加表示する代わりに、表示している品質が劣化した旨を示す情報を削除するように表示制御を行ってもよい。また、操作対象20における駆動装置22がロボットである場合、出力装置11(例えば、モニタ)は、ロボットの動作状態が正常化した旨を示す情報を追加表示する代わりに、表示しているロボットの動作状態を示す情報を削除するように表示制御を行ってもよい。
(適用例3の変形例2)
伝達制御部40cが、品質レベルを示す情報を伝送網NW内に備えられる中継装置又はサーバに通知する場合、伝送網NW内に備えられる中継装置又はサーバは品質レベルを示す情報に応じて遠隔操作に関わる情報を付加又は変更してもよい。例えば、中継装置又はサーバは、情報収集装置21から得られる画像に、品質状態や制御状態を示す情報を、表示可能に画像処理を行う。中継装置又はサーバは、画像処理後の画像を出力装置11であるモニタに表示させる。すなわち、処理装置50による画像処理に代わって、伝送網NW内に備えられる中継装置又はサーバが画像処理を行えばよい。このように構成されることによって、処理装置50を変更することなく、受信側にネットワークの品質に応じた動作をさせることができる。
伝達制御部40cが、品質レベルを示す情報を伝送網NW内に備えられる中継装置又はサーバに通知する場合、伝送網NW内に備えられる中継装置又はサーバは品質レベルを示す情報に応じて遠隔操作に関わる情報を付加又は変更してもよい。例えば、中継装置又はサーバは、情報収集装置21から得られる画像に、品質状態や制御状態を示す情報を、表示可能に画像処理を行う。中継装置又はサーバは、画像処理後の画像を出力装置11であるモニタに表示させる。すなわち、処理装置50による画像処理に代わって、伝送網NW内に備えられる中継装置又はサーバが画像処理を行えばよい。このように構成されることによって、処理装置50を変更することなく、受信側にネットワークの品質に応じた動作をさせることができる。
(第5の実施形態の変形例)
上述した実施形態では、伝送品質が変動した場合として、品質良好状態から品質劣化状態に変化した場合、又は、品質劣化状態から品質良好状態に変化した場合のいずれかを例に説明した。伝送品質が変動した場合は、これに限られない。例えば、品質劣化状態が複数のレベルで分けられ、品質管理部30は、品質劣化状態におけるレベルが変化したことを契機に伝送品質が変動した場合と判断してもよい。品質劣化状態におけるレベルは、例えば実施形態で示した品質レベルである。そこで、品質管理部30は、品質レベルが変化した場合に、伝送品質が変動した場合と判断する。上述したように、品質レベルの数字が大きい値になるほど品質が良いことを示す。例えば、品質レベルが“1”から“2”又は“3”に変化した場合、品質管理部30は品質が良くなったと判断する。一方、例えば、品質レベルが“3”から“1”又は“2”に変化した場合、品質管理部30は品質が劣化したと判断する。ここで品質が良くなった場合には、品質劣化状態から品質良好状態に変化した場合と同様の処理が行われ、品質が劣化した場合には、品質良好状態から品質劣化状態に変化した場合と同様の処理が行われる。
上述した実施形態では、伝送品質が変動した場合として、品質良好状態から品質劣化状態に変化した場合、又は、品質劣化状態から品質良好状態に変化した場合のいずれかを例に説明した。伝送品質が変動した場合は、これに限られない。例えば、品質劣化状態が複数のレベルで分けられ、品質管理部30は、品質劣化状態におけるレベルが変化したことを契機に伝送品質が変動した場合と判断してもよい。品質劣化状態におけるレベルは、例えば実施形態で示した品質レベルである。そこで、品質管理部30は、品質レベルが変化した場合に、伝送品質が変動した場合と判断する。上述したように、品質レベルの数字が大きい値になるほど品質が良いことを示す。例えば、品質レベルが“1”から“2”又は“3”に変化した場合、品質管理部30は品質が良くなったと判断する。一方、例えば、品質レベルが“3”から“1”又は“2”に変化した場合、品質管理部30は品質が劣化したと判断する。ここで品質が良くなった場合には、品質劣化状態から品質良好状態に変化した場合と同様の処理が行われ、品質が劣化した場合には、品質良好状態から品質劣化状態に変化した場合と同様の処理が行われる。
(第6の実施形態)
上述した第1の実施形態から第4の実施形態では、品質判定結果に基づいて遠隔操作システムで規定されている品質要件を満たさない場合においては、安全、即時性及び正確性を満たす操作が実現できるよう操作者への通知、又は、操作対象に対する制御の少なくともいずれかを行うことができる。また、上述した第5の実施形態では、伝送網を含む通信における伝送品質が変動した場合においても操作性を高めることができる。このように、第1の実施形態から第5の実施形態では、操作対象又は遠隔操作装置に対する制御を行うことにより、操作対象に対する遠隔操作の影響の低減や伝送網を含む通信における伝送品質が変動した場合における操作性を高めていた。このような構成に対して、伝送品質に応じて伝送網や処理装置に対する制御を行うことで更に、操作対象に対する遠隔操作の影響の低減や伝送網を含む通信における伝送品質が変動した場合における操作性を高めることができる可能性もある。そこで、第6の実施形態では、更に、操作対象に対する遠隔操作の影響の低減や伝送網を含む通信における伝送品質が変動した場合における操作性を高めることができる構成について説明する。
上述した第1の実施形態から第4の実施形態では、品質判定結果に基づいて遠隔操作システムで規定されている品質要件を満たさない場合においては、安全、即時性及び正確性を満たす操作が実現できるよう操作者への通知、又は、操作対象に対する制御の少なくともいずれかを行うことができる。また、上述した第5の実施形態では、伝送網を含む通信における伝送品質が変動した場合においても操作性を高めることができる。このように、第1の実施形態から第5の実施形態では、操作対象又は遠隔操作装置に対する制御を行うことにより、操作対象に対する遠隔操作の影響の低減や伝送網を含む通信における伝送品質が変動した場合における操作性を高めていた。このような構成に対して、伝送品質に応じて伝送網や処理装置に対する制御を行うことで更に、操作対象に対する遠隔操作の影響の低減や伝送網を含む通信における伝送品質が変動した場合における操作性を高めることができる可能性もある。そこで、第6の実施形態では、更に、操作対象に対する遠隔操作の影響の低減や伝送網を含む通信における伝送品質が変動した場合における操作性を高めることができる構成について説明する。
まず具体例を挙げて説明する前に、第6の実施形態における遠隔操作システム300の概要について図13を用いて説明する。図13は、第6の実施形態における遠隔操作システム300の概要を説明するための図である。遠隔操作システム300は、ある地点から異なる地点に配置されている機器等を遠隔で操作するシステムである。遠隔操作システム300は、例えば遠隔アーム操作、遠隔手術、遠隔工事、遠隔点検等の操作対象の機器を遠隔で操作する作業であれば特に限定されない。
遠隔操作システム300は、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40dと、処理装置50dと、管理装置60を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40d、処理装置50d及び管理装置60は、伝送網NWを介して接続される。遠隔操作装置10、操作対象20、品質管理部30及び伝送網NWについては、第5の実施形態に示す構成と同様である。以下の説明において、第5の実施形態に示す構成と異なる場合にはその都度説明する。品質管理部30及び伝達制御部40dは、1又は複数の筐体に備えられて制御装置Cdとして機能する。
伝達制御部40dは、第5の実施形態における伝達制御部40と同様の処理を行う。ここで、伝達制御部40dは、遠隔操作装置10、操作対象20、処理装置50d又は管理装置60のいずれかに対して伝送品質を示す情報を通知する。これにより、伝達制御部40dは、伝送品質を示す情報の通知先の装置において、伝送品質に応じた処理を実行させる。
なお、品質良好状態から品質劣化状態に変化した場合における遠隔操作装置10、操作対象20又は処理装置50dのいずれかで実行される制御については第5の実施形態と同様である。また、品質劣化状態から品質良好状態に変化した場合における遠隔操作装置10、操作対象20又は処理装置50dのいずれかで実行される制御についても第5の実施形態と同様である。
伝達制御部40dが通知する伝送品質を示す情報は、第5の実施形態に示した情報と同様であり、例えば伝送品質を複数の段階で表す品質レベルであってもよい。品質レベルは、伝送時間(エンドツーエンド遅延)、帯域量及びパケットロス率それぞれで定義されてもよい。伝送品質を示す情報は、品質管理部30において品質判定時に決定される。
さらに、伝達制御部40dは、伝送品質を示す情報を管理装置60に通知する際、品質レベルが予め定められた設定閾値以下である場合に、伝送品質を示す情報に追加情報を追加してもよい。追加情報は、管理装置60における制御内容を決定するために用いられる追加の情報であり、例えば、エンドツーエンド遅延、帯域量又はパケットロス率の中で品質レベルを低下させた要因を示す情報や、各区間の遅延(伝送路遅延、又は、処理時間)を示す情報等である。ここで各区間とは、遠隔操作装置10と操作対象20とを結ぶ区間1´、操作対象20と処理装置50dとの間と、処理装置50dと遠隔操作装置10との間を合わせた区間2´等である。
管理装置60は、伝達制御部40dから通知された伝送品質を示す情報(追加情報を含む場合もあり)に基づいて、伝送網NW又は処理装置50dの設定を制御する。管理装置60は、ユーザが備えるユーザ装置である場合には申し込み申請する装置であり、システムの管理者等が操作するオペレータ装置である場合にはEMS(Element Management System)装置、ポータル装置、オーケストレータとなる。
処理装置50dは、管理装置60からの制御を受ける前においては、第1の実施形態から第5の実施形態のいずれかに示す処理装置50と同様の処理を行う。処理装置50dは、管理装置60により制御が実行された場合、管理装置60からの制御に応じた動作を行う。
第6の実施形態における遠隔操作システム300では、上記の構成により品質が変化した場合においても更に操作性を高めることが可能になる。なお、図13で示した構成は、一例であり、遠隔操作システム200においては一部の構成を備えない場合であっても上記効果を得ることができる。以下、適用例について説明する。
(第6の実施形態の適用例1)
第6の実施形態の適用例1として、品質の変動に応じて伝送網NWにおける設定を制御する構成について説明する。
第6の実施形態の適用例1として、品質の変動に応じて伝送網NWにおける設定を制御する構成について説明する。
図14は、第6の実施形態の適用例1における遠隔操作システム300aの構成例を示す図である。遠隔操作システム300aは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40dと、処理装置50dと、管理装置60を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40d、処理装置50d及び管理装置60は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40dの台数は特に限定されない。なお、遠隔操作システム300aは、処理装置50dを備えなくてもよい。
遠隔操作システム300aでは、伝送網NWにおける設定を制御する場合について説明する。品質管理部30は、図6で説明した処理を行う。例えば、品質管理部30は、図8に示す品質レベル判定テーブルを保持し、保持している品質レベル判定テーブルを参照して品質レベルを決定する。品質管理部30は、決定した品質レベルを示す情報を、品質判定結果に含めて伝達制御部40dに通知する。
伝達制御部40dは、品質管理部30から通知された品質判定結果を取得し、取得した品質判定結果に含まれる品質レベルを示す情報を管理装置60に通知する。なお、伝達制御部40aは、品質判定結果を管理装置60に通知してもよい。伝達制御部40dは、品質レベルを示す情報又は品質判定結果を管理装置60に通知する際、品質レベルが設定閾値以下である場合、伝送品質を示す情報に追加情報を追加する。
管理装置60は、伝達制御部40dから通知された伝送品質を示す情報(追加情報を含む場合もあり)を取得し、取得した伝送品質を示す情報に基づいて伝送網NWの設定を変更する。伝送網NWの設定とは、例えば契約帯域、ネットワークの保証帯域、サービス優先度、パケットToS(Type Of Service)値等のQoS(Quality of Service)設定、又は、利用サービスグレード等である。なお、管理装置60は、伝送品質を示す情報に基づいて改善が難しいと判断した場合、通信を一時停止してもよい。
ここで管理装置60が行う制御の一例について説明する。例えば、管理装置60は、伝達制御部40dから品質レベルを示す情報(例えば、品質レベル“2”)と、追加情報(帯域量が50Mbpsであることを示す情報)を取得した場合、伝送網NWの保証帯域設定を100Mbpsに増加する。なお、ここで示す値は一例であり、適宜設定されればよい。
また、例えば、管理装置60は、伝達制御部40dから品質レベルを示す情報(例えば、品質レベル“2”)と、追加情報(パケットロス率が0.5%であることを示す情報)を取得した場合、品質レベルの取得元になった通信におけるQoSの設定を変更(例えば、高優先パケットに変更)する。
また、例えば、管理装置60は、伝達制御部40dから品質レベルを示す情報(例えば、品質レベル“1”)と、追加情報(処理装置50dにおける処理時間帯域量が500msであることを示す情報)を取得した場合、改善が難しいと判断し、伝送網NWにおける帯域設定をベストエフォートに制御してもよい。
管理装置60による上記の伝送網NWに対する制御は、制御テーブルとして設定されていてもよい。この場合、管理装置60は、図15に示す制御テーブルを保持する。図15は、第6の実施形態における制御テーブルの一例を示す図である。制御テーブルは、管理装置60による制御内容に関する情報を表す複数のレコードを有する。レコードは、品質レベル、追加情報及び制御内容の値を有する。制御テーブルには、品質レベルと追加情報の組み合わせ、又は、品質レベルのみに応じた制御内容が対応付けられている。上述したように、伝達制御部40dから追加情報が通知されない場合もある。そのため、制御テーブルには、品質レベルのみに応じた制御内容も登録される。制御テーブルにおいて、追加情報が登録されていない箇所には「-」の値が登録される。
管理装置60は、制御テーブルを保持している場合、伝達制御部40dから通知された伝送品質を示す情報に対応するレコードを選択する。管理装置60は、選択したレコードに登録されている制御内容を伝送網NWに対して実行する。
このように構成されることによって、遠隔操作においてネットワークの品質状態が変化した場合において、通信がやりとりされる伝送網NWにおける設定を調整することができる。そのため、ネットワークの品質状態が変動した場合であっても、品質状態に応じたより最適な通信状態に制御することが可能になる。
(第6の実施形態の適用例2)
第6の実施形態の適用例2として、品質の変動に応じて処理装置50dにおける設定を制御する構成について説明する。
第6の実施形態の適用例2として、品質の変動に応じて処理装置50dにおける設定を制御する構成について説明する。
図16は、第6の実施形態の適用例2における遠隔操作システム300bの構成例を示す図である。遠隔操作システム300bは、遠隔操作装置10と、操作対象20と、品質管理部30と、伝達制御部40dと、処理装置50dと、管理装置60を備える。遠隔操作装置10、操作対象20、品質管理部30、伝達制御部40d、処理装置50d及び管理装置60は、伝送網NWを介して接続される。また、遠隔操作装置10、操作対象20、品質管理部30及び伝達制御部40dの台数は特に限定されない。
遠隔操作システム300bでは、伝送網NWにおける設定を制御する場合について説明する。品質管理部30及び伝達制御部40dの処理については、(第6の実施形態の適用例1)と同様である。
管理装置60は、伝達制御部40dから通知された伝送品質を示す情報(追加情報を含む場合もあり)を取得し、取得した伝送品質を示す情報に基づいて処理装置50dの設定を変更する。処理装置50dの設定とは、例えばCPUコア数、リソースの共用型又は占有型、アクセラレータ機能等のリソース割り当てである。なお、管理装置60は、伝送品質を示す情報に基づいて改善が難しいと判断した場合、通信を一時停止してもよい。
ここで管理装置60が行う制御の一例について説明する。例えば、管理装置60は、伝達制御部40dから品質レベルを示す情報(例えば、品質レベル“2”)と、追加情報(処理装置50dにおける処理時間帯域量が150msであることを示す情報)を取得した場合、処理装置50dに割り当てるCPUリソース量を3コア増やす、又は、サーバリソースを占有モードに切り替える(マイグレーションする)する。なお、ここで示す値は一例であり、適宜設定されればよい。
また、例えば、管理装置60は、伝達制御部40dから品質レベルを示す情報(例えば、品質レベル“1”)と、追加情報(処理装置50dにおける処理時間帯域量が500msであることを示す情報)を取得した場合、改善が難しいと判断し、処理装置50dのリソースのコア数を最小限、又は、共用モードに制御してもよい。
管理装置60による上記の処理装置50dに対する制御は、制御テーブルとして設定されていてもよい。制御テーブルは、図15に示したテーブルである。管理装置60は、制御テーブルを保持している場合、伝達制御部40dから通知された伝送品質を示す情報に対応するレコードを選択する。管理装置60は、選択したレコードに登録されている制御内容を処理装置50dに対して実行する。
このように構成されることによって、遠隔操作においてネットワークの品質状態が変化した場合において、処理装置50dにおける設定を調整することができる。そのため、ネットワークの品質状態が変動した場合であっても、品質状態に応じたより最適な通信状態に制御することが可能になる。
以上のように構成された遠隔操作システム300a,300bによれば、遠隔操作装置10と、操作対象20との間の伝送路における伝送品質を取得し、取得した伝送品質に応じた品質レベルを決定する品質管理部30と、少なくとも品質レベルを示す情報を通知する伝達制御部40dと、伝達制御部40dから通知された品質レベルを示す情報に基づいて処理装置50d、又は、伝送網NWにおける設定を制御する管理装置60と、を備える。
このように、遠隔操作システム300a,300bでは、伝送品質に応じて伝送網NW又は処理装置50dに対する制御を行う。これにより、第1の実施形態から第5の実施形態とは異なる制御により、操作対象に対する遠隔操作の影響の低減や伝送網を含む通信における伝送品質が変動した場合における操作性を高めることが可能になる。
(第6の実施形態における変形例1)
上述した実施形態では、管理装置60が、伝送網NWの設定を制御する場合と、処理装置50dの設定を制御する場合とで分けて説明したが、管理装置60は、伝送網NW及び処理装置50dの両方の設定を制御してもよい。この場合、管理装置60は、(第6の実施形態の適用例1)と(第6の実施形態の適用例2)に示した処理を実行すればよい。
上述した実施形態では、管理装置60が、伝送網NWの設定を制御する場合と、処理装置50dの設定を制御する場合とで分けて説明したが、管理装置60は、伝送網NW及び処理装置50dの両方の設定を制御してもよい。この場合、管理装置60は、(第6の実施形態の適用例1)と(第6の実施形態の適用例2)に示した処理を実行すればよい。
(第6の実施形態における変形例2)
上述した実施形態では、伝達制御部40dが、遠隔操作装置10、操作対象20、処理装置50d又は管理装置60のいずれかに対して伝送品質を示す情報を通知する構成を示した。伝達制御部40dは、伝送品質を示す情報を複数の通知先に通知してもよい。例えば、伝達制御部40dは、遠隔操作装置10、操作対象20又は処理装置50dのいずれか1つの装置と、管理装置60に対して伝送品質を示す情報を通知してもよい。この場合、伝送品質を示す情報が通知された装置は、通知された伝送品質を示す情報に応じた動作を行う。
上述した実施形態では、伝達制御部40dが、遠隔操作装置10、操作対象20、処理装置50d又は管理装置60のいずれかに対して伝送品質を示す情報を通知する構成を示した。伝達制御部40dは、伝送品質を示す情報を複数の通知先に通知してもよい。例えば、伝達制御部40dは、遠隔操作装置10、操作対象20又は処理装置50dのいずれか1つの装置と、管理装置60に対して伝送品質を示す情報を通知してもよい。この場合、伝送品質を示す情報が通知された装置は、通知された伝送品質を示す情報に応じた動作を行う。
(第1の実施形態から第6の実施形態に共通する変形例)
処理装置は、第1の実施形態から第6の実施形態に示す制御装置内に備えられていてもよい。
処理装置は、第1の実施形態から第6の実施形態に示す制御装置内に備えられていてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、遠隔装置を行うシステムに適用できる。
10…遠隔操作装置, 11、11-1~11-2…出力装置, 12、12-1~12-2…操作入力装置, 13…処理装置, 20…操作対象, 21…情報収集装置, 22…駆動装置, 23…処理装置, 30…品質管理部, 40、40a、40b、40c、40d…伝達制御部, 50、50d…処理装置, 60…管理装置, 100、100a、100b、100c、100d、200、200a、200b、200c、300、300a、300b…遠隔操作システム
Claims (18)
- 操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質が品質要件を満たすか否かを判定する品質管理部と、
前記伝送品質が品質要件を満たさない場合に、少なくとも前記遠隔操作装置に対する通知、又は、前記操作対象に対して制御を行う伝達制御部と、
を備える制御装置。 - 前記品質管理部は、前記操作対象と前記遠隔操作装置との間の区間における伝送時間、伝送時間揺らぎ、光伝送区間のパワー又はデータのエラー率のいずれかを前記伝送品質として取得し、取得した前記伝送品質と前記品質要件とを比較する、
請求項1に記載の制御装置。 - 前記操作対象と前記遠隔操作装置との間に、前記操作対象で収集した情報、又は、前記遠隔操作装置による操作情報の少なくともいずれかに対して操作性を高める処理を実行する処理装置が備えられている場合、
前記品質管理部は、前記処理装置による処理時間も加味して前記伝送品質が品質要件を満たすか否かを判定する、
請求項1に記載の制御装置。 - 前記品質管理部は、前記操作対象と前記処理装置との間の区間における第1伝送時間と、前記遠隔操作装置と前記処理装置との間の区間における第2伝送時間と、前記処理時間とを取得し、取得した前記第1伝送時間と、前記第2伝送時間と、前記処理時間との合計値を前記伝送品質として前記品質要件と比較する、
請求項3に記載の制御装置。 - 前記伝達制御部は、前記伝送品質が品質要件を満たさない場合に、前記伝送品質が品質要件を満たさないことを示す情報を前記遠隔操作装置に対して通知する、
請求項1から4のいずれか一項に記載の制御装置。 - 前記伝達制御部は、前記伝送品質が品質要件を満たさない場合に、前記操作対象の稼働状態を下げるような制御を行う、
請求項1から4のいずれか一項に記載の制御装置。 - 前記遠隔操作装置は、前記操作対象に含まれる情報処理装置との間で通信を行う情報処理装置を含み、
前記品質管理部は、情報処理装置間における伝送品質を取得する、
請求項1又は2に記載の制御装置。 - 前記遠隔操作装置は、前記操作対象に含まれる情報処理装置との間で通信を行う複数の情報処理装置を含み、
前記品質管理部は、前記複数の情報処理装置それぞれと、前記操作対象に含まれる情報処理装置との間における伝送品質を取得する、
請求項1又は2に記載の制御装置。 - 前記伝達制御部は、前記操作対象の稼働状態を下げるような制御として、前記操作対象の動作速度を通常時よりも遅い速度で動作させる、
請求項6に記載の制御装置。 - 前記伝達制御部は、前記伝送品質が品質要件を満たさないことを示す品質判定結果が得られる度に、前記操作対象の動作速度を段階的に遅くさせる、
請求項9に記載の制御装置。 - 前記遠隔操作装置は情報を表示するモニタであり、
前記伝達制御部は、前記伝送品質が品質要件を満たさない場合に、品質が劣化状態であることを示す情報を前記モニタに表示させる、
請求項1に記載の制御装置。 - 操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質が品質要件を満たすか否かを判定する品質管理部と、
前記伝送品質が品質要件を満たさない場合に、少なくとも前記遠隔操作装置に対する通知、又は、前記操作対象に対して制御を行う伝達制御部と、
前記操作対象で収集した情報、又は、前記遠隔操作装置による操作情報の少なくともいずれかに対して操作性を高める処理を実行する処理装置と、
を備え、
前記品質管理部は、前記操作対象と前記処理装置との間における伝送品質と、前記遠隔操作装置と前記処理装置との間における伝送品質と、前記処理装置による処理時間とを含む前記伝送品質が品質要件を満たすか否かを判定する、
制御装置。 - 操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質に応じた品質レベルを決定する品質管理部と、
前記操作対象、前記遠隔操作装置、前記伝送路に備えられる装置、又は、前記操作対象と前記遠隔操作装置との間で操作性を高める処理を実行する処理装置のいずれかに対して、前記品質レベルを示す情報を通知する伝達制御部と、
を備える制御装置。 - 前記伝達制御部は、
前記品質レベルを示す情報を通知することで、前記品質レベルを示す情報で示される品質レベルに応じた処理を通知先において実行させる、
請求項13に記載の制御装置。 - 前記品質レベルに応じた処理は、
前記操作対象の稼働状態又は前記操作対象で取得する映像の容量を制御する処理、又は、前記遠隔操作装置で表示する情報を加工する処理である、
請求項14に記載の制御装置。 - 操作対象と、前記操作対象を遠隔で操作する遠隔操作装置との間の伝送路における伝送品質を取得し、取得した前記伝送品質に応じた品質レベルを決定する品質管理部と、
前記品質管理部によって決定された少なくとも前記品質レベルを示す情報を通知する伝達制御部と、
前記伝達制御部から通知された前記品質レベルを示す情報に基づいて、前記操作対象で収集した情報、又は、前記遠隔操作装置による操作情報の少なくともいずれかに対して操作性を高める処理を実行する処理装置、又は、前記伝送路における設定を制御する管理装置と、
を備える遠隔操作システム。 - 前記伝達制御部は、
前記品質レベルを示す情報で特定される前記品質レベルが予め設定された設定閾値以下である場合、前記管理装置における制御内容を決定するために用いられる追加情報を前記管理装置にさらに通知し、
前記管理装置は、
前記品質レベルを示す情報と、前記追加情報との組み合わせに基づいて、前記処理装置、又は、前記伝送路における設定を制御する、
請求項16に記載の遠隔操作システム。 - 前記伝達制御部は、
前記管理装置の他に、前記操作対象、前記遠隔操作装置、前記伝送路に備えられる装置、又は、前記処理装置のいずれかに対して、前記品質レベルを示す情報を通知する、
請求項16又は17に記載の遠隔操作システム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/023496 WO2026004091A1 (ja) | 2024-06-28 | 2024-06-28 | 制御装置 |
| JPPCT/JP2024/023496 | 2024-06-28 | ||
| PCT/JP2024/035573 WO2026004168A1 (ja) | 2024-06-28 | 2024-10-04 | 制御装置 |
| JPPCT/JP2024/035573 | 2024-10-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2026004201A1 true WO2026004201A1 (ja) | 2026-01-02 |
Family
ID=98221212
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/023496 Pending WO2026004091A1 (ja) | 2024-06-28 | 2024-06-28 | 制御装置 |
| PCT/JP2024/035573 Pending WO2026004168A1 (ja) | 2024-06-28 | 2024-10-04 | 制御装置 |
| PCT/JP2025/004141 Pending WO2026004201A1 (ja) | 2024-06-28 | 2025-02-07 | 制御装置及び遠隔操作システム |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/023496 Pending WO2026004091A1 (ja) | 2024-06-28 | 2024-06-28 | 制御装置 |
| PCT/JP2024/035573 Pending WO2026004168A1 (ja) | 2024-06-28 | 2024-10-04 | 制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (3) | WO2026004091A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016175145A (ja) * | 2015-03-19 | 2016-10-06 | ファナック株式会社 | 機械と可搬式無線操作盤との間の距離に応じて通信品質基準を変化させる機能を備えたロボット制御システム |
| US20170182664A1 (en) * | 2015-04-10 | 2017-06-29 | X Development Llc | Adjusting Robot Safety Limits Based On Network Connectivity |
| JP2018014647A (ja) * | 2016-07-21 | 2018-01-25 | 株式会社 日立産業制御ソリューションズ | 無線通信システムおよび無線遠隔制御システム |
| JP2018093403A (ja) * | 2016-12-05 | 2018-06-14 | Kddi株式会社 | 飛行装置及び通信制御方法 |
| JP2020189385A (ja) * | 2019-05-23 | 2020-11-26 | ファナック株式会社 | 異常監視装置 |
| JP7297055B2 (ja) * | 2019-03-29 | 2023-06-23 | 本田技研工業株式会社 | 表示制御装置、表示制御方法及びプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7048530B2 (ja) * | 2019-03-15 | 2022-04-05 | ファナック株式会社 | 制御システム及び操作画面の表示方法 |
| JP7294880B2 (ja) * | 2019-05-20 | 2023-06-20 | ファナック株式会社 | ロボット制御装置、ロボットシステム、及びロボット制御方法 |
| US20240272606A1 (en) * | 2021-06-16 | 2024-08-15 | Fanuc Corporation | Control device and control system |
-
2024
- 2024-06-28 WO PCT/JP2024/023496 patent/WO2026004091A1/ja active Pending
- 2024-10-04 WO PCT/JP2024/035573 patent/WO2026004168A1/ja active Pending
-
2025
- 2025-02-07 WO PCT/JP2025/004141 patent/WO2026004201A1/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016175145A (ja) * | 2015-03-19 | 2016-10-06 | ファナック株式会社 | 機械と可搬式無線操作盤との間の距離に応じて通信品質基準を変化させる機能を備えたロボット制御システム |
| US20170182664A1 (en) * | 2015-04-10 | 2017-06-29 | X Development Llc | Adjusting Robot Safety Limits Based On Network Connectivity |
| JP2018014647A (ja) * | 2016-07-21 | 2018-01-25 | 株式会社 日立産業制御ソリューションズ | 無線通信システムおよび無線遠隔制御システム |
| JP2018093403A (ja) * | 2016-12-05 | 2018-06-14 | Kddi株式会社 | 飛行装置及び通信制御方法 |
| JP7297055B2 (ja) * | 2019-03-29 | 2023-06-23 | 本田技研工業株式会社 | 表示制御装置、表示制御方法及びプログラム |
| JP2020189385A (ja) * | 2019-05-23 | 2020-11-26 | ファナック株式会社 | 異常監視装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2026004091A1 (ja) | 2026-01-02 |
| WO2026004168A1 (ja) | 2026-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020057261A1 (zh) | 通信方法和装置 | |
| US20200322591A1 (en) | Information processing apparatus, image generation method, control method, and storage medium | |
| US20200336719A1 (en) | Information processing apparatus, image generation method, control method, and program | |
| US20200329189A1 (en) | Control device, control method, and program | |
| EP3627791B1 (en) | Data buffering method, network device, and storage medium | |
| JPH11313110A (ja) | ビデオ・フレーム・トランスミッタ、パケット伝送方法及びデータ処理システム | |
| US20180255275A1 (en) | Load Balancing Method, and Related Apparatus and System | |
| KR20050007549A (ko) | 품질 지향 스트리밍 방법 및 장치 | |
| US11223862B2 (en) | Controlled uplink adaptive streaming based on server performance measurement data | |
| WO2026004168A1 (ja) | 制御装置 | |
| JP2005064970A (ja) | 配信レート制御方法及びシステム | |
| EP4398541A1 (en) | Network scheduling method, system and device | |
| US20150296147A1 (en) | Method of operating a video processing apparatus | |
| CN118250224A (zh) | 拥塞控制方法、装置、系统、设备及介质 | |
| US20220353743A1 (en) | Communication device, communication method, and communication system | |
| JP3781025B2 (ja) | 帯域管理装置 | |
| JP4552232B2 (ja) | 配信システム、配信制御装置および配信制御方法 | |
| JP7616450B1 (ja) | データ送信システム | |
| CN121262388B (en) | Audio and video transmission system based on cloud data exchange | |
| WO2025104821A1 (ja) | 通信帯域算出装置、及び制御方法 | |
| KR102891486B1 (ko) | 가상현실 스트리밍을 위한 이미지 렌더링 장치 및 방법 | |
| WO2003097194A2 (en) | Network performance indicators | |
| KR102769999B1 (ko) | 벡터를 이용한 vr이미지 렌더링 장치 및 방법 | |
| CN121001071B (zh) | 电力应急抢修场景下电力终端的通信调控方法及系统 | |
| JP2011035565A (ja) | サーバベース・コンピューティング・システムにおけるゲートウェイ装置、サーバ装置、帯域制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25825771 Country of ref document: EP Kind code of ref document: A1 |