WO2022130931A1 - 遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラム - Google Patents
遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラム Download PDFInfo
- Publication number
- WO2022130931A1 WO2022130931A1 PCT/JP2021/043261 JP2021043261W WO2022130931A1 WO 2022130931 A1 WO2022130931 A1 WO 2022130931A1 JP 2021043261 W JP2021043261 W JP 2021043261W WO 2022130931 A1 WO2022130931 A1 WO 2022130931A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- control
- captured image
- unit
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000001514 detection method Methods 0.000 claims abstract description 149
- 230000001934 delay Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 98
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract 2
- 238000004891 communication Methods 0.000 description 71
- 230000006870 function Effects 0.000 description 24
- 238000000926 separation method Methods 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 22
- 230000003111 delayed effect Effects 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000007792 addition Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 239000012636 effector Substances 0.000 description 10
- 230000004043 responsiveness Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 5
- 238000009795 derivation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
- B25J13/025—Hand grip control means comprising haptic means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39529—Force, torque sensor in wrist, end effector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40165—Sensor data to display depends on robot status
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40169—Display of actual situation at the remote site
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40609—Camera to monitor end effector as well as object to be handled
Definitions
- the techniques disclosed here relate to remote control systems, control methods for remote control systems and remote control programs.
- Patent Document 1 discloses a remote control system including a master device and a slave device arranged at positions physically separated from each other.
- a display device for displaying an image transmitted from the slave device side to the master device side is provided.
- the communication delay between the master device and the slave device is large, the image is displayed on the display device as if it is blurred. As a result, the user can know that the communication delay is large.
- the remote control system not only control signals between the master device and the slave device but also various signals such as image signals can be transmitted and received.
- the time required for transmitting and receiving signals and the time required for processing signals vary from signal to signal. If there is a time lag for each signal in the final signal processing, there is a risk of giving the user a sense of discomfort.
- the remote control system if there is a time lag between the control between the master device and the slave device and the image display on the display device, the user may feel a sense of discomfort.
- the technique disclosed here was made in view of this point, and the purpose thereof is to reduce the discomfort given to the user in the remote control system accompanied by the display of the captured image.
- the remote control system disclosed here includes a master device operated by a user, a slave device that acts on an object according to the operation of the master device, and an operating state of the slave device provided in the slave device.
- a sensor that detects a sensor, an image pickup device that captures an image of at least one of the slave device and an object, a display device that displays an image captured by the image pickup device and provides the user to operate the master device, and the above.
- a control device that executes operation control of at least one of the master device and the slave device based on the detection result of the sensor is provided, and the control device is deviated from the display timing of the captured image by the display device with respect to the operation control. The operation control is delayed so as to reduce.
- the control method of the remote control system disclosed herein includes a master device operated by a user, a slave device that acts on an object according to the operation of the master device, and the slave device provided in the slave device.
- a sensor that detects the operating state of the device, an image pickup device that captures an image of at least one of the slave device and the object, and a display device that displays an image captured by the image pickup device and provides the user to operate the master device.
- a control method for a remote control system comprising the above, wherein the operation control of at least one of the master device and the slave device is executed based on the detection result of the sensor, and the photographed image with respect to the motion control is described. This includes delaying the operation control so as to reduce the deviation of the display timing by the display device.
- the remote control program disclosed here includes a master device operated by a user, a slave device that acts on an object according to the operation of the master device, and an operating state of the slave device provided in the slave device.
- a sensor for detecting the above an image pickup device for capturing an image of at least one of the slave device and the object, and a display device for displaying the captured image by the image pickup device and providing the user to operate the master device.
- a remote control program for realizing a function of controlling a remote control system in a computer, the function of executing operation control of at least one of the master device and the slave device based on the detection result of the sensor, and the above.
- the computer is provided with a function of delaying the operation control so as to reduce the deviation of the display timing of the captured image by the display device with respect to the operation control.
- the remote control system it is possible to reduce the discomfort given to the user in the remote control system accompanied by the display of the captured image.
- control method of the remote control system it is possible to reduce the discomfort given to the user in the remote control system accompanied by the display of the captured image.
- the remote control program it is possible to reduce the discomfort given to the user in the remote control system accompanied by the display of the captured image.
- FIG. 1 is a schematic diagram showing a configuration of a remote control system according to an embodiment.
- FIG. 2 is a diagram showing a schematic hardware configuration of a robot control device.
- FIG. 3 is a diagram showing a schematic hardware configuration of the operation control device.
- FIG. 4 is a diagram showing a schematic hardware configuration of the control device.
- FIG. 5 is a diagram showing a schematic hardware configuration of an image processing device.
- FIG. 6 is a diagram showing a schematic hardware configuration of the display control device.
- FIG. 7 is a block diagram showing a configuration of a control system of a remote control system.
- FIG. 8 is a flowchart showing the operation of the remote control system.
- FIG. 9 (i) is an example of a sensor signal output from the input processing unit.
- FIG. 9 (i) is an example of a sensor signal output from the input processing unit.
- FIG. 9 (ii) is an example of an image signal output from the image pickup apparatus.
- FIG. 10 is an example of an image signal in which the sensor signal is synthesized, which is output from the synthesis unit.
- FIG. 11 (i) is an example of a sensor signal acquired by the control device from the robot control device.
- FIG. 11 (ii) is an example of an image signal after decoding by the display control device.
- FIG. 12 is an example of a sensor signal separated from the image signal.
- FIG. 1 is a schematic diagram showing a configuration of a remote control system 100 according to an embodiment.
- the broken line in FIG. 1 represents wireless communication.
- the remote control system 100 includes a master-slave system 110.
- the master-slave system 110 includes an operation device 2 operated by a user, a robot 1 that acts on an object W according to the operation of the operation device 2, and a control device 3 that controls the robot 1 and the operation device 2. is doing.
- the operation device 2 and the control device 3 are arranged at the first site S1.
- the robot 1 is arranged at the second site S2, which is different from the first site S1.
- the master-slave system 110 realizes remote control between the operating device 2 and the robot 1.
- the operating device 2 is an example of a master device
- the robot 1 is an example of a slave device.
- the work performed by the robot 1 does not include the teaching work and the confirmation and correction work of the teaching. Therefore, the operating device 2 does not include the teach pendant.
- the robot 1 and the operating device 2 are connected so as to be able to communicate with each other.
- the robot 1 and the control device 3 are connected so as to be capable of wireless communication. That is, signals are transmitted and received between the robot 1 and the control device 3 via a transmission line (hereinafter, referred to as “first transmission line”) of the robot 1, wireless communication, and the control device 3.
- the operating device 2 is connected to the control device 3. That is, the operation device 2 communicates with the robot 1 via the control device 3.
- the robot 1 is an industrial robot.
- the robot 1 exerts an action on the object W.
- the action is specifically processing and more specifically grinding.
- the action is not limited to grinding, and may be grinding or polishing.
- the object W is, for example, a large steel plate or a wall of a large tank.
- the robot 1 has a sensor that detects the operating state of the robot 1.
- the sensor further includes a contact force sensor 13 in which the robot 1 detects a reaction force (hereinafter referred to as “contact force”) received from the object W.
- contact force a reaction force
- the control device 3 receives the detection result of the contact force sensor 13 via the robot 1.
- the control device 3 executes operation control of at least one of the robot 1 and the operation device 2 based on the detection result of the contact force sensor 13.
- the control device 3 controls the operation of the robot 1 and presents the reaction force acting on the robot 1 to the user according to the operation of the operation device 2 by the user and the detection result of the contact force sensor 13. Controls the operation of the operating device 2.
- the remote control system 100 further includes an image system 120.
- the image system 120 includes an image pickup device 71 for capturing an image and a display device 8 for displaying an image captured by the image pickup device 71.
- the image system 120 further includes an image processing device 72 that processes the captured image of the image pickup device 71.
- the display device 8 is arranged at the first site S1.
- the display device 8 is arranged at a position where the user can visually recognize the operation device 2 while operating the operation device 2.
- the image pickup device 71 and the image processing device 72 are arranged at the second site S2.
- the image pickup apparatus 71 captures an image of the robot 1 and / or the object W.
- the image pickup device 71 and the display device 8 are connected so as to be communicable. Specifically, the image processing device 72 and the display device 8 are connected so as to be capable of wireless communication. That is, signals are transmitted and received between the image pickup device 71 and the display device 8 via a transmission line (hereinafter, referred to as “second transmission line”) of the image processing device 72, the wireless communication and the display device 8.
- the image pickup device 71 is connected to the image processing device 72. That is, the image pickup device 71 communicates with the display device 8 via the image processing device 72.
- the image system 120 assists the user who operates the operation device 2 by taking an image of the robot 1 and / or the object W with the image pickup device 71 and displaying the taken image on the display device 8.
- the robot 1 may have an end effector 11 that exerts an action on the object W, and a robot arm 12 that operates the end effector 11.
- the robot 1 operates, that is, moves the end effector 11 by the robot arm 12, and exerts an action on the object W by the end effector 11.
- the robot 1 may further have a base 10 that supports the robot arm 12 and a robot control device 14 that controls the entire robot 1.
- Robot 1 is defined with a robot coordinate system with three orthogonal axes.
- the Z-axis is set in the vertical direction
- the X-axis and the Y-axis that are orthogonal to each other in the horizontal direction are set.
- the end effector 11 has a grinding device 11a and adds grinding as an action to the object W.
- the grinding device 11a may be a grinder, an orbital sander, a random orbit sander, a delta sander, a belt sander, or the like.
- the grinder may be a type that rotates a disk-shaped grinding wheel, a type that rotates a conical or columnar grinding wheel, or the like.
- the grinding device 11a is a grinder.
- the robot arm 12 changes the position of the grinding device 11a. Further, the robot arm 12 may change the posture of the grinding device 11a.
- the robot arm 12 is a vertical articulated robot arm.
- the robot arm 12 has a plurality of links 12a, joints 12b connecting the plurality of links 12a, and a servomotor 15 (see FIG. 2) for rotationally driving the plurality of joints 12b.
- the robot arm 12 may be a horizontal articulated type, a parallel link type, a rectangular coordinate type, a polar coordinate type robot arm, or the like.
- the contact force sensor 13 is provided between the robot arm 12 and the end effector 11 (specifically, a connecting portion between the robot arm 12 and the end effector 11).
- the contact force sensor 13 detects the contact force received by the end effector 11 from the object W.
- the contact force sensor 13 detects a force in three orthogonal axes and a moment around the three axes.
- the contact force sensor 13 is an example of a force sensor.
- the force sensor is not limited to the contact force sensor 13.
- the contact force sensor 13 may detect only forces in the uniaxial, biaxial or triaxial directions.
- the force sensor may be a current sensor that detects the current of the servomotor 15 of the robot arm 12, a torque sensor that detects the torque of the servomotor 15, or the like.
- FIG. 2 is a diagram showing a schematic hardware configuration of the robot control device 14.
- the robot control device 14 controls the servomotor 15 of the robot arm 12 and the grinding device 11a.
- the robot control device 14 receives the detection signal of the contact force sensor 13.
- the robot control device 14 transmits / receives information, commands, data, and the like to and from the control device 3 and the image processing device 72.
- the robot control device 14 wirelessly communicates with the control device 3.
- the robot control device 14 is connected to the image processing device 72 by wiring, and transmits information, data, and the like to the image processing device 72 via the wiring.
- the robot control device 14 has a control unit 16, a storage unit 17, a memory 18, and a communication unit 19.
- the control unit 16 controls the entire robot control device 14.
- the control unit 16 performs various arithmetic processes.
- the control unit 16 is formed by a processor such as a CPU (Central Processing Unit).
- the control unit 16 may be formed of an MCU (MicroControllerUnit), an MPU (MicroProcessorUnit), an FPGA (FieldProgrammableGateArray), a PLC (ProgrammableLogicController), a system LSI, or the like.
- the storage unit 17 stores a program executed by the control unit 16 and various data.
- the storage unit 17 is formed of a non-volatile memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), or the like.
- the memory 18 temporarily stores data and the like.
- the memory 18 is formed of a volatile memory.
- the communication unit 19 is a communication module and executes wireless communication.
- the communication unit 19 realizes wireless communication in accordance with a 5G communication standard.
- the operation device 2 has an operation unit 21 operated by the user and an operation force sensor 23 for detecting an operation force applied to the operation unit 21 by the user.
- the operation device 2 receives an input for manually operating the robot 1 and outputs operation information, which is the input information, to the control device 3.
- the user grips the operation unit 21 and operates the operation device 2.
- the operation force sensor 23 detects the force applied to the operation unit 21.
- the operating force detected by the operating force sensor 23 is output to the control device 3 as operating information.
- the operation device 2 may further include a base 20, a support mechanism 22 provided on the base 20 to support the operation unit 21, and an operation control device 24 for controlling the entire operation device 2.
- the operation device 2 presents the reaction force to the operation force to the user by the control from the control device 3.
- the operation control device 24 receives a command from the control device 3 and controls the support mechanism 22 so that the user senses the reaction force.
- the operation device 2 is defined with an operation coordinate system of three orthogonal axes.
- the operating coordinate system corresponds to the robot coordinate system. That is, the Z-axis is set in the vertical direction, and the X-axis and the Y-axis that are orthogonal to each other in the horizontal direction are set.
- the support mechanism 22 has a plurality of links 22a, joints 22b connecting the plurality of links 22a, and a servomotor 25 (see FIG. 3) for rotationally driving the plurality of joints 22b.
- the support mechanism 22 supports the operation unit 21 so that the operation unit 21 can take an arbitrary position and posture in the three-dimensional space.
- the servomotor 25 rotates according to the position and posture of the operation unit 21. The amount of rotation of the servomotor 25, that is, the angle of rotation is uniquely determined.
- the operating force sensor 23 is provided between the operating unit 21 and the support mechanism 22 (specifically, the connecting portion between the operating unit 21 and the support mechanism 22).
- the operating force sensor 23 detects a force in three orthogonal axes and a moment around the three axes.
- the operation force detection unit is not limited to the operation force sensor 23.
- the operating force sensor 23 may detect only the force in the uniaxial, biaxial or triaxial directions.
- the detection unit may be a current sensor that detects the current of the servomotor 25 of the support mechanism 22, a torque sensor that detects the torque of the servomotor 25, or the like.
- FIG. 3 is a diagram showing a schematic hardware configuration of the operation control device 24.
- the operation control device 24 operates the support mechanism 22 by controlling the servomotor 25.
- the operation control device 24 receives the detection signal of the operation force sensor 23.
- the operation control device 24 is connected to the control device 3 by wiring, and transmits / receives information, commands, data, and the like to / from the control device 3 via the wiring.
- the operation control device 24 has a control unit 26, a storage unit 27, and a memory 28.
- the control unit 26 controls the entire operation control device 24.
- the control unit 26 performs various arithmetic processes.
- the control unit 26 is formed by a processor such as a CPU (Central Processing Unit).
- the control unit 26 may be formed of an MCU (MicroControllerUnit), an MPU (MicroProcessorUnit), an FPGA (FieldProgrammableGateArray), a PLC (ProgrammableLogicController), a system LSI, or the like.
- the storage unit 27 stores a program executed by the control unit 26 and various data.
- the storage unit 27 is formed of a non-volatile memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), or the like.
- the memory 28 temporarily stores data and the like.
- the memory 28 is formed of a volatile memory.
- the control device 3 controls the entire master-slave system 110, and controls the operation of the robot 1 and the operation device 2. Specifically, the control device 3 performs master-slave control, specifically, bilateral control between the robot 1 and the operation device 2.
- the control device 3 is an operation device that presents to the user a first control that controls the operation of the robot 1 according to the operation of the operation device 2 by the operation of the user, and a reaction force according to the detection result of the contact force sensor 13.
- the second control that controls the operation of 2 is executed. That is, the end effector 11 processes the object W by the first control, and the reaction force at the time of processing is presented to the user by the second control.
- FIG. 4 is a diagram showing a schematic hardware configuration of the control device 3.
- the control device 3 transmits / receives information, commands, data, and the like to / from the robot control device 14 and the operation control device 24. Further, the control device 3 transmits / receives information, commands, data, and the like to and from the display device 8.
- the control device 3 has a control unit 31, a storage unit 32, a memory 33, and a communication unit 34.
- the control device 3 further includes an input operation unit operated by the user to set the operation control of the robot 1 and the operation device 2, and a display for displaying the setting contents. May be good.
- the control unit 31 controls the entire control device 3.
- the control unit 31 performs various arithmetic processes.
- the control unit 31 is formed by a processor such as a CPU (Central Processing Unit).
- the control unit 31 may be formed of an MCU (MicroControllerUnit), an MPU (MicroProcessorUnit), an FPGA (FieldProgrammableGateArray), a PLC (ProgrammableLogicController), a system LSI, or the like.
- the storage unit 32 stores the program executed by the control unit 31 and various data.
- the storage unit 32 stores a remote control program that controls the remote control system 100.
- the storage unit 32 is formed of a non-volatile memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), or the like.
- the memory 33 temporarily stores data and the like.
- the memory 33 is formed of a volatile memory.
- the communication unit 34 is a communication module and executes wireless communication.
- the communication unit 34 realizes wireless communication in accordance with the 5G communication standard.
- the image pickup apparatus 71 captures an image of the robot 1 and the object W, specifically, a moving image. In this example, since the robot 1 grinds the object W, the image pickup apparatus 71 takes a picture centering on the end effector 11 and the object W. The image pickup apparatus 71 shoots a moving image at a predetermined frame rate. The captured image of the image pickup device 71 is input to the image processing device 72 as an image signal.
- the image processing device 72 receives the captured image of the image pickup device 71, that is, the image signal, processes the image signal, and transmits the processed image signal to the display device 8.
- the image processing device 72 encodes the processed image signal and transmits the encoded image signal to the display device 8 by wireless communication.
- the image processing device 72 receives the detection result of the contact force sensor 13 from the robot 1 in addition to the image signal of the image pickup device 71.
- the image processing device 72 associates the captured image of the image pickup device 71 acquired at the timing corresponding to each other with the detection result of the contact force sensor 13 as the processing of the captured image.
- the image processing device 72 adds the detection result of the contact force sensor 13 acquired at the timing corresponding to the captured image to the captured image.
- the image processing device 72 encodes the captured image to which the detection result of the contact force sensor 13 is added and transmits it to the display device 8.
- FIG. 5 is a diagram showing a schematic hardware configuration of the image processing device 72.
- the image processing device 72 includes a control unit 73, a storage unit 74, a memory 75, and a communication unit 76.
- the control unit 73 controls the entire image processing device 72.
- the control unit 73 performs various arithmetic processes.
- the control unit 73 is formed by a processor such as a CPU (Central Processing Unit).
- the control unit 73 may be formed of an MCU (MicroControllerUnit), an MPU (MicroProcessorUnit), an FPGA (FieldProgrammableGateArray), a PLC (ProgrammableLogicController), a system LSI, or the like.
- the storage unit 74 stores the program executed by the control unit 73 and various data.
- the storage unit 74 is formed of a non-volatile memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), or the like.
- the memory 75 temporarily stores data and the like.
- the memory 75 is formed of a volatile memory.
- the communication unit 76 is a communication module and executes wireless communication.
- the communication unit 76 realizes wireless communication in accordance with the 5G communication standard.
- the display device 8 displays the captured image of the image pickup device 71.
- the display device 8 has a display 81 and a display control device 82.
- the display control device 82 receives the captured image of the image pickup device 71 by wireless communication. Specifically, the display control device 82 wirelessly communicates with the image processing device 72. The display control device 82 receives an image signal from the image processing device 72. The display control device 82 decodes the received image signal and outputs the decoded image signal to the display 81.
- the display 81 displays an image signal input from the display control device 82 as an image.
- FIG. 6 is a diagram showing a schematic hardware configuration of the display control device 82.
- the display control device 82 includes a control unit 83, a storage unit 84, a memory 85, and a communication unit 86.
- the control unit 83 controls the entire display control device 82.
- the control unit 83 performs various arithmetic processes.
- the control unit 83 is formed by a processor such as a CPU (Central Processing Unit).
- the control unit 83 may be formed of an MCU (MicroControllerUnit), an MPU (MicroProcessorUnit), an FPGA (FieldProgrammableGateArray), a PLC (ProgrammableLogicController), a system LSI, or the like.
- the storage unit 84 stores the program executed by the control unit 83 and various data.
- the storage unit 84 is formed of a non-volatile memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), or the like.
- the memory 85 temporarily stores data and the like.
- the memory 85 is formed of a volatile memory.
- the communication unit 86 is a communication module and executes wireless communication.
- the communication unit 86 realizes wireless communication in accordance with the 5G communication standard.
- the control device 3 is based on the first control for controlling the operation of the robot 1 according to the operation of the operation device 2 by the user's operation and the detection result of the contact force sensor 13.
- the master-slave control is executed in parallel with the second control that controls the operation of the operating device 2 so as to present the corresponding reaction force to the user.
- the image system 120 captures the robot 1 and the object W by the image pickup device 71, and executes image display control to display the captured image by the display device 8.
- the user can operate the operation device 2 while observing the captured image displayed on the display device 8.
- the control device 3 executes a delay control for delaying the master-slave control so as to reduce the deviation between the master-slave control and the captured image displayed on the display device 8.
- control device 3 obtains the deviation time between the master-slave control and the captured image displayed on the display device 8 during the execution of the master-slave control and the image display control, and determines the delay amount of the delay control based on the deviation time. And update.
- FIG. 7 is a block diagram showing the configuration of the control system of the remote control system 100.
- the control unit 16 of the robot control device 14 realizes various functions by reading a program from the storage unit 17 into the memory 18 and expanding the program. Specifically, the control unit 16 functions as an input processing unit 41 and an operation control unit 42.
- the input processing unit 41 outputs information, data, commands, etc. received from the contact force sensor 13 and the servomotor 15 to the control device 3. Specifically, the input processing unit 41 receives a 6-axis force detection signal (hereinafter referred to as “sensor signal”) from the contact force sensor 13 and outputs the sensor signal to the control device 3. The sensor signal is transmitted to the control device 3 by wireless communication. Further, the input processing unit 41 receives the detection signals of the rotation sensor (for example, an encoder) and the current sensor from the servomotor 15. The input processing unit 41 outputs the detection signal to the operation control unit 42 for feedback control of the robot arm 12 by the operation control unit 42. Further, the input processing unit 41 outputs the detection signal to the control device 3 as the position information of the robot arm 12. In addition, the input processing unit 41 also outputs the sensor signal of the contact force sensor 13 to the image processing device 72.
- sensor signal a 6-axis force detection signal
- the operation control unit 42 receives the command position xds from the control device 3 via wireless communication, and generates a control command for operating the robot arm 12 according to the command position xds.
- the motion control unit 42 outputs a control command to the servomotor 15, operates the robot arm 12, and moves the grinding device 11a to a position corresponding to the command position.
- the motion control unit 42 feedback-controls the motion of the robot arm 12 based on the detection signals of the rotation sensor and / or the current sensor of the servomotor 15 from the input processing unit 41. Further, the motion control unit 42 outputs a control command to the grinding device 11a to operate the grinding device 11a. As a result, the grinding device 11a grinds the object W.
- the control unit 26 of the operation control device 24 realizes various functions by reading the program from the storage unit 27 into the memory 28 and expanding the program. Specifically, the control unit 26 functions as an input processing unit 51 and an operation control unit 52.
- the input processing unit 51 outputs information, data, commands, etc. received from the operation force sensor 23 to the control device 3. Specifically, the input processing unit 51 receives a force detection signal of 6 axes from the operation force sensor 23, and outputs the detection signal to the control device 3. Further, the input processing unit 51 receives the detection signals of the rotation sensor (for example, an encoder) and the current sensor from the servomotor 25. The input processing unit 51 outputs the detection signal to the operation control unit 52 for feedback control of the support mechanism 22 by the operation control unit 52.
- the rotation sensor for example, an encoder
- the operation control unit 52 receives the command position xdm from the control device 3 and generates a control command for operating the support mechanism 22 according to the command position xdm.
- the operation control unit 52 outputs a control command to the servomotor 25, operates the support mechanism 22, and moves the operation unit 21 to a position corresponding to the command position.
- the operation control unit 52 feedback-controls the operation of the support mechanism 22 based on the detection signals of the rotation sensor and / or the current sensor of the servomotor 25 from the input processing unit 51.
- a reaction force is applied to the operation force applied to the operation unit 21 by the user.
- the user can operate the operation unit 21 while pseudo-feeling the reaction force from the object W from the operation unit 21.
- the control unit 31 of the control device 3 realizes various functions by reading a program (specifically, a remote control program) from the storage unit 32 into the memory 33 and expanding the program.
- the control unit 31 includes an operation force acquisition unit 61, a contact force acquisition unit 62, an addition unit 63, a force / speed conversion unit 64, a first speed / position conversion unit 65, and a second speed / position conversion unit 66. It functions as a separation unit 67, a deviation detection unit 68, and a delay unit 69.
- control unit 73 of the image processing device 72 realizes various functions by reading the program from the storage unit 74 into the memory 75 and expanding the program. Specifically, the control unit 73 functions as a synthesis unit 77 and an encoder 78.
- the control unit 83 of the display control device 82 realizes various functions by reading a program from the storage unit 84 into the memory 85 and expanding the program. Specifically, the control unit 83 functions as a decoder 87.
- the operation force acquisition unit 61 receives the detection signal of the operation force sensor 23 via the input processing unit 51, and acquires the operation force fm based on the detection signal.
- the operation force acquisition unit 61 inputs the operation force fm to the addition unit 63.
- the contact force acquisition unit 62 receives the sensor signal of the contact force sensor 13 via the input processing unit 41, and acquires the contact force fs based on the sensor signal.
- the contact force acquisition unit 62 inputs the contact force fs to the addition unit 63.
- the contact force acquisition unit 62 outputs the sensor signal to the deviation detection unit 68.
- the addition unit 63 calculates the sum of the operation force fm input from the operation force acquisition unit 61 and the contact force fs input from the contact force acquisition unit 62.
- the operating force fm and the contact force fs are forces in opposite directions, the positive and negative signs of the operating force fm and the contact force fs are different. That is, the absolute value of the operating force fm becomes smaller by adding the operating force fm and the contact force fs.
- the adding unit 63 outputs a combined force fm + fs, which is the sum of the operating force fm and the contact force fs.
- the delay unit 69 has a function of delaying master-slave control.
- the delay unit 69 is a low-pass filter, and more specifically, a first-order delay filter.
- the first-order lag filter contains a time constant.
- the delay unit 69 delays the input of the combined force fm + fs from the addition unit 63 to the force / velocity conversion unit 64 according to the time constant.
- the force / speed conversion unit 64 converts the combined force fm + fs input via the delay unit 69 into the command speed xd'.
- the force / velocity conversion unit 64 calculates the command speed xd'using a motion model based on an equation of motion including an inertia coefficient, a viscosity coefficient (damper coefficient), and a rigidity coefficient (spring coefficient). Specifically, the force / velocity conversion unit 64 calculates the command velocity xd'based on the following equation of motion.
- xd is a command position.
- md is a coefficient of inertia.
- cd is a viscosity coefficient.
- kd is a rigidity coefficient.
- fm is an operating force.
- fs is a contact force.
- "'" represents a one-time derivative, and """represents a two-time derivative.
- Equation (1) is a linear differential equation, and when equation (1) is solved for xd', it becomes equation (2).
- A is a term represented by fm, fs, md, cd, kd, and the like.
- Equation (2) is stored in the storage unit 32.
- the force / speed conversion unit 64 reads the equation (2) from the storage unit 32 to obtain the command speed xd', and obtains the obtained command speed xd'in the first speed / position conversion unit 65 and the second speed / position conversion unit. Output to 66.
- the first speed / position conversion unit 65 converts the coordinate-converted command speed xd'to the command position xds for the robot 1 with reference to the robot coordinate system. For example, when the ratio of the movement amount of the robot 1 to the movement amount of the operating device 2 is set, the first speed / position conversion unit 65 multiplies the command position xd obtained from the command speed xd'according to the movement ratio. To obtain the command position xds. The first speed / position conversion unit 65 outputs the obtained command position xds to the robot control device 14, specifically, the motion control unit 42. As described above, the motion control unit 42 operates the robot arm 12 based on the command position xds.
- the second speed / position conversion unit 66 converts the command speed xd'to the command position xdm for the operation device 2 with reference to the operation coordinate system.
- the second speed / position conversion unit 66 outputs the obtained command position xdm to the operation control device 24, specifically, the operation control unit 52.
- the operation control unit 52 operates the support mechanism 22 based on the command position xdm.
- the compositing unit 77 adds the detection result of the contact force sensor 13 acquired at the timing corresponding to the captured image to the captured image of the image pickup device 71 as related information indicating the mutual association. Specifically, the synthesis unit 77 receives the image signal from the image pickup apparatus 71 and also receives the sensor signal of the contact force sensor 13 via the input processing unit 41. The synthesizing unit 77 synthesizes the sensor signal with the image signal. The synthesizing unit 77 synthesizes the sensor signal and the image signal acquired by the contact force sensor 13 and the image pickup apparatus 71 at the timings corresponding to each other (that is, substantially the same timing).
- the synthesis unit 77 considers the time when the image signal and the sensor signal are received by the synthesis unit 77 as the acquisition time of each of the image signal and the sensor signal. In this way, the sensor signals acquired at the timing corresponding to the image signal are added to the image signal as related information indicating the association with each other.
- the sensor signal includes a 6-axis force sensor signal.
- the synthesizing unit 77 synthesizes at least one sensor signal out of the six-axis force sensor signals into the image signal.
- the synthesizing unit 77 synthesizes the sensor signal having a large fluctuation when the robot 1 exerts an action on the object W among the sensor signals of the force of 6 axes into the image signal.
- the synthesizer 77 synthesizes the sensor signal of the force in the Z-axis direction into the image signal.
- the compositing unit 77 synthesizes the sensor signal into the image signal by using the digital watermarking technique.
- the synthesizer 77 embeds the sensor signal in the image signal by means of a digital watermark that is difficult to perceive.
- the encoder 78 encodes the image signal in which the sensor signal is synthesized in the synthesis unit 77.
- the encoder 78 outputs the encoded image signal to the communication unit 76.
- the encoded image signal is transmitted to the display control device 82 via the communication unit 76.
- the display control device 82 receives the image signal from the image processing device 72 via the communication unit 86.
- the image signal is input to the decoder 87.
- the decoder 87 decodes the image signal.
- the decoder 87 outputs the decoded image signal to the separation unit 67 of the display 81 and the control device 3.
- the display 81 displays an image according to the decoded image signal.
- the separation unit 67 separates the sensor signal from the decoded image signal.
- the sensor signal is synthesized into an image signal by a digital watermark.
- the separation unit 67 separates the sensor signal from the image signal by the digital watermarking technique.
- the separation unit 67 outputs the separated sensor signal to the deviation detection unit 68.
- the deviation detection unit 68 obtains and updates the delay time as the delay amount for delaying the master-slave control.
- the deviation detection unit 68 obtains a delay time based on the deviation time between the sensor signal received from the robot 1 and the image signal received from the display device 8.
- the deviation time between the sensor signal and the image signal is originally the timing corresponding to each other, that is, the sensor signal and the image signal acquired at substantially the same timing are received by the deviation detection unit 68, that is, the control device 3. It is a time lag. Even if the original acquisition timings of the sensor signal and the image signal are substantially the same, the transmission path to the control device 3 and the processing received in the middle of the transmission path are different, so that the time to reach the control device 3 is different. ..
- the sensor signal received from the robot 1 is used for deriving the command position xds and the command position xdm.
- the image signal received from the display device 8 is the same signal as the image signal input to the display 81. That is, the deviation time between the sensor signal received from the robot 1 and the image signal received from the display device 8 corresponds to the deviation of the display timing by the display device 8 of the captured image with respect to the master-slave control.
- the deviation detection unit 68 obtains the deviation time between the sensor signal from the contact force acquisition unit 62 and the sensor signal from the separation unit 67.
- a sensor signal is input from the contact force acquisition unit 62 to the deviation detection unit 68, and a sensor signal is input from the separation unit 67.
- the sensor signal from the contact force acquisition unit 62 is a sensor signal received from the robot control device 14, that is, the robot 1.
- the sensor signal from the separation unit 67 is a signal separated from the image signal decoded by the display device 8, and the contact force sensor 13 performs the timing corresponding to the timing when the image signal is acquired by the image pickup device 71. This is the acquired signal. Therefore, the deviation time between the sensor signal from the contact force acquisition unit 62 and the sensor signal from the separation unit 67 corresponds to the deviation time between the sensor signal received from the robot 1 and the image signal received from the display device 8.
- the deviation detection unit 68 acquires the contact force.
- the sensor signal of the force in the Z-axis direction is compared with the sensor signal from the separation unit 67.
- the deviation detection unit 68 stores the obtained deviation time in the storage unit 32.
- the deviation time is accumulated in the storage unit 32.
- the storage unit 32 stores a delay time as a reference for determining the time constant of the delay unit 69.
- the initial value of the delay time is set by obtaining the deviation time in advance as described above.
- the deviation detection unit 68 updates the delay time based on the deviation time accumulated in the storage unit 32.
- the deviation detection unit 68 updates the delay time with the deviation time when the state in which the deviation time is significantly different from the delay time continues for a certain period or more.
- the deviation detection unit 68 obtains the time constant set in the delay unit 69 based on the delay time. Specifically, the storage unit 32 stores a conversion function for converting the delay time into a time constant. The deviation detection unit 68 obtains a time constant from the delay time using a conversion function. The deviation detection unit 68 updates the time constant of the delay unit 69 with the obtained time constant. The delay unit 69 executes the above-mentioned process using the updated time constant.
- FIG. 8 is a flowchart showing the operation of the remote control system 100.
- the master-slave control by the master-slave system 110 will be described.
- the master-slave control is realized by the control device 3 reading the remote control program stored in the storage unit 32 into the memory 33 and expanding the remote control program.
- step Sa0 the delay control is set.
- the control device 3 displays a setting screen for setting delay control on a display (not shown). Specifically, the display displays a display for switching between enabling and disabling the delay control, a delay amount of the master-slave control when the delay control is enabled (specifically, a delay time), and the like. The user sets the delay control via the input operation unit.
- step Sa1 when the user operates the operation device 2, the operation force sensor 23 detects the operation force applied by the user via the operation unit 21. At this time, the contact force sensor 13 of the robot 1 detects the contact force.
- the operating force detected by the operating force sensor 23 is input to the control device 3 as a detection signal by the input processing unit 51.
- the operation force acquisition unit 61 inputs the operation force fm based on the detection signal to the addition unit 63.
- the contact force detected by the contact force sensor 13 is input to the input processing unit 41 as a sensor signal.
- the sensor signal input to the input processing unit 41 is transmitted to the control device 3 via the communication unit 19.
- the input processing unit 41 inputs the sensor signal to the image processing device 72.
- the communication unit 34 receives the sensor signal and inputs the sensor signal to the contact force acquisition unit 62.
- the contact force acquisition unit 62 inputs the contact force fs based on the sensor signal to the addition unit 63.
- the contact force acquisition unit 62 inputs the sensor signal to the deviation detection unit 68.
- the deviation detection unit 68 stores the sensor signal in the memory 33.
- step Sa2 the control device 3 determines whether or not the delay control is enabled.
- step Sa4 the grinding process by the robot 1 and the presentation of the reaction force by the operating device 2 are executed.
- the addition unit 63 obtains the combined force fm + fs based on the input operating force fm and the contact force fs, and inputs the combined force fm + fs to the force / speed conversion unit 64.
- the delay unit 69 is treated as invalid. That is, the combined force fm + fs output from the addition unit 63 is input to the force / velocity conversion unit 64 without delay.
- the force / velocity conversion unit 64 obtains the command speed xd'based on the equation (2) using the combined force fm + fs.
- the first speed / position conversion unit 65 obtains the command position xds from the command speed xd'.
- the motion control unit 42 of the robot control device 14 operates the robot arm 12 according to the command position xds to control the position of the grinding device 11a.
- the object W is ground by the grinding device 11a while the pressing force corresponding to the operating force fm is applied to the object W.
- the second speed / position conversion unit 66 obtains the command position xdm from the command speed xd'.
- the operation control unit 52 of the operation control device 24 operates the support mechanism 22 according to the command position xdm, and controls the position of the operation unit 21. As a result, the user senses the reaction force corresponding to the contact force fs.
- the delay unit 69 delays the input of the combined force fm + fs from the addition unit 63 to the force / velocity conversion unit 64 based on the set time constant. As a result, the time from the input of the detection signal of the operation force sensor 23 and the sensor signal of the contact force sensor 13 to the execution of the operation control of the robot arm 12 and the operation unit 21 is delayed.
- the master-slave system 110 repeats such processing at a predetermined control cycle.
- the user can remotely control the robot 1 arranged at the second site S2 to grind the object W.
- the user can operate the operating device 2 while sensing the reaction force received by the grinding device 11a from the object W via the operating device 2.
- step Sa0 is executed only once at the start of this control, and is not executed in the subsequent control cycles.
- the image system 120 captures the robot 1 and the object W, and executes image display control for presenting the captured image to the user.
- step Sb1 the image pickup apparatus 71 photographs the robot 1 and the object W.
- the image pickup apparatus 71 captures a moving image of the robot 1 and the object W at a predetermined frame rate.
- the image pickup device 71 inputs a captured image (that is, an image signal) to the image processing device 72.
- step Sb2 the synthesizing unit 77 of the image processing device 72 synthesizes the sensor signal of the contact force sensor 13 with the captured image.
- This composition is not a process for presenting the captured image to the user, but a process for updating the delay time of the master-slave control.
- FIG. 9 (i) is an example of a sensor signal output from the input processing unit 41.
- FIG. 9 (ii) is an example of an image signal output from the image pickup apparatus 71.
- FIG. 10 is an example of an image signal in which the sensor signal is synthesized, which is output from the synthesis unit 77.
- the sensor signal output from the input processing unit 41 includes data acquired in the sampling cycle corresponding to the control cycle of the master-slave control.
- the image signal input from the image pickup apparatus 71 includes a frame (still image) acquired at a predetermined frame rate.
- the sampling period is shorter than the frame rate. Therefore, the synthesizing unit 77 synthesizes the sensor signal acquired between the frame and the immediately preceding frame into each frame.
- the synthesizing unit 77 synthesizes the sensor signal as an image, that is, a time-series signal waveform with the image of each frame.
- the synthesis of sensor signals is performed by digital watermarking technology. As a result, as shown in FIG. 10, an image signal is generated in which the image of the sensor signal is combined as a digital watermark on the frame.
- the combined frame and the sensor signal are acquired at substantially the same timing.
- step Sb3 the encoder 78 encodes the image signal generated by the synthesizing unit 77.
- step Sb4 the image processing device 72 transmits the encoded image signal to the display control device 82 by wireless communication.
- the display control device 82 receives the image signal from the image processing device 72.
- the decoder 87 decodes the image signal in step Sb5.
- the decoder 87 outputs the decoded image signal to the display 81.
- the display 81 displays an image based on the image signal in step Sb6. As a result, the image captured by the image pickup device 71 is presented to the user. Here, the display 81 displays a captured image in which the sensor signal is combined. However, since the sensor signal is synthesized by a digital watermarking technique that is difficult to perceive, it is not visible to the user.
- the image system 120 repeats such processing at the frame rate of the captured image.
- the image pickup apparatus 71 photographs the robot 1 and the object W arranged at the second site S2, and the display device 8 displays the captured image at the first site S1.
- the user displays an image of the robot 1 and the object W during or after grinding at the second site S2 on the first site S1. You can check with.
- the contact force sensor 13 detects the contact force from the object W as a sensor signal
- the image pickup device 71 captures captured images of the robot 1 and the object W. Acquired as an image signal.
- the sensor signal of the contact force sensor 13 is input to the control device 3 via the first transmission line of the master-slave system 110.
- the control device 3 controls the robot 1 and the operation device 2 by using the sensor signal as one of the inputs.
- the image signal of the image pickup device 71 is input to the display device 8 via the second transmission path of the image system 120. Further, the image signal is encoded by the image processing device 72 and decoded by the display control device 82 on the way.
- the amount of data of the image signal is considerably larger than that of the sensor signal.
- the difference in the amount of data becomes even larger. Therefore, the communication time of the image signal from the image processing device 72 to the display control device 82 is longer than the communication time of the sensor signal from the robot control device 14 to the control device 3.
- the image signal needs to be encoded and decoded. When the amount of data of the image signal is large, the time required for encoding and decoding also becomes long.
- FIG. 11 (i) is an example of a sensor signal acquired by the control device 3 from the robot control device 14.
- FIG. 11 (ii) is an example of an image signal after decoding by the display control device 82.
- the sensor signal acquired by the control device 3 is an input processing unit shown in FIG. 9 (i) due to the influence of the communication time between the robot control device 14 and the control device 3. It is slightly delayed compared to the sensor signal of the contact force sensor 13 output from 41. However, the delay is negligibly small.
- the image signal after decoding is affected by the encoding time, the communication time between the image processing device 72 and the display control device 82, the decoding time, and the like, and the image signal is shown in FIG. 9 (ii). ), It is delayed as compared with the image signal output from the image pickup apparatus 71.
- the delay of the image signal is larger than the delay of the sensor signal.
- the user will perform the grinding process by the robot 1 and the operating device 2 while observing the captured images of the robot 1 and the object W, which are delayed from the real time. Further, the user obtains two feedback information, that is, the image display by the display device 8 and the reaction force presentation via the operation device 2 for the operation of the operation device 2.
- the timing of the reaction force presentation and the image display is different, the user feels uncomfortable.
- humans tend to rely on visual information rather than tactile information. Therefore, the user operates the operation device 2 by relying on the image of the display device 8 delayed from the real time, instead of presenting the reaction force by the operation device 2.
- the higher the image quality the greater the tendency.
- the delay in displaying the image by the display device 8 becomes larger as described above.
- the control device 3 delays the master-slave control so as to reduce the deviation of the display timing of the captured image by the display device 8 with respect to the master-slave control.
- the delay unit 69 delays the input of the combined force fm + fs from the addition unit 63 to the force / velocity conversion unit 64.
- the control device 3 includes a delay element such as a low-pass filter of the delay unit 69 between the time when the operation force and the contact force are input and the time when the robot 1 and the operation device 2 are operated.
- the control device 3 delays the operation control of the robot 1 and the operation device 2, that is, delays the time from receiving the sensor signal from the contact force sensor 13 until the robot 1 and the operation device 2 are operated.
- the responsiveness of the master-slave control is reduced.
- the responsiveness of the image display control that is, the responsiveness of the image display by the display device 8 to the image capture by the image pickup device 71
- the responsiveness of the master-slave control match or become close to each other. Even when the user operates the operation device 2 by relying on the captured image displayed on the display device 8, the discomfort given to the user can be reduced. For example, it is possible to prevent the object W from being ground more than it is displayed on the display device 8.
- the remote control system 100 delays the master-slave control to allow a decrease in the responsiveness of the master-slave control, while reducing the deviation of the display timing of the captured image by the display device 8 with respect to the master-slave control. There is. As a result, it is possible to reduce a sense of discomfort when the user operates the operation device 2 while viewing the captured image of the display device 8.
- the control device 3 obtains the delay amount of the master-slave control in the delay control.
- step Sa1 the input processing unit 41 transmits the sensor signal of the contact force sensor 13 to the control device 3 via the communication unit 19 and inputs the sensor signal to the image processing device 72. ..
- the captured image of the image pickup apparatus 71 acquired by the compositing unit 77 at the timing corresponding to each other is associated with the detection result of the contact force sensor 13.
- the image processing device 72 adds the sensor signal of the contact force sensor 13 acquired at the timing corresponding to the captured image to the captured image.
- the synthesizing unit 77 synthesizes the sensor signal acquired at substantially the same timing as each frame into the image of each frame of the image signal as an image by the digital watermarking technique.
- the image signal in which the sensor signal is combined is encoded (step Sb3), wirelessly communicated (step Sb4), and decoded (step Sb5).
- the decoded image signal is not only input from the display control device 82 to the display 81, but also input from the display control device 82 to the control device 3.
- the separation unit 67 separates the sensor signal from the decoded image signal as shown in FIG. 11 (ii) as shown in FIG.
- the sensor signal is separated from the image signal based on the digital watermarking technique.
- the separated sensor signal is input from the separation unit 67 to the deviation detection unit 68.
- the sensor signal input from the input processing unit 41 to the control device 3 is also input to the deviation detection unit 68 via the contact force acquisition unit 62. That is, in the deviation detection unit 68, the sensor signal of the contact force sensor 13 is transmitted to the first transmission path of the robot 1, the wireless communication and the control device 3, and the second transmission of the image processing device 72, the wireless communication and the display control device 82. It is input via two transmission lines with a road. As described above, the sensor signal passing through the second transmission line undergoes encoding and decoding processing on the way.
- the deviation detection unit 68 determines in step Sa5 whether or not the predetermined detection condition is satisfied.
- the detection condition is that the deviation detection unit 68 receives the sensor signal from the separation unit 67.
- the deviation detection unit 68 uses the sensor signal from the separation unit 67 (that is, the sensor signal via the second transmission line). In comparison, the sensor signal from the contact force acquisition unit 62 (that is, the sensor signal via the first transmission line) is received in a shorter cycle. Therefore, when the detection condition is not satisfied, that is, when the sensor signal is not input from the separation unit 67 to the deviation detection unit 68, the deviation detection unit 68 stores the sensor signal input from the contact force acquisition unit 62 in memory. It is saved in 33, and the derivation of the delay amount in the current control cycle is completed.
- the deviation detection unit 68 stores the sensor signal from the separation unit 67 in the memory 33 in step Sa6. Compared with the sensor signal from the contact force acquisition unit 62, the deviation time of the sensor signal from the separation unit 67 with respect to the sensor signal from the contact force acquisition unit 62 is obtained.
- the deviation detection unit 68 periodically, specifically, at the frame rate of the captured image, a sensor signal is input from the separation unit 67.
- the sensor signal as shown in FIG. 11 (i) is stored in the memory 33.
- the deviation detection unit 68 searches for a signal waveform that matches the signal waveform of the sensor signal from the separation unit 67 from the sensor signals from the contact force acquisition unit 62 stored in the memory 33. Then, the deviation detection unit 68 obtains the time difference between the sensor signal from the separation unit 67 and the portion of the sensor signal from the contact force acquisition unit 62 where the signal waveforms match, as the deviation time.
- the deviation detection unit 68 stores the obtained deviation time in the storage unit 32.
- the deviation detection unit 68 repeats the derivation of such a deviation time every time the detection condition is satisfied. As a result, the deviation time is accumulated in the storage unit 32.
- the deviation detection unit 68 determines in step Sa7 whether or not the predetermined update condition is satisfied.
- the update condition is such that the state in which the deviation time changes beyond the predetermined fluctuation range (hereinafter referred to as “variation threshold”) with respect to the current delay time continues for a predetermined period (hereinafter referred to as “period threshold”) or longer. That is.
- the update condition is that the state in which the deviation time is significantly different from the current delay time continues for a certain period or more.
- the deviation detection unit 68 compares the deviation time with the current delay time, determines whether or not the time difference exceeds the fluctuation threshold value, and stores the determination result in the storage unit 32. save. Further, when the time difference exceeds the fluctuation threshold value, the deviation detection unit 68 reads the determination result between the current time and the period threshold value from the storage unit 32, and the state in which the time difference exceeds the fluctuation threshold value is the period threshold value. It is determined whether or not the above is continued. If the sign of the time difference changes between the period thresholds, it is not treated as continuing the state in which the time difference exceeds the fluctuation threshold.
- the deviation detection unit 68 ends the derivation of the delay amount in the current control cycle.
- the deviation detection unit 68 averages the deviation time between the period threshold values in step Sa8, and the current delay time is the average value.
- the delay time corresponds to the delay amount of the master-slave control in the delay control.
- the deviation detection unit 68 obtains a time constant from the delay time after the update by using the conversion function stored in the storage unit 32.
- the deviation detection unit 68 updates the time constant of the delay unit 69 with the obtained time constant.
- the deviation detection unit 68 sets a limit on the change width of the delay time. That is, the deviation detection unit 68 changes the current delay time stepwise over a plurality of control cycles up to a new delay time so that the responsiveness of the master-slave control does not change suddenly.
- the remote control system 100 obtains the delay amount of the master-slave control by using the signals of the master-slave control and the image display control while performing the master-slave control and the image display control.
- the deviation detection unit 68 of the control device 3 transfers the sensor signal received from the contact force sensor 13 by the control device 3 for master-slave control and the image display device 71 to the display device 8 for image display control.
- the deviation time from the transmitted and displayed image signal is obtained, and the delay amount is obtained based on the obtained deviation time. Since the delay amount is obtained based on the signals transmitted / received and processed for the master-slave control and the image display control during the execution of the master-slave control and the image display control, the delay amount according to the actual control situation is obtained.
- the communication environment between the robot control device 14 and the control device 3 and the communication environment between the image processing device 72 and the display control device 82 can change. Even when these communication environments change, the delay amount can be changed in response to the change in the communication environment by obtaining the delay amount by the above-mentioned method.
- the time required for encoding and decoding may change depending on the image captured by the image pickup apparatus 71.
- an image having a uniform color and an image having various colors and brightness differ in the time required for encoding and decoding.
- sparks may be generated at the contact portion between the object W and the grinding device 11a. That is, the time required for encoding and decoding differs depending on the presence or absence of sparks or the amount of sparks contained in the image. Even in such a case, the delay amount can be changed according to the situation of the image by obtaining the delay amount by the above-mentioned method.
- the control device 3 is the sensor signal and the display device 8 used for the master-slave control.
- the sensor signal and the image signal associated with each other can be discriminated from the image signal displayed on the screen, and the deviation time between them can be obtained.
- the sensor signal is added to the image signal among the sensor signal and the image signal acquired at the timing corresponding to each other by the contact force sensor 13 and the image pickup device 71 as related information indicating the mutual association.
- the control device 3 obtains the deviation time between the sensor signal and the image signal based on the sensor signal as related information. That is, when the control device 3 receives both the sensor signal and the image signal, the control device 3 originally acquires the sensor signal at the timing corresponding to the sensor signal by comparing the sensor signal with the sensor signal added to the image signal. The resulting image signal can be discriminated, and the deviation time between the two can be obtained.
- control device 3 separates the sensor signal from the image signal by the separation unit 67, and determines the deviation time between the sensor signal from the contact force acquisition unit 62 and the sensor signal separated from the image signal between the sensor signal and the image signal. It is calculated as the deviation time from.
- the sensor signal is used as the related information, it is not necessary to add another information to the sensor signal, and it is sufficient to add the sensor signal only to the image signal. Furthermore, there is no need to prepare other information other than the sensor signal and the image signal. Therefore, the process is simplified.
- the addition of the sensor signal to the image signal is performed before encoding the image signal, and the separation of the sensor signal from the image signal is performed after decoding the image signal. Therefore, the sensor signal separated by the separation unit 67 is delayed by the time required for encoding the image signal, wirelessly communicating the image signal, and decoding the image signal. Therefore, the control device 3 can obtain a deviation time that appropriately reflects the effects of image signal encoding, wireless communication, and decoding.
- the addition of the sensor signal to the image signal is realized by digital watermarking technology. Therefore, even if the display device 8 displays the image signal in which the sensor signal is combined on the display 81, the sensor signal does not interfere with the presentation of the captured image to the user. That is, the display device 8 does not require any special processing such as separating the sensor signal from the image signal.
- the control device 3 determines the delay amount of the master-slave control, that is, the delay time when the state in which the deviation time changes beyond the predetermined fluctuation threshold value with respect to the current delay time continues for a predetermined period threshold value or longer. I'm updating.
- the delay amount of the master-slave control can be kept constant and the master-slave control can be stabilized by ignoring the small fluctuation of the deviation time that is allowed in the normal master-slave control and the image display control. That is, the communication environment between the image processing device 72 and the display control device 82 is not constant and may vary slightly. Further, the time required for encoding and decoding the image signal may vary depending on the captured image.
- the control device 3 keeps the delay amount of the master-slave control constant to keep the responsiveness of the master-slave control constant. It is possible to prevent the user from feeling uncomfortable.
- the control device 3 can reduce the discomfort given to the user by changing the delay time stepwise. That is, the delay time is directly linked to the responsiveness of the master-slave control. The control device 3 can prevent the responsiveness of the master-slave control from suddenly changing by changing the delay time step by step.
- the remote control system 100 includes an operating device 2 (master device) operated by the user, a robot 1 (slave device) that acts on the object W according to the operation of the operating device 2, and the robot 1.
- a contact force sensor 13 sensor for detecting the operating state of the robot 1, an image pickup device 71 for capturing an image of at least one of the robot 1 and the object W, and an image captured by the image pickup device 71 are displayed.
- the operating device 2 operated by the user the robot 1 that acts on the object W according to the operation of the operating device 2, and the contact force sensor 13 provided on the robot 1 to detect the operating state of the robot 1.
- a remote device including an image pickup device 71 that captures an image of at least one of the robot 1 and the object W, and a display device 8 that displays an image captured by the image pickup device 71 and provides the user to operate the operation device 2.
- the control method of the control system 100 is to execute the operation control of at least one of the robot 1 and the operation device 2 based on the detection result of the contact force sensor 13, and to shift the display timing by the captured image display device 8 with respect to the operation control. Includes delaying motion control to reduce.
- an operating device 2 operated by the user a robot 1 that acts on the object W according to the operation of the operating device 2, and a contact force sensor 13 provided on the robot 1 to detect the operating state of the robot 1.
- Remote control including an image pickup device 71 that captures an image of at least one of the robot 1 and the object W, and a display device 8 that displays an image captured by the image pickup device 71 and provides the user to operate the operation device 2.
- the remote control program for realizing the function of controlling the system 100 in the computer includes a function of executing the motion control of at least one of the robot 1 and the operating device 2 based on the detection result of the contact force sensor 13, and a shooting for the motion control.
- the computer is provided with a function of delaying the operation control so as to reduce the deviation of the display timing by the image display device 8.
- the robot 1 operates by the user operating the operating device 2 to apply an action (for example, grinding) to the object W.
- the contact force sensor 13 detects the operating state of the robot 1 (for example, the reaction force acting on the robot 1).
- the operation control of at least one of the robot 1 and the operating device 2 is executed based on the detection result of the contact force sensor 13.
- the image pickup device 71 captures an image of at least one of the robot 1 and the object W, and the display device 8 displays the captured image and provides the captured image to the user.
- the amount of data of the captured image is larger than the detection result of the contact force sensor 13.
- the time required for the processing and communication from the acquisition of the captured image by the image pickup device 71 to the display on the display device 8 is the processing from the acquisition of the detection result by the contact force sensor 13 to the time when it is used for the operation control. And it becomes longer than the time required for communication. That is, there is a tendency that the display timing by the captured image display device 8 is deviated (specifically, delayed) with respect to the operation control of at least one of the robot 1 and the operating device 2 based on the detection result of the contact force sensor 13. On the other hand, the motion control is delayed so as to reduce the deviation of the display timing by the captured image display device 8 with respect to the motion control. As a result, although the responsiveness of the operation control is lowered, it is possible to reduce the discomfort given to the user who operates the operation device 2 while viewing the captured image of the display device 8.
- control device 3 receives the detection result of the contact force sensor 13 from the robot 1 and the captured image from the display device 8, and the delay amount for delaying the operation control is the detection result of the contact force sensor 13 and the captured image. It is calculated based on the deviation time of.
- the control device 3 receives the detection result of the contact force sensor 13 from the robot 1 and executes the operation control based on the detection result.
- the control device 3 receives the captured image from the display device 8, and the captured image is displayed on the display device 8. That is, the deviation time between the detection result of the contact force sensor 13 and the captured image received by the control device 3 substantially matches the deviation time between the operation control and the display of the captured image by the display device 8. Therefore, the control device 3 copes with the deviation between the operation control and the display of the captured image by the display device 8 by obtaining the delay amount of the operation control based on the deviation time between the detection result of the contact force sensor 13 and the captured image. It is possible to obtain the amount of delay in the operation control to be performed.
- At least one of the detection result acquired by the contact force sensor 13 and the image pickup device 71 at the timing corresponding to each other and the captured image is added with related information indicating the mutual association, and the control device 3 is related. Based on the information, the detection result and the captured image are discriminated based on the related information, and the deviation time is obtained.
- control device 3 can easily discriminate the detection result and the captured image acquired at the timing corresponding to each other from the detection result and the captured image by referring to the related information.
- the remote control system 100 further includes an image processing device 72 that receives a captured image from the image pickup device 71, processes the captured image, and transmits the processed captured image to the display device 8.
- the image processing device 72 further includes an image processing device 72.
- the detection result is received from the robot 1, the detection result acquired at the timing corresponding to the captured image is added to the captured image as related information, the captured image to which the detection result is added is transmitted to the display device 8, and the control device 3 Receives the captured image to which the detection result is added from the display device 8, and obtains the deviation time based on the comparison between the detection result added to the captured image and the detection result received from the robot 1.
- the detection of the contact force sensor 13 as related information indicating the association between the detection result of the contact force sensor 13 acquired at the timing corresponding to each other and the captured image of the image pickup device 71 in the captured image.
- the result is added. Therefore, the detection result is added to the captured image transmitted to the display device 8 and received by the control device 3 from the display device 8.
- the control device 3 receives the detection result from the robot 1.
- the deviation time between the detected detection result received by the robot 1 and the captured image to which the detection result is added that is, the deviation time between the detection result and the captured image. Therefore, the control device 3 can easily obtain the deviation time between the detection result and the captured image by comparing the detection result added to the captured image with the detection result received from the robot 1.
- the image processing device 72 adds the detection result to the captured image by synthesizing the detection result acquired at the timing corresponding to the captured image into the captured image as an image, and encodes the captured image in which the detection result is synthesized.
- the image is transmitted to the display device 8, and the control device 3 acquires the detection result from the captured image decoded by the display device 8.
- the detection result of the contact force sensor 13 synthesized by the control device 3 with the captured image received from the display device 8 is encoded together with the captured image between the image processing device 72 and the display device 8. It has undergone communication and decoding. That is, the control device 3 obtains the deviation time based on the comparison between the detection result added to the decoded captured image and the detection result received from the robot 1, and thereby reflects the deviation due to these processes and communication. You can ask for time.
- control device 3 controls the operation of the robot 1 according to the operation and detection result of the operation device 2 by the user, and the operation of the operation device 2 so as to present the reaction force acting on the robot 1 to the user. To control.
- the operation control of the control device 3 includes the operation control of the robot 1 and the operation control of the operation device 2. That is, when the display timing of the captured image display device 8 deviates from the operation control, the operation control of the robot 1 and the display timing of the captured image display device 8 deviate from each other, and the operation control and shooting of the operation device 2 are performed.
- the display timing by the image display device 8 is different. For example, if the display timing of the captured image display device 8 is delayed with respect to the control of the motion of the robot 1, the user views the motion of the robot 1 or the captured image of the object W, which is delayed from the actual motion of the robot 1. While operating the operating device 2, the operation device 2 is operated.
- the user is delayed from the operation of the robot 1 when receiving the reaction force presented by the operation device 2.
- the reaction force from the operation device 2 is sensed while observing the operation of 1 or the captured image of the object W. In either case, the user will feel uncomfortable.
- the control device 3 delays the operation control, both the operation control of the robot 1 and the operation control of the operation device 2 are delayed.
- the operation of the robot 1 and the captured image are displaced, and the reaction force felt from the operating device 2 and the captured image are displaced. Can be reduced.
- the contact force sensor 13 is an example of a sensor that detects the operating state of the robot 1, and further is an example of a force sensor.
- the configuration of the remote control system 100 described above is only an example, and is not limited to this.
- the action that the robot 1 applies to the object W is not limited to grinding.
- the action that the robot 1 applies to the object W may be cutting or polishing, or may be pressing or grasping.
- the communication between the robot 1 and the control device 3 is not limited to wireless communication, and may be wired communication.
- the communication between the image pickup device 71 and the display device 8 is not limited to wireless communication, and may be wired communication.
- the operation control of the robot 1 and the operation device 2 executed by the control device 3 is not limited to the bilateral control.
- the control device 3 may independently perform the operation control of the robot 1 according to the operation of the operation device 2 and the operation control of the operation device 2 according to the reaction force received by the robot 1 from the object W.
- control device 3 may only control the operation of the robot 1 according to the operation of the operation device 2 and may not present the reaction force to the user via the operation device 2. That is, the control device 3 may only control the operation of the robot 1 based on the operation of the operation device 2 by the user and the sensor signal of the contact force sensor 13.
- the robot 1 is not limited to the industrial robot.
- the robot 1 may be a medical robot.
- the slave device is not limited to the robot.
- the slave device may be a machine such as a construction machine.
- the sensor for detecting the operating state of the slave device is not limited to the contact force sensor 13, and any sensor can be adopted as long as the operating state of the slave device can be detected.
- the sensor for detecting the operating state of the slave device may be a current sensor for detecting the current of the servomotor 15, a torque sensor for detecting the torque of the servomotor 15, or the like.
- the sensor signal combined with the captured image is not limited to the sensor signal of the force in the Z-axis direction.
- the sensor signal synthesized in the captured image may be a sensor signal of a force in a direction other than the Z-axis direction, and includes a sensor signal of a force in a plurality of directions not limited to the Z-axis direction. May be good.
- the user may select the sensor signal to be combined with the captured image among the sensor signals of the force of 6 axes in step Sa0 or the like.
- the robot control device 14 or the image processing device 72 may select a sensor signal to be synthesized with the captured image from the sensor signals of the force of 6 axes.
- the robot control device 14 or the image processing device 72 may select a sensor signal having a large fluctuation from the six-axis force sensor signals of the contact force sensor 13.
- the synthesis of the sensor signal with the captured image is not limited to the one using the digital watermarking technology that is difficult to perceive.
- the sensor signal may be combined with the captured image in a visible state.
- Visually synthesizing the sensor signal may be achieved by a perceptible digital watermarking technique or by any other method.
- the sensor signal added to each frame of the image signal contains a plurality of numerical data, and forms a signal waveform that can be discriminated from the sensor signal added to another frame.
- the sensor signal added to each frame of the image signal has only a small amount of numerical data and can be distinguished from the sensor signal added to another frame. It may not be possible to form a signal waveform.
- the deviation detection unit 68 can determine by combining the sensor signal added to the frame to be derived with the deviation time with the sensor signal added to the nearest one or a plurality of frames. After forming a signal waveform, the combined sensor signal may be compared with the sensor signal from the contact force acquisition unit 62.
- the related information indicating the mutual association between the detection result of the sensor acquired at the timing corresponding to each other and the captured image of the image pickup device is not limited to the detection result of the sensor (in the above example, the sensor signal of the contact force sensor 13). ..
- the related information may be time information. That is, the time information from which the detection result was acquired may be added to the detection result of the sensor, and the time information from which the captured image was acquired may be added to the captured image of the image pickup apparatus. In that case, it is not necessary to add the detection result of the sensor to the image signal.
- the robot control device 14 adds the time information when the sensor signal is acquired to the sensor signal of the contact force sensor 13, and the image processing device 72 adds the time information when the image signal is acquired to the image signal of the image pickup device 71. It may be added. It is not necessary to input the sensor signal from the robot control device 14 to the image processing device 72.
- the deviation detection unit 68 compares the time signal added to the sensor signal with the time signal added to the image signal to discriminate between the sensor signal and the image signal acquired at the timing of each other, and the deviation detection unit 68 determines the deviation between the two. You can ask for time.
- the time information may be added as data, or the time information may be combined with the captured image as an image.
- the related information may be identification information indicating acquisition timing other than time information.
- the delay time update condition is not limited to the state in which the deviation time has changed beyond the predetermined fluctuation range with respect to the current delay time and continues for a predetermined period or longer.
- the update condition may be that the deviation time changes beyond the predetermined fluctuation range with respect to the current delay time.
- the update condition may be the arrival of a predetermined cycle regardless of the fluctuation of the deviation time. That is, the delay time may be updated at predetermined intervals.
- the new delay time is set during the predetermined period. It does not have to be the average value obtained by averaging the deviation times.
- the new delay time may be the latest deviation time or the most frequent deviation time during a predetermined period.
- the current delay time may be updated at once instead of stepwise to the new delay time.
- the delay time is not updated automatically by the control device 3, but when the update condition is satisfied, a new delay time is presented to the user, and the delay time is updated by the operation from the user. May be good.
- the above-mentioned block diagram is an example, and a plurality of blocks may be realized as one block, one block may be divided into a plurality of blocks, or some functions may be transferred to another block.
- the technique of the present disclosure may be a program for executing the control method, or may be a non-temporary computer-readable recording medium in which the program is recorded. Further, the program may be one that can be distributed via a transmission medium such as the Internet.
- the functions of the configuration disclosed in this embodiment may be executed by using an electric circuit or a processing circuit.
- the processor is a processing circuit or the like including a transistor and other circuits.
- a unit, controller or means is hardware or programmed to perform the described function.
- the hardware is the hardware disclosed in the present embodiment or known hardware configured or programmed to perform the functions disclosed in the present embodiment.
- the circuit, means or unit is a combination of hardware and software, and the software is used to configure the hardware and / or the processor.
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
遠隔制御システム100は、ユーザに操作される操作装置2と、操作装置2の動作に応じて対象物Wに作用を加えるロボット1と、ロボット1に設けられ、ロボット1の動作状態を検出する接触力センサ13と、ロボット1及び対象物Wの少なくとも一方の画像を撮影する撮像装置71と、撮像装置71による撮影画像を表示して、操作装置2を操作するユーザに提供する表示装置8と、接触力センサ13の検出結果に基づいてロボット1及び操作装置2の少なくとも一方の動作制御を実行する制御装置3とを備えている。制御装置3は、動作制御に対する撮影画像の表示装置8による表示タイミングのズレを低減するように、動作制御を遅延させる。
Description
ここに開示された技術は、遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラムに関する。
従来より、マスタ装置によってスレーブ装置を遠隔制御する技術が知られている。例えば、特許文献1には、物理的に互いに離間された位置に配置されたマスタ装置とスレーブ装置とを備えた遠隔制御システムが開示されている。この遠隔制御システムでは、スレーブ装置側からマスタ装置側へ送信されてくる画像を表示する表示装置が設けられている。そして、マスタ装置とスレーブ装置との間の通信遅延が大きい場合には、表示装置に画像がぼやけるように表示される。これにより、ユーザは、通信遅延が大きいことを知ることができる。
前述のように、遠隔制御システムにおいては、マスタ装置及びスレーブ装置間の制御信号だけでなく、画像信号のような様々な信号が送受信され得る。信号の送受信に要する時間及び信号の処理に要する時間は、信号ごとにばらつきがある。最終的な信号の処理に信号ごとの時間のズレが生じると、ユーザに違和感を与える虞がある。例えば、前述の遠隔制御システムの場合、マスタ装置とスレーブ装置との間での制御と表示装置での画像表示との間で時間のズレが生じると、ユーザが違和感を覚える虞がある。
ここに開示された技術は、かかる点に鑑みてなされたものであり、その目的とするところは、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することにある。
ここに開示された遠隔制御システムは、ユーザに操作されるマスタ装置と、前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置と、前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する制御装置とを備え、前記制御装置は、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる。
ここに開示された遠隔制御システムの制御方法は、ユーザに操作されるマスタ装置と、前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムの制御方法であって、前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行することと、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させることとを含む。
ここに開示された遠隔制御プログラムは、ユーザに操作されるマスタ装置と、前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムを制御する機能をコンピュータに実現させるための遠隔制御プログラムであって、前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する機能と、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる機能とをコンピュータに実現させる。
前記遠隔制御システムによれば、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することができる。
前記遠隔制御システムの制御方法によれば、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することができる。
前記遠隔制御プログラムによれば、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することができる。
以下、例示的な実施形態を図面に基づいて詳細に説明する。図1は、実施形態に係る遠隔制御システム100の構成を示す模式図である。尚、図1における破線は、無線通信を表している。
遠隔制御システム100は、マスタスレーブシステム110を備えている。マスタスレーブシステム110は、ユーザに操作される操作装置2と、操作装置2の動作に応じて対象物Wに作用を加えるロボット1と、ロボット1及び操作装置2を制御する制御装置3とを有している。操作装置2及び制御装置3は、第1サイトS1に配置されている。ロボット1は、第1サイトS1とは別の第2サイトS2に配置されている。マスタスレーブシステム110は、操作装置2とロボット1との間で遠隔制御を実現する。操作装置2は、マスタ装置の一例であり、ロボット1は、スレーブ装置の一例である。
尚、本開示において、ロボット1が行う作業は、ティーチング作業並びに教示の確認及び修正作業を含まない。したがって、操作装置2は、ティーチペンダントを含まない。
ロボット1と操作装置2とは、通信可能に接続されている。具体的には、ロボット1と制御装置3とは、無線通信可能に接続されている。つまり、ロボット1、無線通信及び制御装置3という伝送路(以下、「第1伝送路」という)を介して、ロボット1と制御装置3との間で信号が送受信される。操作装置2は、制御装置3に接続されている。すなわち、操作装置2は、制御装置3を介してロボット1と通信を行う。
この例では、ロボット1は、産業用ロボットである。ロボット1は、対象物Wに作用を加える。作用は、具体的には加工であり、より具体的には研削である。作用は、研削に限定されず、研削又は研磨等であってもよい。対象物Wは、例えば、大きな鋼板又は大型タンクの壁等である。
ロボット1は、ロボット1の動作状態を検出するセンサを有している。この例では、センサは、ロボット1は、対象物Wから受ける反力(以下、「接触力」という)を検出する接触力センサ13をさらに有している。
制御装置3は、接触力センサ13の検出結果をロボット1を介して受信している。制御装置3は、接触力センサ13の検出結果に基づいてロボット1及び操作装置2の少なくとも一方の動作制御を実行している。この例では、制御装置3は、ユーザによる操作装置2の操作及び接触力センサ13の検出結果に応じて、ロボット1の動作を制御すると共にロボット1に作用する反力をユーザに提示するように操作装置2の動作を制御する。
遠隔制御システム100は、画像システム120をさらに備えている。画像システム120は、画像を撮影する撮像装置71と、撮像装置71による撮影画像を表示する表示装置8とを有している。画像システム120は、撮像装置71の撮影画像を処理する画像処理装置72をさらに有している。表示装置8は、第1サイトS1に配置されている。表示装置8は、ユーザが操作装置2を操作しながら視認できる位置に配置されている。撮像装置71及び画像処理装置72は、第2サイトS2に配置されている。撮像装置71は、ロボット1及び/又は対象物Wの画像を撮影する。
撮像装置71と表示装置8とは、通信可能に接続されている。具体的には、画像処理装置72と表示装置8とは、無線通信可能に接続されている。つまり、画像処理装置72、無線通信及び表示装置8という伝送路(以下、「第2伝送路」という)を介して、撮像装置71と表示装置8との間で信号が送受信される。撮像装置71は、画像処理装置72に接続されている。すなわち、撮像装置71は、画像処理装置72を介して表示装置8と通信を行う。
画像システム120は、ロボット1及び/又は対象物Wの画像を撮像装置71で撮影し、撮影画像を表示装置8で表示することによって、操作装置2を操作するユーザを補助する。
<遠隔制御システムの詳細構成>
[ロボット]
ロボット1は、対象物Wに作用を加えるエンドエフェクタ11と、エンドエフェクタ11を動作させるロボットアーム12とを有していてもよい。ロボット1は、ロボットアーム12によってエンドエフェクタ11を動作、即ち、移動させて、エンドエフェクタ11によって対象物Wに作用を加える。ロボット1は、ロボットアーム12を支持するベース10と、ロボット1の全体を制御するロボット制御装置14とをさらに有していてもよい。
ロボット1は、対象物Wに作用を加えるエンドエフェクタ11と、エンドエフェクタ11を動作させるロボットアーム12とを有していてもよい。ロボット1は、ロボットアーム12によってエンドエフェクタ11を動作、即ち、移動させて、エンドエフェクタ11によって対象物Wに作用を加える。ロボット1は、ロボットアーム12を支持するベース10と、ロボット1の全体を制御するロボット制御装置14とをさらに有していてもよい。
ロボット1には、直交3軸のロボット座標系が規定されている。例えば、上下方向にZ軸が設定され、水平方向に互いに直交するX軸及びY軸が設定される。
エンドエフェクタ11は、研削装置11aを有し、対象物Wに作用としての研削を加える。例えば、研削装置11aは、グラインダ、オービタルサンダ、ランダムオービットサンダ、デルタサンダ又はベルトサンダ等であってもよい。グラインダは、円盤状の研削砥石を回転させるタイプ、円錐状又は円柱状の研削砥石を回転させるタイプ等であってもよい。ここでは、研削装置11aは、グラインダである。
ロボットアーム12は、研削装置11aの位置を変更する。さらに、ロボットアーム12は、研削装置11aの姿勢を変更してもよい。ロボットアーム12は、垂直多関節型のロボットアームである。ロボットアーム12は、複数のリンク12aと、複数のリンク12aを接続する関節12bと、複数の関節12bを回転駆動するサーボモータ15(図2参照)とを有している。
尚、ロボットアーム12は、水平多関節型、パラレルリンク型、直角座標型、又は極座標型のロボットアーム等であってもよい。
接触力センサ13は、この例では、ロボットアーム12とエンドエフェクタ11との間(具体的には、ロボットアーム12とエンドエフェクタ11との連結部)に設けられている。接触力センサ13は、エンドエフェクタ11が対象物Wから受ける接触力を検出する。接触力センサ13は、直交する3軸方向の力と該3軸回りのモーメントを検出する。接触力センサ13は、力覚センサの一例である。
尚、力覚センサは、接触力センサ13に限定されない。例えば、接触力センサ13は、1軸、2軸又は3軸方向の力のみを検出してもよい。あるいは、力覚センサは、ロボットアーム12のサーボモータ15の電流を検出する電流センサ又はサーボモータ15のトルクを検出するトルクセンサ等であってもよい。
図2は、ロボット制御装置14の概略的なハードウェア構成を示す図である。ロボット制御装置14は、ロボットアーム12のサーボモータ15及び研削装置11aを制御する。ロボット制御装置14は、接触力センサ13の検出信号を受け付ける。ロボット制御装置14は、制御装置3及び画像処理装置72と情報、指令及びデータ等の送受信を行う。ロボット制御装置14は、制御装置3と無線通信を行う。ロボット制御装置14は、画像処理装置72と配線で接続され、配線を介して画像処理装置72へ情報及びデータ等を送信する。ロボット制御装置14は、制御部16と、記憶部17と、メモリ18と、通信部19とを有している。
制御部16は、ロボット制御装置14の全体を制御する。制御部16は、各種の演算処理を行う。例えば、制御部16は、CPU(Central Processing Unit)等のプロセッサで形成されている。制御部16は、MCU(Micro Controller Unit)、MPU(Micro Processor Unit)、FPGA(Field Programmable Gate Array)、PLC(Programmable Logic Controller)、システムLSI等で形成されていてもよい。
記憶部17は、制御部16で実行されるプログラム及び各種データを格納している。記憶部17は、不揮発性メモリ、HDD(Hard Disc Drive)又はSSD(Solid State Drive)等で形成される。
メモリ18は、データ等を一時的に格納する。例えば、メモリ18は、揮発性メモリで形成される。
通信部19は、通信モジュールであり、無線通信を実行する。例えば、通信部19は、5Gの通信規格に則った無線通信を実現する。
[操作装置]
操作装置2は、図1に示すように、ユーザが操作する操作部21と、操作部21にユーザから加えられる操作力を検出する操作力センサ23とを有している。操作装置2は、ロボット1を手動運転で操作するための入力を受け付け、入力された情報である操作情報を制御装置3へ出力する。具体的には、ユーザは、操作部21を把持して操作装置2を操作する。その際に操作部21に加えられる力を操作力センサ23が検出する。操作力センサ23によって検出される操作力は、操作情報として制御装置3へ出力される。
操作装置2は、図1に示すように、ユーザが操作する操作部21と、操作部21にユーザから加えられる操作力を検出する操作力センサ23とを有している。操作装置2は、ロボット1を手動運転で操作するための入力を受け付け、入力された情報である操作情報を制御装置3へ出力する。具体的には、ユーザは、操作部21を把持して操作装置2を操作する。その際に操作部21に加えられる力を操作力センサ23が検出する。操作力センサ23によって検出される操作力は、操作情報として制御装置3へ出力される。
操作装置2は、ベース20と、ベース20に設けられ、操作部21を支持する支持機構22と、操作装置2の全体を制御する操作制御装置24とをさらに有していてもよい。操作装置2は、制御装置3からの制御によって、操作力に対する反力をユーザに提示する。具体的には、操作制御装置24は、制御装置3からの指令を受けて、支持機構22を制御することによって、反力をユーザに感知させる。
操作装置2には、直交3軸の操作座標系が規定されている。操作座標系は、ロボット座標系と対応している。つまり、上下方向にZ軸が設定され、水平方向に互いに直交するX軸及びY軸が設定される。
支持機構22は、複数のリンク22aと、複数のリンク22aを接続する関節22bと、複数の関節22bを回転駆動するサーボモータ25(図3参照)とを有している。支持機構22は、操作部21が3次元空間内で任意の位置及び姿勢をとることができるように、操作部21を支持する。操作部21の位置及び姿勢に対応して、サーボモータ25が回転する。サーボモータ25の回転量、即ち、回転角は、一義的に決まる。
操作力センサ23は、この例では、操作部21と支持機構22との間(具体的には、操作部21と支持機構22との連結部)に設けられている。操作力センサ23は、直交する3軸方向の力と該3軸回りのモーメントを検出する。
尚、操作力の検出部は、操作力センサ23に限定されない。例えば、操作力センサ23は、1軸、2軸又は3軸方向の力のみを検出してもよい。あるいは、検出部は、支持機構22のサーボモータ25の電流を検出する電流センサ又はサーボモータ25のトルクを検出するトルクセンサ等であってもよい。
図3は、操作制御装置24の概略的なハードウェア構成を示す図である。操作制御装置24は、サーボモータ25を制御することによって支持機構22を動作させる。操作制御装置24は、操作力センサ23の検出信号を受け付ける。操作制御装置24は、制御装置3と配線で接続され、配線を介して制御装置3と情報、指令及びデータ等の送受信を行う。操作制御装置24は、制御部26と、記憶部27と、メモリ28とを有している。
制御部26は、操作制御装置24の全体を制御する。制御部26は、各種の演算処理を行う。例えば、制御部26は、CPU(Central Processing Unit)等のプロセッサで形成されている。制御部26は、MCU(Micro Controller Unit)、MPU(Micro Processor Unit)、FPGA(Field Programmable Gate Array)、PLC(Programmable Logic Controller)、システムLSI等で形成されていてもよい。
記憶部27は、制御部26で実行されるプログラム及び各種データを格納している。記憶部27は、不揮発性メモリ、HDD(Hard Disc Drive)又はSSD(Solid State Drive)等で形成される。
メモリ28は、データ等を一時的に格納する。例えば、メモリ28は、揮発性メモリで形成される。
[制御装置]
制御装置3は、マスタスレーブシステム110の全体を制御し、ロボット1及び操作装置2の動作制御を行う。具体的には、制御装置3は、ロボット1と操作装置2との間でマスタスレーブ制御、具体的には、バイラテラル制御を行う。制御装置3は、ユーザの操作による操作装置2の動作に応じてロボット1の動作を制御する第1制御と、接触力センサ13の検出結果に応じた反力をユーザに提示するように操作装置2の動作を制御する第2制御とを実行する。つまり、第1制御によってエンドエフェクタ11が対象物Wを加工すると共に、第2制御によって加工時の反力がユーザに提示される。
制御装置3は、マスタスレーブシステム110の全体を制御し、ロボット1及び操作装置2の動作制御を行う。具体的には、制御装置3は、ロボット1と操作装置2との間でマスタスレーブ制御、具体的には、バイラテラル制御を行う。制御装置3は、ユーザの操作による操作装置2の動作に応じてロボット1の動作を制御する第1制御と、接触力センサ13の検出結果に応じた反力をユーザに提示するように操作装置2の動作を制御する第2制御とを実行する。つまり、第1制御によってエンドエフェクタ11が対象物Wを加工すると共に、第2制御によって加工時の反力がユーザに提示される。
図4は、制御装置3の概略的なハードウェア構成を示す図である。制御装置3は、ロボット制御装置14及び操作制御装置24と情報、指令及びデータ等の送受信を行う。さらに、制御装置3は、表示装置8と情報、指令及びデータ等の送受信を行う。制御装置3は、制御部31と、記憶部32と、メモリ33と、通信部34とを有している。尚、図示を省略するが、制御装置3は、ロボット1及び操作装置2の動作制御の設定を行うためにユーザが操作する入力操作部と、設定内容を表示するディスプレイとをさらに有していてもよい。
制御部31は、制御装置3の全体を制御する。制御部31は、各種の演算処理を行う。例えば、制御部31は、CPU(Central Processing Unit)等のプロセッサで形成されている。制御部31は、MCU(Micro Controller Unit)、MPU(Micro Processor Unit)、FPGA(Field Programmable Gate Array)、PLC(Programmable Logic Controller)、システムLSI等で形成されていてもよい。
記憶部32は、制御部31で実行されるプログラム及び各種データを格納している。例えば、記憶部32は、遠隔制御システム100を制御する遠隔制御プログラムが格納されている。記憶部32は、不揮発性メモリ、HDD(Hard Disc Drive)又はSSD(Solid State Drive)等で形成される。
メモリ33は、データ等を一時的に格納する。例えば、メモリ33は、揮発性メモリで形成される。
通信部34は、通信モジュールであり、無線通信を実行する。例えば、通信部34は、5Gの通信規格に則った無線通信を実現する。
[撮像装置及び画像処理装置]
撮像装置71は、ロボット1及び対象物Wの画像、具体的には動画を撮影する。この例では、ロボット1が対象物Wの研削を行うため、撮像装置71は、エンドエフェクタ11及び対象物Wを中心に撮影する。撮像装置71は、所定のフレームレートで動画を撮影する。撮像装置71の撮影画像は、画像信号として画像処理装置72へ入力される。
撮像装置71は、ロボット1及び対象物Wの画像、具体的には動画を撮影する。この例では、ロボット1が対象物Wの研削を行うため、撮像装置71は、エンドエフェクタ11及び対象物Wを中心に撮影する。撮像装置71は、所定のフレームレートで動画を撮影する。撮像装置71の撮影画像は、画像信号として画像処理装置72へ入力される。
画像処理装置72は、撮像装置71の撮影画像、即ち、画像信号を受信し、画像信号を処理し、処理後の画像信号を表示装置8へ送信する。画像処理装置72は、処理後の画像信号をエンコードし、エンコードされた画像信号を無線通信によって表示装置8へ送信する。
詳しくは、画像処理装置72は、撮像装置71の画像信号に加えて、接触力センサ13の検出結果をロボット1から受信する。画像処理装置72は、撮影画像の処理として、互いに対応するタイミングで取得された撮像装置71の撮影画像と接触力センサ13の検出結果とを関連付ける。具体的には、画像処理装置72は、撮影画像と対応するタイミングで取得された接触力センサ13の検出結果を撮影画像に付加する。画像処理装置72は、接触力センサ13の検出結果が付加された撮影画像をエンコードして表示装置8へ送信する。
図5は、画像処理装置72の概略的なハードウェア構成を示す図である。画像処理装置72は、制御部73と、記憶部74と、メモリ75と、通信部76とを有している。
制御部73は、画像処理装置72の全体を制御する。制御部73は、各種の演算処理を行う。例えば、制御部73は、CPU(Central Processing Unit)等のプロセッサで形成されている。制御部73は、MCU(Micro Controller Unit)、MPU(Micro Processor Unit)、FPGA(Field Programmable Gate Array)、PLC(Programmable Logic Controller)、システムLSI等で形成されていてもよい。
記憶部74は、制御部73で実行されるプログラム及び各種データを格納している。記憶部74は、不揮発性メモリ、HDD(Hard Disc Drive)又はSSD(Solid State Drive)等で形成される。
メモリ75は、データ等を一時的に格納する。例えば、メモリ75は、揮発性メモリで形成される。
通信部76は、通信モジュールであり、無線通信を実行する。例えば、通信部76は、5Gの通信規格に則った無線通信を実現する。
[表示装置]
表示装置8は、撮像装置71の撮影画像を表示する。表示装置8は、ディスプレイ81と、表示制御装置82とを有している。
表示装置8は、撮像装置71の撮影画像を表示する。表示装置8は、ディスプレイ81と、表示制御装置82とを有している。
表示制御装置82は、撮像装置71の撮影画像を無線通信によって受信する。具体的には、表示制御装置82は、画像処理装置72と無線通信を行う。表示制御装置82は、画像処理装置72から画像信号を受信する。表示制御装置82は、受信された画像信号をデコードし、デコード後の画像信号をディスプレイ81に出力する。
ディスプレイ81は、表示制御装置82から入力された画像信号を画像として表示する。
図6は、表示制御装置82の概略的なハードウェア構成を示す図である。表示制御装置82は、制御部83と、記憶部84と、メモリ85と、通信部86とを有している。
制御部83は、表示制御装置82の全体を制御する。制御部83は、各種の演算処理を行う。例えば、制御部83は、CPU(Central Processing Unit)等のプロセッサで形成されている。制御部83は、MCU(Micro Controller Unit)、MPU(Micro Processor Unit)、FPGA(Field Programmable Gate Array)、PLC(Programmable Logic Controller)、システムLSI等で形成されていてもよい。
記憶部84は、制御部83で実行されるプログラム及び各種データを格納している。記憶部84は、不揮発性メモリ、HDD(Hard Disc Drive)又はSSD(Solid State Drive)等で形成される。
メモリ85は、データ等を一時的に格納する。例えば、メモリ85は、揮発性メモリで形成される。
通信部86は、通信モジュールであり、無線通信を実行する。例えば、通信部86は、5Gの通信規格に則った無線通信を実現する。
<遠隔制御システムの制御>
このように構成された遠隔制御システム100においては、制御装置3は、ユーザの操作による操作装置2の動作に応じてロボット1の動作を制御する第1制御と、接触力センサ13の検出結果に応じた反力をユーザに提示するように操作装置2の動作を制御する第2制御とを並行して行うマスタスレーブ制御を実行する。それと並行して、画像システム120は、撮像装置71によってロボット1及び対象物Wを撮影し、表示装置8によってその撮影画像を表示する画像表示制御を実行する。ユーザは、表示装置8に表示される撮影画像を観ながら操作装置2を操作することができる。このとき、制御装置3は、マスタスレーブ制御と表示装置8に表示される撮影画像とのズレを低減するように、マスタスレーブ制御を遅延させる遅延制御を実行する。
このように構成された遠隔制御システム100においては、制御装置3は、ユーザの操作による操作装置2の動作に応じてロボット1の動作を制御する第1制御と、接触力センサ13の検出結果に応じた反力をユーザに提示するように操作装置2の動作を制御する第2制御とを並行して行うマスタスレーブ制御を実行する。それと並行して、画像システム120は、撮像装置71によってロボット1及び対象物Wを撮影し、表示装置8によってその撮影画像を表示する画像表示制御を実行する。ユーザは、表示装置8に表示される撮影画像を観ながら操作装置2を操作することができる。このとき、制御装置3は、マスタスレーブ制御と表示装置8に表示される撮影画像とのズレを低減するように、マスタスレーブ制御を遅延させる遅延制御を実行する。
さらに、制御装置3は、マスタスレーブ制御及び画像表示制御の実行中に、マスタスレーブ制御と表示装置8に表示される撮影画像とのズレ時間を求めると共に、遅延制御の遅延量をズレ時間に基づいて更新する。
図7は、遠隔制御システム100の制御系統の構成を示すブロック図である。
ロボット制御装置14の制御部16は、記憶部17からプログラムをメモリ18に読み出して展開することによって、各種機能を実現する。具体的には、制御部16は、入力処理部41と動作制御部42として機能する。
入力処理部41は、接触力センサ13及びサーボモータ15から受け取る情報、データ及び指令等を制御装置3に出力する。具体的には、入力処理部41は、接触力センサ13から6軸の力の検出信号(以下、「センサ信号」という)を受け取り、該センサ信号を制御装置3へ出力する。センサ信号は、無線通信によって制御装置3へ送信される。また、入力処理部41は、サーボモータ15から回転センサ(例えば、エンコーダ)及び電流センサの検出信号を受け取る。入力処理部41は、動作制御部42によるロボットアーム12のフィードバック制御のために該検出信号を動作制御部42へ出力する。また、入力処理部41は、ロボットアーム12の位置情報として該検出信号を制御装置3へ出力する。それに加えて、入力処理部41は、接触力センサ13のセンサ信号を画像処理装置72へも出力する。
動作制御部42は、制御装置3から指令位置xdsを無線通信を介して受け取り、指令位置xdsに従ってロボットアーム12を動作させるための制御指令を生成する。動作制御部42は、サーボモータ15へ制御指令を出力し、ロボットアーム12を動作させ、研削装置11aを指令位置に対応する位置へ移動させる。このとき、動作制御部42は、入力処理部41からのサーボモータ15の回転センサ及び/又は電流センサの検出信号に基づいて、ロボットアーム12の動作をフィードバック制御する。また、動作制御部42は、研削装置11aに制御指令を出力し、研削装置11aを動作させる。これにより、研削装置11aが対象物Wを研削する。
操作制御装置24の制御部26は、記憶部27からプログラムをメモリ28に読み出して展開することによって、各種機能を実現する。具体的には、制御部26は、入力処理部51と動作制御部52として機能する。
入力処理部51は、操作力センサ23から受け取る情報、データ及び指令等を制御装置3に出力する。具体的には、入力処理部51は、操作力センサ23から6軸の力の検出信号を受け取り、該検出信号を制御装置3へ出力する。また、入力処理部51は、サーボモータ25から回転センサ(例えば、エンコーダ)及び電流センサの検出信号を受け取る。入力処理部51は、動作制御部52による支持機構22のフィードバック制御のために該検出信号を動作制御部52へ出力する。
動作制御部52は、制御装置3から指令位置xdmを受け取り、指令位置xdmに従って支持機構22を動作させるための制御指令を生成する。動作制御部52は、サーボモータ25へ制御指令を出力し、支持機構22を動作させ、操作部21を指令位置に対応する位置へ移動させる。このとき、動作制御部52は、入力処理部51からのサーボモータ25の回転センサ及び/又は電流センサの検出信号に基づいて、支持機構22の動作をフィードバック制御する。これにより、ユーザが操作部21に与える操作力に対して反力が与えられる。その結果、ユーザは、対象物Wから反力を操作部21から疑似的に感じつつ、操作部21を操作することができる。
制御装置3の制御部31は、記憶部32からプログラム(具体的には、遠隔制御プログラム)をメモリ33に読み出して展開することによって、各種機能を実現する。具体的には、制御部31は、操作力取得部61と接触力取得部62と加算部63と力/速度換算部64と第1速度/位置換算部65と第2速度/位置換算部66と分離部67とズレ検出部68と遅延部69として機能する。
また、画像処理装置72の制御部73は、記憶部74からプログラムをメモリ75に読み出して展開することによって、各種機能を実現する。具体的には、制御部73は、合成部77とエンコーダ78として機能する。
表示制御装置82の制御部83は、記憶部84からプログラムをメモリ85に読み出して展開することによって、各種機能を実現する。具体的には、制御部83は、デコーダ87として機能する。
操作力取得部61は、入力処理部51を介して、操作力センサ23の検出信号を受け取り、検出信号に基づいて操作力fmを取得する。操作力取得部61は、操作力fmを加算部63へ入力する。
接触力取得部62は、入力処理部41を介して、接触力センサ13のセンサ信号を受け取り、センサ信号に基づいて接触力fsを取得する。接触力取得部62は、接触力fsを加算部63へ入力する。それに加えて、接触力取得部62は、センサ信号をズレ検出部68へ出力する。
加算部63は、操作力取得部61から入力された操作力fmと接触力取得部62から入力された接触力fsとの和を算出する。ここで、操作力fmと接触力fsとは、反対向きの力なので、操作力fmと接触力fsとは正負の符号が異なる。つまり、操作力fmと接触力fsとが足されることによって、操作力fmの絶対値は小さくなる。加算部63は、操作力fmと接触力fsとの和である合成力fm+fsを出力する。
遅延部69は、マスタスレーブ制御を遅延させる機能を有している。この例では、遅延部69は、ローパスフィルタであり、より具体的には、一次遅れフィルタである。一次遅れフィルタには、時定数が含まれている。遅延部69は、加算部63から力/速度換算部64への合成力fm+fsの入力を時定数に応じて遅延させる。
力/速度換算部64は、遅延部69を介して入力された合成力fm+fsを指令速度xd’に換算する。力/速度換算部64は、慣性係数、粘性係数(ダンパ係数)及び剛性係数(バネ係数)を含む運動方程式に基づく運動モデルを用いて指令速度xd’を算出する。具体的には、力/速度換算部64は、以下の運動方程式に基づいて指令速度xd’を算出する。
式(1)は線形微分方程式であり、式(1)をxd’について解くと、式(2)のようになる。
式(2)は、記憶部32に格納されている。力/速度換算部64は、記憶部32から式(2)を読み出して指令速度xd’を求め、求められた指令速度xd’を第1速度/位置換算部65及び第2速度/位置換算部66へ出力する。
第1速度/位置換算部65は、座標変換された指令速度xd’をロボット座標系を基準として、ロボット1のための指令位置xdsに換算する。例えば、操作装置2の移動量に対するロボット1の移動量の比が設定されている場合、第1速度/位置換算部65は、指令速度xd’から求めた指令位置xdを移動比に応じて逓倍して指令位置xdsを求める。第1速度/位置換算部65は、求めた指令位置xdsをロボット制御装置14、具体的には、動作制御部42へ出力する。動作制御部42は、前述の如く、指令位置xdsに基づいてロボットアーム12を動作させる。
第2速度/位置換算部66は、指令速度xd’を操作座標系を基準として、操作装置2のための指令位置xdmに換算する。第2速度/位置換算部66は、求めた指令位置xdmを操作制御装置24、具体的には、動作制御部52へ出力する。動作制御部52は、前述の如く、指令位置xdmに基づいて支持機構22を動作させる。
合成部77は、撮像装置71の撮影画像に、該撮影画像と対応するタイミングで取得された接触力センサ13の検出結果を互いの関連付けを示す関連情報として付加する。具体的には、合成部77は、撮像装置71から画像信号を受け取ると共に、入力処理部41を介して接触力センサ13のセンサ信号を受け取る。合成部77は、画像信号にセンサ信号を合成する。合成部77は、接触力センサ13及び撮像装置71によって互いに対応するタイミング(即ち、略同じタイミング)で取得されたセンサ信号と画像信号とを合成する。例えば、合成部77は、画像信号及びセンサ信号をそれぞれ合成部77で受信した時間を、画像信号及びセンサ信号それぞれの取得時間とみなす。こうして、画像信号には、該画像信号と対応するタイミングで取得されたセンサ信号が互いの関連付けを示す関連情報として付加される。
センサ信号には、6軸の力のセンサ信号が含まれている。合成部77は、6軸の力のセンサ信号のうち少なくとも1つのセンサ信号を画像信号に合成する。好ましくは、合成部77は、6軸の力のセンサ信号のうち、ロボット1が対象物Wに作用を加える際に変動が大きなセンサ信号を画像信号に合成する。この例では、対象物Wへの作用は研削であるので、合成部77は、Z軸方向への力のセンサ信号を画像信号に合成する。
このとき、合成部77は、電子透かし技術を利用してセンサ信号を画像信号に合成する。好ましくは、合成部77は、知覚困難型の電子透かしによって、センサ信号を画像信号に埋め込む。
エンコーダ78は、合成部77においてセンサ信号が合成された画像信号をエンコードする。エンコーダ78は、エンコードされた画像信号を通信部76へ出力する。エンコードされた画像信号は、通信部76を介して表示制御装置82へ送信される。
表示制御装置82は、通信部86を介して、画像処理装置72からの画像信号を受信する。画像信号は、デコーダ87に入力される。デコーダ87は、画像信号をデコードする。デコーダ87は、デコードされた画像信号をディスプレイ81及び制御装置3の分離部67へ出力する。
ディスプレイ81は、デコードされた画像信号に応じて画像を表示する。
分離部67は、デコードされた画像信号からセンサ信号を分離する。この例では、センサ信号は、電子透かしによって画像信号に合成されている。分離部67は、電子透かし技術によって画像信号からセンサ信号を分離する。分離部67は、分離されたセンサ信号をズレ検出部68へ出力する。
ズレ検出部68は、マスタスレーブ制御を遅延させる遅延量としての遅延時間を求め、更新していく。ズレ検出部68は、ロボット1から受信するセンサ信号と表示装置8から受信する画像信号とのズレ時間に基づいて遅延時間を求める。ここで、センサ信号と画像信号とのズレ時間とは、元々は互いに対応するタイミング、即ち、略同じタイミングで取得されたセンサ信号と画像信号とがズレ検出部68、即ち、制御装置3に受信される時間のズレである。センサ信号と画像信号とは、元々の取得タイミングが略同じであっても、制御装置3までの伝送路及びその途中で受ける処理が異なるため、制御装置3に到達するまでの時間にズレが生じる。
また、ロボット1から受信するセンサ信号は、指令位置xds及び指令位置xdmの導出に用いられる。また、表示装置8から受信する画像信号は、ディスプレイ81へ入力される画像信号と同じ信号である。つまり、ロボット1から受信するセンサ信号と表示装置8から受信する画像信号とのズレ時間は、マスタスレーブ制御に対する撮影画像の表示装置8による表示タイミングのズレに相当する。
具体的には、ズレ検出部68は、接触力取得部62からのセンサ信号と分離部67からのセンサ信号とのズレ時間を求める。ズレ検出部68には、接触力取得部62からセンサ信号が入力されると共に、分離部67からセンサ信号が入力される。接触力取得部62からのセンサ信号は、ロボット制御装置14、即ち、ロボット1から受信したセンサ信号である。一方、分離部67からのセンサ信号は、表示装置8においてデコードされた画像信号から分離された信号であり、その画像信号が撮像装置71によって取得されたタイミングと対応するタイミングで接触力センサ13によって取得された信号である。そのため、接触力取得部62からのセンサ信号と分離部67からのセンサ信号とのズレ時間は、ロボット1から受信するセンサ信号と表示装置8から受信する画像信号とのズレ時間に相当する。
尚、合成部77によって画像信号に合成されたセンサ信号は、6軸の力のセンサ信号のうち研削時に変動が大きいZ軸方向への力のセンサ信号なので、ズレ検出部68は、接触力取得部62からのセンサ信号のうちZ軸方向への力のセンサ信号を分離部67からのセンサ信号と比較する。
ズレ検出部68は、求めたズレ時間を記憶部32に保存していく。ズレ時間は、記憶部32に蓄積されていく。
記憶部32には、遅延部69の時定数を決定するための基準となる遅延時間が記憶されている。遅延時間の初期値は、ズレ時間を前述のようにして予め求めることによって設定されている。ズレ検出部68は、記憶部32に蓄積されたズレ時間に基づいて、遅延時間を更新する。ズレ検出部68は、ズレ時間が遅延時間に対して大きく異なる状態が一定期間以上継続するような場合に、ズレ時間で遅延時間を更新する。
遅延時間が更新されると、ズレ検出部68は、遅延部69に設定する時定数を遅延時間に基づいて求める。具体的には、記憶部32には、遅延時間を時定数に変換するための変換関数が記憶部32に記憶されている。ズレ検出部68は、変換関数を用いて遅延時間から時定数を求める。ズレ検出部68は、求められた時定数で遅延部69の時定数を更新する。遅延部69は、更新された時定数を用いて前述の処理を実行する。
次に、このように構成された遠隔制御システム100の動作について説明する。図8は、遠隔制御システム100の動作を示すフローチャートである。
[マスタスレーブシステムの動作]
マスタスレーブシステム110によるマスタスレーブ制御について説明する。マスタスレーブ制御は、制御装置3が記憶部32に格納された遠隔制御プログラムをメモリ33に読み出して展開することによって実現される。
マスタスレーブシステム110によるマスタスレーブ制御について説明する。マスタスレーブ制御は、制御装置3が記憶部32に格納された遠隔制御プログラムをメモリ33に読み出して展開することによって実現される。
まず、ステップSa0において、遅延制御の設定を行う。制御装置3は、ディスプレイ(図示省略)に遅延制御の設定を行うための設定画面を表示する。具体的には、ディスプレイには、遅延制御の有効及び無効を切り替える表示、遅延制御を有効とする場合のマスタスレーブ制御の遅延量(詳しくは、遅延時間)等が表示される。ユーザは、入力操作部を介して遅延制御の設定を行う。
続いて、ステップSa1において、ユーザが操作装置2を操作すると、ユーザが操作部21を介して加えた操作力を操作力センサ23が検出する。このとき、ロボット1の接触力センサ13が接触力を検出する。
操作力センサ23に検出された操作力は、入力処理部51によって検出信号として制御装置3へ入力される。制御装置3では、操作力取得部61が、検出信号に基づく操作力fmを加算部63へ入力する。
接触力センサ13に検出された接触力は、センサ信号として入力処理部41に入力される。入力処理部41に入力されたセンサ信号は、通信部19を介して制御装置3へ送信される。それに加えて、入力処理部41は、センサ信号を画像処理装置72へ入力する。
制御装置3では、通信部34がセンサ信号を受信し、センサ信号を接触力取得部62へ入力する。接触力取得部62は、センサ信号に基づく接触力fsを加算部63へ入力する。それに加えて、接触力取得部62は、センサ信号をズレ検出部68へ入力する。ズレ検出部68は、センサ信号をメモリ33に保存していく。
次に、ステップSa2において、制御装置3は、遅延制御が有効となっているか否かを判定する。
遅延制御が無効な場合には、ステップSa4において、ロボット1による研削加工及び操作装置2による反力の提示が実行される。具体的には、加算部63は、入力された操作力fm及び接触力fsに基づいて合成力fm+fsを求め、合成力fm+fsを力/速度換算部64に入力する。このとき、遅延部69は、無効なものとして扱われる。つまり、加算部63から出力される合成力fm+fsは、遅延することなく、力/速度換算部64へ入力される。力/速度換算部64は、合成力fm+fsを用いて式(2)に基づいて指令速度xd’を求める。
ロボット1に関しては、第1速度/位置換算部65が指令速度xd’から指令位置xdsを求める。ロボット制御装置14の動作制御部42は、指令位置xdsに従ってロボットアーム12を動作させ、研削装置11aの位置を制御する。これにより、操作力fmに応じた押付力が対象物Wに加えられつつ、対象物Wが研削装置11aにより研削される。
操作装置2に関しては、第2速度/位置換算部66が指令速度xd’から指令位置xdmを求める。操作制御装置24の動作制御部52は、指令位置xdmに従って支持機構22を動作させ、操作部21の位置を制御する。これにより、ユーザは接触力fsに応じた反力を感知する。
一方、遅延制御が有効な場合には、ステップSa3において、マスタスレーブ制御が遅延させられる。具体的には、遅延部69は、設定された時定数に基づいて、加算部63から力/速度換算部64への合成力fm+fsの入力を遅延させる。その結果、操作力センサ23の検出信号及び接触力センサ13のセンサ信号が入力されてから、ロボットアーム12及び操作部21の動作制御が実行されるまでの時間が遅延する。
マスタスレーブシステム110は、このような処理を所定の制御周期で繰り返す。ユーザは、第1サイトS1において操作装置2を操作することによって、第2サイトS2に配置されたロボット1を遠隔制御して対象物Wの研削を実行することができる。その際に、ユーザは、研削装置11aが対象物Wから受ける反力を操作装置2を介して感知しながら、操作装置2の操作を行うことができる。尚、ステップSa0は、この制御の開始時に1回のみ実行され、それ以降の制御周期においては実行されない。
[画像システムの動作]
これと並行して、画像システム120は、ロボット1及び対象物Wを撮影し、撮影画像をユーザに提示する画像表示制御を実行する。
これと並行して、画像システム120は、ロボット1及び対象物Wを撮影し、撮影画像をユーザに提示する画像表示制御を実行する。
まず、ステップSb1において、撮像装置71は、ロボット1及び対象物Wの撮影する。撮像装置71は、所定のフレームレートでロボット1及び対象物Wの動画を撮影する。撮像装置71は、撮影画像(即ち、画像信号)を画像処理装置72に入力する。
ステップSb2において、画像処理装置72の合成部77は、撮影画像に接触力センサ13のセンサ信号を合成する。この合成は、撮影画像をユーザに提示するための処理ではなく、マスタスレーブ制御の遅延時間を更新するために行われる処理である。
詳しくは、図9(i)は、入力処理部41から出力されるセンサ信号の一例である。図9(ii)は、撮像装置71から出力される画像信号の一例である。図10は、合成部77から出力される、センサ信号が合成された画像信号の一例である。
図9(i)に示すように、入力処理部41から出力されるセンサ信号は、マスタスレーブ制御の制御周期に対応するサンプリング周期で取得されたデータを含んでいる。一方、図9(ii)に示すように、撮像装置71から入力される画像信号は、所定のフレームレートで取得されたフレーム(静止画)を含んでいる。この例では、フレームレートに比べてサンプリング周期の方が短い。そこで、合成部77は、各フレームに、そのフレームと1つ前のフレームとの間に取得されたセンサ信号を合成する。合成部77は、各フレームの画像にセンサ信号を画像として、即ち、時系列の信号波形を合成する。センサ信号の合成は、電子透かし技術によって行われる。その結果、図10に示すように、フレームにセンサ信号の画像が電子透かしとして合成された画像信号が生成される。合成されたフレームとセンサ信号とは、略同じタイミングで取得されたものである。
ステップSb3において、エンコーダ78は、合成部77によって生成された画像信号をエンコードする。
その後、ステップSb4において、画像処理装置72は、エンコードされた画像信号を無線通信によって表示制御装置82へ送信する。表示制御装置82は、画像処理装置72からの画像信号を受信する。
表示制御装置82では、デコーダ87は、ステップSb5において、画像信号をデコードする。デコーダ87は、デコードされた画像信号をディスプレイ81へ出力する。
ディスプレイ81は、ステップSb6において、画像信号に基づいて画像を表示する。これにより、撮像装置71による撮影画像がユーザに提示される。ここで、ディスプレイ81は、センサ信号が合成された撮影画像を表示する。しかし、センサ信号は、知覚困難型の電子透かし技術によって合成されているため、ユーザが視認することはない。
画像システム120は、このような処理を撮影画像のフレームレートで繰り返す。撮像装置71は、第2サイトS2に配置されたロボット1及び対象物Wを撮影し、表示装置8は、第1サイトS1においてその撮影画像を表示する。ユーザは、第1サイトS1において操作装置2を操作する際又は操作後に、第2サイトS2において研削中又は研削後のロボット1及び対象物Wの画像を第1サイトS1に配置された表示装置8で確認することができる。
[遅延制御]
このように、マスタスレーブ制御と画像表示制御とが並行して行われる場合、接触力センサ13がセンサ信号を取得してから制御装置3がセンサ信号を用いてロボット1及び操作装置2の動作制御を実行するまでの時間に比べて、撮像装置71が撮影画像を取得してから表示装置8で撮影画像を表示するまでの時間が長くかかってしまう。
このように、マスタスレーブ制御と画像表示制御とが並行して行われる場合、接触力センサ13がセンサ信号を取得してから制御装置3がセンサ信号を用いてロボット1及び操作装置2の動作制御を実行するまでの時間に比べて、撮像装置71が撮影画像を取得してから表示装置8で撮影画像を表示するまでの時間が長くかかってしまう。
詳しくは、ロボット1が対象物Wを研削する際には、接触力センサ13が対象物Wからの接触力をセンサ信号として検出すると共に、撮像装置71がロボット1及び対象物Wの撮影画像を画像信号として取得する。接触力センサ13のセンサ信号は、マスタスレーブシステム110の第1伝送路を介して制御装置3へ入力される。制御装置3は、前述のようにセンサ信号を入力の1つとしてロボット1及び操作装置2を制御する。一方、撮像装置71の画像信号は、画像システム120の第2伝送路を介して表示装置8へ入力される。さらに、画像信号は、その途中で、画像処理装置72においてエンコードされ、表示制御装置82においてデコードされる。
ここで、センサ信号に比べると、画像信号のデータ量をかなり大きい。特に、撮影画像が高画質になると、データ量の差はさらに大きくなる。そのため、画像処理装置72から表示制御装置82への画像信号の通信時間は、ロボット制御装置14から制御装置3へのセンサ信号の通信時間に比べて長くなる。それに加えて、画像信号は、エンコード及びデコードする必要がある。画像信号のデータ量が大きいと、エンコード及びデコードに要する時間も長くなる。
その結果、元々は略同じタイミングで取得されたセンサ信号及び撮影画像に関して、センサ信号を用いたマスタスレーブ制御に対して表示装置8による撮影画像の表示タイミングがズレる、具体的には、遅延する。図11(i)は、制御装置3がロボット制御装置14から取得するセンサ信号の一例である。図11(ii)は、表示制御装置82によるデコード後の画像信号の一例である。図11(i)に示すように、制御装置3が取得するセンサ信号は、ロボット制御装置14と制御装置3との間の通信時間等の影響により、図9(i)に示す、入力処理部41から出力される接触力センサ13のセンサ信号に比べると少しだけ遅れる。ただし、その遅延は、無視できる程度に小さい。一方、図11(ii)に示すように、デコード後の画像信号は、エンコード時間、画像処理装置72と表示制御装置82との間の通信時間、及びデコード時間等の影響により、図9(ii)に示す、撮像装置71から出力される画像信号に比べると遅れる。センサ信号の遅れに比べて、画像信号の遅れは大きい。
そのため、ユーザは、リアルタイムよりも遅れたロボット1及び対象物Wの撮影画像を観ながら、ロボット1及び操作装置2による研削加工を行うことになる。さらに、ユーザは、操作装置2の操作に対して、表示装置8による画像表示と操作装置2を介した反力提示との2つのフィードバック情報を得ることになる。しかし、反力提示と画像表示とのタイミングがズレるため、ユーザは違和感を覚える。それに加えて、人間は、触覚による情報よりも視覚による情報に頼る傾向にある。そのため、ユーザは、操作装置2による反力の提示ではなく、リアルタイムから遅れた表示装置8の画像を頼りに、操作装置2を操作することになってしまう。画像が高画質になればなるほど、その傾向は大きくなる。しかしながら、画像が高画質になるほど、前述の如く、表示装置8による画像表示の遅延はさらに大きくなる。
そこで、遠隔制御システム100では、制御装置3は、マスタスレーブ制御に対する表示装置8による撮影画像の表示タイミングのズレを低減するように、マスタスレーブ制御を遅延させる。一例として、前述のマスタスレーブ制御のステップSa3において、遅延部69が、加算部63から力/速度換算部64への合成力fm+fsの入力を遅延させる。このように、制御装置3は、操作力及び接触力が入力されてからロボット1及び操作装置2を動作させるまでの間に、遅延部69のローパスフィルタのような遅れ要素を含んでいる。これにより、制御装置3がロボット1及び操作装置2の動作制御を遅延、即ち、接触力センサ13からのセンサ信号を受け取ってからロボット1及び操作装置2を動作させるまでの時間を遅延させる。
このことは、マスタスレーブ制御の応答性が低下することを意味する。しかしながら、画像表示制御の応答性(即ち、撮像装置71による画像撮影に対する表示装置8による画像表示の応答性)とマスタスレーブ制御の応答性とが一致又は近くなる。ユーザが表示装置8に表示される撮影画像を頼りに操作装置2を操作する場合であっても、ユーザに与える違和感を低減することができる。例えば、表示装置8に表示されている以上に対象物Wが研削されてしまうことを防止することができる。
特に、撮影画像が高画質になると、画像信号のエンコード、画像信号の通信、及び、画像信号のデコードに要する時間が長くなる。通信技術の発達によって通信時間の低減が図られた場合であっても、画像信号のエンコード及びデコードに要する時間は長いままである。それに加えて、撮影画像の高画質化によって、操作装置2を操作するユーザの撮影画像への依存度がより高くなる。そのため、ユーザは、マスタスレーブ制御に対する表示装置8による撮影画像の表示タイミングのズレをより感知しやすくなってしまう。それに対し、遠隔制御システム100は、マスタスレーブ制御を遅延させることによって、マスタスレーブ制御の応答性の低下を許容しつつ、マスタスレーブ制御に対する表示装置8による撮影画像の表示タイミングのズレを低減している。その結果、ユーザが表示装置8の撮影画像を観ながら操作装置2を操作する際の違和感を低減することができる。
[遅延量の導出]
それに加えて、このようなマスタスレーブ制御と画像表示制御とを行っている間に、制御装置3は、遅延制御におけるマスタスレーブ制御の遅延量を求めている。
それに加えて、このようなマスタスレーブ制御と画像表示制御とを行っている間に、制御装置3は、遅延制御におけるマスタスレーブ制御の遅延量を求めている。
詳しくは、図6のフローチャートに従って説明すると、ステップSa1において、入力処理部41は、接触力センサ13のセンサ信号を通信部19を介して制御装置3へ送信すると共に、画像処理装置72へ入力する。画像処理装置72では、前述のようにステップSb2において、合成部77が互いに対応するタイミングで取得された撮像装置71の撮影画像と接触力センサ13の検出結果とを関連付ける。具体的には、画像処理装置72は、撮影画像と対応するタイミングで取得された接触力センサ13のセンサ信号を撮影画像に付加する。より具体的には、合成部77は、画像信号の各フレームの画像に各フレームと略同じタイミングで取得されたセンサ信号を画像として電子透かし技術によって合成する。
画像システム120においては、センサ信号が合成された画像信号は、エンコードされ(ステップSb3)、無線通信され(ステップSb4)、デコードされる(ステップSb5)。その後、デコードされた画像信号は、表示制御装置82からディスプレイ81へ入力されるだけでなく、表示制御装置82から制御装置3へも入力される。
マスタスレーブシステム110では、分離部67が、図11(ii)に示すようなデコードされた画像信号から、図12に示すようにセンサ信号を分離する。この例では、電子透かし技術に基づいて、画像信号からセンサ信号が分離される。分離されたセンサ信号は、分離部67からズレ検出部68へ入力される。ズレ検出部68には、入力処理部41から制御装置3へ入力されたセンサ信号も、接触力取得部62を介して入力されている。つまり、ズレ検出部68には、接触力センサ13のセンサ信号が、ロボット1、無線通信及び制御装置3という第1伝送路と、画像処理装置72、無線通信、表示制御装置82という第2伝送路との2つの伝送路を介して入力される。前述の如く、第2伝送路を経由するセンサ信号は、その途中でエンコード及びデコードの処理を経ている。
そして、ズレ検出部68は、ステップSa5において、所定の検出条件が成立したか否かを判定する。この例では、検出条件は、ズレ検出部68が分離部67からセンサ信号を受け取ることである。
マスタスレーブ制御の制御周期は、画像信号のフレームレートに対応する周期に比べて短いので、ズレ検出部68は、分離部67からのセンサ信号(即ち、第2伝送路を経由しセンサ信号)に比べて、接触力取得部62からのセンサ信号(即ち、第1伝送路を経由したセンサ信号)をより短い周期で受け取る。そのため、検出条件が成立していない場合、即ち、分離部67からズレ検出部68へセンサ信号が入力されていないときには、ズレ検出部68は、接触力取得部62から入力されるセンサ信号をメモリ33に保存して、今回の制御周期での遅延量の導出を終了する。
検出条件が成立した場合、即ち、分離部67からズレ検出部68へセンサ信号が入力されたときには、ズレ検出部68は、ステップSa6において、分離部67からのセンサ信号をメモリ33に保存された接触力取得部62からのセンサ信号と比較して、接触力取得部62からのセンサ信号に対する分離部67からのセンサ信号のズレ時間を求める。
具体的には、図12に示すように、ズレ検出部68は、周期的に、具体的には撮影画像のフレームレートで、分離部67からセンサ信号が入力される。メモリ33には、図11(i)に示すようなセンサ信号が保存されている。例えば、ズレ検出部68は、分離部67からのセンサ信号の信号波形と一致する信号波形を、メモリ33に保存された接触力取得部62からのセンサ信号の中から探す。そして、ズレ検出部68は、分離部67からのセンサ信号と、接触力取得部62からのセンサ信号のうちの信号波形が一致する部分との時間差をズレ時間として求める。ズレ検出部68は、求められたズレ時間を記憶部32に保存する。
ズレ検出部68は、このようなズレ時間の導出を検出条件が成立するごとに繰り返す。その結果、記憶部32には、ズレ時間が蓄積されていく。
ズレ検出部68は、ステップSa7において、所定の更新条件が成立したか否かを判定する。例えば、更新条件は、ズレ時間が現在の遅延時間に対して所定の変動幅(以下、「変動閾値」という)を超えて変化した状態が所定期間(以下、「期間閾値」という)以上継続することである。要するに、更新条件は、ズレ時間が現在の遅延時間に対して大きく異なる状態が一定期間以上継続することである。
詳しくは、ズレ検出部68は、ズレ時間を求めた際に、ズレ時間と現在の遅延時間とを比較し、時間差が変動閾値を超えているか否かを判定し、判定結果を記憶部32に保存する。さらに、時間差が変動閾値を超えている場合には、ズレ検出部68は、現在から期間閾値だけ遡った間の判定結果を記憶部32から読み出し、時間差が変動閾値を超えている状態が期間閾値以上継続しているか否かを判定する。尚、期間閾値の間に時間差の正負が変わっている場合には、時間差が変動閾値を超えている状態が継続しているとは扱わない。
時間差が変動閾値を超えている状態が期間閾値以上継続していない場合には、ズレ検出部68は、今回の制御周期での遅延量の導出を終了する。
時間差が変動閾値を超えている状態が期間閾値以上継続している場合には、ズレ検出部68は、ステップSa8においてその期間閾値の間のズレ時間を平均し、その平均値で現在の遅延時間を更新する。この例では、遅延時間が、遅延制御におけるマスタスレーブ制御の遅延量に相当する。
ズレ検出部68は、記憶部32に記憶されている変換関数を用いて、更新後の遅延時間から時定数を求める。ズレ検出部68は、遅延部69の時定数を求められた時定数で更新する。
このとき、ズレ検出部68は、遅延時間の変化幅に制限を設けている。つまり、ズレ検出部68は、マスタスレーブ制御の応答性が急激に変化しないように、現在の遅延時間を新たな遅延時間まで複数の制御周期に亘って段階的に変化させる。
このように、遠隔制御システム100は、マスタスレーブ制御及び画像表示制御を行っている間に、マスタスレーブ制御及び画像表示制御の信号を用いて、マスタスレーブ制御の遅延量を求めている。具体的には、制御装置3のズレ検出部68は、マスタスレーブ制御のために制御装置3が接触力センサ13から受信するセンサ信号と、画像表示制御のために撮像装置71から表示装置8に伝送されて表示される画像信号とのズレ時間を求め、求められたズレ時間に基づいて遅延量を求めている。マスタスレーブ制御及び画像表示制御の実行中に、マスタスレーブ制御及び画像表示制御のために送受信され且つ処理される信号に基づいて遅延量が求められるので、実際の制御状況に則した遅延量を求めることができる。例えば、ロボット制御装置14と制御装置3との間の通信環境、及び、画像処理装置72と表示制御装置82との間の通信環境は、変化し得る。これらの通信環境が変化した場合であっても、前述の方法で遅延量を求めることによって、通信環境の変化に対応して遅延量を変更することができる。
さらに、撮像装置71によって撮影される画像によって、エンコード及びデコードに要する時間が変化し得る。例えば、色味が均一な画像と色や明るさが様々な画像とでは、エンコード及びデコードに要する時間が異なる。研削加工においては、対象物Wと研削装置11aとの接触部において火花が発生し得る。つまり、画像に含まれる火花の有無又は火花の量によって、エンコード及びデコードに要する時間が異なる。そのような場合であっても、前述の方法で遅延量を求めることによって、画像の状況に対応して遅延量を変更することができる。
また、接触力センサ13及び撮像装置71によって互いに対応するタイミングで取得されたセンサ信号と画像信号とを互いに関連付けておくことによって、制御装置3は、マスタスレーブ制御に用いられるセンサ信号と表示装置8に表示される画像信号とから互いに関連付けられたセンサ信号と画像信号とを判別して、それらのズレ時間を求めることができる。
具体的には、接触力センサ13及び撮像装置71によって互いに対応するタイミングで取得されたセンサ信号及び画像信号のうち画像信号に、互いの関連付けを示す関連情報としてセンサ信号が付加されている。制御装置3は、関連情報としてセンサ信号に基づいて、センサ信号と画像信号とのズレ時間を求める。つまり、制御装置3は、センサ信号と画像信号との両方を受け取ったときに、センサ信号と画像信号に付加されているセンサ信号とを対比することによって、元々はセンサ信号と対応するタイミングで取得された画像信号を判別することができ、両者のズレ時間を求めることができる。この例では、制御装置3は、分離部67によって画像信号からセンサ信号を分離し、接触力取得部62からのセンサ信号と画像信号から分離されたセンサ信号とのズレ時間をセンサ信号と画像信号とのズレ時間として求める。
このとき、関連情報としてセンサ信号が用いられることによって、センサ信号には別の情報を付加する必要がなく、画像信号だけにセンサ信号を付加すればよい。さらに、センサ信号及び画像信号以外の別の情報を準備する必要が無い。そのため、処理が簡略化される。
さらには、遠隔制御システム100が複数設置されている場合には、無線通信においてコンタミネーションが発生する虞がある。そのような場合であっても、関連情報としてセンサ信号が用いられることによって、センサ信号と画像信号との組み合わせが適切か否か(即ち、コンタミネーションが発生しているか否か)を容易に判別することができる。例えば、関連情報として取得時刻を採用し、センサ信号と画像信号とのそれぞれに取得時間情報を付加する場合には、遠隔制御システム100のそれぞれを識別するための識別情報をセンサ信号及び画像信号にさらに付加する必要がある。関連情報としてセンサ信号が用いられる場合には、センサ信号が遠隔制御システム100の識別情報として機能する。そのため、遠隔制御システム100のそれぞれを識別するための追加の識別情報が不要となる。
また、遠隔制御システム100では、画像信号へのセンサ信号の付加は、画像信号のエンコード前に行われ、画像信号からのセンサ信号の分離は、画像信号のデコード後に行われる。そのため、分離部67によって分離されたセンサ信号は、画像信号のエンコード、画像信号の無線通信、及び画像信号のデコードに要した時間だけ遅延している。そのため、制御装置3は、画像信号のエンコード、無線通信及びデコードの影響を適切に反映したズレ時間を求めることができる。
さらに、画像信号へのセンサ信号の付加は、電子透かし技術によって実現されている。そのため、表示装置8は、センサ信号が合成された画像信号をディスプレイ81に表示しても、センサ信号が撮影画像のユーザへの提示の邪魔にならない。つまり、表示装置8において、画像信号からセンサ信号を分離する等の特段の処理が不要となる。
また、制御装置3は、ズレ時間が現在の遅延時間に対して所定の変動閾値を超えて変化した状態が所定の期間閾値以上継続する場合に、マスタスレーブ制御の遅延量、即ち、遅延時間を更新している。これにより、通常のマスタスレーブ制御及び画像表示制御では許容される、ズレ時間の小さな変動を無視して、マスタスレーブ制御の遅延量を一定に保ち、マスタスレーブ制御を安定させることができる。つまり、画像処理装置72と表示制御装置82との間の通信環境は、一定ではなく、多少の変動はあり得る。また、画像信号のエンコード及びデコードに要する時間は、撮影画像に応じて変動し得る。そのため、ズレ時間の変動量が小さい場合及びズレ時間の変動が一時的な場合には、制御装置3は、マスタスレーブ制御の遅延量を一定に保持することによって、マスタスレーブ制御の応答性を一定に保ち、ユーザに違和感を与えることを防止することができる。
さらに、遅延時間を更新する場合において、制御装置3は、遅延時間を段階的に変更することによって、ユーザに与える違和感を低減することができる。つまり、遅延時間は、マスタスレーブ制御の応答性に直結する。制御装置3は、遅延時間を段階的に変更することによって、マスタスレーブ制御の応答性が急に変化することを防止することができる。
以上のように、遠隔制御システム100は、ユーザに操作される操作装置2(マスタ装置)と、操作装置2の動作に応じて対象物Wに作用を加えるロボット1(スレーブ装置)と、ロボット1に設けられ、ロボット1の動作状態を検出する接触力センサ13(センサ)と、ロボット1及び対象物Wの少なくとも一方の画像を撮影する撮像装置71と、撮像装置71による撮影画像を表示して、操作装置2を操作するユーザに提供する表示装置8と、接触力センサ13の検出結果に基づいてロボット1及び操作装置2の少なくとも一方の動作制御を実行する制御装置3とを備え、制御装置3は、動作制御に対する撮影画像の表示装置8による表示タイミングのズレを低減するように、動作制御を遅延させる。
換言すると、ユーザに操作される操作装置2と、操作装置2の動作に応じて対象物Wに作用を加えるロボット1と、ロボット1に設けられ、ロボット1の動作状態を検出する接触力センサ13と、ロボット1及び対象物Wの少なくとも一方の画像を撮影する撮像装置71と、撮像装置71による撮影画像を表示して、操作装置2を操作するユーザに提供する表示装置8とを備えた遠隔制御システム100の制御方法は、接触力センサ13の検出結果に基づいてロボット1及び操作装置2の少なくとも一方の動作制御を実行することと、動作制御に対する撮影画像の表示装置8による表示タイミングのズレを低減するように、動作制御を遅延させることとを含む。
または、ユーザに操作される操作装置2と、操作装置2の動作に応じて対象物Wに作用を加えるロボット1と、ロボット1に設けられ、ロボット1の動作状態を検出する接触力センサ13と、ロボット1及び対象物Wの少なくとも一方の画像を撮影する撮像装置71と、撮像装置71による撮影画像を表示して、操作装置2を操作するユーザに提供する表示装置8とを備えた遠隔制御システム100を制御する機能をコンピュータに実現させるための遠隔制御プログラムは、接触力センサ13の検出結果に基づいてロボット1及び操作装置2の少なくとも一方の動作制御を実行する機能と、動作制御に対する撮影画像の表示装置8による表示タイミングのズレを低減するように、動作制御を遅延させる機能とをコンピュータに実現させる。
これらの構成によれば、ユーザが操作装置2を操作することによってロボット1が動作して対象物Wに作用(例えば、研削)を加える。このとき、接触力センサ13は、ロボット1の動作状態(例えば、ロボット1に作用する反力)を検出する。接触力センサ13の検出結果に基づいてロボット1及び操作装置2の少なくとも一方の動作制御が実行される。これと並行して、撮像装置71は、ロボット1及び対象物Wの少なくとも一方の画像を撮影し、表示装置8は、その撮影画像を表示して、撮影画像をユーザに提供する。ここで、撮影画像のデータ量は、接触力センサ13の検出結果に比べると大きい。そのため、撮影画像が撮像装置71によって取得されてから表示装置8に表示されるまでの処理及び通信に要する時間は、接触力センサ13によって検出結果が取得されてから動作制御に用いられるまでの処理及び通信に要する時間に比べて長くなる。つまり、接触力センサ13の検出結果に基づくロボット1及び操作装置2の少なくとも一方の動作制御に対して撮影画像の表示装置8による表示タイミングがズレる(具体的には、遅延する)傾向にある。それに対し、動作制御に対する撮影画像の表示装置8による表示タイミングのズレが低減するように、動作制御が遅延させられる。これにより、動作制御の応答性が低下するものの、表示装置8の撮影画像を観ながら操作装置2を操作するユーザに与える違和感を低減することができる。
また、制御装置3は、接触力センサ13の検出結果をロボット1から受信すると共に撮影画像を表示装置8から受信し、動作制御を遅延させる遅延量を接触力センサ13の検出結果と撮影画像とのズレ時間に基づいて求める。
この構成によれば、制御装置3は、接触力センサ13の検出結果をロボット1から受信し、この検出結果に基づいて動作制御を実行する。一方、制御装置3は、表示装置8から撮影画像を受信しており、この撮影画像は、表示装置8において表示されるものである。つまり、制御装置3が受信する、接触力センサ13の検出結果と撮影画像とのズレ時間は、動作制御と撮影画像の表示装置8による表示とのズレ時間に概ね合致する。そのため、制御装置3は、接触力センサ13の検出結果と撮影画像とのズレ時間に基づいて動作制御の遅延量を求めることによって、動作制御と撮影画像の表示装置8による表示とのズレに対応する動作制御の遅延量を求めることができる。
さらに、接触力センサ13及び撮像装置71によって互いに対応するタイミングで取得された検出結果と撮影画像との少なくとも一方には、互いの関連付けを示す関連情報が付加されており、制御装置3は、関連情報に基づいて検出結果と撮影画像とを関連情報に基づいて判別して、ズレ時間を求める。
この構成によれば、制御装置3は、関連情報を参照することによって、検出結果と撮影画像の中から、互いに対応するタイミングで取得された検出結果及び撮影画像を容易に判別することができる。
さらに、遠隔制御システム100は、撮像装置71から撮影画像を受信し、撮影画像を処理し、処理後の撮影画像を表示装置8へ送信する画像処理装置72をさらに備え、画像処理装置72は、検出結果をロボット1から受信し、撮影画像と対応するタイミングで取得された検出結果を関連情報として撮影画像に付加し、検出結果が付加された撮影画像を表示装置8へ送信し、制御装置3は、検出結果が付加された撮影画像を表示装置8から受信し、撮影画像に付加された検出結果とロボット1から受信した検出結果との比較に基づいてズレ時間を求める。
この構成によれば、互いに対応するタイミングで取得された接触力センサ13の検出結果と撮像装置71の撮影画像とのうち撮影画像に、互いの関連付けを示す関連情報としての接触力センサ13の検出結果が付加される。そのため、表示装置8に送信され、表示装置8から制御装置3が受信する撮影画像には、検出結果が付加されている。制御装置3は、ロボット1から検出結果を受信している。ロボット1か受信された検出結果とその検出結果が付加された撮影画像とのズレ時間が、すなわち、検出結果と撮影画像とのズレ時間である。そのため、制御装置3は、撮影画像に付加された検出結果とロボット1から受信された検出結果とを比較することによって、検出結果と撮影画像とのズレ時間を容易に求めることができる。
また、画像処理装置72は、撮影画像と対応するタイミングで取得された検出結果を撮影画像に画像として合成することによって検出結果を撮影画像に付加し、検出結果が合成された撮影画像をエンコードして表示装置8へ送信し、制御装置3は、表示装置8によってデコードされた撮影画像から検出結果を取得する。
この構成によれば、制御装置3が表示装置8から受信する撮影画像に合成された、接触力センサ13の検出結果は、撮影画像と共に、エンコード、画像処理装置72と表示装置8との間の通信、及びデコードを経ている。つまり、制御装置3は、デコードされた撮影画像に付加された検出結果とロボット1から受信した検出結果との比較に基づいてズレ時間を求めることによって、これらの処理及び通信による遅延を反映したズレ時間を求めることができる。
制御装置3は、動作制御として、ユーザによる操作装置2の操作及び検出結果に応じて、ロボット1の動作を制御すると共にロボット1に作用する反力をユーザに提示するように操作装置2の動作を制御する。
この構成によれば、制御装置3は、動作制御には、ロボット1の動作の制御と操作装置2の動作の制御とが含まれる。つまり、動作制御に対する撮影画像の表示装置8による表示タイミングのズレが発生すると、ロボット1の動作の制御と撮影画像の表示装置8による表示タイミングとがズレると共に、操作装置2の動作の制御と撮影画像の表示装置8による表示タイミングとがズレる。例えば、ロボット1の動作の制御に対して撮影画像の表示装置8による表示タイミングが遅延すると、ユーザは、実際のロボット1の動作よりも遅れたロボット1の動作又は対象物Wの撮影画像を観ながら操作装置2の操作を行うことになる。また、操作装置2の動作の制御に対して撮影画像の表示装置8による表示タイミングが遅延すると、ユーザは、操作装置2から提示される反力を受けるときのロボット1の動作よりも遅れたロボット1の動作又は対象物Wの撮影画像を観ながら操作装置2からの反力を感知する。どちらの場合でも、ユーザは、違和感を覚えることになる。それに対して、制御装置3は、動作制御を遅延させるので、ロボット1の動作の制御も操作装置2の動作の制御も遅延することになる。その結果、ユーザが表示装置8の撮影画像を観ながら操作装置2を操作する際に、ロボット1の動作と撮影画像とのズレ、及び、操作装置2から感じる反力と撮影画像とのズレを低減することができる。
接触力センサ13は、ロボット1の動作状態を検出するセンサの一例であり、さらには、力覚センサの一例である。
《その他の実施形態》
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
前述の遠隔制御システム100の構成は、一例に過ぎず、これに限定されるものではない。例えば、マスタスレーブシステム110に関し、ロボット1が対象物Wに加える作用は、研削に限定されない。ロボット1が対象物Wに加える作用は、切削又は研磨等であってもよく、押圧又は把持等であってもよい。
また、ロボット1と制御装置3との間の通信は、無線通信に限定されず、有線通信であってもよい。同様に、撮像装置71と表示装置8との間の通信は、無線通信に限定されず、有線通信であってもよい。
制御装置3が実行するロボット1及び操作装置2の動作制御は、バイラテラル制御に限定されない。例えば、制御装置3は、操作装置2の動作に応じたロボット1の動作制御と、ロボット1が対象物Wから受ける反力に応じた操作装置2の動作制御とを独立に行ってもよい。
あるいは、制御装置3は、操作装置2の動作に応じたロボット1の動作制御だけを行って、操作装置2を介したユーザへの反力提示を行わなくてもよい。つまり、制御装置3は、ユーザによる操作装置2の操作及び接触力センサ13のセンサ信号に基づいてロボット1の動作制御だけを行ってもよい。
また、ロボット1は、産業用ロボットに限定されない。例えば、ロボット1は、医療用ロボットであってもよい。さらには、スレーブ装置は、ロボットに限定されない。例えば、スレーブ装置は、建設機械等の機械であってもよい。
スレーブ装置の動作状態を検出するセンサは、接触力センサ13に限定されず、スレーブ装置の動作状態を検出できる限り、任意のセンサを採用し得る。例えば、スレーブ装置がロボット1の場合、スレーブ装置の動作状態を検出するセンサは、サーボモータ15の電流を検出する電流センサ又はサーボモータ15のトルクを検出するトルクセンサ等であってもよい。
さらに、撮影画像に合成されるセンサ信号は、Z軸方向への力のセンサ信号に限定されない。撮影画像に合成されるセンサ信号は、Z軸方向以外の他の方向への力のセンサ信号であってもよく、Z軸方向に限定されない複数の方向への力のセンサ信号が含まれていてもよい。例えば、6軸の力のセンサ信号のうち撮影画像に合成されるセンサ信号を、ステップSa0等においてユーザが選択してもよい。あるいは、ロボット制御装置14又は画像処理装置72が6軸の力のセンサ信号のうち撮影画像に合成されるセンサ信号を選択してもよい。例えば、ロボット制御装置14又は画像処理装置72は、接触力センサ13の6軸の力のセンサ信号のうち変動が大きいセンサ信号を選択してもよい。
撮影画像へのセンサ信号の合成は、知覚困難型の電子透かし技術によるものに限定されない。例えば、センサ信号は、視認可能な状態で撮影画像に合成されてもよい。センサ信号の視認可能な状態での合成は、知覚可能型の電子透かし技術によって実現されてもよく、それ以外の方法で実現されてもよい。
前述の例では、画像信号の各フレームに付加されたセンサ信号は、複数の数値データを含んでおり、他のフレームに付加されたセンサ信号と判別可能な信号波形を形成している。しかし、センサ信号のサンプリング周期と画像信号のフレームレートによっては、画像信号の各フレームに付加されたセンサ信号は、少ない数値データしか有さず、他のフレームに付加されたセンサ信号と判別可能な信号波形を形成できない場合もあり得る。そのような場合には、ズレ検出部68は、ズレ時間の導出対象となるフレームに付加されたセンサ信号に直近の1又は複数のフレームに付加されたセンサ信号を合体させることによって、判別可能な信号波形を形成した上で、合体されたセンサ信号と接触力取得部62からのセンサ信号と比較してもよい。
互いに対応するタイミングで取得されたセンサの検出結果と撮像装置の撮影画像との互いの関連付けを示す関連情報は、センサの検出結果(前述の例では、接触力センサ13のセンサ信号)に限定されない。例えば、関連情報は、時刻情報であってもよい。つまり、センサの検出結果にその検出結果が取得された時刻情報が付加され、撮像装置の撮影画像にその撮影画像が取得された時刻情報が付加されてもよい。その場合、画像信号へのセンサの検出結果の付加が不要となる。例えば、ロボット制御装置14が接触力センサ13のセンサ信号にそのセンサ信号が取得された時刻情報を付加し、画像処理装置72が撮像装置71の画像信号にその画像信号が取得された時刻情報を付加してもよい。ロボット制御装置14から画像処理装置72へのセンサ信号の入力が不要となる。ズレ検出部68は、センサ信号に付加された時刻信号と画像信号に付加された時刻信号とを照らし合わせることによって、互いにタイミングで取得されたセンサ信号と画像信号とを判別して、両者のズレ時間を求めることができる。画像信号への時刻情報の付加は、時刻情報をデータとして付加してもよいし、時刻情報を画像として撮影画像に合成してもよい。尚、関連情報は、時刻情報以外の、取得タイミングを示す識別情報であってもよい。
遅延時間の更新条件は、ズレ時間が現在の遅延時間に対して所定の変動幅を超えて変化した状態が所定期間以上継続することに限定されない。例えば、更新条件は、ズレ時間が現在の遅延時間に対して所定の変動幅を超えて変化することであってもよい。あるいは、更新条件は、ズレ時間の変動とは無関係に、所定の周期の到来であってもよい。つまり、所定の周期ごとに遅延時間が更新されてもよい。
ズレ時間が現在の遅延時間に対して所定の変動幅を超えて変化した状態が所定期間以上継続することを条件に遅延時間を更新する際には、新たな遅延時間は、所定期間の間のズレ時間を平均した平均値でなくてもよい。例えば、新たな遅延時間は、最新のズレ時間、又は、所定期間の間に最も頻度が高いズレ時間であってもよい。
さらに、遅延時間を更新する際には、現在の遅延時間を新たな遅延時間まで段階的ではなく、一度に更新してもよい。
また、遅延時間の更新は、制御装置3が自動で行うのではなく、更新条件が満たされたときに、新たな遅延時間をユーザに提示して、ユーザからの操作によって遅延時間を更新してもよい。
前述のブロック図は一例であり、複数のブロックを1つのブロックとして実現したり、1つのブロックを複数のブロックに分割したり、一部の機能を別のブロックに移したりしてもよい。
本開示の技術は、前記制御方法を実行するためのプログラムであってもよく、前記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、前記プログラムは、インターネット等の伝送媒体を介して流通させることができるものであってもよい。
本実施形態で開示された構成の機能は、電気回路又は処理回路を用いて実行されてもよい。プロセッサは、トランジスタ及びその他の回路を含む処理回路等である。本開示において、ユニット、コントローラ又は手段は、記載した機能を実行するためのハードウェア又はプログラムされたものである。ここで、ハードウェアは、本実施形態で開示された機能を実行するように構成若しくはプログラムされた、本実施形態で開示されたもの又は公知のハードウェアである。ハードウェアが、プロセッサ又はコントローラの場合、回路、手段又はユニットは、ハードウェアとソフトウェアの組み合わせであり、ソフトウェアは、ハードウェア及び/又はプロセッサを構成するために用いられる。
Claims (10)
- ユーザに操作されるマスタ装置と、
前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、
前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、
前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、
前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置と、
前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する制御装置とを備え、
前記制御装置は、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる遠隔制御システム。 - 請求項1に記載の遠隔制御システムにおいて、
前記制御装置は、前記検出結果を前記スレーブ装置から受信すると共に前記撮影画像を前記表示装置から受信し、前記動作制御を遅延させる遅延量を前記検出結果と前記撮影画像とのズレ時間に基づいて求める遠隔制御システム。 - 請求項2に記載の遠隔制御システムにおいて、
前記制御装置は、前記ズレ時間に基づいて求められた新たな遅延量で前記遅延量を更新する場合に、前記遅延量を前記新たな遅延量まで段階的に更新していく遠隔制御システム。 - 請求項2に記載の遠隔制御システムにおいて、
前記センサ及び前記撮像装置によって互いに対応するタイミングで取得された検出結果と前記撮影画像との少なくとも一方には、互いの関連付けを示す関連情報が付加されており、
前記制御装置は、受信した前記検出結果及び前記撮影画像の中から互いに対応するタイミングで取得された前記検出結果と前記撮影画像とを前記関連情報に基づいて判別して、前記ズレ時間を求める遠隔制御システム。 - 請求項4に記載の遠隔制御システムにおいて、
前記撮像装置から前記撮影画像を受信し、前記撮影画像を処理し、処理後の前記撮影画像を前記表示装置へ送信する画像処理装置をさらに備え、
前記画像処理装置は、前記検出結果を前記スレーブ装置から受信し、前記撮影画像と対応するタイミングで取得された前記検出結果を前記関連情報として前記撮影画像に付加し、前記検出結果が付加された前記撮影画像を前記表示装置へ送信し、
前記制御装置は、前記検出結果が付加された前記撮影画像を前記表示装置から受信し、前記撮影画像に付加された前記検出結果と前記スレーブ装置から受信した前記検出結果との比較に基づいて前記ズレ時間を求める遠隔制御システム。 - 請求項5に記載の遠隔制御システムにおいて、
前記画像処理装置は、前記撮影画像と対応するタイミングで取得された前記検出結果を前記撮影画像に画像として合成することによって前記検出結果を前記撮影画像に付加し、前記検出結果が合成された前記撮影画像をエンコードして前記表示装置へ送信し、
前記制御装置は、前記表示装置によってデコードされた前記撮影画像から前記検出結果を取得する遠隔制御システム。 - 請求項1乃至6の何れか1項に記載の遠隔制御システムにおいて、
前記制御装置は、前記動作制御として、ユーザによる前記マスタ装置の操作及び前記検出結果に応じて、前記スレーブ装置の動作を制御すると共に前記スレーブ装置に作用する反力をユーザに提示するように前記マスタ装置の動作を制御する遠隔制御システム。 - 請求項7に記載の遠隔制御システムにおいて、
前記センサは、力覚センサである遠隔制御システム。 - ユーザに操作されるマスタ装置と、
前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、
前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、
前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、
前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムの制御方法であって、
前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行することと、
前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させることとを含む、遠隔制御システムの制御方法。 - ユーザに操作されるマスタ装置と、
前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、
前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、
前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、
前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムを制御する機能をコンピュータに実現させるための遠隔制御プログラムであって、
前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する機能と、
前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる機能とをコンピュータに実現させるための遠隔制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180084361.7A CN116723915A (zh) | 2020-12-16 | 2021-11-25 | 远程控制系统、远程控制系统的控制方法以及远程控制程序 |
US18/209,045 US20230321812A1 (en) | 2020-12-16 | 2023-06-13 | Remote control system, control method for remote control system, and remote control program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-208542 | 2020-12-16 | ||
JP2020208542A JP2022095300A (ja) | 2020-12-16 | 2020-12-16 | 遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/209,045 Continuation US20230321812A1 (en) | 2020-12-16 | 2023-06-13 | Remote control system, control method for remote control system, and remote control program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022130931A1 true WO2022130931A1 (ja) | 2022-06-23 |
Family
ID=82059088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/043261 WO2022130931A1 (ja) | 2020-12-16 | 2021-11-25 | 遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230321812A1 (ja) |
JP (1) | JP2022095300A (ja) |
CN (1) | CN116723915A (ja) |
WO (1) | WO2022130931A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005177958A (ja) * | 2003-12-24 | 2005-07-07 | Olympus Corp | 遠隔操作システム |
JP2015047666A (ja) * | 2013-09-02 | 2015-03-16 | トヨタ自動車株式会社 | 遠隔操作装置、及び操作画像表示方法 |
JP2018130813A (ja) * | 2017-02-17 | 2018-08-23 | セイコーエプソン株式会社 | 制御装置、ロボット、及び、ロボットシステム |
-
2020
- 2020-12-16 JP JP2020208542A patent/JP2022095300A/ja active Pending
-
2021
- 2021-11-25 CN CN202180084361.7A patent/CN116723915A/zh active Pending
- 2021-11-25 WO PCT/JP2021/043261 patent/WO2022130931A1/ja active Application Filing
-
2023
- 2023-06-13 US US18/209,045 patent/US20230321812A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005177958A (ja) * | 2003-12-24 | 2005-07-07 | Olympus Corp | 遠隔操作システム |
JP2015047666A (ja) * | 2013-09-02 | 2015-03-16 | トヨタ自動車株式会社 | 遠隔操作装置、及び操作画像表示方法 |
JP2018130813A (ja) * | 2017-02-17 | 2018-08-23 | セイコーエプソン株式会社 | 制御装置、ロボット、及び、ロボットシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2022095300A (ja) | 2022-06-28 |
CN116723915A (zh) | 2023-09-08 |
US20230321812A1 (en) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10828782B2 (en) | Robot system, robot, and robot control apparatus | |
US11498216B2 (en) | Remote control manipulator system and control device | |
JP7053042B2 (ja) | 情報処理装置及び情報処理方法 | |
CN109922931A (zh) | 机器人控制装置、机器人、机器人系统及机器人控制方法 | |
US10306211B2 (en) | Remote control of pivotable stereoscopic camera | |
EP3797931B1 (en) | Remote control system, information processing method, and program | |
US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
JP6850183B2 (ja) | ロボットシステム及びその運転方法 | |
JP7000253B2 (ja) | 力覚視覚化装置、ロボットおよび力覚視覚化プログラム | |
WO2017122274A1 (ja) | 画像表示装置 | |
JP2006000977A (ja) | ロボット環境間力作用状態呈示装置 | |
WO2022130931A1 (ja) | 遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラム | |
JPWO2020039605A1 (ja) | ガス検出装置、情報処理装置およびプログラム | |
WO2021230364A1 (ja) | 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム | |
JP3217383B2 (ja) | 臨場感再現システムおよび加工システム | |
JP3424849B2 (ja) | マニピュレータのコンプライアンス制御装置 | |
WO2023058653A1 (ja) | 制御装置、ロボットシステム、ロボット制御方法及びロボット制御プログラム | |
WO2022075333A1 (ja) | ロボットシステム及びその制御方法 | |
JP5140889B2 (ja) | ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム | |
WO2022230854A1 (ja) | データ処理装置、データ処理方法及びデータ処理システム | |
JP7273522B2 (ja) | 教示装置及び教示方法 | |
WO2023200012A1 (ja) | 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム | |
JP2024083654A (ja) | ロボットシステム、操作感調整方法及び操作感調整プログラム | |
CN117120216A (zh) | 机器人系统、其控制方法以及控制程序 | |
WO2004070595A3 (de) | Vorrichtung und verfahren zur interaktiven steuerung eines mauszeigers einer graphischen benutzerschnittstelle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21906294 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202180084361.7 Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21906294 Country of ref document: EP Kind code of ref document: A1 |