WO2023037966A1 - 複数人によるロボットアバター制御システム、及び制御方法 - Google Patents
複数人によるロボットアバター制御システム、及び制御方法 Download PDFInfo
- Publication number
- WO2023037966A1 WO2023037966A1 PCT/JP2022/033027 JP2022033027W WO2023037966A1 WO 2023037966 A1 WO2023037966 A1 WO 2023037966A1 JP 2022033027 W JP2022033027 W JP 2022033027W WO 2023037966 A1 WO2023037966 A1 WO 2023037966A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- operator
- information
- motion
- control
- action
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 291
- 230000009471 action Effects 0.000 claims description 214
- 238000001514 detection method Methods 0.000 claims description 32
- 230000015541 sensory perception of touch Effects 0.000 claims description 12
- 230000000704 physical effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 210000003811 finger Anatomy 0.000 description 85
- 230000036544 posture Effects 0.000 description 38
- 238000004891 communication Methods 0.000 description 31
- 238000005452 bending Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000000638 stimulation Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 9
- 210000000707 wrist Anatomy 0.000 description 8
- 210000000245 forearm Anatomy 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Definitions
- the present invention relates to a robot avatar control system by multiple people and a control method.
- robot avatar technology in which humans reflect their own movements on a robot and control that robot as their own alter ego (avatar).
- robot avatar technology in which humans reflect their own movements on a robot and control that robot as their own alter ego (avatar).
- robot avatar technology is applied, for example, while an operator remotely controls a robot placed at a remote location, various information (visual information, auditory information, tactile information) acquired by the robot (robot avatar) can be obtained. will be able to receive In other words, the operator can experience as if he were there while controlling the robot without going to the place where the robot is actually placed. Further, application of the robot avatar technology is also expected in cases where robots are allowed to perform work in special environments where people cannot enter (Non-Patent Document 1).
- Non-Patent Document 2 methods based on operator movement information measured by motion capture
- Non-Patent Document 3 methods using a controller
- Non-Patent Document 4 Currently, under the concept of cybernetic avatars that build new relationships between people and their bodies, research is underway to share one avatar body with multiple people. In related research, targeting virtual avatars in cyberspace, attempts have been made to control one avatar (virtual avatar) by sharing arm movements of two operators (Non-Patent Document 4).
- robot avatars Unlike virtual avatars in cyberspace, which can be redone any number of times, robot avatars perform tasks in the real world (real space), and are required to have higher operational performance than virtual avatars.
- the object of the present invention is to provide a robot avatar control system by multiple people with excellent operability.
- a plurality of input information is generated based on one robot avatar including a control target whose motion is to be controlled and instruction actions performed by a plurality of operators for causing the robot avatar to execute a task.
- an input device and a first generating unit that generates a plurality of motion commands for moving the controlled object based on the plurality of input information so that the robot avatar moves in accordance with the plurality of instruction motions.
- an operation control unit for controlling the operation of the object to be controlled based on a plurality of operation commands; a robot avatar control system by a plurality of people, comprising: a plurality of motion state presentation devices each presenting a tactile sense stimulus so that other operators can grasp the motion state related to the instructed action.
- a second generating unit that generates movement information corresponding to the movement state based on the input information or based on information about the movement state of the controlled object that operates in response to the instruction action,
- the robot avatar control system by a plurality of persons according to ⁇ 1>, wherein the motion state presentation device presents the tactile sense stimulation based on the motion information regarding the operators other than the operator.
- ⁇ 3> The robot avatar control system by a plurality of people according to ⁇ 2>, wherein the second generation unit generates the motion information using physical quantities relating to the motion state.
- ⁇ 4> The robot avatar control system by a plurality of people according to any one of ⁇ 1> to ⁇ 3>, wherein the movement state presentation device has a vibrator that presents vibration as the tactile stimulus to the operator.
- ⁇ 5> Different control targets or different control objectives are assigned to the plurality of operators, and the first generating unit, based on the plurality of input information, assigns the plurality of operators to each other. Any one of the above ⁇ 1> to ⁇ 4> for generating a plurality of the operation commands for controlling the different controlled objects, or for the plurality of operators to control for different control purposes. multi-person robot avatar control system as described in .
- the ratio of contribution to the control of the specific controlled object is determined, and the first generating unit, based on the plurality of input information, determines whether the plurality of operators
- the robot avatar control system by a plurality of persons according to any one of ⁇ 1> to ⁇ 4>, wherein a plurality of said action commands are generated for controlling said specific controlled object according to said ratio.
- the robot avatar is any of ⁇ 1> to ⁇ 6> above, having an action part that can operate to exert an action on an object, and a body part that can move while holding the action part.
- a multi-person robotic avatar control system according to claim 1.
- a detection sensor that is attached to the action part and detects a physical action that the action part receives from the object side when the action part exerts an action on the object;
- the detection sensor is attached to each operator, and the detection of the detection sensor is provided to each operator so that the operators can share the action that the action section receives from the object side when the action section operates.
- the robot avatar control system by a plurality of persons according to ⁇ 7> above, comprising action part information presenting devices that respectively present tactile sense stimuli corresponding to results.
- ⁇ 9> Any one of ⁇ 1> to ⁇ 8> above, wherein the instruction action performed by the operator on the input device is a three-dimensional action that moves a part of the operator's body three-dimensionally.
- multi-person robot avatar control system as described in .
- ⁇ 10> The ⁇ 1> to ⁇ 9> comprising a display device for displaying an image of the robot avatar to the operator so that the operator can perform the instructing action without looking at the actual robot avatar.
- a multi-person robotic avatar control system according to any one of the preceding claims.
- an input information generating step in which an input device generates a plurality of pieces of input information based on a plurality of instruction actions; an action command generation step for generating a plurality of action commands for moving an object; an action control step for controlling the action of the controlled object based on the plurality of action commands; and for the plurality of operators,
- a plurality of exercise state presentation devices worn respectively present tactile sense stimuli so that each operator can comprehend the exercise state related to the instructed action of another operator when using the input device. and a stimulus presenting step.
- the ratio of contribution to the control of the specific controlled object is determined, and the operation command step is performed by the plurality of operators specified based on the plurality of input information.
- Explanatory diagram showing the overall configuration of a robot avatar control system by a plurality of people according to the first embodiment.
- Illustration of robot avatar Explanatory drawing showing an input device and an information presentation device worn by a first operator
- Explanatory drawing showing an input device and an information presentation device worn by a second operator
- Explanatory drawing showing another input device attached to the second operator
- Explanatory diagram showing the hardware configuration of the operating computer 4 is an explanatory diagram showing the relationship between input information input by each operator and feedback information returned to each operator in the control system of the first embodiment
- FIG. Explanatory diagram showing the overall configuration of the control system according to the second embodiment FIG.
- FIG 9 is an explanatory diagram showing the relationship between input information input by each operator and feedback information returned to each operator in the control system of Embodiment 3; Explanatory diagram showing the relationship between input information input by each operator and feedback information returned to each operator in the control system of the fourth embodiment.
- Explanatory diagram showing the relationship between input information input by each operator and feedback information returned to each operator in the control system of the fifth embodiment Explanatory diagram showing the relationship between input information input by each operator and feedback information returned to each operator in the control system of the sixth embodiment.
- FIG. 1 is an explanatory diagram showing the overall configuration of a multi-person robot avatar control system 1 according to the first embodiment.
- the robot avatar control system 1 by a plurality of people according to the present embodiment allows a plurality of operators OP to jointly operate a single robot avatar 2 while sharing the operation with each other and grasping each other's operation status. It is a system with a purpose.
- the "robot avatar control system by multiple people” may be simply referred to as the "control system”.
- each operator OP can perceive (perceive) their own operation status by themselves.
- the operators OP cannot visually confirm each other's operation status and cannot grasp it.
- the operator OP concentrates on the operation of the robot avatar 2, it is difficult for the operator OP to grasp the operation status of the other operators OP even if other operators OP are nearby.
- the operation status of operators OP other than one's own can sometimes be grasped from the motion state of the robot avatar 2, in this case, the operation status of the other operators OP cannot be grasped instantaneously.
- the motion of the robot avatar 2 is very slight, it is difficult to visually confirm such motion.
- each operator OP when each operator OP operates the robot avatar 2, each operator OP is given a motion state (a motion related to the command motion) corresponding to the command motion of another operator other than the operator OP.
- a tactile stimulus is presented so that the user can intuitively and quickly grasp the state (e.g., state).
- each operator OP changes the operation state (operation state) corresponding to the commanded action of the operator OP other than himself/herself to the presence or absence of tactile stimulus (for example, vibration stimulus), change (strength change, type change, etc.). ), it can be grasped.
- the operation corresponding to the instruction operation of the plurality of operators OP can be performed.
- the status (operation status) can be distinguished and grasped.
- the motion information related to the instructed action of the operator OP may be the motion state of the controlled object that operates in response to the instructed action of the operator OP.
- first operator OP1 first operator OP1
- second operator OP2 second operator OP2
- FIG. 2 is an explanatory diagram of the robot avatar 2.
- the robot avatar 2 is a robot used as an alter ego (avatar) for reflecting the movements of the operator OP for the purpose of performing a predetermined task.
- the robot avatar 2 moves according to the motion (instruction motion) performed by each operator OP for operation.
- the robot avatar 2 performs an action (instruction action) performed by each operator OP (that is, an action matched to the action of each operator OP).
- each operator OP changes the motion state (an example of the motion state related to the command motion) corresponding to the command motion of the operator OP other than the operator OP. It can be understood intuitively. Therefore, each operator OP can operate one robot avatar 2 while feeling as if each alter ego (avatar) has fused into one. Details of the control system 1 will be described below.
- the control system 1 includes a robot avatar 2, an input device 3, and an information presentation device 4.
- the robot avatar 2 mainly includes an action section (end effector) 21 that can operate to exert an action on an object, and a body section 22 that can move (operate) while holding the action section 21 .
- the robot avatar 2 of this embodiment consists of a robot arm 2 as shown in FIG.
- the robot arm 2 is a multi-joint 7-degree-of-freedom robot arm ("xArm7", manufactured by UFACTORY), and includes an arm portion 22 as a main body portion 22 and a grasping arm capable of grasping an object while being held by the arm portion 22. and a working portion 21 including a portion (gripper) 21a.
- xArm Gripper manufactured by UFACTORY
- the arm part 22 is used with its base part 22a fixed on a predetermined stage (not shown).
- the arm portion 22 has a plurality of link portions 22b and a plurality of joint portions 22c connecting the link portions 22b.
- the arm portion 22 also includes a plurality of motors (driving portions) for rotating the link portion 22b fixed to the joint portion 22c in a predetermined direction.
- the arm portion 22 can move three-dimensionally while holding the action portion 21 by controlling the rotational driving of these motors.
- the arm portion 22 is provided with a plurality of encoders for detecting the position (angle) of each drive shaft (rotating shaft) of each motor.
- the target (controlled target) whose motion is controlled by the operation of the first operator OP1 is the arm portion 22, and the target (controlled target) whose motion is controlled by the operation of the second operator OP2 is also the arm portion. 22.
- the first operator OP1 and the second operator OP2 have different purposes (control purposes) for controlling the motion of the arm section 22 (controlled object).
- the purpose of controlling the motion of the arm portion 22 assigned to the first operator OP1 is to control the position of the action portion 21 to a desired position (that is, position control of the action portion 21).
- the purpose of controlling the motion of the arm portion 22 assigned to the second operator OP2 is to control the posture of the action portion 21 to a desired posture (that is, posture control of the action portion 21).
- the role of operating the arm section 22 is shared between the first operator OP1 and the second operator OP2.
- Such division of roles is effective, for example, when the working posture of each operator OP is important when performing a task.
- Role sharing is done to separate out the actions (killer factors) that are important for the success of the task.
- the position (three-dimensional position) of the action portion 21 (predetermined portion R) held by the arm portion 22 is expressed using a three-dimensional coordinate system (three-dimensional coordinate system for avatars) set for the robot arm 2 .
- the robot arm 2 has a three-dimensional coordinate system with an origin placed at a predetermined location. , the three-dimensional position of the action part 21 is expressed.
- the posture (three-dimensional posture) of the action portion 21 (predetermined portion R) held by the arm portion 22 is the rotation angle (roll angle) about the x-axis and the rotation angle (roll angle) about the z-axis of the three-dimensional coordinate system. yaw angle) and a rotation angle (pitch angle) about the y-axis.
- the motion of the arm portion 22 is controlled so that the position and posture of the action portion 21 at the predetermined portion R are the predetermined positions and postures instructed by each operator OP. Specifically, the position (three-dimensional position) of the action portion 21 at the predetermined portion R is controlled based on the three-dimensional position information corresponding to the instruction action of the first operator OP1. Further, the posture (three-dimensional posture) of the action portion 21 at the predetermined portion R is controlled based on the three-dimensional posture information corresponding to the instruction motion of the second operator OP2.
- the action part 21 has a grasping part (gripper) 21a for grasping an object.
- the gripping portion 21a has two fingers 21b that move when gripping an object.
- the two finger portions 21b are arranged so as to be separated one by one and face each other.
- the grasping portion 21a can pinch an object between the fingers 21b facing each other.
- the acting portion 21 includes a driving portion (motor or the like) for driving each finger portion 21b of the grip portion 21a.
- the finger portions 21b move toward each other (close action).
- the finger portions 21b move away from each other (opening motion).
- the operation of the grasping portion 21a (fingers 21b) of the action portion 21 is performed by controlling the driving portion (motor, etc.) included in the action portion 21.
- the driving portion motor, etc.
- only the second operator OP2 operates the grip portion 21a of the action portion 21, as will be described later.
- a detection sensor 23 is attached inside the grip portion 21a.
- a force sensor thin film pressure sensor, "RP-C10-ST" that detects the force received from the object side when the grasping portion 21a (fingers 21b) of the action portion 21 grasps the object. , manufactured by xuuyuu).
- the input device 3 is a device used when the operator OP operates the robot avatar 2.
- the input device 3 generates input information based on an instruction action (three-dimensional action) performed by the operator OP.
- the “instruction action” performed by the operator OP means that the operator OP moves a part of the body (for example, arms, legs, head, fingers, etc.) in order to cause the robot avatar 2 to perform a task.
- an instructive motion that is similar to the motion that the robot avatar 2 is caused to do is referred to as a "three-dimensional motion”.
- an instruction operation for operating the arm unit 22 in accordance with the motion of the hand (arm) of the operator OP and an instruction operation for opening and closing the grip unit 21a in accordance with the bending and stretching operation of the fingers of the operator OP. It corresponds to "three-dimensional movement".
- Two types of input devices 3 are used in the control system 1 of this embodiment. Specifically, as the input device 3, a first input device 31 for operating the motion of the arm portion 22 of the robot arm (robot avatar) 2 and the motion of the grip portion 21a (fingers 21b) of the action portion 21 are used. A second input device 32 is used for manipulation.
- FIG. 3 is an explanatory diagram showing the input device 3 and the information presentation device 4 attached to the first operator OP1
- FIG. 4 is an illustration showing the input device 3 and the information presentation device 4 attached to the second operator OP2.
- FIG. 5 is an explanatory diagram showing another input device 3 attached to the second operator OP2.
- the first input device 31 is a device using motion capture.
- an image (captured image) corresponding to the instruction motion (three-dimensional motion) from the first operator OP1 and the second operator OP2 is generated as input information (input information generating step).
- the first input device 31 using optical motion capture will be described as an example.
- motion capture is performed by photographing a plurality of markers 311 attached to predetermined parts of the operator OP with a plurality of cameras (imaging devices) 312 having different angles, and capturing images obtained by the cameras 312. is a technique for measuring the movement of the marker 311 based on the principle of triangulation.
- "OptiTrack Prime 13W" NaturalPoint, Inc.
- Eight cameras 312 are used, the resolution of the camera 312 is 1280 ⁇ 1024 pixels, the frame rate is 240 frs, and the lens is 3.5 mm F2.4. Also, the field of view of camera 312 is 82° (horizontal) and 70° (vertical).
- a tool 313 for attaching a plurality of (four) markers 311 used as part of the first input device 31 is attached to the back of the right hand OP1a of the first operator OP1.
- the instrument 313 includes a flat plate-shaped mounting portion 313a to be placed on the back of the hand, and a plurality of mounting rods 313b each extending in a different direction outward from the peripheral edge of the mounting portion 313a.
- Markers 311 are attached to the ends of the four attachment rods 313b, respectively.
- the marker 311 is a sphere coated with paint for reflecting the infrared light emitted from the camera 312 .
- the instrument 313 is fixed so as not to be displaced by using a band 314 wound so that the placing portion 313a is pinched between the back of the right hand.
- the back of the right hand OP2a of the second operator OP2 is also provided with a plurality of (four) markers 311 used as part of the first input device 31, as with the first operator OP1.
- a tool 313 for attachment is attached.
- a marker 311 is attached to each tip of four mounting rods 313b extending outward from the peripheral edge of a mounting portion 313a of the instrument 313.
- the three-dimensional placement locations of the four markers 311 used by the second operator OP2 are used by the first operator OP1 so that the motion of the first operator OP1 can be distinguished from the motion of the second operator OP2. It is set to be different from the three-dimensional arrangement locations of the four markers 311 .
- a three-dimensional coordinate system (operator three-dimensional coordinate system) is set for the first operator OP1 and the second operator OP2, with the origin placed at a predetermined location.
- the three-dimensional coordinate system for the operator corresponds to the three-dimensional coordinate system for the robot avatar 2 described above.
- the position (three-dimensional position) of the back of the right hand OP1a of the first operator OP1 (hereinafter sometimes referred to as the “first rigid body”) is defined by x-, y-, and z-axes in the three-dimensional coordinate system for the operator. It is expressed using values (x', y', z').
- the posture (three-dimensional posture) of the back of the right hand OP2a of the second operator OP2 (hereinafter sometimes referred to as the “second rigid body”) is the rotation angle (roll angle), rotation angle around the z-axis (yaw angle), and rotation angle around the y-axis (pitch angle).
- a camera 312 captures the movement of a plurality of markers 311 attached to the right hand of the first operator OP1, and the captured image (input information) is processed by an image analysis unit 511 provided in the operating computer 5, which will be described later. Then, three-dimensional position information (part of input information) of the first rigid body is obtained from the captured image.
- the movement of the plurality of markers 311 attached to the right hand of the second operator OP2 is captured by the camera 312, and the captured image (input information) is processed by the image analysis unit 511 provided in the operating computer 5, which will be described later. Then, three-dimensional posture information (part of input information) of the second rigid body is obtained from the captured image.
- each input information corresponding to each instruction action of the first operator OP1 and the second operator OP2 is obtained as time-series captured images.
- the motion capture is mainly composed of the marker 311 , the camera 312 and the image analysis section 511 .
- the second input device 32 is a device for operating the grip portion 21a (fingers 21b) of the action portion 21, as described above.
- the second input device 32 of the present embodiment consists of the bending sensor 32 and is used by being worn on the index finger OP2b of the left hand of the second operator OP2. Only the second operator OP2 operates the grip part 21a (fingers 21b).
- the main body 320 of the bending sensor 32 ("FS-L-0055-253-ST", manufactured by Spectra Synbol) has an elongated shape along the index finger OP2b as a whole. Resistance value changes.
- the main body 320 of the bending sensor 32 is attached to the index finger OP2b using two ring-shaped attachment members 321 and 322 .
- the bending sensor 32 has a pair of electrode patterns, and changes in the output resistance value (input information) of the bending sensor 32 are taken out as signals to the outside through a pair of electrode terminals 32a and 32b connected to the electrode patterns.
- a signal line 323 is connected to each of the electrode terminals 32a and 32b.
- an output signal (change in output resistance value of the bending sensor 32) corresponding to the movement of the grip portion 21a of the action portion 21 is generated as input information for operating the action portion 21. be.
- the information presentation device 4 is a device that is worn by the operator OP and presents tactile stimulation to the operator OP when the operator OP operates the robot avatar 2 .
- Two types of information presentation devices 4 are used in the control system 1 of the present embodiment.
- the information presentation device 4 includes an exercise state presentation device 41 and an action part information presentation device 42 .
- the exercise state presentation device 41 is attached to each of the operators OP, and when the first input device 31 is used, the plurality of operators OP cooperate with each other to cause the robot avatar 2 to execute the task. Furthermore, it is a device that presents tactile stimuli so that each operator OP can grasp the motion state corresponding to the command motion of another operator OP (an example of the motion state related to the command motion). In the case of this embodiment, one motion state presentation device 41 is attached to each of the first operator OP1 and the second operator OP2.
- the exercise state presentation device 41 has a shape like a wrist watch as a whole.
- the exercise state presentation device 41 attached to the first operator OP1 is arranged so that when the first operator OP1 uses the first input device 31, the first operator OP1 can grasp the exercise state corresponding to the instructed motion of the second operator OP2. A tactile stimulus is presented to the operator OP1.
- the exercise state presentation device 41 attached to the second operator OP2 can grasp the exercise state corresponding to the instructed action of the first operator OP1 when the second operator OP2 uses the first input device 31. , a tactile stimulus is presented to the second operator OP2.
- a vibrator 411 that presents vibration (an example of tactile stimulation) to the operator OP is used as the motion state presentation device 41 .
- One transducer 411 is attached to each of the two operators OP (that is, the first operator OP1 and the second operator OP2).
- a vibrator 411 as the exercise state presentation device 41 is worn using a band 412 so as to be in close contact with the outer skin OP1c near the right wrist of the first operator OP1.
- the band 412 is wrapped around the right wrist of the first operator OP1 and worn so that the vibrator 411 is sandwiched between the band and the skin OP1c.
- the vibrator 411 attached to the first operator OP1 presents a vibration stimulus (tactile stimulus) based on the motion information of the second operator OP2 corresponding to the instruction motion (three-dimensional motion) of the second operator OP2.
- the vibrator 411 vibrates by receiving a tactile vibration signal corresponding to motion information (a tactile stimulus presenting step).
- a vibrator 411 as the exercise state presentation device 41 is attached using a band 412 so as to be in close contact with the outer skin OP2c near the right wrist of the second operator OP2. be.
- the band 412 is wrapped around the right wrist of the second operator OP2 and worn so that the vibrator 411 is sandwiched between the band and the skin OP2c.
- the vibrator 411 attached to the second operator OP2 presents a vibration stimulus (tactile stimulus) based on the motion information of the first operator OP1 corresponding to the instruction motion (three-dimensional motion) of the first operator OP1.
- the vibrator 411 vibrates by receiving a tactile vibration signal corresponding to motion information (a tactile stimulus presenting step).
- the action portion information presenting device 42 is attached to each of a plurality of operators OP, and is configured so that the operators OP can share the physical action that the action portion 21 receives from the object side when the action portion 21 operates. Secondly, it is a device that presents tactile sense stimulation corresponding to the detection result of the detection sensor 23 to each operator OP.
- one operating portion information presentation device 42 is attached to each of the first operator OP1 and the second operator OP2.
- the first operator OP1 and the second operator OP2 each receive a tactile stimulus presented by the action part information presentation device 42, so that when the action part 21 of the robot avatar (robot arm) 2 acts on the object ( For example, when the gripping portion 21a grips an object), the physical action (for example, the force received when the gripping portion 21a grips the object) detected by the action portion 21 via the detection sensor 23 is simultaneously grasped. can do.
- the same tactile stimulus is presented to the first operator OP1 and the second operator OP2 by each action part information presentation device 42 .
- the action part information presentation device 42 of this embodiment is configured to present a pressure stimulus (an example of a tactile stimulus) to the right forearm of the operator OP.
- the action part information presentation device 42 is attached to the right forearm (the part closer to the upper arm than the wrist) OP1d of the first operator OP1.
- the acting portion information presentation device 42 mainly includes an annular tightening portion 421 made of a rubber cord and an adjusting portion 422 for adjusting the diameter of the tightening portion 421 .
- the right forearm OP1d of the first operator OP1 is passed through the annular tightening portion 421 .
- the adjustment unit 422 includes a servomotor (DC servomotor) driven by receiving a drive signal corresponding to the detection result of the detection sensor 23 .
- a disk-shaped winding portion 424 is fixed to the output shaft 423 of the servomotor, and a part of the annular tightening portion 42 is fixed to the peripheral edge of the winding portion 424 .
- the winding part 424 rotates so that part of the tightening part 42 is wound up and the diameter is reduced. Further, when the output shaft 423 rotates in the opposite direction, the winding portion 424 rotates so that the tightening portion 42 that has been wound is returned and expanded to the original size.
- the adjustment part 422 is fixed on a support plate 425 having a rectangular shape in plan view.
- the support plate 425 is provided with an attachment band 426 that is attached in a form of being wrapped around the right forearm OP1d of the first operator OP1.
- the servomotor of the adjustment section 422 drives the tightening section 42 so as to reduce or expand its diameter.
- the adjustment section 422 is connected to the first microcomputer 7 described later via a cable 427 .
- an action part information presentation device 42 similar to that for the first operator OP1 described above is also attached to the right forearm (the part closer to the upper arm than the wrist) OP2d of the second operator OP2. be done.
- the adjusting section 422 provided in the operating section information presentation device 42 for the second operator OP2 is connected via a cable 427 to the second microcomputer 8, which will be described later.
- the control system 1 further includes an operating computer 5, a controller 6, a first microcomputer 7, a second microcomputer 8, and the like.
- the operating computer (OP computer) 5 comprehensively controls the entire system.
- FIG. 6 is an explanatory diagram showing the hardware configuration of the operating computer 5.
- the OP computer 5 includes a CPU (Central Processing Unit) 51, a RAM (Random Access Memory) 52, a ROM (Read Only Memory) 53, a storage section 54, a display section 55, a communication section 56, an input It is composed of a unit 57, a timer unit 58, and the like.
- the CPU 51 of the OP computer 5 reads various programs stored in the storage unit 54, develops them in the work area of the RAM 52, and executes various processes described later according to the developed programs.
- the storage unit 54 stores programs to be executed by the CPU 51 as appropriate, data required for various processes, and the like.
- the storage unit 54 is configured by a physical drive such as a memory or a hard disk drive.
- the clock unit 58 includes, for example, a timer IC, a crystal oscillator, a clock module, or the like, and has a function of clocking the current time.
- the CPU 51 appropriately acquires the current time from the timer 58 as necessary.
- the display unit 55 consists of, for example, a liquid crystal display, and displays necessary messages and the like to the administrator who operates the OP computer 5 and the like.
- the input unit 57 is a user interface and includes a keyboard, pointing device, and the like, and is used by the administrator to input information such as various data and commands to the OP computer 5 .
- the communication unit 56 is a communication interface and has a function of transmitting information to other devices and a function of receiving information from other devices.
- the communication unit 56 of this embodiment has both a wireless communication function and a wired communication function.
- the communication unit 56 performs wired communication with the first input device 31 (camera 312), the transmitter 416 for the first operator OP1, the transmitter 416 for the second operator OP2, the controller 6, and the like. Also, the communication unit 56 wirelessly communicates with the first microcomputer 7, the second microcomputer 8, and the like.
- the OP computer 5 also includes a control unit 510 configured by the CPU 51 and the like.
- the control unit 510 further includes an image analysis unit 511 , an arm command generation unit 512 , a motion information generation unit 513 , a motion information supply unit 514 , an action unit command generation unit 515 and a shared information generation unit 516 .
- the image analysis unit 511 executes a process of extracting input information corresponding to the instruction action of each operator OP from the captured image acquired by the camera 312 of the first input device 31 for each operator OP.
- the image analysis unit 511 obtains time-series three-dimensional position information of the first rigid body based on the captured image. Generate.
- the image analysis unit 511 also generates time-series three-dimensional posture information of the second rigid body based on the same captured image.
- the sampling frequency of the captured image (image data) is, for example, 100 to 150 [Hz].
- the arm unit command generation unit (first generation unit) 512 controls the robot arm according to the commanded motion (three-dimensional motion) performed by each of the operators OP (that is, the first operator OP1 and the second operator OP2). 2, based on a plurality of input information (three-dimensional position information of the first rigid body and three-dimensional posture information of the second rigid body), a plurality of motion commands for operating the arm portion 22 (controlled object). Execute the process to generate the .
- the arm section command generation section 512 corresponds to the second operator OP2 so that the three-dimensional position of the action section 21 moves in accordance with the movement of the right hand (three-dimensional movement) with respect to the three-dimensional position of the first operator OP1. Based on the input information (three-dimensional position information of the first rigid body), an action command for controlling the action of the arm section 22 is generated (action command generation step).
- the arm unit command generation unit 512 instructs the second operator OP2 to move the three-dimensional posture of the action unit 21 in accordance with the movement of the right hand (three-dimensional motion) with respect to the three-dimensional posture of the second operator OP2. Based on the corresponding input information (three-dimensional posture information of the second rigid body), an action command for controlling the action of the arm section 22 is generated (action command generation step).
- the arm section command generating section 512 generates a plurality of motion commands for controlling the motion of the arm section 22 for different control purposes by the first operator OP1 and the second operator OP2.
- a plurality of motion commands generated by the arm command generation unit 512 are transmitted to the controller 6 .
- a motion information generation unit (second generation unit) 513 generates motion information for each operator based on a plurality of pieces of input information (three-dimensional position information of the first rigid body and three-dimensional posture information of the second rigid body) generated by the image analysis unit 511 .
- a process of generating a plurality of motion information (tactile vibration signals) corresponding to the three-dimensional motion of the OP is executed (motion information generation step).
- the motion information generation unit 513 generates motion information using physical quantities related to the three-dimensional motion of the corresponding operator OP.
- the physical quantities include, for example, velocity, acceleration, jerk, amount of change in position, amount of change in attitude, difference between the position of the first rigid body and the position of the second rigid body, and the attitude of the first rigid body and the second rigid body. A difference value from the posture and the like can be mentioned.
- the motion information generation unit 513 of the present embodiment generates motion information indicating the motion state of the first operator OP1 during the three-dimensional motion from the three-dimensional position information of the first rigid body. For example, based on the three-dimensional position information of the first rigid body, the motion information generating unit 513 obtains the norm (scalar quantity) of the positional change over time as the velocity information v [mm/s] of the first rigid body, and converts it into This is assumed to be motion information (tactile vibration signal) of the first operator OP1.
- the motion information generation unit 513 generates motion information indicating the motion state of the second operator OP2 during the three-dimensional motion from the three-dimensional posture information of the second rigid body. For example, based on the three-dimensional posture information of the second rigid body, the motion information generating unit 513 obtains the norm (scalar quantity) of the change in posture over time as the rotational angular velocity information ⁇ [rad/s] of the second rigid body, is the motion information (tactile vibration signal) of the second operator.
- the exercise information supply unit 514 performs a process of allocating and supplying exercise information to each of the plurality of exercise state presentation devices 41 so that tactile stimulation can be presented respectively.
- the exercise information supply unit 514 selects each exercise state presentation device 41 from a plurality of pieces of exercise information generated by the exercise information generation unit 513 so that each operator OP can grasp the three-dimensional motions of other operators OP. select the exercise information to be supplied to the
- the motion state presentation device 41 attached to the first operator OP1 is assigned the motion information of the second operator OP2, and the motion state presentation device 41 attached to the second operator OP2 receives the Exercise information of one operator OP1 is assigned.
- the exercise information supply unit 514 supplies the exercise information of the second operator OP2 to the transmitter 416 for the first operator OP1, and also supplies the exercise information of the first operator OP1 to the transmitter for the second operator OP2. 416 is executed.
- the motion information (tactile vibration signal) of the second operator OP2 When the motion information (tactile vibration signal) of the second operator OP2 is supplied to the transmitter 416 for the first operator OP1, the motion information is modulated in the transmitter 416 and transmitted to the first operator OP1 by wireless communication. It is sent to the receiver 415 for OP1. The motion information received by the receiver 415 is demodulated and then sent to the vibration amplifier 414. After the signal is amplified by the vibration amplifier 414, it is sent to the first operator OP1 via the cable (signal line) 413. is supplied to the vibrator 411 of the motion state presentation device 41 .
- the carrier wave (sine wave) with a frequency of 200 [Hz] was amplitude-modulated (AM-modulated) according to the change in each value to generate vibration.
- vibrations modulated by other modulation methods may be generated.
- the motion information (tactile vibration signal) of the first operator OP1 is supplied to the transmitter 416 for the second operator OP2, the motion information is modulated in the transmitter 416 and transmitted to the second operator OP2 by wireless communication. It is sent to receiver 415 for two operators OP2. The motion information received by the receiver 415 is demodulated and then sent to the vibration amplifier 414. After the signal is amplified by the vibration amplifier 414, it is transmitted via the cable (signal line) 413 to the signal for the second operator OP2. is supplied to the vibrator 411 of the motion state presentation device 41 .
- the acting portion command generating portion 515 Based on the input information input by the second operator OP2 using the second input device (bending sensor) 32, the acting portion command generating portion 515 generates an operation command for operating the acting portion 21 (the gripping portion 21a). Execute the process to generate.
- the action command generated by the action portion command generation section 515 is transmitted to the controller 6 .
- Input information for the second input device 32 is supplied from the second microcomputer 8 .
- the shared information generation unit 516 generates a drive signal for driving the action portion information presentation device 42 based on the detection result (action portion information) of the detection sensor 23 supplied from the controller 6 (action portion information acquisition unit 63) side. Execute the process to generate the .
- the drive signal generated by the shared information generator 516 is transmitted to the first microcomputer 7 and the second microcomputer 8 by wireless communication.
- the first microcomputer 7 is a microcontroller (for example, "ESP32", manufactured by Espressif Systems) with wireless communication function and wired communication function, and is composed of a CPU, a memory, a communication section, and the like.
- the first microcomputer 7 functions as a drive control section 71 that controls driving of the adjustment section (servo motor) 422 of the action section information presentation device 42 for the first operator OP1.
- the drive control unit 71 controls the action unit for the first operator OP1 based on the drive signal.
- the information presentation device 42 is driven.
- the second microcomputer 8 like the first microcomputer 7, is a microcontroller with wireless communication function and wired communication function (for example, "ESP32", manufactured by Espressif Systems), and is composed of a CPU, a memory, a communication section, and the like. be.
- the second microcomputer 8 functions as a drive control section 82 that controls driving of the adjustment section (servo motor) 422 of the action section information presentation device 42 for the second operator OP2.
- the drive control unit 81 controls the operation unit for the second operator OP2 based on the drive signal.
- the information presentation device 42 is driven.
- the second microcomputer 8 also functions as a bending information acquisition section 82 that acquires input information (change in output resistance value of the bending sensor 32) generated by the second input device (bending sensor) 32.
- the input information of the second input device acquired by the bending information acquisition section 82 is transmitted to the OP computer 5 by wireless communication.
- the controller 6 mainly controls the motion of the robot avatar (robot arm) 2.
- the controller 6 is composed of a CPU, a memory, a communication section, and the like.
- the controller 6 includes an arm movement control section 61, an action section movement control section 62, and an action section information acquisition section 63, which are configured by the CPU and the like.
- the arm motion control unit 61 executes processing for controlling the motion of the arm 22 to be controlled based on the plurality of motion commands generated by the arm command generation unit 512 (motion control step).
- the arm section command generating section 512 generates a plurality of motion commands for controlling the motion of the arm section 22 for different control purposes by the first operator OP1 and the second operator OP2. Based on this, the arm motion control section 61 controls the motion of the arm portion 22 .
- the plurality of operation commands (data) are aligned in time series with each other.
- the arm movement control section 61 controls the movement of the arm section 22 based on the movement command generated corresponding to the control purpose of the first operator OP1 (position control of the action section 21). , the motion of the arm portion 22 is controlled based on the motion command generated corresponding to the control purpose (attitude control of the action portion 21) of the second operator OP2.
- the position control of the action part 21 is performed only by the instruction action of the first operator OP1, and the attitude control of the action part 21 is performed only by the instruction action of the second operator OP2.
- the action part operation control part 62 executes processing for controlling the action of the action part 21 (grip part 21 a ) based on the action command generated by the action part command generation part 515 .
- the opening/closing state of the grip portion 21a of the action portion 21 is controlled according to the degree of bending of the left index finger OP2b of the second operator OP2 (indicating motion, three-dimensional motion).
- the action part information acquisition part 63 executes a process of acquiring the detection result of the detection sensor 23 .
- the detection result of the detection sensor 23 acquired by the action part information acquisition part 63 is transmitted to the OP computer 5 (supply information generation part).
- FIG. 7 is an explanatory diagram showing the relationship between input information input by each operator OP and feedback information returned to each operator OP in the control system 1 of the first embodiment.
- the arm section 22 is controlled by the operations of the first operator OP1 and the second operator O2.
- the purpose of controlling the movement of the arm section 22 by the first operator OP1 is to control the position of the action section 21, and the purpose of control of the movement of the arm section 22 by the second operator OP2 is to control the attitude of the action section 21. be.
- Another controlled object whose operation is controlled by the operation of the second operator OP2 is the grasping portion 21a of the action portion 21. As shown in FIG.
- Positional information of the first rigid body for operating the arm section 22 is input by the first operator OP1 via the first input device 31 for the purpose of controlling the position of the action section 21 .
- second operator OP ⁇ b>2 inputs posture information of the second rigid body for operating arm portion 22 via first input device 31 for the purpose of posture control of action portion 21 .
- the second operator OP2 inputs information (opening/closing information) for operating the gripping portion 21a of the working portion 21 via the second input device 32 for the purpose of opening/closing control of the gripping portion 21a of the working portion 21. be done.
- the information (feedback information) returned from the robot avatar 2 side (the control unit 510 of the OP computer 5) to the first operator OP1 and the second operator OP2 when controlling the motion of the robot avatar 2 is as follows. Street.
- the exercise information of the second operator OP2 is returned to the first operator OP1 as vibration stimulation presented by the exercise state presentation device 41 attached to the first operator OP1. Also, the exercise information of the first operator OP1 is returned to the second operator OP2 as a vibration stimulus presented by the exercise state presentation device 41 attached to the second operator OP2. Therefore, the first operator OP1 and the second operator OP2 can operate the motion of the robot avatar 2 while intuitively and quickly grasping the motion state corresponding to the instruction motion of the other party. Therefore, each operator OP can grasp each other's subtle instruction actions, for example, and can cause the robot avatar 2 to perform a task with higher accuracy than when there is no feedback information.
- the first operator OP1 and the second operator OP2 receive information (gripping state information of the gripping part) when the gripping part 21a grips an external object, and the operating part information presenting device attached to each operator OP. 42 is returned as the pressure stimulus presented. Therefore, the first operator OP1 and the second operator OP2, while operating the robot avatar 2, apply the force (physical action received by the action part 21) to the grip part 21a from the object side by the action part information presentation device 42. As a pressure stimulus to present, you can intuitively and quickly experience it.
- task 1 and task 2 were to be performed by only one operator OP, the operator OP would be required to take an unreasonable posture due to the range of motion of the joints. For example, if task 1 is to be performed by only one operator OP, it is necessary to move the arm horizontally without changing the posture while adjusting the orientation of the block, making it extremely difficult to perform the task. Similarly, when task 2 is performed by only one operator OP, the arm being operated reaches the range of motion limit when turning the second corner counting from the starting position, and further unable to complete the task. Although there are individual differences in the flexibility of joints, there is no change in performing tasks while maintaining an unreasonable posture.
- each operator OP is forced to take an unreasonable posture. I was able to operate it easily.
- the operator OP can concentrate only on the assigned operations. For example, the first operator OP1 can concentrate on accurately moving only the position of the first rigid body without worrying about the posture. Also, the second operator OP2 can concentrate on accurately moving only the posture of the second rigid body without worrying about the position.
- the state (position, posture) of the rigid bodies (first rigid body, second rigid body) of each operator OP can be changed not only by the movement of the wrist but also by the movement of the entire arm centering on the shoulder. It can be controlled by movements of the whole body, such as changing the direction of the whole body.
- the operators OP can feel, as a tactile stimulus, the motion information corresponding to the instruction motion of the other operator OP by the motion state presentation device 41. Therefore, each operator OP can When performing a task, the operators OP can easily coordinate operations with each other, and feel as if their arms are integrated with the robot avatar (robot arm) 2 .
- each operator OP feels as if he/she is actually gripping a block or the like by receiving a pressing stimulus from the action part information presentation device 42 . Therefore, the certainty of operation is enhanced.
- the tasks to be executed by the robot avatar 2 are not limited to the tasks 1 and 2 described above.
- FIG. 8 is an explanatory diagram showing the overall configuration of the control system 1A according to the second embodiment.
- a plurality of (two) operators OP share the operation with each other, grasp each other's operation status (exercise corresponding to the instructed operation), and perform one operation.
- This system aims to operate two robot avatars at the same time.
- the first operator OP1 is in charge of position control of the action portion 21, and the second operator OP2 is in charge of attitude control of the action portion 21 and the action portion 21 (grasping). It is in charge of opening/closing control of the part 21a). Therefore, the contents of various processes executed by the control unit 510 of the control system 1A of this embodiment are basically the same as those of the first embodiment.
- the input information input by each operator OP and the feedback information returned to each operator OP when controlling the motion of the robot avatar 2 are the same as those in the first embodiment (Fig. 7).
- each operator OP is in a situation where he or she cannot directly visually confirm other operators OP other than himself or the robot avatar 2 .
- the control system 1A of the present embodiment is used when a plurality of (two) operators OP remote-control one robot avatar 2 under such circumstances.
- one first input device 31 using motion capture is assigned to each of the first operator OP1 and the second operator OP2. That is, two first input devices 31 are used in the control system 1A. A plurality of (eight) cameras 313 are used as each of the first input devices 31 . A plurality of motion capture markers 311 are attached to the right hand of the first operator OP1 and the right hand of the second operator OP2 using a predetermined tool 313, as in the first embodiment. A second input device (bending sensor) 32 similar to that of the first embodiment is attached to the left hand of the second operator OP2.
- a captured image captured by the first input device 31 for the first operator OP1 is sent to the first computer CP1 for the first operator OP1 connected to the first input device 31.
- the first computer CP1 transmits the received photographed image to the OP computer 5 using the communication line 14 .
- Examples of the communication line 14 include the Internet, an Ethernet (registered trademark) line, a public line, a dedicated line, and the like.
- the captured image captured by the first input device 31 for the second operator OP2 is sent to the second computer CP2 for the second operator OP2 connected to the first input device 31 .
- the second computer CP2 uses the communication line 14 to transmit the received photographed image to the OP computer 5 .
- Both the first computer CP1 and the second computer CP2 have the same hardware configuration as the OP computer 5, and perform various processes.
- the image analysis unit 511 extracts the time-series three-dimensional position of the first rigid body from the photographed images. and time-series three-dimensional pose information of the second rigid body.
- the input information (change in the output resistance value of the bending sensor 32) generated by the second input device (bending sensor) 32 is obtained by the bending information obtaining unit 82 of the second microcomputer 8, and then transmitted to the second input device (bending sensor) 32 by wireless communication. It is sent to computer CP2. After that, the second computer CP2 transmits the input information of the second input device to the OP computer 5 via the communication line 14.
- FIG. 1 The input information (change in the output resistance value of the bending sensor 32) generated by the second input device (bending sensor) 32 is obtained by the bending information obtaining unit 82 of the second microcomputer 8, and then transmitted to the second input device (bending sensor) 32 by wireless communication. It is sent to computer CP2. After that, the second computer CP2 transmits the input information of the second input device to the OP computer 5 via the communication line 14.
- the exercise information supply unit 514 supplies the exercise information of the second operator OP2 to the first computer CP1 via the communication line 14.
- the first computer CP1 supplies the exercise information of the second operator OP2 to the transmitter 416 for the first operator OP1.
- the exercise information supply unit 514 supplies the exercise information of the first operator OP1 to the second computer CP2 via the communication line 14 .
- the second computer CP2 supplies the exercise information of the first operator OP1 to the transmitter 416 for the second operator.
- the drive signal generated by the shared information generation unit 516 is transmitted to the first computer CP1 and the second computer CP2 via the communication line 14. After that, the first computer CP1 transmits the driving signal to the first microcomputer 7 by wireless communication, and the second computer CP2 transmits the driving signal to the second microcomputer 8 by wireless communication.
- the control system 1A also includes a display device 11 that displays an image of the robot avatar 2 to each operator OP so that each operator OP can perform a three-dimensional action without seeing the actual robot avatar 2.
- the display devices 11 and 12 are, for example, head-mounted displays, liquid crystal displays, or the like.
- the display control of the display device 11 for the first operator OP1 is performed by the first computer CP1
- the display control of the display device 12 for the second operator OP2 is performed by the second computer CP2.
- An image of the robot avatar 2 photographed by a camera (imaging device) 13 is displayed on each of the display devices 11 and 12 .
- a camera 13 is installed in the space S3 to photograph the robot avatar 2 . Images captured by the camera 13 are sent to the display devices 11 and 12 via the OP computer 5 and the communication line 14 .
- control system 1A of the present embodiment even if a plurality (two) of operators OP and the robot avatar 2 are separated from each other, the plurality (two) of the operators OP share the operations with each other.
- One robot avatar can be simultaneously (jointly) operated while grasping each other's operation status (motion status corresponding to the instructed action).
- FIG. 9 is an explanatory diagram showing the relationship between input information input by each operator OP and feedback information returned to each operator OP in the control system 1B of the third embodiment.
- one robot avatar 2 is operated by two operators OP (a first operator OP1 and a second operator OP2).
- the control system 1B of this embodiment like the first embodiment, causes the robot avatar (robot arm) 2 to execute a task, and is equipped with various components (OP computer, controller) and the like necessary for that purpose.
- OP computer, controller various components
- the control target whose motion is controlled by the operation of the first operator OP1 is the arm portion 22, and the control target whose motion is controlled by the operation of the second operator OP2 is the grasping portion 21a of the action portion 21.
- the first operator OP1 and the second operator OP2 have different control targets.
- the arm portion 22 is operated only by the first operator OP1, and the grip portion 21a of the action portion 21 is operated only by the second operator OP2.
- the control purpose of the first operator OP1 controlling the motion of the arm portion 22 is position control and posture control (position/posture control) of the action portion 21, and the control purpose of the second operator OP2 controlling the motion of the gripping portion 21a. is the opening/closing control of the grip portion 21a.
- Such division of roles is effective, for example, when the action portion 21 (the grip portion 21a) needs to be operated carefully (when the grip portion 21a grips a soft object, etc.).
- the information ( Input information) is as follows.
- Position information of the first rigid body for operating the arm section 22 is input by the first operator OP1 via the first input device 31 (camera 312) using motion capture for the purpose of controlling the position and orientation of the action section 21. and attitude information are input.
- Information (opening/closing information) for operating the gripping portion 21a is input by the second operator OP2 via the second input device (bending sensor) 32 for the purpose of opening/closing control of the gripping portion 21a.
- the information (feedback information) returned from the robot avatar 2 side (the control unit of the OP computer) to the first operator OP1 and the second operator OP2 when controlling the motion of the robot avatar 2 is as follows. be.
- the exercise information of the second operator OP2 is returned to the first operator OP1 as vibration stimulation presented by the exercise state presentation device 41 attached to the first operator OP1.
- the exercise information of the second operator OP2 in this case is generated, for example, based on the change in the output resistance value obtained from the second input device 32 in the control section of the OP computer.
- the exercise information of the first operator OP1 is returned to the second operator OP2 as a vibration stimulus presented by the exercise state presentation device 41 attached to the second operator OP2. Therefore, the first operator OP1 and the second operator OP2 can operate the motion of the robot avatar 2 while intuitively and quickly grasping the motion state corresponding to the instruction motion of the other party.
- the first operator OP1 and the second operator OP2 receive information (gripping state information of the gripping part) when the gripping part 21a grips an external object, and the operating part information presenting device attached to each operator OP. 42 is returned as the pressure stimulus presented. Therefore, the first operator OP1 and the second operator OP2, while operating the robot avatar 2, apply the force (physical action received by the action part 21) to the grip part 21a from the object side by the action part information presentation device 42. It can be intuitively and quickly shared as a pressure stimulus to present.
- FIG. 10 is an explanatory diagram showing the relationship between the input information input by each operator OP and the feedback information returned to each operator OP in the control system 1C of the fourth embodiment
- FIG. FIG. 3 is an explanatory diagram schematically showing an action portion 21C provided in a robot avatar 2C;
- two operators OP a first operator OP1 and a second operator OP2
- a robot avatar (robot arm) 2C of the present embodiment differs from that of the first embodiment in the type of action portion 21C.
- the action unit 21C is composed of a five-fingered robot hand capable of independently controlling the motion of each finger.
- the acting portion 21C includes a first finger portion 211 corresponding to the thumb, a second finger portion 212 corresponding to the index finger, a third finger portion 213 corresponding to the middle finger, a fourth finger portion 214 corresponding to the ring finger, and a little finger. and a fifth finger 215 corresponding to the Note that the arm portion 22 is the same as that of the first embodiment.
- the four objects to be controlled by the operation of the first operator OP1 are the arm portion 22, the first finger portion 211, the second finger portion 212 and the third finger portion 213. There are two controlled objects, the fourth finger portion 214 and the fifth finger portion 215, whose actions are controlled by the operation of the second operator OP2.
- the purpose of control by the first operator OP1 to control the motion of the arm section 22 is the position control and attitude control (position/attitude control) of the action section 21C.
- the control purpose of the first operator OP1 to control each operation of each finger is to prevent each finger from contacting an external object. This is for switching between a contact state with contact and a non-contact state with no contact.
- the control purpose of the second operator OP2 to control each operation of each finger (fourth finger 214 and fifth finger 215) is a contact state in which each finger contacts an external object and a non-contact state. This is for contact/non-contact control that switches between the non-contact state.
- Such division of roles is effective, for example, when five fingers need to be controlled independently (such as when playing a musical instrument).
- one second input device (bending sensor) 32 is attached to each of the first finger (thumb), second finger (index finger), and third finger (middle finger) of the first operator OP1. be done.
- the second input device 32 attached to the first finger of the first operator OP1 is used to operate the first finger portion 211, and the second input device 32 attached to the second finger is used to operate the second finger portion 212.
- the second input device 32 used for operation and worn on the third finger is used for operating the third finger portion 213 .
- one second input device (bending sensor) 32 is attached to each of the fourth finger (ring finger) and the fifth finger (little finger) of the second operator OP2.
- the second input device 32 attached to the fourth finger of the second operator OP2 is used to operate the fourth finger portion 214, and the second input device 32 attached to the fifth finger is used to operate the fifth finger portion. used for
- a vibration sensor (detection sensor) 23C for detecting vibration is attached to the inner side of each finger portion of the action portion 21C (the side that comes into contact with an object).
- the information ( Input information) is as follows.
- Position information of the first rigid body for operating the arm section 22 is input by the first operator OP1 via the first input device 31 (camera 312) using motion capture for the purpose of controlling the position and orientation of the action section 21C. and attitude information are input. Further, for the purpose of contact/non-contact control of each finger (first finger 211, second finger 212 and third finger 213) by the first operator OP1, each finger attached to the first operator OP1 Information (contact/non-contact information) for operating each finger is input via a two-input device (bending sensor) 32 . In addition, the second input device (bending sensor) attached to the second operator OP2 is used for the purpose of contact/non-contact control of each finger (fourth finger 214 and fifth finger 215) by the second operator OP2. ) 32, information (contact/non-contact information) for operating each finger is input.
- the information (feedback information) returned from the robot avatar 2C side (control unit of the OP computer) to the first operator OP1 and the second operator OP2 when controlling the motion of the robot avatar 2C is as follows. be.
- a motion state presentation device (vibrator) 41C3 attached to the first operator OP1 presents the first operator OP1 with a motion state corresponding to each instruction motion of the fourth and fifth fingers of the second operator OP2. returned as a vibration stimulus.
- This motion state presentation device (vibrator) 41C3 presents vibration stimulation to the first operator OP1 so that the motion information of the two fingers (fourth finger and fifth finger) can be distinguished.
- the second operator OP2 receives motion information 1 (motion information of the back of the hand) corresponding to the instructed action using the first input device 31 of the first operator OP1. (Vibrator) Returned as a vibration stimulus presented by 41C1. Further, the second operator OP2 is provided with the exercise information 2 corresponding to the instruction motions of the first, second, and third fingers of the first operator OP1. Vibrator) 41C2 is returned as a vibration stimulus presented.
- This exercise state presentation device (oscillator) 41C2 presents vibration stimulation to the first operator OP1 so that the exercise state of the three fingers (first, second and third fingers) can be distinguished. Therefore, the first operator OP1 and the second operator OP2 can operate the motion of the robot avatar 2C while intuitively and quickly grasping the motion state corresponding to the instruction motion of the other party.
- Information contact information of each finger detected by a plurality of vibration sensors 23C attached to each finger of the action section 21C is attached to each operator OP1 and second operator OP2. It is returned as a vibration stimulus by the vibrator as the action part information presenting device 42C. Therefore, while operating the robot avatar 2C, the first operator OP1 and the second operator OP2 can intuitively and quickly share the vibration received by each finger as the vibration stimulus presented by the action part information presentation device 42C.
- the vibrator used in the action part information presentation device 42C presents a vibration stimulus to each operator OP so that the vibration received by each finger can be distinguished.
- FIG. 12 is an explanatory diagram showing the relationship between input information input by each operator OP and feedback information returned to each operator OP in the control system 1D of the fifth embodiment.
- one robot avatar 2 is operated by two operators OP (a first operator OP1 and a second operator OP2).
- the control target whose motion is controlled by the operation of the first operator OP1 is the arm portion 22, and the control target whose motion is controlled by the operation of the second operator OP2 is also the arm portion 22.
- the purpose of control by the first operator OP1 to control the motion of the arm portion 22 is, among the position control of the action portion 21, x-axis and y-axis position control (xy position control) in a three-dimensional coordinate system.
- the purpose of control by the second operator OP2 to control the motion of the arm portion 22 is the position control of the z-axis in the three-dimensional coordinate system (z-position control) among the attitude control of the action portion 21 and the position control of the action portion 21. be.
- Such a division of roles may be used, for example, when position control in the height direction (z-position control) is important among the position controls of the action portion 21 (the pen is held by the grip portion 21a of the action portion 21, and the position of the desk is controlled). (e.g., when writing characters on the surface of a board placed on top).
- the gripping portion 21a of the action portion 21 is operated by the second operator OP2.
- the information ( Input information) is as follows.
- xy position information of the first rigid body for operating the arm section 22 by the first operator OP1 for the purpose of xy position control of the action section 21 via the first input device 31 (camera 312) using motion capture. is entered.
- the second operator OP2 operates the arm unit 22 via the first input device 31 (camera 312) using motion capture for the purpose of attitude control and z-position control of the action unit 21.
- a rigid body's z-position and pose information is input.
- the information (feedback information) returned from the robot avatar 2 side (the control unit of the OP computer) to the first operator OP1 and the second operator OP2 when controlling the motion of the robot avatar 2 is as follows. be.
- the exercise information of the second operator OP2 is returned to the first operator OP1 as vibration stimulation presented by the exercise state presentation device 41 attached to the first operator OP1. Also, the exercise information of the first operator OP1 is returned to the second operator OP2 as a vibration stimulus presented by the exercise state presentation device 41 attached to the second operator OP2. Therefore, the first operator OP1 and the second operator OP2 can operate the motion of the robot avatar 2 while intuitively and quickly grasping the motion state corresponding to the instruction motion of the other party.
- the first operator OP1 and the second operator OP2 receive information (gripping state information of the gripping part) when the gripping part 21a grips an external object, and the operating part information presenting device attached to each operator OP. 42 is returned as the pressure stimulus presented. Therefore, the first operator OP1 and the second operator OP2, while operating the robot avatar 2, apply the force (physical action received by the action part 21) to the grip part 21a from the object side by the action part information presentation device 42. It can be intuitively and quickly shared as a pressure stimulus to present.
- FIG. 13 is an explanatory diagram showing the relationship between input information input by each operator OP and feedback information returned to each operator OP in the control system 1E of the sixth embodiment.
- one robot avatar 2 is operated by three operators OP (first operator OP1, second operator OP2, and third operator OP3).
- the control target whose motion is controlled by the operation of the first operator OP1 is the arm portion 22, and the control target whose motion is controlled by the operation of the second operator OP2 is also the arm portion 22.
- the gripping portion 21a of the action portion 21 is controlled by the operation of the third operator OP3.
- the purpose of control by the first operator OP ⁇ b>1 to control the motion of the arm portion 22 is to control the position of the action portion 21 .
- the purpose of control by the second operator OP2 to control the motion of the arm portion 22 is to control the attitude of the action portion 21 .
- the purpose of control by the third operator OP3 to control the operation of the arm portion 22 is to control the opening and closing of the grip portion 21a.
- Such division of roles is effective, for example, when posture control of the action portion 21 is important and the action portion 21 is caused to act carefully on an external object.
- the first operator OP1 inputs the position information of the first rigid body for operating the arm part 22 via the first input device 31 (camera 312) using motion capture for the purpose of position control of the action part 21. be done.
- second operator OP2 inputs posture information of the second rigid body for operating arm unit 22 via first input device 31 (camera 312) using motion capture for the purpose of posture control of action unit 21. is entered.
- Information (opening/closing information) for operating the gripping portion 21a is input by the third operator OP3 via the second input device (bending sensor) 32 for the purpose of opening/closing control of the gripping portion 21a.
- the information (feedback information) returned to each operator OP from the robot avatar 2 side (the control unit of the OP computer) when controlling the motion of the robot avatar 2 is as follows.
- the first operator OP1 receives two types of exercise information, that is, the exercise information of the second operator OP2 and the exercise information (grip motion information) of the third operator OP3. Returned as the vibration stimulus to present.
- the exercise state presentation device 41 for the first operator OP1 presents two types of vibration stimuli so that the exercise information of each operator can be distinguished.
- the second operator OP2 receives two types of exercise information, that is, the exercise information of the first operator OP1 and the exercise information (grip motion information) of the third operator. is returned as the vibration stimulus presented by .
- the exercise state presentation device 41 for the second operator OP2 presents two types of vibration stimuli so that the exercise information of each operator can be distinguished.
- the motion state presentation device 41 for the third operator OP3, two kinds of motion information, motion information of the first operator OP2 and motion information of the second operator OP2, are presented by the motion state presentation device 41 attached to the third operator OP3. returned as a stimulus.
- the exercise state presentation device 41 for the third operator OP3 presents two types of vibration stimuli so that the exercise information of each operator can be distinguished. Therefore, each of the three operators OP can operate the motion of the robot avatar 2 while intuitively and quickly grasping the motion state corresponding to the instruction motion of the other party.
- each of the three operators OP receives information when the gripping portion 21a grips an external object (gripping state information of the gripping portion based on the detection result of the detection sensor 23). It is returned as a pressure stimulus presented by the action part information presentation device 42 . Therefore, while operating the robot avatar 2, each of the three operators OP can apply the force (physical action received by the action part 21) to the grip part 21a from the object side as the pressure presented by the action part information presentation device 42. As a stimulus, it can be intuitively and quickly shared.
- FIG. 14 is an explanatory diagram showing the relationship between input information input by each operator OP and feedback information returned to each operator OP in the control system 1F of the seventh embodiment.
- one robot avatar 2 is operated by two operators OP (a first operator OP1 and a second operator OP2).
- the control target whose motion is controlled by the operation of the first operator OP1 and the control target whose motion is controlled by the operation of the second operator OP2 are both the arm portion 22 . Further, the control purpose of controlling the motion of the arm portion 22 by the first operator OP1 and the control purpose of controlling the motion of the arm portion 22 by the second operator OP2 are both position/attitude control of the action portion. Note that the opening/closing control of the grip portion 21a of the action portion 21 is performed by the second operator OP2.
- a ratio (control ratio) that contributes to the control of the arm portion 22, which is a specific control target, is determined in advance for each of a plurality of operators OP (first operator OP1, second operator OP2). ing.
- the control ratio of the motion of the arm unit 22 if the total control ratio of each operator OP is ⁇ %, the control ratio of the first operator OP1 is ⁇ r%, and the control ratio of the second operator OP2 is ⁇ (1 ⁇ r) % (where 0 ⁇ r ⁇ 1).
- ⁇ and r is appropriately set.
- the arm command generation unit (first generation unit) of the present embodiment generates a plurality of pieces of input information corresponding to a plurality of instruction actions so that the robot avatar 2 moves in accordance with the instruction actions performed by a plurality of operators OP. , a process of generating a plurality of motion commands for each operator OP to control the arm section 22 according to each control ratio is executed.
- the input value based on the first operator OP1 is processed as a value of ⁇ %
- the input value based on the second operator OP2 is processed as ⁇ ( 1-r) is treated as a % value.
- the input value of each operator OP is obtained from, for example, the amount of displacement (the amount of displacement of position coordinate data, the amount of displacement of rotation data) of the position/orientation information of each rigid body (first rigid body, second rigid body) corresponding to each operator OP. Become.
- each control ratio of the first operator OP1 and the second operator OP2 is 50%.
- the control ratio of the first operator OP1 is 30% and the control ratio of the second operator OP2 is 70%.
- the information ( Input information) is as follows.
- Position information of the first rigid body for operating the arm section 22 is input by the first operator OP1 via the first input device 31 (camera 312) using motion capture for the purpose of controlling the position and orientation of the action section 21. and attitude information are input.
- the second operator OP2 operates the second rigid body for operating the arm section 22 via the first input device 31 (camera 312) using motion capture for the purpose of controlling the position and attitude of the action section 21. Position information and attitude information are input.
- Information for operating the gripping portion 21a is input by the second operator OP2 via the second input device (bending sensor) 32 for the purpose of opening/closing control of the gripping portion 21a.
- the information (feedback information) returned from the robot avatar 2 side (the control unit of the OP computer) to the first operator OP1 and the second operator OP2 when controlling the motion of the robot avatar 2 is as follows. be.
- the exercise information of the second operator OP2 is returned to the first operator OP1 as vibration stimulation presented by the exercise state presentation device 41 attached to the first operator OP1. Also, the exercise information of the first operator OP1 is returned to the second operator OP2 as a vibration stimulus presented by the exercise state presentation device 41 attached to the second operator OP2.
- the motion information generation unit (second generation unit) provided in the OP computer of this embodiment generates a plurality of pieces of input information (three-dimensional position/orientation information of the first rigid body and three-dimensional Based on the position/orientation information), a process of generating a plurality of motion information (tactile vibration signals) corresponding to the instruction motion of each operator OP is executed.
- the velocity is calculated from the time change of the position and orientation, and the scalar quantity is used as the motion information of each operator OP.
- a sine wave of 200 [Hz] is amplitude-modulated corresponding to the value (scalar quantity) obtained here, and this is used as vibration (vibration stimulation) corresponding to the motion information, and the corresponding motion state of the operator OP It was presented using the presentation device 41 . Therefore, the first operator OP1 and the second operator OP2 can operate the motion of the robot avatar 2 while intuitively and quickly grasping the motion state corresponding to the instruction motion of the other party.
- the first operator OP1 and the second operator OP2 are equipped with information when the gripping part 21a grips an external object (gripping state information of the gripping part based on the detection result of the detection sensor 23). is returned as a pressure stimulus presented by each acting portion information presenting device 42. Therefore, the first operator OP1 and the second operator OP2, while operating the robot avatar 2, apply the force (physical action received by the action part 21) to the grip part 21a from the object side by the action part information presentation device 42. It can be intuitively and quickly shared as a pressure stimulus to present.
- FIG. 15 is an explanatory diagram showing the relationship between input information input by each operator OP and feedback information returned to each operator OP in the control system 1G of the eighth embodiment.
- one robot avatar 2 is operated by two operators OP (a first operator OP1 and a second operator OP2).
- control contents of the arm section 22 of the robot avatar 2 are the same as those of the seventh embodiment, and the control ratio contributing to the control of the arm section 22 is set in advance for each operator OP. It is defined. Since the contents of the control of the arm part 22 are the same as those of the seventh embodiment, description thereof is omitted.
- both the first operator OP1 and the second operator OP2 control the action section 21 . Further, each control purpose of the first operator OP1 and the second operator OP2 is also common in opening/closing control of the grip portion 21a. Each operator OP uses the second input device (bending sensor) 32 to instruct the opening/closing operation of the grip portion 21a.
- a control ratio that contributes to the opening/closing control of the grip portion 21a is predetermined for each operator OP.
- the control ratio of the first operator OP1 is ⁇ r%
- the control ratio of the second operator OP2 is ⁇ (1 ⁇ r). % (where 0 ⁇ r ⁇ 1). Note that the values of ⁇ and r may be the same as those of the arm portion 22, or may be different.
- the control unit of the OP operator of the present embodiment controls each operator based on a plurality of pieces of input information corresponding to a plurality of instruction actions so that the robot avatar 2 moves in accordance with the instruction actions performed by each of the operators OP.
- the OP executes a process of generating a plurality of operation commands for controlling the grip part 21a according to each control ratio.
- the input value based on the first operator OP1 is processed as a value of ⁇ r%
- the input value based on the second operator OP2 is processed as ⁇ (1 -r) Treated as a % value.
- the input value of each operator OP is, for example, the amount of change in the output resistance value from each second input device 32 corresponding to each operator OP.
- a control ratio that contributes to the opening/closing control of the object to be controlled (the gripping portion 21a of the action portion 21) is set for each operator OP, a command operation of a plurality of operators OP regarding the opening/closing operation of the gripping portion 21a can be performed. can be fused in any proportion.
- the information ( Input information) is as follows.
- Position information of the first rigid body for operating the arm section 22 is input by the first operator OP1 via the first input device 31 (camera 312) using motion capture for the purpose of controlling the position and orientation of the action section 21. and attitude information are input.
- the second operator OP2 operates the second rigid body for operating the arm section 22 via the first input device 31 (camera 312) using motion capture for the purpose of controlling the position and attitude of the action section 21. Position information and attitude information are input.
- Information (opening/closing information) for operating the gripping portion 21a is input by the first operator OP1 via the second input device (bending sensor) 32 for the purpose of opening/closing control of the gripping portion 21a.
- Information (opening/closing information) for operating the gripping portion 21a is input by the second operator OP2 via the second input device (bending sensor) 32 for the purpose of opening/closing control of the gripping portion 21a.
- the information (feedback information) returned from the robot avatar 2 side (the control unit of the OP computer) to the first operator OP1 and the second operator OP2 when controlling the motion of the robot avatar 2 is as follows. be.
- the exercise information of the second operator OP2 is returned to the first operator OP1 as vibration stimulation presented by the exercise state presentation device 41 attached to the first operator OP1. Also, the exercise information of the first operator OP1 is returned to the second operator OP2 as a vibration stimulus presented by the exercise state presentation device 41 attached to the second operator OP2. Therefore, the first operator OP1 and the second operator OP2 can operate the motion of the robot avatar 2 while intuitively and quickly grasping the motion state corresponding to the instruction motion of the other party.
- the first operator OP1 and the second operator OP2 are equipped with information when the gripping part 21a grips an external object (gripping state information of the gripping part based on the detection result of the detection sensor 23). is returned as a pressure stimulus presented by each acting portion information presenting device 42. Therefore, the first operator OP1 and the second operator OP2, while operating the robot avatar 2, apply the force (physical action received by the action part 21) to the grip part 21a from the object side by the action part information presentation device 42. It can be intuitively and quickly shared as a pressure stimulus to present.
- motion capture When motion capture is used as an input device for operating a robot avatar, it is not limited to the optical motion capture exemplified in the first embodiment. Other embodiments may use other forms of motion capture, such as magnetic, mechanical, inertial sensor, image recognition, etc., without detracting from the objectives of the present invention. Further, as optical motion capture, for example, an operator may hold a predetermined controller in his/her hand, and light (infrared light) emitted from an infrared LED included in the controller may be captured by a camera.
- light infrared light
- a glove-type sensor worn on the operator's hand for example, a glove-type sensor worn on the operator's hand (high-performance data glove, "CyberGlove”, manufactured by CyberGlove Systems) may be used.
- the operation of the action portion is performed using a bending sensor.
- other input devices such as motion capture are used.
- the action part may be operated.
- a mechanical operation device push-down switch, joystick, etc.
- keyboard touch screen
- eye tracker etc.
- the motion state related to the operator's instructed action may be the motion state (motion state) of the controlled object that operates in response to the operator's instructed action.
- a control object for example, an arm
- a detection device such as an encoder provided on a robot avatar (robot arm) that detects the position of each part of the robot avatar.
- information detection signal from the detection device
- the control unit of the OP computer Based on the acquired information, the control unit of the OP computer generates motion information corresponding to the motion state related to the operator's instructed motion (the motion state of the controlled object that operates in response to the operator's instructed motion). to generate Furthermore, the control unit of the OP computer feeds back the exercise information to the exercise state presentation devices of operators other than the operator.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本発明の複数人によるロボットアバター制御システム1は、動作が制御される制御対象22を含む1台のロボットアバター2と、ロボットアバター2にタスクを実行させるための、複数人のオペレータOPがそれぞれ行う指示動作に基づいて、複数の入力情報を生成する入力装置3と、複数の前記指示動作に合わせてロボットアバター2が動作するように、複数の入力情報に基づいて、制御対象22を動作させるための複数の動作指令を生成する第1生成部512と、複数の動作指令に基づいて、制御対象22の動作を制御する動作制御部61と、複数人のオペレータOPに対して、それぞれ装着されると共に、入力装置3の使用時に、各オペレータOPが自分以外の他のオペレータOPの指示動作に関連した運動状態を把握できるように、触覚刺激をそれぞれ提示する複数の運動状態提示装置41と、を備える。
Description
本発明は、複数人によるロボットアバター制御システム、及び制御方法に関する。
近年、人間が自身の動きをロボットに反映させて、そのロボットを自分の分身(アバター)として制御するロボットアバター技術が注目されている。このロボットアバター技術を適用すると、例えば、オペレータが遠隔地に配置されたロボットを遠隔操作によって制御をしながら、そのロボット(ロボットアバター)が取得した様々な情報(視覚情報、聴覚情報、触覚情報)を受け取ることができるようになる。つまり、オペレータは、実際にロボットが配置された場所へ行くことなく、ロボットを制御しながらまるでその場にいるかのような体験をすることができる。そして更に、人が立ち入れない等の特殊な環境下で、ロボットに作業を遂行させるような場合にも、ロボットアバター技術の適用が期待されている(非特許文献1)。
ロボットアバターの制御方法としては、例えば、モーションキャプチャ等で測定したオペレータの運動情報を基にしたもの(非特許文献2)や、コントローラを使用したもの(非特許文献3)等が知られている。
なお、現在、人と身体との新たな関係性を構築するサイバネティック・アバターの概念のもと、1つのアバター身体を複数人で共有する研究が行われている。関連する研究では、サイバー空間におけるバーチャルアバターを対象として、二人のオペレータの腕の動きを共有して、1つのアバター(バーチャルアバター)を制御することが試みられてきた(非特許文献4)。
O. Khatib, X. Yeh, G. Brantner, B. Soe, B. Kim, S. Ganguly, H. S. Stuart, S. Wang, M. Cutkosky, A. Edsinger, P. Mullins, M. Barham, C. Voolstra, K. Salama, M. L’Hour, and V. Creuze, "Ocean one: a robotic avatar for oceanic discovery", IEEE Robotics & Automation Magazine, Vol. 23, pp. 20-29, 2016.
B. Fang, F. Sun, H. Liu, and D. Guo, "A novel data glove using inertial and magnetic sensors for motion capture and robotic arm-hand teleoperation", Ind. Robot, Vol. 44, pp. 155-165, 2017.
M. Ito, Y. Funahara, S. Saiki, Y. Yamazaki, and Yuichi Kurita, "Development of a cross-platform cockpit for simulated and tele-operated excavators", J. Robot. Mechatron., Vol. 31, No. 2, pp. 231-239, 2019.
T. Hagiwara, G. Ganesh, M. Sugimoto, M. Inami, and M. Kitazaki, "Individuals prioritize the reach straightness and hand jerk of a shared avatar overtheir own", iScience, Vol. 23, 2020.
(発明が解決しようとする課題)
従来、ロボットアバター技術において、1つのロボット(ロボットアバター)を、複数人のオペレータで制御することは全く検討されていなかった。
従来、ロボットアバター技術において、1つのロボット(ロボットアバター)を、複数人のオペレータで制御することは全く検討されていなかった。
ロボットアバターは、何度でもやり直しが可能なサイバー空間におけるバーチャルアバターとは異なり、現実の世界(現実空間)においてタスクを実行するものであり、バーチャルアバターよりも高い操作性能等が要求される。
本発明の目的は、操作性に優れる複数人によるロボットアバター制御システム等を提供することである。
(課題を解決するための手段)
前記課題を解決するための手段は、以下の通りである。即ち、
<1> 動作が制御される制御対象を含む1台のロボットアバターと、前記ロボットアバターにタスクを実行させるための、複数人のオペレータがそれぞれ行う指示動作に基づいて、複数の入力情報を生成する入力装置と、複数の前記指示動作に合わせて前記ロボットアバターが動作するように、複数の前記入力情報に基づいて、前記制御対象を動作させるための複数の動作指令を生成する第1生成部と、複数の前記動作指令に基づいて、前記制御対象の動作を制御する動作制御部と、複数人の前記オペレータに対して、それぞれ装着されると共に、前記入力装置の使用時に、各オペレータが自分以外の他のオペレータの前記指示動作に関連した運動状態を把握できるように、触覚刺激をそれぞれ提示する複数の運動状態提示装置と、を備える複数人によるロボットアバター制御システム。
前記課題を解決するための手段は、以下の通りである。即ち、
<1> 動作が制御される制御対象を含む1台のロボットアバターと、前記ロボットアバターにタスクを実行させるための、複数人のオペレータがそれぞれ行う指示動作に基づいて、複数の入力情報を生成する入力装置と、複数の前記指示動作に合わせて前記ロボットアバターが動作するように、複数の前記入力情報に基づいて、前記制御対象を動作させるための複数の動作指令を生成する第1生成部と、複数の前記動作指令に基づいて、前記制御対象の動作を制御する動作制御部と、複数人の前記オペレータに対して、それぞれ装着されると共に、前記入力装置の使用時に、各オペレータが自分以外の他のオペレータの前記指示動作に関連した運動状態を把握できるように、触覚刺激をそれぞれ提示する複数の運動状態提示装置と、を備える複数人によるロボットアバター制御システム。
<2> 前記入力情報に基づいて、又は前記指示動作に対応して動作する前記制御対象の動作状態に関する情報に基づいて、前記運動状態に対応した運動情報を生成する第2生成部を備え、前記運動状態提示装置は、自分以外の他の前記オペレータに関する前記運動情報に基づいて、前記触覚刺激を提示する前記<1>に記載の複数人によるロボットアバター制御システム。
<3> 前記第2生成部は、前記運動情報を、前記運動状態に関する物理量を利用して生成する前記<2>に記載の複数人によるロボットアバター制御システム。
<4> 前記運動状態提示装置は、前記オペレータに前記触覚刺激として振動を提示する振動子を有する前記<1>~<3>の何れか1つに記載の複数人によるロボットアバター制御システム。
<5> 複数の前記オペレータに対して、互いに異なった前記制御対象、又は互いに異なった制御目的が割り当てられ、前記第1生成部は、複数の前記入力情報に基づいて、複数の前記オペレータが互いに異なった前記制御対象を制御するための、又は複数の前記オペレータが互いに異なった前記制御目的で制御するための、複数の前記動作指令を生成する前記<1>~<4>の何れか1つに記載の複数人によるロボットアバター制御システム。
<6> 複数の前記オペレータに対して、特定の前記制御対象の制御に寄与する割合がそれぞれ定められており、前記第1生成部は、複数の前記入力情報に基づいて、複数の前記オペレータが特定の前記制御対象を前記割合に応じて制御するための、複数の前記動作指令を生成する前記<1>~<4>の何れか1つに記載の複数人によるロボットアバター制御システム。
<7> 前記ロボットアバターは、物体に対して作用を及ぼすように動作可能な作用部と、前記作用部を保持しつつ移動可能な本体部とを有する前記<1>~<6>の何れか1つに記載の複数人によるロボットアバター制御システム。
<8> 前記作用部に取り付けられると共に、前記作用部が前記物体に対して作用を及ぼした際に、前記作用部が前記物体側から受ける物理的な作用を検知する検知センサと、複数の前記オペレータに対して、それぞれ装着されると共に、前記作用部の動作時に前記オペレータ同士で、前記作用部が前記物体側から受ける前記作用を共有できるように、各オペレータに対して、前記検知センサの検知結果に対応した触覚刺激をそれぞれ提示する作用部情報提示装置を備える前記<7>に記載の複数人によるロボットアバター制御システム。
<9> 前記オペレータが前記入力装置に対して行う前記指示動作が、前記オペレータの身体の一部を3次元的に動かす3次元的動作からなる前記<1>~<8>の何れか1つに記載の複数人によるロボットアバター制御システム。
<10> 前記オペレータが、前記ロボットアバターの実物を見ることなく前記指示動作を行えるように、前記オペレータに対して前記ロボットアバターの画像を表示する表示装置を備える前記<1>~<9>の何れか1つに記載の複数人によるロボットアバター制御システム。
<11> 動作が制御される制御対象を含む1台のロボットアバターを複数人のオペレータで制御する制御方法であって、前記ロボットアバターにタスクを実行させるための、複数人の前記オペレータがそれぞれ行う指示動作に基づいて、入力装置が複数の入力情報を生成する入力情報生成工程と、複数の前記指示動作に合わせて前記ロボットアバターが動作するように、複数の前記入力情報に基づいて、前記制御対象を動作させるための複数の動作指令を生成する動作指令生成工程と、複数の前記動作指令に基づいて、前記制御対象の動作を制御する動作制御工程と、複数人の前記オペレータに対して、それぞれ装着される複数の運動状態提示装置が、前記入力装置の使用時に、各オペレータが自分以外の他のオペレータの前記指示動作に関連した運動状態を把握できるように、それぞれ触覚刺激を提示する触覚刺激提示工程とを備える制御方法。
<12> 前記入力情報に基づいて、又は前記指示動作に対応して動作する前記制御対象の動作状態に関する情報に基づいて、前記運動状態に対応した運動情報を生成する運動情報生成工程を備え、前記触覚刺激提示工程において、自分以外の他の前記オペレータに関する前記運動情報に基づいて、前記触覚刺激を提示する前記<11>に記載の制御方法。
<13> 複数の前記オペレータに対して、互いに異なった前記制御対象、又は互いに異なった制御目的が割り当てられており、前記動作指令工程は、複数の前記入力情報に基づいて、複数の前記オペレータが互いに異なった前記制御対象を制御するための、又は複数の前記オペレータが互いに異なった前記制御目的で制御するための、複数の前記動作指令を生成する前記<11>又は<12>に記載の制御方法。
<14> 複数の前記オペレータに対して、特定の前記制御対象の制御に寄与する割合がそれぞれ定められており、前記動作指令工程は、複数の前記入力情報に基づいて、複数の前記オペレータが特定の前記制御対象を前記割合に応じて制御するための、複数の前記動作指令を生成する前記<11>又は<12>に記載の制御方法。
<15> 前記制御対象が、前記作用部と、前記本体部とである前記<7>に記載の複数人によるロボットアバター制御システム。
<16> 前記制御対象が、前記本体部の一部と、前記本体部の他の一部とである前記<7>に記載の複数人によるロボットアバター制御システム。
<17> 前記制御対象が、前記作用部の一部と、前記作用部の他の一部とである前記<7>に記載の複数人によるロボットアバター制御システム。
<18> 前記制御対象が、前記本体部であり、かつ前記制御目的が、前記作用部の位置制御と、前記作用部の姿勢制御とである前記<7>に記載の複数人によるロボットアバター制御システム。
(発明の効果)
本発明によれば、操作性に優れる複数人によるロボットアバター制御システム等を提供することができる。
本発明によれば、操作性に優れる複数人によるロボットアバター制御システム等を提供することができる。
<実施形態1>
本発明の実施形態1に係る複数人によるロボットアバター制御システム1を、図1~図7を参照しつつ説明する。図1は、実施形態1に係る複数人によるロボットアバター制御システム1の全体的な構成を示す説明図である。本実施形態の複数人によるロボットアバター制御システム1は、複数人のオペレータOPが、互いに操作を分担しつつ、互いの操作状況を把握しながら、1台のロボットアバター2を共同で操作することを目的としたシステムである。なお、本明細書では、説明の便宜上、「複数人によるロボットアバター制御システム」を、単に「制御システム」と称する場合がある。
本発明の実施形態1に係る複数人によるロボットアバター制御システム1を、図1~図7を参照しつつ説明する。図1は、実施形態1に係る複数人によるロボットアバター制御システム1の全体的な構成を示す説明図である。本実施形態の複数人によるロボットアバター制御システム1は、複数人のオペレータOPが、互いに操作を分担しつつ、互いの操作状況を把握しながら、1台のロボットアバター2を共同で操作することを目的としたシステムである。なお、本明細書では、説明の便宜上、「複数人によるロボットアバター制御システム」を、単に「制御システム」と称する場合がある。
各オペレータOPは、言うまでもなく、自分の操作状況を自分で把握(知覚)することはできる。しかしながら、自分以外の他のオペレータOPの操作状況を把握することは困難又は不可能である。例えば、各オペレータOPが互いに離れた場所からロボットアバター2を操作する場合、オペレータOP同士は、互いの操作状況を目視で確認することができず、把握することができない。また、オペレータOPは、ロボットアバター2の操作に集中するため、たとえ自分以外の他のオペレータOPが近くに居る状況であっても、他のオペレータOPの操作状況を把握することは難しい。なお、ロボットアバター2の動作の状態から、自分以外のオペレータOPの操作状況を把握できることもあるが、この場合、他のオペレータOPの操作状況を瞬時に把握することはできない。しかも、ロボットアバター2の動作が極僅かである場合、そのような動作を目視で確認することは難しい。
本実施形態の制御システム1では、各オペレータOPがロボットアバター2を操作する際に、各オペレータOPに対して、自分以外の他のオペレータの指示動作に対応した動作状態(指示動作に関連した運動状態の一例)を直感的に素早く把握できるように、触覚刺激が提示される。つまり、各オペレータOPは、自分以外の他のオペレータOPの指示動作に対応した動作状態(操作状況)を、触覚刺激(例えば、振動刺激)の有無や、変化(強弱の変化、種類の変化等)で、把握できる。なお、自分以外の他のオペレータOPが複数人の場合でも、触覚刺激の種類や、触覚刺激が提示されるパターン等を適宜、設定することで、複数人のオペレータOPの指示動作に対応した動作状態(操作状況)を区別して把握できる。なお、他の実施形態においては、後述するように、オペレータOPの指示動作に関連した運動情報として、そのオペレータOPの指示動作に対応して動作する制御対象の動作状態を取り扱ってもよい。
ここでは、2人のオペレータOPが、1台のロボットアバター2を操作する場合を例に挙げて説明する。なお、説明の便宜上、2人のオペレータOPを区別するために、一方を「第1オペレータOP1」と称し、他方を「第2オペレータOP2」と称する。
図2は、ロボットアバター2の説明図である。ロボットアバター2は、所定のタスクを行うことを目的として、オペレータOPの動きを反映させるための分身(アバター)として使用されるロボットである。ロボットアバター2は、各オペレータOPが操作のために行った動作(指示動作)に従って動作する。本実施形態の場合、ロボットアバター2は、各オペレータOPが行った動作(指示動作)と、同じような動作(つまり、各オペレータOPの動きに合わせた動作)を行う。しかも、上述したように、各オペレータOPは、各々がロボットアバター2を操作する際に、自分以外の他のオペレータOPの指示動作に対応した運動状態(指示動作に関連した運動状態の一例)を直感的に把握することができる。そのため、各オペレータOPは、各々の分身(アバター)が1つに融合したかのような感覚を受けながら、1つのロボットアバター2を操作することができる。以下、制御システム1の詳細を説明する。
制御システム1は、ロボットアバター2と、入力装置3と、情報提示装置4とを備える。
ロボットアバター2は、主として、物体に対して作用を及ぼすように動作可能な作用部(エンドエフェクタ)21と、作用部21を保持しつつ移動(動作)可能な本体部22とを備える。本実施形態のロボットアバター2は、図2に示されるようなロボットアーム2からなる。ロボットアーム2は、多関節7自由度ロボットアーム(「xArm7」、UFACTORY社製)であり、本体部22としてのアーム部22と、そのアーム部22に保持されると共に、物体を把持可能な把持部(グリッパー)21aを含む作用部21とを備える。ここでは把持部21aとして、「xArm Gripper」(UFACTORY社製)を使用した。
アーム部22は、その基部22aが図示されない所定のステージ上に固定された状態で使用される。アーム部22は、複数のリンク部22bと、それらのリンク部22b同士を接続する複数の関節部22cとを有する。また、アーム部22は、それらの関節部22cに固定されたリンク部22bを所定の向きに回動させるための複数のモータ(駆動部)を備える。アーム部22は、これらモータの回転駆動がそれぞれ制御されることで、作用部21を保持した状態で3次元的に移動できる。また、アーム部22には、各モータの各駆動軸(回転軸)の位置(角度)を検出するための複数のエンコーダが設けられている。
なお、第1オペレータOP1の操作によって、動作が制御される対象(制御対象)は、アーム部22であり、第2オペレータOP2の操作によって、動作が制御される対象(制御対象)も、アーム部22である。ただし、第1オペレータOP1と第2オペレータOP2とでは、アーム部22(制御対象)の動作を制御する目的(制御目的)が互いに異なっている。第1オペレータOP1に割り当てられたアーム部22の動作の制御目的は、作用部21の位置を、所望の位置に制御すること(つまり、作用部21の位置制御)である。これに対して、第2オペレータOP2に割り当てられたアーム部22の動作の制御目的は、作用部21の姿勢を、所望の姿勢に制御すること(つまり、作用部21の姿勢制御)である。つまり、本実施形態の制御システム1では、第1オペレータOP1と第2オペレータOP2との間において、アーム部22を操作する役割が分担されている。このような役割分担は、例えば、タスク遂行時の各オペレータOPの作業姿勢が重要となる場合に有効である。役割の分担は、タスクを成功させるために重要となる動作(キラー因子)を切り離すために行われる。
アーム部22に保持された作用部21(所定部位R)の位置(3次元位置)は、ロボットアーム2に対して設定された3次元座標系(アバター用3次元座標系)を用いて表現される。ロボットアーム2には、所定箇所に原点を配置した3次元座標系が設定されており、その3次元座標系におけるx軸、y軸、z軸の各値(x,y,z)を用いて、作用部21の3次元位置が表現される。
また、アーム部22に保持された作用部21(所定部位R)の姿勢(3次元姿勢)は、上記3次元座標系のx軸周りの回転角(ロール角)、z軸周りの回転角(ヨー角)、y軸周りの回転角(ピッチ角)を用いて表現される。
アーム部22の動作は、作用部21の所定部位Rにおける位置及び姿勢が、各オペレータOPから指示された所定の位置及び姿勢となるように制御される。具体的には、作用部21の所定部位Rにおける位置(3次元位置)は、第1オペレータOP1の指示動作に対応した3次元位置情報に基づいて制御される。また、作用部21の所定部位Rにおける姿勢(3次元姿勢)は、第2オペレータOP2の指示動作に対応した3次元姿勢情報に基づいて制御される。
作用部21は、物体を把持するための把持部(グリッパー)21aを備えている。把持部21aは、物体を把持する際に可動する2本の指部21bを備えている。2本の指部21bは、1本ずつに分かれて互いに向かい合うように配置されている。把持部21aは、向かい合った指部21bの間で物体を挟むことができる。作用部21は、把持部21aの各指部21bを駆動させるための駆動部(モータ等)を備えている。作用部21の把持部21aが物体を把持する場合、各指部21bは、互いに近付くように動作(閉動作)する。これに対して、把持部21aが把持していた物体を放す場合、各指部21bは、互いに離れるように動作(開動作)する。
このような作用部21における把持部21a(指部21b)の動作は、作用部21が備える上記駆動部(モータ等)が制御されることで行われる。本実施形態の場合、作用部21の把持部21aの操作は、後述するように第2オペレータOP2のみが行う。
なお、把持部21aの内側には、作用部21が物体に対して作用を及ぼした際に、作用部21が物体側から受ける物理的な作用(例えば、力、振動、熱等)を検知する検知センサ23が取り付けられている。ここでは、検知センサ23として、作用部21の把持部21a(指部21b)が物体を把持した際に、物体側から受ける力を検知する力センサ(薄膜圧力センサ、「RP-C10-ST」、xuuyuu社製)を例示する。
入力装置3は、オペレータOPがロボットアバター2を操作する際に使用する装置である。入力装置3は、オペレータOPが行う指示動作(3次元的動作)に基づいて入力情報を生成する。オペレータOPが行う「指示動作」とは、ロボットアバター2にタスクを実行させるために、オペレータOPが身体の一部(例えば、腕、脚、頭部、指等)を動かすことである。特に、本明細書では、ロボットアバター2にさせる動作と同じような動作による指示動作を、「3次元的動作」と言う。例えば、オペレータOPの手(腕)の動作に合わせてアーム部22を動作させる際の指示動作や、オペレータOPの指の曲げ伸ばし動作に合わせて、把持部21aを開閉させる際の指示動作が、「3次元的動作」に該当する。
本実施形態の制御システム1では、2種類の入力装置3が使用される。具体的には、入力装置3として、ロボットアーム(ロボットアバター)2のアーム部22の動作を操作するための第1入力装置31と、作用部21の把持部21a(指部21b)の動作を操作するための第2入力装置32とが使用される。
図3は、第1オペレータOP1に装着される入力装置3及び情報提示装置4を示す説明図であり、図4は、第2オペレータOP2に装着される入力装置3及び情報提示装置4を示す説明図であり、図5は、第2オペレータOP2に装着される他の入力装置3を示す説明図である。
第1入力装置31は、モーションキャプチャを利用した装置である。第1入力装置31では、第1オペレータOP1と第2オペレータOP2とからの指示動作(3次元的動作)に対応した画像(撮影画像)が入力情報として生成される(入力情報生成工程)。ここでは、光学式のモーションキャプチャを利用した第1入力装置31を例に挙げて説明する。
モーションキャプチャは、周知のとおり、オペレータOPの所定部位に装着させた複数のマーカー311を、角度の異なる複数台のカメラ(撮像装置)312で撮影して、それらのカメラ312で得られた撮影画像に基づいて、マーカー311の動きを三角測量の原理で計測する技術である。本実施形態の場合、モーションキャプチャとして、「OptiTrack Prime 13W」(NaturalPoint, inc.)を使用した。カメラ312は、8台使用し、カメラ312の解像度は1280×1024ピクセル、フレームレートは240frs、レンズは、3.5mm F2.4である。また、カメラ312の視野角(field of view)は、82°(水平方向)及び70°(垂直方向)である。
図3に示されるように、第1オペレータOP1の右手の甲OP1aに対して、第1入力装置31の一部として使用される複数個(4個)のマーカー311を取り付けるための器具313が装着される。器具313は、手の甲に載せられる扁平な板型の載置部313aと、その載置部313aの周縁から外側に向かって各々が異なる方向に延びた複数の取付棒313bとを備える。そして、4つの取付棒313bの先端に、それぞれマーカー311が取り付けられている。マーカー311には、カメラ312から照射された赤外光を反射するための塗料が塗られた球体からなる。なお、器具313は、載置部313aが右手の甲との間で挟みつけられるように巻かれるバンド314を利用して、位置ずれしないように固定される。
図4に示されるように、第2オペレータOP2の右手の甲OP2aに対しても、第1オペレータOP1と同様、第1入力装置31の一部として使用される複数個(4個)のマーカー311を取り付けるための器具313が装着される。そして、その器具313が備える載置部313aの周縁から外側に向かって延びた4つの取付棒313bの各先端に、それぞれマーカー311が取り付けられている。第1オペレータOP1の動作と、第2オペレータOP2の動作とを区別できるように、第2オペレータOP2で使用される4つのマーカー311の3次元的な配置箇所は、第1オペレータOP1で使用される4つのマーカー311の3次元的な配置箇所と異なるように設定される。
第1オペレータOP1及び第2オペレータOP2には、所定箇所に原点を配置した3次元座標系(オペレータ用3次元座標系)が設定されている。なお、オペレータ用の3次元座標系は、上述したロボットアバター2用の3次元座標系に対応している。
第1オペレータOP1の右手の甲OP1a(以下、「第1剛体」と称する場合がある。)の位置(3次元位置)は、オペレータ用の3次元座標系におけるx軸、y軸、z軸の各値(x’,y’,z’)を用いて表現される。また、第2オペレータOP2の右手の甲OP2a(以下、「第2剛体」と称する場合がある。)の姿勢(3次元姿勢)は、オペレータ用の3次元座標系のx軸周りの回転角(ロール角)、z軸周りの回転角(ヨー角)、y軸周りの回転角(ピッチ角)を用いて表現される。
第1オペレータOP1の右手に装着された複数個のマーカー311の動きが、カメラ312で撮影されて、その撮影画像(入力情報)が、後述するオペレーティングコンピュータ5が備える画像解析部511で処理されると、その撮影画像から、第1剛体の3次元位置情報(入力情報の一部)が得られる。
また、第2オペレータOP2の右手に装着された複数個のマーカー311の動きが、カメラ312で撮影されて、その撮影画像(入力情報)が、後述するオペレーティングコンピュータ5が備える画像解析部511で処理されると、その撮影画像から、第2剛体の3次元姿勢情報(入力情報の一部)が得られる。
このような第1入力装置31によって、第1オペレータOP1及び第2オペレータOP2の各指示動作に対応した各入力情報が、時系列の撮影画像として得られる。なお、本実施形態の制御システムにおいて、モーションキャプチャは、主として、マーカー311と、カメラ312と、画像解析部511とで構成される。
第2入力装置32は、上述したように、作用部21の把持部21a(指部21b)の動作を操作するための装置である。本実施形態の第2入力装置32は、曲げセンサ32からなり、第2オペレータOP2の左手の人差し指OP2bに装着して使用される。把持部21a(指部21b)の動作は、第2オペレータOP2のみが操作する。
曲げセンサ32(「FS-L-0055-253-ST」、Spectra Synbol社製)の本体部320は、全体的には、人差し指OP2bに沿った細長い形状をなしており、その曲げた角度によって出力抵抗値が変化する。曲げセンサ32の本体部320は、人差し指OP2bに対して、指輪型の2つの取付部材321,322を利用して装着されている。
曲げセンサ32は、一対の電極パターンを備えており、それら電極パターンに接続した一対の電極端子32a,32bを通じて外部に、曲げセンサ32の出力抵抗値の変化(入力情報)が信号として取り出される。なお、電極端子32a,32bには、それぞれ信号線323が接続されている。
第2オペレータOP2は、左手の人差し指OP2bを真っすぐに伸ばした状態から、徐々に曲げると、作用部21の把持部21aにおける互いに向かい合った指部21b同士が互いに近付くように動作する。これに対して、左手の人差し指OP2bを曲げた状態から、徐々に真っすぐになるように伸ばすと、作用部21の把持部21aにおける互いに向かい合った指部21b同士が、互いに離れるように動作する。
このような第2入力装置32によって、作用部21の把持部21aの動きに対応した出力信号(曲げセンサ32の出力抵抗値の変化)が、作用部21を動作させるための入力情報として生成される。
情報提示装置4は、オペレータOPに装着させて、オペレータOPがロボットアバター2を操作する際に、オペレータOPに対して触覚刺激を提示する装置である。本実施形態の制御システム1では、2種類の情報提示装置4が使用される。具体的には、情報提示装置4として、運動状態提示装置41と、作用部情報提示装置42とを備える。
運動状態提示装置41は、複数人のオペレータOPに対して、それぞれ装着されると共に、第1入力装置31の使用時に、複数人のオペレータOP同士が協調してロボットアバター2にタスクを実行させるために、各オペレータOPが自分以外の他のオペレータOPの指示動作に対応した運動状態(指示動作に関連した運動状態の一例)を把握できるように、触覚刺激をそれぞれ提示する装置である。本実施形態の場合、運動状態提示装置41は、第1オペレータOP1及び第2オペレータOP2に対して、それぞれ1つずつ装着される。運動状態提示装置41は、全体的には腕時計のような形をなしている。
第1オペレータOP1に装着された運動状態提示装置41は、第1オペレータOP1が第1入力装置31を使用した時に、第2オペレータOP2の指示動作に対応した運動状態を把握できるように、第1オペレータOP1に対して触覚刺激を提示する。これに対して、第2オペレータOP2に装着された運動状態提示装置41は、第2オペレータOP2が第1入力装置31を使用した時に、第1オペレータOP1の指示動作に対応した運動状態を把握できるように、第2オペレータOP2に対して触覚刺激を提示する。
本実施形態の場合、運動状態提示装置41として、オペレータOPに振動(触覚刺激の一例)を提示する振動子411が利用される。振動子411は、2人のオペレータOP(つまり、第1オペレータOP1及び第2オペレータOP2)に、それぞれ1つずつ装着される。
図3に示されるように、第1オペレータOP1の右手首付近の外側の皮膚OP1cに対して密着するように、運動状態提示装置41としての振動子411がバンド412を利用して装着される。バンド412は、第1オペレータOP1の右手首付近に巻き付けられると共に、皮膚OP1cとの間で振動子411が挟まれるように装着される。
第1オペレータOP1に装着された振動子411は、第2オペレータOP2の指示動作(3次元的動作)に対応した第2オペレータOP2の運動情報に基づいて、振動刺激(触覚刺激)を提示する。振動子411は、運動情報に対応した触覚振動信号を受信することで振動する(触覚刺激提示工程)。
また、図4に示されるように、第2オペレータOP2の右手首付近の外側の皮膚OP2cに対して密着するように、運動状態提示装置41としての振動子411がバンド412を利用して装着される。バンド412は、第2オペレータOP2の右手首付近に巻き付けられると共に、皮膚OP2cとの間で振動子411が挟まれるように装着される。
第2オペレータOP2に装着された振動子411は、第1オペレータOP1の指示動作(3次元的動作)に対応した第1オペレータOP1の運動情報に基づいて、振動刺激(触覚刺激)を提示する。振動子411は、運動情報に対応した触覚振動信号を受信することで振動する(触覚刺激提示工程)。
作用部情報提示装置42は、複数人のオペレータOPに対して、それぞれ装着されると共に、作用部21の動作時にオペレータOP同士で、作用部21が物体側から受ける物理的な作用を共有できるように、各オペレータOPに対して、検知センサ23の検知結果に対応した触覚刺激をそれぞれ提示する装置である。
本実施形態の場合、作用部情報提示装置42は、第1オペレータOP1及び第2オペレータOP2に対して、1つずつ装着される。第1オペレータOP1及び第2オペレータOP2は、それぞれ作用部情報提示装置42が提示する触覚刺激を受けることで、ロボットアバター(ロボットアーム)2の作用部21が物体に対して作用を及ぼした際(例えば、把持部21aが物体を把持した際)に、作用部21が検知センサ23を介して検知した物理的な作用(例えば、把持部21aが物体を把持した際に受ける力)を、同時に把握することができる。第1オペレータOP1及び第2オペレータOP2には、各作用部情報提示装置42によって、同じ内容の触覚刺激が提示される。
本実施形態の作用部情報提示装置42は、オペレータOPの右手前腕に対して、圧迫刺激(触覚刺激の一例)を提示するように構成されている。
例えば、図3に示されるように、第1オペレータOP1の右手前腕(手首よりも上腕側の部分)OP1dに、作用部情報提示装置42が装着されている。作用部情報提示装置42は、主として、ゴム紐からなる環状の締め付け部421と、その締め付け部421の径の大きさを調節する調節部422とを備えている。第1オペレータOP1の右手前腕OP1dは、環状の締め付け部421の中に通されている。調節部422は、検知センサ23の検知結果に対応した駆動信号を受信することで駆動するサーボモータ(DCサーボモータ)を備えている。サーボモータの出力軸423には、円盤状の巻き取り部424が固定されており、その巻き取り部424の周縁に、環状の締め付け部42の一部が固定されている。サーボモータが駆動して、出力軸423が所定の向きに回転すると、締め付け部42の一部が巻き取られて縮径するように巻き取り部424が回転する。また、出力軸423が逆向きに回転すると、巻き取られた分の締め付け部42が戻されて元の大きさまで拡径するように、巻き取り部424が回転する。
調節部422は、平面視で矩形状をなした支持板425上に固定されている。また、支持板425には、第1オペレータOP1の右手前腕OP1dに巻き付ける形で取り付けられる装着用のバンド426が設けられている。
調節部422のサーボモータは、検知センサ23の検知結果に対応した駆動信号が供給されると、締め付け部42を縮径又は拡径するように駆動する。調節部422は、ケーブル427を介して、後述する第1マイコン7に接続されている。
また、図4に示されるように、第2オペレータOP2の右手前腕(手首よりも上腕側の部分)OP2dにも、上述した第1オペレータOP1用のものと同様の作用部情報提示装置42が装着される。なお、第2オペレータOP2用の作用部情報提示装置42が備える調節部422は、ケーブル427を介して、後述する第2マイコン8に接続されている。
制御システム1は、更に、オペレーティングコンピュータ5、コントローラ6、第1マイコン7、第2マイコン8等を備えている。
オペレーティングコンピュータ(OPコンピュータ)5は、システム全体を統括的に制御する。図6は、オペレーティングコンピュータ5のハードウェア構成を示す説明図である。OPコンピュータ5は、図6に示されるように、CPU(Central Processing Unit)51、RAM(Random Access Memory)52、ROM(Read Only Memory)53、記憶部54、表示部55、通信部56、入力部57、計時部58等によって構成される。
OPコンピュータ5のCPU51は、記憶部54に記憶されている各種のプログラムを読みだして、RAM52のワークエリアに展開し、展開したプログラムに従って、後述する各種処理を実行する。記憶部54は、CPU51が適宜、実行するプログラムや、各種処理に必要なデータ等を記憶する。記憶部54は、メモリやハードディスクドライブ等の物理ドライブによって構成される。計時部58は、例えばタイマIC、水晶振動子又はクロックモジュール等を含んで構成されるものであり、現在時刻を計時する機能を備えている。CPU51は、必要に応じて、計時部58から現在時刻を適宜、取得する。
表示部55は、例えば液晶ディスプレイからなり、OPコンピュータ5を操作する管理者等に対して、必要なメッセージ等を表示する。入力部57は、ユーザインターフェースであり、キーボードや、ポインティングデバイス等からなり、管理者がOPコンピュータ5に各種のデータやコマンド等の情報を入力する際に使用される。
通信部56は、通信インターフェースであり、他の装置に情報を送信する機能、及び他の装置から情報を受信する機能を備えている。本実施形態の通信部56は、無線通信機能と、有線通信機能の双方を備えている。通信部56は、第1入力装置31(カメラ312)、第1オペレータOP1用の送信機416、第2オペレータOP2用の送信機416、コントローラ6等と有線通信する。また、通信部56は、第1マイコン7、第2マイコン8等と無線通信する。
また、OPコンピュータ5は、CPU51等によって構成される制御部510を備えている。制御部510は、更に、画像解析部511、アーム部指令生成部512、運動情報生成部513、運動情報供給部514、作用部指令生成部515、共有情報生成部516を備えている。
画像解析部511は、第1入力装置31のカメラ312が取得した撮影画像から、各オペレータOPの指示動作に対応した入力情報を、オペレータOP毎に抽出する処理を実行する。第1入力装置31のカメラ312で撮影された撮影画像が、OPコンピュータ5に送信されると、画像解析部511が、その撮影画像に基づいて、第1剛体の時系列の3次元位置情報を生成する。また、画像解析部511は、同じ撮影画像に基づいて、第2剛体の時系列の3次元姿勢情報を生成する。撮影画像(画像データ)のサンプリング周波数は、例えば、100~150[Hz]である。
アーム部指令生成部(第1生成部)512は、複数人のオペレータOP(つまり、第1オペレータOP1及び第2オペレータOP2)がそれぞれ行った指示動作(3次元的動作)に合わせて、ロボットアーム2が動作するように、複数の入力情報(第1剛体の3次元位置情報及び第2剛体の3次元姿勢情報)に基づいて、アーム部22(制御対象)を動作させるための複数の動作指令を生成する処理を実行する。
アーム部指令生成部512は、第1オペレータOP1の3次元位置に関する右手の動き(3次元的動作)に合わせて、作用部21の3次元位置が動作するように、第2オペレータOP2に対応した入力情報(第1剛体の3次元位置情報)に基づいて、アーム部22の動作を制御するための動作指令を生成する(動作指令生成工程)。
また、アーム部指令生成部512は、第2オペレータOP2の3次元姿勢に関する右手の動き(3次元的動作)に合わせて、作用部21の3次元姿勢が動作するように、第2オペレータOP2に対応した入力情報(第2剛体の3次元姿勢情報)に基づいて、アーム部22の動作を制御するための動作指令を生成する(動作指令生成工程)。
このようにアーム部指令生成部512は、第1オペレータOP1及び第2オペレータOP2が互いに異なった制御目的で、アーム部22の動作を制御するための複数の動作指令を生成する。
アーム部指令生成部512で生成された複数の動作指令は、コントローラ6へ送信される。
運動情報生成部(第2生成部)513は、画像解析部511で生成された複数の入力情報(第1剛体の3次元位置情報及び第2剛体の3次元姿勢情報)に基づいて、各オペレータOPの3次元動作に対応した複数の運動情報(触覚振動信号)を生成する処理を実行する(運動情報生成工程)。
運動情報生成部513は、運動情報を、対応するオペレータOPの3次元的動作に関する物理量を利用して生成する。前記物理量としては、例えば、速度、加速度、躍度、位置の変化量、姿勢の変化量、第1剛体の位置と第2剛体の位置との差分値、第1剛体の姿勢と第2剛体の姿勢との差分値等が挙げられる。
本実施形態の運動情報生成部513は、第1剛体の3次元位置情報から、第1オペレータOP1の3次元動作時の運動状態を示す運動情報を生成する。例えば、運動情報生成部513は、第1剛体の3次元位置情報に基づいて、位置の時間変化のノルム(スカラー量)を、第1剛体の速度情報v[mm/s]として求め、それを第1オペレータOP1の運動情報(触覚振動信号)とする。
また、運動情報生成部513は、第2剛体の3次元姿勢情報から、第2オペレータOP2の3次元動作時の運動状態を示す運動情報を生成する。例えば、運動情報生成部513は、第2剛体の3次元姿勢情報に基づいて、姿勢の時間変化のノルム(スカラー量)を、第2剛体の回転角速度情報ω[rad/s]として求め、それを第2オペレータの運動情報(触覚振動信号)とする。
運動情報供給部514は、触覚刺激をそれぞれ提示できるように複数の運動状態提示装置41に対して、それぞれ運動情報を割り当てつつ供給する処理を実行する。運動情報供給部514は、各オペレータOPが自分以外の他のオペレータOPの3次元的動作を把握できるように、運動情報生成部513で生成された複数の運動情報から、各運動状態提示装置41に供給する運動情報を選出する。
本実施形態の場合、第1オペレータOP1に装着された運動状態提示装置41には、第2オペレータOP2の運動情報が割り当てられ、第2オペレータOP2に装着された運動状態提示装置41には、第1オペレータOP1の運動情報が割り当てられる。
そして更に、運動情報供給部514は、第2オペレータOP2の運動情報を、第1オペレータOP1用の送信機416へ供給すると共に、第1オペレータOP1の運動情報を、第2オペレータOP2用の送信機416へ供給する処理を実行する。
第1オペレータOP1用の送信機416に、第2オペレータOP2の運動情報(触覚振動信号)が供給されると、前記運動情報は、前記送信機416において変調されて、無線通信により、第1オペレータOP1用の受信機415へ送られる。受信機415で受信された前記運動情報は、復調され、その後、振動アンプ414に送られ、振動アンプ414で信号が増幅された後、ケーブル(信号線)413を介して、第1オペレータOP1用の運動状態提示装置41の振動子411に供給される。
なお、周波数200[Hz]のキャリア波(正弦波)に対して、それぞれの値の変化に応じて振幅変調(AM変調)させた振動を生成した。なお、他の実施形態においては、他の変調方式(FM変調等)で変調させた振動を生成してもよい。
また、第2オペレータOP2用の送信機416に、第1オペレータOP1の運動情報(触覚振動信号)が供給されると、前記運動情報は、前記送信機416において変調されて、無線通信により、第2オペレータOP2用の受信機415へ送られる。受信機415で受信された前記運動情報は、復調され、その後、振動アンプ414に送られ、振動アンプ414で信号が増幅された後、ケーブル(信号線)413を介して、第2オペレータOP2用の運動状態提示装置41の振動子411に供給される。
作用部指令生成部515は、第2オペレータOP2が第2入力装置(曲げセンサ)32を利用して入力した入力情報に基づいて、作用部21(把持部21a)を動作させるための動作指令を生成する処理を実行する。作用部指令生成部515で生成された動作指令は、コントローラ6へ送信される。なお、第2入力装置32の入力情報は、第2マイコン8から供給される。
共有情報生成部516は、コントローラ6(作用部情報取得部63)側から供給された検知センサ23の検知結果(作用部情報)に基づいて、作用部情報提示装置42を駆動させるための駆動信号を生成する処理を実行する。共有情報生成部516で生成された駆動信号は、無線通信により、第1マイコン7と、第2マイコン8とへ送信される。
第1マイコン7は、無線通信機能及び有線通信機能を備えたマイクロコントローラ(例えば、「ESP32」、Espressif Systems社製)であり、CPU、メモリ、通信部等によって構成される。第1マイコン7は、第1オペレータOP1用の作用部情報提示装置42の調節部(サーボモータ)422の駆動を制御する駆動制御部71として機能する。第1マイコン7に対して、OPコンピュータ5の共有情報生成部516で生成された駆動信号が供給されると、その駆動信号に基づいて、駆動制御部71が、第1オペレータOP1用の作用部情報提示装置42を駆動させる。
第2マイコン8は、第1マイコン7と同様、無線通信機能及び有線通信機能を備えたマイクロコントローラ(例えば、「ESP32」、Espressif Systems社製)であり、CPU、メモリ、通信部等によって構成される。第2マイコン8は、第2オペレータOP2用の作用部情報提示装置42の調節部(サーボモータ)422の駆動を制御する駆動制御部82として機能する。第2マイコン8に対して、OPコンピュータ5の共有情報生成部516で生成された駆動信号が供給されると、その駆動信号に基づいて、駆動制御部81が、第2オペレータOP2用の作用部情報提示装置42を駆動させる。
また、第2マイコン8は、第2入力装置(曲げセンサ)32で生成された入力情報(曲げセンサ32の出力抵抗値の変化)を取得する曲げ情報取得部82として機能する。曲げ情報取得部82で取得された第2入力装置の入力情報は、無線通信により、OPコンピュータ5へ送信される。
コントローラ6は、主として、ロボットアバター(ロボットアーム)2の動作を制御する。コントローラ6は、CPU、メモリ、通信部等によって構成される。コントローラ6は、そのCPU等により構成されるアーム部動作制御部61、作用部動作制御部62、作用部情報取得部63を備えている。
アーム部動作制御部61は、アーム部指令生成部512で生成された複数の動作指令に基づいて、制御対象であるアーム部22の動作を制御する処理を実行する(動作制御工程)。アーム部指令生成部512では、第1オペレータOP1及び第2オペレータOP2が互いに異なった制御目的で、アーム部22の動作を制御するための複数の動作指令が生成されており、それらの動作指令に基づいて、アーム部動作制御部61は、アーム部22の動作を制御する。なお、複数の動作指令(データ)は、互いの時系列が合わせられている。
具体的には、アーム部動作制御部61は、第1オペレータOP1の制御目的(作用部21の位置制御)に対応して生成された動作指令に基づいて、アーム部22の動作を制御すると同時に、第2オペレータOP2の制御目的(作用部21の姿勢制御)に対応して生成された動作指令に基づいて、アーム部22の動作を制御する。
その結果、作用部21の位置制御は、第1オペレータOP1の指示動作のみで行われ、作用部21の姿勢制御は、第2オペレータOP2による指示動作のみで行われることになる。
作用部動作制御部62は、作用部指令生成部515で生成された動作指令に基づいて、作用部21(把持部21a)の動作を制御する処理を実行する。その結果、第2オペレータOP2の左手の人差し指OP2bの曲がり具合(指示動作、3次元的動作)に応じて、作用部21における把持部21aの開閉状態が制御される。
作用部情報取得部63は、検知センサ23の検知結果を取得する処理を実行する。作用部情報取得部63が取得した検知センサ23の検知結果は、OPコンピュータ5(供給情報生成部)へ送信される。
ここで、本実施形態の制御システム1において、ロボットアバター2の動作を制御する際に、各オペレータOPの指示動作により入力される入力情報と、各オペレータOPに返されるフィードバック情報とを、図7等を参照しつつ説明する。図7は、実施形態1の制御システム1において、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。
第1オペレータOP1及び第2オペレータO2の各操作によって動作が制御される制御対象は、アーム部22である。第1オペレータOP1がアーム部22の動作を制御する制御目的は、作用部21の位置制御であり、第2オペレータOP2がアーム部22の動作を制御する制御目的は、作用部21の姿勢制御である。また、第2オペレータOP2の操作によって動作が制御される他の制御対象は、作用部21の把持部21aである。
このような条件下で、第1オペレータOP1及び第2オペレータOP2によって、ロボットアバター(ロボットアーム)2の動作を制御する際に、ロボットアバター2側(OPコンピュータ5の制御部510)に入力される情報(入力情報)は、以下の通りである。
第1オペレータOP1により、作用部21の位置制御を目的として、第1入力装置31を介して、アーム部22を動作させるための第1剛体の位置情報が入力される。また、第2オペレータOP2により、作用部21の姿勢制御を目的として、第1入力装置31を介して、アーム部22を動作させるための第2剛体の姿勢情報が入力される。
更に、第2オペレータOP2により、作用部21の把持部21aの開閉制御を目的として、第2入力装置32を介して、作用部21の把持部21aを動作させるための情報(開閉情報)が入力される。
これに対して、ロボットアバター2の動作の制御時に、ロボットアバター2側(OPコンピュータ5の制御部510)から、第1オペレータOP1及び第2オペレータOP2に返される情報(フィードバック情報)は、以下の通りである。
第1オペレータOP1には、第2オペレータOP2の運動情報が、第1オペレータOP1に装着された運動状態提示装置41が提示する振動刺激として返される。また、第2オペレータOP2には、第1オペレータOP1の運動情報が、第2オペレータOP2に装着された運動状態提示装置41が提示する振動刺激として返される。したがって、第1オペレータOP1と第2オペレータOP2とは、互いに相手側の指示動作に対応した運動状態を直感的に素早くで把握しながら、ロボットアバター2の動作を操作できる。そのため、各オペレータOPは、例えば、互いの微妙な指示動作も把握することができ、フィードバック情報のない場合と比べて、ロボットアバター2に、精度の高いタスクを実行させることも可能となる。
また、第1オペレータOP1及び第2オペレータOP2には、把持部21aが外部の物体を把持した際の情報(把持部の把持状態情報)が、各オペレータOPに装着された各作用部情報提示装置42が提示する圧迫刺激として返される。したがって、第1オペレータOP1及び第2オペレータOP2は、ロボットアバター2を操作しながら、把持部21aが物体側から受ける力(作用部21が受ける物理的な作用)を、作用部情報提示装置42が提示する圧迫刺激として、直感的に素早く体感できる。
〔試験〕
なお、本実施形態の制御システム1を利用して、試験的に、ロボットアバター2に、以下のようなタスク1及びタスク2を実行させた。なお、比較として、1人のオペレータOPのみで全ての操作(作用部の位置・姿勢制御、及び把持部の開閉制御)を行う場合も検証した。
なお、本実施形態の制御システム1を利用して、試験的に、ロボットアバター2に、以下のようなタスク1及びタスク2を実行させた。なお、比較として、1人のオペレータOPのみで全ての操作(作用部の位置・姿勢制御、及び把持部の開閉制御)を行う場合も検証した。
(タスク1)
ロボットアーム2の左斜め前方に壁を垂直に立てた状態で、その壁の中央にある左右方向に貫通した穴に、作用部21の把持部21aで把持したブロックを右側から左側へ通すタスク(穴通し)を実行させた。
ロボットアーム2の左斜め前方に壁を垂直に立てた状態で、その壁の中央にある左右方向に貫通した穴に、作用部21の把持部21aで把持したブロックを右側から左側へ通すタスク(穴通し)を実行させた。
(タスク2)
作用部21の把持部21aでリング付きの棒を把持した状態で、そのリングを、角材同士を枠状に繋いで形成されたコースのスタートからゴールまで、リングの内側に角材が通された状態で、運ぶタスクを実行させた。
作用部21の把持部21aでリング付きの棒を把持した状態で、そのリングを、角材同士を枠状に繋いで形成されたコースのスタートからゴールまで、リングの内側に角材が通された状態で、運ぶタスクを実行させた。
タスク1及びタスク2を、1人のオペレータOPのみで全ての操作を行おうとすると、オペレータOPには、関節の可動域的に無理な体勢が求められる。例えば、タスク1を、1人のオペレータOPのみで行おうとすると、ブロックの向きを調整した体勢のまま姿勢を変えずに水平に腕を動かす必要があり、タスクの遂行が極めて困難となる。また、同様に、1人のオペレータOPのみで、タスク2を行うと、スタートの位置から数えて2個目の角を曲がる際に、操作している腕が可動域限界に達し、それ以上のタスク遂行が出来なくなる。関節の柔らかさには、個人差があるものの、無理な体勢を維持してタスクを行うことにはかわりがない。
これに対して、2人のオペレータOPにより、上記のように操作を分担して、タスク1及びタスク2を行った場合、何れの場合も、各オペレータOPに対して、無理な姿勢を強いることなく容易に操作を行うことができた。オペレータOPは、分担された操作だけに集中することができる。例えば、第1オペレータOP1は、姿勢を気にすることなく、第1剛体の位置だけを正確に動かすことに集中することができる。また、第2オペレータOP2は、位置を気にすることなく、第2剛体の姿勢だけを正確に動かすことに集中することができる。また、このように操作を分担したことによって、各オペレータOPの剛体(第1剛体、第2剛体)の状態(位置、姿勢)を、手首の動きだけでなく、肩を中心とした腕全体の動きや、身体ごと向きを変える等の全身の動きで制御できる。
特に、本実施形態の制御システム1では、オペレータOP同士が、運動状態提示装置41により、相手側のオペレータOPの指示動作に対応した運動情報を触覚刺激として感じることができるため、各オペレータOPは、タスク遂行時に、オペレータOP同士で操作の連携を取り易く、しかも、自分の腕がロボットアバター(ロボットアーム)2と一体化しているような感覚を受ける。
また、各オペレータOPは、作用部情報提示装置42から圧迫刺激を受けることにより、現実にブロック等を把持しているように感じられる。そのため、操作の確実性が高まる。
なお、本実施形態の制御システム1において、ロボットアバター2に実行させるタスクは、上記タスク1,2に限られない。
<実施形態2>
次いで、実施形態2に係る制御システム1Aを、図8を参照しつつ説明する。図8は、実施形態2に係る制御システム1Aの全体的な構成を示す説明図である。本実施形態の制御システム1Aは、実施形態1と同様、複数(2人)のオペレータOPが、互いに操作を分担しつつ、互いの操作状況(指示動作に対応した運動)を把握しながら、1台のロボットアバターを同時に操作することを目的としたシステムである。本実施形態の制御システム1Aでは、実施形態1と同様、第1オペレータOP1は、作用部21の位置制御を担当し、第2オペレータOP2は、作用部21の姿勢制御と、作用部21(把持部21a)の開閉制御を担当する。そのため、本実施形態の制御システム1Aの制御部510において実行される各種の処理内容は、基本的に、実施形態1と同様である。
次いで、実施形態2に係る制御システム1Aを、図8を参照しつつ説明する。図8は、実施形態2に係る制御システム1Aの全体的な構成を示す説明図である。本実施形態の制御システム1Aは、実施形態1と同様、複数(2人)のオペレータOPが、互いに操作を分担しつつ、互いの操作状況(指示動作に対応した運動)を把握しながら、1台のロボットアバターを同時に操作することを目的としたシステムである。本実施形態の制御システム1Aでは、実施形態1と同様、第1オペレータOP1は、作用部21の位置制御を担当し、第2オペレータOP2は、作用部21の姿勢制御と、作用部21(把持部21a)の開閉制御を担当する。そのため、本実施形態の制御システム1Aの制御部510において実行される各種の処理内容は、基本的に、実施形態1と同様である。
本実施形態の制御システム1Aにおいて、ロボットアバター2の動作を制御する際に、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報は、実施形態1と同様である(図7参照)。
本実施形態の場合、第1オペレータOP1の居る空間S1と、第2オペレータOP2の居る空間S2と、ロボットアバター(ロボットアーム)2が設置されている空間S3とが、互いに遠く離されている。つまり、各オペレータOPは、自分以外の他のオペレータOPや、ロボットアバター2を、直接、目視等で確認できない状況にある。本実施形態の制御システム1Aは、このような状況下等において、複数(2人)のオペレータOPが、1台のロボットアバター2を遠隔操作する際に利用される。
なお、実施形態2の制御システム1Aの構成のうち、実施形態1の制御システム1と同様の構成については、図8において、実施形態1と同様の符号を付し、その詳細説明は適宜、省略する。
本実施形態の場合、第1オペレータOP1及び第2オペレータOP2に対して、それぞれモーションキャプチャを利用した第1入力装置31が1つずつ割り当てられている。つまり、制御システム1Aでは、2つの第1入力装置31が利用される。各第1入力装置31としては、それぞれ複数台(8台)のカメラ313が利用される。第1オペレータOP1の右手及び第2オペレータOP2の右手には、実施形態1と同様、それぞれモーションキャプチャ用の複数個のマーカー311が所定の器具313を利用して装着される。また、第2オペレータOP2の左手には、実施形態1と同様の第2入力装置(曲げセンサ)32が装着される。
第1オペレータOP1用の第1入力装置31で撮影された撮影画像は、第1入力装置31に接続された第1オペレータOP1用の第1コンピュータCP1へ送られる。第1コンピュータCP1は、受け取った撮影画像を、通信回線14を利用して、OPコンピュータ5へ送信する。通信回線14としては、例えば、インターネット、イーサネット(登録商標)回線、公衆回線、専用回線等が挙げられる。また、第2オペレータOP2用の第1入力装置31で撮影された撮影画像は、第1入力装置31に接続された第2オペレータOP2用の第2コンピュータCP2へ送られる。第2コンピュータCP2は、受け取った撮影画像を、通信回線14を利用して、OPコンピュータ5へ送信する。第1コンピュータCP1及び第2コンピュータCP2は、共に、OPコンピュータ5と同様なハード構成を備えており、各種処理を実行する。
OPコンピュータ5に、各第1入力装置31から、それぞれ各オペレータOPに対応した撮影画像が供給されると、画像解析部511は、それらの撮影画像から、第1剛体の時系列の3次元位置情報と、第2剛体の時系列の3次元姿勢情報とを生成する。
第2入力装置(曲げセンサ)32で生成された入力情報(曲げセンサ32の出力抵抗値の変化)は、第2マイコン8の曲げ情報取得部82により取得された後、無線通信により、第2コンピュータCP2へ送信される。その後、第2コンピュータCP2は、第2入力装置の入力情報を、通信回線14を介してOPコンピュータ5へ送信する。
運動情報供給部514は、第2オペレータOP2の運動情報を、通信回線14を介して第1コンピュータCP1へ供給する。第1コンピュータCP1は、第2オペレータOP2の運動情報を、第1オペレータOP1用の送信機416へ供給する。また、運動情報供給部514は、第1オペレータOP1の運動情報を、通信回線14を介して第2コンピュータCP2へ供給する。第2コンピュータCP2は、第1オペレータOP1の運動情報を、第2オペレータ用の送信機416へ供給する。
共有情報生成部516で生成された駆動信号は、通信回線14を介して、第1コンピュータCP1と、第2コンピュータCP2とへ送信される。その後、第1コンピュータCP1は、無線通信により、前記駆動信号を、第1マイコン7へ送信し、第2コンピュータCP2は、無線通信により、前記駆動信号を、第2マイコン8へ送信する。
また、制御システム1Aは、各オペレータOPが、それぞれロボットアバター2の実物を見ることなく、3次元的動作を行えるように、各オペレータOPに対してロボットアバター2の画像を表示する表示装置11,12を備える。表示装置11,12は、例えば、ヘッドマウントディスプレイ、液晶ディスプレイ等からなる。第1オペレータOP1用の表示装置11の表示制御は、第1コンピュータCP1で行われ、第2オペレータOP2用の表示装置12の表示制御は、第2コンピュータCP2で行われる。各表示装置11,12には、カメラ(撮像装置)13で撮影されたロボットアバター2の画像が表示される。カメラ13は、ロボットアバター2を撮影するために空間S3に設置されている。カメラ13で撮影された画像は、OPコンピュータ5及び通信回線14を経由して、各表示装置11,12へ送られる。
本実施形態の制御システム1Aを利用すれば、複数(2人)のオペレータOP及びロボットアバター2が、それぞれ互いに離れていても、複数(2人)のオペレータOPは、互いに操作を分担しつつ、互いの操作状況(指示動作に対応した運動状態)を把握しながら、1台のロボットアバターを同時に(共同で)操作することができる。
<実施形態3>
次いで、実施形態3に係る制御システム1Bを、図9を参照しつつ説明する。図9は、実施形態3の制御システム1Bにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
次いで、実施形態3に係る制御システム1Bを、図9を参照しつつ説明する。図9は、実施形態3の制御システム1Bにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
本実施形態の制御システム1Bは、実施形態1と同様、ロボットアバター(ロボットアーム)2にタスクを実行させるものであり、それに必要な各種の構成(OPコンピュータ、コントローラ)等を備えている。本実施形態では、実施形態1と異なる部分について説明する(本実施形態以降の他の実施形態についても同様である)。
第1オペレータOP1の操作によって動作が制御される制御対象は、アーム部22であり、第2オペレータOP2の操作によって動作が制御される制御対象は、作用部21の把持部21aである。本実施形態では、第1オペレータOP1と第2オペレータOP2とで、制御対象が互いに異なっている。アーム部22は、第1オペレータOP1のみで操作され、作用部21の把持部21aは、第2オペレータOP2のみで操作される。第1オペレータOP1がアーム部22の動作を制御する制御目的は、作用部21の位置制御と姿勢制御(位置・姿勢制御)であり、第2オペレータOP2が把持部21aの動作を制御する制御目的は、把持部21aの開閉制御である。このような役割分担は、例えば、作用部21(把持部21a)の操作を慎重に行う必要がある場合(把持部21aが柔らかい物を把持する場合等)に有効である。
このような条件下で、第1オペレータOP1及び第2オペレータOP2によって、ロボットアバター(ロボットアーム)2の動作を制御する際に、ロボットアバター2側(OPコンピュータの制御部)に入力される情報(入力情報)は、以下の通りである。
第1オペレータOP1により、作用部21の位置・姿勢制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第1剛体の位置情報及び姿勢情報が入力される。また、第2オペレータOP2により、把持部21aの開閉制御を目的として、第2入力装置(曲げセンサ)32を介して、把持部21aを動作させるための情報(開閉情報)が入力される。
これに対して、ロボットアバター2の動作の制御時に、ロボットアバター2側(OPコンピュータの制御部)から、第1オペレータOP1及び第2オペレータOP2に返される情報(フィードバック情報)は、以下の通りである。
第1オペレータOP1には、第2オペレータOP2の運動情報が、第1オペレータOP1に装着された運動状態提示装置41が提示する振動刺激として返される。この場合の第2オペレータOP2の運動情報は、例えば、OPコンピュータの制御部において、第2入力装置32から得られる出力抵抗値の変化に基づいて生成される。また、第2オペレータOP2には、第1オペレータOP1の運動情報が、第2オペレータOP2に装着された運動状態提示装置41が提示する振動刺激として返される。したがって、第1オペレータOP1と第2オペレータOP2とは、互いに相手側の指示動作に対応した運動状態を直感的に素早く把握しながら、ロボットアバター2の動作を操作できる。
また、第1オペレータOP1及び第2オペレータOP2には、把持部21aが外部の物体を把持した際の情報(把持部の把持状態情報)が、各オペレータOPに装着された各作用部情報提示装置42が提示する圧迫刺激として返される。したがって、第1オペレータOP1及び第2オペレータOP2は、ロボットアバター2を操作しながら、把持部21aが物体側から受ける力(作用部21が受ける物理的な作用)を、作用部情報提示装置42が提示する圧迫刺激として、直感的に素早く共有できる。
<実施形態4>
次いで、実施形態4に係る制御システム1Cを、図10及び図11を参照しつつ説明する。図10は、実施形態4の制御システム1Cにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図であり、図11は、実施形態4のロボットアバター2Cが備える作用部21Cを模式的に表した説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2Cの操作が行われる。本実施形態のロボットアバター(ロボットアーム)2Cは、作用部21Cの種類が実施形態1と異なっている。作用部21Cは、各指部の動作を独立して制御可能な5本指型のロボットハンドからなる。作用部21Cは、親指に対応した第1指部211と、人差し指に対応した第2指部212と、中指に対応した第3指部213と、薬指に対応した第4指部214と、小指に対応した第5指部215とを備える。なお、アーム部22は、実施形態1と同じである。
次いで、実施形態4に係る制御システム1Cを、図10及び図11を参照しつつ説明する。図10は、実施形態4の制御システム1Cにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図であり、図11は、実施形態4のロボットアバター2Cが備える作用部21Cを模式的に表した説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2Cの操作が行われる。本実施形態のロボットアバター(ロボットアーム)2Cは、作用部21Cの種類が実施形態1と異なっている。作用部21Cは、各指部の動作を独立して制御可能な5本指型のロボットハンドからなる。作用部21Cは、親指に対応した第1指部211と、人差し指に対応した第2指部212と、中指に対応した第3指部213と、薬指に対応した第4指部214と、小指に対応した第5指部215とを備える。なお、アーム部22は、実施形態1と同じである。
第1オペレータOP1の操作によって動作が制御される制御対象は、アーム部22、第1指部211、第2指部212及び第3指部213の4つである。第2オペレータOP2の操作によって動作が制御される制御対象は、第4指部214及び第5指部215の2つである。
第1オペレータOP1がアーム部22の動作を制御する制御目的は、作用部21Cの位置制御と姿勢制御(位置・姿勢制御)である。また、第1オペレータOP1が各指部(第1指部211、第2指部212及び第3指部213)の各動作を制御する制御目的は、各指部が外部の物体に対して接触する接触状態と接触しない非接触状態とを切り替えるためである。また、第2オペレータOP2が各指部(第4指部214及び第5指部215)の各動作を制御する制御目的は、各指部が外部の物体に対して接触する接触状態と接触しない非接触状態とを切り替える接触・非接触制御ためである。このような役割分担は、例えば、5本の指部を独立して制御する必要がある場合(楽器を演奏する場合等)に有効である。
本実施形態の場合、第1オペレータOP1の第1指(親指)、第2指(人差し指)及び第3指(中指)に対して、それぞれ1つずつ第2入力装置(曲げセンサ)32が装着される。第1オペレータOP1の第1指に装着された第2入力装置32は、第1指部211の操作に使用され、第2指に装着された第2入力装置32は、第2指部212の操作に使用され、第3指に装着された第2入力装置32は、第3指部213の操作に使用される。また、第2オペレータOP2の第4指(薬指)及び第5指(小指)に対して、それぞれ1つずつ第2入力装置(曲げセンサ)32が装着される。第2オペレータOP2の第4指に装着された第2入力装置32は、第4指部214の操作に使用され、第5指に装着された第2入力装置32は、第5指部の操作に使用される。
また、作用部21Cの各指部の内側(物体と接触する側)には、それぞれ振動を検知するための振動センサ(検知センサ)23Cが取り付けられている。
このような条件下で、第1オペレータOP1及び第2オペレータOP2によって、ロボットアバター(ロボットアーム)2Cの動作を制御する際に、ロボットアバター2C側(OPコンピュータの制御部)に入力される情報(入力情報)は、以下の通りである。
第1オペレータOP1により、作用部21Cの位置・姿勢制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第1剛体の位置情報及び姿勢情報が入力される。また、第1オペレータOP1により、各指部(第1指部211、第2指部212及び第3指部213)の接触・非接触制御を目的として、第1オペレータOP1に装着された各第2入力装置(曲げセンサ)32を介して、各指部を動作させるための情報(接触・非接触情報)が入力される。また、第2オペレータOP2により、各指部(第4指部214及び第5指部215)の接触・非接触制御を目的として、第2オペレータOP2に装着された各第2入力装置(曲げセンサ)32を介して、各指部を動作させるための情報(接触・非接触情報)が入力される。
これに対して、ロボットアバター2Cの動作の制御時に、ロボットアバター2C側(OPコンピュータの制御部)から、第1オペレータOP1及び第2オペレータOP2に返される情報(フィードバック情報)は、以下の通りである。
第1オペレータOP1には、第2オペレータOP2の第4指及び第5指の各指示動作に対応した運動状態が、第1オペレータOP1に装着された運動状態提示装置(振動子)41C3が提示する振動刺激として返される。この運動状態提示装置(振動子)41C3は、2本の指(第4指及び第5指)の運動情報を区別できるように、第1オペレータOP1に振動刺激を提示する。
また、第2オペレータOP2には、第1オペレータOP1の第1入力装置31を使用した指示動作に対応した運動情報1(手の甲の運動情報)が、第2オペレータOP2に装着された運動状態提示装置(振動子)41C1が提示する振動刺激として返される。更に、第2オペレータOP2には、第1オペレータOP1の第1指、第2指及び第3指の各指示動作に対応した運動情報2が、第2オペレータOP2に装着された運動状態提示装置(振動子)41C2が提示する振動刺激として返される。この運動状態提示装置(振動子)41C2は、3本の指(第1指、第2指及び第3指)の運動状態を区別できるように、第1オペレータOP1に振動刺激を提示する。したがって、第1オペレータOP1と第2オペレータOP2とは、互いに相手側の指示動作に対応した運動状態を直感的に素早く把握しながら、ロボットアバター2Cの動作を操作できる。
また、第1オペレータOP1及び第2オペレータOP2には、作用部21Cの各指部にそれぞれ取り付けられた複数の振動センサ23Cが検知した情報(各指部の接触情報)が、各オペレータOPに装着された作用部情報提示装置42Cとしての振動子によって、振動刺激として返される。したがって、第1オペレータOP1及び第2オペレータOP2は、ロボットアバター2Cを操作しながら、各指部が受けた振動を、作用部情報提示装置42Cが提示する振動刺激として、直感的に素早く共有できる。作用部情報提示装置42Cに使用される振動子は、各指部が受けた振動を区別できるように、各オペレータOPに対して振動刺激を提示する。
<実施形態5>
次いで、実施形態5に係る制御システム1Dを、図12を参照しつつ説明する。図12は、実施形態5の制御システム1Dにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
次いで、実施形態5に係る制御システム1Dを、図12を参照しつつ説明する。図12は、実施形態5の制御システム1Dにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
第1オペレータOP1の操作によって動作が制御される制御対象は、アーム部22であり、第2オペレータOP2の操作によって動作が制御される制御対象も、アーム部22である。第1オペレータOP1がアーム部22の動作を制御する制御目的は、作用部21の位置制御のうち、3次元座標系におけるx軸及びy軸の位置制御(xy位置制御)である。第2オペレータOP2がアーム部22の動作を制御する制御目的は、作用部21の姿勢制御と、作用部21の位置制御のうち、3次元座標系におけるz軸の位置制御(z位置制御)である。このような役割分担は、例えば、作用部21の位置制御の中でも、高さ方向の位置制御(z位置制御)が重要な場合(作用部21の把持部21aにペンを持たせて、机の上に置いた状態のボードの表面に文字を書く場合等)に有効である。なお、作用部21の把持部21aの操作は、実施形態1と同様、第2オペレータOP2が行う。
このような条件下で、第1オペレータOP1及び第2オペレータOP2によって、ロボットアバター(ロボットアーム)2の動作を制御する際に、ロボットアバター2側(OPコンピュータの制御部)に入力される情報(入力情報)は、以下の通りである。
第1オペレータOP1により、作用部21のxy位置制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第1剛体のxy位置情報が入力される。また、第2オペレータOP2により、作用部21の姿勢制御及びz位置制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第2剛体のz位置情報及び姿勢情報が入力される。
これに対して、ロボットアバター2の動作の制御時に、ロボットアバター2側(OPコンピュータの制御部)から、第1オペレータOP1及び第2オペレータOP2に返される情報(フィードバック情報)は、以下の通りである。
第1オペレータOP1には、第2オペレータOP2の運動情報が、第1オペレータOP1に装着された運動状態提示装置41が提示する振動刺激として返される。また、第2オペレータOP2には、第1オペレータOP1の運動情報が、第2オペレータOP2に装着された運動状態提示装置41が提示する振動刺激として返される。したがって、第1オペレータOP1と第2オペレータOP2とは、互いに相手側の指示動作に対応した運動状態を直感的に素早く把握しながら、ロボットアバター2の動作を操作できる。
また、第1オペレータOP1及び第2オペレータOP2には、把持部21aが外部の物体を把持した際の情報(把持部の把持状態情報)が、各オペレータOPに装着された各作用部情報提示装置42が提示する圧迫刺激として返される。したがって、第1オペレータOP1及び第2オペレータOP2は、ロボットアバター2を操作しながら、把持部21aが物体側から受ける力(作用部21が受ける物理的な作用)を、作用部情報提示装置42が提示する圧迫刺激として、直感的に素早く共有できる。
<実施形態6>
次いで、実施形態6に係る制御システム1Eを、図13を参照しつつ説明する。図13は、実施形態6の制御システム1Eにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、3人のオペレータOP(第1オペレータOP1、第2オペレータOP2及び第3オペレータOP3)で、1台のロボットアバター2の操作が行われる。
次いで、実施形態6に係る制御システム1Eを、図13を参照しつつ説明する。図13は、実施形態6の制御システム1Eにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、3人のオペレータOP(第1オペレータOP1、第2オペレータOP2及び第3オペレータOP3)で、1台のロボットアバター2の操作が行われる。
第1オペレータOP1の操作によって動作が制御される制御対象は、アーム部22であり、第2オペレータOP2の操作によって動作が制御される制御対象も、アーム部22である。そして、第3オペレータOP3の操作によって動作が制御される制御対象は、作用部21の把持部21aである。第1オペレータOP1がアーム部22の動作を制御する制御目的は、作用部21の位置制御である。第2オペレータOP2がアーム部22の動作を制御する制御目的は、作用部21の姿勢制御である。そして、第3オペレータOP3がアーム部22の動作を制御する制御目的は、把持部21aの開閉制御である。このような役割分担は、例えば、作用部21の姿勢制御が重要であり、かつ作用部21を外部の物体に対して慎重に作用させる場合に有効である。
このような条件下で、各オペレータOPによって、ロボットアバター(ロボットアーム)2の動作を制御する際に、ロボットアバター2側(OPコンピュータの制御部)に入力される情報(入力情報)は、以下の通りである。
第1オペレータOP1により、作用部21の位置制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第1剛体の位置情報が入力される。また、第2オペレータOP2により、作用部21の姿勢制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第2剛体の姿勢情報が入力される。そして、第3オペレータOP3により、把持部21aの開閉制御を目的として、第2入力装置(曲げセンサ)32を介して、把持部21aを動作させるための情報(開閉情報)が入力される。
これに対して、ロボットアバター2の動作の制御時に、ロボットアバター2側(OPコンピュータの制御部)から、各オペレータOPに返される情報(フィードバック情報)は、以下の通りである。
第1オペレータOP1には、第2オペレータOP2の運動情報と、第3オペレータOP3の運動情報(把持動作情報)の2種類の運動情報が、第1オペレータOP1に装着された運動状態提示装置41が提示する振動刺激として返される。第1オペレータOP1用の運動状態提示装置41は、各オペレータの運動情報を区別できるように2種類の振動刺激を提示する。また、第2オペレータOP2には、第1オペレータOP1の運動情報と、第3オペレータの運動情報(把持動作情報)の2種類の運動情報が、第2オペレータOP2に装着された運動状態提示装置41が提示する振動刺激として返される。第2オペレータOP2用の運動状態提示装置41は、各オペレータの運動情報を区別できるように2種類の振動刺激を提示する。そして、第3オペレータOP3には、第1オペレータOP2の運動情報と、第2オペレータOP2の運動情報の2種類の運動情報が、第3オペレータOP3に装着された運動状態提示装置41が提示する振動刺激として返される。第3オペレータOP3用の運動状態提示装置41は、各オペレータの運動情報を区別できるように2種類の振動刺激を提示する。したがって、3人の各オペレータOPは、互いに相手側の指示動作に対応した運動状態を直感的に素早く把握しながら、ロボットアバター2の動作を操作できる。
また、3人の各オペレータOPには、把持部21aが外部の物体を把持した際の情報(検知センサ23の検知結果に基づく把持部の把持状態情報)が、各オペレータOPに装着された各作用部情報提示装置42が提示する圧迫刺激として返される。したがって、3人の各オペレータOPは、ロボットアバター2を操作しながら、把持部21aが物体側から受ける力(作用部21が受ける物理的な作用)を、作用部情報提示装置42が提示する圧迫刺激として、直感的に素早く共有できる。
<実施形態7>
次いで、実施形態7に係る制御システム1Fを、図14を参照しつつ説明する。図14は、実施形態7の制御システム1Fにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
次いで、実施形態7に係る制御システム1Fを、図14を参照しつつ説明する。図14は、実施形態7の制御システム1Fにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
第1オペレータOP1の操作によって動作が制御される制御対象と、第2オペレータOP2の操作によって動作が制御される制御対象は、共にアーム部22である。また、第1オペレータOP1がアーム部22の動作を制御する制御目的と、第2オペレータOP2がアーム部22の動作を制御する制御目的は、共に作用部の位置・姿勢制御である。なお、なお、作用部21の把持部21aの開閉制御は、第2オペレータOP2により行われる。
本実施形態の場合、複数人のオペレータOP(第1オペレータOP1、第2オペレータOP2)に対して、特定の制御対象であるアーム部22の制御に寄与する割合(制御割合)がそれぞれ予め定められている。
例えば、アーム部22の動作の制御について、各オペレータOPの制御割合の合計をα%とした場合、第1オペレータOP1の制御割合は、αr%、第2オペレータOP2の制御割合は、α(1-r)%となる(ただし、0<r<1)。αやrの各値は、適宜、設定される。
本実施形態のアーム部指令生成部(第1生成部)は、複数人のオペレータOPがそれぞれ行う指示動作に合わせてロボットアバター2が動作するように、複数の指示動作に対応した複数の入力情報に基づいて、各オペレータOPがアーム部22を各制御割合に応じて制御するための、複数の動作指令を生成する処理を実行する。
本実施形態の場合、アーム部指令生成部(OPコンピュータの制御部)において、第1オペレータOP1に基づく入力値が、α%の値として処理され、第2オペレータOP2に基づく入力値が、α(1-r)%の値として処理される。各オペレータOPの入力値は、例えば、各オペレータOPに対応した各剛体(第1剛体、第2剛体)の位置・姿勢情報の変位量(位置座標データの変位量、回転データの変位量)からなる。
例えば、αを100とし、r=0.5とした場合、第1オペレータOP1及び第2オペレータOP2の各制御割合は、50%となる。また、αを100とし、r=0.3とした場合、第1オペレータOP1の制御割合は、30%となり、第2オペレータOP2の制御割合は、70%となる。また、αを200とし、r=0.5とした場合、第1オペレータOP1及び第2オペレータOP2の各制御割合は、100%となる。
このように、各オペレータOPに、制御対象(アーム部22)の制御に寄与する制御割合を定めておくと、アーム部22の動作に関して、複数人のオペレータOPの指示動作を任意の割合で融合させることができる。
このような条件下で、第1オペレータOP1及び第2オペレータOP2によって、ロボットアバター(ロボットアーム)2の動作を制御する際に、ロボットアバター2側(OPコンピュータの制御部)に入力される情報(入力情報)は、以下の通りである。
第1オペレータOP1により、作用部21の位置・姿勢制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第1剛体の位置情報及び姿勢情報が入力される。また、第2オペレータOP2により、作用部21の位置・姿勢制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第2剛体の位置情報及び姿勢情報が入力される。
また、第2オペレータOP2により、把持部21aの開閉制御を目的として、第2入力装置(曲げセンサ)32を介して、把持部21aを動作させるための情報(開閉情報)が入力される。
これに対して、ロボットアバター2の動作の制御時に、ロボットアバター2側(OPコンピュータの制御部)から、第1オペレータOP1及び第2オペレータOP2に返される情報(フィードバック情報)は、以下の通りである。
第1オペレータOP1には、第2オペレータOP2の運動情報が、第1オペレータOP1に装着された運動状態提示装置41が提示する振動刺激として返される。また、第2オペレータOP2には、第1オペレータOP1の運動情報が、第2オペレータOP2に装着された運動状態提示装置41が提示する振動刺激として返される。
本実施形態のOPコンピュータが備える運動情報生成部(第2生成部)は、画像解析部511で生成された複数の入力情報(第1剛体の3次元位置・姿勢情報及び第2剛体の3次元位置・姿勢情報)に基づいて、各オペレータOPの指示動作に対応した複数の運動情報(触覚振動信号)を生成する処理を実行する。ここでは、各剛体(第1剛体、第2剛体)について、位置と姿勢の時間変化から速度を計算し、そのスカラー量を、各オペレータOPの運動情報とした。なお、ここで得られた値(スカラー量)に対応して、200[Hz]の正弦波を振幅変調させ、それを運動情報に対応した振動(振動刺激)として、対応するオペレータOPの運動状態提示装置41を用いて提示した。したがって、第1オペレータOP1と第2オペレータOP2とは、互いに相手側の指示動作に対応した運動状態を直感的に素早く把握しながら、ロボットアバター2の動作を操作できる。
また、第1オペレータOP1及び第2オペレータOP2には、把持部21aが外部の物体を把持した際の情報(検知センサ23の検出結果に基づく把持部の把持状態情報)が、各オペレータOPに装着された各作用部情報提示装置42が提示する圧迫刺激として返される。したがって、第1オペレータOP1及び第2オペレータOP2は、ロボットアバター2を操作しながら、把持部21aが物体側から受ける力(作用部21が受ける物理的な作用)を、作用部情報提示装置42が提示する圧迫刺激として、直感的に素早く共有できる。
<実施形態8>
次いで、実施形態8に係る制御システム1Gを、図15を参照しつつ説明する。図15は、実施形態8の制御システム1Gにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
次いで、実施形態8に係る制御システム1Gを、図15を参照しつつ説明する。図15は、実施形態8の制御システム1Gにおいて、各オペレータOPにより入力される入力情報と、各オペレータOPに返されるフィードバック情報との関係を示す説明図である。本実施形態では、2人のオペレータOP(第1オペレータOP1、第2オペレータOP2)で、1台のロボットアバター2の操作が行われる。
本実施形態の制御システム1Gは、ロボットアバター2のアーム部22の制御内容については、実施形態7と同じであり、各オペレータOPに対して、アーム部22の制御に寄与する制御割合がそれぞれ予め定められている。アーム部22の制御内容は、実施形態7と同じであるため、説明を省略する。
本実施形態の場合、第1オペレータOP1及び第2オペレータOP2は、共に作用部21を制御対象としている。また、第1オペレータOP1及び第2オペレータOP2の各制御目的も、把持部21aの開閉制御で共通している。各オペレータOPは、それぞれ第2入力装置(曲げセンサ)32を利用して把持部21aの開閉動作を指示する。
そして、各オペレータOPには、把持部21aの開閉制御に寄与する制御割合がそれぞれ予め定められている。把持部21aの開閉制御について、各オペレータOPの制御割合の合計をα%とした場合、第1オペレータOP1の制御割合は、αr%、第2オペレータOP2の制御割合は、α(1-r)%となる(ただし、0<r<1)。なお、αやrの値は、アーム部22のものと同じであってもよいし、異なっていてもよい。
本実施形態のOPオペレータの制御部は、複数人のオペレータOPがそれぞれ行う指示動作に合わせてロボットアバター2が動作するように、複数の指示動作に対応した複数の入力情報に基づいて、各オペレータOPが把持部21aを各制御割合に応じて制御するための、複数の動作指令を生成する処理を実行する。
本実施形態のOPオペレータの制御部において、把持部21aの開閉制御に関して、第1オペレータOP1に基づく入力値が、αr%の値として処理され、第2オペレータOP2に基づく入力値が、α(1-r)%の値として処理される。各オペレータOPの入力値は、例えば、各オペレータOPに対応した各第2入力装置32からの出力抵抗値の変化量からなる。
このように、各オペレータOPに、制御対象(作用部21の把持部21a)の開閉制御に寄与する制御割合を定めておくと、把持部21aの開閉動作に関して、複数人のオペレータOPの指示動作を任意の割合で融合させることができる。
このような条件下で、第1オペレータOP1及び第2オペレータOP2によって、ロボットアバター(ロボットアーム)2の動作を制御する際に、ロボットアバター2側(OPコンピュータの制御部)に入力される情報(入力情報)は、以下の通りである。
第1オペレータOP1により、作用部21の位置・姿勢制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第1剛体の位置情報及び姿勢情報が入力される。また、第2オペレータOP2により、作用部21の位置・姿勢制御を目的として、モーションキャプチャを利用した第1入力装置31(カメラ312)を介して、アーム部22を動作させるための第2剛体の位置情報及び姿勢情報が入力される。
また、第1オペレータOP1により、把持部21aの開閉制御を目的として、第2入力装置(曲げセンサ)32を介して、把持部21aを動作させるための情報(開閉情報)が入力される。また、第2オペレータOP2により、把持部21aの開閉制御を目的として、第2入力装置(曲げセンサ)32を介して、把持部21aを動作させるための情報(開閉情報)が入力される。
これに対して、ロボットアバター2の動作の制御時に、ロボットアバター2側(OPコンピュータの制御部)から、第1オペレータOP1及び第2オペレータOP2に返される情報(フィードバック情報)は、以下の通りである。
第1オペレータOP1には、第2オペレータOP2の運動情報が、第1オペレータOP1に装着された運動状態提示装置41が提示する振動刺激として返される。また、第2オペレータOP2には、第1オペレータOP1の運動情報が、第2オペレータOP2に装着された運動状態提示装置41が提示する振動刺激として返される。したがって、第1オペレータOP1と第2オペレータOP2とは、互いに相手側の指示動作に対応した運動状態を直感的に素早く把握しながら、ロボットアバター2の動作を操作できる。
また、第1オペレータOP1及び第2オペレータOP2には、把持部21aが外部の物体を把持した際の情報(検知センサ23の検出結果に基づく把持部の把持状態情報)が、各オペレータOPに装着された各作用部情報提示装置42が提示する圧迫刺激として返される。したがって、第1オペレータOP1及び第2オペレータOP2は、ロボットアバター2を操作しながら、把持部21aが物体側から受ける力(作用部21が受ける物理的な作用)を、作用部情報提示装置42が提示する圧迫刺激として、直感的に素早く共有できる。
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
(1)ロボットアバターを操作するための入力装置として、モーションキャプチャを使用する場合、実施形態1で例示した光学式のモーションキャプチャに限られない。他の実施形態では、本発明の目的を損なわない限り、例えば、磁気式、機械式、慣性センサ式、画像認識式等の他方方式のモーションキャプチャを使用してもよい。また、光学式のモーションキャプチャとしては、例えば、オペレータが所定のコントローラを手に持ち、そのコントローラが備える赤外線LEDからの光(赤外光)を、カメラで撮影するものであってもよい。
(2)ロボットアバターを操作するための入力装置として、例えば、オペレータの手に装着するグローブ型のセンサ(高性能データグローブ、「CyberGlove」、CyberGlove Systems社製)を使用してもよい。
(3)上記実施形態1等において、作用部(把持部)の操作を、曲げセンサを利用して行っていたが、他の実施形態においては、モーションキャプチャ等の他の入力装置を利用して、作用部(把持部)の操作を行ってもよい。
(4)オペレータが身体に障害を持っている場合等において、オペレータが動かせる身体の部位や、身体を動かせる範囲(距離)が限られることがある。そのため、前記入力装置として、オペレータの限られた動きで操作可能な、機械式の操作装置(押下式スイッチ、ジョイスティック等)、キーボード、アイトラッカー等が使用されてもよい。
(5)他の実施形態においては、オペレータの指示動作に関連した運動状態が、そのオペレータの指示動作に対応して動作する制御対象の動作状態(運動状態)であってもよい。例えば、ロボットアバター(ロボットアーム)に設けられたエンコーダ等のロボットアバターの各部位の位置を検出する検出装置を利用して、オペレータの指示動作に対応して動作する制御対象(例えば、アーム部)の動作状態に関する情報(検出装置からの検出信号)を取得することができる。この場合、その取得された情報に基づいて、OPコンピュータの制御部は、オペレータの指示動作に関連した運動状態(オペレータの指示動作に対応して動作する制御対象の動作状態)に対応した運動情報を生成する。そして更に、OPコンピュータの制御部は、前記運動情報を、前記オペレータ以外の他のオペレータの運動状態提示装置へフィードバックする。
1…ロボットアバター制御システム、2…ロボットアバター(ロボットアーム)、21…作用部、21a…把持部、21b…指部、22…本体部(アーム部)、3…入力装置、311…マーカー、312…カメラ、31…第1入力装置、32…第2入力装置、4…情報提示装置、41…運動状態提示装置、411…振動子、42…作用部情報提示装置、5…オペレーティングコンピュータ(OPコンピュータ)、510…制御部、6…コントローラ、7…第1マイコン、8…第2マイコン
Claims (14)
- 動作が制御される制御対象を含む1台のロボットアバターと、
前記ロボットアバターにタスクを実行させるための、複数人のオペレータがそれぞれ行う指示動作に基づいて、複数の入力情報を生成する入力装置と、
複数の前記指示動作に合わせて前記ロボットアバターが動作するように、複数の前記入力情報に基づいて、前記制御対象を動作させるための複数の動作指令を生成する第1生成部と、
複数の前記動作指令に基づいて、前記制御対象の動作を制御する動作制御部と、
複数人の前記オペレータに対して、それぞれ装着されると共に、前記入力装置の使用時に、各オペレータが自分以外の他のオペレータの前記指示動作に関連した運動状態を把握できるように、触覚刺激をそれぞれ提示する複数の運動状態提示装置と、を備える複数人によるロボットアバター制御システム。 - 前記入力情報に基づいて、又は前記指示動作に対応して動作する前記制御対象の動作状態に関する情報に基づいて、前記運動状態に対応した運動情報を生成する第2生成部を備え、
前記運動状態提示装置は、自分以外の他の前記オペレータに関する前記運動情報に基づいて、前記触覚刺激を提示する請求項1に記載の複数人によるロボットアバター制御システム。 - 前記第2生成部は、前記運動情報を、前記運動状態に関する物理量を利用して生成する請求項2に記載の複数人によるロボットアバター制御システム。
- 前記運動状態提示装置は、前記オペレータに前記触覚刺激として振動刺激を提示する振動子を有する請求項1~請求項3の何れか一項に記載の複数人によるロボットアバター制御システム。
- 複数の前記オペレータに対して、互いに異なった前記制御対象、又は互いに異なった制御目的が割り当てられ、
前記第1生成部は、複数の前記入力情報に基づいて、複数の前記オペレータが互いに異なった前記制御対象を制御するための、又は複数の前記オペレータが互いに異なった前記制御目的で制御するための、複数の前記動作指令を生成する請求項1~請求項4の何れか一項に記載の複数人によるロボットアバター制御システム。 - 複数の前記オペレータに対して、特定の前記制御対象の制御に寄与する割合がそれぞれ定められており、
前記第1生成部は、複数の前記入力情報に基づいて、複数の前記オペレータが特定の前記制御対象を前記割合に応じて制御するための、複数の前記動作指令を生成する請求項1~請求項4の何れか一項に記載の複数人によるロボットアバター制御システム。 - 前記ロボットアバターは、物体に対して作用を及ぼすように動作可能な作用部と、前記作用部を保持しつつ移動可能な本体部とを有する請求項1~請求項6の何れか一項に記載の複数人によるロボットアバター制御システム。
- 前記作用部に取り付けられると共に、前記作用部が前記物体に対して作用を及ぼした際に、前記作用部が前記物体側から受ける物理的な作用を検知する検知センサと、
複数の前記オペレータに対して、それぞれ装着されると共に、前記作用部の動作時に前記オペレータ同士で、前記作用部が前記物体側から受ける前記作用を共有できるように、各オペレータに対して、前記検知センサの検知結果に対応した触覚刺激をそれぞれ提示する作用部情報提示装置を備える請求項7に記載の複数人によるロボットアバター制御システム。 - 前記オペレータが前記入力装置に対して行う前記指示動作が、前記オペレータの身体の一部を3次元的に動かす3次元的動作からなる請求項1~請求項8の何れか一項に記載の複数人によるロボットアバター制御システム。
- 前記オペレータが、前記ロボットアバターの実物を見ることなく前記指示動作を行えるように、前記オペレータに対して前記ロボットアバターの画像を表示する表示装置を備える請求項1~請求項9の何れか一項に記載の複数人によるロボットアバター制御システム。
- 動作が制御される制御対象を含む1台のロボットアバターを複数人のオペレータで制御する制御方法であって、
前記ロボットアバターにタスクを実行させるための、複数人の前記オペレータがそれぞれ行う指示動作に基づいて、入力装置が複数の入力情報を生成する入力情報生成工程と、
複数の前記指示動作に合わせて前記ロボットアバターが動作するように、複数の前記入力情報に基づいて、前記制御対象を動作させるための複数の動作指令を生成する動作指令生成工程と、
複数の前記動作指令に基づいて、前記制御対象の動作を制御する動作制御工程と、
複数人の前記オペレータに対して、それぞれ装着される複数の運動状態提示装置が、前記入力装置の使用時に、各オペレータが自分以外の他のオペレータの前記指示動作に関連した運動状態を把握できるように、それぞれ触覚刺激を提示する触覚刺激提示工程とを備える制御方法。 - 前記入力情報に基づいて、又は前記指示動作に対応して動作する前記制御対象の動作状態に関する情報に基づいて、前記運動状態に対応した運動情報を生成する運動情報生成工程を備え、
前記触覚刺激提示工程において、自分以外の他の前記オペレータに関する前記運動情報に基づいて、前記触覚刺激を提示する請求項11に記載の制御方法。 - 複数の前記オペレータに対して、互いに異なった前記制御対象、又は互いに異なった制御目的が割り当てられており、
前記動作指令生成工程は、複数の前記入力情報に基づいて、複数の前記オペレータが互いに異なった前記制御対象を制御するための、又は複数の前記オペレータが互いに異なった前記制御目的で制御するための、複数の前記動作指令を生成する請求項11又は請求項12に記載の制御方法。 - 複数の前記オペレータに対して、特定の前記制御対象の制御に寄与する割合がそれぞれ定められており、
前記動作指令生成工程は、複数の前記入力情報に基づいて、複数の前記オペレータが特定の前記制御対象を前記割合に応じて制御するための、複数の前記動作指令を生成する請求項11又は請求項12に記載の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023546915A JPWO2023037966A1 (ja) | 2021-09-09 | 2022-09-01 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021147218 | 2021-09-09 | ||
JP2021-147218 | 2021-09-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023037966A1 true WO2023037966A1 (ja) | 2023-03-16 |
Family
ID=85506684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/033027 WO2023037966A1 (ja) | 2021-09-09 | 2022-09-01 | 複数人によるロボットアバター制御システム、及び制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023037966A1 (ja) |
WO (1) | WO2023037966A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08215211A (ja) * | 1995-02-16 | 1996-08-27 | Hitachi Ltd | 遠隔手術支援装置とその方法 |
JPH10254344A (ja) * | 1997-03-14 | 1998-09-25 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | 協調物体操作装置 |
WO2020194883A1 (ja) * | 2019-03-26 | 2020-10-01 | コベルコ建機株式会社 | 遠隔操作システム |
-
2022
- 2022-09-01 WO PCT/JP2022/033027 patent/WO2023037966A1/ja active Application Filing
- 2022-09-01 JP JP2023546915A patent/JPWO2023037966A1/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08215211A (ja) * | 1995-02-16 | 1996-08-27 | Hitachi Ltd | 遠隔手術支援装置とその方法 |
JPH10254344A (ja) * | 1997-03-14 | 1998-09-25 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | 協調物体操作装置 |
WO2020194883A1 (ja) * | 2019-03-26 | 2020-10-01 | コベルコ建機株式会社 | 遠隔操作システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023037966A1 (ja) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
Fang et al. | A robotic hand-arm teleoperation system using human arm/hand with a novel data glove | |
WO2018201240A1 (en) | Systems and methods for remotely controlling a robotic device | |
WO2011065034A1 (ja) | ロボットの動作を制御する方法およびロボットシステム | |
JP5974668B2 (ja) | マニピュレーションシステム | |
Bhuyan et al. | Gyro-accelerometer based control of a robotic arm using AVR microcontroller | |
CN109416589A (zh) | 交互系统与交互方法 | |
CN103192387A (zh) | 机器人及其控制方法 | |
JP2020196060A (ja) | 教示方法 | |
US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
Fishel et al. | Tactile telerobots for dull, dirty, dangerous, and inaccessible tasks | |
Dwivedi et al. | Combining electromyography and fiducial marker based tracking for intuitive telemanipulation with a robot arm hand system | |
Ibrahimov et al. | Dronepick: Object picking and delivery teleoperation with the drone controlled by a wearable tactile display | |
Chen et al. | Development of a user experience enhanced teleoperation approach | |
WO2023037966A1 (ja) | 複数人によるロボットアバター制御システム、及び制御方法 | |
CN111687847A (zh) | 一种足式机器人的远程操控装置和操控交互方式 | |
Bolano et al. | Towards a vision-based concept for gesture control of a robot providing visual feedback | |
Tooyama et al. | Development of an assistive system for position control of a human hand with high speed and high accuracy | |
Chu et al. | Hands-free assistive manipulator using augmented reality and tongue drive system | |
CN210377375U (zh) | 体感交互装置 | |
Bai et al. | Kinect-based hand tracking for first-person-perspective robotic arm teleoperation | |
Mohammad et al. | Tele-operation of robot using gestures | |
Ciobanu et al. | Robot telemanipulation system | |
Twardon et al. | Exploiting eye-hand coordination: A novel approach to remote manipulation | |
Grzejszczak et al. | Selection of methods for intuitive, haptic control of the underwater vehicle’s manipulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22867288 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023546915 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |