WO2023162248A1 - 教示操作盤およびロボット制御システム - Google Patents

教示操作盤およびロボット制御システム Download PDF

Info

Publication number
WO2023162248A1
WO2023162248A1 PCT/JP2022/008362 JP2022008362W WO2023162248A1 WO 2023162248 A1 WO2023162248 A1 WO 2023162248A1 JP 2022008362 W JP2022008362 W JP 2022008362W WO 2023162248 A1 WO2023162248 A1 WO 2023162248A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
voice
program
teaching
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/008362
Other languages
English (en)
French (fr)
Inventor
健吾 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to DE112022006146.4T priority Critical patent/DE112022006146T5/de
Priority to CN202280092249.2A priority patent/CN118742422A/zh
Priority to JP2024502765A priority patent/JP7817361B2/ja
Priority to US18/836,756 priority patent/US20250033208A1/en
Priority to PCT/JP2022/008362 priority patent/WO2023162248A1/ja
Priority to TW112103469A priority patent/TW202335810A/zh
Publication of WO2023162248A1 publication Critical patent/WO2023162248A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39438—Direct programming at the console
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39441—Voice command, camera detects object, grasp, move
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39443—Portable, adapted to handpalm, with joystick, function keys, display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to a teaching operation panel and a robot control system.
  • the robot When the worker works with the robot, the robot can be operated using the teaching operation panel.
  • buttons, dials, etc. are arranged in addition to a display section for displaying information.
  • an operator By manipulating buttons, dials, and the like, an operator can send a command for the operation of the robot to the robot control device.
  • voice for example, Japanese Unexamined Patent Application Publication No. 2006-68865 and Japanese Unexamined Patent Application Publication No. 2006-68865; 1-240293
  • the teaching operation panel sends commands to the robot control device that controls the motion of the robot.
  • the teaching console panel includes a voice input unit for inputting voice by the operator, and a voice recognition unit for recognizing the voice acquired by the voice input unit.
  • the teaching operation panel includes a processing unit that transmits at least one command of operation of the operation program of the robot and cancellation of an alarm to the robot control device based on the result of voice recognition by the voice recognition unit.
  • the robot control system of the present disclosure includes the teaching operation panel described above and a robot control device that controls the motion of the robot based on commands from the teaching operation panel.
  • a robot control system including a teaching operation panel and a teaching operation panel that improve the working efficiency of workers.
  • FIG. 1 is a schematic diagram of a robot system in an embodiment
  • FIG. 1 is a block diagram of a robot system having a first teaching operation panel according to an embodiment
  • FIG. It is an image displayed on the display unit of the teaching console. This is an image for selecting a language for speech recognition.
  • FIG. 10 is an explanatory diagram of an icon image for executing a mute function for stopping speech recognition; It is an image in which a warning is displayed on the display section of the teaching console. It is an explanatory view explaining a term for an operator to operate by voice.
  • 4 is a flow chart of control for sending a command to the robot control device by voice input. It is an image for confirming the operation displayed before executing the operation program.
  • It is a block diagram of the second teaching operation panel in the embodiment.
  • FIG. 11 is an explanatory diagram for explaining sounds output from the second teaching console;
  • FIG. 1 A robot control system including a teaching operation panel and a teaching operation panel according to the embodiment will be described with reference to FIGS. 1 to 11.
  • FIG. The robot system of this embodiment includes a work tool, a robot, and a robot control system.
  • the robot control system includes a teaching operation panel and a robot control device that controls the robot.
  • the worker and the robot cooperate to perform a predetermined work.
  • FIG. 1 shows a perspective view of the robot system according to this embodiment.
  • FIG. 2 shows a block diagram of the robot system of this embodiment.
  • robot system 8 of the present embodiment performs operations based on an operation program.
  • a robot system 8 includes a work tool 2 as an end effector and a robot 1 that moves the work tool 2 .
  • Any work tool 2 can be attached to the robot 1 according to the work to be performed by the robot system 8 .
  • a hand can be attached to the robot 1 when the robot system 8 transports a work.
  • a welding torch can be attached to the robot 1 if the robot system 8 performs arc welding.
  • the robot 1 of this embodiment is an articulated robot including a plurality of joints.
  • the robot 1 includes a swivel base 13 supported by a base portion 14 .
  • the swivel base 13 is formed to rotate with respect to the base portion 14 .
  • the robot 1 includes an upper arm 11 and a lower arm 12 rotatably supported via joints. Also, the upper arm 11 rotates around a rotation axis parallel to the direction in which the upper arm 11 extends.
  • the robot 1 includes a wrist 15 rotatably connected to the end of the upper arm 11 .
  • Wrist 15 includes a flange 16 that is rotatably formed.
  • a working tool 2 is secured to the flange 16 of the wrist 15 .
  • the robot 1 of this embodiment has six joint axes, it is not limited to this form. Any robot capable of moving work tools can be employed.
  • the robot 1 of this embodiment is a collaborative robot for working together with a worker.
  • Collaborative robots are equipped with sensors for detecting external forces on the robot.
  • a collaborative robot is formed to be able to detect an external force applied to the robot by arranging a force sensor on the base or by arranging a torque sensor on each joint axis.
  • the robot controller 41 restricts the movement of the robot 1 when the robot 1 comes into contact with a worker or other object and detects an external force. For example, stop the robot or reduce the driving speed of the robot.
  • components such as arms and bases are covered with a housing having a smooth surface so that they may come into contact with workers.
  • the robot is not limited to a collaborative robot, and may be a robot that works alone without working together with a worker.
  • the robot 1 includes a robot driving device that changes the position and posture of the robot 1.
  • the robot drive includes electric motors and the like that drive components such as arms and wrists.
  • the work tool 2 includes a tool driving device that drives the work tool 2 .
  • the tool driving device includes an electric motor and the like for driving the work tool 2 .
  • the robot 1 is provided with a position detector 18 that outputs the rotational position of the joint axis of the robot 1 .
  • the position detector 18 is composed of, for example, an encoder attached to the electric motor.
  • the robot controller 41 can detect the position and orientation of the robot 1 from the output of the position detector 18 .
  • the robot system 8 includes a robot control system 4.
  • the robot control system 4 includes a robot control device 41 including an arithmetic processing device having a CPU (Central Processing Unit) as a processor.
  • the robot control device 41 constitutes a main body of the control device.
  • the arithmetic processing unit has a RAM (Random Access Memory), a ROM (Read Only Memory), etc., which are connected to the CPU via a bus.
  • the arithmetic processing unit of the robot control device 41 includes a storage unit 42 that stores predetermined information.
  • the storage unit 42 stores information regarding control of the robot 1 and the work tool 2 .
  • the storage unit 42 can be configured by a non-temporary storage medium capable of storing information.
  • the storage unit 42 can be configured with a storage medium such as a volatile memory, a nonvolatile memory, a magnetic storage medium, or an optical storage medium.
  • a robot motion program in which the motion of the robot is defined is stored in the storage unit 42 .
  • the arithmetic processing unit of the robot control device 41 includes a motion control unit 43 that sends motion commands for the robot.
  • the operation control unit 43 corresponds to a processor driven according to an operation program.
  • the operation control section 43 is formed so as to be able to read information stored in the storage section 42 .
  • the motion control unit 43 sends motion commands for driving the robot 1 to the electric circuit of the robot driving device based on the motion program.
  • the operation control unit 43 sends an operation command for driving the work tool 2 to the electric circuit of the tool driving device based on the operation program.
  • the robot 1 and work tool 2 are driven based on an operation program.
  • the arithmetic processing unit of the robot control device 41 includes a processing unit 45 that processes information and performs arithmetic operations.
  • the processing unit 45 includes a state detection unit 46 that detects states of the robot 1 and the work tool 2 .
  • the state detector 46 detects the position and orientation of the robot 1 and the position and orientation of the work tool 2 based on the output of the position detector 18 .
  • Each unit of the processing unit 45 and the state detection unit 46 corresponds to a processor driven according to a pre-generated program. Each unit functions by the processor reading the program and executing the control determined by the program.
  • the robot control system 4 is a first controller for an operator to operate the robot 1, input information necessary for controlling the robot system 8, and confirm information necessary for controlling the robot system 8. , including the teaching operation panel 51.
  • the teaching operation panel 51 functions as an operating device for operating the motion of the robot 1 .
  • the teaching operation panel 51 is connected to the robot control device 41 via a communication device.
  • the teaching operation panel 51 sends commands to the robot controller 41 that controls the operations of the robot 1 and work tool 2 .
  • the teaching operation panel 51 in the present embodiment is composed of a tablet computer.
  • the teaching console 51 includes a display 61 including a display panel for displaying images.
  • a display panel of the display device 61 functions as a display unit 62 that displays arbitrary information.
  • the display 61 of the present embodiment is formed so as to be able to detect an input operation when the operator touches the screen.
  • the display device 61 of the present embodiment includes a touch panel type display panel.
  • a touch panel type display panel a display panel of any type such as a resistance film type, a capacitive type, or a surface acoustic wave type can be adopted.
  • the operator can perform an input operation by operating the image displayed on the display panel with a finger.
  • the display 61 is formed to display images (icons) of buttons for operating the robot 1 and the work tool 2 .
  • the display 61 is formed to display an image for inputting or selecting predetermined information.
  • the display 61 is formed so that the pressed position can be detected by pressing the screen with a finger.
  • the display device 61 is configured to determine that the icon image has been pressed by pressing the icon image displayed on the screen with a finger. For example, by pressing an icon displayed on the screen of the display panel with a finger, the operator can operate the robot corresponding to the icon.
  • the display panel of the present embodiment functions as the input section 63 that detects the operator's input operation.
  • the teaching operation panel is not limited to a tablet computer.
  • the teaching operation panel may include a display section that displays information regarding control of the robot system, and an input section that includes input devices such as buttons, keyboards, and dials.
  • the display unit can be composed of an arbitrary display panel such as a liquid crystal display panel that does not have a touch panel function.
  • the teaching operation panel of this embodiment is composed of portable terminals.
  • the teach console is configured to communicate with the robot controller in a wired or wireless manner.
  • the mobile terminal is not limited to a tablet computer, and any mobile terminal can be used.
  • the mobile terminal may be a smartphone or the like.
  • the teaching operation panel 51 includes an arithmetic processing device 53 having a CPU as a processor.
  • the arithmetic processing unit 53 includes a storage unit 54 that stores arbitrary information regarding the robot system.
  • the storage unit 54 can be configured by a non-temporary storage medium capable of storing information.
  • the storage unit 54 can be configured with a storage medium such as a volatile memory, a nonvolatile memory, a magnetic storage medium, or an optical storage medium.
  • the teaching operation panel 51 in this embodiment is formed so as to be able to send commands for controlling the motions of the robot 1 and the work tool 2 to the robot control device 41 based on the voice of the operator.
  • the teaching operation panel 51 includes a microphone 65 as a voice input section through which the operator inputs voice.
  • the microphone 65 in this embodiment is built in the main body of the teaching operation panel 51 .
  • the microphone 65 may be arranged apart from the main body of the teaching operation panel 51 .
  • a headset including a microphone can be employed as the audio input unit.
  • the microphone can communicate with the processing unit 53 by wireless communication. Any device that can acquire the voice of the operator can be used as the voice input unit.
  • the arithmetic processing unit 53 includes a speech recognition unit 55 that recognizes speech acquired by the microphone 65 .
  • the voice recognition unit 55 can recognize the voice of the worker by any method.
  • the speech recognition unit 55 can convert words spoken by the operator into characters.
  • the speech recognition unit 55 can estimate characters from the speech using an acoustic model after data conversion of the speech is performed by acoustic analysis. Then, it is possible to estimate words from a pre-stored dictionary and generate sentences from a language model.
  • the arithmetic processing unit 53 includes a processing unit 56 that processes the result of voice recognition by the voice recognition unit 55 .
  • the processing unit 56 has a transmission unit 56 a that transmits and receives data to and from the robot control device 41 .
  • the transmission unit 56a sends to the robot control device 41 at least one command out of operation of the operation program of the robot 1 and cancellation of the alarm.
  • the processing unit 56 acquires the operator's operation by operating the input unit 63 of the display 61 .
  • the processing unit 56 has a display control unit 56b that controls the image displayed by the display unit 62 of the display device 61 .
  • the display control unit 56b controls the image based on the result of voice recognition acquired by the voice recognition unit 55.
  • FIG. Alternatively, the display control section 56b controls the image based on the result of the operation of the input section 63.
  • Each unit of the speech recognition unit 55, the processing unit 56, the transmission unit 56a, and the display control unit 56b included in the arithmetic processing unit 53 corresponds to a processor driven according to a program generated in advance. Each unit functions by the processor reading the program and executing the control determined by the program.
  • FIG. 3 shows an image displayed on the screen of the display unit in this embodiment.
  • Image 70 is displayed as robotic system 8 performs a task.
  • the image 70 includes an information display area 71 that displays predetermined information.
  • the information display area 71 displays, for example, an image 81 of the name of the operating program, an icon 87 displaying an image displaying a menu of various functions, or the like.
  • the image 70 has a robot display area 72 that displays the image of the robot 1.
  • a three-dimensional image 82 of the robot 1 is displayed so as to correspond to the current posture of the robot 1 .
  • Information for generating the three-dimensional image 82 of the robot is stored in advance in the storage section 54 of the teaching operation panel 51 .
  • a three-dimensional model of each component of the robot such as an arm is stored in the storage unit 54 .
  • Such a three-dimensional model can be created in advance by the processing unit 45 of the robot control device 41 based on the three-dimensional shape data of the robot.
  • the state detection unit 46 of the robot control device 41 acquires the rotation angle of the electric motor on the joint axis from the position detector 18 and calculates the position and orientation of the robot 1 .
  • the transmission unit 56 a of the teaching operation panel 51 acquires the position and posture of the robot from the robot control device 41 .
  • the display control unit 56b generates an image 82 of the robot by combining the joint angles of the joints and the three-dimensional models of the constituent members.
  • the worker can confirm the posture of the robot on the teaching operation panel. Also, the operator can confirm the three-dimensional position of the robot. For example, when a worker works in a position where the robot is difficult to see, the worker can confirm the position and posture of the robot from the image on the display.
  • the display control unit 56b of the present embodiment can display an image 82 of the robot when the robot 1 is viewed from the viewpoint designated by the operator.
  • the viewpoint for displaying the robot image 82 can be designated by the operator by touching the robot display area 72 .
  • the operator can rotate the robot image 82 around the base of the robot by moving the finger while pressing the robot display area 72 with the finger. That is, the display control unit 56b rotates the robot image 82 and changes the viewpoint by performing a drag operation in the robot display area 72 .
  • the operator can confirm the position and posture of the robot in an image when the robot is viewed from a desired direction.
  • the display control unit 56b of the present embodiment can display the robot image 82 based on the magnification specified by the operator.
  • the operator can enlarge the robot image 82 by widening the distance between the two fingers while touching the robot display area 72 with the two fingers.
  • the robot image 82 can be reduced by narrowing the distance between the two fingers.
  • the display control unit 56b can detect a pinch-out to enlarge the robot image 82, and can detect a pinch-in to reduce the robot image 82.
  • the display control unit 56b may display the trajectory of the robot's motion.
  • the storage unit 54 can store the position and orientation of the robot 1 at predetermined time intervals while the position and orientation of the robot 1 are changing.
  • the display control unit 56b may display the motion path of the robot based on the position and posture of the robot at each time.
  • a trajectory in which the rotation center of the surface of the flange 16 of the robot 1 moves can be adopted.
  • the trajectory of the tip point of the tool can be used as the trajectory of the robot's motion.
  • the image 70 displayed on the display unit 62 includes an operation area 73 that displays at least one icon of the operation of the robot operation program and the cancellation of the alarm.
  • the robot control device 41 controls the robot 1 and work tool 2 based on commands from the teaching operation panel 51 .
  • the display control section 56b of the teaching operation panel 51 displays the processing result on the display section 62.
  • FIG. In this embodiment, the operation area 73 displays four icons 83a to 83d for the operator to operate.
  • the icon 83a is an icon for selecting one operation program from a plurality of operation programs prepared in advance.
  • Icon 83b is an icon for starting the selected operation program to drive robot 1 and work tool 2 .
  • the icon 83c is an icon for stopping the operation program and stopping the robot 1 and the work tool 2.
  • FIG. The icon 83d is an icon for canceling the alarm of the robot system 8.
  • the robot control device 41 may detect an abnormality in the operation of the robot 1 or work tool 2 and issue an alarm.
  • Icon 83d is an icon for canceling such an alarm.
  • the operation of the robot operation program in this embodiment includes selection, activation, and stop of the robot operation program.
  • the operation of the robot operation program is not limited to this form.
  • the operation of the operating program may include deletion of the operating program, addition of the operating program, modification of the operating program, and the like.
  • the image 70 displayed on the display unit 62 includes a voice recognition setting area 74 for making settings related to voice recognition.
  • the icon 84a is an icon displaying an image for selecting a language for speech recognition.
  • the icon 84b is an icon for implementing a mute function that temporarily suspends speech recognition.
  • the icon 84c is an icon for making settings related to speech recognition other than the above.
  • Figure 4 shows an image for selecting the language for speech recognition. 3 and 4, the operator selects a language for voice recognition by operating icon 84a in voice recognition setting area 74.
  • FIG. When the operator presses a button 84aa arranged on the icon 84a, the display control section 56b displays an image 85 for selecting a language.
  • image 85 In our example of image 85, we choose from English, Chinese, and Japanese. The operator can select the language used for speech recognition by pressing the desired language. The selected language is displayed on the icon 84a. Here, Japanese is selected. The terms displayed on the screen may also be switched to terms in the selected language.
  • Fig. 5 shows an explanatory diagram of the operation of the icon to stop voice recognition.
  • voice recognition setting area 74 has an icon 84b for stopping the function of operating by voice recognition.
  • the function of performing operations by voice recognition is maintained unless the operator designates it. That is, the state of operating the teaching operation panel is maintained by the operator speaking a predetermined command sentence.
  • the operator can cancel the voice recognition operation as indicated by the arrow 101.
  • an image such as a strikethrough line is added to the icon 84b to indicate that the voice recognition function has stopped.
  • the voice recognition operation can be resumed. Normally, the mute function icon 84b is not pressed, and the state in which operation by voice recognition is possible is maintained.
  • both the touch operation of touching the screen of the display 61 and the voice operation can operate the operation program of the robot and cancel the alarm.
  • the processing unit 56 of the teaching operation panel 51 transmits a command corresponding to the icon to the robot control device 41 based on the operator's operation of touching the icon.
  • the operator can perform desired operations by pressing one icon in the operation area 73 .
  • icons of operations necessary for daily work of the robot system 8 are collected in one operation area 73 . This configuration improves the operability for the operator.
  • the operator can display an image displaying a plurality of operation programs.
  • the display control unit 56b can display an image in which the names of a plurality of programs are described, like the image in which a plurality of languages are displayed as shown in FIG.
  • the operator selects one operation program by pressing one of the operation programs.
  • An image 81 of the name of the selected operating program is displayed in the information display area 71 .
  • the transmission unit 56 a of the processing unit 56 transmits the name of the selected operation program and a command to start the operation program to the operation control unit 43 of the robot control device 41 .
  • the motion control unit 43 starts driving the robot 1 and the work tool 2 based on the selected motion program.
  • the transmission unit 56a sends a command to stop the operation program to the operation control unit 43 of the robot control device 41.
  • the operation control unit 43 stops the currently running operation program.
  • the motion control section 43 stops the work tool 2 and the robot 1 . In this manner, by pressing the icons 83a to 83c, it is possible to operate the operation program for performing the work. It is possible to select, start and stop operating programs.
  • the robot control device 41 can detect that the operating state of the robot system 8 is abnormal while the robot 1 and the work tool 2 are being driven.
  • the processing unit 45 of the robot control device 41 can detect an abnormality in the operating state of the robot based on the output of the position detector 18 or a sensor attached to the robot 1 for detecting an external force.
  • the processing unit 45 can determine that the operating state of the robot is abnormal. In this case, the processing unit 45 can send a command to stop the robot 1 or a command to slow down the motion speed of the robot 1 to the motion control unit 43 . Alternatively, the processing unit 45 can send out an operation command for the robot 1 so as to perform an operation to avoid contact with an object.
  • the processing unit 45 sends to the teaching operation panel 51 information indicating that an abnormal state has occurred and the driving state of the robot has been changed.
  • the transmission section 56a of the processing section 56 of the teaching operation panel 51 receives the information that the abnormality has occurred.
  • Fig. 6 shows an example of an image displayed on the display when an abnormality occurs in the operating state of the robot system.
  • the display control unit 56b of the processing unit 56 of the teaching operation panel 51 displays in the information display area 71 a warning image 88 indicating that an object or person has come into contact with the robot system and stopped.
  • the robot 1 is stopped and a warning is displayed on the display section 62 .
  • the operator can cancel the alarm by pressing the icon 83 d in the operation area 73 .
  • the operator can confirm that the abnormality has been eliminated and cancel the alarm.
  • the warning image 88 displayed in the information display area 71 disappears. Then, the operator can restart the operation of the robot system by pressing the icon 83b for starting the operation.
  • the operator can perform the same function as pressing the icons 83a to 83d arranged in the operation area 73 by voice operation.
  • the icons 83a to 83d instead of pressing the icons 83a to 83d, it is possible to issue instructions by voice.
  • FIG. 7 shows an explanatory diagram for explaining the voice operation for the operation of pressing the icon in the operation area.
  • the operator utters the terms of each command after saying a predetermined term (fixed form).
  • "OK FANUC” is adopted as a predetermined term.
  • the voice recognition unit 55 determines that the operator's command starts by acquiring the voice "OK FANUC”.
  • the voice recognition unit 55 avoids erroneously recognizing the voice. be able to. For example, it is possible to prevent erroneous judgment of a term used when a plurality of workers are talking as a command.
  • the term for starting the command is not limited to this form, and any term can be adopted.
  • the name of the robot (CRX) such as "ROBOT CRX” may be included.
  • the operator 91a can perform the same operation as selecting an operation program by pressing the icon 83a in the operation area 73 by saying "OK FANUC Select" followed by a term related to the operation program. .
  • the operator's voice command can be the file name of the operating program.
  • PROG1-1 can be adopted as the name of the program.
  • the speech recognition unit 55 can recognize the operation program with the file name "PROG1-1”.
  • attribute information for speech recognition is added to the operating program of the present embodiment.
  • the comment of the operation program is given as attribute information.
  • An attribute file that accompanies the file of the action program can contain an optional comment that is different from the name of the action program.
  • the name of the program corresponding to the comment may be stored in the storage unit.
  • the comment can be another name for the program or a term related to the program.
  • the term "junbi" is stored in the attribute file as a comment for the motion program that carries in the workpiece.
  • the Japanese word "junbi" for preparing a work is defined.
  • comments are used for speech recognition when selecting an operation program.
  • the worker 91a pronounces "OK FANUC Select Junbi” instead of pressing the icon 83a for selecting the operation program.
  • the voice recognition unit 55 recognizes the comment as "Jumbi”.
  • the speech recognition unit 55 recognizes that the comment is a command to select the operation program "Jumbi”.
  • the processing unit 56 selects the name of the operation program with "Jumbi" attached to the comment.
  • the transmission unit 56 a of the processing unit 56 transmits the name of the selected operation program to the robot control device 41 .
  • an operation program can be selected based on a predetermined comment different from the name of the program.
  • the processing unit transmits a command for operating the motion program corresponding to the comment to the robot control device.
  • the operator 91b can start the selected operation program by saying "OK FANUC Start” instead of pressing the icon 83b for starting the operation program arranged in the operation area 73. Also, the operator 91c can stop the currently running operation program by saying "OK FANUC Stop” instead of pressing the icon 83c for stopping the operation program.
  • a voice recognition unit 55 recognizes a start or end command by voice.
  • the transmission unit 56a transmits commands to the robot controller 41 to start or end the operation program.
  • the worker 91d can cancel the alarm by saying "OK FANUC Reset" in the same way as when the icon 83d is pressed.
  • the voice recognition unit 55 recognizes the command to cancel the warning by voice.
  • the transmission unit 56a transmits to the robot control device 41 a command to cancel the alarm.
  • the operator instead of operating the icon displayed on the display unit, it is possible to operate by voice.
  • a voice instruction corresponding to the operation of the icon displayed on the display unit can be given.
  • the operator can issue at least one of commanding the operation of the robot and canceling the alarm by voice recognition. Therefore, the operator can reduce the number of times the teaching operation panel is operated while the robot system is working. Workers do not have to interrupt their work, and work efficiency of workers is improved. In addition, it is possible to avoid work such as washing hands and removing gloves in order to operate the teaching operation panel, thereby improving work efficiency of the worker.
  • the robot of this embodiment is a collaborative robot.
  • a robot system and a worker simultaneously perform the same work or different work.
  • the operator can switch the operation program, start the operation program, stop the operation program, and cancel the alarm without looking at or operating the teaching operation panel. . Therefore, the work efficiency of the worker is improved, and the time for collaborative work with the robot can be shortened.
  • Assembling parts can be exemplified as an example of work actually performed by a worker and a robot system in cooperation.
  • a robot carries a work to a predetermined work place.
  • the robot maintains the position and orientation of the workpiece.
  • the worker attaches the first component to the work conveyed by the robot.
  • the robot maintains the position and orientation of the work after changing the orientation of the work at the work place.
  • a worker attaches a different second component to the work.
  • the robot transports the workpiece to a predetermined position.
  • the operation program it is possible to generate in advance a first operation program including an operation command for carrying in a work and arranging it in a predetermined work place and an operation command for changing the orientation of the work. Further, it is possible to generate in advance a second operation program including an operation command for unloading the workpiece from the work place to a predetermined position.
  • the worker selects the first operation program with the "Select” voice command, and starts driving the robot with the "Start” voice command.
  • the robot is stopped by the voice command of "Stop”.
  • the worker attaches the first component to the work.
  • the operator restarts the operation according to the first operation program with the voice command of "Start”.
  • the robot 1 changes the orientation of the workpiece based on the first motion program.
  • the operator stops driving the robot with a voice command of "Stop”. Then, the worker attaches the second component to the work.
  • the operator selects the second operation program with the "Select” voice command. Then, the robot is driven by the voice command of "Start” to carry out the work. When the work has been transported to a predetermined position, the operator stops the robot with a voice command of "Stop".
  • the operator can select an operation program, execute an operation program, or stop an operation program by voice, even for complicated tasks.
  • the operating program can be operated in a short time. For this reason, the work efficiency of collaborative work is improved.
  • FIG. 8 shows a flow chart of the control performed by the arithmetic processing device of the teaching console panel in this embodiment.
  • FIG. 8 is a flow chart of control for performing operations by voice recognition. 2, 3 and 8, at step 111, processing unit 56 determines whether icon 84b of voice recognition setting area 74 is pressed. That is, the processing unit 56 determines whether the icon 84b for enabling the mute function has been pressed. In step 111, if the icon 84b is pressed to select the mute function, this control is repeated. In step 111, if icon 84b has not been pressed, control transfers to step 112;
  • the speech recognition unit 55 acquires speech from the microphone 65 .
  • the voice recognition unit 55 recognizes voice. For example, the speech recognition unit 55 converts speech into characters.
  • the speech recognition unit 55 determines whether the acquired speech is an operation program selection command. In this embodiment, it is determined whether or not the voice starts with "OK FANUC Select". In step 113 , if the acquired voice is a command to select an operating program, control passes to step 114 . Then, at step 114, the speech recognition unit 55 identifies the operation program designated by the speech.
  • the processing unit 56 transmits the name of the selected motion program to the motion control unit 43 of the robot control device 41 .
  • the display control unit 56b displays the name of the selected operation program on the image displayed by the display device 61.
  • the image 70 an image 81 of the name of the program is displayed in the information display area 71.
  • step 113 if the voice is not an operation program selection command, control proceeds to step 115 .
  • the speech recognition unit 55 determines whether or not the speech is an operation program start command. That is, it determines whether or not the voice is "OK FANUC Start".
  • step 115 if the voice is a command to start an operating program, control passes to step 116;
  • Fig. 9 shows a confirmation image when the command to start the operating program is acquired. 8 and 9, at step 116, display control unit 56b displays a pop-up image 86 for confirming execution of the operating program. Here, an image 86 asking whether or not to execute the operation program whose comment is "Jumbi" is displayed.
  • the speech recognition unit 55 acquires speech.
  • the speech recognition unit 55 determines whether or not execution of the operating program has been approved. Here, when the speech recognition unit 55 acquires the speech "OK FANUC No", it is determined that the execution of the operating program has not been approved. Then, this control ends.
  • step 119 the selected operating program is executed.
  • the processing section 56 of the teaching operation panel 51 sends a command to start the motion program to the motion control section 43 of the robot control device 41 .
  • the operation control unit 43 starts executing the selected operation program.
  • an image 86 asking about execution of the operating program is displayed, but the present invention is not limited to this form.
  • the operation program may be executed immediately without displaying the image 86 asking about execution of the operation program.
  • step 115 control proceeds to step 121 if the voice is not an operation program start command.
  • the speech recognition unit 55 determines whether the speech is an instruction to stop the operating program.
  • the voice recognition unit 55 determines whether or not the voice acquired from the microphone 65 is "OK FANUC Stop". If in step 121 the voice is a command to stop the operating program, control passes to step 122 .
  • step 122 the operation of the robot system is stopped.
  • the processing section 56 of the teaching operation panel 51 sends a command to stop the motion program to the motion control section 43 of the robot control device 41 .
  • the motion control unit 43 stops motions of the robot 1 and the work tool 2 .
  • step 121 If in step 121 the voice is not a command to stop the operating program, control proceeds to step 123 .
  • the voice recognition unit 55 determines whether or not the voice is an instruction to cancel the alarm. That is, it is determined whether or not the operator's voice is "OK FANUC Reset". If the operator's voice is not a command to cancel the alarm, this control is terminated. If the operator's voice is a command to clear the alarm, control passes to step 124 .
  • the processing unit 56 of the teaching operation panel 51 sends a command to cancel the alarm to the motion control unit 43 of the robot control device 41 .
  • the display control unit 56b performs control to erase the alarm from the image on the display 61.
  • FIG. For example, the display control unit 56b executes control to turn off the warning image 88 in FIG.
  • the control shown in FIG. 8 can be repeatedly performed at predetermined time intervals. Then, at least one of the operation of the robot and the cancellation of the alarm can be performed according to the voice input by the worker through the microphone.
  • the operator can perform routine operations of the robot system by voice.
  • the icons in the operation area for operating the robot system and the voice recognition for operating the robot are limited to operating frequently used robot operation programs and canceling alarms. . For this reason, it is possible to efficiently carry out collaborative work with the robot system by simple screen operations or simple voice command sentences.
  • the operation of pressing the mute icon performs control to disable voice recognition, but the present invention is not limited to this form.
  • An icon may be displayed to enable or disable voice recognition.
  • FIG. 10 shows a block diagram of the second teaching operation panel arranged in the robot control system according to this embodiment.
  • the second teaching operation panel 58 includes a speaker 66 as an audio output section for outputting predetermined information by audio.
  • the second teaching operation panel 58 is composed of a tablet terminal having an arithmetic processing unit 59 including a CPU as a processor.
  • the speaker 66 is built into the tablet terminal.
  • the speaker 66 is not limited to this form, and may be arranged at a position away from the mobile terminal.
  • the speaker 66 can be positioned so that the operator can hear the audio.
  • the speaker may be fixed to a pedestal or the like and formed to communicate with the processing unit.
  • the processing unit 57 of the arithmetic processing device 59 includes an audio output control unit 57c that controls audio output from the speaker 66, in addition to the transmission unit 56a and the display control unit 56b.
  • the processing unit 57 and the audio output control unit 57c correspond to processors driven according to a predetermined program.
  • the processor functions as a processing unit 57 and an audio output control unit 57c by being driven according to a program.
  • the second teaching operation panel 58 can change the image displayed on the display 61 by the display control section 56 b and can output sound from the speaker 66 .
  • the audio output control unit 57c of the processing unit 57 outputs audio related to the operator's voice command from the speaker 66. For example, when the operator operates the robot by voice, the voice output control unit 57c can output by voice that the operation of the robot is completed. Alternatively, when the operator inputs the operation of the robot system by voice, the voice output control unit 57c can ask by voice whether or not the operation of the robot is really allowed.
  • Fig. 11 shows an explanatory diagram of the sound output from the speaker by the sound output control unit.
  • control is shown in which one operator interacts with one teaching console.
  • the speech recognition unit 55 recognizes that the comment is an instruction to select the operation program of "Junbi”.
  • the processing unit 56 transmits to the robot control device 41 that the motion program with the comment "Junbi" has been selected.
  • the voice output control section 57c of the teaching operation panel 58a outputs voice from the speaker 66 saying "Junbi is selected”.
  • the voice output control section 57c of the teaching operation panel 58b outputs a voice asking which operation to perform from the speaker 66.
  • operator 92b utters a command to start an operating program.
  • the display control unit 56b of the teaching operation panel 58c displays an image 86 (see FIG. 9) for confirming execution of the operation program.
  • the voice output control section 57c of the teaching operation panel 58c outputs voice from the speaker 66 for confirming execution of the operation program.
  • the operator 92c utters a command to approve execution of the operating program in response to this voice.
  • the speech recognition unit 55 recognizes consent to execute the operating program.
  • the motion control section 43 of the robot control device 41 executes the motion program.
  • the voice output control section 57c of the teaching operation panel 58d outputs a voice from the speaker 66 that the operation program has been executed. Then, the voice output control section 57c of the teaching operation panel 58e outputs from the speaker 66 a voice asking which operation to perform. The operator can utter a command for this question at a desired time.
  • the robot system By outputting voice from the teaching operation panel, it is possible to continue work while confirming whether the operation command given by the operator is correctly recognized by voice. Also, the robot system can perform the work without error. Also, the voice output control unit may output voice to the worker so as to ask a question. With this control, the operation of the robot system can be continued as if interacting with the teaching operation panel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

教示操作盤は、ロボットの動作を制御するロボット制御装置に指令を送出する。教示操作盤は、作業者が音声を入力する音声入力部と、音声入力部が取得した音声を認識する音声認識部とを備える。教示操作盤は、音声認識部による音声の認識の結果に基づいて、ロボットの動作プログラムの操作および警報の解除のうち少なくとも１つの指令をロボット制御装置に送信する処理部を備える。

Description

教示操作盤およびロボット制御システム
　本発明は、教示操作盤およびロボット制御システムに関する。
　従来の技術のロボットシステムでは、作業者の安全を確保する為に、ロボットが駆動している期間中には作業者がロボットの作業領域に入れないように安全対策が講じられていた。たとえば、ロボットの周りには安全柵が設置され、ロボットが駆動している期間中に安全柵の内部に作業者が入ることが禁じられていた。近年では、作業者がロボットと協働して作業を行うロボットシステムが知られている。このロボットシステムでは、ロボットの周りに安全柵を設けない状態にて、ロボットおよび作業者が同時に作業を行うことができる（例えば、特開２０１８－３０１８５号公報）。
　作業者がロボットと協働で作業を行う場合に、ロボットの操作は教示操作盤にて行うことができる。教示操作盤には、情報を表示する表示部に加えて、ボタンおよびダイヤル等が配置されている。作業者がボタンおよびダイヤル等を操作することにより、ロボットの動作の指令をロボット制御装置に送出することができる。また、従来の技術では、画像を表示する表示部を備える装置において、音声にて表示部に表示される画像を操作することが知られている（例えば、特開２００６－６８８６５号公報および特開平１－２４０２９３号公報）。
特開２０１８－３０１８５号公報 特開２００６－６８８６５号公報 特開平１－２４０２９３号公報
　作業者は、教示操作盤にてロボットを操作する時に、教示操作盤のボタンおよびダイヤル等を操作する必要が有る。このために、作業者がロボットを操作する場合に、作業者が行っている作業を中断しなくてはならないという問題がある。また、作業者の手が汚れる環境では、教示操作盤を操作する前に、手を洗う、手を拭く、または手袋を外すなどの準備が必要になる。すなわち、教示操作盤を操作するために別の作業が必要になる。このために、従来の教示操作盤では、作業者の作業効率が悪いという問題があった。
　本開示の態様の教示操作盤は、ロボットの動作を制御するロボット制御装置に指令を送出する。教示操作盤は、作業者が音声を入力する音声入力部と、音声入力部が取得した音声を認識する音声認識部とを備える。教示操作盤は、音声認識部による音声の認識の結果に基づいて、ロボットの動作プログラムの操作および警報の解除のうち少なくとも１つの指令をロボット制御装置に送信する処理部を備える。
　本開示のロボット制御システムは、前述の教示操作盤と、教示操作盤からの指令に基づいて、ロボットの動作を制御するロボット制御装置とを備える。
　本開示の態様によれば、作業者の作業効率が向上する教示操作盤および教示操作盤を備えるロボット制御システムを提供することができる。
実施の形態におけるロボットシステムの概略図である。 実施の形態における第１の教示操作盤を備えるロボットシステムのブロック図である。 教示操作盤の表示部に表示される画像である。 音声認識を行う言語を選択する画像である。 音声認識を中止するためのミュート機能を実行するアイコンの画像の説明図である。 教示操作盤の表示部に警告が表示された画像である。 作業者が音声にて操作するための用語を説明する説明図である。 音声入力にてロボット制御装置に指令を送出する制御のフローチャートである。 動作プログラムを実行する前に表示される操作を確認する画像である。 実施の形態における第２の教示操作盤のブロック図である。 第２の教示操作盤から出力される音声を説明する説明図である。
　図１から図１１を参照して、実施の形態における教示操作盤および教示操作盤を備えるロボット制御システムについて説明する。本実施の形態のロボットシステムは、作業ツール、ロボット、およびロボット制御システムを備える。ロボット制御システムは、教示操作盤とロボットを制御するロボット制御装置とを備える。本実施の形態のロボットシステムでは、作業者とロボットとが協働して予め定められた作業を行う。
　図１に、本実施の形態におけるロボットシステムの斜視図を示す。図２に、本実施の形態のロボットシステムのブロック図を示す。図１および図２を参照して、本実施の形態のロボットシステム８は、動作プログラムに基づいて作業を実施する。ロボットシステム８は、エンドエフェクタとしての作業ツール２と、作業ツール２を移動するロボット１とを備える。ロボット１には、ロボットシステム８が行う作業に応じて任意の作業ツール２を取り付けることができる。例えば、ロボットシステム８がワークの搬送を行う場合には、ハンドをロボット１に取り付けることができる。または、ロボットシステム８がアーク溶接を行う場合には、溶接トーチをロボット１に取り付けることができる。
　本実施の形態のロボット１は、複数の関節部を含む多関節ロボットである。ロボット１は、ベース部１４に支持された旋回ベース１３を含む。旋回ベース１３は、ベース部１４に対して回転するように形成されている。ロボット１は、関節部を介して回動可能に支持された上部アーム１１および下部アーム１２を含む。また、上部アーム１１は、上部アーム１１の延びる方向に平行な回転軸の周りに回転する。
　ロボット１は、上部アーム１１の端部に回動可能に連結されているリスト１５を含む。リスト１５は、回転可能に形成されているフランジ１６を含む。作業ツール２は、リスト１５のフランジ１６に固定される。本実施の形態のロボット１は、６個の関節軸を有するが、この形態に限られない。作業ツールを移動することができる任意のロボットを採用することができる。
　本実施の形態のロボット１は、作業者と共に作業を行うための協働ロボットである。協働ロボットは、ロボットに加わる外力を検出するためのセンサを備える。例えば、協働ロボットは、ベース部に力覚センサが配置されていたり、それぞれの関節軸にトルクセンサが配置されていたりすることにより、ロボットに加わる外力を検出可能に形成されている。ロボット制御装置４１は、ロボット１が作業者または他の物と接触して外力を検出した時には、ロボット１の動作を制限する。例えば、ロボットを停止したり、ロボットの駆動速度を減少したりする。
　または、協働ロボットでは、作業者等と接触しても良いように、アームおよびベース等の構成部品は、滑らかな表面を有する筐体にて覆われている。なお、ロボットは協働ロボットに限られず、作業者と共に作業を行わずに単独で作業を行うロボットであっても構わない。
　ロボット１は、ロボット１の位置および姿勢を変化させるロボット駆動装置を含む。ロボット駆動装置は、アームおよびリスト等の構成部材を駆動する電動機等を含む。作業ツール２は、作業ツール２を駆動するツール駆動装置を備える。ツール駆動装置は、作業ツール２を駆動するための電動機等を含む。ロボット１には、ロボット１の関節軸における回転位置を出力する位置検出器１８が配置されている。位置検出器１８は、例えば電動機に取り付けられたエンコーダにて構成される。ロボット制御装置４１は、位置検出器１８の出力により、ロボット１の位置および姿勢を検出することができる。
　ロボットシステム８は、ロボット制御システム４を備える。ロボット制御システム４は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置を含むロボット制御装置４１を備える。ロボット制御装置４１は、制御装置本体を構成する。演算処理装置は、ＣＰＵにバスを介して互いに接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。
　ロボット制御装置４１の演算処理装置は、予め定められた情報を記憶する記憶部４２を含む。記憶部４２は、ロボット１および作業ツール２の制御に関する情報を記憶する。記憶部４２は、情報の記憶が可能で非一時的な記憶媒体にて構成されることができる。例えば、記憶部４２は、揮発性メモリ、不揮発性メモリ、磁気記憶媒体、または光記憶媒体等の記憶媒体にて構成することができる。ロボットの動作が定められているロボットの動作プログラムは、記憶部４２に記憶される。
　ロボット制御装置４１の演算処理装置は、ロボットの動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラムに従って駆動するプロセッサに相当する。動作制御部４３は、記憶部４２に記憶された情報を読み取り可能に形成されている。動作制御部４３は、動作プログラムに基づいて、ロボット１を駆動するための動作指令をロボット駆動装置の電気回路に送出する。動作制御部４３は、動作プログラムに基づいて、作業ツール２を駆動するための動作指令をツール駆動装置の電気回路に送出する。ロボット１および作業ツール２は、動作プログラムに基づいて駆動する。
　ロボット制御装置４１の演算処理装置は、情報の処理および演算を行う処理部４５を含む。処理部４５は、ロボット１および作業ツール２の状態を検出する状態検出部４６を含む。状態検出部４６は、位置検出器１８の出力に基づいて、ロボット１の位置および姿勢と、作業ツール２の位置および姿勢とを検出する。処理部４５および状態検出部４６のそれぞれのユニットは、予め生成されたプログラムに従って駆動するプロセッサに相当する。プロセッサがプログラムを読み込んで、プログラムに定められた制御を実施することにより、それぞれのユニットとして機能する。
　ロボット制御システム４は、作業者がロボット１の動作を操作したり、ロボットシステム８の制御に必要な情報を入力したり、ロボットシステム８の制御に必要な情報を確認したりするための第１の教示操作盤５１を含む。教示操作盤５１は、ロボット１の動作を操作する操作装置として機能する。教示操作盤５１は、通信装置を介してロボット制御装置４１に接続されている。教示操作盤５１は、ロボット１および作業ツール２の動作を制御するロボット制御装置４１に指令を送出する。
　本実施の形態における教示操作盤５１は、タブレット型のコンピュータにて構成されている。教示操作盤５１は、画像を表示する表示パネルを含む表示器６１を含む。表示器６１の表示パネルは、任意の情報を表示する表示部６２として機能する。本実施の形態の表示器６１は、作業者が画面に接触することにより入力操作を検出可能に形成されている。本実施の形態の表示器６１は、タッチパネル方式の表示パネルを含む。タッチパネル方式の表示パネルとしては、抵抗膜方式、静電容量方式、または表面弾性波方式等の任意の方式の表示パネルを採用することができる。
　作業者は、表示パネルに表示される画像を指にて操作することにより、入力操作を行うことができる。表示器６１は、ロボット１および作業ツール２を操作する為のボタンの画像（アイコン）を表示するように形成されている。または、表示器６１は、所定の情報を入力したり選択したりするための画像を表示するように形成されている。
　表示器６１は、画面を指にて押圧することにより、押圧した位置を検出可能に形成されている。表示器６１は、画面に表示されたアイコンの画像を指で押圧することにより、アイコンの画像を押したと判定するように形成されている。例えば、作業者は、表示パネルの画面に表示されたアイコンを指で押すことにより、アイコンに対応するロボットの操作を行うことができる。このように、本実施の形態の表示パネルは、作業者の入力操作を検出する入力部６３として機能する。
　なお、教示操作盤は、タブレット型のコンピュータに限られない。教示操作盤は、ロボットシステムの制御に関する情報を表示する表示部と、ボタン、キーボード、およびダイヤル等の入力機器を含む入力部とを含んでいても構わない。表示部は、タッチパネルの機能を有しない液晶表示パネルなどの任意の表示パネルにより構成されることができる。
　本実施の形態の教示操作盤は、持ち運びが可能な携帯端末にて構成されている。教示操作盤は、有線または無線にてロボット制御装置と通信するように形成されている。携帯端末としては、タブレット型のコンピュータに限られず、任意の携帯端末を採用することができる。例えば、携帯端末は、スマートフォン等であっても構わない。
　教示操作盤５１は、プロセッサとしてのＣＰＵを有する演算処理装置５３を含む。演算処理装置５３は、ロボットシステムに関する任意の情報を記憶する記憶部５４を含む。記憶部５４は、情報の記憶が可能で非一時的な記憶媒体にて構成されることができる。例えば、記憶部５４は、揮発性メモリ、不揮発性メモリ、磁気記憶媒体、または光記憶媒体等の記憶媒体にて構成することができる。
　本実施の形態における教示操作盤５１は、作業者の音声に基づいて、ロボット制御装置４１に対して、ロボット１および作業ツール２の動作を制御する指令を送出できるように形成されている。教示操作盤５１は、作業者が音声を入力する音声入力部としてのマイク６５を含む。本実施の形態におけるマイク６５は、教示操作盤５１の本体に内蔵されている。マイク６５は、教示操作盤５１の本体から離れて配置されていても構わない。例えば、音声入力部として、マイクを含むヘッドセットを採用することができる。この場合に、マイクは無線通信により演算処理装置５３と通信することができる。また、音声入力部としては、作業者の声を取得可能な任意の装置を採用することができる。
　演算処理装置５３は、マイク６５が取得した音声を認識する音声認識部５５を含む。音声認識部５５は、任意の方法にて作業者の音声を認識することができる。例えば、音声認識部５５は、作業者が話す用語を文字に変換することができる。例えば、音声認識部５５は、音響分析により音声のデータ変換を行った後に、音響モデルにより音声から文字を推定することができる。そして、予め記憶された辞書により単語の推定を行ったり、言語モデルによる文章の生成を行ったりすることができる。
　演算処理装置５３は、音声認識部５５による音声の認識の結果を処理する処理部５６を含む。処理部５６は、ロボット制御装置４１とのデータの送信および受信を行う伝送部５６ａを有する。伝送部５６ａは、ロボット１の動作プログラムの操作および警報の解除のうち少なくとも１つの指令をロボット制御装置４１に送出する。処理部５６は、表示器６１の入力部６３の操作により、作業者の操作を取得する。処理部５６は、表示器６１の表示部６２が表示する画像を制御する表示制御部５６ｂを有する。表示制御部５６ｂは、音声認識部５５により取得された音声の認識の結果に基づいて画像を制御する。または、表示制御部５６ｂは、入力部６３の操作の結果に基づいて画像を制御する。
　上記の演算処理装置５３に含まれる音声認識部５５、処理部５６、伝送部５６ａ、および表示制御部５６ｂのそれぞれのユニットは、予め生成されたプログラムに従って駆動するプロセッサに相当する。プロセッサがプログラムを読み込んでプログラムに定められた制御を実施することにより、それぞれのユニットとして機能する。
　図３に、本実施の形態における表示部の画面に表示される画像を示す。画像７０は、ロボットシステム８が作業を実施する時に表示される。画像７０は、予め定められた情報を表示する情報表示領域７１を含む。情報表示領域７１には、例えば動作プログラムの名称の画像８１または様々な機能のメニューを表示する画像を表示するアイコン８７などが表示される。
　画像７０は、ロボット１の画像を表示するロボット表示領域７２を有する。本実施の形態のロボット表示領域７２では、現在のロボット１の姿勢に対応するように、ロボット１の３次元の画像８２を表示する。ロボットの３次元の画像８２を生成するための情報は、予め教示操作盤５１の記憶部５４に記憶されている。例えば、アーム等のロボットのそれぞれの構成部材の３次元モデルが記憶部５４に記憶されている。このような３次元モデルは、ロボット制御装置４１の処理部４５が、ロボットの３次元形状データ等に基づいて予め作成することができる。
　ロボット制御装置４１の状態検出部４６は、位置検出器１８から関節軸おける電動機の回転角を取得して、ロボット１の位置および姿勢を算出する。教示操作盤５１の伝送部５６ａは、ロボット制御装置４１からロボットの位置および姿勢を取得する。表示制御部５６ｂは、関節部における関節角度と構成部材の３次元モデルとを組み合わせることにより、ロボットの画像８２を生成する。
　このように、表示器が現在のロボットの姿勢に対応するようにロボットの３次元の画像を表示することにより、作業者は、教示操作盤においてロボットの姿勢を確認することができる。また、作業者は、ロボットの３次元の位置を確認することができる。例えば、ロボットが見にくい位置にて作業者が作業する場合に、作業者は表示器の画像にてロボットの位置および姿勢を確認することができる。
　本実施の形態の表示制御部５６ｂは、作業者にて指定された視点からロボット１を見たときのロボットの画像８２を表示することができる。ロボットの画像８２を表示するための視点は、作業者がロボット表示領域７２を触る操作により指定することができる。例えば、作業者は、ロボット表示領域７２を指で押しながら指を移動することにより、ロボットのベース部を回転中心としてロボットの画像８２を回転させることができる。すなわち、表示制御部５６ｂは、ロボット表示領域７２におけるドラッグの操作にて、ロボットの画像８２を回転して視点を変更する。この制御により、作業者は、所望の方向からロボットを見た時の画像にてロボットの位置および姿勢を確認することができる。
　また、本実施の形態の表示制御部５６ｂは、作業者に指定される拡大率に基づいてロボットの画像８２を表示することができる。作業者は、ロボット表示領域７２において、２本の指にて接触しながら２本の指同士の間隔を広げることにより、ロボットの画像８２を拡大することができる。または、２本の指同士の間隔を狭めることにより、ロボットの画像８２を縮小することができる。このように、表示制御部５６ｂは、ピンチアウトを検出してロボットの画像８２を拡大することができ、ピンチインを検出してロボットの画像８２を縮小することができる。
　また、表示制御部５６ｂは、ロボットの動作の軌跡を表示しても構わない。記憶部５４は、ロボット１の位置および姿勢が変化している期間中に、所定の時間間隔ごとにロボット１の位置および姿勢を記憶することができる。表示制御部５６ｂは、それぞれの時刻におけるロボットの位置および姿勢に基づいて、ロボットの動作経路を表示しても構わない。ロボットの動作の軌跡としては、例えば、ロボット１のフランジ１６の表面の回転中心が移動する軌跡を採用することができる。または、作業ツールの画像を表示する場合には、ロボットの動作の軌跡として、ツール先端点の軌跡を採用することができる。
　次に、表示部６２に表示される画像７０は、ロボットの動作プログラムの操作および警報の解除のうち、少なくとも１つのアイコンを表示する操作領域７３を含む。ロボット制御装置４１は、教示操作盤５１からの指令に基づいてロボット１および作業ツール２を制御する。一方で、教示操作盤５１の表示制御部５６ｂは、表示部６２に処理結果を表示する。本実施の形態においては、操作領域７３に、作業者が操作するための４個のアイコン８３ａ～８３ｄが表示される。
　アイコン８３ａは、予め準備された複数の動作プログラムのうち、１つの動作プログラムを選択するためのアイコンである。アイコン８３ｂは、選択した動作プログラムを開始してロボット１および作業ツール２を駆動するためのアイコンである。アイコン８３ｃは、動作プログラムを停止して、ロボット１および作業ツール２を停止するためのアイコンである。アイコン８３ｄは、ロボットシステム８の警報を解除するためのアイコンである。例えば、ロボット制御装置４１は、ロボット１または作業ツール２の動作の異常を検出して、警報を発信する場合が有る。アイコン８３ｄは、このような警報を解除するためのアイコンである。
　本実施の形態のロボットの動作プログラムの操作は、ロボットの動作プログラムの選択、起動、および停止を含む。ロボットの動作プログラムの操作としては、この形態に限られない。例えば、動作プログラムの操作は、動作プログラムの削除、動作プログラムの追加、および動作プログラムの修正等を含んでいても構わない。
　次に、表示部６２に表示される画像７０は、音声認識に関する設定を行うための音声認識設定領域７４を含む。アイコン８４ａは、音声認識を行うための言語を選択する画像を表示するアイコンである。アイコン８４ｂは、音声認識を一時的に中断するミュート機能を実施するためのアイコンである。アイコン８４ｃは、上記以外の音声認識に関する設定を行うためのアイコンである。
　図４に、音声認識の言語を選択する画像を示す。図３および図４を参照して、作業者は、音声認識設定領域７４におけるアイコン８４ａを操作することにより、音声認識を行うための言語を選定する。作業者がアイコン８４ａに配置されたボタン８４ａａを押すことにより、表示制御部５６ｂは、言語を選択する画像８５を表示する。ここでの画像８５の例では、英語、中国語、および日本語から選択する。作業者は、所望の言語を押すことにより、音声認識に使用する言語を選択することができる。アイコン８４ａには、選択された言語が表示されている。ここでは、日本語が選択されている。なお、画面に表示される用語も選択された言語による用語に切替えられても構わない。
　図５に、音声認識を停止するアイコンの操作の説明図を示す。図３および図５を参照して、音声認識設定領域７４には、音声認識により操作を行う機能を停止するためのアイコン８４ｂが配置されている。本実施の形態においては、作業者が指定しなければ、音声認識にて操作を行う機能が維持される。すなわち、作業者が予め定められた指令文を話すことにより、教示操作盤の操作を行う状態が維持される。
　作業者は、アイコン８４ｂを押すことにより、矢印１０１に示すように音声認識による操作を中止することができる。この場合に、音声認識の機能が停止していることを示すために、アイコン８４ｂに取消し線等の画像が付け加えられる。もう一度、アイコン８４ｂを押すことにより、音声認識による操作を再開することができる。通常は、このミュートの機能のアイコン８４ｂは押さずに、音声認識による操作が可能な状態が維持される。
　図３を参照して、音声認識設定領域７４に配置されたアイコン８４ｃを指にて押すことにより、上記以外の音声認識に関する設定を行うことができる。例えば、マイクの感度の設定等を行うことができる。
　次に、ロボット１および作業ツール２を操作する制御について説明する。本実施の形態においては、表示器６１の画面を接触するタッチ操作および音声による操作のいずれによっても、ロボットの動作プログラムの操作および警報の解除を実施可能に形成されている。
　始めに、図２および図３を参照して、表示器６１の画面を指にて接触する操作を行うことにより、ロボット１の動作を制御する例について説明する。教示操作盤５１の処理部５６は、作業者がアイコンに接触する操作に基づいて、アイコンに対応する指令をロボット制御装置４１に送信する。作業者は、操作領域７３の１個のアイコンを押すことにより、所望の操作を行うことができる。本実施の形態の画像７０では、日常のロボットシステム８の作業に必要な操作のアイコンが１つの操作領域７３に集約されている。この構成により、作業者の操作性が向上する。
　作業者は、アイコン８３ａを押すことにより、複数の動作プログラムが表示された画像を表示することができる。表示制御部５６ｂは、図４に示す複数の言語が表示された画像と同様に、複数のプログラムの名称が記載された画像を表示することができる。作業者は、複数の動作プログラムのうち１つの動作プログラムを押すことにより、１つの動作プログラムを選択する。選択された動作プログラムの名称の画像８１は、情報表示領域７１に表示される。
　次に、作業者は、アイコン８３ｂを押すことにより、選択された動作プログラムを開始することができる。処理部５６の伝送部５６ａは、選択された動作プログラムの名称と動作プログラムを開始する指令をロボット制御装置４１の動作制御部４３に送信する。動作制御部４３は、選定された動作プログラムに基づいてロボット１および作業ツール２の駆動を開始する。
　次に、作業者が、画像７０においてアイコン８３ｃを押すことにより、伝送部５６ａは、動作プログラムを停止する指令をロボット制御装置４１の動作制御部４３に送出する。動作制御部４３は、現在実施している動作プログラムを停止する。動作制御部４３は、作業ツール２およびロボット１を停止する。このように、アイコン８３ａ～８３ｃを押すことにより、作業を行うための動作プログラムを操作することができる。動作プログラムの選択、起動、および停止を実行することができる。
　また、ロボット制御装置４１は、ロボット１および作業ツール２を駆動している期間中に、ロボットシステム８の運転状態が異常であることを検出することができる。ロボット制御装置４１の処理部４５は、位置検出器１８またはロボット１に取り付けられた外力を検出するためのセンサ等の出力に基づいて、ロボットの運転状態の異常を検出することができる。
　例えば、ロボット１に人が接触して、外力が大きくなったときに、処理部４５は、ロボットの運転状態が異常であると判定することができる。この場合に、処理部４５は、動作制御部４３に対してロボット１を停止する指令を送出したり、ロボット１の動作速度を遅くする指令を送出したりすることができる。または、処理部４５は、物との接触を回避する動作を行うように、ロボット１の動作指令を送出することができる。
　処理部４５は、異常状態が発生してロボットの駆動状態を変更した情報を、教示操作盤５１に送出する。教示操作盤５１の処理部５６の伝送部５６ａは、異常が生じた情報を受信する。
　図６に、ロボットシステムの動作状態に異常が生じたときに、表示器に表示される画像の例を示す。教示操作盤５１の処理部５６の表示制御部５６ｂは、情報表示領域７１に、物または人がロボットシステムに接触して停止したことを示す警告の画像８８を表示する。ここでの例では、ロボット１が停止されると共に表示部６２に警告が表示される。作業者は、操作領域７３のアイコン８３ｄを押すことにより、警報を解除することができる。作業者は、異常が排除されたことを確認して警報を解除することができる。ここでの例では、作業者がアイコン８３ｄを押すことにより、情報表示領域７１に示される警告の画像８８が消える。そして、作業者は、動作を開始するアイコン８３ｂを押すことにより、ロボットシステムの作業を再開することができる。
　次に、本実施の形態における教示操作盤５１では、作業者は、操作領域７３に配置されているアイコン８３ａ～８３ｄを押す操作と同様の機能を、音声による操作にて実施することができる。すなわり、アイコン８３ａ～８３ｄを押す代わりに、音声にて指令することができる。
　図７に、操作領域におけるアイコンを押す操作に対する音声による操作を説明する説明図を示す。本実施の形態においては、作業者は、予め定められた用語（定型文）を言った後に、それぞれの指令の用語を発声する。本実施の形態においては、予め定められた用語として、「OK FANUC」が採用されている。作業者は、「OK FANUC」と言った後に、操作の指令及び操作の指令に関連する用語を発声する。音声認識部５５は、「OK FANUC」という音声を取得することにより、作業者の指令が始まると判断する。
　ロボットシステムの指令の用語の前に、指令を開始するための予め定められた用語（「OK FANUC」等）を付与することにより、音声認識部５５は、誤って音声を認識することを回避することができる。例えば、複数の作業者が話をしているときの用語を誤って指令として判断することを抑制できる。指令を開始するための用語としては、この形態に限られず、任意の用語を採用することができる。例えば、「ROBOT CRX」等のロボットの名称（CRX）を含んでいても構わない。
　作業者９１ａは、操作領域７３のアイコン８３ａを押して動作プログラムを選択する操作と同じ操作を、「OK FANUC Select」に続けて、動作プログラムに関連する用語を発声することにより、実施することができる。複数の動作プログラムから所望のプログラムを選択する場合に、作業者の音声による指令としては、動作プログラムのファイル名を言うことができる。例えば、プログラムの名称としては「PROG1-1」を採用することができる。作業者は「OK FANUC Select PROG1-1」と発声することにより、音声認識部５５は、ファイル名が「PROG1-1」の動作プロブラムと認識することができる。
　ところが、動作プログラムの名称は、英字、数字、および記号などにて構成される場合が多い。英字、数字、および記号は、音声認識がされにくいという問題がある。この結果、音声認識の認識率が低くなり、動作プログラムが選択できなかったり、誤った動作プログラムが選択されたりする場合がある。
　そこで、本実施の形態の動作プログラムには、ファイル名の他に音声認識のための属性情報が付与されている。本実施の形態においては、動作プログラムのコメントが属性情報として付与されている。動作プログラムのファイルに付属する属性ファイルに、動作プログラムの名称とは異なる任意のコメントを含むことができる。または、コメントに対するプログラムの名称が記憶部に記憶されていても構わない。コメントとしては、プログラムの別の名称であったり、プログラムに関する用語であったりすることができる。ここでは、ワークの搬入を行う動作プログラムに対して、コメントとして「ジュンビ」という用語が属性ファイルに記憶されている。ここでは、日本語が選択されているために、ワークを準備するという日本語である「ジュンビ」が定められている。
　図７を参照して、ここでは、動作プログラムを選定するときに、音声認識にコメントが使用されることが設定されている。作業者９１ａは、動作プログラムを選択するアイコン８３ａを押す代わりに、「OK FANUC Select ジュンビ」と発音している。音声認識部５５は、コメントが「ジュンビ」であると認識する。音声認識部５５は、コメントが「ジュンビ」の動作プログラムを選択する指令であると認識する。処理部５６は、コメントに「ジュンビ」と付された動作プログラムの名称を選定する。処理部５６の伝送部５６ａは、選定された動作プログラムの名称をロボット制御装置４１に送信する。
　このように、動作プログラムを選択する操作においては、プログラムの名称とは異なる予め定められたコメントにより、動作プログラムを選定することができる。処理部は、コメントに対応する動作プログラムの操作の指令をロボット制御装置に送信する。この制御を実施することにより、音声認識が誤って実施されることを抑制することができて、動作プログラムを選択する正確性が向上する。
　次に、作業者９１ｂは、操作領域７３に配置されている動作プログラムを開始するアイコン８３ｂを押す代わりに、「OK FANUC Start」と言うことにより、選択された動作プログラムを開始することができる。また、作業者９１ｃは、動作プロブラムを停止するアイコン８３ｃを押す代わりに、「OK FANUC Stop」と言うことにより、現在実行している動作プログラムを停止することができる。音声認識部５５が音声による開始または終了の指令を認識する。伝送部５６ａは、動作プログラムを開始したり、終了したりする指令をロボット制御装置４１に送信する。
　また、ロボットシステムに警報が発信されている場合に、作業者９１ｄは、「OK FANUC Reset」ということにより、アイコン８３ｄを押したときと同様に、警報を解除することができる。音声認識部５５が音声による警報の解除の指令を認識する。伝送部５６ａは、警報を解除する指令をロボット制御装置４１に送信する。
　このように、本実施の形態においては、表示部に表示されるアイコンを操作する代わりに、音声にて操作することができる。表示部に表示されるアイコンの操作に対応する音声の指令を行うことができる。本実施の形態においては、作業者は、音声認識にてロボットの操作の指令および警報の解除のうち少なくとも１つを実施することができる。このために、作業者は、ロボットシステムが作業を行っている期間中に、教示操作盤を操作する回数を減らすことができる。作業者は自分の作業を中断する必要がなく、作業者の作業効率が向上する。また、教示操作盤を操作するために、手を洗ったり、手袋を外したりする作業を回避することができて、作業者の作業効率が向上する。
　特に、本実施の形態のロボットは協働ロボットである。ロボットシステムと作業者とが同時に同じ作業を実施したり互いに異なる作業を実施したりする。この場合に、作業者は、教示操作盤を見たり操作したりせずに、動作プログラムを切り替えたり、動作プログラムを開始したり、動作プログラムを停止したり、警報を解除したりすることができる。このため、作業者の作業効率が向上し、ロボットとの協働作業の時間を短くすることができる。
　実際に作業者とロボットシステムとが協働して行う作業としては、部品の組み立てを例示することができる。例えば、ロボットがワークを所定の作業場所まで搬入する。ロボットはワークの位置および姿勢を維持する。作業者は、第１の部品をロボットが搬送してきたワークに取り付ける。次に、ロボットは、作業場所において、ワークの向きを変更した後にワークの位置および姿勢を維持する。作業者は、ワークに異なる第２の部品を取り付ける。部品の取り付けが完了した後に、ロボットは、予め定められた位置までワークを搬送する。
　動作プログラムとしては、ワークを搬入して所定の作業場所に配置する動作指令と、ワークの向きを変更する動作指令とを含む第１の動作プログラムを予め生成することができる。また、ワークを作業場所から所定の位置まで搬出する動作指令を含む第２の動作プログラムを予め生成することができる。
　この作業を行う場合に、作業者は、「Select」の音声の指令にて第１の動作プログラムを選択して、「Start」の音声の指令にてロボットの駆動を開始する。ワークが作業場所に搬入された時に「Stop」の音声の指令にてロボットを停止する。ここで、作業者はワークに第１の部品を取り付ける。第１の部品の取り付けが終了した場合に、作業者は、「Start」の音声の指令にて第１の動作プログラムによる動作を再開する。ロボット１は、第１の動作プログラムに基づいてワークの向きを変更する。作業者は、「Stop」の音声の指令にて、ロボットの駆動を停止する。そして、作業者は、ワークに第２の部品を取り付ける。
　第２の部品の取り付けが完了した後に、作業者は、「Select」の音声の指令にて第２の動作プログラムを選定する。そして、「Start」の音声の指令にてロボットを駆動して、ワークを搬出する。ワークが予め定められた所定の位置まで搬送された時に、作業者は「Stop」の音声の指令にてロボットを停止する。
　このように、作業者は、複雑な作業であっても、音声にて動作プログラムを選択したり、動作プログラムを実行したり、動作プログラムを停止したりすることができる。短時間に動作プログラムの操作を行うことができる。このために、協働作業の作業効率が向上する。
　図８に、本実施の形態における教示操作盤の演算処理装置が行う制御のフローチャートを示す。図８は、音声認識にて操作を行う制御のフローチャートである。図２、図３、および図８を参照して、ステップ１１１において、処理部５６は、音声認識設定領域７４のアイコン８４ｂが押されているか否かを判定する。すなわち、処理部５６は、ミュートの機能を有効にするためのアイコン８４ｂが押されているか判定する。ステップ１１１において、アイコン８４ｂが押されて、ミュートの機能が選択されている場合には、この制御を繰り返す。ステップ１１１において、アイコン８４ｂが押されていない場合に、制御はステップ１１２に移行する。
　ステップ１１２においては、音声認識部５５は、マイク６５からの音声を取得する。音声認識部５５は、音声を認識する。例えば、音声認識部５５は、音声を文字化する。次に、ステップ１１３において、音声認識部５５は、取得した音声が動作プログラムの選択指令か否かを判定する。本実施の形態では「OK FANUC Select」で始まる音声であるか否かを判定する。ステップ１１３において、取得した音声が動作プログラムを選択する指令である場合には、制御は、ステップ１１４に移行する。そして、ステップ１１４において、音声認識部５５は、音声にて指定された動作プログラムを特定する。処理部５６は、ロボット制御装置４１の動作制御部４３に選定された動作プロブラムの名称を送信する。
　また、表示制御部５６ｂは、表示器６１が表示する画像に、選択した動作プログラムの名称を表示する。画像７０では、情報表示領域７１にプログラムの名称の画像８１を表示する。なお、表示制御部５６ｂは、動作プログラムのコメントを表示しても構わない。
　ステップ１１３において、音声が動作プログラムの選択指令でない場合に、制御はステップ１１５に移行する。ステップ１１５において、音声認識部５５は、音声が動作プログラムの開始指令であるか否かを判定する。すなわち、音声が「OK FANUC Start」であるか否かを判定する。ステップ１１５において、音声が動作プログラムの開始指令である場合に、制御はステップ１１６に移行する。
　図９に、動作プログラムを開始する指令を取得したときの確認の画像を示す。図８および図９を参照して、ステップ１１６において、表示制御部５６ｂは、動作プログラムの実行を確認するためのポップアップの画像８６を表示する。ここでは、コメントが「ジュンビ」の動作プログラムを実行するか否かを質問する画像８６が表示される。
　ステップ１１７において、音声認識部５５は、音声を取得する。ステップ１１８において、音声認識部５５は、動作プログラムの実行を承認したか否かを判定する。ここでは、音声認識部５５が「OK FANUC いいえ」と言う音声を取得した場合に、動作プログラムの実行を承認しなかったと判定する。そして、この制御が終了する。
　音声認識部５５が「OK FANUC はい」と言う音声を取得した場合に、動作プログラムの実行を承認したと判定する。この場合には、制御は、ステップ１１９に移行する。
　ステップ１１９においては、選定されている動作プログラムを実行する。教示操作盤５１の処理部５６は、動作プログラムを開始する指令をロボット制御装置４１の動作制御部４３に送出する。動作制御部４３は、選定された動作プログラムの実行を開始する。
　なお、本実施の形態では、動作プログラムの実行を質問する画像８６を表示しているが、この形態に限られない。動作プログラムの実行を質問する画像８６を表示せずに、直ぐに動作プログラムを実行しても構わない。
　図８を参照して、ステップ１１５において、音声が動作プログラムの開始指令でない場合に、制御はステップ１２１に移行する。ステップ１２１において、音声認識部５５は、音声は動作プログラムを停止する指令であるか否かを判定する。音声認識部５５は、マイク６５から取得した音声が「OK FANUC Stop」であるか否かを判定する。ステップ１２１において、音声が動作プログラムを停止する指令である場合に、制御は、ステップ１２２に移行する。
　ステップ１２２においては、ロボットシステムの動作を停止する。教示操作盤５１の処理部５６は、動作プログラムを停止する指令を、ロボット制御装置４１の動作制御部４３に送出する。動作制御部４３は、ロボット１および作業ツール２の動作を停止する。
　ステップ１２１において、音声が動作プログラムを停止する指令でない場合に、制御はステップ１２３に移行する。ステップ１２３においては、音声認識部５５は、音声が警報を解除する指令であるか否かを判定する。すなわち、作業者の音声が「OK FANUC Reset」であるか否かを判定する。作業者の音声が警報を解除する指令でない場合には、この制御を終了する。作業者の音声が警報を解除する指令である場合には、制御はステップ１２４に移行する。
　ステップ１２４において、教示操作盤５１の処理部５６は、ロボット制御装置４１の動作制御部４３に警報を解除する指令を送出する。また、表示制御部５６ｂは、表示器６１の画像から警報を消去する制御を実施する。例えば、表示制御部５６ｂは、図６の警告の画像８８を消す制御を実施する。
　図８に示す制御は、予め定められた時間間隔ごとに繰り返して実施することができる。そして、作業者がマイクを介して入力する音声に従って、ロボットの操作および警報の解除のうち少なくとも一つを実施することができる。
　このように、作業者は、音声にてロボットシステムの日常的に良く行う操作を実施することができる。特に、本実施の形態の教示操作盤では、ロボットシステムを操作する操作領域のアイコンおよびロボットを操作する音声認識については、頻繁に使用するロボットの動作プログラムの操作および警報の解除に限定している。このため、簡易な画面の操作または簡易な指令文の音声にて、ロボットシステムとの協働作業を効率よく実施することができる。
　なお、本実施の形態においては、ミュートを実行するアイコンを押す操作により、音声認識を無効にする制御を実施しているが、この形態に限られない。音声認識を可能にしたり不可能にしたりするアイコンが表示されていても構わない。
　図１０に、本実施の形態におけるロボット制御システムに配置される第２の教示操作盤のブロック図を示す。第２の教示操作盤５８は、予め定められた情報を音声にて出力する音声出力部としてスピーカ６６を備える。第２の教示操作盤５８は、第１の教示操作盤５１と同様に、プロセッサとしてのＣＰＵを含む演算処理装置５９を備えるタブレット端末にて構成されている。本実施の形態においては、スピーカ６６は、タブレット端末に内蔵されている。スピーカ６６としては、この形態に限られず、携帯端末から離れた位置に配置されていても構わない。スピーカ６６は、作業者に音声が聞こえるように配置することができる。例えば、スピーカは、架台等に固定されて演算処理装置と通信するように形成されていても構わない。
　演算処理装置５９の処理部５７は、伝送部５６ａおよび表示制御部５６ｂに加えて、スピーカ６６から出力される音声を制御する音声出力制御部５７ｃを含む。処理部５７および音声出力制御部５７ｃは、予め定められたプログラムに従って駆動するプロセッサに相当する。プロセッサは、プログラムに従って駆動することにより、処理部５７および音声出力制御部５７ｃとして機能する。第２の教示操作盤５８は、表示制御部５６ｂにより表示器６１にて表示する画像を変更するとともに、スピーカ６６から音声を出力することができる。
　処理部５７の音声出力制御部５７ｃは、作業者の音声による指令に関連する音声をスピーカ６６から出力する。例えば、音声出力制御部５７ｃは、作業者が音声にてロボットの操作を行った場合に、ロボットの操作が完了したことを音声にて出力することができる。または、作業者がロボットシステムの操作を音声にて入力した場合に、音声出力制御部５７ｃは、本当にロボットの操作を実施して良いか否かを音声にて質問することができる。
　図１１に、音声出力制御部がスピーカから出力する音声の説明図を示す。ここでの例では、１人の作業者と１つの教示操作盤が対話する制御が示されている。作業者９２ａは、「OK FANUC Select ジュンビ」と発声することにより、音声認識部５５は、コメントが「ジュンビ」の動作プログラムを選定する指令であると認識する。処理部５６は、コメントが「ジュンビ」の動作プログラムが選定されたことをロボット制御装置４１に送信する。教示操作盤５８ａの音声出力制御部５７ｃは、スピーカ６６から「ジュンビを選択しました」と音声を出力する。
　次に、教示操作盤５８ｂの音声出力制御部５７ｃは、どの操作を行うかを質問する音声をスピーカ６６から出力する。この質問に応答して、作業者９２ｂは、動作プログラムを開始する指令を発声する。
　次に、教示操作盤５８ｃの表示制御部５６ｂは、動作プログラムの実行を確認する画像８６（図９参照）を表示する。そして、教示操作盤５８ｃの音声出力制御部５７ｃは、動作プログラムの実行を確認する音声をスピーカ６６から出力する。作業者９２ｃは、この音声に対して、動作プログラムの実行を承認する指令を発声する。音声認識部５５は、動作プログラムの実行の承諾を認識する。教示操作盤の処理部５７からの指令に基づいて、ロボット制御装置４１の動作制御部４３が動作プログラムを実行する。
　次に、教示操作盤５８ｄの音声出力制御部５７ｃは、動作プログラムを実行したことをスピーカ６６から音声にて出力する。そして、教示操作盤５８ｅの音声出力制御部５７ｃは、どの操作を行うかを質問する音声をスピーカ６６から出力する。作業者は、この質問に対する指令を所望の時期に発声することができる。
　教示操作盤からの音声の出力により、作業者が行った操作の指令が正しく音声認識されているか否かを確認しながら作業を継続することができる。また、ロボットシステムは、誤りがないように作業を実施することができる。また、音声出力制御部が作業者に対して、質問をするように音声を出力しても構わない。この制御により、教示操作盤と対話をするようにロボットシステムの操作を継続することができる。
　その他の第２の教示操作盤５８の構成、作用、および効果は、第１の教示操作盤５１と同様であるので、説明を繰り返さない。
　本実施の形態の教示操作盤においては、音声認識に加えて表示器の画面の接触による操作を実施可能に形成されている。このために、正確に音声認識を実施できない場合、または、音声認識にて誤った操作が選択された場合にも、作業者は、画面を接触することにより、ロボットシステムの操作を実施することができる。
　上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。
　上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、請求の範囲に示される実施の形態の変更が含まれている。
　１　ロボット
　４　ロボット制御システム
　８　ロボットシステム
　４１　ロボット制御装置
　４３　動作制御部
　５１，５８　教示操作盤
　５８ａ～５８ｅ　教示操作盤
　５４　記憶部
　５５　音声認識部
　５６，５７　処理部
　５６ｂ　表示制御部
　５７ｃ　音声出力制御部
　６１　表示器
　６５　マイク
　６６　スピーカ
　７０，８２　画像
　８３ａ～８３ｄ　アイコン

Claims (8)

  1. 　ロボットの動作を制御するロボット制御装置に指令を送出する教示操作盤であって、
    　作業者が音声を入力する音声入力部と、
    　前記音声入力部が取得した音声を認識する音声認識部と、
    　前記音声認識部による音声の認識の結果に基づいて、ロボットの動作プログラムの操作および警報の解除のうち少なくとも１つの指令をロボット制御装置に送信する処理部と、を備える、教示操作盤。
  2. 　作業者が画面に接触することにより入力操作を検出可能な表示器を備え、
    　前記表示器は、ロボットの動作プログラムの操作および警報の解除のうち少なくとも１つのアイコンを表示するように形成されており、
    　前記処理部は、作業者の前記アイコンに接触する操作に基づいて、前記アイコンに対応する指令をロボット制御装置に送信する、請求項１に記載の教示操作盤。
  3. 　予め定められた情報を音声にて出力する音声出力部を備え、
    　前記処理部は、作業者の音声による指令に関連する音声を前記音声出力部から出力する、請求項１または２に記載の教示操作盤。
  4. 　ロボットの動作プログラムの操作は、ロボットの動作プログラムの選択、起動、および停止を含む、請求項１から３のいずれか一項に記載の教示操作盤。
  5. 　動作プログラムには、動作プログラムの名称とは異なるコメントが属性情報として定められており、
    　前記音声認識部は、作業者の音声が前記コメントであると認識した場合に、処理部は、前記コメントに対応する動作プログラムの操作の指令をロボット制御装置に送信する、請求項１からの４のいずれか一項に記載の教示操作盤。
  6. 　ロボットは、作業者と共に作業を行うための協働ロボットである、請求項１から５のいずれか一項に記載の教示操作盤。
  7. 　画像を表示する表示器を備え、
    　前記表示器は、現在のロボットの姿勢に対応するようにロボットの３次元の画像を表示する、請求項１に記載の教示操作盤。
  8. 　請求項１に記載の教示操作盤と、
    　前記教示操作盤からの指令に基づいて、ロボットの動作を制御するロボット制御装置と、を備える、ロボット制御システム。
PCT/JP2022/008362 2022-02-28 2022-02-28 教示操作盤およびロボット制御システム Ceased WO2023162248A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE112022006146.4T DE112022006146T5 (de) 2022-02-28 2022-02-28 Programmierhandgerät und Robotersteuersystem
CN202280092249.2A CN118742422A (zh) 2022-02-28 2022-02-28 示教操作盘以及机器人控制系统
JP2024502765A JP7817361B2 (ja) 2022-02-28 2022-02-28 教示操作盤およびロボット制御システム
US18/836,756 US20250033208A1 (en) 2022-02-28 2022-02-28 Teaching operation panel and robot control system
PCT/JP2022/008362 WO2023162248A1 (ja) 2022-02-28 2022-02-28 教示操作盤およびロボット制御システム
TW112103469A TW202335810A (zh) 2022-02-28 2023-02-01 教示操作盤及機器人控制系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/008362 WO2023162248A1 (ja) 2022-02-28 2022-02-28 教示操作盤およびロボット制御システム

Publications (1)

Publication Number Publication Date
WO2023162248A1 true WO2023162248A1 (ja) 2023-08-31

Family

ID=87765262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008362 Ceased WO2023162248A1 (ja) 2022-02-28 2022-02-28 教示操作盤およびロボット制御システム

Country Status (6)

Country Link
US (1) US20250033208A1 (ja)
JP (1) JP7817361B2 (ja)
CN (1) CN118742422A (ja)
DE (1) DE112022006146T5 (ja)
TW (1) TW202335810A (ja)
WO (1) WO2023162248A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230123443A1 (en) * 2011-08-21 2023-04-20 Asensus Surgical Europe S.a.r.l Vocally actuated surgical control system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211731A (ja) * 2001-01-12 2002-07-31 Murata Mach Ltd コンベヤ装置及び荷役方法
JP2004181564A (ja) * 2002-12-02 2004-07-02 Fanuc Ltd 産業用ロボット
JP2019093522A (ja) * 2017-11-27 2019-06-20 川崎重工業株式会社 ロボットシステム
JP7015416B1 (ja) * 2021-04-30 2022-02-02 ファナック株式会社 ロボット教示システム、プログラムおよびプログラム編集装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01240293A (ja) 1988-03-23 1989-09-25 Toshiba Corp 監視装置
EP0864401B1 (en) * 1996-07-24 2006-02-15 Fanuc Ltd Jog feeding method for robots
JP2006068865A (ja) 2004-09-03 2006-03-16 Yaskawa Electric Corp 産業用ロボットのプログラミングペンダント
PL1996376T3 (pl) * 2006-03-03 2016-12-30 Programowalny robot i interfejs użytkownika
JP6517762B2 (ja) * 2016-08-23 2019-05-22 ファナック株式会社 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム
JP6674005B1 (ja) * 2018-10-26 2020-04-01 キタムラ機械株式会社 工作機械操作システムおよび該システムによる工作機械操作方法
JP7063843B2 (ja) * 2019-04-26 2022-05-09 ファナック株式会社 ロボット教示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211731A (ja) * 2001-01-12 2002-07-31 Murata Mach Ltd コンベヤ装置及び荷役方法
JP2004181564A (ja) * 2002-12-02 2004-07-02 Fanuc Ltd 産業用ロボット
JP2019093522A (ja) * 2017-11-27 2019-06-20 川崎重工業株式会社 ロボットシステム
JP7015416B1 (ja) * 2021-04-30 2022-02-02 ファナック株式会社 ロボット教示システム、プログラムおよびプログラム編集装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230123443A1 (en) * 2011-08-21 2023-04-20 Asensus Surgical Europe S.a.r.l Vocally actuated surgical control system
US11886772B2 (en) * 2011-08-21 2024-01-30 Asensus Surgical Europe S.a.r.l Vocally actuated surgical control system

Also Published As

Publication number Publication date
CN118742422A (zh) 2024-10-01
TW202335810A (zh) 2023-09-16
JP7817361B2 (ja) 2026-02-18
JPWO2023162248A1 (ja) 2023-08-31
DE112022006146T5 (de) 2024-12-19
US20250033208A1 (en) 2025-01-30

Similar Documents

Publication Publication Date Title
JP6953778B2 (ja) 協調ロボット、コントローラ、および方法
JP3708083B2 (ja) ロボット教示装置
JP6343353B2 (ja) ロボットの動作プログラム生成方法及びロボットの動作プログラム生成装置
KR102567361B1 (ko) 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
JP2019188545A (ja) ロボット制御装置
WO2019026790A1 (ja) ロボットシステム及びその運転方法
EP3387500B1 (en) An industrial robot and a method for controlling the robot to automatically select which program code to be executed next
JP7817361B2 (ja) 教示操作盤およびロボット制御システム
JP7483420B2 (ja) ロボットシステム、制御装置、情報処理装置、制御方法、情報処理方法、物品の製造方法、プログラム、および記録媒体
CN116921951A (zh) 一种基于三维视觉的焊接机器人的控制方法
KR102403021B1 (ko) 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
JP2017052031A (ja) ロボット操作装置、ロボット操作方法
JP6435940B2 (ja) ロボット操作装置、及びロボット操作プログラム
JP5429461B2 (ja) コミュニケーションロボット開発支援装置
JP2006068865A (ja) 産業用ロボットのプログラミングペンダント
JP7553612B2 (ja) 教示装置
JP6741968B2 (ja) 食品処理システム
US12617086B2 (en) Teaching device, control device, and mechanical system
US12569995B2 (en) Path generation for manual robot teaching
WO2023218536A1 (ja) ロボット制御装置、ロボットシステム、及び教示装置
JP7541955B2 (ja) ロボット用走行台車位置決定装置、該方法および該プログラム
US20250026010A1 (en) Teaching device, control device, and mechanical system
WO2025046884A1 (ja) 教示装置
CN120941374A (zh) 焊接任务构建方法、装置、计算机设备、可读存储介质和程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22928772

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024502765

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18836756

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112022006146

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 202280092249.2

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22928772

Country of ref document: EP

Kind code of ref document: A1