WO2020090809A1 - 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 - Google Patents

外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2020090809A1
WO2020090809A1 PCT/JP2019/042344 JP2019042344W WO2020090809A1 WO 2020090809 A1 WO2020090809 A1 WO 2020090809A1 JP 2019042344 W JP2019042344 W JP 2019042344W WO 2020090809 A1 WO2020090809 A1 WO 2020090809A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
external input
input device
imaging
image
Prior art date
Application number
PCT/JP2019/042344
Other languages
English (en)
French (fr)
Inventor
三村 敏彦
一樹 大竹
新吾 天野
慶 渡辺
泰明 徳永
小久保 智
鈴木 秀明
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202410908008.1A priority Critical patent/CN118700167A/zh
Priority to CN201980072346.3A priority patent/CN113056351B/zh
Priority to EP19880789.3A priority patent/EP3875230A4/en
Publication of WO2020090809A1 publication Critical patent/WO2020090809A1/ja
Priority to US17/246,405 priority patent/US20210252713A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/425Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3296Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36168Touchscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present invention relates to a robot system including an image pickup device.
  • Patent Document 1 has a pan-tilt function as an imaging device, and widens the range of imaging by the imaging device. As a result, it is possible to make full use of the swing function and the zoom function of the image pickup device to project the robot device from various directions and to monitor various scenes of the robot device as necessary.
  • UI user interface
  • the present invention provides an external input device having a user-friendly UI when operating the imaging device and the robot device with one external input device provided with a monitor for displaying an image. To aim.
  • the present invention provides an external input device for operating a robot system including an imaging device capable of changing an imaging viewpoint and a robot device, wherein the external input device includes a display area and the robot device.
  • Adopted external input device Adopted external input device.
  • the robot device when the robot device is taught while watching the image from the image capturing device, even if the position of the robot device is changed, the image display unit, the image capturing operation unit, and the robot device operating unit capture the image.
  • the viewpoint can be easily adapted.
  • the robot device operation unit can teach the robot device for each teaching point, and the imaging operation unit can adjust the imaging device.
  • FIG. 1 is a diagram showing a schematic configuration of a robot system 1000 according to this embodiment.
  • the robot apparatus 1 arranges the works Wa to Wd flowing from the belt conveyor 900 in the arrow P direction on the tray 152.
  • the robot system 1000 includes a robot device 1 and an imaging device 2 for imaging the situation of the robot device 1, a control device 13 for controlling the robot device 1 and the imaging device 2, and an external input for teaching the robot device 1 and the imaging device 2.
  • the device 130 includes a robot device 1 and an imaging device 2 for imaging the situation of the robot device 1, a control device 13 for controlling the robot device 1 and the imaging device 2, and an external input for teaching the robot device 1 and the imaging device 2.
  • the device 130 is a robot device 1 and an imaging device 2 for imaging the situation of the robot device 1, a control device 13 for controlling the robot device 1 and the imaging device 2, and an external input for teaching the robot device 1 and the imaging device 2.
  • the image pickup device 2 is provided on the pillar 155.
  • the image pickup device 2 picks up an image of the robot device 1 and the surrounding work, and the image pickup device 2 displays the image on the display unit 131 as the display area of the external input device 130. Display the image.
  • FIG. 2 is a diagram showing the configuration of the robot apparatus 1 in this embodiment.
  • a 6-axis articulated robot will be described as an example of the robot apparatus.
  • the robot apparatus 1 includes a base 10, a robot arm main body 50 having six joints J1 to J6, and an end effector 11 that grips a work. Further, the robot device 1 is connected to the control device 13 via a cable 12.
  • the robot arm body 50 has a configuration in which a plurality of links, for example, serial links are connected to each other via a plurality of joints (6 axes).
  • the links 51, 52, 53, 54, 55, and 56 of the robot arm body 50 are driven via joints J1, J2, J3, J4, J5, and J6.
  • Each joint has a motor (not shown) as a drive source.
  • the end effector 11 connected to the tip of the robot arm body 50 is applied with a robot hand for performing assembly work and movement work in the production line.
  • the end effector 11 is attached to the link 56 by a semi-fixed means such as a screw stop, or can be attached by a detachable means such as a latch stop.
  • a robot hand having three finger portions will be described as an example.
  • a robot hand including a finger portion is taken as an example, but a mechanism that can perform work on a work, such as an end effector that holds a work by providing a suction mechanism instead of the finger portion, is separately used. May be.
  • the control device 13 is composed of a CPU or the like including a microprocessor. Further, an external input device 130 is connected to the control device 13 so that a teacher can teach the robot device 1 and the imaging device 2 near the robot device 1.
  • the operator inputs a command value to the control device 13 using the external input device 130, and the control value from the control device 13 is passed to the robot arm main body 50 and the end effector 11 to arrange the works on the tray 152.
  • the operation is performed by the robot device 1.
  • a protective wall 154 is installed around the robot device 1.
  • the protective wall 154 is provided for safety so that a work or a worker on site does not collide with the robot apparatus 1.
  • control device 13 has a ROM for storing a program for controlling a corresponding drive unit according to various operations of the robot arm main body 50, data necessary for controlling them, and the like. Further, it is provided with a RAM for expanding data necessary for controlling the robot arm main body 50, set values, programs and the like and used as a work area of the CPU.
  • FIG. 3 is a diagram showing an external input device 130 for a teacher to teach the robot device 1 and the imaging device 2.
  • the external input device 130 includes a display unit 131.
  • a teaching tablet will be described as an example of the external input device.
  • the display unit 131 displays an interface for teaching the operations of the robot apparatus 1 and the image pickup apparatus 2, an image taken by the image pickup apparatus 2, and the like.
  • the display unit 131 is a display corresponding to a touch panel, and an operator can input a command value to the robot device 1 and the imaging device 2 by operating the display unit 131 with a touch or the like.
  • the operator can teach the operation of the robot device 1 and the imaging device 2 by touching the display unit based on the information displayed on the display unit 131 to input a command value.
  • FIG. 4 is a diagram showing the configuration of the imaging device 2.
  • a pan / tilt camera capable of pan / tilt / zoom will be described as an example of the imaging device 2.
  • the image pickup device 2 includes a camera base 20, a movable part 21, and an image pickup part 22 in the movable part 21.
  • the movable unit 21 has a tilt motor, and the imaging unit 22 is provided via a transmission mechanism such as a shaft and a bearing so that the imaging unit 22 can be rotated in the tilt direction of arrow A.
  • the movable part 21 has a pan motor
  • the imaging part 22 is provided via a transmission mechanism such as a shaft and a bearing so that the imaging part 22 can be rotated in the pan direction of arrow B.
  • the image pickup device 2 can change the image pickup viewpoint by driving a pan motor and a tilt motor to take an image. Driving a pan motor and a tilt motor so as to obtain an arbitrary imaging viewpoint and imaging field of view and recording an operation of designating the position of the imaging unit 22 and performing imaging is called teaching of the imaging device 2.
  • the image pickup device 2 has a cable 23 for connecting to the control device 13, and is connected to the control device 13 via the cable 23.
  • the image pickup device 2 can pick up the image of the robot device 1 and the surrounding predetermined positions by the movable part 21, and can display the image on the display part 131 of the external input device 130 via the control device 13. ..
  • FIG. 5 is a control block diagram of the robot system 1000 used in this embodiment.
  • the CPU 112, the ROM 113, the RAM 115, and the HDD 116 provided inside the control device 13 are connected to the bus 111 that transmits information from FIG.
  • the drivers of the respective motors are connected to the bus 111 via the interface 117.
  • the servo control unit 122 for controlling the motors 123 to 128 of each joint in the robot arm main body 50 of the robot apparatus 1 is connected to the bus 111 via the interface 119.
  • a display unit 131 provided on an external input device 130 for an operator to issue commands to the robot device 1 and the imaging device 2 is connected to the bus 111 via an interface 118.
  • the robot device 1, the imaging device 2, the external input device 130, and the control device 13, which constitute the robot system 1000, can all communicate via the bus 111.
  • a UI example of the external input device 130 will be described in detail.
  • a UI example suitable for performing calibration work or teaching work of the robot device 1 and the image pickup device 2 by the external input device 130 using the image from the image pickup device 2 displayed on the external input device 130. Will be described.
  • FIG. 6 shows an example of a screen displayed on the display unit 131.
  • the display unit 131 displays a robot device operation unit 101 that controls and teaches the posture of the robot device 1, a pan motor and a tilt motor control of the imaging device 2, and an imaging operation unit 105 that teaches.
  • the robot device operation unit 101 includes an end effector operation button 102 for moving the end effector 11 in the XYZ directions in an arbitrary coordinate system, and a joint operation button 103 for operating a rotation amount for each of the joints J1 to J6. Is equipped with.
  • the image capturing operation unit includes a viewpoint operating button 106 for performing pan / tilt operation of the image capturing apparatus 2 and a zoom operating button 107 for performing zoom in / zoom out operation.
  • an image display unit 104 that displays an image taken by the imaging device 2 is displayed between the robot device operation unit 101 and the imaging operation unit 105.
  • the role of the imaging device in a robot system is to measure the position of the work that is the object to be handled, inspect the work before machining, and inspect the assembly operation and machining operation by the robot device.
  • an imaging device that has a pan-tilt function that can change the direction of the imaging viewpoint is effective.
  • the robot device operation unit 101, the imaging operation unit 105, and the image display unit 104 are all displayed on the same display unit in the external input unit 130 for inputting the instruction value of the teaching, and the operator's instruction from the operator is displayed. It accepts input.
  • the image display unit 104 and the image pickup operation unit 105 can easily adapt the image pickup viewpoint. You can
  • the robot apparatus operation unit 101 teaches the robot apparatus for each teaching point, and the imaging operation unit 105 adjusts the imaging apparatus 2 in conjunction with the robot apparatus 1. It can be carried out.
  • the robot device operating unit 101 is displayed on one of the left and right sides of the image display unit 104, and the image capturing operating unit 105 is displayed on the other side.
  • the display positions of the robot device operating unit 101, the image capturing operating unit 105, and the image display unit 104 may be appropriately changed depending on the size of the operator's hand.
  • the external input device is configured so that the teaching operation of the robot device 1, the teaching operation of the imaging device 2, and the image confirmation of the imaging device 2 can be performed on the same screen, and the convenience of the operation by the operator I tried to improve.
  • the UI of the external input device can ensure the safety of the worker.
  • FIG. 7 shows a screen displayed on the display unit 131 in this embodiment.
  • the imaging operation unit 105 of the display unit 131 is provided with a face authentication button 108 for switching between enabling and disabling the face authentication function.
  • the warning function does not operate, and the teaching work is performed while the driving speed of the robot device is slow, which reduces the efficiency of the teaching work.
  • the face of the teaching operator who is registered in advance is recognized from the image captured by the imaging device 2.
  • FIG. 8 is a flowchart of the authentication program in this embodiment. When the face authentication button 108 is pressed, the flow of FIG. 8 is started. Although these flows are described as being executed by the control device 13, the external input device 130 may be provided with another control device and executed.
  • the face data is read from the HDD 116 in S1.
  • step S2 the face is detected from the image currently captured by the imaging device 2.
  • S3 it is determined whether the detected face is the face data of the teaching operator recorded in advance. If the detected face and the face data match, S3: YES, and the process proceeds to S5. If they do not match, S3 returns NO and the process proceeds to S5.
  • the alert function can be executed when necessary. Therefore, when teaching the robot apparatus, the teaching operation can be performed by a skilled worker in a state where the driving speed is high, so that the efficiency of the teaching work can be improved.
  • the flow of FIG. 8 may be started when the external input device 130 recognizes that the teaching mode has been set.
  • the present embodiment is a UI example suitable for capturing an image of the robot apparatus 1 by the image capturing apparatus 2 in synchronization with the operation of the robot apparatus 1.
  • the robot apparatus 1 performs the image capturing by the image capturing apparatus 2 in synchronization with the work of arranging the works Wa to Wd flowing from the belt conveyor 900 in the direction of the arrow P on the tray 152
  • the operation of the robot apparatus 1 and the operation of the image pickup apparatus 2 synchronized with the operation will be described in detail.
  • the imaging device 2 drives the pan motor and the tilt motor to change the viewpoint at the timing when the robot device 1 grips the work on the belt conveyor 900, and photographs the tray 152.
  • the robot apparatus 1 places the work gripped by the end effector 11 at a position on the tray where no work exists.
  • the imaging device 2 drives a pan motor and a tilt motor at a timing when the robot device 1 places a work on the tray 152, changes the viewpoint, and photographs the belt conveyor 900.
  • the presence or absence of a work on the belt conveyor 900 is detected by performing image processing on the captured image.
  • the robot apparatus 1 acquires the work on the belt conveyor 900 when the work exists on the belt conveyor 900.
  • the robot system 1000 causes the robot apparatus 1 and the image pickup apparatus 2 to repeatedly perform the above operation.
  • the imaging device 2 changes the imaging viewpoint and shoots in synchronization with the operation of the robot device 1, recognizes the work environment based on the taken image, and feeds it back to the operation of the robot device 1.
  • the imaging of the robot apparatus 1 by the imaging apparatus 2 is performed in synchronization with the operation of the robot apparatus 1, it is possible to reduce the burden on the teacher in teaching the imaging viewpoint of the imaging apparatus 2. ..
  • FIG. 9 is a flowchart of a teaching method for the robot apparatus 1 and the imaging apparatus 2 according to this embodiment.
  • the teaching method consists of three steps, S100 to S102.
  • step S100 the robot device 1 is taught.
  • Teaching to the robot apparatus 1 is performed by direct teaching. An operator teaches an operation in which the robot apparatus 1 is directly held and moved by a hand to grip a work on the belt conveyor 900 and place it on the tray 152.
  • teaching method is not limited to this, and as described in the first embodiment and the second embodiment, offline teaching that uses the external input device 130 to teach near the robot apparatus 1 is used. May be. Various methods of teaching a robotic device may be used by those skilled in the art.
  • the teaching data taught by the above method may be recorded in the control device 13 or may be recorded in the external input device 130 by providing a recording unit in the external input device 130.
  • steps S101 to S102 the imaging device 2 is taught. Teaching of the viewpoint of the imaging device 2 is performed in a manner linked to the operation of the robot device 1.
  • a UI example of the external input device 130 according to the present embodiment will be described in detail below.
  • FIG. 10 shows a teaching screen of the imaging device 2 displayed on the display unit 131 of the external input device 130. The parts different from the above embodiment will be described below.
  • a model display unit 140 that displays the posture of the robot device 1 as a 3D model based on the model data of the robot device 1 recorded in advance is provided.
  • the posture that the actual robot apparatus 1 may take can be calculated from the model data and the teaching point data, and can be confirmed on the screen as a 3D model.
  • the posture is calculated using a technology such as RRT (Rapidly-Exploring Random Trees).
  • a play bar 141 is provided below the model display unit 140, and a play button 144 and a pause button 145 for operating the actually taught robot device 1 are provided.
  • a current position mark 142 indicating the temporal current position of the operation of the robot device 1 being played back is displayed.
  • the reproduction bar 140 represents the start of a predetermined operation of the robot apparatus 1 as 0 second and the end time by a bar format. In FIG. 5, 5:00 (5 minutes) is the end time.
  • the play button 144 When the play button 144 is pressed, the actual robot device 1 starts operating.
  • the temporary stop button 145 When the temporary stop button 145 is pressed, the operation of the actual robot device 1 is temporarily stopped.
  • the actual operation of the robot device 1 can be controlled by touching the current position mark 142 and swiping left or right in the paused state.
  • the actual robot device 1 When swiping to the right, the actual robot device 1 operates by the swept movement amount, and when swiping to the left, the robot device 1 operates in reverse by the swiped movement amount.
  • the robot device 1 By touching a part of the model display unit 140 and swiping to the left or right, the robot device 1 can be operated in the same manner as the operation of sliding the current position mark 142.
  • the image taken by the imaging device 2 is displayed on the image display unit 146.
  • a pan operation bar 147 for operating the pan motor of the image pickup apparatus 2 is provided below the image display unit 146, and a pan position mark 148 indicating the current position of the image pickup apparatus 2 in the pan direction is displayed.
  • An operator can operate the pan motor of the imaging device 2 by touching the pan position mark 148 and sliding it to the left or right.
  • the tilt motor can be operated in the same way as the pan motor operation described above.
  • a tilt operation bar 121 for operating the tilt motor of the image pickup apparatus 2 is displayed on the right side of the image display unit in the drawing, and a tilt position mark 122 indicating the current position of the image pickup apparatus 2 in the tilt direction is displayed.
  • An operator can operate the tilt motor of the imaging device 2 by touching the tilt position mark 122 and sliding it up and down.
  • the tilt motor operation similar to the operation of sliding the tilt position mark 122 can be performed.
  • the same display and function as those for the pan motor operation and the tilt motor operation described above are provided.
  • a zoom bar 123 is displayed on the right side of the tilt operation bar 121 in the drawing, and a zoom adjustment mark 124 indicating the current focus position when the image pickup apparatus 2 is zoomed in or zoomed out is displayed.
  • the operator can adjust the zoom of the imaging device 2 by touching the zoom adjustment mark 124 and sliding it up and down. Slide up to zoom up, slide down to zoom down.
  • the imaging viewpoint teaching points 143 representing the teaching points of the imaging viewpoint of the imaging apparatus 2 are displayed. To be done.
  • the play button 144 is pressed to operate the robot apparatus 1. Then, the image display unit 146 is checked, and the pause button 145 is pressed at the place where the user wants to teach the imaging viewpoint to pause the robot apparatus 1.
  • the position of the current position mark 142 on the playback bar 141 that has been paused serves as a teaching point of the imaging viewpoint of the imaging device 2 in a series of operations of the robot device 1.
  • the teaching of each motor and zoom of the imaging device 2 is performed.
  • the teacher adjusts the pan position, tilt position, and zoom position of the imaging device while checking the image display unit 146, and finally presses the teach button 160 to teach the imaging viewpoint of the imaging device 2.
  • a view point settable range 150 representing a view point settable range is displayed on the pan operation bar 147, the tilt operation bar 121, and the zoom adjustment bar 123.
  • the viewpoint setting range 150 indicates a setting range in which the viewpoint can be changed without delay with respect to the operation of the robot apparatus 1.
  • FIG. 10 shows a state of newly teaching the imaging device 2 at the current position mark 142 in a state where the predetermined teaching point t1 indicated by the imaging viewpoint teaching point 143 has already been taught.
  • the range in which the pan motor, the tilt motor, and the zoom position can be changed is displayed as the viewpoint settable range 150 while the robot apparatus 1 operates from the imaging viewpoint teaching point 143 to the current position mark 142 on the playback bar 141.
  • the viewpoint change time from the past imaging viewpoint teaching point 143 to the current position mark 142, which is a point from which another imaging viewpoint is taught, is calculated.
  • the settable amount of pan, tilt, and zoom is calculated from the viewpoint change time and the speed of pan motor, tilt motor, and zoom processing.
  • a range within the settable amount range of pan, tilt, and zoom is set as the viewpoint settable range 150 centering on the past imaging viewpoint teaching point 143 displayed on each operation bar.
  • various settings at the imaging viewpoint of the imaging device 1 can be changed without delay with respect to the operation of the robot device 1, and therefore, while synchronizing with the robot device 1.
  • the viewpoint of the imaging device 2 can be changed.
  • the viewpoint changeable range is displayed on the operation screen of the imaging device 2.
  • the operator can easily understand the content (pan position, tilt position, zoom position) of the predetermined teaching point taught to the imaging device 2 in the series of operations taught to the robot device 1.
  • the robot apparatus 1 and the imaging apparatus 2 are operated by touch operation
  • the model display unit 140 is touched, and when the imaging apparatus 2 is operated.
  • the operation targets were distinguished.
  • the image of the image display unit 146 is analyzed, and the area where the robot device 1 is photographed and the area other than that are distinguished. Then, when the area of the robot apparatus 1 is touched, the robot apparatus 1 is operated, and when the area other than the robot apparatus is touched, the image pickup apparatus 2 is operated to distinguish the operation targets. good.
  • the robot apparatus 1 is operated, and when the flick operation is performed, the operation target can be distinguished by operating the imaging apparatus 2.
  • single-touch and multi-touch may be combined with drag operation and flick operation to distinguish the operation targets.
  • drag operation when a drag operation is performed while multi-touch is being performed, the robot apparatus 1 is operated.
  • the image display unit 146 may be configured with a pressure-sensitive touch panel so that the force value can be detected, and the operation targets may be distinguished based on the force value. For example, a threshold is set for the value of the force detected when touched. Then, the robot apparatus 1 is operated when touched with a force value equal to or more than the threshold value, and the imaging apparatus 2 is operated when touched with a force value less than the threshold value. .. By doing so, the operation targets can be distinguished.
  • a setting button for setting the operation by touching the image display unit 146 to either the operation of the robot device 1 or the operation of the imaging device 2 may be displayed on the image display unit 146.
  • one operation switching button may be displayed and the operation switching button may be touched each time to switch between the operation of the robot apparatus and the operation of the imaging apparatus.
  • the robot apparatus 1 may be provided with an acceleration sensor or the like, and when the acceleration of a predetermined value is detected, the operation such as stopping the robot apparatus 1 may be performed.
  • a worker when a worker teaches while confirming an image from the imaging device, he or she operates a plurality of operation targets and operates the robot device in a coordinate system in which the worker can easily teach even when teaching. It is an example of a UI that enables the user.
  • FIG. 11 is a top view schematically showing the robot system 2000 according to this embodiment.
  • robot devices 201 and 202 are fixed to a base 200.
  • the robot system 2000 is provided with imaging devices A and B (not shown), and the respective field angles are field angles A and B. Similar to the above-described embodiment, the image pickup devices A and B have a pan-tilt function.
  • Both imaging devices A and B are fixed at positions where the robot devices 201 and 202 can be monitored.
  • the robot devices 201 and 202 are simply represented by symbols for easy understanding.
  • angles of view A and B in FIG. 11 are not necessarily rectangular, but they are rectangular to simplify the explanation.
  • FIG. 12 is a diagram showing the display unit 131 of the external input device 130 in this embodiment.
  • the display unit 131 includes a robot device operation unit 204, an image display unit 205, and an imaging operation unit 206.
  • the robot device operating unit 204 includes a robot device switching button 207, a coordinate system switching button 208, and an end effector operating button 209.
  • the robot device switching button 207 allows the operator to select a robot that he / she wants to manually operate.
  • the robot system 2000 is provided with the robot devices 201 and 202, “robot 201” and “robot 202” are displayed as buttons.
  • the coordinate system switching button 208 can select the coordinate system used when the operator manually operates the robot device selected by the robot device switching button 207.
  • buttons "base”, “end effector”, and “imaging device” are displayed.
  • the base coordinate system button, the end effector coordinate system button, and the imaging coordinate system button can be operated in the base coordinate system, the end effector coordinate system, and the imaging coordinate system, respectively.
  • the base coordinate system is a coordinate system based on the robot base of the robot device selected with the robot device switching button 207. That is, it is the world coordinate system in the entire robot apparatus.
  • the end effector coordinate system is a coordinate system based on the end effector of the robot device selected by the robot device switching button 207. That is, it is a local coordinate system with respect to the base coordinate system which is the world coordinate system.
  • the image pickup coordinate system is the coordinate system of the image pickup device selected by the image pickup device switching button 210 described later.
  • the end effector operation button 209 can manually operate translational movement and rotational movement in the XYZ directions of the coordinate system set by the coordinate system switching button 208 in the robot apparatus selected by the robot apparatus switching button 207.
  • the image display unit 205 displays an image from the imaging device selected by the imaging operation unit 206. In the case of FIG. 12, the robot device 201 imaged by the imaging device A is displayed.
  • the image capturing operation unit 206 includes an image capturing device switching button 210, a viewpoint operating button 211, and a calibration button 212.
  • the imaging device switching button 210 allows the operator to select an imaging device to use, and the image from the selected imaging device is displayed on the image display unit 205.
  • the viewpoint operation button 211 allows the operator to perform pan and tilt operations on the imaging device selected by the imaging device switching button 210.
  • a button may be further added to provide a zoom operation button for performing a zoom-in / zoom-out operation.
  • the calibration button 212 calibrates the relative position and orientation of the robot device selected by the robot device switching button 207 and the imaging device selected by the imaging device switching button 210. You can
  • the calibration button 212 Since the relative position and orientation of the robot device and the imaging device must be clear in order to operate the robot device in the imaging coordinate system, the calibration button 212 must be executed before operating the end effector operation button 209. There is a need. A specific calibration method will be described later.
  • the operation in the robot device coordinate system can be performed by selecting the robot device to be operated with the robot device switching button 207 and selecting "base” or “end effector” with the coordinate system switching button 208. Since this is similar to the operation of a normal robot device, its details are omitted.
  • the relative position and orientation of the robot device and the imaging device must be clear, so it is necessary to press the calibration button 212 for calibration.
  • the significance of calibrating the relative position and orientation of the robot device and the image pickup device is that the positions of the robot device and the image pickup device require on-site adjustment, and therefore do not necessarily match the designed position.
  • FIG. 13 is a diagram showing the coordinate system of the robot apparatus and the image pickup apparatus in this embodiment.
  • the robot device 201 For simplification, in FIG. 13, a combination of the robot device 201 and the imaging device A will be described as an example.
  • the origins attached to the base coordinate system, the end effector coordinate system, and the marker coordinate system are B, E, and M, respectively.
  • the marker coordinate system is a coordinate system attached to a marker (not shown).
  • the marker is attached to the robot device 201 before calibration or is always attached.
  • the position of the marker is measured by the imaging device A.
  • the marker may be a marker whose position can be measured in six degrees of freedom, or three or more markers whose three degrees of freedom are known may be used.
  • the marker does not necessarily have to be attached to the tip of the robot device. It is preferable to have the position and orientation of the marker near the center of the angle of view if it is at the tip of the robot device.
  • the origins assigned to the imaging device base coordinate system, the pan joint coordinate system, the tilt joint coordinate system, and the imaging coordinate system are C0, C1, C2, and V, respectively.
  • a 4 ⁇ 4 homogeneous transformation matrix is used.
  • a homogeneous transformation matrix H BE representing the relative position and orientation of the base coordinate system B to the end effector coordinate system E is expressed by the following equation.
  • C BE is a 3 ⁇ 3 rotation matrix
  • a r BE is the position vector of the 3 ⁇ 1
  • O 1x3 is zero matrix of 1 ⁇ 3.
  • ⁇ H V is the amount of movement itself when the end effector operation button 209 is operated in the imaging coordinate system.
  • the relative position / orientation H C0V is a relative position / orientation from the imaging device base coordinate system C0 to the imaging coordinate system V, and is represented by the following equation.
  • the position of the image pickup device in the image pickup coordinate system of H C2V is known because it is unique to the image pickup device.
  • H C0C1 and H C1C2 are represented by the following equations.
  • ⁇ C1 and ⁇ C2 are known from the encoders mounted on the pan motor and tilt motor provided in the imaging device, and the position vectors r C0C1 and r C1C2 are known because they are design values unique to the imaging device.
  • the relative position / orientation H C0V is known. Therefore, if it is possible to determine the relative position and orientation H BC0 calibration, it is possible to obtain the movement amount [Delta] H R of the robot apparatus coordinate system.
  • Movement amount [Delta] H R of the robot apparatus coordinate system since the movement amount itself of the base coordinate system B, it can be dropped to the operation of the conventional robot apparatus.
  • the relative position / orientation H BE is known because it can be calculated from the value of the encoder mounted on each joint of the robot apparatus 201 when the marker is imaged.
  • the relative position / orientation H C0V is known from Expression 3.
  • the relative position / orientation H VM is known because it can be obtained by measuring the position of the marker with the imaging device A.
  • the three marker positions in the robot device coordinate system are r BM1 , r BM2 , and r BM3 , respectively, and the marker positions are clear in design.
  • the first point is the origin of the marker coordinate system
  • the second point is the point that determines the x-axis direction of the marker coordinate system
  • the third point is an arbitrary point on the xy plane of the marker coordinate system.
  • these three points are not on the same straight line.
  • the first point is the origin of the marker coordinate system M
  • the second point is the point that determines the x-axis direction of the marker coordinate system
  • the third point is an arbitrary point on the xy plane of the marker coordinate system
  • the superscript tilde ( ⁇ ) introduced here is a 3x3 distortion symmetric matrix, and is expressed by the following equation.
  • the relative position / orientation H VM of the marker coordinate system viewed from the camera coordinate system can be obtained.
  • the robot device can be operated in the imaging coordinate system even when the robot device or the imaging device to be operated is switched.
  • the image pickup unit of the image pickup apparatus moves and the image being photographed is turned upside down, it does not match the intuition of the operator who is operating the external input device. It is an example of a UI that can be changed to suit.
  • FIG. 14 is a side view schematically showing the drive unit of the image pickup apparatus 2 in this embodiment.
  • the origins attached to the image pickup apparatus base coordinate system, the pan joint coordinate system, the tilt joint coordinate system, and the image pickup coordinate system are C0, C1, C2, and V, respectively.
  • the tilt angle is ⁇ C2
  • FIG. 15 is a diagram showing the display unit 131 of the external input device 130 in this embodiment.
  • the robot device operation unit 204 and the image pickup operation unit 206 are the same as those in the above-described embodiment, and thus the description thereof is omitted.
  • the image display unit 205 includes an image captured by the image capturing apparatus 2 and an upside down switching button 220.
  • the upside down switching button 220 includes a fixed button 223 for selecting “fixed” and “automatic” of the upside down function, and an automatic button 224.
  • a fixed button 223 for selecting “fixed” and “automatic” of the upside down function
  • an automatic button 224 for selecting “fixed” and “automatic” of the upside down function
  • FIG. 16 is a diagram showing the image display unit 205 in the case of vertically flipping the screen of the image display unit 205 by the button operation by the operator in the present embodiment.
  • the robot device operation unit 204 and the imaging operation unit 206 are omitted for the sake of simplification of the description.
  • FIG. 16A shows a state in which the image display unit 205 displays an image that does not match the operator's intuition because the top and bottom of the coordinate system of the image captured by the imaging device 2 are reversed.
  • the worker touches the “fixed” button 223 of the upside down switching button 220 with his / her finger 221.
  • the upside down button 225 is displayed on the right side of the “fixed” button 223 in the plane of the drawing.
  • the image on the image display unit 205 is vertically inverted.
  • the image on the image display unit 205 can be easily turned upside down so as to match the operator's intuition.
  • FIG. 17 is a diagram illustrating a setting method for automatically inverting the image on the image display unit 205 upside down in the present embodiment. Similar to FIG. 16, the robot device operation unit 204 and the image pickup operation unit 206 are omitted for simplification of description.
  • FIG. 17A is a diagram showing a state where the operator's finger 221 touches the automatic button 224.
  • FIG. 17B is a diagram showing a state where the operator's own finger 221 touches a setting button 226 described later.
  • FIG. 17C is a diagram showing a state in which the automatic setting unit 222 described later is displayed on the image display unit 205.
  • whether the image on the image display unit 205 is vertically inverted is determined by the tilt angle ⁇ C2 . That is, if the tilt angle detected by the tilt motor provided in the imaging device 2 is equal to or smaller than the preset tilt angle value, the image on the image display unit 205 is displayed as it is.
  • the tilt angle detected by the tilt motor provided in the imaging device 2 is equal to or larger than the preset tilt angle, the image on the image display unit 205 is vertically inverted and displayed.
  • the angle of the tilt motor is detected by an encoder (not shown).
  • the worker touches the “automatic” button 224 of the upside down switching button 220 with his / her finger 221 to select it.
  • the “setting” button 226 is displayed on the right side of the automatic button 224 in the drawing.
  • the operator inputs the tilt angle to be set in the vertical inversion angle input box 227.
  • 0 deg is input.
  • the image on the image display unit 205 can be automatically flipped up and down so as to fit the intuition of the operator.
  • FIG. 18 is a diagram showing the image display unit 205 when the image of the image display unit 205 is rotated by a multi-touch operation. Similar to FIGS. 16 and 17, the robot apparatus operation unit 204 and the image pickup operation unit 206 are omitted for simplification of description.
  • FIG. 18A is a diagram in which the image display unit 205 before being rotated by the multi-touch operation
  • FIG. 18B is a diagram in which the image display unit 205 is rotated by the multi-touch operation.
  • the worker preliminarily touches the fixed button 223 of the upside down switching button 220 with his / her finger 221 to select it.
  • the image display unit 205 rotates 90 degrees in that direction (FIG. 18B).
  • the image on the image display unit 205 can be easily rotated manually so as to match the operator's intuition.
  • the present embodiment is an example of a UI in which the coordinate system of the imaging device can be changed in accordance with the operation process of the robot system so that the coordinate system can be easily changed by the operator.
  • FIG. 19 is a diagram showing the display unit 131 of the external input device 130 when the “process program” of the operation by the robot apparatus 1 in this embodiment is displayed.
  • FIG. 19A is a diagram showing the menu screen section 230 of the present embodiment.
  • FIG. 19B is a diagram showing the process program screen of the present embodiment.
  • the menu screen section 230 displays a function selection button 231.
  • function selection buttons 231 there are functions of the robot system 2000, and each function is assigned to each button, and by pressing each button, a menu of the corresponding function can be opened.
  • selecting the “process program” causes a transition to the screen shown in FIG. 19B.
  • the display unit 131 displays the process program screen unit 232 and the image display unit 205.
  • the process program screen section 232 includes a process program selection button 233 and an imaging device teaching point selection section 234.
  • the process program selection button 233 can select a process to be executed in the robot system 2000.
  • a list of process programs is displayed in a pull-down list so that the user can select it.
  • the description will proceed assuming that “process Prg1” has been selected.
  • the process content of the process program selected by the process program selection button 233 is displayed on the imaging device teaching point selection unit 234.
  • the process includes contents such as "robot arm operation”, “robot hand clamp”, and "presence / absence detection”.
  • the imaging device teaching point selection unit 234 can select an imaging device that captures an image displayed on the image display unit 205 and a teaching point corresponding to the imaging device in each process.
  • a plurality of image pickup devices are provided in the robot system 2000, and in the present embodiment, the image pickup device of the image pickup device A or the image pickup device B is selected from the pull-down list by pressing the ⁇ portion of the image pickup device row of the image pickup device teaching point selection unit 234. The name of can be selected.
  • the teaching point of each image pickup device stores the pan, tilt angle and zoom position of each image pickup device set by the method described in the third embodiment, and the ⁇ portion of the image pickup device teaching point sequence is stored. You can select from the pull-down list by pressing.
  • the imaging device A and the imaging device teaching point tC1 are selected in the presence / absence detection 1 step.
  • the image display unit 205 displays the image taken by the imaging device and the imaging device teaching point selected immediately before by the imaging device teaching point selection unit 234. Further, the names of the selected image pickup device and the image pickup device teaching point are displayed. In the present embodiment, “Imaging device A: tC1” is displayed.
  • the coordinate system of the displayed imaging device can be uniquely determined according to the process.
  • a predetermined process program is selected by the process program selection unit 233, and an appropriate imaging device and imaging device teaching point are set in each process. By doing so, it becomes possible to switch to the image pickup device and the image pickup device teaching point set at the time of execution of each process and display the image on the image display unit 205.
  • the operation can be performed in the coordinate system that is easy to understand.
  • a UI suitable for performing calibration work or teaching work for the robot device and the image pickup device by the external input device 130 using the image from the image pickup device displayed on the external input device 130 An example will be described.
  • an image pickup device that automatically captures an image displayed on the external input device 130 so that an image that is easy for the operator to understand is displayed. It is an example of a UI that can be switched.
  • FIG. 20 is a diagram illustrating a difference in screens displayed on the display unit 131 of the external input device 130 due to a difference in posture of the robot device 242 according to the present embodiment.
  • FIG. 20A is a diagram showing a top view of the robot device 241 and a screen of the display unit 131 when the hand of the robot device 241 in this embodiment is at the angle of view A.
  • 20A is a top view of the robot device 241 when the hand of the robot device 241 in this embodiment is at the angle of view A.
  • FIG. 20B is a diagram showing a top view of the robot device 241 and a screen of the display unit 131 when the hand of the robot device 241 in this embodiment is at the angle of view B.
  • 20B is a top view of the robot device 241 when the hand of the robot device 241 in this embodiment is at the angle of view B.
  • the robot device 241 is fixed to the base 240. Further, in order to monitor the base 240, image pickup devices A and B are provided in the vicinity of the robot device 241, and view angles taken by the image pickup devices A and B are set as view angles A and B, respectively. It should be noted that the robot device 241 is simply illustrated for simplification of the description.
  • FIG. 20A is a diagram showing the display unit 131 of the external input device 130 when the hand of the robot device 241 in the present embodiment is at the angle of view A.
  • the display unit 131 includes a robot device operation unit 204, an image display unit 205, and an imaging operation unit 206.
  • the robot device operating unit 204 includes a robot device switching button 207, a coordinate system switching button 208, and an end effector operating button 209, as in the fourth embodiment.
  • the image display unit 205 displays the name of the imaging device selected by the imaging operation unit 206 and the image taken by the selected imaging device. In the case of the right diagram of FIG. 20A, the image from the imaging device A is displayed.
  • the image capturing operation unit 206 includes an image capturing device switching button 242 and a viewpoint operating button 131.
  • the viewpoint operation button is the same as in the fourth embodiment.
  • the image capturing device switching button 242 in the present embodiment can select which image capturing device is used to capture images from a plurality of image capturing devices provided.
  • the imaging device is automatically switched depending on the posture of the robot device 241, select the "auto" button 243.
  • the image pickup devices automatically selected by the control device 13 are listed on the right side of the “automatic” button 243 in the drawing, and the image of the first candidate image pickup device is displayed in the image display unit. 205.
  • “imaging device A” is displayed on the right side of the “automatic” button 243.
  • the image display unit 205 displays the image from the imaging device B, and “imaging device B” is displayed on the right side of the automatic button 243.
  • a list of image pickup devices in which the robot device 241 is shown in the image being taken is listed on the right side of the automatic button 243.
  • the image pickup devices are selected in the order of the number of the image pickup devices, in the order of their names, or in the order in which the area of the robot device 241 in the angle of view is the largest, and are listed on the right side of the automatic button 243. ..
  • the area of the robot device 241 being photographed may be measured by directly recognizing an image, but if the position / orientation relationship between the robot device and the imaging device is calibrated as shown in the fourth embodiment, the area is calculated.
  • the area of the robot device 241 may be calculated from the above angle of view.
  • the operator can instantly select, from the plurality of image pickup devices, the image pickup device in which the part to be taught (the hand of the robot device 241 this time) is picked up.
  • the image can be switched to an appropriate one.
  • the imaging device it is possible to easily manage the operator and the robot device by using the imaging device, measuring the working time of the operator and the robot device which are being imaged by the imaging device, and displaying them on the external input device 131. It is a UI example.
  • FIG. 21 is a diagram showing a top view of the robot system 2000 according to the embodiment of the present invention.
  • a robot device 251 and work places 252, 253, 254 are fixed on a base 250.
  • the robot system 2000 of the present embodiment is provided with imaging devices A, B, and C (not shown).
  • the respective view angles are set as view angles A, B, and C.
  • a work is placed by the robot device 251 in the work place 252 within the angle of view A.
  • the work is placed by the robot device 251 or the operator 255.
  • the work is placed on the work place 254 within the angle of view C by the worker 255.
  • the worker 255 is a worker who cooperates with the robot device 251. It should be noted that the robot device 251 is simply illustrated for simplification of the description.
  • FIG. 22 shows a configuration diagram of a display screen of the display unit 131 of the external input device 130 in this embodiment.
  • FIG. 22A is a diagram showing the menu screen unit 256 of this embodiment.
  • FIG. 22B is a diagram in which the work time measurement screen according to the present embodiment is displayed on the display unit 131.
  • FIG. 22C is a diagram in which the setting screen for working time measurement according to the present embodiment is displayed on the display unit 131.
  • the menu screen unit 256 in this embodiment displays a function selection button 257.
  • function selection buttons 257 there are as many function selection buttons 257 as there are functions of the robot system 2000, and each function is assigned to each function selection button 257, and a menu of the corresponding function can be opened by touching the corresponding button. it can. In the present embodiment, by selecting “work time measurement”, the process proceeds to FIG. 22B.
  • the display unit 131 displays the work time measurement screen unit 258.
  • the work time measurement screen portion 258 includes a work time measurement selection button 259.
  • the work time measurement selection button 259 includes a measurement setting button 281, a measurement button 282, and a measurement history button 283.
  • the screen transitions to FIG. 22C.
  • the case where the measurement button 282 and the measurement history button 283 are touched will also be described later.
  • the display unit 131 displays a work time measurement setting screen unit 260.
  • the work time measurement setting screen section 260 includes a work time measurement setting selection button 261.
  • the work time measurement setting selection button 261 includes a “measurement by process program” button 284 and a “measurement by distance between human and robots” button 285.
  • FIG. 23 is a diagram showing a screen configuration of the display unit 131 when setting the measurement of the working time by the process program in the embodiment of the present invention.
  • the display unit 131 displays a setting screen unit 262 for measurement by the process program.
  • the measurement program setting screen section 262 includes a process program selection button 263 and a measurement setting section 264.
  • the process program selection button 263 can select a process program for measuring the working time.
  • a list of process programs is displayed in a pull-down list, and the selection from the operator 255 is accepted.
  • the description will be made assuming that the “process Prg1” has been selected by the operator 255.
  • the measurement setting unit 264 displays the process content of the process program selected by the process program selection button 263, and can set the start and stop triggers of various operations in the process content.
  • the process is the contents of "robot arm operation”, “robot hand clamp”, “presence / absence detection”, etc. Set work start and stop triggers for each work category.
  • Robot work refers to work performed only by the robot device 251.
  • the “robot work” refers to work in which the robot device 251 and the worker 255 cooperate.
  • the work time in the “robot work” may be referred to as the collaborative work time.
  • Personal work refers to work performed only by the worker 255.
  • the “other work” refers to a work that is neither “robot work”, “robot man work”, or "human work”.
  • the robot device 251 places a work on the work storage 253 from the work storage 252. Then, in the work place 253, the robot device 251 and the teacher 255 perform a collaborative work, and the teacher 255 places the work from the work place 253 to the work place 254.
  • detection of the presence or absence of a work by an image is adopted as a trigger for starting and stopping the work for calculating the work time. This is generally because before and after the start of work, the work placed in each work place transits from the placed state to the unplaced state, and is not placed before and after the completion of the work. This is because the state changes to the placed state.
  • the work start and stop triggers for calculating the work time may be based on the presence or absence of the work, but may also be used by detecting the addition or machining of a part to the work by an image. ..
  • Presence / absence detection 1 in the measurement setting unit 264 of FIG. 23 is used to detect the presence / absence of a work within the angle of view A and measure the start of the “robot work”.
  • Presence / absence detection 2 is used to detect the presence / absence of a work within the angle of view B, and to measure the completion of “robot work”, the time measurement of “robot work”, and the start of “man work”.
  • the collaborative work is performed in the work place within the angle of view B.
  • the presence / absence detection 3 is used to detect the presence / absence of a work within the angle of view C, and to measure the completion of “human work” and the start of “other work”.
  • the worker 255 sets the work start (Start) and stop (Stop) triggers in process units in the measurement setting unit 264.
  • the work time is between Start and Stop, and it is the measurement time.
  • the start and stop of the work are triggered by detecting the presence or absence of the work by image processing.
  • the trigger may be the presence / absence detection of the work by the proximity switch, the presence / absence detection of another switch, the start signal of the process operation, or the completion signal.
  • the work of the worker 255 and the work of the robot device 251 could be separated on a process basis, but in some cases it may not be possible. Therefore, the relative distance between the worker 255 and the robot device 251 is directly measured, and the working time is measured based on the direct distance.
  • FIG. 24 is a diagram showing a screen configuration of the display unit 131 when setting a relative distance between the worker 255 and the robot device 251.
  • the display unit 131 displays a setting screen unit 265 for setting the distance between the teacher 255 and the robot device 251.
  • the setting screen unit 265 has a human-robot distance setting unit 266.
  • the inter-human-robot distance setting unit 266 sets the inter-human-robot distance that is regarded as a collaborative work.
  • the distance between the robot device 251 and the worker 255 which is calculated from the focal length of each imaging device connected to the robot system 2000 and the number of pixels of the imaging device, is set by the human-robot distance setting unit 266. If the distance is less than the specified distance, it is considered that they are working together.
  • the inter-personnel-robot distance regarded as a collaborative work is set to 20 mm.
  • the setting method for measuring the working time was described with reference to FIGS. Next, a method of confirming the working time measured by using these setting methods will be described.
  • the working time can be confirmed by touching the measurement button 282 or the measurement history button 283.
  • FIG. 25 is a diagram showing a screen configuration of the display unit 131 when the measurement button 282 is touched.
  • the display unit 131 displays the measurement function screen unit 267.
  • the measurement function screen section 267 includes a process program name display section 268 and a process program measurement time display section 269.
  • the process program name display portion 268 displays the name of the process program currently being executed. If the process program has not been executed, it will be blank. FIG. 25 shows the case where the process Prg1 is being executed.
  • the process program measurement time display portion 269 displays the process content of the process program being executed and the work time when the process content was executed.
  • the process that is currently being executed is indicated by the currently-executed process cursor 270.
  • the work time at the time of execution is displayed in a table (measurement time display unit 269) with the process as the vertical axis and the work classification as the horizontal axis. Furthermore, three types of work time are displayed: start time [Start], completion time [Stop], and measurement time [Time]. The work time of the process that has not been executed is blank.
  • FIG. 26 is a diagram showing a screen configuration of the display unit 131 when the measurement history button 283 is touched.
  • the display unit 131 displays a measurement history screen unit 271 and a process program measurement history display unit 272.
  • the measurement history screen portion 271 includes a measurement history selection button 273.
  • the measurement history selection button 273 sets the executed process program name and the executed date and time, and the history is displayed as a button as a list.
  • the worker 255 can display the content on the measurement history display section 272 of the process program by touching the button of the history to be referred to.
  • the process program measurement history display unit 272 includes a process program name display unit 274 and a process program measurement time display unit 275.
  • the process program name display portion 274 displays the process program name selected by the measurement history selection button 273. In the case of this embodiment, the case where the process Prg1 is selected is shown.
  • the process program measurement time display portion 275 displays the process content of the process program selected by the measurement history selection button 273 and the work time when the process is executed.
  • the work time when executed is displayed in a table with the process on the vertical axis and the work classification on the horizontal axis. Furthermore, three types of work time are displayed: start time [Start], completion time [Stop], and measurement time [Time].
  • the robot device whose working time has reached the predetermined threshold can perform maintenance, and the worker whose working time has reached the predetermined value can take appropriate rests. It is possible to easily carry out management work such as maintenance and inspection.
  • the UI time can be shortened.
  • FIG. 27 is a flowchart of a teaching method for the robot apparatus 1 and the image pickup apparatus 2 according to this embodiment.
  • the teaching method at one predetermined location consists of two steps S300 to S301, and in this embodiment, teaching at a plurality of locations is performed.
  • the robot device 1 is taught. Teaching to the robot device 1 is performed using direct teaching or the external input device 130.
  • step S301 the imaging device 2 is taught.
  • the teaching of the imaging device 2 is also performed using the external input device 130.
  • FIG. 28 shows a configuration example of a screen for teaching the robot device 1 and the imaging device 2 displayed on the display unit 131 of the external input device 130 in this embodiment.
  • an image display unit 369, a robot apparatus operation unit 370, an image pickup operation unit 371, and a coordinate display unit 372 are displayed in the display unit 131.
  • the image display unit 369 displays the image taken by the imaging device 2.
  • the robot apparatus operation unit 370 is an operation unit for operating the robot apparatus 1.
  • the imaging operation unit 371 is an operation unit for operating the imaging device 2.
  • the coordinate display unit 372 is an operation unit for displaying or setting the coordinates of the display area of the image captured by the robot device 1 or the imaging device 2.
  • the robot device operation unit 370 has a teaching mode switching button 373 for switching the teaching of the robot device 1 to direct teaching.
  • an end effector operation button 374 for moving the end effect 11 of the robot apparatus 1 in the XYZ directions in an arbitrary coordinate system, and a joint operation button 375 for operating the rotation amount for each of the joints J1 to J6 of the robot apparatus 1 are provided.
  • the robot follow-up button has a robot follow-up ON button 376 for turning on the automatic operation and a robot follow-up OFF button 377 for turning off the automatic operation.
  • a robot setting button 383 for setting the current position of the end effector 11 on the coordinate display section 372, and a robot move button 384 for moving the position of the end effector 11 to the position displayed on the coordinate display section 372 are provided. There is.
  • the image pickup operation unit 371 has a viewpoint operation button 378 for performing pan and tilt operations of the image pickup apparatus 2 and a zoom operation button 379 for performing zoom-in and zoom-out operations.
  • an imaging target designation box 380 for designating an imaging target of the imaging device 2 when the imaging device 2 is automatically operated.
  • an imaging tracking button that causes the imaging device 2 to follow the part specified in the imaging target box is provided.
  • the imaging follow-up button includes an imaging follow-up ON button 381 for turning on the imaging follow-up and an imaging follow-up OFF button 382 for turning off the imaging follow-up.
  • an image capturing setting button 385 that sets the coordinate currently focused by the image capturing apparatus 2 on the coordinate display unit 372, and an image capturing move button that moves the coordinate focused by the image capturing apparatus 2 to the coordinate displayed at the coordinate display unit 372. 386.
  • the coordinate display unit 372 includes a coordinate display box 387 for displaying and inputting XYZ coordinates.
  • the imaging tracking ON button 381 When it is desired to make the imaging of the imaging device 2 follow the operation of the robot device 1 during the teaching work, by tapping or clicking the imaging tracking ON button 381, the position specified in the imaging target box 380 is tracked. Become.
  • tapping or clicking the imaging tracking OFF button 382 can cancel tracking.
  • the robot device 1 when the robot device 1 wants to follow the shooting range of the imaging device 2, the robot device 1 follows the shooting range by tapping or clicking the robot follow-up ON button 376.
  • tapping or clicking the robot tracking OFF button 377 can cancel tracking.
  • the XYZ coordinate values are displayed in the coordinate display box 387 of the coordinate display unit 372 by tapping or clicking the robot setting button 383. ..
  • the position of the end effector 11 is calculated and displayed by an encoder (not shown) provided at each joint of the robot apparatus 1.
  • the end effector 11 When it is desired to move the end effector 11 to a predetermined spatial position, by inputting a numerical value in each of XYZ of the coordinate display section 372 and tapping or clicking the robot move button 384, the end effector 11 is located at the coordinate. Moving.
  • the amount of rotation at each joint of the robot apparatus 1 is calculated by using the inverse kinematics calculation from the value of the position of the end effector 11, and the end effector 11 is moved to a predetermined position.
  • the XYZ coordinate values are displayed in the coordinate display box 387 of the coordinate display unit 372. indicate.
  • the position of the center of the shooting range of the imaging device 2 is calculated by using image processing.
  • the operator can move the robot device 1 and the imaging device 2 to the predetermined positions only by inputting the value at the predetermined position to the external input device 130.
  • the operator's operation load can be reduced and the teaching time can be shortened.
  • the present embodiment is an example of a UI that can easily teach the work handled by the robot device to be watched.
  • FIG. 29 shows an example of a screen configuration for teaching the robot device 1 and the imaging device 2 displayed on the display unit 131 of the external input device 130 in this embodiment.
  • the imaging operation unit 371 is provided with an area setting button 390, a work registration button 391, and a work search button 392.
  • the area setting button 390 can set a predetermined area for the image displayed on the image display unit 369.
  • the work registration button 391 can detect a work handled by the robot apparatus 1 from the area set by the area setting button 390 and register it as a work to be watched.
  • the image data of the work or the like is recorded in advance in the control device 13, and the image of the image display unit 369 is subjected to image processing to detect it.
  • the work search button 392 can search the work registered by the work registration button 391 from the image displayed on the image display unit 369.
  • FIG. 30 is a flowchart executed when the imaging device 2 searches for a work in the present embodiment.
  • the work search method includes the three steps S310 to S312 in FIG. 30, and the image pickup viewpoint of the image pickup apparatus 2 can be taught to the work position.
  • the size of the work area 393 can be set by tapping or clicking the work area 393 displayed on the image display unit 369 and performing operations such as pinch in and pinch out.
  • the work detected in the work area 393 is registered as a work to be watched.
  • the work detected in the selected work area 393 can be registered as a work to be watched.
  • step S312 the work registered in step S311 is searched for from the surroundings while the imaging device 2 drives in the pan and tilt directions.
  • the registered work can be searched by tapping or clicking the work search button 392.
  • the worker may make a mistake in the work content or the work may take time.
  • the work may take a significant amount of time and may be mistaken for the work.
  • the worker and the robot device work in a common space, if the worker is not skilled, the worker may block the movement destination of the robot device, etc., and the robot device or the robot device is transported. There is a risk that the existing work and the worker will collide.
  • the present embodiment is a UI example in which a work process can be easily confirmed by an external input device and a work performed by a worker can be assisted.
  • FIG. 31 is a diagram showing a production site using the robot system 3000 according to the present embodiment.
  • the robot device 1 is arranged in the robot system 3000.
  • the robot apparatus 1 automatically performs an assembly operation of assembling the component 403 to the component 405 in accordance with a preprogrammed operation.
  • the shape of the robot device 1 is not limited to the vertical articulated shape, as long as it can automatically perform the assembly work, such as a single-axis slide operation, a scalar type, and an XY type.
  • each joint of the robot device 1 has a function of detecting a rotational position or an angle using a sensor such as an encoder, and the posture control of the robot device 1 is possible.
  • a worker 404 stays in the vicinity of the robot apparatus 1 to assemble the components 405, and a part of the body such as a hand is put in a space common to the space where the robot apparatus 1 operates. Sometimes.
  • the robot device 1 has a sufficiently safe structure and function, which is called a collaborative robot and is provided with countermeasures against collisions, trappings, etc. on the assumption that it can work in a common space with people. To do.
  • the worker 404 can edit the robot program responsible for the operation of the robot apparatus 1 by using the external input device 130.
  • the worker who assembles the parts 405 and the worker who edits the robot program may be different in many cases, and a specialized worker may be in charge of each.
  • the external input device 130 is generally called a teaching pendant, and has a communication function with a controller of the robot device 1 (not shown). Then, it has a standard robot operation function such as a moving operation of the robot apparatus 1, recording a teaching point indicating a movement destination of the robot apparatus 1, and a function of moving the robot apparatus 11 to the recorded teaching point position.
  • the worker 404 holds the external input device 130 or places it in a visible position, and performs an assembly work for assembling the component 406 to the component 405.
  • the robot system 3000 is equipped with the image pickup device 2 and photographs it so that the entire production site can be visually recognized.
  • the imaging device 2 has a driving function such as panning, tilting, and zooming that changes the shooting direction and angle of view in order to shoot the required object. Further, the number of the image pickup devices 2 to be installed may be one, or in the case where one image pickup device causes a blind spot, a plurality of image pickup devices may be installed in a place to compensate for the blind spot.
  • FIG. 32 is a diagram showing the configuration of the external input device 130 in this embodiment.
  • the external input device 130 in this embodiment includes a display unit 131 and various operation units 460.
  • the operation unit 460 is a button type unlike the above-described embodiment, but since such an operation is similar to that of the above-described embodiment, the description thereof will be omitted.
  • the external input device 130 has a display unit 131 that displays an image taken by the imaging device 2.
  • the display unit 131 can display a robot program editing screen in addition to the image from the imaging device 2.
  • the display unit 131 is a touch panel having a touch sensor, and the operator 404 can directly touch the display unit 131 to intuitively operate and edit.
  • the display in the display unit 131 may be selected and operated by using various buttons of the operation unit 460, or the external input device 130 may be provided with an interface for separately connecting a keyboard and a mouse.
  • the external input device 130 has a function of synthesizing and editing a virtual image such as a process operation of the robot device 1 and a next assembly procedure of the component 406 with an image of a production site captured by the image capturing device 2. ..
  • a robot composite image 401b or a work composite image that shows the position and orientation of the virtual robot apparatus 1 and the parts to be handled is displayed on the display unit 131. 403b is displayed (FIG. 33).
  • Each joint of the robot apparatus 1 is provided with an angle detection function such as an encoder, and the posture of the robot apparatus 1 and the position of the part 403 conveyed by it can be calculated by kinematics calculation.
  • the driving mechanism thereof has a rotation angle detection function such as an encoder, so that the image pickup direction of the image pickup apparatus 2 and the enlargement magnification are obtained. Can be derived.
  • the shape model of the robot apparatus 1 is prepared by 3D CAD, and the images of the positions of the hands and parts of the robot apparatus 1 calculated by the kinematics and the calculation method of the perspective projection image are virtually displayed on the display unit 131. It can be composited.
  • a time chart 452 is displayed on the display unit 131, and has a function of editing the start and end timings of processes such as the robot program, the assembly work of the worker 404, and the composite display. It is possible to edit and set the order of these processes and the display timing on the time chart 452.
  • the horizontal axis of the time chart basically indicates time, but the time taken to move differs depending on the performance of the robot device 1.
  • the length of time required for one step of the time chart can be arbitrarily set by the worker 404, or can be recorded by actually causing the robot apparatus 1 to perform an operation once. If it is a robot device separately provided with a robot simulation, it may be derived using it.
  • the operator 404 arbitrarily makes the control device recognize the end timing of the previous process operation or operates on time, and the next process operation start may be matched with the end timing. Can be set.
  • auxiliary display for the worker 404 to recognize the assembly contents, arrows, sounds, characters, etc. may be set.
  • the display icon 453 is selected and arranged, and the start timing is set.
  • the display icon 453 can be set for display such as highlighting such as arrows, characters, blinking of registered images, and the color, size, and orientation can be freely set, even if the worker 404 concentrates on other work, It is possible to increase the recognizability of alerts.
  • the objects are selected on the screen, the condition that their distance is closer than a certain numerical value is set as a threshold, and the screen is emphasized. Display, sound generation, etc. are set in the display icon 453.
  • FIG. 33 is a diagram in which the display unit 131 virtually displays the following actions of the robot device 1, components, and the like that form the robot system 3000.
  • the images of the actual robot device 1, the parts 403, and the instructor 404 captured and displayed are referred to as the robot device captured image 1a and the component captured image 403a.
  • a robot device composite image 1b images that virtually display the parts 403 and the like located by the next operation of the robot device 1 are referred to as a robot device composite image 1b and a part composite image 403b.
  • the shape of the registered object is imaged when the robot device 1 is actually moved or the worker 404 performs an assembly work. It may be created by recognizing it by processing, tracking the motion, and recording it.
  • the worker 404 selects and applies an appropriate means from general image processing such as edge extraction.
  • the present embodiment is an example of a UI that reduces the teaching time and does not impair the operability of the robot apparatus even when the operation setting such as teaching is performed near the operation limit of the robot apparatus.
  • FIG. 34 shows a state in which the situation in which the operator 404 operates and moves the robot apparatus 1 is photographed by the image pickup apparatus 2 and is displayed as the robot apparatus photographed image 1 a on the display unit 131 on the operation apparatus 2. ..
  • the robot apparatus 1 performs a so-called joint jog operation, each axis operation, or the like, which performs a rotational operation around the drive shaft 1j of a part of the joints of the robot apparatus 1.
  • the range in which the robot apparatus 1 can operate is set as the robot joint operation range 420, and is combined with the image captured by the image capturing apparatus 2 and displayed on the display unit 131.
  • the geometric shape of the robot joint movement range 420 displayed on the display unit 131 is a combination of the installation position and each joint angle of the robot apparatus 1, the installation position and orientation of the imaging apparatus 2, and the rotatable angle of the drive shaft 1j.
  • the geometrical shape thus derived is displayed on the display unit 131 of the robot joint movement range 420.
  • FIG. 35 shows a state in which the robot device 1 is operated to move along an orthogonal coordinate system 425 orthogonal to the installation surface of the robot device 1, which is called an orthogonal jog operation.
  • the orthogonal movement range 421 of the robot apparatus 1 is displayed as in FIG. 34. In the state of FIG. 35, it is moved in the vertical direction of the paper surface, and the vertical movement limit is shown.
  • the robot device composite image 1b represents the lower limit in the orthogonal motion range 421 of the robot device 1
  • the robot device composite image 1b 'represents the upper limit in the orthogonal motion range 421 of the robot device 1.
  • the operation limits at the front side and the back side, or at angles close to that side are recognized by a method in which the numerical display in millimeter units of the SI unit system is also written and a minus sign and a plus sign are attached. It is possible to improve the sex.
  • the operator 404 selects either want to run the robot apparatus 1 to which previously always displays the direction, means are contemplated such.
  • FIG. 36 the robot apparatus 1 is operated to move along a tool coordinate system 426 that is orthogonal to the hand posture of the robot apparatus 1, which is called a tool jog operation. Similar to FIG. 35, the tool operation range 422 is displayed in FIG. 36.
  • the operation range of the robot apparatus 1 can be easily grasped, and the operability of the robot apparatus 1 can be improved.
  • the operating ranges 420 to 422 described in FIGS. 34 to 36 can be switched between display and non-display, and if the information can be displayed at the information and the timing required by the operator 404, the visibility of normal robot operation can be improved. Does not interfere.
  • the non-display, semi-transparency, contour display, etc. of each operation range 420 to 422.
  • the robot device 1 In addition to displaying the operation range of the robot device 1, when the robot device 1 is moved beyond the operation limit, the robot device 1 is moved in the opposite direction of the immediately preceding moving operation before the robot device 1 stops due to an error. Move and stop the operation.
  • An example of a specific control method of the robot device 1 for that purpose is shown.
  • a button of the operation unit 460 of the external input device 130 is pressed to perform an orthogonal jog operation on the robot device 1.
  • the target movement position of the hand of the robot apparatus 1 is set, and each joint angle of the robot arm provided in the robot apparatus 1 for reaching the position is calculated by kinematics.
  • a movement operation to escape from the range for example, control to automatically execute to move in the opposite direction of the immediately preceding operation is performed.
  • the worker 404 is allowed to arbitrarily set a certain range around this operation limit. By doing this, the range can be narrowed so that the work near the limit can be used more frequently, or conversely, the range can be expanded to avoid the risk of impairing the operability at the limit position. Will be able to.
  • the operation limit of the robot device 1 can be confirmed by the external input device 130, the operability of the robot device 1 can be improved.
  • positioning jigs like the ones mentioned above are expensive and time-consuming to manufacture. It is also conceivable to make adjustments using a measuring device such as a laser rangefinder or a protractor such as an angle meter. However, even in that case, it is necessary to prepare a measuring machine whose accuracy is guaranteed, to use the measuring machine with high accuracy, and to design and adjust for installing the robot device.
  • a measuring device such as a laser rangefinder or a protractor such as an angle meter.
  • the present embodiment is an example of a UI that enables the robot apparatus to be positioned without using a jig or a measuring instrument even when positioning the robot apparatus with high accuracy.
  • FIG. 37 shows the work of moving the robot apparatus 1 taken by the image pickup apparatus 2 and displayed on the display unit 131 on the external input apparatus 130.
  • a 3D CAD model in design may be used, or the position of the robot device 1 can be determined by processing the image of the imaging device after installing the robot in an appropriate position.
  • the shape may be acquired and used.
  • the geometric shape to be displayed on the display image unit 131 based on the posture of the robot device 1 and the posture of the image pickup device 2 can be obtained as in the eleventh embodiment. It can be calculated.
  • the installation work becomes easier.
  • the operator 404 can arbitrarily set the conforming area and the allowable range of the maximum distance according to the required assembly accuracy and the like.
  • the installation accuracy can be improved by aligning the positions of the robot device 1 by orienting the robot device 1 in a plurality of directions or by taking a characteristic attitude during the installation work.
  • the zoom function of the imaging device 2 to magnify and record a characteristic part of the robot device 1 and use that image for alignment, it is possible to perform alignment with high accuracy.
  • polygonal display of the shape of the robot apparatus 1, display of only contour lines, semi-transparent display, etc. may be selected according to workability and visibility.
  • the robot device being used in the production line can be temporarily used.
  • the robot device can be returned to the original production line immediately after the use of the robot device is completed. In this way, it becomes possible to operate the robot corresponding to high-mix low-volume production.
  • the present embodiment is an example of a UI that allows the operator to simultaneously inspect the parts handled by the operator by the imaging device and the operation of the robot device even when the above problem occurs.
  • FIG. 38 shows an example in which an image taken by the imaging device 2 is displayed on the display unit 131 at a site where the robot device 1 and the worker 404 are working in parallel in a common space.
  • the robot device avoidance posture 1d is displayed on the display unit 131 in combination with the image captured by the imaging device 2, and the imaging device in the component 406 is moved by moving the robot device 1 to this range. Inspection by 2 is possible.
  • the range in which the polyhedron does not interfere with the robot device 1 is This is a range where the device 1 does not block the component 406.
  • the posture of the robot apparatus 1 can be calculated by kinematics from each joint angle of the robot arm provided in the robot apparatus 1.
  • the geometrical shape of the robot device avoiding posture 1d to be displayed on the display unit 131 at this time is derived by perspective projection calculation from the posture of the robot device 1 and the posture of the imaging device 2 as in the eleventh embodiment. it can.
  • the robot apparatus avoiding posture 1d is preferably calculated by the operator 404 by designating an arbitrary direction along an orthogonal coordinate system or the like.
  • FIG. 38 the range in the case where the robot device 1 avoids in the direction of arrow H is shown.
  • FIG. 39 shows a state in which the robot apparatus 1 has moved to the position of the robot apparatus avoiding posture 1d derived above.
  • the entire component 406 is displayed by the imaging device 2 without being blocked by the robot device 1, and the inspection of the component 406 can be performed by the imaging device 2.
  • the teaching apparatus for operating the robot apparatus 1 is set while the image pickup apparatus 2 inspects the component 406. You can
  • the imaging device 2 when operating the imaging device 2 with the external input device 130, consider a case where the imaging device 2 is operated intuitively.
  • the image pickup operation unit which has been operated in the pan direction up to now depending on how the image pickup apparatus 2 is attached depends on how to display on the external input device 130. May look like an operation unit in the tilt direction. At that time, it becomes difficult to operate the imaging device 2 intuitively.
  • an example of a UI that allows the external input device 130 to intuitively operate the imaging device 2 even if the above problem occurs will be described.
  • FIG. 40 shows a screen displayed on the display unit 131 in this embodiment.
  • an image pickup apparatus installation icon 560 that displays the installation state of the image pickup apparatus 2 viewed from the operator is provided.
  • the external input device 130 stores in advance information on how to attach the imaging device 2 to be operated, and displays the installation state of the imaging device 2 on the imaging operation unit 105 based on the stored information.
  • An arrow B which is a visual indicator showing the pan direction
  • an arrow A which is a visual indicator showing the tilt direction, are displayed on the image pickup apparatus installation icon 560.
  • FIG. 41 shows a screen displayed on the display unit 131 when the image pickup apparatus 2 is installed by a mounting method different from that of FIG.
  • the image pickup apparatus 2 is installed by rotating it by 90 ° from the installed state of the image pickup apparatus 2 in FIG.
  • the image pickup apparatus installation icon 560 is displayed on the image pickup operation unit 105 in a state where the image pickup apparatus 2 is rotated by 90 °.
  • the viewpoint operation button 106b when operating the direction of arrow A which is the tilt direction of the image pickup apparatus 2, the viewpoint operation button 106b is operated, and when operating in the direction of arrow B which is the pan direction of the image pickup apparatus 2, the viewpoint operation button is operated. Operate by 106a. At that time, "B" is displayed near the viewpoint operation button 106a as a visual indicator indicating the pan direction, and "A" is displayed near the viewpoint operation button 106b as a visual indicator indicating the tilt direction. As a result, the direction indicated by the viewpoint operation button 106b and the arrow A direction in the tilt direction visually match, and the direction indicated by the viewpoint operation button 106a and the arrow B direction in the pan direction visually match.
  • the image pickup device 2 can be intuitively operated by the section input device 130. Further, since the mounting method of the image pickup apparatus 2 is displayed, it is possible to more intuitively operate the image pickup apparatus 2. Although characters and arrows are displayed as the visual indicators, a method such as a figure or a picture that can be visually recognized by the operator may be appropriately used.
  • control device 13 a software control program capable of executing the above-described functions and a recording medium having the program recorded therein are used as an external input device. It may be mounted on 130 and implemented.
  • the software control program capable of executing the above-described functions and the recording medium recording the program constitute the present invention.
  • the computer-readable recording medium is the ROM or the RAM, and the control program is stored in the ROM or the RAM.
  • the present invention is not limited to such a form. Absent.
  • the control program for implementing the present invention may be recorded in any recording medium as long as it is a computer-readable recording medium.
  • a computer-readable recording medium For example, an HDD, an external storage device, a recording disk, or the like may be used as the recording medium for supplying the control program.
  • each motor provided in the robot apparatus 1 is not limited to the above-described configuration, and the drive source that drives each joint may be, for example, a device such as an artificial muscle.
  • the various embodiments described above are applied to a machine capable of automatically performing an operation of expansion / contraction, bending / extension, vertical movement, horizontal movement or turning, or a combined operation thereof based on information in a storage device provided in the control device. It is possible.
  • the screen configuration for monitoring the operation of the robot device imaged by the imaging device 2 is displayed on the external input device 130, but the invention is not limited to this.
  • a mobile terminal for example, it may be displayed on various interfaces such as a mobile terminal, a desktop computer or a laptop computer that can operate the robot device by an application or the like.
  • buttons what is displayed on the display unit of the external input device is referred to as a button, but it may be replaced by a display icon or a display item.
  • the imaging device 2 installed at a predetermined position for imaging is described as an example, but the present invention is not limited to this.
  • the end effector of the robot device is provided with an image pickup device, the image pickup device is used as an on-hand camera, and an image from the image pickup device used to pick up images from a fixed point and an image from the image pickup device used as an on-hand camera, It may be displayed on the same screen of the external input device. Accordingly, while confirming the entire robot apparatus, the viewpoint from the end effector performing the work can be confirmed, and the teaching of the robot apparatus can be performed more easily.
  • the image from the image capturing device that captures images from a fixed point and the image from the image capturing device that is used as an on-hand camera may be alternately switched and displayed on the image display unit.
  • control device 13 may include an image processing device, the image captured by the image capturing device 2 may be image processed, and the image processing result may be displayed on the display unit 131 of the external input device 130. Accordingly, when the teaching of the robot apparatus is corrected using the imaging device 2, the teaching of the robot apparatus can be corrected while confirming the result of the image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、外部入力装置は、表示領域と、ロボット装置を操作するロボット装置操作部と、撮像装置を操作する撮像操作部と、撮像装置が撮影している画像を表示する画像表示部と、を有し、表示領域に、ロボット装置操作部と、撮像操作部と、画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置を採用した。

Description

外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
 本発明は、撮像装置を備えたロボットシステムに関するものである。
 近年、撮像装置を用いてロボット装置を監視するロボットシステムが注目されている。
 例えば特許文献1は、撮像装置としてパンチルト機能を有しており、撮像装置が撮像する範囲を幅広くしている。これにより必要に応じて、撮像装置の首振り機能やズーム機能を駆使し、様々な方向からロボット装置を映し出し、ロボット装置の様々なシーンを監視することに用いることができる。
 そして、特許文献2に記載のロボットシステムでは、ロボットハンド等に搭載された撮像装置からの画像を教示用タブレット等の外部入力装置に映しだす。そして、ロボットハンドにおける視点からの画像を見ながら、ロボットハンドを動かし、ロボットアームの始点、終点位置を外部入力装置により教示する。
 このように撮像範囲の広い撮像装置からの画像を見ながら、作業者がロボット装置の教示を行うことで、作業者が教示する際に危険を伴う箇所や、作業者が立ち入れないような場所での教示を行うことができる。
特開2018‐107786号公報 特開2009‐000782号公報
 しかしながら特許文献2に記載のロボットシステムは、単に撮像装置からの画像を映し出すモニタが、教示用パネル等の外部入力装置に設けられているだけに過ぎない。
 よって、撮像装置とロボット装置とを、画像を映し出すモニタ等の表示部が設けられた1つの外部入力装置により操作を行う際、外部入力装置にどのようなユーザーインタフェース(以下、UI)を設ければ良いのかは論じられていなかった。
 本発明は、上記観点に鑑み、撮像装置とロボット装置とを、画像を映し出すモニタが設けられた1つの外部入力装置により操作を行う際、ユーザーフレンドリーなUIを有する外部入力装置を提供することを目的とする。
 上記課題を鑑み、本発明では、撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、前記外部入力装置は、表示領域と、前記ロボット装置を操作するロボット装置操作部と、前記撮像装置を操作する撮像操作部と、前記撮像装置が撮影している画像を表示する画像表示部と、を有し、前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置を採用した。
 本発明によれば、撮像装置からの画像を見ながら、ロボット装置に教示を行う際、ロボット装置の位置が逐一変わってしまっても、画像表示部と撮像操作部、ロボット装置操作部により、撮像視点を容易に適応させることができる。
 よって画像表示部により撮像視点を確認しつつ、ロボット装置操作部により、教示点ごとにロボット装置への教示を行い、撮像操作部により撮像装置の調整を行うことができる。
 このため、同一の装置でロボット装置の教示操作、撮像装置の教示操作、撮像装置からの画像確認ができるので、ユーザーフレンドリーな外部入力装置を提供することができる。
本実施形態におけるロボットシステム1000の構成を示した図である。 本実施形態におけるロボット装置1の構成を示した図である。 実施形態における外部入力装置130の構成を示した図である。 本実施形態における撮像装置2の構成を示した図である。 本実施形態におけるロボットシステム1000の制御ブロック図である。 第1の実施形態における外部入力装置130を示した図である。 第2の実施形態における外部入力装置130を示した図である。 第2の実施形態における制御フローを示したフローチャートである。 第3の実施形態における制御フローを示したフローチャートである。 第3の実施形態における外部入力装置130を示した図である。 第4の実施形態におけるロボットシステム2000を示した図である。 第4の実施形態における外部入力装置130を示した図である。 第4の実施形態における撮像装置Aとロボット装置201との相対姿勢の説明図である。 第5の実施形態における撮像装置2による画像の上下が反転する際の説明図である。 第5の実施形態における撮像装置2による画像の上下が反転する際の説明図である。 第5の実施形態における外部入力装置130を示した図である。 第5の実施形態における画像表示部205の上下を反転させた際の図である。 第5の実施形態における画像表示部205の上下を反転させた際の図である。 第5の実施形態における画像表示部205の上下の反転を自動で設定する際の説明図である。 第5の実施形態における画像表示部205の上下の反転を自動で設定する際の説明図である。 第5の実施形態における画像表示部205の上下の反転を自動で設定する際の説明図である。 第5の実施形態における画像表示部205をマルチタッチにより回転させる際の説明図である。 第5の実施形態における画像表示部205をマルチタッチにより回転させる際の説明図である。 第6の実施形態における外部入力装置130を示した図である。 第6の実施形態における外部入力装置130を示した図である。 第7の実施形態における外部入力装置130を示した図である。 第7の実施形態における外部入力装置130を示した図である。 第8の実施形態におけるロボットシステム2000を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第9の実施形態における制御フローを示したフローチャートである。 第9の実施形態における外部入力装置130を示した図である。 第10の実施形態における外部入力装置130を示した図である。 第10の実施形態における制御フローを示したフローチャートである。 第11の実施形態におけるロボットシステム3000を示した図である。 第11の実施形態における外部入力装置130を示した図である。 第11の実施形態における外部入力装置130を示した図である。 第12の実施形態における外部入力装置130を示した図である。 第12の実施形態における外部入力装置130を示した図である。 第12の実施形態における外部入力装置130を示した図である。 第13の実施形態における外部入力装置130を示した図である。 第14の実施形態における外部入力装置130を示した図である。 第14の実施形態における外部入力装置130を示した図である。 第15の実施形態における外部入力装置130を示した図である。 第15の実施形態における外部入力装置130を示した図である。
 以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施形態はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
 (第1の実施形態)
 図1は本実施形態におけるロボットシステム1000の概略構成を示した図である。本実施形態ではロボット装置1がベルトコンベア900から矢印P方向に流れてくるワークWaからWdを、トレイ152へ並べる作業を例にとり説明する。
 ロボットシステム1000は、ロボット装置1とロボット装置1の状況を撮像するための撮像装置2、ロボット装置1と撮像装置2を制御する制御装置13、ロボット装置1と撮像装置2の教示を行う外部入力装置130から成る。
 図1より、撮像装置2は柱155に設けられており、この撮像装置2がロボット装置1及び周辺のワークを撮像し、外部入力装置130の表示領域としての表示部131に撮像装置2からの画像を表示する。
 図2は本実施形態におけるロボット装置1の構成を示した図である。本実施形態ではロボット装置として6軸多関節ロボットを例に説明する。
 図2より、ロボット装置1は基台10、6つの関節J1からJ6を有するロボットアーム本体50、ワークを把持するエンドエフェクタ11を備える。また、ロボット装置1はケーブル12を介して制御装置13に接続される。
 ロボットアーム本体50は、複数リンク、例えばシリアルリンク形式で複数の関節(6軸)を介して相互に接続した構成を有する。ロボットアーム本体50のリンク51、52、53、54、55、および56は、関節J1、J2、J3、J4、J5、およびJ6を介して駆動される。駆動源として各々の関節には不図示のモータを有している。
 また、ロボットアーム本体50の先端に接続されるエンドエフェクタ11は生産ラインにおいて組み立て作業や移動作業を行うためのロボットハンドが適用されている。
 このエンドエフェクタ11は、リンク56に対してビス止めなどの半固定的な手段によって装着されるか、あるいは、ラッチ止めなどの着脱手段によって装着可能であるものとする。
 特に、エンドエフェクタ11が着脱可能である場合は、ロボットアーム本体50を制御して、ロボットアーム本体50自身の動作によって、供給位置に配置された他のエンドエフェクタ11を着脱ないし交換する方式も考えられる。
 さらに本実形態では、関節J1~J6の駆動をフィードバック制御できるように各関節にそれぞれ不図示のトルクセンサとエンコーダを各々配置しているものとする。
 本実施形態ではエンドエフェクタ11として、3つの指部を備えたロボットハンドを例に説明する。なお、本実施形態では指部を備えたロボットハンドを例にとるが、例えば指部の代わりに吸着機構を設けワークの保持を行うエンドエフェクタ等、ワークに作業を行うことができる機構を別途用いても良い。
 制御装置13はマイクロプロセッサなどから成るCPUなどによって構成されている。また制御装置13には教示者がロボット装置1の近辺でロボット装置1および撮像装置2の教示を行うための外部入力装置130が接続されている。
 作業者により外部入力装置130を用いて、指令値を制御装置13に入力し、制御装置13からの制御値がロボットアーム本体50及びエンドエフェクタ11に渡されることでワークをトレイ152に並べる等の動作がロボット装置1により行われる。
 また、ロボット装置1の周りに防護壁154が設置されている。防護壁154はワークや現場の作業者がロボット装置1とぶつからないよう、安全のために設けられている。
 また制御装置13は、ロボットアーム本体50の各種動作に応じて対応する駆動部を制御するためのプログラムや、それらの制御に必要なデータ等を記憶したROMを有する。さらにロボットアーム本体50を制御する上で必要なデータ、設定値、プログラム等を展開するとともにCPUの作業領域として使用するRAMを備えている。
 図3は教示者がロボット装置1および撮像装置2の教示を行うための外部入力装置130を示した図である。外部入力装置130は表示部131を備える。本実施形態では外部入力装置の例として教示用タブレットを例に取り説明する。
 表示部131にはロボット装置1および撮像装置2の動作を教示するためのインタフェースや、撮像装置2が撮像した画像などが表示される。
 表示部131は、タッチパネルに対応したディスプレイであり、作業者は表示部131をタッチ等により操作することで、ロボット装置1および撮像装置2へ指令値の入力を行うことができる。
 以上により作業者は、表示部131に表示された情報を基に、表示部をタッチ操作することで指令値を入力し、ロボット装置1および撮像装置2の動作を教示することができる。
 図4は撮像装置2の構成を示した図である。本実施形態ではパン・チルト・ズームが可能なパンチルトカメラを撮像装置2の例にとり説明する。
 撮像装置2はカメラベース20と可動部21、また可動部21内には撮像部22を備えている。
 可動部21は、チルトモータを有しており、シャフトやベアリング等の伝達機構を介して撮像部22を設けることで、撮像部22を矢印Aのチルト方向に回転できるようにしている。
 同様に可動部21は、パンモータを有しており、シャフトやベアリング等の伝達機構を介して撮像部22を設けることで、撮像部22を矢印Bのパン方向に回転できるようにしている。
 撮像装置2はパンモータ、チルトモータを駆動することで撮像視点を変更し、撮影を行うことができる。任意の撮像視点および撮像視野となるようにパンモータ、チルトモータを駆動させ、撮像部22の位置を指定して撮影を行うといった動作を記録させることを撮像装置2の教示と呼ぶ。
 更に、撮像装置2は制御装置13に接続するためのケーブル23を有しており、ケーブル23を介して制御装置13に接続されている。
 以上により、撮像装置2は可動部21によりロボット装置1および周りの所定の位置を撮像することができ、画像を、制御装置13を介して外部入力装置130の表示部131に表示することができる。
 図5は本実施形態で用いるロボットシステム1000の制御ブロック図を表したものである。
 図5より情報を伝達するバス111に、制御装置13内部に設けられたCPU112、ROM113、RAM115、HDD116が接続される。
 さらに撮像装置2に設けられたパンモータ、チルトモータの駆動を制御するために、不図示の各モータのドライバがインタフェース117を介してバス111に接続されている。
 また、ロボット装置1のロボットアーム本体50における各関節のモータ123~128を制御するサーボ制御部122がインタフェース119を介してバス111に接続される。
 また作業者が、ロボット装置1と撮像装置2への指令を行うための外部入力装置130に設けられた表示部131がインタフェース118を介してバス111に接続される。
 以上により、ロボットシステム1000を構成する、ロボット装置1、撮像装置2、外部入力装置130、制御装置13がバス111を介して全て通信可能としている。
 これにより、作業者が外部入力装置130を介して、ロボット装置1と撮像装置2とに指令値を送信し、平行して制御を行うことが可能となる。
 以下、本実施形態における外部入力装置130のUI例について詳しく説明する。本実施形態では、外部入力装置130に映し出された撮像装置2からの画像を用いて、外部入力装置130により、ロボット装置1と撮像装置2の校正作業や教示作業を行う場合に好適なUI例について説明する。
 図6は表示部131に表示される画面の一例を示している。表示部131には、ロボット装置1の姿勢の制御、教示を行うロボット装置操作部101、撮像装置2のパンモータ、チルトモータの制御、教示を行う撮像操作部105が表示される。
 ロボット装置操作部101には、エンドエフェクタ11を任意の座標系におけるXYZ方向に移動させるためのエンドエフェクタ操作ボタン102と、各関節J1~J6毎に回転量を操作するための関節操作ボタン103とを備えている。
 撮像操作部には、撮像装置2のパン・チルト操作を行うための視点操作ボタン106や、ズームイン・ズームアウト操作を行うためのズーム操作ボタン107を備える。
 さらにロボット装置操作部101と撮像操作部105との間に、撮像装置2が撮影している画像を表示する画像表示部104が表示される。
 一般にロボットシステムにおける撮像装置の役割は、扱う対象物であるワークの位置を計測したり、加工前のワークの検査を行ったり、ロボット装置による組立動作や加工動作の検査を行うものである。
 よって、ロボット装置のエンドエフェクタ付近を撮像装置で撮影し続けることが望ましい。しかしながら、ロボット装置のエンドエフェクタの可動範囲は教示される動作により広範囲にわたる。
 このような場合に撮像視点の向きを自在に変えることができるパンチルト機能を有した撮像装置は有効である。
 図6に示すように、教示の指令値を入力する外部入力装置130に、ロボット装置操作部101、撮像操作部105、画像表示部104が、同一の表示部に全て表示され、作業者からの入力を受け付けられるようにしている。
 そのため、撮像装置からの画像を見ながら、ロボット装置に教示を行う際、エンドエフェクタの位置が逐一変わってしまっても、画像表示部104と撮像操作部105により、撮像視点を容易に適応させることができる。
 そして画像表示部104により撮像視点を確認しつつ、ロボット装置操作部101により、教示点ごとにロボット装置への教示を行い、ロボット装置1と連動して撮像操作部105により撮像装置2の調整を行うことができる。
 このため、同一画面上でロボット装置1の教示操作、撮像装置2の教示操作、撮像装置2の画像確認ができるので、ユーザーフレンドリーな入力装置を提供することができる。
 また、画像表示部104の左右の一方にロボット装置操作部101、他方に撮像操作部105を表示させている。これにより、作業者が外部入力装置130を持った際、作業者の左右の手が各操作部にかかるようにしている。よって、作業者の指が各操作部に届きやすくなるので、さらに外部入力装置130の操作性を向上させることができる。なお、作業者の手の大きさ等により、ロボット装置操作部101、撮像操作部105、画像表示部104の表示位置を適宜変更できるようにしてもかまわない。
 (第2の実施形態)
 上記第1の実施形態では、同一画面上にロボット装置1の教示操作、撮像装置2の教示操作、撮像装置2の画像確認ができるように外部入力装置を構成し、作業者による操作の利便性向上を図った。
 本実施形態では、上記に加え、外部入力装置のUIにより、作業者の安全を確保することができる。
 以下では、第1の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第1の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図7は本実施形態における表示部131に表示される画面を示している。第1の実施形態と異なる点は、表示部131の撮像操作部105に、顔認証機能の有効、無効を切り替える顔認証ボタン108が設けられている点である。
 例えば、ロボット装置近傍に頻繁に作業者が存在するようなロボットシステムの場合、作業者が負傷することがないようにしなければならない。
 このためロボット装置の駆動速度に安全上の上限を設ける必要がある。その際、撮像装置からの画像に作業者がいることが検知されると、ロボット装置の駆動速度を低下させるような警戒機能を搭載させる方法がある。
 しかしながら、ロボット装置の教示を行う場合、ロボット装置の近傍に作業者が位置することが一般的であり、撮像装置に教示者が撮像されてしまう。
 よって警戒機能が作動していまい、ロボット装置の駆動速度が遅いまま、教示作業を行うことになり、教示作業の効率が低下してしまう。
 そこで本実施形態では、撮像装置2による画像から、あらかじめ登録しておいた教示作業者の顔を認識する。
 教示作業者の顔のデータは、予めHDD116等の記憶部に記録させておき、顔認証ボタン108が押されると、認証プログラムをRAM115に展開し、顔認証の動作を行う。図8は本実施形態における認証プログラムのフローチャートである。顔認証ボタン108が押されることで図8のフローが開始される。なお、これらフローは制御装置13により実行されるものとして説明するが、外部入力装置130に別の制御装置を設け実行させても良い。
 まず、S1で顔のデータをHDD116から読み出す。
 次にS2で、撮像装置2が現在撮像している画像から顔を検知する。
 そしてS3で、検知した顔が、予め記録された教示作業者の顔のデータであるか判定する。検知した顔と顔データとが一致すればS3:YESとなり、S5に進む。一致しなければS3:NOとなりS5に進む。
 S5では、ロボット装置1の危険性と安全確保の方法について十分な教育を受けた者がロボット装置1の教示を行っているものと判断でき、ロボット装置1と作業者との接触の危険性は低いものと判断できる。ゆえに必ずしも警戒機能を有効にしておく必要はない。よってロボット装置の駆動速度を低下させず、顔認証プログラムを終了する。
 逆にS6では、ロボット装置1の危険性と安全確保の方法について十分な教育を受けていない者がロボット装置1の近傍に位置していると判断でき、ロボット装置1と作業者とが接触してしまう恐れがある。ゆえに作業者の安全を確保すべく警戒機能を有効にしておく必要がある。そこでロボット装置1の駆動速度を低下、制限し、顔認証プログラムを終了する。
 以上により、必要な時に警戒機能を実行することができる。よってロボット装置の教示の際には熟練の作業者により、駆動速度が速い状態で教示動作を行わせることができるため、教示作業の効率を向上させることができる。
 なお、顔認証ボタン108の代わりに、教示モードに設定したことを、外部入力装置130が認識した場合に図8のフローが開始されるようにしても良い。
 (第3の実施形態)
 次に第3の実施形態として、外部入力装置130に映し出された撮像装置2からの画像を用いて、外部入力装置130により、ロボット装置1と撮像装置2の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態は、ロボット装置1の動作と同期させて撮像装置2によるロボット装置1の撮影を行う際に好適なUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第1の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 また本実施形態ではロボット装置1がベルトコンベア900から矢印P方向に流れてくるワークWaからWdを、トレイ152へ並べる作業と同期して撮像装置2による撮影を行う場合を例にとり説明する。以下、ロボット装置1の動作とそれに同期する撮像装置2の動作について詳しく説明する。
 まず、ロボット装置1がベルトコンベア900上のワークを把持するタイミングで撮像装置2はパンモータ、チルトモータを駆動させ視点を変更し、トレイ152を撮影する。
 撮影された画像を画像処理することでトレイ上のワーク有無を検知する。ロボット装置1はトレイ上のワークが存在しない位置にエンドエフェクタ11で把持したワークを置く。
 ロボット装置1がトレイ152にワークを置くタイミングで撮像装置2はパンモータ、チルトモータを駆動させ視点を変更し、ベルトコンベア900を撮影する。
 撮影された画像を画像処理することでベルトコンベア900上のワーク有無を検知する。ロボット装置1はベルトコンベア900上にワークが存在する場合にベルトコンベア900上のワークを取得する。
 ロボットシステム1000は上記の動作をロボット装置1と撮像装置2に繰り返し実行させる。このように撮像装置2がロボット装置1の動作に同期して撮像視点の変更および撮影を行い、撮影された画像を元に作業環境を認識し、ロボット装置1の動作にフィードバックする。
 この動作を実現するためにはロボット装置1がベルトコンベア900上のワークを把持してからトレイ152にワークを置くまでに要する時間内に撮像装置2の撮像視点の変更が完了する必要がある。
 従来は、シミュレーションや、実際にロボット装置1と撮像装置2を動作させ、撮像視点の変更が間に合うかどうかを確認し、間に合わなければ撮像視点の設定をやり直す等の作業を行っており、作業者の負担となっていた。
 本実施形態では、このようなロボット装置1の動作と同期させて撮像装置2によるロボット装置1の撮影を行う場合における、撮像装置2の撮像視点の教示において教示者の負担を軽減させることができる。
 図9は本実施形態におけるロボット装置1と撮像装置2の教示方法のフローチャートである。教示方法はS100からS102の3工程から成る。
 図9より、まずS100では、ロボット装置1に対する教示を行う。ロボット装置1に対する教示は、ダイレクトティーチングにより行う。作業者がロボット装置1を直接手で持って動かし、ベルトコンベア900上のワークを把持してトレイ152上に置くという動作を教示する。
 ただし、教示方法はこれに限られるものではなく、第1の実施形態、第2の実施形態で述べたように、外部入力装置130を用いてロボット装置1の近傍で教示を行うオフラインティーチングを用いても良い。当業者により実施できる種々のロボット装置の教示方法を用いて良い。
 上記の方法で教示した教示データは、制御装置13に記録させても良いし、外部入力装置130に記録部を設け、外部入力装置130に記録させても良い。
 S101からS102では、撮像装置2の教示を行う。撮像装置2の視点の教示はロボット装置1の動作に紐づけた形で行われる。以下、S101、S102の説明の前に、本実施形態における外部入力装置130のUI例について詳述する。
 図10は外部入力装置130の表示部131に表示される撮像装置2の教示用画面を示す。以下上記実施形態と異なる部分について説明する。
 図10において、本実施形態では、予め記録されたロボット装置1のモデルデータにより、ロボット装置1の姿勢が3Dモデルで表示されるモデル表示部140が設けられている。
 モデル表示部140には、モデルデータと教示点データにより、実際のロボット装置1が取るであろう姿勢を計算し、3Dモデルとして画面上で確認できるようになっている。姿勢の計算はRRT(Rapidly-Exploring Random Trees)といった技術を利用し行われる。
 またモデル表示部140の下部には、再生バー141が設けられており、教示した実際のロボット装置1の動作させるための再生ボタン144、一時停止ボタン145を備えている。
 再生バー140上には、再生中のロボット装置1の動作の時間的な現在位置を表す現在位置マーク142が表示されている。再生バー140は、ロボット装置1の所定の動作の開始を0秒とし、終了時間までをバー形式で表している。図5では5:00(5分)が終了時間である。
 再生ボタン144を押下すると実際のロボット装置1が動作を開始する。一時停止ボタン145を押下すると、実際のロボット装置1が動作を一時停止する。
 一時停止状態で現在位置マーク142をタッチし左右にスワイプすることで実際のロボット装置1の動作を制御することができる。
 右にスワイプした場合には実際のロボット装置1が、スワイプした移動量だけ動作し、左にスワイプした場合にはロボット装置1が、スワイプした移動量だけ逆に動作される。
 モデル表示部140の一部をタッチし、左右にスワイプすることで、現在位置マーク142をスライドさせる操作と同様にロボット装置1の操作をすることもできる。
 画像表示部146には撮像装置2で撮影された撮像が表示される。画像表示部146の下部には、撮像装置2のパンモータの操作を行うパン操作バー147が設けられ、撮像装置2のパン方向における現在位置を表すパン位置マーク148が表示される。
 作業者がこのパン位置マーク148をタッチして左右にスライドさせることで撮像装置2のパンモータを操作することができる。
 画像表示部146の一部をタッチし、左右にスワイプすることで、パン位置マーク148をスライドさせる操作と同様のパンモータ操作をすることもできる。
 上述したパンモータ操作と同様にチルトモータについても操作をすることができる。
 画像表示部の紙面向かって右側には、撮像装置2のチルトモータの操作を行うチルト操作バー121が表示され、撮像装置2のチルト方向における現在位置を表すチルト位置マーク122が表示される。
 作業者がこのチルト位置マーク122をタッチして上下にスライドさせることで撮像装置2のチルトモータを操作することができる。
 画像表示部146の一部を2本の指でマルチタッチし、上下にスワイプすることで、チルト位置マーク122をスライドさせる操作と同様のチルトモータ操作をすることもできる。
 また撮像装置2のズームについても、上述したパンモータ操作、チルトモータ操作と同様の表示、機能が提供される。
 チルト操作バー121の紙面向かって右側にズームバー123が表示され、撮像装置2のズームアップ、ズームダウンにおける現在の焦点位置を表すズーム調整マーク124が表示される。
 作業者がこのズーム調整マーク124をタッチして上下にスライドさせることで撮像装置2のズームを調整することができる。上にスライドすればズームアップ、下にスライドさせればズームダウンとなる。
 画像表示部146の一部をタッチし、ピンチイン・ピンチアウトすることで、ズーム調整マーク124をスライドさせる操作と同様のズーム調整をすることもできる。
 これら、パン位置、チルト位置、ズーム位置を各バーにより調整し、撮像教示ボタン160を押下することで、各バーのマークが位置したところで撮像装置2の撮像視点の教示点として設定される。
 ロボット装置1、撮像装置2の操作を行う、再生バー141、パン操作バー147、チルト操作バー121、ズームバー123には、撮像装置2の撮像視点の教示点を表す撮像視点教示ポイント143がそれぞれ表示される。
 これにより、ロボット装置1に教示された一連の動作の中における、撮像装置2に教示した所定の教示点(図10ではt1)の内容(パン位置、チルト位置、ズーム位置)を作業者が容易に把握することができる。
 図9に戻りS101では、S100で教示したロボット装置1の一連の動作の中で撮像装置2の撮像視点を教示する。
 まず再生ボタン144を押下してロボット装置1を動作させる。そして画像表示部146を確認し、撮像視点を教示したい所で一時停止ボタン145を押下してロボット装置1を一時停止する。
 この一時停止した再生バー141上の現在位置マーク142の位置が、ロボット装置1の一連の動作における撮像装置2の撮像視点の教示点となる。
 次にS102で、撮像装置2の各モータ、ズームの教示を行う。教示者は画像表示部146を確認しながら撮像装置のパン位置、チルト位置、ズーム位置を調整し、最後に教示ボタン160を押下することで、撮像装置2の撮像視点の教示を行う。
 このとき、パン操作バー147、チルト操作バー121、ズーム調整バー123上には視点設定が可能な範囲を表す、視点設定可能範囲150が表示される。
 視点設定可能範囲150はロボット装置1の動作に対して遅れなく視点を変更できる設定範囲を示している。
 図10では、撮像視点教示ポイント143が示す所定の教示点t1が既に教示されている状態で、現在位置マーク142において新たに撮像装置2の教示を行う様子を示している。
 ここで再生バー141における、撮像視点教示ポイント143から現在位置マーク142までロボット装置1が動作する間、パンモータ、チルトモータ、ズーム位置を変更可能な範囲が視点設定可能範囲150として表示される。
 視点設定可能範囲150の設定方法について抄出する。まず、過去の撮像視点教示ポイント143から、S101でこれから別の撮像視点を教示するポイントである現在位置マーク142までにかかる視点変更時間を計算する。
 過去の撮像視点教示ポイントが複数ある場合には、これから視点を教示する現在位置マークに対して直近の撮像視点教示ポイントを参照する。
 次に、視点変更時間とパンモータ、チルトモータ、ズーム処理にかかる速度から、パンとチルト、ズームの設定可能量を求める。
 最後に、各操作バー上に表示されている過去の撮像視点教示ポイント143を中心に、パンとチルト、ズームの設定可能量範囲内の範囲を視点設定可能範囲150として設定する。
 作業者がこの視点設定可能範囲150の範囲内で各種設定することで、ロボット装置1の動作に対して遅れなく撮像装置1の撮像視点における各種設定を変更できるため、ロボット装置1に同期しながら撮像装置2の視点変更が可能となる。
 以上本実施形態では、撮像装置2の撮像視点を教示する際に、撮像装置2の操作画面上に視点変更可能範囲を表示している。
 こうすることで、ロボット装置1の動作に撮像装置2の視点変更が間に合わない条件で、撮像視点が撮像装置2に教示されてしまうことを防止できるため、作業者の負担を軽減する効果がある。
 またロボット装置1に教示された一連の動作の中における、撮像装置2に教示した所定の教示点の内容(パン位置、チルト位置、ズーム位置)を作業者が容易に把握することができる。
 また、ロボット装置1の操作方法と同じ方法で、撮像装置2における各種駆動部の操作を行うことができるので、煩雑な操作を必要することなく、ロボット装置1の動作に同期した撮像視点の教示を行うことができる。
 本実施形態では、タッチ操作による、ロボット装置1の操作、撮像装置2の操作を行う際、ロボット装置1を操作する際にはモデル表示部140をタッチし、撮像装置2を操作する際には画像表示部146をタッチすることで、操作対象の区別を行った。しかしながら、これに限定されるものではない。
 例えば、画像表示部146の画像を解析し、ロボット装置1が撮影されている領域と、それ以外の領域とに区別する。そして、ロボット装置1の領域がタッチされている場合はロボット装置1の操作を行い、ロボット装置以外の領域がタッチされている場合は撮像装置2の操作を行い、操作対象の区別を行っても良い。
 また、タッチ操作を分けることで操作対象の区別を行っても良い。例えば、2本の指でタッチするマルチタッチが行われている場合はロボット装置1の操作を行い、1本の指でタッチするシングルタッチが行われている場合は、撮像装置2の操作を行わせる。もしくは、マルチタッチにより撮像装置2を操作し、シングルタッチによりロボット装置1を操作させても良い。
 また、ドラッグ操作とフリック操作で操作対象の区別を行っても良い。例えば、ドラッグ操作される場合は、ロボット装置1の操作を行い、フリック操作される場合は、撮像装置2の操作を行わせることで操作対象の区別を行うことができる。
 さらに、シングルタッチ、マルチタッチと、ドラッグ操作、フリック操作とを組み合わせて操作対象の区別を行っても良い。例えば、マルチタッチが行われている状態でドラッグ操作が行われている場合は、ロボット装置1の操作を行うなどである。区別の方法を複数設定することで、作業者の操作ミス等をさらに低減することが可能となる。
 また、画像表示部146を感圧式のタッチパネルで構成し、力の値を検知できるようにし、力の値を基に操作対象を区別しても良い。例えば、タッチされた際に、検知される力の値に閾値を設定する。そして、閾値に設定した力の値以上でタッチされている場合はロボット装置1の操作を行い、閾値に設定した力の値未満でタッチされている場合は撮像装置2の操作を行うようにする。こうすることで、操作対象の区別を行うことができる。
 また、画像表示部146のタッチによる操作を、ロボット装置1の操作と撮像装置2の操作どちらかに設定する設定ボタンを画像表示部146に表示させても良い。例えば、ロボット装置の操作に設定するボタンと、撮像装置の操作に設定するボタンの2つの操作設定ボタンを表示させる。これらのボタンを状況に応じてタッチすることで、操作対象の区別を行うことができる。もちろん、操作切換ボタンを1つ表示させ、操作切換ボタンを都度タッチすることで、ロボット装置の操作に設定、撮像装置の操作の設定に切り換えて実現させても良い。
 以上のように、画像表示部146をタッチさせて操作する際、ロボット装置1の操作においては、フリック操作により急峻にロボット装置1を動かしてしまう場合がある。
 その場合、ロボット装置1の操作を行っている場合には、フリック操作を受け付けないように設定しておくことで、ロボット装置1が急峻に動作することを防ぐことができる。
 また、ロボット装置1に加速度センサ等を設け、所定の値の加速度が検知された場合には、ロボット装置1を停止させるなどの動作を行わせても良い。
 (第4の実施形態)
 次に第4の実施形態として、外部入力装置130に映し出された撮像装置2からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、作業者が撮像装置からの画像を確認しながら教示を行う際、複数の操作対象を操作し、教示を行う場合でも作業者が教示を行いやすい座標系でロボット装置を操作することができるようにするUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第1の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図11は、本実施形態におけるロボットシステム2000を模式的に表した上面図である。図11において、基台200にロボット装置201、202が固定されている。
 また、ロボット装置201、202を監視するため、ロボットシステム2000には撮像装置A、B(不図示)が設けられており、それぞれの画角を画角A、Bとする。上述した実施形態と同様、撮像装置A、Bにはパンチルト機能を有するものとする。
 撮像装置A、Bは共にロボット装置201、202を監視できる位置に固定されている。なお、ロボット装置201、202は、理解しやすくするため、記号で簡単に表している。
 また、図11の画角A、Bは長方形であるとは限らないが、説明を簡単にするため長方形としている。
 図12は、本実施形態における外部入力装置130の表示部131を示した図である。図12において、表示部131は、ロボット装置操作部204、画像表示部205、撮像操作部206で構成されている。
 ロボット装置操作部204は、ロボット装置切換ボタン207、座標系切換ボタン208、エンドエフェクタ操作ボタン209から成る。
 ロボット装置切換ボタン207は、作業者が手動操作したいロボットを選択することができる。本実施形態の場合、ロボットシステム2000にロボット装置201、202が設けられているので、「ロボット201」「ロボット202」がボタンとして表示されている。
 座標系切換ボタン208は、作業者がロボット装置切換ボタン207で選択したロボット装置に対して手動操作する場合に用いる座標系を選択できる。
 本実施形態では、「ベース」「エンドエフェクタ」「撮像装置」の3種類のボタンが表示されている。ベース座標系ボタン、エンドエフェクタ座標系ボタン、撮像座標系ボタンのそれぞれベース座標系、エンドエフェクタ座標系、撮像座標系での操作を可能とする。
 ベース座標系は、ロボット装置切換ボタン207で選択したロボット装置のロボットベースに基づく座標系である。つまりロボット装置全体におけるワールド座標系である。
 エンドエフェクタ座標系は、ロボット装置切換ボタン207で選択したロボット装置のエンドエフェクタに基づく座標系である。つまりワールド座標系であるベース座標系に対するローカル座標系である。
 撮像座標系は、後述する撮像装置切換ボタン210で選択した撮像装置の座標系である。
 エンドエフェクタ操作ボタン209は、ロボット装置切換ボタン207で選択したロボット装置において、座標系切換ボタン208で設定した座標系のXYZ方向の並進移動と回転移動を手動操作することができる。
 画像表示部205は、撮像操作部206で選択された撮像装置からの画像が表示される。図12の場合、撮像装置Aが撮像しているロボット装置201が映し出されている。
 撮像操作部206は、撮像装置切換ボタン210、視点操作ボタン211、校正ボタン212から成る。
 撮像装置切換ボタン210は、作業者が使用したい撮像装置を選択することができ、選択した撮像装置からの画像が画像表示部205に表示される。
 視点操作ボタン211は、作業者が撮像装置切換ボタン210で選択した撮像装置のパン、チルト操作を行うことができる。なお、上述した第1の実施形態のように、さらにボタンを追加して、ズームイン・ズームアウト操作を行うためのズーム操作ボタンを備えても良い。
 校正ボタン212は、座標系切換ボタン208で「撮像装置」を選択した場合、ロボット装置切換ボタン207で選択したロボット装置と、撮像装置切換ボタン210で選択した撮像装置の相対位置姿勢を校正することができる。
 なお、撮像座標系でロボット装置を操作するためには、ロボット装置と撮像装置の相対位置姿勢が明らかでなければならないため、校正ボタン212は、エンドエフェクタ操作ボタン209で操作する前に必ず実行する必要がある。具体的な校正方法は後述する。
 次に、ロボット装置座標系での操作と撮像座標系での操作方法について説明する。ロボット装置座標系での操作は、ロボット装置切換ボタン207で操作したいロボット装置を選択し、座標系切換ボタン208で「ベース」、または、「エンドエフェクタ」を選択することで操作可能となる。これは通常のロボット装置の操作と同様であるため、詳細は割愛する。
 撮像座標系での操作は、ロボット装置切換ボタン207で、操作したいロボット装置を選択し、座標系切換ボタン208で「撮像装置」を選択し、撮像装置切換ボタン210で用いたいカメラを選択する必要があるが、これだけでは操作可能にならない。
 先に説明したように、撮像座標系でロボット装置を操作するためには、ロボット装置と撮像装置の相対位置姿勢が明らかでなければならないので、校正ボタン212を押して校正する必要がある。
 また、ロボット装置と撮像装置の相対位置姿勢の校正をする意義は、ロボット装置と撮像装置との位置には現場調整が入るため、必ずしも設計上の位置と一致しないためである。
 本実施形態におけるロボット装置と撮像装置の相対位置姿勢の校正方法について説明する。図13は、本実施形態におけるロボット装置と撮像装置の座標系を示した図である。
 図13では簡単のため、ロボット装置201と撮像装置Aの組合せを例に取り説明する。ロボット装置201において、ベース座標系、エンドエフェクタ座標系、マーカ座標系に付された原点をそれぞれB、E、Mとする。
 ここで、マーカ座標系とは、マーカ(不図示)に付された座標系である。マーカは校正する前にロボット装置201に付しておくか、常に付しておく。
 マーカは、撮像装置Aによって位置計測される。マーカは、6自由度が位置計測可能なマーカであっても良いし、3自由度がわかるマーカを3個以上用いても良い。
 また、マーカは必ずしもロボット装置の先端に付いている必要はない。ロボット装置の先端にあると、マーカの位置姿勢を画角中央付近に移動させることができるので好適である。
 そして、必ずしも必要ではないが、ロボット装置毎に違うマーカを付けておくと、ロボット装置を区別して視認できるため、好適である。
 撮像装置Aにおいて、撮像装置ベース座標系、パン関節座標系、チルト関節座標系、撮像座標系、それぞれに付された原点をそれぞれC0、C1、C2、Vとする。
 校正ボタンを押す前に、マーカが画角に入るようにロボット装置201、または、撮像装置Aをそれぞれエンドエフェクタ操作ボタン209、視点操作ボタン211で操作する。
 3自由度がわかるマーカを3個用いる場合は、別途3点が同一直線上にないように画角に収める。これは、マーカ3点でマーカ座標系Mを作成するために必要である。
 ここで、各座標系間の相対位置姿勢を表現するために、4×4の同次変換行列を用いる。例えば、ベース座標系Bからエンドエフェクタ座標系Eの相対位置姿勢を表した同次変換行列HBEは、次式で示される。
Figure JPOXMLDOC01-appb-M000001
 ただし、CBEは3×3の回転行列、rBEは3×1の位置ベクトル、O1x3は1×3の零行列である。
 ここで、撮像座標系での移動量をロボット装置座標系に変換することを考える。撮像座標系での移動量をΔH、それをロボット装置座標系で表したものをΔHとすると、次式が成り立つ。
Figure JPOXMLDOC01-appb-M000002
 なおΔHは、撮像座標系でエンドエフェクタ操作ボタン209を操作したときの移動量そのものである。
 相対位置姿勢HC0Vは、撮像装置ベース座標系C0から撮像座標系Vまでの相対位置姿勢であり、次式で表される。
Figure JPOXMLDOC01-appb-M000003
 HC2Vは、撮像座標系において、撮像装置がどの位置にあるかは、撮像装置固有に決まっているので、既知とする。
 また、パン角度をθC1、チルト角度をθC2とし、z軸周りの回転行列をRotz、y軸周りの回転行列をRotyとすると、HC0C1、HC1C2は、次式で示される。
Figure JPOXMLDOC01-appb-M000004
 θC1、θC2は、撮像装置に設けられるパンモータ、チルトモータに搭載されるエンコーダより既知であり、位置ベクトルrC0C1、rC1C2は、撮像装置固有の設計値のため、既知である。
 つまり、相対位置姿勢HC0Vは、既知である。よって、相対位置姿勢HBC0を校正で求めることができれば、ロボット装置座標系での移動量ΔHを求めることができる。
 ロボット装置座標系での移動量ΔHは、ベース座標系Bでの移動量そのものなので、通常のロボット装置の操作に落とし込むことができる。
 ここで、相対位置姿勢HBC0を求める方法について説明する。校正ボタン212を押すことで、まず、マーカの位置計測を行う。そのときの相対位置姿勢HBC0は、図13より、次式で示される。
Figure JPOXMLDOC01-appb-M000005
 ただし、次式が成り立つものとする。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 相対位置姿勢HBEは、マーカを撮影したときのロボット装置201の各関節に搭載されたエンコーダの値から算出することができるため、既知である。相対位置姿勢HC0Vは、数3より、既知である。
 まず、6自由度が位置計測可能なマーカをロボット装置201の先端に付した場合を説明する。相対位置姿勢HEMは、エンドエフェクタ座標系Eに対して設計した位置にマーカを付せばよいので、既知である。
 相対位置姿勢HVMは、マーカを撮像装置Aで位置計測することで求めることができるので、既知である。
 以上より、数5は既知の変数のみになるので、求める相対位置姿勢HBC0は計算することができ、校正が完了する。
 次に、3自由度がわかるマーカを3個以上用いる場合を説明する。ロボット装置座標系でのマーカ位置3点をそれぞれrBM1、rBM2、rBM3とし、マーカ位置は設計上明らかであるとする。
 ここで、この3点を用いてマーカ座標系を作成する。条件として、1点目をマーカ座標系の原点、2点目をマーカ座標系のx軸方向を決める点、3点目をマーカ座標系のxy平面上の任意の点とする。ただし、この3点は、同一直線上にないものとする。
 まず、ロボット装置座標系から見たマーカ座標系Mの相対位置姿勢HBMを求める。
Figure JPOXMLDOC01-appb-M000008
 ここで、1点目をマーカ座標系Mの原点、2点目をマーカ座標系のx軸方向を決める点、3点目をマーカ座標系のxy平面上の任意の点とすると、次式が成り立つ。
Figure JPOXMLDOC01-appb-M000009
 ただし、
Figure JPOXMLDOC01-appb-M000010
 ここで、導入した上付きのチルダ(~)は、3×3の歪対称行列であり、次式で示される。
Figure JPOXMLDOC01-appb-M000011
 以上で、相対位置姿勢HBMを求めることができる。
 同様に、カメラ座標系から見たマーカ座標系の相対位置姿勢HVMを求めることができる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 以上より、数15は既知の変数のみになるので、求める相対位置姿勢HBC0は計算することができ、校正が完了する。なお、ロボット装置と撮像装置それぞれの組合せで校正する必要がある。
 以上本実施形態では、ロボット装置201、202と撮像装置A、Bがあるので、校正すべき同次変換行列HBC0が4つあることになる。
 それぞれの組合せの同次変換行列HBC0を事前に校正しておくことにより、操作するロボット装置または撮像装置が切り換わっても、撮像座標系でロボット装置を操作可能となる。
 本実施の形態では、撮像座標系での操作とロボット装置座標系での操作切り替え手段を設けることで、複数の撮像装置、複数のロボット装置が存在する場合でも、教示者が教示しやすい座標系でロボット装置を操作することができる。
 (第5の実施形態)
 次に第5の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 上記第4の実施形態では、複数のロボット装置、複数の撮像装置が存在することで、複数の座標系が存在する為に、作業者がロボット装置を操作する際に混乱しないように基準となる座標系を切り換えることができるUI例を説明した。
 本実施形態では、撮像装置の撮像部が動き、撮影している画像の上下が逆転するなど、外部入力装置を操作している作業者の直感に合わない場合、簡単に画像を作業者の直感に合うように変化させることができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図14は、本実施形態における撮像装置2の駆動部を模式的に表した側面図である。撮像装置ベース座標系、パン関節座標系、チルト関節座標系、撮像座標系に付された原点をそれぞれC0、C1、C2、Vとする。
 また、チルト角度をθC2とし、撮像装置2が真下を向く時のチルト角度をθC2=0degとする。
 図14AはθC2=-45degのときの撮像装置2を図示し、図14BはθC2=45degのときの撮像装置2を図示したものである。図14Aから図14Bへ遷移するとき、撮像装置2が撮影している画像内の天地は逆転してしまい、外部入力装置130の画像に基づいて操作する作業者の直感に合わなくなってしまう。本実施形態では撮像装置2の画像内の座標系の天地が逆転しても作業者にとって直感的に操作を行うことができるUI例について説明する。
 図15は、本実施形態における外部入力装置130の表示部131を表した図である。ロボット装置操作部204、撮像操作部206は上記実施形態と同様であるため説明を省略する。
 本実施形態における画像表示部205は、撮像装置2が撮影している画像と、上下反転切換ボタン220から成る。
 上下反転切換ボタン220は、上下反転機能の「固定」と「自動」を選択するための固定ボタン223と、自動ボタン224とを備える。以下、上下反転方法について詳しく説明する。
 図16は、本実施形態における、作業者によるボタン操作で画像表示部205の画面を上下反転させる場合の画像表示部205を示した図である。図16において、ロボット装置操作部204、撮像操作部206は、説明の簡略化の為、省いている。
 図16Aは、撮像装置2が撮影している画像の座標系の天地が逆転することで、画像表示部205には、作業者の直感に合わない画像が表示されている状態を示している。
 作業者は自身の指221で、上下反転切換ボタン220の「固定」ボタン223をタッチする。これにより、「固定」ボタン223の紙面向かって右側に上下反転ボタン225が表示される。
 そして図16Bより、表示された上下反転ボタン225を押すために、作業者は自身の指221を上下反転ボタン225上に移動させ、タッチする。
 これにより、画像表示部205の画像が上下反転する。以上の方法で、簡単に画像表示部205の画像を作業者の直感に合うように上下反転させることができる。
 次に、自動で画像表示部205の画像を上下反転させる方法について説明する。図17は、本実施形態における自動で画像表示部205の画像を上下反転させる場合の設定方法を説明する図である。図16と同様に、ロボット装置操作部204、撮像操作部206は、説明の簡略化の為、省いている。
 図17Aは、自動ボタン224を作業者自身の指221でタッチしている状態を表した図である。図17Bは、後述する設定ボタン226を作業者自身の指221でタッチしている状態を表した図である。図17Cは、後述する自動設定部222が画像表示部205に表示された状態を表した図である。
 図17Aより、画像表示部205の画像を自動で上下反転させる場合、作業者は自身の指221で、上下反転切換ボタン220の「自動」ボタン224をタッチし、選択する。
 ただし、どのような場合に画像表示部205の画像を自動で上下反転させるかを設定しておかなければならない。
 そこで本実施形態では、チルト角度θC2によって、画像表示部205の画像を上下反転させるかを決める。つまり、撮像装置2に設けられているチルトモータで検出されるチルト角度が、予め設定するチルト角度の値以下ならば画像表示部205の画像はそのまま表示させる。
 逆に、撮像装置2に設けられているチルトモータで検出されるチルト角度が、予め設定したチルト角度以上ならば、画像表示部205の画像を上下反転して表示させるようにする。以下、その設定方法について詳述する。なお、上記チルトモータの角度は不図示のエンコーダにより検出を行うものとする。
 図17Aにおいて、作業者は自身の指221で、上下反転切換ボタン220の「自動」ボタン224をタッチし、選択する。これにより、自動ボタン224の紙面向かって右側に「設定」ボタン226が表示される。
 次に図17Bにおいて、表示された設定ボタン226を押すために、作業者は自身の指221を設定ボタン226上に移動させ、設定ボタン226をタッチする。これにより、上下反転切換の自動設定部222が画像表示部205に表示される(図17C)。
 図17Cにおいて、作業者は、上下反転角度入力ボックス227に、設定したいチルト角度を入力する。本実施形態においては、0degが入力されている。
 入力したチルト角度の値で設定したければ設定ボタン228を、入力した内容を変更したければ、戻るボタン229をタッチする。
 そして、撮像装置2が撮影している画像を見ながら、ロボット装置1の教示を行っている際、設定したチルト角度の値をチルトモータのエンコーダが検出すれば、画像表示部205の画像を反転させる。
 以上の方法で、簡単に画像表示部205の画像を作業者の直感に合うように自動で上下反転させることができる。
 次に画像表示部205をマルチタッチすることで、画像表示部205の画像を回転させる方法について説明する。これは、必ずしも画像を上下反転(180deg)させるのではなく、例えば90deg回転させたい場合に用いる。
 図18は、画像表示部205の画像を、マルチタッチ操作により回転させる場合の画像表示部205を示した図である。図16、図17と同様に、ロボット装置操作部204、撮像操作部206は、説明の簡略化の為、省いている。
 図18Aはマルチタッチ操作により回転させる前の画像表示部205、図18Bはマルチタッチ操作により画像表示部205を回転させた図である。
 図18Aにおいて、作業者は、予め自身の指221で、上下反転切換ボタン220の固定ボタン223をタッチし、選択しておく。
 次に、回転中心としたい指221aで、画像表示部205のボタン以外の任意の場所をタッチする。
 そして、回転させたい方向を決める指221bで、画像表示部205の任意の場所をタッチしながら、回転方向にスライドさせる。図18Aでは矢印A方向に回転させている。
 指221aがタッチした場所を回転中心として、指221bが描いた軌跡(矢印A)の角度がある閾値を超えた場合、その方向に画像表示部205が90deg回転する(図18B)。
 上記で述べたある閾値は15deg程度が好適である。以上の方法で、簡単に画像表示部205の画像を作業者の直感に合うように手動で回転させることができる。
 以上より、本実施形態では、撮像蔵置2の撮像部の方向が動き、画像内の座標系の上下が逆転するなどして、外部入力装置を操作している作業者の直感に合わない場合でも、簡単に画像を作業者の直感に合うように変化させることができる。よって作業者が理解しやすい座標系でロボット装置1及びまたは撮像装置2を操作できるという効果がある。
 (第6の実施形態)
 次に第6の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、ロボットシステムの動作工程に合わせて撮像装置の座標系を変化させ、作業者が操作しやすい座標系に変化させることができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図19は、本実施形態におけるロボット装置1による動作の「工程プログラム」を表示させた場合の、外部入力装置130の表示部131を示した図である。図19Aは、本実施形態のメニュー画面部230を表示した図である。図19Bは、本実施形態の工程プログラム画面を表示した図である。
 図19Aにおいて、メニュー画面部230は、機能選択ボタン231を表示する。機能選択ボタン231は、ロボットシステム2000の機能だけ数があり、それぞれの機能がそれぞれのボタンに割当てられ、それぞれのボタンを押すことで、該当する機能のメニューを開くことができる。本実施形態では、「工程プログラム」を選択することで、図19Bに示す画面に遷移する。
 図19Bにおいて、表示部131は、工程プログラム画面部232と画像表示部205を表示する。
 工程プログラム画面部232は、工程プログラム選択ボタン233と撮像装置教示点選択部234から成る。
 工程プログラム選択ボタン233は、ロボットシステム2000において実行する工程を選択することができる。工程プログラム選択ボタン233を押すと工程プログラムの一覧がプルダウンリストで表示され、ユーザが選択することができる。本実施形態では、「工程Prg1」を選択したものとして説明を進める。
 撮像装置教示点選択部234は、工程プログラム選択ボタン233で選択した工程プログラムの工程内容が表示される。工程とは、「ロボットアーム動作」「ロボットハンドクランプ」「有無検知」などの内容がある。
 撮像装置教示点選択部234では、各工程において、画像表示部205に表示する画像を撮影する撮像装置と、その撮像装置に対応した教示点を選択することができる。
 撮像装置は、ロボットシステム2000に複数設けられており、本実施形態では、撮像装置教示点選択部234の撮像装置列の▽部分を押すことでプルダウンリストから撮像装置Aまたは撮像装置Bの撮像装置の名称を選択することができる。
 各撮像装置の教示点は、第3の実施形態で説明した方法により設定した、各撮像撮像装置におけるパン、チルト角度とズーム位置がデータとして格納されており、撮像装置教示点列の▽部分を押すことでプルダウンリストから選択することができる。本実施形態では、有無検知1の工程において、撮像装置Aと撮像装置教示点tC1が選択されている。
 画像表示部205は、撮像装置教示点選択部234で直前に選択した撮像装置と撮像装置教示点により撮影している画像が表示される。また、選択された撮像装置および撮像装置教示点の名前が表示される。本実施形態では、「撮像装置A:tC1」と表示される。
 撮像装置教示点を選択することで、表示される撮像装置の座標系を工程に合わせて一意に決めることができる。
 以上より、工程プログラム選択部233で所定の工程プログラムを選択し、各工程において適切な撮像装置と撮像装置教示点を設定する。こうすることで、各工程実行時に設定された撮像装置と撮像装置教示点に切り換えて、画像表示部205に映し出すことが可能となる。
 よって、ロボットシステムの動作工程に合わせて、画像表示部205に表示させる撮像装置の画像と、座標系を変化させることで、作業が理解しやすい座標系で操作することができる。
 (第7の実施形態)
 次に第7の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、複数の撮像装置が設けられている場合、作業者が理解しやすい画像を映し出すように、自動的に、外部入力装置130に表示している画像を撮影している撮像装置を切換えることができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図20は、本実施形態におけるロボット装置242の姿勢の違いにより外部入力装置130の表示部131に表示する画面の差異を説明する図である。
 図20Aは、本実施形態におけるロボット装置241の手先が画角Aにいる場合の、ロボット装置241の上面図と表示部131の画面を示した図である。図20Aの紙面向かって左の図が、本実施形態におけるロボット装置241の手先が画角Aにいる場合のロボット装置241の上面図である。
 図20Bは、本実施形態におけるロボット装置241の手先が画角Bにいる場合の、ロボット装置241の上面図と表示部131の画面を示した図である。図20Bの紙面向かって左の図が、本実施形態におけるロボット装置241の手先が画角Bにいる場合のロボット装置241の上面図である。
 図20Aの左図において、ロボット装置241は基台240に固定されている。また、基台240を監視するため、ロボット装置241の近傍には撮像装置A、Bが設けられ、それぞれの撮像装置A、Bが撮影する画角を画角A、Bとする。なお、ロボット装置241は、説明の簡略化のため、簡単に図示している。
 図20Aの右図は、本実施形態におけるロボット装置241の手先が画角Aにいる場合の外部入力装置130の表示部131を示した図である。
 表示部131は、ロボット装置操作部204、画像表示部205、撮像操作部206で構成される。
 ロボット装置操作部204は、第4の実施形態と同様に、ロボット装置切換ボタン207、座標系切換ボタン208、エンドエフェクタ操作ボタン209から成る。
 画像表示部205は、撮像操作部206で選択された撮像装置の名前と、選択した撮像装置が撮影している画像が表示される。図20Aの右図の場合、撮像装置Aからの画像が表示されている。
 撮像操作部206は、撮像装置切換ボタン242と視点操作ボタン131から成る。視点操作ボタンは、第4の実施形態と同様である。
 本実施形態における撮像装置切換ボタン242は、複数設けられた撮像装置の中からどの撮像装置により撮影するかを選択することができる。
 またロボット装置241の姿勢によって、自動で撮像装置を切り換える場合は、「自動」ボタン243を選択する。「自動」ボタン243を選択した場合、「自動」ボタン243の紙面向かって右横に、制御装置13が自動的に選択した撮像装置を列挙し、第一候補の撮像装置の画像を画像表示部205に表示する。本実施形態の場合は、「自動」ボタン243の右横に「撮像装置A」が表示されている。
 次に図20Bの左図において、ロボット装置241の手先が画角B内にあり、画角A内には無い場合を図示している。
 図20Bの右図において、画像表示部205は、撮像装置Bからの画像が表示され、自動ボタン243の右横には「撮像装置B」が表示されている。
 次に撮像装置の自動切換方法について説明する。撮像装置切換ボタン242の「自動」ボタン243が、教示者によってタッチされた場合、画像表示部205に映し出す画像を撮影する撮像装置を自動で切り換える。
 まず、設けられた全撮像装置からの画像において、撮影している画像にロボット装置241が写っているかどうか画像認識する。
 撮影している画像にロボット装置241が写っていた撮像装置の一覧を自動ボタン243の右横に列挙する。複数の候補がある場合、撮像装置の番号順、あるいは、名前順、あるいは、画角内に写っているロボット装置241の面積が大きい順に撮像装置を選択し、自動ボタン243の右横に列挙する。
 撮影されているロボット装置241の面積は、直接画像認識して計測しても良いが、第4の実施形態で示したようにロボット装置と撮像装置の位置姿勢関係が校正されていれば、計算上の画角からロボット装置241の面積を算出しても良い。
 以上により、作業者は、教示をさせたい部分(今回はロボット装置241の手先)が撮影されている撮像装置を、複数の撮像装置の中から瞬時に選択することができ、画像表示部205の画像を適切な物に切り換えることができる。
 よって撮像装置が複数設けられている場合でも、作業者が教示しやすい撮像装置と座標系で操作を行うことができる。
 (第8の実施形態)
 次に第8の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置や作業者等の管理を行う場合に好適なUI例について説明する。
 本実施形態では、撮像装置を用い、撮像装置が撮影している作業者とロボット装置の作業時間を計測、外部入力装置131に表示させ、作業者とロボット装置の管理を容易にすることができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図21は、本発明の実施形態におけるロボットシステム2000の上面図を示した図である。図21において、基台250上にロボット装置251とワーク置き場252、253、254が固定されている。
 また、ワーク置き場252、253、254にワークが載置されているか否かを検知するため、本実施形態のロボットシステム2000には不図示の撮像装置A、B、Cが、設けられており、それぞれの画角を画角A、B、Cとしている。
 画角A内にあるワーク置き場252は、ロボット装置251によりワークが載置される。画角B内にあるワーク置き場253は、ロボット装置251または作業者255によりワークが載置される。画角C内にあるワーク置き場254は、作業者255によりワークが載置される。
 作業者255は、ロボット装置251と協業する作業者である。なお、ロボット装置251は、説明の簡略化のため、簡単に図示している。
 図22は、本実施形態における外部入力装置130の表示部131の表示画面の構成図を示している。図22Aは、本実施形態のメニュー画面部256を表示した図である。図22Bは、本実施形態における作業時間計測画面を表示部131に表示した図である。図22Cは、本実施形態における作業時間計測の設定画面を表示部131に表示した図である。
 図22Aにおいて、本実施形態におけるメニュー画面部256は、機能選択ボタン257を表示する。
 機能選択ボタン257は、ロボットシステム2000の機能の数だけあり、それぞれの機能がそれぞれの機能選択ボタン257に割り当てられ、それぞれに対応するボタンをタッチすることで、該当する機能のメニューを開くことができる。本実施形態では、「作業時間計測」を選択することで、図22Bに遷移する。
 図22Bにおいて、表示部131は、作業時間計測画面部258を表示する。作業時間計測画面部258は、作業時間計測の選択ボタン259から成る。作業時間計測の選択ボタン259は、計測設定ボタン281、計測ボタン282、計測履歴ボタン283を有する。
 本実施形態では、計測設定ボタン281がタッチされると、図22Cに遷移する。なお、計測ボタン282、計測履歴ボタン283がそれぞれタッチされた場合についても後述する。
 図22Cにおいて、表示部131は、作業時間計測の設定画面部260を表示する。作業時間計測の設定画面部260は、作業時間計測の設定選択ボタン261から成る。
 作業時間計測の設定選択ボタン261は、「工程プログラムによる計測」ボタン284、「人ロボ間距離による計測」ボタン285から成る。
 「工程プログラムによる計測」ボタン284がタッチされた場合、図23に示す工程プログラムによる計測の設定画面262に遷移する。「人ロボ間距離による計測」ボタン285がタッチされた場合、図24に示す人ロボ間距離による計測の設定画面265に遷移する。
 図23は、本発明の実施形態における工程プログラムによる作業時間の計測の設定を行う場合における表示部131の画面構成を示した図である。
 図23において、表示部131は、工程プログラムによる計測の設定画面部262を表示する。工程プログラムによる計測の設定画面部262は、工程プログラム選択ボタン263と計測設定部264から成る。
 工程プログラム選択ボタン263は、作業時間を計測する工程プログラムを選択することができる。工程プログラム選択ボタン263をタッチすると、工程プログラムの一覧がプルダウンリストで表示され、作業者255からの選択を受け付ける。本実施形態では、「工程Prg1」が作業者255により選択されたものとして説明を進める。
 計測設定部264は、工程プログラム選択ボタン263で選択した工程プログラムの工程内容が表示され、工程内容における、各種作業のスタートとストップのトリガを設定することができる。
 工程とは、「ロボットアーム動作」「ロボットハンドクランプ」「有無検知」などの内容である。作業分類ごとに作業のスタートとストップのトリガを設定する。
 ここで示す作業分類は、「ロボット作業」「ロボット人作業」「人作業」「その他作業」とする。
 「ロボット作業」とは、ロボット装置251だけが行う作業を指す。「ロボット人作業」とは、ロボット装置251と作業者255とが協業する作業を指す。以下、「ロボット人作業」における作業時間を協働作業時間と呼称する場合がある。「人作業」とは、作業者255だけが行う作業を指す。「その他作業」とは、「ロボット作業」「ロボット人作業」「人作業」いずれでもない作業を指す。
 本実施形態では、ロボット装置251によりワーク置き場252からワークをワーク置き場253に載置する。そしてワーク置き場253で、ロボット装置251と教示者255により協働作業を行い、教示者255によりワーク置き場253からワーク置き場254にワークが載置されるものとする。
 また本実施形態では、作業時間を算出するための、作業のスタートとストップのトリガとして、画像によるワークの有無検知を採用する。これは一般的に、作業の開始前後において、各ワーク置き場に載置されるワークは、載置されている状態から載置されていない状態に遷移し、作業完了前後において、載置されてない状態から載置されている状態に遷移するためである。
 上記で述べたワーク置き場におけるワーク載置状態を利用し、作業開始前後と作業終了前後の間の時間を作業時間とみなす。
 なお、作業時間を算出するための、作業のスタートとストップのトリガは、ワークの有無を用いても良いが、ワークに部品が追加または加工されたことを画像で検知することで用いても良い。
 図23の計測設定部264内の有無検知1は、画角A内におけるワーク有無を検知し、「ロボット作業」の開始を計測するのに用いられる。
 有無検知2は、画角B内におけるワーク有無を検知し、「ロボット作業」の完了、「ロボット人作業」の時間計測、「人作業」の開始を計測するのに用いられる。なお、協業作業は画角B内のワーク置き場内で行う。
 有無検知3は、画角C内におけるワーク有無を検知し、「人作業」の完了と「その他作業」の開始を計測するのに用いられる。
 これら有無検知に基づいて、作業者255は、計測設定部264において、工程単位で作業のスタート(Start)とストップ(Stop)のトリガを設定する。つまり、StartとStopの間が作業時間となり、計測する時間となる。
 本実施形態では、画像処理によるワークの有無検知で作業のスタートとストップのトリガとした。しかしながら、トリガにするのは、近接スイッチによるワークの有無検知でも良いし、他のスイッチによる有無検知でも良いし、工程動作の開始信号、あるいは、完了信号でも良い。
 図23においては、作業者255の作業とロボット装置251の作業の区切りを工程ベースで付けることができたが、できない場合も考えられる。そこで、作業者255とロボット装置251との間の相対的なの距離を直接計測し、それに基づいて作業時間を計測する。
 図24は、作業者255とロボット装置251との間の相対的な距離の設定をする場合の表示部131の画面構成を示した図である。図24において、表示部131は、教示者255とロボット装置251との間の距離を設定する設定画面部265を表示する。
 設定画面部265は、人ロボ間距離設定部266を有する。人ロボ間距離設定部266は、協働作業とみなす人ロボ間距離を設定する。
 ロボットシステム2000に接続されたそれぞれの撮像装置の焦点距離と、撮像装置の画素の数と、から換算されるロボット装置251と作業者255との距離が、人ロボ間距離設定部266で設定された距離以下なら協働して作業を行っているとみなす。
 これにより、ロボット装置251と作業者255とが協働している作業、つまり、「ロボット人作業」にかかる作業時間を計測することができる。なお、本実施形態の場合は、協業作業とみなす人ロボ間距離を20mmと設定した。
 以上図23と図24を用いて、作業時間を計測するための設定方法について述べた。次にこれら設定方法を用いて計測した作業時間を確認する方法を述べる。作業時間の確認は、計測ボタン282あるいは、計測履歴ボタン283をタッチすることで実行することができる。
 まず、計測ボタン282について説明する。図25は、計測ボタン282をタッチした場合における表示部131の画面構成を示した図である。
 図25において、表示部131は、計測機能画面部267を表示する。計測機能画面部267は、工程プログラム名表示部268と工程プログラムの計測時間表示部269から成る。
 工程プログラム名表示部268は、現在実行中の工程プログラム名が表示される。工程プログラムが実行されていない場合は、空欄となる。図25では、工程Prg1が実行中の場合を示している。
 工程プログラムの計測時間表示部269は、実行している工程プログラムの工程内容と、工程内容を実行したときの作業時間が表示される。現在実行中の工程は、実行中工程カーソル270で示される。
 実行したときの作業時間は、工程を縦軸、作業分類を横軸にとった表(計測時間表示部269)に表示される。さらに、作業時間は、開始時間[Start]、完了時間[Stop]、計測時間[Time]の3種類が表示される。なお、まだ実行されていない工程の作業時間は、空欄となる。
 次に、計測履歴ボタン283について説明する。図26は、計測履歴ボタン283をタッチした場合における表示部131の画面構成を示した図である。
 図26において、表示部131は、計測履歴画面部271と工程プログラムの計測履歴表示部272を表示する。計測履歴画面部271は、計測履歴選択ボタン273から成る。
 計測履歴選択ボタン273は、実行された工程プログラム名と実行された日時をセットにしてその履歴が一覧としてボタン表示される。
 作業者255は、参照したい履歴のボタンをタッチすることで、その内容を工程プログラムの計測履歴表示部272に表示することができる。
 工程プログラムの計測履歴表示部272は、工程プログラム名表示部274と工程プログラムの計測時間表示部275から成る。
 工程プログラム名表示部274は、計測履歴選択ボタン273で選択された工程プログラム名が表示される。本実施形態の場合は、工程Prg1が選択された場合を示す。
 工程プログラムの計測時間表示部275は、計測履歴選択ボタン273で選択された工程プログラムの工程内容と、実行したときの作業時間が表示される。
 図25と同様に、実行したときの作業時間は、工程を縦軸、作業分類を横軸にとった表に表示される。さらに、作業時間は、開始時間[Start]、完了時間[Stop]、計測時間[Time]の3種類が表示される。
 以上より、撮像装置を用い、撮像装置が撮影している作業者とロボット装置の作業時間を計測し、外部入力装置131に表示させることができる。
 これにより、作業時間が所定の閾値に達したロボット装置はメンテナンスを実行させたり、作業時間が所定の値に達した作業者には適宜休養を取らせる等の処置を行うことができ、作業現場における保守点検等の管理業務を容易に行うことができる。
 (第9の実施形態)
 次に第9の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、ロボット装置と撮像装置における教示項目が多項目にわたり、教示に時間がかかってしまう場合でも、教示時間の短縮を図ることができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図27は本実施形態におけるロボット装置1と撮像装置2の教示方法のフローチャートである。所定の1か所の教示方法はS300からS301の2工程からなり、本実施形態では複数箇所の教示を行う。
 まずS300では、ロボット装置1に対する教示を行う。ロボット装置1に対する教示は、ダイレクトティーチングまたは外部入力装置130を用いて行う。
 S301では、撮像装置2の教示を行う。撮像装置2の教示も、外部入力装置130を用いて行う。
 図28は、本実施形態における外部入力装置130の表示部131に表示されるロボット装置1および撮像装置2の教示を行うための画面の構成例を示している。
 図28より、表示部131内には、画像表示部369と、ロボット装置操作部370と撮像操作部371と、座標表示部372が表示されている。
 画像表示部369は撮像装置2が撮影している画像を表示する。ロボット装置操作部370は、ロボット装置1を操作するための操作部である。撮像操作部371は撮像装置2を操作するための操作部である。
 座標表示部372は、ロボット装置1または撮像装置2が撮影している画像の表示領域の座標を表示または設定するための操作部である。
 ロボット装置操作部370には、ロボット装置1の教示を、ダイレクトティーチングに切り替える、教示モード切換ボタン373を有している。
 また、ロボット装置1のエンドエフェク11を任意の座標系におけるXYZ方向に移動させるためのエンドエフェクタ操作ボタン374と、ロボット装置1の各関節J1~J6毎に回転量を操作する関節操作ボタン375を有している。
 また、ロボット装置1を自動で操作するロボット追従ボタンを有する。ロボット追従ボタンには、自動の操作をONにするロボット追従ONボタン376と、自動の操作をOFFにするロボット追従OFFボタン377とを有している。
 そして現在のエンドエフェクタ11の位置を座標表示部372に設定するロボット設定ボタン383、エンドエフェクタ11の位置を座標表示部372に表示されている位置に移動するためのロボット移動ボタン384を有している。
 撮像操作部371には、撮像装置2のパン、チルト操作を行うための視点操作ボタン378、ズームイン、ズームアウト操作を行うためのズーム操作ボタン379、を有している。
 また、撮像装置2を自動で操作する場合における、撮像装置2の撮像対象を指定する撮像対象指定ボックス380を有している。
 さらに撮像対象指定ボックス380で撮像対象を指定すれば、撮像装置2を撮像対象ボックスで指定した部位に追従させる撮像追従ボタンを備えている。撮像追従ボタンには、撮像追従をONにする撮像追従ONボタン381と、撮像追従をOFFにする撮像追従OFFボタン382と、を有している。
 また、現在の撮像装置2がフォーカスする座標を座標表示部372に設定する撮像設定ボタン385、撮像装置2がフォーカスする座標を座標表示部372に表示されている座標に移動させるための撮像移動ボタン386を備える。
 座標表示部372には、XYZの座標を表示および入力するための座標表示ボックス387を備える。
 教示作業中に、撮像装置2の撮影をロボット装置1の動作に追従させたい場合には、撮像追従ONボタン381をタップまたはクリックすることで、撮像対象ボックス380で指定した位置に追従するようになる。
 また撮像追従OFFボタン382をタップまたはクリックすることで、追従を解除できる。
 同様に、ロボット装置1を撮像装置2の撮影範囲に追従させたい場合には、ロボット追従ONボタン376をタップまたはクリックすることで、撮像範囲にロボット装置1が追従するようになる。
 またロボット追従OFFボタン377をタップまたはクリックすることで、追従を解除できる。
 教示作業中に、現在のエンドエフェクタ11の空間的な位置を知りたい場合には、ロボット設定ボタン383をタップまたはクリックすることにより座標表示部372の座標表示ボックス387にXYZの座標値を表示する。
 エンドエフェクタ11の位置は、ロボット装置1の各関節に設けられた不図示のエンコーダにより算出され、表示されるものとする。
 空間的な所定の位置にエンドエフェクタ11を移動させたい場合には、座標表示部372のXYZそれぞれに数値を入力し、ロボット移動ボタン384をタップまたはクリックすることで、その座標にエンドエフェクタ11が移動する。
 その際、エンドエフェクタ11の位置の値から逆運動学計算を用いることで、ロボット装置1の各関節における回転量を計算し、所定の位置にエンドエフェクタ11を移動させる。
 同様に、撮像装置2における撮影範囲の中心の空間的な位置を知りたい場合には、撮像設定ボタン386をタップまたはクリックすることにより、座標表示部372の座標表示ボックス387にXYZの座標値を表示する。
 空間的な所定の位置に撮像装置2の撮影範囲の中心を移動させたい場合には、座標表示部372のXYZそれぞれに数値を入力し、撮像移動ボタン384をタップまたはクリックすることにより、その座標に移動する。
 撮像装置2の撮影範囲の中心の位置は、画像処理を用いることで算出するものとする。
 所定の箇所の教示作業が終了した場合には、ロボット装置1の各軸の値と撮像装置2のパン、チルト、ズームの情報が同時に制御装置13に記録される。
 以上により、作業者が所定の位置の値を外部入力装置130に入力するだけで、ロボット装置1、撮像装置2を所定の位置に動かすことができる。
 さらに、教示作業中に注視したい部位を、常に画像表示部369に映し出すように、ロボット装置1および撮像装置2が追従して動作するので、複雑な手動操作を必要としない。
 よって、ロボット装置と撮像装置における教示項目が多項目である場合でも作業者の操作の負担を軽減でき、教示時間の短縮を図ることができる。
 (第10の実施形態)
 次に第10の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態は、ロボット装置で扱うワークに注視させる教示を容易に行うことができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図29は、本実施形態における外部入力装置130の表示部131に表示されるロボット装置1および撮像装置2を教示するための画面構成の例を示している。
 上記第10の実施形態と異なる点は、撮像操作部371に、領域設定ボタン390と、ワーク登録ボタン391、ワーク検索ボタン392を設けている点である。
 領域設定ボタン390は、画像表示部369に表示されている画像に対し、所定の領域を設定することができる。
 ワーク登録ボタン391は、領域設定ボタン390で設定された領域内から、ロボット装置1が扱うワークを検出し、注視するべきワークとして登録することができる。
 ワークの検出については、あらかじめワークの画像データ等を制御装置13に記録しておき、画像表示部369の画像を画像処理することで検知する。
 ワーク検索ボタン392は、ワーク登録ボタン391で登録したワークを、画像表示部369に表示されている画像から検索することができる。
 図30は、本実施形態における、撮像装置2がワークを探索する際に実行されるフローチャートである。ワーク探索方法は図30のS310からS312の3工程からなり、ワーク位置に撮像装置2の撮像視点を教示することができる。
 図30より、まずS310で、領域の選択を行う。領域設定ボタン390をタップまたはクリックすることにより、画像表示部369にワーク領域393が重畳表示される。
 画像表示部369に表示されたワーク領域393をタップまたはクリックし、ピンチイン、ピンチアウト等の操作を行うことによりワーク領域393の大きさを設定することができる。
 次にS311で、ワーク領域393内で検知されたワークを、注視すべきワークとして登録する。ワーク登録ボタン391をタップまたはクリックすることにより、選択したワーク領域393内で検知されたワークを、注視すべきワークとして登録することができる。
 S312では、S311で登録されたワークを、撮像装置2がパン、チルト方向の駆動を行いながら、周囲から登録されたワークを探索する。ワーク探索ボタン392をタップまたはクリックすることにより、登録されたワークを探索させることができる。
 これにより、複雑な座標の値等の入力を行うことなく、撮像装置2に対し、ワークを撮影し続けるよう教示することができ、撮像装置2に対する教示時間を短縮することができる。
 (第11の実施形態)
 次に第11の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、ある製品の組立を行う生産現場において、作業者が実施する組立工程によっては、製品の部品数が多い、工程手順が多い等の理由により工程が煩雑である場合を考える。
 この場合、作業者が作業内容を間違えたり、作業に時間がかかったりする。
 また作業内容が複雑だと、確認のため組立作業中に作業を中断し、印刷された手順書等を手元に取って工程の該当ページを確認するなどの手間がかかってしまう。
 また、熟練していない作業者の場合だと、作業に著しく時間がかかる、作業を間違えるといったことがある。
 また、作業者とロボット装置が共通の空間で作業を行う場合に、作業者が熟練していないとロボット装置の移動先を作業者が塞ぐなどしてしまい、ロボット装置やロボット装置に搬送されているワークと作業者とがぶつかる危険がある。
 この場合、ロボット装置やワークの破損、ロボット装置の動作ずれによる組立不良、動作の停止による生産ラインの遅延が発生するといった問題が起こりうる。
 本実施形態は、上記の課題に鑑み、外部入力装置により容易に作業工程を確認することができ、作業者が実施する作業の補助を行うことができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図31は、本実施形態におけるロボットシステム3000を用いた生産現場を示した図である。
 ロボットシステム3000には、ロボット装置1が配置されている。ロボット装置1は、予めプログラムされた動作に応じて自動で部品405に部品403を組み付ける組立作業を行うものである。
 ロボット装置1の形状はこの他、単軸スライド動作、スカラー型、XY型など、自動で組立作業を行うことができるものであれば何でもよく、形状を垂直多関節に限定するものではない。
 ただし、いずれの場合においてもロボット装置1の各関節はエンコーダ等のセンサを用いた回転位置、もしくは角度の検出機能を有しており、ロボット装置1の姿勢制御が可能であるものとする。
 またロボット装置1の近傍には作業者404が滞在して部品405の組立作業を行っており、ロボット装置1が動作する空間と共通の空間に、手など体の一部を入れて作業を行うことがある。
 なお、ロボット装置1は人と共通の空間で作業が可能であることを前提とした、協働ロボットと呼ばれる衝突や挟み込みなどの対策がなされた、十分安全な構造、機能を持つものであるとする。
 作業者404は外部入力装置130を用いて、ロボット装置1の動作を担うロボットプログラムを編集することができる。
 なお、部品405の組立作業を行う作業者と、ロボットプログラムを編集する作業者は多くの場合は異なっていることがあり、それぞれ専門の作業者が担当してもよいものとする。
 外部入力措置130は、一般にティーチングペンダントとも呼ばれ、図示しないロボット装置1の制御装置との通信機能を有している。そして、ロボット装置1の移動操作、ロボット装置1の移動先を示す教示点の記録、記録された教示点位置へロボット装置11を移動させる機能など、標準的なロボット操作機能を有する。
 上記のようなロボット装置を用いた生産現場において、作業者404は外部入力装置130を手に持つ、あるいは視認可能な位置へ置いて、部品406を部品405へ組み付ける組立作業を行う。
 また、ロボットシステム3000には撮像装置2が配置されており、生産現場全体が視認できるように撮影している。
 撮像装置2は、必要な対象を撮影するために、パン、チルト、ズームといった撮影方向、画角を変更する駆動機能を備えている。また、撮像装置2の設置数は一つでもよいし、一つの撮像装置で死角ができてしまう場合はそれを補う場所へ複数の撮像装置を設置してもよい。
 図32は本実施形態における外部入力装置130の構成を示した図である。本実施形態における外部入力装置130は、表示部131と、各種の操作部460を備える。操作部460は、上記実施形態と異なり、ボタン式であるが、かかる作用は上記実施形態と同様であるため説明を省略する。
 図32より、外部入力装置130は、撮像装置2で撮影された画像を表示する表示部131を有する。
 表示部131は、撮像装置2からの画像の他、ロボットプログラム編集画面を表示できる。
 表示部131は、タッチセンサを備えたタッチパネルになっており、表示部131を直接、作業者404が触って直感的に操作、編集することができる。
 その他、操作部460の各種ボタンを用いて表示部131内の表示を選択して操作してもよいし、キーボードやマウスを別途接続するインタフェースを外部入力装置130に備えてもよい。
 外部入力装置130は、撮像装置2で撮影している生産現場の画像に、ロボット装置1の工程の動作や、部品406の次の組立手順といった仮想的な画像を合成して編集する機能を有する。
 ここで、生産現場に配置されたロボット装置1や、扱う部品に対する撮像装置2の設置位置、方向は既知であるものとする。
 それらの位置関係から、一般的な透視投影の算出方法により導出できる透視図を用いて、表示部131上に仮想的なロボット装置1や扱う部品の位置姿勢を示すロボット合成画像401bやワーク合成画像403bを表示する(図33)。
 ロボット装置1の各関節には、エンコーダ等の角度検出機能を備えており、ロボット装置1の姿勢や、それによって搬送される部品403の位置は運動学計算により算出できる。
 また、撮像装置2がパン、チルト、ズーム等の機能を有している場合でも、それらの駆動機構がエンコーダ等の回転角度検出機能を備えていることで、撮像装置2の撮影方向、拡大倍率を導出することができる。
 ロボット装置1の形状モデルは3DCADにより準備されており、前記運動学と透視投影像の計算方法により算出されたロボット装置1の手先の位置や部品の位置の画像を、表示部131へ仮想的に合成表示することができる。
 また表示部131には、タイムチャート452が表示されており、ロボットプログラム、作業者404の組立作業、合成表示といった工程の開始と終了のタイミングを編集する機能を有している。タイムチャート452上でそれらの工程の順序、表示タイミングを編集設定可能である。
 タイムチャートの横軸は基本的には時間を示すが、ロボット装置1の性能によって移動にかかる時間は異なる。タイムチャートの1工程にかかる時間の長さは、作業者404が任意に設定したり、実際に一度ロボット装置1に動作を行わせて記録したりできる。別途ロボットシミュレーションを備えたロボット装置であれば、それを用いて導出してもよい。
 また、各工程の動作開始タイミングについて、時間通りに動作する、もしくは前工程動作の終了タイミングを制御装置に認識させて、次の工程動作開始はその終了タイミングに合わせることも作業者404が任意に設定できる。
 また、作業者404が組立内容を認識するための補助表示として、矢印、音、文字などといったものを設定してもよい。
 その場合、表示アイコン453のように表示部131上に表示し、表示アイコン453を選択して配置、開始タイミングの設定を行う。
 これら表示アイコン453は、矢印、文字、登録画像の点滅といった強調表示等の表示設定や、自在に色、大きさ、向きが設定できると、作業者404が他の作業に集中していても、注意喚起の認識性を高めることができる。
 さらに撮像装置を複数備えて、複数方向から生産現場を撮影すれば、立体空間内における部品と作業者の距離を算出して、警告発生距離に使うことができる。
 その場合、部品403と作業者404が接近したときに警告を発生させるには、画面上で対象物を選定し、それらの距離が一定数値より近くなった状態を閾値として設定し、画面の強調表示、音の発生などを表示アイコン453に設定する。
 図33は、表示部131にロボットシステム3000を構成するロボット装置1、部品等の次の動作を仮想的に合成表示している図である。
 実際のロボット装置1や部品403、教示者404を撮影して表示している画像を、ロボット装置撮影画像1aや部品撮影画像403aと呼称する。
 逆にロボット装置1の次の動作により位置する部品403等を仮想的に表示している画像を、ロボット装置合成画像1bや部品合成画像403bと呼称する。
 表示部131に合成するロボット装置1や部品403の合成画像については、一度ロボット装置1を実際に動かしたり、作業者404が組立作業を行ったりした際に、登録された対象物の形状を画像処理により認識し、動作を追跡して録画させて作成して良い。
 画像処理方法については、エッジ抽出といった一般的な画像処理から作業者404、もしくは専門の画像処理技術者等が適切な手段を選択して適用する。
 なお、上記の画像の合成、表示を追加する編集機能は、必ずしも外部入力装置130だけで実施することに限定する必要はない。
 例えば、別途パソコンなどで編集を行ったものをロボット装置1の制御装置に保存しておき、制御装置1から外部入力装置130で表示させてもよい。
 以上、本実施形態によれば、生産現場での作業中、実際にロボット装置を動作させなくても、次工程でどのような動作を行うかあらかじめ表示部131で確認することができる。
 よって、予期せぬ部品同士や作業員404との接触などを容易に確認することができ、ロボット装置や部品の破損の危険性を低減することができる。
 このようなロボット装置の工程における動作の確認、編集が、熟練したロボット装置や撮像装置の操作方法を習得したりする必要なく、容易に行うことができるようになる。
 また、作業者404にロボット装置1や部品403が接近した際に、警告を発生させる設定を容易に実施することができる。
 (第12の実施形態)
 次に第12の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、作業者が、ダイレクトティーチングのように、ロボット装置を操作することで動作を教示する場合を考える。
 上記のようなダイレクトティーチングを行う場合、ロボット装置の動作限界に到達すると異常とみなし、警告を示す音や文字の表示とともに操作を受け付けなくするものがある。
 このため、ロボット装置の動作限界付近で動作設定を行う際に、頻繁に操作が止まってしまい、その度に復旧操作を行う必要があるため、動作設定に時間がかかるといった問題がある。
 また、動作限界位置そのもの、またはその付近でロボット装置が停止した場合、ロボット装置が移動できる方向が限られるため、どの方向にロボット装置が移動できるか判断できず、ロボット装置の操作性を損なうといった問題がある。
 本実施形態は上記課題に鑑み、ロボット装置の動作限界付近で教示等の動作設定を行う場合でも、教示の時間を低減し、ロボット装置の操作性を損なわないようにするUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図34は、ロボット装置1を作業者404が操作して動かす状況を撮像装置2で撮影して、操作装置2上の表示部131にロボット装置撮影画像1aとして表示している状態を示している。
 この状態において、ロボット装置1は、ロボット装置1の一部の関節の駆動軸1jを中心とした回転動作を行う、いわゆる関節ジョグ操作や各軸操作などと呼ばれる操作がなされる。
 この際、ロボット装置1が動作可能な範囲をロボット関節動作範囲420として、撮像装置2で撮影している画像に合成して、表示部131上へ表示している。
 表示部131上に表示するこのロボット関節動作範囲420の幾何形状は、ロボット装置1の据え付け位置および各関節角度、撮像装置2の据え付け位置および姿勢に、駆動軸1jの回転可能角度を組み合わせる。
 さらに、ロボット装置1もしくはロボット装置1が搬送する部品403の形状を組み合わせることで、第11の実施形態と同様に算出可能である。
 このように導出された幾何形状が、ロボット関節動作範囲420の表示部131上に表示される。
 図35は、直交ジョグ操作などと呼ばれる、ロボット装置1の据え付け面に対して直交している直交座標系425に沿って動かす操作がロボット装置1になされている状態である。
 図34と同様にロボット装置1の直交動作範囲421が表示されている。図35の状態では、紙面上下方向へ移動させており、上下方向の移動限界を図示している。
 図34より、ロボット装置合成画像1bが、ロボット装置1の直交動作範囲421における下限を表しており、ロボット装置合成画像1b’が、ロボット装置1の直交動作範囲421における上限を表している。
 直交ジョグ操作では、他に紙面左右方向、奥行き方向、ならびにそれらの周方向で動かすことが可能である。その際も上記のようにロボット装置1の仮想的な動作を示す合成画像を用いて表示してよい。
 なお、紙面奥行き方向に関しては、手前と奥側、もしくはそれに近い角度の動作限界は、SI単位系のミリメートル単位による数値表示を併記して、マイナス、プラス符号を付して表記するといった方法で認識性を高めるといった方法が考えられる。
 その際の直交動作範囲421で表示される範囲方向の選択方法としては、操作部460の、各方向の動作ボタンを押したときにその方向に対応する範囲を表示する方法がある。
 また、あらかじめどちらにロボット装置1を動かしたいか作業者404が選択し、その方向を常に表示する、といった手段が考えられる。
 図36は、ツールジョグ操作などと呼ばれる、ロボット装置1の手先姿勢に対して直交しているツール座標系426に沿って動かす操作がロボット装置1になされている。図35と同様に、図36ではツール動作範囲422が表示されている。
 これにより、ツールジョグ操作の場合でも、容易にロボット装置1の動作範囲を把握することができ、ロボット装置1の操作性を向上させることができる。
 図34~図36で述べた各動作範囲420~422は表示、非表示の切り替え自在で、作業者404の必要とする情報、タイミングで表示できるようにすれば、通常のロボット操作での視認性を妨げることがない。
 もしくは、動作限界の表示によって確認対象の視認性が妨げられる場合、各動作範囲420~422の非表示、半透明、輪郭表示等を設定できるようにするとよい。
 また、ロボット装置1の動作範囲の表示とともに、ロボット装置1の動作限界を越えて移動させようとした際に、ロボット装置1がエラー停止する前に直前の移動操作の逆方向へロボット装置1を移動させて動作を止める。
 これにより、ロボット装置1が停止することで、ロボット装置1の作業性が損なわれることなく、ロボット装置1の操作を継続することができる。
 そのための具体的なロボット装置1の制御方式の一例を示す。例えば、ロボット装置の動作の制御方式の一つとして、外部入力装置130の操作部460のボタンを押下してロボット装置1に直交ジョグ操作をしようとする。
 その場合、まずロボット装置1の手先の移動目標位置を設定し、その位置に到達するためのロボット装置1に設けられたロボットアームの各関節角度を運動学により算出する。
 そして、現在のロボット装置1の各関節との差分から、各関節の動作速度を決定する操作・制御方式がある。
 その場合に、動作限界付近で直交ジョグ操作を行ったとしても、ロボット装置1の手先の目標位置が各関節の可動限界角度、もしくはその手前までにしか設定されないようにすれば、ロボット装置1がエラー停止することはない。
 また、動作限界付近の一定範囲の姿勢をロボット装置1がとった場合、その範囲を脱出する移動動作、例えば、直前の操作の逆方向に移動するように自動的に実施する制御を行う。
 こうすれば、動作限界付近の移動方向が極度に限定された状態において、どちらに操作すればロボット装置1が移動できるかわからない、といった問題を回避することができる。
 また、この動作限界付近の一定範囲は、作業者404が任意に設定できるようにしておく。こうすれば、範囲を狭めて限界付近での作業を多用できるようにしたり、逆に範囲を広げて限界位置で操作性を損なうリスクを回避したりと、ロボット装置1の用途に合わせて選択することができるようになる。
 以上本実施形態により、ロボット装置1の動作限界が外部入力装置130で確認することができるため、ロボット装置1の操作性を向上させることができる。
 特に、ロボット装置1の周囲に存在する構造物を避けたり、複雑な移動経路をロボット装置が通る場合に有効である。
 また、ロボット装置1の動作限界付近で頻繁にエラー停止するといった事象が回避でき、ロボット装置1の操作性が向上することで、短時間でロボット装置の教示作業が可能となる。
 (第13の実施形態)
 次に第14の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、生産現場における、生産計画、作業内容により頻繁にロボット装置の設置位置を移設し、複数の製造ラインで使用する場合を考える。
 ロボット装置を移設する場合、ロボット装置の据え付けを高精度に調整しなければ、ワークとロボット装置との相対位置がズレるため、ロボット装置がワークをつかむ、組み立てるといった動作ができなくなる、失敗確立が上がる、といった問題が起こる。
 通常、ロボット装置を移設して位置調整を行う際は、精度を保証して製作された位置決め治具を用いてロボット装置と据え付ける構造物との位置が高精度に定まるように調整する必要がある。
 しかし、上記のような位置決め治具は、製作する費用と時間がかかってしまう。また、レーザ距離計やプロトラクターといった角度計などの測定機を用いて調整することも考えられる。しかし、その場合も精度が保証された測定機を準備し、測定機を高精度に使用する、ロボット装置を設置するための設計や調整を行う、といった対応が必要になる。
 本実施形態は上記課題に鑑み、ロボット装置を高精度に位置決めする場合でも、治具や、測定器を使用することなく、位置決めを行うことができるようにするUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図37は、ロボット装置1を移設する際の作業を撮像装置2で撮影し、外部入力装置130上の表示部131に表示したものを表している。
 撮像装置2で撮影しているロボット装置撮影画像1aの近辺に、ロボット設置画像1cを表示することで、ロボット装置1の適切な設置位置の確認をできるようにしている。
 ロボット設置画像1cの形状、および設置位置は、設計上の3DCADモデルを使用してもよいし、一度適切な位置に設置した後に、撮像装置の画像を処理することによって、ロボット装置1の位置および形状を取得し、それを用いてもよい。
 上記のように準備しておいたロボット設置画像1cを用いれば、第11の実施形態と同様に、ロボット装置1の姿勢と、撮像装置2の姿勢から表示画部131上に表示する幾何形状を算出可能である。
 また、設置作業中のロボット装置1を撮像装置2で撮影し、その画像を処理することで、ロボット装置1の形状と位置を取得すれば、ロボット設置画像1cとの比較が可能となる。
 これらの画像同士の適合面積や最大距離を比較し、設置位置が許容範囲内であるか否か、あるいはどちらにずれているかを表示部131上へ表示すれば、設置作業が容易になる。
 適合面積や最大距離の許容範囲設定は、必要な組立精度等から作業者404が任意に設定できる。
 また、設置作業の際にロボット装置1の姿勢を、複数方向へ向けたり、特徴的な姿勢を取らせたりして、それぞれの位置を合わせることで、設置精度の向上が可能となる。
 特に、撮像装置2から見て奥行き方向ではなく、左右方向に長い姿勢をロボット装置1に取らせることで、画像処理精度の向上が期待できる。
 また、撮像装置2のズーム機能を用いて、ロボット装置1の特徴的な一部分を拡大表示して記録し、その画像を位置合わせに用いれば高精度に位置合わせが可能になる。
 これらの作業の際に、複数の撮像装置を用いて複数方向から撮影すれば、一つの撮像装置から確認しにくい方向での設置精度が向上できる。
 ロボット設置画像1cの表示方法についても、ロボット装置1の形状の多角形表示、輪郭線のみの表示、半透明表示など、作業性、視認性に合わせて選択できるようにしても良い。
 こうすることで、ロボット装置1を移設して複数の製造ラインで使用する場合でも、高価で長納期な位置決め治具の製作や測定機の使用が不要になる。
 また、生産現場における生産計画や生産内容において、急遽新たな生産ラインの立ち上げや、試験運転を始める際にも、生産ラインに使用中のロボット装置を一時的に用いることができる。
 さらにロボット装置の利用が完了した際にもすぐに元の生産ラインにロボット装置を戻すことができる。このように、多品種少量生産に対応したロボット運用ができるようになる。
 (第14の実施形態)
 次に第14の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、ロボット装置1と作業者404が並行して作業を進めている場合を考える。
 この場合、作業者404が取り扱った部品406における撮像装置2による検査と、ロボット装置1の動作を同時に進めたい場合がある。
 その際に、ロボット装置1が撮像装置2の視界を遮ってしまい部品406の検査ができない、もしくはロボット装置1がどの位置で作業を行えば並行作業が可能かわからないことがある。
 本実施形態では上記課題が生じる場合でも、作業者が取り扱った部品における撮像装置による検査と、ロボット装置の動作を同時に進めることができるUI例である。
 以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
 図38は、ロボット装置1と作業者404が共通の空間で並行して作業を進めている現場を、撮像装置2で撮影した画像を表示部131へ表示している例を示している。
 部品406がロボット装置1の所定の関節によって遮られている状況が撮影されており、このままでは部品406における撮像装置2による検査ができない。
 このとき、表示部131にはロボット装置回避姿勢1dが撮像装置2で撮影されている画像に合成表示されており、この示された範囲へロボット装置1を移動させることで、部品406における撮像装置2による検査が可能になる。
 ロボット装置回避姿勢1dの導出方法としては、例えば部品撮影画像406aの輪郭と撮像装置2のレンズ中心を結ぶ、錐体状の多面体を想定すると、その多面体とロボット装置1の干渉しない範囲が、ロボット装置1が部品406を遮らない範囲となる。
 ロボット装置1の姿勢は、ロボット装置1に設けられたロボットアームの各関節角度から運動学により算出可能である。
 よって、ロボット装置1の姿勢を所定の方向へ変えた際に、どの姿勢でロボット装置1と多面体との干渉がなくなるかを導出可能である。
 また、この際の表示部131上で表示すべきロボット装置回避姿勢1dの幾何形状については、第11の実施形態と同様にロボット装置1の姿勢、撮像装置2の姿勢から透視投影の計算により導出できる。
 また、この計算の際にロボット装置1がどの方向へ回避した場合におけるロボット装置回避姿勢1dを計算するかは、作業者404が直交座標系などに沿って任意の方向を指定できるとよい。図38においては、矢印H方向へロボット装置1が回避する場合の範囲を示している。
 図39は、上記で導出されたロボット装置回避姿勢1dの位置にロボット装置1が移動した状態を示している。
 これにより、部品406全体が、ロボット装置1に遮られることなく、撮像装置2により映し出されており、部品406の検査を撮像装置2により行わせることができる。
 以上本実施形態により、ロボット装置1と作業者404が並行して作業を実施する場合に、一方で撮像装置2により部品406を検査しながら、ロボット装置1が動作する教示の設定を実施することができる。
 この機能を用いて、ロボット装置1が取り扱う部品403の設置位置を決定すれば、ロボット装置1と作業者404が並行作業しながら、両方の作業を撮像装置2で同時に監視可能な配置設計が容易になる。
 (第15の実施形態)
 次に第15の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
 本実施形態では、外部入力装置130により撮像装置2を操作する際、撮像装置2を直感的に操作する場合を考える。撮像装置2がパン方向およびチルト方向に動作することができる場合、撮像装置2の取り付け方によっては今までパン方向を操作していた撮像操作部が、外部入力装置130での表示のさせ方によってはチルト方向の操作部のように見えてしまう場合がある。その際、撮像装置2を直感的に操作することが難しくなる。本実施形態では上記のような課題が生じても外部入力装置130により直感的に撮像装置2を操作できるUI例について説明する。
 図40は本実施形態における表示部131に表示される画面を示している。上述した種々の実施形態と異なる点は、作業者から見た撮像装置2の設置状態を表示した撮像装置設置アイコン560を設けている点である。外部入力装置130はあらかじめ、操作対象となる撮像装置2の取り付け方の情報が格納されており、格納された情報に基づき撮像装置2の設置状態を撮像操作部105に表示する。またパン方向を示す視覚表示子である矢印B、チルト方向を示す視覚表示子である矢印Aが撮像装置設置アイコン560に表示されている。
 そして撮像装置2のチルト方向である矢印Aに方向を操作する際は、視点操作ボタン106aにより操作し、撮像装置2のパン方向である矢印B方向に操作する際は視点操作ボタン106bにより操作する。その際、視点操作ボタン106a付近にチルト方向を示す視覚表示子として「A」を表示し、視点操作ボタン106b付近にパン方向を示す視覚表示子として「B」を表示する。これにより、視点操作ボタン106aが指し示す方向とチルト方向の矢印A方向が見た目上一致し、視点操作ボタン106bが指し示す方向とパン方向の矢印B方向が見た目上一致する。これにより部入力装置130により直感的に撮像装置2を操作することができる。
 図41は図40とは異なる取り付け方で撮像装置2が設置されている場合の表示部131に表示される画面を示している。図41では図40における撮像装置2の設置状態から90°回転させて設置されている。そして撮像装置2を90°回転させた状態で撮像装置設置アイコン560を撮像操作部105に表示している。
 図41においては、撮像装置2のチルト方向である矢印Aに方向を操作する際は、視点操作ボタン106bにより操作し、撮像装置2のパン方向である矢印B方向に操作する際は視点操作ボタン106aにより操作する。その際、視点操作ボタン106a付近にパン方向を示す視覚表示子として「B」を表示し、視点操作ボタン106b付近にチルト方向を示す視覚表示子として「A」を表示する。これにより、視点操作ボタン106bが指し示す方向とチルト方向の矢印A方向が見た目上一致し、視点操作ボタン106aが指し示す方向とパン方向の矢印B方向が見た目上一致する。これにより撮像装置2の取り付け方が異なる場合でも部入力装置130により直感的に撮像装置2を操作することができる。また、撮像装置2の取り付け方が表示されているので、より直感的に撮像装置2の操作を行うことが可能となる。なお、視覚表示子として文字や矢印を表示しているが、図や絵など作業者の視覚により認識できる方法を適宜用いて構わない。
 上述した種々の実施形態の処理手順は具体的には制御装置13により実行されるものとして説明したが、上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体を外部入力装置130に搭載させて実施しても良い。
 従って上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体は本発明を構成することになる。
 また、上記実施形態では、コンピュータで読み取り可能な記録媒体がROM或いはRAMであり、ROM或いはRAMに制御プログラムが格納される場合について説明したが、本発明はこのような形態に限定されるものではない。
 本発明を実施するための制御プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、制御プログラムを供給するための記録媒体としては、HDD、外部記憶装置、記録ディスク等を用いてもよい。
 (その他の実施形態)
 上述した種々の実施形態では、ロボット装置1が複数の関節を有する多関節ロボットアームを用いた場合を説明したが、関節の数はこれに限定されるものではない。ロボット装置の形式として、垂直多軸構成を示したが、パラレルリンク型など異なる形式の関節においても上記と同等の構成を実施することができる。
 また、ロボット装置1の構成例を各実施形態の例図により示したが、これに限定されるものではなく、当業者において任意に設計変更が可能である。また、ロボット装置1に設けられる各モータは、上述の構成に限定されるものではなく、各関節を駆動する駆動源は例えば人工筋肉のようなデバイス等であってもよい。
 また上述した種々の実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。
 また、上述した種々の実施形態では、撮像装置2により画像されているロボット装置の動作を監視するための画面構成を外部入力装置130に表示したがこれに限られない。
 例えば、アプリ等によりロボット装置を操作できるような携帯端末、デスクトップパソコンやノートパソコン等、種々のインタフェースに表示しても構わない。
 また、上記実施形態では、外部入力装置の表示部に表示されるものをボタンと呼称して説明したが、例えば表示アイコンや表示アイテムとして置き換えて実施しても構わない。
 また、上述した種々の実施形態では、撮像装置2を所定の位置に設置されて撮像する撮像装置を例にとり説明したがこれに限られない。例えば、ロボット装置のエンドエフェクタに撮像装置を備え、撮像装置をオンハンドカメラとして使用し、定点から撮像する撮像装置からの画像と、オンハンドカメラとして使用している撮像装置からの画像とを、外部入力装置の同一画面に表示しても構わない。これにより、ロボット装置全体を確認しながら、作業を行うエンドエフェクタからの視点も確認でき、ロボット装置の教示をさらに容易に行うことが可能となる。また、定点から撮像する撮像装置からの画像と、オンハンドカメラとして使用している撮像装置からの画像とを交互に切り換えながら画像表示部に表示するようにしてもかまわない。
 また、上述した種々の実施形態では、撮像装置2で撮影した画像を表示する例をとり説明したがこれに限られない。例えば、制御装置13に画像処理装置を内蔵させ、撮像装置2から撮像された画像を画像処理し、画像処理結果を外部入力装置130の表示部131に表示させても構わない。これにより撮像装置2を用いてロボット装置に教示を修正する際に、画像処理の結果を確認しながらロボット装置の教示を修正することができる。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
 本願は、2018年11月1日提出の日本国特許出願特願2018-206679を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (49)

  1.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、
     表示領域と、
     前記ロボット装置を操作するロボット装置操作部と、
     前記撮像装置を操作する撮像操作部と、
     前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
     前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置。
  2.  請求項1に記載の外部入力装置において、
     前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部の表示位置を変更できることを特徴とする外部入力装置。
  3.  請求項1または2に記載の外部入力装置において、
     前記ロボット装置操作部として、前記画像表示部に表示されている前記ロボット装置をタッチすることで、前記ロボット装置を操作でき、
     前記撮像操作部として、前記画像表示部に表示されている前記ロボット装置以外のいずれかの部分をタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
  4.  請求項3に記載の外部入力装置において、
     前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分をシングルタッチまたはマルチタッチすることで、前記ロボット装置を操作でき、
     前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記シングルタッチまたは前記マルチタッチの内、前記ロボット装置の操作に使用しなかった方法でタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
  5.  請求項1または2に記載の外部入力装置において、
     前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分を、所定の力の値以上でタッチすることで、前記ロボット装置を操作することができ、
     前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記所定の力の値未満でタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
  6.  請求項1または2に記載の外部入力装置において、
     前記画像表示部に、
     前記画像表示部のタッチによって、前記ロボット装置または前記撮像装置どちらの操作を行うのか設定する操作設定ボタンが表示されていることを特徴とする外部入力装置。
  7.  請求項3から6のいずれか1項に記載の外部入力装置において、
     前記画像表示部のタッチによって、前記撮像装置を操作する際、
     前記画像表示部をタッチし、所定の方向へスライドすることで、前記撮像装置の撮像視点を移動させ、
     前記画像表示部をタッチし、ピンチアウトすることで、前記撮像装置によるズームアウトを行い、
     前記画像表示部をタッチし、ピンチインすることで、前記撮像装置によるズームインを行うことを特徴とする外部入力装置。
  8.  請求項3から7のいずれか1項に記載の外部入力装置において、
     前記画像表示部のタッチによって、前記ロボット装置を操作する際、
     前記画像表示部をタッチし、フリックする動作を受け付けないことを特徴とする外部入力装置。
  9.  請求項1または2に記載の外部入力装置において、
     前記ロボット装置操作部は、
     予め教示されている前記ロボット装置の所定の動作の終了時間までを表す再生バーと、
     前記再生バーにおける、時間的な位置を示す第1の位置マークと、を備え、
     前記撮像操作部は、
     前記撮像装置における各駆動部の動作範囲を示す操作バーと、
     前記操作バーにおける、現在位置を示す第2の位置マークと、を備えていることを特徴とする外部入力装置。
  10.  請求項9に記載の外部入力装置において、
     前記再生バーと、前記操作バーの各々には、前記撮像装置における所定の撮像視点の教示点を表す、撮像視点教示ポイントが表示されることを特徴とする外部入力装置。
  11.  請求項9または10に記載の外部入力装置において、
     前記操作バーの各々には、前記各駆動部の前記動作範囲における、前記撮像視点の教示点として設定可能な範囲を示す設定可能範囲がそれぞれ表示されることを特徴とする外部入力装置。
  12.  請求項9から11のいずれか1項に記載の外部入力装置において、
     前記撮像装置は、パンチルトカメラであり、ズーム機能を備え、
     前記操作バーは、
     前記撮像装置をパン方向に操作するパン操作バーと、
     前記撮像装置をチルト方向に操作するチルト操作バーと、
     前記ズーム機能を調整するズーム調整バーと、を備え、
     前記パン操作バー、前記チルト操作バー、前記ズーム調整バーのそれぞれには、それぞれの動作範囲における現在位置を示す第3の位置マークが表示されることを特徴とする外部入力装置。
  13.  請求項1または2に記載の外部入力装置において、
     前記外部入力装置による操作対象を変更する際、前記操作対象それぞれの操作の基準となっている座標系に切り換えて、前記操作対象を操作可能にする座標系切換ボタンを備えていることを特徴とする外部入力装置。
  14.  請求項13に記載の外部入力装置において、
     前記座標系切換ボタンは、
     前記ロボット装置が設置されている位置を基準とするベース座標系に切り換える、ベース座標系ボタンと、
     前記ロボット装置におけるエンドエフェクタの位置を基準とするエンドエフェクタ座標系に切り換える、エンドエフェクタ座標系ボタンと、
     前記撮像装置に関する座標系に切り換える、撮像座標系ボタンと、を備えていることを特徴とする外部入力装置。
  15.  請求項1または2に記載の外部入力装置において、
     前記画像表示部の画像の上下を反転させる上下反転ボタンを備えていることを特徴とする外部入力装置。
  16.  請求項15に記載の外部入力装置において、
     前記画像表示部の画像の上下の反転を自動で行う、自動ボタンを備え、
     前記自動ボタンの操作により、前記画像表示部の画像の上下の反転を自動で行う際のトリガを設定する自動設定部が表示されることを特徴とする外部入力装置。
  17.  請求項16に記載の外部入力装置において、
     前記自動設定部は、前記撮像装置の各駆動部における角度の値を設定できることを特徴とする外部入力装置。
  18.  請求項1または2に記載の外部入力装置において、
     前記画像表示部の画像は、マルチタッチにより、回転させることができることを特徴とする外部入力装置。
  19.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、表示領域を有し、
     前記表示領域には、
     前記ロボット装置の動作の工程を表示する工程プログラム画面が表示され、
     前記工程プログラム画面には、前記工程の所定の工程において使用される撮像装置の名称と、当該撮像装置に教示されている教示点と、が表示されることを特徴とする外部入力装置。
  20.  請求項19に記載の外部入力装置において、
     前記撮像装置は複数設けられ、
     前記外部入力装置には、前記表示部に画像を映し出す撮像装置として、前記複数の撮像装置のうち前記ロボット装置を撮影している撮像装置に自動で切り換える撮像装置切換ボタンを備えていることを特徴とする外部入力装置。
  21.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、表示領域を有し、
     前記表示領域には、
     前記ロボット装置と、前記ロボット装置と共に作業を行う作業者の、作業時間の計測を行わせる計測ボタンと、
     前記作業時間の計測の設定を行う計測設定ボタンと、
     計測した前記作業時間を表示する時間表示部と、が表示されていることを特徴とする外部入力装置。
  22.  請求項21に記載の外部入力装置において、
     前記計測設定ボタンの操作により、前記ロボット装置と前記作業者とが協働して作業している協働作業時間の計測の設定を行う設定画面が表示されることを特徴とする外部入力装置。
  23.  請求項21に記載の外部入力装置において、
     前記設定画面は、前記ロボット装置と前記作業者との相対的な距離を設定でき、
     前記ロボット装置と前記作業者との相対的な距離が、前記設定画面で設定した距離以下となっている時間を、前記協働作業時間として計測することを特徴とする外部入力装置。
  24.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、表示領域を有し、
     前記表示領域には、
     前記撮像装置の撮像対象を設定する、撮像対象指定ボックスと、
     前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影し続けるように、前記撮像装置の制御を行わせる撮像追従ボタンと、が表示されていることを特徴とする外部入力装置。
  25.  請求項24に記載の外部入力装置において、
     前記表示領域には、
     前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影され続けるように、前記ロボット装置を制御するロボット追従ボタンと、が表示されていることを特徴とする外部入力装置。
  26.  請求項24または25に記載の外部入力装置において、
     前記表示領域には、
     前記ロボットシステムにおける所定の座標値を表示する座標表示ボックスを備え、
     前記座標表示ボックスは、所定の座標値の入力を行うことができ、
     前記座標表示ボックスで入力された所定の座標値に、前記ロボット装置を動作させるロボット移動ボタンと、
     前記座標表示ボックスで入力された所定の座標値を、前記撮像装置に撮像させる撮像移動ボタンと、が表示されていることを特徴とする外部入力装置。
  27.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、表示領域を有し、
     前記表示領域には、
     前記撮像装置により撮影されている撮像に所定の領域を設定する領域設定ボタンと、
     前記撮像装置が撮影すべきワークを設定するワーク登録ボタンと、
     前記所定の領域から、撮影すべき前記ワークを検索するワーク検索ボタンと、が表示されていることを特徴とする外部入力装置。
  28.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、
     前記撮像装置が撮影している画像を表示する画像表示部を有し、
     前記画像表示部に、前記撮像装置が、所定の工程における前記ロボット装置を撮影している画像と共に、前記所定の工程の次の工程における前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
  29.  請求項28に記載の外部入力装置において、
     前記画像表示部には、前記撮像装置が所定の工程における前記ロボット装置を撮影している撮像と共に、前記ロボット装置の動作範囲を表示することを特徴とする外部入力装置。
  30.  請求項29に記載の外部入力装置において、
     前記動作範囲は、仮想的な前記ロボット合成画像により、前記動作範囲の限界が表示されていることを特徴とする外部入力装置。
  31.  請求項28に記載の外部入力装置において、
     前記画像表示部に、前記撮像装置が前記ロボット装置を所定の場所に設置している作業を撮影している撮像と共に、前記ロボット装置を前記所定の場所とは異なる場所に設置した場合のロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
  32.  請求項28に記載の外部入力装置において、
     前記画像表示部に、前記撮像装置が、前記ロボット装置により一部が隠れたワークを撮影している撮像と共に、前記ワークの全てを前記撮像装置により撮影できるようになる前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
  33.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、
     前記撮像装置が撮影している画像を表示する画像表示部を有し、
     前記画像表示部の表示設定を行う第1のアイコンと、
     前記ロボットシステムのいずれかの部品から生じさせる音の設定を行う第2のアイコンと、が前記画像表示部に表示されていることを特徴とする外部入力装置。
  34.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、
     表示領域と、
     前記外部入力装置を用いて、前記ロボットシステムを操作する作業者の顔のデータを記憶する記憶部と、を有し、
     前記表示領域には、
     前記撮像装置により、前記外部入力装置を使用している作業者の顔を検知し、検知した当該顔と、前記記憶部に記憶している前記顔のデータを比較する顔認証ボタンが備えられていることを特徴とする外部入力装置。
  35.  請求項34に記載の外部入力装置において、
     前記顔認証ボタンによる操作は、検知した前記顔と、前記記憶部に記憶している前記顔のデータを比較し、検知した前記顔と、前記記憶部に記憶している前記顔のデータが一致しない場合、前記作業者による前記ロボット装置の操作に制限をかけることを特徴とする外部入力装置
  36.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、
     前記ロボット装置を操作するロボット装置操作部と、
     前記撮像装置を操作する撮像操作部と、
     前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
     前記外部入力装置の所定の面に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が設けられていることを特徴とする外部入力装置。
  37.  請求項36に記載の外部入力装置において、
     前記画像表示部を基準として、左右のどちらか一方に前記ロボット装置操作部が設けられ、他方に前記撮像操作部が設けられていることを特徴とする外部入力装置。
  38.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムであって、
     前記ロボットシステムへ所定の操作を入力できる外部入力装置と、を備え、
     前記外部入力装置は、
     表示領域と、
     前記ロボット装置を操作するロボット装置操作部と、
     前記撮像装置を操作する撮像操作部と、
     前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
     前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されていることを特徴とするロボットシステム。
  39.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムの制御方法であって、
     前記ロボットシステムへ所定の操作を入力できる外部入力装置と、
     前記外部入力装置からの指令により前記ロボットシステムを制御する制御装置と、を備え、
     前記外部入力装置は、
     前記ロボット装置を操作するロボット装置操作部と、
     前記撮像装置を操作する撮像操作部と、
     前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
     前記制御装置は、
     前記ロボット装置操作部と、前記撮像操作部とからの入力により、前記ロボット装置と前記撮像装置とを平行して操作できるように制御することを特徴とする制御方法。
  40.  撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、表示領域を有し、
     前記表示領域には、
     前記撮像装置の設置状態を示した撮像装置設置アイコンが表示されていることを特徴とする外部入力装置。
  41.  請求項40に記載の外部入力装置において、
     前記撮像装置の設置状態が変更された際、前記撮像装置設置アイコンの表示も変更することを特徴とする外部入力装置。
  42.  請求項40または41に記載の外部入力装置において、
     前記表示領域には、前記撮像装置を操作する撮像操作部が表示されており、
     前記撮像装置の設置状態が変更された際、前記撮像操作部の設定を変更することを特徴とする外部入力装置。
  43.  請求項42に記載の外部入力装置において、
     前記撮像装置はパン方向およびチルト方向に駆動させることができるパンチルトカメラであって、
     前記撮像装置設置アイコンには、前記パン方向を示す視覚表示子と前記チルト方向を示す視覚表示子が表示されていることを特徴とする外部入力装置。
  44.  ロボット装置と、撮像視点を変更可能であり前記ロボット装置により移動しない場所に設けられた第1の撮像装置と、前記ロボット装置の所定の部位に設けられた第2の撮像装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、表示領域を備えており、
     前記表示領域には、前記第1の撮像装置により撮影される画像と、前記第2の撮像装置により撮影される画像と表示することができることを特徴とする外部入力装置。
  45.  請求項44に記載の外部入力装置において、
     前記第1の撮像装置により撮影される画像と、前記第2の撮像装置により撮影される第2の画像とは、同一の表示領域に表示されることを特徴とする外部入力装置。
  46.  請求項44に記載の外部入力装置において、
     前記第1の撮像装置により撮影される画像と、前記第2の撮像装置により撮影される第2の画像と、を交互に表示させることができることを特徴とする外部入力装置。
  47.  撮像視点を変更可能な撮像装置と、ロボット装置と、前記撮像装置から取得される画像を画像処理する画像処理装置と、を有するロボットシステムを操作する外部入力装置であって、
     前記外部入力装置は、表示領域を備えており、
     前記表示領域に、前記画像処理装置から取得される画像処理結果を表示させることができることを特徴とする外部入力装置。
  48.  請求項39に記載の制御方法を、コンピュータに実行させるための制御プログラム。
  49.  請求項48に記載の制御プログラムを記録した、コンピュータで読み取り可能な記録媒体。
PCT/JP2019/042344 2018-11-01 2019-10-29 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 WO2020090809A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202410908008.1A CN118700167A (zh) 2018-11-01 2019-10-29 输入设备、机器人系统、其控制方法和制造物品的方法
CN201980072346.3A CN113056351B (zh) 2018-11-01 2019-10-29 外部输入设备、机器人系统、其控制方法及记录介质
EP19880789.3A EP3875230A4 (en) 2018-11-01 2019-10-29 EXTERNAL INPUT DEVICE, ROBOT SYSTEM, CONTROL METHOD FOR ROBOT SYSTEM, CONTROL PROGRAM AND RECORDING MEDIA
US17/246,405 US20210252713A1 (en) 2018-11-01 2021-04-30 External input device, robot system, control method of robot system, control program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-206679 2018-11-01
JP2018206679 2018-11-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/246,405 Continuation US20210252713A1 (en) 2018-11-01 2021-04-30 External input device, robot system, control method of robot system, control program, and recording medium

Publications (1)

Publication Number Publication Date
WO2020090809A1 true WO2020090809A1 (ja) 2020-05-07

Family

ID=70463708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042344 WO2020090809A1 (ja) 2018-11-01 2019-10-29 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体

Country Status (5)

Country Link
US (1) US20210252713A1 (ja)
EP (1) EP3875230A4 (ja)
JP (2) JP7490349B2 (ja)
CN (2) CN118700167A (ja)
WO (1) WO2020090809A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
AT16425U1 (de) * 2017-12-14 2019-08-15 Wittmann Kunststoffgeraete Verfahren zur Validierung von programmierten Ablaufsequenzen oder
JP7400211B2 (ja) * 2019-05-16 2023-12-19 セイコーエプソン株式会社 ロボットシステム、制御装置およびロボットの制御方法
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
JP2021091077A (ja) * 2019-12-10 2021-06-17 川崎重工業株式会社 映像確認用コンピュータ
KR102118293B1 (ko) * 2019-12-10 2020-06-02 주식회사 아진엑스텍 터치스크린을 포함하는 휴대용 단말을 이용한 로봇 장치 제어 방법
DE112021003127T5 (de) * 2020-06-05 2023-03-23 Fanuc Corporation Programmiervorrichtung
JP7550546B2 (ja) * 2020-06-24 2024-09-13 株式会社日立製作所 撮像システム構築装置
JP7397879B2 (ja) * 2020-08-03 2023-12-13 三菱電機株式会社 遠隔操作装置
JP2022122728A (ja) * 2021-02-10 2022-08-23 セイコーエプソン株式会社 教示装置、教示方法および教示プログラム
US20240241497A1 (en) * 2021-05-14 2024-07-18 Fanuc Corporation Imaging environment adjusting device, and computer-readable storage medium
KR102403021B1 (ko) * 2021-06-29 2022-05-30 주식회사 뉴로메카 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
CN114167775B (zh) * 2021-11-30 2024-04-26 上海德衡数据科技有限公司 基于机器人的实时外部控制方法及系统
CN114310881B (zh) * 2021-12-23 2024-09-13 中国科学院自动化研究所 一种机械臂快换装置的标定方法、系统及电子设备
WO2023248439A1 (ja) * 2022-06-23 2023-12-28 ファナック株式会社 ロボットシステム、ロボット制御装置およびロボット制御プログラム
WO2024089813A1 (ja) * 2022-10-26 2024-05-02 株式会社Fuji ロボット
JP7364285B1 (ja) 2022-11-11 2023-10-18 高丸工業株式会社 ロボット操作システムの動作方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135689A (ja) * 1998-10-30 2000-05-16 Fanuc Ltd ロボット用画像処理装置
JP2001121458A (ja) * 1999-10-22 2001-05-08 Denso Corp ロボットコントローラ
JP2006000977A (ja) * 2004-06-17 2006-01-05 National Univ Corp Shizuoka Univ ロボット環境間力作用状態呈示装置
JP2007334551A (ja) * 2006-06-14 2007-12-27 Yushin Precision Equipment Co Ltd コントローラ
JP2009000782A (ja) 2007-06-21 2009-01-08 Idec Corp ロボット制御システムおよびロボットハンド
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
JP2011212764A (ja) * 2010-03-31 2011-10-27 Toyota Motor Corp ロボットの遠隔操作システム
JP2013214943A (ja) * 2012-02-29 2013-10-17 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2015083331A (ja) * 2013-09-20 2015-04-30 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
JP2015188990A (ja) * 2014-03-28 2015-11-02 ファナック株式会社 生体認証により作業者を判別するロボットシステム
WO2017033355A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 マニピュレータシステム
JP2018107786A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 撮像装置
JP2018206679A (ja) 2017-06-07 2018-12-27 株式会社豊田自動織機 蓄電モジュール

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426057T2 (de) * 1993-11-29 2001-05-10 Olympus Optical Co., Ltd. Anordnung zur Bildrotation und Überlagerung
JP4556088B2 (ja) 2001-05-02 2010-10-06 ソニー株式会社 画像処理システム、画像処理装置及びその制御方法
JP2006289531A (ja) * 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
JP5030261B2 (ja) * 2005-11-16 2012-09-19 キヤノン株式会社 映像配信装置、ビューワ装置、映像配信装置の制御方法、ビューワ装置の制御方法およびコンピュータプログラム
EP1981263B1 (en) * 2007-04-13 2019-04-03 Axis AB Supporting continuous pan rotation in a pan-tilt camera
JP5442393B2 (ja) * 2009-10-29 2014-03-12 日立コンシューマエレクトロニクス株式会社 表示装置
US8471814B2 (en) * 2010-02-26 2013-06-25 Microsoft Corporation User interface control using a keyboard
JP5147139B2 (ja) * 2010-03-30 2013-02-20 シャープ株式会社 操作機器、その操作機器を備えた電子機器および画像処理装置、ならびにその操作機器における情報表示方法
US8515271B2 (en) * 2010-08-30 2013-08-20 Samsung Electronics Co., Ltd. Imaging device, method of selecting imaging mode, and recording medium configured to store computer program
CA2720886A1 (en) * 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
US8918230B2 (en) * 2011-01-21 2014-12-23 Mitre Corporation Teleoperation of unmanned ground vehicle
JP5246672B2 (ja) * 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 ロボットシステム
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
AT513675A1 (de) * 2012-11-15 2014-06-15 Keba Ag Verfahren zum sicheren und bewussten Aktivieren von Funktionen und/oder Bewegungen einer steuerbaren technischen Einrichtung
JP6171457B2 (ja) * 2013-03-25 2017-08-02 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
CN105027058B (zh) * 2013-08-21 2018-10-09 松下知识产权经营株式会社 信息显示装置、信息显示方法以及记录介质
US9407964B2 (en) * 2013-10-25 2016-08-02 Verizon Patent And Licensing Inc. Method and system for navigating video to an instant time
US10743947B2 (en) * 2014-05-15 2020-08-18 Covidien Lp Systems and methods for controlling a camera position in a surgical robotic system
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US20160241767A1 (en) * 2015-02-13 2016-08-18 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9619049B2 (en) * 2015-02-18 2017-04-11 International Business Machines Corporation One-handed operation of mobile electronic devices
JP6866566B2 (ja) 2015-03-19 2021-04-28 株式会社デンソーウェーブ ロボット操作装置、及びロボット操作プログラム
DE102015209899B4 (de) * 2015-05-29 2019-06-19 Kuka Roboter Gmbh Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
CN107040709A (zh) * 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人系统、机器人以及图像处理方法
JP6744709B2 (ja) * 2015-11-30 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法
KR102645817B1 (ko) * 2016-12-06 2024-03-08 한화로보틱스 주식회사 로봇의 비헤이비어 관리 방법 및 장치
JP6836305B2 (ja) * 2017-01-13 2021-02-24 キヤノン株式会社 撮像制御装置およびその制御方法
JP6944354B2 (ja) * 2017-11-22 2021-10-06 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法
US11407111B2 (en) * 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135689A (ja) * 1998-10-30 2000-05-16 Fanuc Ltd ロボット用画像処理装置
JP2001121458A (ja) * 1999-10-22 2001-05-08 Denso Corp ロボットコントローラ
JP2006000977A (ja) * 2004-06-17 2006-01-05 National Univ Corp Shizuoka Univ ロボット環境間力作用状態呈示装置
JP2007334551A (ja) * 2006-06-14 2007-12-27 Yushin Precision Equipment Co Ltd コントローラ
JP2009000782A (ja) 2007-06-21 2009-01-08 Idec Corp ロボット制御システムおよびロボットハンド
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
JP2011212764A (ja) * 2010-03-31 2011-10-27 Toyota Motor Corp ロボットの遠隔操作システム
JP2013214943A (ja) * 2012-02-29 2013-10-17 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2015083331A (ja) * 2013-09-20 2015-04-30 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
JP2015188990A (ja) * 2014-03-28 2015-11-02 ファナック株式会社 生体認証により作業者を判別するロボットシステム
WO2017033355A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 マニピュレータシステム
JP2018107786A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 撮像装置
JP2018206679A (ja) 2017-06-07 2018-12-27 株式会社豊田自動織機 蓄電モジュール

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3875230A4

Also Published As

Publication number Publication date
JP2020075354A (ja) 2020-05-21
CN113056351B (zh) 2024-07-23
US20210252713A1 (en) 2021-08-19
JP2024105552A (ja) 2024-08-06
EP3875230A4 (en) 2022-07-27
JP7490349B2 (ja) 2024-05-27
CN118700167A (zh) 2024-09-27
EP3875230A1 (en) 2021-09-08
CN113056351A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
WO2020090809A1 (ja) 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
JP4167940B2 (ja) ロボットシステム
US11197730B2 (en) Manipulator system
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
JP5526881B2 (ja) ロボットシステム
US9919421B2 (en) Method and apparatus for robot path teaching
US10807240B2 (en) Robot control device for setting jog coordinate system
JP6361213B2 (ja) ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
JP2018167334A (ja) 教示装置および教示方法
JP2013049102A (ja) ロボットの制御装置及びロボットの姿勢決定方法
WO2020054281A1 (ja) ロボットシステム、ロボットシステムの制御装置、ロボットシステムの制御方法、撮像装置、制御プログラム及び記録媒体
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
CN115338855A (zh) 双臂机器人组装系统
JP7306871B2 (ja) ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置
JP2018144228A (ja) ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
JP2011083883A (ja) ロボット装置
JP2016078142A (ja) ロボット装置の制御方法、およびロボット装置
KR20150044241A (ko) 로봇 자세 교시장치 및 그 방법
JP2018158429A (ja) ロボットシステム
US20240100688A1 (en) Information processing apparatus, information processing method, robot system, manufacturing method for article using robot system, program, and recording medium
WO2024047808A1 (ja) ロボット座標系に搬送装置座標系を設定する装置、及び方法
EP4155037A1 (en) Work program production system and work program production method
JPH07185996A (ja) 遠隔操作加工装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19880789

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019880789

Country of ref document: EP

Effective date: 20210601